AI - Doğal Dil İşleme
Doğal Dil İşleme (NLP), İngilizce gibi doğal bir dil kullanan akıllı sistemlerle iletişim kurmanın AI yöntemini ifade eder.
Robot gibi akıllı bir sistemin talimatlarınıza göre çalışmasını istediğinizde, diyalog tabanlı bir klinik uzman sisteminden karar almak istediğinizde vb. Doğal Dilin işlenmesi gerekir.
NLP alanı, bilgisayarların, insanların kullandığı doğal dillerle yararlı görevleri yerine getirmesini içerir. Bir NLP sisteminin girişi ve çıkışı şunlar olabilir:
- Speech
- Yazılı metin
NLP Bileşenleri
NLP'nin iki bileşeni vardır -
Natural Language Understanding (NLU)
Anlamak aşağıdaki görevleri içerir -
- Verilen girdiyi doğal dilde yararlı temsillerle eşleştirmek.
- Dilin farklı yönlerini incelemek.
Doğal Dil Üretimi (NLG)
Bazı iç temsillerden doğal dil biçiminde anlamlı ifadeler ve cümleler üretme sürecidir.
İçerir -
Text planning - İlgili içeriğin bilgi tabanından alınmasını içerir.
Sentence planning - Gerekli kelimelerin seçilmesini, anlamlı cümlelerin oluşturulmasını, cümlenin tonunun belirlenmesini içerir.
Text Realization - Cümle planını cümle yapısına dönüştürüyor.
NLU, NLG'den daha zordur.
NLU'daki zorluklar
NL, son derece zengin bir forma ve yapıya sahiptir.
Çok belirsiz. Farklı belirsizlik düzeyleri olabilir -
Lexical ambiguity - Kelime seviyesi gibi çok ilkel seviyededir.
Örneğin, "tahta" kelimesini isim veya fiil olarak ele almak?
Syntax Level ambiguity - Bir cümle farklı şekillerde çözümlenebilir.
Örneğin, "Kırmızı bere ile böceği kaldırdı". - Böceği kaldırmak için şapka mı kullandı yoksa kırmızı başlıklı bir böceği kaldırdı mı?
Referential ambiguity- Zamir kullanan bir şeye atıfta bulunmak. Örneğin, Rima Gauri'ye gitti. "Yorgunum" dedi. - Tam olarak kim yorgun?
Bir girdi farklı anlamlar anlamına gelebilir.
Birçok girdi aynı anlama gelebilir.
NLP Terminolojisi
Phonology - Sesi sistematik bir şekilde organize etme çalışmasıdır.
Morphology - İlkel anlamlı birimlerden kelimelerin inşası üzerine yapılan bir çalışmadır.
Morpheme - Bir dildeki ilkel anlam birimidir.
Syntax- Cümle kurmak için kelimeleri düzenlemeyi ifade eder. Aynı zamanda kelimelerin cümle ve cümle içindeki yapısal rolünün belirlenmesini de içerir.
Semantics - Kelimelerin anlamı ve kelimelerin anlamlı kelime öbekleri ve cümlelere nasıl birleştirileceği ile ilgilenir.
Pragmatics - Farklı durumlarda cümleleri kullanmak ve anlamakla ve cümlenin yorumunun nasıl etkilendiğini ele alır.
Discourse - Hemen önceki cümlenin bir sonraki cümlenin yorumunu nasıl etkileyebileceğini ele alır.
World Knowledge - Dünya hakkında genel bilgileri içerir.
NLP'deki adımlar
Genel beş adım vardır -
Lexical Analysis- Kelimelerin yapısını tanımlamayı ve analiz etmeyi içerir. Bir dilin sözlüğü, bir dildeki kelimelerin ve cümlelerin toplanması anlamına gelir. Sözcüksel analiz, tüm txt yığınını paragraflara, cümlelere ve kelimelere bölmektir.
Syntactic Analysis (Parsing)- Cümledeki kelimelerin gramer analizini ve kelimeler arasındaki ilişkiyi gösterecek şekilde kelimelerin düzenlenmesini içerir. "Okul çocuğa gider" gibi cümle, İngilizce sözdizimsel analizcisi tarafından reddedilir.
Semantic Analysis- Metinden tam anlamı veya sözlük anlamını çıkarır. Metnin anlamlı olup olmadığı kontrol edilir. Görev alanındaki sözdizimsel yapıları ve nesneleri eşleyerek yapılır. Anlamsal analizci, “sıcak dondurma” gibi cümleyi dikkate almaz.
Discourse Integration- Herhangi bir cümlenin anlamı, cümlenin hemen önündeki anlamına bağlıdır. Ayrıca, hemen ardından gelen cümlenin anlamını da beraberinde getirir.
Pragmatic Analysis- Bu sırada söylenenler, gerçekte ne anlama geldiği üzerinden yeniden yorumlanır. Dilin gerçek dünya bilgisi gerektiren yönlerini türetmeyi içerir.
Sözdizimsel Analizin Uygulama Yönleri
Araştırmacıların sözdizimsel analiz için geliştirdiği bir dizi algoritma var, ancak yalnızca aşağıdaki basit yöntemleri dikkate alıyoruz -
- Bağlamdan Bağımsız Dilbilgisi
- Yukarıdan Aşağıya Ayrıştırıcı
Onları detaylı olarak görelim -
Bağlamdan Bağımsız Dilbilgisi
Yeniden yazma kurallarının sol tarafında tek bir sembolün bulunduğu kurallardan oluşan dilbilgisidir. Bir cümleyi çözümlemek için dilbilgisi oluşturalım -
"Kuş taneleri gagalıyor"
Articles (DET)- bir | bir |
Nouns- kuş | kuşlar | tahıl | taneler
Noun Phrase (NP)- Makale + İsim | Makale + Sıfat + İsim
= DET N | DET AYAR N
Verbs- gagalar | gagalama | gagalı
Verb Phrase (VP)- NP V | V NP
Adjectives (ADJ)- güzel | küçük | cıvıl cıvıl
Ayrıştırma ağacı, cümleyi yapılandırılmış parçalara böler, böylece bilgisayar onu kolayca anlayabilir ve işleyebilir. Ayrıştırma algoritmasının bu ayrıştırma ağacını oluşturması için, hangi ağaç yapılarının yasal olduğunu tanımlayan bir dizi yeniden yazma kuralının oluşturulması gerekir.
Bu kurallar, belirli bir sembolün ağaçta bir dizi başka sembolle genişletilebileceğini söyler. Birinci dereceden mantık kuralına göre, eğer İsim Cümleciği (NP) ve Fiil İfadesi (VP) olmak üzere iki dizge varsa, NP ve ardından VP ile birleştirilen dizge bir cümledir. Cümle için yeniden yazma kuralları aşağıdaki gibidir -
S → NP VP
NP → DET N | DET ADJ N
VP → V NP
Lexocon −
DET → a |
ADJ → güzel | tünemiş
N → kuş | kuşlar | tahıl | taneler
V → gagalama | gagalar | gagalama
Ayrıştırma ağacı gösterildiği gibi oluşturulabilir -
Şimdi yukarıdaki yeniden yazma kurallarını düşünün. V, hem "gagalama" hem de "gagalama" ile yer değiştirebildiğinden, "Kuş taneleri gagalar" gibi cümlelere yanlış bir şekilde izin verilebilir. yani özne-fiil anlaşması hatası doğru olarak onaylanır.
Merit - En basit dilbilgisi stili, bu nedenle yaygın olarak kullanılan bir stil.
Demerits −
Çok kesin değiller. Örneğin, "Taneler kuşu gagalar", ayrıştırıcıya göre sözdizimsel olarak doğrudur, ancak bir anlam ifade etmese bile, ayrıştırıcı onu doğru bir cümle olarak alır.
Yüksek doğruluk sağlamak için birden fazla dilbilgisi setinin hazırlanması gerekir. Tekil ve çoğul varyasyonları, pasif cümleleri vb. Ayrıştırmak için tamamen farklı bir kurallar dizisi gerektirebilir, bu da yönetilemeyen devasa kurallar kümesinin oluşturulmasına yol açabilir.
Yukarıdan Aşağıya Ayrıştırıcı
Burada, ayrıştırıcı S sembolü ile başlar ve onu, tamamen terminal sembollerinden oluşana kadar giriş cümlesindeki kelimelerin sınıflarıyla eşleşen bir terminal semboller dizisi halinde yeniden yazmaya çalışır .
Bunlar daha sonra eşleşip eşleşmediğini görmek için giriş cümlesiyle kontrol edilir. Değilse, süreç farklı bir kurallar dizisi ile yeniden başlatılır. Bu, cümlenin yapısını tanımlayan belirli bir kural bulunana kadar tekrarlanır.
Merit - Uygulaması basittir.
Demerits −
- Bir hata meydana gelirse arama sürecinin tekrarlanması gerektiğinden, verimsizdir.
- Yavaş çalışma hızı.