Python ile AI - Doğal Dil İşleme
Doğal Dil İşleme (NLP), İngilizce gibi doğal bir dil kullanarak akıllı sistemlerle iletişim kurmanın AI yöntemini ifade eder.
Robot gibi akıllı bir sistemin talimatlarınıza göre çalışmasını istediğinizde, diyaloğa dayalı bir klinik uzman sisteminden karar almak istediğinizde vb. Doğal Dilin işlenmesi gerekir.
NLP alanı, bilgisayarların, insanların kullandığı doğal dillerle yararlı görevler oluşturmasını içerir. Bir NLP sisteminin girişi ve çıkışı şunlar olabilir:
- Speech
- Yazılı metin
NLP Bileşenleri
Bu bölümde, NLP'nin farklı bileşenleri hakkında bilgi edineceğiz. NLP'nin iki bileşeni vardır. Bileşenler aşağıda açıklanmıştır -
Natural Language Understanding (NLU)
Aşağıdaki görevleri içerir -
Verilen girdiyi doğal dilde yararlı temsillerle eşleştirmek.
Dilin farklı yönlerini incelemek.
Doğal Dil Üretimi (NLG)
Bazı iç temsillerden doğal dil biçiminde anlamlı ifadeler ve cümleler üretme sürecidir. İçerir -
Text planning - Bu, ilgili içeriğin bilgi tabanından alınmasını içerir.
Sentence planning - Bu, gerekli kelimelerin seçilmesini, anlamlı ifadelerin oluşturulmasını, cümlenin tonunun ayarlanmasını içerir.
Text Realization - Bu cümle planını cümle yapısına eşlemektir.
NLU'daki zorluklar
NLU, form ve yapı bakımından çok zengindir; ancak belirsizdir. Farklı belirsizlik düzeyleri olabilir -
Sözcüksel belirsizlik
Kelime seviyesi gibi çok ilkel bir seviyededir. Örneğin, "tahta" kelimesini isim veya fiil olarak ele almak?
Sözdizimi düzeyinde belirsizlik
Bir cümle farklı şekillerde çözümlenebilir. Örneğin, "Kırmızı bere ile böceği kaldırdı". - Böceği kaldırmak için şapka mı kullandı yoksa kırmızı başlıklı bir böceği kaldırdı mı?
Referans belirsizliği
Zamir kullanan bir şeye atıfta bulunmak. Örneğin, Rima Gauri'ye gitti. "Yorgunum" dedi. - Tam olarak kim yorgun?
NLP Terminolojisi
Şimdi NLP terminolojisinde birkaç önemli terimi görelim.
Phonology - Sesi sistematik bir şekilde organize etme çalışmasıdır.
Morphology - İlkel anlamlı birimlerden kelimelerin inşası üzerine bir çalışma.
Morpheme - Bir dilde ilkel bir anlam birimidir.
Syntax- Cümle kurmak için kelimeleri düzenlemeyi ifade eder. Aynı zamanda kelimelerin cümle ve cümle içindeki yapısal rolünün belirlenmesini de içerir.
Semantics - Kelimelerin anlamı ve kelimelerin anlamlı kelime öbekleri ve cümlelere nasıl birleştirileceği ile ilgilenir.
Pragmatics - Farklı durumlarda cümleleri kullanmak ve anlamakla ve cümlenin yorumunun nasıl etkilendiğini ele alır.
Discourse - Hemen önceki cümlenin bir sonraki cümlenin yorumunu nasıl etkileyebileceğini ele alır.
World Knowledge - Dünya hakkında genel bilgileri içerir.
NLP'deki adımlar
Bu bölümde NLP'deki farklı adımlar gösterilmektedir.
Sözcüksel Analiz
Kelimelerin yapısını belirlemeyi ve analiz etmeyi içerir. Bir dilin sözlüğü, bir dildeki kelimelerin ve cümlelerin toplanması anlamına gelir. Sözcüksel analiz, tüm txt yığınını paragraflara, cümlelere ve kelimelere bölmektir.
Sözdizimsel Analiz (Ayrıştırma)
Cümledeki kelimelerin gramer analizi ve kelimeler arasındaki ilişkiyi gösterecek şekilde düzenlenmesi içerir. "Okul çocuğa gider" gibi cümle, İngilizce sözdizimsel analizcisi tarafından reddedilir.
Anlamsal Analiz
Metinden tam anlamı veya sözlük anlamını çıkarır. Metnin anlamlı olup olmadığı kontrol edilir. Görev alanındaki sözdizimsel yapıları ve nesneleri eşleyerek yapılır. Anlamsal analizci, “sıcak dondurma” gibi cümleyi dikkate almaz.
Söylem Entegrasyonu
Herhangi bir cümlenin anlamı, cümlenin hemen önündeki anlamına bağlıdır. Ayrıca, hemen ardından gelen cümlenin anlamını da beraberinde getirir.
Pragmatik Analiz
Bu sırada söylenenler, gerçekte ne anlama geldiği üzerinden yeniden yorumlanır. Dilin gerçek dünya bilgisi gerektiren yönlerini türetmeyi içerir.