Doğal Dil İşleme - Hızlı Kılavuz

Dil, yardımı ile konuşabileceğimiz, okuyabileceğimiz ve yazabileceğimiz bir iletişim yöntemidir. Örneğin, doğal dilde kararlar, planlar ve daha fazlasını yaptığımızı düşünüyoruz; tam olarak, kelimelerle. Ancak bu AI çağında karşımıza çıkan en büyük soru, bilgisayarlarla benzer şekilde iletişim kurabilir miyiz? Başka bir deyişle, insanlar bilgisayarlarla kendi doğal dillerinde iletişim kurabilir mi? Bilgisayarların yapılandırılmış verilere ihtiyacı olduğu için NLP uygulamaları geliştirmek bizim için bir zorluktur, ancak insan konuşması yapısal değildir ve genellikle muğlaktır.

Bu anlamda Doğal Dil İşleme'nin (NLP), Bilgisayar Biliminin, özellikle de bilgisayarların insan dilini anlamasını ve işlemesini sağlamakla ilgilenen Yapay Zeka'nın (AI) alt alanı olduğunu söyleyebiliriz. Teknik olarak, NLP'nin ana görevi, büyük miktarda doğal dil verisini analiz etmek ve işlemek için bilgisayarları programlamak olacaktır.

NLP'nin Tarihçesi

NLP'nin tarihini dört aşamaya ayırdık. Aşamaların kendine özgü endişeleri ve stilleri vardır.

İlk Aşama (Makine Çevirisi Aşaması) - 1940'ların sonu ile 1960'ların sonu

Bu aşamada yapılan çalışma esas olarak makine çevirisine (MT) odaklanmıştır. Bu aşama bir coşku ve iyimserlik dönemiydi.

Şimdi ilk aşamanın içerdiği her şeyi görelim -

  • NLP ile ilgili araştırma, 1950'lerin başında, Booth & Richens'in araştırması ve Weaver'ın 1949'da makine çevirisi ile ilgili mutabakatından sonra başladı.

  • 1954, Georgetown-IBM deneyinde Rusçadan İngilizceye otomatik çeviri üzerine sınırlı bir deneyin gösterildiği yıldı.

  • Aynı yıl MT (Makine Çevirisi) dergisinin yayınına başlandı.

  • Makine Çevirisi (MT) üzerine ilk uluslararası konferans 1952'de, ikincisi 1956'da yapıldı.

  • 1961'de, Teddington Uluslararası Konferansında Dillerin Makine Çevirisi ve Uygulamalı Dil analizinde sunulan çalışma, bu aşamanın en önemli noktasıydı.

İkinci Aşama (AI Etkilenen Aşama) - 1960'ların sonundan 1970'lerin sonuna kadar

Bu aşamada, yapılan iş büyük ölçüde dünya bilgisi ve anlam temsillerinin inşası ve manipülasyonundaki rolü ile ilgiliydi. Bu nedenle, bu aşama aynı zamanda AI aromalı aşama olarak da adlandırılır.

Aşama içinde şunlar vardı:

  • 1961'in başlarında, veri veya bilgi tabanını ele alma ve inşa etme sorunları üzerinde çalışma başladı. Bu çalışma AI'dan etkilendi.

  • Aynı yıl bir BEYZBOL soru cevaplama sistemi de geliştirildi. Bu sisteme girdi kısıtlandı ve ilgili dil işleme basitti.

  • Minsky'de (1968) çok gelişmiş bir sistem tanımlanmıştır. Bu sistem, BEYZBOL soru cevaplama sistemi ile karşılaştırıldığında, yorumlama ve dil girdisine cevap verme konusunda bilgi tabanında çıkarsama ihtiyacı için tanındı ve sağlandı.

Üçüncü Aşama (Grammatico-mantıksal Aşama) - 1970'lerin sonlarından 1980'lerin sonuna kadar

Bu aşama, gramatik-mantıksal aşama olarak tanımlanabilir. Son aşamada pratik sistem kurmanın başarısızlığı nedeniyle, araştırmacılar AI'da bilgi temsili ve muhakeme için mantık kullanımına yöneldi.

Üçüncü aşamada şunlar vardı:

  • On yılın sonlarına doğru gramatik-mantıksal yaklaşım, SRI'nin Temel Dil Motoru ve Söylem Temsil Teorisi gibi güçlü genel amaçlı cümle işlemcileriyle bize yardımcı oldu;

  • Bu aşamada, ayrıştırıcılar gibi bazı pratik kaynaklara ve araçlara sahibiz, örneğin Alvey Natural Language Tools'un yanı sıra daha operasyonel ve ticari sistemler, örneğin veritabanı sorgulaması için.

  • 1980'lerde sözlük üzerine yapılan çalışmalar da gramatik-mantıksal yaklaşım yönüne işaret ediyordu.

Dördüncü Aşama (Sözcük ve Derlem Aşaması) - 1990'lar

Bunu sözcük ve bütünlük aşaması olarak tanımlayabiliriz. Aşama, 1980'lerin sonunda ortaya çıkan ve artan bir etki haline gelen dilbilgisine sözcükselleştirilmiş bir yaklaşıma sahipti. Bu on yılda, dil işleme için makine öğrenimi algoritmalarının tanıtılmasıyla doğal dil işlemede bir devrim yaşandı.

İnsan Dilleri Çalışması

Dil, insan hayatı için çok önemli bir bileşen ve aynı zamanda davranışımızın en temel yönüdür. Bunu yazılı ve sözlü olmak üzere başlıca iki şekilde deneyimleyebiliriz. Yazılı olarak, bilgimizi bir nesilden diğerine aktarmanın bir yoludur. Sözlü biçimde, insanların günlük davranışlarında birbirleriyle koordinasyon içinde olmaları için birincil ortamdır. Dil, çeşitli akademik disiplinlerde çalışılmaktadır. Her disiplinin kendi sorunları ve bunları ele almak için bir dizi çözümü vardır.

Bunu anlamak için aşağıdaki tabloyu düşünün -

Disiplin Problemler Araçlar

Dilbilimciler

Kelimelerle nasıl kalıplar ve cümleler oluşturulabilir?

Bir cümlenin olası anlamını ne engeller?

İyi biçimlilik ve anlam hakkında sezgiler.

Yapının matematiksel modeli. Örneğin, model teorik anlambilim, biçimsel dil teorisi.

Psikolinguistler

İnsanlar cümlelerin yapısını nasıl belirleyebilir?

Kelimelerin anlamı nasıl belirlenebilir?

Anlama ne zaman gerçekleşir?

İnsanların performansını ölçmek için deneysel teknikler.

Gözlemlerin istatistiksel analizi.

Filozoflar

Kelimeler ve cümleler nasıl anlam kazanır?

Nesneler kelimelerle nasıl tanımlanır?

Anlamı nedir?

Sezgi kullanarak doğal dil argümantasyonu.

Mantık ve model teorisi gibi matematiksel modeller.

Hesaplamalı Dilbilimciler

Bir cümlenin yapısını nasıl belirleyebiliriz

Bilgi ve akıl yürütme nasıl modellenebilir?

Belirli görevleri yerine getirmek için dili nasıl kullanabiliriz?

Algoritmalar

Veri yapıları

Biçimsel temsil ve akıl yürütme modelleri.

Arama ve temsil yöntemleri gibi yapay zeka teknikleri.

Dilde Belirsizlik ve Belirsizlik

Genellikle doğal dil işlemede kullanılan belirsizlik, birden fazla şekilde anlaşılma yeteneği olarak ifade edilebilir. Basit bir ifadeyle belirsizliğin birden fazla şekilde anlaşılma yeteneği olduğunu söyleyebiliriz. Doğal dil çok belirsizdir. NLP, aşağıdaki belirsizlik türlerine sahiptir -

Sözcüksel Belirsizlik

Tek bir kelimenin belirsizliğine sözcüksel belirsizlik denir. Örneğin, kelimeyi işlemeksilver isim, sıfat veya fiil olarak.

Sözdizimsel Belirsizlik

Bu tür bir belirsizlik, bir cümle farklı şekillerde çözümlendiğinde ortaya çıkar. Örneğin, "Adam kızı teleskopla gördü" cümlesi. Adamın kızı teleskopla mı gördüğü yoksa teleskopuyla mı gördüğü belirsizdir.

Anlamsal Belirsizlik

Bu tür bir belirsizlik, kelimelerin anlamı yanlış yorumlandığında ortaya çıkar. Başka bir deyişle, anlamsal belirsizlik, bir cümle belirsiz bir kelime veya kelime öbeği içerdiğinde ortaya çıkar. Örneğin, "Araba hareket halindeyken direğe çarptı" cümlesi anlamsal belirsizliğe sahiptir çünkü yorumlar "Araba hareket ederken direğe çarptı" ve "Direk hareket ederken araba direğe çarptı" şeklinde olabilir.

Anaforik Belirsizlik

Bu tür bir belirsizlik, söylemde anafora varlıklarının kullanılmasından kaynaklanmaktadır. Örneğin, at tepeye koştu. Çok dikti. Yakında yoruldu. Burada, iki durumda “o” nun anaforik referansı belirsizliğe neden olur.

Pragmatik belirsizlik

Bu tür bir belirsizlik, bir cümlenin bağlamının ona birden fazla yorum verdiği durumu ifade eder. Basit bir deyişle, ifade spesifik olmadığında pragmatik belirsizliğin ortaya çıktığını söyleyebiliriz. Örneğin, “Ben de senden hoşlanıyorum” cümlesi, senden hoşlandığım gibi birden çok yoruma sahip olabilir (tıpkı benden hoşlandığın gibi), senden hoşlanıyorum (tıpkı başka birinin dozu gibi).

NLP Aşamaları

Aşağıdaki diyagram, doğal dil işlemedeki aşamaları veya mantıksal adımları göstermektedir -

Morfolojik İşleme

NLP'nin ilk aşamasıdır. Bu aşamanın amacı, dil girdisi parçalarını paragraflara, cümlelere ve kelimelere karşılık gelen simge kümelerine ayırmaktır. Örneğin, şöyle bir kelime“uneasy” iki alt kelimeye bölünebilir “un-easy”.

Sözdizimi Analizi

NLP'nin ikinci aşamasıdır. Bu aşamanın amacı iki aşamadır: bir cümlenin iyi oluşup oluşmadığını kontrol etmek ve onu farklı kelimeler arasındaki sözdizimsel ilişkileri gösteren bir yapıya bölmek. Örneğin, gibi bir cümle“The school goes to the boy” sözdizimi çözümleyicisi veya ayrıştırıcı tarafından reddedilebilir.

Anlamsal Analiz

NLP'nin üçüncü aşamasıdır. Bu aşamanın amacı tam anlam çıkarmaktır ya da metinden sözlük anlamını söyleyebilirsiniz. Metnin anlamlı olup olmadığı kontrol edilir. Örneğin, anlambilimsel analizci "Sıcak dondurma" gibi bir cümleyi reddeder.

Pragmatik Analiz

NLP'nin dördüncü aşamasıdır. Pragmatik analiz, belirli bir bağlamda var olan gerçek nesnelere / olaylara, son aşamada elde edilen nesne referanslarıyla (anlambilimsel analiz) basitçe uyar. Örneğin, "Muzu sepete rafa koyun" cümlesinin iki anlamsal yorumu olabilir ve pragmatik analizci bu iki olasılık arasında seçim yapacaktır.

Bu bölümde, Doğal Dil İşlemedeki dil kaynakları hakkında bilgi edineceğiz.

Corpus

Bir külliyat, doğal bir iletişim ortamında üretilmiş büyük ve yapılandırılmış bir makine tarafından okunabilir metinler kümesidir. Çoğulu corpora'dır. Orijinal olarak elektronik olan metin, konuşma dilinin transkriptleri ve optik karakter tanıma gibi farklı şekillerde türetilebilirler.

Derlem Tasarımının Unsurları

Dil sonsuzdur ancak bir külliyatın boyutu sınırlı olmalıdır. Derlemin boyut olarak sonlu olması için, iyi bir derlem tasarımı sağlamak için çok çeşitli metin türlerini örneklememiz ve orantılı olarak dahil etmemiz gerekir.

Şimdi, yapı tasarımı için bazı önemli unsurları öğrenelim -

Corpus Temsili

Temsil edilebilirlik, yapı tasarımının tanımlayıcı bir özelliğidir. İki büyük araştırmacının (Leech ve Biber) aşağıdaki tanımları, külliyatın temsilini anlamamıza yardımcı olacaktır -

  • According to Leech (1991), "Bir külliyatın, içeriğine dayalı bulguların söz konusu dil çeşidine genellenip genellenemeyeceğini temsil etmesi beklenen dil çeşitliliğini temsil ettiği düşünülmektedir".

  • According to Biber (1993), "Temsil edilebilirlik, bir örneklemin bir popülasyondaki tüm değişkenliği kapsama derecesini ifade eder".

Bu şekilde, bir külliyatın temsil edilebilirliğinin aşağıdaki iki faktör tarafından belirlendiği sonucuna varabiliriz:

  • Balance - Tür aralığı bir külliyatta bulunur

  • Sampling - Her tür için parçaların nasıl seçildiği.

Corpus Bakiyesi

Korpus tasarımının bir diğer çok önemli unsuru, bir külliyatın içerdiği tür aralığı olan korpus dengesidir. Genel bir külliyatın temsilinin, külliyatın ne kadar dengeli olduğuna bağlı olduğunu zaten incelemiştik. Dengeli bir külliyat, dilin temsilcileri olduğu varsayılan çok çeşitli metin kategorilerini kapsar. Denge için güvenilir bir bilimsel ölçütümüz yok ama en iyi tahmin ve sezgi bu konuda çalışıyor. Başka bir deyişle, kabul edilen bakiyenin sadece kullanım amacına göre belirlendiğini söyleyebiliriz.

Örnekleme

Korpus tasarımının bir diğer önemli unsuru da örneklemedir. Derlem temsili ve denge, örnekleme ile çok yakından ilişkilidir. Bu nedenle, örneklemenin külliyat oluşturmada kaçınılmaz olduğunu söyleyebiliriz.

  • Göre Biber(1993), "Bir külliyat oluştururken göz önünde bulundurulacak ilk hususlardan bazıları genel tasarımla ilgilidir: örneğin, dahil edilen metin türleri, metinlerin sayısı, belirli metinlerin seçimi, metinlerin içinden metin örneklerinin seçimi ve metnin uzunluğu örnekler. Bunların her biri, bilinçli veya bilinçsiz bir örnekleme kararını içerir. "

Temsili bir numune alırken, aşağıdakileri dikkate almamız gerekir -

  • Sampling unit- Numune gerektiren birimi ifade eder. Örneğin, yazılı metin için, bir örnekleme birimi bir gazete, dergi veya bir kitap olabilir.

  • Sampling frame - Tüm örnekleme birimlerinin listesine örnekleme çerçevesi denir.

  • Population- Tüm örnekleme birimlerinin montajı olarak adlandırılabilir. Ürün olarak dil üretimi, dil alımı veya dil açısından tanımlanır.

Derlem Boyutu

Korpus tasarımının bir diğer önemli unsuru da boyutudur. Külliyat ne kadar büyük olmalı? Bu sorunun belirli bir cevabı yok. Külliyatın boyutu, amaçlandığı amaca ve aşağıdaki gibi bazı pratik hususlara bağlıdır:

  • Kullanıcıdan beklenen sorgu türü.

  • Verileri incelemek için kullanıcılar tarafından kullanılan metodoloji.

  • Veri kaynağının mevcudiyeti.

Teknolojideki ilerlemeyle birlikte külliyat boyutu da artmaktadır. Aşağıdaki karşılaştırma tablosu, topluluk boyutunun nasıl çalıştığını anlamanıza yardımcı olacaktır -

Yıl Derlemin Adı Boyut (kelimelerle)
1960'lar - 70'ler Kahverengi ve LOB 1 Milyon kelime
1980'ler Birmingham corpora 20 Milyon kelime
1990'lar İngiliz Ulusal külliyat 100 Milyon kelime
Erken 21 st yüzyıl İngilizce külliyat Bankası 650 Milyon kelime

Sonraki bölümlerimizde, birkaç külliyat örneğine bakacağız.

TreeBank Corpus

Sözdizimsel veya anlamsal cümle yapısına açıklama ekleyen dilsel olarak ayrıştırılmış metin külliyat olarak tanımlanabilir. Geoffrey Leech, gramer analizini temsil etmenin en yaygın yolunun bir ağaç yapısı vasıtasıyla olduğunu ifade eden 'ağaç bankası' terimini icat etti. Genel olarak, Treebank'lar zaten konuşma parçası etiketleriyle açıklanmış olan bir külliyatın üstünde oluşturulur.

TreeBank Corpus Türleri

Anlamsal ve Sözdizimsel Ağaç Bankaları, dilbilimdeki en yaygın iki Treebank türüdür. Şimdi bu türler hakkında daha fazla bilgi edinelim -

Anlamsal Treebanks

Bu Treebanklar, cümlenin anlamsal yapısının resmi bir temsilini kullanır. Anlamsal temsillerinin derinliği bakımından farklılık gösterirler. Robot Komutları Treebank, Geoquery, Groningen Anlam Bankası, RoboCup Corpus Semantik Treebank örneklerinden bazılarıdır.

Sözdizimsel Treebanks

Anlamsal Ağaç Bankalarının aksine, Sözdizimsel Ağaç Bankası sistemlerine girdiler, ayrıştırılmış Ağaç Bankası verilerinin dönüştürülmesinden elde edilen biçimsel dilin ifadeleridir. Bu tür sistemlerin çıktıları, yüklem mantığına dayalı anlam temsilidir. Şimdiye kadar farklı dillerde çeşitli sözdizimsel Treebanklar oluşturuldu. Örneğin,Penn Arabic Treebank, Columbia Arabic Treebank Arabistan dilinde oluşturulmuş sözdizimsel Treebanklardır. Sininca Çince dilinde oluşturulmuş sözdizimsel Treebank. Lucy, Susane ve BLLIP WSJ İngilizce dilinde oluşturulmuş sözdizimsel külliyat.

TreeBank Corpus Uygulamaları

Aşağıda, TreeBanks uygulamalarının bazıları verilmiştir -

Hesaplamalı Dilbilimde

Hesaplamalı Dilbilim hakkında konuşursak, TreeBanks'in en iyi kullanımı konuşma parçası etiketleyicileri, ayrıştırıcılar, anlambilimsel analizörler ve makine çeviri sistemleri gibi son teknoloji doğal dil işleme sistemlerini tasarlamaktır.

Derlem Dilbiliminde

Corpus dilbilimi söz konusu olduğunda, Treebanks'ın en iyi kullanımı sözdizimsel fenomenleri incelemektir.

Teorik Dilbilim ve Psikodilbilimde

Treebanks'ın teorik ve psikodilbilimde en iyi kullanımı etkileşim kanıtıdır.

PropBank Corpus

PropBank, daha spesifik olarak “Önerme Bankası” olarak adlandırılan, sözlü önermeler ve argümanlarıyla açıklanmış bir külliyattır. Külliyat fiil yönelimli bir kaynaktır; buradaki ek açıklamalar sözdizimsel düzeyle daha yakından ilgilidir. Martha Palmer ve diğerleri, Dilbilim Bölümü, Colorado Boulder Üniversitesi geliştirdi. PropBank terimini, önermeler ve onların argümanları ile açıklanmış herhangi bir külliyatı ifade eden ortak bir isim olarak kullanabiliriz.

Doğal Dil İşlemede (NLP), PropBank projesi çok önemli bir rol oynadı. Anlamsal rol etiketlemesine yardımcı olur.

VerbNet (VN)

VerbNet (VN), hiyerarşik alandan bağımsız ve içeriği hakkında hem anlamsal hem de sözdizimsel bilgileri içeren, İngilizce'de bulunan en büyük sözlüksel kaynaktır. VN, WordNet, Xtag ve FrameNet gibi diğer sözcüksel kaynaklara eşlemeler içeren geniş kapsamlı bir fiil sözlüğüdür. Sınıf üyeleri arasında sözdizimsel ve anlamsal tutarlılık elde etmek için alt sınıfların ayrıntılandırılması ve eklenmesi yoluyla Levin sınıflarını genişleten fiil sınıfları halinde düzenlenmiştir.

Her VerbNet (VN) sınıfı şunları içerir -

Bir dizi sözdizimsel açıklama veya sözdizimsel çerçeve

Geçişli, geçişsiz, edat cümleleri, sonuçlar ve büyük bir diyatez alternatifleri kümesi gibi yapılar için argüman yapısının olası yüzey gerçeklemelerini tasvir etmek için.

Animate, insan, organizasyon gibi bir dizi anlamsal açıklama

Kısıtlama için, argümanların izin verdiği tematik rol türleri ve başka kısıtlamalar getirilebilir. Bu, tematik rolle ilişkilendirilmesi muhtemel kurucu unsurun sözdizimsel doğasını göstermeye yardımcı olacaktır.

WordNet

Princeton tarafından oluşturulan WordNet, İngilizce dili için sözlüksel bir veritabanıdır. NLTK külliyatının bir parçasıdır. WordNet'te isimler, fiiller, sıfatlar ve zarflar, adı verilen bilişsel eş anlamlılar halinde gruplandırılır.Synsets. Tüm sentezler kavramsal-anlamsal ve sözcüksel ilişkiler yardımıyla birbirine bağlıdır. Yapısı, onu doğal dil işleme (NLP) için çok faydalı kılar.

Bilgi sistemlerinde WordNet, kelime anlamında belirsizliği giderme, bilgi alma, otomatik metin sınıflandırması ve makine çevirisi gibi çeşitli amaçlar için kullanılır. WordNet'in en önemli kullanımlarından biri, kelimeler arasındaki benzerliği bulmaktır. Bu görev için Perl'de Benzerlik, Python'da NLTK ve Java'da ADW gibi çeşitli paketlerde çeşitli algoritmalar uygulanmıştır.

Bu bölümde, Doğal Dil İşlemede dünya düzeyindeki analizi anlayacağız.

Düzenli ifadeler

Normal ifade (RE), metin arama dizelerini belirlemek için kullanılan bir dildir. RE, bir modelde tutulan özel bir sözdizimini kullanarak diğer dizeleri veya dizgi kümelerini eşleştirmemize veya bulmamıza yardımcı olur. Normal ifadeler, UNIX ve MS WORD'deki metinleri aynı şekilde aramak için kullanılır. Bir dizi RE özelliğini kullanan çeşitli arama motorlarımız var.

Normal İfadelerin Özellikleri

Aşağıda RE'nin önemli özelliklerinden bazıları verilmiştir -

  • Amerikalı Matematikçi Stephen Cole Kleene Normal İfade dilini resmileştirdi.

  • RE, basit dizge sınıflarını, bir dizi simge belirtmek için kullanılabilen özel bir dilde bir formüldür. Başka bir deyişle, RE'nin bir dizi dizgiyi karakterize etmek için cebirsel bir gösterim olduğunu söyleyebiliriz.

  • Normal ifade iki şey gerektirir: Biri aramak istediğimiz kalıp, diğeri ise aramamız gereken metin külliyatıdır.

Matematiksel olarak, Normal Bir İfade aşağıdaki gibi tanımlanabilir -

  • ε , dilin boş bir dizeye sahip olduğunu gösteren Normal bir İfadedir.

  • φ bunun boş bir dil olduğunu belirten Normal bir İfadedir.

  • Eğer X ve Y Normal İfadelerdir, o zaman

    • X, Y

    • X.Y(Concatenation of XY)

    • X+Y (Union of X and Y)

    • X*, Y* (Kleen Closure of X and Y)

aynı zamanda normal ifadelerdir.

  • Bir dizge yukarıdaki kurallardan türetilmişse, bu da normal bir ifade olacaktır.

Normal İfade Örnekleri

Aşağıdaki tabloda birkaç Normal İfade örneği gösterilmektedir -

Düzenli ifadeler Normal Set
(0 + 10 *) {0, 1, 10, 100, 1000, 10000,…}
(0 * 10 *) {1, 01, 10, 010, 0010,…}
(0 + ε) (1 + ε) {ε, 0, 1, 01}
(a + b) * Herhangi bir uzunluktaki a ve b dizelerinden oluşan ve boş dizeyi de içeren dizelerden oluşur, ör. {Ε, a, b, aa, ab, bb, ba, aaa …….}
(a + b) * abb A ve b dizelerinin abb dizesiyle biten dizeleri olacaktır, yani {abb, aabb, babb, aaabb, ababb, ………… ..}
(11) * Boş bir dize içeren 1'lerden oluşan çift sayıdan (ör. {Ε, 11, 1111, 111111, ……….}) Oluşur.
(aa) * (bb) * b Çift sayıda a ve ardından tek sayıda b'den oluşan dizelerden oluşur, yani {b, aab, aabbb, aabbbbb, aaaab, aaaabbb, ………… ..}
(aa + ab + ba + bb) * Bu, aa, ab, ba ve bb dizelerinin herhangi bir kombinasyonunun (null yani {aa, ab, ba, bb, aaab, aaba, ………… dahil) birleştirilmesiyle elde edilebilen eşit uzunlukta a ve b dizeleri olacaktır. .}

Normal Setler ve Özellikleri

Normal ifadenin değerini temsil eden ve belirli özellikleri içeren küme olarak tanımlanabilir.

Düzenli kümelerin özellikleri

  • İki normal kümenin birleşimini yaparsak, ortaya çıkan küme de düzenleyici olur.

  • İki normal kümenin kesişimini yaparsak, ortaya çıkan küme de düzenli olur.

  • Normal kümelerin tamamlamasını yaparsak, ortaya çıkan küme de normal olur.

  • İki normal kümenin farkını yaparsak, ortaya çıkan küme de normal olur.

  • Normal setlerin tersine çevrilmesini yaparsak, ortaya çıkan set de normal olur.

  • Normal setlerin kapanışını alırsak, ortaya çıkan set de normal olacaktır.

  • İki normal kümeyi birleştirirsek, ortaya çıkan küme de normal olur.

Sonlu Durum Otomatı

"Kendi kendine hareket eden" anlamına gelen Yunanca "αὐτόματα" kelimesinden türetilen otomata terimi, önceden belirlenmiş bir işlem dizisini otomatik olarak izleyen soyut bir kendinden tahrikli hesaplama cihazı olarak tanımlanabilecek çoğul otomattır.

Sonlu sayıda duruma sahip bir otomat, Sonlu Otomat (FA) veya Sonlu Durum otomatı (FSA) olarak adlandırılır.

Matematiksel olarak, bir otomat 5-tuple (Q, Σ, δ, q0, F) ile temsil edilebilir, burada -

  • Q, sonlu bir durum kümesidir.

  • Σ, otomatın alfabesi adı verilen sonlu bir semboller kümesidir.

  • δ geçiş işlevidir

  • q0, herhangi bir girişin işlendiği ilk durumdur (q0 ∈ Q).

  • F, Q'nun (F ⊆ Q) bir son durum / durumları kümesidir.

Sonlu Otomata, Normal Dilbilgisi ve Normal İfadeler arasındaki ilişki

Aşağıdaki noktalar bize sonlu otomatlar, normal gramerler ve normal ifadeler arasındaki ilişki hakkında net bir görüş verecektir -

  • Sonlu durum otomatının hesaplama işinin teorik temeli olduğunu bildiğimiz gibi ve düzenli ifadeler onları tanımlamanın bir yoludur.

  • Herhangi bir düzenli ifadenin FSA olarak uygulanabileceğini ve herhangi bir FSA'nın düzenli bir ifade ile tanımlanabileceğini söyleyebiliriz.

  • Öte yandan, düzenli ifade, normal dil adı verilen bir tür dili karakterize etmenin bir yoludur. Dolayısıyla normal dilin hem ÖSO hem de düzenli ifade yardımı ile tarif edilebileceğini söyleyebiliriz.

  • Düzenli dilbilgisi, yani düzenli dilbilgisi, normal dilbilgisi, normal dili karakterize etmenin başka bir yoludur.

Aşağıdaki şema, sonlu otomatların, düzenli ifadelerin ve düzenli gramerlerin normal dilleri tanımlamanın eşdeğer yolları olduğunu göstermektedir.

Sonlu Durum Otomasyonu (FSA) Türleri

Sonlu durum otomasyonu iki türdendir. Türlerin ne olduğunu görelim.

Deterministik Sonlu otomasyon (DFA)

Her girdi sembolü için makinenin hareket edeceği durumu belirleyebildiğimiz sonlu otomasyon türü olarak tanımlanabilir. Sonlu sayıda duruma sahiptir, bu nedenle makineye Belirleyici Sonlu Otomat (DFA) adı verilir.

Matematiksel olarak, bir DFA bir 5-demetiyle (Q, Σ, δ, q0, F) temsil edilebilir, burada -

  • Q, sonlu bir durum kümesidir.

  • Σ, otomatın alfabesi adı verilen sonlu bir semboller kümesidir.

  • δ, δ: Q × Σ → Q olduğu yerde geçiş fonksiyonudur.

  • q0, herhangi bir girişin işlendiği ilk durumdur (q0 ∈ Q).

  • F, Q'nun (F ⊆ Q) bir son durum / durumları kümesidir.

Grafik olarak, bir DFA, durum diyagramları olarak adlandırılan diyagraflarla temsil edilebilir, burada -

  • Eyaletler tarafından temsil edilmektedir vertices.

  • Geçişler etiketli olarak gösterilir arcs.

  • Başlangıç ​​durumu bir ile temsil edilir empty incoming arc.

  • Son durum şu şekilde temsil edilir: double circle.

DFA Örneği

DFA'nın

  • Q = {a, b, c},

  • Σ = {0, 1},

  • q 0 = {a},

  • F = {c},

  • Geçiş işlevi δ aşağıdaki tabloda gösterilmiştir -

Şu anki durum Giriş 0 için Sonraki Durum Giriş 1 için Sonraki Durum
Bir a B
B b Bir
C c C

Bu DFA'nın grafik temsili aşağıdaki gibi olacaktır -

Belirleyici olmayan Sonlu Otomasyon (NDFA)

Her girdi sembolü için makinenin hareket edeceği durumu belirleyemediğimiz, yani makinenin durumların herhangi bir kombinasyonuna hareket edebileceği sonlu otomasyon türü olarak tanımlanabilir. Sonlu sayıda duruma sahiptir, bu nedenle makineye Belirsiz Olmayan Sonlu Otomasyon (NDFA) adı verilir.

Matematiksel olarak, NDFA bir 5-tuple (Q, Σ, δ, q0, F) ile temsil edilebilir, burada -

  • Q, sonlu bir durum kümesidir.

  • Σ, otomatın alfabesi adı verilen sonlu bir semboller kümesidir.

  • δ: -: Q × Σ → 2 Q olan geçiş fonksiyonudur .

  • q0: -herhangi bir girişin işlendiği ilk durumdur (q0 ∈ Q).

  • F: -Q'nun (F ⊆ Q) son durum / durumları kümesidir.

Grafik olarak (DFA ile aynı), bir NDFA, durum diyagramları olarak adlandırılan diyagraflarla temsil edilebilir, burada -

  • Eyaletler tarafından temsil edilmektedir vertices.

  • Geçişler etiketli olarak gösterilir arcs.

  • Başlangıç ​​durumu bir ile temsil edilir empty incoming arc.

  • Son durum çift ile temsil edilir circle.

NDFA Örneği

Bir NDFA'nın

  • Q = {a, b, c},

  • Σ = {0, 1},

  • q 0 = {a},

  • F = {c},

  • Geçiş işlevi δ aşağıdaki tabloda gösterilmiştir -

Şu anki durum Giriş 0 için Sonraki Durum Giriş 1 için Sonraki Durum
Bir a, b B
B C AC
C M.Ö C

Bu NDFA'nın grafik temsili aşağıdaki gibi olacaktır -

Morfolojik Ayrıştırma

Morfolojik ayrıştırma terimi, morfemlerin ayrıştırılmasıyla ilgilidir. Morfolojik ayrıştırmayı, bir kelimenin onun için bir tür dilsel yapı üreten morfem adı verilen daha küçük anlamlı birimlere ayrıldığını fark etme sorunu olarak tanımlayabiliriz. Örneğin, tilki kelimesini tilki ve -es olarak ikiye ayırabiliriz . Tilki kelimesinin , biri tilki , diğeri -es olmak üzere iki biçimden oluştuğunu görebiliriz .

Diğer bir anlamda, morfolojinin aşağıdakilerin incelenmesi olduğunu söyleyebiliriz -

  • Kelimelerin oluşumu.

  • Kelimelerin kökeni.

  • Kelimelerin dilbilgisel biçimleri.

  • Kelimelerin oluşumunda önek ve son eklerin kullanılması.

  • Bir dilin konuşma bölümlerinin (PoS) nasıl oluştuğu.

Biçim Türleri

En küçük anlam taşıyan birimler olan morfemler iki türe ayrılabilir -

  • Stems

  • Kelime sırası

Kaynaklanıyor

Bir kelimenin temel anlamlı birimidir. Ayrıca kelimenin kökü olduğunu da söyleyebiliriz. Örneğin tilki kelimesinde kök tilkidir.

  • Affixes- Adından da anlaşılacağı gibi, kelimelere bazı ek anlamlar ve dilbilgisi işlevleri eklerler. Örneğin tilki kelimesinin eki - es.

Ayrıca ekler aşağıdaki dört türe ayrılabilir:

    • Prefixes- Adından da anlaşılacağı gibi, ön ekler kökten önce gelir. Örneğin, unbuckle kelimesinde önek un olur.

    • Suffixes- Adından da anlaşılacağı gibi, son ekler kökü takip eder. Örneğin, kediler kelimesinde -s sonekidir.

    • Infixes- Adından da anlaşılacağı gibi, infix'ler gövdenin içine yerleştirilir. Örneğin, cupful kelimesi, infix olarak -s kullanılarak cupful olarak çoğullaştırılabilir.

    • Circumfixes- Saptan önce gelirler ve takip ederler. İngilizce'de çok daha az sınırlama örneği vardır. Çok yaygın bir örnek, 'A-ing' dir ve -A 'dan önce gelir ve kökten sonra -ing kullanılır.

Kelime sırası

Kelimelerin sırasına morfolojik ayrıştırma ile karar verilecektir. Şimdi bir morfolojik ayrıştırıcı oluşturmak için gereksinimleri görelim -

Sözlük

Bir morfolojik ayrıştırıcı oluşturmak için ilk gereksinim, bunlar hakkında temel bilgilerle birlikte gövdelerin ve eklerin listesini içeren sözlüktür. Örneğin, kökün İsim kökü mü yoksa Fiil kökü mü olduğu vb. Gibi bilgiler.

Morfotaktik

Temelde morfem sıralaması modelidir. Diğer bir anlamda, hangi biçimbirim sınıflarının bir sözcük içindeki diğer biçimbirim sınıflarını takip edebileceğini açıklayan model. Örneğin, morfotaktik gerçek, İngilizce çoğul morfemin her zaman ondan önce değil, ismi takip etmesidir.

Ortografik kurallar

Bu yazım kuralları, bir kelimede meydana gelen değişiklikleri modellemek için kullanılır. Örneğin, şehir + s = şehirler değil şehirler gibi bir kelimede y'yi ie'ye dönüştürme kuralı.

Sözdizimsel analiz veya ayrıştırma veya sözdizimi analizi, NLP'nin üçüncü aşamasıdır. Bu aşamanın amacı tam anlam çıkarmaktır ya da metinden sözlük anlamını söyleyebilirsiniz. Sözdizimi analizi, resmi dilbilgisi kurallarına kıyasla metnin anlamlı olup olmadığını kontrol eder. Örneğin, "sıcak dondurma" gibi cümle, anlambilimsel analizci tarafından reddedilecektir.

Bu anlamda, sözdizimsel analiz veya ayrıştırma, biçimsel dilbilgisi kurallarına uygun olarak doğal dildeki sembol dizilerini analiz etme süreci olarak tanımlanabilir. Kelimenin kökeni‘parsing’ Latince kelimeden ‘pars’ bunun anlamı ‘part’.

Ayrıştırıcı Kavramı

Ayrıştırma görevini gerçekleştirmek için kullanılır. Girdi verilerini (metin) almak ve biçimsel dilbilgisine göre doğru sözdizimini kontrol ettikten sonra girdinin yapısal temsilini vermek için tasarlanmış yazılım bileşeni olarak tanımlanabilir. Ayrıca, genellikle ayrıştırma ağacı veya soyut sözdizimi ağacı veya diğer hiyerarşik yapı biçiminde bir veri yapısı oluşturur.

Ayrıştırmanın ana rolleri şunları içerir:

  • Herhangi bir sözdizimi hatasını bildirmek için.

  • Programın geri kalanının işlenmesine devam edilebilmesi için yaygın olarak ortaya çıkan hatayı gidermek için.

  • Ayrıştırma ağacı oluşturmak için.

  • Sembol tablosu oluşturmak için.

  • Ara gösterimler (IR) üretmek için.

Ayrıştırma Türleri

Türetme, ayrıştırmayı aşağıdaki iki türe ayırır -

  • Yukarıdan aşağıya Ayrıştırma

  • Aşağıdan Yukarı Ayrıştırma

Yukarıdan aşağıya Ayrıştırma

Bu tür ayrıştırmada, ayrıştırıcı ayrıştırma ağacını başlangıç ​​sembolünden oluşturmaya başlar ve ardından başlangıç ​​sembolünü girdiye dönüştürmeye çalışır. Yukarıdan aşağıya ayrıştırmanın en yaygın biçimi, girdiyi işlemek için yinelemeli yordamı kullanır. Özyinelemeli iniş ayrıştırmanın ana dezavantajı geriye dönük izlemedir.

Aşağıdan Yukarı Ayrıştırma

Bu tür bir çözümlemede, ayrıştırıcı girdi sembolüyle başlar ve ayrıştırıcı ağacını başlangıç ​​sembolüne kadar oluşturmaya çalışır.

Türetme Kavramı

Girdi dizesini elde etmek için bir dizi üretim kuralına ihtiyacımız var. Derivasyon, bir dizi üretim kuralıdır. Ayrıştırma sırasında, üretim kuralına hangi terminal olmayanın değiştirileceğine karar vermekle birlikte değiştirilecek olan terminal olmayana karar vermemiz gerekir.

Türev Türleri

Bu bölümde, hangi terminal olmayanın üretim kuralı ile değiştirileceğine karar vermek için kullanılabilecek iki tür türetme hakkında bilgi edineceğiz -

En soldaki Türetme

En soldaki türetmede, bir girdinin duygusal formu taranır ve soldan sağa değiştirilir. Bu durumda duygusal forma sol cümle formu denir.

En Sağdaki Türetme

En soldaki türetmede, bir girdinin cümle biçimi taranır ve sağdan sola doğru değiştirilir. Bu durumda cümle formuna sağ cümle formu denir.

Ayrıştırma Ağacı Kavramı

Bir türetmenin grafiksel tasviri olarak tanımlanabilir. Türetmenin başlangıç ​​sembolü, ayrıştırma ağacının kökü görevi görür. Her ayrıştırma ağacında, yaprak düğümler terminallerdir ve iç düğümler terminal değildir. Ayrıştırma ağacının bir özelliği, sıralı geçişin orijinal girdi dizgesini üretmesidir.

Dilbilgisi Kavramı

Dilbilgisi, iyi biçimlendirilmiş programların sözdizimsel yapısını tanımlamak için çok gerekli ve önemlidir. Edebi anlamda, doğal dillerde konuşma için sözdizimsel kuralları belirtirler. Dilbilim, İngilizce, Hintçe vb. Gibi doğal dillerin başlangıcından bu yana gramerleri tanımlamaya çalışmıştır.

Biçimsel diller teorisi, Bilgisayar Bilimi alanlarında, özellikle programlama dillerinde ve veri yapısında da uygulanabilir. Örneğin, 'C' dilinde, kesin gramer kuralları, işlevlerin listelerden ve ifadelerden nasıl yapıldığını belirtir.

Matematiksel bir gramer modeli verildi Noam Chomsky 1956'da bilgisayar dilleri yazmak için etkilidir.

Matematiksel olarak, bir gramer G resmi olarak 4'lü bir grup (N, T, S, P) olarak yazılabilir, burada -

  • N veya VN = terminal olmayan semboller kümesi, yani değişkenler.

  • T veya ∑ = terminal sembolleri seti.

  • S = Başla sembolü nerede S ∈ N

  • PTerminaller ve Terminal Olmayanlar için Üretim kurallarını belirtir. Α → β biçimindedir, burada α ve β V N ∪ ∑ üzerindeki dizelerdir ve α'nın en az bir sembolü V N'ye aittir.

Cümle Yapısı veya Seçim Dilbilgisi

Noam Chomsky tarafından tanıtılan kelime öbeği yapısı grameri, seçim bölgesi ilişkisine dayanmaktadır. Bu yüzden aynı zamanda seçim bölgesi grameri olarak da adlandırılır. Bağımlılık dilbilgisine zıttır.

Misal

Bir seçim bölgesi dilbilgisi örneği vermeden önce, seçim bölgesi dilbilgisi ve seçim bölgesi ilişkisi hakkındaki temel noktaları bilmemiz gerekir.

  • İlgili tüm çerçeveler, cümle yapısını seçim bölgesi ilişkisi açısından görür.

  • Seçim bölgesi ilişkisi, Latince ve Yunanca dilbilgisinin özne-yüklem bölümünden türetilmiştir.

  • Temel cümle yapısı şu terimlerle anlaşılır: noun phrase NP ve verb phrase VP.

Cümleyi yazabiliriz “This tree is illustrating the constituency relation” aşağıdaki gibi -

Bağımlılık Dilbilgisi

Seçmen dilbilgisine zıttır ve bağımlılık ilişkisine dayanır. Lucien Tesniere tarafından tanıtıldı. Bağımlılık dilbilgisi (DG), deyimsel düğümlerden yoksun olduğu için seçim bölgesi dilbilgisine zıttır.

Misal

Bağımlılık dilbilgisine bir örnek vermeden önce Bağımlılık dilbilgisi ve Bağımlılık ilişkisi hakkındaki temel noktaları bilmemiz gerekir.

  • DG'de dil birimleri, yani kelimeler birbirine yönlendirilmiş bağlantılar ile bağlanır.

  • Fiil, cümle yapısının merkezi haline gelir.

  • Diğer tüm sözdizimsel birimler fiile yönlendirilmiş bağlantı açısından bağlıdır. Bu sözdizimsel birimlere denirdependencies.

Cümleyi yazabiliriz “This tree is illustrating the dependency relation” aşağıdaki gibi;

Seçmen dilbilgisini kullanan ayrıştırma ağacına seçim bölgesi tabanlı ayrıştırma ağacı denir; ve bağımlılık grameri kullanan ayrıştırma ağaçlarına bağımlılık tabanlı ayrıştırma ağacı denir.

Bağlamdan Bağımsız Dilbilgisi

CFG olarak da adlandırılan bağlamdan bağımsız dilbilgisi, dilleri açıklamak için bir gösterim ve Düzenli dilbilgisinin bir üst kümesidir. Aşağıdaki şemada görülebilir -

CFG'nin tanımı

CFG, aşağıdaki dört bileşene sahip sonlu dilbilgisi kurallarından oluşur:

Terminal Olmayanlar Seti

V ile gösterilir. Terminal olmayanlar, dilbilgisi tarafından üretilen dilin tanımlanmasına daha fazla yardımcı olan dizge kümelerini gösteren sözdizimsel değişkenlerdir.

Terminal Seti

Ayrıca belirteç olarak adlandırılır ve Σ ile tanımlanır. Dizeler, terminallerin temel sembolleri ile oluşturulur.

Üretim Seti

P ile gösterilir. Set, terminallerin ve terminal olmayanların nasıl birleştirilebileceğini tanımlar. Her üretim (P) terminal olmayanlardan, bir oktan ve terminallerden (terminal sırası) oluşur. Terminal olmayanlara üretimin sol tarafı, terminallere ise üretimin sağ tarafı denir.

Başlatma Sembolü

Üretim, başlangıç ​​sembolünden başlar. S sembolü ile gösterilir. Terminal olmayan sembol her zaman başlangıç ​​sembolü olarak belirtilir.

Anlamsal analizin amacı tam anlam çıkarmaktır veya metinden sözlük anlamını söyleyebilirsiniz. Anlamsal çözümleyicinin işi, metnin anlamlı olup olmadığını kontrol etmektir.

Sözcük analizinin aynı zamanda sözcüklerin anlamıyla da ilgilendiğini zaten biliyoruz, o halde anlambilimsel analiz sözcüksel analizden nasıl farklıdır? Sözcüksel analiz daha küçük belirteçlere dayanır, ancak diğer tarafta anlamsal analiz daha büyük parçalara odaklanır. Anlamsal analizin aşağıdaki iki kısma ayrılmasının nedeni budur -

Tek bir kelimenin anlamını incelemek

Bireysel kelimelerin anlamının çalışılmasının yapıldığı anlamsal analizin ilk kısmıdır. Bu bölüme sözcüksel anlambilim denir.

Tek tek kelimelerin kombinasyonunu incelemek

İkinci bölümde, cümlelerde anlam sağlamak için tek tek kelimeler birleştirilecektir.

Anlamsal analizin en önemli görevi cümlenin doğru anlamını elde etmektir. Örneğin, cümleyi analiz edin“Ram is great.”Bu cümlede konuşmacı ya Lord Ram'dan ya da adı Ram olan bir kişiden bahsediyor. Bu yüzden cümlenin doğru anlamını elde etmek için anlambilimsel çözümleyicinin işi önemlidir.

Anlamsal Analizin Unsurları

Aşağıdakiler anlamsal analizin bazı önemli unsurlarıdır -

Hiponimlik

Genel bir terim ile bu genel terimin örnekleri arasındaki ilişki olarak tanımlanabilir. Burada genel terime hypernym, örneklerine hiponimler denir. Örneğin, renk kelimesi hypernym'dir ve mavi, sarı vb. Renk hiponimlerdir.

Homonimlik

Aynı yazılıma veya aynı biçime sahip ancak farklı ve ilgisiz anlamlara sahip kelimeler olarak tanımlanabilir. Örneğin, "Yarasa" kelimesi eşsesli bir kelimedir çünkü yarasa bir topa vurmak için bir alet olabilir veya yarasa aynı zamanda gece uçan bir memelidir.

Polysemy

Polysemy, "birçok işaret" anlamına gelen Yunanca bir kelimedir. Farklı ama ilişkili anlamı olan bir kelime veya ifadedir. Başka bir deyişle, çok anlamlılığın aynı yazılışı, ancak farklı ve ilişkili anlama sahip olduğunu söyleyebiliriz. Örneğin, "banka" kelimesi aşağıdaki anlamlara sahip çok anlamlı bir kelimedir -

  • Bir finans kurumu.

  • Böyle bir kurumun bulunduğu bina.

  • "Güvenmek" ile eşanlamlı.

Polysemy ve Homonymy Arasındaki Fark

Hem çok anlamlı hem de eş anlamlı sözcükler aynı sözdizimine veya yazılışına sahiptir. Aralarındaki temel fark, çok anlamlılıkta kelimelerin anlamlarının birbiriyle ilişkili olması, ancak eş anlamlılıkta kelimelerin anlamlarının birbiriyle ilişkili olmamasıdır. Örneğin, aynı kelime “Banka” hakkında konuşursak, “finans kurumu” veya “nehir kıyısı” anlamını yazabiliriz. Bu durumda, anlamlar birbiriyle ilgisiz olduğu için eşadlılık örneği olacaktır.

Eşanlamlı

Farklı formlara sahip ancak aynı veya yakın bir anlamı ifade eden iki sözcük öğesi arasındaki ilişkidir. Örnekler "yazar / yazar", "kader / kader" dir.

Antonymy

Bir eksene göre semantik bileşenleri arasında simetriye sahip iki sözcüksel öğe arasındaki ilişkidir. Zıtlığın kapsamı aşağıdaki gibidir:

  • Application of property or not - Örnek "yaşam / ölüm", "kesinlik / belirsizlik"

  • Application of scalable property - Örnek "zengin / fakir", "sıcak / soğuk"

  • Application of a usage - Örnek 'baba / oğul', 'ay / güneş'.

Anlam Temsil

Anlamsal analiz, bir cümlenin anlamının bir temsilini oluşturur. Ancak anlam temsiline ilişkin kavram ve yaklaşımlara girmeden önce, anlamsal sistemin yapı taşlarını anlamamız gerekir.

Anlamsal Sistemin Yapı Taşları

Kelimelerin anlamının kelime temsili veya temsilinde, aşağıdaki yapı taşları önemli bir rol oynar -

  • Entities- Belirli bir kişi, konum vb. Bireyi temsil eder. Örneğin, Haryana. Hindistan, Ram hepsi varlıktır.

  • Concepts - Kişi, şehir vb. Bireylerin genel kategorisini temsil eder.

  • Relations- Varlıklar ve kavram arasındaki ilişkiyi temsil eder. Örneğin Ram bir kişidir.

  • Predicates- Fiil yapılarını temsil eder. Örneğin, anlamsal roller ve durum dilbilgisi yüklemlere örnektir.

Şimdi anlam temsilinin, anlamsal sistemlerin yapı taşlarının nasıl bir araya getirileceğini gösterdiğini anlayabiliriz. Başka bir deyişle, bir durumu tanımlamak için varlıkları, kavramları, ilişkileri ve yüklemleri nasıl bir araya getireceğini gösterir. Aynı zamanda anlamsal dünya hakkında akıl yürütmeyi de sağlar.

Anlam Temsillerine Yaklaşımlar

Anlamsal analiz, anlamın temsili için aşağıdaki yaklaşımları kullanır:

  • Birinci dereceden yüklem mantığı (FOPL)

  • Anlamsal Ağlar

  • Frames

  • Kavramsal bağımlılık (CD)

  • Kural tabanlı mimari

  • Vaka Dilbilgisi

  • Kavramsal Grafikler

Anlam İhtiyacı Temsilleri

Burada ortaya çıkan bir soru, neden anlam temsiline ihtiyacımız olduğudur? Aşağıdakiler aynı sebeplerdir -

Dilsel unsurların dilsel olmayan unsurlara bağlanması

İlk neden, anlam temsilinin yardımıyla dilsel unsurların dilbilimsel olmayan unsurlara bağlanmasının yapılabilmesidir.

Kelime düzeyinde çeşitliliği temsil etmek

Anlam temsili yardımıyla, kesin, kanonik biçimler sözcük düzeyinde temsil edilebilir.

Muhakeme için kullanılabilir

Anlam temsili, dünyada neyin doğru olduğunu doğrulamak ve anlamsal temsilden bilgiyi çıkarmak için kullanılabilir.

Sözcüksel Anlambilim

Anlambilimsel analizin ilk kısmı, tek tek kelimelerin anlamını incelemek sözcüksel anlambilim olarak adlandırılır. Ayrıca kelimeleri, alt kelimeleri, ekleri (alt birimler), bileşik kelimeleri ve cümleleri içerir. Tüm sözcükler, alt sözcükler, vb. Toplu olarak sözcüksel öğeler olarak adlandırılır. Başka bir deyişle, sözcüksel anlambilimin sözcüksel öğeler, cümlelerin anlamı ve cümle sözdizimi arasındaki ilişki olduğunu söyleyebiliriz.

Sözcüksel anlambilimle ilgili adımlar aşağıdadır -

  • Sözcük, alt sözcük, ekler vb. Sözcük ögelerinin sınıflandırılması sözcüksel anlambilimde yapılır.

  • Sözcük, alt sözcük, ekler, vb. Gibi sözcük öğelerinin ayrıştırılması sözcüksel anlambilimde gerçekleştirilir.

  • Çeşitli sözcüksel anlamsal yapılar arasındaki benzerlikler kadar farklılıklar da analiz edilir.

Kelimelerin cümle içindeki kullanımına bağlı olarak farklı anlamları olduğunu anlıyoruz. İnsan dilleri hakkında konuşursak, o zaman da belirsizdir çünkü birçok kelime, bulundukları duruma bağlı olarak birden çok şekilde yorumlanabilir.

Doğal dil işlemede (NLP) kelime anlamındaki belirsizliği giderme, kelimenin belirli bir bağlamda kullanılmasıyla kelimenin hangi anlamının etkinleştirildiğini belirleme yeteneği olarak tanımlanabilir. Sözcüksel belirsizlik, sözdizimsel veya anlamsal, herhangi bir NLP sisteminin karşılaştığı ilk problemlerden biridir. Yüksek doğruluk düzeyine sahip konuşma parçası (POS) etiketleyicileri, Word'ün sözdizimsel belirsizliğini çözebilir. Öte yandan, anlamsal belirsizliği çözme sorununa WSD (kelime anlamındaki belirsizliği giderme) denir. Anlamsal belirsizliği çözmek, sözdizimsel belirsizliği çözmekten daha zordur.

Örneğin, kelime için var olan iki farklı anlam örneğini düşünün. “bass” -

  • Bas sesini duyabiliyorum.

  • Izgara levrek yemeyi sever.

Kelimenin oluşumu bassaçıkça farklı anlamı belirtir. İlk cümlede anlamıfrequency ve ikincisi, şu anlama geliyor fish. Bu nedenle, WSD tarafından belirsizliği giderilecekse, yukarıdaki cümlelerin doğru anlamı aşağıdaki gibi atanabilir -

  • Bas / frekans sesini duyabiliyorum.

  • Izgara levrek / balık yemeyi sever.

WSD'nin Değerlendirilmesi

WSD'nin değerlendirilmesi aşağıdaki iki girişi gerektirir -

Bir sözlük

WSD'nin değerlendirilmesi için ilk girdi, belirsizliği giderilecek duyuları belirtmek için kullanılan sözlüktür.

Test Kitaplığı

WSD'nin gerektirdiği bir diğer girdi, hedefe veya doğru duyulara sahip yüksek açıklamalı test külliyatidir. Test topluluğu iki türde olabilir & minsu;

  • Lexical sample - Bu tür bir külliyat, küçük bir kelime örneğinin belirsizliğini gidermek için gereken sistemde kullanılır.

  • All-words - Bu tür bir külliyat, akan bir metindeki tüm kelimelerin belirsizliğini gidermesinin beklendiği sistemde kullanılır.

Kelime Anlamında Netleştirme Yaklaşımları ve Yöntemleri (WSD)

WSD'ye yaklaşımlar ve yöntemler, kelime belirsizliğini gidermede kullanılan bilgi kaynağına göre sınıflandırılır.

Şimdi WSD'ye giden dört geleneksel yöntemi görelim -

Sözlüğe Dayalı veya Bilgiye Dayalı Yöntemler

Adından da anlaşılacağı gibi, belirsizliği gidermek için, bu yöntemler öncelikle sözlüklere, hazinelere ve sözcük bilgisine dayanır. Netleştirmek için somut kanıtları kullanmazlar. Lesk yöntemi, 1986 yılında Michael Lesk tarafından ortaya atılan, ufuk açıcı sözlüğe dayalı yöntemdir. Lesk algoritmasının dayandığı Lesk tanımı,“measure overlap between sense definitions for all words in context”. Bununla birlikte, 2000 yılında Kilgarriff ve Rosensweig, basitleştirilmiş Lesk tanımını şu şekilde verdiler:“measure overlap between sense definitions of word and current context”, bu ayrıca her seferinde bir kelime için doğru anlamı tanımlamak anlamına gelir. Burada mevcut bağlam, çevreleyen cümle veya paragrafta yer alan kelimeler kümesidir.

Denetlenen Yöntemler

Netliği ortadan kaldırmak için, makine öğrenimi yöntemleri eğitmek için anlam açıklamalı corpora kullanır. Bu yöntemler, bağlamın kendi başına anlamı netleştirmek için yeterli kanıt sağlayabileceğini varsayar. Bu yöntemlerde bilgi ve akıl yürütme kelimeleri gereksiz kabul edilir. Bağlam, kelimelerin bir dizi "özellikleri" olarak temsil edilir. Aynı zamanda çevreleyen sözcüklerle ilgili bilgileri de içerir. Destek vektör makinesi ve bellek tabanlı öğrenme, WSD'ye yönelik en başarılı denetimli öğrenme yaklaşımlarıdır. Bu yöntemler, yaratılması çok pahalı olan önemli miktarda manüel olarak algılanan külliyatlara dayanır.

Yarı denetimli Yöntemler

Eğitim külliyatının eksikliğinden dolayı, kelime anlam netleştirme algoritmalarının çoğu yarı denetimli öğrenme yöntemlerini kullanır. Bunun nedeni, yarı denetimli yöntemlerin hem etiketli hem de etiketlenmemiş verileri kullanmasıdır. Bu yöntemler, çok az miktarda açıklamalı metin ve büyük miktarda düz açıklamasız metin gerektirir. Yarı denetimli yöntemler tarafından kullanılan teknik, tohum verilerinden önyüklemedir.

Denetimsiz Yöntemler

Bu yöntemler, benzer bağlamda benzer duyuların oluştuğunu varsayar. Bu nedenle metinden duyular, bağlamın bazı benzerlik ölçüleri kullanılarak kelime oluşumlarını kümeleyerek uyarılabilir. Bu göreve kelime duyusu indüksiyonu veya ayrımcılık denir. Denetimsiz yöntemler, manuel çabalara bağımlı olmama nedeniyle bilgi edinme darboğazının üstesinden gelmek için büyük bir potansiyele sahiptir.

Kelime Anlamını Netleştirme (WSD) Uygulamaları

Kelime anlamında belirsizlik giderme (WSD), dil teknolojisinin hemen hemen her uygulamasında uygulanır.

Şimdi WSD'nin kapsamını görelim -

Makine Çevirisi

Makine çevirisi veya MT, WSD'nin en belirgin uygulamasıdır. MT'de, farklı duyular için farklı tercümelere sahip kelimelerin Sözcüksel seçimi WSD tarafından yapılır. MT'deki duyular, hedef dilde kelimeler olarak temsil edilir. Makine çeviri sistemlerinin çoğu açık WSD modülünü kullanmaz.

Bilgi Erişimi (IR)

Bilgi erişim (IR), özellikle metinsel bilgiler olmak üzere belge havuzlarından bilgilerin düzenlenmesi, depolanması, geri alınması ve değerlendirilmesi ile ilgilenen bir yazılım programı olarak tanımlanabilir. Sistem temelde kullanıcıların ihtiyaç duydukları bilgileri bulmalarına yardımcı olur, ancak soruların cevaplarını açık bir şekilde döndürmez. WSD, IR sistemine sağlanan sorguların belirsizliklerini çözmek için kullanılır. MT gibi, mevcut IR sistemleri açıkça WSD modülünü kullanmazlar ve kullanıcının sorguya yalnızca ilgili belgeleri almak için yeterli bağlamı yazacağı konseptine güvenirler.

Metin Madenciliği ve Bilgi Çıkarma (IE)

Uygulamaların çoğunda, WSD, metnin doğru analizini yapmak için gereklidir. Örneğin, WSD, akıllı toplama sisteminin doğru sözcükleri işaretlemesine yardımcı olur. Örneğin, tıbbi akıllı sistem "tıbbi uyuşturucular" yerine "yasa dışı uyuşturucuların" işaretlenmesine ihtiyaç duyabilir

Sözlükbilim

WSD ve sözlükbilimi döngü içinde birlikte çalışabilir çünkü modern sözlükbilim külliyat temellidir. Sözlükbilimi ile WSD, kaba deneysel anlam gruplamalarının yanı sıra istatistiksel olarak anlamlı bağlamsal anlam göstergeleri sağlar.

Kelime Anlamında Netleştirme (WSD) Zorlukları

Aşağıdakiler, kelime anlamında belirsizliği giderme (WSD) ile karşılaşılan bazı zorluklardır -

Sözlükler arasındaki farklar

WSD'nin en büyük sorunu kelimenin anlamına karar vermektir, çünkü farklı duyular çok yakından ilişkili olabilir. Farklı sözlükler ve eş anlamlılar bile kelimelerin duyulara farklı bölümlerini sağlayabilir.

Farklı uygulamalar için farklı algoritmalar

WSD'nin bir başka sorunu, farklı uygulamalar için tamamen farklı bir algoritmanın gerekli olabilmesidir. Örneğin, makine çevirisinde hedef kelime seçimi biçimini alır; ve bilgi erişiminde bir duyu envanteri gerekli değildir.

Yargıçlar arası varyans

WSD'nin bir başka sorunu da, WSD sistemlerinin genellikle sonuçlarının insanların görevleriyle karşılaştırılarak bir görev üzerinde test edilmesidir. Buna yargı varyans sorunu denir.

Kelime anlamında anlaşmazlık

WSD'deki diğer bir zorluk, kelimelerin kolayca ayrı alt anlamlara bölünememesidir.

Yapay zekanın en zor sorunu, doğal dili bilgisayarlarla işlemek veya başka bir deyişle doğal dil işleme , yapay zekanın en zor sorunudur. NLP'deki büyük problemlerden bahsedersek, o zaman NLP'deki en büyük problemlerden biri söylem işlemedir - ifadelerin biçimlendirmek için nasıl birbirine yapıştığına dair teoriler ve modeller oluşturmakcoherent discourse. Aslında dil, filmler gibi izole ve ilgisiz cümlelerden ziyade her zaman yan yana yerleştirilmiş, yapılandırılmış ve tutarlı cümle gruplarından oluşur. Bu tutarlı cümle gruplarına söylem adı verilir.

Tutarlılık Kavramı

Tutarlılık ve söylem yapısı birçok yönden birbirine bağlıdır. Tutarlılık, iyi metnin özelliği ile birlikte, doğal dil üretme sisteminin çıktı kalitesini değerlendirmek için kullanılır. Burada ortaya çıkan soru, bir metnin tutarlı olması ne anlama geliyor? Diyelim ki gazetenin her sayfasından bir cümle topladık, o zaman bu bir söylem mi olacak? Tabii ki değil. Bunun nedeni, bu cümlelerin tutarlılık göstermemesidir. Tutarlı söylem şu özelliklere sahip olmalıdır:

İfadeler arasındaki tutarlılık ilişkisi

Söylemler arasında anlamlı bağlantılar varsa, söylem tutarlı olacaktır. Bu özelliğe tutarlılık ilişkisi denir. Örneğin, ifadeler arasındaki bağlantıyı haklı çıkarmak için bir tür açıklama olmalıdır.

Varlıklar arasındaki ilişki

Bir söylemi tutarlı kılan bir diğer özellik, varlıklarla belirli bir tür ilişki olması gerektiğidir. Bu tür bir tutarlılığa varlık temelli tutarlılık denir.

Söylem yapısı

Söylemle ilgili önemli bir soru, söylemin ne tür bir yapıya sahip olması gerektiğidir. Bu sorunun cevabı, söylem üzerine uyguladığımız bölümlemeye bağlıdır. Söylem bölümlemeleri, geniş söylem için yapı türlerini belirleme olarak tanımlanabilir. Söylem bölümlemesini uygulamak oldukça zordur, ancakinformation retrieval, text summarization and information extraction tür uygulamalar.

Söylem Bölümleme Algoritmaları

Bu bölümde, söylem bölümleme algoritmaları hakkında bilgi edineceğiz. Algoritmalar aşağıda açıklanmıştır -

Denetimsiz Söylem Segmentasyonu

Denetimsiz söylem bölümleme sınıfı, genellikle doğrusal bölümleme olarak temsil edilir. Doğrusal bölümleme görevini bir örnek yardımıyla anlayabiliriz. Örnekte, metni çok paragraflı birimlere ayırma görevi vardır; birimler orijinal metnin geçişini temsil eder. Bu algoritmalar, metinsel birimleri birbirine bağlamak için belirli dilbilimsel cihazların kullanılması olarak tanımlanabilecek bağlılığa bağlıdır. Öte yandan, sözlüğe bağlılık, eş anlamlı kullanımı gibi iki veya daha fazla kelime arasındaki iki birimdeki ilişkinin gösterdiği uyumdur.

Denetlenen Söylem Segmentasyonu

Önceki yöntemde elle etiketlenmiş segment sınırı yoktur. Öte yandan, denetimli söylem bölümlemesinin sınır etiketli eğitim verilerine sahip olması gerekir. Aynı şeyi elde etmek çok kolay. Denetimli söylem bölümlemesinde, söylem işaretçisi veya işaret sözcükleri önemli bir rol oynar. Söylem işaretçisi veya işaret sözcüğü, söylem yapısını işaret etme işlevi gören bir sözcük veya tümceciktir. Bu söylem işaretçileri alana özgüdür.

Metin Tutarlılığı

Sözcüksel tekrar, yapıyı söylemde bulmanın bir yoludur, ancak tutarlı söylem olma gerekliliğini karşılamaz. Tutarlı söyleme ulaşmak için, tutarlılık ilişkilerine özel olarak odaklanmalıyız. Tutarlılık ilişkisinin bir söylemdeki ifadeler arasındaki olası bağlantıyı tanımladığını bildiğimiz gibi. Hebb, aşağıdaki gibi bu tür ilişkiler önermiştir:

İki dönem alıyoruz S0 ve S1 ilgili iki cümlenin anlamını temsil etmek için -

Sonuç

Devletin terimle iddia ettiği sonucuna varır S0 devletin iddia etmesine neden olabilir S1. Örneğin, iki ifade ilişkinin sonucunu gösterir: Ram ateşe yakalandı. Derisi yandı.

Açıklama

Devletin iddia ettiği sonucuna varıyor S1 devletin iddia etmesine neden olabilir S0. Örneğin, iki ifade ilişkiyi gösterir - Ram, Shyam'ın arkadaşıyla savaştı. O sarhoştu.

Paralel

P (a1, a2,…) iddiasından çıkarır S0 ve p (b1, b2,…) iddiadan S1. Burada ai ve bi, tüm i için benzerdir. Örneğin, iki ifade paraleldir - Ram aranan araba. Shyam para istedi.

Detaylandırma

Her iki iddiadan da aynı P önermesini çıkarır - S0 ve S1Örneğin, iki ifade ilişkinin detaylandırılmasını gösterir: Ram, Chandigarh'dandı. Shyam Kerala'lıydı.

Fırsat

Bir durum değişikliği iddiasından çıkarılabildiğinde olur. S0, son durumu buradan çıkarılabilir S1ve tam tersi. Örneğin, iki ifade ilişki vesilesini gösterir: Ram kitabı aldı. Shyam'a verdi.

Hiyerarşik Söylem Yapısı Oluşturma

Tüm söylemin tutarlılığı, tutarlılık ilişkileri arasındaki hiyerarşik yapı ile de düşünülebilir. Örneğin, aşağıdaki bölüm hiyerarşik yapı olarak temsil edilebilir -

  • S1 - Ram, para yatırmak için bankaya gitti.

  • S2 - Daha sonra Shyam'ın kumaş dükkanına giden bir trene bindi.

  • S3 - Biraz kıyafet almak istedi.

  • S4 - Parti için yeni kıyafetleri yok.

  • S5 - Shyam ile sağlığı konusunda da konuşmak istedi.

Referans Çözünürlük

Herhangi bir söylemden cümlelerin yorumlanması da bir diğer önemli görevdir ve bunu başarmak için kimin veya hangi varlık hakkında konuşulduğunu bilmemiz gerekir. Burada yorumlama referansı anahtar unsurdur.Referencebir varlığı veya bireyi belirtmek için dilsel ifade olarak tanımlanabilir. Örneğin, pasajda, Ram , ABC bankasının yöneticisi , testere onun bir dükkanında arkadaşı Shyam. Onunla buluşmaya gitti, Ram, His, O gibi dilbilimsel ifadeler referanstır.

Aynı notta, reference resolution hangi varlıkların hangi dilbilimsel ifadeyle ifade edildiğini belirleme görevi olarak tanımlanabilir.

Referans Çözünürlükte Kullanılan Terminoloji

Referans çözümlemede aşağıdaki terminolojileri kullanıyoruz -

  • Referring expression- Referans gerçekleştirmek için kullanılan doğal dil ifadesine, yönlendiren ifade denir. Örneğin, yukarıda kullanılan pasaj, atıfta bulunan bir ifadedir.

  • Referent- Yönlendirilen varlıktır. Örneğin, son verilen örnekte Ram bir referanstır.

  • Corefer- Aynı varlığa atıfta bulunmak için iki ifade kullanıldığında, bunlara corefers denir. Örneğin,Ram ve he temeldir.

  • Antecedent- Terim, başka bir terimi kullanma iznine sahiptir. Örneğin,Ram referansın öncülüdür he.

  • Anaphora & Anaphoric- Daha önce cümleye dahil edilmiş bir varlığa atıf olarak tanımlanabilir. Ve atıfta bulunan ifadeye anaforik denir.

  • Discourse model - Söylemde atıfta bulunulan varlıkların temsillerini ve dahil oldukları ilişkiyi içeren model.

Yönlendiren İfade Türleri

Şimdi farklı türden gönderme ifadelerini görelim. Beş tür referans ifadesi aşağıda açıklanmıştır -

Belirsiz İsim İfadeleri

Bu tür referanslar, dinleyen için söylem bağlamında yeni olan varlıkları temsil eder. Örneğin - Ram'ın bir gün ona yiyecek getirmeye gittiği cümlesinde - bazıları belirsiz bir göndermedir.

Kesin İsim İfadeleri

Yukarıdakinin tersine, bu tür bir referans, söylem bağlamında dinleyiciye yeni veya tanımlanamayan varlıkları temsil eder. Örneğin, - Eskiden The Times of India'yı okurdum - The Times of India cümlesinde kesin bir referanstır.

Zamirler

Kesin bir referans biçimidir. Örneğin Ram elinden geldiğince yüksek sesle güldü. Kelimehe ifade ifade eden zamiri temsil eder.

Göstericiler

Bunlar, basit belirli zamirlerden farklı şekilde gösterir ve davranır. Örneğin, bu ve bunlar gösterici zamirler.

İsimler

En basit atıfta bulunan ifade türüdür. Bir kişinin, kuruluşun ve yerin adı da olabilir. Örneğin, yukarıdaki örneklerde Ram, isim hakemlik ifadesidir.

Referans Çözüm Görevleri

İki referans çözüm görevi aşağıda açıklanmıştır.

Çekirdek Referans Çözünürlüğü

Aynı varlığa atıfta bulunan bir metinde atıfta bulunan ifadeleri bulma görevidir. Basit bir deyişle, temel ifadeleri bulma görevidir. Bir dizi temel atıfta bulunan ifadeler, çekirdek referans zinciri olarak adlandırılır. Örneğin - O, Baş Müdür ve Onun - bunlar, örnek olarak verilen ilk pasajdaki ifadelere atıfta bulunur.

Çekirdek Referans Çözünürlüğünde Kısıtlama

İngilizcede, öz referans çözümlemesinin ana sorunu zamirdir. Bunun arkasındaki sebep, zamirin birçok kullanımının olmasıdır. Örneğin, kendisi ve ona çok benziyor olabilir. Zamir aynı zamanda belirli şeylere atıfta bulunmayan şeylere de atıfta bulunur. Örneğin yağmur yağıyor. Gerçekten çok iyi.

Pronominal Anafora Çözünürlüğü

Çekirdek referans çözümünden farklı olarak, pronominal anafora çözünürlüğü, tek bir zamirin öncülü bulma görevi olarak tanımlanabilir. Örneğin, zamir onun ve pronominal anafora çözümlemesinin görevi Ram kelimesini bulmaktır çünkü Ram öncülüdür.

Etiketleme, belirteçlere otomatik tanım ataması olarak tanımlanabilecek bir sınıflandırma türüdür. Burada tanımlayıcı, konuşmanın bir bölümünü, anlamsal bilgiyi vb. Temsil edebilen etiket olarak adlandırılır.

Şimdi, Konuşma Parçası (PoS) etiketlemesinden bahsedersek, o zaman söz konusu kelimeye konuşma bölümlerinden birini atama işlemi olarak tanımlanabilir. Genellikle POS etiketleme olarak adlandırılır. Basit bir deyişle, POS etiketlemenin bir cümledeki her kelimeyi uygun konuşma bölümüyle etiketleme görevi olduğunu söyleyebiliriz. Konuşma bölümlerinin isimleri, fiilleri, zarfları, sıfatları, zamirleri, bağlaçları ve bunların alt kategorilerini içerdiğini zaten biliyoruz.

POS etiketlemelerinin çoğu Kural Tabanlı POS etiketleme, Stokastik POS etiketleme ve Dönüşüm tabanlı etiketleme kapsamına girer.

Kural tabanlı POS Etiketleme

En eski etiketleme tekniklerinden biri kural tabanlı POS etiketlemedir. Kural tabanlı etiketleyiciler, her bir kelimeyi etiketlemek için olası etiketleri elde etmek için sözlük veya sözlüğü kullanır. Sözcük birden fazla olası etikete sahipse, kural tabanlı etiketleyiciler doğru etiketi tanımlamak için elle yazılmış kuralları kullanır. Netleştirme, kural tabanlı etiketlemede, bir kelimenin dil özellikleri ile birlikte önceki ve sonraki kelimelerin analiz edilmesiyle de gerçekleştirilebilir. Örneğin, bir kelimenin önceki kelimesinin makale olduğunu varsayalım, o zaman kelime bir isim olmalıdır.

Adından da anlaşılacağı gibi, kural tabanlı POS etiketlemede bu tür tüm bilgiler kurallar şeklinde kodlanmıştır. Bu kurallar şunlar olabilir -

  • Bağlam kalıbı kuralları

  • Veya, Sonlu-durumlu otomata derlenen Normal ifade olarak, sözcüksel olarak belirsiz cümle gösterimi ile kesişir.

Kural tabanlı POS etiketlemeyi iki aşamalı mimarisi ile de anlayabiliriz -

  • First stage - İlk aşamada, her kelimeye potansiyel kelime-kelime bölümlerinin bir listesini atamak için bir sözlük kullanır.

  • Second stage - İkinci aşamada, listeyi her kelime için tek bir kelime bölümüne göre sıralamak için büyük elle yazılmış belirsizlik giderme kuralları listeleri kullanır.

Kural Tabanlı POS Etiketlemenin Özellikleri

Kural tabanlı POS etiketleyicileri aşağıdaki özelliklere sahiptir -

  • Bu etiketleyiciler, bilgi odaklı etiketleyicilerdir.

  • Kural tabanlı POS etiketlemedeki kurallar manuel olarak oluşturulur.

  • Bilgiler, kurallar şeklinde kodlanmıştır.

  • Yaklaşık 1000 civarında sınırlı sayıda kuralımız var.

  • Düzeltme ve dil modelleme, kural tabanlı etiketleyicilerde açıkça tanımlanır.

Stokastik POS Etiketleme

Başka bir etiketleme tekniği de Stokastik POS Etiketlemedir. Şimdi, burada ortaya çıkan soru, hangi modelin stokastik olabileceğidir. Frekans veya olasılık (istatistik) içeren model, stokastik olarak adlandırılabilir. Konuşma parçası etiketleme sorununa yönelik herhangi bir sayıda farklı yaklaşım, stokastik etiketleyici olarak adlandırılabilir.

En basit stokastik etiketleyici, POS etiketleme için aşağıdaki yaklaşımları uygular -

Kelime Sıklığı Yaklaşımı

Bu yaklaşımda, stokastik etiketleyiciler, bir kelimenin belirli bir etiketle ortaya çıkma olasılığına dayalı olarak kelimelerin belirsizliğini ortadan kaldırır. Eğitim setinde kelime ile en sık karşılaşılan etiketin o kelimenin belirsiz bir örneğine atanan etiket olduğunu da söyleyebiliriz. Bu yaklaşımla ilgili ana sorun, kabul edilemez etiket dizisi verebilmesidir.

Etiket Sırası Olasılıkları

Bu, etiketleyicinin belirli bir etiket dizisinin gerçekleşme olasılığını hesapladığı başka bir stokastik etiketleme yaklaşımıdır. Aynı zamanda n-gram yaklaşımı olarak da adlandırılır. Bu denir çünkü belirli bir kelime için en iyi etiket, önceki n etiketiyle oluşma olasılığı tarafından belirlenir.

Stokastik POST Etiketlemenin Özellikleri

Stokastik POS etiketleyicileri aşağıdaki özelliklere sahiptir -

  • Bu POS etiketlemesi, etiketin oluşma olasılığına dayanmaktadır.

  • Eğitim külliyatı gerektirir

  • Külliyatta bulunmayan kelimelerin olasılığı olmayacaktır.

  • Farklı test korpusu kullanır (eğitim külliyatından başka).

  • Eğitim külliyatında bir kelime ile ilişkili en sık kullanılan etiketleri seçtiği için en basit POS etiketlemesidir.

Dönüşüme Dayalı Etiketleme

Dönüşüm tabanlı etiketlemeye, Brill etiketleme de denir. POS'un verilen metne otomatik olarak etiketlenmesi için kural tabanlı bir algoritma olan dönüşüme dayalı öğrenmenin (TBL) bir örneğidir. TBL, dil bilgisine okunabilir bir şekilde sahip olmamızı sağlar, dönüşüm kurallarını kullanarak bir durumu başka bir duruma dönüştürür.

Hem daha önce açıklanan etiketleyicilerden - kural tabanlı hem de stokastik ilham alır. Kural tabanlı ve dönüşüm etiketleyici arasında benzerlik görürsek, o zaman kural tabanlı gibi, bu aynı zamanda hangi kelimelere hangi etiketlerin atanması gerektiğini belirleyen kurallara da dayanır. Öte yandan, stokastik ve dönüşüm etiketleyici arasında benzerlik görürsek, o zaman stokastik gibi, kuralların verilerden otomatik olarak indüklendiği makine öğrenme tekniğidir.

Dönüşüm Temelli Öğrenmenin (TBL) Çalışması

Dönüşüme dayalı etiketleyicilerin çalışmasını ve kavramını anlamak için dönüşüme dayalı öğrenmenin işleyişini anlamamız gerekir. TBL'nin çalışmasını anlamak için aşağıdaki adımları göz önünde bulundurun -

  • Start with the solution - TBL genellikle soruna bir çözümle başlar ve döngüsel olarak çalışır.

  • Most beneficial transformation chosen - Her döngüde TBL, en faydalı dönüşümü seçecektir.

  • Apply to the problem - Son adımda seçilen dönüşüm probleme uygulanacaktır.

Adım 2'de seçilen dönüşüm daha fazla değer eklemediğinde veya seçilecek başka dönüşüm olmadığında algoritma duracaktır. Bu tür bir öğrenme, sınıflandırma görevlerinde en uygun olanıdır.

Dönüşüme Dayalı Öğrenmenin (TBL) Avantajları

TBL'nin avantajları aşağıdaki gibidir -

  • Küçük bir dizi basit kural öğreniyoruz ve bu kurallar etiketleme için yeterli.

  • TBL'de geliştirme ve hata ayıklama çok kolaydır çünkü öğrenilen kuralların anlaşılması kolaydır.

  • Etiketlemedeki karmaşıklık azalır, çünkü TBL'de makine ile öğrenilen ve insan tarafından üretilen kurallar iç içe geçmiştir.

  • Dönüşüm tabanlı etiketleyici, Markov model etiketleyiciden çok daha hızlıdır.

Dönüşüme Dayalı Öğrenmenin (TBL) Dezavantajları

TBL'nin dezavantajları aşağıdaki gibidir -

  • Dönüşüme dayalı öğrenme (TBL) etiket olasılıkları sağlamaz.

  • TBL'de eğitim süresi özellikle büyük kurumlarda çok uzundur.

Gizli Markov Modeli (HMM) POS Etiketleme

HMM POS etiketlemesini derinlemesine incelemeden önce, Gizli Markov Modeli (HMM) kavramını anlamalıyız.

Gizli Markov Modeli

Bir HMM modeli, altta yatan stokastik sürecin gizlendiği, çift gömülü stokastik model olarak tanımlanabilir. Bu gizli stokastik süreç, yalnızca gözlemler dizisini üreten başka bir dizi olasılıksal süreç aracılığıyla gözlemlenebilir.

Misal

Örneğin, bir dizi gizli yazı tura atma deneyi yapılır ve sadece yazı ve yazılardan oluşan gözlem dizisini görürüz. İşlemin gerçek detayları - kaç tane jeton kullanıldığı, hangi sırayla seçildiği - bizden gizlidir. Bu turlar ve kuyruklar dizisini gözlemleyerek, diziyi açıklamak için birkaç HMM oluşturabiliriz. Aşağıda, bu problem için Gizli Markov Modelinin bir şekli verilmiştir -

HMM'de iki durum olduğunu ve her bir durumun farklı önyargılı madeni paraların seçimine karşılık geldiğini varsaydık. Aşağıdaki matris durum geçiş olasılıklarını verir -

$$A = \begin{bmatrix}a11 & a12 \\a21 & a22 \end{bmatrix}$$

Buraya,

  • aij = bir durumdan diğerine i'den j'ye geçiş olasılığı.

  • a11 + a12= 1 ve bir 21 + a 22 = 1

  • P1 = ilk madalyonun tura olasılığı, yani ilk madalyonun eğilimi.

  • P2 = ikinci madalyonun tura olasılığı, yani ikinci madalyonun eğilimi.

Ayrıca 3 veya daha fazla coin olduğunu varsayarak bir HMM modeli oluşturabiliriz.

Bu şekilde, HMM'yi aşağıdaki öğelerle karakterize edebiliriz -

  • N, modeldeki durum sayısı (yukarıdaki örnekte N = 2, sadece iki durum).

  • M, yukarıdaki örnekte her durumda görülebilen farklı gözlemlerin sayısı M = 2, yani H veya T).

  • A, durum geçiş olasılık dağılımı - yukarıdaki örnekte A matrisi.

  • P, her durumda gözlemlenebilir sembollerin olasılık dağılımı (bizim örneğimizde P1 ve P2).

  • Ben, ilk durum dağılımı.

POS Etiketleme için HMM Kullanımı

POS etiketleme süreci, büyük olasılıkla belirli bir kelime dizisini oluşturmuş olan etiketlerin sırasını bulma işlemidir. Bu POS sürecini Gizli Markov Modeli (HMM) kullanarak modelleyebiliriz.tags bunlar hidden states üreten observable output, yani words.

Matematiksel olarak, POS etiketlemede, her zaman maksimize eden bir etiket dizisi (C) bulmakla ilgileniyoruz -

P (C|W)

Nerede,

C = C 1 , C 2 , C 3 ... C T

W = W 1 , W 2 , W 3 , W T

Madalyonun diğer tarafında, gerçek şu ki, bu tür dizileri makul bir şekilde tahmin etmek için çok sayıda istatistiksel veriye ihtiyacımız var. Ancak problemi basitleştirmek için bazı varsayımların yanı sıra bazı matematiksel dönüşümler de uygulayabiliriz.

Bir POS etiketlemesi yapmak için HMM'nin kullanılması, Bayes girişiminin özel bir durumudur. Bu nedenle, yukarıda belirtilen koşullu olasılığın eşit olduğunu söyleyen Bayes kuralını kullanarak sorunu yeniden ifade ederek başlayacağız -

(PROB (C1,..., CT) * PROB (W1,..., WT | C1,..., CT)) / PROB (W1,..., WT)

Tüm bu durumlarda paydayı eleyebiliriz çünkü yukarıdaki değeri maksimize eden C dizisini bulmakla ilgileniyoruz. Bu cevabımızı etkilemeyecek. Şimdi, sorunumuz maksimize eden C dizisini bulmaya indirgeniyor -

PROB (C1,..., CT) * PROB (W1,..., WT | C1,..., CT) (1)

Yukarıdaki ifadedeki sorunu azalttıktan sonra bile, büyük miktarda veri gerektirecektir. Sorunun üstesinden gelmek için yukarıdaki ifadedeki iki olasılık hakkında makul bağımsızlık varsayımları yapabiliriz.

İlk Varsayım

Bir etiketin olasılığı, bir önceki (bigram modeli) veya önceki iki (trigram modeli) veya önceki n etiketine (n-gram modeli) bağlıdır ve matematiksel olarak aşağıdaki gibi açıklanabilir -

PROB (C1,..., CT) = Πi=1..T PROB (Ci|Ci-n+1…Ci-1) (n-gram model)

PROB (C1,..., CT) = Πi=1..T PROB (Ci|Ci-1) (bigram model)

Bir cümlenin başlangıcı, her etiket için bir ilk olasılık varsayılarak açıklanabilir.

PROB (C1|C0) = PROB initial (C1)

İkinci Varsayım

Yukarıdaki denklem (1) 'deki ikinci olasılık, aşağıdaki gibi matematiksel olarak açıklanabilen önceki veya sonraki kategorilerdeki kelimelerden bağımsız olarak bir kategoride bir kelimenin göründüğünü varsayarak yaklaşık olarak tahmin edilebilir:

PROB (W1,..., WT | C1,..., CT) = Πi=1..T PROB (Wi|Ci)

Şimdi, yukarıdaki iki varsayıma dayanarak, amacımız maksimize eden bir C dizisi bulmaya indirgeniyor

Πi=1...T PROB(Ci|Ci-1) * PROB(Wi|Ci)

Şimdi burada ortaya çıkan soru, problemi yukarıdaki forma çevirmek bize gerçekten yardımcı oldu. Cevap - evet, var. Büyük etiketlenmiş bir külliyatımız varsa, yukarıdaki formüldeki iki olasılık şu şekilde hesaplanabilir:

PROB (Ci=VERB|Ci-1=NOUN) = (# of instances where Verb follows Noun) / (# of instances where Noun appears) (2)

PROB (Wi|Ci) = (# of instances where Wi appears in Ci) /(# of instances where Ci appears) (3)

Bu bölümde, Doğal Dil İşlemede doğal dil başlangıcını tartışacağız. Başlangıç ​​olarak, önce Natural Language Grammar'ın ne olduğunu anlayalım.

Doğal Dil Dilbilgisi

Dilbilim için dil, bir grup rastgele ses işaretidir. Dilin yaratıcı, kurallarla yönetildiğini, aynı zamanda doğuştan ve evrensel olduğunu söyleyebiliriz. Öte yandan, insanca da. Dilin doğası farklı insanlar için farklıdır. Dilin doğası hakkında birçok yanlış anlama var. Bu nedenle belirsiz terimin anlamını anlamak çok önemlidir.‘grammar’. Dilbilimde gramer terimi, hangi dilin çalıştığı ile ilgili kurallar veya ilkeler olarak tanımlanabilir. Geniş anlamda, dilbilgisini iki kategoriye ayırabiliriz -

Betimleyici Dilbilgisi

Dilbilim ve dilbilgisi uzmanlarının konuşmacının dilbilgisini formüle ettiği kurallar kümesine açıklayıcı dilbilgisi denir.

Perspektif Dilbilgisi

Dilde bir doğruluk standardı sağlamaya çalışan çok farklı bir dilbilgisi anlayışıdır. Bu kategorinin dilin gerçek işleyişi ile pek ilgisi yoktur.

Dil Bileşenleri

Çalışma dili, geleneksel ve aynı zamanda dilbilimsel araştırmanın keyfi bölümleri olan birbiriyle ilişkili bileşenlere bölünmüştür. Bu bileşenlerin açıklaması aşağıdaki gibidir -

Fonoloji

Dilin ilk bileşeni sesbilimdir. Belirli bir dilin konuşma seslerinin incelenmesidir. Sözcüğün kökeni, "telefon" un ses veya ses anlamına geldiği Yunanca diline kadar izlenebilir. Fonolojinin bir alt bölümü olan fonetik, insan dilinin konuşma seslerinin üretimi, algısı veya fiziksel özellikleri açısından incelenmesidir. IPA (Uluslararası Fonetik Alfabe), fonoloji okurken insan seslerini düzenli bir şekilde temsil eden bir araçtır. IPA'da her yazılı sembol bir ve yalnızca bir konuşma sesini temsil eder ve bunun tersi de geçerlidir.

Sesbirimler

Bir dilde bir kelimeyi diğerinden ayıran ses birimlerinden biri olarak tanımlanabilir. Dilbilimde, ses birimleri eğik çizgiler arasında yazılır. Örneğin, fonem/k/ kit, skeç gibi kelimelerde oluşur.

Morfoloji

Dilin ikinci bileşenidir. Belirli bir dildeki kelimelerin yapısı ve sınıflandırılmasıyla ilgili çalışmadır. Sözcüğün kökeni, 'morphe' kelimesinin 'biçim' anlamına geldiği Yunanca dilindendir. Morfoloji, bir dilde kelimelerin oluşum ilkelerini ele alır. Başka bir deyişle, seslerin önekler, son ekler ve kökler gibi anlamlı birimler halinde nasıl birleştiği. Ayrıca, kelimelerin nasıl konuşma bölümlerine ayrılabileceğini de değerlendirir.

Lexeme

Dilbilimde, tek bir kelime tarafından alınan bir dizi forma karşılık gelen soyut morfolojik analiz birimine sözcükbirim denir. Bir sözcükbiriminin bir cümlede kullanılma şekli dilbilgisi kategorisine göre belirlenir. Lexeme, tek kelime veya çoklu kelime olabilir. Örneğin, konuşma kelimesi, konuşma, konuşma ve konuşma gibi birçok gramer varyantına sahip olabilen tek bir kelime sözlüğü örneğidir. Çok kelimeli sözlük, birden fazla ortografik kelimeden oluşabilir. Örneğin, konuşun, içeri çekin, vb. Çok kelimeli sözcük birime örnektir.

Sözdizimi

Dilin üçüncü bileşenidir. Kelimelerin sırasının ve daha büyük birimlere düzenlenmesinin incelenmesidir. Kelime, suntassein kelimesinin 'sıraya koymak' anlamına geldiği Yunanca diline kadar izlenebilir. Cümle türlerini ve yapılarını, cümleciklerin ve cümlelerin yapılarını inceler.

Anlambilim

Dilin dördüncü bileşenidir. Anlamın nasıl aktarıldığının incelenmesidir. Anlam, dış dünya ile ilgili olabilir veya cümlenin dilbilgisi ile ilgili olabilir. Kelime, semainein kelimesinin 'belirtmek', 'göstermek', 'sinyal' anlamına geldiği Yunanca diline kadar izlenebilir.

Edimbilim

Dilin beşinci bileşenidir. Dilin işlevlerinin ve bağlam içinde kullanımının incelenmesidir. Sözcüğün kökeni, 'pragma' sözcüğünün 'eylem', 'ilişki' anlamına geldiği Yunanca diline kadar izlenebilir.

Dilbilgisel Kategoriler

Bir dilbilgisi kategorisi, bir dilin dilbilgisi içindeki birimler veya özellikler sınıfı olarak tanımlanabilir. Bu birimler dilin yapı taşlarıdır ve ortak bir özellik kümesini paylaşır. Dilbilgisi kategorilerine dilbilgisi özellikleri de denir.

Dilbilgisi kategorilerinin envanteri aşağıda açıklanmıştır -

Numara

En basit gramer kategorisidir. Bu kategori ile ilgili tekil ve çoğul olmak üzere iki terimimiz var. Tekil, 'bir' kavramıdır, çoğul ise 'birden fazla' kavramıdır. Örneğin, köpek / köpekler, bu / bunlar.

Cinsiyet

Dilbilgisel cinsiyet, şahıs zamirleri ve 3. şahıslardaki çeşitlilikle ifade edilir. Dilbilgisel cinsiyet örnekleri tekildir - o, o, o; birinci ve ikinci kişi formları - ben, biz ve siz; 3. kişi çoğul halleri, ya ortak cinsiyet ya da nötr cinsiyettir.

Kişi

Bir başka basit gramer kategorisi de kişidir. Bunun altında, aşağıdaki üç terim tanınır -

  • 1st person - Konuşan kişi 1. kişi olarak kabul edilir.

  • 2nd person - Dinleyen veya konuşulan kişi 2. kişi olarak kabul edilir.

  • 3rd person - Hakkında konuştuğumuz kişi veya şey 3. kişi olarak kabul edilir.

Durum

En zor gramer kategorilerinden biridir. Bir isim cümlesinin (NP) fonksiyonunun veya bir isim cümlesinin bir fiil veya cümledeki diğer isim cümleleri ile olan ilişkisinin bir göstergesi olarak tanımlanabilir. Kişisel ve soru zamirlerinde ifade edilen aşağıdaki üç durum var:

  • Nominative case- Öznenin işlevidir. Örneğin, ben, biz, sen, o, o, o, onlar ve kimler aday.

  • Genitive case- Mülk sahibinin işlevidir. Örneğin, benim / benim, bizim / bizim, onun, onun / onun, onun, onların / onların, soysal olanlar.

  • Objective case- Nesnenin işlevidir. Mesela ben, biz, sen, o, o, onlar, objektif olanlar.

Derece

Bu gramer kategorisi sıfatlar ve zarflarla ilgilidir. Aşağıdaki üç terime sahiptir -

  • Positive degree- Bir kaliteyi ifade eder. Örneğin, büyük, hızlı, güzel pozitif derecelerdir.

  • Comparative degree- İki maddeden birinde kalitenin daha yüksek derecesini veya yoğunluğunu ifade eder. Örneğin, daha büyük, daha hızlı, daha güzel karşılaştırmalı derecelerdir.

  • Superlative degree- Üç veya daha fazla öğeden birinde kalitenin en büyük derecesini veya yoğunluğunu ifade eder. Örneğin, en büyük, en hızlı, en güzel, en üstün derecelerdir.

Kesinlik ve Belirsizlik

Bu iki kavram da çok basit. Bildiğimiz şekliyle kesinlik, konuşmacı veya işiten tarafından bilinen, tanıdık veya tanımlanabilen bir referansı temsil eder. Öte yandan belirsizlik, bilinmeyen veya alışılmadık bir referansı temsil eder. Kavram, bir makalenin bir isimle birlikte ortaya çıkmasıyla anlaşılabilir -

  • definite article-

  • indefinite article- a / an

Gergin

Bu gramer kategorisi fiille ilgilidir ve bir eylemin zamanının dilbilimsel göstergesi olarak tanımlanabilir. Zaman, konuşma anına göre bir olayın zamanını gösterdiği için bir ilişki kurar. Genel olarak, aşağıdaki üç türdendir -

  • Present tense- Şu andaki bir eylemin oluşumunu temsil eder. Örneğin, Ram çok çalışıyor.

  • Past tense- Bir eylemin şimdiki andan önceki halini temsil eder. Örneğin yağmur yağdı.

  • Future tense- Mevcut andan sonra bir eylemin meydana gelmesini temsil eder. Örneğin yağmur yağacak.

Görünüş

Bu gramer kategorisi, bir olayın bakış açısı olarak tanımlanabilir. Aşağıdaki türlerden olabilir -

  • Perfective aspect- Görünüm açıdan bir bütün olarak alınır. Örneğin, basit geçmiş zaman gibiyesterday I met my friend, İngilizce, olayı eksiksiz ve bütün olarak gördüğü için mükemmeldir.

  • Imperfective aspect- Görünüm, açıdan devam eden ve eksik kabul edilir. Örneğin, şimdiki zaman gibiI am working on this problem, İngilizce konuşması, olayı eksik ve devam eden olarak gördüğü için mükemmel değildir.

Ruh hali

Bu dilbilgisi kategorisini tanımlamak biraz zor ama basitçe konuşmacının ne hakkında konuştuğuna dair tutumunun bir göstergesi olarak ifade edilebilir. Aynı zamanda fiillerin dilbilgisel özelliğidir. Dilbilgisi zamanlarından ve gramer yönünden farklıdır. Ruh hallerinin örnekleri gösterge niteliğinde, sorgulayıcı, zorunlu, ihtiyatlı, sübjektif, potansiyel, isteğe bağlı, ulaçlar ve katılımcılardır.

Anlaşma

Concord da denir. Bir kelime, ilişkili olduğu diğer kelimelere bağlı olarak değiştiğinde gerçekleşir. Başka bir deyişle, bazı dilbilgisi kategorilerinin değerinin farklı kelimeler veya konuşmanın bir bölümü arasında uyuşmasını içerir. Diğer dilbilgisi kategorilerine dayalı anlaşmalar aşağıdadır -

  • Agreement based on Person- Özne ile fiil arasındaki anlaşmadır. Örneğin, biz her zaman "Ben" ve "O" kullanırız, ancak "O" ve "Ben" asla kullanılmaz.

  • Agreement based on Number- Bu anlaşma özne ve fiil arasındadır. Bu durumda, birinci tekil şahıs, çoğul ikinci şahıs vb. İçin belirli fiil formları vardır. Örneğin, 1. tekil şahıs: Ben gerçekten, 2. şahıs çoğul: Biz gerçekten, 3. şahıs tekiliz: Çocuk şarkı söylüyor, 3. şahıs çoğul: Oğlanlar şarkı söylüyor.

  • Agreement based on Gender- İngilizcede zamirler ve öncüller arasında cinsiyet konusunda fikir birliği vardır. Örneğin, hedefine ulaştı. Gemi hedefine ulaştı.

  • Agreement based on Case- Bu tür bir anlaşma İngilizcenin önemli bir özelliği değildir. Örneğin, ilk kim geldi - o mu yoksa kız kardeşi mi?

Konuşulan Dil Sözdizimi

Yazılı İngilizce ve sözlü İngilizce dilbilgisi birçok ortak özelliğe sahiptir, ancak bununla birlikte birçok yönden de farklılık gösterirler. Aşağıdaki özellikler, sözlü ve yazılı İngilizce dilbilgisi arasında ayrım yapar -

Eksiklikler ve Onarım

Bu çarpıcı özellik, sözlü ve yazılı İngilizce grameri birbirinden farklı kılar. Bireysel olarak akıntı fenomeni ve toplu olarak onarım fenomeni olarak bilinir. Rahatsızlıklar aşağıdakilerin kullanımını içerir -

  • Fillers words- Bazen cümle arasında bazı doldurucu kelimeler kullanırız. Bunlara dolgu duraklama dolguları denir. Bu tür kelimelerin örnekleri uh ve um'dir.

  • Reparandum and repair- Cümle arasında tekrarlanan kelime parçasına reparandum denir. Aynı bölümde değiştirilen kelimeye onarım denir. Bunu anlamak için aşağıdaki örneği düşünün -

Does ABC airlines offer any one-way flights uh one-way fares for 5000 rupees?

Yukarıdaki cümlede, tek yön uçuş bir onarım, tek yön uçuşlar ise bir onarımdır.

Yeniden başlatır

Dolgu durduktan sonra yeniden başlatma gerçekleşir. Örneğin, yukarıdaki cümlede, yeniden başlatmalar, konuşmacı tek yön uçuşları sormaya başladığında ve durduğunda, doldurucu duraklatarak kendini düzelttiğinde ve ardından tek yön ücretleri sormaya başladığında gerçekleşir.

Kelime Parçaları

Bazen cümleleri daha küçük kelime parçalarıyla konuşuyoruz. Örneğin,wwha-what is the time? İşte sözler w-wha kelime parçalarıdır.

Bilgi erişim (IR), özellikle metinsel bilgiler olmak üzere belge havuzlarından bilgilerin düzenlenmesi, depolanması, geri alınması ve değerlendirilmesi ile ilgilenen bir yazılım programı olarak tanımlanabilir. Sistem, kullanıcıların ihtiyaç duydukları bilgileri bulmalarına yardımcı olur ancak soruların yanıtlarını açık bir şekilde döndürmez. Gerekli bilgilerden oluşabilecek belgelerin varlığını ve yerini bildirir. Kullanıcının ihtiyacını karşılayan belgelere ilgili belgeler denir. Mükemmel bir IR sistemi yalnızca ilgili belgeleri alır.

Aşağıdaki diyagramın yardımıyla, bilgi alma (IR) sürecini anlayabiliriz -

Yukarıdaki diyagramdan, bilgiye ihtiyaç duyan bir kullanıcının doğal dilde sorgu şeklinde bir talep formüle etmesi gerekeceği açıktır. Daha sonra IR sistemi gerekli bilgiler hakkında ilgili çıktıyı dokümanlar şeklinde alarak cevap verecektir.

Bilgi Erişim (IR) Sisteminde Klasik Problem

IR araştırmasının temel amacı, belge havuzlarından bilgi almak için bir model geliştirmektir. Burada, adlı klasik bir problemi tartışacağız.ad-hoc retrieval problemIR sistemi ile ilgili.

Ad-hoc erişimde, kullanıcı gerekli bilgileri açıklayan doğal dilde bir sorgu girmelidir. Daha sonra IR sistemi istenen bilgilerle ilgili gerekli belgeleri iade edecektir. Örneğin, İnternette bir şey aradığımızı ve ihtiyacımıza göre alakalı olan bazı kesin sayfalar verdiğini, ancak bazı alakalı olmayan sayfalar da olabileceğini varsayalım. Bu, anlık erişim sorunundan kaynaklanmaktadır.

Ad-hoc Alımın Yönleri

Aşağıdakiler, IR araştırmasında ele alınan anlık geri alımın bazı yönleridir -

  • Alaka düzeyi geri bildirimi yardımıyla kullanıcılar bir sorgunun orijinal formülasyonunu nasıl iyileştirebilir?

  • Veritabanı birleştirme nasıl uygulanır, yani farklı metin veritabanlarından alınan sonuçlar tek bir sonuç kümesinde nasıl birleştirilebilir?

  • Kısmen bozuk veriler nasıl işlenir? Aynı için hangi modeller uygundur?

Bilgi Erişim (IR) Modeli

Matematiksel olarak modeller, gerçek dünyadaki bazı fenomenleri anlamak amacıyla birçok bilimsel alanda kullanılmaktadır. Bir bilgi alma modeli, bir kullanıcının verilen sorguya uygun olarak ne bulacağını tahmin eder ve açıklar. IR modeli, temel olarak, erişim prosedürünün yukarıda belirtilen yönlerini tanımlayan ve aşağıdakilerden oluşan bir modeldir:

  • Belgeler için bir model.

  • Sorgular için bir model.

  • Sorguları belgelerle karşılaştıran bir eşleştirme işlevi.

Matematiksel olarak, bir geri alma modeli şunlardan oluşur:

D - Belgeler için temsil.

R - Sorgular için temsil.

F - Aralarındaki ilişki ile birlikte D, Q için modelleme çerçevesi.

R (q,di)- Belgeleri sorguya göre sıralayan bir benzerlik işlevi. Sıralama da denir.

Bilgi Erişim (IR) Modeli Türleri

Bir bilgi modeli (IR) modeli aşağıdaki üç modele ayrılabilir:

Klasik IR Modeli

En basit ve uygulaması kolay IR modelidir. Bu model, aynı zamanda kolayca tanınan ve anlaşılan matematiksel bilgiye dayanmaktadır. Boolean, Vector ve Probabilistic üç klasik IR modelidir.

Klasik Olmayan IR Modeli

Klasik IR modeline tamamen zıttır. Bu tür IR modelleri benzerlik, olasılık, Boole işlemleri dışındaki ilkelere dayanmaktadır. Bilgi mantığı modeli, durum teorisi modeli ve etkileşim modelleri, klasik olmayan IR modelinin örnekleridir.

Alternatif IR Modeli

Klasik IR modelinin, diğer bazı alanlardan bazı spesifik tekniklerin kullanılmasıyla geliştirilmesidir. Küme modeli, bulanık model ve gizli anlamsal indeksleme (LSI) modelleri, alternatif IR modeline örnektir.

Bilgi alma (IR) sistemlerinin tasarım özellikleri

Şimdi IR sistemlerinin tasarım özelliklerini öğrenelim -

Ters İndeks

IR sistemlerinin çoğunun birincil veri yapısı, tersine çevrilmiş indeks biçimindedir. Tersine çevrilmiş bir indeksi, her kelime için, onu içeren tüm belgeleri ve belgedeki oluşumların sıklığını listeleyen bir veri yapısı olarak tanımlayabiliriz. Bir sorgu kelimesinin 'hitlerini' aramayı kolaylaştırır.

Kelime Yok Etmeyi Durdurun

Durdurma sözcükleri, arama için yararlı olma olasılığı düşük olan yüksek frekanslı sözcüklerdir. Daha az anlamsal ağırlıkları vardır. Bu tür tüm kelimeler durdurma listesi adı verilen bir listede yer alır. Örneğin “a”, “an”, “the” ve “in”, “of”, “for”, “at” gibi edatlar durdurma kelimelerine örnektir. Tersine çevrilmiş indeksin boyutu, durdurma listesi ile önemli ölçüde azaltılabilir. Zipf yasasına göre, birkaç düzine kelimeyi kapsayan bir durdurma listesi, ters çevrilmiş dizinin boyutunu neredeyse yarı yarıya azaltır. Öte yandan, bazen durdurma kelimesinin ortadan kaldırılması, arama için yararlı olan terimin ortadan kaldırılmasına neden olabilir. Örneğin, "A" alfabesini "Vitamin A" dan çıkarırsak, o zaman bir anlamı kalmaz.

Stemming

Morfolojik analizin basitleştirilmiş biçimi olan kök oluşturma, kelimelerin uçlarını keserek kelimelerin temel biçimini çıkarmanın sezgisel sürecidir. Örneğin gülmek, gülmek, gülmek kelimelerinin kökleri gülmek anlamına gelir.

Sonraki bölümlerimizde, bazı önemli ve faydalı IR modelleri hakkında tartışacağız.

Boole Modeli

En eski bilgi alma (IR) modelidir. Model, küme teorisine ve belgelerin terim kümeleri olduğu ve sorguların terimler üzerindeki Boole ifadeler olduğu Boole cebirine dayanmaktadır. Boole modeli şu şekilde tanımlanabilir:

  • D- Bir dizi kelime, yani bir belgede bulunan indeksleme terimleri. Burada her terim ya mevcuttur (1) ya da yoktur (0).

  • Q - Terimlerin dizin terimleri ve operatörlerin mantıksal ürünler olduğu bir Boole ifadesi - VE, mantıksal toplam - VEYA ve mantıksal fark - DEĞİL

  • F - Boole cebri, terim grupları ve belge grupları üzerinden

    Alaka düzeyi geri bildirimi hakkında konuşursak, Boolean IR modelinde Alaka tahmini aşağıdaki gibi tanımlanabilir -

  • R - Bir belge, ancak ve ancak sorgu ifadesini şu şekilde karşılarsa, sorgu ifadesiyle alakalı olarak tahmin edilir -

((˅) ˄ ˄ ˜ ℎ)

Bu modeli, bir dizi belgenin kesin bir tanımı olarak bir sorgu terimiyle açıklayabiliriz.

Örneğin, sorgu terimi “economic” terimle indekslenen belge kümesini tanımlar “economic”.

Şimdi, Boolean AND Operator ile terimleri birleştirdikten sonra sonuç ne olur? Tek terimlerin herhangi birinin belge setlerinden daha küçük veya bunlara eşit bir belge kümesi tanımlayacaktır. Örneğin, terimler içeren sorgu“social” ve “economic”her iki terimle indekslenmiş belge setini üretecektir. Başka bir deyişle, belge her iki kümenin kesişimiyle ayarlanır.

Şimdi, Boolean OR operatörüyle terimleri birleştirdikten sonra sonuç ne olur? Tek terimlerin herhangi birinin belge setlerinden büyük veya bunlara eşit bir belge kümesi tanımlayacaktır. Örneğin, terimler içeren sorgu“social” veya “economic” herhangi bir terimle indekslenmiş belge setini üretecek “social” veya “economic”. Başka bir deyişle, her iki setin birleşimiyle belge seti.

Boole Modunun Avantajları

Boole modelinin avantajları aşağıdaki gibidir -

  • Setlere dayanan en basit model.

  • Anlaması ve uygulaması kolay.

  • Yalnızca tam eşleşmeleri alır

  • Kullanıcıya sistem üzerinde bir kontrol hissi verir.

Boolean Modelinin Dezavantajları

Boole modelinin dezavantajları aşağıdaki gibidir -

  • Modelin benzerlik işlevi Boole'dir. Bu nedenle, kısmi eşleşmeler olmayacaktır. Bu, kullanıcılar için can sıkıcı olabilir.

  • Bu modelde, Boolean operatör kullanımının kritik bir kelimeden çok daha fazla etkisi vardır.

  • Sorgu dili anlamlıdır, ancak aynı zamanda karmaşıktır.

  • Alınan belgeler için sıralama yok.

Vektör Uzay Modeli

Boole modelinin yukarıdaki dezavantajlarından dolayı Gerard Salton ve meslektaşları, Luhn'un benzerlik kriterine dayanan bir model önerdiler. Luhn tarafından formüle edilen benzerlik kriteri, "Verilen unsurlarda ve bunların dağılımında iki temsilin ne kadar fazla mutabık kaldıysa, benzer bilgileri temsil etme olasılıkları o kadar yüksek olacaktır."

Vektör Uzay Modeli hakkında daha fazla bilgi edinmek için aşağıdaki önemli noktaları göz önünde bulundurun -

  • Dizin gösterimleri (belgeler) ve sorgular, yüksek boyutlu bir Öklid uzayına gömülü vektörler olarak kabul edilir.

  • Bir belge vektörünün bir sorgu vektörüne benzerlik ölçüsü genellikle aralarındaki açının kosinüsüdür.

Kosinüs Benzerlik Ölçü Formülü

Kosinüs, aşağıdaki formül yardımıyla hesaplanabilen normalleştirilmiş bir iç çarpımdır -

$$Score \lgroup \vec{d} \vec{q} \rgroup= \frac{\sum_{k=1}^m d_{k}\:.q_{k}}{\sqrt{\sum_{k=1}^m\lgroup d_{k}\rgroup^2}\:.\sqrt{\sum_{k=1}^m}m\lgroup q_{k}\rgroup^2 }$$

$$Score \lgroup \vec{d} \vec{q}\rgroup =1\:when\:d =q $$

$$Score \lgroup \vec{d} \vec{q}\rgroup =0\:when\:d\:and\:q\:share\:no\:items$$

Sorgu ve Belge ile Vektör Uzayı Gösterimi

Sorgu ve belgeler, iki boyutlu bir vektör uzayıyla temsil edilir. Şartlarcar ve insurance. Vektör uzayında bir sorgu ve üç belge vardır.

Araba ve sigorta terimlerine cevaben en üst sıradaki belge belge olacaktır d2 çünkü arasındaki açı q ve d2en küçüğüdür. Bunun arkasındaki sebep, hem otomobil hem de sigorta kavramlarının d 2'de öne çıkması ve dolayısıyla yüksek ağırlıklara sahip olmasıdır. Diğer tarafta,d1 ve d3 ayrıca her iki terimden de bahsedin, ancak her durumda bunlardan biri belgede merkezi olarak önemli bir terim değildir.

Vade Ağırlıklandırma

Terim ağırlıklandırma, vektör uzayındaki terimler üzerindeki ağırlıkları ifade eder. Terimin ağırlığı ne kadar yüksek olursa, terimin kosinüs üzerindeki etkisi o kadar büyük olur. Modeldeki daha önemli terimlere daha fazla ağırlık atanmalıdır. Şimdi burada ortaya çıkan soru, bunu nasıl modelleyebiliriz.

Bunu yapmanın bir yolu, bir belgedeki kelimeleri terim ağırlığı olarak saymaktır. Ancak, etkili bir yöntem olacağını düşünüyor musunuz?

Daha etkili olan başka bir yöntem de kullanmaktır. term frequency (tfij), document frequency (dfi) ve collection frequency (cfi).

Dönem Frekansı (tf ij )

Oluşum sayısı olarak tanımlanabilir wi içinde dj. Terim sıklığı tarafından yakalanan bilgi, verilen belgede bir kelimenin ne kadar dikkat çekici olduğudur veya başka bir deyişle, terim frekansı ne kadar yüksekse, o kelimenin o belgenin içeriğinin iyi bir açıklaması olduğunu söyleyebiliriz.

Belge Sıklığı (df i )

W i'nin oluştuğu koleksiyondaki toplam belge sayısı olarak tanımlanabilir . Bilgilendiriciliğin bir göstergesidir. Anlamsal olarak odaklanmış sözcükler, anlamsal olarak odaklanmamış sözcüklerin aksine belgede birkaç kez geçecektir.

Toplama Sıklığı (cf i )

Toplam oluşum sayısı olarak tanımlanabilir. wi koleksiyonda.

Matematiksel olarak, $df_{i}\leq cf_{i}\:and\:\sum_{j}tf_{ij} = cf_{i}$

Belge Frekans Ağırlıklandırma Formları

Şimdi belge frekans ağırlıklandırmasının farklı biçimleri hakkında bilgi edelim. Formlar aşağıda açıklanmıştır -

Terim Frekans Faktörü

Bu aynı zamanda terim frekans faktörü olarak da sınıflandırılır, yani bir terim t genellikle bir belgede görünür, ardından şunu içeren bir sorgu tbu belgeyi almalıdır. Kelimeleri birleştirebilirizterm frequency (tfij) ve document frequency (dfi) aşağıdaki gibi tek bir ağırlıkta -

$$weight \left ( i,j \right ) =\begin{cases}(1+log(tf_{ij}))log\frac{N}{df_{i}}\:if\:tf_{i,j}\:\geq1\\0 \:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\:\: if\:tf_{i,j}\:=0\end{cases}$$

Burada N toplam belge sayısıdır.

Ters Belge Frekansı (idf)

Bu, başka bir belge sıklık ağırlıklandırma biçimidir ve genellikle idf ağırlığı veya ters belge sıklık ağırlığı olarak adlandırılır. İdf ağırlıklandırmanın önemli noktası, terimin koleksiyondaki kıtlığının öneminin bir ölçüsü olması ve öneminin ortaya çıkma sıklığıyla ters orantılı olmasıdır.

Matematiksel olarak,

$$idf_{t} = log\left(1+\frac{N}{n_{t}}\right)$$

$$idf_{t} = log\left(\frac{N-n_{t}}{n_{t}}\right)$$

Buraya,

N = koleksiyondaki belgeler

n t = t terimini içeren belgeler

Kullanıcı Sorgusu İyileştirme

Herhangi bir bilgi erişim sisteminin birincil amacı doğruluk olmalıdır - kullanıcının ihtiyacına göre ilgili belgeler üretmek. Ancak burada ortaya çıkan soru, kullanıcının sorgu oluşturma stilini geliştirerek çıktıyı nasıl geliştirebiliriz. Kuşkusuz, herhangi bir IR sisteminin çıktısı kullanıcının sorgusuna bağlıdır ve iyi biçimlendirilmiş bir sorgu daha doğru sonuçlar üretecektir. Kullanıcı, sorgusunu aşağıdakilerin yardımıyla geliştirebilir:relevance feedback, herhangi bir IR modelinin önemli bir yönü.

Alaka Düzeyi Geri Bildirimi

Alaka düzeyi geri bildirimi, başlangıçta verilen sorgudan döndürülen çıktıyı alır. Bu ilk çıktı, kullanıcı bilgilerini toplamak ve bu çıktının yeni bir sorgu gerçekleştirmek için uygun olup olmadığını bilmek için kullanılabilir. Geri bildirimler şu şekilde sınıflandırılabilir -

Açık Geri Bildirim

Alaka düzeyinin değerlendiricilerinden alınan geri bildirim olarak tanımlanabilir. Bu değerlendiriciler ayrıca sorgudan alınan bir belgenin alaka düzeyini de gösterecektir. Sorgu alma performansını iyileştirmek için, alaka düzeyi geri bildirim bilgilerinin orijinal sorgu ile yorumlanması gerekir.

Sistemin değerlendiricileri veya diğer kullanıcıları, aşağıdaki uygunluk sistemlerini kullanarak alaka düzeyini açıkça belirtebilir:

  • Binary relevance system - Bu uygunluk geri bildirim sistemi, bir belgenin belirli bir sorgu için alakalı (1) veya alakasız (0) olduğunu gösterir.

  • Graded relevance system- Derecelendirilmiş alaka düzeyi geri bildirim sistemi, belirli bir sorgu için bir belgenin uygunluğunu sayılar, harfler veya açıklamalar kullanarak derecelendirmeye dayalı olarak belirtir. Açıklama "alakalı değil", "biraz alakalı", "çok alakalı" veya "alakalı" gibi olabilir.

Örtülü Geri Bildirim

Kullanıcı davranışından çıkarılan geri bildirimdir. Davranış, kullanıcının bir belgeyi görüntülemek için harcadığı süreyi, hangi belgenin görüntülenmek üzere seçildiğini ve hangisinin seçilmediğini, sayfaya göz atma ve kaydırma eylemlerini vb. İçerir.dwell time, bir kullanıcının bir arama sonucunda bağlantı verilen sayfayı görüntülerken ne kadar zaman harcadığının bir ölçüsüdür.

Sözde Geri Bildirim

Buna Kör geribildirim de denir. Otomatik yerel analiz için bir yöntem sağlar. Alaka düzeyi geri bildiriminin manuel kısmı, sözde alaka düzeyi geri bildiriminin yardımıyla otomatikleştirilir, böylece kullanıcı, genişletilmiş bir etkileşim olmadan iyileştirilmiş alma performansı elde eder. Bu geri bildirim sisteminin temel avantajı, açık uygunluk geri bildirim sisteminde olduğu gibi değerlendiricilere ihtiyaç duymamasıdır.

Bu geri bildirimi uygulamak için aşağıdaki adımları göz önünde bulundurun -

  • Step 1- İlk olarak, ilk sorgu tarafından döndürülen sonuç, ilgili sonuç olarak alınmalıdır. İlgili sonuç aralığı ilk 10-50 sonuç içinde olmalıdır.

  • Step 2 - Şimdi, örneğin terim sıklığı (tf) - ters belge sıklığı (idf) ağırlığı kullanan belgelerden en iyi 20-30 terimi seçin.

  • Step 3- Bu terimleri sorguya ekleyin ve döndürülen belgelerle eşleştirin. Ardından en alakalı belgeleri iade edin.

Doğal Dil İşleme (NLP), günümüzde gördüğümüz çeşitli yapay zeka biçimlerini türeten yeni bir teknolojidir ve insanlar ve makineler arasında kesintisiz ve etkileşimli bir arayüz oluşturmak için kullanımı bugünün ve yarının en önemli önceliği olmaya devam edecektir. giderek artan bilişsel uygulamalar. Burada, NLP'nin çok faydalı uygulamalarının bazılarını tartışacağız.

Makine Çevirisi

Bir kaynak dili veya metni başka bir dile çevirme işlemi olan makine çevirisi (MT), NLP'nin en önemli uygulamalarından biridir. Aşağıdaki akış şemasının yardımıyla makine çevirisi sürecini anlayabiliriz -

Makine Çeviri Sistemleri Türleri

Farklı türlerde makine çevirisi sistemleri vardır. Farklı türlerin neler olduğunu görelim.

İki Dilli MT Sistemi

İki dilli MT sistemleri, iki belirli dil arasında çeviriler üretir.

Çok Dilli MT Sistemi

Çok dilli MT sistemleri, herhangi bir dil çifti arasında çeviri üretir. Doğası gereği tek yönlü veya çift yönlü olabilirler.

Makine Çevirisine Yaklaşımlar (MT)

Şimdi Makine Çevirisine yönelik önemli yaklaşımları öğrenelim. MT'ye yaklaşımlar aşağıdaki gibidir -

Doğrudan MT Yaklaşımı

Daha az popülerdir ancak MT'nin en eski yaklaşımıdır. Bu yaklaşımı kullanan sistemler, SL'yi (kaynak dil) doğrudan TL'ye (hedef dil) çevirebilir. Bu tür sistemler doğası gereği iki dilli ve tek yönlüdür.

Interlingua Yaklaşımı

Interlingua yaklaşımını kullanan sistemler, SL'yi Interlingua (IL) adı verilen bir ara dile çevirir ve ardından IL'yi TL'ye çevirir. Interlingua yaklaşımı, aşağıdaki MT piramidinin yardımıyla anlaşılabilir -

Transfer Yaklaşımı

Bu yaklaşımda üç aşama vardır.

  • İlk aşamada, kaynak dil (SL) metinleri soyut SL odaklı sunumlara dönüştürülür.

  • İkinci aşamada, SL odaklı temsiller eşdeğer hedef dil (TL) odaklı temsillere dönüştürülür.

  • Üçüncü aşamada son metin oluşturulur.

Ampirik MT Yaklaşımı

Bu, MT için ortaya çıkan bir yaklaşımdır. Temel olarak, paralel külliyat biçiminde büyük miktarda ham veri kullanır. Ham veriler, metin ve çevirilerinden oluşur. Analoji tabanlı, örnek tabanlı, bellek tabanlı makine çevirisi teknikleri, deneysel MT yaklaşımını kullanır.

Spam ile Mücadele

Bugünlerde en yaygın sorunlardan biri istenmeyen e-postalardır. Bu, Spam filtrelerini daha da önemli hale getirir çünkü bu soruna karşı ilk savunma hattıdır.

Spam filtreleme sistemi, önemli yanlış-pozitif ve yanlış-olumsuz konular dikkate alınarak NLP işlevselliği kullanılarak geliştirilebilir.

Spam filtreleme için mevcut NLP modelleri

Aşağıda, spam filtrelemeye yönelik bazı mevcut NLP modelleri verilmiştir -

N-gram Modelleme

Bir N-Gram modeli, daha uzun bir dizenin N karakterli bir dilimidir. Bu modelde, istenmeyen e-postaların işlenmesi ve tespit edilmesinde aynı anda birkaç farklı uzunluktaki N-gram kullanılır.

Kelime Köklendirme

Spam gönderenler, spam e-postaların oluşturucuları, genellikle içerik tabanlı spam filtrelerini ihlal edebilmeleri için spam'lerinde bir veya daha fazla saldırı kelimesi karakterini değiştirirler. Bu nedenle, e-postadaki kelimelerin veya cümlelerin anlamını anlayamazlarsa içerik tabanlı filtrelerin kullanışlı olmadığını söyleyebiliriz. İstenmeyen posta filtrelemede bu tür sorunları ortadan kaldırmak için, birbirine benzeyen ve aynı sese sahip kelimeleri eşleştirebilen, kurala dayalı bir kelime türetme tekniği geliştirilmiştir.

Bayes Sınıflaması

Bu artık spam filtreleme için yaygın olarak kullanılan bir teknoloji haline geldi. Bir e-postadaki kelimelerin görülme sıklığı, istatistiksel bir teknikte, istenmeyen (istenmeyen posta) ve meşru (ham) e-posta iletilerinin bir veritabanındaki tipik oluşumuna karşı ölçülür.

Otomatik Özetleme

Bu dijital çağda en değerli şey veridir ya da bilgi diyebilirsiniz. Bununla birlikte, gerekli miktarda bilginin yanı sıra gerçekten faydalı oluyor muyuz? Cevap 'HAYIR' çünkü bilgi aşırı yüklü ve bilgi ve bilgiye erişimimiz onu anlama kapasitemizi çok aşıyor. Otomatik metin özetlemeye ve bilgiye ciddi bir ihtiyacımız var çünkü internet üzerindeki bilgi seli durmayacak.

Metin özetleme, daha uzun metin belgelerinin kısa ve doğru bir özetini oluşturma tekniği olarak tanımlanabilir. Otomatik metin özetleme, ilgili bilgileri daha kısa sürede almamıza yardımcı olacaktır. Doğal dil işleme (NLP), otomatik bir metin özetlemesi geliştirmede önemli bir rol oynar.

Soru cevaplama

Doğal dil işlemenin (NLP) bir başka ana uygulaması da soru cevaplamadır. Arama motorları dünyanın bilgisini parmaklarımızın ucuna getiriyor, ancak insanoğlunun gönderdiği soruları kendi doğal dillerinde cevaplamaya gelince hala eksik kalıyorlar. Google gibi büyük teknoloji şirketlerimiz de bu yönde çalışıyor.

Soru cevaplama, AI ve NLP alanlarında bir Bilgisayar Bilimleri disiplinidir. İnsanoğlunun gönderdiği soruları kendi doğal dillerinde otomatik olarak yanıtlayan bina sistemlerine odaklanır. Doğal dili anlayan bir bilgisayar sistemi, insanlar tarafından yazılan cümleleri dahili bir temsile çevirmek için bir program sisteminin yeteneğine sahiptir, böylece sistem tarafından geçerli cevaplar üretilebilir. Soruların sözdizimi ve anlamsal analizi yapılarak kesin cevaplar oluşturulabilir. Sözcüksel boşluk, belirsizlik ve çok dillilik, NLP'nin iyi bir soru yanıtlama sistemi oluşturmada karşılaştığı zorluklardan bazılarıdır.

Duygu Analizi

Doğal dil işlemenin (NLP) bir diğer önemli uygulaması duygu analizidir. Adından da anlaşılacağı gibi, duygu analizi birkaç gönderi arasındaki duyguları tanımlamak için kullanılır. Aynı zamanda duyguların açıkça ifade edilmediği duyguları tanımlamak için de kullanılır. Şirketler, müşterilerinin fikirlerini ve duygularını çevrimiçi olarak tanımlamak için doğal dil işleme (NLP) uygulaması olan duyarlılık analizini kullanıyor. Şirketlerin müşterilerinin ürün ve hizmetler hakkında ne düşündüğünü anlamalarına yardımcı olacaktır. Şirketler, duyarlılık analizi yardımıyla genel itibarlarını müşteri gönderilerinden değerlendirebilir. Bu şekilde, basit kutupluluğu belirlemenin ötesinde, duygu analizinin, ifade edilen görüşün arkasında ne olduğunu daha iyi anlamamıza yardımcı olmak için duyguları bağlam içinde anladığını söyleyebiliriz.

Bu bölümde, Python kullanarak dil işlemeyi öğreneceğiz.

Aşağıdaki özellikler Python'u diğer dillerden farklı kılar -

  • Python is interpreted - Yorumlayıcı Python'u çalışma zamanında işlediği için çalıştırmadan önce Python programımızı derlememize gerek yoktur.

  • Interactive - Python programlarımızı yazmak için yorumlayıcıyla doğrudan etkileşim kurabiliriz.

  • Object-oriented - Python, doğası gereği nesne odaklıdır ve bu dili program yazmayı kolaylaştırır, çünkü bu programlama tekniğinin yardımıyla, nesneleri nesnelerin içinde kapsüller.

  • Beginner can easily learn - Python ayrıca başlangıç ​​dili olarak da adlandırılır çünkü anlaşılması çok kolaydır ve çok çeşitli uygulamaların geliştirilmesini destekler.

Önkoşullar

Python 3'ün piyasaya sürülen en son sürümü Python 3.7.1'dir, Windows, Mac OS ve Linux OS'nin çoğu çeşidi için mevcuttur.

  • Windows için, Python'u indirmek ve kurmak için www.python.org/downloads/windows/ bağlantısına gidebiliriz .

  • MAC OS için www.python.org/downloads/mac-osx/ bağlantısını kullanabiliriz .

  • Linux durumunda, farklı Linux türleri, yeni paketlerin yüklenmesi için farklı paket yöneticileri kullanır.

    • Örneğin, Ubuntu Linux'a Python 3 kurmak için, terminalden aşağıdaki komutu kullanabiliriz -

$sudo apt-get install python3-minimal

Python programlama hakkında daha fazla çalışmak için Python 3 temel öğreticisini okuyun - Python 3

NLTK ile Başlarken

İngilizce metin analizi yapmak için Python kütüphanesi NLTK (Natural Language Toolkit) kullanacağız. Natural language toolkit (NLTK), özellikle İngilizce gibi doğal dil metninde bulunan konuşma bölümlerini tanımlamak ve etiketlemek için tasarlanmış bir Python kitaplıkları koleksiyonudur.

NLTK kurulumu

NLTK'yi kullanmaya başlamadan önce onu kurmamız gerekiyor. Aşağıdaki komutun yardımıyla Python ortamımıza kurabiliriz -

pip install nltk

Anaconda kullanıyorsak, aşağıdaki komut kullanılarak NLTK için bir Conda paketi oluşturulabilir -

conda install -c anaconda nltk

NLTK Verilerini İndirme

NLTK'yi kurduktan sonra, bir diğer önemli görev, önceden ayarlanmış metin havuzlarını indirmektir, böylece kolayca kullanılabilir. Ancak bundan önce NLTK'yi diğer herhangi bir Python modülünü içe aktardığımız şekilde içe aktarmamız gerekir. Aşağıdaki komut, NLTK'yi içe aktarmamıza yardımcı olacaktır -

import nltk

Şimdi, aşağıdaki komutun yardımıyla NLTK verilerini indirin -

nltk.download()

Mevcut tüm NLTK paketlerini kurmak biraz zaman alacaktır.

Diğer Gerekli Paketler

Gibi diğer bazı Python paketleri gensim ve patternNLTK kullanarak doğal dil işleme uygulamaları oluşturmanın yanı sıra metin analizi için de çok gereklidir. paketler aşağıda gösterildiği gibi kurulabilir -

Gensim

gensim, birçok uygulama için kullanılabilen sağlam bir anlamsal modelleme kitaplığıdır. Aşağıdaki komutu takip ederek kurabiliriz -

pip install gensim

Desen

Yapmak için kullanılabilir gensimpaket düzgün çalışıyor. Aşağıdaki komut, kalıbı kurmaya yardımcı olur -

pip install pattern

Tokenizasyon

Simgeleştirme, verilen metnin simge adı verilen daha küçük birimlere bölünmesi işlemi olarak tanımlanabilir. Kelimeler, sayılar veya noktalama işaretleri simge olabilir. Kelime segmentasyonu olarak da adlandırılabilir.

Misal

Input - Yatak ve sandalye mobilya çeşitleridir.

NLTK tarafından sağlanan farklı tokenleştirme paketlerimiz var. Bu paketleri ihtiyaçlarımıza göre kullanabiliriz. Paketler ve kurulum detayları aşağıdaki gibidir -

sent_tokenize paketi

Bu paket, giriş metnini cümlelere bölmek için kullanılabilir. Aşağıdaki komutu kullanarak içe aktarabiliriz -

from nltk.tokenize import sent_tokenize

word_tokenize paketi

Bu paket, giriş metnini kelimelere bölmek için kullanılabilir. Aşağıdaki komutu kullanarak içe aktarabiliriz -

from nltk.tokenize import word_tokenize

WordPunctTokenizer paketi

Bu paket, giriş metnini kelimelere ve noktalama işaretlerine bölmek için kullanılabilir. Aşağıdaki komutu kullanarak içe aktarabiliriz -

from nltk.tokenize import WordPuncttokenizer

Stemming

Dilbilgisel nedenlerden dolayı, dil birçok çeşitlilik içerir. Dilin, İngilizcenin yanı sıra diğer dillerin de farklı biçimlere sahip olması anlamındaki varyasyonlar. Örneğin, gibi kelimelerdemocracy, democratic, ve democratization. Makine öğrenimi projeleri için, makinelerin yukarıdaki gibi bu farklı kelimelerin aynı temel forma sahip olduğunu anlaması çok önemlidir. Bu yüzden metni incelerken kelimelerin temel formlarını çıkarmak çok faydalıdır.

Kök oluşturma, kelimelerin uçlarını keserek temel biçimlerini çıkarmaya yardımcı olan sezgisel bir süreçtir.

NLTK modülü tarafından sağlanan farklı kök tespiti paketleri aşağıdaki gibidir -

PorterStemmer paketi

Porter'ın algoritması, bu kök bulma paketi tarafından kelimelerin temel biçimini çıkarmak için kullanılır. Aşağıdaki komutun yardımıyla bu paketi içe aktarabiliriz -

from nltk.stem.porter import PorterStemmer

Örneğin, ‘write’ kelimenin çıktısı olurdu ‘writing’ bu saplayıcıya girdi olarak verilir.

LancasterStemmer paketi

Lancaster'ın algoritması, bu kök bulma paketi tarafından kelimelerin temel biçimini çıkarmak için kullanılır. Aşağıdaki komutun yardımıyla bu paketi içe aktarabiliriz -

from nltk.stem.lancaster import LancasterStemmer

Örneğin, ‘writ’ kelimenin çıktısı olurdu ‘writing’ bu saplayıcıya girdi olarak verilir.

SnowballStemmer paketi

Snowball'un algoritması, bu kök bulma paketi tarafından kelimelerin temel biçimini çıkarmak için kullanılır. Aşağıdaki komutun yardımıyla bu paketi içe aktarabiliriz -

from nltk.stem.snowball import SnowballStemmer

Örneğin, ‘write’ kelimenin çıktısı olurdu ‘writing’ bu saplayıcıya girdi olarak verilir.

Lemmatizasyon

Normalde kelime hazinesi ve morfolojik analiz kullanarak çekim sonlarını kaldırmayı amaçlayan kelimelerin temel biçimini çıkarmanın başka bir yoludur. Sözcüklendirmeden sonra herhangi bir kelimenin temel biçimine lemma denir.

NLTK modülü, lemmatizasyon için aşağıdaki paketi sağlar -

WordNetLemmatizer paketi

Bu paket, bir isim veya fiil olarak kullanılmasına bağlı olarak kelimenin temel biçimini çıkaracaktır. Bu paketi içe aktarmak için aşağıdaki komut kullanılabilir -

from nltk.stem import WordNetLemmatizer

POS Etiketlerini Sayma - Biriktirme

Konuşma bölümlerinin (POS) ve kısa cümlelerin tanımlanması, öbekleme yardımı ile yapılabilir. Doğal dil işlemede önemli süreçlerden biridir. Jeton oluşturma işleminin bilincinde olduğumuz için, yığınlama aslında bu jetonların etiketlenmesini yapmaktır. Yani cümlenin yapısını chunking süreci yardımıyla elde edebileceğimizi söyleyebiliriz.

Misal

Aşağıdaki örnekte, NLTK Python modülünü kullanarak cümledeki isim cümle parçalarını bulacak bir öbekleme kategorisi olan İsim-Cümle öbekleme uygulayacağız.

İsim-kelime öbeği oluşturmak için aşağıdaki adımları göz önünde bulundurun -

Step 1: Chunk grammar definition

Bu adımda, yığın oluşturma için dilbilgisini tanımlamamız gerekiyor. Uymamız gereken kurallardan oluşacaktır.

Step 2: Chunk parser creation

Sonra, bir yığın ayrıştırıcı oluşturmamız gerekiyor. Dilbilgisini ayrıştırır ve çıktıyı verir.

Step 3: The Output

Bu adımda çıktıyı ağaç formatında alacağız.

NLP Komut Dosyasını Çalıştırma

NLTK paketini içe aktararak başlayın -

import nltk

Şimdi cümleyi tanımlamamız gerekiyor.

Buraya,

  • DT belirleyicidir

  • VBP fiildir

  • JJ sıfattır

  • IN edattır

  • NN isim

sentence = [("a", "DT"),("clever","JJ"),("fox","NN"),("was","VBP"),
   ("jumping","VBP"),("over","IN"),("the","DT"),("wall","NN")]

Daha sonra dilbilgisi düzenli ifade şeklinde verilmelidir.

grammar = "NP:{<DT>?<JJ>*<NN>}"

Şimdi, dilbilgisini ayrıştırmak için bir ayrıştırıcı tanımlamamız gerekiyor.

parser_chunking = nltk.RegexpParser(grammar)

Şimdi, ayrıştırıcı cümleyi şu şekilde ayrıştıracak -

parser_chunking.parse(sentence)

Ardından, çıktı aşağıdaki gibi değişkende olacaktır: -

Output = parser_chunking.parse(sentence)

Şimdi, aşağıdaki kod çıktınızı bir ağaç şeklinde çizmenize yardımcı olacaktır.

output.draw()

ja/tutorial
es/tutorial
de/tutorial
fr/tutorial
th/tutorial
pt/tutorial
ru/tutorial
vi/tutorial
it/tutorial
ko/tutorial
tr/tutorial
id/tutorial
pl/tutorial
hi/tutorial
japost
espost
depost
frpost
thpost
ptpost
rupost
vipost
itpost
kopost
trpost
idpost
plpost
hipost

© Copyright 2021 - 2024 | All Rights Reserved