Doğal Dilde Söylem İşleme
Yapay zekanın en zor sorunu, doğal dili bilgisayarlarla işlemesi ya da diğer bir deyişle doğal dil işleme , yapay zekanın en zor sorunudur. NLP'deki büyük problemlerden bahsedersek, o zaman NLP'deki en büyük problemlerden biri söylem işlemedir - ifadelerin biçimlendirmek için nasıl birbirine yapıştığına dair teoriler ve modeller inşa etmekcoherent discourse. Aslında dil, filmler gibi izole edilmiş ve ilgisiz cümlelerden ziyade her zaman yan yana yerleştirilmiş, yapılandırılmış ve tutarlı cümle gruplarından oluşur. Bu tutarlı cümle gruplarına söylem adı verilir.
Tutarlılık Kavramı
Tutarlılık ve söylem yapısı birçok yönden birbirine bağlıdır. Tutarlılık, iyi metnin özelliği ile birlikte, doğal dil üretme sisteminin çıktı kalitesini değerlendirmek için kullanılır. Burada ortaya çıkan soru, bir metnin tutarlı olması ne anlama geliyor? Diyelim ki gazetenin her sayfasından bir cümle topladık, o zaman bu bir söylem mi olacak? Tabii ki değil. Bunun nedeni, bu cümlelerin tutarlılık göstermemesidir. Tutarlı söylem şu özelliklere sahip olmalıdır:
İfadeler arasındaki tutarlılık ilişkisi
Söylemler arasında anlamlı bağlantılar varsa, söylem tutarlı olacaktır. Bu özelliğe tutarlılık ilişkisi denir. Örneğin, ifadeler arasındaki bağlantıyı haklı çıkarmak için bir tür açıklama olmalıdır.
Varlıklar arasındaki ilişki
Bir söylemi tutarlı kılan bir diğer özellik, varlıklarla belirli bir tür ilişki olması gerektiğidir. Bu tür bir tutarlılığa varlık temelli tutarlılık denir.
Söylem yapısı
Söylemle ilgili önemli bir soru, söylemin ne tür bir yapıya sahip olması gerektiğidir. Bu sorunun cevabı, söylem üzerine uyguladığımız bölümlemeye bağlıdır. Söylem bölümlemeleri, geniş söylem için yapı türlerini belirleme olarak tanımlanabilir. Söylem bölümlemesini uygulamak oldukça zordur, ancakinformation retrieval, text summarization and information extraction tür uygulamalar.
Söylem Bölümleme Algoritmaları
Bu bölümde, söylem bölümleme algoritmaları hakkında bilgi edineceğiz. Algoritmalar aşağıda açıklanmıştır -
Denetimsiz Söylem Segmentasyonu
Denetimsiz söylem bölümleme sınıfı, genellikle doğrusal bölümleme olarak temsil edilir. Doğrusal segmentasyonun görevini bir örnek yardımıyla anlayabiliriz. Örnekte, metni çok paragraflı birimlere ayırma görevi vardır; birimler orijinal metnin geçişini temsil eder. Bu algoritmalar, metinsel birimleri birbirine bağlamak için belirli dilsel aygıtların kullanılması olarak tanımlanabilecek uyumluluğa bağlıdır. Öte yandan, sözlüğe bağlılık, eş anlamlı kullanımı gibi iki veya daha fazla kelime arasındaki iki birimdeki ilişkinin gösterdiği uyumdur.
Denetimli Söylem Segmentasyonu
Önceki yöntemin elle etiketlenmiş segment sınırları yoktur. Öte yandan, denetimli söylem bölümlemesinin sınır etiketli eğitim verilerine sahip olması gerekir. Aynı şeyi elde etmek çok kolaydır. Denetimli söylem bölümlemesinde, söylem işaretçisi veya işaret sözcükleri önemli bir rol oynar. Söylem işaretçisi veya işaret sözcüğü, söylem yapısını işaret etme işlevi gören bir sözcük veya tümceciktir. Bu söylem işaretçileri alana özgüdür.
Metin Tutarlılığı
Sözcüksel tekrar, yapıyı bir söylemde bulmanın bir yoludur, ancak tutarlı söylem olma gerekliliğini karşılamaz. Tutarlı söyleme ulaşmak için, tutarlılık ilişkilerine özel olarak odaklanmalıyız. Tutarlılık ilişkisinin bir söylemdeki ifadeler arasındaki olası bağlantıyı tanımladığını biliyoruz. Hebb, aşağıdaki gibi bu tür ilişkiler önermiştir:
İki dönem alıyoruz S0 ve S1 ilgili iki cümlenin anlamını temsil etmek için -
Sonuç
Devletin terimle iddia ettiği sonucuna varıyor S0 devletin iddia etmesine neden olabilir S1. Örneğin, iki ifade ilişkinin sonucunu gösterir: Ram ateşe yakalandı. Derisi yandı.
Açıklama
Devletin iddia ettiği sonucuna varıyor S1 devletin iddia etmesine neden olabilir S0. Örneğin, iki ifade ilişkiyi gösterir - Ram, Shyam'ın arkadaşıyla savaştı. O sarhoştu.
Paralel
P (a1, a2,…) iddiasından çıkarır S0 ve p (b1, b2,…) iddiadan S1. Burada ai ve bi, tüm i için benzerdir. Örneğin, iki ifade paraleldir - Ram aranan araba. Shyam para istedi.
Detaylandırma
Her iki iddiadan da aynı P önermesini çıkarır - S0 ve S1Örneğin, iki ifade ilişkinin detaylandırılmasını gösterir: Ram, Chandigarh'dandı. Shyam Kerala'lıydı.
Fırsat
Bir durum değişikliği iddiasından çıkarılabildiğinde olur. S0, son durumu buradan çıkarılabilir S1ve tam tersi. Örneğin, iki ifade ilişki vesilesini gösterir: Ram kitabı aldı. Shyam'a verdi.
Hiyerarşik Söylem Yapısı Oluşturma
Tüm söylemin tutarlılığı, tutarlılık ilişkileri arasındaki hiyerarşik yapı ile de düşünülebilir. Örneğin, aşağıdaki bölüm hiyerarşik yapı olarak temsil edilebilir -
S1 - Ram, para yatırmak için bankaya gitti.
S2 - Daha sonra Shyam'ın kumaş dükkanına giden bir trene bindi.
S3 - Biraz kıyafet almak istedi.
S4 - Parti için yeni kıyafetleri yok.
S5 - Shyam ile sağlığı konusunda da konuşmak istedi.
Referans Çözünürlük
Herhangi bir söylemden cümlelerin yorumlanması da bir diğer önemli görevdir ve bunu başarmak için kimin veya hangi varlık hakkında konuşulduğunu bilmemiz gerekir. Burada yorumlama referansı anahtar unsurdur.Referencebir varlığı veya bireyi belirtmek için dilsel ifade olarak tanımlanabilir. Örneğin, pasajda, Ram , ABC bankasının yöneticisi , testere onun bir dükkanında arkadaşı Shyam. Onunla buluşmaya gitti, Ram, His, O referans gibi dilsel ifadeler.
Aynı notta, reference resolution hangi varlıklara hangi dilbilimsel ifadeyle başvurulduğunu belirleme görevi olarak tanımlanabilir.
Referans Çözünürlükte Kullanılan Terminoloji
Referans çözümlemede aşağıdaki terminolojileri kullanıyoruz -
Referring expression- Referans gerçekleştirmek için kullanılan doğal dil ifadesine, yönlendiren ifade denir. Örneğin, yukarıda kullanılan pasaj, başvuran bir ifadedir.
Referent- Yönlendirilen varlıktır. Örneğin, son verilen örnekte Ram bir referanstır.
Corefer- Aynı varlığa atıfta bulunmak için iki ifade kullanıldığında, bunlara corefers denir. Örneğin,Ram ve he temeldir.
Antecedent- Terim, başka bir terim kullanma iznine sahiptir. Örneğin,Ram referansın öncülüdür he.
Anaphora & Anaphoric- Daha önce cümleye dahil edilmiş bir varlığa atıf olarak tanımlanabilir. Ve atıfta bulunan ifadeye anaforik denir.
Discourse model - Söylemde atıfta bulunulan varlıkların temsillerini ve dahil oldukları ilişkiyi içeren model.
Yönlendiren İfade Türleri
Şimdi farklı atıf ifadeleri türlerini görelim. Beş tür referans ifadesi aşağıda açıklanmıştır -
Belirsiz İsim İfadeleri
Bu tür referanslar, dinleyen için söylem bağlamında yeni olan varlıkları temsil eder. Örneğin - Ram'ın bir gün ona yiyecek getirmeye gittiği cümlesinde - bazıları belirsiz bir göndermedir.
Kesin İsim İfadeleri
Yukarıdakinin aksine, bu tür bir referans, söylem bağlamında dinleyiciye yeni veya tanımlanamayan varlıkları temsil eder. Örneğin, - Eskiden The Times of India'yı okurdum - The Times of India cümlesinde kesin bir referanstır.
Zamirler
Kesin bir referans biçimidir. Örneğin, Ram elinden geldiğince yüksek sesle güldü. Kelimehe ifade ifade eden zamiri temsil eder.
Göstericiler
Bunlar, basit belirli zamirlerden farklı şekilde gösterir ve davranır. Örneğin, bu ve bunlar gösterici zamirler.
İsimler
En basit atıfta bulunan ifade türüdür. Bir kişinin, kuruluşun ve yerin adı da olabilir. Örneğin, yukarıdaki örneklerde Ram, isim hakemlik ifadesidir.
Referans Çözüm Görevleri
İki referans çözüm görevi aşağıda açıklanmıştır.
Çekirdek Referans Çözünürlüğü
Bir metinde aynı varlığa atıfta bulunan ifadeleri bulma görevidir. Basit bir deyişle, temel ifadeleri bulma görevidir. Bir dizi temel atıfta bulunulan ifade, öz referans zinciri olarak adlandırılır. Örneğin - O, Baş Müdür ve Onun - bunlar, örnek olarak verilen ilk pasajdaki ifadelere atıfta bulunur.
Çekirdek Referans Çözünürlüğünde Kısıtlama
İngilizcede, öz referans çözümlemesinin ana sorunu it zamiridir. Bunun arkasındaki sebep, zamirin birçok kullanımının olmasıdır. Örneğin, kendisi ve ona çok benziyor olabilir. Zamir aynı zamanda belirli şeylere atıfta bulunmayan şeylere de atıfta bulunur. Örneğin yağmur yağıyor. Gerçekten çok iyi.
Pronominal Anafora Çözünürlüğü
Çekirdek referans çözünürlüğünün aksine, pronominal anafora çözünürlüğü, tek bir zamirin öncülünü bulma görevi olarak tanımlanabilir. Örneğin, zamir onun ve pronominal anafora çözümlemesinin görevi Ram kelimesini bulmaktır çünkü Ram öncülüdür.