Doğal Dil İşleme - Giriş
Dil, yardımı ile konuşabileceğimiz, okuyabileceğimiz ve yazabileceğimiz bir iletişim yöntemidir. Örneğin, doğal dilde kararlar, planlar ve daha fazlasını yaptığımızı düşünüyoruz; tam olarak, kelimelerle. Ancak bu yapay zeka çağında karşımıza çıkan en büyük soru, bilgisayarlarla benzer şekilde iletişim kurabileceğimizdir. Başka bir deyişle, insanlar bilgisayarlarla kendi doğal dillerinde iletişim kurabilir mi? Bilgisayarların yapılandırılmış verilere ihtiyacı olduğu için NLP uygulamaları geliştirmek bizim için bir zorluktur, ancak insan konuşması yapılandırılmamıştır ve genellikle doğası gereği belirsizdir.
Bu anlamda Doğal Dil İşleme'nin (NLP), Bilgisayar Biliminin, özellikle de bilgisayarların insan dilini anlamasını ve işlemesini sağlamakla ilgilenen Yapay Zeka'nın (AI) alt alanı olduğunu söyleyebiliriz. Teknik olarak, NLP'nin ana görevi, büyük miktarda doğal dil verilerini analiz etmek ve işlemek için bilgisayarları programlamak olacaktır.
NLP'nin Tarihçesi
NLP'nin tarihini dört aşamaya ayırdık. Aşamaların kendine özgü endişeleri ve stilleri vardır.
İlk Aşama (Makine Çevirisi Aşaması) - 1940'ların sonu ile 1960'ların sonu
Bu aşamada yapılan çalışma esas olarak makine çevirisine (MT) odaklanmıştır. Bu aşama bir coşku ve iyimserlik dönemiydi.
Şimdi ilk aşamanın içerdiği her şeyi görelim -
NLP ile ilgili araştırma, 1950'lerin başında, Booth & Richens'in araştırması ve Weaver'ın 1949'da makine çevirisi ile ilgili mutabakatından sonra başladı.
1954, Georgetown-IBM deneyinde Rusçadan İngilizceye otomatik çeviri üzerine sınırlı bir deneyin gösterildiği yıldı.
Aynı yıl MT (Makine Çevirisi) dergisinin yayınına başlandı.
Makine Çevirisi (MT) üzerine ilk uluslararası konferans 1952'de, ikincisi 1956'da yapıldı.
1961'de, Teddington Uluslararası Konferansında Dillerin Makine Çevirisi ve Uygulamalı Dil analizinde sunulan çalışma, bu aşamanın en yüksek noktasıydı.
İkinci Aşama (AI Etkilenen Aşama) - 1960'ların sonundan 1970'lerin sonuna kadar
Bu aşamada, yapılan iş büyük ölçüde dünya bilgisi ve anlam temsillerinin inşası ve manipülasyonundaki rolü ile ilgiliydi. Bu nedenle, bu aşama aynı zamanda AI aromalı aşama olarak da adlandırılır.
Aşama içinde şunlar vardı:
1961'in başlarında, veri veya bilgi tabanını ele alma ve inşa etme sorunları üzerinde çalışma başladı. Bu çalışma AI'dan etkilendi.
Aynı yıl bir BEYZBOL soru cevap sistemi de geliştirildi. Bu sisteme girdi kısıtlandı ve ilgili dil işleme basitti.
Minsky'de (1968) çok gelişmiş bir sistem tanımlanmıştır. Bu sistem, BEYZBOL soru cevaplama sistemi ile karşılaştırıldığında, yorumlama ve dil girdisine cevap verme konusunda bilgi tabanında çıkarsama ihtiyacı için tanındı ve sağlandı.
Üçüncü Aşama (Dilbilgisel-mantıksal Aşama) - 1970'lerin sonu ile 1980'lerin sonu
Bu aşama gramatik-mantıksal aşama olarak tanımlanabilir. Son aşamada pratik sistem kurmanın başarısızlığı nedeniyle, araştırmacılar AI'da bilgi temsili ve akıl yürütme için mantık kullanımına yöneldi.
Üçüncü aşamada şunlar vardı:
On yılın sonlarına doğru gramer-mantıksal yaklaşım, SRI'nin Temel Dil Motoru ve Söylem Temsil Teorisi gibi güçlü genel amaçlı cümle işlemcileriyle bize yardımcı oldu ve bu da daha geniş söylemle başa çıkmanın bir yolunu sundu.
Bu aşamada, ayrıştırıcılar gibi bazı pratik kaynaklara ve araçlara sahibiz, örn. Alvey Natural Language Tools ile birlikte daha operasyonel ve ticari sistemler, örn.
1980'lerde sözlük üzerine yapılan çalışmalar da gramatik-mantıksal yaklaşım yönüne işaret ediyordu.
Dördüncü Aşama (Sözcük ve Derlem Aşaması) - 1990'lar
Bunu sözcük ve bütünlük aşaması olarak tanımlayabiliriz. Aşama, 1980'lerin sonunda ortaya çıkan ve artan bir etki haline gelen dilbilgisine sözcükselleştirilmiş bir yaklaşıma sahipti. Bu on yılda, dil işleme için makine öğrenimi algoritmalarının tanıtılmasıyla doğal dil işlemede bir devrim yaşandı.
İnsan Dilleri Çalışması
Dil, insan yaşamı için çok önemli bir bileşen ve aynı zamanda davranışımızın en temel yönüdür. Bunu yazılı ve sözlü olmak üzere başlıca iki şekilde deneyimleyebiliriz. Yazılı olarak, bilgimizi bir nesilden diğerine aktarmanın bir yoludur. Sözlü biçimde, insanların günlük davranışlarında birbirleriyle koordinasyon içinde olmaları için birincil ortamdır. Dil, çeşitli akademik disiplinlerde çalışılmaktadır. Her disiplinin kendi sorunları ve bunları ele almak için bir dizi çözümü vardır.
Bunu anlamak için aşağıdaki tabloyu düşünün -
| Disiplin | Problemler | Araçlar |
|---|---|---|
Dilbilimciler |
Kelimelerle nasıl kalıplar ve cümleler oluşturulabilir? Bir cümlenin olası anlamını ne engeller? |
İyi biçimlilik ve anlam hakkındaki sezgiler. Yapının matematiksel modeli. Örneğin, model teorik anlambilim, biçimsel dil teorisi. |
Psikolinguistler |
İnsanlar cümlelerin yapısını nasıl belirleyebilir? Kelimelerin anlamı nasıl belirlenebilir? Anlama ne zaman gerçekleşir? |
İnsanların performansını ölçmek için deneysel teknikler. Gözlemlerin istatistiksel analizi. |
Filozoflar |
Kelimeler ve cümleler nasıl anlam kazanır? Nesneler kelimelerle nasıl tanımlanır? Anlamı nedir? |
Sezgi kullanarak doğal dil argümantasyonu. Mantık ve model teorisi gibi matematiksel modeller. |
Hesaplamalı Dilbilimciler |
Bir cümlenin yapısını nasıl belirleyebiliriz Bilgi ve akıl yürütme nasıl modellenebilir? Belirli görevleri yerine getirmek için dili nasıl kullanabiliriz? |
Algoritmalar Veri yapıları Biçimsel temsil ve akıl yürütme modelleri. Arama ve temsil yöntemleri gibi yapay zeka teknikleri. |
Dilde Belirsizlik ve Belirsizlik
Genellikle doğal dil işlemede kullanılan belirsizlik, birden fazla şekilde anlaşılma yeteneği olarak ifade edilebilir. Basit bir ifadeyle, belirsizliğin birden fazla şekilde anlaşılabilme yeteneği olduğunu söyleyebiliriz. Doğal dil çok belirsizdir. NLP, aşağıdaki belirsizlik türlerine sahiptir -
Sözcüksel Belirsizlik
Tek bir kelimenin belirsizliğine sözcüksel belirsizlik denir. Örneğin, kelimeyi işlemeksilver isim, sıfat veya fiil olarak.
Sözdizimsel Belirsizlik
Bu tür bir belirsizlik, bir cümle farklı şekillerde ayrıştırıldığında ortaya çıkar. Örneğin, "Adam kızı teleskopla gördü" cümlesi. Adamın kızı teleskopla mı gördüğü yoksa teleskopuyla mı gördüğü belirsizdir.
Anlamsal Belirsizlik
Bu tür bir belirsizlik, kelimelerin anlamı yanlış yorumlandığında ortaya çıkar. Başka bir deyişle, anlamsal belirsizlik, bir cümle belirsiz bir kelime veya kelime öbeği içerdiğinde ortaya çıkar. Örneğin, "Araba hareket halindeyken direğe çarptı" cümlesi anlamsal belirsizliğe sahiptir çünkü yorumlar "Araba hareket ederken direğe çarptı" ve "Direk hareket ederken araba direğe çarptı" şeklinde olabilir.
Anaforik Belirsizlik
Bu tür bir belirsizlik, söylemde anafora varlıklarının kullanılması nedeniyle ortaya çıkar. Örneğin, at tepeye koştu. Çok dikti. Yakında yoruldu. Burada, iki durumda “o” nun anaforik referansı belirsizliğe neden olur.
Pragmatik belirsizlik
Bu tür bir belirsizlik, bir cümlenin bağlamının ona birden çok yorum getirdiği durumu ifade eder. Basit bir deyişle, ifade spesifik olmadığında pragmatik belirsizliğin ortaya çıktığını söyleyebiliriz. Örneğin, “Ben de senden hoşlanıyorum” cümlesi, senden hoşlandığım gibi (tıpkı senin benden hoşlandığın gibi), senden hoşlanıyorum (tıpkı başka birinin dozu gibi) birden çok yorumu olabilir.
NLP Aşamaları
Aşağıdaki diyagram, doğal dil işlemedeki aşamaları veya mantıksal adımları göstermektedir -
Morfolojik İşleme
NLP'nin ilk aşamasıdır. Bu aşamanın amacı, dil girdisi parçalarını paragraflara, cümlelere ve kelimelere karşılık gelen simge kümelerine ayırmaktır. Örneğin, şöyle bir kelime“uneasy” iki alt kelimeye bölünebilir “un-easy”.
Sözdizimi Analizi
NLP'nin ikinci aşamasıdır. Bu aşamanın amacı iki aşamadır: bir cümlenin iyi oluşup oluşmadığını kontrol etmek ve onu farklı kelimeler arasındaki sözdizimsel ilişkileri gösteren bir yapıya bölmek. Örneğin, gibi bir cümle“The school goes to the boy” sözdizimi çözümleyicisi veya ayrıştırıcı tarafından reddedilebilir.
Anlamsal Analiz
NLP'nin üçüncü aşamasıdır. Bu aşamanın amacı tam anlam çıkarmaktır ya da metinden sözlük anlamı söyleyebilirsiniz. Metnin anlamlı olup olmadığı kontrol edilir. Örneğin, anlambilimsel analizci "Sıcak dondurma" gibi bir cümleyi reddeder.
Pragmatik Analiz
NLP'nin dördüncü aşamasıdır. Pragmatik analiz, belirli bir bağlamda var olan gerçek nesnelere / olaylara, son aşamada elde edilen nesne referanslarıyla (anlambilimsel analiz) basitçe uyar. Örneğin, "Muzu sepete rafa koyun" cümlesinin iki anlamsal yorumu olabilir ve pragmatik analizci bu iki olasılık arasında seçim yapacaktır.