AI - Pemrosesan Bahasa Alami
Natural Language Processing (NLP) mengacu pada metode AI untuk berkomunikasi dengan sistem cerdas menggunakan bahasa alami seperti bahasa Inggris.
Pemrosesan Bahasa Alami diperlukan ketika Anda ingin sistem cerdas seperti robot bekerja sesuai instruksi Anda, ketika Anda ingin mendengar keputusan dari sistem pakar klinis berbasis dialog, dll.
Bidang NLP melibatkan pembuatan komputer untuk melakukan tugas-tugas yang berguna dengan bahasa alami yang digunakan manusia. Input dan output dari sistem NLP dapat -
- Speech
- Teks Tertulis
Komponen NLP
Ada dua komponen NLP seperti yang diberikan -
Pemahaman Bahasa Alami (NLU)
Pemahaman melibatkan tugas-tugas berikut -
- Memetakan masukan yang diberikan dalam bahasa alami menjadi representasi yang berguna.
- Menganalisis berbagai aspek bahasa.
Generasi Bahasa Alami (NLG)
Ini adalah proses menghasilkan frasa dan kalimat yang bermakna dalam bentuk bahasa alami dari beberapa representasi internal.
Ini melibatkan -
Text planning - Ini termasuk mengambil konten yang relevan dari basis pengetahuan.
Sentence planning - Ini termasuk memilih kata-kata yang diperlukan, membentuk frase yang bermakna, mengatur nada kalimat.
Text Realization - Memetakan rencana kalimat ke dalam struktur kalimat.
NLU lebih keras dari NLG.
Kesulitan di NLU
NL memiliki bentuk dan struktur yang sangat kaya.
Ini sangat ambigu. Mungkin ada berbagai tingkat ambiguitas -
Lexical ambiguity - Ini pada tingkat yang sangat primitif seperti tingkat kata.
Misalnya, memperlakukan kata “board” sebagai kata benda atau kata kerja?
Syntax Level ambiguity - Kalimat dapat diuraikan dengan berbagai cara.
Misalnya, “Dia mengangkat kumbang bertopi merah”. - Apakah dia menggunakan topi untuk mengangkat kumbang atau dia mengangkat kumbang yang bertopi merah?
Referential ambiguity- Mengacu pada sesuatu dengan menggunakan kata ganti. Misalnya, Rima pergi ke Gauri. Dia berkata, "Saya lelah." - Sebenarnya siapa yang lelah?
Satu masukan dapat memiliki arti yang berbeda.
Banyak masukan bisa berarti hal yang sama.
Terminologi NLP
Phonology - Ini adalah studi tentang pengorganisasian suara secara sistematis.
Morphology - Ini adalah studi tentang konstruksi kata-kata dari unit bermakna primitif.
Morpheme - Ini adalah unit makna primitif dalam suatu bahasa.
Syntax- Ini mengacu pada mengatur kata-kata untuk membuat kalimat. Ini juga melibatkan penentuan peran struktural kata-kata dalam kalimat dan frasa.
Semantics - Ini berkaitan dengan arti kata dan bagaimana menggabungkan kata-kata menjadi frase dan kalimat yang bermakna.
Pragmatics - Ini berkaitan dengan penggunaan dan pemahaman kalimat dalam situasi yang berbeda dan bagaimana interpretasi kalimat dipengaruhi.
Discourse - Ini berkaitan dengan bagaimana kalimat sebelumnya dapat mempengaruhi interpretasi kalimat berikutnya.
World Knowledge - Ini mencakup pengetahuan umum tentang dunia.
Langkah-langkah di NLP
Ada lima langkah umum -
Lexical Analysis- Ini melibatkan mengidentifikasi dan menganalisis struktur kata. Leksikon bahasa berarti kumpulan kata dan frasa dalam suatu bahasa. Analisis leksikal membagi seluruh potongan txt menjadi paragraf, kalimat, dan kata-kata.
Syntactic Analysis (Parsing)- Ini melibatkan analisis kata-kata dalam kalimat untuk tata bahasa dan mengatur kata-kata dengan cara yang menunjukkan hubungan antar kata. Kalimat seperti "Sekolah pergi ke anak laki-laki" ditolak oleh penganalisis sintaksis bahasa Inggris.
Semantic Analysis- Ini menarik arti yang tepat atau arti kamus dari teks. Teks diperiksa kebermaknaannya. Ini dilakukan dengan memetakan struktur sintaksis dan objek dalam domain tugas. Penganalisis semantik mengabaikan kalimat seperti "es krim panas".
Discourse Integration- Arti kalimat apa pun bergantung pada arti kalimat tepat sebelumnya. Selain itu, hal ini juga membawa makna kalimat penggantinya.
Pragmatic Analysis- Selama ini, apa yang dikatakan ditafsirkan ulang tentang apa yang sebenarnya dimaksud. Ini melibatkan penurunan aspek-aspek bahasa yang membutuhkan pengetahuan dunia nyata.
Aspek Implementasi Analisis Sintaksis
Ada sejumlah algoritma yang telah dikembangkan peneliti untuk analisis sintaksis, tetapi kami hanya mempertimbangkan metode sederhana berikut -
- Tata Bahasa Bebas Konteks
- Pengurai Top-Down
Mari kita lihat secara detail -
Tata Bahasa Bebas Konteks
Ini adalah tata bahasa yang terdiri dari aturan dengan satu simbol di sisi kiri aturan penulisan ulang. Mari kita buat tata bahasa untuk mengurai kalimat -
"Burung itu mematuk biji-bijian"
Articles (DET)- a | sebuah | itu
Nouns- burung | burung | biji-bijian | biji-bijian
Noun Phrase (NP)- Artikel + Kata Benda | Artikel + Kata Sifat + Kata Benda
= DET N | DET ADJ N
Verbs- mematuk | mematuk | mematuk
Verb Phrase (VP)- NP V | V NP
Adjectives (ADJ)- cantik | kecil | kicau
Pohon parse memecah kalimat menjadi beberapa bagian terstruktur sehingga komputer dapat dengan mudah memahami dan memprosesnya. Agar algoritme parsing dapat membangun pohon parse ini, seperangkat aturan penulisan ulang, yang menjelaskan struktur pohon apa yang legal, perlu dibangun.
Aturan ini mengatakan bahwa simbol tertentu dapat diperluas pada pohon dengan urutan simbol lainnya. Menurut aturan logika urutan pertama, jika terdapat dua string Noun Phrase (NP) dan Verb Phrase (VP), maka string yang digabungkan dengan NP diikuti oleh VP adalah sebuah kalimat. Aturan penulisan ulang untuk kalimat tersebut adalah sebagai berikut -
S → NP VP
NP → DET N | DET ADJ N
VP → V NP
Lexocon −
DET → a | itu
ADJ → cantik | bertengger
N → burung | burung | biji-bijian | biji-bijian
V → mematuk | mematuk | mematuk
Pohon parse dapat dibuat seperti yang ditunjukkan -
Sekarang perhatikan aturan penulisan ulang di atas. Karena V dapat diganti dengan keduanya, "mematuk" atau "mematuk", kalimat seperti "Burung mematuk biji-bijian" dapat diizinkan secara salah. yaitu kesalahan persetujuan subjek-kata kerja disetujui sebagai benar.
Merit - Gaya tata bahasa yang paling sederhana, oleh karena itu banyak digunakan.
Demerits −
Mereka tidak terlalu tepat. Misalnya, “Butiran mematuk burung”, secara sintaksis benar menurut parser, tetapi meskipun tidak masuk akal, parser menganggapnya sebagai kalimat yang benar.
Untuk menghasilkan presisi tinggi, beberapa set tata bahasa perlu disiapkan. Ini mungkin memerlukan seperangkat aturan yang sama sekali berbeda untuk mengurai variasi tunggal dan jamak, kalimat pasif, dll., Yang dapat mengarah pada pembuatan sekumpulan besar aturan yang tidak dapat diatur.
Pengurai Top-Down
Di sini, pengurai dimulai dengan simbol S dan mencoba untuk menulis ulang menjadi urutan simbol terminal yang cocok dengan kelas kata dalam kalimat input hingga seluruhnya terdiri dari simbol terminal.
Ini kemudian diperiksa dengan kalimat masukan untuk melihat apakah cocok. Jika tidak, proses tersebut akan dimulai lagi dengan seperangkat aturan yang berbeda. Ini diulangi sampai ditemukan aturan khusus yang menjelaskan struktur kalimat.
Merit - Mudah diimplementasikan.
Demerits −
- Ini tidak efisien, karena proses pencarian harus diulangi jika terjadi kesalahan.
- Kecepatan kerja lambat.