AI dengan Python - Pemrosesan Bahasa Alami
Natural Language Processing (NLP) mengacu pada metode AI untuk berkomunikasi dengan sistem cerdas menggunakan bahasa alami seperti bahasa Inggris.
Pemrosesan Bahasa Alami diperlukan ketika Anda ingin sistem cerdas seperti robot bekerja sesuai instruksi Anda, ketika Anda ingin mendengar keputusan dari sistem pakar klinis berbasis dialog, dll.
Bidang NLP melibatkan membuat komputer melakukan tugas-tugas yang berguna dengan bahasa alami yang digunakan manusia. Input dan output dari sistem NLP dapat -
- Speech
- Teks Tertulis
Komponen NLP
Di bagian ini, kita akan belajar tentang berbagai komponen NLP. Ada dua komponen NLP. Komponennya dijelaskan di bawah -
Pemahaman Bahasa Alami (NLU)
Ini melibatkan tugas-tugas berikut -
Memetakan masukan yang diberikan dalam bahasa alami menjadi representasi yang berguna.
Menganalisis berbagai aspek bahasa.
Generasi Bahasa Alami (NLG)
Ini adalah proses menghasilkan frase dan kalimat yang bermakna dalam bentuk bahasa alami dari beberapa representasi internal. Ini melibatkan -
Text planning - Ini termasuk mengambil konten yang relevan dari basis pengetahuan.
Sentence planning - Ini termasuk memilih kata-kata yang diperlukan, membentuk frasa yang bermakna, mengatur nada kalimat.
Text Realization - Ini memetakan rencana kalimat ke dalam struktur kalimat.
Kesulitan di NLU
NLU sangat kaya dalam bentuk dan struktur; Namun, ini ambigu. Mungkin ada berbagai tingkat ambiguitas -
Ambiguitas leksikal
Ini berada pada level yang sangat primitif seperti level kata. Misalnya, memperlakukan kata “board” sebagai kata benda atau kata kerja?
Ambiguitas tingkat sintaks
Kalimat dapat diuraikan dengan berbagai cara. Misalnya, “Dia mengangkat kumbang bertopi merah”. - Apakah dia menggunakan topi untuk mengangkat kumbang atau dia mengangkat kumbang yang bertopi merah?
Ambiguitas referensial
Mengacu pada sesuatu menggunakan kata ganti. Misalnya, Rima pergi ke Gauri. Dia berkata, "Saya lelah." - Sebenarnya siapa yang lelah?
Terminologi NLP
Sekarang mari kita lihat beberapa istilah penting dalam terminologi NLP.
Phonology - Ini adalah studi tentang pengorganisasian suara secara sistematis.
Morphology - Ini adalah studi tentang konstruksi kata-kata dari unit bermakna primitif.
Morpheme - Ini adalah unit makna primitif dalam suatu bahasa.
Syntax- Ini mengacu pada mengatur kata-kata untuk membuat kalimat. Ini juga melibatkan penentuan peran struktural kata-kata dalam kalimat dan frasa.
Semantics - Ini berkaitan dengan arti kata dan bagaimana menggabungkan kata-kata menjadi frase dan kalimat yang bermakna.
Pragmatics - Ini berkaitan dengan penggunaan dan pemahaman kalimat dalam situasi yang berbeda dan bagaimana interpretasi kalimat dipengaruhi.
Discourse - Ini berkaitan dengan bagaimana kalimat sebelumnya dapat mempengaruhi interpretasi kalimat berikutnya.
World Knowledge - Ini mencakup pengetahuan umum tentang dunia.
Langkah-langkah di NLP
Bagian ini menunjukkan langkah-langkah berbeda di NLP.
Analisis Leksikal
Ini melibatkan mengidentifikasi dan menganalisis struktur kata. Leksikon bahasa berarti kumpulan kata dan frasa dalam suatu bahasa. Analisis leksikal membagi seluruh potongan txt menjadi paragraf, kalimat, dan kata-kata.
Analisis Sintaksis (Parsing)
Ini melibatkan analisis kata-kata dalam kalimat untuk tata bahasa dan mengatur kata-kata dengan cara yang menunjukkan hubungan antar kata. Kalimat seperti "Sekolah pergi ke anak laki-laki" ditolak oleh penganalisis sintaksis bahasa Inggris.
Analisis Semantik
Ini menarik arti yang tepat atau arti kamus dari teks. Teks diperiksa kebermaknaannya. Ini dilakukan dengan memetakan struktur sintaksis dan objek dalam domain tugas. Penganalisis semantik mengabaikan kalimat seperti "es krim panas".
Integrasi Wacana
Arti kalimat apa pun bergantung pada arti kalimat tepat sebelumnya. Selain itu, hal ini juga membawa makna kalimat penggantinya.
Analisis Pragmatis
Selama ini, apa yang dikatakan ditafsirkan ulang tentang apa yang sebenarnya dimaksud. Ini melibatkan penurunan aspek-aspek bahasa yang membutuhkan pengetahuan dunia nyata.