Pemrosesan Wacana Bahasa Alami
Masalah paling sulit dari AI adalah mengolah bahasa alami oleh komputer atau dengan kata lain pemrosesan bahasa alami merupakan masalah kecerdasan buatan yang paling sulit. Jika kita berbicara tentang masalah utama dalam NLP, maka salah satu masalah utama dalam NLP adalah pemrosesan wacana - membangun teori dan model tentang bagaimana ucapan saling menempel membentukcoherent discourse. Sebenarnya, bahasa tersebut selalu terdiri dari kumpulan kalimat yang berurutan, terstruktur, dan koheren, bukan kalimat yang terisolasi dan tidak terkait seperti film. Kelompok kalimat yang koheren ini disebut sebagai wacana.
Konsep Koherensi
Koherensi dan struktur wacana saling berhubungan dalam banyak hal. Koherensi, bersama dengan properti teks yang baik, digunakan untuk mengevaluasi kualitas keluaran sistem pembangkitan bahasa alami. Pertanyaan yang muncul di sini adalah apa yang dimaksud dengan teks yang koheren? Misalkan kita mengumpulkan satu kalimat dari setiap halaman koran, apakah itu akan menjadi wacana? Tentu saja tidak. Itu karena kalimat-kalimat ini tidak menunjukkan koherensi. Wacana yang koheren harus memiliki properti berikut -
Hubungan koherensi antar ucapan
Wacana itu akan koheren jika memiliki hubungan yang bermakna di antara ucapannya. Properti ini disebut hubungan koherensi. Misalnya, semacam penjelasan harus ada untuk membenarkan hubungan antara ucapan.
Hubungan antar entitas
Properti lain yang membuat wacana koheren adalah harus ada jenis hubungan tertentu dengan entitas. Koherensi semacam itu disebut koherensi berbasis entitas.
Struktur wacana
Sebuah pertanyaan penting tentang wacana adalah seperti apa struktur wacana itu. Jawaban atas pertanyaan ini bergantung pada segmentasi yang kita terapkan pada wacana. Segmentasi wacana dapat didefinisikan sebagai penentu jenis struktur wacana besar. Melakukan segmentasi wacana memang cukup sulit, tetapi sangat penting untuk dilakukaninformation retrieval, text summarization and information extraction jenis aplikasi.
Algoritma untuk Segmentasi Wacana
Pada bagian ini, kita akan mempelajari tentang algoritma untuk segmentasi wacana. Algoritme dijelaskan di bawah -
Segmentasi Wacana Tanpa Pengawasan
Kelas segmentasi wacana tanpa pengawasan sering direpresentasikan sebagai segmentasi linier. Kita dapat memahami tugas segmentasi linier dengan bantuan sebuah contoh. Dalam contoh, ada tugas untuk membagi teks menjadi unit multi-paragraf; unit mewakili bagian dari teks asli. Algoritme ini bergantung pada kohesi yang dapat didefinisikan sebagai penggunaan perangkat linguistik tertentu untuk mengikat unit tekstual bersama. Sedangkan kohesi leksikon adalah kohesi yang ditunjukkan oleh hubungan antara dua kata atau lebih dalam dua unit seperti penggunaan sinonim.
Segmentasi Wacana yang Dibimbing
Metode sebelumnya tidak memiliki batas segmen berlabel tangan. Di sisi lain, segmentasi wacana yang diawasi perlu memiliki data pelatihan berlabel batas. Sangat mudah untuk mendapatkan yang sama. Dalam segmentasi wacana terbimbing, penanda wacana atau kata-kata isyarat memainkan peran penting. Penanda wacana atau kata isyarat adalah kata atau frase yang berfungsi untuk memberi sinyal pada struktur wacana. Penanda wacana ini khusus domain.
Koherensi Teks
Pengulangan leksikal adalah cara untuk menemukan struktur dalam suatu wacana, tetapi tidak memenuhi syarat untuk menjadi wacana yang koheren. Untuk mencapai wacana yang koheren, kita harus fokus pada hubungan koherensi secara spesifik. Seperti kita ketahui bahwa hubungan koherensi mendefinisikan kemungkinan hubungan antar ujaran dalam sebuah wacana. Hebb telah mengusulkan hubungan semacam itu sebagai berikut -
Kami mengambil dua istilah S0 dan S1 untuk mewakili arti dari dua kalimat terkait -
Hasil
Ini menyimpulkan bahwa negara ditegaskan dengan istilah S0 dapat menyebabkan negara ditegaskan oleh S1. Sebagai contoh, dua pernyataan menunjukkan hasil hubungan: Ram terjebak dalam api. Kulitnya terbakar.
Penjelasan
Ini menyimpulkan bahwa negara ditegaskan oleh S1 dapat menyebabkan negara ditegaskan oleh S0. Misalnya, dua pernyataan menunjukkan hubungannya - Rama bertengkar dengan teman Shyam. Dia mabuk.
Paralel
Ini menyimpulkan p (a1, a2,…) dari pernyataan S0 dan p (b1, b2,…) dari pernyataan S1. Di sini ai dan bi serupa untuk semua i. Misalnya, dua pernyataan sejajar - Mobil buronan Ram. Shyam menginginkan uang.
Elaborasi
Ini menyimpulkan proposisi P yang sama dari kedua pernyataan - S0 dan S1Misalnya, dua pernyataan menunjukkan elaborasi relasi: Ram berasal dari Chandigarh. Shyam berasal dari Kerala.
Kesempatan
Itu terjadi ketika perubahan keadaan dapat disimpulkan dari pernyataan S0, keadaan akhir yang dapat disimpulkan S1dan sebaliknya. Misalnya, dua pernyataan menunjukkan peristiwa hubungan: Ram mengambil bukunya. Dia memberikannya pada Shyam.
Membangun Struktur Wacana Hirarkis
Koherensi seluruh wacana juga dapat dipertimbangkan oleh struktur hierarki antara hubungan koherensi. Misalnya, bagian berikut dapat direpresentasikan sebagai struktur hierarki -
S1 - Ram pergi ke bank untuk menyetor uang.
S2 - Dia kemudian naik kereta ke toko kain Shyam.
S3 - Dia ingin membeli beberapa pakaian.
S4 - Dia tidak punya baju baru untuk pesta.
S5 - Dia juga ingin berbicara dengan Shyam tentang kesehatannya
Resolusi Referensi
Interpretasi kalimat dari setiap wacana adalah tugas penting lainnya dan untuk mencapai ini kita perlu mengetahui siapa atau entitas apa yang sedang dibicarakan. Di sini, referensi interpretasi adalah elemen kuncinya.Referencedapat didefinisikan sebagai ekspresi linguistik untuk menunjukkan suatu entitas atau individu. Misalnya, di bagian ini, Ram , manajer bank ABC , melihat nya teman Shyam di toko. Dia pergi menemuinya, ekspresi linguistik seperti Ram, His, He adalah referensi.
Pada catatan yang sama, reference resolution dapat didefinisikan sebagai tugas untuk menentukan entitas apa yang dirujuk dengan ekspresi linguistik mana.
Terminologi yang Digunakan dalam Resolusi Referensi
Kami menggunakan terminologi berikut dalam resolusi referensi -
Referring expression- Ekspresi bahasa alami yang digunakan untuk melakukan referensi disebut ekspresi rujukan. Misalnya, bagian yang digunakan di atas adalah ungkapan pengarah.
Referent- Ini adalah entitas yang dirujuk. Misalnya, dalam contoh terakhir yang diberikan Ram adalah referensi.
Corefer- Ketika dua ekspresi digunakan untuk merujuk ke entitas yang sama, mereka disebut corefers. Sebagai contoh,Ram dan he adalah orang inti.
Antecedent- Istilah memiliki lisensi untuk menggunakan istilah lain. Sebagai contoh,Ram adalah anteseden referensi he.
Anaphora & Anaphoric- Ini dapat didefinisikan sebagai referensi ke entitas yang sebelumnya telah dimasukkan ke dalam kalimat. Dan, ekspresi pengarah disebut anaphoric.
Discourse model - Model yang berisi representasi dari entitas yang dirujuk dalam wacana dan hubungan yang mereka jalani.
Jenis Ekspresi Pengacu
Sekarang mari kita lihat berbagai jenis ekspresi pengarah. Lima jenis ekspresi pengarah dijelaskan di bawah ini -
Frase Kata Benda Tidak Terbatas
Referensi semacam itu mewakili entitas yang baru bagi pendengar dalam konteks wacana. Misalnya - dalam kalimat Ram suatu hari pergi untuk membawakannya makanan - beberapa adalah referensi yang tidak terbatas.
Frasa Kata Benda Pasti
Berlawanan dengan hal di atas, jenis referensi semacam itu mewakili entitas yang tidak baru atau dapat diidentifikasi oleh pendengar ke dalam konteks wacana. Misalnya, dalam kalimat - saya biasa membaca The Times of India - The Times of India adalah referensi yang pasti.
Kata ganti
Ini adalah bentuk referensi yang pasti. Misalnya, Ram tertawa sekeras yang dia bisa. Katahe mewakili ekspresi merujuk kata ganti.
Demonstratif
Ini menunjukkan dan berperilaku berbeda dari kata ganti pasti sederhana. Misalnya, ini dan itu adalah kata ganti demonstratif.
Nama
Ini adalah jenis ekspresi pengarah yang paling sederhana. Ini bisa menjadi nama seseorang, organisasi dan lokasi juga. Misalnya, dalam contoh di atas, Ram adalah ekspresi wasit nama.
Referensi Resolusi Tugas
Dua tugas resolusi referensi dijelaskan di bawah ini.
Resolusi Coreference
Ini adalah tugas untuk menemukan ekspresi rujukan dalam teks yang merujuk ke entitas yang sama. Dengan kata sederhana, ini adalah tugas untuk menemukan ekspresi inti. Satu set ekspresi coreferring disebut rantai coreference. Misalnya - He, Chief Manager dan His - ini merujuk pada ekspresi di bagian pertama yang diberikan sebagai contoh.
Batasan pada Resolusi Coreference
Dalam bahasa Inggris, masalah utama dari resolusi inti adalah kata ganti itu. Alasan di balik ini adalah karena kata ganti memiliki banyak kegunaan. Misalnya, itu bisa merujuk seperti dia dan dia. Kata ganti itu juga mengacu pada hal-hal yang tidak mengacu pada hal-hal tertentu. Misalnya, sedang hujan. Ini sangat bagus.
Resolusi Anaphora Pronominal
Berbeda dengan resolusi coreference, resolusi anaphora pronominal dapat didefinisikan sebagai tugas menemukan anteseden untuk satu kata ganti. Misalnya, kata ganti adalah his dan tugas dari resolusi pronominal anaphora adalah menemukan kata Ram karena Ram adalah antesedennya.