AI - การประมวลผลภาษาธรรมชาติ

Natural Language Processing (NLP) หมายถึงวิธี AI ในการสื่อสารกับระบบอัจฉริยะโดยใช้ภาษาธรรมชาติเช่นภาษาอังกฤษ

จำเป็นต้องมีการประมวลผลภาษาธรรมชาติเมื่อคุณต้องการให้ระบบอัจฉริยะเช่นหุ่นยนต์ทำงานตามคำแนะนำของคุณเมื่อคุณต้องการฟังการตัดสินใจจากระบบผู้เชี่ยวชาญทางคลินิกตามบทสนทนาเป็นต้น

สาขา NLP เกี่ยวข้องกับการสร้างคอมพิวเตอร์เพื่อทำงานที่เป็นประโยชน์ด้วยภาษาธรรมชาติที่มนุษย์ใช้ อินพุตและเอาต์พุตของระบบ NLP สามารถ -

• Speech
• ข้อความที่เขียน

ส่วนประกอบของ NLP

มีสององค์ประกอบของ NLP ตามที่ระบุ -

การเข้าใจภาษาธรรมชาติ (NLU)

การทำความเข้าใจเกี่ยวข้องกับงานต่อไปนี้ -

• การจับคู่ข้อมูลที่ป้อนในภาษาธรรมชาติให้เป็นการนำเสนอที่เป็นประโยชน์
• การวิเคราะห์แง่มุมต่างๆของภาษา

การสร้างภาษาธรรมชาติ (NLG)

เป็นกระบวนการสร้างวลีและประโยคที่มีความหมายในรูปแบบของภาษาธรรมชาติจากการแสดงภายใน

มันเกี่ยวข้องกับ -

• Text planning - รวมถึงการดึงเนื้อหาที่เกี่ยวข้องจากฐานความรู้

• Sentence planning - รวมถึงการเลือกคำที่ต้องการการสร้างวลีที่มีความหมายการตั้งค่าเสียงของประโยค

• Text Realization - เป็นการแมปแผนประโยคให้เป็นโครงสร้างประโยค

NLU ยากกว่า NLG

ความยากลำบากใน NLU

NL มีรูปแบบและโครงสร้างที่สมบูรณ์มาก

มันมีความคลุมเครือมาก อาจมีระดับความคลุมเครือที่แตกต่างกัน -

• Lexical ambiguity - อยู่ในระดับดั้งเดิมมากเช่นระดับคำ

• ตัวอย่างเช่นการปฏิบัติต่อคำว่า“ board” เป็นคำนามหรือคำกริยา?

• Syntax Level ambiguity - สามารถแยกวิเคราะห์ประโยคได้หลายวิธี

• ตัวอย่างเช่น“ เขาเลี้ยงด้วงด้วยหมวกสีแดง” - เขาใช้หมวกในการยกด้วงหรือเขายกด้วงที่มีฝาสีแดง?

• Referential ambiguity- อ้างถึงบางสิ่งโดยใช้สรรพนาม ตัวอย่างเช่น Rima ไปที่ Gauri เธอบอกว่า“ ฉันเหนื่อย” - ใครกันแน่ที่เหนื่อย?

• ข้อมูลหนึ่งอาจมีความหมายที่แตกต่างกัน

• อินพุตจำนวนมากอาจหมายถึงสิ่งเดียวกัน

คำศัพท์ NLP

• Phonology - เป็นการศึกษาการจัดระบบเสียงอย่างเป็นระบบ

• Morphology - เป็นการศึกษาการสร้างคำจากหน่วยความหมายดั้งเดิม

• Morpheme - เป็นหน่วยความหมายดั้งเดิมในภาษา

• Syntax- หมายถึงการจัดเรียงคำเพื่อสร้างประโยค นอกจากนี้ยังเกี่ยวข้องกับการกำหนดบทบาทโครงสร้างของคำในประโยคและในวลี

• Semantics - เกี่ยวข้องกับความหมายของคำและวิธีการรวมคำให้เป็นวลีและประโยคที่มีความหมาย

• Pragmatics - เกี่ยวข้องกับการใช้และทำความเข้าใจประโยคในสถานการณ์ต่างๆและผลกระทบของการตีความประโยค

• Discourse - เกี่ยวข้องกับว่าประโยคก่อนหน้าจะมีผลต่อการตีความของประโยคถัดไปอย่างไร

• World Knowledge - รวมถึงความรู้ทั่วไปเกี่ยวกับโลก

ขั้นตอนใน NLP

มีห้าขั้นตอนทั่วไป -

• Lexical Analysis- เกี่ยวข้องกับการระบุและวิเคราะห์โครงสร้างของคำ พจนานุกรมของภาษาหมายถึงการรวบรวมคำและวลีในภาษา การวิเคราะห์คำศัพท์คือการแบ่งส่วนทั้งหมดของ txt ออกเป็นย่อหน้าประโยคและคำ

• Syntactic Analysis (Parsing)- เกี่ยวข้องกับการวิเคราะห์คำในประโยคสำหรับไวยากรณ์และการจัดเรียงคำในลักษณะที่แสดงความสัมพันธ์ระหว่างคำ ประโยคเช่น“ The school going to boy” ถูกปฏิเสธโดยเครื่องวิเคราะห์ไวยากรณ์ภาษาอังกฤษ

• Semantic Analysis- ดึงความหมายที่แน่นอนหรือความหมายพจนานุกรมจากข้อความ ข้อความถูกตรวจสอบความหมาย ทำได้โดยการแมปโครงสร้างวากยสัมพันธ์และอ็อบเจ็กต์ในโดเมนงาน เครื่องวิเคราะห์ความหมายไม่สนใจประโยคเช่น“ ไอศกรีมร้อน”

• Discourse Integration- ความหมายของประโยคใด ๆ ขึ้นอยู่กับความหมายของประโยคก่อนหน้านั้น นอกจากนี้ยังนำมาซึ่งความหมายของประโยคที่ประสบความสำเร็จในทันที

• Pragmatic Analysis- ระหว่างนี้สิ่งที่พูดจะถูกตีความใหม่ว่ามันหมายถึงอะไร มันเกี่ยวข้องกับการได้มาซึ่งแง่มุมของภาษาซึ่งต้องใช้ความรู้ในโลกแห่งความเป็นจริง

การใช้งานด้านการวิเคราะห์วากยสัมพันธ์

มีนักวิจัยอัลกอริทึมจำนวนมากได้พัฒนาขึ้นสำหรับการวิเคราะห์วากยสัมพันธ์ แต่เราพิจารณาเฉพาะวิธีการง่ายๆดังต่อไปนี้ -

• ไวยากรณ์ที่ไม่มีบริบท
• ตัวแยกวิเคราะห์จากบนลงล่าง

ให้เราดูรายละเอียด -

ไวยากรณ์ที่ไม่มีบริบท

เป็นไวยากรณ์ที่ประกอบด้วยกฎที่มีสัญลักษณ์เดียวทางด้านซ้ายมือของกฎการเขียนซ้ำ ให้เราสร้างไวยากรณ์เพื่อแยกวิเคราะห์ประโยค -

“ นกจิกรวง”

Articles (DET)- ก | อัน | ที่

Nouns- นก | นก | เมล็ดข้าว | ธัญพืช

Noun Phrase (NP)- บทความ + นาม | ข้อ + คำคุณศัพท์ + น

= DET N | DET ADJ N

Verbs- จิก | จิก | จิก

Verb Phrase (VP)- NP V | V NP

Adjectives (ADJ)- สวย | เล็ก | ร้องเจี๊ยก ๆ

ต้นไม้แยกวิเคราะห์แบ่งประโยคออกเป็นส่วนที่มีโครงสร้างเพื่อให้คอมพิวเตอร์เข้าใจและประมวลผลได้ง่าย เพื่อให้อัลกอริทึมการแยกวิเคราะห์สร้างแผนผังการแยกวิเคราะห์นี้จำเป็นต้องสร้างชุดของกฎการเขียนซ้ำซึ่งอธิบายโครงสร้างของต้นไม้ที่ถูกกฎหมาย

กฎเหล่านี้บอกว่าสัญลักษณ์บางอย่างอาจถูกขยายในต้นไม้ตามลำดับของสัญลักษณ์อื่น ๆ ตามกฎลอจิกลำดับที่หนึ่งหากมีสองสตริง Noun Phrase (NP) และ Verb Phrase (VP) สตริงที่รวมกันด้วย NP ตามด้วย VP จะเป็นประโยค กฎการเขียนซ้ำสำหรับประโยคมีดังนี้ -

S → NP VP

NP → DET N | DET ADJ N

VP → V NP

Lexocon −

DET → a | ที่

ADJ →สวย | เกาะ

N →นก | นก | เมล็ดข้าว | ธัญพืช

V →จิก | จิก | จิก

สามารถสร้างต้นไม้แยกวิเคราะห์ได้ดังรูป -

ลองพิจารณากฎการเขียนซ้ำข้างต้น เนื่องจาก V สามารถถูกแทนที่ด้วยทั้งสองอย่าง "จิก" หรือ "จิก" ประโยคเช่น "นกจิกรวง" จึงอาจผิดได้ กล่าวคือข้อผิดพลาดข้อตกลงเรื่องกริยาได้รับการอนุมัติว่าถูกต้อง

Merit - รูปแบบไวยากรณ์ที่ง่ายที่สุดจึงใช้กันอย่างแพร่หลาย

Demerits −

• พวกเขาไม่แม่นยำสูง ตัวอย่างเช่น“ เมล็ดข้าวจิกนก” เป็นคำที่ถูกต้องตามหลักไวยากรณ์ตามตัววิเคราะห์ แต่ถึงแม้จะไม่สมเหตุสมผล แต่โปรแกรมแยกวิเคราะห์ก็ถือว่าเป็นประโยคที่ถูกต้อง

• เพื่อให้ได้ความแม่นยำสูงจำเป็นต้องเตรียมไวยากรณ์หลายชุด อาจต้องใช้ชุดกฎที่แตกต่างกันโดยสิ้นเชิงสำหรับการแยกวิเคราะห์รูปแบบเอกพจน์และพหูพจน์ประโยคแฝง ฯลฯ ซึ่งอาจนำไปสู่การสร้างกฎชุดใหญ่ที่ไม่สามารถจัดการได้

ตัวแยกวิเคราะห์จากบนลงล่าง

ที่นี่ตัวแยกวิเคราะห์จะเริ่มต้นด้วยสัญลักษณ์ S และพยายามเขียนซ้ำเป็นลำดับของสัญลักษณ์เทอร์มินัลที่ตรงกับคลาสของคำในประโยคอินพุตจนกว่าจะประกอบด้วยสัญลักษณ์เทอร์มินัลทั้งหมด

จากนั้นจะตรวจสอบประโยคอินพุตเพื่อดูว่าตรงกันหรือไม่ หากไม่เป็นเช่นนั้นกระบวนการจะเริ่มต้นใหม่อีกครั้งโดยใช้ชุดกฎอื่น สิ่งนี้จะทำซ้ำจนกว่าจะพบกฎเฉพาะซึ่งอธิบายโครงสร้างของประโยค

Merit - ใช้งานง่าย

Demerits −

• ไม่มีประสิทธิภาพเนื่องจากต้องดำเนินการค้นหาซ้ำหากเกิดข้อผิดพลาด
• ความเร็วในการทำงานช้า