AI พร้อม Python - การประมวลผลภาษาธรรมชาติ

Natural Language Processing (NLP) หมายถึงวิธี AI ในการสื่อสารกับระบบอัจฉริยะโดยใช้ภาษาธรรมชาติเช่นภาษาอังกฤษ

จำเป็นต้องมีการประมวลผลภาษาธรรมชาติเมื่อคุณต้องการให้ระบบอัจฉริยะเช่นหุ่นยนต์ทำงานตามคำแนะนำของคุณเมื่อคุณต้องการฟังการตัดสินใจจากระบบผู้เชี่ยวชาญทางคลินิกตามบทสนทนาเป็นต้น

สาขา NLP เกี่ยวข้องกับการทำให้คอมพิวเตอร์ทำงานผิดพลาดด้วยภาษาธรรมชาติที่มนุษย์ใช้ อินพุตและเอาต์พุตของระบบ NLP สามารถ -

• Speech
• ข้อความที่เขียน

ส่วนประกอบของ NLP

ในส่วนนี้เราจะเรียนรู้เกี่ยวกับส่วนประกอบต่างๆของ NLP NLP มีสององค์ประกอบ ส่วนประกอบอธิบายไว้ด้านล่าง -

การเข้าใจภาษาธรรมชาติ (NLU)

เกี่ยวข้องกับงานต่อไปนี้ -

• การจับคู่ข้อมูลที่ป้อนในภาษาธรรมชาติให้เป็นการนำเสนอที่เป็นประโยชน์

• การวิเคราะห์แง่มุมต่างๆของภาษา

การสร้างภาษาธรรมชาติ (NLG)

เป็นกระบวนการสร้างวลีและประโยคที่มีความหมายในรูปแบบของภาษาธรรมชาติจากการแสดงภายใน มันเกี่ยวข้องกับ -

• Text planning - รวมถึงการดึงเนื้อหาที่เกี่ยวข้องจากฐานความรู้

• Sentence planning - รวมถึงการเลือกคำที่ต้องการการสร้างวลีที่มีความหมายการตั้งค่าเสียงของประโยค

• Text Realization - นี่คือการแมปแผนประโยคลงในโครงสร้างประโยค

ความยากลำบากใน NLU

NLU มีรูปแบบและโครงสร้างที่สมบูรณ์มาก อย่างไรก็ตามมันมีความคลุมเครือ อาจมีระดับความคลุมเครือที่แตกต่างกัน -

ความไม่ชัดเจนของคำศัพท์

มันอยู่ในระดับดั้งเดิมมากเช่นระดับคำ ตัวอย่างเช่นการปฏิบัติต่อคำว่า“ board” เป็นคำนามหรือคำกริยา?

ความไม่ชัดเจนของระดับไวยากรณ์

สามารถแยกวิเคราะห์ประโยคได้หลายวิธี ตัวอย่างเช่น“ เขาเลี้ยงด้วงด้วยหมวกสีแดง” - เขาใช้หมวกในการยกด้วงหรือเขายกด้วงที่มีฝาสีแดง?

ความคลุมเครือในการอ้างอิง

อ้างถึงบางสิ่งโดยใช้สรรพนาม ตัวอย่างเช่น Rima ไปที่ Gauri เธอบอกว่า“ ฉันเหนื่อย” - ใครกันแน่ที่เหนื่อย?

คำศัพท์ NLP

ตอนนี้ให้เราดูคำศัพท์ที่สำคัญบางคำในคำศัพท์ NLP

• Phonology - เป็นการศึกษาการจัดระบบเสียงอย่างเป็นระบบ

• Morphology - เป็นการศึกษาการสร้างคำจากหน่วยความหมายดั้งเดิม

• Morpheme - เป็นหน่วยความหมายดั้งเดิมในภาษา

• Syntax- หมายถึงการจัดเรียงคำเพื่อสร้างประโยค นอกจากนี้ยังเกี่ยวข้องกับการกำหนดบทบาทโครงสร้างของคำในประโยคและในวลี

• Semantics - เกี่ยวข้องกับความหมายของคำและวิธีการรวมคำให้เป็นวลีและประโยคที่มีความหมาย

• Pragmatics - เกี่ยวข้องกับการใช้และทำความเข้าใจประโยคในสถานการณ์ต่างๆและผลกระทบของการตีความประโยค

• Discourse - เกี่ยวข้องกับว่าประโยคก่อนหน้าจะมีผลต่อการตีความของประโยคถัดไปอย่างไร

• World Knowledge - รวมถึงความรู้ทั่วไปเกี่ยวกับโลก

ขั้นตอนใน NLP

ส่วนนี้แสดงขั้นตอนต่างๆใน NLP

การวิเคราะห์คำศัพท์

เกี่ยวข้องกับการระบุและวิเคราะห์โครงสร้างของคำ พจนานุกรมของภาษาหมายถึงการรวบรวมคำและวลีในภาษา การวิเคราะห์คำศัพท์คือการแบ่งส่วนทั้งหมดของ txt ออกเป็นย่อหน้าประโยคและคำ

การวิเคราะห์วากยสัมพันธ์ (การแยกวิเคราะห์)

มันเกี่ยวข้องกับการวิเคราะห์คำในประโยคสำหรับไวยากรณ์และการจัดเรียงคำในลักษณะที่แสดงความสัมพันธ์ระหว่างคำ ประโยคเช่น“ The school going to boy” ถูกปฏิเสธโดยเครื่องวิเคราะห์ไวยากรณ์ภาษาอังกฤษ

การวิเคราะห์ความหมาย

มันดึงความหมายที่แน่นอนหรือความหมายตามพจนานุกรมจากข้อความ ข้อความถูกตรวจสอบความหมาย ทำได้โดยการแมปโครงสร้างวากยสัมพันธ์และอ็อบเจ็กต์ในโดเมนงาน เครื่องวิเคราะห์ความหมายไม่สนใจประโยคเช่น“ ไอศกรีมร้อน”

การรวมวาทกรรม

ความหมายของประโยคใด ๆ ขึ้นอยู่กับความหมายของประโยคก่อนหน้านั้น นอกจากนี้ยังนำมาซึ่งความหมายของประโยคที่ประสบความสำเร็จในทันที

การวิเคราะห์เชิงปฏิบัติ

ในระหว่างนี้สิ่งที่พูดจะถูกตีความอีกครั้งว่ามันหมายถึงอะไร มันเกี่ยวข้องกับการได้มาซึ่งแง่มุมของภาษาซึ่งต้องใช้ความรู้ในโลกแห่งความเป็นจริง