OpenNLP - ภาพรวม

NLP เป็นชุดเครื่องมือที่ใช้ในการรับข้อมูลที่มีความหมายและเป็นประโยชน์จากแหล่งภาษาธรรมชาติเช่นหน้าเว็บและเอกสารข้อความ

Open NLP คืออะไร?

Apache OpenNLPเป็นไลบรารี Java โอเพ่นซอร์สซึ่งใช้ในการประมวลผลข้อความภาษาธรรมชาติ คุณสามารถสร้างบริการประมวลผลข้อความที่มีประสิทธิภาพโดยใช้ไลบรารีนี้

OpenNLP ให้บริการต่างๆเช่นการสร้างโทเค็นการแบ่งส่วนประโยคการติดแท็กส่วนของคำพูดการแยกเอนทิตีที่มีชื่อการแยกชิ้นส่วนการแยกวิเคราะห์และการแก้ปัญหาการอ้างอิงร่วมเป็นต้น

คุณสมบัติของ OpenNLP

ต่อไปนี้เป็นคุณสมบัติเด่นของ OpenNLP -

• Named Entity Recognition (NER) - Open NLP รองรับ NER ซึ่งคุณสามารถแยกชื่อสถานที่บุคคลและสิ่งต่างๆได้แม้ในขณะประมวลผลคำค้นหา

• Summarize - การใช้ไฟล์ summarize คุณสามารถสรุปย่อหน้าบทความเอกสารหรือคอลเล็กชันใน NLP

• Searching - ใน OpenNLP สตริงค้นหาที่กำหนดหรือคำพ้องความหมายสามารถระบุได้ในข้อความที่กำหนดแม้ว่าคำที่ระบุจะถูกเปลี่ยนแปลงหรือสะกดผิด

• Tagging (POS) - การติดแท็กใน NLP ใช้เพื่อแบ่งข้อความออกเป็นองค์ประกอบทางไวยากรณ์ต่างๆเพื่อการวิเคราะห์เพิ่มเติม

• Translation - ใน NLP การแปลช่วยในการแปลภาษาหนึ่งเป็นอีกภาษาหนึ่ง

• Information grouping - ตัวเลือกนี้ใน NLP จะจัดกลุ่มข้อมูลที่เป็นข้อความในเนื้อหาของเอกสารเช่นเดียวกับบางส่วนของคำพูด

• Natural Language Generation - ใช้สำหรับสร้างข้อมูลจากฐานข้อมูลและรายงานข้อมูลโดยอัตโนมัติเช่นการวิเคราะห์สภาพอากาศหรือรายงานทางการแพทย์

• Feedback Analysis - ตามความหมายของชื่อจะมีการรวบรวมการตอบรับจากผู้คนหลายประเภทเกี่ยวกับผลิตภัณฑ์โดย NLP เพื่อวิเคราะห์ว่าผลิตภัณฑ์ประสบความสำเร็จในการเอาชนะใจพวกเขาได้ดีเพียงใด

• Speech recognition - แม้ว่าจะเป็นการยากที่จะวิเคราะห์คำพูดของมนุษย์ แต่ NLP ก็มีคุณสมบัติในตัวสำหรับข้อกำหนดนี้

เปิด NLP API

ไลบรารี Apache OpenNLP มีคลาสและอินเทอร์เฟซเพื่อดำเนินการต่างๆของการประมวลผลภาษาธรรมชาติเช่นการตรวจจับประโยคการสร้างโทเค็นการค้นหาชื่อการติดแท็กส่วนของคำพูดการแบ่งประโยคการแยกวิเคราะห์การแก้ปัญหาการอ้างอิงร่วมและการจัดหมวดหมู่เอกสาร

นอกเหนือจากงานเหล่านี้แล้วเรายังสามารถฝึกอบรมและประเมินโมเดลของเราเองสำหรับงานเหล่านี้ได้อีกด้วย

OpenNLP CLI

นอกจากไลบรารีแล้ว OpenNLP ยังมี Command Line Interface (CLI) ซึ่งเราสามารถฝึกอบรมและประเมินโมเดลได้ เราจะพูดถึงหัวข้อนี้โดยละเอียดในบทสุดท้ายของบทช่วยสอนนี้

เปิด NLP Models

ในการดำเนินงาน NLP ต่างๆ OpenNLP มีชุดของโมเดลที่กำหนดไว้ล่วงหน้า ชุดนี้ประกอบด้วยโมเดลสำหรับภาษาต่างๆ

กำลังดาวน์โหลดโมเดล

คุณสามารถทำตามขั้นตอนที่ระบุด้านล่างเพื่อดาวน์โหลดโมเดลที่กำหนดไว้ล่วงหน้าจาก OpenNLP

Step 1 - เปิดหน้าดัชนีของโมเดล OpenNLP โดยคลิกที่ลิงค์ต่อไปนี้ - http://opennlp.sourceforge.net/models-1.5/.

Step 2- ในการเยี่ยมชมลิงก์ที่ระบุคุณจะเห็นรายการส่วนประกอบของภาษาต่างๆและลิงก์สำหรับดาวน์โหลด ที่นี่คุณจะได้รับรายชื่อรุ่นที่กำหนดไว้ล่วงหน้าทั้งหมดที่ OpenNLP มีให้

ดาวน์โหลดโมเดลเหล่านี้ทั้งหมดลงในโฟลเดอร์ C:/OpenNLP_models/>โดยคลิกที่ลิงค์ที่เกี่ยวข้อง โมเดลทั้งหมดนี้ขึ้นอยู่กับภาษาและในขณะที่ใช้สิ่งเหล่านี้คุณต้องตรวจสอบให้แน่ใจว่าภาษาของโมเดลนั้นตรงกับภาษาของข้อความที่ป้อน

ประวัติ OpenNLP

• ในปี 2010 OpenNLP เข้าสู่การบ่มเพาะ Apache

• ในปี 2554 Apache OpenNLP 1.5.2 Incubating ได้รับการเผยแพร่และในปีเดียวกันนั้นได้สำเร็จการศึกษาเป็นโครงการ Apache ระดับบนสุด

• ในปี 2015 OpenNLP เปิดตัว 1.6.0