ภาษาไม่ควรเป็นอุปสรรค

Mar 23 2023
ในอินเดีย ซึ่งเป็นประเทศที่มีภาษาทางการมากกว่า 22 ภาษาและภาษาหรือภาษาถิ่นกว่า 19,500 ภาษาพูดเป็นภาษาแม่ ภาษาสามารถเป็นตัวปลดปล่อยหรืออุปสรรคได้ ผู้ที่คุ้นเคยกับภาษาที่พูดกันอย่างแพร่หลายของประเทศใด ๆ จะมีโอกาสมากมายที่เปิดกว้างสำหรับพวกเขา

ในอินเดีย ซึ่งเป็นประเทศที่มีภาษาทางการมากกว่า 22 ภาษาและภาษาหรือภาษาถิ่นกว่า 19,500 ภาษาพูดเป็นภาษาแม่ ภาษาสามารถเป็นตัวปลดปล่อยหรืออุปสรรคได้

ผู้ที่คุ้นเคยกับภาษาที่พูดกันอย่างแพร่หลายของประเทศใด ๆ จะมีโอกาสมากมายที่เปิดกว้างสำหรับพวกเขา ผู้ที่ไม่ใช่ต้องเผชิญกับการต่อสู้ที่ยากเย็นแสนเข็ญในแง่มุมต่างๆ ของชีวิต ตั้งแต่การศึกษาไปจนถึงการค้า แม้กระทั่งกฎหมายและความยุติธรรม ลองจินตนาการถึงการพยายามถอดรหัสบทเรียนของโรงเรียนซึ่งเป็นภาษาฮินดีหรือภาษาอังกฤษ หรือสำรวจระบบกฎหมายซึ่งมีคำพิพากษาเป็นภาษาราชการ ซึ่งไม่มีสิ่งใดที่คุณเข้าใจได้อาจเป็นเรื่องที่ท้าทาย

สำหรับชาวอินเดียจำนวนมากที่ไม่รู้หนังสือ ข้อความที่เขียนไว้ก็อาจเป็นเสมือนประตูโลหะขนาดยักษ์ ที่กั้นพวกเขาจากข้อมูลที่มีความสำคัญต่อการยกระดับจิตใจของพวกเขา

ก่อนที่โรคฮิสทีเรีย AI ที่ได้รับแรงบันดาลใจจาก ChatGPT จะกวาดล้างจิตสำนึกส่วนรวมของเรา ผู้ประกอบการจากทั่วประเทศกำลังทดลองกับ AI เพื่อจัดการกับอุปสรรคด้านภาษา การทำงานของพวกเขาไม่ว่าจะแยกกันหรือทำงานร่วมกัน ทำให้เกิดโซลูชัน AI ภาษาคุณภาพสูงที่เป็นนวัตกรรมใหม่มากมาย สิ่งเหล่านี้มีศักยภาพในการเพิ่มเรื่องราวของอินเดียโดยทำให้การเข้าถึงข้อมูลเป็นประชาธิปไตยสำหรับชุมชนที่ด้อยโอกาสที่สุดของประเทศ

รัฐบาลอินเดียเป็นผู้นำในการสร้างเทคโนโลยี AI ที่สามารถให้ข้อมูลและบริการทุกรูปแบบแก่ผู้คนในภาษาที่พวกเขาต้องการได้อย่างสะดวกสบาย

เมื่อปีที่แล้ว กระทรวงอิเล็กทรอนิกส์และเทคโนโลยีสารสนเทศ หรือ MeitY ได้จัดตั้งโครงการภาชินีขึ้น โปรแกรมเกี่ยวข้องกับความพยายามในการรวบรวมข้อมูลที่มีความทะเยอทะยาน โดยรวบรวมข้อมูลในภาษาราชการ 22 ภาษาของอินเดียแต่ละภาษา เพื่อสร้างชุดข้อมูลที่สมบูรณ์ซึ่งโมเดล AI สามารถฝึกฝนได้ นอกจากนี้ Unified Language Contribution API (ULCA) ยังได้รับการพัฒนาเพื่อสร้างมาตรฐานให้กับรูปแบบสำหรับชุดข้อมูล แบบจำลอง และเกณฑ์มาตรฐานของภาษา

โครงการ Bhashini เปิดตัวเมื่อปีที่แล้ว ส่งผลให้มีการสร้างโมเดล AI แบบโอเพ่นซอร์สกว่า 380 โมเดลในการรู้จำเสียง การแปลด้วยคอมพิวเตอร์ การแปลงข้อความเป็นคำพูด และการรู้จำอักขระด้วยแสงในภาษาทางการ 22 ภาษาของอินเดีย

National Payments Corporation of India ซึ่งเป็นองค์กรที่อยู่เบื้องหลังโครงการต่างๆ เช่น Unified Payments Interface (UPI) และ IMPS กำลังทำงานร่วมกับ Bhashini เพื่อรวมภาษาอินเดียไว้ในผลิตภัณฑ์ต่างๆ ของบริษัท

การช่วยเหลือโครงการ Bhashini คือศูนย์ Nilekani ที่ AI4Bharat ตั้งอยู่ที่ IIT Madras ได้ให้การสนับสนุนโอเพ่นซอร์สที่สำคัญในชุดข้อมูล แบบจำลอง และแอปพลิเคชัน ชุดข้อมูลสำคัญบางชุดที่เปิดแหล่งที่มาโดย AI4Bharat ได้แก่ IndicCorp (ข้อมูลโมโนลิง), Samanantar (Parallel Corpora), Dhwani (เสียง), IndicSUPERB (เกณฑ์มาตรฐานคำพูด) และ Aksharantar (การทับศัพท์) AI4Bharat ยังเป็นผู้สนับสนุนหลักของโครงการภาชินี ได้แก่ IndicTrans (การแปล), IndicConformer (ASR), IndicXlit (การทับศัพท์) และ IndicTTS (TTS) เป็นต้น

เส้นทางการพัฒนาแอปพลิเคชันที่ใช้ประโยชน์จากโมเดลในแอปพลิเคชันอ้างอิงได้เริ่มขึ้นแล้ว Anuvaad เป็นเครื่องมือแปลเอกสารแบบโอเพ่นซอร์สที่ใช้ AI ซึ่งช่วยให้สามารถแปลเอกสารในภาษาอินเดียได้ตามขนาด ทุกวันนี้ มีการนำตัวอย่าง Anuvaad ที่แยกจากกันไปใช้ในศาลฎีกาของอินเดีย ศาลฎีกาของบังคลาเทศและโครงการ NCERT DIKSHA Chitralekha เป็นเครื่องมือถอดความวิดีโอเพื่อแปลงวิดีโอจากภาษาหนึ่งเป็นอีกภาษาหนึ่ง รองรับข้อมูลจาก YouTube และสามารถแปลคำบรรยายภาษาอังกฤษเป็นภาษาอินเดียได้

Sunbird ซึ่งเป็นชุดเอกสารสำเร็จรูปแบบโอเพ่นซอร์สที่สร้างโดย EkStep ซึ่งช่วยให้สามารถสร้างโซลูชันอีเลิร์นนิงแบบกำหนดเองได้ ยังใช้ AI อีกด้วย หนึ่งในความพยายามที่ทะเยอทะยานที่สุดของความพยายามเหล่านี้คือ Sunbird Saral ซึ่งใช้ AI เพื่อทำให้การประเมินทางกายภาพเป็นแบบดิจิทัล สิ่งนี้ทำให้สามารถรวบรวมการวิเคราะห์การเรียนรู้ที่กว้างขวางและมีค่า ซึ่งอาจเปลี่ยนแปลงภาคการศึกษาของอินเดีย ปัจจุบัน Saral ถูกนำไปใช้งานในหลายรัฐของอินเดียและได้ช่วยรวบรวมใบประเมินนักเรียนกว่า 300 ล้านใบโดยครูด้วยการคลิกเพียงครั้งเดียวบนโทรศัพท์ ซึ่งช่วยลดความพยายามอย่างมากในการแปลงเป็นดิจิทัลและเพิ่มเวลาสอน

ในขณะเดียวกัน องค์กรอื่นๆ ก็เริ่มใช้ประโยชน์จาก AI ด้านภาษาเพื่อช่วยปรับปรุงการอ่านออกเขียนได้ในกลุ่มเด็ก รวมถึงการใช้เสียงเป็นสื่อกลางในการประเมินความสามารถทางภาษาในวงกว้าง

เพื่อให้ใช้งานและปรับปรุงโมเดลเหล่านี้ได้อย่างรวดเร็ว สิ่งสำคัญคือต้องสร้างสถาปัตยกรรมการปรับใช้ที่ปรับขนาดได้ ซึ่งโมเดลนั้นพร้อมใช้งานสำหรับแอปพลิเคชันของบริษัทอื่นผ่านการเรียก API แบบธรรมดา Dhruva เป็นเฟรมเวิร์กโอเพ่นซอร์สที่อนุญาตให้ปรับใช้โมเดล AI ภาษาในระดับที่เหมาะสม

ใช้บอทเสียงของ Jugalbandi เป็นต้น เป็นแพลตฟอร์มโอเพ่นซอร์สฟรีที่รวมพลังของ AI เข้ากับโมเดลการแปลภาษาอินเดียที่ถือกำเนิดขึ้นโดยภารกิจ Bhashini ร่วมกับโมเดลภาษาขนาดใหญ่ เช่น GPT3 เพื่อขับเคลื่อนโซลูชันการสนทนา

สิ่งนี้สามารถนำไปใช้เพื่อช่วยให้ชาวอินเดียสนทนากับแหล่งข้อมูลใดๆ ก็ได้ ไม่ว่าจะเป็นแผนงานของรัฐบาล คำสั่งและประกาศทางกฎหมาย กฎเกณฑ์ ฯลฯ ในภาษาพื้นเมืองของพวกเขา สิ่งนี้มีศักยภาพในการให้อำนาจแก่ชาวอินเดียหลายสิบล้านคนที่ก่อนหน้านี้ต้องพึ่งพาตัวกลางในท้องถิ่นในการเข้าถึงและเข้าใจข้อมูลดังกล่าว ระบบที่คล้ายกันกำลังได้รับการพัฒนาในโดเมนอื่นๆ เช่น บอทเพื่อช่วยเหลือเกษตรกรของอินเดีย

JIVA หรือ Judges Intelligent Virtual Assistant เป็นระบบนวัตกรรมที่รวบรวมรัฐธรรมนูญและเอกสารทางกฎหมายอื่นๆ เพื่อตอบคำถามทางกฎหมาย มีความรอบรู้ทั้งในภาษาอินเดียและภาษาอังกฤษ ทำให้กระบวนการวิจัยทางกฎหมายคล่องตัวขึ้น นำเสนอประสิทธิภาพระดับใหม่ให้กับระบบการพิจารณาคดีที่มีภาระหนักอึ้งของอินเดีย

ภาษามีความสามารถในการเป็นสะพานเชื่อมสู่การเสริมพลังทางสังคมและการรวมเป็นหนึ่ง ซึ่งประเทศที่กว้างใหญ่และหลากหลายอย่างอินเดียต้องการ การพัฒนาเครื่องมือเหล่านี้จะส่งผลกระทบในระดับที่สองและสามในหมวดหมู่ต่างๆ เช่น การศึกษา การดูแลสุขภาพ กฎหมายและความยุติธรรม การเกษตร และอื่นๆ อีกมากมายที่ยังไม่มีใครจินตนาการถึง

คุณเคยพบกับความพยายามของ AI ภาษาท้องถิ่นที่คุณคิดว่าสมควรได้รับช่วงเวลาดังกล่าวหรือไม่? ที่นี่คุณสามารถเป็นส่วนหนึ่งของการเคลื่อนไหวและแนะนำองค์กรที่เราสามารถดูแลเพื่อสร้างชุมชนนี้ร่วมกัน

สนับสนุนโดยVivek Raghavanหัวหน้าผู้เผยแพร่ศาสนา AI ที่EkStep Foundation