การติดตามด้านมืด

มีอะไรให้ค้นหาในดวงตาของคุณ?

ลองนึกภาพแว่นที่สามารถตรวจจับได้ว่าคุณกำลังมองวัตถุที่อยู่ไกลออกไปหรือไม่ และจะซูมเข้าหาคุณโดยอัตโนมัติ แป้นพิมพ์ที่พิมพ์เมื่อคุณละสายตาจากคำหนึ่งไปยังอีกคำหนึ่ง หรือแม้แต่เครื่องมือค้นหาที่บอกคุณเกี่ยวกับสิ่งที่คุณกำลังดูอยู่เพียงเล็กน้อย อุปกรณ์แห่งอนาคตเช่นนี้ที่สามารถตรวจสอบการเคลื่อนไหวของดวงตามีการใช้งานที่หลากหลายตั้งแต่การวินิจฉัยความผิดปกติของดวงตาไปจนถึงการให้ประสบการณ์การเล่นเกมแบบโต้ตอบ กุญแจสำคัญในการออกแบบระบบดังกล่าวคือการติดตามการจ้องมอง: การวัดการเคลื่อนไหวของดวงตาแบบเรียลไทม์ด้วยความแม่นยำ

วิธีที่นิยมมากที่สุดในการติดตามการจ้องมองในปัจจุบันคือการมองเห็นด้วยคอมพิวเตอร์: ซึ่งกล้องจะจับภาพดวงตา และอัลกอริทึมจะประมวลผลข้อมูลแบบเรียลไทม์เพื่อกำหนดว่าดวงตาเคลื่อนไหวอย่างไร โปรแกรมการมองเห็นด้วยคอมพิวเตอร์สมัยใหม่รวมอัลกอริทึมการเรียนรู้ของเครื่องเพื่อตรวจจับรูปแบบในภาพและจำแนกวัตถุได้อย่างมีประสิทธิภาพ แม้จะมีความก้าวหน้าในด้านนี้ แต่อัลกอริทึมเหล่านี้ก็ยังประสบปัญหาจากความซับซ้อนในการคำนวณอย่างมาก การฝึกอัลกอริทึมแมชชีนเลิร์นนิงและการถอดรหัสรูปภาพอย่างรวดเร็วต้องใช้ชิปประสิทธิภาพสูงซึ่งใช้พลังงานจำนวนมาก แม้จะทำได้ในรถยนต์ที่ขับเคลื่อนด้วยตัวเองหรือในสมาร์ทโฟน แต่การฝังระบบการมองเห็นด้วยคอมพิวเตอร์ไว้ในแว่นตาคู่หนึ่งนั้นเป็นสิ่งที่ท้าทายมาก

ในแผนกอุปกรณ์ของNeurotech@Berkeley เรามุ่งเน้นที่การพัฒนาฮาร์ดแวร์เพื่อวัดและวิเคราะห์สัญญาณไฟฟ้าที่ร่างกายสร้างขึ้น ด้วยแรงบันดาลใจจากศักยภาพของระบบติดตามการจ้องมอง เราจึงเริ่มสำรวจเทคนิคที่มีต้นทุนการคำนวณต่ำกว่าการมองเห็นด้วยคอมพิวเตอร์อย่างมาก: การตรวจด้วยวิธีอิเล็กโทรคูลากราฟี (EOG) ซึ่งแตกต่างจากการมองเห็นของคอมพิวเตอร์ที่ต้องใช้กล้อง EOG อาศัยสัญญาณไฟฟ้าภายในที่สร้างขึ้นในดวงตาของเรา

EOG คืออะไร?

ในปี 1951 Elwin Marg นักประสาทวิทยาศาสตร์และนักทัศนมาตรศาสตร์ชาวอเมริกันที่ UC Berkeley ได้ค้นพบและกำหนดนิยามของการถ่ายภาพด้วยไฟฟ้า EOG คือการทดสอบทางสรีรวิทยาที่ใช้อิเล็กโทรดหลายๆ อันที่วางอย่างระมัดระวังเพื่อวัดศักย์ไฟฟ้าระหว่างเยื่อหุ้มของบรูช (ด้านหลังตา) และกระจกตา เนื่องจากไดโพลถูกสร้างขึ้นระหว่างกระจกตาและเรตินา โดยที่กระจกตามีประจุบวกเมื่อเทียบกับเรตินา การเคลื่อนไหวของดวงตาจะเปลี่ยนสัญญาณไฟฟ้าที่ตรวจพบโดยอิเล็กโทรด EOG ทีนี้ลองนึกภาพเหตุการณ์ของอิเล็กโทรดสองอันที่อันหนึ่งอยู่เหนือคิ้วและอันหนึ่งอยู่ใต้ตา เมื่อวัตถุเงยหน้าขึ้น กระจกตาจะขยับเข้าใกล้อิเล็กโทรดด้านบนมากขึ้น และเยื่อหุ้มของ Bruch จะเคลื่อนเข้าใกล้อิเล็กโทรดด้านล่างมากขึ้น — ความต่างศักย์ระหว่างอิเล็กโทรดทั้งสองจะเพิ่มขึ้น! เช่นเดียวกัน, เมื่อตัวแบบมองลงมา ศักยภาพก็ลดลง นอกจากนี้ยังสามารถตรวจจับการเคลื่อนไหวของตาซ้ายและขวาได้ด้วยการวางอิเล็กโทรดไว้ที่ด้านซ้ายและขวาของดวงตา ด้วยกลไกง่ายๆ ดังกล่าว EOG สามารถใช้ประโยชน์จากการตรวจจับการกะพริบ การขยิบตา และการเคลื่อนไหวของดวงตาในรูปแบบอื่นๆ ได้

หลังจากค้นพบได้ไม่นาน EOG ถูกนำไปใช้ในทางการแพทย์เป็นหลักในการวินิจฉัยความผิดปกติทางจิตและการนอนหลับ เทคโนโลยีช่วยเหลือสำหรับผู้ที่ได้รับบาดเจ็บอย่างต่อเนื่อง และอื่นๆ เมื่อไม่นานมานี้ มีการรวมเข้ากับเทคโนโลยีที่เข้าถึงได้มากขึ้น เช่น แอปพลิเคชันในความจริงเสมือน (VR) และอุปกรณ์สิ้นเปลืองอื่นๆ สำหรับบุคคลทั่วไป โดยเฉพาะอย่างยิ่ง ข้อมูล EOG สามารถใช้สำหรับการติดตามการจ้องมองได้ ในความเป็นจริง นักวิจัยสามารถตรวจจับการเคลื่อนไหวของดวงตาได้เล็กถึง 1.5 องศา ทันใดนั้น ปัญหาการติดตามการจ้องมองที่เราอธิบายไปก่อนหน้านี้ก็ง่ายขึ้นอย่างเห็นได้ชัด เราไม่ต้องการอัลกอริทึมการมองเห็นของคอมพิวเตอร์ที่ซับซ้อนอีกต่อไป

ในบรรดาแอพพลิเคชั่นจำนวนนับไม่ถ้วนสำหรับเครื่องติดตามดวงตาที่ใช้ EOG เราคิดว่ามีสามแอพพลิเคชั่นที่โดดเด่น

กำลังดูที่แอปพลิเคชัน

ชุดหูฟัง EOG จะทำให้สามารถวัดสัญญาณแบบเรียลไทม์ด้วยความแม่นยำสูง ทำให้สามารถใช้งานต่างๆ ได้หลากหลายในการตั้งค่าที่หลากหลาย

1. การติดตามพฤติกรรมผู้บริโภค:

มีแอปพลิเคชันจำนวนมากที่เป็นไปได้สำหรับการติดตาม EOG ภายในขอบเขตของโฆษณาและการตลาดผลิตภัณฑ์ ปัจจุบัน การวิจัยผลิตภัณฑ์และการตลาดจำนวนมากทำผ่านการสนทนากลุ่มหรือแบบสำรวจออนไลน์ (บางครั้งอาจแสดงผ่านโฆษณาที่กำหนดเป้าหมายไปที่ผู้บริโภค) แต่วิธีการวิจัยเหล่านี้ไม่ได้ให้ผลตอบกลับในทันทีเกี่ยวกับปฏิกิริยาของลูกค้าที่มีต่อผลิตภัณฑ์ ตัวอย่างเช่น นักออกแบบโฆษณาอาจต้องการดูว่าส่วนใดของข้อความโฆษณาที่ดึงดูดสายตาของผู้มีโอกาสเป็นลูกค้าเป็นอันดับแรก พวกเขาอาจต้องการทดสอบว่าการออกแบบที่พวกเขาสร้างขึ้นนั้นเข้าถึงผู้บริโภคได้ตามที่ตั้งใจไว้หรือไม่ ด้วยการใช้ชุดหูฟัง EOG พวกเขาจะสามารถติดตามรายละเอียดเล็กๆ น้อยๆ ว่าสายตาของลูกค้าอยู่ที่ใดและมองเห็นอะไรได้ในแวบแรก พวกเขาสามารถวัดได้แบบวินาทีต่อวินาทีว่าส่วนใดของโฆษณาที่ผู้บริโภคเน้น ทางนี้,

2. ความช่วยเหลือในการพิมพ์:

ในระดับผู้บริโภค สามารถใช้สัญญาณ EOG เพื่อสนับสนุนการใช้แป้นพิมพ์บนคอมพิวเตอร์ได้ ตัวช่วย EOG ที่สามารถจับคู่บลูทูธกับแป้นพิมพ์เพื่อคาดเดาว่าผู้ใช้กำลังพิมพ์อะไรโดยอิงตามบริบทที่เป็นข้อความ และการจ้องมองของพวกเขาอาจมีประโยชน์ในการเพิ่มความเร็วในการพิมพ์และประสิทธิภาพการทำงาน การพิสูจน์แนวคิดสำหรับอุปกรณ์ประเภทนี้มีอยู่แล้ว ผลิตภัณฑ์อย่าง Tobii Eye Tracker ถูกใช้โดยเกมเมอร์เพื่อเพิ่มอัตราการคลิกและดำเนินการในเกมได้เร็วกว่าที่เป็นไปได้ด้วยจอยสติ๊ก แอปพลิเคชันขยายขอบเขตนอกเหนือจากการเล่นเกมและประสิทธิภาพการทำงาน สำหรับผู้ที่ไม่สามารถพิมพ์บนแป้นพิมพ์มาตรฐานและผู้ที่ไม่สามารถใช้การเปลี่ยนเสียงเป็นข้อความได้ แป้นพิมพ์บนหน้าจอที่จับคู่กับตัวติดตาม EOG จะช่วยให้สามารถสื่อสารได้เร็วขึ้น

3. ก้าวเข้าสู่ความจริงเสมือน:

นอกจากนี้ EOG ยังมีบทบาทสำคัญในการเพิ่มความน่าสนใจให้กับ VR และ Metaverse วันนี้ VR ยังคงเป็นสิ่งแปลกใหม่ ชุดหูฟังที่เทอะทะ การควบคุมที่แข็งทื่อ และอุปสรรคอื่นๆ อีกนับไม่ถ้วนทำให้เทคโนโลยีถูกกักขังอยู่ในหุบเขาลึกลับที่ซึ่งสภาพแวดล้อม VR ไม่ให้ความรู้สึกเหมือนจริงอย่างน่าเชื่อ เมื่อขยายออกไป อุปสรรคเหล่านี้ต่อการดื่มด่ำของ VR ยังคุกคามความมีชีวิตของ Metaverse ในฐานะสิ่งทดแทนที่น่าเชื่อสำหรับพื้นที่ 3 มิติจริง อย่างไรก็ตาม ด้วยความช่วยเหลือของ EOG eye-tracking ในชุดหูฟัง VR สภาพแวดล้อมเสมือนจริงเหล่านี้อาจเริ่มดูเหมือนจริงมากขึ้น ในชุดหูฟัง VR ในปัจจุบัน ผู้ใช้ต้องขยับศีรษะเพื่อมองไปรอบๆ สภาพแวดล้อมเสมือนจริงของตน เนื่องจากการเคลื่อนไหวของดวงตาไม่ได้ลงทะเบียน การสแกนดวงตาแบบ saccadic ตามธรรมชาติจึงถูกแทนที่ด้วยการเคลื่อนไหวศีรษะที่งุ่มง่ามบ่อยครั้ง ซึ่งมีส่วนอย่างมากต่อความรกของ VR อย่างไรก็ตาม, ด้วยชุดหูฟังในตัว EOG ผู้เข้าร่วมสามารถมองสภาพแวดล้อมเสมือนจริงของตนได้อย่างเป็นธรรมชาติด้วยการขยับตา ดังนั้น EOG จึงสามารถเพิ่มความสะดวกได้ทั้งคู่

ซึ่งผู้ใช้สามารถนำทาง VR ได้ในขณะเดียวกันก็ทำให้มันสมจริงยิ่งขึ้น

การออกแบบขั้นตอนต่อไปของเรา

เมื่อได้รับสัญญาณทางชีวการแพทย์ เช่น EOG มีความท้าทายหลักสองประการสำหรับนักออกแบบฮาร์ดแวร์ ประการแรก สัญญาณเหล่านี้มีขนาดเล็กมาก (ตามลำดับของไมโครโวลต์) ซึ่งทำให้ตรวจจับได้ยาก ประการที่สอง สัญญาณเหล่านี้มีขนาดเล็กมาก สัญญาณเหล่านี้ไวต่อแหล่งกำเนิดสัญญาณรบกวนทางไฟฟ้าและการรบกวน ตัวอย่างเช่น ไฟและเครื่องใช้ไฟฟ้าในห้องใช้พลังงานจากไฟฟ้ากระแสสลับ 60 Hz 120V สัญญาณแหล่งจ่ายไฟแรงสูงเหล่านี้สามารถ "เชื่อมต่อแบบคาปาซิทีฟ" เข้ากับวงจรของเราและครอบงำสัญญาณ EOG ทำให้ไม่สามารถถอดรหัสการเคลื่อนไหวของดวงตาจากสัญญาณรบกวนได้

ส่วนแรกของวงจรของเราประกอบด้วยแอมพลิฟายเออร์เครื่องมือวัด ซึ่งมีหน้าที่ปฏิเสธแหล่งที่มาของสัญญาณรบกวน เช่น แหล่งจ่ายไฟ 60 Hz ขั้นตอนต่อไปคือการกรอง สัญญาณ EOG เป็นที่ทราบกันว่าอยู่ระหว่าง 0 ถึง 50 Hz ดังนั้นเราจึงส่งสัญญาณ EOG ของเราผ่านตัวกรองที่ปฏิเสธความถี่ที่อยู่นอกช่วงนี้ สุดท้าย เราส่งสัญญาณของเราผ่านวงจรขยายเสียง วงจรนี้มีหน้าที่ในการรับสัญญาณขนาดใหญ่ขยายให้อยู่ในระดับที่คอมพิวเตอร์สามารถตรวจจับได้

นอกจากนี้ เราได้สร้างชุดหูฟังแบบพิมพ์ 3 มิติเพื่อติดตั้งวงจรและอิเล็กโทรด ขณะนี้เรากำลังอยู่ในขั้นตอนการพัฒนาเทคนิคการจำแนกที่มีประสิทธิภาพใน Python เพื่อแยกความแตกต่างระหว่างการกะพริบตาและการเคลื่อนไหวของตาอื่นๆ ในสัญญาณของเรา ด้วยความคืบหน้าทั้งหมดนี้ เรากำลังดำเนินการเพื่อทำให้อุปกรณ์ติดตามการจ้องมองของเราเป็นจริง

อ้างอิง:

1. “ขีดจำกัดทางการคำนวณของการเรียนรู้เชิงลึก” — ทอมป์สัน กรีนนิววัลด์ และคณะ 2563
2. https://www.automate.org/blogs/eye-tracking-technology-the-future-of-human-computer-interaction
3. https://venturebeat.com/2020/10/20/microsoft-researchers-design-software-based-eye-tracking-ai-that-works-on-any-device/
4. https://eyewiki.aao.org/Electrooculogram
5. https://www.nature.com/articles/s41699-018-0064-4#:~:text=EOG%20has%20various%20applications%20including,mental%20disorder%20diagnosis%2C%20and%20HMIs.&text=EOG%20along%20with%20electroencephalogram%20(EEG,progressive%20neuro%2Dmotor%20degenerative%20diseases.
6. https://www.cnet.com/tech/computing/watching-me-watching-you-how-eye-tracking-is-coming-to-vr-and-beyond/