Theo dõi mặt tối

Dec 17 2022

Có gì để tìm trong đôi mắt của bạn? Hãy tưởng tượng một cặp kính có thể phát hiện nếu bạn đang nhìn vào một vật thể ở xa và sẽ tự động phóng to cho bạn; một bàn phím gõ khi mắt bạn lướt qua từ này sang từ khác; hoặc thậm chí là một công cụ tìm kiếm cho bạn biết về thứ mà bạn đã xem quá lâu. Các thiết bị tương lai như thế này có thể theo dõi chuyển động của mắt có nhiều ứng dụng khác nhau, từ chẩn đoán rối loạn mắt cho đến cung cấp trải nghiệm chơi trò chơi tương tác.

https://www.nextpit.com/best-smart-glasses

Có gì để tìm trong đôi mắt của bạn?

Hãy tưởng tượng một cặp kính có thể phát hiện nếu bạn đang nhìn vào một vật thể ở xa và sẽ tự động phóng to cho bạn; một bàn phím gõ khi mắt bạn lướt qua từ này sang từ khác; hoặc thậm chí là một công cụ tìm kiếm cho bạn biết về thứ mà bạn đã xem quá lâu. Các thiết bị tương lai như thế này có thể theo dõi chuyển động của mắt có nhiều ứng dụng khác nhau, từ chẩn đoán rối loạn mắt cho đến cung cấp trải nghiệm chơi trò chơi tương tác. Chìa khóa để thiết kế các hệ thống như vậy là theo dõi ánh mắt: đo chuyển động của mắt trong thời gian thực với độ chính xác.

Cách tiếp cận phổ biến nhất để theo dõi ánh mắt ngày nay là thị giác máy tính: trong đó máy ảnh chụp ảnh mắt và thuật toán xử lý dữ liệu trong thời gian thực để xác định cách mắt di chuyển. Các chương trình thị giác máy tính hiện đại kết hợp các thuật toán học máy để phát hiện các mẫu trong hình ảnh và phân loại đối tượng một cách hiệu quả. Mặc dù có những bước đột phá trong lĩnh vực này, các thuật toán này có độ phức tạp tính toán đáng kể. Việc đào tạo các thuật toán máy học và giải mã hình ảnh nhanh chóng đòi hỏi chip hiệu suất cao tiêu thụ một lượng điện năng đáng kể. Mặc dù khả thi trong xe hơi tự lái hoặc điện thoại thông minh, nhưng việc nhúng hệ thống thị giác máy tính vào một cặp kính mắt là rất khó khăn.

Trong bộ phận Thiết bị của Neurotech@Berkeley , chúng tôi tập trung phát triển phần cứng để đo lường và phân tích các tín hiệu điện do cơ thể chúng ta tạo ra. Lấy cảm hứng từ tiềm năng của các hệ thống theo dõi ánh mắt, chúng tôi bắt đầu khám phá một kỹ thuật có chi phí tính toán thấp hơn đáng kể so với thị giác máy tính: điện nhãn đồ (EOG). Không giống như thị giác máy tính dựa vào máy ảnh, EOG dựa vào các tín hiệu điện nội tại được tạo ra trong mắt chúng ta.

EOG là gì?

Năm 1951, Elwin Marg, một nhà thần kinh học và bác sĩ nhãn khoa người Mỹ tại UC Berkeley, đã khám phá và định nghĩa kỹ thuật điện nhãn. EOG là một xét nghiệm sinh lý sử dụng một số điện cực được đặt cẩn thận để đo điện thế đứng giữa màng Bruch (ở phía sau mắt) và giác mạc. Vì một lưỡng cực được hình thành giữa giác mạc và võng mạc, nơi giác mạc có điện tích dương so với võng mạc, nên chuyển động của mắt sẽ thay đổi tín hiệu điện được phát hiện bởi các điện cực EOG. Bây giờ, hãy tưởng tượng một kịch bản gồm hai điện cực, trong đó một điện cực được đặt ngay phía trên lông mày và một điện cực được đặt bên dưới mắt. Khi đối tượng nhìn lên, giác mạc di chuyển gần điện cực trên hơn và màng Bruch di chuyển gần điện cực dưới hơn — hiệu điện thế giữa hai điện cực tăng lên! Tương tự như vậy, khi đối tượng nhìn xuống, tiềm năng sau đó sẽ giảm. Chuyển động của mắt trái và phải cũng có thể được phát hiện bằng cách đặt các điện cực ở bên trái và bên phải của mắt. Thông qua cơ chế đơn giản như vậy, EOG có thể được tận dụng để phát hiện chớp mắt, nháy mắt và một số hình thức chuyển động khác của mắt.

Ngay sau khi được phát hiện, EOG chủ yếu được áp dụng trong lĩnh vực y tế để chẩn đoán các rối loạn tâm thần và giấc ngủ, công nghệ hỗ trợ cho những người bị thương nặng, v.v. Gần đây hơn, nó đang được tích hợp vào các công nghệ dễ tiếp cận hơn, chẳng hạn như các ứng dụng trong thực tế ảo (VR) và các vật tư tiêu hao khác dành cho công chúng. Đáng chú ý, dữ liệu EOG có thể được sử dụng để theo dõi ánh mắt. Trên thực tế, các nhà nghiên cứu đã có thể phát hiện chuyển động của mắt nhỏ tới 1,5 độ. Đột nhiên, vấn đề theo dõi ánh nhìn mà chúng tôi đã mô tả trước đó trở nên đơn giản hơn đáng kể. Chúng tôi không còn yêu cầu các thuật toán thị giác máy tính phức tạp nữa.

Trong số vô số ứng dụng dành cho thiết bị theo dõi mắt dựa trên EOG, chúng tôi cho rằng có ba ứng dụng nổi bật.

Nhìn vào các ứng dụng

Tai nghe EOG sẽ cho phép đo tín hiệu trong thời gian thực với độ chính xác cao, cho phép thực hiện một số ứng dụng khác nhau trong nhiều cài đặt khác nhau.

1. Theo dõi hành vi của người tiêu dùng:

Có một số ứng dụng khả thi để theo dõi EOG trong lĩnh vực quảng cáo và tiếp thị sản phẩm. Hiện tại, rất nhiều nghiên cứu về sản phẩm và tiếp thị được thực hiện thông qua các nhóm tập trung hoặc khảo sát trực tuyến (đôi khi được cung cấp thông qua quảng cáo nhắm mục tiêu đến người tiêu dùng) nhưng những phương pháp nghiên cứu này không cung cấp phản hồi ngay lập tức về phản ứng của khách hàng đối với sản phẩm. Ví dụ: các nhà thiết kế quảng cáo có thể muốn xem phần nào của bản sao quảng cáo thu hút sự chú ý của khách hàng tiềm năng trước tiên. Họ có thể muốn kiểm tra xem thiết kế mà họ đã tạo có đến với người tiêu dùng như dự kiến hay không. Thông qua việc sử dụng tai nghe EOG, họ có thể theo dõi chi tiết vị trí của khách hàng và những gì họ bị thu hút ngay từ cái nhìn đầu tiên. Họ có thể đo lường từng giây những phần nào của quảng cáo mà người tiêu dùng đang tập trung vào. Bằng cách này,

2. Hỗ trợ đánh máy:

Ở cấp độ người tiêu dùng, tín hiệu EOG có thể được áp dụng để hỗ trợ sử dụng bàn phím trên máy tính. Hỗ trợ EOG có thể ghép nối bluetooth với bàn phím để dự đoán nội dung người dùng đang nhập dựa trên ngữ cảnh văn bản và ánh mắt của họ có thể hữu ích để tăng tốc độ và năng suất nhập. Bằng chứng về khái niệm cho các thiết bị như thế này đã tồn tại, các sản phẩm như Tobii Eye Tracker đã được các game thủ sử dụng để tăng tỷ lệ nhấp và thực hiện các hành động trong trò chơi nhanh hơn có thể bằng cần điều khiển. Các ứng dụng mở rộng ra ngoài chơi game và năng suất. Đối với những người không thể nhập trên bàn phím tiêu chuẩn và những người không thể sử dụng tính năng chuyển lời nói thành văn bản, bàn phím trên màn hình được ghép nối với trình theo dõi EOG có thể cho phép giao tiếp nhanh hơn.

3. Bước Vào Thực Tế Ảo:

EOG cũng có thể đóng một vai trò quan trọng trong việc tăng sức hấp dẫn đại chúng của VR và Metaverse. Ngày nay, VR vẫn là một điều mới lạ. Những chiếc tai nghe cồng kềnh, bộ điều khiển cứng nhắc và vô số rào cản khác đối với việc đắm chìm đã khiến công nghệ bị mắc kẹt trong một thung lũng kỳ lạ nơi môi trường VR không mang lại cảm giác chân thực một cách thuyết phục. Nói rộng ra, những rào cản này đối với sự hòa nhập của VR cũng đe dọa khả năng tồn tại của Metaverse như một sự thay thế thuyết phục cho không gian 3D thực. Tuy nhiên, với sự trợ giúp của tính năng theo dõi bằng mắt EOG trong tai nghe VR, những môi trường ảo này có thể bắt đầu trở nên thực hơn rất nhiều. Trong tai nghe VR ngày nay, người dùng phải di chuyển đầu để nhìn xung quanh môi trường ảo của họ. Vì các chuyển động của mắt không được đăng ký, nên việc quét mắt đột ngột tự nhiên buộc phải thay thế bằng các chuyển động thường khó xử của đầu, góp phần lớn vào sự cồng kềnh của VR. Tuy nhiên, với tai nghe tích hợp EOG, người tham gia có thể nhìn tự nhiên về môi trường ảo của họ bằng cách di chuyển mắt. Do đó, EOG vừa có thể tăng mức độ dễ dàng

mà người dùng có thể điều hướng VR, đồng thời làm cho nó đắm chìm hơn.

Thiết kế các bước tiếp theo của chúng tôi

Khi thu được các tín hiệu y sinh như EOG, có hai thách thức chính đối với các nhà thiết kế phần cứng. Đầu tiên, những tín hiệu này có cường độ cực nhỏ (theo thứ tự microvolt) khiến chúng khó bị phát hiện. Thứ hai, những tín hiệu này quá nhỏ, những tín hiệu này dễ bị ảnh hưởng bởi các nguồn nhiễu và nhiễu điện. Chẳng hạn, đèn và các thiết bị trong phòng được cấp nguồn bằng nguồn điện xoay chiều 60 Hz 120V. Các tín hiệu nguồn điện mạnh này có thể “ghép điện dung” vào mạch của chúng ta và lấn át tín hiệu EOG, khiến chúng ta không thể giải mã được chuyển động của mắt do nhiễu.

Phần đầu tiên của mạch của chúng tôi bao gồm một bộ khuếch đại thiết bị, chịu trách nhiệm loại bỏ các nguồn gây nhiễu như nguồn điện 60 Hz. Bước tiếp theo là lọc. Tín hiệu EOG được biết là tồn tại trong khoảng từ 0 đến 50 Hz. Do đó, chúng tôi chuyển tín hiệu EOG của mình qua các bộ lọc loại bỏ các tần số nằm ngoài phạm vi này. Cuối cùng, chúng tôi chuyển tín hiệu của mình qua một mạch khuếch đại hoạt động. Mạch này chịu trách nhiệm cung cấp mức tăng lớn cho tín hiệu, khuếch đại tín hiệu đến mức mà máy tính có thể phát hiện được.

Ngoài ra, chúng tôi đã tạo một tai nghe in 3D để gắn mạch và các điện cực. Chúng tôi hiện đang trong quá trình phát triển các kỹ thuật phân loại hiệu quả trong Python để phân biệt giữa chớp mắt và các chuyển động mắt khác trong các tín hiệu của chúng tôi. Với tất cả những tiến bộ này, chúng tôi đang trên đường biến thiết bị theo dõi ánh nhìn của mình thành hiện thực.