Der dunklen Seite auf der Spur

Dec 17 2022

Was gibt es in deinen Augen zu finden? Stellen Sie sich eine Brille vor, die erkennen könnte, ob Sie auf ein weit entferntes Objekt blicken, und automatisch für Sie heranzoomen würde; eine Tastatur, die tippt, während Ihre Augen von Wort zu Wort blicken; oder sogar ein Suchwerkzeug, das Sie über das informiert, was Sie sich etwas zu lange angesehen haben. Futuristische Geräte wie diese, die Augenbewegungen überwachen können, haben eine Vielzahl von Anwendungen, die von der Diagnose von Augenerkrankungen bis zur Bereitstellung interaktiver Spielerlebnisse reichen.

https://www.nextpit.com/best-smart-glasses

Was gibt es in deinen Augen zu finden?

Stellen Sie sich eine Brille vor, die erkennen könnte, ob Sie auf ein weit entferntes Objekt blicken, und automatisch für Sie heranzoomen würde; eine Tastatur, die tippt, während Ihre Augen von Wort zu Wort blicken; oder sogar ein Suchwerkzeug, das Sie über das informiert, was Sie sich etwas zu lange angesehen haben. Futuristische Geräte wie diese, die Augenbewegungen überwachen können, haben eine Vielzahl von Anwendungen, die von der Diagnose von Augenerkrankungen bis zur Bereitstellung interaktiver Spielerlebnisse reichen. Der Schlüssel zum Design solcher Systeme ist die Blickverfolgung: die präzise Messung der Augenbewegung in Echtzeit.

Der heute beliebteste Ansatz zur Blickverfolgung ist Computer Vision: Hier nehmen Kameras Bilder des Auges auf und Algorithmen verarbeiten die Daten in Echtzeit, um festzustellen, wie sich das Auge bewegt. Moderne Computer-Vision-Programme integrieren maschinelle Lernalgorithmen, um Muster in Bildern zu erkennen und Objekte effizient zu klassifizieren. Trotz der Durchbrüche auf diesem Gebiet leiden diese Algorithmen unter erheblicher Rechenkomplexität. Das Training von maschinellen Lernalgorithmen und die schnelle Entschlüsselung von Bildern erfordert Hochleistungschips, die viel Strom verbrauchen. Während es in einem selbstfahrenden Auto oder einem Smartphone machbar ist, ist die Einbettung eines Computer-Vision-Systems in eine Brille eine große Herausforderung.

In der Devices Division von Neurotech@Berkeley konzentrieren wir uns auf die Entwicklung von Hardware zur Messung und Analyse elektrischer Signale, die von unserem Körper erzeugt werden. Inspiriert vom Potenzial von Blickverfolgungssystemen haben wir uns daran gemacht, eine Technik mit wesentlich geringeren Rechenkosten als Computervision zu erforschen: Elektrookulographie (EOG). Im Gegensatz zu Computer Vision, die sich auf Kameras stützt, stützt sich EOG auf intrinsische elektrische Signale, die in unserem Auge erzeugt werden.

Was ist EOG?

1951 entdeckte und definierte Elwin Marg, ein amerikanischer Neurowissenschaftler und Optiker an der UC Berkeley, die Elektrookulographie. EOG ist ein physiologischer Test, der mehrere sorgfältig platzierte Elektroden verwendet, um die stehenden elektrischen Potentiale zwischen der Bruch-Membran (am Augenhintergrund) und der Hornhaut zu messen. Da zwischen der Hornhaut und der Netzhaut ein Dipol gebildet wird, wobei die Hornhaut relativ zur Netzhaut eine positive Ladung aufweist, würde eine Augenbewegung das von den EOG-Elektroden erfasste elektrische Signal verändern. Stellen Sie sich nun ein Szenario mit zwei Elektroden vor, von denen eine direkt über der Augenbraue und eine unter dem Auge platziert wird. Wenn der Proband nach oben schaut, bewegt sich die Hornhaut näher an die obere Elektrode und die Bruch-Membran näher an die untere Elektrode – die Potentialdifferenz zwischen den beiden Elektroden steigt! Ebenfalls, Wenn das Subjekt nach unten blickt, nimmt das Potenzial dann ab. Die Bewegung des linken und rechten Auges kann auch erkannt werden, indem Elektroden links und rechts vom Auge platziert werden. Durch einen so einfachen Mechanismus kann EOG genutzt werden, um Blinzeln, Zwinkern und verschiedene andere Formen der Augenbewegung zu erkennen.

Kurz nach seiner Entdeckung wurde EOG hauptsächlich im medizinischen Bereich zur Diagnose von psychischen und Schlafstörungen, unterstützenden Technologien für Personen mit Verletzungen und mehr eingesetzt. In jüngerer Zeit wird es in zugänglichere Technologien wie Anwendungen in der virtuellen Realität (VR) und andere Verbrauchsgüter für die breite Öffentlichkeit integriert. Insbesondere können EOG-Daten für die Blickverfolgung verwendet werden. Tatsächlich konnten Forscher Augenbewegungen von nur 1,5 Grad erkennen. Plötzlich wurde das Problem der Blickverfolgung, das wir zuvor beschrieben haben, erheblich einfacher. Wir benötigen keine ausgeklügelten Computer-Vision-Algorithmen mehr.

Unter den unzähligen Anwendungen für einen EOG-basierten Eyetracker stechen unserer Meinung nach drei hervor.

Blick auf die Anwendungen

Ein EOG-Headset würde es ermöglichen, Signale in Echtzeit mit hoher Präzision zu messen, was eine Reihe verschiedener Anwendungen in einer Vielzahl von Umgebungen ermöglicht.

1. Tracking des Verbraucherverhaltens:

Es gibt eine Reihe möglicher Anwendungen für das EOG-Tracking im Bereich Werbung und Produktmarketing. Derzeit wird ein Großteil der Produkt- und Marketingforschung entweder durch Fokusgruppen oder Online-Umfragen durchgeführt (manchmal durch Anzeigen, die auf Verbraucher ausgerichtet sind), aber diese Forschungsmethoden liefern kein unmittelbares Feedback zu den Reaktionen der Kunden auf ein Produkt. Anzeigendesigner möchten beispielsweise sehen, auf welchen Teil eines Anzeigentextes die Aufmerksamkeit eines potenziellen Kunden zuerst gelenkt wird. Sie möchten vielleicht testen, ob das von ihnen erstellte Design bei den Verbrauchern wie beabsichtigt ankommt. Durch die Verwendung eines EOG-Headsets könnten sie bis ins kleinste Detail verfolgen, wo sich die Augen der Kunden befinden und was sie auf den ersten Blick anzieht. Sie können Sekunde für Sekunde messen, auf welche Teile einer Anzeige sich ein Verbraucher konzentriert. Auf diese Weise,

2. Tipphilfe:

Auf Verbraucherebene können EOG-Signale angelegt werden, um die Tastaturverwendung auf einem Computer zu unterstützen. Eine EOG-Hilfe, die über Bluetooth mit einer Tastatur gekoppelt werden kann, um basierend auf dem Textkontext und ihrem Blick vorherzusagen, was Benutzer tippen, könnte nützlich sein, um die Tippgeschwindigkeit und Produktivität zu erhöhen. Der Machbarkeitsnachweis für Geräte wie dieses existiert bereits, Produkte wie der Tobii Eye Tracker werden bereits von Spielern verwendet, um die Klickrate zu erhöhen und In-Game-Aktionen schneller als mit einem Joystick auszuführen. Die Anwendungen gehen über Gaming und Produktivität hinaus. Für diejenigen, die nicht auf einer Standardtastatur tippen und Sprache-zu-Text nicht nutzen können, können Bildschirmtastaturen in Verbindung mit einem EOG-Tracker eine schnellere Kommunikation ermöglichen.

3. Eintreten in die virtuelle Realität:

EOG könnte auch eine entscheidende Rolle bei der Steigerung der Massenattraktivität von VR und dem Metaverse spielen. Heute bleibt VR ein Novum. Klobige Headsets, starre Bedienelemente und zahllose andere Barrieren für das Eintauchen haben die Technologie in einem unheimlichen Tal gefangen, in dem sich VR-Umgebungen nicht überzeugend real anfühlen. Im weiteren Sinne bedrohen diese Barrieren für das Eintauchen in VR auch die Lebensfähigkeit des Metaversums als überzeugenden Ersatz für echte 3D-Räume. Mit Hilfe von EOG-Eye-Tracking in VR-Headsets könnten diese virtuellen Umgebungen jedoch viel realer erscheinen. In den heutigen VR-Headsets müssen Benutzer ihren Kopf bewegen, um sich in ihrer virtuellen Umgebung umzusehen. Da Augenbewegungen nicht registriert werden, wird das natürliche sakkadische Augenscannen zwangsweise durch oft unbeholfene Kopfbewegungen ersetzt, was stark zur Schwerfälligkeit von VR beiträgt. Jedoch, Mit den integrierten EOG-Headsets konnten die Teilnehmer ihre virtuellen Umgebungen auf natürliche Weise betrachten, indem sie ihre Augen bewegten. Somit könnte EOG sowohl die Leichtigkeit erhöhen

mit dem Benutzer in VR navigieren und es gleichzeitig immersiver machen können.

Gestaltung unserer nächsten Schritte

Bei der Erfassung biomedizinischer Signale wie EOG gibt es zwei Hauptherausforderungen für Hardwaredesigner. Erstens sind diese Signale extrem klein (in der Größenordnung von Mikrovolt), wodurch sie schwer zu erkennen sind. Zweitens sind diese Signale so klein, dass diese Signale anfällig für Quellen von elektrischem Rauschen und Störungen sind. Beispielsweise werden Lichter und Geräte in einem Raum mit 60 Hz 120 V Wechselstrom betrieben. Diese starken Stromversorgungssignale können „kapazitiv“ in unseren Schaltkreis einkoppeln und das EOG-Signal überwältigen, wodurch es unmöglich wird, Augenbewegungen aus Rauschen zu entschlüsseln.

Der erste Teil unserer Schaltung besteht aus einem Instrumentenverstärker, der für die Unterdrückung von Störquellen wie dem 60-Hz-Netzteil zuständig ist. Der nächste Schritt ist das Filtern. Es ist bekannt, dass EOG-Signale zwischen etwa 0 und 50 Hz existieren. Daher leiten wir unser EOG-Signal durch Filter, die Frequenzen außerhalb dieses Bereichs zurückweisen. Schließlich leiten wir unser Signal durch eine Operationsverstärkerschaltung. Diese Schaltung ist dafür verantwortlich, dem Signal eine große Verstärkung zu verleihen und es auf einen Pegel zu verstärken, auf dem es von einem Computer erkannt werden kann.

Darüber hinaus haben wir ein 3D-gedrucktes Headset erstellt, um den Schaltkreis und die Elektroden zu montieren. Wir sind gerade dabei, effiziente Klassifizierungstechniken in Python zu entwickeln, um zwischen Blinzeln und anderen Augenbewegungen in unseren Signalen zu unterscheiden. Mit all diesen Fortschritten sind wir auf dem Weg, unser Blickverfolgungsgerät Wirklichkeit werden zu lassen.