Suivre le côté obscur

Dec 17 2022

Qu'y a-t-il à trouver dans vos yeux ? Imaginez une paire de lunettes qui pourrait détecter si vous regardiez un objet éloigné et zoomerait automatiquement pour vous ; un clavier qui tape au fur et à mesure que vos yeux regardent d'un mot à l'autre; ou même un outil de recherche qui vous renseigne sur ce que vous regardiez un peu trop longtemps. Les appareils futuristes comme ceux-ci qui peuvent surveiller les mouvements oculaires ont une variété d'applications allant du diagnostic des troubles oculaires à la fourniture d'expériences de jeu interactives.

https://www.nextpit.com/best-smart-glasses

Qu'y a-t-il à trouver dans vos yeux ?

Imaginez une paire de lunettes qui pourrait détecter si vous regardiez un objet éloigné et zoomerait automatiquement pour vous ; un clavier qui tape au fur et à mesure que vos yeux regardent d'un mot à l'autre; ou même un outil de recherche qui vous renseigne sur ce que vous regardiez un peu trop longtemps. Les appareils futuristes comme ceux-ci qui peuvent surveiller les mouvements oculaires ont une variété d'applications allant du diagnostic des troubles oculaires à la fourniture d'expériences de jeu interactives. La clé de la conception de tels systèmes est le suivi du regard : mesurer le mouvement des yeux en temps réel avec précision.

L'approche la plus populaire du suivi du regard aujourd'hui est la vision par ordinateur : où les caméras capturent des images de l'œil et des algorithmes traitent les données en temps réel pour déterminer comment l'œil se déplace. Les programmes de vision par ordinateur modernes intègrent des algorithmes d'apprentissage automatique pour détecter des modèles dans les images et classer efficacement les objets. Malgré les percées dans ce domaine, ces algorithmes souffrent d'une complexité de calcul importante. La formation d'algorithmes d'apprentissage automatique et le déchiffrement rapide d'images nécessitent des puces hautes performances qui consomment une quantité importante d'énergie. Bien que réalisable dans une voiture autonome ou un smartphone, l'intégration d'un système de vision par ordinateur dans une paire de lunettes est très difficile.

Dans la division Devices de Neurotech@Berkeley , nous nous concentrons sur le développement de matériel pour mesurer et analyser les signaux électriques générés par notre corps. Inspirés par le potentiel des systèmes de suivi du regard, nous avons entrepris d'explorer une technique dont le coût de calcul est nettement inférieur à celui de la vision par ordinateur : l'électrooculographie (EOG). Contrairement à la vision par ordinateur qui repose sur des caméras, l'EOG repose sur des signaux électriques intrinsèques générés dans notre œil.

Qu'est-ce que l'EOG ?

En 1951, Elwin Marg, neuroscientifique et optométriste américain à l'UC Berkeley, a découvert et défini l'électrooculographie. L'EOG est un test physiologique qui utilise plusieurs électrodes soigneusement placées pour mesurer les potentiels électriques permanents entre la membrane de Bruch (à l'arrière de l'œil) et la cornée. Puisqu'un dipôle est formé entre la cornée et la rétine, où la cornée a une charge positive par rapport à la rétine, le mouvement des yeux modifierait le signal électrique détecté par les électrodes EOG. Maintenant, imaginez un scénario de deux électrodes où l'une est placée juste au-dessus du sourcil et l'autre est placée sous l'œil. Lorsque le sujet lève les yeux, la cornée se rapproche de l'électrode supérieure et la membrane de Bruch se rapproche de l'électrode inférieure — la différence de potentiel entre les deux électrodes augmente ! De même, lorsque le sujet regarde vers le bas, le potentiel diminue alors. Les mouvements des yeux gauche et droit peuvent également être détectés en plaçant des électrodes à gauche et à droite de l'œil. Grâce à un mécanisme aussi simple, l'EOG peut être utilisé pour détecter les clignements, les clins d'œil et plusieurs autres formes de mouvement des yeux.

Peu de temps après sa découverte, l'EOG a été principalement appliqué dans le domaine médical pour le diagnostic des troubles mentaux et du sommeil, la technologie d'assistance pour les personnes blessées, etc. Plus récemment, il s'intègre dans des technologies plus accessibles comme les applications en réalité virtuelle (VR) et autres consommables grand public. Notamment, les données EOG peuvent être utilisées pour le suivi du regard. En fait, les chercheurs ont pu détecter des mouvements oculaires aussi petits que 1,5 degré. Soudain, le problème de suivi du regard que nous avons décrit plus tôt est devenu beaucoup plus simple. Nous n'avons plus besoin d'algorithmes sophistiqués de vision par ordinateur.

Parmi les innombrables applications pour un eye-tracker basé sur EOG, nous pensons que trois se démarquent.

Regarder les candidatures

Un casque EOG permettrait de mesurer les signaux en temps réel avec une grande précision, permettant un certain nombre d'applications différentes dans une variété de paramètres.

1. Suivi du comportement des consommateurs :

Il existe un certain nombre d'applications possibles pour le suivi EOG dans le domaine des publicités et du marketing produit. Actuellement, de nombreuses recherches sur les produits et le marketing sont effectuées par le biais de groupes de discussion ou d'enquêtes en ligne (parfois diffusées via des publicités ciblant les consommateurs), mais ces méthodes de recherche ne fournissent pas de retour immédiat sur les réactions des clients à un produit. Par exemple, les concepteurs d'annonces peuvent vouloir voir sur quelle partie d'une copie d'annonce les yeux d'un client potentiel sont attirés en premier. Ils voudront peut-être tester si le design qu'ils ont créé est perçu comme prévu par les consommateurs. Grâce à l'utilisation d'un casque EOG, ils seraient en mesure de suivre dans les moindres détails où se trouvent les yeux des clients et ce qui les attire au premier coup d'œil. Ils peuvent mesurer seconde par seconde sur quelles parties d'une publicité un consommateur se concentre. De cette façon,

2. Aide à la saisie :

Au niveau du consommateur, les signaux EOG peuvent être appliqués pour prendre en charge l'utilisation du clavier sur un ordinateur. Une aide EOG qui peut se coupler par Bluetooth avec un clavier pour prédire ce que les utilisateurs tapent en fonction du contexte textuel et de leur regard pourrait être utile pour augmenter la vitesse de frappe et la productivité. La preuve de concept pour des appareils comme celui-ci existe déjà, des produits comme le Tobii Eye Tracker sont déjà utilisés par les joueurs pour augmenter le taux de clics et pour effectuer des actions dans le jeu plus rapidement que possible avec un joystick. Les applications vont au-delà du jeu et de la productivité. Pour ceux qui ne peuvent pas taper sur un clavier standard et qui ne peuvent pas utiliser la synthèse vocale, les claviers à l'écran associés à un tracker EOG peuvent permettre une communication plus rapide.

3. Entrer dans la réalité virtuelle :

EOG pourrait également jouer un rôle crucial dans l'augmentation de l'attrait de masse de la réalité virtuelle et du métaverse. Aujourd'hui, la VR reste une nouveauté. Des casques maladroits, des commandes rigides et d'innombrables autres obstacles à l'immersion ont piégé la technologie dans une vallée étrange où les environnements VR ne semblent pas réalistes de manière convaincante. Par extension, ces barrières à l'immersion de la VR menacent également la viabilité du Métaverse en tant que substitut convaincant aux espaces 3D réels. Cependant, avec l'aide du suivi oculaire EOG dans les casques VR, ces environnements virtuels pourraient commencer à sembler beaucoup plus réels. Dans les casques VR d'aujourd'hui, les utilisateurs doivent bouger la tête pour regarder autour de leurs environnements virtuels. Étant donné que les mouvements oculaires ne sont pas enregistrés, le balayage oculaire saccadé naturel est remplacé de force par des mouvements de tête souvent maladroits, ce qui contribue grandement à la maladresse de la réalité virtuelle. Cependant, avec les casques intégrés EOG, les participants pouvaient regarder naturellement leurs environnements virtuels en bougeant les yeux. Ainsi, l'EOG pourrait à la fois augmenter la facilité

avec lequel les utilisateurs peuvent naviguer dans la réalité virtuelle, tout en la rendant plus immersive.

Concevoir nos prochaines étapes

Lors de l'acquisition de signaux biomédicaux comme l'EOG, les concepteurs de matériel doivent relever deux défis principaux. Premièrement, ces signaux sont extrêmement faibles en amplitude (de l'ordre du microvolt), ce qui les rend difficiles à détecter. Deuxièmement, ces signaux sont si petits qu'ils sont sensibles aux sources de bruit électrique et d'interférences. Par exemple, les lumières et les appareils d'une pièce sont alimentés par une alimentation 60 Hz 120 V CA. Ces signaux d'alimentation puissants peuvent "se coupler de manière capacitive" dans notre circuit et submerger le signal EOG, rendant impossible le déchiffrement des mouvements oculaires à partir du bruit.

La première partie de notre circuit est constituée d'un amplificateur d'instrumentation, chargé de rejeter les sources d'interférences comme l'alimentation 60 Hz. La prochaine étape est le filtrage. Les signaux EOG sont connus pour exister entre environ 0 et 50 Hz. Ainsi, nous passons notre signal EOG à travers des filtres qui rejettent les fréquences en dehors de cette plage. Enfin, nous passons notre signal à travers un circuit amplificateur opérationnel. Ce circuit est chargé de fournir un gain important au signal, en l'amplifiant à un niveau où il peut être détecté par un ordinateur.

De plus, nous avons créé un casque imprimé en 3D pour monter le circuit et les électrodes. Nous sommes actuellement en train de développer des techniques de classification efficaces en Python pour distinguer les clignements des yeux des autres mouvements oculaires dans nos signaux. Avec tous ces progrès, nous sommes sur la bonne voie pour faire de notre dispositif de suivi du regard une réalité.