Отслеживание темной стороны

Dec 17 2022

Что можно найти в твоих глазах? Представьте себе пару очков, которые могли бы определять, смотрите ли вы на далекий объект, и автоматически увеличивали бы для вас масштаб; клавиатура, которая печатает, когда ваши глаза переводят слова с одного слова на другое; или даже инструмент поиска, который расскажет вам о том, на что вы смотрели слишком долго. Подобные футуристические устройства, которые могут отслеживать движения глаз, имеют множество применений, начиная от диагностики нарушений зрения и заканчивая интерактивными играми.

https://www.nextpit.com/best-smart-glasses

Что можно найти в твоих глазах?

Представьте себе пару очков, которые могли бы определять, смотрите ли вы на далекий объект, и автоматически увеличивали бы для вас масштаб; клавиатура, которая печатает, когда ваши глаза переводят слова с одного слова на другое; или даже инструмент поиска, который расскажет вам о том, на что вы смотрели слишком долго. Подобные футуристические устройства, которые могут отслеживать движения глаз, имеют множество применений, начиная от диагностики нарушений зрения и заканчивая интерактивными играми. Ключом к разработке таких систем является отслеживание взгляда: точное измерение движения глаз в режиме реального времени.

Самый популярный подход к отслеживанию взгляда сегодня — это компьютерное зрение: камеры делают снимки глаза, а алгоритмы обрабатывают данные в режиме реального времени, чтобы определить, как движется глаз. Современные программы компьютерного зрения включают алгоритмы машинного обучения для обнаружения шаблонов на изображениях и эффективной классификации объектов. Несмотря на прорывы в этой области, эти алгоритмы имеют значительную вычислительную сложность. Для обучения алгоритмов машинного обучения и быстрой расшифровки изображений требуются высокопроизводительные микросхемы, которые потребляют значительное количество энергии. Хотя это возможно в беспилотном автомобиле или смартфоне, встроить систему компьютерного зрения в пару очков очень сложно.

В подразделении устройств компании Neurotech@Berkeley мы занимаемся разработкой оборудования для измерения и анализа электрических сигналов, генерируемых нашим телом. Вдохновленные потенциалом систем слежения за взглядом, мы решили изучить метод со значительно меньшими вычислительными затратами, чем компьютерное зрение: электроокулографию (ЭОГ). В отличие от компьютерного зрения, основанного на камерах, ЭОГ опирается на собственные электрические сигналы, генерируемые нашим глазом.

Что такое ЭОГ?

В 1951 году Элвин Марг, американский нейробиолог и окулист из Калифорнийского университета в Беркли, открыл и дал определение электроокулографии. ЭОГ — это физиологический тест, в котором используется несколько тщательно расположенных электродов для измерения стоячих электрических потенциалов между мембраной Бруха (в задней части глаза) и роговицей. Поскольку между роговицей и сетчаткой образуется диполь, где роговица имеет положительный заряд по отношению к сетчатке, движение глаз может изменить электрический сигнал, регистрируемый электродами ЭОГ. Теперь представьте себе ситуацию с двумя электродами, один из которых расположен над бровью, а другой — под глазом. Когда испытуемый смотрит вверх, роговица приближается к верхнему электроду, а мембрана Бруха приближается к нижнему электроду — разность потенциалов между двумя электродами увеличивается! Так же, когда субъект смотрит вниз, потенциал уменьшается. Движение левого и правого глаза также можно обнаружить, поместив электроды слева и справа от глаза. Благодаря такому простому механизму ЭОГ можно использовать для обнаружения моргания, подмигивания и некоторых других форм движения глаз.

Вскоре после своего открытия ЭОГ в основном применялась в области медицины для диагностики психических расстройств и нарушений сна, вспомогательных технологий для тех, кто получил травмы, и многого другого. В последнее время он интегрируется в более доступные технологии, такие как приложения виртуальной реальности (VR) и другие расходные материалы для широкой публики. Примечательно, что данные ЭОГ можно использовать для отслеживания взгляда. Фактически, исследователи смогли обнаружить движения глаз всего на 1,5 градуса. Внезапно проблема с отслеживанием взгляда, которую мы описали ранее, стала значительно проще. Нам больше не нужны сложные алгоритмы компьютерного зрения.

Среди бесчисленных приложений для айтрекера на основе EOG три выделяются.

Просмотр приложений

Гарнитура EOG позволила бы измерять сигналы в режиме реального времени с высокой точностью, позволяя использовать множество различных приложений в различных условиях.

1. Отслеживание поведения потребителей:

Существует ряд возможных приложений для отслеживания EOG в сфере рекламы и маркетинга продуктов. В настоящее время многие исследования продуктов и маркетинга проводятся с помощью фокус-групп или онлайн-опросов (иногда с помощью рекламы, ориентированной на потребителей), но эти методы исследования не обеспечивают немедленную обратную связь о реакции клиентов на продукт. Например, дизайнеры рекламы могут захотеть увидеть, какая часть рекламного текста привлекает внимание потенциальных клиентов в первую очередь. Они могут захотеть проверить, воспринимается ли созданный ими дизайн потребителями так, как задумано. Благодаря использованию гарнитуры EOG они смогут в мельчайших деталях отслеживать, где находятся глаза клиентов и на что они обращают внимание с первого взгляда. Они могут измерять каждую секунду, на какие части рекламы обращает внимание потребитель. Этим способом,

2. Помощь при наборе текста:

На потребительском уровне сигналы EOG могут применяться для поддержки использования клавиатуры на компьютере. Помощник EOG, который может соединяться по Bluetooth с клавиатурой, чтобы предсказать, что пользователи печатают, на основе текстового контекста и их взгляда, может быть полезен для увеличения скорости набора текста и производительности. Доказательство концепции для таких устройств уже существует, такие продукты, как Tobii Eye Tracker, уже используются геймерами для увеличения частоты кликов и выполнения игровых действий быстрее, чем это возможно с помощью джойстика. Приложения выходят за рамки игр и производительности. Для тех, кто не может печатать на стандартной клавиатуре и не может использовать преобразование речи в текст, экранная клавиатура в сочетании с трекером EOG может обеспечить более быструю связь.

3. Шаг в виртуальную реальность:

EOG также может сыграть решающую роль в повышении массовой привлекательности VR и Метавселенной. Сегодня виртуальная реальность остается новинкой. Неуклюжие гарнитуры, жесткое управление и бесчисленное множество других препятствий для погружения загнали технологию в зловещую долину, где виртуальная среда не кажется убедительно реальной. Кроме того, эти барьеры для погружения в виртуальную реальность также угрожают жизнеспособности Метавселенной как убедительной замены реальным трехмерным пространствам. Однако с помощью отслеживания взгляда EOG в гарнитурах виртуальной реальности эти виртуальные среды могут казаться намного более реальными. В современных гарнитурах виртуальной реальности пользователям приходится двигать головой, чтобы оглядеться в виртуальной среде. Поскольку движения глаз не регистрируются, естественное саккадическое сканирование глаз принудительно заменяется часто неуклюжими движениями головы, что в значительной степени способствует неуклюжести виртуальной реальности. Однако, со встроенными гарнитурами EOG участники могли естественно смотреть на свою виртуальную среду, двигая глазами. Таким образом, ЭОГ может увеличить легкость

с помощью которого пользователи могут перемещаться в виртуальной реальности, а также сделать ее более захватывающей.

Планирование наших следующих шагов

При получении биомедицинских сигналов, таких как ЭОГ, разработчики оборудования сталкиваются с двумя основными проблемами. Во-первых, эти сигналы чрезвычайно малы по величине (порядка микровольт), что затрудняет их обнаружение. Во-вторых, эти сигналы настолько малы, что они чувствительны к источникам электрических шумов и помех. Например, освещение и бытовые приборы в комнате питаются от сети переменного тока с частотой 60 Гц и напряжением 120 В. Эти сильные сигналы источника питания могут «емкостно соединяться» с нашей цепью и подавлять сигнал ЭОГ, делая невозможным распознавание движений глаз по шуму.

Первая часть нашей схемы состоит из инструментального усилителя, который отвечает за подавление источников помех, таких как источник питания с частотой 60 Гц. Следующий шаг — фильтрация. Известно, что сигналы ЭОГ существуют между 0 и 50 Гц. Таким образом, мы пропускаем наш сигнал ЭОГ через фильтры, отсекающие частоты за пределами этого диапазона. Наконец, мы пропускаем наш сигнал через схему операционного усилителя. Эта схема отвечает за обеспечение большого усиления сигнала, усиливая его до уровня, на котором он может быть обнаружен компьютером.

Кроме того, мы создали гарнитуру, напечатанную на 3D-принтере, для крепления схемы и электродов. Сейчас мы разрабатываем эффективные методы классификации в Python, чтобы различать моргание и другие движения глаз в наших сигналах. Со всем этим прогрессом мы на пути к тому, чтобы сделать наше устройство отслеживания взгляда реальностью.