Что происходит в Neuralink? Лучшие обновления «Покажи и расскажи, осень 2022»

Это становится моей личной традицией комментировать ежегодные обновления прогресса компании Neuralink (если вы хотите увидеть некоторые предыдущие сообщения, посмотрите здесь или здесь ). И вот мы почти достигли конца 2022 года, с очередным обновлением от нейротехнологического стартапа Илона Маска. Вчера во время мероприятия Neuralink Show and Tell, Fall 2022 Илон Маск и представители Neuralink представили результаты своих исследований и разработок.

Я могу выразить это просто: ускорение — это одно слово, чтобы описать, что там происходит, и если вам нужен TL; DR, вы можете сразу перейти к ключевым моментам . Множество улучшений, редизайнов, очередные итерации идей. И когда я пытаюсь следить за обновлениями, я вижу, что сейчас этот проект стал более зрелым, и гораздо меньше модных словечек или сумасшедших, наивных идей, таких как «о да, мы будем транслировать музыку в мозг».

Для корректного прохождения обновлений мы сохраним хронологический порядок — мероприятие открывал Илон Маск, а затем сессию глубокого погружения вели представители Neuralink из разных областей этого мультидисциплинарного проекта.

AGI — Искусственный Общий Интеллект — термин, используемый для описания ИИ более высокого уровня, обладающего некоторыми когнитивными способностями, позволяющими ему делать множество вещей, и/или/может быть «разумным». Здесь нет простого определения, взгляните на [2].

Каково это быть AGI?

Ссылаясь на известную публикацию Томаса Нагеля под названием «Каково быть летучей мышью?» был намеренным каламбуром здесь, так что не беспокойтесь, я не буду пытаться начать здесь какую-либо философскую *битву*. Причина, по которой я упомянул здесь искусственный общий интеллект (AGI), заключается в том, что этот термин присутствовал во вступительной речи Маска. Он предложил, но не обсудил, более умозрительную и футуристическую долгосрочную цель нейротехнологической индустрии — подчеркнуть возможную в будущем связь нашего мозга с общим искусственным интеллектом и, таким образом, выйти далеко за рамки наших нынешних когнитивных способностей. Поскольку мне очень нравится футуризм и трансгуманизм, я рад, что на этот раз такой сумасшедший вклад был только в начале, и большая часть мероприятия была больше сосредоточена на важных, технических обновлениях и проблемах.

FDA — Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США — американское агентство, которое контролирует (среди прочего) продукты питания, лекарства и некоторые определенные устройства до их выпуска на рынок.

«Прототипы легко, производство сложно»

В своем выступлении Маск сказал, что команда много работала, чтобы добиться одобрения FDA. В течение следующих 6 месяцев они надеются продвинуться в этом вопросе и получить возможность проводить тесты с участием людей (см. 0:26:25 в [1]).

Илон представил несколько видеороликов об обезьянах с имплантированными устройствами Neuralink. Одна из обезьян, Пейджер, была представлена ​​также в 2021 году во время игры через интерфейс (см. [3]). На этот раз там также был Саке, обезьяна, «печатающая» на клавиатуре своей мозговой активностью. Не беспокойтесь, обезьяны (пока) не знают письменного алфавита или семантических аспектов языка — эта обезьяна только смотрела на выделенные клавиши на клавиатуре и шаг за шагом писала предложения. Тем не менее, это интересный шаг вперед, поскольку движением курсора управляет не какое-либо устройство слежения за глазами, а активность нейронов обезьяны, записываемая с помощью имплантата. После записи активности и ее расшифровки с помощью алгоритма нужный фрагмент информации «переводился» и отправлялся на исполнительный механизм — курсор. И если удачно,

Давайте перейдем к некоторым техническим обновлениям — они будут краткими по одной конкретной причине: презентации были очень хорошими, но для того, чтобы по-настоящему глубоко погрузиться в этот вопрос, от каждого представителя потребуется одна или две лекции. Если Neuralink выпустит свой следующий технический документ, я буду рад прочитать его и обсудить с вами некоторые конкретные детали*.

* Ограничусь деталями, которые я бы понял. ;)

Обновления, ура!

Давайте пройдемся по некоторым моментам, представленным группой представителей компании. Поскольку общая презентация длилась более 2 часов, я разместил ее здесь в хронологическом порядке — если вам интересна какая-то конкретная тема, вы можете увидеть примерное время начала каждого выступающего рядом с его именами и посмотреть эту часть видео самостоятельно. на канале Neuralink на YouTube ([1]).

(00:37:00) Диджей. Во время презентации он упомянул три основных фактора, которые необходимо учитывать при разработке такого продукта: безопасность , масштабируемость и доступ к областям мозга . Во время выступления ди-джея они запустили живую демонстрацию хирургического робота Neuralink, чтобы продемонстрировать процесс вставки электродных нитей в искусственную модель мозга, позже названную «мозговым прокси». На предварительном просмотре с камеры робота (см. рис. 2) можно увидеть корковую поверхность (которая является целью робота) и сосудистую сеть головного мозга (которую робот должен опустить). Есть и поражающие мишени, к которым можно было пришить нитку.

Некоторые основные моменты от DJ: они думают о масштабировании от прототипирования до производства. У них есть еще одно предприятие в Остине, штат Техас. Возможно ли в будущем иметь клинику Neuralink?

(0:46:00) Нир быстро объяснил, как обезьяна Пейджер может играть в игру MindPong:

1. Запись нейронной активности обезьяны через имплантат.
2. Обучение искусственной нейронной сети, предсказывающей скорость курсора по закономерностям нейронной активности обезьяны.
3. После декодирования курсор можно переместить в предсказанную позицию. Если позиция соответствует цели, обезьяна может получить награду.

(0:51:50) Блисс упомянул очень важную проблему стабильности сигналов во времени. Это сложная задача для любого имплантируемого интерфейса, чтобы справиться с изменчивостью сигналов (в разных структурах мозга могут возникать некоторые периодические, но также, что еще сложнее, непериодические изменчивости сигналов).

(0:56:00) Авинаш обновил некоторые подробности, касающиеся модулей обработки устройств Neuralink, в частности, чипов ASIC. Он представил некоторые новости об улучшении нескольких аспектов: оптимизация использования ASIC, удвоение времени автономной работы устройства, их новый подход к эффективному обнаружению пиков в сигналах. В настоящее время существует 1024 канала, собирающих данные, но в будущем они планируют увеличить его до 16 000 каналов.

(1:01:30) Мэтт указал, что при зарядке устройства возникают серьезные проблемы, из которых наиболее важной является безопасность — например, тепловая безопасность, поэтому температура батареи не будет значительно выше температуры окружающих тканей. Они представили видео использования зарядного устройства Neuralink, показывающее, как обезьяна приближается к зарядному устройству и использует его. Мэтт упомянул об улучшенной производительности зарядки и о том, что они работают над следующей итерацией решения.

(1:05:30) Джулиан объяснил некоторые аспекты связи между модулями устройства и то, как они подходят к тестированию его различных аспектов.

(1:11:30) Джош рассказал некоторые подробности об искусственной системе, в которой отслеживают разные аспекты жизни импланта. В своей системе они могут выполнять исследования «ускоренного срока службы», что позволяет им запускать процессы в заранее заданных условиях, поэтому они могут попытаться оценить производительность имплантата, например, наблюдая за изменениями влажности или долговечностью имплантата в биохимическом бульоне. Их текущая цель — модифицировать среду тестирования, масштабировать ее и, следовательно, параллельно охватить большое количество тестируемых устройств.

(1:17:00) Кристина обсудила некоторые предстоящие проблемы, если они хотят, чтобы хирургический робот выполнял все нейрохирургические задачи. Робот кажется значительно улучшенным; его зрение кажется очень продвинутым, поскольку робот сочетает в себе несколько визуальных режимов и обрабатывает изображение, чтобы лучше различать сосудистую сеть и кору. Кристин также упомянула о трудностях, возникающих из-за меж- и внутрииндивидуальной изменчивости, и будущих проблемах при выполнении краниотомии (т. е. хирургического вскрытия черепа) и дуротомии (т. е. хирургического вскрытия твердой мозговой оболочки, самого внешнего из трех слоев, покрывающих мозг).

(1:24:00) Алекс объяснил возможный способ упростить обновление устройства. До сих пор имплантаты предназначались для размещения на коре головного мозга, но могла возникнуть проблема с рубцовой тканью, заполняющей пространство между имплантатом и корой. Тогда было бы проблематично правильно удалить резьбу с электродами при апгрейде имплантата или тотальном удалении. Одно из предложенных решений — оставить твердую мозговую оболочку на поверхности мозга. Это по-прежнему сложно, так как из-за толщины твердой мозговой оболочки, наличия коллагеновых волокон и ограниченной видимости сосудистой сети необходим другой способ решения этой проблемы. В настоящее время они работают над правильной визуализацией сосудов под твердой мозговой оболочкой.

(1:29:00) Сэм объяснил, что они ускорили прототипирование игл для робота. Вместо 2–3 дней на тестирование, которые требовались в начале 2022 года, сейчас на тестирование требуется менее часа.

(1:34:00) Лесли объяснил, что они разработали разные модели тканей, с которыми можно экспериментировать.

(1:37:00) Дэн объяснил некоторые аспекты нейронауки зрения на примере шпорной борозды [5], которая присутствует в затылочной доле, и обсудил некоторые свойства того, как изображения обрабатываются в первичной зрительной коре. Он упомянул об эксперименте, в котором одна из обезьян не только пассивно регистрировалась в области зрительной коры, но и стимулировалась — а стимуляция вызывала фосфен — индуцированный феномен зрительного восприятия (иными словами: чего-то нет в поле зрения человека). , но человек воспринимает это из-за специфической стимуляции связанных со зрением областей нервной системы).

(1:47:00) Джоуи представил некоторые результаты экспериментов со свиньей с имплантатами Neuralink. Они представили, что они способны стимулировать мышцы ног свиньи, и они сокращаются. Но как связать намерение двигать конечностью с ее реальным движением, особенно если поврежден путь, соединяющий актуаторы с мозгом? Они думают об обходе пути между моторной корой и вентральными рогами спинного мозга, но также, поскольку ощущение является важной частью двигательного взаимодействия, они хотят обеспечить еще один обходной путь, собирая сигнал от дорсальных рогов спинного мозга и отправляя их. к соматосенсорной коре.

В вопросе и ответе на вопрос об открытии некоторых экспериментальных данных, собранных Neuralink, Илон ответил, что это не проблема и что такая возможность есть. К сожалению, не было ответа, когда. Другие вопросы касались альтернатив Bluetooth-связи, проблем с рубцовой тканью и деградацией сигнала, но ответы были не очень подробными, чтобы воспроизвести их здесь.

Ключевые моменты

Команда внесла множество улучшений:

• С предварительным просмотром поверхности мозга, сегментацией сосудов и коры и определением областей для введения нитей (см. выступления Ди-джея и Кристины).
• Достижение более высоких битрейтов в некоторых экспериментах (см. доклад Нира).
• Оптимизация использования ASIC, удвоение времени автономной работы, новый подход к обнаружению всплесков (см. доклад Авинаша).
• Улучшение производительности зарядки (см. выступление Мэтта).
• Новая среда для «ускоренного жизненного цикла» тестирования (см. выступление Джоша).
• Изменение подхода к операции — твердая мозговая оболочка не удаляется во время операции (см. выступление Алекса).
• Ускоренное создание прототипов роботов-игл (см. выступление Сэма).
• Некоторые экспериментальные данные, вероятно, будут в открытом доступе (см. ответ Илона в разделе «Вопросы и ответы»).

Презентация этого года казалась гораздо более профессиональной и менее ориентированной на шумиху, чем предыдущие выпуски. Инвазивная имплантация в кору головного мозга представляет собой сложную междисциплинарную работу — речь идет не только об открытии черепа, помещении чего-либо туда и закрытии. Команды представили свои успехи и улучшения в нескольких областях, и я думаю, что это действительно огромно, поскольку именно так выглядят сложные проекты — есть постоянные итерации все лучших и лучших решений, сохраняя конвергенцию с другими дисциплинами, вносящими вклад в продукт.
Кстати, робот продолжает меня впечатлять. Начиная с первой итерации, которая, на мой взгляд, также была удивительным инженерным достижением, она превратилась в еще более впечатляющую работу.

Одна из концептуальных проблем, с которыми я сталкиваюсь, заключается в том, как они будут подходить к бороздам мозга (например, к известковой борозде, упомянутой Дэном), особенно если они хотят оставить твердую мозговую оболочку на месте. Складчатая поверхность мозга — серьезная проблема, но ответа на нее я пока не видел. Другое дело — я не нейрохирург, но мне интересно, если оставить твердую мозговую оболочку, значительно облегчит извлечение устройства Neuralink из головы. А как насчет нитей под твердой мозговой оболочкой (т.е. между корой и нижней частью твердой мозговой оболочки)? Не покроются ли они рубцовой тканью и потом их будет трудно удалить?

Анна

использованная литература

[1] Neuralink Show and Tell, видеособытие осени 2022 года. Размещено каналом Neuralink на YouTube . Дата обращения: 01.12.2022. URL-адрес:https://www.youtube.com/watch?v=YreDYmXTYi4.

[2] Общий искусственный интеллект . Источник: Википедия. Лицензия: CC BY SA 3.0 . Дата обращения: 02.12.2022. URL-адрес:https://en.wikipedia.org/wiki/Artificial_general_intelligence.

[3] Видео Monkey MindPong . Размещено каналом Neuralink на YouTube . Дата обращения: 02.12.2022. URL-адрес:https://www.youtube.com/watch?v=rsCul1sp4hQ.

[4] Уиллетт, Ф.Р., Авансино, Д.Т., Хохберг, Л.Р., Хендерсон, Дж.М., и Шеной, К.В. (2021). Высокопроизводительная коммуникация мозга с текстом посредством рукописного ввода. Природа , 593 (7858), 249–254.

[5] Известковая борозда . Источник: Википедия. Лицензия: CC BY SA 3.0 . Дата обращения: 02.12.2022. URL-адрес:https://en.wikipedia.org/wiki/Calcarine_sulcus.