Quoi de neuf chez Neuralink? Principales mises à jour « Show and Tell, automne 2022 »

Cela commence à être considéré comme ma tradition personnelle de commenter les mises à jour annuelles des progrès de l'entreprise Neuralink (si vous souhaitez voir des articles précédents, jetez un œil ici ou ici ). Et nous voici presque arrivés à la fin de 2022, avec une autre mise à jour de la start-up neurotechnologique d'Elon Musk. Hier, lors de l'événement "Neuralink Show and Tell, Fall 2022", les représentants d'Elon Musk et de Neuralink ont ​​présenté les résultats de leur exploration R&D.

Je peux le dire simplement : l'accélération est un seul mot pour décrire ce qui se passe là-bas et si vous avez besoin d'un TL; DR, vous pouvez passer directement aux points clés . Beaucoup d'améliorations, de refontes, d'autres itérations d'idées. Et alors que j'essaie de suivre les mises à jour, je vois plus de maturité dans ce projet maintenant, et beaucoup moins de mots à la mode ou d'idées folles et naïves comme "ah oui, nous allons diffuser de la musique au cerveau".

Afin de bien parcourir les mises à jour, nous conserverons l'ordre chronologique - Elon Musk avait ouvert l'événement, puis une session de plongée approfondie a été menée par les représentants de Neuralink de différents domaines de ce projet multidisciplinaire.

AGI — Artificial General Intelligence — un terme utilisé pour décrire une IA de niveau supérieur, ayant des capacités cognitives lui permettant de faire une variété de choses, et/ou/peut-être d'être « sensible ». Il n'y a pas de définition facile ici, jetez un oeil à [2].

Qu'est-ce que c'est que d'être un AGI?

Se référant à une célèbre publication de Thomas Nagel, intitulée "C'est quoi être une chauve-souris ?" était un jeu de mots intentionnel ici, donc pas de soucis, je n'essaierai pas de commencer une * bataille * philosophique ici. La raison pour laquelle j'ai mentionné l'Intelligence Générale Artificielle (AGI) ici est que le terme était présent dans le discours d'ouverture de Musk. Il a proposé, mais non discuté, un objectif à long terme plus spéculatif et futuriste de l'industrie des neurotechnologies - mettant l'accent sur une future connexion possible de notre cerveau avec l'intelligence générale artificielle, et allant ainsi bien au-delà de nos capacités cognitives actuelles. Comme j'aime beaucoup le futurisme et le transhumanisme, je suis heureux que cette fois-ci une telle contribution folle n'était qu'au début, et la majeure partie de l'événement était plus axée sur l'essentiel, la mise à jour technique et les défis.

FDA — US Food and Drug Administration — Agence américaine qui contrôle (entre autres) les aliments, les médicaments et certains dispositifs spécifiés, avant leur mise sur le marché.

"Les prototypes sont faciles, la production est difficile"

Dans son discours, Musk a déclaré que l'équipe avait beaucoup travaillé pour obtenir l'approbation de la FDA. Dans les 6 prochains mois, ils espèrent progresser dans ce domaine et pouvoir effectuer des tests avec des participants humains (voir 0:26:25 dans [1]).

Elon a présenté des vidéos de singes avec des dispositifs Neuralink implantés. L'un des singes, Pager, a été présenté également en 2021 alors qu'il jouait à un jeu via l'interface (voir [3]). Cette fois, il y avait aussi Sake, un singe « tapant » sur le clavier avec son activité cérébrale. Pas de soucis, les singes ne connaissent pas (encore) l'alphabet écrit ou les aspects sémantiques du langage - ce singe ne faisait que regarder les touches en surbrillance sur le clavier, et des phrases étape par étape ont été écrites. Pourtant, il s'agit d'un pas en avant intéressant, car le mouvement du curseur n'est pas dirigé par un dispositif de suivi oculaire, mais par l'activité neuronale du singe enregistrée avec l'implant. Après avoir enregistré l'activité et l'avoir décodée avec un algorithme, une bonne information a été « traduite » et envoyée à l'actionneur, le curseur. Et en cas de succès,

Passons à quelques mises à jour techniques - elles seront brèves pour une raison particulière : les présentations étaient très bonnes, mais il faudrait un ou deux cours magistraux de chaque représentant pour approfondir le sujet. Si Neuralink publie son prochain livre blanc, je serais ravi de le lire et de discuter de certains détails spécifiques* avec vous.

* Me limiter aux détails que je comprendrais. ;)

Mises à jour, youpi !

Passons ensuite en revue quelques faits saillants présentés par le groupe des représentants de l'entreprise. Comme la présentation globale a duré plus de 2 heures, je l'ai gardée ici dans un ordre chronologique - si vous trouvez un sujet spécifique intéressant, vous pouvez voir une heure de début approximative de chaque personne présentant à côté de leurs noms, et regarder cette partie vidéo par vous-même sur la chaîne YouTube Neuralink ([1]).

(0:37:00) DJ. Au cours de la présentation, il a mentionné trois facteurs majeurs à prendre en compte lors du développement d'un tel produit : la sécurité , l'évolutivité et l'accès aux régions du cerveau . Au cours de la conférence de DJ, ils ont lancé une démonstration en direct du robot chirurgical de Neuralink pour présenter le processus d'insertion de fils d'électrodes dans un modèle artificiel de cerveau, appelé plus tard «proxy cérébral». Sur l'aperçu de la caméra du robot (voir Figure 2), on peut voir la surface corticale (qui est la cible du robot) et la vascularisation cérébrale (que le robot doit omettre). Il y a aussi des cibles de frappe, auxquelles le fil pourrait être cousu.

Quelques faits saillants de DJ : ils envisagent de passer du prototypage à la production. Ils ont une autre installation à Austin, TX. À l'avenir, il sera peut-être possible d'avoir la clinique de Neuralink ?

(0:46:00) Nir a rapidement expliqué les étapes permettant au singe Pager de jouer au jeu MindPong :

1. Enregistrement de l'activité neuronale du singe à travers l'implant.
2. Formation d'un réseau de neurones artificiels qui prédit la vitesse du curseur à partir des modèles d'activité neuronale du singe.
3. Après le décodage, le curseur peut être déplacé vers une position prédite. Si la position correspond à la cible, le singe peut recevoir une récompense.

(0:51:50) Bliss a mentionné un problème très important de stabilité des signaux dans le temps. C'est un défi pour toute interface implantable de gérer la variabilité des signaux (dans différentes structures cérébrales, il peut se produire des variabilités périodiques, mais aussi, encore plus difficiles, non périodiques des signaux).

(0:56:00) Avinash a mis à jour certains détails concernant les modules de traitement des appareils Neuralink, en particulier les puces ASIC. Il a présenté quelques nouvelles sur l'amélioration de plusieurs aspects : l'optimisation de l'utilisation de l'ASIC, le doublement de la durée de vie de la batterie de l'appareil, leur nouvelle approche pour une détection efficace des pointes dans les signaux. Actuellement, 1024 canaux collectent les données, mais ils visent à les faire évoluer jusqu'à 16 000 canaux à l'avenir.

(1:01:30) Matt a indiqué qu'il existe de sérieux défis lorsqu'il s'agit de charger l'appareil, dont le plus pertinent est la sécurité - comme la sécurité thermique, de sorte que la batterie n'atteindra pas des températures nettement supérieures à celles des tissus environnants. Ils ont présenté une vidéo du chargeur de Neuralink en cours d'utilisation, montrant comment le singe s'approche et utilise le chargeur. Matt a mentionné l'amélioration des performances de charge et le fait qu'ils travaillent sur une prochaine itération de la solution.

(1:05:30) Julian a expliqué certains aspects de la communication entre les modules de l'appareil et comment ils abordent le test de ses différents aspects.

(1:11:30) Josh a donné quelques détails sur un système artificiel dans lequel ils surveillent différents aspects de la vie de l'implant. Dans leur système, ils peuvent effectuer des études de «durée de vie accélérée», qui leur permettent d'exécuter des processus dans des conditions prédéfinies, afin qu'ils puissent essayer d'estimer les performances de l'implant, par exemple en observant les changements d'humidité ou la longévité de l'implant dans une soupe biochimique. Leur objectif actuel est de modifier l'environnement de test, de le mettre à l'échelle et donc d'atteindre un grand nombre d'appareils testés en parallèle.

(1:17:00) Christine a discuté de certains des défis à relever s'ils voulaient que le robot chirurgical effectue toutes les tâches neurochirurgicales. Le robot semble être considérablement amélioré; sa vision semble être très avancée, car le robot combine plusieurs modes visuels et traite l'image pour mieux distinguer la vascularisation et le cortex. Christine a également mentionné les difficultés provenant de la variabilité inter- et intra-individuelle et les défis futurs de la craniotomie (c'est-à-dire l'ouverture chirurgicale du crâne) et de la durotomie (c'est-à-dire l'ouverture chirurgicale de la dure-mère, la plus externe des trois couches recouvrant le cerveau).

(1:24:00) Alex a expliqué un moyen possible de faciliter la mise à niveau de l'appareil. Jusqu'à présent, les implants étaient destinés à être placés sur le cortex, mais il pourrait y avoir un problème de tissu cicatriciel remplissant l'espace entre l'implant et le cortex. Il serait alors problématique de retirer correctement les fils avec les électrodes lors de la mise à niveau ou du retrait total de l'implant. Une des solutions proposées est de laisser la dure-mère à la surface du cerveau. C'est toujours difficile, car en raison de l'épaisseur de la dure-mère, de la présence de fibres de collagène et de la visibilité limitée du système vasculaire, il faut une autre façon de s'attaquer au problème. Ils travaillent actuellement sur l'imagerie appropriée de la vascularisation sous la dure-mère.

(1:29:00) Sam a expliqué qu'ils avaient accéléré le prototypage d'aiguilles pour le robot. Au lieu de 2 à 3 jours pour les tests, qui étaient nécessaires au début de 2022, ils ont actuellement besoin de moins d'une heure pour tester.

(1:34:00) Lesley a expliqué qu'ils ont développé différents modèles de tissus avec lesquels ils peuvent expérimenter.

(1:37:00) Dan a expliqué certains aspects des neurosciences de la vision avec un exemple de sillon calcarin [5], qui est présent dans le lobe occipital, et a discuté de certaines propriétés du traitement des images dans le cortex visuel primaire. Il a mentionné une expérience dans laquelle l'un des singes a non seulement été enregistré passivement à partir de la région du cortex visuel, mais a également stimulé - et la stimulation a produit un phosphène - un phénomène induit de perception visuelle (en d'autres termes : quelque chose n'est pas présent dans son champ visuel , mais on le perçoit à cause de la stimulation spécifique des régions liées à la vision dans le système nerveux).

(1:47:00) Joey a présenté quelques résultats d'expériences avec un cochon ayant des implants Neuralink. Ils ont présenté qu'ils sont capables de stimuler les muscles des pattes de porc et qu'ils se contractent. Mais comment pouvons-nous relier une intention de déplacer un membre à son mouvement réel, en particulier si le chemin reliant les actionneurs au cerveau est endommagé ? Ils pensent à contourner le chemin entre le cortex moteur et la corne ventrale d'une moelle épinière, mais aussi, comme la sensation est un élément crucial de l'interaction motrice, ils veulent fournir un autre contournement en collectant le signal de la corne dorsale de la moelle épinière et en les envoyant au cortex somatosensoriel.

Dans Q&A, interrogé sur l'open source de certaines des données expérimentales que Neuralink a recueillies jusqu'à présent, Elon a répondu que ce n'était pas un problème et qu'il y avait une telle possibilité. Malheureusement, il n'y avait pas de réponse quand. D'autres questions portaient sur les alternatives à la communication Bluetooth, les problèmes de tissu cicatriciel et de dégradation du signal, mais les réponses n'étaient pas très détaillées pour les reproduire ici.

Points clés

L'équipe a apporté de nombreuses améliorations :

• Avec aperçu de la surface du cerveau, segmentation du système vasculaire vs cortex et ciblage des zones d'insertion des fils (voir les interventions de DJ et de Christine).
• Atteindre des débits binaires plus élevés dans certaines expériences (voir le discours de Nir).
• Optimisation de l'utilisation de l'ASIC, doublement de la durée de vie de la batterie, nouvelle approche de la détection des pointes (voir l'exposé d'Avinash).
• Amélioration des performances de charge (voir l'exposé de Matt).
• Nouvel environnement pour les tests de « durée de vie accélérée » (voir l'exposé de Josh).
• Changement dans la façon dont ils abordent la chirurgie - la dure-mère ne sera pas retirée pendant la chirurgie (voir le discours d'Alex).
• Prototypage accéléré d'aiguilles de robots (voir le discours de Sam).
• Certaines des données expérimentales seront probablement de source ouverte (voir la réponse d'Elon à Q&A).

La présentation de cette année semblait être beaucoup plus professionnelle et moins axée sur le battage médiatique que les éditions précédentes. L'implantation invasive dans le cortex est un effort complexe et multidisciplinaire - il ne s'agit pas seulement d'ouvrir le crâne, d'y mettre quelque chose et de le refermer. Les équipes ont présenté leurs progrès et leurs améliorations dans plusieurs domaines, et je pense que c'est en effet énorme, car c'est à cela que ressemblent les projets complexes - il y a des itérations continues de solutions de mieux en mieux, en gardant la convergence avec d'autres disciplines contribuant au produit.
Au fait, le robot continue de m'impressionner. Depuis sa première itération, qui était également un effort d'ingénierie incroyable à mon avis, il a évolué en un travail encore plus impressionnant.

L'un des problèmes conceptuels que j'ai est de savoir comment ils aborderont les sillons cérébraux (comme le sillon calcarin mentionné par Dan), surtout s'ils veulent laisser la dure-mère en place. La surface pliée du cerveau est un défi sérieux, mais je n'ai pas vu de réponse à cela jusqu'à présent. Autre chose - je ne suis pas neurochirurgien, mais je me demande si le fait de laisser la dure-mère facilitera considérablement le retrait du dispositif Neuralink de la tête. Qu'en est-il des fils sous la dure-mère (c'est-à-dire entre le cortex et la partie inférieure de la dure-mère) ? Ne se couvriront-ils pas d'un tissu cicatriciel et seront-ils alors difficiles à enlever ?

Anne

Références

[1] Neuralink Show and Tell, événement vidéo automne 2022. Publié par la chaîne Neuralink sur YouTube . Date d'accès : 01.12.2022. URL :https://www.youtube.com/watch?v=YreDYmXTYi4.

[2] Intelligence artificielle générale . Source : Wikipédia. Licence : CC BY SA 3.0 . Date d'accès : 02.12.2022. URL :https://en.wikipedia.org/wiki/Artificial_general_intelligence.

[3] Vidéo Monkey MindPong . Publié par la chaîne Neuralink sur YouTube . Date d'accès : 02.12.2022. URL :https://www.youtube.com/watch?v=rsCul1sp4hQ.

[4] Willett, FR, Avansino, DT, Hochberg, LR, Henderson, JM et Shenoy, KV (2021). Communication cerveau-texte haute performance via l'écriture manuscrite. Nature , 593 (7858), 249–254.

[5] Sillon calcarin . Source : Wikipédia. Licence : CC BY SA 3.0 . Date d'accès : 02.12.2022. URL :https://en.wikipedia.org/wiki/Calcarine_sulcus.