Microsoft Calling It Quitte sur Creepy Emotion Recognition Tech
Microsoft tourne le dos à sa technologie de reconnaissance des émotions scientifiquement suspecte et éthiquement douteuse . Pour l'instant, du moins.
Dans une victoire majeure pour les défenseurs de la vie privée qui tirent la sonnette d'alarme sur une technologie biométrique sous-testée et invasive, Microsoft a annoncé son intention de retirer ses systèmes de détection dits de «reconnaissance des émotions» de ses services de reconnaissance faciale Azure Face. La société éliminera également progressivement les capacités qui tentent d'utiliser l'IA pour déduire des attributs d'identité tels que le sexe et l'âge.
La décision de Microsoft de freiner la technologie controversée intervient dans le cadre d'une refonte plus large de ses politiques d'éthique. Natasha Crampton, responsable de l'intelligence artificielle chez Microsoft, a déclaré que le revirement de la société venait en réponse aux experts qui ont cité un manque de consensus sur la définition des «émotions» et des préoccupations de généralisation excessive dans la façon dont les systèmes d'IA pourraient interpréter ces émotions.
"Nous avons collaboré avec des chercheurs internes et externes pour comprendre les limites et les avantages potentiels de cette technologie et naviguer dans les compromis", a déclaré Sarah Bird, chef de produit du groupe principal d'Azure AI, dans un communiqué séparé . "L'accès de l'API aux capacités qui prédisent les attributs sensibles ouvre également un large éventail de façons dont ils peuvent être utilisés à mauvais escient, notamment en soumettant les gens à des stéréotypes, à la discrimination ou à un déni injuste de services", a ajouté Bird.
Bird a déclaré que la société s'éloignerait d'un système à usage général dans l'API Azure Face qui tente de mesurer ces attributs dans le but de "atténuer les risques". À partir de mardi, les nouveaux clients Azure n'auront plus accès à ce système de détection, mais les clients actuels auront jusqu'en 2023 pour cesser de l'utiliser. Surtout, alors que Microsoft affirme que son API ne sera plus disponible pour un usage général, Bird a déclaré que la société pourrait encore explorer la technologie dans certains cas d'utilisation limités, en particulier en tant qu'outil pour aider les personnes handicapées.
"Microsoft reconnaît que ces fonctionnalités peuvent être utiles lorsqu'elles sont utilisées pour un ensemble de scénarios d'accessibilité contrôlée", a ajouté Bird.
La correction de cap vient dans une tentative d'aligner les politiques de Microsoft avec son nouveau document de 27 pages sur la norme d'IA responsable en cours d'élaboration. Entre autres directives, la norme demande à Microsoft de s'assurer que ses produits sont soumis à une gouvernance des données appropriée, de prendre en charge une surveillance et un contrôle humains informés et de "fournir des solutions valables aux problèmes qu'ils sont censés résoudre".
Dans une interview avec Gizmodo, le directeur exécutif du projet de surveillance des technologies de surveillance, Albert Fox Cahn, a qualifié d'"évident" pour Microsoft de tourner le dos à la technologie de reconnaissance des émotions.
"La vérité est que la technologie est au mieux rudimentaire, ne pouvant déchiffrer qu'un petit sous-ensemble d'utilisateurs au maximum." dit Fox Cahn. «Mais même si la technologie était améliorée, elle pénaliserait toujours quiconque est neurodivergent. Comme la plupart des IA comportementales, la diversité est pénalisée et ceux qui pensent différemment sont traités comme un danger.
L'analyste principal des politiques de l'ACLU, Jay Stanley, a salué la décision de Microsoft qui, selon lui, reflète le "discrédit scientifique" de la reconnaissance automatisée des émotions.
"J'espère que cela contribuera à renforcer une compréhension plus large du fait que cette technologie ne doit pas être utilisée ou déployée en dehors de contextes expérimentaux", a déclaré Stanley lors d'un appel téléphonique avec Gizmodo. "Microsoft est un nom connu et une grande entreprise et j'espère qu'il aura un large effet en aidant les autres à comprendre les graves lacunes de cette technologie."
L'annonce de mardi fait suite à des années de pression de la part d'activistes et d'universitaires qui se sont prononcés contre les pièges potentiels en matière d'éthique et de confidentialité d'une reconnaissance facilement accessible des émotions. L'une de ces critiques, Kate Crawford, professeure de recherche à l'USC Annenberg, s'est penchée sur les limites de la reconnaissance des émotions (également appelée « reconnaissance des affects ») dans son livre de 2021 Atlas of AI. Contrairement à la reconnaissance faciale qui tente d'identifier l'identité d'un individu particulier, la reconnaissance des émotions cherche à « détecter et classer les émotions en analysant n'importe quel visage » - un argumentaire que Crawford soutient est fondamentalement défectueux.
"La difficulté d'automatiser la connexion entre les mouvements faciaux et les catégories émotionnelles de base conduit à la question plus large de savoir si les émotions peuvent être correctement regroupées en un petit nombre de catégories discrètes", écrit Crawford. "Il y a le problème tenace que les expressions faciales peuvent indiquer peu de choses sur nos états intérieurs honnêtes, comme quiconque a souri sans se sentir vraiment heureux peut le confirmer."
Crawford n'est pas seul. Un rapport de 2019 mené par le centre de recherche AI Now de la NYU a soutenu que la technologie de reconnaissance des émotions placée entre de mauvaises mains pourrait potentiellement permettre aux institutions de prendre des décisions dystopiques concernant l'aptitude des individus à participer aux aspects fondamentaux de la société. Les auteurs du rapport ont appelé les régulateurs à interdire la technologie. Plus récemment, un groupe de 27 groupes de défense des droits numériques a écrit une lettre ouverte au PDG et fondateur de Zoom, Eric S. Yuan, l'appelant à abandonner les efforts de Zoom pour intégrer la reconnaissance des émotions dans les appels vidéo.
Le pivot de Microsoft sur l'intelligence émotionnelle intervient presque exactement deux ans après avoir rejoint Amazon et IBM pour interdire l'utilisation de la reconnaissance faciale par la police. Depuis lors, les équipes d'éthique de l'IA dans les grandes entreprises technologiques comme Google et Twitter ont proliféré , mais non sans quelques vives tensions . Alors que la décision éventuelle de Microsoft de renoncer à la reconnaissance des émotions pourrait l'empêcher de refléter les mêmes horribles problèmes de confiance du public qui affligent d'autres entreprises technologiques, la société reste une source de préoccupation majeure parmi les défenseurs de la vie privée et des libertés civiles en raison de ses partenariats avec les forces de l'ordre et désireux intérêt pour les contrats militaires.
La décision de Microsoft a été généralement bien accueillie par les groupes de protection de la vie privée, mais Fox Cahn a déclaré à Gizmodo qu'il souhaitait que Microsoft prenne d'autres mesures concernant ses autres technologies, plus rentables mais tout aussi importantes.
"Bien qu'il s'agisse d'une étape importante, Microsoft a encore un long chemin à parcourir pour nettoyer son bilan en matière de droits civils", a déclaré Fox Cahn. « L'entreprise profite toujours du Domain Awareness System, [un] logiciel de renseignement orwellien construit en partenariat avec le NYPD. Le Domain Awareness System, et les systèmes de police de l'IA qu'il permet, soulèvent exactement les mêmes préoccupations que la reconnaissance des émotions, seul le DAS est rentable.
