Pour certaines personnes, le terme «boîte noire» évoque les appareils d'enregistrement dans les avions qui sont précieux pour les analyses post-mortem si l'impensable se produit. Pour d'autres, il évoque de petits théâtres peu équipés. Mais la boîte noire est aussi un terme important dans le monde de l'intelligence artificielle .
Les boîtes noires d'IA font référence à des systèmes d'IA dont le fonctionnement interne est invisible pour l'utilisateur. Vous pouvez leur donner une entrée et obtenir une sortie, mais vous ne pouvez pas examiner le code du système ou la logique qui a produit la sortie.
L'apprentissage automatique est le sous-ensemble dominant de l'intelligence artificielle. Il sous-tend les systèmes d'IA générative comme ChatGPT et DALL-E2. L'apprentissage automatique comporte trois composants : un algorithme ou un ensemble d'algorithmes, des données d'apprentissage et un modèle. Un algorithme est un ensemble de procédures. Dans l'apprentissage automatique, un algorithme apprend à identifier des modèles après avoir été formé sur un grand nombre d'exemples - les données de formation. Une fois qu'un algorithme d'apprentissage automatique a été formé, le résultat est un modèle d'apprentissage automatique. Le modèle est ce que les gens utilisent.
Par exemple, un algorithme d'apprentissage automatique pourrait être conçu pour identifier des modèles dans les images, et les données d'entraînement pourraient être des images de chiens. Le modèle d'apprentissage automatique qui en résulterait serait un guetteur de chiens. Vous lui donneriez une image en entrée et vous obtiendriez en sortie si et où dans l'image un ensemble de pixels représente un chien.
N'importe lequel des trois composants d'un système d'apprentissage automatique peut être caché ou dans une boîte noire. Comme c'est souvent le cas, l'algorithme est connu du public, ce qui rend moins efficace sa mise dans une boîte noire. Ainsi, pour protéger leur propriété intellectuelle, les développeurs d'IA placent souvent le modèle dans une boîte noire. Une autre approche adoptée par les développeurs de logiciels consiste à masquer les données utilisées pour former le modèle - en d'autres termes, à placer les données de formation dans une boîte noire.
Le contraire d'une boîte noire est parfois appelé boîte de verre . Une boîte en verre d'IA est un système dont les algorithmes, les données d'entraînement et le modèle sont tous accessibles à tous. Mais les chercheurs caractérisent parfois même certains de ces aspects comme une boîte noire.
En effet, les chercheurs ne comprennent pas parfaitement le fonctionnement des algorithmes d'apprentissage automatique, en particulier les algorithmes d'apprentissage en profondeur . Le domaine de l'IA explicable travaille à développer des algorithmes qui, bien que n'étant pas nécessairement une boîte de verre, peuvent être mieux compris par les humains.
Pourquoi les boîtes noires de l'IA sont importantes
Dans de nombreux cas, il y a de bonnes raisons de se méfier des algorithmes et des modèles d'apprentissage automatique de la boîte noire. Supposons qu'un modèle d'apprentissage automatique ait établi un diagnostic sur votre santé. Souhaitez-vous que le modèle soit une boîte noire ou une boîte en verre ? Qu'en est-il du médecin prescrivant votre traitement ? Peut-être aimerait-elle savoir comment le modèle est arrivé à sa décision.
Que se passe-t-il si un modèle d'apprentissage automatique qui détermine si vous êtes admissible à un prêt commercial auprès d'une banque vous refuse ? Vous n'aimeriez pas savoir pourquoi ? Si vous le faisiez, vous pourriez plus efficacement faire appel de la décision ou modifier votre situation pour augmenter vos chances d'obtenir un prêt la prochaine fois.
Les boîtes noires ont également des implications importantes pour la sécurité du système logiciel. Pendant des années, de nombreuses personnes dans le domaine de l'informatique ont pensé que conserver un logiciel dans une boîte noire empêcherait les pirates de l'examiner et qu'il serait donc sécurisé. Cette hypothèse s'est en grande partie révélée fausse, car les pirates peuvent procéder à la rétro-ingénierie d'un logiciel, c'est-à-dire créer un fac-similé en observant de près le fonctionnement d'un logiciel, et découvrir des vulnérabilités à exploiter.
Si le logiciel est dans une boîte en verre, les testeurs de logiciels et les pirates bien intentionnés peuvent l'examiner et informer les créateurs des faiblesses, minimisant ainsi les cyberattaques.
Saurabh Bagchi est professeur de génie électrique et informatique à l'Université Purdue. Il reçoit des fonds de recherche d'un grand nombre de sources, du gouvernement fédéral, du gouvernement des États et d'entreprises privées.
Cet article est republié de The Conversation sous une licence Creative Commons. Vous pouvez trouver l' article original ici.
