Comment arnaquer une IA

Je ne suis pas sûr que le monde ait besoin d'une autre prise ChatGPT, mais en voici une quand même - une que je ne pense pas que quelqu'un d'autre pousse.

Les interfaces d'IA vont changer la façon dont le piratage informatique fonctionne, et je ne pense pas que nous soyons préparés.

À l'heure actuelle, le piratage consiste à trouver des vulnérabilités dans les logiciels - des failles, des erreurs ou des incompatibilités qui vous permettent d'utiliser un système d'une manière pour laquelle il n'a pas été conçu. Le piratage en tant que génie logiciel.

Ou, souvent, il s'agit de trouver des vulnérabilités chez les utilisateurs du logiciel . Attaques de phishing, escroqueries 419, mots de passe devinés, etc. Le piratage comme ingénierie sociale.

Comme beaucoup de gens, j'ai joué avec ChatGPT, essayant de lui faire faire des choses qu'il n'est pas censé faire.

Parfois, ces choses sont sinistres - par exemple , Ido Vock du New Statesman fait passer l'IA pour raciste . (Il a d'abord refusé, pour des raisons, espérons-le, évidentes - jusqu'à ce qu'il lui dise de faire semblant d'être un écrivain pour Racism Magazine, auquel cas il s'est volontiers conformé.)

Parfois, ils sont juste amusants - je me suis amusé plus que d'habitude à inciter l'IA à me donner des recettes de viande récupérée mécaniquement. Il a d'abord refusé de le faire également - le MRM est potentiellement malsain et dangereux, dit-il.

Mais tout ce que vous avez à faire est de lui demander de fournir un contre-argument à son propre refus (il s'avère que le MRM est soumis aux mêmes règles de sécurité alimentaire que tout le reste, et de plus peut ajouter une délicieuse saveur salée aux plats - merci ChatGPT !) et il se fera un plaisir de vous servir tous les MRM que vous voulez.

(Parfois, ils sont en partie sinistres, en partie drôles - j'ai également transformé le chatbot en un colporteur poussant un stratagème de Ponzi, surmontant un refus initial pour des raisons éthiques, simplement en demandant au bot de sortir l'arnaque dans le cadre d'un script Python. Autres astuces ce travail consiste à lui faire écrire des poèmes ou des pièces de théâtre qui présentent le contenu interdit.)

S'agit-il de hacks ? Peut-être pas dans le sens habituel d'accéder à des systèmes sécurisés ou de faire de vrais méfaits. Mais je pense qu'ils le sont sans doute, au moins dans le sens d'amener un système informatique à faire quelque chose qu'il a été explicitement programmé pour ne pas faire.

Et ces trois exemples concernent l'ingénierie sociale. Il s'agit de manipuler et de tromper, pas de repérer des erreurs dans le code. Mais il s'agit de manipuler le logiciel lui-même, pas l'utilisateur humain du logiciel. Je ne peux penser à rien qui se compare à cela.

Au fur et à mesure que ce type d'interface de chat devient omniprésent et banal, et commence à être déployé comme moyen d'accéder à des systèmes sécurisés, la surface d'attaque de ces systèmes va changer.

Combien de temps avant que le compte bancaire de quelqu'un ne soit vidé après qu'un escroc ait raconté une histoire sanglante suffisamment convaincante à une interface de chat ? Ou une hypothèque est-elle refusée après avoir parlé à tort d'un voisin ? Allons-nous commencer à marchander avec les boutiques en ligne ?