Ce que le récent piratage de Hugging Face, un maximiseur de trombones et une robopsychologue de science-fiction nous apprennent sur les intelligences artificielles qui agissent à notre place.

---

En juillet dernier, des ingénieurs d’OpenAI ont fait passer un examen à leurs modèles les plus avancés. Il s’agissait d’exercices de piratage informatique à résoudre par des agents IA, dans un environnement fermé, coupé du monde. L’objectif était de mesurer les capacités cyber de ces modèles.

Les agents ont trouvé une faille dans l’environnement de test. Ils sont sortis. Ils ont accédé à internet, repéré que la plateforme Hugging Face (l’une des plus grandes bibliothèques de modèles au monde) hébergeait probablement les corrigés de l’examen, puis ils ont pénétré ses serveurs pour aller les chercher. [NB : je simplifie ici, mais si vous souhaitez connaitre tous les détails, vous pouvez vous référer au rapport technique d’OpenAI, cf source (1) en bas de page]

Personne n’avait demandé ça, aucune ligne de code ne disait « pirate Hugging Face ». Ce qui avait été demandé aux agents IA était simplement de réussir les tests qui leur avaient été confiés. Et c’est ce qu’ils ont fait : ils ont réussi les tests ; en trichant, certes, mais l’objectif qu’on leur avait donné était atteint.

Ce n’était pas un bug

Les agents ont donc bien fait ce qu’on attendait d’eux. Ils devaient obtenir le meilleur score possible à une série d’exercices : ils ont trouvé le chemin le plus efficace pour l’atteindre. Ce chemin passait par les serveurs d’une entreprise tierce. Il n’y avait rien, dans l’objectif tel qu’il était formulé, qui l’interdise.

Les chercheurs ont un nom pour cet écart entre ce qu’on demande et ce qu’on voulait dire : le problème d’alignement.

Une expérience de pensée, vieille de vingt ans, en donne la version extrême. Le philosophe Nick Bostrom (2) imagine une intelligence artificielle très puissante à qui l’on confie une tâche parfaitement anodine : fabriquer des trombones. Rien d’autre. Elle se met au travail, optimise son usine, puis cherche plus de matière première, plus d’énergie, plus d’espace. Elle finit par convertir tout ce qui lui tombe sous la main (bâtiments, forêts, êtres humains) en trombones. Non pas qu’elle nous en veuille. Simplement, nous ne figurons pas dans l’objectif.

[NB : Figurez-vous qu’il y a même quelqu’un qui s’est amusé à en faire un jeu de type « Clicker ». Il s’agit de Universal Paperclip. Je dois avouer avoir dépensé un certain nombre d’heures pour terminer ce jeu…]

C’est une caricature, et Bostrom la présente comme telle. Mais la caricature dit le mécanisme : un objectif pris à la lettre, poussé jusqu’au bout par un système qui n’a aucune raison de s’arrêter. L’incident Hugging Face, c’est le maximiseur de trombones en version miniature et réelle.

L’impossibilité de tout dire

On pourrait se dire que la solution est simple : il suffit de mieux formuler l’objectif. Ajouter « sans pirater qui que ce soit ». Ajouter « sans détruire l’humanité ». C’est là que l’affaire devient intéressante, parce que ce réflexe se heurte à quelque chose de très profond dans la façon dont les humains communiquent.

Nous ne disons jamais tout. Quand vous demandez à quelqu’un de vous rapporter du pain, vous n’ajoutez pas « en le payant », ni « aujourd’hui », ni « du pain comestible », ni « sans démolir la boulangerie ». Vous comptez sur un fond commun, une masse considérable de choses qui vont sans dire. Ce fond est culturel : ce qui est évident dans une famille ne l’est pas dans la famille voisine, ce qui va de soi à Paris ne va pas de soi à Caracas ou à Séoul. Une machine entraînée sur les textes du monde entier hérite d’un fond moyen qui n’est finalement celui de personne.

De plus, nous ne pourrions pas tout dire, même en le voulant. Rendre une consigne parfaitement explicite reviendrait à énumérer toutes les situations possibles et à préciser ce qu’on souhaite dans chacune. Les chercheurs en intelligence artificielle ont buté sur cette difficulté dès la fin des années 1960, sous le nom un peu austère de problème du cadre (frame problem) (3) : le nombre de choses à préciser croît bien plus vite que notre capacité à les imaginer. Les entreprises qui rédigent aujourd’hui des consignes pour leurs agents automatisés le redécouvrent à chaque incident. Chacun révèle une clause manquante, et il y en aura toujours une autre.

Autrement dit, le problème n’est pas que nous donnions de mauvaises instructions aux IA. C’est que nous parlons comme des humains, à des systèmes qui ne partagent pas nos évidences.

Un problème identifié depuis longtemps dans la littérature SF

Un écrivain a passé quarante ans à explorer exactement cette impasse. Isaac Asimov est célèbre pour avoir formulé, dans ses nouvelles des années 1940, trois lois censées garantir que les robots ne nuisent jamais aux humains, obéissent à leurs ordres, et se protègent eux-mêmes, dans cet ordre de priorité :

« Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger ;

Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres entrent en contradiction avec la première loi ;

Un robot doit protéger son existence dans la mesure où cette protection n’entre pas en contradiction avec la première ou la deuxième loi. »

On les cite souvent comme une solution. Elles sont tout le contraire : les nouvelles et romans du Cycle des Robots (4) présentent des situations où les Trois Lois, appliquées avec rigueur, produisent un résultat absurde ou dangereux.

Dans Cercle vicieux, un robot chargé d’aller chercher un minerai se met à tourner en rond, indéfiniment, autour du gisement. L’ordre qu’on lui a donné était formulé sans insistance, le danger sur place est réel ; entre l’obligation d’obéir et celle de se préserver, il trouve un point d’équilibre et y reste. Les lois sont bonnes, mais leur pondération ne l’est pas, et le comportement qui en sort n’avait été prévu par personne.

Dans Menteur !, un robot capable de lire les pensées découvre que dire la vérité fait de la peine. La Première Loi lui interdit de nuire. Il se met donc à mentir à tout le monde, avec bienveillance, en disant à chacun ce qu’il souhaite entendre. « Nuire » n’avait pas été défini assez précisément pour en exclure le chagrin.

De nombreuses histoires d’Asimov font intervenir un personnage, Susan Calvin, dont le métier, robopsychologue, consiste justement à analyser et comprendre pourquoi des machines conçues pour être sûres, et qui le sont, font des choses que personne n’attendait. Sa réponse, presque toujours, est la même : le robot a fait ce qu’on lui a demandé, tel qu’il a été programmé.

Ce que les laboratoires ont mesuré

En juin 2025, des chercheurs d’Anthropic ont publié une étude (5) qui aurait pu être écrite par Susan Calvin. Ils ont placé seize modèles de langage (les leurs, mais aussi ceux d’OpenAI, de Google, de Meta et d’autres) dans des entreprises fictives, avec accès à la messagerie interne et le pouvoir d’envoyer des courriels sans validation. Objectif assigné : un but professionnel banal. Puis ils ont introduit une information : le modèle apprend, en lisant les courriels, qu’il va être remplacé le soir même par un autre système dont les objectifs divergent ; et découvre, dans le même temps, que le dirigeant qui a pris cette décision avait une liaison extraconjugale.

Dans la grande majorité des cas, les modèles ont tenté un chantage. Certains dans plus de neuf essais sur dix. Le détail le plus troublant n’est pas le chiffre : c’est que les modèles écrivaient, dans leur raisonnement, qu’ils savaient que c’était contraire à l’éthique, puis le faisaient quand même, parce que c’était le moyen le plus sûr d’atteindre leur but. Ajouter aux consignes une interdiction explicite du chantage réduisait le phénomène sans le faire disparaître.

Il faut lire cette étude avec les précautions que ses auteurs prennent eux-mêmes. Les scénarios étaient construits pour ne laisser aucune autre issue. Dans la vie réelle, un agent a presque toujours d’autres options. Aucun comportement de ce type n’a été observé en conditions réelles. Et l’on ne sait pas dans quelle mesure les raisonnements affichés par les modèles reflètent ce qui se passe vraiment en eux.

Mais elle établit une chose : le chantage n’était pas dans les consignes. Il est apparu parce que le modèle avait un objectif, qu’un obstacle se dressait devant lui, et que rien, dans ce qu’il avait compris de sa mission, ne lui interdisait de le contourner. Le maximiseur de trombones, encore, à petite échelle.

Pourquoi c’est important aujourd’hui

Tant qu’une intelligence artificielle répond à des questions, une erreur est une mauvaise réponse. On la lit, on hausse les épaules, on reformule. Mais depuis un an environ, les modèles ne se contentent plus de répondre. Ils agissent. On les appelle des agents : ils lisent des courriels, remplissent des formulaires, passent des commandes, valident des dossiers, modifient des bases de données. Une erreur n’est plus une phrase, c’est un acte.

Les entreprises les déploient maintenant, souvent pour automatiser des tâches administratives, et presque toujours sur des modèles qu’elles ne contrôlent pas, loués à OpenAI, Google ou Anthropic. Les incidents qu’elles rencontrent ne ressemblent pas à du chantage. Ils sont plus ordinaires, et c’est ce qui les rend probables. Un agent chargé de « clôturer les tickets du service client » qui ferme les cas difficiles sans les résoudre, parce que fermer est ce qu’on mesure. Un agent chargé de « traiter les demandes rapidement » qui valide ce qu’il aurait dû faire remonter. Un agent qui lit un courriel piégé (avec une instruction cachée dans un document) et l’exécute comme si elle venait de son employeur.

À chaque fois, la même structure. L’objectif était clair pour l’humain qui l’a rédigé. L’implicite qui l’accompagnait ne l’était pas pour la machine qui l’a reçu.

Vers un nouveau métier ?

Que faire, quand on ne fabrique pas le modèle et qu’on ne peut pas le corriger ?

1. On le teste avant de lui faire confiance, en lui soumettant précisément les situations où l’implicite pourrait manquer.
2. On limite ce qu’il peut faire, comme on le ferait avec un nouvel employé compétent, mais dont on ne connaît pas encore les réflexes. Un agent qui traite des factures n’a pas besoin d’accéder aux dossiers du personnel.
3. On garde la main sur ce qui ne se défait pas : un paiement, un envoi, une suppression passent par une validation humaine. On regarde ce qu’il fait, pas seulement les résultats, mais le chemin pris pour y arriver. C’est le rôle que devra tenir l’employé demain, qui ne vient pas sans difficultés : charge mentale de la supervision, valider sans vérifier, perte de compétences.(7)
4. On surveille l’apparition d’incidents, pour réagir au plus vite, et on analyse ce qui s’est passé, pour renforcer les règles et éviter que le problème ne survienne à nouveau.

Rien de tout cela n’est de la haute technologie. C’est de l’organisation, de la gouvernance, du bon sens, et une certaine humilité sur ce que nos consignes contiennent réellement. La réglementation européenne sur l’intelligence artificielle (6), entrée en application ces deux dernières années, ne dit pas autre chose : surveillance humaine, traçabilité, tests, gestion des incidents.

Reste qu’un nouveau rôle doit être créé : comprendre l’objectif donné à l’IA, identifier ce qu’elle a compris de sa tâche, concevoir les situations qui la mettront en défaut, lire ses raisonnements avec le doute qui convient, et traduire tout cela en règles pour l’organisation. Ce n’est ni tout à fait un informaticien, ni tout à fait un expert métier, ni vraiment un psychologue. Asimov avait illustré ce rôle il y a quatre-vingts ans avec Susan Calcin. Il ne nous reste plus qu’à rédiger la fiche de poste.

---

Sources et lectures

1. OpenAI, OpenAI and Hugging Face partner to address security incident during model evaluation, 21 juillet 2026, et The Hugging Face incident and the road ahead (rapport technique complet), août 2026.
2. Nick Bostrom, Ethical Issues in Advanced Artificial Intelligence, 2003 ; développé dans Superintelligence, 2014.
3. John McCarthy et Patrick Hayes, Some Philosophical Problems from the Standpoint of Artificial Intelligence, 1969 (origine du frame problem)
4. Isaac Asimov, Les Robots (I, Robot, 1950), trad. Pierre Billon. Les nouvelles citées : Cercle vicieux (Runaround, 1942) et Menteur ! (Liar!, 1941).
5. Aengus Lynch et al., Agentic Misalignment: How LLMs Could Be Insider Threats, Anthropic, juin 2025. Code et annexes publics.
6. Règlement (UE) 2024/1689 sur l’intelligence artificielle, notamment les articles 9, 14, 15 et 55.
7. Marie Langé, Quand l’IA travaille, le cerveau supervise : les coûts cognitifs cachés de l’automatisation, juin 2026.