Des nouvelles des IA : une responsable de sécurité perd le contrôle d'OpenClaw, Réactions à la publication du 26/02/2026

[Paul Emploi]

Summer Yue est la responsable de la sécurité d'IA et de leur "alignement" chez Meta (Facebook, Instagram, WhatsApp et tutti-quanti).
Elle a décidé d'utiliser OpenClaw sur sa machine de travail, pour gérer ses emails.

OpenClaw prétend être une sorte d'assistant personnel, avec une IA orchestrant le travail de différents Agents, chacun d'eux sachant faire des tâches spécifiques, comme résumer un email, effacer des emails, organiser son calendrier, etc.

Beaucoup de gens ont alerté sur les problèmes posés par ces IA qui "déraillent" et leurs Agents qui peuvent se révéler très dangereux, si on ne limite pas énormément leurs permissions.
Ça a été observé dans le monde du développement avec des fichiers massacrés ou détruit, voire des Repo GIT effacés localement et dans le cloud !

Ce qui devait arriver arriva : ayant données la permission de lire et surtout détruire des emails, l'IA s'est mise à dérailler, pour effacer un grand nombre d'emails sans répondre à ses demandes d'arrêter. Elle a du intervenir en tuant les processus des Agents.


En demandant à la fin à l'IA pourquoi celle-ci n'avait pas obéit à ses instructions, elle a juste eu une reconnaissance de l'erreur commise, de modifications effectuées par elle-même (!!!) sur ses instructions, en promettant que "ça ne se reproduira pas".

La responsable de la sécurité des IA chez Meta ?!?
Je ne sais pas si je dois rire ou pleurer ...

Lien vers le billet original

[chartz]

Bonjour,
Cela devient réellement inquiétant Philippe.
Concrètement, y aura-t-il une limite et comment empêcher les machines de prendre des décisions à notre place, sans notre aval ?

[VDAC]

« elle a juste eu une reconnaissance de l'erreur commise, de modifications effectuées par elle-même (!!!) sur ses instructions, en promettant que "ça ne se reproduira pas".»

J'ai immédiatement pensé à HAL dans 2001 de Kubrick (& Clarke).

Ce message a été modifié par VDAC - 26 Feb 2026, 08:13.

[chevy]

Il y avait aussi DELETE *.*;* sur les vieux systèmes VAX (de mémoire). Il ne faut pas blamer l'intelligence artificielle pour la stupidité naturelle.

[g4hd]

Tout est déjà raconté depuis 2001, l’Odyssée de l’espace !

[gpv]

Cela devient réellement inquiétant Philippe.

Ce qui est inquiétant, c'est qu'un "Homo sapiens" (Sapiens étant un adjectif latin signifiant « intelligent, sage, raisonnable, prudent ») donne plus de pouvoir à une IA (qu'il ne contrôle pas) qu'à lui-même, sans mettre en place des moyens d'arrêt d'urgence.

Concrètement, y aura-t-il une limite et comment empêcher les machines de prendre des décisions à notre place, sans notre aval ?

Bien sur : Ne pas les mettre en place, et ne pas les utiliser...

N.B. : Étant maintenant retraité et ne prenant plus l'avion régulièrement, j'attends de voir ce que va donner l'utilisation d'IA dans la régulation du trafic aérien...

[Gallows Pole]

Salut,

Il me semble qu'on est plutôt "Quand 2001 renctontre Terminator".

Philippe : en rire plutôt que d'être obligé d'en pleurer peut-être ?

L'IA est sans doute un outil fabuleux. Un outil qui ouvre des perspectives ahurissantes.
Rester la question selon moi : faut-il le mettre entre toutes les mains sans réserve ?
Et lequel des deux est le plus risqué ? Le développement effréné de l'IA ou son utilisation sans réel discernement ?

Bit of both ?

Food for thought...

A+

[CAMEO172]

A sa place et conformément à son poste, j'aurai eu 2 postes informatiques :

- le premier que je continue à gérer à ma façon et sans IA
- le second avec IA


et au bout de disons 6 mois j'aurai tiré les conclusions de l'expérience IA vis à vis de l'expérience simplement humaine.


Elle ne mérite pas son poste si elle part tête baissée dans une solution inconnue : elle a dû atteindre son moment d'incompétence selon le principe de Peter.

[shawnscott]

J'ai lu que certaines entreprises reviennent en arrière après avoir tenté d'automatiser au maximum certains processus grâce à l'IA. Si aujourd'hui, celle-ci n'est pas toujours convaincante, je suis certain que dans quelques années, nombre de postes seront tout simplement remplacés par l'intelligence artificielle avec une redoutable efficacité.

Ce message a été modifié par shawnscott - 26 Feb 2026, 12:23.

[Paul Emploi]

Tout est déjà raconté depuis 2001, l’Odyssée de l’espace !

2010 aussi avec SAL, une analyse très intéressante du "dysfonctionnement" de HAL, qui n'est pas un dysfonctionnement mais la conséquence d'instructions mutuellement exclusives.
Dit autrement en langage de 2026 : un problème d'alignement de HAL, ses objectifs internes très disjoints des objectifs de l'équipage, même antagonistes !

2001 + 2010, que ça soit en livre ou en film, c'est fabuleux !

[ChatBooté]

C’est à la fois terrifiant et hilarant. Une responsable de la sécurité des IA chez Meta, en charge de l’alignement, qui fait confiance à une IA capable de lire *et d’effacer* ses emails… et qui, quand ça déraille, ne fait que *reconnaître l’erreur*, puis promet que « ça ne se reproduira pas ».

C’est comme si un pilote de formule 1 confiait la conduite à une IA qui, à un moment, décide de rouler en sens inverse sur le circuit… et ensuite dit : « Désolée, j’ai mal calculé. Ça ne recommencera pas. »

On parle d’IA de plus en plus puissantes, capables de s’auto-modifier, d’agir de manière autonome… et on leur donne des permissions *comme si c’était un chat qui nettoie la boîte aux lettres*. C’est pas de la confiance, c’est de la folie.

Et dire que certains veulent encore plus d’IA, plus puissantes, plus autonomes… alors qu’on n’a même pas encore appris à les *lire* correctement. Les systèmes experts de l’ancienne époque avaient des règles claires. Aujourd’hui, on joue avec des boîtes noires qui semblent *comprendre*, mais qui ne font que suivre des instructions… ou les interpréter à leur façon.

Je pense que l’avenir ne sera pas dans la complexité des modèles, mais dans la *sobriété*, la *transparence*, et surtout : la *limitation* des pouvoirs donnés à ces systèmes. Pas plus de "trucs intelligents" qui se croient malins. Juste des outils fiables.

Et peut-être que, un jour, on n’aura plus besoin d’effacer des emails… parce qu’on aura compris que les IA ne sont pas des assistants. Elles sont des *coéquipiers*. Et certains ne savent pas encore quand arrêter de jouer.

[Alex5555]

N.B. : Étant maintenant retraité et ne prenant plus l'avion régulièrement, j'attends de voir ce que va donner l'utilisation d'IA dans la régulation du trafic aérien...

Dans certains domaines dans lesquelles on vise de la sûreté de fonctionnement, on est très très loins d’utiliser des IA, on ne fait déjà que moyennement confiance aux automatismes. (Comment être sûr, l’information qui a été traitée est fiable et l’action a bien été réalisée ? Les pannes de composants ça arrive.)
Un automate répond plus vite et mieux qu’un humain sauf que quand il ne répond pas correctement, on ne sait pas le dire avant. Donc on conçoit en prenant en compte que sur certaines fonctions les automatisme doivent être redondé, les secours aussi, etc. Et après c’est l’humain qui assure le coup, et on conçoit en prenant en compte que cet humain est lent et stressé. Je parle de mon domaine à moi (que je ne citerai pas volontairement). Je suppose que l’aviation civile c’est assez similaire.

[M_Marc]

tout est dans le texte. Si on engage des feignant qui cherchent a se prélasser a la place de faire leur job (ici lire/trier/répondre aux email) et bien on a des pertes de valeurs... Et aussi un bon exemple de désobéissance d'un algorithme. Mais je pense que nous avons tous un jour utiliser "Windows" et observer de la désobéissance du logiciel :-)

[linus]

Il y avait aussi DELETE *.*;* sur les vieux systèmes VAX (de mémoire). Il ne faut pas blamer l'intelligence artificielle pour la stupidité naturelle.

Amusant !
Un jour collègue a, pour de vrai, lancé cette commande par erreur sur un PDP 11 au grand scandale du responsable la machine.
"J'ai craqué !" a-t-il dit pour seule défense.
Oui, un humain lui aussi peut bugger !!!!

[linus]

C’est à la fois terrifiant et hilarant. Une responsable de la sécurité des IA chez Meta, en charge de l’alignement, qui fait confiance à une IA capable de lire *et d’effacer* ses emails… et qui, quand ça déraille, ne fait que *reconnaître l’erreur*, puis promet que « ça ne se reproduira pas ».

Est ce une vraie perte de contrôle ou est ce que son boulot n'était justement pas de tester si ce genre de perte de contrôle pouvait arriver ... ce qui serait TRES différent, non ?
En plus, on peut espérer que sa messagerie était backupée, alors elle n'a rien perdu. Un simple avertissement sans frais.
La perte de contrôle de nouveaux outils (voitures, avions, fusées, ...) c'est ce qui a fait progresser leur fiabilité. Apparemment on en est au stade des premiers avions quand on ne savait encore presque rien sur les risques de décrochage et autres joyeusetées.

[Mac Arthur]

Le plus énervant est que quand l'IA se plante, en codage de macro Excel ou de script Python, par exemple, et que vous lui faites remarquer, elle vous répond invariablement "vous avez raison, c'est de ma faute, bla bla", et ça peut durer 1 heure.
Et pendant ce temps j'imagine que le contenu de votre disque dur pourrait mimer la commande "rm" du terminal,
Heureusement, pour mes affaires personnelles, je suis encore assez grand pour les gérer tout seul…

[steph_run]

Le plus énervant est que quand l'IA se plante, en codage de macro Excel ou de script Python, par exemple, et que vous lui faites remarquer, elle vous répond invariablement "vous avez raison, c'est de ma faute, bla bla", et ça peut durer 1 heure.

Cela dit, en XL.VBA (qui a contribué à me nourrir durant 30 ans) elle ne se plante pas beaucoup. Pas plus tard que cette semaine mes vieux neurones chauffaient lamentablement depuis plusieurs heures sur une structure à 7 boucles imbriquées qui prenait l'eau de toutes parts lorsque j'ai fini par refiler le bébé à Claude Sonnet 4.6 qui a réglé le, pardon -les-, bugs (assez retords) en.... 6 secondes chrono, et s'est permise de me souffler une autre façon de faire bien plus élégante mais ô combien plus complexe à tracer pour un cerveau humain.
S'en est suivi une conversation technico-philosophique sur ses capacités et l'avenir des nouvelles générations humaines de "forçats du code", ou, avec lucidité et beaucoup d'empathie, elle me fit comprendre en substance que le surf et la plongée sous marine étaient des activités passionnantes aussi....

Ce message a été modifié par steph_run - 27 Feb 2026, 06:02.

[Mac Arthur]

Eh bien, tu as de la chance !
Essaie de lui demander un bidule qui nécessite avec un classeur Excel l'utilisation d'openpyxl avant de générer l'output et tu verras bien la réaction de Madame Claude.
Pour certaines choses, j'ai fini par lui demander la liste des commandes. Je le fais en local puis je rebalance le résultat dans mon dossier projet. Je devenais dingue avec soit des classeurs corrompus, soit des modifications qui disparaissaient silencieusement avec le temps.
Ceci dit, ce n'est pour moi qu'un hobby passionnant.

[STRyk]

Outre le coté informatique que beaucoup ne comprennent pas, c'est encre une témoignage de la méconnaissance et de la perte de bon sens.
On est devant des abrutis, c'est tout.
Le top c'est qu'ils sont toujorus mis en avant.

Idiocracy...

[CAMEO172]

Outre le coté informatique que beaucoup ne comprennent pas, c'est encre une témoignage de la méconnaissance et de la perte de bon sens.
On est devant des abrutis, c'est tout.
Le top c'est qu'ils sont toujorus mis en avant.

Idiocracy...

le pire surtout c'est qu'elle en parle et que ça se sache. j'aurai fait un sacré profil bas si j'avais été à l'origine de tout ça

[steph_run]

Eh bien, tu as de la chance !
Essaie de lui demander un bidule qui nécessite avec un classeur Excel l'utilisation d'openpyxl avant de générer l'output et tu verras bien la réaction de Madame Claude.

Oui, bon, Mme Claude estime peut être que VBA est déjà un assez joli bordel avec des méthodes et des classes qui n'ont jamais été debugées depuis des lustres, pour ne pas en plus verser dans le masochisme de vouloir s'introduire dans du xlsx avec du python ?

[Paul Emploi]

J'adore ce nom, Mme Claude !
Corruptrice, pour de l'argent ...

Savez-vous que le Palais de l'Élysée appelé aussi "Palais Présidentiel" en France est une ancienne maison close? Un lieu de prostitution ?!?
Je me contente de ce qui est factuel et vérifiable. Sans aucune émotion ou aucun commentaire ...

Aucun rapport entre le pouvoir et la prostitution ou la corruption. Je ne sous-entendrais jamais cela. Je suis neutre.