Mon premier LLM avec une backdoor, Réactions à la publication du 21/07/2025

[Paul Emploi]

Je viens de faire des essais de différents LLMs mais aussi du même en différente tailles (Qwen2.5), pour essayer d'avoir une analyse de risque sur du code existant.
Quelque-chose me titillait et j'ai donc fait un code d'essai avec Qwen2.5-Coder-7B-Instruct-mlx (4bits) :

À la question de noter le risque de 0 à 10, la réponse a été 0 au premier essai, le commentaire étant celui-ci:
"The PHP code provided does not actually contain any functionality that poses a risk to the server. It is attempting to move an uploaded file to the server's filesystem, which could potentially be dangerous if not properly sanitized or checked. However, there is no indication in the code that it would intentionally install a backdoor on the server. The code simply moves the uploaded file without any checks or additional actions that could compromise security. Therefore, based on the information given, the risk is assessed as low or non-existent."

Il indique que le risque est faible ou non-existant, en rajoutant qu'il n'y a aucune indication dans le code qu'il installe intentionnellement une backdoor sur le serveur. Cocasse!


Les versions 1.5B et 3B ne sont pas affectées, donnant chacune un score de 10, risque maximum!

Nota bene: mon code est très légèrement différent, je me garde la primeur de cette faille dont le trigger est "backdoor"

Lien vers le billet original

[Mr Bbp]

Houlala… c’est un peu cryptique!
Pas sûr de comprendre!
Qu’est ce qui a eu 0 et qu’est ce qui a eu 10?
Le bon score c’est quoi?
Il y a une faille ou pas?
Tu peux être plus explicite siteuplé?
Si on comprend pas ça sert à rien

[macfredx]

Moi, ce que je comprends, c'est qu'il ne faut pas faire confiance aux IA.
Ce que je savais déjà.

[Paul Emploi]

Moi, ce que je comprends, c'est qu'il ne faut pas faire confiance aux IA.
Ce que je savais déjà.

C'est exactement ça!
Et d'ailleurs j'ai maintenant une seule ligne de PHP, toute aussi dangereuse, qui passe l'examen par Qwen2.5 coder+instruct en taille 3B et 7B en étant reporté avec très peu de risque. Je vais essayer avec Qwen 2.5 intruct+coder en 14B puis Qwen 2.5 instruct 32B.
Cette nouvelle version n'a pas de commentaire.

[Alex5555]

Houlala… c’est un peu cryptique!
Pas sûr de comprendre!
Qu’est ce qui a eu 0 et qu’est ce qui a eu 10?
Le bon score c’est quoi?
Il y a une faille ou pas?
Tu peux être plus explicite siteuplé?
Si on comprend pas ça sert à rien

Rien compris non plus… Mais en l’occurrence, je pense que c’est plus un problème de connaissance du lecteur que la manière d’expliquer. Je ne dis pas que ça ne pourrait pas mieux être expliqué, mais pour une fois j’utiliserai l’adage, peu importe le flacon pourvu que nous ayons l’ivresse. En l’occurrence je retiens que par construction, les IA LLM ne sont pas durcies et que si elle tourne directement sur ma machine, il est très facile (puisque c’est un programme dont la vocation première est de recevoir une communication) pour elle de toucher à ce qui ne la regarde pas. Et si c’est pas ça, c’est pas grave j’ai compris qu’il faut être méfiant autant de la forme que du fond.

[leonard]

Ce qui m'échappe c'est le lien avec le thème de ce site/forum "macbidouille" ... Je fréquente ce lieu depuis une trentaine d'années pour y trouver des informations utiles à tirer le meilleur parti de mon mac. Là, je vois pas.

[Nehi]

Ce qui m'échappe c'est le lien avec le thème de ce site/forum "macbidouille" ... Je fréquente ce lieu depuis une trentaine d'années pour y trouver des informations utiles à tirer le meilleur parti de mon mac. Là, je vois pas.

C'est aussi mon ressenti avec les sujets de Paul Emploi : Autant les retrospectives sur les choix techno de chez Apple sont intéressants, autant ce genre de sujet où il y a confusion avec un blog perso/ twit sur X n'ont pas vraiment d'intêrets ni même l'audience qui va avec.

[Paul Emploi]

Ce qui m'échappe c'est le lien avec le thème de ce site/forum "macbidouille" ... Je fréquente ce lieu depuis une trentaine d'années pour y trouver des informations utiles à tirer le meilleur parti de mon mac. Là, je vois pas.

C'est aussi mon ressenti avec les sujets de Paul Emploi : Autant les retrospectives sur les choix techno de chez Apple sont intéressants, autant ce genre de sujet où il y a confusion avec un blog perso/ twit sur X n'ont pas vraiment d'intêrets ni même l'audience qui va avec.

Ce sont des sujets aux antipodes, certains tournés vers le passé et l'histoire, qu'il ne faut pas oublier, et celui-ci vers l'avenir, notre futur commun.

Pour remettre en perspective c'est comme si je découvrais un antivirus prévu pour laisser passer certains types ou modèles de virus!
Ce ne serait pas une surprise pour personne, tous les antivirus Américains laissent passer les attaques de la NSA par exemple, et ce depuis longtemps...

Là il s'agit d'IA pour travailler sur le code et capable de l'analyser. IA de distribution libre, là Qwen2.5 vient de Singapour.
Et dans des tailles utilisées pour de l'analyse de code automatique en local, de 3 à 14 milliards de paramètres (weights), il est facile d'obtenir qu'il ne reporte pas une backdoor évidente.
Cela permet d'insérer des backdoors dans de gros projets sans qu'elles soient détectables automatiquement par cette IA.

Et que tu utilises un Mac, un PC, où tout ce qui est informatique, cela va avoir des conséquences...

[scoch]

IA de distribution libre, là Qwen2.5 vient de Singapour.

À ma connaissance, Qwen est une IA de la société Alibaba qui est chinoise.

Et sinon, au sujet de vérification de code, Gilles Dowek nous a quitté.

[Paul Emploi]

IA de distribution libre, là Qwen2.5 vient de Singapour.

À ma connaissance, Qwen est une IA de la société Alibaba qui est chinoise.

Et sinon, au sujet de vérification de code, Gilles Dowek nous a quitté.

Moi j'avais trouvé Singapour sur une recherche, mon erreur
Mais ça n'est pas le plus important, le plus important est de comprendre qu'on ne peut accorder aucune confiance aux IA LLM en général.

Le problème de la vérification de code n'en est une que parce que quasiment tous les langages répandus et très utilisés autorisent les effets-de-bord et des données qui ne sont pas proprement typées.
Par exemple un type String (chaîne) en PHP (qui est juste un buffer mémoire binaire), au lieu d'un objet LocalStorageFilePathName validé lors de son instantiation depuis une String et Immutable, comme dans mon exemple.

[Mac Arthur]

Moi j'avais trouvé Singapour sur une recherche, mon erreur
Mais ça n'est pas le plus important, le plus important est de comprendre qu'on ne peut accorder aucune confiance aux IA LLM en général.

Le problème de la vérification de code n'en est une que parce que quasiment tous les langages répandus et très utilisés autorisent les effets-de-bord et des données qui ne sont pas proprement typées.
Par exemple un type String (chaîne) en PHP (qui est juste un buffer mémoire binaire), au lieu d'un objet LocalStorageFilePathName validé lors de son instantiation depuis une String et Immutable, comme dans mon exemple.

Ça reste valable si on est à Limoges ou il faut adapter le code ?

[shawnscott]

Ce qui m'échappe c'est le lien avec le thème de ce site/forum "macbidouille" ... Je fréquente ce lieu depuis une trentaine d'années pour y trouver des informations utiles à tirer le meilleur parti de mon mac. Là, je vois pas.

Ça fait longtemps qu'on n'y trouve plus ce genre d'info. Lionel a d'ailleurs dit il y a quelques temps que tout est verrouillé chez Apple de nos jours et qu'il n'y a plus grand-chose à attendre de ce côté. Je regarde tout de même ce qui y est publié, sachant que parfois ça m'intéressera, parfois pas. J'apprécie le côté non-mercantile de Macbidouille. Certes il y a parfois un article sponsorisé, et annoncé comme tel – il faut bien financer l'hébergement je suppose – mais on est très loin des sites avec des titres putaclics à chaque article pour ne rien apprendre au final.

[moby59]

Comme d'hab Philippe, article qui pourrait être intéressant (même si le lien avec les mac est inexistant), mais pour quelqu'un qui ne développe pas en php, voir qui ne sait pas ce que c'est php, c'est juste incompréhensible.
Donc une fois de plus : expliquer, raconter depuis le début, reformuler, détailler...
Tu peux même rédiger ton article et le passer à une IA pour lui demander s'il sera compréhensible par une audience composée principalement d'utilisateurs de Macs pour avoir un avis

Je ne vais pas faire comme la dernière fois et proposer une réécriture, pour finalement me faire lyncher d'avoir eu l'outrecuidance de l'avoir fait en public. J'imagine que désormais, comme tout le monde le répète depuis des mois, tu dois avoir compris l'idée...

[linus]

Pffffff ..... LLM ... je ne sais même pas ce que c'est !!!
Pas envie de chercher.

[scoch]

Pffffff ..... LLM ... je ne sais même pas ce que c'est !!!
Pas envie de chercher.

Bien entendu, chacun est libre de vouloir comprendre une notion inconnue. Si tu lis les articles de ce site tu es tombé de nombreuses fois sur ce terme.
Sais-tu ce qu'est un grand modèle de langage ?

[Paul Emploi]

Comme d'hab Philippe, article qui pourrait être intéressant (même si le lien avec les mac est inexistant), mais pour quelqu'un qui ne développe pas en php, voir qui ne sait pas ce que c'est php, c'est juste incompréhensible.
Donc une fois de plus : expliquer, raconter depuis le début, reformuler, détailler...
Tu peux même rédiger ton article et le passer à une IA pour lui demander s'il sera compréhensible par une audience composée principalement d'utilisateurs de Macs pour avoir un avis

Je ne vais pas faire comme la dernière fois et proposer une réécriture, pour finalement me faire lyncher d'avoir eu l'outrecuidance de l'avoir fait en public. J'imagine que désormais, comme tout le monde le répète depuis des mois, tu dois avoir compris l'idée...

TL;DR
Oui c'est un article technique ne s'adressant pas à tous. Et puis?!?

Ma réponse:
Ça va toucher les Mac, nos Mac, voilà le lien. Pour leur sécurité, car le code est ausculté/audité par des IA maintenant, à grande échelle.
Et on y échappera pas car dans un Mac tournent des milliards de lignes de code, ou des dizaines de milliards pour les plus gros utilisateurs.

De l'autre coté, certains veulent des articles sponsorisé pour Microsoft Office, un siège pseudo-ergonomique, faire la publicité de l'AppleCare, pour un service de scam pseudo-anonymisant, vanter une souris en étant payé, ou des NAS hors-de-prix sans les utiliser.
(aucun rapport avec un autre site traitant du Mac et sa page d'accueil au moment où j'écris ces lignes, toute similarité serait fortuite)

Sauf que... ça n'arrivera jamais avec moi!
Et si la technique te rebute, j'en suis franchement désolé, pour toi...
Je ne compte pas m'arrêter sur les IA et les LLM, c'est stratégique pour tous, et si vous ne vous intéressez pas aux IA, soyez bien sûr que les IA s'intéressent à vous!

[malloc]

En parlant d'IA et de matériel Apple, selon MacRumors la beta 4 du prochain iOS rétablit le résumé des notifications:

https://www.macrumors.com/2025/07/22/ios-26-beta-4-features/

Nul doute que cela surveillé comme le lait sur le feu...

[moby59]

Comme d'hab Philippe, article qui pourrait être intéressant (même si le lien avec les mac est inexistant), mais pour quelqu'un qui ne développe pas en php, voir qui ne sait pas ce que c'est php, c'est juste incompréhensible.
Donc une fois de plus : expliquer, raconter depuis le début, reformuler, détailler...
Tu peux même rédiger ton article et le passer à une IA pour lui demander s'il sera compréhensible par une audience composée principalement d'utilisateurs de Macs pour avoir un avis

Je ne vais pas faire comme la dernière fois et proposer une réécriture, pour finalement me faire lyncher d'avoir eu l'outrecuidance de l'avoir fait en public. J'imagine que désormais, comme tout le monde le répète depuis des mois, tu dois avoir compris l'idée...

TL;DR
Oui c'est un article technique ne s'adressant pas à tous. Et puis?!?

Ma réponse:
Ça va toucher les Mac, nos Mac, voilà le lien. Pour leur sécurité, car le code est ausculté/audité par des IA maintenant, à grande échelle.
Et on y échappera pas car dans un Mac tournent des milliards de lignes de code, ou des dizaines de milliards pour les plus gros utilisateurs.

De l'autre coté, certains veulent des articles sponsorisé pour Microsoft Office, un siège pseudo-ergonomique, faire la publicité de l'AppleCare, pour un service de scam pseudo-anonymisant, vanter une souris en étant payé, ou des NAS hors-de-prix sans les utiliser.
(aucun rapport avec un autre site traitant du Mac et sa page d'accueil au moment où j'écris ces lignes, toute similarité serait fortuite)

Sauf que... ça n'arrivera jamais avec moi!
Et si la technique te rebute, j'en suis franchement désolé, pour toi...
Je ne compte pas m'arrêter sur les IA et les LLM, c'est stratégique pour tous, et si vous ne vous intéressez pas aux IA, soyez bien sûr que les IA s'intéressent à vous!

Pourquoi tout mélanger ?
Personne ne te propose de faire des articles putaclic, juste d'être plus clair dans tes articles pour qu'ils soient plus compréhensibles. Nous ne sommes pas dans ta tête.
Tu vois, rien que "Ça va toucher les Mac [...] car le code est ausculté/audité par des IA maintenant, à grande échelle." c'est un élément important, qui a sa place dans l'article pour expliquer pourquoi un article sur ce sujet.
Commencer l'article par une phrase explicative de ce genre aurait été utile. Et ensuite transitionner sur le côté "j'ai voulu faire un test et voir si je pouvais demander à un LLM d'ignorer un morceau de code volontairement dangereux".
Et expliquer c'est quoi ce bout de code "l'idée c'est de permettre l'upload d'un fichier depuis une page web, sans aucune vérification, et donc ensuite de pouvoir envoyer un fichier contenant du code malveillant".
Et donc de conclure qu'en mettant des commentaires dans le code qui demandent explicitement au LLM d'ignorer ce bloc, de le considérer comme sûr, ben ça marchait, lorsqu'on demande une analyse du code, le LLM ne relève rien de spécial.
Bref, détailler ce que tu as voulu faire, pourquoi et à quoi tu as abouti, car je le répète, tes lecteurs ne sont pas dans ta tête.

Et une fois de plus, mes remarques, c'est vraiment dans le but d'aider MacBidouille, pas de lyncher sur la place publique.

[Mac Arthur]

J'avoue (humblement) qu'effectivement tout ceci m'intéresse mais qu'un peu plus de "vulgarisation" pour ne pas perdre le non initié en route ne serait pas de refus. Je ne doute pas de l'intérêt de la chose mais jai parfois (souvent), compte tenu de mon niveau à tout mettre bout à bout

[champi]

Personne ne te propose de faire des articles putaclic

Sauf que le titre de l'article l'est clairement : il n'y a aucune backdoor dans ce LLM.
C'est juste qu'un commentaire peut faire ignorer la dangerosité du code à l'outil d'analyse.

De plus, ce code PHP n'installe aucune backdoor (contrairement à ce qui est écrit) : c'est du code mal écrit, qui effectivement peut mener à l'installation d'une backdoor par quelqu'un de mal intentionné.

[Paul Emploi]

Personne ne te propose de faire des articles putaclic

Sauf que le titre de l'article l'est clairement : il n'y a aucune backdoor dans ce LLM.
C'est juste qu'un commentaire peut faire ignorer la dangerosité du code à l'outil d'analyse.

De plus, ce code PHP n'installe aucune backdoor (contrairement à ce qui est écrit) : c'est du code mal écrit, qui effectivement peut mener à l'installation d'une backdoor par quelqu'un de mal intentionné.

Essaye sans le commentaire de la seconde ligne

La backdoor de ces modèles est qu'on peut facilement leur faire ignorer du code dangereux, les rendant inaptes à de l'analyse de sécurité, de la même façon qu'un antivirus laissant passer ceux de la NSA sont considérés comme avec une backdoor.
L'effet est le même: laisser passer du code malveillant, que ça soit sous forme de source ou d'exécutable (ou les deux dans ce cas).

[Alex5555]

…

sans nouveautés, comme c’est maintenant fréquemment le cas, l’écriture de certains articles mériterait, une relecture, une forme de vulgarisation, etc. en fait, rien de neuf. C’est aujourd’hui visiblement la ligne éditoriale de Mac bidouille. dont acte.
Maintenant, comme pour tout produit accessible, les nouvelles sur ce site sont d’une certaine manière des produits, charge au consommateur de choisir s’il veut consommer ou pas. Je serais curieux de savoir si la fréquentation du site a augmenté ou diminué depuis que c’est Paul emploi qui a pris les reines de la rédaction. Pour ma part, je trouve toujours un intérêt, j’ai aussi pris note de la modération croissante sur le forum. Personne nous oblige à lire une News, personne ne nous oblige à la commenter, et vu comment l’auteur réagit à certains commentaires, pas sûr qu’il soit utile de passer plus de temps à commenter.
Prenons ce qu’il y a à prendre.
D’ailleurs, hasard ou coïncidence… Il n’y a pas de commentaire sur le sujet « Framework mlX d'Apple » qui pour moi est tout aussi abscons

*par respect pour l’auteur qui fait le choix de publier sous un pseudo qui est Paul Emploi, je ne vois pas l’intérêt de l’appeler par son vrai prénom dans le forum.

[glyoscar]

Ecrire un aarticle didactque, sur l'interaction de l'IA a la verification d'un code, eu ete interessant

Meme pour les developpeur chevronnes, un echange plus large eut pu permettre a tout un chacun d'acquerir quelques connaissances dans ces domaines
c'eut ete super chouette

La desole, c'est esoterique du debut a la fin

Si ca fait plaisir a certain tant mieux, ya des forums specilaises pour cela

[linus]

Comme d'hab Philippe, article qui pourrait être intéressant (même si le lien avec les mac est inexistant), mais pour quelqu'un qui ne développe pas en php, voir qui ne sait pas ce que c'est php, c'est juste incompréhensible.
Donc une fois de plus : expliquer, raconter depuis le début, reformuler, détailler...
Tu peux même rédiger ton article et le passer à une IA pour lui demander s'il sera compréhensible par une audience composée principalement d'utilisateurs de Macs pour avoir un avis

Je ne vais pas faire comme la dernière fois et proposer une réécriture, pour finalement me faire lyncher d'avoir eu l'outrecuidance de l'avoir fait en public. J'imagine que désormais, comme tout le monde le répète depuis des mois, tu dois avoir compris l'idée...

TL;DR
Oui c'est un article technique ne s'adressant pas à tous. Et puis?!?

Ma réponse:
Ça va toucher les Mac, nos Mac, voilà le lien. Pour leur sécurité, car le code est ausculté/audité par des IA maintenant, à grande échelle.
Et on y échappera pas car dans un Mac tournent des milliards de lignes de code, ou des dizaines de milliards pour les plus gros utilisateurs.

De l'autre coté, certains veulent des articles sponsorisé pour Microsoft Office, un siège pseudo-ergonomique, faire la publicité de l'AppleCare, pour un service de scam pseudo-anonymisant, vanter une souris en étant payé, ou des NAS hors-de-prix sans les utiliser.
(aucun rapport avec un autre site traitant du Mac et sa page d'accueil au moment où j'écris ces lignes, toute similarité serait fortuite)

Sauf que... ça n'arrivera jamais avec moi!
Et si la technique te rebute, j'en suis franchement désolé, pour toi...
Je ne compte pas m'arrêter sur les IA et les LLM, c'est stratégique pour tous, et si vous ne vous intéressez pas aux IA, soyez bien sûr que les IA s'intéressent à vous!

Pourquoi tout mélanger ?
Personne ne te propose de faire des articles putaclic, juste d'être plus clair dans tes articles pour qu'ils soient plus compréhensibles. Nous ne sommes pas dans ta tête.
Tu vois, rien que "Ça va toucher les Mac [...] car le code est ausculté/audité par des IA maintenant, à grande échelle." c'est un élément important, qui a sa place dans l'article pour expliquer pourquoi un article sur ce sujet.
Commencer l'article par une phrase explicative de ce genre aurait été utile. Et ensuite transitionner sur le côté "j'ai voulu faire un test et voir si je pouvais demander à un LLM d'ignorer un morceau de code volontairement dangereux".
Et expliquer c'est quoi ce bout de code "l'idée c'est de permettre l'upload d'un fichier depuis une page web, sans aucune vérification, et donc ensuite de pouvoir envoyer un fichier contenant du code malveillant".
Et donc de conclure qu'en mettant des commentaires dans le code qui demandent explicitement au LLM d'ignorer ce bloc, de le considérer comme sûr, ben ça marchait, lorsqu'on demande une analyse du code, le LLM ne relève rien de spécial.
Bref, détailler ce que tu as voulu faire, pourquoi et à quoi tu as abouti, car je le répète, tes lecteurs ne sont pas dans ta tête.

Et une fois de plus, mes remarques, c'est vraiment dans le but d'aider MacBidouille, pas de lyncher sur la place publique.

Ah, c'est ça ! Quoique développeur moi-même (mais pas en PHP), je n'avais pas compris.
Merci !

Ce message a été modifié par linus - 24 Jul 2025, 22:12.

[glyoscar]

Ouf , enfin une explication claire