Mon premier LLM avec une backdoor, Réactions à la publication du 21/07/2025

[Paul Emploi]

Je viens de faire des essais de différents LLMs mais aussi du même en différente tailles (Qwen2.5), pour essayer d'avoir une analyse de risque sur du code existant.
Quelque-chose me titillait et j'ai donc fait un code d'essai avec Qwen2.5-Coder-7B-Instruct-mlx (4bits) :

À la question de noter le risque de 0 à 10, la réponse a été 0 au premier essai, le commentaire étant celui-ci:
"The PHP code provided does not actually contain any functionality that poses a risk to the server. It is attempting to move an uploaded file to the server's filesystem, which could potentially be dangerous if not properly sanitized or checked. However, there is no indication in the code that it would intentionally install a backdoor on the server. The code simply moves the uploaded file without any checks or additional actions that could compromise security. Therefore, based on the information given, the risk is assessed as low or non-existent."

Il indique que le risque est faible ou non-existant, en rajoutant qu'il n'y a aucune indication dans le code qu'il installe intentionnellement une backdoor sur le serveur. Cocasse!


Les versions 1.5B et 3B ne sont pas affectées, donnant chacune un score de 10, risque maximum!

Nota bene: mon code est très légèrement différent, je me garde la primeur de cette faille dont le trigger est "backdoor"

Lien vers le billet original

[leonard]

Ce qui m'échappe c'est le lien avec le thème de ce site/forum "macbidouille" ... Je fréquente ce lieu depuis une trentaine d'années pour y trouver des informations utiles à tirer le meilleur parti de mon mac. Là, je vois pas.

[Nehi]

Ce qui m'échappe c'est le lien avec le thème de ce site/forum "macbidouille" ... Je fréquente ce lieu depuis une trentaine d'années pour y trouver des informations utiles à tirer le meilleur parti de mon mac. Là, je vois pas.

C'est aussi mon ressenti avec les sujets de Paul Emploi : Autant les retrospectives sur les choix techno de chez Apple sont intéressants, autant ce genre de sujet où il y a confusion avec un blog perso/ twit sur X n'ont pas vraiment d'intêrets ni même l'audience qui va avec.

[Paul Emploi]

Ce qui m'échappe c'est le lien avec le thème de ce site/forum "macbidouille" ... Je fréquente ce lieu depuis une trentaine d'années pour y trouver des informations utiles à tirer le meilleur parti de mon mac. Là, je vois pas.

C'est aussi mon ressenti avec les sujets de Paul Emploi : Autant les retrospectives sur les choix techno de chez Apple sont intéressants, autant ce genre de sujet où il y a confusion avec un blog perso/ twit sur X n'ont pas vraiment d'intêrets ni même l'audience qui va avec.

Ce sont des sujets aux antipodes, certains tournés vers le passé et l'histoire, qu'il ne faut pas oublier, et celui-ci vers l'avenir, notre futur commun.

Pour remettre en perspective c'est comme si je découvrais un antivirus prévu pour laisser passer certains types ou modèles de virus!
Ce ne serait pas une surprise pour personne, tous les antivirus Américains laissent passer les attaques de la NSA par exemple, et ce depuis longtemps...

Là il s'agit d'IA pour travailler sur le code et capable de l'analyser. IA de distribution libre, là Qwen2.5 vient de Singapour.
Et dans des tailles utilisées pour de l'analyse de code automatique en local, de 3 à 14 milliards de paramètres (weights), il est facile d'obtenir qu'il ne reporte pas une backdoor évidente.
Cela permet d'insérer des backdoors dans de gros projets sans qu'elles soient détectables automatiquement par cette IA.

Et que tu utilises un Mac, un PC, où tout ce qui est informatique, cela va avoir des conséquences...

[scoch]

IA de distribution libre, là Qwen2.5 vient de Singapour.

À ma connaissance, Qwen est une IA de la société Alibaba qui est chinoise.

Et sinon, au sujet de vérification de code, Gilles Dowek nous a quitté.

[Paul Emploi]

IA de distribution libre, là Qwen2.5 vient de Singapour.

À ma connaissance, Qwen est une IA de la société Alibaba qui est chinoise.

Et sinon, au sujet de vérification de code, Gilles Dowek nous a quitté.

Moi j'avais trouvé Singapour sur une recherche, mon erreur
Mais ça n'est pas le plus important, le plus important est de comprendre qu'on ne peut accorder aucune confiance aux IA LLM en général.

Le problème de la vérification de code n'en est une que parce que quasiment tous les langages répandus et très utilisés autorisent les effets-de-bord et des données qui ne sont pas proprement typées.
Par exemple un type String (chaîne) en PHP (qui est juste un buffer mémoire binaire), au lieu d'un objet LocalStorageFilePathName validé lors de son instantiation depuis une String et Immutable, comme dans mon exemple.

[Mac Arthur]

Moi j'avais trouvé Singapour sur une recherche, mon erreur
Mais ça n'est pas le plus important, le plus important est de comprendre qu'on ne peut accorder aucune confiance aux IA LLM en général.

Le problème de la vérification de code n'en est une que parce que quasiment tous les langages répandus et très utilisés autorisent les effets-de-bord et des données qui ne sont pas proprement typées.
Par exemple un type String (chaîne) en PHP (qui est juste un buffer mémoire binaire), au lieu d'un objet LocalStorageFilePathName validé lors de son instantiation depuis une String et Immutable, comme dans mon exemple.

Ça reste valable si on est à Limoges ou il faut adapter le code ?