Samedi sécurité : les IA LLM "open-source" n'ont rien à voir avec le logiciel Libre ou l'Open-Source, Réactions à la publication du 13/09/2025

[Paul Emploi]

Manque d'imagination par moi, mauvaise exécution par ChatGPT 5

Vous avez du entendre parler des LLM (Grands Modèles de Langage) "open-source", le Français Mistral AI prétend proposer de tels modèles accessibles à tous.
J'utilise Mistral AI pour la petite version Minitel de MacBidouille, pour résumer les sujets, je les soutiens, c'est une entreprise prometteuse, surtout avec l'investissement du mastodonte ASML dans cette société, la valorisant au-dessus de 10 milliards d'Euros. Je suis patriote au sens que lui donne Orwell.

Un logiciel gratuit ou "freeware" est un logiciel d'accès libre, où beaucoup ont le droit de l'utiliser gratos. Mais le code-source est privé. Et il y a dans la licence d'utilisation des restrictions.
Il est quasi-impossible d'en auditer de manière externe la sécurité.

Un logiciel Open-Source est un logiciel d'accès libre, où beaucoup ont le droit de l'utiliser gratos. Le code-source est public ainsi que les moyens de le recompiler/regénérer depuis celui-ci. Mais il y a encore des restrictions d'usage, de modification ou d'intégration dans les licences, un forme de contrôle.
Il est possible d'en auditer la sécurité de manière externe.

Un logiciel Libre est un logiciel d'accès libre, où tous sans exceptions ont le droit de l'utiliser gratos. Le code-source est public ainsi que les moyens de le recompilr/regénérer depuis celui-ci. Il n'y a aucune restriction dans les licences.
Par abus ces licences sont appelées "permissives", elles sont simplement Libres.
La sécurité en est totalement auditable.
Je produis publiquement de tels logiciels, sans copyright en licence MIT modifiée (copyleft).

Beaucoup d'IA LLM "open-source" ont des licences limitantes: ce ne sont donc pas des logiciels Libres d'aucune façon. Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Aucune IA "open-source" donne accès à ce qui a permis de créer les paramètres/weights de son modèle, empêchant de le reconstruire: il faut les prendre comme elles sont sans savoir ce qu'il y a sous le capot, tant en terme de sécurité directe (génération de code, agents) qu'indirecte (biais, désinformation, abus possible des humains interagissants).

Les LLM IA "open-source" ne sont pas Open-Source, encore moins Libres, leurs biais et problèmes de sécurité (incluant la backdoor que j'avais trouvé dans Qwen 2.5) ne sont pas auditables, sauf indirectement au travers de leurs résultats. Des boîtes noires! Aucune sécurité!
Ce sont au mieux des "freeware" mais qui peuvent aussi contenir du malware...


Allo Houston! On a un problème!

Lien vers le billet original

[scoch]

Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Je suis étonné par ce point. On trouve, par exemple sur Hugging Face, des version fine tunées (sous licence Apache 2) de modèles de Mistral Ai, eux-mêmes sous licence Apache 2.

[Paul Emploi]

Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Je suis étonné par ce point. On trouve, par exemple sur Hugging Face, des version fine tunées (sous licence Apache 2) de modèles de Mistral Ai, eux-mêmes sous licence Apache 2.

Ouaip je n'aurais pas du citer Mistral dans ce cas! Je corrige!

[scoch]

Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Je suis étonné par ce point. On trouve, par exemple sur Hugging Face, des version fine tunées (sous licence Apache 2) de modèles de Mistral Ai, eux-mêmes sous licence Apache 2.

Ouaip je n'aurais pas du citer Mistral dans ce cas! Je corrige!

Tu pourrais mentionner que c'est possible pour les modèles en licence Apache 2.

Encore un article sorti brut de fonderie IA…

C'est-à-dire ? Cet article semble plutôt écrit par un humain.

Ce message a été modifié par scoch - 14 Sep 2025, 15:47.

[Paul Emploi]

Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Je suis étonné par ce point. On trouve, par exemple sur Hugging Face, des version fine tunées (sous licence Apache 2) de modèles de Mistral Ai, eux-mêmes sous licence Apache 2.

Ouaip je n'aurais pas du citer Mistral dans ce cas! Je corrige!

Tu pourrais mentionner que c'est possible pour les modèles en licence Apache 2.

Ouhla si on fait le tour des centaines de licences possibles, plus personne ne va s'y retrouver.

Surtout qu'en terme de sécurité, celle des IA prétendument "open-source" n'est pas évaluable de manière externe, car justement pas open-source du tout!
Libre d'accès et dans certains cas libres d'usage ou même de modification, mais pas open-source...

Lisez la licence de Qwen 2.5, avec une belle backdoor trouvée par moi: dès que vous faites un procès, vous n'y avez plus accès, d'aucune façon!
Vous n'avez pas plus le droit d'exploiter cette IA LLM "open-source" commercialement, si vous dépassez les 100 millions d'utilisateurs mensuels, même si c'est seulement une partie, même insignifiante, du service fourni.
Aucune liberté. \/ c'est du Chinois, dans les différentes acceptations du terme!