Samedi sécurité : les IA LLM "open-source" n'ont rien à voir avec le logiciel Libre ou l'Open-Source, Réactions à la publication du 13/09/2025

[Paul Emploi]

Manque d'imagination par moi, mauvaise exécution par ChatGPT 5

Vous avez du entendre parler des LLM (Grands Modèles de Langage) "open-source", le Français Mistral AI prétend proposer de tels modèles accessibles à tous.
J'utilise Mistral AI pour la petite version Minitel de MacBidouille, pour résumer les sujets, je les soutiens, c'est une entreprise prometteuse, surtout avec l'investissement du mastodonte ASML dans cette société, la valorisant au-dessus de 10 milliards d'Euros. Je suis patriote au sens que lui donne Orwell.

Un logiciel gratuit ou "freeware" est un logiciel d'accès libre, où beaucoup ont le droit de l'utiliser gratos. Mais le code-source est privé. Et il y a dans la licence d'utilisation des restrictions.
Il est quasi-impossible d'en auditer de manière externe la sécurité.

Un logiciel Open-Source est un logiciel d'accès libre, où beaucoup ont le droit de l'utiliser gratos. Le code-source est public ainsi que les moyens de le recompiler/regénérer depuis celui-ci. Mais il y a encore des restrictions d'usage, de modification ou d'intégration dans les licences, un forme de contrôle.
Il est possible d'en auditer la sécurité de manière externe.

Un logiciel Libre est un logiciel d'accès libre, où tous sans exceptions ont le droit de l'utiliser gratos. Le code-source est public ainsi que les moyens de le recompilr/regénérer depuis celui-ci. Il n'y a aucune restriction dans les licences.
Par abus ces licences sont appelées "permissives", elles sont simplement Libres.
La sécurité en est totalement auditable.
Je produis publiquement de tels logiciels, sans copyright en licence MIT modifiée (copyleft).

Beaucoup d'IA LLM "open-source" ont des licences limitantes: ce ne sont donc pas des logiciels Libres d'aucune façon. Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Aucune IA "open-source" donne accès à ce qui a permis de créer les paramètres/weights de son modèle, empêchant de le reconstruire: il faut les prendre comme elles sont sans savoir ce qu'il y a sous le capot, tant en terme de sécurité directe (génération de code, agents) qu'indirecte (biais, désinformation, abus possible des humains interagissants).

Les LLM IA "open-source" ne sont pas Open-Source, encore moins Libres, leurs biais et problèmes de sécurité (incluant la backdoor que j'avais trouvé dans Qwen 2.5) ne sont pas auditables, sauf indirectement au travers de leurs résultats. Des boîtes noires! Aucune sécurité!
Ce sont au mieux des "freeware" mais qui peuvent aussi contenir du malware...


Allo Houston! On a un problème!

Lien vers le billet original

[scoch]

Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Je suis étonné par ce point. On trouve, par exemple sur Hugging Face, des version fine tunées (sous licence Apache 2) de modèles de Mistral Ai, eux-mêmes sous licence Apache 2.

[Paul Emploi]

Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Je suis étonné par ce point. On trouve, par exemple sur Hugging Face, des version fine tunées (sous licence Apache 2) de modèles de Mistral Ai, eux-mêmes sous licence Apache 2.

Ouaip je n'aurais pas du citer Mistral dans ce cas! Je corrige!

[g4hd]

Encore un article sorti brut de fonderie IA…

[macfredx]

(…)
Allo Houston! On a un problème!

Oui, enfin, pas moi, vu que je me tape des IA génératives comme de mon premier caleçon.

[scoch]

Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Je suis étonné par ce point. On trouve, par exemple sur Hugging Face, des version fine tunées (sous licence Apache 2) de modèles de Mistral Ai, eux-mêmes sous licence Apache 2.

Ouaip je n'aurais pas du citer Mistral dans ce cas! Je corrige!

Tu pourrais mentionner que c'est possible pour les modèles en licence Apache 2.

Encore un article sorti brut de fonderie IA…

C'est-à-dire ? Cet article semble plutôt écrit par un humain.

Ce message a été modifié par scoch - 14 Sep 2025, 15:47.

[Paul Emploi]

Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Je suis étonné par ce point. On trouve, par exemple sur Hugging Face, des version fine tunées (sous licence Apache 2) de modèles de Mistral Ai, eux-mêmes sous licence Apache 2.

Ouaip je n'aurais pas du citer Mistral dans ce cas! Je corrige!

Tu pourrais mentionner que c'est possible pour les modèles en licence Apache 2.

Ouhla si on fait le tour des centaines de licences possibles, plus personne ne va s'y retrouver.

Surtout qu'en terme de sécurité, celle des IA prétendument "open-source" n'est pas évaluable de manière externe, car justement pas open-source du tout!
Libre d'accès et dans certains cas libres d'usage ou même de modification, mais pas open-source...

Lisez la licence de Qwen 2.5, avec une belle backdoor trouvée par moi: dès que vous faites un procès, vous n'y avez plus accès, d'aucune façon!
Vous n'avez pas plus le droit d'exploiter cette IA LLM "open-source" commercialement, si vous dépassez les 100 millions d'utilisateurs mensuels, même si c'est seulement une partie, même insignifiante, du service fourni.
Aucune liberté. \/ c'est du Chinois, dans les différentes acceptations du terme!

[g4hd]

Encore un article sorti brut de fonderie IA…

C'est-à-dire ? Cet article semble plutôt écrit par un humain.

C'est possible, disons que c'est encore un article clivant à propos d'IA…
et tout à fait incompréhensible pour le lecteur inculte que je suis !
Ce serait écrit en cyrillique ou en chinois : je n'y comprendrais pas moins ni plus !!!
Sorry.

[champi]

Allo Houston! On a un problème!

Oui, un rédacteur qui écrit des articles qui n'ont aucun sens.
Et ce n'est pas la première fois.

[scoch]

Encore un article sorti brut de fonderie IA…

C'est-à-dire ? Cet article semble plutôt écrit par un humain.

C'est possible, disons que c'est encore un article clivant à propos d'IA…
et tout à fait incompréhensible pour le lecteur inculte que je suis !
Ce serait écrit en cyrillique ou en chinois : je n'y comprendrais pas moins ni plus !!!
Sorry.

Je trouve que c'est un sujet qu'il est bienvenu de rappeler.
J'essaie de le rendre plus compréhensible.

C'est un article au sujet du terme open source employé au sujet des modèles d'IA.

Nous avons d'abord un rappel des termes gratuit, open source et libre appliqués aux logiciels qui me semble clair.

Au sujet des modèles d'IA, il est indiqué que dans l'immense majorité des cas, les modèles d'IA ne sont pas des logiciels libres.

Il est aussi rappelé que certains modèles sont présentés comme open source mais avec de nombreuses limitations.

Primo, le jeu de données d'entraînement n'est pas fourni, seul est fourni le modèle pré-entraîné. Le terme open source est donc abusif.

Secundo, les licences sont diverses et les clauses variées.

Une licence comme Apache 2 autorise la modification, l'usage commercial et la redistribution en respectant certaines modalités.
Il est donc possible de personnaliser un modèle d'IA open source notamment en l'« affinant » (fine-tuning) pour l'adapter à un usage particulier, de l'utiliser dans un projet commercial, et de le redistribuer. C'est ce que permettent certains modèles (pas tous) de Mistral AI, par exemple.

Des clauses de licence peuvent interdire la rétro-ingénierie, l'utilisation commerciale ou la redistribution, par exemple.

En bref, dans l'immense majorité des cas, les modèles open source sont en réalité peu ouverts.

Ce message a été modifié par scoch - 14 Sep 2025, 21:10.

[blueG3]

toutes les sociétés privés présentent dès qu’elles le peuvent leur "open source",
on peut citer , Micro$oft , Oracle , Apple , la liste s'allonge au fil du temps.

les société ( privées) qui proposent leur l'accès a leur "IA" prétendent que c'est "open source" , avec toute la liste de restriction qui va avec.
l'exemple le plus parlant étant OpenZFS , qui prétent êztre le plus "open source"
https://openzfs.org/wiki/Main_Page

or si vous allez dans la section Github Copyrigt
https://github.com/openzfs/zfs/blob/master/COPYRIGHT

c'est CDDL , le plus restrictif qu'il soit

c'est "open Source" , comme d'autre dirai c'est "open Bar" , mais tu paye la consommation à la fin

[Laszlo Lebrun]

Primo, le jeu de données d'entraînement n'est pas fourni, seul est fourni le modèle pré-entraîné. Le terme open source est donc abusif.

Je vois ça comme Libre Office par exemple. Le programme proprement dit est bien open source, mais ça ne veut aucunement dire que les textest qu'on écrit avec soient libres de droits.
La valeur d'une IA c'est avant tout les informations injectées dans sa base.
Et on aura de plus en plus deux types d'IA: les IA professionelles hyper chères avec une base solide et curatée et les IA gratos-tout-venant s'alimentant des données glanées sur Internet. Et là cela va bientôt devenir le foutoir complet avec des IA s'alimentant avec des résultats générés par d'autres IA ou même par elle-même et des puissants dictateurs y injectant leurs propagandes...

[joe75]

Bon grand jour. .je me lance dans la découverte de Gemini et Perplexity Pro.

Je viens de découvrir que sur gemini gratuit il y avait un quota soit au mois soit ojournalier pour la génération d images. Je ne connais pas le nombre mais hier c était moins d une dizaine effectuée par iteration succesive .Ou alors c'est une nouvelle fonctionnalité qui nécessite des jetons.

Du coup j ai activé ce matin Gemini Pro (gratuit pendant 6 mois avec un nouveau Samsung et après 21 €/ mois!)
ainsi que Perplexity Pro( gratuit pendant 1 an et après 21 euros/mois)...
Avec un reminder pour me rappeler de me désabonner avant l'écheance

Ce message a été modifié par joe75 - 15 Sep 2025, 09:13.