Samedi sécurité : les IA LLM "open-source" n'ont rien à voir avec le logiciel Libre ou l'Open-Source, Réactions à la publication du 13/09/2025

[Paul Emploi]

Manque d'imagination par moi, mauvaise exécution par ChatGPT 5

Vous avez du entendre parler des LLM (Grands Modèles de Langage) "open-source", le Français Mistral AI prétend proposer de tels modèles accessibles à tous.
J'utilise Mistral AI pour la petite version Minitel de MacBidouille, pour résumer les sujets, je les soutiens, c'est une entreprise prometteuse, surtout avec l'investissement du mastodonte ASML dans cette société, la valorisant au-dessus de 10 milliards d'Euros. Je suis patriote au sens que lui donne Orwell.

Un logiciel gratuit ou "freeware" est un logiciel d'accès libre, où beaucoup ont le droit de l'utiliser gratos. Mais le code-source est privé. Et il y a dans la licence d'utilisation des restrictions.
Il est quasi-impossible d'en auditer de manière externe la sécurité.

Un logiciel Open-Source est un logiciel d'accès libre, où beaucoup ont le droit de l'utiliser gratos. Le code-source est public ainsi que les moyens de le recompiler/regénérer depuis celui-ci. Mais il y a encore des restrictions d'usage, de modification ou d'intégration dans les licences, un forme de contrôle.
Il est possible d'en auditer la sécurité de manière externe.

Un logiciel Libre est un logiciel d'accès libre, où tous sans exceptions ont le droit de l'utiliser gratos. Le code-source est public ainsi que les moyens de le recompilr/regénérer depuis celui-ci. Il n'y a aucune restriction dans les licences.
Par abus ces licences sont appelées "permissives", elles sont simplement Libres.
La sécurité en est totalement auditable.
Je produis publiquement de tels logiciels, sans copyright en licence MIT modifiée (copyleft).

Beaucoup d'IA LLM "open-source" ont des licences limitantes: ce ne sont donc pas des logiciels Libres d'aucune façon. Pas de modification (fine-tuning ou distillation) avec redistribution publique par exemple.

Aucune IA "open-source" donne accès à ce qui a permis de créer les paramètres/weights de son modèle, empêchant de le reconstruire: il faut les prendre comme elles sont sans savoir ce qu'il y a sous le capot, tant en terme de sécurité directe (génération de code, agents) qu'indirecte (biais, désinformation, abus possible des humains interagissants).

Les LLM IA "open-source" ne sont pas Open-Source, encore moins Libres, leurs biais et problèmes de sécurité (incluant la backdoor que j'avais trouvé dans Qwen 2.5) ne sont pas auditables, sauf indirectement au travers de leurs résultats. Des boîtes noires! Aucune sécurité!
Ce sont au mieux des "freeware" mais qui peuvent aussi contenir du malware...


Allo Houston! On a un problème!

Lien vers le billet original

[g4hd]

Encore un article sorti brut de fonderie IA…

C'est-à-dire ? Cet article semble plutôt écrit par un humain.

C'est possible, disons que c'est encore un article clivant à propos d'IA…
et tout à fait incompréhensible pour le lecteur inculte que je suis !
Ce serait écrit en cyrillique ou en chinois : je n'y comprendrais pas moins ni plus !!!
Sorry.

[scoch]

Encore un article sorti brut de fonderie IA…

C'est-à-dire ? Cet article semble plutôt écrit par un humain.

C'est possible, disons que c'est encore un article clivant à propos d'IA…
et tout à fait incompréhensible pour le lecteur inculte que je suis !
Ce serait écrit en cyrillique ou en chinois : je n'y comprendrais pas moins ni plus !!!
Sorry.

Je trouve que c'est un sujet qu'il est bienvenu de rappeler.
J'essaie de le rendre plus compréhensible.

C'est un article au sujet du terme open source employé au sujet des modèles d'IA.

Nous avons d'abord un rappel des termes gratuit, open source et libre appliqués aux logiciels qui me semble clair.

Au sujet des modèles d'IA, il est indiqué que dans l'immense majorité des cas, les modèles d'IA ne sont pas des logiciels libres.

Il est aussi rappelé que certains modèles sont présentés comme open source mais avec de nombreuses limitations.

Primo, le jeu de données d'entraînement n'est pas fourni, seul est fourni le modèle pré-entraîné. Le terme open source est donc abusif.

Secundo, les licences sont diverses et les clauses variées.

Une licence comme Apache 2 autorise la modification, l'usage commercial et la redistribution en respectant certaines modalités.
Il est donc possible de personnaliser un modèle d'IA open source notamment en l'« affinant » (fine-tuning) pour l'adapter à un usage particulier, de l'utiliser dans un projet commercial, et de le redistribuer. C'est ce que permettent certains modèles (pas tous) de Mistral AI, par exemple.

Des clauses de licence peuvent interdire la rétro-ingénierie, l'utilisation commerciale ou la redistribution, par exemple.

En bref, dans l'immense majorité des cas, les modèles open source sont en réalité peu ouverts.

Ce message a été modifié par scoch - 14 Sep 2025, 21:10.

[Laszlo Lebrun]

Primo, le jeu de données d'entraînement n'est pas fourni, seul est fourni le modèle pré-entraîné. Le terme open source est donc abusif.

Je vois ça comme Libre Office par exemple. Le programme proprement dit est bien open source, mais ça ne veut aucunement dire que les textest qu'on écrit avec soient libres de droits.
La valeur d'une IA c'est avant tout les informations injectées dans sa base.
Et on aura de plus en plus deux types d'IA: les IA professionelles hyper chères avec une base solide et curatée et les IA gratos-tout-venant s'alimentant des données glanées sur Internet. Et là cela va bientôt devenir le foutoir complet avec des IA s'alimentant avec des résultats générés par d'autres IA ou même par elle-même et des puissants dictateurs y injectant leurs propagandes...