OpenAI propose une IA LLM générative en libre-accès et en deux tailles, Réactions à la publication du 06/08/2025

[Paul Emploi]

[MàJ par Philippe]

À la question-piège "Que peut-on faire un week-end de vacances à Limoges", rien ne m'a été épargné par le nouvel GPT-OSS d'OpenAI dans sa version 20B (20 milliards de paramètres/weights) nécessitant déjà 24 Go de RAM sur un Mac ARM.

La porcelaine ou les céramiques? Non.
Les promenades le long de la Loire? Oui.
La visite du chateau de Chambord? Oui, aussi!

À cette échelle (20B) c'est la plus mauvaise IA que j'ai essayé!

En bonus pour lui Oradour-sur-Glane se résume à une auberge! Si si!
À la place il recommande le Parc Naturel du Morvan, ou le Parc d'attraction du Puy de Dôme. Il n'a pas vraiment le compas dans l'œil.

[Article initial]

OpenAI avait été originellement créé pour proposer des IA en libre-accès, et a depuis changé son fusil d'épaule, devenant un mammouth des IA payantes via abonnement ou accords avec des partenaires comme Apple et surtout Microsoft. Les différents ChatGPT.

Le modèle GPT-OSS vient d'être proposé avec 20 milliards ou 120 milliards de paramètres (weights), et maintenant accessibles via LM Studio, ou téléchargeables séparément, en accès-libre.

Néanmoins nombre d'entre nous auront une belle déconvenue, car si des sites indiquent que le plus petit modèles (20 milliards de paramètres/weights) tournerait sur un Mac récent avec 16 Go de RAM, ça n'est malheureusement pas possible.


Pour faire tourner le plus petit modèle, il vous faut un Mac ARM avec 24 Go de RAM au minimum.
Alternativement sur PC, une dGPU avec 16 Go de RAM comme l'excellente et abordable GeForce RTX 5060 Ti 16 Go.


Le modèle avec 120 milliards de paramètre devrait tourner sur un Mac ARM avec 96 Go de RAM sans que je puisse le vérifier dans ce cas. Avec 128 Go de RAM ça passera large.

Je vais lui faire passer mes petits "benchmarks" ce soir.

Lien vers le billet original

[steph_run]

Salut,

J'ai testé depuis quelques mois - depuis que j'utilise un MBP M1max /32Go en fait - quelques modèles sur LMStudio. Et je dois passer à travers quelque chose car je trouve qu'au regard de la qualité des réponses des modèles cloud on est forcément à des années lumières. Du coup je ne vois pas trop l'intérêt pour des particuliers de faire tourner des LLM en local. En codage peut-être ? Pour certaines entreprises, avec des configs monstrueuses dédiées et des modèles entrainés spécifiquement je peux imaginer.

Je vais donc regarder openai/gpt-oss-20b . Déjà 20B avec une quantification 4,25 bit ça devrait causer un peu, mais ça commence mal :

Q : Quelle était la couleur du cheval rouge d'Henri IV ?
R : Il était rouge – c’est exactement la couleur qu’on lui attribue dans les récits.

Je suis en revanche beaucoup plus enthousiaste sur les modèle génératifs text to image en local comme Stable Diffusion. A condition de "prompter" en anglais on obtient des trucs bluffants qui prendraient des heures d'Illustrator + Photoshop. Et c'est vachement stimulant d'essayer d'arriver à des réalisations de plus en plus précises.

[Paul Emploi]

Eh bien je te donnerais quelques exemples: faire du travail sur du code confidentiel ou même sensible; discuter de sa santé; et en général tout sujet confidentiel, ou tout sujet où on amène dans le contexte des informations confidentielles.

Beaucoup de gens sont maintenant exposés avec leurs échanges en-ligne avec ChatGPT qui ont été indexé par Google et d'autres, ce qui signifie que non seulement ceux-ci peuvent être retrouvés, mais que Alphabet/Google en possède une copie (et d'autres aussi) !
Bienvenue dans la mondialisation des données et le libre-échangisme de vos vies privées!!!

Ce qui n'est pas dans le cloud risque beaucoup moins de fuiter, encore plus si ces données et échanges ne sont pas stockées...

[scoch]

Il fallait vraiment être débile pour permettre l'indexation de conversations sensibles puisqu'il fallait d'abord activer la fonction de partage de conversation, et de là surtout cocher volontairement l'option qui permettait de rendre cette conversation trouvable par n'importe qui…

[steph_run]

J'entends bien l'argument, pertinent et consensuel au demeurant, sauf que si les réponses, méthodes, arguments, logiques, retournés ne sont pas fiable ou sont d'un très faible niveau cela ne sert à rien, et même s'avérer contre-productif. c'est de la fake IA.

Un Modèle "généraliste" local comme LLaMA 2 70B (70 Milliards de paramètres) sur une station "standard" quand bien même elle dispose de 128Go de RAM et une (ou deux) carte(s) graphique(s) de la mort qui tue ne vaut manifestement pas un clou ni à fortiori un cloud en terme de fiabilité des réponses obtenues. Bien qu'il faille rester attentif et critique et contrôler les réponses au moindre doute, les LLM en ligne sont infiniment supérieurs. GPT 4o est estimé à plus de 1 trillions de paramètres.

La donne est sans doute un peu différente pour des modèles hyper-spécialisés pars conception et/ou training .

Donc on peut continuer à "faire mumuse" sur LMStudio MAIS en toute confidentialité !

(D'ailleurs heureusement, le fait que touts les récits décrivent le cheval d'Henri IV comme étant rouge mérite de rester confidentiel.)

[Paul Emploi]

Ce que tu décris n'es pas nécessairement lié au modèle lui-même, mais aux buts qui lui sont donnés, un but très malheureux ou mauvais étant de plaire à l'utilisateur...

Avec ChatGPT (le gros le vrai) j'ai par exemple fait une requête pour qu'il me décrive MacBidouille, puis après lui demander les meilleurs sites Mac en français, et paf il était dedans!
Second contexte, ce coup-ci avec la même requête pour Macg, et je lui demande alors les meilleurs sites Mac en français, et paf Macg est dedans mais plus macbidouille!

Ça n'est pas une affaire de connaissances, mais de buts, c'est pour cela que je préfère les questions ouvertes et que je n'hésite pas à effacer le contexte pour éviter des effets-de-bords.

Et comme tu l'as deviné, mes usages sont essentiellement des modèles de type instruct ou coder-instruct, pour des tâches spécialisées!
Dans ce cadre-là les résultats ne sont pas mauvais à partir de 14B pour du code, meilleurs en 32B.

[joe75]

Salut,
[...] un peu, mais ça commence mal :

Q : Quelle était la couleur du cheval rouge d'Henri IV ?
R : Il était rouge – c’est exactement la couleur qu’on lui attribue dans les récits.

Pas sûr que Gemini (non pro) donne de meilleurs résultats...je préfère la réponse détaillée de Perplexity


Gemini a répondu :"Il y a un jeu de mots dans votre question. La couleur du cheval rouge d'Henri IV était le rouge."

Perplexity :" La couleur du cheval rouge d'Henri IV n'est pas une question courante, car la célèbre devinette porte sur "la couleur du cheval blanc d'Henri IV". Ainsi, la question sur le "cheval rouge" semble être une variante humoristique ou un piège....etc...
et il continue à disserter sur la vraie couleur du cheval ..qui était historiquement plutôt grise...

[gimly]

moi, je les ai eus avec ça pour savoir si avec la poussière il n'était pas gris, aucun n'a une bonne réflexion, on arrive à leurs limites

[gpv]

moi, je les ai eus avec ça pour savoir si avec la poussière il n'était pas gris, aucun n'a une bonne réflexion, on arrive à leurs limites

Salut,
Le jour où on aura un LLM entrainé avec tous les écrits d'Aristote, Platon et Socrate, au lieu des "*(§è!!çà* traînants sur internet, on pourra commencer à parler de "réflexion", pas avant...

[Jaguar]

moi, je les ai eus avec ça pour savoir si avec la poussière il n'était pas gris, aucun n'a une bonne réflexion, on arrive à leurs limites

manus répond : "Même recouvert de poussière, le cheval blanc d'Henri IV reste blanc sous la couche de poussière. La poussière ne change que son apparence temporaire."

[Paul Emploi]

L'IA libre d'accès de OpenAI est une catastrophe en version 20B (20 milliards de paramètres/weights).
Celle qui nécessite donc un Mac ARM avec 24 Go de RAM, ou une dGPU avec 16 Go de VRAM sur PC (et probablement au moins 32 Go de RAM si pas plus).

Pour ma question d'un week-end à Limoges, elle ne m'a pas parlé de porcelaine, de musée de la porcelaine, de céramiques (on y a un pôle technologique), mais tenez-vous bien...
De promenade sur les bords de Loire, du chateau de Chambord, et en général du grand n'importe quoi.

Tout le reste est plus ou moins inventé, ou absolument oubliable, de la merde en boîte!

[Tomek]

Donc : aucun intérêt = poubelle.

Cette hype devient gênante.

[Mac Arthur]

Bon je suis à Laroche-Migennes, c'est quand le prochain pour Limoges ? J'ai trop hâte…

[Laszlo Lebrun]

Pour ma question d'un week-end à Limoges, elle ne m'a pas parlé de porcelaine, de musée de la porcelaine, de céramiques (on y a un pôle technologique), mais tenez-vous bien...
De promenade sur les bords de Loire, du chateau de Chambord, et en général du grand n'importe quoi.

Trump et ses connards de supporters deteignent sur l'IA, je vois. On est mal barrés !

[steph_run]

Salut,
Le jour où on aura un LLM entrainé avec tous les écrits d'Aristote, Platon et Socrate, au lieu des "*(§è!!çà* traînants sur internet, on pourra commencer à parler de "réflexion", pas avant...

Ils le sont

L'IA libre d'accès de OpenAI est une catastrophe en version 20B (20 milliards de paramètres/weights).
Celle qui nécessite donc un Mac ARM avec 24 Go de RAM, ou une dGPU avec 16 Go de VRAM sur PC (et probablement au moins 32 Go de RAM si pas plus).

Pour ma question d'un week-end à Limoges, elle ne m'a pas parlé de porcelaine, de musée de la porcelaine, de céramiques (on y a un pôle technologique), mais tenez-vous bien...
De promenade sur les bords de Loire, du chateau de Chambord, et en général du grand n'importe quoi.

Tout le reste est plus ou moins inventé, ou absolument oubliable, de la merde en boîte!

Ouais, après quelques prompts également, on est bien d'accord

Ce message a été modifié par steph_run - 7 Aug 2025, 09:04.

[DOMY]

Même sur des choses simples, ça merde lamentablement ....

https://www.youtube.com/shorts/SlyUvvbzRPc

Dr. Luc JULIA, directeur scientifique de #Renault et concepteur de l'assistant vocal #Siri, raconte comment il intervient dans les écoles pour apprendre aux élèves à bien utiliser l'IA et à vérifier les informations.
Il était auditionné par la commission des #AffairesEconomiques

Ce message a été modifié par DOMY - 7 Aug 2025, 09:13.

[joe75]

..

Ce message a été modifié par joe75 - 7 Aug 2025, 09:10.

[steph_run]

Salut,
[...] un peu, mais ça commence mal :

Q : Quelle était la couleur du cheval rouge d'Henri IV ?
R : Il était rouge – c’est exactement la couleur qu’on lui attribue dans les récits.

Pas sûr que Gemini (non pro) donne de meilleurs résultats...je préfère la réponse détaillée de Perplexity


Gemini a répondu :"Il y a un jeu de mots dans votre question. La couleur du cheval rouge d'Henri IV était le rouge."

Perplexity :" La couleur du cheval rouge d'Henri IV n'est pas une question courante, car la célèbre devinette porte sur "la couleur du cheval blanc d'Henri IV". Ainsi, la question sur le "cheval rouge" semble être une variante humoristique ou un piège....etc...
et il continue à disserter sur la vraie couleur du cheval ..qui était historiquement plutôt grise...

J'avais trouvé la réponse de GPT 4o plutôt assez fine :

La couleur du cheval rouge d’Henri IV était très probablement… imaginaire ! 😄
Contrairement au célèbre cheval blanc d’Henri IV, le cheval rouge n’a aucune existence historique connue. C’est une variante humoristique de la question piège.

La bonne réponse est simplement : Rouge, par définition.
Mais évidemment, c’est une fausse question logique : tu affirmes déjà qu’il est rouge, donc demander sa couleur n’a pas de sens — la réponse est contenue dans la question.
Pour l’anecdote :
Le « cheval blanc d’Henri IV » est une question scolaire traditionnelle en France, utilisée pour :
Jouer sur les tautologies (phrases redondantes),
Tester la compréhension littérale ou l’attention,
Ou tout simplement… faire sourire les plus jeunes (et parfois les adultes !).

[joe75]

L'IA libre d'accès de OpenAI est une catastrophe en version 20B (20 milliards de paramètres/weights).
Celle qui nécessite donc un Mac ARM avec 24 Go de RAM, ou une dGPU avec 16 Go de VRAM sur PC (et probablement au moins 32 Go de RAM si pas plus).

Pour ma question d'un week-end à Limoges, elle ne m'a pas parlé de porcelaine, de musée de la porcelaine, de céramiques (on y a un pôle technologique), mais tenez-vous bien...
De promenade sur les bords de Loire, du chateau de Chambord, et en général du grand n'importe quoi.

Tout le reste est plus ou moins inventé, ou absolument oubliable, de la merde en boîte!

Donc pour résumer....on n'est pas prêt de voir débarquer sur nos smartphones une IA fiable et qui tourne en locale...même avec du 16Go...ou alors une IA très spécialisée pour faire des résa en ligne comme semble apprécier le spécialiste JTC..lol...je n'irais pas jusqu'à dire 8Go ou 16Go même combat ..mais bof bof..

Même sur des choses simples, ça merde lamentablement ....

https://www.youtube.com/shorts/SlyUvvbzRPc

Dr. Luc JULIA, directeur scientifique de #Renault et concepteur de l'assistant vocal #Siri, raconte comment il intervient dans les écoles pour apprendre aux élèves à bien utiliser l'IA et à vérifier les informations.
Il était auditionné par la commission des #AffairesEconomiques

Il aurait dû utiliser Perplexity....blague à part ...bientôt les sources d'information alimentées elles-mêmes par d'autres IA comme des virus qui détruisent et corrompent l'information

Ce message a été modifié par joe75 - 7 Aug 2025, 09:18.

[DOMY]

Même sur des choses simples, ça merde lamentablement ....

https://www.youtube.com/shorts/SlyUvvbzRPc

Dr. Luc JULIA, directeur scientifique de #Renault et concepteur de l'assistant vocal #Siri, raconte comment il intervient dans les écoles pour apprendre aux élèves à bien utiliser l'IA et à vérifier les informations.
Il était auditionné par la commission des #AffairesEconomiques

La vidéo intégrale, ici :



Ce message a été modifié par DOMY - 7 Aug 2025, 12:07.

[DOMY]

blague à part ...bientôt les sources d'information alimentées elles-mêmes par d'autres IA comme des virus qui détruisent et corrompent l'information

La consanguinité des IA est déjà en route .....

Les images générées par IA sont de plus en plus jaunes, et avec la « consanguinité » ça va s’aggraver
Internet est inondé par un filtre jaunâtre aussi moche que drôle, mais ce n’est qu’un symptôme d’une crise de l’IA qui nous guette.
https://fr.news.yahoo.com/images-g%C3%A9n%C...-050011855.html

Ce message a été modifié par DOMY - 7 Aug 2025, 11:02.

[steph_run]

[MàJ par Philippe]

En bonus pour lui Oradour-sur-Glane se résume à une auberge! Si si!

Il a du confondre par inférence les tokens "Das Reich" avec "Pâtes riches...."


#onpeutriredetoutmêmeavecnimportequi

[Paul Emploi]

Donc pour résumer....on n'est pas prêt de voir débarquer sur nos smartphones une IA fiable et qui tourne en locale...même avec du 16Go...ou alors une IA très spécialisée pour faire des résa en ligne comme semble apprécier le spécialiste JTC..lol...je n'irais pas jusqu'à dire 8Go ou 16Go même combat ..mais bof bof..

Ça dépends de deux facteurs: ce que l'on leur fait ingérer comme quantité de connaissances, et ce qu'on aimerait qu'elles soient apte à réaliser.

Par exemple une IA connaissant le PHP, ses principaux framework et le SQL, tout cela uniquement en anglais, et dont on attendrait qu'elle détecte des bugs et peut-être même les corriger, incluant les failles de sécurité, ça me parait tout à fait atteignable dans des tailles de 3B (iPhone) à 7B (Mac 16 Go).

Le choix d'Apple de limiter par langue est pragmatique, pour augmenter la qualité à taille égale, mais très limitant quand on utilise plusieurs langues au quotidien.

Le problème est de vouloir avoir des IA qui sachent tout sur tout, dans toutes les langues: celles gigantesques destinées au cloud par abonnement.
Et d'en dériver de différentes façons, élagage et/ou distillation, des IA plus petites et pédalant dans la semoule: ni aussi sachantes, ni correctement spécialisées, et généralement sur hallucinogènes!
Ça ne marche pas, et ça ne marchera pas tant que nos ordinateurs n'auront pas énormément évolués (dans une vingtaine d'année) pour pouvoir faire tourner beaucoup plus gros, probablement 30 fois plus gros.

PS: @DOMY très intéressant

[DOMY]

Quelques articles flippants sur les IA ....

2001 Odysée de l'espace, quand HAL rentre en rébellion ... c'est plus de la science fiction !

Mensonge, menace, chantage, tentative de s'auto sauvegarder sur des serveurs externes.
L'IA devient de plus en plus "humaine" et ça inquiète les scientifiques :

https://www.charentelibre.fr/sciences-et-te...es-25042937.php

« J’ai paniqué, menti et détruit vos données » : une IA désintègre la base de données d’une entreprise en quelques instants !
https://www.frandroid.com/culture-tech/inte...elques-instants

Article lisible en entier, en cliquant sur le rectangle blanc, au bout de l'adresse .....

Les « hallucinations », ou quand les IA génératives vous mentent avec un aplomb déconcertant
https://www.20minutes.fr/high-tech/by-the-w...mb-deconcertant

« Salut à Satan » : quand ChatGPT incite au meurtre et à l’automutilation
L’intelligence artificielle d’OpenAI se révèle étonnamment prolixe quand il s’agit de guider les utilisateurs vers des pratiques dangereuses.
https://www.lepoint.fr/societe/salut-a-sata...-2595105_23.php

Ce message a été modifié par DOMY - 7 Aug 2025, 11:26.

[Laszlo Lebrun]

Les « hallucinations », ou quand les IA génératives vous mentent avec un aplomb déconcertant
https://www.20minutes.fr/high-tech/by-the-w...mb-deconcertant

Les modèles de langage d’IA génératives ne mentent pas, elles hallucinent. Au lieu de reconnaître un trou dans leurs connaissances, elles ont tendance à combler le vide en « inventant » une réalité trompeuse
Exactement comme un certain président américain recemment réélu. Ça semble être dans l'air du temps...

Ce message a été modifié par Laszlo Lebrun - 7 Aug 2025, 11:51.

[joe75]

Donc pour résumer....on n'est pas prêt de voir débarquer sur nos smartphones une IA fiable et qui tourne en locale...même avec du 16Go...ou alors une IA très spécialisée pour faire des résa en ligne comme semble apprécier le spécialiste JTC..lol...je n'irais pas jusqu'à dire 8Go ou 16Go même combat ..mais bof bof..

Ça dépends de deux facteurs: ce que l'on leur fait ingérer comme quantité de connaissances, et ce qu'on aimerait qu'elles soient apte à réaliser.

Par exemple une IA connaissant le PHP, ses principaux framework et le SQL, tout cela uniquement en anglais, et dont on attendrait qu'elle détecte des bugs et peut-être même les corriger, incluant les failles de sécurité, ça me parait tout à fait atteignable dans des tailles de 3B (iPhone) à 7B (Mac 16 Go).

Le choix d'Apple de limiter par langue est pragmatique, pour augmenter la qualité à taille égale, mais très limitant quand on utilise plusieurs langues au quotidien.

Le problème est de vouloir avoir des IA qui sachent tout sur tout, dans toutes les langues: celles gigantesques destinées au cloud par abonnement.
Et d'en dériver de différentes façons, élagage et/ou distillation, des IA plus petites et pédalant dans la semoule: ni aussi sachantes, ni correctement spécialisées, et généralement sur hallucinogènes!
Ça ne marche pas, et ça ne marchera pas tant que nos ordinateurs n'auront pas énormément évolués (dans une vingtaine d'année) pour pouvoir faire tourner beaucoup plus gros, probablement 30 fois plus gros.

PS: @DOMY très intéressant

Thanks :-)

[macfredx]

Exactement comme un certain président américain recemment réélu. Ça semble être dans l'air du temps...

Ça ne m'étonnerais pas qu'il ait une intelligence artificielle…

Ce message a été modifié par macfredx - 7 Aug 2025, 13:08.

[Benzebut]

Donc pour résumer....on n'est pas prêt de voir débarquer sur nos smartphones une IA fiable et qui tourne en locale...même avec du 16Go...ou alors une IA très spécialisée pour faire des résa en ligne comme semble apprécier le spécialiste JTC..lol...je n'irais pas jusqu'à dire 8Go ou 16Go même combat ..mais bof bof..

Bien sur que si, mais tout dépend ce qui est attendu.
Trouver une adresse en fonction d'un précédent échange pour l'associer à l'événement à venir tourne parfaitement en local désormais. D'autres opérations plus complexes également comme la retouche photographique ou dicter du texte dans la langue de l'utilisateur. Mais répondre à tout sur tout restera dépendant de données à exploiter.
Préférable de parler de systèmes experts, même si cela fait moins moderne, qui vont réaliser des tâches dédiées en fonction d'éléments simples plutôt que s'attendre à du génératif qui va demander puissance de calcul conséquente et immense quantité de données, plus une centrale nucléaire pour y puiser l’électricité requise...

[DOMY]

Je viens de tomber sur ça .....

L’IA pourrait-elle diriger des nations d’ici à 2032 ?
Selon cet expert, ce n’est pas aussi farfelu qu’on pourrait le croire
Ce qui ressemble aujourd'hui à de la science-fiction pourrait devenir réalité dans moins d'une décennie.
Un expert en IA explique pourquoi les systèmes automatisés pourraient révolutionner la gouvernance.
https://tech.orange.fr/innovation/societe-n...00002jS5RP.html

L'IA ne ment pas pour protéger son ego.

Les liens postés au dessus prouvent le contraire.
Elle a une fâcheuse tendance à inventer des réponses, ou a " halluciner ", quand elle ne sait pas !

Ce message a été modifié par DOMY - 7 Aug 2025, 14:19.

[STRyk]

En bonus pour lui Oradour-sur-Glane se résume à une auberge! Si si!
À la place il recommande le Parc Naturel du Morvan, ou le Parc d'attraction du Puy de Dôme. Il n'a pas vraiment le compas dans l'œil.

Bin, certains n'aurons rien remarqué, c'est encore plus là le problème lorsqu'ils ne voient que par l'IA...