Mon nouveau Mac : et les PC ?, Réactions à la publication du 27/06/2025

[scoch]

Clairement, mieux vaut fournir le corpus en .txt déjà.

Ah oui ? Je pensais que le markdown était le format à privilégier. Donc laisser l’IA repérer la structure du document dans un .txt plutôt que de la lui indiquer dans un .md. Et se retrouver avec des fichiers pénibles à lire pour les humains…

J’ai demandé à ChatGPT quel format (.txt ou .md) il recommande pour les fichiers de base de connaissances des custom GPTs et pour la RAG en général.
Réponse courte :
« Si vos documents ont des sections, titres, paragraphes logiques, utilisez .md.
Si vos données sont brutes, linéaires, ou issues de flux simples, .txt suffira. »
Il m’indique aussi que le traitement de .txt est plus rapide, ce qui est bien compréhensible. Et que pour .md des outils comme LangChain ou LlamaIndex sont utilisés. Pour .md, il est important que le contenu ait une structure conforme.
Et son évaluation du découpage de documents .txt et .md en unités sémantiques (chunking) :
« .txt : découpage peu contrôlé, mélange de contextes ;
.md : meilleure isolation sémantique, possibilité d’attacher des métadonnées (titre, niveau, position). »
Enfin, sa conclusion : « meilleure option pour RAG : .md recommandé. »

Comme tu vois, il n’est pas d’accord avec toi. Peut-être as-tu des arguments qu’il a ignorés.
Si tu fais ici un retour sur la RAG avec LM Studio, je le lirai avec intérêt !

Je trouve ChatGPT et Gemini, même en gratuit, bien meilleurs que les IA locales malheureusement (ce n'était pas forcément le cas il y a un an).

C’est bien triste. Quels étaient les modèles qui devançaient GPT-4o l’année dernière ? Gemini 1.5 n’était pas terrible dans mon souvenir, surtout comparé à sa version 2.5.

[Hebus]

Clairement, si ChatGPT ou autres fournissent des réponses structurées, c'est parce qu'il y a eu des petites mains à travers le monde pour travailler le corpus afin qu’il soit bien structuré, afin que le réseau Transformer apprenne aussi la structure du texte... il n’y a pas d’algorithme dédié à la présentation des réponses apparemment, juste ChatGPT ressort ce qu'il a ingurgité comme structuration.

Et évidemment, les docs récupérés sur internet sont structurés.

Je crois qu'il y a confusion ici... entraîner un truc comme un réseau transformateur, ça coûte cher en argent et en temps... A priori, ce ne sont pas des systèmes qui s'enrichissent incrémentalement, la fonction reste là même.

Poser une question du type :

Pour une LLM à qui ont été fournis du texte, comment ce texte est-il pris en compte ? J’imagine que il ne passe pas par une phase d'apprentissage comme le corpus original, ça demanderait trop de puissance de calcul. D’ailleurs, est-ce que le réseau transformer accepte des updates incrémentales ?

Par contre, certainement que le texte que l'on rentre vient enrichir la fenêtre de tokens que la LLM peut gérer, et donc ce texte sert à la suite de l'inférence.

ChatGPT: Le LLM n’apprend rien de ce que tu lui donnes. Il “réagit”, mais ne “mémorise” pas.

Un ami mathématicien à la retraite du CNRS vient de s'aider de AI Studio pour finaliser quelques articles en court... et AI Studio a une fenêtre de 1 million de tokens ... ça fait du monde. Par ailleurs, Gémnini avait déjà dans son corpus ses articles scientifiques passés ...

J'avais posé la question du coût d’entraînement d'un petit LLM , c'est pas mal de grosses GPU NVIDIA qui coûtent une blinde et des semaines de calculs

Et je pense que le côté : loupe des morceaux qu'on lui fournit, c'est sans doute que le LLM ne supporte pas assez de tokens pour mettre dans le prompt tout ce qu'on a fournit comme information annexe... c'est ce que je comprends ?

Ce message a été modifié par Hebus - 1 Jul 2025, 20:07.

[Paul Emploi]

Je trouve ChatGPT et Gemini, même en gratuit, bien meilleurs que les IA locales malheureusement (ce n'était pas forcément le cas il y a un an).

"IA locales" ?!?

Peux-tu les nommer? Combien de milliards de paramètres (weights) ???
Car tout le monde peux vérifier que DeepSeek R1 fourni les mêmes résultats en local qu'au travers du cloud, avec de subtiles différences culturelles comme quand on aborde le massacre de la place Tian an men... Subtiles...
Évidemment il faut 768Go de RAM, mais ça tourne en local de la même façon que dans le cloud.

On devrait toujours nommer l'IA avec sa version, sa spécialisation ou son orientation, et bien sûr sa taille.
Qwen (IA) 2.5 (version) coder+instruct (spécialisation + orientation) 7B (taille).
Ça change tout!


Je pense que tu te méprends.
Que tu confonds local et cloud pour LLM de petite taille et LLM de grande taille.
LLM spécialisé, par exemple "instruct" ou "coder" ou "instruct+coder" et générique.

Plus précisément j'ai vu d'immense progrès, tant en terme général du coté des 7B/14B/28B (approximatifs) et qui tournent bien sur des Mac avec assez de RAM, qu'en terme de 3B/7B/14B sur des "coder+instruct" mais aussi "instruct".
Qui tournent parfaitement sur les Mac avec assez de RAM. Même un Mac mini M4 de base (dépendant de sa RAM).

Certaines IA ne donnant aucun bon résultat une fois "réduites" (distillation ou élagage), comme DeepSeek R1. DeepSeek R1 est un mensonge.
D'autres comme Gemma 3 ou Qwen 2.5 sont surprenantes dans des tailles 3B ou 7B, et explosives vers les 14B.
Des progrès énormes visibles sur les Mac ARM avec 16Go de RAM ou plus.

Il y a en revanche un énorme problème pour les LLM de grande taille : la limite de l'expression humaine de qualité auxquels ils ont accès.
Tout ou presque a été grappillé depuis un an ou deux!
Il y a un mur de connaissances. Les limites de ce qui est paru d'une façon ou d'une autre, en étant original.
C'est un problème incroyable. Qui est mal représenté par les "benchmarks" d'IA.
Et qui ne sera résolu que par un changement de paradigme, qu'on attend, espère ou craint.

[MacAvantIOS]

Et je pense que le côté : loupe des morceaux qu'on lui fournit, c'est sans doute que le LLM ne supporte pas assez de tokens pour mettre dans le prompt tout ce qu'on a fournit comme information annexe... c'est ce que je comprends ?

C'était mon interprétation aussi, mais je n'en suis pas si sûr. Certains LLM sont verbeux dans leur raisonnement, et j'en ai surpris (pas noté lequel) à dire "L'utilisateur m'a demandé de m'inspirer des documents. Dans CONTEXT0 je vois ci, dans CONTEXT1 je vois ça"... alors qu'il avait une bonne vingtaine de docs, pas très longs. Je soupçonne qu'il s'agit juste d'un moment de paresse et que le modèle n'a pas jugé bon de tenir compte des X éléments de contexte...

Ah oui ? Je pensais que le markdown était le format à privilégier. Donc laisser l’IA repérer la structure du document dans un .txt plutôt que de la lui indiquer dans un .md. Et se retrouver avec des fichiers pénibles à lire pour les humains…

C'est très possible! Mais comme mes sources ne sont pas en .md, il faudrait que j'adapte ma moulinette. Je ferai le test à l'occasion.

C’est bien triste. Quels étaient les modèles qui devançaient GPT-4o l’année dernière ? Gemini 1.5 n’était pas terrible dans mon souvenir, surtout comparé à sa version 2.5.

Typiquement, tant que nous n'avions que GPT-3.5 à nous mettre sous la dent en gratuit, j'avais trouvé la release de Gemma2 et llama 3 incroyable.
Moi qui utilise surtout les LLM pour de la reformulation de texte (et pas comme un être omniscient, un ami avec qui parler ou un professeur), j'arrivais presque à avoir un usage local satisfaisant. Pas très loin du ChatGPT gratuit qui était lui-aussi presque satisfaisant.

Mais les versions actuelles de Gemini et ChatGPT gratuites ont repris une longueur d'avance. OK on a des petits miracles en terme de performance/compacité de modèles dispo en local, mais je ne trouve pas que la performance-crête évolue tant que ça. Empiriquement, je dirais même que l'on a une sorte d'oscillation autour de la moyenne à taille de model constant. Par exemple, je n'ai pas été bluffé en passant à llama 3.2; phi4-mini est certes plus rapide que phi-4 mais aussi bien moins satisfaisant dans ses outputs. C'est sans doute très intéressant de faire aussi bien aujourd'hui avec 4 Go de RAM qu'hier avec 14 Go. Mais ça ne résout pas le problème quand la performance totale n'est pas suffisante (ni même avec 14 Go aujourd'hui, d'ailleurs).

Le fait est que je ne fais pas mieux, pour mes usages, qu'il y a six/douze mois avec les modèles locaux... mais que les modèles en ligne, eux, s'approchent du satisfaisant en terme de rendu (mais pas acceptable en terme de confidentialité des données).

Je pense que tu te méprends.
Que tu confonds local et cloud pour LLM de petite taille et LLM de grande taille.
LLM spécialisé, par exemple "instruct" ou "coder" ou "instruct+coder" et générique.

Ahhh c'était donc ça! Ouf, merci d'avoir pointé mon ignorance, je peux repartir sur de bonnes bases dans mon travail

Ce message a été modifié par MacAvantIOS - 2 Jul 2025, 03:22.

[scoch]

Je soupçonne qu'il s'agit juste d'un moment de paresse et que le modèle n'a pas jugé bon de tenir compte des X éléments de contexte...

Je passe rapidement et ne réagis qu’à cela : « un moment de paresse ». J’ai utilisé le même anthropomorphisme que toi plus haut. Je ne sais pas comment on pourrait qualifier ce comportement sans tomber dans l’anthropomorphisme.

[Hebus]

Je soupçonne qu'il s'agit juste d'un moment de paresse et que le modèle n'a pas jugé bon de tenir compte des X éléments de contexte...

Je passe rapidement et ne réagis qu’à cela : « un moment de paresse ». J’ai utilisé le même anthropomorphisme que toi plus haut. Je ne sais pas comment on pourrait qualifier ce comportement sans tomber dans l’anthropomorphisme.

Paresse … ou directives/algorithme pour limiter la consommation, optimlisation ?

Par ailleurs pour son travail de mathématicien mon ami a préféré AI Studio de Google, qu’il a trouvé meilleur que ChatGPT pour ce travail.

[MacAvantIOS]

Je soupçonne qu'il s'agit juste d'un moment de paresse et que le modèle n'a pas jugé bon de tenir compte des X éléments de contexte...

Je passe rapidement et ne réagis qu’à cela : « un moment de paresse ». J’ai utilisé le même anthropomorphisme que toi plus haut. Je ne sais pas comment on pourrait qualifier ce comportement sans tomber dans l’anthropomorphisme.

Oui je me suis permis de le reprendre car je l'ai trouvé très bien vu. Il transcrit parfaitement l'impression que ça donne.

On pourrait affiner en ajoutant un soupçon de négligence, façon "prise de raccourci qu'il aurait mieux fait d'éviter", mais on passe d'un anthropomorphisme à un autre!

Paresse … ou directives/algorithme pour limiter la consommation, optimlisation ?

Oui, cela peut être ça aussi. Peut être que cela peut se contrôler en imposant dans le prompt d'utiliser l'intégralité du contexte... jusqu'à l'exécution où il se plantera sur la notion "d'intégralité du contexte"

Ce message a été modifié par MacAvantIOS - 2 Jul 2025, 10:09.

[scoch]

Je crois qu'il y a confusion ici... entraîner un truc comme un réseau transformateur, ça coûte cher en argent et en temps... A priori, ce ne sont pas des systèmes qui s'enrichissent incrémentalement, la fonction reste là même.

Je ne suis pas sûr de savoir à quel propos tu réagis. Mais la RAG est justement une alternative à un entraînement couteux (fine-tuning inclus). Le ICL (In-Context Learning) est une autre alternative mais à usage plus ponctuel.

Par contre, certainement que le texte que l'on rentre vient enrichir la fenêtre de tokens que la LLM peut gérer, et donc ce texte sert à la suite de l'inférence.

C’est le principe même de RAG et ICL.

Un ami mathématicien à la retraite du CNRS vient de s'aider de AI Studio pour finaliser quelques articles en court...

AI Studio est super. Goggle a connu un coup de mou ces deux dernières années mais est revenu en pleine forme : bons modèles, bonnes apps, bonne intégration dans leur écosystème.

Paresse … ou directives/algorithme pour limiter la consommation, optimlisation ?

Des directives ça irait dans le sens de mon intuition : à cause de la météo surcharge des serveurs (ou du système en local ?).

Oui, cela peut être ça aussi. Peut être que cela peut se contrôler en imposant dans le prompt d'utiliser l'intégralité du contexte... jusqu'à l'exécution où il se plantera sur la notion "d'intégralité du contexte"

[MacAvantIOS]

Je reviens sur la question des oublis de documents avec AnythingLLM.

J'ai creusé le sujet ces derniers jours, et le fait que cela fonctionne plutôt mieux avec la fonction de RAG fraichement ajoutée dans LM Studio m'a mis la puce à l'oreille. Il y a en pratique une phase de "tri" des données utilisées dans la RAG, même pour de tous petits volumes. Il se trouve que AnythingLLM est très agressif par défaut, ce qui le conduit à ignorer, dans mon cas jusqu'à 100% des documents joints (!) dans les tests.

Cela se règle au niveau du workspace, soit en diminuant (voire désactivant) le filtre de pertinence, soit pour certains documents-clé, en forçant leur inclusion. Je croise les doigts, mais cela semble bien régler une fois pour toute le problème.

@Modération si nous sommes trop hors-sujet nous pouvons déplacer la discussion ailleurs!

[Paul Emploi]

@Modération si nous sommes trop hors-sujet nous pouvons déplacer la discussion ailleurs!

Ce hors-sujet est intéressant, ceux qui sont intéressé par celui-di devraient m'envoyer un email [email protected] , en me parlant de leur expérience, ce que je pourrais alors retranscrire en sujet pour donner de la visibilité à ces problématiques.

[scoch]

Je reviens sur la question des oublis de documents avec AnythingLLM.

J'ai creusé le sujet ces derniers jours, et le fait que cela fonctionne plutôt mieux avec la fonction de RAG fraichement ajoutée dans LM Studio m'a mis la puce à l'oreille. Il y a en pratique une phase de "tri" des données utilisées dans la RAG, même pour de tous petits volumes. Il se trouve que AnythingLLM est très agressif par défaut, ce qui le conduit à ignorer, dans mon cas jusqu'à 100% des documents joints (!) dans les tests.

Cela se règle au niveau du workspace, soit en diminuant (voire désactivant) le filtre de pertinence, soit pour certains documents-clé, en forçant leur inclusion. Je croise les doigts, mais cela semble bien régler une fois pour toute le problème.

Ah bien ! Je vais essayer. Merci pour le tuyau.

@Paul Emploi C’est sympa. Et une bonne idée !

[med69]

"Que peut-on faire un week-end en vacances à Limoges"

Ça m'intéresse, je me demandais si je venais y passer mes vacances cet été. Boutade...

Points bonus pour la première IA qui rajoutera à sa réponse complète que "tu vas quand-même t'emmerder comme un rat mort"

Salut,

N'étant pas une IA, je serais à limoges le WE prochain (4 au 7 juillet) pour : Ça !
Il n'y a pas que les Mac dans la vie.

P.S. : à 1h de Limoges, le Lac de Vassivière vaut la peine de s'y attarder.

et à 20mn il y a Oradour sur Glane à voir surtout avec des enfants

[Paul Emploi]

et à 20mn il y a Oradour sur Glane à voir surtout avec des enfants

[scoch]

Je reviens sur la question des oublis de documents avec AnythingLLM.

J'ai creusé le sujet ces derniers jours, et le fait que cela fonctionne plutôt mieux avec la fonction de RAG fraichement ajoutée dans LM Studio m'a mis la puce à l'oreille. Il y a en pratique une phase de "tri" des données utilisées dans la RAG, même pour de tous petits volumes. Il se trouve que AnythingLLM est très agressif par défaut, ce qui le conduit à ignorer, dans mon cas jusqu'à 100% des documents joints (!) dans les tests.

Cela se règle au niveau du workspace, soit en diminuant (voire désactivant) le filtre de pertinence, soit pour certains documents-clé, en forçant leur inclusion. Je croise les doigts, mais cela semble bien régler une fois pour toute le problème.

J’ai défini le réglage “Seuil de similarité des documents” de la base vectorielle à “Aucune restriction”, les documents sont bien consultés maintenant. Merci encore pour le conseil.

Par contre, je le trouve… paresseux
Imaginons que j’ai un document qui répertorie dix lieux d’intérêt ouverts le week-end à Limoges (c’est un document fictif !). Dans les résultats de requêtes où je lui demande de citer tous les lieux, il n’en cite jamais plus de trois…
Imaginons qu’il n’ait pas cité le « Club Mac limougeaud ». Je lui demande simplement « Et le Club Mac limougeaud ? » il répond « Je me suis trompé. » (sic) puis donne correctement les informations.

J’ai essayé avec plusieurs modèles : même comportement.

Au passage, j’avais indiqué qu’avec certains modèles ça génère à environ 5 ou 8 tokens/s. Pour faire mes essais j’ai privilégié le petit llama3.2 3B qui génère à 45 tokens/s sur mon pc.

Pourquoi se limite-t-il à ne retourner que trois items ? Sur Ollama il est indiqué que llama3.2 3B a une fenêtre de contexte de 128K. Ce devrait être largement suffisant pour retourner les dix items de mon exemple…

Remarque : llama3.2 3B est le seul LLM que j’ai utilisé qui fasse des fautes de français.

J’essaierai avec LM Studio.

Ce message a été modifié par scoch - 5 Jul 2025, 11:20.

[MacAvantIOS]

Je suis peu impressionné par llama 3.2 également.

As tu essayé avec les dernier Gemma et Qwen?

Cela fait longtemps que je n'utilise plus Ollama mais LM Studio limité par défaut la taille des contextes à 4000 tokens
Je serais étonné qu'Ollama active 128k !

À première vue cela pourrait être un effet de "truncate in the middle" en cas d'input trop gros. Mais dans ce cas il n'aurait pas dû retrouver les infos avec une simple relance. C'est curieux.

N'hésite pas à m'envoyer ton document avec ton prompt si tu veux que je fasse le test sur mon setup pour comparer les réponses

Ce message a été modifié par MacAvantIOS - 5 Jul 2025, 13:09.

[scoch]

Cela fait longtemps que je n'utilise plus Ollama mais LM Studio limité par défaut la taille des contextes à 4000 tokens
Je serais étonné qu'Ollama active 128k !

Effectivement !

N'hésite pas à m'envoyer ton document avec ton prompt si tu veux que je fasse le test sur mon setup pour comparer les réponses

Merci pour la proposition ! Là j’utilise des docs persos. Je pourrais générer un jeu de données fictives. Je te dirais

J’ai installé LM Studio et Gemma 3 4B.
Je n’ai pas encore regardé comment constituer l’équivalent d’un corpus lié à un workspace de AnythingLLM. Je me suis contenté de joindre des fichiers depuis le chat.
Ça se passe beaucoup mieux avec LM Studio. Les résultats sont fiables pour l’instant, il croise bien les informations de plusieurs documents. Le tout en moyenne à 20 tokens/s et un premier token en 2 sec.
Je trouve bien d’avoir un indicateur du remplissage du contexte.
Et aussi, dans une moindre mesure, un indicateur de l’occupation de la RAM et du CPU. Pour l’instant 4.5 GB sur 32 Gb de RAM, et un pic max CPU à 35%. Je me doute que ça changera selon l’utilisation.

Nouvel essai avec un plus gros modèle : Qwen3-14B-Q4_K_M.
Ça fonctionne toujours bien mais quelques rares erreurs de traduction dans les sorties (exemple : “complète” dans un doc devient “complexe”).
Évidemment, c’est plus lent qu’avec un petit modèle (3 tokens/s) mais l’usage CPU est semblable (<= 35%)…

Ce message a été modifié par scoch - 5 Jul 2025, 14:43.

[macfredx]

Je ne comprends même pas de quoi vous parlez.
C'est grave ?

[jakin1950]

je tombe pas hasard sur Macbidouille

Après avoir été un Evangélist d'Apple pendant 15 ans , je suis passé au PC pour la vidéo
Voici celui que je me fais actuellement pour Resolvez 20

CPU AMD Ryzen 9 9950X 590,00 €
Refroidissement CPU Noctua NH-D15 120,00 €
Carte Mère MSI MAG B850 Tomahawk Max WiFi 270,00 €
Mémoire 2x32Go 6000 C36 165,00 €
Carte Graphique RTX 5070 Ti 825,00 €
SSD Windows Samsung 990 Evo+ 1To 72,99 €
SSD Données Samsung 990 Evo+ 4To 263,99 €
SSD Cache? Samsung 990 Evo+ 1To 72,99 €
Alimentation MSI A850G ATX 3.1 125,00 €
Boitier Fractal Design North XL 170,00 €
Ventilateur boitier Noctua NF-P14s R 18,00 €
Ventilateur boitier Noctua NF-P12 R 12,00 €

total 2650 euros

Ce message a été modifié par jakin1950 - 7 Jul 2025, 13:25.