![]() |
Bienvenue invité ( Connexion | Inscription )
![]() |
![]()
Message
#1
|
|
![]() Macbidouilleur d'Or ! ![]() ![]() ![]() ![]() ![]() Groupe : Rédacteurs Messages : 1 568 Inscrit : 19 Nov 2020 Membre no 212 895 ![]() |
Auteur Marcin Wieclaw
Quand on regarde du côté PC, deux mondes s’affrontent : d’un côté les machines pré-assemblées, souvent "gaming", bardées de LED et proposées à des prix absurdes pour ce qu'elles offrent… Et de l’autre, le sur-mesure, qui peut réellement avoir du sens si l’on sait ce qu’on veut. Dans mon cas, avec des besoins bien spécifiques, une bonne puissance CPU, 32 Go de RAM minimum, et surtout une carte graphique capable de faire tourner des modèles de langage (LLM) en local, certaines configurations PC commencent à devenir intéressantes. CPU : AMD en embuscade Côté processeur, le Ryzen 9 7900X (12 cœurs) offre de très bonnes performances brutes, au-dessus d’un M4. Le 7950X (16 cœurs), pour 150 € de plus, est proche d’un M4 Max 14 cœurs ou M4 Pro en multi-thread, tout en restant très compétitif en prix/performance. Je n'attends rien d'Intel: on a déjà du bon chauffage à la maison! RAM : la claque C’est là que le PC enterre Apple. Pour le prix qu’Apple facture pour 8 Go supplémentaires (passer de 16 à 24 Go coûte 250 €…), on peut s’offrir 96 Go de DDR5 sur PC ! Autant dire que pour des bases SQLite en RAM ou des projets lourds, la messe est dite. GPU : le vrai nerf de la guerre Et là, nVidia vient de frapper fort avec la RTX 5060 Ti 16 Go. Pensée pour l’inférence IA, avec ses Tensor Cores Blackwell et le support du FP4 (float 4 bits), elle surpasse clairement un M4 Max et même un M3 Ultra dans ce domaine très spécifique. Côté jeu vidéo en revanche, elle atteint ses limites en 4K : la RTX 5070 prendra le relais pour les gamers. Mais pour de l'IA locale, c’est une bombe! Stockage : c’est cadeau 1 To en NVMe, c’est désormais moins de 100 €. Sans commentaire. Le hic Oui, tout ça a un coût : boîtier, alimentation costaude (800W, si un jour vous voulez doubler les GPU), refroidissement, etc. On frôle facilement les 1500 €, sans Windows, et sans macOS bien sûr. Et on perd aussi la portabilité. Un Mac mini, ça se trimballe dans un sac. Une tour PC… pas vraiment. Conclusion Le monde PC devient vraiment intéressant dès qu’on a besoin de beaucoup de RAM, d'une ou plusieurs GPU musclées ou d’un gros stockage. Ou d'un ordi très abordable. Et pour rappel : Apple vend la RAM 8 fois plus cher, le SSD 4 fois plus cher et côté GPU, c’est très limité pour très cher là aussi. Mon Mac mini M4 32 Go/256 Go devrait arriver aujourd'hui! J'ai hâte! Lien vers le billet original -------------------- La liberté d'expression c'est l'extrémisme. La censure c'est la liberté.
|
|
|
![]() |
![]()
Message
#2
|
|
![]() Macbidouilleur d'Or ! ![]() ![]() ![]() ![]() ![]() Groupe : Membres Messages : 7 734 Inscrit : 24 Sep 2015 Lieu : Pays d'Aix Membre no 196 570 ![]() |
Clairement, si ChatGPT ou autres fournissent des réponses structurées, c'est parce qu'il y a eu des petites mains à travers le monde pour travailler le corpus afin qu’il soit bien structuré, afin que le réseau Transformer apprenne aussi la structure du texte... il n’y a pas d’algorithme dédié à la présentation des réponses apparemment, juste ChatGPT ressort ce qu'il a ingurgité comme structuration.
Et évidemment, les docs récupérés sur internet sont structurés. Je crois qu'il y a confusion ici... entraîner un truc comme un réseau transformateur, ça coûte cher en argent et en temps... A priori, ce ne sont pas des systèmes qui s'enrichissent incrémentalement, la fonction reste là même. Poser une question du type : Citation Pour une LLM à qui ont été fournis du texte, comment ce texte est-il pris en compte ? J’imagine que il ne passe pas par une phase d'apprentissage comme le corpus original, ça demanderait trop de puissance de calcul. D’ailleurs, est-ce que le réseau transformer accepte des updates incrémentales ? Par contre, certainement que le texte que l'on rentre vient enrichir la fenêtre de tokens que la LLM peut gérer, et donc ce texte sert à la suite de l'inférence. Citation ChatGPT: Le LLM n’apprend rien de ce que tu lui donnes. Il “réagit”, mais ne “mémorise” pas. Un ami mathématicien à la retraite du CNRS vient de s'aider de AI Studio pour finaliser quelques articles en court... et AI Studio a une fenêtre de 1 million de tokens ... ça fait du monde. Par ailleurs, Gémnini avait déjà dans son corpus ses articles scientifiques passés ... J'avais posé la question du coût d’entraînement d'un petit LLM , c'est pas mal de grosses GPU NVIDIA qui coûtent une blinde et des semaines de calculs Et je pense que le côté : loupe des morceaux qu'on lui fournit, c'est sans doute que le LLM ne supporte pas assez de tokens pour mettre dans le prompt tout ce qu'on a fournit comme information annexe... c'est ce que je comprends ? Ce message a été modifié par Hebus - 1 Jul 2025, 20:07. -------------------- Bobo du Pays d'Aix et Fanboy Apple/NeXT
Pas d'actions Apple ou de rémunération quelconque ! |
|
|
![]()
Message
#3
|
|
![]() Macbidouilleur d'Or ! ![]() ![]() ![]() ![]() ![]() Groupe : Membres Messages : 4 913 Inscrit : 1 Jul 2010 Membre no 156 073 ![]() |
Je crois qu'il y a confusion ici... entraîner un truc comme un réseau transformateur, ça coûte cher en argent et en temps... A priori, ce ne sont pas des systèmes qui s'enrichissent incrémentalement, la fonction reste là même. Je ne suis pas sûr de savoir à quel propos tu réagis. Mais la RAG est justement une alternative à un entraînement couteux (fine-tuning inclus). Le ICL (In-Context Learning) est une autre alternative mais à usage plus ponctuel. Par contre, certainement que le texte que l'on rentre vient enrichir la fenêtre de tokens que la LLM peut gérer, et donc ce texte sert à la suite de l'inférence. C’est le principe même de RAG et ICL. Un ami mathématicien à la retraite du CNRS vient de s'aider de AI Studio pour finaliser quelques articles en court... AI Studio est super. Goggle a connu un coup de mou ces deux dernières années mais est revenu en pleine forme : bons modèles, bonnes apps, bonne intégration dans leur écosystème. Paresse … ou directives/algorithme pour limiter la consommation, optimlisation ? Des directives ça irait dans le sens de mon intuition : à cause de la Oui, cela peut être ça aussi. Peut être que cela peut se contrôler en imposant dans le prompt d'utiliser l'intégralité du contexte... jusqu'à l'exécution où il se plantera sur la notion "d'intégralité du contexte" ![]() ![]() -------------------- L'homme n'est que poussière... c'est dire l'importance du plumeau ! Alexandre Vialatte
|
|
|
![]() ![]() |
Nous sommes le : 3rd July 2025 - 17:56 |