![]() |
Bienvenue invité ( Connexion | Inscription )
![]() |
![]()
Message
#1
|
|
![]() Macbidouilleur d'Or ! ![]() ![]() ![]() ![]() ![]() Groupe : Rédacteurs Messages : 1 619 Inscrit : 19 Nov 2020 Membre no 212 895 ![]() |
Auteur Marcin Wieclaw
Quand on regarde du côté PC, deux mondes s’affrontent : d’un côté les machines pré-assemblées, souvent "gaming", bardées de LED et proposées à des prix absurdes pour ce qu'elles offrent… Et de l’autre, le sur-mesure, qui peut réellement avoir du sens si l’on sait ce qu’on veut. Dans mon cas, avec des besoins bien spécifiques, une bonne puissance CPU, 32 Go de RAM minimum, et surtout une carte graphique capable de faire tourner des modèles de langage (LLM) en local, certaines configurations PC commencent à devenir intéressantes. CPU : AMD en embuscade Côté processeur, le Ryzen 9 7900X (12 cœurs) offre de très bonnes performances brutes, au-dessus d’un M4. Le 7950X (16 cœurs), pour 150 € de plus, est proche d’un M4 Max 14 cœurs ou M4 Pro en multi-thread, tout en restant très compétitif en prix/performance. Je n'attends rien d'Intel: on a déjà du bon chauffage à la maison! RAM : la claque C’est là que le PC enterre Apple. Pour le prix qu’Apple facture pour 8 Go supplémentaires (passer de 16 à 24 Go coûte 250 €…), on peut s’offrir 96 Go de DDR5 sur PC ! Autant dire que pour des bases SQLite en RAM ou des projets lourds, la messe est dite. GPU : le vrai nerf de la guerre Et là, nVidia vient de frapper fort avec la RTX 5060 Ti 16 Go. Pensée pour l’inférence IA, avec ses Tensor Cores Blackwell et le support du FP4 (float 4 bits), elle surpasse clairement un M4 Max et même un M3 Ultra dans ce domaine très spécifique. Côté jeu vidéo en revanche, elle atteint ses limites en 4K : la RTX 5070 prendra le relais pour les gamers. Mais pour de l'IA locale, c’est une bombe! Stockage : c’est cadeau 1 To en NVMe, c’est désormais moins de 100 €. Sans commentaire. Le hic Oui, tout ça a un coût : boîtier, alimentation costaude (800W, si un jour vous voulez doubler les GPU), refroidissement, etc. On frôle facilement les 1500 €, sans Windows, et sans macOS bien sûr. Et on perd aussi la portabilité. Un Mac mini, ça se trimballe dans un sac. Une tour PC… pas vraiment. Conclusion Le monde PC devient vraiment intéressant dès qu’on a besoin de beaucoup de RAM, d'une ou plusieurs GPU musclées ou d’un gros stockage. Ou d'un ordi très abordable. Et pour rappel : Apple vend la RAM 8 fois plus cher, le SSD 4 fois plus cher et côté GPU, c’est très limité pour très cher là aussi. Mon Mac mini M4 32 Go/256 Go devrait arriver aujourd'hui! J'ai hâte! Lien vers le billet original -------------------- La liberté d'expression c'est l'extrémisme. La censure c'est la liberté.
|
|
|
![]() |
![]()
Message
#2
|
|
Adepte de Macbidouille ![]() Groupe : Membres Messages : 106 Inscrit : 23 Apr 2025 Membre no 220 471 ![]() |
Je reviens sur la question des oublis de documents avec AnythingLLM.
J'ai creusé le sujet ces derniers jours, et le fait que cela fonctionne plutôt mieux avec la fonction de RAG fraichement ajoutée dans LM Studio m'a mis la puce à l'oreille. Il y a en pratique une phase de "tri" des données utilisées dans la RAG, même pour de tous petits volumes. Il se trouve que AnythingLLM est très agressif par défaut, ce qui le conduit à ignorer, dans mon cas jusqu'à 100% des documents joints (!) dans les tests. Cela se règle au niveau du workspace, soit en diminuant (voire désactivant) le filtre de pertinence, soit pour certains documents-clé, en forçant leur inclusion. Je croise les doigts, mais cela semble bien régler une fois pour toute le problème. @Modération si nous sommes trop hors-sujet nous pouvons déplacer la discussion ailleurs! |
|
|
![]()
Message
#3
|
|
![]() Macbidouilleur d'Or ! ![]() ![]() ![]() ![]() ![]() Groupe : Membres Messages : 4 933 Inscrit : 1 Jul 2010 Membre no 156 073 ![]() |
Je reviens sur la question des oublis de documents avec AnythingLLM. J'ai creusé le sujet ces derniers jours, et le fait que cela fonctionne plutôt mieux avec la fonction de RAG fraichement ajoutée dans LM Studio m'a mis la puce à l'oreille. Il y a en pratique une phase de "tri" des données utilisées dans la RAG, même pour de tous petits volumes. Il se trouve que AnythingLLM est très agressif par défaut, ce qui le conduit à ignorer, dans mon cas jusqu'à 100% des documents joints (!) dans les tests. Cela se règle au niveau du workspace, soit en diminuant (voire désactivant) le filtre de pertinence, soit pour certains documents-clé, en forçant leur inclusion. Je croise les doigts, mais cela semble bien régler une fois pour toute le problème. J’ai défini le réglage “Seuil de similarité des documents” de la base vectorielle à “Aucune restriction”, les documents sont bien consultés maintenant. Merci encore pour le conseil. Par contre, je le trouve… paresseux ![]() Imaginons que j’ai un document qui répertorie dix lieux d’intérêt ouverts le week-end à Limoges (c’est un document fictif !). Dans les résultats de requêtes où je lui demande de citer tous les lieux, il n’en cite jamais plus de trois… Imaginons qu’il n’ait pas cité le « Club Mac limougeaud ». Je lui demande simplement « Et le Club Mac limougeaud ? » il répond « Je me suis trompé. » (sic) puis donne correctement les informations. J’ai essayé avec plusieurs modèles : même comportement. Au passage, j’avais indiqué qu’avec certains modèles ça génère à environ 5 ou 8 tokens/s. Pour faire mes essais j’ai privilégié le petit llama3.2 3B qui génère à 45 tokens/s sur mon pc. Pourquoi se limite-t-il à ne retourner que trois items ? Sur Ollama il est indiqué que llama3.2 3B a une fenêtre de contexte de 128K. Ce devrait être largement suffisant pour retourner les dix items de mon exemple… Remarque : llama3.2 3B est le seul LLM que j’ai utilisé qui fasse des fautes de français. J’essaierai avec LM Studio. Ce message a été modifié par scoch - 5 Jul 2025, 11:20. -------------------- L'homme n'est que poussière... c'est dire l'importance du plumeau ! Alexandre Vialatte
|
|
|
![]() ![]() |
Nous sommes le : 18th July 2025 - 00:43 |