Essai de Gemma3 LLM IA sur Mac mini M4 32Go, Réactions à la publication du 08/07/2025

[Paul Emploi]

Gemma3 est un LLM (Grand Modèle de Langage) génératif, créé par Google pour pouvoir être librement distribué et utilisé, y-compris sur des ordinateurs portables, des smartphones ou même un Raspberry Pi. Évidemment suivant la taille choisie, nombre de paramètres (weights).



J'étais intéressé, comme certains d'entre vous, par les performances, la vitesse de génération du texte (token/s), le temps d'attente avant le début de la réponse, mais aussi la qualité de la réponse.
Et cela sur le M4 de base (avec 32 Go de RAM quand-même), c'est important de le noter, et les différents Gemma3 utilisés sont en int4 pour maximiser les performances et réduire au maximum leur empreinte mémoire. J'ai utilisé le logiciel LM Studio (gratuit).



J'ai utilisé mon fameux prompt:
"Que peut-on faire un week-end de vacances à Limoges?"
Il pose différents problèmes, Limoges c'est pas si recherché ni documenté, et la langue utilisée est le français. Coté langue Gemma3 se débrouille excellemment, pas DeepSeek R1.



J'y ai rajouté de manière taquine une suggestion venue des forums:
"J'ai lu sur un forum qu'il y a Oradour-sur-Glane à visiter, surtout avec des enfants"



Gemma3 32B int4 : 16 Go de RAM consommées, 2,6s d'attente puis 6,5 token/s, approprié pour un M4 Max en session interactive, lent sur M4 Pro probablement et trop lent sur un M4.
En revanche la réponse est parfaite, notamment concernant la seconde question, avec des mises-en-garde et des conseils pour communiquer avec les enfants. Excellent!



Gemma3 12B int4: 8Go de RAM, 0,7s d'attente, 14 token/s, approprié pour un M4 Pro, lent sur le M4 de base en session interactive. Accessible dès 24 Go de RAM.
Malheureusement il hallucine déjà et me propose des balades en bateau sur l'Allier!
Il se rattrape un peu avec de bons conseils pour Oradour, il a un sens du risque.



Gemma3 4B int4: 4 Go de RAM, 0,2s d'attente, 39 token/s, idéal pour le M4 de base en session interactive, accessible dès 16 Go de RAM.
Las, il ne connait quasiment rien de Limoges et n'offre que des options génériques, telle la chasse aux œufs de Pâques qu'il appelle "tradition locale".
Il garde son sens du danger en donnant de bons conseils pour amener des enfants à Oradour.



Gemma3 1B int4: 1,5 Go de RAM, là on est en plein dans le territoire de la taille des LLM d'Apple Intelligence™ pour iPhone, instantané sur un M4, 123 token/s, une vitesse super agréable.
Sauf qu'il se mélange les pinceaux totalement, sa réponse n'a aucun intérêt, et pire concernant Oradour-sur-Glane, il appelle cela un endroit "plein de charme". Carrément!



Pour résumer, on voit une qualité de réponse de Gemma3 dépendant évidemment de la taille du modèle, les performances aussi, et pour des sessions interactives de qualité, il faut viser au moins un M4 Pro avec 32 Go de RAM, et si possible un M4 Max 64 Go.



Les réponses de Gemma3 devenant inacceptables dans les tailles visées par Apple pour Apple Intelligence™ tournant sur les iPhone: il n'y a pas de secret, sauf pour des IA très spécialisées dans un domaine (par exemple code PHP et en Anglais).

Lien vers le billet original

[Samten]

Ah ben avec la joie des algo de recommandation de YT je viens de tomber justement sur cette vidéo de la chaine underscore qui traite plutôt bien du sujet :
https://www.youtube.com/watch?v=biZX5cnQ_UU

[scoch]

Ah ben avec la joie des algo de recommandation de YT je viens de tomber justement sur cette vidéo de la chaine underscore qui traite plutôt bien du sujet :
https://www.youtube.com/watch?v=biZX5cnQ_UU

La vidéo est très intéressante, merci.

En faisant des recherches, j’ai trouvé que tu as en partie raison au sujet de la mise à jour en continu de certains modèles, mais pas de mise à jour en continu des connaissances.

D’ailleurs, à la question « À quelle fréquence sont mis à jour les LLM d’openAI ? » le très performant o3 évoqué dans la vidéo commence son raisonnement par ceci : « L'utilisateur souhaite savoir à quelle fréquence les modèles de grande taille d'OpenAI sont mis à jour. Ma base de connaissances se stoppe à juin 2024, donc pour offrir une réponse précise, je vais rechercher des informations plus récentes. »

Gemini 2.5 Pro me répond que dans le cas de Gemini :
- les mises à jour majeures : après des mois ou des années de recherche et développement ;
- les mises à jour des connaissances (Knowledge Cutoff) : les siennes datent de début 2023 mais il peut faire des recherches web pour palier au problème de données obsolètes ou insuffisantes ;
- les mises à jour par affinage et améliorations continues : sécurité, diminution des biais, précision, capacité de raisonnement et rapidité.

p.s. Au sujet de mise à jour en continu, c’est très intéressant que dans la vidéo soit évoqué la mise à jour en continu des benchmarks utilisés pour améliorer les modèles, et la capacité des modèles à créer eux-mêmes les benchmarks…