Llama-3.2-1B : une IA pour presque tous les Mac !, Réactions à la publication du 02/12/2024

[Paul Emploi]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que ses IA ne peuvent pas tourner sur les Mac Intel, d'anciens iPhone, et c'est absolument faux.

Un contre-exemple est Llama-3.2-1B (1,2 milliards de paramètres en BF16).
Voici l'échange que j'ai eu avec lui, il a tendance à bien halluciner quand-même, mais il est très utilisable:

Deux points, la vitesse était correcte, un peu lent certes mais utilisable au quotidien.
Mais je l'ai fait tourner sur un MacBook Pro 13" début-2013 (dual-core i7) avec 8Go de RAM sous macOS 15 Sequoia grâce à OpenCore Legacy Patcher.

Ollama se télécharge ici, nécessite d'être au moins sur macOS 11 Big Sur, mais est vraiment compatible avec du matériel ancien et même très performant vu le peu de puissance du vieux MBP 13". Par défaut il charge LLama-3.2-1B mais vous pouvez bien sûr charger d'autres Modèles d'IA.

Je crois en l'émergence d'IA plus légères, tournant plus facilement et plus rapidement, spécialisées dans des tâches précises, comme programmer ou rédiger un courrier, et surtout accessibles à tous.
Llama-3.2-1B est un pas dans cette direction, mais aussi une base de travail pour avoir des versions spécialisées.

Lien vers le billet original

[jmvr]

au moins sur macOS 11 Big Sur

Je viens d'installer sur un 10.14 Mojave la version 0.5 (celle présentée dans le billet était la 0.4.7 sauf erreur de ma part) avec Llama3.2 sur un MBP 2017 i7 un peu costaud (pour l'époque).
/show info
Model
architecture llama
parameters 3.2B
…/…

Il m'explique comment faire des stats sur des factures en PDF en les chargeant avec des librairies Python.
Je n'en suis qu'au début, mais pour l'instant, tout roule !
Je touche du bois (c'est un peu bluffant)…

Le lendemain :
Après avoir poussé l'expérience un peu plus loin, il y a des points positifs et d'autres non.
En négatif : les exemples de code m'ont été donnés avec des librairies qui sont pour certaines obsolètes et ils sont davantage théoriques que fonctionnels. Ils nécessitent d'être remaniés de manière assez conséquente, par exemple pour la fermeture prématurée d'un fichier qui se fait alors que les objets utilisés dans la suite du code ont encore besoin du fichier ouvert.
En positif : ça m'a bien mis le pied à l'étrier en partant d'une simple question en langage naturel et ça m'a sorti de ma zone de confort dans le sens positif du terme.

En résumé :
- Aucun pb de fonctionnement sur Mojave
- M'a un peu bluffé en début de projet
- M'a donné envie d'insister et de l'utiliser sur un vrai projet
- Il faut savoir coder pour embrayer sur ses propositions

Ce message a été modifié par jmvr - 8 Dec 2024, 12:41.