Llama-3.2-1B : une IA pour presque tous les Mac !, Réactions à la publication du 02/12/2024

[Paul Emploi]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que ses IA ne peuvent pas tourner sur les Mac Intel, d'anciens iPhone, et c'est absolument faux.

Un contre-exemple est Llama-3.2-1B (1,2 milliards de paramètres en BF16).
Voici l'échange que j'ai eu avec lui, il a tendance à bien halluciner quand-même, mais il est très utilisable:

Deux points, la vitesse était correcte, un peu lent certes mais utilisable au quotidien.
Mais je l'ai fait tourner sur un MacBook Pro 13" début-2013 (dual-core i7) avec 8Go de RAM sous macOS 15 Sequoia grâce à OpenCore Legacy Patcher.

Ollama se télécharge ici, nécessite d'être au moins sur macOS 11 Big Sur, mais est vraiment compatible avec du matériel ancien et même très performant vu le peu de puissance du vieux MBP 13". Par défaut il charge LLama-3.2-1B mais vous pouvez bien sûr charger d'autres Modèles d'IA.

Je crois en l'émergence d'IA plus légères, tournant plus facilement et plus rapidement, spécialisées dans des tâches précises, comme programmer ou rédiger un courrier, et surtout accessibles à tous.
Llama-3.2-1B est un pas dans cette direction, mais aussi une base de travail pour avoir des versions spécialisées.

Lien vers le billet original

[VerteCampagne]

oui, enfin, on peut toujours bricoler, mais à terme pour des choses professionnelles des procs qui prennent en charge les jeux d'instruction AVX sont indispensables.

a minima...

[Paul Emploi]

oui, enfin, on peut toujours bricoler, mais à terme pour des choses professionnelles des procs qui prennent en charge les jeux d'instruction AVX sont indispensables.

a minima...

Tout à fait, et beaucoup de RAM, ou mieux une GPU récente qui prend en charge fp16, bf16, ou une NPU supportant int4.
Il faut noter que le MBP 13" début-2013 supporte AVX, mais pas AVX2 qui est arrivé avec les MBP fin-2013.
Intel a d'ailleurs un sous-sous-ensemble d'instruction récent, AVX512-VNNI aussi disponible séparément (sans AVX-512) sous le nom AVX-VNNI.

Mais mon point-de-vue sur le sujet, c'est que tous aient accès à ces technologies d'IA génératives, ne serait-ce que dans des versions simplifiées.
LLama-3.2-1B n'est certainement pas un remplacement pour un usage nécessitant moins d'hallucinations et des connaissances étendues.
En revanche, il y a des LLM visant des usages spécifiques, comme la programmation dans certains langages (ou plutôt certains stacks), la réponse aux courriels dans une langue, la traduction d'une langue vers l'autre et réciproquement (thème et version), qui n'ont pas besoin de gros matériels tout en ayant le potentiel de changer les tâches visées.

Et l'intégration de ces LLM génératives localement, dans des logiciels commerciaux ou non, ou via des extensions, afin qu'on puisse tous en bénéficier.
Classer les emails, flagger ceux qui pourraient être urgents, résumer un email, proposer une réponse standard: tout cela peut tourner sur un Mac d'il y a 10 ans et faire gagner du temps. Organiser de l'information qui ne l'est pas. Extraire l'information de données. etc.


@marc_os comment ça se passe sur ton Mac Intel pour Apple Intelligence?!?