Llama-3.2-1B : une IA pour presque tous les Mac !, Réactions à la publication du 02/12/2024

[Paul Emploi]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que ses IA ne peuvent pas tourner sur les Mac Intel, d'anciens iPhone, et c'est absolument faux.

Un contre-exemple est Llama-3.2-1B (1,2 milliards de paramètres en BF16).
Voici l'échange que j'ai eu avec lui, il a tendance à bien halluciner quand-même, mais il est très utilisable:

Deux points, la vitesse était correcte, un peu lent certes mais utilisable au quotidien.
Mais je l'ai fait tourner sur un MacBook Pro 13" début-2013 (dual-core i7) avec 8Go de RAM sous macOS 15 Sequoia grâce à OpenCore Legacy Patcher.

Ollama se télécharge ici, nécessite d'être au moins sur macOS 11 Big Sur, mais est vraiment compatible avec du matériel ancien et même très performant vu le peu de puissance du vieux MBP 13". Par défaut il charge LLama-3.2-1B mais vous pouvez bien sûr charger d'autres Modèles d'IA.

Je crois en l'émergence d'IA plus légères, tournant plus facilement et plus rapidement, spécialisées dans des tâches précises, comme programmer ou rédiger un courrier, et surtout accessibles à tous.
Llama-3.2-1B est un pas dans cette direction, mais aussi une base de travail pour avoir des versions spécialisées.

Lien vers le billet original

[marc_os]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que les IA ne peuvent pas tourner sur les Mac Intel

Ah bon, où donc Apple explique-t-elle cela ?

Je me pose la question car je peux très bien installer TensorFlow de Google sur mon Mac Intel, la seule condition étant "macOS 10.12.6 (Sierra) or later (no GPU support)". Cf. https://www.tensorflow.org/install
Je ne vois donc pas Apple affirmer qu'on ne pourrait pas installer d'IA en général sur Mac Intel comme vous l'affirmez.

Ce message a été modifié par marc_os - 3 Dec 2024, 15:37.

[JayTouCon]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que les IA ne peuvent pas tourner sur les Mac Intel

Ah bon, où donc Apple explique-t-elle cela ?

Je me pose la question car je peux très bien installer TensorFlow de Google sur mon Mac Intel, la seule condition étant "macOS 10.12.6 (Sierra) or later (no GPU support)". Cf. https://www.tensorflow.org/install
Je ne vois donc pas Apple affirmer qu'on ne pourrait pas installer d'IA en général sur Mac Intel comme vous l'affirmez.

eh bien c'est ce qu'indique la pomme et la raison pour laquelle ses macs viennent tout juste de passer à 16go. 8 go ne suffisent pas. pour cela il faut suivre sur différents sites l'actualité de la pomme.
de même son téléphone et/ou ses iPad, le 15 à 1000 boules en vente il y a 3 mois ne peut supporter cette IA. maintenant si tu veux contredire tes patrons ne t'en prive pas

on parle ici de l'IA pommée pas de l'IA en général
Concernant les iPad (sur ce point c'est à confirmer ou infirmer si quelqu'un le sait) y compris les puces M, seuls les iPad Pro à grosse capacité (1To ou 2TO) pourraient faire tourner l'IA pommée toujours à raison de la RAM nécessaire *

source ?
source?
source?

la WWDC de 2024--->Xcode16 (PCC) : impossible avec 8go et puis un pti gars qui s'appelle Mark Gurman c'est à dire le passe plat des déclarations officieuses de la pomme

alors entendons nous bien, avec 8go certaines petites fonctions d'IA cupertiniennes fonctionneront peut être sur le papier et quasi inutilisable dans la vraie vie MAIS c'est bien 16go qui seront nécessaires et la puce M:
on ne parle pas de chat gpt mais bien du LLM de la pomme

* en sus voici un témoignage sur un iPad Pro M4 donc à priori un iPad qui sert autre chose qu'à regarder des séries :
https://www.reddit.com/r/iPadPro/comments/1...r&rdt=32794

je cite : J'ai testé Apple Intelligence (les outils d'écriture basés sur les LLM embarqués) sur mon iPad Pro M4, et le LLM seul utilise environ 3 Go de RAM.

Même avec seulement quelques applications légères ouvertes, la pression mémoire monte en flèche de 30 % à 80 %, et chaque invocation provoque une quantité importante de thrashing de swap sur le SSD - jusqu'à 500 Mbps d'activité d'écriture due au swap !

Le CPU travaille à plein régime, gérant la compression mémoire et la gestion du swap, ce qui provoque le réchauffement de l'appareil (M4 13 pouces), son ralentissement et la fermeture des applications en arrière-plan.

avec une jolie image de Noel aussi :
https://imgur.com/a/ram-stats-with-apple-in...pad-pro-Iv7bF7q

[marc_os]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que les IA ne peuvent pas tourner sur les Mac Intel

Ah bon, où donc Apple explique-t-elle cela ?

Je me pose la question car je peux très bien installer TensorFlow de Google sur mon Mac Intel, la seule condition étant "macOS 10.12.6 (Sierra) or later (no GPU support)". Cf. https://www.tensorflow.org/install
Je ne vois donc pas Apple affirmer qu'on ne pourrait pas installer d'IA en général sur Mac Intel comme vous l'affirmez.

on parle ici de l'IA pommée pas de l'IA en général

Permettez moi de vous donner à nouveau cet extrait de l'article :

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que les IA ne peuvent pas tourner sur les Mac Intel, d'anciens iPhone

Je ne vois pas où il serait précisé que l'article ne parlerait que de l'IA « pommée ».
Donc « les IA » désigne bien LES IA en général dans cet article, ne vous ne déplaise.

Corollaire : C'est un non-sens de prétendre dans l'article que cette parole d'Apple est fausse vu qu'Apple n'a jamais dit cela.

De plus, c'est quoi « les IA » ?
Sachez que les systèmes « d'IA LLM » ne représentent qu'un sous-ensemble des technologies d'IA.
Si je disais qu'un système d'IA basé sur le langage Prolog c'était ça l'IA et rien d'autre, ce serait tout autant ridicule.

Ce message a été modifié par marc_os - 4 Dec 2024, 15:21.

[JayTouCon]

Corollaire : C'est un non-sens de prétendre dans l'article que cette parole d'Apple est fausse vu qu'Apple n'a jamais dit cela.

De plus, c'est quoi « les IA » ?
Sachez que les systèmes « d'IA LLM » ne représentent qu'un sous-ensemble des technologies d'IA.
Si je disais qu'un système d'IA basé sur le langage Prolog c'était ça l'IA et rien d'autre, ce serait tout autant ridicule.

arrête de ramer pour noyer le poisson et sauver ton patron .
elle a dit quoi la pomme ? elle a déclaré que son IA fonctionnerait sans aucun problème sur des puces intel ??

alors ? tu n'es pas bavard..par ce que c'est bien joli de venir au secours de la pomme mais pour dire quoi ?

parce que lorsque j'affirme quelque chose je le source.

ce n'est pas moi qui invente que l'IA pommée nécessite plus de 8go. ce n'est pas moi qui décide de rendre obsolète un téléphone qui à moins d'un an. bien au contraire.

alors elle dit quoi la pomme sur cette IA et notamment son IA ? @marc-os puisque tu mets en doute les propres déclarations de ta sainte pomme. ce n'est pas la première fois que des gens comme toi veulent semer le doute alors qu'il y a des déclarations et plus que des déclarations les faits : l'IA pommée est disponible aux USA, elle ne fonctionne pas sur des 15. seulement des 15 pro. tu veux le nier tant qu'on y est ?

je t'écoute. elle dit quoi. et n'oublies pas de sourcer comme je l'ai fait. a moins que tu préfères faire diversion comme tu l'as fait dans ton dernier post ci dessus. nous sommes toutoui par ce que si c'est pour dire des banalités et finir par nous annoncer que chat gpt fonctionne sur des macs on est un peu au courant mais apparement tu aimes à enfoncer des portes ouvertes pour te sortir de l'ornière dans laquelle tu t'es foutu tout seul.

maintenant si tu es capable de faire fonctionner l'IA pommée annoncée par la pomme sur des téléphones 12,13,14 non pro & pro , je te prédis un certain succès planétaire.

édit : en attendant il y a l'itw très complaisante de cook : du vide, du vide et énormément de mauvaise foi coté IA : depuis 2018 Cook était sur le coup.. tellement sur le coup que le 15 n'en bénéficie pas .
https://www.wired.com/story/big-interview-t...save-your-life/

Ce message a été modifié par JayTouCon - 4 Dec 2024, 18:40.