Llama-3.2-1B : une IA pour presque tous les Mac !, Réactions à la publication du 02/12/2024

[Paul Emploi]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que ses IA ne peuvent pas tourner sur les Mac Intel, d'anciens iPhone, et c'est absolument faux.

Un contre-exemple est Llama-3.2-1B (1,2 milliards de paramètres en BF16).
Voici l'échange que j'ai eu avec lui, il a tendance à bien halluciner quand-même, mais il est très utilisable:

Deux points, la vitesse était correcte, un peu lent certes mais utilisable au quotidien.
Mais je l'ai fait tourner sur un MacBook Pro 13" début-2013 (dual-core i7) avec 8Go de RAM sous macOS 15 Sequoia grâce à OpenCore Legacy Patcher.

Ollama se télécharge ici, nécessite d'être au moins sur macOS 11 Big Sur, mais est vraiment compatible avec du matériel ancien et même très performant vu le peu de puissance du vieux MBP 13". Par défaut il charge LLama-3.2-1B mais vous pouvez bien sûr charger d'autres Modèles d'IA.

Je crois en l'émergence d'IA plus légères, tournant plus facilement et plus rapidement, spécialisées dans des tâches précises, comme programmer ou rédiger un courrier, et surtout accessibles à tous.
Llama-3.2-1B est un pas dans cette direction, mais aussi une base de travail pour avoir des versions spécialisées.

Lien vers le billet original

[tchek]

Excellent merci !

[Paul Emploi]

Il y a trois points:
D'abord le code PHP est buggé. C'est évident pour tous les devs PHP.
Mais justement pour un dev PHP comme moi qui ne manipule pas d'image régulièrement, où la bug est évidente, ça accélère les choses énormément de toute façon.
Pour un débutant, il ne verra pas le soucis du header() dans un code qui n'est typiquement pas un code de requête http mais de CLi...

Le second point c'est son titre: "Le guide complet pour redimensionner une image GD en PHP".
L'assurance de ces IA de type LLM me fait halluciner (moi aussi). C'est grotesquement arrogant!

Et le dernier point, il est malheureusement muselé, une sorte de camisole chimique sous forme binaire, qui lui interdit de dire certaines choses, de peur d'offenser.
Je n'ai pas peur qu'on m'offense, j'ai bien plus peur qu'on me ménage en travestissant la réalité, et cette IA comme la plupart des autres, est du second type!

[tchek]

Question bête :
Existe t-il une IA via ce service qui ne soit pas que text only ?

[Paul Emploi]

Question bête :
Existe t-il une IA via ce service qui ne soit pas que text only ?

Oui via cette page de recherche de LLM, tu trouveras en cherchant "vision" qu'il y a des LLM qui traitent aussi la vision, les images en entrées.

En revanche ça n'est pas un outil pour générer des images en local.
Pour cela j'utilise Dall-E. Il y a d'autres outils locaux pour ça, mais les Modèles sont bien plus lourds!

Et ça n'est pas un service, pas un service en-ligne, tout tourne en local dans le Mac.
On peut lui confier ses secrets. Dans ma démo à ma moitié, j'ai désactivé le WiFi pour montrer que c'était dans le vieux mac de 11 ans!

[JayTouCon]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que les IA ne peuvent pas tourner sur les Mac Intel, d'anciens iPhone, et c'est absolument faux.

NAAAAaaannNNNNN faut TOUT racheter

tain l'autre il veut casser notre business

et pourquoi pas des barrettes de ram amovibles aussi

[DiarOne]

Intéressant comme article 👍

[tchek]

Question bête : Existe t-il une IA via ce service qui ne soit pas que text only ?

Oui via cette page de recherche de LLM, tu trouveras en cherchant "vision" qu'il y a des LLM qui traitent aussi la vision, les images en entrées. En revanche ça n'est pas un outil pour générer des images en local. Pour cela j'utilise Dall-E. Il y a d'autres outils locaux pour ça, mais les Modèles sont bien plus lourds! Et ça n'est pas un service, pas un service en-ligne, tout tourne en local dans le Mac. On peut lui confier ses secrets. Dans ma démo à ma moitié, j'ai désactivé le WiFi pour montrer que c'était dans le vieux mac de 11 ans!

Merci bien pour toutes ces précisions👍🏻🙏Mais Dall-E, tourne obligatoirement via Chat GPT ? Pardonne mon ignorance...Comment l'installe t-on en local ?

Ce message a été modifié par tchek - 3 Dec 2024, 13:43.

[Paul Emploi]

Question bête : Existe t-il une IA via ce service qui ne soit pas que text only ?

Oui via cette page de recherche de LLM, tu trouveras en cherchant "vision" qu'il y a des LLM qui traitent aussi la vision, les images en entrées. En revanche ça n'est pas un outil pour générer des images en local. Pour cela j'utilise Dall-E. Il y a d'autres outils locaux pour ça, mais les Modèles sont bien plus lourds! Et ça n'est pas un service, pas un service en-ligne, tout tourne en local dans le Mac. On peut lui confier ses secrets. Dans ma démo à ma moitié, j'ai désactivé le WiFi pour montrer que c'était dans le vieux mac de 11 ans!

Merci bien pour toutes ces précisions👍🏻🙏Mais Dall-E, tourne obligatoirement via Chat GPT ? Pardonne mon ignorance...Comment l'installe t-on en local ?

On n'installe pas Dall-E en local...
En fait les modèles LLM pour la génération d'image sont énormes et nécessitent du matériel extrêmement coûteux!

[DiarOne]

Question bête : Existe t-il une IA via ce service qui ne soit pas que text only ?

Oui via cette page de recherche de LLM, tu trouveras en cherchant "vision" qu'il y a des LLM qui traitent aussi la vision, les images en entrées. En revanche ça n'est pas un outil pour générer des images en local. Pour cela j'utilise Dall-E. Il y a d'autres outils locaux pour ça, mais les Modèles sont bien plus lourds! Et ça n'est pas un service, pas un service en-ligne, tout tourne en local dans le Mac. On peut lui confier ses secrets. Dans ma démo à ma moitié, j'ai désactivé le WiFi pour montrer que c'était dans le vieux mac de 11 ans!

Merci bien pour toutes ces précisions👍🏻🙏Mais Dall-E, tourne obligatoirement via Chat GPT ? Pardonne mon ignorance...Comment l'installe t-on en local ?

On n'installe pas Dall-E en local...
En fait les modèles LLM pour la génération d'image sont énormes et nécessitent du matériel extrêmement coûteux!

Nous sommes plusieurs illustrateurs sur ce site.
Pour qlqs centaines d'euros (voir milliers) et un peu de temps, on peu faire office d'IA générative de dessins

[VerteCampagne]

oui, enfin, on peut toujours bricoler, mais à terme pour des choses professionnelles des procs qui prennent en charge les jeux d'instruction AVX sont indispensables.

a minima...

[marc_os]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que les IA ne peuvent pas tourner sur les Mac Intel

Ah bon, où donc Apple explique-t-elle cela ?

Je me pose la question car je peux très bien installer TensorFlow de Google sur mon Mac Intel, la seule condition étant "macOS 10.12.6 (Sierra) or later (no GPU support)". Cf. https://www.tensorflow.org/install
Je ne vois donc pas Apple affirmer qu'on ne pourrait pas installer d'IA en général sur Mac Intel comme vous l'affirmez.

Ce message a été modifié par marc_os - 3 Dec 2024, 15:37.

[chianti's yogurt]

Nous sommes plusieurs illustrateurs sur ce site.
Pour qlqs centaines d'euros (voir milliers) et un peu de temps, on peu faire office d'IA générative de dessins

Ainsi que des développeurs indépendants qui paient leur Urssaf

[Paul Emploi]

oui, enfin, on peut toujours bricoler, mais à terme pour des choses professionnelles des procs qui prennent en charge les jeux d'instruction AVX sont indispensables.

a minima...

Tout à fait, et beaucoup de RAM, ou mieux une GPU récente qui prend en charge fp16, bf16, ou une NPU supportant int4.
Il faut noter que le MBP 13" début-2013 supporte AVX, mais pas AVX2 qui est arrivé avec les MBP fin-2013.
Intel a d'ailleurs un sous-sous-ensemble d'instruction récent, AVX512-VNNI aussi disponible séparément (sans AVX-512) sous le nom AVX-VNNI.

Mais mon point-de-vue sur le sujet, c'est que tous aient accès à ces technologies d'IA génératives, ne serait-ce que dans des versions simplifiées.
LLama-3.2-1B n'est certainement pas un remplacement pour un usage nécessitant moins d'hallucinations et des connaissances étendues.
En revanche, il y a des LLM visant des usages spécifiques, comme la programmation dans certains langages (ou plutôt certains stacks), la réponse aux courriels dans une langue, la traduction d'une langue vers l'autre et réciproquement (thème et version), qui n'ont pas besoin de gros matériels tout en ayant le potentiel de changer les tâches visées.

Et l'intégration de ces LLM génératives localement, dans des logiciels commerciaux ou non, ou via des extensions, afin qu'on puisse tous en bénéficier.
Classer les emails, flagger ceux qui pourraient être urgents, résumer un email, proposer une réponse standard: tout cela peut tourner sur un Mac d'il y a 10 ans et faire gagner du temps. Organiser de l'information qui ne l'est pas. Extraire l'information de données. etc.


@marc_os comment ça se passe sur ton Mac Intel pour Apple Intelligence?!?

[JayTouCon]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que les IA ne peuvent pas tourner sur les Mac Intel

Ah bon, où donc Apple explique-t-elle cela ?

Je me pose la question car je peux très bien installer TensorFlow de Google sur mon Mac Intel, la seule condition étant "macOS 10.12.6 (Sierra) or later (no GPU support)". Cf. https://www.tensorflow.org/install
Je ne vois donc pas Apple affirmer qu'on ne pourrait pas installer d'IA en général sur Mac Intel comme vous l'affirmez.

eh bien c'est ce qu'indique la pomme et la raison pour laquelle ses macs viennent tout juste de passer à 16go. 8 go ne suffisent pas. pour cela il faut suivre sur différents sites l'actualité de la pomme.
de même son téléphone et/ou ses iPad, le 15 à 1000 boules en vente il y a 3 mois ne peut supporter cette IA. maintenant si tu veux contredire tes patrons ne t'en prive pas

on parle ici de l'IA pommée pas de l'IA en général
Concernant les iPad (sur ce point c'est à confirmer ou infirmer si quelqu'un le sait) y compris les puces M, seuls les iPad Pro à grosse capacité (1To ou 2TO) pourraient faire tourner l'IA pommée toujours à raison de la RAM nécessaire *

source ?
source?
source?

la WWDC de 2024--->Xcode16 (PCC) : impossible avec 8go et puis un pti gars qui s'appelle Mark Gurman c'est à dire le passe plat des déclarations officieuses de la pomme

alors entendons nous bien, avec 8go certaines petites fonctions d'IA cupertiniennes fonctionneront peut être sur le papier et quasi inutilisable dans la vraie vie MAIS c'est bien 16go qui seront nécessaires et la puce M:
on ne parle pas de chat gpt mais bien du LLM de la pomme

* en sus voici un témoignage sur un iPad Pro M4 donc à priori un iPad qui sert autre chose qu'à regarder des séries :
https://www.reddit.com/r/iPadPro/comments/1...r&rdt=32794

je cite : J'ai testé Apple Intelligence (les outils d'écriture basés sur les LLM embarqués) sur mon iPad Pro M4, et le LLM seul utilise environ 3 Go de RAM.

Même avec seulement quelques applications légères ouvertes, la pression mémoire monte en flèche de 30 % à 80 %, et chaque invocation provoque une quantité importante de thrashing de swap sur le SSD - jusqu'à 500 Mbps d'activité d'écriture due au swap !

Le CPU travaille à plein régime, gérant la compression mémoire et la gestion du swap, ce qui provoque le réchauffement de l'appareil (M4 13 pouces), son ralentissement et la fermeture des applications en arrière-plan.

avec une jolie image de Noel aussi :
https://imgur.com/a/ram-stats-with-apple-in...pad-pro-Iv7bF7q

[VerteCampagne]

et pendant ce temps là... Benoît Dupin à la conférence de l'AWS

[malloc]

J'ai testé LLama-3.2-1B. Le concept est intéressant, et effectivement c'est léger... mais c'est inutilisable pour mes usages de synthèse/réécriture.

Tu lui demandes une traduction, il change de langue au milieu.
Tu lui demandes de reformuler, il te sort des bullet points.
Tu lui demandes des bullet points, il sort des phrases en franglais.

J'ai abandonné.

[marc_os]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que les IA ne peuvent pas tourner sur les Mac Intel

Ah bon, où donc Apple explique-t-elle cela ?

Je me pose la question car je peux très bien installer TensorFlow de Google sur mon Mac Intel, la seule condition étant "macOS 10.12.6 (Sierra) or later (no GPU support)". Cf. https://www.tensorflow.org/install
Je ne vois donc pas Apple affirmer qu'on ne pourrait pas installer d'IA en général sur Mac Intel comme vous l'affirmez.

on parle ici de l'IA pommée pas de l'IA en général

Permettez moi de vous donner à nouveau cet extrait de l'article :

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que les IA ne peuvent pas tourner sur les Mac Intel, d'anciens iPhone

Je ne vois pas où il serait précisé que l'article ne parlerait que de l'IA « pommée ».
Donc « les IA » désigne bien LES IA en général dans cet article, ne vous ne déplaise.

Corollaire : C'est un non-sens de prétendre dans l'article que cette parole d'Apple est fausse vu qu'Apple n'a jamais dit cela.

De plus, c'est quoi « les IA » ?
Sachez que les systèmes « d'IA LLM » ne représentent qu'un sous-ensemble des technologies d'IA.
Si je disais qu'un système d'IA basé sur le langage Prolog c'était ça l'IA et rien d'autre, ce serait tout autant ridicule.

Ce message a été modifié par marc_os - 4 Dec 2024, 15:21.

[JayTouCon]

Corollaire : C'est un non-sens de prétendre dans l'article que cette parole d'Apple est fausse vu qu'Apple n'a jamais dit cela.

De plus, c'est quoi « les IA » ?
Sachez que les systèmes « d'IA LLM » ne représentent qu'un sous-ensemble des technologies d'IA.
Si je disais qu'un système d'IA basé sur le langage Prolog c'était ça l'IA et rien d'autre, ce serait tout autant ridicule.

arrête de ramer pour noyer le poisson et sauver ton patron .
elle a dit quoi la pomme ? elle a déclaré que son IA fonctionnerait sans aucun problème sur des puces intel ??

alors ? tu n'es pas bavard..par ce que c'est bien joli de venir au secours de la pomme mais pour dire quoi ?

parce que lorsque j'affirme quelque chose je le source.

ce n'est pas moi qui invente que l'IA pommée nécessite plus de 8go. ce n'est pas moi qui décide de rendre obsolète un téléphone qui à moins d'un an. bien au contraire.

alors elle dit quoi la pomme sur cette IA et notamment son IA ? @marc-os puisque tu mets en doute les propres déclarations de ta sainte pomme. ce n'est pas la première fois que des gens comme toi veulent semer le doute alors qu'il y a des déclarations et plus que des déclarations les faits : l'IA pommée est disponible aux USA, elle ne fonctionne pas sur des 15. seulement des 15 pro. tu veux le nier tant qu'on y est ?

je t'écoute. elle dit quoi. et n'oublies pas de sourcer comme je l'ai fait. a moins que tu préfères faire diversion comme tu l'as fait dans ton dernier post ci dessus. nous sommes toutoui par ce que si c'est pour dire des banalités et finir par nous annoncer que chat gpt fonctionne sur des macs on est un peu au courant mais apparement tu aimes à enfoncer des portes ouvertes pour te sortir de l'ornière dans laquelle tu t'es foutu tout seul.

maintenant si tu es capable de faire fonctionner l'IA pommée annoncée par la pomme sur des téléphones 12,13,14 non pro & pro , je te prédis un certain succès planétaire.

édit : en attendant il y a l'itw très complaisante de cook : du vide, du vide et énormément de mauvaise foi coté IA : depuis 2018 Cook était sur le coup.. tellement sur le coup que le 15 n'en bénéficie pas .
https://www.wired.com/story/big-interview-t...save-your-life/

Ce message a été modifié par JayTouCon - 4 Dec 2024, 18:40.

[Paul Emploi]

Pour les coupeurs de cheveux en 4 et autres amateurs de relation postérieure avec des drosophiles en phase aérienne, "les IA" a été changé en "ses IA". Et puis?!?

[VerteCampagne]

Corollaire : C'est un non-sens de prétendre dans l'article que cette parole d'Apple est fausse vu qu'Apple n'a jamais dit cela.

De plus, c'est quoi « les IA » ?
Sachez que les systèmes « d'IA LLM » ne représentent qu'un sous-ensemble des technologies d'IA.
Si je disais qu'un système d'IA basé sur le langage Prolog c'était ça l'IA et rien d'autre, ce serait tout autant ridicule.

arrête de ramer pour noyer le poisson et sauver ton patron .
elle a dit quoi la pomme ? elle a déclaré que son IA fonctionnerait sans aucun problème sur des puces intel ??

alors ? tu n'es pas bavard..par ce que c'est bien joli de venir au secours de la pomme mais pour dire quoi ?

parce que lorsque j'affirme quelque chose je le source.

ce n'est pas moi qui invente que l'IA pommée nécessite plus de 8go. ce n'est pas moi qui décide de rendre obsolète un téléphone qui à moins d'un an. bien au contraire.

alors elle dit quoi la pomme sur cette IA et notamment son IA ? @marc-os puisque tu mets en doute les propres déclarations de ta sainte pomme. ce n'est pas la première fois que des gens comme toi veulent semer le doute alors qu'il y a des déclarations et plus que des déclarations les faits : l'IA pommée est disponible aux USA, elle ne fonctionne pas sur des 15. seulement des 15 pro. tu veux le nier tant qu'on y est ?

je t'écoute. elle dit quoi. et n'oublies pas de sourcer comme je l'ai fait. a moins que tu préfères faire diversion comme tu l'as fait dans ton dernier post ci dessus. nous sommes toutoui par ce que si c'est pour dire des banalités et finir par nous annoncer que chat gpt fonctionne sur des macs on est un peu au courant mais apparement tu aimes à enfoncer des portes ouvertes pour te sortir de l'ornière dans laquelle tu t'es foutu tout seul.

maintenant si tu es capable de faire fonctionner l'IA pommée annoncée par la pomme sur des téléphones 12,13,14 non pro & pro , je te prédis un certain succès planétaire.

édit : en attendant il y a l'itw très complaisante de cook : du vide, du vide et énormément de mauvaise foi coté IA : depuis 2018 Cook était sur le coup.. tellement sur le coup que le 15 n'en bénéficie pas .
https://www.wired.com/story/big-interview-t...save-your-life/

hahaha le débile parano voit des "patrons" partout

en fait les haters ont vraiment un problème de santé mentale

[Hebus]

J'ai testé LLama-3.2-1B. Le concept est intéressant, et effectivement c'est léger... mais c'est inutilisable pour mes usages de synthèse/réécriture.

Tu lui demandes une traduction, il change de langue au milieu.
Tu lui demandes de reformuler, il te sort des bullet points.
Tu lui demandes des bullet points, il sort des phrases en franglais.

J'ai abandonné.

Une IA créative … révolutionnaire même … tu devrais apprécier

[malloc]

J'ai testé LLama-3.2-1B. Le concept est intéressant, et effectivement c'est léger... mais c'est inutilisable pour mes usages de synthèse/réécriture.

Tu lui demandes une traduction, il change de langue au milieu.
Tu lui demandes de reformuler, il te sort des bullet points.
Tu lui demandes des bullet points, il sort des phrases en franglais.

J'ai abandonné.

Une IA créative … révolutionnaire même … tu devrais apprécier

Mince est la limite entre le génie (cf news sur le troubleshooting électronique) et la folie.
Là clairement, la pièce tombe pas du bon côté de la limite!

[Paul Emploi]

"il a tendance à bien halluciner quand-même" - moi

Mais il est utilisable pour des tâches simples, comme des tâches informatiques.

[jmvr]

au moins sur macOS 11 Big Sur

Je viens d'installer sur un 10.14 Mojave la version 0.5 (celle présentée dans le billet était la 0.4.7 sauf erreur de ma part) avec Llama3.2 sur un MBP 2017 i7 un peu costaud (pour l'époque).
/show info
Model
architecture llama
parameters 3.2B
…/…

Il m'explique comment faire des stats sur des factures en PDF en les chargeant avec des librairies Python.
Je n'en suis qu'au début, mais pour l'instant, tout roule !
Je touche du bois (c'est un peu bluffant)…

Le lendemain :
Après avoir poussé l'expérience un peu plus loin, il y a des points positifs et d'autres non.
En négatif : les exemples de code m'ont été donnés avec des librairies qui sont pour certaines obsolètes et ils sont davantage théoriques que fonctionnels. Ils nécessitent d'être remaniés de manière assez conséquente, par exemple pour la fermeture prématurée d'un fichier qui se fait alors que les objets utilisés dans la suite du code ont encore besoin du fichier ouvert.
En positif : ça m'a bien mis le pied à l'étrier en partant d'une simple question en langage naturel et ça m'a sorti de ma zone de confort dans le sens positif du terme.

En résumé :
- Aucun pb de fonctionnement sur Mojave
- M'a un peu bluffé en début de projet
- M'a donné envie d'insister et de l'utiliser sur un vrai projet
- Il faut savoir coder pour embrayer sur ses propositions

Ce message a été modifié par jmvr - 8 Dec 2024, 12:41.

[Paul Emploi]

- Il faut savoir coder pour embrayer sur ses propositions

Ce dernier point est vraiment essentiel, c'est celui que je retiendrais car j'utilise des IA comme ChatGPT, Codeium ou Copilot pour développer en retrouvant des langages que j'ai abandonné depuis longtemps (comme du code Borland C++ 3.1 d'il y a 30ans), ou en abordant des outils que je ne maîtrise pas comme Rust ou l'IA via Python (mais qui sert juste de support). J'ai 47 ans d'expérience en programmation et j'apprécie cette assistance que je convoque quand j'en ai besoin.

Ça va à l'inverse de l'angoisse qu'ont certains développeurs expérimentés: d'être virés pour être remplacés par des jeunes moins expérimentés mais surtout moins cher. Et du choix de certaines sociétés qui ont cru à cette utopie.

En revanche ça va rendre la phase d'apprentissage des jeunes rentrant sur le marché du travail bien plus compliquée, puisque si ils peuvent demander des conseils à une IA pour les assister, ils manqueront du bagage pour les exploiter efficacement et surtout risquent de produire du code de mauvaise qualité et potentiellement avec des failles de sécurité. Donc retoqué lors du Pull Request.

Une astuce que j'utilise avec la génération de code dans Visual Studio (mon préféré actuellement, marre de changer d'outil pour chaque plateforme!) :
dans une fonction ou méthode bien nommée, idem pour les paramètres et les variables, écrire un commentaire décrivant ce qui doit être fait.
Dans de nombreux cas la génération de code embraye, et produit un code présentable une fois qu'on y a changé un ou deux détails.
Ça accélère incroyablement l'écriture elle-même et on peut se focaliser sur la conception, contrats, responsabilités, interfaces, le nommage, ce qui est vraiment de la valeur ajoutée.