Llama-3.2-1B : une IA pour presque tous les Mac !, Réactions à la publication du 02/12/2024

[Paul Emploi]

Apple explique qu'il faut un SoC Apple Silicon, des Gigaoctets de mémoire libre, et que ses IA ne peuvent pas tourner sur les Mac Intel, d'anciens iPhone, et c'est absolument faux.

Un contre-exemple est Llama-3.2-1B (1,2 milliards de paramètres en BF16).
Voici l'échange que j'ai eu avec lui, il a tendance à bien halluciner quand-même, mais il est très utilisable:

Deux points, la vitesse était correcte, un peu lent certes mais utilisable au quotidien.
Mais je l'ai fait tourner sur un MacBook Pro 13" début-2013 (dual-core i7) avec 8Go de RAM sous macOS 15 Sequoia grâce à OpenCore Legacy Patcher.

Ollama se télécharge ici, nécessite d'être au moins sur macOS 11 Big Sur, mais est vraiment compatible avec du matériel ancien et même très performant vu le peu de puissance du vieux MBP 13". Par défaut il charge LLama-3.2-1B mais vous pouvez bien sûr charger d'autres Modèles d'IA.

Je crois en l'émergence d'IA plus légères, tournant plus facilement et plus rapidement, spécialisées dans des tâches précises, comme programmer ou rédiger un courrier, et surtout accessibles à tous.
Llama-3.2-1B est un pas dans cette direction, mais aussi une base de travail pour avoir des versions spécialisées.

Lien vers le billet original

[jmvr]

au moins sur macOS 11 Big Sur

Je viens d'installer sur un 10.14 Mojave la version 0.5 (celle présentée dans le billet était la 0.4.7 sauf erreur de ma part) avec Llama3.2 sur un MBP 2017 i7 un peu costaud (pour l'époque).
/show info
Model
architecture llama
parameters 3.2B
…/…

Il m'explique comment faire des stats sur des factures en PDF en les chargeant avec des librairies Python.
Je n'en suis qu'au début, mais pour l'instant, tout roule !
Je touche du bois (c'est un peu bluffant)…

Le lendemain :
Après avoir poussé l'expérience un peu plus loin, il y a des points positifs et d'autres non.
En négatif : les exemples de code m'ont été donnés avec des librairies qui sont pour certaines obsolètes et ils sont davantage théoriques que fonctionnels. Ils nécessitent d'être remaniés de manière assez conséquente, par exemple pour la fermeture prématurée d'un fichier qui se fait alors que les objets utilisés dans la suite du code ont encore besoin du fichier ouvert.
En positif : ça m'a bien mis le pied à l'étrier en partant d'une simple question en langage naturel et ça m'a sorti de ma zone de confort dans le sens positif du terme.

En résumé :
- Aucun pb de fonctionnement sur Mojave
- M'a un peu bluffé en début de projet
- M'a donné envie d'insister et de l'utiliser sur un vrai projet
- Il faut savoir coder pour embrayer sur ses propositions

Ce message a été modifié par jmvr - 8 Dec 2024, 12:41.

[Paul Emploi]

- Il faut savoir coder pour embrayer sur ses propositions

Ce dernier point est vraiment essentiel, c'est celui que je retiendrais car j'utilise des IA comme ChatGPT, Codeium ou Copilot pour développer en retrouvant des langages que j'ai abandonné depuis longtemps (comme du code Borland C++ 3.1 d'il y a 30ans), ou en abordant des outils que je ne maîtrise pas comme Rust ou l'IA via Python (mais qui sert juste de support). J'ai 47 ans d'expérience en programmation et j'apprécie cette assistance que je convoque quand j'en ai besoin.

Ça va à l'inverse de l'angoisse qu'ont certains développeurs expérimentés: d'être virés pour être remplacés par des jeunes moins expérimentés mais surtout moins cher. Et du choix de certaines sociétés qui ont cru à cette utopie.

En revanche ça va rendre la phase d'apprentissage des jeunes rentrant sur le marché du travail bien plus compliquée, puisque si ils peuvent demander des conseils à une IA pour les assister, ils manqueront du bagage pour les exploiter efficacement et surtout risquent de produire du code de mauvaise qualité et potentiellement avec des failles de sécurité. Donc retoqué lors du Pull Request.

Une astuce que j'utilise avec la génération de code dans Visual Studio (mon préféré actuellement, marre de changer d'outil pour chaque plateforme!) :
dans une fonction ou méthode bien nommée, idem pour les paramètres et les variables, écrire un commentaire décrivant ce qui doit être fait.
Dans de nombreux cas la génération de code embraye, et produit un code présentable une fois qu'on y a changé un ou deux détails.
Ça accélère incroyablement l'écriture elle-même et on peut se focaliser sur la conception, contrats, responsabilités, interfaces, le nommage, ce qui est vraiment de la valeur ajoutée.