Version imprimable du sujet

Écrit par : Paul Emploi 9 Apr 2024, 14:47

L'IA est de plus en plus présente, elle va envahir nos Mac et PC, et Microsoft semble avoir une vision à ce propos, ou plutôt deux!


Les spécifications Microsoft du PC IA


Microsoft aurait émis des spécifications pour des PC conçus pour des usages intégrant de l'intelligence artificielle IA.
On devine que Windows 12 sera de la partie, mais il faudrait aussi un minimum de 16 Go de RAM, et une puissance de traitement de 40 Tops sans précision s'il s'agit d'int16, int8 ou int4, voire des formats flottants fp16 ou bfp16.


La RAM nécessaire vise l'usage de Large Language Model LLM dans des déclinaisons simplifiées ayant moins de poids, au propre comme au figuré, comme ceux que je vous ai proposé dans mon premier article sur Faraday, et nombre de PC remplissent ce critère ou peuvent être upgradé pour cela.
Notez bien qu'il n'y a pas de spécifications pour la VRAM d'une GPU discrète, qui pour héberger les mêmes modèles devrait être d'au moins 8 Go. Ni de nécessité d'une GPU discrète.


La puissance de traitement de 40 Tops en revanche est problématique, c'est un très bon niveau, les NPU des Mac M3 plafonnant à 18 Tops fp16 seulement, c'est très ambitieux, peut-être même trop aujourd'hui?


Microsoft Surface Laptop 6 et Pro 10

Le même Microsoft a présenté ses nouveaux Surface, dont le Surface Laptop 6 (pdf) équipé de CPU Intel Core Ultra ou le Surface Pro 10 (pdf), en les présentant comme des "AI PC".

Las, ces CPU Intel plafonnent pour la plus puissante à 34 Tops, et encore en cumulant les faibles 11 Tops de la NPU aux 18 Tops de la GPU et aux 5 Tops de la CPU.
Soit moins que ce qui est exigé pour les "PC AI".

Microsoft lance donc des "AI PC" qui ne répondent pas à ses propres critères pour les "PC AI"!


Microsoft fait la promotion du Qualcomm Snapdragon Elite X


Puis toujours le même Microsoft déclare à qui veut l'entendre que les PC Windows ARM à base de SoC Snapdragon Elite X seront plus rapide que les MacBook Air M3, ce qui est indéniable et attendu pour un CPU consommant autant qu'un M3 Pro.


Microsoft reprend donc la communication de Qualcomm, sans comparer ce qui est comparable, et en passant sous silence une caractéristique essentielle de ces PC ARM: leurs NPU poutrent comme aucune autre intégrée dans un SoC ou une CPU, et délivrent entre 45 Tops et 75 Tops!


Les ordinateurs portables à base de Qualcomm Snapdragon Elite X seront de fait, avec Windows 12 et 16 Go de RAM ou plus, d'excellent "PC AI" tels que spécifiés par Microsoft, contrairement aux "AI PC" Intel du même Microsoft...


Pour résumer

On emploie un jargon technique quand un fabricant de matériel fait involontairement la promotion d'un concurrent: se tirer dans le pied.


Nous avions évoqué en ces termes le Qualcomm Snapdragon Elite X, qui coté CPU ou GPU est en-dessous d'un M3 Pro, mais qui brille en terme de NPU, qui semble parfaitement correspondre à la vision de Microsoft pour des PC généralisant l'usage d'IA:
"La grande force annoncée de ce Snapdragon sont les unités destinées aux Intelligences Artificielles IA, Qualcomm AI Engine et Hexagon NPU, et il ne déçoit absolument pas, au contraire."


Si l'on en croit Microsoft il est le premier d'une nouvelle lignée, un précurseur, et fait pas banal, ça n'est pas Intel dedans, ni même AMD, mais ARM via Qualcomm!


http://macbidouille.com/news/2024/04/09/microsoft-et-le-pc-pour-ia

Écrit par : noxx09 9 Apr 2024, 15:04

Et toutes ces specs pour faire quoi finalement ? Dessine moi un mouton qui fait du vélo ?
Pour le marketing de l'intelligence artificielle, il s'agit toujours de vendre de la bécane, comme avant. Ça me rappelle la sortie de Windows Vista et ses specs mirobolantes

Écrit par : scoch 9 Apr 2024, 17:41

Dessine-moi un mouton sur le petit vélo à guidon chromé au fond de la cour

Pour le grand public, avec ChatGPT ou Midjourney ces spécifications n'ont pas de sens en effet, sinon marketing comme tu dis.
Mais pour des usages professionnels, ou plus personnels, il est bienvenu d'utiliser des LLM plus spécialisés, et en local pour plus d'efficacité et ne pas partager ses données.

Écrit par : shawnscott 9 Apr 2024, 18:16

Il y a justement un article à ce propos dans le Vous et votre Mac de la semaine. Il y est fait état d'un besoin accru en RAM pour l'IA, 16 Gb étant le minimum. On pourrait donc s'attendre à ce que les futurs Macs embarquent autant de mémoire dans leurs versions de base. Honnêtement, les 8 Gb actuels sont déjà franchement ridicules, a fortiori quand on voit les tarifs pratiqués par Apple. 🤬

Écrit par : STRyk 9 Apr 2024, 18:48

Formidable ! Du nouveau matériel jetable.

Écrit par : Paul Emploi 9 Apr 2024, 20:50

Tout l'inverse, surtout avec 24 Go ou 32 Go de RAM.

Si on tient compte d'une durée de vie d'au moins 7 ans, et la rapidité avec laquelle les IA envahissent notre quotidien et les logiciels que nous utilisons, Microsoft se projette dans l'avenir pour établir des bases solides qui resteront utiles longtemps.
On remarquera notamment que Windows 12 requiert 8 Go de RAM, mais qu'un "PC AI" en nécessite 8 de plus soit 16 Go au minimum.

Contrairement à un réfrigérateur, quoique maintenant..., un ordinateur reçoit différentes générations de logiciels au cours de sa vie, et pour ne justement pas le jeter, il est indispensable de prévoir une configuration de départ suffisante pour quelques années, voire sa durée de vie potentielle s'il ne peut être upgradé.
Microsoft fait là-dessus de l'excellent travail, en vu du support de ses logiciels dont les futurs Office et Teams dont on peut être certain qu'ils intègreront de l'IA et probablement de différentes façon.

Écrit par : pmr115 10 Apr 2024, 06:10

Ah! je comprends pourquoi mon Siri a la l'oreille dure avec sa MiniBoulle° dis moi Siri ... quelle Heure maintenons... Les voisins ...Bourreau d'enfants Vos gueules chers citoyens compatriotes soyez toujours plus con-descendants et plus cons ...


Passé Apple II 1980, puis Mac 1992 et iPhone SE (1) après hp...41 et sony xpéria toujours en secours ! ...

Écrit par : Sethy 10 Apr 2024, 07:04

Si ces besoins se confirment, tout qui veut faire de l'IA sur un PC met entre 175 et 200 euros pour avoir 64 GB en DDR4 et 50 euros de plus pour de la DDR5 (et ce sont les prix LDLC du jour).

Écrit par : STRyk 10 Apr 2024, 07:23

Oui mais...
Ils vont bien trouver les arguments du "matériel obsolète" car il manque la puce machin qui permet à la nouvelle technologie d'aller plus loin pour "plus d'évolutivité". En même temps on invente des mots pour que "les gens" ne comprennent pas ce qu'ils disent et que ca fasse plus technologie avancée.
On ne peut pas comprendre nous, on est pas "ingénieux en informatiquation".
Quand on voit qu'il faut un 3Ghz avec 64Go de RAM et 8Go de mémoire video pour lire deux MP3 ou afficher 1 voir deux images Jpeg ou lire deux videos en HD ca fait doucement rire.
J'ai peur que certains ne connaissent pas le mot "optimisation"...
Ah, mais c'est sûr, pour te faire rêver avec des choses qui n'existent pas encore, il y a du monde. Et encore plus pour relayer ces infos.

Écrit par : Laszlo Lebrun 10 Apr 2024, 09:00

les deux mp3 et l'image JPEG c'est ce que tu percois. Le reste de la puissance de calcul c'est pour telephoner a 4633653 agences de pub pour leur dire ce que tu fais en ce moment et se protéger de 9879852 attaques de malwares puis indexer pour la 986749 fois les 8765987287240 fichiers d'il y a 14 ans dont tu ne sais même plus ce qu'il représentent et dont les deux tiers sont à des formats obsolètes que plus aucun logiciel ne sait lire.
Pour faire ce boulot de titan les 3Ghz avec 64Go de RAM et 8Go de mémoire video ne sont pas de trop.

Écrit par : STRyk 10 Apr 2024, 09:04

Mais si tu n'est pas "connecté" : a quoi ca sert ?
Parce que bon, pour manger une pomme, pas besoin de couteau ni de fourchette et encore moins d'un ordinateur.

Écrit par : DiarOne 10 Apr 2024, 09:15

Ce qui veut dire que presque tout le parc Apple M1 à M3 portable et une partie bureautique (Ma Mini) est devenu du matériel jetable.
Apple et son ridicule 8go de base...
Merci à tout ceux qui ont fait en sorte qu'Apple n'augmente pas la mémoire.
Si à 8go les gens sautent sur leurs macs, pourquoi passer à 16 ?
Puisqu'on montre clairement qu'on est prêt à se faire pigeonner pour du tout soudé et avec un minimum de capacité. Ça fait depuis les années 2010 que tout le monde est habitué à 16go minimum. Mais les macusers sont à part, ils acceptent de rétrograder sur ce point sans possibilité d'upgrade, c'est quand même magique.

Ah si, passé les 2450€ vous avez 16Go, pardon... Soit le plus cher des Macbook "PRO" 14 pouces qui sera bientôt moins puissant qu'un PC sous Snapdragon.

Écrit par : shawnscott 10 Apr 2024, 09:41

C'est là que je me dis que j'ai bien fait d'opter pour 16 Gb sur mon Mac mini M1 à sa sortie. Mais en effet, 8 Gb de série, ça la fout mal.

Écrit par : CAMEO172 10 Apr 2024, 09:43

oui et non. Ces machines continueront à marcher même si probablement ils ne supporteront pas l'IA.

de la même manière, je regarde la télé avec un écran de 2007 qui n'est pas Full je sais pas quoi, 4k, 8k, 3D, LED et que sais je encore. Et pourtant quand j'allume l'écran j'ai une image qui bouge. et je peux même regarder des bluray via son unique port HDMI. Oui un seul et ça me suffit aussi : je branche mon second câble HDMI à la place quand je raccorde mon écran à mon mac, opération folle aux yeux de ceux qui ne jure que par la modernité.

A un moment, le progrès c'est bien mais on est pas non plus obligé de tout suivre et juste profiter du matériel que l'on a et le mener jusqu'au bout.

Écrit par : DiarOne 10 Apr 2024, 10:38

Sauf que ta TV n'est pas un outils avec lequel tu travailles avec un abonnement aux logiciels qui eux évoluent aussi vite que les ordinateurs. Tu ne te retrouves pas dans l'incapacité de produire sur des logiciels tels que Photoshop beta, and co. Juste par manque de mémoire soudée...

Oui dans le monde informatique hard et software, la mémoire (encore plus quand elle est soudée) est importante, et Apple avec ses 8Go se fout du monde ! les macusers qui achetaient malgré tout encore plus, puisqu'ils disaient à demi mot "okay pour se faire pigeonner"

Encore, si on ne parlait que du Macbook Air, pourquoi pas.
Mais dans la liste, il y a 2 modèles sur 3 de Macbook à l'appellation "PRO" en 14 pouces

"A un moment, le progrès c'est bien mais on est pas non plus obligé de tout suivre et juste profiter du matériel que l'on a et le mener jusqu'au bout."
Je t'invite à regarder ma signature, tu y trouveras un Macbook Pro qui a 12 ans

De plus pour profiter au max du matériel qu'on a, la meilleure solution aurait été de rendre cet appareil évolutif non ?
SI ce n'est pas le cas, c'est que le constructeur veut rendre ses appareils assez rapidement obsolète...

Écrit par : Hebus 10 Apr 2024, 10:44

Le jeux vidéo meme si très porteur reste un marché de niche … avec l’IA ils ont trouvé un super moyen de relancer les achats !

Si tu bosses avec ta machine tu sais quoi choisir pour bosser efficacement

Si tu joues sérieusement, ça fait longtemps que tu as un PC de gamer à 4000€ minimum a base de cartes NVidia

Si tu te sert de ta bécane pour les trucs de base, du web, de la musique, un peu de bureautique, ton MB AIR à 8GB te suffit amplement car de toute façon tu ne feras pas tourner une LLM locale avec tes data… tu as autre chose à foutre de ta vie !

Et fuyez le marketing IA… Même si elle est déjà omniprésente sur vos smartphones

Un nouveau moyen de vendre du matos…

Écrit par : DiarOne 10 Apr 2024, 10:49

Et QUID des machines à l'appellation "pro" donc pour faire plus que des trucs de base (web, musique, bureautique) équipés de seulement 8Go ?
Soit 2 macbook PRO 14 pouces sur 3...
C'est bien beau de parler du MBA, mais ce n'est pas la seule machine à 8Go de base

Écrit par : jeandemi 10 Apr 2024, 10:49

Je ne comprends pas l'origine de l'appellation anglaise "discrete GPU"
"Que l'on peut choisir" (à la discrétion de) ?

L'usage de sa traduction littérale en Français m'arrache les yeux par contre
J'ai une Vega 64 qui est bien une "discrete GPU" mais qui n'est pas du tout discrète quand elle travaille !

Écrit par : JayTouCon 10 Apr 2024, 10:59

et il y en a meme pour payer 4000 balles puisque tu viens de resumer le casque de la pomme, le 1er casque au monde qui pourrait faire ceci ou cela

Écrit par : Hebus 10 Apr 2024, 11:17

On sait très bien que c’est une manière de proposer un prix d’accroche, et que PRO ne veut rien dire, hormis segmenter la gamme, un MBA avec 16 ou 24GB de RAM permet de bosser sérieusement, voir les test en réel de ces machines en dev ou autre , la limite est liée au besoin de faire tourner la machine à fond pendant longtemps, mais ça n’est pas le cas de tout travail pro

Si tu bosses et que tu prends une machine avec 8GB … soit tu ne comprends pas tes besoins, soit tu le fait pour les ports Thunderbolt et les écrans et que tu bosses en remote essentiellement, ce qui arrive dans les entreprises où les gens bossent en remote la plupart du temps car plus économique de faire bosser les gens sur des VM en remote pour des raisons de configuration très musclées sur les serveurs car l’application sur laquelle tu bosses est bien trop gourmand pour une machine personnelle, laptop ou même desktop. Et donc une machine plutôt basique suffira à l’employé (on est en train de passer dans ce mode dans l’entreprise dans laquelle je bosse, le laptop devenant plus un network computer) donc en effet dans ce cas hormis le besoin d’avoir moult écrans… un MBA suffirait



C’est de l’anglais … synonyme : separate

Écrit par : Paul Emploi 10 Apr 2024, 11:46

Mea culpa, mea maxima culpa!

Ce qui parait être un barbarisme est en fait un anglicisme, de "discrete" en Anglais, on emploie aussi couramment maintenant "dGPU".
La plupart des GPU vendues étant intégrées dans les CPU ou plutôt SoC, la frontière entre ces deux termes étant très floue aujourd'hui, où l'on parle alors de iGPU (integrated GPU ou GPU intégrée), la faible minorité de GPU qui ne sont pas intégrées sont appelées "discrètes".
Et pour couronner le tout, ces dGPU ne sont pas seulement des GPU maintenant, mais plutôt des SoC intégrant la GPU comme fonction principale.

Il faut bien noter que l'usage de terme Anglais vient du fait que la langue de l'informatique est l'Anglais, alors qu'il fut un temps où cela venait aussi du Français, comme pour baud issu de Émile Baudot, ou de octet à ne pas confondre en Anglais avec byte qui a un autre sens, l'octet valant toujours 8 bits, et le byte généralement 8 bits mais pas toujours!

Écrit par : scoch 10 Apr 2024, 11:55

Qui vivra verra. En attendant, le Surface Laptop 6 « pour l’IA » propose 8 Go de RAM en configuration de base.


Bien d’accord pour le manque d’optimisation dans le développement en général. Et pour les usages de tout un chacun.
Apparemment tu fais de la MAO. Je ne doute pas que tu en connaisses l’histoire. Les premiers matériels pour faire cela étaient hors de prix, et la majorité des musiciens n’en voyaient pas l’intérêt. Idem dans le monde du graphisme ou de l’image animée.
Et bien d’accord sur le marketing, il faut vendre…
Personnellement, j’essaie d’optimiser. Ayant toujours vécu au centre de grandes villes je n’ai jamais passé le permis de conduire. Et je fais de la musique sans ordinateur, applications, plugins… mais je suis intéressé par ce qu’en font d’autres.

Écrit par : ekami 10 Apr 2024, 13:49

Les services marketing ont leur nouvelle marotte pour tenter de nous fourguer tout et n'importe quoi, et elle risque hélas de durer…
A force de mettre de l'i.A à toutes les sauces, ça va vite devenir indigeste.

Écrit par : scoch 10 Apr 2024, 18:07

Un article pour apporter de l’eau au moulin des critiques de l’IA : https://ploum.net/2024-04-04-la-bulle-ai.html.

Écrit par : Paul Emploi 10 Apr 2024, 19:19

Intéressant article, même s'il ne traite pas vraiment des apports de l'IA dans nos vies, et de ceux qui vont arriver en exécution locale.
Par exemple FaceID. Les upscaling dans les jeux. Les conseils en rédaction dans certains logiciels. La qualité des images et vidéos que nous prenons depuis nos smartphones.
Des avancées profondes et qui améliorent le quotidien.

Je le recommande, car j'ai lu quelques autres entrées de son blog et je les trouve excellentes! À lire donc...

Écrit par : Hebus 10 Apr 2024, 19:38

Je trouve dommage que Apple adopte l’appellation AI , ils devraient rester sur la terminologie ML pour machine learning

AI is a bag of tricks

La carte n’est pas le territoire !

Écrit par : scoch 10 Apr 2024, 20:43

Plein d'opportunités en matière d'accessibilité !

Écrit par : Lionel 11 Apr 2024, 09:29

A ne pas oublier quand même, le roi de ce que l'on appelle l'IA est Nvidia, qui vend des cartes dédiées à 40 000$ pour les clusters. Cela ne peut que faire rêver Apple vous imaginez bien.

Écrit par : jeandemi 11 Apr 2024, 09:40

Merci.
"dGPU" n'est que l'abréviation de "discrete GPU"
Ou on utilise dGPU, ou utilise GPU séparée, mais pas la traduction littérale.
Comme pour le mot "versatile" qui n'a pas le même sens en Français et en Anglais.
Ton texte faisait du coup penser à un texte pêché ailleurs et passé dans un traducteur automatique

Écrit par : glyoscar 11 Apr 2024, 11:56

que veut dire "puissance de traotement 40 Tops"
je ne connais pas cette unite

ceci dit j'ai lu recemment un article, sur les petites mains de l'IA, assez surprenant toutes ces personnes qui passent leur temps a apprendre a delimiter le contour d'un visage, ou delimiter la comprehension d'un text
dans des pays a bas cout, pour les multinationales de l'informatique

en fait d'IA, il ya beaucoup d'interactions humaines, je croyais, que c'etait vraiement intelligent et autonome ces bidules la

Écrit par : Hebus 11 Apr 2024, 12:39

L’IA est un gros sac d’astuces bien mis en valeur par le marketing : AI is a bag of tricks

L’interaction humaine consiste ici à fournir des données qui caractérisent des informations du monde réel, pour qualifier ces données il faut de l’intelligence … humaine donc de la main d’œuvre …

Ici la reconnaissance c’est pour nourrir le système de données afin de trouver un modèle mathématique capable de répliquer cette information en espérant ensuite que le modèle mathématique trouvé soit capable de reconnaître des données n’ayant pas été au préalable utilisées pour ‘entraîner’ Le modèle …

Écrit par : glyoscar 11 Apr 2024, 15:04

en gros Asimov c'est pas pour demain, ya de la marge j'ai l'impression

Écrit par : Hebus 11 Apr 2024, 16:26

Je pense aussi

J’ai posté l’interview récent d’un chercheur Français célèbre dans le domaine , Yann Le Cun, patron de la R&D IA chez Meta , il pense que l’IA générale, ou on dit aussi la singularité (le moment de bascule vers la conscience) ce n’est pas pour demain ! Ouf, on a un peu de marge

Par contre ça peut être spectaculaire, super utile et ça peut remplacer certains postes de travail, comme les machines l’ont toujours fait.

La force brute ça peut être efficace, pas smart mais efficace ! Il suffit de penser à la calculatrice électronique qui nous bat à plate couture assez rapidement, excepté quelques calculateurs prodiges humains.

Écrit par : Paul Emploi 11 Apr 2024, 16:59

Excellente question, vraiment merci de l'avoir posée!

Le T est le préfixe utilisé pour Tera, 10^12 ou 1000 milliards.
"ops" est pour opérations par seconde, tout comme on utilise "flops" pour les calculs flottants où "fl" veut dire floating-point.
En IA on utilise des types données qui peuvent êtres communes avec celles des FPU (intégrées dans nos CPU) ou GPU, comme le fp32, plus souvent utilisé pour la phase d'apprentissage, mais aussi des types flottants rarement employés comme fp16, bf16 ou fp8, et des types entiers où on va trouver int8 ou int4, ceux-là plutôt employé dans la phase dite d'inférence ou de génération, l'exploitation après l'apprentissage.

Je simplifie énormément.
Un point essentiels étant que ces instructions sont généralement des xMAD ou xMADD où on décompte 2 ou 3 opérations par instructions.
Il est courant aussi d'avoir des entrées de types différents, avec les opérations gardant l'échelle du résultat et limitant la perte de précision en sortie.

On utilise Tops pour les opérations des IA, car elles peuvent être flottantes ou entières suivant l'usage, et on complète généralement en indiquant le type de donnée (et son nombre de bits) pour donner par exemple 40 Tops int4 ou 20 Tops bf16, de la même façon que pour du calcul flottant pour CPU via sa FPU et ses unités vectorielles ou une GPU on utilise des Tflops associés là aussi au type "fp" et au nombre de bits, par exemple 8 Tflops fp32.

Il y a de grosses différences de traitement entre du int4, int8 ou bf16, fp16 ou du fp32 par exemple. int8 et bf16 étant similaires en terme de ressources (transistors).
Je regrette que Microsoft n'ai pas été précis sur ce point, pourtant capital.

Écrit par : glyoscar 11 Apr 2024, 17:03

A condition que des petites mains (payees pas cher en extreme orient) puissent faire l'apprentissage necessaire au deploiement de la tache concernee et sans qu'il puisse y avoir d'erreurs possibles
C'est une idee qu'il faut avoir en tete, cela propose deja pas mal de limites

Les problemes de la voiture autonome pourraient etre associees entre autre a cette limite je suppose ?

Écrit par : scoch 11 Apr 2024, 17:28

Dans le cas de l’apprentissage de la conduite autonome, les petites mains sont partout sur le globe : les captchas où on nous demande de cliquer sur les zones d’une image où figurent des véhicules, des feux de signalisation, etc.

Fonctionnant par essais et erreurs, l’apprentissage des machines est hyper laborieux. Par exemple, cette expérience menée par des chercheurs (en simulation 3d) : une voiture reçoit pour seule instruction de se garer dans une place de parking signalée par un rectangle rouge au sol. Pas de règles sinon d’avancer, de reculer et de tourner à droite ou à gauche.
N’ayant pas de sens commun, elle fait n’importe quoi et défonce bien sûr les autres voitures stationnées. Il lui faudra 300000 essais pour arriver à le faire et le refaire de façon fiable. En moyenne, un humain y arrive au bout de trois voire quatre essais. Hyper laborieux donc. Mais aussi hyper rapide : il lui aura fallu 2 secondes pour faire ces 300000 essais.

Écrit par : glyoscar 11 Apr 2024, 18:11

merci a paul "francetravers" emploi pour cette explication

a moins que j'ai rate un episode 40 tops n'est pas a la portée d'une machine de bureau standard

ce qui est interessant, c'est d'essayer de comprendre le jour ou la puissance necessaire sera dispo a tout un chacun, quelle outils seront necessaire a rendre l'utilisation de l'Ia possible,a l'echelle domestique et du developpement personnel

je ne vois pas encore passer des heures a essayer de faire comprendre a des algoritmes, mes intentions de deployement

ca me laisse reveur

Écrit par : Paul Emploi 11 Apr 2024, 18:25

La NPU de la famille M1 faisait déjà 16 Tops, beaucoup de GPU font plus que cela, dont évidemment les nVidia RTX intégrant une NPU de haut-vol.
Le Qualcomm Snapdragon Elite X fait entre 45 Tops et 75 Tops suivant l'unité spécialisée utilisée (il en a deux). Dans un ultra-portable.
Donc c'est accessible.

Pour ce qui est d'un déploiement, et tout un tas d'autre chose, je suis actuellement https://www.cognition-labs.com/introducing-devin.
Ça m'interpelle, ça pourrait être un outil parfait pour quelqu'un d'expérimenté, pour étendre à la fois le champ de compétences couvert avec efficacité, mais aussi pour accélérer un grand nombre de tâches, sous supervision.

Écrit par : Laszlo Lebrun 11 Apr 2024, 19:10

En fait, je ne devrais pas me tromper de beaucoup: l' IA, c'est surtout des modèles de fuzzy logic et une assez grande quantité de données stockées plus que de la puissance de calcul. Et elle est surtout adaptée aux serveurs. L "IA" des traitements locaux dans les smartphones (pour une photo par ex.) est assez limitée dans son champ d'application.

Écrit par : Sethy 11 Apr 2024, 19:38

Pour le PC Nvidia, d'accord mais il y a moyen de se faire plaiz pour la moitié de ce prix.

Écrit par : Hebus 11 Apr 2024, 19:48

Non il faut beaucoup de puissance de calcul , ça fait intervenir énormément de calcul matriciel, d’où les NPU qui sont adaptées à cela , les données sont nécessaires pour résoudre des fonctions mathématiques qui une fois déterminées n’ont plus besoin de ces data d’entraînement

Dans le cas le plus simple il suffit d’exécuter la fonction sur des données en entrée pour obtenir un résultat immédiat

Pour les LLM c’est plus complexe car itératif , il construit du texte en balançant une fenêtre d’une certaine longueur et en calculant le texte qui suit le plus probable , mais la aussi il s’agit d’évaluer des fonction très complexes sur des nombres, le texte étant transformé en nombre selon des algorithmes très variés

Par exemple entraîner ChatGPT sur leur corpus, avec je ne sais plus combien de milliards de paramètres coûte 150 M de $, sans doute plus car essais et erreur nécessite des recalculls , ça n’est pas donné à tout le monde et l’évaluation une fois le système entraîné demande encore pas mal de puissance de calculs qui fait que c’est encore sur les serveurs que ça se réalise , d’où la course au NPU avec le maximum de puissance pour évaluer en local

Bien sûr, mais je prenais le cas où le plaisir est extrême

Je me contente d’une PS5 !

Écrit par : SartMatt 12 Apr 2024, 20:13

Une bonne machine de bureau récente peut y arriver sans problème.

Par exemple, en FP16, toutes les cartes nVidia RTX desktop des séries 2000, 3000 et 4000 dépassent les 40 Tops, sauf la RTX 3050 (qui ne fait que 30).
Et beaucoup de machine de bureau plus anciennes peuvent être mises à jour avec une telle carte, tant qu'elles ont un port PCI-E...
En fait 40 Tops, c'est l'ordre de grandeur de ce qu'on devrait voir dans les meilleurs smartphones de 2024 (l'iPhone 15 Pro est à 35 Tops, le Pixel 8 Pro à 27, donc on peut s'attendre à ce que les 40 Tops soient dépassés cette année sur leurs successeurs).

Écrit par : Sethy 15 Apr 2024, 09:29

Je profite de cette news pour partager une info qui a déjà quelques mois, mais qui est bien dans la lignée de celle-ci.

En gros, c'est la réponse d'Intel face aux puces Apple M : les Cores Ultra (qui reprennent la segmentation 3, 5, 7 et 9, et U/H pour ceusses qui voient avec p-ê des K à venir).

On y trouve :
- les deux types de Core (P et E) + un troisième, les LP-E Cores (très basse conso) qui seraient présent au nombre de deux sur le SoC et pas dans le CPU (si j'ai bien compris).
- des GPUs, soit basés sur les iGPU actuels "Intel Graphics" (modèles U), soit sur les puces Arc (les puces concurrentes aux RTX) pour les 45 W (modèles H).
- enfin une unité NPU

Dans l'une des news, figure un chiffre intéressant, je cite "Une amélioration de l’accélération IA avec jusqu’à 34 ToPS de performances".

J'ajoute que c'est un peu ce que je craignais : une approche SoC, une intégration Intel CPU-Intel GPU qui me fait craindre un début de "raciation" avec Apple-Apple, AMD CPU - AMD GPU, Intel CPU - Intel GPU, etc.

Reste à voir comment seront déclinés les modèles Desktop et si la mémoire sera soudée ou pas ...

Sources :
- https://www.01net.com/actualites/intel-core-ultra-100-le-processeur-qui-veut-revolutionner-lefficacite-energetique.html
- https://www.tomshardware.fr/les-processeurs-meteor-lake-h-p-u-introduiraient-des-lp-e-cores/
- https://www.phonandroid.com/intel-core-ultra-vous-ne-comprenez-rien-aux-nouveaux-noms-des-processeurs-on-vous-explique.html

Écrit par : SartMatt 15 Apr 2024, 18:50

C'est ça. Les LP-E utilisent la même micro-architecture que les E, mais avec des tensions et fréquences de fonctionnement inférieures et un processus de gravure différent (TSMC N6 au lieu de Intel 4) pour consommer moins.
Le fait de les intégrer dans le chipset/SoC fait probablement aussi économiser un peu d'énergie sur les I/O.

Le GPU intégré sur les Core Ultra est sur une "tile" séparée de celle du SoC et de celle des cœurs E et P. Donc Intel a plutôt une approche modulaire, en desktop on continuera sans doute à avoir des déclinaisons avec/sans GPU.
Le NPU sera par contre à priori systématiquement là, dans le chipset/SoC.


Elle n'est déjà pas soudée sur les laptops (enfin pas obligatoirement, c'est l'intégrateur qui décide si il soude la RAM ou pas...), donc pas plus de raison qu'elle le soit sur desktop.
D'ailleurs dans ses slides de présentation Intel a représenté la RAM sous forme de barrette :

Écrit par : Sethy 15 Apr 2024, 20:25

Merci pour ces précisions !