Microsoft et le PC pour IA, Réactions à la publication du 09/04/2024

[Hebus]

que veut dire "puissance de traotement 40 Tops"
je ne connais pas cette unite

ceci dit j'ai lu recemment un article, sur les petites mains de l'IA, assez surprenant toutes ces personnes qui passent leur temps a apprendre a delimiter le contour d'un visage, ou delimiter la comprehension d'un text
dans des pays a bas cout, pour les multinationales de l'informatique

en fait d'IA, il ya beaucoup d'interactions humaines, je croyais, que c'etait vraiement intelligent et autonome ces bidules la

L’IA est un gros sac d’astuces bien mis en valeur par le marketing : AI is a bag of tricks

L’interaction humaine consiste ici à fournir des données qui caractérisent des informations du monde réel, pour qualifier ces données il faut de l’intelligence … humaine donc de la main d’œuvre …

Ici la reconnaissance c’est pour nourrir le système de données afin de trouver un modèle mathématique capable de répliquer cette information en espérant ensuite que le modèle mathématique trouvé soit capable de reconnaître des données n’ayant pas été au préalable utilisées pour ‘entraîner’ Le modèle …

Ce message a été modifié par Hebus - 11 Apr 2024, 13:12.

[glyoscar]

que veut dire "puissance de traotement 40 Tops"
je ne connais pas cette unite

ceci dit j'ai lu recemment un article, sur les petites mains de l'IA, assez surprenant toutes ces personnes qui passent leur temps a apprendre a delimiter le contour d'un visage, ou delimiter la comprehension d'un text
dans des pays a bas cout, pour les multinationales de l'informatique

en fait d'IA, il ya beaucoup d'interactions humaines, je croyais, que c'etait vraiement intelligent et autonome ces bidules la

L’IA est un gros sac d’astuces bien mis en valeur par le marketing : AI is a bag of tricks

L’interaction humaine consiste ici à fournir des données qui caractérisent des informations du monde réel, pour qualifier ces données il faut de l’intelligence … humaine donc de la main d’œuvre …

Ici la reconnaissance c’est pour nourrir le système de données afin de trouver un modèle mathématique capable de répliquer cette information en espérant ensuite que le modèle mathématique trouvé soit capable de reconnaître des données n’ayant pas été au préalable utilisées pour ‘entraîner’ Le modèle …

en gros Asimov c'est pas pour demain, ya de la marge j'ai l'impression

[Hebus]

Je pense aussi

J’ai posté l’interview récent d’un chercheur Français célèbre dans le domaine , Yann Le Cun, patron de la R&D IA chez Meta , il pense que l’IA générale, ou on dit aussi la singularité (le moment de bascule vers la conscience) ce n’est pas pour demain ! Ouf, on a un peu de marge

Par contre ça peut être spectaculaire, super utile et ça peut remplacer certains postes de travail, comme les machines l’ont toujours fait.

La force brute ça peut être efficace, pas smart mais efficace ! Il suffit de penser à la calculatrice électronique qui nous bat à plate couture assez rapidement, excepté quelques calculateurs prodiges humains.

[Paul Emploi]

que veut dire "puissance de traitement 40 Tops"
je ne connais pas cette unite

Excellente question, vraiment merci de l'avoir posée!

Le T est le préfixe utilisé pour Tera, 10^12 ou 1000 milliards.
"ops" est pour opérations par seconde, tout comme on utilise "flops" pour les calculs flottants où "fl" veut dire floating-point.
En IA on utilise des types données qui peuvent êtres communes avec celles des FPU (intégrées dans nos CPU) ou GPU, comme le fp32, plus souvent utilisé pour la phase d'apprentissage, mais aussi des types flottants rarement employés comme fp16, bf16 ou fp8, et des types entiers où on va trouver int8 ou int4, ceux-là plutôt employé dans la phase dite d'inférence ou de génération, l'exploitation après l'apprentissage.

Je simplifie énormément.
Un point essentiels étant que ces instructions sont généralement des xMAD ou xMADD où on décompte 2 ou 3 opérations par instructions.
Il est courant aussi d'avoir des entrées de types différents, avec les opérations gardant l'échelle du résultat et limitant la perte de précision en sortie.

On utilise Tops pour les opérations des IA, car elles peuvent être flottantes ou entières suivant l'usage, et on complète généralement en indiquant le type de donnée (et son nombre de bits) pour donner par exemple 40 Tops int4 ou 20 Tops bf16, de la même façon que pour du calcul flottant pour CPU via sa FPU et ses unités vectorielles ou une GPU on utilise des Tflops associés là aussi au type "fp" et au nombre de bits, par exemple 8 Tflops fp32.

Il y a de grosses différences de traitement entre du int4, int8 ou bf16, fp16 ou du fp32 par exemple. int8 et bf16 étant similaires en terme de ressources (transistors).
Je regrette que Microsoft n'ai pas été précis sur ce point, pourtant capital.

[glyoscar]

Par contre ça peut être spectaculaire, super utile et ça peut remplacer certains postes de travail, comme les machines l’ont toujours fait.

A condition que des petites mains (payees pas cher en extreme orient) puissent faire l'apprentissage necessaire au deploiement de la tache concernee et sans qu'il puisse y avoir d'erreurs possibles
C'est une idee qu'il faut avoir en tete, cela propose deja pas mal de limites

Les problemes de la voiture autonome pourraient etre associees entre autre a cette limite je suppose ?

[scoch]

Dans le cas de l’apprentissage de la conduite autonome, les petites mains sont partout sur le globe : les captchas où on nous demande de cliquer sur les zones d’une image où figurent des véhicules, des feux de signalisation, etc.

Fonctionnant par essais et erreurs, l’apprentissage des machines est hyper laborieux. Par exemple, cette expérience menée par des chercheurs (en simulation 3d) : une voiture reçoit pour seule instruction de se garer dans une place de parking signalée par un rectangle rouge au sol. Pas de règles sinon d’avancer, de reculer et de tourner à droite ou à gauche.
N’ayant pas de sens commun, elle fait n’importe quoi et défonce bien sûr les autres voitures stationnées. Il lui faudra 300000 essais pour arriver à le faire et le refaire de façon fiable. En moyenne, un humain y arrive au bout de trois voire quatre essais. Hyper laborieux donc. Mais aussi hyper rapide : il lui aura fallu 2 secondes pour faire ces 300000 essais.

[glyoscar]

merci a paul "francetravers" emploi pour cette explication

a moins que j'ai rate un episode 40 tops n'est pas a la portée d'une machine de bureau standard

ce qui est interessant, c'est d'essayer de comprendre le jour ou la puissance necessaire sera dispo a tout un chacun, quelle outils seront necessaire a rendre l'utilisation de l'Ia possible,a l'echelle domestique et du developpement personnel

je ne vois pas encore passer des heures a essayer de faire comprendre a des algoritmes, mes intentions de deployement

ca me laisse reveur

[Paul Emploi]

a moins que j'ai rate un episode 40 tops n'est pas a la portée d'une machine de bureau standard

ce qui est interessant, c'est d'essayer de comprendre le jour ou la puissance necessaire sera dispo a tout un chacun, quelle outils seront necessaire a rendre l'utilisation de l'Ia possible,a l'echelle domestique et du developpement personnel

je ne vois pas encore passer des heures a essayer de faire comprendre a des algoritmes, mes intentions de deployement

La NPU de la famille M1 faisait déjà 16 Tops, beaucoup de GPU font plus que cela, dont évidemment les nVidia RTX intégrant une NPU de haut-vol.
Le Qualcomm Snapdragon Elite X fait entre 45 Tops et 75 Tops suivant l'unité spécialisée utilisée (il en a deux). Dans un ultra-portable.
Donc c'est accessible.

Pour ce qui est d'un déploiement, et tout un tas d'autre chose, je suis actuellement Devin de Cognition Labs.
Ça m'interpelle, ça pourrait être un outil parfait pour quelqu'un d'expérimenté, pour étendre à la fois le champ de compétences couvert avec efficacité, mais aussi pour accélérer un grand nombre de tâches, sous supervision.

[Laszlo Lebrun]

en fait d'IA, il ya beaucoup d'interactions humaines, je croyais, que c'etait vraiement intelligent et autonome ces bidules la

En fait, je ne devrais pas me tromper de beaucoup: l' IA, c'est surtout des modèles de fuzzy logic et une assez grande quantité de données stockées plus que de la puissance de calcul. Et elle est surtout adaptée aux serveurs. L "IA" des traitements locaux dans les smartphones (pour une photo par ex.) est assez limitée dans son champ d'application.

Ce message a été modifié par Laszlo Lebrun - 11 Apr 2024, 19:14.

[Sethy]

Si tu joues sérieusement, ça fait longtemps que tu as un PC de gamer à 4000€ minimum a base de cartes NVidia

Pour le PC Nvidia, d'accord mais il y a moyen de se faire plaiz pour la moitié de ce prix.

[Hebus]

Non il faut beaucoup de puissance de calcul , ça fait intervenir énormément de calcul matriciel, d’où les NPU qui sont adaptées à cela , les données sont nécessaires pour résoudre des fonctions mathématiques qui une fois déterminées n’ont plus besoin de ces data d’entraînement

Dans le cas le plus simple il suffit d’exécuter la fonction sur des données en entrée pour obtenir un résultat immédiat

Pour les LLM c’est plus complexe car itératif , il construit du texte en balançant une fenêtre d’une certaine longueur et en calculant le texte qui suit le plus probable , mais la aussi il s’agit d’évaluer des fonction très complexes sur des nombres, le texte étant transformé en nombre selon des algorithmes très variés

Par exemple entraîner ChatGPT sur leur corpus, avec je ne sais plus combien de milliards de paramètres coûte 150 M de $, sans doute plus car essais et erreur nécessite des recalculls , ça n’est pas donné à tout le monde et l’évaluation une fois le système entraîné demande encore pas mal de puissance de calculs qui fait que c’est encore sur les serveurs que ça se réalise , d’où la course au NPU avec le maximum de puissance pour évaluer en local

Si tu joues sérieusement, ça fait longtemps que tu as un PC de gamer à 4000€ minimum a base de cartes NVidia

Pour le PC Nvidia, d'accord mais il y a moyen de se faire plaiz pour la moitié de ce prix.

Bien sûr, mais je prenais le cas où le plaisir est extrême

Je me contente d’une PS5 !

Ce message a été modifié par Hebus - 12 Apr 2024, 13:52.

[SartMatt]

a moins que j'ai rate un episode 40 tops n'est pas a la portée d'une machine de bureau standard

Une bonne machine de bureau récente peut y arriver sans problème.

Par exemple, en FP16, toutes les cartes nVidia RTX desktop des séries 2000, 3000 et 4000 dépassent les 40 Tops, sauf la RTX 3050 (qui ne fait que 30).
Et beaucoup de machine de bureau plus anciennes peuvent être mises à jour avec une telle carte, tant qu'elles ont un port PCI-E...
En fait 40 Tops, c'est l'ordre de grandeur de ce qu'on devrait voir dans les meilleurs smartphones de 2024 (l'iPhone 15 Pro est à 35 Tops, le Pixel 8 Pro à 27, donc on peut s'attendre à ce que les 40 Tops soient dépassés cette année sur leurs successeurs).

[Sethy]

Je profite de cette news pour partager une info qui a déjà quelques mois, mais qui est bien dans la lignée de celle-ci.

En gros, c'est la réponse d'Intel face aux puces Apple M : les Cores Ultra (qui reprennent la segmentation 3, 5, 7 et 9, et U/H pour ceusses qui voient avec p-ê des K à venir).

On y trouve :
- les deux types de Core (P et E) + un troisième, les LP-E Cores (très basse conso) qui seraient présent au nombre de deux sur le SoC et pas dans le CPU (si j'ai bien compris).
- des GPUs, soit basés sur les iGPU actuels "Intel Graphics" (modèles U), soit sur les puces Arc (les puces concurrentes aux RTX) pour les 45 W (modèles H).
- enfin une unité NPU

Dans l'une des news, figure un chiffre intéressant, je cite "Une amélioration de l’accélération IA avec jusqu’à 34 ToPS de performances".

J'ajoute que c'est un peu ce que je craignais : une approche SoC, une intégration Intel CPU-Intel GPU qui me fait craindre un début de "raciation" avec Apple-Apple, AMD CPU - AMD GPU, Intel CPU - Intel GPU, etc.

Reste à voir comment seront déclinés les modèles Desktop et si la mémoire sera soudée ou pas ...

Sources :
- https://www.01net.com/actualites/intel-core...nergetique.html
- https://www.tomshardware.fr/les-processeurs...des-lp-e-cores/
- https://www.phonandroid.com/intel-core-ultr...s-explique.html

[SartMatt]

- les deux types de Core (P et E) + un troisième, les LP-E Cores (très basse conso) qui seraient présent au nombre de deux sur le SoC et pas dans le CPU (si j'ai bien compris).

C'est ça. Les LP-E utilisent la même micro-architecture que les E, mais avec des tensions et fréquences de fonctionnement inférieures et un processus de gravure différent (TSMC N6 au lieu de Intel 4) pour consommer moins.
Le fait de les intégrer dans le chipset/SoC fait probablement aussi économiser un peu d'énergie sur les I/O.

J'ajoute que c'est un peu ce que je craignais : une approche SoC, une intégration Intel CPU-Intel GPU qui me fait craindre un début de "raciation" avec Apple-Apple, AMD CPU - AMD GPU, Intel CPU - Intel GPU, etc.

Le GPU intégré sur les Core Ultra est sur une "tile" séparée de celle du SoC et de celle des cœurs E et P. Donc Intel a plutôt une approche modulaire, en desktop on continuera sans doute à avoir des déclinaisons avec/sans GPU.
Le NPU sera par contre à priori systématiquement là, dans le chipset/SoC.

Reste à voir comment seront déclinés les modèles Desktop et si la mémoire sera soudée ou pas ...

Elle n'est déjà pas soudée sur les laptops (enfin pas obligatoirement, c'est l'intégrateur qui décide si il soude la RAM ou pas...), donc pas plus de raison qu'elle le soit sur desktop.
D'ailleurs dans ses slides de présentation Intel a représenté la RAM sous forme de barrette :
 Meteor_Lake_Architecture_Overview_FINAL_CLEAN_26.png ( 352.17 Ko ) Nombre de téléchargements : 9

[Sethy]

Merci pour ces précisions !