Les performances GPU du M5 : MetalFX à l'œuvre !, Réactions à la publication du 17/10/2025

[Paul Emploi]

Lors des présentations de la WWDC '25 d'Apple, des choses sont passées sous le radar, comme celles basées sur Metal 4 et son sous-ensemble MetalFX disponibles dans macOS 26.

Trois choses ont été amenées dans nos Mac Apple Silicon, disponibles à partir du M1 : le upscaling par IA (agrandir une image fixe ou faisant partie d'une animation), l'interpolation d'images (dans un flux animé), et le débruitage + upscaling. Trois nouveaux pipelines.

Le premier, l'upscaling par IA, s'adresse plus aux jeux, permettant d'augmenter par IA soit la définition proposée au même nombre d'images par seconde, soit le nombre d'image par seconde à la même résolution, soit un mélange des deux.

Le second, l'interpolation d'images animées, s'adresse aussi aux jeux, permettant de générer par IA des images intermédiaires et donc d'augmenter drastiquement le nombre d'images par seconde.
Mais au prix de la latence dans les jeux, qui reste la même. Voire pire.

Le troisième, débruitage + interpolation, permet de réduire le bruit du lancer de rayon (Ray Tracing) de préférence stochastique, et d'introduire des images intermédiaires, augmentant tout à la fois la définition des images et le nombre d'images par seconde. Le Saint Graal!

Tout cela fonctionne depuis les M1, mais évidemment avec des pertes de performances brutes plus que compensées par leurs avantages. Quel rapport avec le M5?

Comme indiqué par Apple, le M5 introduit un nouvel étage IA dans le pipeline des unités graphiques, et qui semble utilisé pour réaliser tout cela sans besoin d'aller-retour avec la NPU ou de seconde passe GPU : magiquement ces fonctionnalités deviendraient "gratuites" en terme de performances.

Et cela expliquerait en grande partie les gains de performances GPU annoncés par Apple pour le M5 : la génération d'images et leur traitement par IA intégrées dans le pipeline graphique, sans aucune pénalité !!!

Lien vers le billet original

[Sethy]

Voilà l'Apple d'aujourd'hui.
Des avancées inutiles en raison de ses choix passés.

[linus]

Super, mais comment le vulgus y a-t-il accès ?
En pratique, est ce que je peux redonner du peps à une veille vidéo ou une vieille photo ? Via quels outils ?

[linus]

Excusez mon incompétence dans ce domaine mais un collègue m'a dit :

"Qu'est ce qu'il y a de nouveau ? L'upscaling, l'interpolation, le débruitage temps réel, c'est ce que font les grandes télés depuis longtemps afin qu'on ne voit pas que le signal reçu n'est souvent que du Full HD et pas du 4k ou du 8k comme trop vanté par la pub."

Que répondre à cela ?

De ce que j'ai lu dans vos messages, MetalFX c'est beau et puissant mais on n'y a pas encore vraiment accès. Aux développeurs de logiciels de traitement d'images et de vidéos de l'implémenter dans leurs applications, c'est ça ? Si oui, cela pourrait il devenir une option de QuickTime Player ... il en aurait bien besoin pour faire oublier QuickTime !

Ce message a été modifié par linus - 18 Oct 2025, 01:06.

[Paul Emploi]

Excusez mon incompétence dans ce domaine mais un collègue m'a dit :

"Qu'est ce qu'il y a de nouveau ? L'upscaling, l'interpolation, le débruitage temps réel, c'est ce que font les grandes télés depuis longtemps afin qu'on ne voit pas que le signal reçu n'est souvent que du Full HD et pas du 4k ou du 8k comme trop vanté par la pub."

Que répondre à cela ?

Qu'il y a upscaling et upscaling, interpolation d'image et interpolation d'image. Débruitage et débruitage, et surtout "débruitage" de lancer de rayons.

Upscaling, Interpolation d'image et "débruitage"

Pour le upscaling, c'était généralement fait simplement en essayant d'augmenter la définition sans apporter d'information en plus, et en fait souvent même en enlevant d l'information (sauf à doubler le ratio, voir Claude Shannon!).
Par exemple du 720p sur une dalle 1080p perd énormément d'informations (ratio 1.5X). Pas sur une dalle UHD/4K (ratio 3X)
Du upscaling avec IA essaye d'imaginer plus d'informations, ou d'hallucinations (!!!) pour augmenter la quantité d'informations finales dans l'image en plus haute définition.
Ça marche bien pour des jeux vidéos. Ça ne semble pas encore pour les vidéos où c'est souvent caricatural.

Il y a plusieurs type d'interpolation d'images. Le premier consiste à projeter les vecteurs de mouvement présent entre l'image précédente et l'image initiale (sans latence mais sans considérer le résultat de l'image suivante). On insère une image avant la suivante sans considérer cette dernière.
Le second à interpoler les vecteurs de mouvements entre l'image initiale et l'image suivante (avec latence énormément augmentée donc! Inutilisable sur les jeux vidéo!). Moins faux mais avec des défauts très limitants. On ajoute une image entre deux autres, mais on perd du temps.
L'IA essaye d'amener le meilleur des deux, en ne s'appuyant que sur l'image initiale et la précédente, avant la génération de l'image suivante, donc sans latence, en imaginant (ou hallucinant encore!) ce que pourrait être cette image intermédiaire générée. Là aussi ça marche bien pour les jeux vidéos, mais avec des défauts.

Et pour l'interpolation d'images dans les jeux vidéos, ça ne réduit pas la latence, ça donne juste l'impression de plus d'informations visuelles (fausses).
Un peu comme des lags TCP/IP sous Quake III, où on peut continuer à avoir l'impression (les images) d'arroser un ennemi alors qu'on est mort quelques dixièmes de secondes avant, et qu'on voit ça après!

Pour ce qui concerne le "débruitage" dans le pipeline MetalFX (dans Metal4 offert sous macOS 26), il ne vise pas le bruit de photos, d'images ou de vidéos, mais le bruit plus ou moins stochastique de lancer de rayons (Ray Tracing), pour permettre de lancer moins de rayons et donc de gagner du temps. Avec donc des "trous" entre les résultats de lancer de rayons, une absence d'information et non un "bruit" comme en photo ou vidéo.
Là l'IA imagine (ou hallucine) l'espace entre les résultats de lancer de rayons. L'IA remplit un espace vide, "débruitage" est probablement inapproprié.

Les télés

Les télés font du upscaling très basique, comme changer la taille d'une image avec l'algo bicubique si connu! Et souvent perte d'information visuelle!
Un exemple, lorsque je regarde du contenu 720p depuis mon lecteur vidéo 1080p sur ma télé 4K, je fais attention à ce que le signal envoyé en HDMI soit 720p pour ne pas dégrader la qualité d'image en le convertissant en 1080p entre-temps. Le 1080p transmettant du 720p équivaut à du 540p (!!!) par la loi de Shannon.

Idem pour les télés qui font de l'interpolation d'image (détection de vecteur de mouvement + création d'une image intermédiaire s'appuyant dessus).
Ce sont des traitements très simples. Généralement basés sur les vecteurs de déplacements.
Des réalisateurs de grand renom ont dit tout le mal qu'ils pensaient des résultats pourris de ces télés. C'est appelé l'effet "soap opera". Je l'ai désactivé.

L'IA et ses bénéfices (et hallucination)

Avec l'IA il s'agit de traitement plus complexes, qui apportent l'imagination de l'IA (et ses hallucinations!) pour créer quelque-chose de plus complexe (mais souvent faux même si beau) et plus animé (même si là aussi erroné, mais préféré à tort).
En résumé c'est un meilleur faux qu'avant, plus fouillé coté détails, déplacements et sans latence. Faux mais généralement considéré comme meilleur.

PS: notez que dans le cadre du sujet, et non des télés et films/vidéos, ce faux amené par les IA a évidemment des avantages dans les jeux et dans les usages professionnels. Je ne couvre là que l'aspect prétention des télés vs. fake imaginés/hallucinés par des IA plus avancées.
Qui n'aimerait pas manipuler une scène 3D en Ray Tracing en 30fps plutôt que 10 fps, même si une partie du résultat imaginé par IA?!?
Ou jouer en 4K plus fouillé (et imaginé/halluciné) depuis un rendering 1080p en gardant la même réactivité? Ou sur un MBA avoir 60fps plutôt que 30 fps en HD?