WWDC 2024 : L’ère de l’IA chez Apple, Réactions à la publication du 10/06/2024

[Gãbriel]

La conférence d’ouverture de la WWDC 2024 vient de se terminer. Y ont été annoncé des nouveautés pour l’ensemble des OS d’Apple mais également une entrée dans une nouvelle ère marquée par l’IA : l’Intelligence Apple. Voici ce que l’on en retient.



Les photos classiques disponibles dans la galerie Photos peuvent désormais être transformées grâce au machine learning en des Photos Spatiales visionnables sur Apple Vision Pro. De nouveaux gestes avec les mains permettent de nouveaux raccourcis en portant le casque. Un mode train fait son apparition en plus du mode avion. Canon lance un objectif permettant de prendre des Photos Spatiales sur son boîtier EOS R7. L’Apple Vision Pro devient progressivement disponible dans de nouveaux pays, dont la France ce 12 juillet.



La nouvelle version d’iOS se démarque par sa customisabilité. Les icônes d’applications peuvent maintenant être placés n’importe où sur l’écran, se dotent d’un Mode Sombre et peuvent même être changés de couleur selon un thème. Le Centre de Contrôle peut lui aussi être personnalisé avec plusieurs groupes et pages. Il s’ouvre d’ailleurs aux applications tierces qui peuvent y ajouter des raccourcis. Sous iOS 18, il sera aussi possible de modifier les actions des deux boutons de l’écran verrouillé, dont les fonctions historiques sont la lampe torche et l’appareil photo.

Apple joue aussi la carte de la confidentialité en permettant de verrouiller les applications avec Face ID ou un mot de passe. Il est aussi possible de masquer complètement la présence d’une application sur l’iPhone.

Les messages s’enrichissent avec des réactions désormais sans limites : tous les emojis/stickers sont utilisables en tant que Tapback. Les messages peuvent désormais être programmés à l’avance (pratique pour ne pas oublier un anniversaire), et le texte peut être stylisé et animé de différents effets. Les iMessage et SMS via satellites sont généralisés pour les iPhone 14 et plus récents (plus seulement en situation d’urgence).

Mail et Photos font du tri de manière intelligente, certains lieux sur Plan se dotent de données topographiques et Cartes s’améliore avec une partie billetterie plus esthétique et fonctionnelle. Un mode de jeu permet d’abaisser la latence du Bluetooth tout en optimisant le nombre d’images par seconde. Les AirPods améliorent l’isolation de la voix lors d’appels.



watchOS intègre désormais un mode permettant de quantifier des progrès en entraînement. Cette onzième itération de l’OS rend (enfin !) possible la mise en place d’un jour « off » pour les anneaux sans casser une série.

Une nouvelle application Vitals regroupe toutes les métriques de santé et permet de suivre leur évolution. La montre d’Apple permet aussi de suivre une grossesse. Les Live Activities débarquent sur Apple Watch et les widgets sont plus intelligents.



Une barre supérieure flottante remplace le menu traditionnellement à gauche dans les applications pour un contenu de bord à bord. SharePlay devient l’outil ultime pour vous transformer en vrai SAV Apple auprès de votre famille avec la possibilité de prendre le contrôle à distance de l’appareil de l’autre (avec son accord, bien évidemment).

L’iPad se dote enfin d’une app calculatrice. Elle est cependant bien plus puissante que sur iPhone grâce à « Math Notes » permettant de résoudre des équations directement depuis une entrée manuscrite. D’ailleurs, l’écriture manuscrite est désormais automatiquement améliorée et il est possible, à travers iPadOS, avec la fonctionnalité « Smart Script », de générer et modifier une écriture manuscrite comme si elle était tapée.



macOS continue son tour de Californie avec le célèbre Sequoia Park. Cette nouvelle version de macOS améliore la fonction « Continuity » : il est possible de répliquer son iPhone sur son Mac et de l’utiliser normalement. Il est même possible de faire des copier/coller entre le Mac et l’iPhone.

macOS se dote enfin d’un système de management des fenêtre natif à la Windows. L’application Keychain rassemble désormais les mots de passe et autres. Le gaming se développe avec Game Porting 2 qui rend encore plus facile de porter des jeux sur Mac. Ubisoft annonce d’ailleurs que son prochain jeu Assassin's Creed sera disponible et optimisé sur Mac et iPad à sa sortie.



C’est la grande annonce de cette WWDC 2024 : l’arrivée de l’IA dans l’écosystème Apple. Jouant sur les initiales anglophones AI, l’Apple Intelligence apporte les modèles génératifs d’intelligence artificielle. Cela permet pour les appareils Apple d’écrire/corriger des textes, générer des images ou emojis personnalisés, obtenir des réponses personnalisées…

Apple mets cependant l’accès sur la confidentialité en traitant le maximum en local sur l’appareil. Pour les requêtes demandant des modèles génératifs plus conséquents et donc en ligne, Apple met en place des protocoles sécurisés qui ne conservent pas les données. Les serveurs utilisés sont d'ailleurs exclusivement composés de composants Apple Silicon. Siri se voit donc boosté à l'IA et devient (enfin ?) intelligent et permissif. Tout cela permet de la prise en compte du contexte et les requêtes successives. Au-delà de Siri, l’IA se retrouve un peu partout en permettant d’accéder à des résumés de mails non lus ou encore de retrouver une photo précise dans sa galerie.

Apple supportera d’autres modèles génératifs que le sien comme le désormais très célèbre ChatGPT. Il demandera cependant bien la permission à l'utilisateur à chaque requête car moins soucieux de la confidentialité qu’Apple Intelligence. Le support d’autres modèles devrait suivre.

Seule la gamme d’iPhone 15 Pro est cependant compatible. Les Mac et iPad équipés d’une puce M1 ou plus récente le sont également.

Lien vers le billet original

[JayTouCon]

Eh non c'est la pomme, puisqu'elle à décidé que le 15 ne supporterait pas l'IA quipréservelavieprivée. j'ai bien dit 'voulu par la pomme'

et ceci à été expliqué plus haut. sur les puces intel c'est moins choquant puisque les puces M ont déjà quelques années, mais sur le 15 qui est le dernier sorti, c'est se moquer ouvertement de ses clients, dont certains seront persuadés lors de la MAJ de bénéficier des fameuses avancées tant vantées.

or ce que la pomme n'arrête pas de survendre c'est 2 choses : la vie privée (la pseudo préservation) & une IA qui resterait en interne contrairement aux vilains concurrents.

- si c'est pour avoir chatGpt sur son téléphone @XIIX, bravo mais scoop, c'est déjà possible !, dingue hein,
- ou faire ce que fait samsung, c'est bien la peine de, une énième fois, venir nous tenir un discours pompeux de marketeux sur la vie privée dont la pomme se fiche royalement. ses serveurs étant sur le sol US sous loi US et quand il s'agit de la Chine, elle fait ce qu'on lui demande (remember airdrop lors des manifestations)

ce que l'on constate, et je suis loin d'être le seul, comme pour son casque, c'est qu'elle annonce des fonctionnalités SANS DATE ou pire laisse imaginer que l'on pourra etc etc, ou bien pour le téléphone elle copie la concurrence (samsung Desk -->miror), modification a la sauce Android de l'écran d'accueil . iOS 18 devait être révolutionnaire . bennnnnn c'est mal barré.

au final cet automne pour les heureux possesseur du 15 pro (max) et du 16, il y aura très peu de fonctionnalités basées sur l'IA maison (pardon on dit AI chez la pomme) le reste (très flou) arrivant courant 2025.

sinon plutôt que de faire des effets d'annonce à 2 balles qui font pschitt on peut utiliser chat gpt comme sur n'importe quel téléphone ou bien retoucher ses photos avec de l'IA chez samsung et google. a chacun son style.

[Laszlo Lebrun]

IA qui resterait en interne

C'est complètment méconnaitre l'IA, qui s'appuie sur de gigantesques bases de données qui contiennent "l'expérience" de l'IA. Sinon ça va rester des biduels genre Fuzzy Logic repeints à la sauce IA...

[SartMatt]

IA qui resterait en interne

C'est complètment méconnaitre l'IA, qui s'appuie sur de gigantesques bases de données qui contiennent "l'expérience" de l'IA. Sinon ça va rester des biduels genre Fuzzy Logic repeints à la sauce IA...

Et à ton avis, pourquoi on fait des NPU si c'est pour ne pas faire tourner les modèles en local ?

Il ne faut pas confondre la construction du modèle, par apprentissage, qui nécessite effectivement des volumes de données considérable, et l'utilisation du modèle, qui elle n'a plus besoin des données de base, mais seulement du modèle, qui est beaucoup moins volumineux.

Pour les LLM génériques, on arrive à des choses déjà sympa avec des modèles de quelques Go. Sur des LLM plus spécialisés, par exemple pour la completion de code, quelques centaines de Mo peuvent être suffisant (voir par exemple le modèle utilisé par les IDE JetBrains, qui fait 100 millions de paramètres, soit grosso modo 100 Mo si les paramètres sont sur 8 bits).

Et pareil pour des modèles faisant de l'OCR, de la reconnaissance d'objets sur des images, etc... Une fois entrainé, ça tient dans pas grand chose. Tiens la semaine dernière il y a même un module NPU pour Rasbperry Pi qui a été lancé. Et le fabricant de ce NPU, il propose des dizaines de modèles préentrainés pour différentes tâche, de la détection de visage à la réduction de bruit en passant par la détection d'objets, qui vont des tailles allant de quelques Ko (oui oui, Ko, ils ont des modèles de seulement 80 Ko dédiés à l'upscaling d'images) à quelques centaines de Mo :https://hailo.ai/products/hailo-software/model-explorer/

À titre d'exemple, voilà ce que donne l'utilisation mémoire sur ma machine quand je fait des requêtes sur un Mistral-7B tournant en local :
 mistral_ram.png ( 2.95 Ko ) Nombre de téléchargements : 14

 mistral_vram.png ( 2.78 Ko ) Nombre de téléchargements : 11


+5 Go des deux côtés (sans doute les même 5 Go qui sont d'abord chargés en RAM avant d'être copiés en VRAM)

Et un Mistral-7B, ça donne déjà des résultats très sympas pour pas mal de choses...