Apple dévoile une IA bluffante pour créer de la 3D ultra facilement

Comme beaucoup d’utilisateurs français depuis le mois dernier, vous utilisez peut-être Apple Intelligence sur votre iPhone. La suite IA d’Apple est en effet disponible dans l’hexagone depuis la mise à jour iOS 18.4, mais le déploiement ne s’est pas fait sans encombre. Avec un retard aussi conséquent d’Apple dans l’IA, beaucoup s’attendaient à de meilleures performances. Malgré cela, la firme à la pomme pourrait bien exceller dans un domaine précis : la 3D.

Pendant que certains doutent légitimement des capacités d’Apple à rivaliser avec ChatGPT ou Gemini, l’entreprise poursuit ses recherches en intelligence artificielle. Deux nouvelles publications sur son blog Machine Learning démontrent son ambition dans ce domaine. Des avancées pourraient transformer à terme votre expérience avec les appareils Apple. Le Vision Pro semble d’ailleurs déjà impressionner ses premiers utilisateurs par ses capacités de traitement spatial 3D.

Matrix3D : la 3D accessible à tous

Apple vient de publier sur son blog Machine Learning une recherche intitulée Matrix3D, développée en collaboration avec l’Université de Nanjing et l’Université de Hong Kong.

Ce nouveau modèle d’IA vous permet de créer des objets 3D à partir de seulement deux ou trois photos, alors que les méthodes traditionnelles exigent souvent des centaines d’images. Le processus de photogrammétrie, qui transforme des images 2D en modèles 3D, se trouve ainsi considérablement simplifié.

La magie de Matrix3D réside dans son approche unifiée qui combine plusieurs étapes autrefois séparées, comme l’estimation de la profondeur et de l’angle. Les chercheurs d’Apple ont entraîné ce modèle avec une stratégie d’apprentissage masqué, où certaines parties des données étaient volontairement cachées pour forcer l’IA à « remplir les blancs ». Cette technique a permis d’obtenir des résultats remarquables avec un minimum d’images, ouvrant la voie à des applications potentielles pour le Vision Pro.

StreamBridge : votre assistant vidéo intelligent

Le second modèle dévoilé par Apple est baptisé StreamBridge. Contrairement aux modèles d’IA qui analysent des vidéos complètes, il fonctionne en temps réel sur des flux vidéo continus. Vous pourrez ainsi poser des questions sur ce que vous regardez et recevoir des réponses instantanées sur les événements, lieux ou objets qui apparaissent à l’écran.

Plus impressionnant encore, StreamBridge peut agir de manière proactive sans même que vous le sollicitiez ! Dans un exemple fourni par Apple, l’IA guide étape par étape un utilisateur réalisant un dessin, lui offrant des conseils au fur et à mesure de sa progression.

Cette fonctionnalité pourrait être intégrée à Siri ou à l’application Appareil photo dans de futures mises à jour d’Apple Intelligence, offrant un niveau d’assistance jamais vu sur les appareils de la marque.