Aujourd'hui, l'intelligence artificielle peut générer des images, rédiger des textes ou analyser des photographies. Apple Mais l'entreprise a désormais démontré une technologie encore plus avancée. Des experts de la société de Cupertino ont présenté un modèle capable de créer un objet tridimensionnel à partir d'une simple photo, tout en simulant de manière réaliste l'interaction de la lumière avec sa surface. Le résultat n'est pas un simple modèle 3D, mais un objet dont les reflets, la luminosité et autres effets d'éclairage varient naturellement selon l'angle de vue.
Cela pourrait vous intéresser
L'étude s'intitule LiTo : Tokenisation du champ lumineux de surface Cette méthode résout un problème auquel les développeurs sont confrontés depuis longtemps. De nombreuses méthodes actuelles permettent de reconstruire la forme d'un objet, mais peinent à reproduire le comportement de la lumière à sa surface. Si vous avez déjà vu d'anciennes reconstructions 3D réalisées à partir de photographies, vous avez peut-être remarqué que les objets paraissent peu naturels. Les matériaux brillants semblent souvent plats et leur apparence reste quasiment inchangée quel que soit l'angle de vue. C'est précisément l'objectif de ce nouveau modèle. AppLu essaie de répondre.
Cette technologie repose sur le concept d'espace latent, une méthode d'apprentissage automatique permettant de stocker l'information sous forme mathématique. Au lieu de stocker chaque détail d'une image séparément, le modèle convertit les données en une représentation numérique qui capture leurs propriétés et leurs relations. Ces représentations existent ensuite dans un espace multidimensionnel où leur similarité ou leur distance peut être facilement calculée. Cela permet aux modèles de traiter l'information plus efficacement et de générer de nouveaux résultats.
Dans le cas de LiTo, ce principe permet au modèle de décrire simultanément la forme d'un objet et la manière dont la lumière l'éclaire. Le système crée une représentation mathématique compacte contenant des informations sur la géométrie de l'objet et son apparence sous différents angles de vue. Lorsque l'objet doit être affiché à nouveau, la seconde partie du modèle reconvertit cette représentation en un modèle 3D et calcule son apparence sous différentes conditions d'éclairage.
Il est également intéressant de savoir comment Apple Le modèle a été entraîné. Dans ce cas précis, les chercheurs ont utilisé des milliers d'objets numériques rendus sous différents angles et dans diverses conditions d'éclairage. Cependant, le modèle n'a pas reçu toutes ces informations simultanément. Il a fonctionné avec des échantillons de données sélectionnés aléatoirement, à partir desquels il a progressivement appris à reconstruire l'objet entier et ses propriétés visuelles. Grâce à cela, il a appris à saisir non seulement la géométrie elle-même, mais aussi les subtiles variations d'apparence qui surviennent lorsque la direction du point de vue ou la lumière changent.
Une fois le système suffisamment entraîné, un autre modèle a été ajouté pour estimer la représentation latente correspondante à partir d'une seule photo. À partir de là, la partie principale du système crée un objet 3D complet, incluant des effets d'éclairage réalistes. Autrement dit, contrairement aux méthodes de reconstruction traditionnelles, ce modèle ne nécessite pas plusieurs images prises sous différents angles. Une seule image suffit.
À première vue, cela peut sembler une expérience purement théorique, mais des technologies similaires ont des applications très concrètes. Elles peuvent servir, par exemple, à créer des modèles 3D pour la réalité augmentée, dans les jeux vidéo ou à numériser des produits pour les boutiques en ligne. Il suffit de prendre une photo de l'objet et le système crée automatiquement une image tridimensionnelle que l'utilisateur peut faire pivoter et visualiser sous différents angles.
Des recherches similaires sont Applu est assez courant et sert souvent de base aux technologies futures de ses produits. Pensez simplement aux algorithmes photographiques dans iPhonech ou sur technologies associées à la numérisation LiDAREt si Apple Alors que l'informatique spatiale et la réalité augmentée s'orientent résolument vers ce domaine, le développement de tels modèles prend tout son sens. La capacité à créer un objet 3D réaliste à partir d'une simple photo pourrait bien être l'une des technologies qui fonctionneront en arrière-plan de nos appareils à l'avenir, sans que nous nous rendions compte de la complexité des calculs sous-jacents.
Mais ces fonctionnalités auraient dû être présentes dans la première version, comme ceci apple cela montrait à nouveau à quel point il était en retard, par exemple lorsqu'ils changeaient lightning derrière l'USB-C