Transformation de l'IA dans le développement de la réalité virtuelle : comment Meta crée des mondes 3D immersifs à partir d'images individuelles – Image : Xpert.Digital
Meta Labs développe un outil révolutionnaire pour les mondes de réalité virtuelle 3D
L'avenir de la création en réalité virtuelle : des mondes 3D plus vrais que nature grâce aux nouvelles technologies
Une équipe de recherche de Meta Reality Labs à Zurich a dévoilé une technologie impressionnante permettant de générer des environnements 3D ultra-réalistes pour casques de réalité virtuelle à partir d'une seule image. Cette innovation promet de révolutionner le développement de contenu VR et pourrait constituer une avancée majeure vers la démocratisation de la création de contenu VR. En combinant différentes méthodes d'intelligence artificielle, les chercheurs sont parvenus à décomposer une tâche complexe et ambiguë en sous-problèmes plus simples, ouvrant ainsi la voie à un développement VR simplifié.
Convient à:
L'innovation technologique à l'origine du générateur d'environnements VR 3D de Meta
La technologie développée par Meta représente une approche novatrice de la génération de contenu VR par intelligence artificielle. Le processus se compose de plusieurs étapes séquentielles qui, ensemble, créent un environnement 3D cohérent. Tout d'abord, des panoramas cohérents à 360 degrés sont générés à l'aide d'un modèle de diffusion pré-entraîné. Ceux-ci sont ensuite transposés en trois dimensions grâce à un estimateur de profondeur métrique.
Dans les phases suivantes, un nuage de points est généré à partir des données 3D. Un modèle de remplissage comble ensuite les zones manquantes grâce aux informations issues de ce nuage de points, garantissant ainsi une cohérence visuelle. Le résultat final est un environnement 3D rendu par projection gaussienne, explorable en réalité virtuelle dans une zone définie.
L'équipe de recherche, composée de Katja Schwarz, Denis Rozumny, Samuel Rota Bulo, Lorenzo Porzi et Peter Kontschieder, explique que l'idée centrale de leurs travaux est de décomposer la tâche intrinsèquement complexe et ambiguë de la création d'un environnement 3D à partir d'une seule image en une série de sous-problèmes plus faciles à gérer, chacun pouvant être résolu à l'aide de techniques existantes.
Flexibilité des données d'entrée
L'une des caractéristiques remarquables de cette méthode est sa polyvalence quant aux données d'entrée. La technologie fonctionne non seulement avec des images générées artificiellement, mais aussi avec des photographies classiques. De plus, même des descriptions textuelles d'une scène peuvent servir à générer des environnements 3D de haute qualité, compatibles avec les casques de réalité virtuelle.
Potentiel de simplification de la création de contenu VR
La possibilité de créer un environnement de réalité virtuelle complet à partir d'une simple image ou d'une description textuelle ouvre des perspectives considérables pour la création de contenu VR. Les méthodes traditionnelles de développement d'environnements VR exigent une expertise technique pointue, des logiciels spécialisés et souvent un investissement en temps important.
La nouvelle technologie de Meta pourrait considérablement réduire ces obstacles et rendre la création de contenu VR accessible à un public plus large. Par exemple, les utilisateurs pourraient créer un environnement 3D à partir d'une simple image, puis l'explorer avec Meta Quest ou l'utiliser comme environnement de départ.
Restrictions et défis actuels
Malgré les progrès impressionnants, certaines limitations et difficultés persistent, comme le souligne l'article de recherche. L'une des principales limitations concerne la navigation au sein de l'environnement généré, actuellement restreinte à un cube d'environ 2 mètres de côté. Les chercheurs expliquent qu'étendre la zone navigable au-delà de cette dimension s'avère complexe car cela accroît considérablement la difficulté de la tâche.
De plus, le pipeline ne prend pas encore en charge la synthèse de scènes en temps réel. La création de l'environnement prend donc du temps. Cependant, une fois l'environnement Gaussian Splats créé, il peut être affiché en temps réel sur un casque de réalité virtuelle.
Intégration dans la vision stratégique de Meta
Le développement de cette technologie de génération 3D s'inscrit dans la stratégie globale de Meta visant à fusionner l'IA et les technologies immersives. Mark Zuckerberg a maintes fois souligné sa vision d'un métavers destiné à succéder à l'internet mobile.
Ces dernières années, Meta a investi de manière constante dans le développement des technologies de réalité virtuelle (RV) et de réalité mixte (RM), de la gamme Horizon pour les interactions sociales en RV à l'intégration d'assistants IA dans les environnements de RV. La capacité à créer plus facilement des environnements 3D immersifs est un élément essentiel à la concrétisation de cette vision.
Convient à:
L'IA comme catalyseur du développement de la VR
La technologie présentée par Meta illustre une tendance plus large : l’intelligence artificielle devient un catalyseur de plus en plus important pour les progrès du développement de la réalité virtuelle. On retrouve des approches similaires dans d’autres domaines, comme la création d’avatars IA pour les environnements immersifs ou les mondes virtuels basés sur l’IA, tels que Victoria VR, qui utilise l’intégration d’OpenAI.
L'association de l'IA et de la VR ouvre de nouvelles perspectives pour la création d'expériences virtuelles réalistes, interactives et intuitives. En particulier, la simplification du processus de développement et la réduction des obstacles techniques à l'entrée sur le marché pourraient favoriser une adoption plus large des technologies de VR.
L'avenir de la VR : ce que nous réserve le développement 3D de Meta
La technologie de Meta, qui permet de générer des environnements 3D en réalité virtuelle à partir d'images individuelles, représente une avancée majeure dans la simplification de la création de contenu VR. En combinant astucieusement différentes méthodes d'IA, un problème complexe est décomposé en sous-tâches résolubles, ce qui permet d'obtenir des résultats impressionnants.
On ignore pour l'instant quand cette technologie sera disponible dans des produits commerciaux comme le Meta Quest. Cependant, selon les chercheurs, sa commercialisation semble imminente. La poursuite des développements permettra de surmonter les limitations actuelles, telles que la zone de navigation restreinte.
L'intégration croissante de l'IA dans les technologies de réalité virtuelle promet de révolutionner la création et l'utilisation des environnements virtuels. Grâce à des innovations comme celle-ci, Meta se positionne à l'avant-garde de cette évolution, ouvrant la voie à un avenir où les expériences numériques immersives seront à la fois plus faciles à créer et plus accessibles à un public plus large.
Convient à:
Votre partenaire mondial de marketing et de développement commercial
☑️ Notre langue commerciale est l'anglais ou l'allemand
☑️ NOUVEAU : Correspondance dans votre langue nationale !
Konrad Wolfenstein
Je serais heureux de vous servir, vous et mon équipe, en tant que conseiller personnel.
Vous pouvez me contacter en remplissant le formulaire de contact ou simplement m'appeler au +49 89 89 674 804 (Munich) . Mon adresse e-mail est : wolfenstein ∂ xpert.digital
J'attends avec impatience notre projet commun.
