KI-Transformation in der VR-Entwicklung: Wie Meta aus Einzelbildern immersive 3D-Welten zaubert – Bild: Xpert.Digital
Meta Labs entwickeln bahnbrechendes Tool für 3D-VR-Welten
Zukunft der VR-Erstellung: Lebensechte 3D-Welten mit neuer Technologie
Ein Forschungsteam der Meta Reality Labs in Zürich hat eine beeindruckende Technologie vorgestellt, die es ermöglicht, aus einem einzigen Bild lebensechte 3D-Umgebungen für Virtual-Reality-Brillen zu erzeugen. Diese Innovation verspricht, die Art und Weise, wie VR-Inhalte entwickelt werden, grundlegend zu verändern und könnte einen wichtigen Schritt zur Demokratisierung der VR-Inhaltserstellung darstellen. Durch die Kombination verschiedener KI-Methoden gelingt es den Forschern, eine komplexe und mehrdeutige Aufgabe in handhabbare Teilprobleme zu zerlegen und damit den Weg zu vereinfachter VR-Entwicklung zu ebnen.
Passend dazu:
Die technologische Innovation hinter Metas 3D-VR-Umgebungsgenerator
Die von Meta entwickelte Technologie stellt einen neuartigen Ansatz zur KI-gestützten Generierung von VR-Inhalten dar. Das Verfahren besteht aus mehreren aufeinander aufbauenden Schritten, die gemeinsam eine kohärente 3D-Umgebung erschaffen. Zunächst werden mithilfe eines vortrainierten Diffusion-Modells kohärente 360-Grad-Panoramen generiert. Diese werden anschließend durch einen metrischen Tiefenschätzer in die dritte Dimension übertragen.
In den nächsten Phasen des Prozesses wird aus den 3D-Daten eine Point Cloud generiert. Ein sogenanntes Inpainting-Modell füllt dann fehlende Bereiche mit Informationen aus diesen Punktwolken auf und gewährleistet so visuelle Konsistenz. Das Endergebnis ist eine mittels Gaussian Splatting dargestellte 3D-Umgebung, die innerhalb eines definierten Bereichs in VR erkundet werden kann.
Das Forschungsteam, bestehend aus Katja Schwarz, Denis Rozumny, Samuel Rota Bulo, Lorenzo Porzi und Peter Kontschieder, erklärt, dass die zentrale Erkenntnis ihrer Arbeit darin besteht, die von Natur aus komplexe und mehrdeutige Aufgabe, eine 3D-Umgebung aus einem einzigen Bild zu erzeugen, in eine Reihe von besser handhabbaren Teilproblemen zu zerlegen, die jeweils mit bestehenden Techniken gelöst werden können.
Flexibilität der Eingabedaten
Eine bemerkenswerte Eigenschaft der Methode ist ihre Vielseitigkeit hinsichtlich der Eingabedaten. Die Technologie funktioniert nicht nur mit künstlich erzeugtem Bildmaterial, sondern auch mit herkömmlichen Fotografien. Darüber hinaus können sogar reine Textbeschreibungen einer Szene als Input dienen, um hochwertige 3D-Umgebungen zu generieren, die sich für den Einsatz in VR-Brillen eignen.
Potenzial für die Vereinfachung der VR-Inhaltserstellung
Die Möglichkeit, aus einem einzelnen Bild oder einer Textbeschreibung eine vollständige VR-Umgebung zu erzeugen, hat weitreichende Implikationen für die Erstellung von VR-Inhalten. Traditionelle Methoden zur Entwicklung von VR-Umgebungen erfordern erhebliche technische Kenntnisse, spezialisierte Software und oft einen beträchtlichen Zeitaufwand.
Metas neue Technologie könnte diese Hürden signifikant senken und die VR-Inhaltserstellung einem breiteren Publikum zugänglich machen. Nutzer könnten beispielsweise am Beispiel eines einzigen Bilds eine 3D-Umgebung erstellen lassen und diese dann mit Meta Quest erkunden oder als Startumgebung nutzen.
Aktuelle Einschränkungen und Herausforderungen
Trotz des beeindruckenden Fortschritts gibt es noch einige Einschränkungen und Herausforderungen, die in dem Forschungspapier genannt werden. Eine wesentliche Begrenzung ist die Navigation innerhalb der generierten Umgebung, die derzeit auf einen Würfel mit einer Seitenlänge von etwa 2 Metern beschränkt ist. Die Forscher erklären, dass es schwierig sei, den navigierbaren Bereich darüber hinaus auszuweiten, da die Komplexität der Aufgabe dadurch stark steigt.
Zudem unterstützt die Pipeline noch keine Echtzeit-Szenensynthese. Das bedeutet, dass die Erstellung der Umgebung Zeit in Anspruch nimmt. Sobald jedoch die Gaussian-Splats-Umgebung erstellt ist, kann sie in Echtzeit auf einem VR-Gerät angezeigt werden.
Einordnung in Metas strategische Vision
Die Entwicklung dieser 3D-Generierungstechnologie reiht sich ein in Metas umfassendere Strategie zur Verschmelzung von KI und immersiven Technologien. Mark Zuckerberg hat wiederholt die Vision eines Metaversums betont, das als Nachfolger des mobilen Internets fungieren soll.
Meta hat in den letzten Jahren kontinuierlich in die Entwicklung von VR- und MR-Technologien investiert, von der Horizon-Familie für soziale Interaktionen in VR bis hin zur Integration von KI-Assistenten in VR-Umgebungen. Die Fähigkeit, ansprechende 3D-Umgebungen einfacher zu erstellen, ist ein wichtiger Baustein für die Realisierung dieser Vision.
Passend dazu:
KI als Katalysator für die VR-Entwicklung
Die von Meta demonstrierte Technologie steht exemplarisch für einen größeren Trend: Künstliche Intelligenz wird zunehmend zum Katalysator für Fortschritte in der VR-Entwicklung. Ähnliche Ansätze finden sich auch in anderen Bereichen, etwa bei der Erstellung von KI-Avataren für immersive Umgebungen oder bei KI-gestützten virtuellen Welten wie Victoria VR, die OpenAI-Integration nutzt.
Die Kombination von KI und VR eröffnet neue Möglichkeiten für die Erstellung realistischer, interaktiver und intuitiver virtueller Erlebnisse. Dabei könnten insbesondere die Vereinfachung des Entwicklungsprozesses und die Reduzierung technischer Einstiegshürden zu einer breiteren Adoption von VR-Technologien beitragen.
Zukunft der VR: Was Metas 3D-Entwicklung für uns bereithält
Die von Meta entwickelte Technologie zur Generierung von 3D-VR-Umgebungen aus einzelnen Bildern markiert einen bedeutenden Fortschritt in der Vereinfachung der VR-Inhaltserstellung. Durch die geschickte Kombination verschiedener KI-Methoden wird ein komplexes Problem in lösbare Teilaufgaben zerlegt, was zu beeindruckenden Ergebnissen führt.
Wann diese Technologie in kommerziellen Produkten wie der Meta Quest verfügbar sein wird, ist derzeit noch nicht bekannt. Eine Vermarktung scheint jedoch laut den Forschern nicht allzu fern zu liegen. Mit der kontinuierlichen Weiterentwicklung könnten die aktuellen Einschränkungen wie der begrenzte Navigationsbereich überwunden werden.
Die fortschreitende Integration von KI in VR-Technologien verspricht, sowohl die Erstellung als auch die Nutzung virtueller Umgebungen zu revolutionieren. Meta positioniert sich mit Innovationen wie dieser an der Spitze dieser Entwicklung und ebnet den Weg für eine Zukunft, in der immersive digitale Erlebnisse sowohl einfacher zu erstellen als auch zugänglicher für ein breites Publikum sein werden.
Passend dazu:
Ihr globaler Marketing und Business Development Partner
☑️ Unsere Geschäftssprache ist Englisch oder Deutsch
☑️ NEU: Schriftverkehr in Ihrer Landessprache!
Konrad Wolfenstein
Gerne stehe ich Ihnen und mein Team als persönlicher Berater zur Verfügung.
Sie können mit mir Kontakt aufnehmen, indem Sie hier das Kontaktformular ausfüllen oder rufen Sie mich einfach unter +49 89 89 674 804 (München) an. Meine E-Mail Adresse lautet: wolfenstein∂xpert.digital
Ich freue mich auf unser gemeinsames Projekt.
