发表于:2025年7月24日 /更新,发表于:2025年7月24日 – 作者: Konrad Wolfenstein
iPhone Pro使它成为可能:应用程序将普通视频转换为沉浸式3D体验
空间记忆:Wist应用程序可让您度过过去的时刻
想象一下,您不仅可以观看孩子的生日或上一个假期的旧视频,而且还可以进入现场并进入现场。正是这个引人入胜的诺言使一个名为Wist的应用程序,这是我们捕捉和体验过去的方式。它使普通的智能手机视频变成了三维“空间记忆”。
已经在许多口袋中的技术:当前iPhone Pro型号的激光扫描仪使这成为可能。结合高斯分裂等高级算法,Wist不仅创建了一个视频,而且可以创建一个完整的3D重建。然后,可以使用混合现实耳机(例如Meta Quest 3或Apple Vision Pro)来连续探索这一点,就像您正在输入个人全息图一样。
但是Wist不仅仅是技术gi头,还远远超出了苹果本地的空间视频格式。虽然后者提供了立体图像,但Wist可以在录音中进行真正的运动自由。这种技术的跳跃为深刻的问题打开了大门:如果我们再也不能看过去,但可以承诺,这对我们的记忆意味着什么?出现了什么治疗机会,怀旧成瘾和数字虐待的危险潜伏在哪里,他们如何绘制“黑镜”的黑暗未来视野?
在本文中,我们将自己深深地沉浸在空间记忆的世界中,并回答有关Wist的最重要问题 – 从技术基础到情感效应再到伦理和经济方面。它阐明了一种有可能从根本上改变我们与过去的关系的技术。
适合:
一句话中有什么?
Wist是一个智能手机应用程序,可将传统的视频记录转换为步入式3D场景,以便用户可以使用增强和混合现实头(例如Meta Quest 3或每个空间填充苹果视觉)体验他们的记忆。
为什么单个应用程序会归因于如此之多的关注?
因为Wist首次尝试将日常记忆转换为无用户的实时全息图,需要特殊的摄像头或昂贵的桌面软件。
是什么区别于经典的2D视频或iPhone 15 Pro上的当今空间视频录制?
Wist也不只记录两张立体相机图像,而是在LiDar传感器上提高了深度数据,而是将它们与精确的设备姿势结合在一起,并将所有内容包装成重建的点或高斯分裂模型,从而使观众可以进行真正的视差运动。
WIST-CEO ANDREW MCHUGH如何定义“空间内存”一词?
作为对生活状况的数字重建,可以物理地进入和自由移动,这补充了既定的照片或视频模式,并具有房间坐标和深度。
这个想法是新的吗?
VR中的空间内存评估等研究领域已经存在多年,但是没有日常的消费者应用程序可以自动将视频转换为交互式3D场景。
哪些Apple设备支持Wist录制?
Apple设备在吸收Wist视频中起着核心作用,在该视频中,只有某些iPhone模型支持此功能。具体来说,这些都是iPhone 13的Pro和Pro-Max世代,配备了LIDAR扫描仪。 iPhone 13 Pro是用于WIST录制的入门级型号,其次是iPhone 14 Pro的A16 CPU。 iPhone 15 Pro还提供本机空间视频功能。相比之下,诸如iPhone 15之类的标准型号无法吸收Wist视频,因为它们缺乏所需的LIDAR扫描仪。因此,该技术仅限于具有必要传感器的高质量专业变体。
为什么要戴上LiDAR扫描仪?
扫描仪会发出激光冲动,测量其术语直到反射,从而提供毫米优雅的深卡,这对于固体3D重新制定至关重要。
手机的计算能力也发挥作用吗?
是的,因为该应用程序在本地进行重建管道的大部分,因此需要A15的A serie Soc。
典型的录音如何工作?
该应用在视频模式下直接启动;用户胶片最多为40 s,而LIDAR和运动传感器则收集同步数据。
录音后会发生什么?
iPhone分割的视频帧,从深度和姿势创建一个点云,使用高斯 - 切片进行优化,并存储原始数据以进行以后的管道更新。
为什么原始数据很重要?
未来的软件版本可以使用更高级的算法重建相同的场景,而无需用户再次拍摄。
您如何进入内存?
通过iPhone上的AR模式或通过专用的混合现实应用程序,用于Quest 3或Vision Pro,3D场景将其作为全息球放置在房间中。
在任务3上,哪个图像速率达到了?
由于FOVEATED VRSPLITTIT GRID,演示构建了40万高斯人创建稳定的72 fps。
Apple Vision Pro是否使用相同的数据?
是的; WIST将模型作为USD-Z资产导出,它代表Vision Pro在其现实套件渲染器中,从而使Apple切换了自己的外观阴影。
什么是高斯的碎片?
一个程序,每3D排练编码为各向异性高斯克洛克,带有颜色;渲染时,数百万这些椭圆形通过GPU网格在屏幕上分开。
为什么Wist选择此过程而不是经典网格?
因为它可以有效地处理非结构化的深度样本,因此可以提供影像型软边的重建,并可以在头部跟踪的VR中缩放。
有视线角度吗?
是的。由于仅拍摄了相机位置,因此缺少后视图。边缘可以显得透明。
该应用如何最大程度地减少这些障碍?
通过基于ML的填充扩散模型,这些模型填充了孔,以及基于神经网络的深度分辨率。
这与苹果的本地空间视频相比如何?
Apple提供立体声RGB,但没有免费的视差; Wist提供了运动的自由,但以遥远的角度牺牲细节。
有哪些心理学研究用于空间记忆?
VR研究表明,混合现实环境是密集型触发的情节记忆,而不是2D刺激。
这样的记忆区域可以具有治疗作用吗?
是的;基于VR的记忆重播检查了应对创伤和老年人的应用程序,报告了更高的记忆忠诚度和情感反应。
场景在哪里保存?
默认情况下,本地和加密的iCloud存储中;云处理仍然是可选的。
第三方可以重建我的房间吗?
只有用户授予发布; Meta-Quest-Policy需要单独同意空间数据共享。
数据保护主义者看到什么风险?
滥用高分辨率的私人房间,用于针对,深层操纵或社会工程攻击。
Wist有商业模式吗?
免费增值平台:免费的基本帐户,较长剪辑,云渲染积分和多用户会议的高级订阅。
谁投资?
Silicon-Valley-XR基金的钓鱼回合;三星XR Design的首席执行官安德鲁·麦克休(Andrew McHugh)带来了行业联系。
有竞争吗?
Apple本身,Insta360硬件,第三方应用程序(例如空间),这些应用程序为空间视频提供了更高的分辨率。
适合:
这样的应用程序运作哪些文化叙事?
诸如“黑镜”之类的系列表示记忆重播是一种祝福和诅咒。 Heise与“悼词”的情节进行了比较,其中VR记忆看起来很康复。
怀旧会上瘾吗?
研究人员警告说,昨天完美地重建逃避现实的风险超出了真实现在的吸引力。
有积极的异象吗?
纪念传达可以保护历史场所,家庭故事或文化遗产,使教育更具互动性。
哪种光线是理想的?
天然,均匀的光;没有硬阴影,因为LiDar会影响流浪光。
剪辑可以多长时间?
目前40 s;较长的序列呈指数级增加数据的量,并使实时流很难。
哪些主题特别值得?
在空间动态的场景中,在相机前的1 m – m区域(例如生日或宠物运动)的区域进行了深度分级。
有SDK吗?
WIST计划API访问重建管道以连接外部XR应用程序。
您如何将Wist场景整合到团结中?
使用USD-Z导出和一个高斯渲染器软件包,其中包含用于多层拆分的VR优化排序算法。
移动芯片组中的3DG硬件是否加速了?
高斯信号张核心的专利路线图用于高斯 - 前向板块,可在智能手机SOC上进行90 fps混合现实重播。
未来的iPhone如何改善录音?
关于二人阵列阵列的谣言范围为10 m,可变点密度循环,这将允许实时扫描360°。
AI会完全关闭孔吗?
与实际的多视扫描相比,扩散模型的光征钥匙得分从0.95处获得,大大降低了阴影伪影和纹理纤维。
我们与过去的关系会发生变化吗?
是的。一旦看到个人历史,而且在空间上经历了记忆与当前转变之间的界限 - 有同理心和情感洪水风险的机会。
WIST表明,即使消费电子产品也能够作为全息门户准备私人时刻。这项技术非常有效,但在道德上具有挑战性。如果使用它们,则应权衡保存和分享记忆与数据保护和成瘾问题的机会。
适合:
您的全球营销和业务发展合作伙伴
☑️我们的业务语言是英语或德语
☑️ 新:用您的国家语言进行通信!
我很乐意作为个人顾问为您和我的团队提供服务。
您可以通过填写此处的联系表,或者直接致电+49 89 89 674 804 (慕尼黑)。我的电子邮件地址是: wolfenstein ∂ xpert.digital
我很期待我们的联合项目。