Niantic Lightship 的增强现实技术和基于位置的 AR 开发

Konrad Wolfenstein

9个月前

Niantic Lightship 的增强现实技术和基于位置的 AR 开发 – 图片：Xpert.Digital

忘掉GPS吧：这项全新的AR技术可以将你的手机定位到厘米级。

### 人人都能体验高端AR：Niantic Lightship如何将3D扫描带入每部智能手机——无需激光雷达 ### 扫描即玩：AR革命正在彻底改变多人游戏体验 ### 不止于宝可梦：Niantic的新平台如何让你的摄像头理解世界 ###

下一个数字化时代已经到来：为什么数字艺术作品和游戏很快就会在你的城市扎根

我们所熟知的世界正被赋予一个精准的数字维度。打造了全球现象级游戏《精灵宝可梦GO》的Niantic公司，正通过发布Lightship 3.0，开启增强现实的新时代。这个开发者平台不仅能将数字内容投射到我们的环境中，还能以前所未有的精度将其锚定，从而从根本上改变我们与现实世界的互动方式。这场变革的核心是视觉定位系统（VPS），这项技术超越了传统的GPS，能够实现厘米级的定位精度。VPS依托于由数百万玩家共同创建的庞大3D世界地图，使虚拟物体能够被放置在精确的物理位置，并且这些位置信息持久且可供所有用户共享。.

但 Lightship 的功能远不止于此。它普及了实时网格化等先进的增强现实 (AR) 功能，能够捕捉环境的几何形状，即使是没有专用激光雷达传感器的智能手机也能使用。得益于无缝的协同定位，多人游戏体验变得像“扫描即玩”一样简单；语义分割则教会摄像头区分天空、地面、建筑物，甚至是植物。凭借这些技术，Niantic 正在为下一代沉浸式应用奠定基础——从基于位置的游戏和互动式城市之旅，到持久性数字艺术装置和全新的社交互动形式。.

Pokémon GO 的开发者揭示了未来：这就是全新 AR 世界运作的方式。

随着 Niantic Lightship 3.0 的推出，增强现实技术迎来了一个重要的里程碑。这个面向基于位置的增强现实应用的综合平台，为开发者将数字内容精准地锚定在现实世界中开辟了全新的可能性。与此同时，视觉定位系统正在革新我们对增强现实应用中空间精度的认知。.

Niantic Lightship是什么？该平台提供哪些基本功能？

Niantic Lightship ARDK（增强现实开发者工具包）是一个全面的框架，用于开发专为基于位置的体验而设计的 AR 应用。该平台直接构建于 Unity 的 AR Foundation 之上，并显著扩展了其功能。它并非 AR Foundation 的替代品，而是一个无缝扩展，可以覆盖现有的深度感知、遮挡和网格划分等系统，并添加新的功能。.

Lightship 的核心理念在于让各种设备都能体验到先进的 AR 功能。传统的 AR 网格技术依赖于 LiDAR 传感器，而这种传感器通常只在高端设备上配备。Lightship 则无需专用传感器，即可在普通智能手机上实现这些功能。这种跨平台兼容性涵盖 iOS 和 Android 设备，使得更多用户能够体验到先进的 AR 功能。.

与 Unity 集成极其简单：开发者只需安装 Lightship 包并在 XR 设置中启用它即可。现有的 AR Foundation 项目只需点击几下即可扩展，无需完全重写代码。这种无缝集成意味着开发者可以继续使用熟悉的 AR Foundation 工作流程，同时还能受益于 Niantic 的高级功能。.

视觉定位系统的工作原理是什么？它利用哪些技术原理实现厘米级的精确定位？

Niantic 的视觉定位系统 (VPS) 代表了增强现实 (AR) 定位领域的一次范式转变。GPS 系统在理想条件下通常能提供约一米的精度，在人口密集的城市地区精度会下降到几米，而 VPS 则能达到厘米级精度。这种卓越的精度是通过一套复杂的 AI 驱动的神经网络和视觉模式识别系统实现的。.

VPS 的技术基础是对单个摄像头图像进行分析，并将这些图像与一个全面的 3D 世界地图进行比对。该地图是通过持续收集数百万 Niantic 旗下游戏（例如 Pokémon GO 和 Ingress）用户的扫描数据而创建的。Niantic 每周都会收到大约一百万次新的扫描数据，每次扫描都包含数百张单独的图像，这些数据有助于不断完善全球地图。.

该系统通过部署超过5000万个神经网络来实现其功能，这些神经网络拥有超过150万亿个参数，在全球超过100万个地点运行。平均而言，每个地点大约由50个神经网络负责，每个神经网络拥有约300万个参数。这些神经网络可以将数千张地图图像压缩成精简的神经网络表示，从而为新的查询提供精确的定位数据。.

定位是通过六维定位方法（6DOF – 六个自由度）实现的，该方法不仅确定设备的地理位置，还确定其在空间中的方向。这种方法能够将数字内容与现实世界中的位置精确关联起来，确保所有用户都能在相同的物理位置看到相同的内容。.

目前有哪些地区提供VPS服务？全球覆盖范围是如何构建的？

Niantic 的全球 VPS 覆盖范围呈现出以都市区和人流量大的公共场所为重点的战略增长模式。目前，全球已有超过一百万个 VPS 可用位置，这些位置是从一千万个已扫描位置中筛选出来的。这些数据表明，Niantic 经过严格筛选，只发布质量最高、最可靠的扫描数据供生产使用。.

主要重点区域包括六个覆盖密度极高的重点城市：旧金山、洛杉矶、西雅图、纽约、伦敦和东京。这些城市作为试点区域，Niantic 正在开展密集的地图绘制活动并部署专业的勘测团队。选择这些城市不仅基于其战略重要性，还基于 Niantic 现有游戏中极高的用户活跃度。.

每个启用虚拟专用服务器 (VPS) 的位置覆盖直径约十米的范围，可为该半径范围内的用户提供可靠的定位。无论用户在激活区域内的哪个位置，此范围都能确保精准定位。这些位置涵盖了公园、步道、地标、本地商户和其他公共区域等多种类型。.

地理空间浏览器工具允许开发者探索可用的VPS位置、提名新的位置，并下载3D网格数据用于他们的项目。同时，目前处于公开测试阶段的Niantic Wayfarer应用程序允许开发者和用户向地图添加新的位置，从而促进地图的持续扩展。.

Lightship 3.0 为没有 LiDAR 传感器的设备提供了哪些高级网状网络功能？

Lightship 3.0 的网格划分技术代表了增强现实 (AR) 开发领域的一项重大技术突破。传统上，实时网格划分仅限于配备激光雷达 (LiDAR) 传感器的设备，这使得这项先进功能仅限于少数高端智能手机。Lightship 通过采用完全基于 RGB 相机数据的专有算法，彻底革新了这一现状。.

该系统利用深度估计和跟踪数据生成实时网格，该网格代表扫描的真实世界的估计几何形状。它将物理环境转换为由镶嵌三角形组成的网格，从而创建出计算机可读的物理世界表示。这种网格数据使得虚拟物体能够与其环境进行逼真的物理交互——例如，虚拟球可以逼真地从地板和墙壁上弹跳。.

Lightship 网格扩展程序为开发者提供了对网格参数的全面控制。目标帧速率可以进行调整，以优化性能和质量之间的平衡。最大积分距离决定了生成新网格块的距离，而体素大小则影响表面渲染的精度。较大的体素可以节省内存，但会降低生成表面的细节水平。.

一项创新功能是基于距离的体积清理系统，该系统通过在已处理的元素移出活动网格生成区域后立即将其移除，从而节省内存并降低延迟。此外，该系统还提供实验性的细节层次功能，通过自适应的细节层次进一步优化内存消耗和延迟。.

多人游戏协同定位如何与视觉定位系统协同工作？

多人协同定位是 Lightship 3.0 最令人印象深刻的创新之一，它解决了共享 AR 体验的一个根本性问题。传统上，多人 AR 应用需要复杂的输入系统，例如加入码或二维码扫描，才能将多个用户同步到共享的虚拟空间。Lightship VPS 通过基于 VPS 位置视觉检测的自动协同定位，消除了这些障碍。.

当第一个用户扫描一个支持虚拟专用服务器 (VPS) 的位置时，流程便开始了。系统会自动以厘米级的精度定位设备的位置和方向，从而建立一个共同的参考系。后续用户只需将设备指向同一位置即可自动加入多人游戏。这种无缝集成使得增强现实 (AR) 多人游戏体验如同“扫描即玩”般简单。.

该技术实现采用了 Lightship 的 SharedSpaceManager 类，它可以自动创建网络连接，并支持最多十名玩家同时在线。该系统采用模块化架构，允许开发者根据自身需求集成各种网络服务。尤其值得一提的是，它与 Unity 的 Netcode for GameObjects 集成，使得无需重新编写网络协议栈即可将现有的多人游戏移植到 AR 平台。.

服务器托管也支持其他方法，例如通过二维码进行图像追踪，但VPS提供了更加便捷的用户体验。开发者甚至可以实现混合模式，例如一名玩家在家中使用桌面版游戏，而其他玩家则同时在现实世界的VPS服务器上参与游戏。.

Lightship 提供了哪些语义分割功能？这 20 个类别如何扩展环境识别？

Lightship 3.0 的语义分割技术代表了增强现实 (AR) 开发中最先进的环境感知实现之一。该系统能够自动识别和分类场景中的各种元素，从而实现 AR 应用中与现实世界的上下文感知交互。这项技术远不止简单的行人检测，它能够对物理环境进行全面分类。.

该系统提供二十种分割类别，涵盖天空、地面、自然地面、人工地面、水体、人物、建筑物、植被和草地等基本类别。此外，系统还提供实验性通道，用于检测花朵、树干、宠物、沙子、屏幕、泥土、车辆、食物、座椅和雪等特殊物体。这种精细的分类使开发者能够编写高度定制化的增强现实交互程序。.

技术实现通过两种互补的数据格式完成。首先，将打包的语义通道以无符号整数缓冲区的形式提供，其中 32 位分别对应一个语义通道，并处于启用或禁用状态。其次，每个语义通道还提供介于 0 和 1 之间的归一化浮点值，用于指示像素属于指定语义类别的概率。.

单个像素可以同时被赋予多个类别——例如，地面可以同时被归类为“土壤”和“天然土壤”。这种多重归属实现了细致入微的交互，使增强现实（AR）应用能够根据上下文做出反应。例如，虚拟宠物可以识别适合奔跑的草地，AR 行星可以填充检测到的天空，或者将真实的地面转化为 AR 熔岩。.

🗒️ Xpert.Digital：扩展现实和增强现实领域的先驱

寻找合适的元宇宙机构、策划公司或咨询公司 - 图片来源：Xpert.Digital

🗒️ 寻找合适的元宇宙机构、策划公司或咨询公司——反复搜索：咨询与策划十大技巧

更多信息请点击这里：

元宇宙和扩展现实领域的专家：找到合适的合作伙伴

多人AR游戏轻松上手：最多支持十名玩家的协同定位

Lightship 如何与 AR Foundation 集成？需要考虑哪些兼容性方面的问题？

Lightship 与 Unity 的 AR Foundation 的集成代表着与之前版本的 ARDK 相比的一次根本性重新设计。ARDK 2.X 迫使开发者在 Niantic 的系统和 Unity 的 AR/XR 系统之间做出选择，而 3.0 版本则实现了两个框架的无缝结合。这种混合架构使 Lightship 成为 AR Foundation 的真正扩展，而非替代品。.

实际应用非常简单。开发者只需通过 Unity 的包管理器安装 Lightship 包，并在 XR 设置中启用它即可。现有的 AR Foundation 项目无需修改代码即可扩展，因为 Lightship 会自动覆盖和扩展 AR Foundation 的基本管理器，例如深度、遮挡和网格划分。.

Lightship 兼容多种 Unity 渲染管线。它同时支持内置渲染管线 (In-In Render Pipeline) 和通用渲染管线 (URP)，但 URP 需要额外的配置步骤。该平台完全兼容 AR Foundation 4.x 和 5.x，但 AR Foundation 6.0 等较新版本可能对某些 Lightship 扩展的支持有限。.

对于从 ARDK 2.X 迁移的开发者，Niantic 提供了全面的迁移指南，因为尽管工作流程相似，但一些 API 调用和模式已经发生了变化。不过，AR Foundation 和 ARDK 之间的共同概念极大地简化了迁移过程。开发者可以以现有的 AR Foundation 文档和教程为基础，然后利用 Lightship 的独特功能进行扩展。.

与传统的AR开发方法相比，Lightship有哪些优势？

Lightship 与传统的 AR 开发方法截然不同，其突破性的优势显著提升了技术性能和用户友好性。最根本的优势在于能够跨平台使用先进的 AR 功能，而这些功能以往仅限于配备专用传感器的高端设备。.

Lightship 的专有网格技术使不带激光雷达 (LiDAR) 的设备也能实现比基于激光雷达的系统更远的探测距离。激光雷达传感器的探测距离通常限制在五米左右，而 Lightship 基于摄像头的系统可以覆盖更远的距离。这种更远的探测距离使得在更大的环境中能够获得更沉浸式的增强现实 (AR) 体验，并使更多类型的设备能够使用高级 AR 功能。.

另一项关键优势在于其集成的多人游戏功能，该功能支持最多十名玩家在共享的增强现实空间中进行游戏。通过虚拟专用服务器 (VPS) 实现的自动协同定位，消除了传统的二维码扫描或复杂的加入代码等障碍，使多人增强现实游戏如同共同查看某个地点一样简单。这种易用性显著降低了体验多人增强现实游戏的门槛。.

语义分割技术提供二十个可用类别，使增强现实（AR）应用能够感知上下文并智能地响应各种环境元素。这项功能远超传统的AR方法，后者大多仅限于简单的表面识别。Lightship的系统能够区分天空、不同类型的土壤、植被、水体以及许多其他元素，从而带来更加自然逼真、更具互动性的AR体验。.

通过虚拟专用服务器 (VPS) 将增强现实 (AR) 内容持久化地锚定到现实世界位置，创造了全新的应用可能性。开发者可以将 AR 内容放置在特定的地理位置，使其永久对所有用户可见。这种持久化特性支持 AR 寻宝、基于位置的信息系统和持久性 AR 艺术装置等应用。.

Lightship 3.0 中有哪些开发工具和调试功能？

Lightship 3.0 提供了一套全面的开发工具，旨在加速和简化 AR 应用的开发流程。其中一项最重要的创新是回放和模拟工具，它们允许开发者直接在 Unity 编辑器中测试 AR 功能，而无需使用物理设备。这种模拟方式每天可以节省数小时的迭代时间，因为开发者不再需要频繁地将构建版本传输到设备上。.

地理空间浏览器工具是VPS开发的核心枢纽。通过这个基于Web的平台，开发者可以浏览全球可用的VPS位置，指定新的位置，并下载完整的3D网格数据用于他们的项目。下载的网格数据可以直接导入Unity，使开发者能够在现场测试之前，将AR内容精确地定位到真实世界的几何体上。.

Lightship 的仿真子系统显著扩展了开发能力。这些工具即使在没有实际 VPS 位置的环境中，也能测试 VPS 定位和其他基于位置的功能。开发人员可以在受控环境中充分开发和调试应用程序，然后再将其部署到实际场景中。.

GitHub 上全面的 API 文档和示例代码库确保开发者能够快速上手。Niantic 为希望从旧版 ARDK 或其他 AR 框架迁移的团队提供详细的迁移指南。社区平台方便开发者与其他开发者以及 Niantic 开发团队直接交流，解答具体的技术问题并就实验性功能提供反馈。.

Lightship 支持哪些硬件要求和设备平台？

Lightship 3.0 的硬件支持体现了 Niantic 对广泛设备兼容性的承诺，远远超越了传统 AR 框架的限制。该平台同时支持 iOS 和 Android 设备，并且适用于配备和不配备 LiDAR 传感器的智能手机。这种跨平台兼容性对于普及先进的 AR 功能至关重要。.

对于配备 LiDAR 传感器的设备，例如 iPhone Pro 系列，Lightship 提供优化支持，可充分利用这些硬件。开发者可以在 Lightship 设置中启用“如果可用则优先使用 LiDAR”，从而在这些设备上获得更高的精度和更低的延迟。同时，所有 Lightship 功能也适用于不配备 LiDAR 的设备，确保不同类型设备都能提供一致的用户体验。.

对 AR 和 MR 头显的支持使 Lightship 的应用范围超越了智能手机。该平台已与兼容 Snapdragon Spaces 的设备集成，并为 Magic Leap 2 提供专属支持。此头显支持涵盖了 Lightship 的所有核心功能，包括 VPS、语义分割和高级网格化功能。.

Lightship 与 Magic Leap 的集成提供了超过 200 种物体识别类别，从而支持在专业 AR 头显上实现情境感知应用。与高通骁龙空间 (Snapdragon Spaces) 的合作确保了 Lightship VPS 也能够兼容未来的 XR 头显。这种向前兼容性意味着开发者现在就可以开始使用 Lightship，同时为未来的硬件升级做好准备。.

对于基于 Web 的应用程序，Niantic Studio 提供 WebAR 功能，可直接在浏览器中实现 VPS 本地化。这种 WebAR 集成将基于 Lightship 的应用程序的覆盖范围扩展到无需安装原生应用程序的平台，从而使 AR 体验更加便捷。.

Lightship VPS 可以实现哪些实际应用场景和用例？

Lightship VPS 的实际应用涵盖众多行业和用例，催生了全新的 AR 应用类别。其中最突出的例子之一是 Niantic 开发的 Pokémon Playgrounds，它展示了 VPS 如何实现大规模的持久共享 AR 体验。在这个应用中，玩家可以将宝可梦放置在现实世界中的特定位置，这些宝可梦将永久对其他玩家可见，从而提供互动式 AR 拍照机会。.

寻宝游戏应用是另一个极具发展潜力的应用领域。开发者可以将虚拟宝藏或物品“隐藏”在精确的虚拟服务器（VPS）位置，供其他玩家寻找和收集。这类应用利用VPS厘米级的定位精度，将宝藏放置得极其精准，只有通过精确导航才能找到，从而在现实世界中营造出逼真的寻宝体验。.

旅游和教育应用能从基于位置的内容锚定中获益匪浅。增强现实（AR）旅行指南可以直接在相关地点展示历史信息、过去时代的3D重建模型或互动式讲解。博物馆和历史遗址可以打造沉浸式体验，将数字内容与实体物品或遗址精准关联，从而无缝融合教育与娱乐。.

零售和营销应用正在开辟客户互动的新维度。零售商可以将增强现实 (AR) 店面、虚拟产品演示或互动广告内容与特定地点关联起来。这些持久的 AR 体验甚至可以在传统营业时间之外触达潜在客户，并催生全新的空间广告形式。.

工业应用包括复杂环境下的维护和培训。技术人员可以将增强现实（AR）指令和诊断信息直接锚定到机器或系统上，从而提供精准的、情境化的帮助。培训场景可以模拟真实的工作环境，而无需实际设备，也不会造成安全风险。.

Lightship的未来发展方向是什么？有哪些扩张计划？

Niantic 对 Lightship 的愿景远不止于其现有功能，旨在创建一个大型地理空间模型 (LGM)，从而实现全球尺度的空间理解。这项雄心勃勃的项目将把所有局部神经网络连接成一个单一的、统一的世界模型，该模型能够将场景与全球数百万个其他场景关联起来，从而构建全面的空间理解。.

持续扩大虚拟定位服务 (VPS) 的覆盖范围是 Niantic 的重点工作。目前已激活超过一百万个地点，Niantic 正努力在年底前将覆盖范围扩展至一百多个城市。通过 Wayfarer 应用开展的社区扫描以及在重点区域部署的专业勘测团队，旨在加速这一扩展进程。.

与新兴的AR和MR硬件平台的集成，展现了Niantic对空间计算未来的坚定承诺。与高通合作开发Snapdragon Spaces平台，以及对Magic Leap 2的支持，仅仅是其更广泛硬件战略的开端。Niantic将Lightship定位为一个面向未来的平台，它不仅能在当前的智能手机上运行，而且针对未来的头戴式设备技术进行了优化。.

Niantic空间平台生态系统的开发涉及多种技术和服务的整合。该平台不仅旨在支持增强现实（AR）开发，还旨在为从自动驾驶汽车到机器人等各种应用领域提供全面的空间数据服务。.

WebAR 的功能正在不断扩展，以实现直接在 Web 浏览器中进行 VPS 定位。这项进展使得 AR 体验更加便捷，无需安装任何应用程序，并为基于位置的自发性 AR 交互开辟了新的可能性。.

Lightship 的实验性功能，例如高级语义分割和包含 200 多个类别的目标检测，指明了未来的发展方向。这些功能正不断改进和演进，从实验阶段发展到全面支持，从而支持日益复杂且更具情境感知能力的增强现实应用。.

Unity 集成使 Lightship 3.0 成为开发者的得力助手。

Niantic Lightship 3.0 和视觉定位系统标志着增强现实 (AR) 开发的一个转折点，它将基于位置的增强现实技术从一个小众领域转变为一项主流技术。厘米级的定位精度，结合设备无关的网格划分和语义分割等先进功能，为全新的沉浸式应用类别奠定了基础。.

与 Unity AR Foundation 的无缝集成显著降低了开发者的入门门槛，使现有的 AR 项目无需完全重新开发即可受益于 Niantic 的高级功能。从 iOS 到 Android 的跨平台兼容性以及对新兴 AR 硬件的支持，确保基于 Lightship 的应用程序能够触达广泛的用户群体。.

Niantic在全球拥有超过一百万个已激活的VPS服务器位置，并通过社区贡献和专业地图绘制不断扩展，正在构建一个用于持久共享AR体验的全球基础设施。大型地理空间模型的愿景指向一个数字世界与物理世界无缝融合的未来，这将催生出如今难以想象的新型空间计算形式。.

我们为您提供以下服务：咨询、规划、实施、项目管理