增强现实技术 Niantic Lightship 和基于位置的 AR 开发

Konrad Wolfenstein

10小时前

增强现实技术 Niantic Lightship 和基于位置的 AR 开发 - 图片：Xpert.Digital

忘记 GPS：这项新 AR 技术可将您的手机定位到厘米级

### 人人享有的高端 AR：Niantic Lightship 如何将 3D 扫描带到每部智能手机上——无需 LiDAR ### 扫描即玩：这场 AR 革命正在永远改变多人游戏 ### 不仅仅是 Pokémon：Niantic 的新平台如何教你的相机理解世界 ###

下一个数字化阶段已经到来：为什么数字艺术品和游戏很快就会扎根于你的城市

我们所知的世界正在逐渐获得精准的数字化层面。风靡全球的《精灵宝可梦 GO》背后的公司 Niantic，凭借 Lightship 3.0 的发布，开启了增强现实的新纪元。这个开发平台不仅能将数字内容投射到我们的周围环境中，还能以前所未有的精度将其锚定在那里，从而彻底改变我们与现实世界的互动方式。这场革命的核心是视觉定位系统 (VPS)，这项技术超越了传统的 GPS，实现了厘米级的定位精度。VPS 由数百万玩家创建的巨型 3D 世界地图提供支持，允许将虚拟对象放置在精确的物理位置，这些位置持久且可与所有用户共享。

但 Lightship 远不止于此。它让先进的 AR 功能（例如实时网格划分，可以捕捉环境的几何形状）变得大众化，甚至让没有专用 LiDAR 传感器的智能手机也能使用。得益于无缝的共定位，共享的多人游戏体验变得像“扫描即玩”一样简单，而语义分割技术则教会摄像头区分天空、地面、建筑物甚至植物。Niantic 正在为下一代沉浸式应用奠定基础——从基于位置的游戏和互动式城市游览，到持久的数字艺术装置以及全新的社交互动形式。

Pokémon GO 的创造者揭示未来：新的 AR 世界如何运作

随着 Niantic Lightship 3.0 的发布，增强现实技术迎来了决定性的里程碑。这个面向基于位置的 AR 应用的综合平台为开发者开辟了全新的可能性，使他们能够将数字内容精准地锚定在现实世界中。同时，视觉定位系统 (VPS) 彻底改变了我们对 AR 应用空间精度的认知。

什么是 Niantic Lightship？该平台提供哪些基本功能？

Niantic Lightship ARDK（增强现实开发套件）是一个用于开发 AR 应用的综合框架，专为基于位置的体验而设计。该平台直接基于 Unity 的 AR Foundation 构建，并显著扩展了其功能。它并非 AR Foundation 的替代品，而是一个无缝扩展，可以覆盖深度感知、遮挡和网格等现有系统，并添加新功能。

Lightship 的核心理念是让先进的 AR 功能在各种设备上普及。传统的 AR 网格技术依赖于 LiDAR 传感器，而这些传感器通常只在高端设备上配备，而 Lightship 则能够在无需专门传感器的传统智能手机上实现这些功能。这种跨平台兼容性扩展至 iOS 和 Android 设备，使更广泛的用户群体能够使用先进的 AR 功能。

与 Unity 的集成非常简单：开发者只需安装 Lightship 软件包并在 XR 设置中激活即可。现有的 AR Foundation 项目只需点击几下即可扩展，无需彻底重建。这种无缝集成意味着开发者可以保留熟悉的 AR Foundation 工作流程，同时仍然受益于 Niantic 的高级功能。

视觉定位系统是如何工作的？哪些技术原理可以实现厘米级精确定位？

Niantic 的视觉定位系统代表了 AR 定位领域的一次范式转变。GPS 系统在理想条件下的精度通常约为一米，在人口密集的城市地区精度会降低到几米，而 VPS 则实现了厘米级的定位。这种卓越的精度得益于一套由人工智能驱动的神经网络和视觉模式识别组成的复杂系统。

VPS 的技术基础在于对单个摄像机图像的分析，然后将其与完整的 3D 世界地图进行比较。该地图是通过持续收集数百万 Niantic 游戏（例如 Pokémon GO 和 Ingress）用户的扫描数据创建的。Niantic 每周都会收到大约一百万张全新扫描数据，每张扫描数据包含数百张独立图像，这有助于改进全球地图。

该系统通过部署超过 5000 万个神经网络（包含超过 150 万亿个参数）来运行，这些神经网络在全球超过一百万个地点运行。平均每个地点约有 50 个神经网络负责，每个神经网络包含约 300 万个参数。这些神经网络可以将数千张地图图像压缩成精简的神经表征，从而为新的请求提供精准的定位数据。

定位采用六维定位方法（6DOF - 六自由度）实现，该方法不仅确定地理位置，还确定设备在空间中的方向。这种方法使数字内容能够与现实世界的位置精确绑定，从而使所有用户都能看到相同的物理位置。

目前哪些地点可以使用 VPS，全球覆盖范围如何？

Niantic 的全球 VPS 覆盖范围体现了其专注于大都市地区和高流量公共场所的战略增长模式。目前，全球有超过一百万个支持 VPS 的地点可供选择，这些地点是从一千万个已扫描地点中筛选出来的。这些数据体现了 Niantic 的甄选流程，即只发布质量最高、最可靠的扫描结果用于生产环境。

重点关注区域包括六个覆盖率极高的关键城市：旧金山、洛杉矶、西雅图、纽约市、伦敦和东京。这些城市将作为试点区域，Niantic 将在此开展密集的地图绘制活动并部署专业的勘测团队。选择这些城市不仅基于其战略重要性，还基于 Niantic 现有游戏中的高用户活跃度。

每个启用 VPS 的地点直径约为十米，为半径范围内的用户提供可靠的定位。无论用户位于启用区域内的哪个位置，这种规模都能确保精准定位。这些地点包括公园、步道、地标、本地商家以及其他公共区域。

使用地理空间浏览器工具，开发者可以探索可用的 VPS 位置、指定新位置，并为其项目下载 3D 网格数据。同时，处于公测阶段的 Niantic Wayfarer 应用允许开发者和用户在地图上添加新位置，从而促进持续扩展。

Lightship 3.0 为没有 LiDAR 传感器的设备提供了哪些高级网格功能？

Lightship 3.0 的网格划分技术代表了 AR 开发领域的一项重大技术突破。传统上，实时网格划分仅限于配备 LiDAR 传感器的设备，因此这项高级功能仅供一小部分高端智能手机使用。Lightship 通过实施完全基于 RGB 摄像头数据的专有算法，彻底革新了这一方法。

该系统利用深度估计和追踪数据实时生成网格，该网格代表扫描现实世界的几何估计值。此过程将物理环境转换为镶嵌三角形网格，从而创建计算机可读的物理世界表示。这些网格数据使虚拟对象能够与环境进行逼真的物理交互——例如，虚拟球可以逼真地从地板和墙壁上弹起。

Lightship Meshing Extension 为开发者提供全面的网格参数控制。目标帧率可调整，以优化性能和质量之间的平衡。最大积分距离决定了新网格块生成的距离，而体素大小则影响表面渲染的精度。较大的体素大小可以节省内存，但会降低生成表面的细节级别。

一项创新功能是基于距离的体积清理系统，该系统通过在先前处理的元素超出活动网格生成区域时立即移除它们来节省内存并改善延迟。此外，该系统还提供实验性的细节级别功能，可通过自适应细节级别进一步优化内存消耗和延迟。

多人共定位如何与视觉定位系统协同工作？

多人协同定位是 Lightship 3.0 最令人印象深刻的创新之一，它解决了共享 AR 体验的一个根本问题。传统上，多人 AR 应用需要复杂的输入系统（例如加入码或二维码扫描）才能在共享虚拟空间中同步多个用户。Lightship VPS 通过基于 VPS 位置视觉识别的自动协同定位，消除了这些障碍。

该过程始于首位用户扫描启用 VPS 的位置。系统将自动以厘米级精度定位设备的位置和方向，并建立共享的参考框架。后续用户只需将设备指向同一位置，即可自动加入多人游戏。这种无缝集成使 AR 多人游戏体验变得如同“扫描即玩”般简单。

该技术实现利用了 Lightship 的 SharedSpaceManager 类，该类可自动创建网络连接，并支持最多 10 名玩家同时在线。该系统采用模块化架构，允许开发人员根据特定需求集成各种网络服务。尤其值得注意的是，它与 Unity 的 GameObjects Netcode 集成，允许将现有的多人游戏移植到 AR 平台，而无需重写网络堆栈。

主机托管也适用于其他方法，例如通过二维码进行图像追踪，但 VPS 提供了更加友好的用户体验。开发者甚至可以实现混合模式，让一位玩家在家中参与桌面游戏，而其他玩家则同时在 VPS 位置的现实世界中参与游戏。

Lightship 提供哪些语义分割？这 20 个类别如何扩展环境识别？

Lightship 3.0 的语义分割代表了 AR 开发中环境识别技术最先进的实现之一。该系统可以自动识别和分类场景中的各种元素，使 AR 应用能够以情境感知的方式与现实世界进行交互。这项技术远远超越了简单的人物识别，能够对物理环境进行全面的分类。

二十种可用的分割类别包括天空、地面、自然地面、人造地面、水、人物、建筑物、植被和草地等基本类别。此外，该系统还提供了用于特殊检测的实验通道，例如花朵、树干、宠物、沙子、屏幕、污垢、车辆、食物、座位和雪。这种详细的分类使开发人员能够编写高度具体的 AR 交互程序。

该技术实现通过两种互补的数据格式实现。首先，打包的语义通道以无符号整数缓冲区的形式提供，其中 32 位中的每一个都对应一个语义通道，并且可以启用或禁用。其次，每个语义通道都提供 0 到 1 之间的归一化浮点值，表示像素对应于指定语义类别的概率。

一个像素可以同时被分配到多个类别——例如，地面可以同时被归类为“地面”和“自然地面”。这种多重分配机制能够实现细致入微的交互，使 AR 应用能够根据具体情境做出响应。例如，虚拟宠物可以识别草地，而 AR 星球可以填满检测到的天空，或者将真实地面转化为 AR 熔岩。

🗒️ Xpert.Digital：扩展和增强现实领域的先驱

找到合适的 Metaverse 机构和规划办公室，例如咨询公司 - 图片：Xpert.Digital

🗒️寻找合适的元界机构和规划办公室，例如咨询公司 - 搜索和搜索咨询和规划的十大技巧

更多相关信息请点击这里：

Metaverse 和 XR 专家：寻找合适的合作伙伴

多人 AR 变得简单：最多十名玩家共同定位

Lightship 如何与 AR Foundation 集成以及需要考虑哪些兼容性方面？

与 ARDK 的早期版本相比，Lightship 与 Unity AR Foundation 的集成代表着一次根本性的架构重构。ARDK 2.X 迫使开发者在 Niantic 系统和 Unity AR/XR 系统之间做出选择，而 3.0 版本则实现了两个框架的无缝结合。这种混合架构使 Lightship 成为 AR Foundation 的真正延伸，而非替代。

实际实施非常简单。开发者只需通过 Unity 的软件包管理器安装 Lightship 软件包，并在 XR 设置中启用即可。现有的 AR Foundation 项目无需任何代码更改即可扩展，因为 Lightship 会自动覆盖并扩展基本的 AR Foundation 管理器，例如深度、遮挡和网格划分。

兼容性扩展到各种 Unity 渲染管线。Lightship 同时支持内置渲染管线和通用渲染管线 (URP)，但 URP 需要额外的配置步骤。该平台与 AR Foundation 4.x 和 5.x 完全兼容，但较新版本（例如 AR Foundation 6.0）可能对某些 Lightship 扩展的支持有限。

对于从 ARDK 2.X 迁移的开发者，Niantic 提供了全面的迁移指南，因为尽管工作流程相似，但一些 API 调用和模式已经发生了变化。然而，AR Foundation 和 ARDK 之间共享的概念使迁移更加轻松。开发者可以使用现有的 AR Foundation 文档和教程作为基础，然后使用 Lightship 的独特功能进行扩展。

与传统的 AR 开发方法相比，Lightship 有哪些优势？

Lightship 凭借多项突破性优势，显著提升了技术性能和易用性，使其区别于传统的 AR 开发方法。其中最根本的优势在于，它能够跨平台使用高级 AR 功能，而这些功能以往仅限于配备专用传感器的高端设备。

Lightship 专有的网格技术在非 LiDAR 设备上实现了比基于 LiDAR 的系统更大的覆盖范围。LiDAR 传感器的覆盖范围通常限制在 5 米左右，而 Lightship 基于摄像头的系统可以覆盖更远的距离。这种扩展的覆盖范围能够在更大的环境中提供更具沉浸感的 AR 体验，并使高级 AR 功能能够在更广泛的设备上使用。

另一个关键优势是集成的多人游戏功能，支持最多十名玩家在共享的 AR 空间中同时游戏。通过 VPS 实现的自动共置功能消除了二维码扫描或复杂的加入代码等传统障碍，使多人 AR 体验变得像一起查看位置一样简单。这种易用性显著降低了 AR 多人游戏体验的门槛。

语义分割技术拥有二十个可用类别，能够支持情境感知的 AR 应用，从而智能地响应各种环境元素。这种能力远远超越了传统的 AR 方法，后者通常仅限于简单的表面检测。Lightship 的系统可以区分天空、不同类型的土壤、植被、水体以及许多其他元素，从而带来更加自然、更具互动性的 AR 体验。

通过 VPS 将 AR 内容持久化锚定到现实世界位置，创造了全新的应用可能性。开发者可以将 AR 内容放置在特定的地理位置，并让所有用户永久访问。这种持久性特性支持 AR 地理藏宝、基于位置的信息系统或持久化 AR 艺术装置等应用。

Lightship 3.0 中有哪些开发工具和调试功能？

Lightship 3.0 提供了全面的开发工具库，旨在加速和简化 AR 应用程序的开发流程。播放和模拟工具是其中最重要的创新之一，因为它们允许开发者直接在 Unity 编辑器中测试 AR 功能，而无需使用实体设备。这种模拟可以每天节省数小时的迭代时间，因为开发者无需不断地将构建版本推送到设备上。

地理空间浏览器工具是基于 VPS 开发的中心枢纽。这个基于 Web 的平台允许开发者探索全球可用的 VPS 位置、指定新位置，并下载完整的 3D 网格数据用于项目。下载的网格数据可以直接导入 Unity，让开发者在进行现场测试之前，能够根据真实世界的几何形状精确定位 AR 内容。

Lightship 的模拟子系统显著扩展了开发能力。即使在没有真实 VPS 位置的环境中，这些工具也能测试 VPS 定位和其他基于位置的功能。开发人员可以在受控环境中全面开发和调试应用程序，然后再将其部署到实际场景中。

GitHub 上全面的 API 文档和示例代码库确保开发者能够快速投入工作。Niantic 为希望从旧版 ARDK 或其他 AR 框架迁移的团队提供详细的迁移指南。社区平台允许开发者与其他开发者和 Niantic 开发团队直接沟通，以解决具体的技术问题并反馈实验性功能。

Lightship 支持哪些硬件要求和设备平台？

Lightship 3.0 的硬件支持彰显了 Niantic 对广泛设备兼容性的承诺，远远超越了传统 AR 框架的限制。该平台支持 iOS 和 Android 设备，并可在配备和未配备 LiDAR 传感器的智能手机上运行。这种跨平台兼容性对于实现高级 AR 功能的普及至关重要。

对于配备 LiDAR 传感器的设备（例如 iPhone Pro 机型），Lightship 提供优化支持，充分利用该硬件的优势。开发者可以在 Lightship 设置中启用“如果可用，优先使用 LiDAR”，以便在这些设备上享受更高的精度和更低的延迟。同时，所有 Lightship 功能也可在未配备 LiDAR 的设备上运行，确保在不同设备类别中提供一致的用户体验。

对 AR 和 MR 头显的支持，将 Lightship 的触角延伸到了智能手机之外。该平台已与兼容 Snapdragon Spaces 的设备集成，并为 Magic Leap 2 提供专属支持。这项头显支持涵盖了 Lightship 的所有核心功能，包括 VPS、语义分割和高级网格划分功能。

Lightship 与 Magic Leap 的集成提供了超过 200 种对象检测类别，并支持在专业 AR 头显上实现情境感知应用。与高通在 Snapdragon Spaces 上的合作确保了 Lightship VPS 也将在未来几代 XR 头显上可用。这种向前兼容性意味着开发者现在可以开始使用 Lightship，同时为未来几代硬件做好准备。

对于基于 Web 的应用程序，Niantic Studio 提供 WebAR 功能，可直接在浏览器中实现 VPS 本地化。这种 WebAR 集成将基于 Lightship 的应用程序的覆盖范围扩展到无需安装原生应用的平台，使 AR 体验更加触手可及。

Lightship VPS 支持哪些实际应用场景和用例？

Lightship VPS 的实际应用涵盖了广泛的行业和使用场景，创造了全新的 AR 应用类别。其中最突出的例子之一是由 Niantic 自主开发的 Pokémon Playgrounds，它展示了 VPS 如何实现大规模持久共享的 AR 体验。在这个应用中，玩家可以将 Pokémon 放置在特定的现实世界位置，这些位置将永久对其他玩家可见，并提供互动式 AR 拍照机会。

地理藏宝应用代表着另一个前景广阔的应用领域。开发者可以将虚拟宝藏或物品“隐藏”在精确的 VPS 位置，供其他玩家发现和收集。这类应用利用 VPS 厘米级精准的定位技术，将宝藏精准放置，只有通过精准导航才能找到，从而打造逼真的现实世界寻宝体验。

旅游和教育应用受益于基于位置的内容锚定。AR 旅行指南可以直接在相关位置显示历史信息、过去时代的 3D 重建或交互式讲解。博物馆和历史遗迹可以打造沉浸式体验，将数字内容与实体对象或地点精准关联，从而无缝融合教育与娱乐。

零售和营销应用正在开辟客户互动的新维度。零售商可以在特定位置设置 AR 店面、虚拟产品演示或互动广告内容。这些持久的 AR 体验即使在传统营业时间之外也能吸引潜在客户，并带来全新的空间广告形式。

工业应用包括复杂环境下的维护和培训。技术人员可以将 AR 指令和诊断信息直接锚定到机器或设备上，从而提供精准的情境化辅助。培训场景可以模拟真实的工作环境，无需实际设备，也不会产生安全风险。

Lightship 的未来如何？计划进行哪些扩展？

Niantic 对 Lightship 的愿景远超其现有功能，旨在创建一个大型地理空间模型 (LGM)，从而实现全球范围内的空间理解。这个雄心勃勃的项目旨在将所有本地神经网络连接成一个统一、连贯的世界模型，该模型能够将全球数百万个场景关联起来，从而构建全面的空间理解。

持续扩展 VPS 覆盖范围是 Niantic 的重点工作。目前，Niantic 已启用超过一百万个 VPS 服务点，并致力于在年底前将覆盖范围扩大到 100 多个城市。通过 Wayfarer 应用进行的社区驱动扫描，以及在重点地区部署专业勘测团队，预计将加速这一扩展。

与新兴 AR 和 MR 硬件平台的集成彰显了 Niantic 对空间计算未来的承诺。与高通合作开发 Snapdragon Spaces 以及对 Magic Leap 2 的支持仅仅是其更广泛硬件战略的开端。Niantic 将 Lightship 定位为面向未来的平台，它可在当今的智能手机上运行，并针对未来的头显技术进行了优化。

Niantic 空间平台生态系统的开发涉及各种技术和服务的集成。该平台不仅旨在支持 AR 开发，还旨在为从自动驾驶汽车到机器人应用等各种应用领域提供全面的空间数据服务。

WebAR 功能正在不断扩展，以便直接在 Web 浏览器中实现 VPS 本地化。这一发展使 AR 体验更加便捷，无需安装任何应用程序，并为基于位置的自发 AR 交互开辟了新的可能性。

Lightship 的实验性功能，例如高级语义分割和超过 200 个类别的对象检测，为未来的发展指明了方向。这些功能正在不断改进，并从实验状态发展到全面支持的功能，从而支持日益复杂且情境感知的 AR 应用。