Meta公布Meta Reality：融合虚拟世界和现实世界所需的技术
Meta公布Meta Reality：融合虚拟世界和现实世界所需的技术
发布者：前沿科技
日期：2022-12-21
阅读量：61
分享到：
Meta在一篇博文中宣布其独特的混合现实系统名为“Meta Reality”，同时介绍了真正一流的MR体验的幕后。以下为原文：
混合现实（MR）可以打开通向各种独特体验的大门，从生产力和与同事的实时协作到与朋友和家人一起出去玩，再到我们从未想过的新型游戏和交互式应用。VR让你完全沉浸在数字环境中，而MR则允许你自由移动并与物理空间中的人和物体互动，同时享受虚拟内容，从而在VR中解锁全新的类AR体验，并扩大你的物理空间。
“能够看到你周围的物理世界并将其与虚拟内容融合，为当今的VR带来了新的可能性——比如你可以与朋友在同一个物理房间玩游戏，或者将巨大的虚拟显示器与物理工具相结合的生产力体验。这是我们朝着增强现实的长期愿景迈出的一步。”Meta产品经理Sarthak Ray解释道。
有一个普遍的误解是，认为混合现实可以简单地通过在头显内显示物理世界的实时高分辨率视频来实现，但事实要复杂得多。令人信服的MR体验需要自然地融合虚拟世界和物理世界的能力，这意味着头显必须要做的不仅仅是将你的物理环境显示为2D视频。它必须真正以数字化方式将你的房间重建为3D空间，并了解你周围的物体和表面。这需要一个由多种硬件和软件技术组成的复杂系统，例如高分辨率传感器、Passthrough、AI驱动的场景理解和空间锚点。所有这些都以无缝且舒适的方式协同工作。
在Meta，我们不断投资于原创研发，以创造领先的VR技术，并大规模地提供给消费者——同时在我们的设计中始终以人为本。我们专注于细节，深入了解人们如何看待周围的世界，并致力于将这种感知与沉浸式体验联系起来，激发人们对虚拟现实和混合现实的可能性。今天，我们为我们独特的混合现实系统引入了一个新名称Meta Reality——让你深入了解什么是真正一流的MR体验。
用于空间感知的立体全彩透视
首先，也是最重要的一点是，真正的MR体验必须舒适且感觉像是自然的观看体验——即使是高分辨率，无法传达深度感的直接视频馈送无法实现这一点。此外，如果Passthrough透视是单目视角和/或缺乏深度提示，用户可能会感到不适。为了使Passthrough舒适，需要从提供立体提示的两个独立角度生成在单个眼睛缓冲区渲染的图像。这一点，连同深度和颜色信息的存在，对于重建舒适的体验非常重要。
混合现实（MR）可以打开通向各种独特体验的大门，从生产力和与同事的实时协作到与朋友和家人一起出去玩，再到我们从未想过的新型游戏和交互式应用。VR让你完全沉浸在数字环境中，而MR则允许你自由移动并与物理空间中的人和物体互动，同时享受虚拟内容，从而在VR中解锁全新的类AR体验，并扩大你的物理空间。
“能够看到你周围的物理世界并将其与虚拟内容融合，为当今的VR带来了新的可能性——比如你可以与朋友在同一个物理房间玩游戏，或者将巨大的虚拟显示器与物理工具相结合的生产力体验。这是我们朝着增强现实的长期愿景迈出的一步。”Meta产品经理Sarthak Ray解释道。
有一个普遍的误解是，认为混合现实可以简单地通过在头显内显示物理世界的实时高分辨率视频来实现，但事实要复杂得多。令人信服的MR体验需要自然地融合虚拟世界和物理世界的能力，这意味着头显必须要做的不仅仅是将你的物理环境显示为2D视频。它必须真正以数字化方式将你的房间重建为3D空间，并了解你周围的物体和表面。这需要一个由多种硬件和软件技术组成的复杂系统，例如高分辨率传感器、Passthrough、AI驱动的场景理解和空间锚点。所有这些都以无缝且舒适的方式协同工作。
在Meta，我们不断投资于原创研发，以创造领先的VR技术，并大规模地提供给消费者——同时在我们的设计中始终以人为本。我们专注于细节，深入了解人们如何看待周围的世界，并致力于将这种感知与沉浸式体验联系起来，激发人们对虚拟现实和混合现实的可能性。今天，我们为我们独特的混合现实系统引入了一个新名称Meta Reality——让你深入了解什么是真正一流的MR体验。
用于空间感知的立体全彩透视
首先，也是最重要的一点是，真正的MR体验必须舒适且感觉像是自然的观看体验——即使是高分辨率，无法传达深度感的直接视频馈送无法实现这一点。此外，如果Passthrough透视是单目视角和/或缺乏深度提示，用户可能会感到不适。为了使Passthrough舒适，需要从提供立体提示的两个独立角度生成在单个眼睛缓冲区渲染的图像。这一点，连同深度和颜色信息的存在，对于重建舒适的体验非常重要。
我们的立体全彩透视解决方案使用定制的硬件架构、先进的计算机视觉算法和最先进的机器学习来模拟你的眼睛如何自然地看到你周围的世界，以应对这一挑战。更好的摄像头和显示器分辨率有助于提高图像质量，Meta Quest Pro摄像头捕获的像素是Meta Quest 2摄像头的四倍。但或许更重要的是，它基于图像的渲染、立体几何重建和深度理解建立了给定房间内对象相对于场景的位置。这种新颖的算法堆栈使Meta Quest Pro能够识别房间几何形状的各个方面，并精确定位对象在3D空间中的位置。所以当你用立体全彩透视功能查看桌面的咖啡杯时，你的大脑会明白，咖啡杯比你手中的笔更远。
“Quest Pro结合了两个摄像头视图来重建真实的深度，这确保了使用全彩透视构建的混合现实体验对用户来说是舒适的。而且，即便深度重建不完美或超出系统范围，立体纹理提示都允许用户的大脑进行其余操作并推断深度。”Meta计算机视觉工程经理Ricardo Silveira Cabral解释道。
记得Oculus Insight吗？我们的技术为消费者VR设备启用了第一个独立的全功能“内向外”追踪系统？我们已经升级了其深度传感能力，可以实时生成给定空间的密集3D表示。Insight使用房间中大约100个兴趣点来确定头显在空间中的位置，而我们在Quest Pro上的深度传感解决方案能够在各种自然和人工照明条件下为每帧最多可产生10000个兴趣点，最远可达五米。我们使用所述信息来创建物理世界的3D网格，在几个帧中组合输出，以生成密集的3D和时间稳定的空间表示。然后将网格与预测渲染一起使用以生成物理世界的图像。异步时间扭曲技术可在未来几毫秒内预测用户的眼睛位置，以补偿渲染延迟。
最后，添加颜色可以使整个体验看起来更加逼真。Silveira Cabral指出：“全彩摄像头用于为立体视图上色，让体验尽可能接近现实世界。通过这种架构以及在整个流程中完成的优化，我们可以在Quest Pro上为所有现有的Quest 2游戏和即将推出的MR应用提供立体全彩透视，无需额外的计算资源。这意味着在Meta Quest 2上使用Passthrough的现有应用将开箱即用地与Meta Quest Pro的全新立体彩色Passthrough技术配合使用。”
当你将所有这些加起来时，Quest Pro的立体全彩透视会带来比单目视角解决方案更舒适的深度感知体验和更少的视觉失真，从而解锁高质量的房间规模混合现实体验。
将虚拟内容融入物理世界的场景理解
Scene Understanding在Connect 2021大会期间推出Presence Platform的一部分推出，可让开发者快速构建复杂且场景感知的MR体验，从而实现与用户环境的丰富交互。
Meta产品经理Wei Lyu指出，“为了最大限度地降低复杂性并让开发人员专注于构建他们的体验和业务，我们引入了场景理解作为一种系统解决方案。”
· Scene Model（场景模型）——是一个单一、全面、最新和系统管理的环境表示，由几何和语义信息组成。场景模型的基本元素是锚点，每个锚点都可以附加各种组件。例如，用户的起居室是围绕带有语义标签的单个锚点进行组织，如地板、天花板、墙壁、书桌和沙发。每个还附有一个简单的几何表示：2D边界或3D边界框。
· Scene Capture（场景捕获）——是一个系统引导的流程，让用户可以四处走动并捕获他们的房间建筑和家具，以生成场景模型。未来，我们的目标是提供一个自动化版本的场景捕捉，不需要人们手动捕捉周围环境。
· Scene API——是应用可以查询和访问场景模型中空间信息的界面，用于各种用例，包括内容放置、物理、导航等。使用Scene API，开发人员可以使用场景模型令虚拟篮球从实际房间的物理表面反弹。
“场景理解减少了开发人员的摩擦，让他们通过实时遮挡和碰撞效果构建尽可能可信和身临其境的MR体验。”Ray说。
用于虚拟对象放置的空间锚点
Meta产品经理Laura Onu表示：“如果说立体色彩透视和场景理解为让MR体验融合物理世界和虚拟世界起到了举足轻重的作用，那么我们的锚定功能则提供了将它们结合在一起的结缔组织。”
Spatial Anchors（空间锚点）是帮助开发人员开始构建一流混合现实体验的核心功能。它们使应用程序能够在空间中创建参考帧，从而允许虚拟对象随时间在空间中持续存在。多亏了空间锚点，产品设计师可以在《Gravity Sketch》中锚定多个3D示意图，或者一群朋友可以将《Demeo》中的游戏世界锚定在他们的桌面，这样他们就可以返回相同的设置并在第二天继续他们的游戏。
空间锚点可以与场景模型锚点（墙、桌子、地板等）结合使用，从而创建丰富的体验和房间规模的自动放置。用户的房间成为游戏和生产力的空间渲染画布。开发人员可能会选择将虚拟大门固定在物理墙壁。然后用户可以打开它以展现一个完全沉浸式的虚拟世界，其中包含可以进入物理空间的自己的角色。
Onu指出：“通过将场景理解与空间锚点相结合，你可以将MR体验与用户的环境相融合，从而创造一个充满可能性的新世界。你可以成为自己客厅里的秘密特工，在你的房间里放置虚拟家具或绘制你家的延伸部分，制作物理游戏等等。”
共同定位体验的共享式空间锚点
最后但同样重要的是，我们已将Shared Spatial Anchors（共享式空间锚点）添加到Presence Platform。共享式空间锚点允许一个人创建的锚点与同一物理空间中的其他人共享。这使开发人员可以通过为多个用户创建共享的世界锁定参考帧来构建本地多人游戏体验。例如，两个或更多人可以围坐在同一张物理桌子上，并在上面玩虚拟棋盘游戏。
混合现实的成功组合
你需要立体全彩透视、场景理解、空间锚点和共享空间锚点以及实时遮挡和碰撞、对象检测和照明信息组合在一个包中，以提供真实、有意义的MR体验。这一切都需要考虑到性能成本、计算和散热等限制因素。但最重要的是，确保舒适的体验是关键。
“与技术领域的大多数事情一样，需要权衡取舍，”Meta产品经理Avinav Pashine承认道。“虽然我们当前的解决方案并不完美，但它在最大限度地提高用户舒适度的同时保留了计算能力——因此我们能够提供更深入、更广泛的开发人员工具。”
这仅仅是个开始。Meta Reality将通过软件更新以及未来Meta Quest产品中提供的硬件进步继续优化。
“Meta Quest Pro是探索这一新兴技术的众多MR设备中的第一款，我们希望与开发人员一起学习，因为他们正在构建引人入胜的体验，重新定义VR头显的可能性。这个故事还没有结束——这只是第一页。”Silveira Cabral补充道。
记得Oculus Insight吗？我们的技术为消费者VR设备启用了第一个独立的全功能“内向外”追踪系统？我们已经升级了其深度传感能力，可以实时生成给定空间的密集3D表示。Insight使用房间中大约100个兴趣点来确定头显在空间中的位置，而我们在Quest Pro上的深度传感解决方案能够在各种自然和人工照明条件下为每帧最多可产生10000个兴趣点，最远可达五米。我们使用所述信息来创建物理世界的3D网格，在几个帧中组合输出，以生成密集的3D和时间稳定的空间表示。然后将网格与预测渲染一起使用以生成物理世界的图像。异步时间扭曲技术可在未来几毫秒内预测用户的眼睛位置，以补偿渲染延迟。
最后，添加颜色可以使整个体验看起来更加逼真。Silveira Cabral指出：“全彩摄像头用于为立体视图上色，让体验尽可能接近现实世界。通过这种架构以及在整个流程中完成的优化，我们可以在Quest Pro上为所有现有的Quest 2游戏和即将推出的MR应用提供立体全彩透视，无需额外的计算资源。这意味着在Meta Quest 2上使用Passthrough的现有应用将开箱即用地与Meta Quest Pro的全新立体彩色Passthrough技术配合使用。”
当你将所有这些加起来时，Quest Pro的立体全彩透视会带来比单目视角解决方案更舒适的深度感知体验和更少的视觉失真，从而解锁高质量的房间规模混合现实体验。
将虚拟内容融入物理世界的场景理解
Scene Understanding在Connect 2021大会期间推出Presence Platform的一部分推出，可让开发者快速构建复杂且场景感知的MR体验，从而实现与用户环境的丰富交互。
Meta产品经理Wei Lyu指出，“为了最大限度地降低复杂性并让开发人员专注于构建他们的体验和业务，我们引入了场景理解作为一种系统解决方案。”
· Scene Model（场景模型）——是一个单一、全面、最新和系统管理的环境表示，由几何和语义信息组成。场景模型的基本元素是锚点，每个锚点都可以附加各种组件。例如，用户的起居室是围绕带有语义标签的单个锚点进行组织，如地板、天花板、墙壁、书桌和沙发。每个还附有一个简单的几何表示：2D边界或3D边界框。
· Scene Capture（场景捕获）——是一个系统引导的流程，让用户可以四处走动并捕获他们的房间建筑和家具，以生成场景模型。未来，我们的目标是提供一个自动化版本的场景捕捉，不需要人们手动捕捉周围环境。
· Scene API——是应用可以查询和访问场景模型中空间信息的界面，用于各种用例，包括内容放置、物理、导航等。使用Scene API，开发人员可以使用场景模型令虚拟篮球从实际房间的物理表面反弹。
“场景理解减少了开发人员的摩擦，让他们通过实时遮挡和碰撞效果构建尽可能可信和身临其境的MR体验。”Ray说。
用于虚拟对象放置的空间锚点
Meta产品经理Laura Onu表示：“如果说立体色彩透视和场景理解为让MR体验融合物理世界和虚拟世界起到了举足轻重的作用，那么我们的锚定功能则提供了将它们结合在一起的结缔组织。”
Spatial Anchors（空间锚点）是帮助开发人员开始构建一流混合现实体验的核心功能。它们使应用程序能够在空间中创建参考帧，从而允许虚拟对象随时间在空间中持续存在。多亏了空间锚点，产品设计师可以在《Gravity Sketch》中锚定多个3D示意图，或者一群朋友可以将《Demeo》中的游戏世界锚定在他们的桌面，这样他们就可以返回相同的设置并在第二天继续他们的游戏。
空间锚点可以与场景模型锚点（墙、桌子、地板等）结合使用，从而创建丰富的体验和房间规模的自动放置。用户的房间成为游戏和生产力的空间渲染画布。开发人员可能会选择将虚拟大门固定在物理墙壁。然后用户可以打开它以展现一个完全沉浸式的虚拟世界，其中包含可以进入物理空间的自己的角色。
Onu指出：“通过将场景理解与空间锚点相结合，你可以将MR体验与用户的环境相融合，从而创造一个充满可能性的新世界。你可以成为自己客厅里的秘密特工，在你的房间里放置虚拟家具或绘制你家的延伸部分，制作物理游戏等等。”
共同定位体验的共享式空间锚点
最后但同样重要的是，我们已将Shared Spatial Anchors（共享式空间锚点）添加到Presence Platform。共享式空间锚点允许一个人创建的锚点与同一物理空间中的其他人共享。这使开发人员可以通过为多个用户创建共享的世界锁定参考帧来构建本地多人游戏体验。例如，两个或更多人可以围坐在同一张物理桌子上，并在上面玩虚拟棋盘游戏。
混合现实的成功组合
你需要立体全彩透视、场景理解、空间锚点和共享空间锚点以及实时遮挡和碰撞、对象检测和照明信息组合在一个包中，以提供真实、有意义的MR体验。这一切都需要考虑到性能成本、计算和散热等限制因素。但最重要的是，确保舒适的体验是关键。
“与技术领域的大多数事情一样，需要权衡取舍，”Meta产品经理Avinav Pashine承认道。“虽然我们当前的解决方案并不完美，但它在最大限度地提高用户舒适度的同时保留了计算能力——因此我们能够提供更深入、更广泛的开发人员工具。”
这仅仅是个开始。Meta Reality将通过软件更新以及未来Meta Quest产品中提供的硬件进步继续优化。
“Meta Quest Pro是探索这一新兴技术的众多MR设备中的第一款，我们希望与开发人员一起学习，因为他们正在构建引人入胜的体验，重新定义VR头显的可能性。这个故事还没有结束——这只是第一页。”Silveira Cabral补充道。