什么是混合现实?

文章
01/25/2023

混合现实是继大型机、个人电脑和智能手机之后的下一波计算浪潮。混合现实正在成为消费者和企业的主流。它通过在我们的生活空间和我们的朋友之间提供与数据的本能互动，将我们从屏幕束缚的体验中解放出来。全球数以亿计的在线探索者通过手持设备体验了混合现实。移动增强现实提供了当今社交媒体上最主流的混合现实解决方案。人们甚至可能没有意识到他们在Instagram上使用的AR滤镜是混合现实体验。Windows混合现实将所有这些用户体验提升到一个新的水平，令人惊叹的全息人物表现，高保真全息3D模型，以及周围的真实世界。

Point and commit with hands on HoloLens 2

混合现实是物理世界和数字世界的融合，解锁自然和直观的3D人，计算机和环境的相互作用。这种新的现实是基于计算机视觉、图形处理、显示技术、输入系统和云计算的进步。“混合现实”一词是在1994年Paul Milgram和Fumio Kishino的一篇论文《混合现实视觉显示的分类》中提出的。他们的论文探讨了虚拟连续体的概念和视觉显示的分类。从那时起，混合现实的应用已经超越了显示，包括:

环境理解:空间映射和锚点。
人类理解:手跟踪、眼跟踪和语音输入。
空间的声音。
物理和虚拟空间中的位置和定位。
在混合现实空间中协作3D资产。

The mixed reality spectrum image
图像:混合现实是物理世界与数字世界混合的结果。

环境输入和感知

近几十年来，人类与计算机之间的关系通过输入法不断发展。一门新的学科已经出现，被称为人机交互或“HCI”。人类输入现在可以包括键盘、鼠标、触摸、墨水、声音和Kinect骨骼跟踪。

传感器和处理能力的进步正在基于先进的输入方法创造新的计算机对环境的感知。这就是为什么在Windows中显示环境信息的API名称被称为感知API的原因。环境输入可以捕获:

一个人在现实世界中的身体位置(头部跟踪)
对象、表面和边界(空间映射和场景理解)
环境灯光和声音
对象识别
物理位置

Venn diagram showing interactions between computers, humans and environments
图片:计算机、人类和环境之间的相互作用。

三个基本元素的结合为创造真正的混合现实体验奠定了基础:

由云驱动的计算机处理
高级输入法
环境感知

当我们在物理世界中移动时，我们的动作被映射到数字现实中。物理边界影响混合现实体验，如游戏或制造设施中的基于任务的指导。有了环境输入和感知，体验开始在物理和数字现实之间融合。

混合现实光谱

混合现实融合了物理世界和数字世界。这两个现实标志着被称为虚拟连续体的光谱的两极。我们把这种现实光谱称为混合现实光谱。在光谱的一端，我们有我们作为人类存在的物理现实。在光谱的另一端，我们有相应的数字现实。

增强现实vs虚拟现实

目前市场上的大多数手机几乎没有环境感知能力。这些手机提供的体验不能将物理现实和数字现实混合在一起。

在物理世界中覆盖图形、视频流或全息图的体验被称为增强现实。这种遮挡视线、呈现完全沉浸式数字体验的体验就是虚拟现实。可以在增强现实和虚拟现实之间转换的体验形成了混合现实，其中您可以:

在现实世界中放置一个数字物体，比如全息图，就好像它是真实存在的。
以虚拟形象的形式在现实世界中以个人和数字方式呈现，以便在不同的时间点与他人进行异步协作。

当用户处于虚拟现实中时，他们周围的物理障碍物(如墙壁和家具)会在体验中以数字方式呈现，这样用户就可以避免与这些物理障碍物发生碰撞。

The mixed reality spectrum
图片:混合现实光谱

目前可用的大多数增强现实和虚拟现实体验代表了更大的混合现实频谱的一小部分。Windows 10在构建时考虑了整个频谱，并允许将人、地点和事物的数字表示与现实世界相结合。

设备和体验

提供Windows混合现实体验的设备主要有两种:

全息设备的特点是该设备能够显示数字对象，就好像它们存在于现实世界中一样。
沉浸式VR设备的特点是该设备能够通过屏蔽物理世界并以完全沉浸式的数字体验取而代之来创造一种存在感。

特征	全息设备	身临其境的设备
例如设备	微软全息透镜	三星HMD Odyssey+
显示	透明显示。允许用户在佩戴耳机时看到物理环境。	不透明显示。在佩戴耳机时屏蔽物理环境。
运动	完整的六自由度运动，包括旋转和平移。	完整的六自由度运动，包括旋转和平移。