这是《马修·鲍尔的元宇宙「九章算术」》的第二部分,重点介绍硬件在「元宇宙」中发挥的作用。这里,硬件被定义为「用于访问、实现交互或开发元宇宙的物理技术和设备」,我们将着重讨论它们在当今市场上的销售情况,以及这些硬件如何对元宇宙实现支持。我们会在本文中讨论面向消费者的硬件(如 VR 头盔、手机和触觉手套)以及面向企业的硬件(如用于操作或创建虚拟或基于增强现实的环境的硬件,如工业相机、投影和跟踪系统以及扫描传感器);但我们将不会讨论电脑专用的一些硬件,如 GPU 芯片和服务器,以及用于搭建网络的硬件,如光纤电缆或无线芯片组。
消费类硬件
每一年,我们都能在消费者硬件领域见证革新:更好、更强大的传感器,更长的电池寿命,更复杂/多样化的触觉,更丰富的屏幕表现,更清晰的摄像头等。我们还看到智能设备的数量在不断增加,比如手表、VR 头盔(很快还有 AR 眼镜)。尽管提供虚拟现实体验的是软件和应用,但硬件领域的进步确实提高了用户沉浸度。
我们以 Bitmoji、Animoji 和 Snapchat AR 等实时头像应用为例,进行简单的解释。这些应用依赖于相当强大的 CPU 和 GPU,以及复杂的软件设计。但它们也需要强大的面部跟踪摄像头和传感器硬件进行支持,而且这些硬件还在不断改进。近两年的 iPhone 现在可以通过红外传感器追踪你脸上的 3 万个点。虽然最常用的应用场景是 FaceID,但它已经可以连接到 Epic Games 的 Live Link Face 等应用,允许任何消费者创建并推流一个基于虚幻引擎的实时高保真虚拟形象。显然 Epic 的下一步可能尝试借此将《堡垒之夜》玩家的脸实时映射到他们的游戏角色上。
与此同时,Apple 的对象捕捉功能可以让用户在几分钟内把普通 iPhone 拍摄的照片转换成高保真的虚拟对象。然后,这些物品可以被移植到其他虚拟环境中,从而降低成本,提高合成产品的逼真度,或者叠加到真实环境中,以达到艺术、设计和其他 AR 体验的目的。
许多新型号的智能手机,包括 iPhone 11 和 12,都配备了每秒发射 5 亿次雷达脉冲的全新超宽带芯片,并且配置了相应的接收器处理返回的信息。这使得智能手机能够创建广覆盖的雷达地图,绘制出从你的家到你的办公室,再到你正在走的街道的数字图景——在此基础上,智能手机通过计算它与其他本地设备之间的相对距离,标出你在这幅图景中的精确定位。这意味着当你想从室外走到室内,门可以自动迎接你回家;但如果是室内接近房门,门却可以保持关闭。使用实时雷达地图,你甚至不需要摘掉你的 VR 头盔,就可以在家里的所有地方畅行无阻。
让人惊讶的是,这一切都可以通过标准的消费级硬件实现。这项功能在我们日常生活中日益重要,这也解释了为什么 iPhone 有底气将其平均售价从 2007 年的约 450 美元提高到 2021 年的 750 多美元,而不仅仅是在同样的价格下提供更强大的功能。
XR 头显是硬件发展和需求突出的另一个很好的例子。第一代消费级 Oculus (2016) 的分辨率为单眼 1080×1200 像素,而四年后发布的 Oculus Quest 2 的分辨率为单眼 1832×1920 像素(换算成双眼,大致相当于 4K)。Oculus 创始人之一帕尔默·勒基(Palmer Luckey)认为,VR 要克服像素感、成为主流设备,分辨率还需要翻一番。Oculus Rift 的最高刷新率为 72Hz,而最新版本的刷新率为90Hz,当通过 Oculus Link 连接到游戏 PC 时,刷新率最高可达 120Hz。许多人认为 120Hz 是避免一些使用者晕眩和恶心的最低阈值。理想情况下,这将不需要连接一台游戏级别的 PC 就可以实现。

人类视野可以覆盖的角度高达 210°,而微软的 HoloLens 2 只能覆盖 52°(初代更是只有 34°)。Snap 即将推出的眼镜视角只有 26.3°。为了在技术上开始腾飞,我们可能首先需要更广的视野视角覆盖——这是硬件方面的挑战,而不是软件方面的。更重要的是,我们需要在取得这些进步的同时,提高可穿戴设备内其他硬件(如扬声器、处理器、电池)的质量,并尽可能地缩小他们的重量。
另一个例子是 Google 的 Starline 项目,这是一个基于硬件的空间,可以让不同物理空间的视频对话感觉面对面一样真实。这个设备由十几个景深传感器和摄像头支持,运用了一个基于织物的多维光场显示器和空间音频扬声器。这些功能是通过体积数据处理和压缩来实现的,然后通过 webRTC 进行传输,但硬件对于捕获和呈现「看起来真实」的细节水平至关重要。
非消费类硬件
考虑到消费级设备的可能性,我们已经可以想象工业/企业硬件在价格和尺寸上的几何倍增长。徕卡开售了一款价值 2 万美元的摄影相机,该相机可以实现每秒 36 万个激光扫描阵列点,其设计目的是拍摄整个商场、建筑和住宅,并提供比肉眼能见更高的清晰度和更丰富细节。与此同时,Epic Games 的《Quixel》,正在使用专有相机生成由数百亿三角形面组成的环境「MegaScans」。
这些设备让企业更容易、更便宜地生产出实体空间的高质量「镜像世界」或「数字双胞胎」,并利用对真实世界的扫描,生产出高质量、低成本的虚拟世界。15 年前,谷歌捕捉(并拍摄) 360° 2D 全世界街景图像的能力令我们震惊。今天,许多企业可以购买激光雷达相机和扫描仪,以建立完全身临其境的三维摄影,来复制地球上的任何东西。
这些相机不仅可以用于静态图像捕捉和虚拟化,更可以在真实世界的实时渲染和更新中大放异彩。例如,如今,亚马逊 Go 零售店的摄像头可以通过代码同时追踪数十名消费者。在未来,这种跟踪系统将被用于在虚拟镜像世界中,实时再现这些用户的虚拟形象。Google 的 Starline 等技术将允许远程工作人员的形象「出现」在商店(或博物馆、车管所或赌场);与此同时,他们的身体将呆在某种离岸的「元宇宙客服中心」里——甚至呆在他们的家中、在他们的 iPhone 面前。
当你去迪士尼乐园时,你可以和你朋友的虚拟形象(甚至是机器人)并肩作战,打败奥创或收集无限宝石——而与此同时,你的朋友可能正独自待在家中。这些体验需要的远不止硬件——但它们受到硬件的限制、也将依靠硬件启用和实现。
