Meta 布局元宇宙的硬核 VR 技术
2022-10-2419:47
01区块链
2022-10-24 19:47
01区块链
2022-10-24 19:47
收藏文章
订阅专栏
作者| Chenglin Pua(马来西亚)编审 | 于百程 排版 | 王纪珑琰
Meta 提出“All In”元宇宙,可以说是元宇宙里最激进的玩家。对于元宇宙的兵家必争之地——VR/AR 领域,Meta 更是积极推出相关的产品。Meta 旗下的 VR 头显 Oculus Quest 2 也收获了非常好的反响,市占率遥遥领先其他的对手。

虽然占据了较大的优势,但 Meta 没有松懈下来,希望能够持续推进相关的技术,为人们带来更好的体验。Meta 想成为元宇宙领域第一个吃螃蟹的人。

2022 年 6 月,Meta 针对目前 VR 头显领域一些技术难题展示了他们目前的进展,且向市场展示了他们打造的原型机,大秀肌肉。目前 Meta 正在攻克的 4 个关键技术方向为:高分辨率、高动态范围(HDR)、轻薄外形、降低晕眩感的变焦技术优化。在 SIGGRAPH 2022 大会上,Meta 展示了其 VR 头显原型机。Butterscotch 探索分辨率技术、Starburst 探索 HDR 技术、Holocake 2 探索 VR 头显的轻薄外形打造技术、Half Dome 系列探索变焦技术。这四款原型机分别代表了 Meta 在四个 VR 头显研发领域取得的最新进展。 

Meta 推出最新的 VR 头显,Quest Pro

2022 年 10 月 11 日,Meta 召开了一年一度的 Meta Connect 大会,发布了最新款 VR 头显 Meta Quest Pro(售价 1499.99 美元,折合人民币约 10700 元)。此高昂的售价也促使 Quest Pro 是一款主打企业层面的硬件(商业用户)。Quest Pro 主要面向的是建筑师、设计师、创意用户和 VR 铁粉,也就是那些对价格不太敏感的消费者。

新发布的 Quest Pro 的功能非常强大,它不仅能以 VR 形式显示文字和画面,就连细小字体也能得到清晰锐利的呈现,能跟踪用户的眼球和面部特征,供用户在虚拟空间里与其他人建立完成生动的交流。简而言之,Quest Pro 能够跟踪用户的表情,现实中用户什么表情,那么 VR 化身也能做出同样的表情(例如皱起眉头或者鼓起脸颊)。此外,Quest Pro 支持混合现实功能,把可交互的数字对象叠加在彩显真实背景之下。在此功能的加持之下,虚拟用户可以在虚拟画架上作画,也能在迷你高尔夫球场上挥杆。

Quest Pro 头显

更加逼真的图像


此前,Meta 的 CEO 马克·扎克伯格曾提出视觉图灵测试(Visual Turing test)的概念。简单来说,视觉图灵测试的考核标准就是虚拟图像能否以假乱真,让人眼无法分辨出虚拟图像与真实图像。扎克伯格表示,视觉图灵测试有两个重点,即照片级真实感和临场感。 


而让图像更加逼真的方法之一,就是尽可能地提升图像的分辨率。为此,Meta 研发了 Butterscotch 原型机,其特点就是具有视网膜级别的分辨率。Meta 估计,VR 头戴显示设备需要达到每只眼睛 8K 的分辨率和 60 PPD 的像素密度,才能“欺骗”人类的视觉,营造出一个接近于现实的图像。相比之下,Meta 目前的 VR 设备,比如 Oculus Quest 2 的分辨率仅为 2K,PPD 只有 20 左右。


Butterscotch 原型机

Butterscotch 的 PPD 达到 55,很接近每 1 度角 60 像素的视网膜分辨率水平,是 Oculus Quest 2 的 2.5 倍。为了实现如此高的分辨率,Meta 开发了一种新的混合镜头,但将通常的视野范围缩小了一半。也就是说,虽然能看得更清晰,但看到的东西变少了。Meta Reality Labs 科研部门表示,Butterscotch 的定制透镜模组中,有两个高精度玻璃镜片,镜片的表面质量更高,但也更重。


除了像素密度以外,图像的质量也必须提升。对此 Meta 也承认,与笔记本电脑、电视或手机相比,当前 VR 头戴设备的色彩范围、亮度和对比度要低得多,因此 VR 无法达到我们经常使用的 2D 显示器的那种精细程度。


提高分辨率


分辨率是一个影响体验感的重要因素。有了更高的分辨率,就能够提高用户的沉浸感,让虚拟世界看起来更加逼真、清晰。而目前 VR 头显的一个缺点在于其分辨率离人类视觉水平还非常遥远。 


Meta 曾表示初步目标是实现单眼 8K 分辨率和 60PPD(像素密度)。然而目前 Meta 旗下的 Oculus Quest 2 只达到了单眼 2K 分辨率和 20PPD,距离这一目标还有较远距离。 为了提高 VR 头显的分辨率,Meta 开发了专注探索分辨率的 Butterscotch 原型机。高分辨率显示器的开发和生产并不是难点,难点在于如何为高分辨率显示器配备相应的计算能力。


对此,Meta 的显示系统开发负责人 Douglas Lanman 表示,Meta 开发的注视点渲染(Foveated Rendering)和云传输(Cloud streaming)两种技术或许有助于提升 VR 头显整体的计算能力。


注视点渲染使用与虚拟现实耳机集成的眼动仪,通过大大降低周边视觉(中央凹注视区域之外)的图像质量来减少渲染工作量,进而能够将重心放在注视点区域的渲染。而云传输则是因为 VR 头显的计算能力有限,将数据传输至云端计算处理再返回至 VR 头显,这样 VR 头显就不会有太大的计算压力。

注视点渲染对比图(下图经过注视点渲染)

提高佩戴舒适度

目前市面上的 VR 头显大多都会略显“笨重”,例如 Oculus Quest 2 的重量超过 500 克,其设备厚度达 8 厘米。显然这样的设备不会为用户带来很好的佩戴体验。理想的 VR 设备应该更轻薄,能让用户舒适地长时间佩戴。 

Meta 显然也发现了此问题,希望能够轻量化 VR 头显。Meta 正在尝试在 Holocake 2 原型机上寻找答案(而 Holocake 2 也是目前而言 Meta 打造的最薄、最轻的 VR 头戴设备)。

Holocake 2 头显原型

Holocake 2 采用的是全息光学的技术方案,可以让 VR 头显的前端和太阳镜一样的厚度。但没有合适的光源成为了 Meta 在此方向研究的难题。Meta 表示其团队一直在寻找合适的光源(或者说是研发合适的发光器件 / 设备)来进行测试。而 Meta 最终是希望研发一款安全、低成本、高效的光源。并且,这类激光源可应用于轻薄款的 VR 头显上。光源在这里指头显的发光设备,例如手机的 OLED 荧幕,显然手机 OLED 荧幕不适合在 VR 头显设备应用,因此 Meta 需要开发新的光源来应用在 VR 头显设备上。而这也是为何 Meta 认为光源非常重要的原因,毕竟如今许多 VR 头显都是直接采用现有的发光器件来直接应用或者是改进了安装,但鲜少有自主研发的光源。


变焦问题


在自然环境中,为了看清不同距离的画面,人眼可以自然变焦。尝试过 VR 头显的朋友会发现,如果你试着把一个东西,比如把一封虚拟的手写信靠近你的脸,你会发现你无法阅读它。这是因为 VR 对焦不匹配,有的人会产生视觉模糊,甚至恶心的感觉。这其中存在视觉辐辏调节冲突(vergence-accommodation-conflict)问题。而变焦透镜就像一副眼镜一样,它可以跟着你四处移动,让虚拟物体聚焦在焦点上。这样它就能带来更舒适、更清晰的视觉体验,对眼睛的负担也更小。


为了解决这个问题,Meta 的研究人员开发了一系列支持“渐进式视觉”(progressive vision)的原型机 Half Dome(于 2017 年提出,目前 Meta 进度是正在进行第三次改良)。Meta Reality Labs 的研究人员一直在微调 Half Dome 的变焦透镜,而这些透镜可以通过物理和自动移动来帮助佩戴者的眼睛聚焦在他们面前的虚拟物体上。


Half Dome 原型机的迭代版本

Meta 表示,五年间他们一直在试验这些镜头。2020 年时,该公司还声称几乎准备好迎接变焦光学的黄金时段,但直到目前这项技术还没有出现在我们可以买到的 VR 头显中,Meta 展示的仍旧是个原型机。


难以适配所有人的眼部情况


眼动跟踪是虚拟现实中的一项关键技术,是众多其他重要 VR 技术的基础,如变焦、畸变校正等。通过这项技术,用户可以在虚拟世界中实现与其他用户的眼神交流,拥有更加真实的社交体验。 


然而现实问题在于,每个人都有不同的瞳孔形状、每个人眼睑和睫毛的生长情况也不同,所以目前眼动追踪技术还无法很好地适配所有用户。因此,Lanman 团队将广泛收集更多的用户数据,以此升级眼动追踪技术技术,努力让它与更多人适配。 

瞳孔的形状每个人都不一样


克服来自环境的干扰


不知道大家有没有这样一个经验:在大太阳底下看手机时,手机的亮度调到最亮了,我们仍然难以看清手机上显示的内容。此问题在 VR 头显也是一个时常会碰到的问题(HDR 问题),即物理对象和环境的亮度远远高于 VR 头显。HDR 是指对各种亮度、对比度和颜色的支持。为了解决这个问题,Meta创造了Starburst原型机。


衡量 HDR 的关键指标之一是尼特。研究表明,理想的峰值亮度是 10,000 尼特,而电视行业已经接近于它。Starburst 原型机的亮度峰值为 20000 尼特,是现存 Quest 2 的 200 倍,高端 HDR 电视则大约是 2,000 尼特。 


这就意味着 Starburst 的峰值亮度是市面上一些较好的 HDR 电视的 10 倍(而 Starburst 原型机可以更真实地模拟封闭空间和夜晚的照明状况,让虚拟环境看起来更加真实)。然而想要达到这一目标,外形和重量上有着很大的挑战。Starburst 整体显得很笨重,LCD 面板后面有一盏明亮的灯,还需要手柄来支撑。而原型如此庞大,顶部的风扇上可能会产生大量热量,十分耗能。

Starburst 原型机特写

更加真实的反应


目前 VR 头显的一个缺点在于无法将人类的表情、动作等完全反应到元宇宙里,其顺畅度也非常慢。Meta 希望未来人们在虚拟环境中见面就像在现实中一样真实。为此,Meta 正在展开名为虚拟化身(Codec Avatars)的研究项目,该项目致力于为人们在虚拟环境中创建 3D 数字化身。 


目前,VR 头显可以实时读取 VR 用户的面部表情,并将其转移到虚拟现实中。已经推出的 Oculus Quest Pro 成为 Meta 第一款提供面部跟踪(face-tracking)的设备。Oculus Quest Pro 可以识别面部表情并将其传输到 VR 设备上。


将反应快速表征到元宇宙里

而如何更加的准确且快速的传导人们的反应未来或许会是 Meta 努力攻坚的一个重点方向



推荐阅读

联系我们

【免责声明】市场有风险,投资需谨慎。本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

专栏文章
查看更多
数据请求中

推荐专栏

数据请求中

一起「遇见」未来

DOWNLOAD FORESIGHT NEWS APP

Download QR Code