如何将物理世界模拟和 AI 融合在一起？

撰文：MetaPost

导读：

NVIDIA 创始人兼首席执行官黄仁勋在 GTC 2024 主题演讲上表示：下一波 AI 浪潮将是 AI 对物理世界的学习。

当下，全球范围内价值超过 50 万亿美金的行业正在竞相实现数字化，数字孪生技术正在赋能千行百业。NVIDIA Omniverse 中国区业务负责人何展表示，AI 正在进入物理世界。每一栋建筑、每一个仓库、每一个工厂，都将实现 AI 化，并持续优化。新一代的数字孪生更需要使用数字化的技术、模拟世界的技术，来训练和测试 AI。

生成式 AI 有望彻底改变它所触及的每一个行业，掌握技术是迎接挑战的关键。而我们想要的 AI 一定是值得信赖的、高性能的，这样级别的 AI，需要在一个遵守物理定律的数字孪生世界中进行模拟、验证和仿真。

来听 NVIDIA 英伟达的专家们聊聊，如何将物理世界模拟和 AI 融合在一起。

01 NVIDIA 的「三大灵魂」

今年的 GTC 主题演讲上，黄仁勋说：「计算机图形学、物理学引擎模拟仿真和 AI 是 NVIDIA 的灵魂所在。」

1、计算机图形学

众所周知，NVIDIA 是靠图形学起家的。何展表示，不夸张地说，几乎每一位 NVIDIA 的员工都以此为傲。利用 NVIDIA 的底层技术，开发者们可以将现实世界中每一个真实存在物品，都极度逼真地渲染及模拟出来。

2、 物理世界模拟技术

有了可以以假乱真的计算机图形学技术，做出了好的数字资产，要真正赋能到应用，还缺一个要素——物理世界模拟技术。

来看两个例子，一个是从宏观的世界去模拟，一个是在极其微小的粒子世界里做模拟技术，以赋能应用。

通过 Omniverse 渲染引擎模拟粒子爆炸的实际情况，运用大量的计算去模拟真实的粒子分析，并且加速了很多倍，以呈现真实的效果。

微观世界分子结构异常复杂的设计也需要模拟，且物理准确模拟非常重要。一个简单的例子，如果模拟精准度不够真实，那么我们今天的靶向药物治疗等方式，就都是无效的。

3、 AI 技术

过去几年，AI 技术的变革颠覆了众多行业。有了 AI 的加持，Omniverse 也带来了全新的功能和体验。

怎样通过 AI 技术快速构建一座数字孪生工厂？首先用 2D 的 PDF 图纸，通过文字描述生成 3D 结构，用到的工具是 NVIDIA 的 DeepSearch，可以通过深度学习的方式检索出你想要的模型资产，并放置在数字孪生环境中。接着调用 SA 软件 BlenderGPT，通过文字生成工厂系统。再用 Adobe 通过文字生成大理石地面。然后通过其他软件生成 GIS 数据，最终一个数字孪生工厂的 Demo 便完成了。

这一过程较传统设计有了巨大的变化，无需操作其他软件，只需通过文字和 Omniverse 便完成了这样一个复杂的数字孪生制作过程。过去，如此复杂、专业的设计需要科班出身的设计师以及在工厂的实践经验才能完成。现在，NVIDIA 提供的技术和平台可以让每个用户，只需输入文字、会使用 Omniverse 的平台软件，就可以完成。

这就是 AI 和 Omniverse 结合之后实现的全新设计流程。

以上，NVIDIA 的三大灵魂，融合起来就是 Omniverse 。数据显示，Omniverse 由超过 300 万行的代码编写而成，在全球范围内已经集成和整合了超过 240 款工具软件。如今，Omniverse 的数字孪生几乎无处不在，涵盖汽车、制造、媒体、建筑、能源、科学运算仿真等等各行各业。

02 融合三大灵魂的 Omniverse 能做什么？

「三大灵魂」全部融合在一起，能做什么？

全球气候模型 Earth-2，需要进行 3D 交互式的天气和季候数据的数字孪生模型，不仅要训练大量的数据，还要把它们数字化。在这个模型中，我们可以看气象的走向、大气河的流动，还能看到飓风，并且精确到 1 公里范围内，以帮助人类预测它的准确路径。充分应用了图形学、物理世界模拟仿真，以及 AI。

能否用「三大灵魂」分析更多事呢？如何把这些技术融入到真实的企业应用环境中至关重要。

比如，用 AMR 小车（自主移动机器人）眼中的数字孪生，同时还制作了大量「场站」数字孪生，以及工作人员视角下的数字孪生，这么多的数字孪生，通过 USD API，连接到 Omniverse Cloud 上，整合背后超强的算力，不断优化布局，来响应突发事件的管理，以及和 LLM 一系列的交互。

每一个场站的布局背后都有很多的数字孪生模型，就像有一只无形的手在操作，这个手就是 AI Agents，辅助这个标点符号里每一个场站 ARM 小车最优的路径，这就是物理世界和数字世界交互的一个非常生动的例子。

给一辆小车布一个最优路径尝试一下，再给它一个突发事件，看它如何实时调整路径。假设这边货架突然倒塌，它能否及时调整路径？可以看到，ARM 小车不但重新规划了自己的路径，路过时还对 AI Agents 说：「我感觉出现问题了，你赶紧去处理。」这个过程背后技术的复杂程度其实是非常高的，同时需要数字孪生模型、AI 和算力。

而随着各行业竞相将自己重塑为软件驱动的科技公司，每个领域的生成式 AI 也都如雨后春笋般兴起，3D 数据正在实现互操作性，高级图形学以及从边缘到云的仿真计算能力的进步，都为各行业的物理流程数字化带来了全新机遇。

03 仿真工作流 加速 AI 训练

今年 GTC 上，Omniverse 带来的最大更新便是 Omniverse Cloud API，把 Omniverse 放到云端，提供一个应用程序编程接口 API，让开发人员可以将 Omniverse 最核心的技术直接集成到已有的应用层和工作流中。

Omniverse 不仅可以帮助全球工业企业加速自动驾驶车辆、人形机器人、智能仓储、大规模智慧城市等工作流程，Omniverse Cloud API，更将为基于 AI 的数字孪生仿真工作流的训练、模拟，以及后阶段的部署带来全新加速。

随着全球自动驾驶汽车和机器人需求的不断增加，AI 开发人员可能需要更多的传感器数据来进行训练、测试、验证这些 AI 的感知系统，而这些感知系统可以通过传感器模拟方式去实现一个合成数据的 1:1 数字孪生世界，在 Omniverse 构架的虚拟世界里进行训练、测试、仿真、验证等。这些合成数据都需要物理上非常精确的、符合物理定律的渲染。

AI 是如何在虚拟世界中进行训练的？

AI 和仿真最重要的是软件在环（SIL）和硬件在环（HIL）。将所有机器人、自动驾驶汽车、自主移动设备、传感器全部仿真放在 Omniverse 里，环境、场景都是实时渲染出来的，以实时喂料的方式喂给机器人的传感器，传感器看到的数据是假的，传感器本身也是虚拟出来的，汽车传感器看到的画面也是合成数据。把虚拟传感器捕捉到的数据，和汽车传感器得到的数据融合在一起，放在数字孪生里渲染，称之为 SIL。将 SIL 里训练好的模型，部署到硬件设备上，再做物理的路测或环境测试，叫做 HIL。做强化学习的时候，要确保学习环境是真实有效的，训练好的模型也是真实有效的，最后再到物理世界去部署。

最终，机器人系统、AI 和 Omniverse 形成了技术闭环。

04 Omniverse 登录 Apple Vision Pro

全球最受瞩目的两家科技巨头携手，NVIDIA 与 Apple 一起，把 Omniverse 带到了 Apple Vision Pro 中去，将许多 3D 工作流尤其是工业环境下的数字孪生的工作流游戏化，打破了传统的工业工作流程。

Omniverse 里的 GPU 是顶尖的 RTX GPU，三大核心点：

1.传统着色的部分，可以用来做像素的渲染，确保画面是美轮美奂的；

2.光线追踪加速，用包裹体便利的方式去做实时光线追踪，延迟更低，帧率更高，与用户的互动性也更强；

3. Tensor，RTX GPU 里有针对张量运算的 tensor 运算，还可以加速 AI 的训练，如大模型、GenA、neural graphics、NeRF 等，都可以用 AI 去运算。

在云端 Omniverse API 连接各种应用程序，基于 USD 或 OpenUSD 打通数字资产之间的连接和调用，再通过 RTX GPU 强大的算力和符合物理定律的实时光线追踪完成画面渲染，最后呈现在 Apple Vision Pro 用户眼前的就是真实的 3D 空间场景。

Omniverse 强大的空间计算带来的全新工作流，使得设计师可以在 Apple Vision Pro 里实现沉浸式体验，以及人、产品、流程与物理空间之间的无缝互动。在 MR 里设计出的虚拟产品将与物理世界中的实际产品一模一样，所见即所得，想想都令人兴奋。

结语：

波士顿咨询公司（BCG）对企业最高管理层的调查显示，近四分之三的管理者计划在今年增加公司的技术投资，89% 的管理者将 AI 和生成式 AI 列为前三大优先事项中。超半数的企业希望利用 AI 提高生产力、改善客户服务和提升 IT 效率，以实现降本增效。

「AI 已经进入了物理世界。未来将是可生成的。」