三台计算机解决方案：推动下一波 AI 机器人技术发展

从人形机器人到工厂，基于物理AI的工业系统正在通过训练、仿真和推理加速发展。

ChatGPT标志着生成式AI的大爆炸时刻。它几乎可以针对任何查询生成答案，有助于改变知识型员工在内容创作、客户服务、软件开发和业务运营等方面的数字工作。

物理AI是AI在人形机器人、工厂和其它工业系统设备中的具象化体现，目前尚未达到突破点。

这阻碍了运输和移动、制造业、物流和机器人等行业的发展。但由于三台计算机能够将先进的训练、仿真和推理结合在一起，这种情况即将改变。

多模态物理AI的崛起

60年来，“软件1.0”（由人类程序员编写的串行代码）在CPU驱动的通用计算机上运行。

随后，在2012年，AlexKrizhevsky在IlyaSutskever和GeoffreyHinton的指导下，开发了革命性的图像分类深度学习模型AlexNet，赢得了ImageNet计算机图像识别大赛。

这标志着该行业首次接触AI。在GPU上运行神经网络，机器学习的这项突破开启了软件2.0时代。

如今，软件自己就可以编写软件。世界上的计算工作负载正在从CPU上的通用计算转向GPU上的加速计算，把摩尔定律远远地甩在后面。

借助生成式AI，经过训练的多模态transformer和扩散模型可以生成响应。

这些模型都无法理解或解释三维世界。而这就是物理AI大显身手之处。

物理AI模型可以通过生成式AI来感知、理解物理世界，与物理世界交互和进行导航。借助加速计算，多模态物理AI领域的技术突破和基于物理的大规模仿真正在让人们能够通过机器人来实现物理AI的价值。

机器人是一个能够感知、推理、计划、行动和学习的系统。通常，人们把自主移动机器人（AMR）、机械臂或人形机器人看作机器人，但机器人体现类型还有很多。

在不久的将来，所有移动或监控移动物体的东西都将是自主机器系统。这些系统将能够感知环境，并对其做出反应。

从手术室到数据中心，从仓库到工厂，甚至交通控制系统或整个智慧城市，一切都将从手动操作的静态系统转变为由物理AI体现的自主交互式系统。

下一个前沿：人形机器人

人形机器人是一种理想的通用机器人表现形式，因为它们可以在为人类构建的环境中高效地运行，同时只需最小的部署和操作调整。

据高盛称，到2035年，全球人形机器人市场的规模预计将达到380亿美元，比近两年前预测的约60亿美元增长了六倍多。

世界各地的研究人员和开发者都在竞相制造新一代机器人。

借助三台计算机开发物理AI

为了开发人形机器人，需要三个加速计算机系统来处理物理AI和机器人的训练、仿真和运行时。两项计算技术的进步正在加速人形机器人的发展：多模态基础模型和可扩展的、基于物理的机器人及其世界的仿真。

生成式AI的突破正在为机器人带来3D感知、控制、技能规划和智能。大规模的机器人仿真可以让开发者在模拟物理定律的虚拟世界中改进、测试和优化机器人技能，这有助于降低现实世界的数据采集成本，并确保它们能够在安全、可控的环境中运行。

NVIDIA打造了三个计算机和加速开发平台，助力开发者创建物理AI。

首先，在一台超级计算机上训练模型。开发者可以在NVIDIA平台上使用NVIDIANeMo来训练和微调强大的基础和生成式AI模型。他们还可以利用NVIDIAProjectGR00T（一项为人形机器人开发通用基础模型的计划），使人形机器人能够理解自然语言，并通过观察人类动作来模仿动作。

其次，在NVIDIAOVX服务器上运行的NVIDIAOmniverse通过NVIDIAIsaacSim等应用程序编程接口和框架，为测试和优化物理AI提供了开发平台和仿真环境。

开发者可以使用IsaacSim来仿真和验证机器人模型，或者生成大量基于物理的合成数据来引导机器人模型的训练。研究人员和开发者还可以使用NVIDIAIsaacLab，这是一个开源的机器人学习框架，为机器人强化学习和模仿学习提供动力，帮助加快机器人策略的训练和完善。

最后，训练好的AI模型被部署到运行时计算机上。NVIDIAJetsonThor机器人计算机专为满足紧凑型板载计算需求而设计。由控制策略、视觉和语言模型构组成的模型集合构成了机器人的大脑，并部署在一个节能的板载边缘计算系统上。

根据他们的工作流和面临的挑战领域，机器人制造商和基础模型开发者可以根据需要，使用尽可能多的加速计算平台和系统。

打造下一代自主设施

机器人设施是所有这些技术的结晶。

Foxconn等制造商或亚马逊机器人等物流公司可以组织自主机器人车队与人类工人一起工作，并通过成百上千个传感器来监控工厂的运营情况。

这些自主仓库和工厂将拥有数字孪生。数字孪生用于布局规划和优化、操作仿真，最重要的是，用于机器人车队的软件在环测试。

基于Omniverse构建的“Mega”是工厂数字孪生的蓝图，使工业企业能够在将机器人部署到实体工厂之前，先在仿真环境中测试和优化机器人车队，这有助于确保无缝集成、最佳性能和最小干扰。

Mega允许开发者把虚拟机器人及其AI模型或机器人的大脑放入他们的工厂数字孪生中。数字孪生中的机器人通过感知环境、推理、规划下一个动作，最后完成计划的动作来执行任务。

这些动作通过Omniverse中的世界仿真器，在数字环境中进行仿真。结果通过Omniverse传感器仿真被机器人大脑感知。

通过传感器仿真，机器人大脑决定下一个动作，循环继续进行，与此同时，Mega则一丝不苟地跟踪工厂数字孪生中每个元素的状态和位置。

这种先进的软件在环测试方法使工业企业能够在Omniverse数字孪生的安全范围内来仿真和验证更改，帮助他们预测和解决潜在问题，以在实际部署过程中降低风险和成本。

利用NVIDIA技术

赋能开发者生态

NVIDIA通过三台计算机，加速全球机器人开发者和机器人基础模型构建者生态的工作。

利用NVIDIAIsaacManipulator、Isaac加速库和AI模型以及NVIDIAJetsonOrin，泰瑞达旗下的优傲机器人公司构建了URAI加速器，这是一个即用型硬件和软件工具包，使协作机器人开发者能够开发应用程序、加速开发，并缩短AI产品的上市时间。

RGoRobotics使用NVIDIAIsaacPerceptor来帮助其自主移动机器人随时随地工作，并通过赋予它们类似人类的感知能力和视觉空间信息，来做出明智的决策。

1XTechnologies、AgilityRobotics、Apptronik、波士顿动力公司、傅利叶、银河通用、Mentee、SanctuaryAI、宇树科技和小鹏机器人等人形机器人制造商正在采用NVIDIA的机器人开发平台。

波士顿动力公司正在使用IsaacSim和IsaacLab制造四足和人形机器人，以提高人类生产力，解决劳动力短缺问题，并优先解决仓库的安全问题。

傅利叶正在利用IsaacSim来训练人形机器人，使其能够在科学研究、医疗和制造业等需要高水平互动和适应性的领域中运行。

利用IsaacLab和IsaacSim，银河通用开发了名为DexGraspNet的大型机器人灵巧抓取数据集，该数据集可应用于各种灵巧机器手，以及用于评估灵巧抓取模型的仿真环境。

使用Isaac平台和IsaacLab，FieldAI开发了风险受限的多任务和多用途基础模型，使机器人能够在户外现场环境中安全地运行。

物理AI时代已经到来，它正在改变世界的重工业和机器人技术。

开始使用NVIDIA机器人技术：