使用仿真技術(shù)綜合生成訓(xùn)練數(shù)據(jù)，人形機(jī)器人能力再上一個(gè)臺(tái)階｜英偉達(dá)于Siggraph2024公布機(jī)器人模擬仿真技術(shù)最近進(jìn)展

在一個(gè)廚房里，一個(gè)真正的人類(lèi)學(xué)徒，在和老師傅學(xué)習(xí)的時(shí)候，是怎么樣的一個(gè)過(guò)程？這似乎很難描述，因?yàn)檫@一過(guò)程發(fā)生地非常自然。學(xué)徒只需要仔細(xì)觀看老師傅的每一個(gè)步驟、專(zhuān)注傾聽(tīng)老師傅的每一句提點(diǎn)、用心思考整個(gè)流程，然后將其過(guò)程實(shí)現(xiàn)完整的復(fù)刻即可。

而對(duì)于機(jī)器人而言，這似乎非常困難。需要復(fù)雜的信息輸入、量化、計(jì)算，進(jìn)而進(jìn)行訓(xùn)練，最終實(shí)現(xiàn)在機(jī)器人上的推理。整個(gè)過(guò)程中涉及到了模擬信息采集、數(shù)字轉(zhuǎn)換、模型的優(yōu)化部署等。

而隨著英偉達(dá)于Siggraph2024發(fā)布的最新NIM微服務(wù)，設(shè)計(jì)者們目前可以輕松地通過(guò)AR設(shè)備和英偉達(dá)軟硬件平臺(tái)來(lái)實(shí)現(xiàn)更為自然地人形機(jī)器人模擬，使用仿真技術(shù)綜合生成訓(xùn)練數(shù)據(jù)，讓自己化身老師傅，讓讓機(jī)器人模擬仿真變得像教會(huì)學(xué)徒一樣自然。

全新英偉達(dá)機(jī)器人NIM 微服務(wù)：幾分鐘即可完成機(jī)器人仿真部署

NVIDIA NIM（NVIDIA Infrastructure Management）微服務(wù)是英偉達(dá)公司提供的管理和優(yōu)化數(shù)據(jù)中心基礎(chǔ)設(shè)施的解決方案，主要用于高性能計(jì)算（HPC）、人工智能（AI）和深度學(xué)習(xí)（DL）領(lǐng)域。NIM微服務(wù)具備資源管理、智能任務(wù)調(diào)度、實(shí)時(shí)監(jiān)控與分析、以及自動(dòng)化運(yùn)維等功能。它通過(guò)優(yōu)化資源分配和任務(wù)調(diào)度，提高數(shù)據(jù)中心的整體效率和計(jì)算性能，并且具有高效性、可擴(kuò)展性、智能化和集成性的優(yōu)勢(shì)。NIM微服務(wù)適用于高性能計(jì)算、人工智能與深度學(xué)習(xí)以及云計(jì)算等應(yīng)用場(chǎng)景，通過(guò)智能化的管理和優(yōu)化，幫助企業(yè)更高效地利用計(jì)算資源，簡(jiǎn)化運(yùn)維過(guò)程，提升業(yè)務(wù)競(jìng)爭(zhēng)力。

而在Siggraph2024上，英偉達(dá)又發(fā)布了一系列新的NIM微服務(wù)，覆蓋了理解、數(shù)字人、3D開(kāi)發(fā)、機(jī)器人和數(shù)字生物學(xué)幾大領(lǐng)域。其中在機(jī)器人領(lǐng)域，發(fā)布的新的NIM包括MinnicGen和Robocasa，前者生成基于空間計(jì)算設(shè)備（如 Apple Vision Pro）記錄的遙操作數(shù)據(jù)的合成運(yùn)動(dòng)數(shù)據(jù)，后者在 OpenUSD 中生成機(jī)器人任務(wù)和模擬環(huán)境。

NIM機(jī)器人微服務(wù)，結(jié)合用于訓(xùn)練模型“NVIDIA AI 超級(jí)計(jì)算機(jī)”、加基于 Omniverse 構(gòu)建的機(jī)器人模擬參考應(yīng)用NVIDIA Isaac Sim，再加上用于運(yùn)行模型的人形機(jī)器人計(jì)算機(jī)“NVIDIA Jetson? Thor”，就打破了數(shù)字和模擬世界之間的次元壁，從而真正實(shí)現(xiàn)了生成式人工智能（Generative AI）進(jìn)入物理世界的全過(guò)程。

生成式人工智能（Generative AI）進(jìn)入物理世界的過(guò)程包括三個(gè)主要部分：首先，生成式人工智能的核心部分使用NVIDIA DGX系統(tǒng)進(jìn)行計(jì)算和處理；其次，通過(guò)NVIDIA OVX進(jìn)行數(shù)字孿生模擬，將生成式AI的結(jié)果與物理環(huán)境相連接；最后，通過(guò)NVIDIA AGX和IGX系統(tǒng)將生成式AI的成果應(yīng)用于機(jī)器人系統(tǒng)，實(shí)現(xiàn)物理世界的操作和控制。這些系統(tǒng)之間互相連接，共同構(gòu)成了生成式AI在物理世界中的應(yīng)用框架。

而NIM微服務(wù)可以貫穿整個(gè)生成式AI進(jìn)入物理世界的過(guò)程，提供基礎(chǔ)設(shè)施管理、資源優(yōu)化和運(yùn)維支持，確保各個(gè)階段的系統(tǒng)高效、穩(wěn)定地運(yùn)行。

在此次發(fā)布會(huì)上，英偉達(dá)介紹了通過(guò)真人的遙操作數(shù)據(jù)捕獲工作流整個(gè)過(guò)程。包含三個(gè)部分：

【數(shù)據(jù)捕捉、記錄和合成】首先開(kāi)發(fā)者/用戶(hù)佩戴AR設(shè)備（如Apple Vision Pro）進(jìn)行示范操作，用戶(hù)的動(dòng)作被實(shí)時(shí)捕捉。這些示范動(dòng)作會(huì)被記錄為遙操作數(shù)據(jù)，包括了用戶(hù)的操作過(guò)程和動(dòng)作細(xì)節(jié)等。然后記錄的遙操作數(shù)據(jù)被發(fā)送到NVIDIA Omniverse云平臺(tái)中，被NVIDIA Isaac Sim with MimicGen 用于生成合成運(yùn)動(dòng)數(shù)據(jù)。

【數(shù)據(jù)模擬和優(yōu)化】合成后的運(yùn)動(dòng)數(shù)據(jù)會(huì)被進(jìn)一步處理，進(jìn)入 NVIDIA Isaac Lab with RoboCasa 進(jìn)行更深層次的模擬和測(cè)試。而處理后的合成數(shù)據(jù)和其他相關(guān)數(shù)據(jù)會(huì)被傳輸?shù)?NVIDIA DGX 云平臺(tái)，在這里被Isaac Sim和NVIDIA Project GROOT使用進(jìn)行模擬和優(yōu)化。

【數(shù)據(jù)集成】最終從 NVIDIA DGX 云平臺(tái)獲取到的優(yōu)化數(shù)據(jù)，可以控制實(shí)際機(jī)器人進(jìn)行操作。而最終的數(shù)據(jù)和操作被傳輸?shù)?Jetson Thor 硬件平臺(tái)，該平臺(tái)負(fù)責(zé)實(shí)際操作執(zhí)行和控制。這些機(jī)器人可能用于各種實(shí)際場(chǎng)景中，如廚房助手機(jī)器人等。

在整個(gè)過(guò)程中，NVIDIA OSMO服務(wù)提供支持和協(xié)調(diào)，確保數(shù)據(jù)和操作在各個(gè)平臺(tái)之間的流動(dòng)和同步。這是一個(gè)云原生的托管服務(wù)，允許用戶(hù)在本地或云端協(xié)調(diào)和擴(kuò)展復(fù)雜的機(jī)器人開(kāi)發(fā)工作流，大幅簡(jiǎn)化了機(jī)器人訓(xùn)練和模擬工作流，減少了開(kāi)發(fā)周期。

總結(jié)來(lái)說(shuō)，NVIDIA提供了一個(gè)啟用 AI 和 Omniverse 的遙操作參考工作流，使研究人員和 AI 開(kāi)發(fā)者能夠從遠(yuǎn)程捕獲的少量人類(lèi)演示中生成大量合成運(yùn)動(dòng)和感知數(shù)據(jù)。開(kāi)發(fā)者使用 Apple Vision Pro 捕獲少量遙操作演示，然后在 NVIDIA Isaac Sim 中模擬這些記錄，并使用 MimicGen NIM 生成合成數(shù)據(jù)集。

英偉達(dá)人形機(jī)器人開(kāi)發(fā)者計(jì)劃：加速機(jī)器人從云端到邊緣的計(jì)算

為了加速機(jī)器人工作者們快速實(shí)現(xiàn)人形機(jī)器人從云端到邊緣側(cè)的訓(xùn)練加速，英偉達(dá)推出了最新的人形機(jī)器人開(kāi)發(fā)者計(jì)劃。只要加入該計(jì)劃，開(kāi)發(fā)者可以提前體驗(yàn)到人形機(jī)器人開(kāi)發(fā)相關(guān)的軟硬件資源的最新版本。包括：

搶先體驗(yàn)人形基礎(chǔ)模型-GR00T項(xiàng)目是人形機(jī)器人基礎(chǔ)模型的集合。這些模型使機(jī)器人能夠理解自然語(yǔ)言、模仿人類(lèi)動(dòng)作，并通過(guò)多模式學(xué)習(xí)和 NVIDIA 加速訓(xùn)練快速掌握技能。

免費(fèi)使用 OSMO 托管服務(wù)-OSMO是一個(gè)云原生編排平臺(tái)，用于在本地、私有云和公共云中擴(kuò)展復(fù)雜、多階段和多容器的機(jī)器人工作負(fù)載。

搶先體驗(yàn)全新 NVIDIA Isaac? ROS 庫(kù)-Isaac ROS是一套 NVIDIA GPU 加速的ROS庫(kù)，可加速AI機(jī)器人的開(kāi)發(fā)和性能。

搶先體驗(yàn)機(jī)器人學(xué)習(xí)和模擬框架-Isaac Lab 是一個(gè)模擬應(yīng)用程序，可以通過(guò)強(qiáng)化和模仿學(xué)習(xí)實(shí)現(xiàn)機(jī)器人學(xué)習(xí)。

“人形機(jī)器人的開(kāi)發(fā)極其復(fù)雜，這項(xiàng)工作需要從現(xiàn)實(shí)世界中繁瑣地獲取大量真實(shí)數(shù)據(jù)?！备道~首席執(zhí)行官 Alex Gu分享到，“NVIDIA 的全新仿真和生成式 AI 開(kāi)發(fā)者工具將有助于引導(dǎo)和加速我們的模型開(kāi)發(fā)工作流。”

據(jù)悉，首批參與機(jī)早期訪問(wèn)計(jì)劃的機(jī)器人企業(yè)包括：1x、波士頓動(dòng)力公司、字節(jié)跳動(dòng)研究院（ByteDance Research）、Field AI、Figure、傅利葉、銀河通用、逐際動(dòng)力、Mentee、Neura Robotics、星動(dòng)紀(jì)元和Skild AI。

透過(guò)英偉達(dá)人形機(jī)器人開(kāi)發(fā)者計(jì)劃，以及來(lái)自機(jī)器人行業(yè)領(lǐng)軍企業(yè)的緊密合作，英偉達(dá)正在擴(kuò)大人形機(jī)器人開(kāi)發(fā)技術(shù)的訪問(wèn)渠道，加速整個(gè)行業(yè)的發(fā)展。波士頓動(dòng)力公司首席技術(shù)官 Aaron Saunders非常認(rèn)可這一計(jì)劃的駕駛，他表示若想獲得最先進(jìn)的機(jī)器人技術(shù)，早期訪問(wèn)計(jì)劃無(wú)疑是最佳的途徑。

結(jié)語(yǔ)

在我們看來(lái)，NVIDIA 最新發(fā)布的技術(shù)通過(guò)高效的微服務(wù)框架（NIM）、簡(jiǎn)化的工作流編排服務(wù)（OSMO）和先進(jìn)的數(shù)據(jù)捕獲工作流，大大加速了人形機(jī)器人開(kāi)發(fā)和訓(xùn)練的過(guò)程，為開(kāi)發(fā)者提供了強(qiáng)大的工具和支持。這些技術(shù)將機(jī)器人部署時(shí)間從數(shù)月縮短到幾分鐘，提高了開(kāi)發(fā)效率和靈活性，通過(guò)對(duì)技術(shù)背景和設(shè)備要求的進(jìn)一步降低，無(wú)疑將推動(dòng)人形機(jī)器人領(lǐng)域的快速發(fā)展。