使用仿真技術(shù)綜合生成訓(xùn)練數(shù)據(jù)，人形機器人能力再上一個臺階｜英偉達于Siggraph2024公布機器人模擬仿真技術(shù)最近進展

在一個廚房里，一個真正的人類學(xué)徒，在和老師傅學(xué)習(xí)的時候，是怎么樣的一個過程？這似乎很難描述，因為這一過程發(fā)生地非常自然。學(xué)徒只需要仔細觀看老師傅的每一個步驟、專注傾聽老師傅的每一句提點、用心思考整個流程，然后將其過程實現(xiàn)完整的復(fù)刻即可。

而對于機器人而言，這似乎非常困難。需要復(fù)雜的信息輸入、量化、計算，進而進行訓(xùn)練，最終實現(xiàn)在機器人上的推理。整個過程中涉及到了模擬信息采集、數(shù)字轉(zhuǎn)換、模型的優(yōu)化部署等。

而隨著英偉達于Siggraph2024發(fā)布的最新NIM微服務(wù)，設(shè)計者們目前可以輕松地通過AR設(shè)備和英偉達軟硬件平臺來實現(xiàn)更為自然地人形機器人模擬，使用仿真技術(shù)綜合生成訓(xùn)練數(shù)據(jù)，讓自己化身老師傅，讓讓機器人模擬仿真變得像教會學(xué)徒一樣自然。

全新英偉達機器人NIM 微服務(wù)：幾分鐘即可完成機器人仿真部署

NVIDIA NIM（NVIDIA Infrastructure Management）微服務(wù)是英偉達公司提供的管理和優(yōu)化數(shù)據(jù)中心基礎(chǔ)設(shè)施的解決方案，主要用于高性能計算（HPC）、人工智能（AI）和深度學(xué)習(xí)（DL）領(lǐng)域。NIM微服務(wù)具備資源管理、智能任務(wù)調(diào)度、實時監(jiān)控與分析、以及自動化運維等功能。它通過優(yōu)化資源分配和任務(wù)調(diào)度，提高數(shù)據(jù)中心的整體效率和計算性能，并且具有高效性、可擴展性、智能化和集成性的優(yōu)勢。NIM微服務(wù)適用于高性能計算、人工智能與深度學(xué)習(xí)以及云計算等應(yīng)用場景，通過智能化的管理和優(yōu)化，幫助企業(yè)更高效地利用計算資源，簡化運維過程，提升業(yè)務(wù)競爭力。

而在Siggraph2024上，英偉達又發(fā)布了一系列新的NIM微服務(wù)，覆蓋了理解、數(shù)字人、3D開發(fā)、機器人和數(shù)字生物學(xué)幾大領(lǐng)域。其中在機器人領(lǐng)域，發(fā)布的新的NIM包括MinnicGen和Robocasa，前者生成基于空間計算設(shè)備（如 Apple Vision Pro）記錄的遙操作數(shù)據(jù)的合成運動數(shù)據(jù)，后者在 OpenUSD 中生成機器人任務(wù)和模擬環(huán)境。

NIM機器人微服務(wù)，結(jié)合用于訓(xùn)練模型“NVIDIA AI 超級計算機”、加基于 Omniverse 構(gòu)建的機器人模擬參考應(yīng)用NVIDIA Isaac Sim，再加上用于運行模型的人形機器人計算機“NVIDIA Jetson? Thor”，就打破了數(shù)字和模擬世界之間的次元壁，從而真正實現(xiàn)了生成式人工智能（Generative AI）進入物理世界的全過程。

生成式人工智能（Generative AI）進入物理世界的過程包括三個主要部分：首先，生成式人工智能的核心部分使用NVIDIA DGX系統(tǒng)進行計算和處理；其次，通過NVIDIA OVX進行數(shù)字孿生模擬，將生成式AI的結(jié)果與物理環(huán)境相連接；最后，通過NVIDIA AGX和IGX系統(tǒng)將生成式AI的成果應(yīng)用于機器人系統(tǒng)，實現(xiàn)物理世界的操作和控制。這些系統(tǒng)之間互相連接，共同構(gòu)成了生成式AI在物理世界中的應(yīng)用框架。

而NIM微服務(wù)可以貫穿整個生成式AI進入物理世界的過程，提供基礎(chǔ)設(shè)施管理、資源優(yōu)化和運維支持，確保各個階段的系統(tǒng)高效、穩(wěn)定地運行。

在此次發(fā)布會上，英偉達介紹了通過真人的遙操作數(shù)據(jù)捕獲工作流整個過程。包含三個部分：

【數(shù)據(jù)捕捉、記錄和合成】首先開發(fā)者/用戶佩戴AR設(shè)備（如Apple Vision Pro）進行示范操作，用戶的動作被實時捕捉。這些示范動作會被記錄為遙操作數(shù)據(jù)，包括了用戶的操作過程和動作細節(jié)等。然后記錄的遙操作數(shù)據(jù)被發(fā)送到NVIDIA Omniverse云平臺中，被NVIDIA Isaac Sim with MimicGen 用于生成合成運動數(shù)據(jù)。

【數(shù)據(jù)模擬和優(yōu)化】合成后的運動數(shù)據(jù)會被進一步處理，進入 NVIDIA Isaac Lab with RoboCasa 進行更深層次的模擬和測試。而處理后的合成數(shù)據(jù)和其他相關(guān)數(shù)據(jù)會被傳輸?shù)?NVIDIA DGX 云平臺，在這里被Isaac Sim和NVIDIA Project GROOT使用進行模擬和優(yōu)化。

【數(shù)據(jù)集成】最終從 NVIDIA DGX 云平臺獲取到的優(yōu)化數(shù)據(jù)，可以控制實際機器人進行操作。而最終的數(shù)據(jù)和操作被傳輸?shù)?Jetson Thor 硬件平臺，該平臺負責(zé)實際操作執(zhí)行和控制。這些機器人可能用于各種實際場景中，如廚房助手機器人等。

在整個過程中，NVIDIA OSMO服務(wù)提供支持和協(xié)調(diào)，確保數(shù)據(jù)和操作在各個平臺之間的流動和同步。這是一個云原生的托管服務(wù)，允許用戶在本地或云端協(xié)調(diào)和擴展復(fù)雜的機器人開發(fā)工作流，大幅簡化了機器人訓(xùn)練和模擬工作流，減少了開發(fā)周期。

總結(jié)來說，NVIDIA提供了一個啟用 AI 和 Omniverse 的遙操作參考工作流，使研究人員和 AI 開發(fā)者能夠從遠程捕獲的少量人類演示中生成大量合成運動和感知數(shù)據(jù)。開發(fā)者使用 Apple Vision Pro 捕獲少量遙操作演示，然后在 NVIDIA Isaac Sim 中模擬這些記錄，并使用 MimicGen NIM 生成合成數(shù)據(jù)集。

英偉達人形機器人開發(fā)者計劃：加速機器人從云端到邊緣的計算

為了加速機器人工作者們快速實現(xiàn)人形機器人從云端到邊緣側(cè)的訓(xùn)練加速，英偉達推出了最新的人形機器人開發(fā)者計劃。只要加入該計劃，開發(fā)者可以提前體驗到人形機器人開發(fā)相關(guān)的軟硬件資源的最新版本。包括：

搶先體驗人形基礎(chǔ)模型-GR00T項目是人形機器人基礎(chǔ)模型的集合。這些模型使機器人能夠理解自然語言、模仿人類動作，并通過多模式學(xué)習(xí)和 NVIDIA 加速訓(xùn)練快速掌握技能。

免費使用 OSMO 托管服務(wù)-OSMO是一個云原生編排平臺，用于在本地、私有云和公共云中擴展復(fù)雜、多階段和多容器的機器人工作負載。

搶先體驗全新 NVIDIA Isaac? ROS 庫-Isaac ROS是一套 NVIDIA GPU 加速的ROS庫，可加速AI機器人的開發(fā)和性能。

搶先體驗機器人學(xué)習(xí)和模擬框架-Isaac Lab 是一個模擬應(yīng)用程序，可以通過強化和模仿學(xué)習(xí)實現(xiàn)機器人學(xué)習(xí)。

“人形機器人的開發(fā)極其復(fù)雜，這項工作需要從現(xiàn)實世界中繁瑣地獲取大量真實數(shù)據(jù)?！备道~首席執(zhí)行官 Alex Gu分享到，“NVIDIA 的全新仿真和生成式 AI 開發(fā)者工具將有助于引導(dǎo)和加速我們的模型開發(fā)工作流。”

據(jù)悉，首批參與機早期訪問計劃的機器人企業(yè)包括：1x、波士頓動力公司、字節(jié)跳動研究院（ByteDance Research）、Field AI、Figure、傅利葉、銀河通用、逐際動力、Mentee、Neura Robotics、星動紀元和Skild AI。

透過英偉達人形機器人開發(fā)者計劃，以及來自機器人行業(yè)領(lǐng)軍企業(yè)的緊密合作，英偉達正在擴大人形機器人開發(fā)技術(shù)的訪問渠道，加速整個行業(yè)的發(fā)展。波士頓動力公司首席技術(shù)官 Aaron Saunders非常認可這一計劃的駕駛，他表示若想獲得最先進的機器人技術(shù)，早期訪問計劃無疑是最佳的途徑。

結(jié)語

在我們看來，NVIDIA 最新發(fā)布的技術(shù)通過高效的微服務(wù)框架（NIM）、簡化的工作流編排服務(wù)（OSMO）和先進的數(shù)據(jù)捕獲工作流，大大加速了人形機器人開發(fā)和訓(xùn)練的過程，為開發(fā)者提供了強大的工具和支持。這些技術(shù)將機器人部署時間從數(shù)月縮短到幾分鐘，提高了開發(fā)效率和靈活性，通過對技術(shù)背景和設(shè)備要求的進一步降低，無疑將推動人形機器人領(lǐng)域的快速發(fā)展。