使用仿真技術(shù)綜合生成訓(xùn)練數(shù)據(jù),人形機器人能力再上一個臺階|英偉達于Siggraph2024公布機器人模擬仿真技術(shù)最近進展
在一個廚房里,一個真正的人類學(xué)徒,在和老師傅學(xué)習(xí)的時候,是怎么樣的一個過程?這似乎很難描述,因為這一過程發(fā)生地非常自然。學(xué)徒只需要仔細觀看老師傅的每一個步驟、專注傾聽老師傅的每一句提點、用心思考整個流程,然后將其過程實現(xiàn)完整的復(fù)刻即可。
而對于機器人而言,這似乎非常困難。需要復(fù)雜的信息輸入、量化、計算,進而進行訓(xùn)練,最終實現(xiàn)在機器人上的推理。整個過程中涉及到了模擬信息采集、數(shù)字轉(zhuǎn)換、模型的優(yōu)化部署等。
而隨著英偉達于Siggraph2024發(fā)布的最新NIM微服務(wù),設(shè)計者們目前可以輕松地通過AR設(shè)備和英偉達軟硬件平臺來實現(xiàn)更為自然地人形機器人模擬,使用仿真技術(shù)綜合生成訓(xùn)練數(shù)據(jù),讓自己化身老師傅,讓讓機器人模擬仿真變得像教會學(xué)徒一樣自然。
全新英偉達機器人NIM 微服務(wù):幾分鐘即可完成機器人仿真部署
NVIDIA NIM(NVIDIA Infrastructure Management)微服務(wù)是英偉達公司提供的管理和優(yōu)化數(shù)據(jù)中心基礎(chǔ)設(shè)施的解決方案,主要用于高性能計算(HPC)、人工智能(AI)和深度學(xué)習(xí)(DL)領(lǐng)域。NIM微服務(wù)具備資源管理、智能任務(wù)調(diào)度、實時監(jiān)控與分析、以及自動化運維等功能。它通過優(yōu)化資源分配和任務(wù)調(diào)度,提高數(shù)據(jù)中心的整體效率和計算性能,并且具有高效性、可擴展性、智能化和集成性的優(yōu)勢。NIM微服務(wù)適用于高性能計算、人工智能與深度學(xué)習(xí)以及云計算等應(yīng)用場景,通過智能化的管理和優(yōu)化,幫助企業(yè)更高效地利用計算資源,簡化運維過程,提升業(yè)務(wù)競爭力。
而在Siggraph2024上,英偉達又發(fā)布了一系列新的NIM微服務(wù),覆蓋了理解、數(shù)字人、3D開發(fā)、機器人和數(shù)字生物學(xué)幾大領(lǐng)域。其中在機器人領(lǐng)域,發(fā)布的新的NIM包括MinnicGen和Robocasa,前者生成基于空間計算設(shè)備(如 Apple Vision Pro)記錄的遙操作數(shù)據(jù)的合成運動數(shù)據(jù),后者在 OpenUSD 中生成機器人任務(wù)和模擬環(huán)境。
NIM機器人微服務(wù),結(jié)合用于訓(xùn)練模型“NVIDIA AI 超級計算機”、加基于 Omniverse 構(gòu)建的機器人模擬參考應(yīng)用NVIDIA Isaac Sim,再加上用于運行模型的人形機器人計算機“NVIDIA Jetson? Thor”,就打破了數(shù)字和模擬世界之間的次元壁,從而真正實現(xiàn)了生成式人工智能(Generative AI)進入物理世界的全過程。
生成式人工智能(Generative AI)進入物理世界的過程包括三個主要部分:首先,生成式人工智能的核心部分使用NVIDIA DGX系統(tǒng)進行計算和處理;其次,通過NVIDIA OVX進行數(shù)字孿生模擬,將生成式AI的結(jié)果與物理環(huán)境相連接;最后,通過NVIDIA AGX和IGX系統(tǒng)將生成式AI的成果應(yīng)用于機器人系統(tǒng),實現(xiàn)物理世界的操作和控制。這些系統(tǒng)之間互相連接,共同構(gòu)成了生成式AI在物理世界中的應(yīng)用框架。
而NIM微服務(wù)可以貫穿整個生成式AI進入物理世界的過程,提供基礎(chǔ)設(shè)施管理、資源優(yōu)化和運維支持,確保各個階段的系統(tǒng)高效、穩(wěn)定地運行。
在此次發(fā)布會上,英偉達介紹了通過真人的遙操作數(shù)據(jù)捕獲工作流整個過程。包含三個部分:
【數(shù)據(jù)捕捉、記錄和合成】首先開發(fā)者/用戶佩戴AR設(shè)備(如Apple Vision Pro)進行示范操作,用戶的動作被實時捕捉。這些示范動作會被記錄為遙操作數(shù)據(jù),包括了用戶的操作過程和動作細節(jié)等。然后記錄的遙操作數(shù)據(jù)被發(fā)送到NVIDIA Omniverse云平臺中,被NVIDIA Isaac Sim with MimicGen 用于生成合成運動數(shù)據(jù)。
【數(shù)據(jù)模擬和優(yōu)化】合成后的運動數(shù)據(jù)會被進一步處理,進入 NVIDIA Isaac Lab with RoboCasa 進行更深層次的模擬和測試。而處理后的合成數(shù)據(jù)和其他相關(guān)數(shù)據(jù)會被傳輸?shù)?NVIDIA DGX 云平臺,在這里被Isaac Sim和NVIDIA Project GROOT使用進行模擬和優(yōu)化。
【數(shù)據(jù)集成】最終從 NVIDIA DGX 云平臺獲取到的優(yōu)化數(shù)據(jù),可以控制實際機器人進行操作。而最終的數(shù)據(jù)和操作被傳輸?shù)?Jetson Thor 硬件平臺,該平臺負責(zé)實際操作執(zhí)行和控制。這些機器人可能用于各種實際場景中,如廚房助手機器人等。
在整個過程中,NVIDIA OSMO服務(wù)提供支持和協(xié)調(diào),確保數(shù)據(jù)和操作在各個平臺之間的流動和同步。這是一個云原生的托管服務(wù),允許用戶在本地或云端協(xié)調(diào)和擴展復(fù)雜的機器人開發(fā)工作流,大幅簡化了機器人訓(xùn)練和模擬工作流,減少了開發(fā)周期。
總結(jié)來說,NVIDIA提供了一個啟用 AI 和 Omniverse 的遙操作參考工作流,使研究人員和 AI 開發(fā)者能夠從遠程捕獲的少量人類演示中生成大量合成運動和感知數(shù)據(jù)。開發(fā)者使用 Apple Vision Pro 捕獲少量遙操作演示,然后在 NVIDIA Isaac Sim 中模擬這些記錄,并使用 MimicGen NIM 生成合成數(shù)據(jù)集。
英偉達人形機器人開發(fā)者計劃:加速機器人從云端到邊緣的計算
為了加速機器人工作者們快速實現(xiàn)人形機器人從云端到邊緣側(cè)的訓(xùn)練加速,英偉達推出了最新的人形機器人開發(fā)者計劃。只要加入該計劃,開發(fā)者可以提前體驗到人形機器人開發(fā)相關(guān)的軟硬件資源的最新版本。包括:
搶先體驗人形基礎(chǔ)模型-GR00T項目是人形機器人基礎(chǔ)模型的集合。這些模型使機器人能夠理解自然語言、模仿人類動作,并通過多模式學(xué)習(xí)和 NVIDIA 加速訓(xùn)練快速掌握技能。
免費使用 OSMO 托管服務(wù)-OSMO是一個云原生編排平臺,用于在本地、私有云和公共云中擴展復(fù)雜、多階段和多容器的機器人工作負載。
搶先體驗全新 NVIDIA Isaac? ROS 庫-Isaac ROS是一套 NVIDIA GPU 加速的ROS庫,可加速AI機器人的開發(fā)和性能。
搶先體驗機器人學(xué)習(xí)和模擬框架-Isaac Lab 是一個模擬應(yīng)用程序,可以通過強化和模仿學(xué)習(xí)實現(xiàn)機器人學(xué)習(xí)。
“人形機器人的開發(fā)極其復(fù)雜,這項工作需要從現(xiàn)實世界中繁瑣地獲取大量真實數(shù)據(jù)?!备道~首席執(zhí)行官 Alex Gu分享到,“NVIDIA 的全新仿真和生成式 AI 開發(fā)者工具將有助于引導(dǎo)和加速我們的模型開發(fā)工作流。”
據(jù)悉,首批參與機早期訪問計劃的機器人企業(yè)包括:1x、波士頓動力公司、字節(jié)跳動研究院(ByteDance Research)、Field AI、Figure、傅利葉、銀河通用、逐際動力、Mentee、Neura Robotics、星動紀元和Skild AI。
透過英偉達人形機器人開發(fā)者計劃,以及來自機器人行業(yè)領(lǐng)軍企業(yè)的緊密合作,英偉達正在擴大人形機器人開發(fā)技術(shù)的訪問渠道,加速整個行業(yè)的發(fā)展。波士頓動力公司首席技術(shù)官 Aaron Saunders非常認可這一計劃的駕駛,他表示若想獲得最先進的機器人技術(shù),早期訪問計劃無疑是最佳的途徑。
結(jié)語
在我們看來,NVIDIA 最新發(fā)布的技術(shù)通過高效的微服務(wù)框架(NIM)、簡化的工作流編排服務(wù)(OSMO)和先進的數(shù)據(jù)捕獲工作流,大大加速了人形機器人開發(fā)和訓(xùn)練的過程,為開發(fā)者提供了強大的工具和支持。這些技術(shù)將機器人部署時間從數(shù)月縮短到幾分鐘,提高了開發(fā)效率和靈活性,通過對技術(shù)背景和設(shè)備要求的進一步降低,無疑將推動人形機器人領(lǐng)域的快速發(fā)展。