NVIDIA 發(fā)布 Project GR00T 人形機器人基礎(chǔ)模型和 Isaac 機器人平臺重大更新

美國加利福尼亞州圣何塞 —— GTC —— 太平洋時間 2024 年 3 月 18 日——NVIDIA 于今日發(fā)布人形機器人通用基礎(chǔ)模型Project GR00T，旨在進一步推動其在機器人和具身智能方面的突破。

Project GR00T是一種多模態(tài)人形機器人通用基礎(chǔ)模型，作為機器人的大腦，使它們能夠?qū)W習(xí)技能來解決各種任務(wù)。

NVIDIA 還發(fā)布了一款基于 NVIDIA Thor 系統(tǒng)級芯片（SoC）的新型人形機器人計算機 Jetson Thor，并對 NVIDIA Isaac? 機器人平臺進行了重大升級，包括生成式 AI 基礎(chǔ)模型和仿真工具，以及 AI 工作流基礎(chǔ)設(shè)施。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“開發(fā)通用人形機器人基礎(chǔ)模型是當(dāng)今 AI 領(lǐng)域中最令人興奮的課題之一。世界各地的機器人技術(shù)領(lǐng)導(dǎo)者正在匯集各種賦能技術(shù)，致力于在人工通用機器人領(lǐng)域?qū)崿F(xiàn)突破?！?

GR00T 驅(qū)動的機器人（代表通用機器人 00 技術(shù)）將能夠理解自然語言，并通過觀察人類行為來模仿動作——快速學(xué)習(xí)協(xié)調(diào)、靈活性和其它技能，以便導(dǎo)航、適應(yīng)現(xiàn)實世界并與之互動。在 GTC 大會的主題演講中，NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛展示了數(shù)臺這樣的機器人是如何完成各種任務(wù)的。

專為人形機器人打造

Jetson Thor 是一個全新的計算平臺，能夠執(zhí)行復(fù)雜的任務(wù)并安全、自然地與人和機器交互，具有針對性能、功耗和尺寸優(yōu)化的模塊化架構(gòu)。

該 SoC 包括一個帶有 transformer engine 的下一代 GPU，其采用 NVIDIA Blackwell 架構(gòu)，可提供每秒 800 萬億次8位浮點運算 AI 性能，以運行 GR00T 等多模態(tài)生成式 AI 模型。憑借集成的功能安全處理器、高性能 CPU 集群和 100GB 以太網(wǎng)帶寬，大大簡化了設(shè)計和集成工作。

NVIDIA 正在為領(lǐng)先的人形機器人公司開發(fā)一個綜合的 AI 平臺，如 1X Technologies、Agility Robotics、Apptronik、波士頓動力公司、Figure AI、傅利葉智能、Sanctuary AI、宇樹科技和小鵬鵬行等。

Agility Robotics 聯(lián)合創(chuàng)始人兼首席機器人官 Jonathan Hurst 表示：“我們正處于歷史的轉(zhuǎn)折點，像 Digit 這樣以人為中心的機器人將永遠改變勞動力市場?，F(xiàn)代 AI 將加速發(fā)展，為 Digit 這樣的機器人鋪平道路，在日常生活的各個方面幫助人類。我們很高興能與 NVIDIA 合作，投資于計算、仿真工具、機器學(xué)習(xí)環(huán)境和其他必要的基礎(chǔ)設(shè)施，讓機器人真正融入人們的日常生活?！?

Sanctuary AI 聯(lián)合創(chuàng)始人兼首席執(zhí)行官 Geordie Rose 表示：“具身智能不僅有助于解決人類面臨的一些最大挑戰(zhàn)，還將創(chuàng)造目前超出我們能力范圍或想象的創(chuàng)新。如此重要的技術(shù)不應(yīng)該建立在孤島之上，這就是為什么我們非常重視像 NVIDIA 這樣的長期合作伙伴?！?

Isaac 平臺的重大更新

GR00T 使用的 Isaac 工具還能夠為在任何環(huán)境中的任何機器人創(chuàng)建新的基礎(chǔ)模型。這些工具包括用于強化學(xué)習(xí)的 Isaac Lab 和用于計算編排服務(wù)的 OSMO。

訓(xùn)練具身智能模型需要海量的真實數(shù)據(jù)和合成數(shù)據(jù)。新的 Isaac Lab 是一個 GPU 加速、性能優(yōu)化的輕量級應(yīng)用，基于 Isaac Sim 而構(gòu)建，專門用于運行數(shù)千個用于機器人學(xué)習(xí)的并行仿真。

為了擴展異構(gòu)計算的機器人開發(fā)工作負(fù)載，OSMO 在分布式環(huán)境中協(xié)調(diào)數(shù)據(jù)生成、模型訓(xùn)練和軟硬件在環(huán)工作流。

NVIDIA 還發(fā)布了 Isaac Manipulator 和 Isaac Perceptor 等一系列機器人預(yù)訓(xùn)練模型、庫和參考硬件。

Isaac Manipulator 為機械臂提供了卓越的靈活性和模塊化 AI 功能，并提供了一系列強大的基礎(chǔ)模型和 GPU 加速庫。它提供了高達 80 倍的路徑規(guī)劃加速，零樣本感知提高了效率和吞吐量，使開發(fā)者能夠?qū)崿F(xiàn)更多新的機器人任務(wù)的自動化。早期生態(tài)系統(tǒng)合作伙伴包括安川電機、泰瑞達旗下子公司優(yōu)傲、PickNik Robotics、Solomon、READY Robotics 和 Franka Robotics。

Isaac Perceptor 提供了多攝像頭和 3D 環(huán)繞視覺功能，這些功能正越來越多地被制造業(yè)和物流業(yè)中的自主移動機器人所采用，以提高效率和更好地保護工人，同時降低錯誤率和成本。早期采用者包括 ArcBest、比亞迪和凱傲集團等，它們的目標(biāo)是為物料搬運等操作帶來新的自主化水平。