如何讓機器人更加“真人化”？英偉達在GTC上發(fā)布全新生成式AI和具身智能技術(shù)

國際機器人聯(lián)合會 (IFR)預(yù)測了2024年在機器人上將會發(fā)生的五大趨勢，其中包括AI化、協(xié)作機器人的普及、移動機械手（MoMas）在制造業(yè)中普及、數(shù)字孿生以及人形機器人發(fā)展。而將這五條總結(jié)起來看，即我們將會在2024年看到更多的更加智能化和人性化的機器人的進展，并且協(xié)作機器人將會進一步走入各行各業(yè)之中。

而令人期待的展望背后，離不開來自芯片、應(yīng)用和制造商各方的創(chuàng)新和努力。全球的機器人技術(shù)先鋒們正聚焦力量，集結(jié)多元的技術(shù)力量，旨在人工智能通用機器人領(lǐng)域取得革命性的進展。技術(shù)巨擘NVIDIA正在打造一個全面的機器人開發(fā)平臺：這一平臺專為領(lǐng)先的人形機器人企業(yè)而設(shè)計，旨在支撐不斷進化的機器人生態(tài)。他們堅信，現(xiàn)代 AI 技術(shù)的快速發(fā)展將為機器人鋪設(shè)前行之路，助其在人類日常生活的方方面面發(fā)揮關(guān)鍵作用；同時，包括GenAI和具身智能的未來技術(shù)不僅能幫助人類應(yīng)對人口下降、氣候變化、疾病等重大挑戰(zhàn)，還能激發(fā)出目前我們所無法企及或想象的創(chuàng)新成就。

在今天的GTC 2024大會上，英偉達發(fā)布了關(guān)于機器人的諸多技術(shù)和平臺更新，包括首個人形機器人基礎(chǔ)模型Project GR00T、新型人形機器人計算機Jetson Thor以及來自Isaac機器人平臺的諸多新特性新功能更新。通過一系列的新技術(shù)加持，我們可以預(yù)見到機器人未來將會變得更加“真人化”，不僅具備人的外形，而是具備類人的思考和反應(yīng)能力，能夠與人一起在同一環(huán)境中協(xié)作創(chuàng)新。

首個人形機器人基礎(chǔ)模型Project GR00T，讓機器人更加像真人

Project GR00T是英偉達發(fā)布的首個人形機器人通用基礎(chǔ)模型，旨在進一步推動其在機器人和具身智能方面的突破。

對于Project GR00T而言，不僅要具備“人形”，更要具備“人性”。而在“人性”方面的打造，離不開具身智能的技術(shù)加持。

具身智能（Embodied Intelligence)是指機器人或其他人工智能系統(tǒng)通過與真實世界的物理交互來學(xué)習(xí)和適應(yīng)環(huán)境的能力。這種類型的智能強調(diào)了機器人的身體和環(huán)境之間的交互對于智能行為的重要性。具身智能的理念認為，智能不僅僅是計算或數(shù)據(jù)處理的結(jié)果，而是通過感知環(huán)境、在環(huán)境中移動、與環(huán)境互動并從這些互動中學(xué)習(xí)而形成的。

在具身智能中，機器人的身體不僅是行動的工具，也是感知和認識世界的媒介。這意味著AI系統(tǒng)通過其傳感器接收外部信息，并通過其執(zhí)行器（例如，機械臂、輪子、其他移動裝置等）在物理世界中采取行動。通過這種方式，AI能夠更好地理解和適應(yīng)其所處的環(huán)境，從而執(zhí)行復(fù)雜的任務(wù)，如導(dǎo)航、操縱物體或與人類自然交流。

具身智能領(lǐng)域的研究可以應(yīng)用于多個領(lǐng)域，包括機器人學(xué)、虛擬現(xiàn)實、增強現(xiàn)實和游戲設(shè)計等。通過具身智能，有望可以創(chuàng)造出能夠更自然、更有效與人類和環(huán)境互動的智能機器人。

而英偉達通過其強大的GPU硬件技術(shù)和AI平臺，為開發(fā)具身智能提供了強大的計算能力和高效工具。軟件方面，此前發(fā)布的Isaac SDK就使開發(fā)者能夠為機器人提供高級感知、導(dǎo)航和操作能力，促進機器人在真實世界中的自主學(xué)習(xí)和互動。硬件解決方案方面，Jetson平臺支持高性能的深度學(xué)習(xí)、計算機視覺和多模態(tài)傳感器處理，使得具身智能應(yīng)用成為可能。在AI驅(qū)動工具方面，英偉達的SimNet可以幫助工程師創(chuàng)建精確的仿真環(huán)境，用于測試和訓(xùn)練具身智能系統(tǒng)，而無需頻繁地進行物理測試。

最新發(fā)布的GR00T技術(shù)驅(qū)動機器人具備了解自然語言的能力，并能夠通過觀察人類的行為來學(xué)習(xí)模仿動作——這使它們能夠迅速掌握協(xié)調(diào)性、靈活性以及其他關(guān)鍵技能，從而順利地在真實世界中導(dǎo)航、適應(yīng)并進行交互。在NVIDIA的GTC大會上，創(chuàng)始人及CEO黃仁勛通過主題演講，展示了這些機器人如何巧妙地執(zhí)行了一系列復(fù)雜任務(wù)。

這種前沿技術(shù)賦予機器人的能力，使其行為更加貼近人類。自然語言理解的進步讓機器人能夠與人類進行更加流暢、直觀的溝通，不僅能解析語言的字面意義，還能捕捉到語調(diào)和上下文中的隱含情感。其次，觀察并模仿人類動作的能力讓機器人在社交互動中顯得更自然，它們能通過觀察人類的肢體語言和反應(yīng)，學(xué)習(xí)到如何在特定情境下做出相應(yīng)的反應(yīng)或表達，從而在社交互動中展現(xiàn)出更加人性化的行為模式。

此外，快速學(xué)習(xí)協(xié)調(diào)性和靈活性等技能，讓機器人能夠適應(yīng)各種復(fù)雜的環(huán)境和任務(wù)。這不僅限于物理動作的模仿，還包括解決問題的能力和在不同情境下做出適應(yīng)性調(diào)整的能力，使得機器人能夠更好地理解并應(yīng)對現(xiàn)實世界的多樣性和不確定性。

通過這些技術(shù)的融合與應(yīng)用，機器人不再是單一功能的自動化工具，而是成為了能夠理解和響應(yīng)人類情感、社交需求，并能在復(fù)雜環(huán)境中獨立操作的伙伴。這種技術(shù)的發(fā)展，正推動著機器人從工業(yè)和服務(wù)的輔助角色，向更加深入的人類生活領(lǐng)域拓展，預(yù)示著未來機器人將在人類社會中扮演更加復(fù)雜且親密的角色。

新型機器人計算機Jetson Thor，加速人形機器人的開發(fā)

此次發(fā)布的有關(guān)機器人的另一個重要解決方案是Jetson Thor，它代表著一種革命性的人形機器人計算平臺，它不僅能夠處理高度復(fù)雜的任務(wù)，還能以安全和自然的方式與人類及其他機器進行交互。這一平臺以其模塊化的設(shè)計而聞名，該設(shè)計精心考慮了性能、能耗以及體積的最優(yōu)平衡，旨在滿足未來計算需求的同時，保持極致的效率和靈活性。

核心部分是一個集成了Transformer engine的下一代GPU，基于NVIDIA最先進的Blackwell架構(gòu)。這款GPU能夠提供令人震驚的每秒最多800萬億次的8位浮點運算能力，使其成為運行如GR00T這類多模態(tài)生成式AI模型的理想選擇。這種強大的AI性能使Jetson Thor能夠無縫執(zhí)行語言理解、圖像識別和模式生成等任務(wù)，為機器人、自動化系統(tǒng)和智能設(shè)備提供前所未有的智能水平。

此外，Jetson Thor平臺還集成了功能安全處理器，這是確保系統(tǒng)在執(zhí)行關(guān)鍵任務(wù)時的可靠性和安全性的關(guān)鍵。高性能CPU集群進一步強化了其處理能力，使得復(fù)雜的算法和模型能夠高效運行。而100GB的以太網(wǎng)帶寬保證了數(shù)據(jù)傳輸?shù)臉O致速度和低延遲，這對于實時數(shù)據(jù)處理和遠程操作尤為關(guān)鍵。

這種集成高度先進技術(shù)的設(shè)計，大大簡化了系統(tǒng)的設(shè)計和集成工作，為開發(fā)人員提供了前所未有的靈活性和易用性。開發(fā)人員現(xiàn)在能夠更加專注于創(chuàng)新，而不是花費大量時間解決集成和兼容性問題。Jetson Thor開啟了一個全新的可能性領(lǐng)域，為機器學(xué)習(xí)、自動化和智能交互設(shè)定了新的標(biāo)準(zhǔn)，預(yù)示著我們步入了一個更加智能、更加互聯(lián)的未來。

Isaac機器人平臺大更新，助力客戶探索機器人未來潛力

在2018年的GTC大會上，英偉達首次發(fā)布了Isaac平臺。這一平臺旨在為機器人開發(fā)人員提供一套綜合工具，以便他們能夠創(chuàng)建、模擬和部署適用于各種機器人應(yīng)用的AI模型。Isaac圍繞著提升機器人的感知、導(dǎo)航和操控能力而構(gòu)建，特別強調(diào)了機器人視覺和AI驅(qū)動的自主功能。經(jīng)過了多年的迭代升級，當(dāng)前Isaac為研究人員、開發(fā)人員和企業(yè)提供了強大的工具集，幫助他們探索和實現(xiàn)機器人技術(shù)的未來潛力。

而在今年的GTC大會上，英偉達同樣也帶來了在Isaac上的一系列新特性和新功能。首先最值得關(guān)注的是能夠支持最新的GR00T模型的、用于其強化學(xué)習(xí)的Isaac Lab和用于計算編排服務(wù)的OSMO。

新推出的Isaac Lab是一個基于Isaac Sim開發(fā)的GPU加速、性能優(yōu)化的輕量級應(yīng)用，旨在支持成千上萬個機器人學(xué)習(xí)所需的并行仿真。而為了適應(yīng)分布式計算環(huán)境中的機器人開發(fā)工作負載，新推出的OSMO則負責(zé)在分布式環(huán)境中協(xié)調(diào)數(shù)據(jù)生成、模型訓(xùn)練以及軟硬件集成的工作流。

除以上兩大新增功能外，NVIDIA還推出了一系列預(yù)訓(xùn)練的機器人模型、庫和參考硬件，包括Isaac Manipulator和Isaac Perceptor。

Isaac Manipulator為機械臂提供了卓越的靈活性和AI功能，配備了一系列的基礎(chǔ)模型和GPU加速庫。它能夠?qū)崿F(xiàn)高達80倍的路徑規(guī)劃加速，通過零樣本感知大幅提高效率和吞吐量，使開發(fā)者能夠自動化更多新的機器人任務(wù)。早期的生態(tài)系統(tǒng)合作伙伴包括Franka Robotics、PickNik Robotics、READY Robotics、Solomon、泰瑞達子公司TERRA和安川電機。

而新的Isaac Perceptor則為制造業(yè)和物流業(yè)中的自主移動機器人提供了多攝像頭和3D環(huán)繞視覺功能，旨在提高效率、更好地保護工人安全，同時降低錯誤率和成本。ArcBest、比亞迪和凱傲集團等公司是這些先進視覺AI功能的早期行業(yè)合作伙伴，為物料搬運等操作引入了新的自主化水平。

結(jié)語

機器人技術(shù)的進步對于解決全球面臨的各種挑戰(zhàn)，如老齡化社會、醫(yī)療保健需求增加、生產(chǎn)效率提升等，具有重要意義。我們希望未來的機器人，不僅具備人形，更重要的是具備“人性”，更加的像一個真正的人：能夠理解人的自然語言，讀懂人的微表情，恰當(dāng)?shù)睾腿诉M行互動協(xié)作。而這種能夠進行自主學(xué)習(xí)和決策的機器人系統(tǒng)，背后需要的是高性能計算（HPC）和深度學(xué)習(xí)的支持。英偉達通過強大的GPU技術(shù)和AI算法、平臺的支持，正在幫助我們邁向未來人機共創(chuàng)的新時代。