NVIDIA助力機(jī)器人技術(shù)的提升 為構(gòu)建自主機(jī)器統(tǒng)一平臺樹立了里程碑
NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛在NVIDIA最新的GPU技術(shù)會議(GTC CHINA 2019)上宣布了該消息。在建立統(tǒng)一的機(jī)器人開發(fā)平臺以實(shí)現(xiàn)AI、仿真和操控功能方面,Isaac SDK邁出了重要的里程碑。
Isaac SDK包括Isaac Robotics Engine(提供應(yīng)用程序框架),Isaac GEM(預(yù)先構(gòu)建的深度神經(jīng)網(wǎng)絡(luò)模型、算法、庫、驅(qū)動程序和API),用于室內(nèi)物流的參考應(yīng)用程序以及Isaac Sim的第一個版本(提供導(dǎo)航功能)。
全新Isaac SDK可以大大加快研究人員、開發(fā)人員、初創(chuàng)企業(yè)和制造商開發(fā)和測試機(jī)器人的速度。它使機(jī)器人能夠通過仿真獲得由人工智能技術(shù)驅(qū)動的感知和訓(xùn)練功能,從而可以在各種環(huán)境和情況下對機(jī)器人進(jìn)行測試和驗(yàn)證。
這樣一來,可以節(jié)省成本。
從基于AI的感知開始
每臺自主機(jī)器都始于感知。
為了加快AI機(jī)器人的開發(fā)速度,全新Isaac SDK包括各種基于攝像頭的感知深度神經(jīng)網(wǎng)絡(luò)。其中:
·對象檢測——識別用于導(dǎo)航、交互或操控的對象
·自由空間分割——檢測和分割外部世界,例如確定人行道在哪里,以及機(jī)器人可以在哪里行駛
·3D姿態(tài)估計(jì)——了解目標(biāo)的位置和方向,從而實(shí)現(xiàn)諸如機(jī)械臂拾取物體的任務(wù)
·2D人體姿態(tài)估計(jì)——將姿態(tài)估計(jì)應(yīng)用于人,這對于與人互動的機(jī)器人(例如配送機(jī)器人)和協(xié)作機(jī)器人(專門設(shè)計(jì)用于與人合作)非常重要
該SDK的對象檢測也已通過ResNet深度神經(jīng)網(wǎng)絡(luò)進(jìn)行了更新,可以使用NVIDIA的遷移學(xué)習(xí)工具包對其進(jìn)行訓(xùn)練。這使得添加新對象進(jìn)行檢測和訓(xùn)練新模型變得更加容易,這些新模型可以以較高的準(zhǔn)確度啟動并運(yùn)行。
推出Isaac Sim
新版本引入了一項(xiàng)重要功能——使用Isaac Sim訓(xùn)練機(jī)器人,并將所生成的軟件部署到在現(xiàn)實(shí)世界中運(yùn)行的真實(shí)機(jī)器人中。這有望大大加快機(jī)器人的開發(fā)速度,從而實(shí)現(xiàn)綜合數(shù)據(jù)的訓(xùn)練。
通過仿真,開發(fā)人員可以在極端情況下(即困難或異常情況下)對機(jī)器人進(jìn)行測試,以進(jìn)一步加強(qiáng)對它的訓(xùn)練。將這些結(jié)果輸入訓(xùn)練管道,使神經(jīng)網(wǎng)絡(luò)可以基于真實(shí)和模擬數(shù)據(jù)來提高準(zhǔn)確性。
多機(jī)器人Sim來了
全新SDK也提供了多機(jī)器人仿真。這使開發(fā)人員可以將多個機(jī)器人放入仿真環(huán)境中進(jìn)行測試,以便它們學(xué)會彼此相關(guān)的工作。各個機(jī)器人可以在共享的虛擬環(huán)境中移動時,運(yùn)行獨(dú)立版本的Isaac導(dǎo)航軟件堆棧。
因此,尋求在大型物流管理中運(yùn)行多個機(jī)器人的制造商,可以先測試機(jī)器人交互作用并調(diào)試問題,再將其部署到現(xiàn)實(shí)世界。
Isaac與DeepStream集成
全新SDK還集成了對NVIDIA DeepStream 軟件的支持,該軟件廣泛用于處理分析功能。開發(fā)人員可以在支持機(jī)器人應(yīng)用程序的邊緣AI 部署DeepStream和NVIDIA GPU,以實(shí)現(xiàn)對視頻流的處理。
開發(fā)人員現(xiàn)在可以構(gòu)建各種各樣的機(jī)器人,這些機(jī)器人需要對攝像頭視頻源進(jìn)行分析,既可以用于機(jī)載應(yīng)用,也可以用于遠(yuǎn)程定位。
使用Isaac SDK進(jìn)行編程
最后,對于已經(jīng)開發(fā)了自己代碼的機(jī)器人開發(fā)人員,全新SDK也能集成他們的工作,并添加了基于C編程語言的新API。
這使開發(fā)人員可以將自己的軟件堆棧連接到Isaac SDK,并最大程度地減少編程語言轉(zhuǎn)換——為用戶提供通過C API訪問路由的Isaac功能。
C-API訪問權(quán)限同時支持開發(fā)人員在其他編程語言中使用Isaac SDK。