在谷歌的深度機(jī)器學(xué)習(xí)技術(shù)助力下 機(jī)器人不用干預(yù)自己就學(xué)會(huì)了走路

可靠和穩(wěn)定的運(yùn)動(dòng)一直是有腿機(jī)器人最根本的挑戰(zhàn)之一。深度強(qiáng)化學(xué)習(xí)（深度RL）已成為一種有前途的自主開(kāi)發(fā)此類控制策略的方法。最近，一個(gè)名為Rainbow Dash的機(jī)器人就用此方法自學(xué)了走路。這只四腳機(jī)器只需要幾個(gè)小時(shí)就可以學(xué)會(huì)向前和向后行走，并在此過(guò)程中左右旋轉(zhuǎn)。

這是Google研究人員的一項(xiàng)新研究取得了重大進(jìn)展，表現(xiàn)為機(jī)器人可以在沒(méi)有人工干預(yù)的情況下學(xué)習(xí)走路。在幾個(gè)小時(shí)內(nèi)，僅僅依靠對(duì)當(dāng)前最先進(jìn)算法的微調(diào)，它們成功地讓一個(gè)四條腿的機(jī)器人學(xué)會(huì)了完全獨(dú)立的向前走和向后走，以及左右轉(zhuǎn)彎。

加州大學(xué)伯克利分校和佐治亞理工學(xué)院的研究人員在ArXiv預(yù)印服務(wù)器上發(fā)表了這篇論文，描述了一種統(tǒng)計(jì)AI技術(shù)，也是他們能用來(lái)產(chǎn)生這個(gè)成就的原因，即深度強(qiáng)化學(xué)習(xí)。他們開(kāi)發(fā)了一個(gè)系統(tǒng)，用于以最少的人力在現(xiàn)實(shí)世界中以深度RL學(xué)習(xí)腿式運(yùn)動(dòng)策略。機(jī)器人學(xué)習(xí)系統(tǒng)的主要困難是自動(dòng)數(shù)據(jù)收集和安全性。通過(guò)開(kāi)發(fā)多任務(wù)學(xué)習(xí)程序，自動(dòng)重置控制器和受安全限制的RL框架，他們克服了這兩個(gè)挑戰(zhàn)。

研究人員在學(xué)習(xí)如何在三種不同地形上行走的任務(wù)上測(cè)試了這個(gè)系統(tǒng)：平坦的地面，柔軟的床墊和帶有縫隙的門墊。我們的系統(tǒng)無(wú)需人工干預(yù)，即可在Minitaur機(jī)器人上自動(dòng)高效地學(xué)習(xí)運(yùn)動(dòng)技能。

這項(xiàng)工作建立在一年前的研究基礎(chǔ)上，當(dāng)時(shí)研究團(tuán)隊(duì)首次發(fā)現(xiàn)了如何讓機(jī)器人在現(xiàn)實(shí)世界中學(xué)習(xí)，此前，大多數(shù)強(qiáng)化學(xué)習(xí)部署都在計(jì)算機(jī)模擬的環(huán)境中進(jìn)行。但是，Rainbow Dash使用此技術(shù)來(lái)學(xué)習(xí)在實(shí)際物理環(huán)境中行走。而且，它能夠在沒(méi)有專門的教學(xué)機(jī)制的情況下進(jìn)行操作，例如人工指導(dǎo)或帶有標(biāo)簽的培訓(xùn)數(shù)據(jù)。最終，Rainbow Dash成功地在多個(gè)表面上行走，包括柔軟的泡沫床墊和帶有明顯凹口的門墊。

此前，強(qiáng)化學(xué)習(xí)通常會(huì)這樣在模擬環(huán)境中進(jìn)行：機(jī)器人的虛擬分身在模擬的環(huán)境中走來(lái)走去，直到算法足夠完善，可以使其安全運(yùn)行為止。然后將其導(dǎo)入真正的機(jī)器人。

這種方法有助于避免機(jī)器人在反復(fù)實(shí)驗(yàn)過(guò)程中對(duì)周圍環(huán)境的損傷，但也需要一個(gè)易于建模的環(huán)境。在機(jī)器人腳下模擬自然散落的沙礫或者彈簧床墊需要很長(zhǎng)時(shí)間，根本不值得。

基于這種狀況，研究人員從一開(kāi)始就決定通過(guò)在真實(shí)世界中訓(xùn)練來(lái)避免困難的環(huán)境建模。他們?cè)O(shè)計(jì)了一種更高效的算法，可以使學(xué)習(xí)的試驗(yàn)次數(shù)變少一點(diǎn)，并在兩個(gè)小時(shí)內(nèi)讓機(jī)器人站起來(lái)行走。由于實(shí)際環(huán)境中會(huì)有自然變化，機(jī)器人也能夠快速適應(yīng)其他相似的環(huán)境，如斜坡、臺(tái)階以及有障礙的平地。

于是他們開(kāi)始解決這個(gè)新問(wèn)題。首先，他們限定了機(jī)器人可以探索的地形，并讓它一次性進(jìn)行多重動(dòng)作訓(xùn)練。如果機(jī)器人在學(xué)習(xí)如何向前走的同時(shí)到達(dá)了限定地形的邊緣，它就會(huì)改變方向，開(kāi)始學(xué)習(xí)如何向后走。

其次，研究人員還限制了機(jī)器人的訓(xùn)練動(dòng)作，讓它能夠謹(jǐn)慎一些，最大限度地減少反復(fù)摔倒帶來(lái)的傷害。當(dāng)機(jī)器人不可避免地摔倒時(shí)，他們還添加了另一個(gè)硬編碼算法來(lái)幫助它站起來(lái)。

通過(guò)這些調(diào)整，機(jī)器人學(xué)會(huì)了如何在幾個(gè)不同的環(huán)境中自主行走，包括平地、記憶泡沫床墊和有縫隙的門墊。這項(xiàng)實(shí)驗(yàn)給未來(lái)的某些應(yīng)用帶來(lái)了可能性，有些情況可能需要機(jī)器人在沒(méi)有人類的情況下在坎坷和未知的地形中行走。

機(jī)器人使用的深度強(qiáng)化學(xué)習(xí)技術(shù)包括一種機(jī)器學(xué)習(xí)技術(shù)，其中通過(guò)代理服務(wù)器與環(huán)境交互以反復(fù)試驗(yàn)來(lái)學(xué)習(xí)。一般而言，機(jī)器學(xué)習(xí)是一門多領(lǐng)域交叉學(xué)科，涉及概率論、統(tǒng)計(jì)學(xué)、逼近論、凸分析、算法復(fù)雜度理論等多門學(xué)科?？茖W(xué)團(tuán)隊(duì)一開(kāi)始就專門研究計(jì)算機(jī)怎樣模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，以獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)使之不斷改善自身的性能，它是人工智能的核心，是使計(jì)算機(jī)具有智能的根本途徑，原先，大多數(shù)強(qiáng)化學(xué)習(xí)用例都涉及計(jì)算機(jī)游戲，例如在數(shù)字特工中學(xué)習(xí)如何取得勝利，本次應(yīng)用也是谷歌對(duì)于人工智能算法的一次極好嘗試。

而在機(jī)器人身上的所謂深度強(qiáng)化學(xué)習(xí)，指的是當(dāng)計(jì)算機(jī)正確完成一項(xiàng)任務(wù)時(shí)，它將獲得指導(dǎo)其學(xué)習(xí)過(guò)程的獎(jiǎng)勵(lì)。盡管以“先驗(yàn)知識(shí)”算法概述了任務(wù)的步驟，但是如何準(zhǔn)確地執(zhí)行這些步驟卻沒(méi)有。當(dāng)機(jī)器人擅長(zhǎng)執(zhí)行某個(gè)步驟時(shí)，其獎(jiǎng)勵(lì)會(huì)增加，從而創(chuàng)建一種反饋機(jī)制，促使機(jī)器人學(xué)習(xí)最佳方法，例如將熱狗放在面包上。

這種形式的機(jī)器學(xué)習(xí)與傳統(tǒng)的有監(jiān)督或無(wú)監(jiān)督學(xué)習(xí)明顯不同，在傳統(tǒng)的有監(jiān)督或無(wú)監(jiān)督學(xué)習(xí)中，機(jī)器學(xué)習(xí)模型需要標(biāo)記的訓(xùn)練數(shù)據(jù)來(lái)學(xué)習(xí)。深度強(qiáng)化學(xué)習(xí)將強(qiáng)化學(xué)習(xí)方法與深度學(xué)習(xí)相結(jié)合，傳統(tǒng)的機(jī)器學(xué)習(xí)的規(guī)模隨著強(qiáng)大的計(jì)算能力而大大擴(kuò)展。

斯坦福大學(xué)助理教授Chelsea Finn表示：“這項(xiàng)工作令人感到非常興奮。” 芬恩也為谷歌工作，但沒(méi)有參與這項(xiàng)研究?！白屵@個(gè)過(guò)程不再出現(xiàn)人工干預(yù)真的很難。機(jī)器人能夠更自主地學(xué)習(xí)，就更有可能在我們生活的現(xiàn)實(shí)世界中學(xué)習(xí)，而不是在實(shí)驗(yàn)室里。”但她也提醒到，目前的設(shè)置依賴于機(jī)器人上方的動(dòng)作捕捉系統(tǒng)來(lái)確定其位置。這在現(xiàn)實(shí)世界中是不可能的。

盡管研究團(tuán)隊(duì)將Rainbow Dash的學(xué)習(xí)能力歸功于自己，但人為干預(yù)仍在實(shí)現(xiàn)該目標(biāo)方面發(fā)揮了重要作用。例如研究人員必須創(chuàng)建邊界，機(jī)器人可以在該邊界內(nèi)學(xué)習(xí)走路，以防止機(jī)器人離開(kāi)該區(qū)域。他們還必須設(shè)計(jì)特定的算法來(lái)防止機(jī)器人摔倒，其中一些算法集中在限制機(jī)器人的運(yùn)動(dòng)上。為了防止諸如墜落損壞之類的事故，通常在數(shù)字環(huán)境中進(jìn)行機(jī)器人強(qiáng)化學(xué)習(xí)，然后再將算法轉(zhuǎn)移到物理機(jī)器人上以保持其安全性。

接下來(lái)，研究人員希望他們的算法能適用于不同種類的機(jī)器人，或適用于多個(gè)機(jī)器人在同一環(huán)境中同時(shí)進(jìn)行學(xué)習(xí)。譚杰相信，破解機(jī)器人的運(yùn)動(dòng)能力將是解鎖更多有用機(jī)器人的關(guān)鍵?！昂芏嗟胤蕉际菫槿祟惤ㄔ斓?，我們都用腿來(lái)走路，” 他說(shuō)，“如果機(jī)器人學(xué)不會(huì)使用腿，它們就不能在人類世界中行走。”

這確實(shí)是機(jī)器人自主行動(dòng)的重要一步了，距離機(jī)器人自己自主行動(dòng)也并不遙遠(yuǎn)，到時(shí)候，我們到底是該恐懼還是興奮呢？