人工智能又聰明了點(diǎn)：它現(xiàn)在能“舉一反三”學(xué)打游戲

人工智能(AI)系統(tǒng)能夠?qū)W會(huì)一款雅達(dá)利(Atari)游戲，然后利用這些知識(shí)再學(xué)習(xí)另一款游戲。

2014年當(dāng)DeepMind的機(jī)器學(xué)習(xí)系統(tǒng)學(xué)會(huì)玩雅達(dá)利游戲時(shí)，突然引人矚目地躍入公眾視線。這套系統(tǒng)可以把游戲打通關(guān)，得分比人類還高，但卻不記得它是怎樣做到的。

該系統(tǒng)玩每一款雅達(dá)利游戲時(shí)，都要單獨(dú)創(chuàng)建一組神經(jīng)網(wǎng)絡(luò)，因此，如果不能同時(shí)為人工智能輸入《空間入侵者》(Space Invaders)和《打磚塊》(Breakout)的信息，就不能在同一個(gè)系統(tǒng)上玩這兩款游戲?，F(xiàn)在，一組DeepMind和倫敦帝國(guó)理工學(xué)院的研究人員已經(jīng)創(chuàng)建了一種算法，允許該系統(tǒng)的神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)，保留信息，并再次使用它。

“以前我們有一個(gè)系統(tǒng)可以學(xué)著玩任何游戲，但它一次只能學(xué)會(huì)玩一款游戲，“DeepMind的研究科學(xué)家詹姆斯·基爾克帕特里克(James Kirkpatrick)說(shuō)，他是該系統(tǒng)最新研究論文的主筆。“在此我們展示了一個(gè)系統(tǒng)，可以一個(gè)接一個(gè)地學(xué)習(xí)玩幾個(gè)游戲。”

這篇論文發(fā)表在美國(guó)國(guó)家科學(xué)院學(xué)報(bào)上，解釋了DeepMind的AI系統(tǒng)如何運(yùn)用有監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)測(cè)試等方式來(lái)不斷學(xué)習(xí)。該公司的博客文章也對(duì)此做了說(shuō)明。

計(jì)算機(jī)科學(xué)家在論文中寫(xiě)道：“不斷完成學(xué)習(xí)任務(wù)而不遺忘的能力是生物和人工智能的核心組成部分。”基爾克帕特里克說(shuō)，如今，神經(jīng)網(wǎng)絡(luò)和人工智能中的“重大缺陷”已無(wú)法從一個(gè)任務(wù)傳遞到下一個(gè)任務(wù)。

研究小組表示，已經(jīng)能夠在“突觸整合”的基礎(chǔ)上展示“持續(xù)學(xué)習(xí)”，在人腦中，這個(gè)過(guò)程被描述為“學(xué)習(xí)和記憶的基礎(chǔ)”。

為了讓AI系統(tǒng)擁有記憶，DeepMind研究人員開(kāi)發(fā)了一種名為“彈性權(quán)重固化”(EWC)的算法。論文指出，“我們的方法是通過(guò)有選擇性地減慢高權(quán)重任務(wù)的學(xué)習(xí)速度來(lái)記住舊的任務(wù)。”基爾克帕特里克解釋說(shuō)，該算法可以選擇在游戲中成功通關(guān)的做法，并把最有用的部分保留下來(lái)。

“我們只允許它們(在游戲間)非常緩慢地做出改變，”他說(shuō)，“如此一來(lái)，我們就有了學(xué)習(xí)新任務(wù)的空間，但是我們所進(jìn)行的改變不會(huì)覆蓋我們以前學(xué)過(guò)的東西。”

為了對(duì)算法進(jìn)行測(cè)試，DeepMind采用了深度神經(jīng)網(wǎng)絡(luò)，它被稱為Deep Q網(wǎng)絡(luò)(DQN)，以前曾被用來(lái)征服雅達(dá)利游戲。然而，這一次DQN使用的是“增強(qiáng)的”EWC算法。研究人員隨機(jī)選擇了十款雅達(dá)利游戲來(lái)測(cè)試算法和神經(jīng)網(wǎng)絡(luò)，AI的表現(xiàn)足以與人類玩家相媲美。每款游戲被玩過(guò)2000萬(wàn)次之后，系統(tǒng)自動(dòng)切換到下一款雅達(dá)利游戲。

“以前，DQN不得不單獨(dú)學(xué)習(xí)如何玩一款游戲，”文章寫(xiě)道。“DQN在EWC的助力下功能大增，可以不再經(jīng)歷災(zāi)難性的遺忘過(guò)程，連續(xù)不斷地學(xué)會(huì)玩很多游戲。”

從本質(zhì)上講，使用EWC算法的深度神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)玩一個(gè)游戲，然后將已學(xué)會(huì)的知識(shí)加以轉(zhuǎn)換，再去玩下一個(gè)全新的游戲。

然而，這套系統(tǒng)還不完美。雖然它能夠?qū)W習(xí)以前的經(jīng)驗(yàn)，并保留最有用的信息，但它的神經(jīng)網(wǎng)絡(luò)無(wú)法像只完成一個(gè)游戲那樣運(yùn)轉(zhuǎn)良好。

“當(dāng)下，我們已經(jīng)證明了AI系統(tǒng)能夠不斷學(xué)習(xí)，但我們還無(wú)法證明它的學(xué)習(xí)效率有所提高，”基爾克帕特里克說(shuō)。“下一步我們將利用和規(guī)范連續(xù)學(xué)習(xí)，嘗試和改善它在現(xiàn)實(shí)世界的學(xué)習(xí)活動(dòng)。”