谷歌和DeepMind研究人員合作提出新的強化學習方法Dreamer 可利用世界模型實現(xiàn)高效的行為學習

近年來隨著強化學習的發(fā)展，使得智能體選擇恰當行為以實現(xiàn)目標的能力得到迅速地提升。目前研究領域主要使用兩種方法：一種是無模型（model－free）的強化學習方法，通過試錯的方式來學習預測成功的行為，其中著名的方法包括用于完成雅達利游戲的DeepMind的DQN方法和在星際爭霸二中與世界冠軍同臺競技的AlphaStar，但這類方法需要與環(huán)境進行大量的交互限制了其在真實場景中的應用。

而基于模型（model－based）的強化學習方法則額外學習一個簡化的環(huán)境模型，這一環(huán)境模型使得主體可以預測潛在行為序列的輸出，使得它可以通過假設的場景來在新環(huán)境中作出明智的決策，減少了實現(xiàn)目標所需的試錯。先前學習精確的世界模型并將其充分應用于行為學習中還面臨一系列挑戰(zhàn)，但隨著近來像深度規(guī)劃網(wǎng)絡（DeepPlanningNetwork， PlaNet）的研究出現(xiàn)，極大地拓展了從圖像中學習出精確世界模型的邊界，但基于模型的方法卻依然受到規(guī)劃（planning）機制龐大計算消耗的約束，限制了其在解決復雜任務上的應用。

為了解決這些問題，來自谷歌和DeepMind的研究人員合作提出了一種基于圖像學習出世界模型（world model）的強化學習方法Dreamer，并在此基礎上學習出有遠見的行為。Dreamer基于模型預測的反向傳播來利用世界模型實現(xiàn)高效的行為學習。通過從原始圖像輸入中計算出緊致的模型狀態(tài)，這種方法可以使得主體在單個GPU上并行地從上千個預測序列中進行高效的學習。通過20個基于原始圖像輸入的連續(xù)控制基準任務上測評表明，Dreamer在性能、數(shù)據(jù)效率和計算時間上都達到了先進水平。

Dreamer的基本架構(gòu)

Dreamer和典型的基于模型方法一樣包含三個過程：學習世界模型、基于世界模型的預測學習行為、在環(huán)境中執(zhí)行學習到的行為來收集新的經(jīng)驗。為了學習行為，Dreamer中利用價值網(wǎng)絡（valuenetwork ）將規(guī)劃視野外的獎勵納入考量，同時利用行為網(wǎng)絡（actor network）來高效的計算行為。這三部分可以并行地執(zhí)行，一直重復運行直到達成目標：

Dreamer主體的三個過程，世界模型基于過去經(jīng)驗學習、隨后基于這一模型預測，主體通過價值網(wǎng)絡來預測未來獎勵、行為網(wǎng)絡來選擇行為。行為網(wǎng)絡用于與環(huán)境交互。

學習世界模型

Dreamer采用了PlaNet的世界模型，通過一系列緊致的模型狀態(tài)來預測輸出，而這些模型狀態(tài)則通過輸入圖像計算得到，而不是直接利用圖像來進行處理。它將自動學習得出代表有益于預測未來輸出概念的模型狀態(tài)，例如目標類型、位置以及目標與周圍環(huán)境的交互等等。給定數(shù)據(jù)集中一個過去的圖像、行為和獎勵序列，Dreamer按照下圖的方式進行世界模型的學習：

Dreamer 從經(jīng)驗中學習世界模型，利用過去的圖像（o1–o3）、行為（a1–a2），它將計算出緊致的模型狀態(tài)（綠色圓），并可以基于這些狀態(tài)重建出圖像并預測出獎勵。

利用PlaNet世界模型的優(yōu)勢在于利用緊致的模型狀態(tài)代替了圖像來進行預測，極大地提高了計算效率。這使得模型可以在單個GPU上預并行的預測上千個序列。這種方式同時可以提高模型的泛化性，進行精確的長時視頻預測。為了更好地理解模型的工作原理，下圖展示了將預測序列模型狀態(tài)解碼回圖像的結(jié)果：

復雜環(huán)境下的長程預測結(jié)果，上圖顯示了兩個主體未曾遇到過的序列，給定五張輸入圖像，模型對其進行重建并預測出了后續(xù)到50步的圖像結(jié)果。

高效行為學習

先前基于模型的主體選擇行為的方法分為兩種，要么通過多個模型預測來進行規(guī)劃、要么通過將世界模型代替模擬器來復用無模型方法的技術(shù)，但兩種方法都需要龐大的計算需求，同時也未充分利用學習到的世界模型。此外及時強大的世界模型也會受制于精確預測的長度，很多先前基于模型的主體表現(xiàn)出短視的缺點。Dreamer通過世界模型的預測進行反向傳播學習價值網(wǎng)絡和行為網(wǎng)絡來克服上述局限。

Dreamer通過預測的狀態(tài)序列反向傳播獎勵來高效地學習行為網(wǎng)絡用于預測正確的行為，這在無模型方法中是無法實現(xiàn)的。這將告訴Dreamer其多小的行為變化將會影響未來預測的獎勵，使得它可以向最大化獎勵的方向上優(yōu)化行為網(wǎng)絡。為了考慮預測范圍外的獎勵，價值網(wǎng)絡將估計每一個模型狀態(tài)未來的獎勵和，獎勵和價值將反向傳播來優(yōu)化行為網(wǎng)絡去改善行為。

Dreamer通過模型狀態(tài)預測序列來學習長程行為，首先學習每個狀態(tài)的長程價值，而后通過反向傳播到行為網(wǎng)絡來預測能夠得到高價值和獎勵的行為。

Dreamer與PlaNet有諸多不同，在環(huán)境中的給定狀態(tài)下，PlaNet在不同行為序列的多個預測中搜索最佳行為，而Dreamer則避開了這種計算消耗巨大的搜索方式，利用規(guī)劃和行為解耦的方式來提高計算效率。一旦在預測序列上訓練好了行為網(wǎng)絡，它將計算與環(huán)境交互的行為而無需額外的搜索。此外Dreamer利用價值函數(shù)考慮到了規(guī)劃以外的獎勵并通過反向傳播提高了規(guī)劃的效率。

控制任務上的表現(xiàn)

為了測試Dreamer的性能，研究人員在20個不同的任務上對其進行了測評，包括平衡、控制、運動等多種復雜的強化學習任務。

多種復雜的任務，其輸入為圖像。包括了碰撞、稀疏獎勵、混沌動力學和高自由度甚至三維視角等復雜情況。

研究人員將Dreamer與多個先進的模型進行了比較，包括先前最先進的基于模型的方法PlaNet、無模型方法A3C、結(jié)合多種先進手段的無模型方法D4PG。實驗表明，基于模型的主體可以在五百萬幀內(nèi)完成高效學習，大概對應28小時的仿真，而無模型的方法則需要近100萬幀的學習，大概對應23天的仿真訓練。在20個任務的測評基準上，Dreamer領先于目前最先進的無模型方法D4PG（平均分823＞786），同時其與環(huán)境的交互大概要少二十倍。此外它最終的結(jié)果在所有任務上也超過了先前最好的基于模型方法PlaNet，最終的結(jié)果如下圖所示：

Dreamer的性能與其他方法的比較，其得分、數(shù)據(jù)效率和計算時間都比先前方法要好。

此外研究人員還在連續(xù)任務上進行了實驗，以驗證Dreamer面對復雜環(huán)境的能力。下面的任務需要不僅需要長程行為預測，同時還需要模型具有空間感知能力。實驗表明Dreamer對于這些更具挑戰(zhàn)的任務依然能夠很好的進行處理：

Dreamer成功的在雅達利游戲和DeepMind環(huán)境中運行，這些離散的任務更具挑戰(zhàn)性。

Dreamer不僅在性能上超越了原有基于模型的方法，同時在計算效率上也大幅提升。研究人員認為Dreamer將為強化學習提供更為堅實的發(fā)展根基，同時也將促進更好的表示學習、基于不確定性的方向探索、時域抽象和多任務學習的發(fā)展。
? ? ? ?