關(guān)于深度強(qiáng)化學(xué)習(xí)的概念以及它的工作原理

（文章來源：OFweek）

深度學(xué)習(xí)DL是機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的方法。深度學(xué)習(xí)DL有監(jiān)督和非監(jiān)督之分，都已經(jīng)得到廣泛的研究和應(yīng)用。強(qiáng)化學(xué)習(xí)RL是通過對(duì)未知環(huán)境一邊探索一邊建立環(huán)境模型以及學(xué)習(xí)得到一個(gè)最優(yōu)策略。強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)中一種快速、高效且不可替代的學(xué)習(xí)算法。

深度強(qiáng)化學(xué)習(xí)DRL自提出以來， 已在理論和應(yīng)用方面均取得了顯著的成果。尤其是谷歌DeepMind團(tuán)隊(duì)基于深度強(qiáng)化學(xué)習(xí)DRL研發(fā)的AlphaGo，將深度強(qiáng)化學(xué)習(xí)DRL成推上新的熱點(diǎn)和高度，成為人工智能歷史上一個(gè)新的里程碑。因此，深度強(qiáng)化學(xué)習(xí)DRL非常值得研究。

深度強(qiáng)化學(xué)習(xí)概念：深度強(qiáng)化學(xué)習(xí)DRL將深度學(xué)習(xí)DL的感知能力和強(qiáng)化學(xué)習(xí)RL的決策能力相結(jié)合， 可以直接根據(jù)輸入的信息進(jìn)行控制，是一種更接近人類思維方式的人工智能方法。在與世界的正?；?dòng)過程中，強(qiáng)化學(xué)習(xí)會(huì)通過試錯(cuò)法利用獎(jiǎng)勵(lì)來學(xué)習(xí)。它跟自然學(xué)習(xí)過程非常相似，而與深度學(xué)習(xí)不同。在強(qiáng)化學(xué)習(xí)中，可以用較少的訓(xùn)練信息，這樣做的優(yōu)勢是信息更充足，而且不受監(jiān)督者技能限制。

深度強(qiáng)化學(xué)習(xí)DRL是深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的結(jié)合。這兩種學(xué)習(xí)方式在很大程度上是正交問題，二者結(jié)合得很好。強(qiáng)化學(xué)習(xí)定義了優(yōu)化的目標(biāo)，深度學(xué)習(xí)給出了運(yùn)行機(jī)制——表征問題的方式以及解決問題的方式。將強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí)結(jié)合在一起，尋求一個(gè)能夠解決任何人類級(jí)別任務(wù)的代理，得到了能夠解決很多復(fù)雜問題的一種能力——通用智能。深度強(qiáng)化學(xué)習(xí)DRL將有助于革新AI領(lǐng)域，它是朝向構(gòu)建對(duì)視覺世界擁有更高級(jí)理解的自主系統(tǒng)邁出的一步。從某種意義上講，深度強(qiáng)化學(xué)習(xí)DRL是人工智能的未來。

深度強(qiáng)化學(xué)習(xí)本質(zhì)：深度強(qiáng)化學(xué)習(xí)DRL的Autonomous Agent使用強(qiáng)化學(xué)習(xí)的試錯(cuò)算法和累計(jì)獎(jiǎng)勵(lì)函數(shù)來加速神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)。這些設(shè)計(jì)為很多依靠監(jiān)督／無監(jiān)督學(xué)習(xí)的人工智能應(yīng)用提供支持。它涉及對(duì)強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)Autonomous Agent的使用，以快速探索與無數(shù)體系結(jié)構(gòu)、節(jié)點(diǎn)類型、連接、超參數(shù)設(shè)置相關(guān)的性能權(quán)衡，以及對(duì)深度學(xué)習(xí)、機(jī)器學(xué)習(xí)和其他人工智能模型設(shè)計(jì)人員可用的其它選擇。

深度強(qiáng)化學(xué)習(xí)原理：深度Q網(wǎng)絡(luò)通過使用深度學(xué)習(xí)DL和強(qiáng)化學(xué)習(xí)RL兩種技術(shù)，來解決在強(qiáng)化學(xué)習(xí)RL中使用函數(shù)逼近的基本不穩(wěn)定性問題：經(jīng)驗(yàn)重放和目標(biāo)網(wǎng)絡(luò)。經(jīng)驗(yàn)重放使得強(qiáng)化學(xué)習(xí)RL智能體能夠從先前觀察到的數(shù)據(jù)離線進(jìn)行抽樣和訓(xùn)練。這不僅大大減少了環(huán)境所需的交互量，而且可以對(duì)一批經(jīng)驗(yàn)進(jìn)行抽樣，減少學(xué)習(xí)更新的差異。此外，通過從大存儲(chǔ)器均勻采樣，可能對(duì)強(qiáng)化學(xué)習(xí)RL算法產(chǎn)生不利影響的時(shí)間相關(guān)性被打破了。最后，從實(shí)際的角度看，可以通過現(xiàn)代硬件并行地高效地處理批量的數(shù)據(jù)，從而提高吞吐量。
? ? ? ?