血虐玩家 DeepMind《星際2》AI把人類打哭了

游戲 AI 的新進(jìn)展接連不斷，昨晚 DeepMind 發(fā)表推特和博客表示他們的星際 2 AI「AlphaStar」的論文已經(jīng)被 Nature 雜志接收，最重要的是補(bǔ)上了大規(guī)模 1v1 人類對(duì)局的實(shí)驗(yàn)結(jié)果。而這個(gè)結(jié)果也是令人欽佩的：在星際 2 歐服的大約九萬(wàn)名玩家中取得了「Grandmaster」的段位，天梯排名達(dá)到所有活躍玩家的前 0.15%（在九萬(wàn)名玩家中相當(dāng)于前 150 名以內(nèi)）。這樣的水準(zhǔn)直接參加星際 2 天梯比賽可謂是「炸魚(yú)」般的存在，一路被血虐的人類玩家不知道有沒(méi)有懷疑過(guò)自己到底碰上的是 AI 還是職業(yè)選手（笑）。

一月的比賽中，AlphaStar 會(huì)建造大量工人，快速建立資源優(yōu)勢(shì)（超過(guò)人類職業(yè)選手的 16 個(gè)或 18 個(gè)的上限）

一月的比賽中，AlphaStar 控制的兩個(gè)追獵者黑血極限逃生

AlphaStar是如何走到這一步的？

技術(shù)方面，今年一月 DeepMind 就公開(kāi)了 AlphaStar 和人類職業(yè)選手的一些測(cè)試比賽對(duì)局，并解釋了許多 AlphaStar 中重要的技術(shù)原理，包括：

模型結(jié)構(gòu) - AlphaStar 使用的是一個(gè)長(zhǎng)序列建模模型，模型從游戲接口接收的數(shù)據(jù)是單位列表和這些單位的屬性，經(jīng)過(guò)神經(jīng)網(wǎng)絡(luò)計(jì)算后輸出在游戲中執(zhí)行的指令。這個(gè)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)是 Transformer 網(wǎng)絡(luò)，并且結(jié)合了一個(gè)深度 LSTM 網(wǎng)絡(luò)核心、一個(gè)帶有指針網(wǎng)絡(luò)的自動(dòng)回歸策略頭，以及一個(gè)中心化的評(píng)分基準(zhǔn)。

AlphaStar league 中的個(gè)體形成了明顯的策略分布

訓(xùn)練策略 - AlphaStar 首先根據(jù)高水平人類比賽進(jìn)行監(jiān)督學(xué)習(xí)訓(xùn)練（模仿學(xué)習(xí)），然后進(jìn)行自我對(duì)弈。自我對(duì)弈的過(guò)程中使用了群體強(qiáng)化學(xué)習(xí)的思路：AlphaStar 自我對(duì)弈過(guò)程中始終都同時(shí)記錄、更新多個(gè)不同版本的網(wǎng)絡(luò)，保持一個(gè)群體，稱作 AlphaStar league；AlphaStar league 中不同的網(wǎng)絡(luò)具有不同的對(duì)戰(zhàn)策略、學(xué)習(xí)目標(biāo)等等，維持了群體的多樣性，整個(gè)群體的對(duì)弈學(xué)習(xí)保證了持續(xù)穩(wěn)定的表現(xiàn)提升，而且很新的版本也不會(huì)「忘記」如何擊敗很早的版本。

訓(xùn)練結(jié)果輸出 - 當(dāng)需要輸出一個(gè)網(wǎng)絡(luò)作為最終的訓(xùn)練結(jié)果時(shí)，以 AlphaStar league 中的納什分布進(jìn)行采樣，可以得到已經(jīng)發(fā)現(xiàn)的多種策略的綜合最優(yōu)解。

算力需求 - 為了支持大批不同版本 AlphaStar 智能體的對(duì)戰(zhàn)與更新，DeepMind 專門構(gòu)建了一個(gè)大規(guī)?？赏卣沟姆植际接?xùn)練環(huán)境，其中使用了最新的谷歌 TPUv3。AlphaStar league 的自我對(duì)戰(zhàn)訓(xùn)練過(guò)程用了 14 天，每個(gè) AlphaStar 智能體使用了 16 個(gè) TPU，最終相當(dāng)于每個(gè)智能體都有長(zhǎng)達(dá) 200 年的游戲時(shí)間。訓(xùn)練結(jié)束后的模型在單塊消費(fèi)級(jí) GPU 上就可以運(yùn)行。

操作統(tǒng)計(jì) - 在今年一月的版本中，AlphaStar 的平均 APM 為 280，峰值 APM 超過(guò) 1000，計(jì)算延時(shí)平均為 350 毫秒；切換關(guān)注區(qū)域的速度大約是每分鐘 30 次。

技術(shù)細(xì)節(jié)的更詳細(xì)介紹參見(jiàn)雷鋒網(wǎng)(公眾號(hào)：雷鋒網(wǎng)) AI 科技評(píng)論的這篇文章

今年 7 月，DeepMind 準(zhǔn)備 AlphaStar 論文的 Nature 版本，并準(zhǔn)備進(jìn)行大規(guī)模人類 1v1 比賽作為論文中的重要實(shí)驗(yàn)的時(shí)候，他們也曾發(fā)出預(yù)告。而且，其實(shí) 1 月時(shí)和人類比賽的 AlphaStar 版本中有一些設(shè)定對(duì) AI 有偏袒，這次進(jìn)行大規(guī)模比賽的版本中進(jìn)行了修改，以便更公平，也更好地體現(xiàn) DeepMind 的科研水準(zhǔn)。這些改動(dòng)包括：

一月的版本可以直接讀取地圖上所有的可見(jiàn)內(nèi)容，不需要用操作切換視角，這次需要自己控制視角，和人類一樣只能觀察到視野內(nèi)的單位，也只能在視野內(nèi)移動(dòng)單位；

一月的版本僅使用了神族，這次 AlphaStar 會(huì)使用人族、蟲(chóng)族、神族全部三個(gè)種族；

一月的版本在操作方面沒(méi)有明確的性能限制，這次，在與人類職業(yè)選手共同商議后，對(duì) AlphaStar 的平均每秒操作數(shù)、平均每分鐘操作數(shù)（APM）、瞬時(shí)最高 APM 等一些方面都做了更嚴(yán)格的限制，減少操作方面相比人類的優(yōu)勢(shì)。

參與測(cè)試的 AlphaStar 都是從人類比賽 replay 和自我比賽中學(xué)習(xí)的，沒(méi)有從與人類的對(duì)局中學(xué)習(xí)。

除此之外，AlphaStar 的表現(xiàn)會(huì)在整個(gè)測(cè)試期間保持不變，不進(jìn)行訓(xùn)練學(xué)習(xí)；這樣得到的測(cè)試結(jié)果能直接反應(yīng) DeepMind 目前的技術(shù)水準(zhǔn)到達(dá)了怎么樣的水平。另一方面，作為 AlphaStar 技術(shù)方案的一大亮點(diǎn)，參與測(cè)試的 AlphaStar 也會(huì)是 AlphaStar 種群（AlphaStar league，詳見(jiàn)下文）中的多個(gè)不同個(gè)體，匹配到的不同 AlphaStar 個(gè)體可能會(huì)有迥異的游戲表現(xiàn)。

這個(gè)新版的 AlphaStar 一共經(jīng)過(guò)了 44 天的訓(xùn)練，然后在星際 2 天梯上（在暴雪的幫助下）用各種各樣的馬甲進(jìn)行比賽，以免被玩家輕易發(fā)現(xiàn)。最終達(dá)到了星際 2 歐服的「Grandmaster」段位，以及所有活躍玩家的前 0.15% 排名。

AlphaStar 是怎樣一個(gè)里程碑？

首先，星際 2 是一個(gè)不完全信息游戲（博弈），戰(zhàn)爭(zhēng)迷霧隱藏了對(duì)手的許多信息，AI 需要具有探索、記憶甚至推測(cè)的能力才能獲得更好的表現(xiàn)。

其次，雖然 AlphaStar 和圍棋 AI AlphaGo 一樣都是以自我對(duì)局作為重要的訓(xùn)練策略，但在星際 2 中，策略的遺忘和互相克制更加明顯，并沒(méi)有某一個(gè)策略可以穩(wěn)定地勝過(guò)所有其他的策略，所以繼續(xù)使用簡(jiǎn)單的自我對(duì)局學(xué)習(xí)會(huì)讓智能體陷入在不同策略間游移但水平停滯不前的境地。為了應(yīng)對(duì)這個(gè)問(wèn)題，DeepMind 采用了群體強(qiáng)化學(xué)習(xí)的訓(xùn)練策略（上文中提到的 AlphaStar league），用一個(gè)群體中許多不同個(gè)體的各自演進(jìn)來(lái)保存并持續(xù)優(yōu)化各種不同的游戲策略。

星際 2 還具有很大的行為空間，比如每個(gè)玩家可以同步做出行動(dòng)、每個(gè)行動(dòng)可以有不同的時(shí)間長(zhǎng)短、位移和移動(dòng)都是空間連續(xù)的、攻擊防御技能物品等還有很多的變化，要比圍棋的行為空間大很多。為了應(yīng)對(duì)這樣的行為空間，DeepMind 不僅使用了模仿學(xué)習(xí)找到優(yōu)秀的初始策略，而且借助了一些網(wǎng)絡(luò)設(shè)計(jì)技巧來(lái)明確智能體對(duì)策略的使用和切換，以及使用策略不在線的強(qiáng)化學(xué)習(xí)算法，讓舊策略完成的比賽也能幫助新策略的學(xué)習(xí)。除此之外，DeepMind 還發(fā)現(xiàn)，對(duì)于這么大的行動(dòng)空間，許多在其他任務(wù)中能起到幫助的強(qiáng)化學(xué)習(xí)技巧已經(jīng)變得幫助不大了，這對(duì)整個(gè)強(qiáng)化學(xué)習(xí)領(lǐng)域來(lái)說(shuō)也是新的發(fā)現(xiàn)。

在越來(lái)越困難的任務(wù)中，使用了基于學(xué)習(xí)的智能體、借助自我對(duì)局持續(xù)進(jìn)化的開(kāi)放目標(biāo)的學(xué)習(xí)系統(tǒng)已經(jīng)展現(xiàn)出了越來(lái)越好的表現(xiàn)。這次在 AlphaStar 的例子里，大規(guī)模比賽結(jié)果已經(jīng)表明通用化的學(xué)習(xí)方法完全可以拓展 AI 系統(tǒng)的規(guī)模，讓它在復(fù)雜、動(dòng)態(tài)、多玩家的環(huán)境中發(fā)揮出良好的表現(xiàn)。在 DeepMind 看來(lái)，開(kāi)發(fā) AlphaStar 的過(guò)程中涉及的技術(shù)都可以幫助他們未來(lái)開(kāi)發(fā)出更安全、更魯棒、更有用的通用 AI 系統(tǒng)，最好還能夠?qū)φ鎸?shí)世界問(wèn)題的研究解決帶來(lái)幫助。