騰訊揭秘《王者榮耀》AI 如何擊敗職業(yè)選手

在今年八月份于吉隆坡舉辦的王者榮耀「世界冠軍杯」半決賽的特設(shè)環(huán)境中，騰訊 AI Lab 與天美工作室合作開發(fā)的策略協(xié)作型 AI「絕悟」一經(jīng)亮相就在與職業(yè)選手的 5V5 對(duì)抗游戲當(dāng)中獲得勝利，而在同年的上海 ChinaJoy 現(xiàn)場(chǎng)，「絕悟」也開放了和業(yè)余選手 1V1 競(jìng)爭(zhēng)的體驗(yàn)測(cè)試，四天一共進(jìn)行了 2100 場(chǎng)對(duì)抗，最終取得了 99.8% 的勝率。

最近騰訊 AI Lab 和天美工作室聯(lián)合發(fā)表了一篇論文，詳細(xì)揭秘了「絕悟」取得不敗戰(zhàn)績(jī)背后的開發(fā)故事。

正如研究人員在論文當(dāng)中指出的那樣，《王者榮耀》這類實(shí)時(shí)戰(zhàn)略 MOBA 游戲不同于傳統(tǒng)棋盤游戲和雅達(dá)利游戲，前者需要更高難度的復(fù)雜操作，所處的游戲環(huán)境也會(huì)更加復(fù)雜。以《王者榮耀》為例，一局游戲當(dāng)中可能會(huì)涉及 10 ^ 600 種游戲可能性以及 10 ^ 18000 中可能的游戲操作，并且這還只是基礎(chǔ)，AI 還需要在 MOBA 游戲當(dāng)中發(fā)動(dòng) GANK、防御、誘導(dǎo)對(duì)手、補(bǔ)刀等，而且還可能涉及到復(fù)雜的技能連招。

騰訊的研究人員通過系統(tǒng)編碼圖像特征和游戲狀態(tài)信息，將游戲中的不同單元和敵方目標(biāo)以數(shù)字的形式表示，這一框架在總共 60 萬個(gè)處理器和 1064 張顯卡（包括NVIDIA Tesla P40s 和 NVIDIA V100s）上運(yùn)行，處理了 16000 個(gè)包含非隱藏的單位屬性和游戲信息。而訓(xùn)練一名英雄需要用到 48 塊顯卡和 18000 個(gè)處理器內(nèi)核，系統(tǒng)將以每秒 80000 個(gè)樣本的速度進(jìn)行持續(xù)訓(xùn)練。目前該系統(tǒng)的訓(xùn)練量已經(jīng)相當(dāng)于人類花費(fèi) 500 年所積累的經(jīng)驗(yàn)。

根據(jù)研究人員的說法，「絕悟」在經(jīng)過系統(tǒng)訓(xùn)練 80 個(gè)小時(shí)之后便已經(jīng)「出師」，但其實(shí)在經(jīng)歷了 30 個(gè)小時(shí)的訓(xùn)練之后，「絕悟」就已經(jīng)具備了打敗排位前 1% 玩家的能力。經(jīng)歷完整訓(xùn)練的 AI 將能夠在 0.1 秒內(nèi) 做出反應(yīng)，這已經(jīng)相當(dāng)于一個(gè)頂級(jí)業(yè)余選手的反應(yīng)。

在和真實(shí)玩家的較量中，盡管對(duì)手是經(jīng)驗(yàn)豐富職業(yè)選手，但「絕悟」還是取得了場(chǎng)均五個(gè)擊殺，而場(chǎng)均死亡僅 1.33 的數(shù)據(jù)。而在今年的 ChinaJoy 活動(dòng)現(xiàn)場(chǎng)，「絕悟」一共與現(xiàn)場(chǎng)玩家進(jìn)行了 2100 場(chǎng) 1V1 對(duì)戰(zhàn)，勝率高達(dá) 99.81%，其中 AI 控制的八名英雄中，更是有五名取得了 100% 的勝率。

騰訊研究人員表示，他們計(jì)劃在不久的將來將其框架和算法開源，以促進(jìn)對(duì)《王者榮耀》等復(fù)雜游戲的研究發(fā)展。