騰訊揭秘《王者榮耀》AI如何擊敗職業(yè)選手

在今年八月份于吉隆坡舉辦的王者榮耀「世界冠軍杯」半決賽的特設(shè)環(huán)境中，騰訊 AI Lab 與天美工作室合作開發(fā)的策略協(xié)作型 AI「絕悟」一經(jīng)亮相就在與職業(yè)選手的 5V5 對抗游戲當(dāng)中獲得勝利，而在同年的上海 ChinaJoy 現(xiàn)場，「絕悟」也開放了和業(yè)余選手 1V1 競爭的體驗測試，四天一共進(jìn)行了 2100 場對抗，最終取得了 99.8% 的勝率。

最近騰訊 AI Lab 和天美工作室聯(lián)合發(fā)表了一篇論文，詳細(xì)揭秘了「絕悟」取得不敗戰(zhàn)績背后的開發(fā)故事。

正如研究人員在論文當(dāng)中指出的那樣，《王者榮耀》這類實時戰(zhàn)略 MOBA 游戲不同于傳統(tǒng)棋盤游戲和雅達(dá)利游戲，前者需要更高難度的復(fù)雜操作，所處的游戲環(huán)境也會更加復(fù)雜。以《王者榮耀》為例，一局游戲當(dāng)中可能會涉及 10 ^ 600 種游戲可能性以及 10 ^ 18000 中可能的游戲操作，并且這還只是基礎(chǔ)，AI 還需要在 MOBA 游戲當(dāng)中發(fā)動 GANK、防御、誘導(dǎo)對手、補刀等，而且還可能涉及到復(fù)雜的技能連招。

騰訊的研究人員通過系統(tǒng)編碼圖像特征和游戲狀態(tài)信息，將游戲中的不同單元和敵方目標(biāo)以數(shù)字的形式表示，這一框架在總共 60 萬個處理器和 1064 張顯卡（包括NVIDIA Tesla P40s 和 NVIDIA V100s）上運行，處理了 16000 個包含非隱藏的單位屬性和游戲信息。而訓(xùn)練一名英雄需要用到 48 塊顯卡和 18000 個處理器內(nèi)核，系統(tǒng)將以每秒 80000 個樣本的速度進(jìn)行持續(xù)訓(xùn)練。目前該系統(tǒng)的訓(xùn)練量已經(jīng)相當(dāng)于人類花費 500 年所積累的經(jīng)驗。

根據(jù)研究人員的說法，「絕悟」在經(jīng)過系統(tǒng)訓(xùn)練 80 個小時之后便已經(jīng)「出師」，但其實在經(jīng)歷了 30 個小時的訓(xùn)練之后，「絕悟」就已經(jīng)具備了打敗排位前 1% 玩家的能力。經(jīng)歷完整訓(xùn)練的 AI 將能夠在 0.1 秒內(nèi) 做出反應(yīng)，這已經(jīng)相當(dāng)于一個頂級業(yè)余選手的反應(yīng)。

在和真實玩家的較量中，盡管對手是經(jīng)驗豐富職業(yè)選手，但「絕悟」還是取得了場均五個擊殺，而場均死亡僅 1.33 的數(shù)據(jù)。而在今年的 ChinaJoy 活動現(xiàn)場，「絕悟」一共與現(xiàn)場玩家進(jìn)行了 2100 場 1V1 對戰(zhàn)，勝率高達(dá) 99.81%，其中 AI 控制的八名英雄中，更是有五名取得了 100% 的勝率。

騰訊研究人員表示，他們計劃在不久的將來將其框架和算法開源，以促進(jìn)對《王者榮耀》等復(fù)雜游戲的研究發(fā)展。