NVIDIA下一代GPU；結(jié)合 Triton 的 serving 方式，以最大化 GPU 整體收益

距離2020年5月Nvidia推出Ampere架構(gòu)，也就是大家熟悉的GeForce RTX30系列顯卡所采用的核心架構(gòu)，已經(jīng)過去了近兩年時(shí)間，關(guān)于NVIDIA下一代GPU的消息也流傳許久。根據(jù)多方爆料，“Hopper”將成為下一代GPU的代號(hào)。其實(shí)早在Ampere推出之前，就已經(jīng)有消息稱NVIDIA的下下代產(chǎn)品代號(hào)為Hopper，用于紀(jì)念Grace Hopper(格蕾絲·赫柏)女士。這位程序員被譽(yù)為計(jì)算機(jī)軟件工程第一夫人、編譯語言Cobol之母。

按照慣例，NVIDIA會(huì)先將新一代的GPU運(yùn)用到數(shù)據(jù)中心等商用領(lǐng)域，然后才是與大家關(guān)系緊密的游戲顯卡，也就是新一代的GeForce RTX40系列產(chǎn)品。Hopper將采用5nm制程打造，頂級(jí)核心代號(hào)為GH100，核心面積接近1000mm2，比GA100安培核心826mm2的面積大了20%，晶體管數(shù)量可能超過600億。

另外，據(jù)悉Hopper將采用MCM多芯封裝，內(nèi)部集成兩顆芯片，預(yù)計(jì)總共擁有288個(gè)SM流式處理器。這種設(shè)計(jì)也是NVIDIA第一次采用，類似于AMD宵龍(EYPC)服務(wù)器處理器所使用的Chiplet設(shè)計(jì)，可以組合多個(gè)核心以達(dá)到更強(qiáng)性能。這樣一來，整個(gè)芯片的功耗可能達(dá)到千瓦級(jí)別，通俗來講就是每小時(shí)耗一度電。不過商用產(chǎn)品的設(shè)計(jì)，功耗并不是第一優(yōu)先級(jí)，至于RTX 40系列游戲顯卡的話肯定不會(huì)有這么恐怖的功耗，玩家們倒不必?fù)?dān)心。

不出意外的話，Hopper應(yīng)該會(huì)在今年3月21日于加州圣何塞舉行的春季GTC圖形技術(shù)大會(huì)上正式亮相，讓我們期待老黃屆時(shí)的演講吧!至于RTX40系列，此前已經(jīng)有消息稱核心代號(hào)為Ada Lovelace(英國詩人拜倫之女)，預(yù)計(jì)在今年第三季度發(fā)布。

2018年的中興事件和2019年的華為事件之后，“芯片”成為一個(gè)國民熱詞，也有大量的芯片創(chuàng)業(yè)公司成立。

國內(nèi)的芯片熱潮主要有兩次，第一次是“AI芯片”——包括圖形處理單元(GPU)、現(xiàn)場(chǎng)可編程門陣列(FPGA)和專門用于人工智能的特定應(yīng)用集成電路(ASIC)。

2017年，成立僅17個(gè)月的寒武紀(jì)獲得一億美元A輪融資，成為AI芯片的首個(gè)獨(dú)角獸;隨后地平線也宣布完成了超過一億美元的融資。與此同時(shí)，深鑒科技和比特大陸也分別獲得了數(shù)千萬美元的投資。創(chuàng)業(yè)公司之外，以云知聲、依圖為代表的AI公司嘗試跨界造芯，以BAT為首的互聯(lián)網(wǎng)巨頭也加入造芯大潮。

時(shí)至今日，這些創(chuàng)業(yè)公司有的已經(jīng)成為行業(yè)獨(dú)角獸，有的被成功并購，還有的已經(jīng)成功上市。

投資者內(nèi)，除了紅杉、金沙江創(chuàng)投、創(chuàng)新工場(chǎng)這樣關(guān)注科技領(lǐng)域的頂級(jí)VC之外，也不乏芯片行業(yè)的龍頭，比如投資了地平線的英特爾，投資了深鑒科技的賽靈思、三星等。有些晚入場(chǎng)的投資人甚至感嘆，“還沒等我弄明白GPU、CPU、ASIC、FPGA的差異，別人就已經(jīng)投完了”。

2020年，芯片行業(yè)掀起了第二波創(chuàng)業(yè)熱潮，這次主要集中在GPU領(lǐng)域。

2019年，前商湯科技總裁張文創(chuàng)立了壁仞科技，在之后的18個(gè)月內(nèi)累計(jì)融資超過47億元，并先后邀請(qǐng)到華為海思GPU負(fù)責(zé)人洪洲、AMD全球副總裁李榮新等加盟;2020年，前英偉達(dá)全球副總裁張建中創(chuàng)辦了摩爾線程，在100天內(nèi)募資數(shù)十億元;幾乎同一時(shí)期成立的還有沐曦集成電路，創(chuàng)始人陳維良曾任AMD總監(jiān)，一年內(nèi)獲得四輪融資。

融資金額巨大，創(chuàng)始人有英偉達(dá)、AMD等國際巨頭的工作經(jīng)驗(yàn)，是這次GPU創(chuàng)業(yè)公司的共同標(biāo)簽。

GPU曾主要用來做圖形計(jì)算，但隨著人工智能的發(fā)展，GPU被證明在大規(guī)模并行運(yùn)算中有很好的處理能力，于是成為了當(dāng)今最流行的AI芯片之一。而定義了GPU的英偉達(dá)，在2021年11月一度市值沖向8000多億美元，成為全球市值最高的芯片公司。

芯片創(chuàng)業(yè)是一個(gè)長(zhǎng)周期的過程。國產(chǎn)的GPU公司不但要面對(duì)行業(yè)周期規(guī)律，還要從英偉達(dá)的“大山”夾縫中尋求突破。

在NVIDIA Studio平臺(tái)推出的數(shù)年中，這個(gè)包含了軟硬件和驅(qū)動(dòng)的平臺(tái)，正在不斷改變著創(chuàng)作者的工作流程，以往內(nèi)容創(chuàng)作中機(jī)械重復(fù)的操作被AI替代，讓預(yù)算不高的內(nèi)容創(chuàng)作者也能集中在創(chuàng)意本身，放在五年前這幾乎是無法想象的。

那么問題來了，NVIDIA Studio平臺(tái)究竟是如何幫助創(chuàng)作者們?cè)谧プ∩钥v即逝的創(chuàng)意，又是如何協(xié)助他們剝離繁瑣的設(shè)置和操作?現(xiàn)在就讓我們聊一聊NVIDIA Studio平臺(tái)上那些神奇的技術(shù)。

對(duì)于創(chuàng)作者而言，相較于創(chuàng)意，更多的時(shí)間其實(shí)花費(fèi)在重復(fù)且單調(diào)的操作中，例如給視頻素材摳圖，等待6K乃至8K分辨率視頻輸出，在UE 4充滿光線反射的3D場(chǎng)景中步履維艱的切換視角。當(dāng)每一步操作背后意味著漫長(zhǎng)的等待，創(chuàng)作者的激情也隨之耗盡。

NVIDIA Studio平臺(tái)出現(xiàn)徹底解決了這樣的煩惱。依靠NVIDIA Studio平臺(tái)，GPU與Adobe Premiere Pro實(shí)現(xiàn)了默契的配合，通過AI Auto Reframe功能智能追蹤物體，原本耗費(fèi)半小時(shí)甚至更久的主幀摳圖，被縮減到只需一次鼠標(biāo)操作，時(shí)間不到一秒。緊接著，你還能按照社交媒體的寬高比要求快速裁剪橫向視頻，借助NVIDIA硬件編碼技術(shù)將視頻導(dǎo)出速度提升至傳統(tǒng)視頻導(dǎo)出的5倍。

事實(shí)上NVIDIA Studio平臺(tái)本身就意味著一整套硬件、軟件、驅(qū)動(dòng)相互結(jié)合、優(yōu)化的完整解決方案。創(chuàng)作者不需要了解PC的運(yùn)作原理和復(fù)雜設(shè)置，就能實(shí)現(xiàn)一些甚至不曾想過的大膽舉措。比如在8K攝像機(jī)尚未廣泛普及的前提下，NVIDIA Studio平臺(tái)已經(jīng)能夠完成實(shí)時(shí)、快速編輯8K視頻，在Adobe Premiere Pro、Blackmagic Resolve、REDCINE-X PRO等應(yīng)用程序中肆意的拖動(dòng)、編輯完整畫質(zhì)的8K視頻，無需預(yù)先緩存，也無需生成代理。

在整個(gè) AI 中臺(tái)架構(gòu)中，推薦中臺(tái)則作為最重要的核心，也是最具商業(yè)價(jià)值的部分，需要承載 VIVO 億級(jí)用戶群體產(chǎn)生的日活千萬的數(shù)據(jù)量。本文從推薦系統(tǒng)工程化的角度，解讀了以下三方面內(nèi)容：VIVO 的智能推薦系統(tǒng)是如何運(yùn)行的?在實(shí)際應(yīng)用場(chǎng)景中遇到過什么挑戰(zhàn)?NVIDIA GPU 如何加速推薦系統(tǒng)的部署?

經(jīng)過驗(yàn)證，本方案可以有效解決推薦業(yè)務(wù)中 GPU 通用性問題;同時(shí)能更高效的利用 GPU 。目前已經(jīng)在部分推薦業(yè)務(wù)中落地。經(jīng)過壓測(cè)，性能方面，單張 T4 GPU 推理卡，性能優(yōu)于約6臺(tái)以上的78核 CPU 服務(wù)器。成本方面，VIVO 自研通用 GPU 方案，在 TensorRT 方案基礎(chǔ)上，取得了更高的 QPS 和更低的延遲，可節(jié)省成本約75%!

在工程實(shí)踐中，VIVO 推薦系統(tǒng)面臨的第一個(gè)問題是如何平滑的把多種推薦業(yè)務(wù)邏輯從 CPU 平臺(tái)向 GPU 平臺(tái)遷移。鑒于當(dāng)前已經(jīng)存在多個(gè)推薦業(yè)務(wù)場(chǎng)景，包括應(yīng)用商店，手機(jī)瀏覽器，負(fù)一屏信息流等。每個(gè)場(chǎng)景都有自己的算法模型和業(yè)務(wù)流程，如何把多種分散的智能服務(wù)整合到一個(gè)統(tǒng)一的推薦中臺(tái)，同時(shí)要兼顧當(dāng)前的業(yè)務(wù)的無損遷移是一個(gè)巨大的挑戰(zhàn)。

一直以來，CPU 是客戶主要的支撐推薦業(yè)務(wù)場(chǎng)景的主流硬件平臺(tái)。但 VIVO 工程團(tuán)隊(duì)卻發(fā)現(xiàn)在推理服務(wù)中，CPU 的表現(xiàn)始終無法達(dá)到要求標(biāo)準(zhǔn)，不僅算力較弱，應(yīng)對(duì)復(fù)雜模型時(shí)，響應(yīng)延遲和 QPS 也無法滿足實(shí)時(shí)性和高并發(fā)的需求。

此時(shí)，客戶嘗試改用 NVIDIA GPU 來實(shí)現(xiàn)推薦業(yè)務(wù)的推理服務(wù)，有效解決 CPU 算力和性能的瓶頸的同時(shí)，也期待更大的成本優(yōu)勢(shì)。經(jīng)過大量的工程實(shí)踐，結(jié)果表明，單臺(tái)基于 NVIDIA T4 GPU 的推理服務(wù)器，性能可以等同于24臺(tái) CPU 機(jī)器。毋庸置疑, GPU 的整體表現(xiàn)皆具有性能和成本的優(yōu)勢(shì)。據(jù)此，客戶也認(rèn)為使用 GPU 作為推薦業(yè)務(wù)場(chǎng)景的推理平臺(tái)，已成為了公司乃至行業(yè)的共識(shí)。

由于 GPU 芯片架構(gòu)的獨(dú)特性，不經(jīng)優(yōu)化的原始 TensorFlow 模型，很難高效利用 GPU 的算力。為了解決這個(gè)問題，VIVO 工程團(tuán)隊(duì)投入了大量的人力和時(shí)間進(jìn)行推薦模型優(yōu)化及轉(zhuǎn)換。而首先著手設(shè)計(jì)的是 TensorRT 方案，即是使用 NVIDIA 推理加速工具 TensorRT ，結(jié)合 Triton 的 serving 方式，以最大化 GPU 整體收益。

具體來說，把訓(xùn)練導(dǎo)出的 TensorFlow 模型經(jīng)過 Onnx 轉(zhuǎn)換成 TensorRT 模型，進(jìn)而使用 NVIDIA 提供的推理服務(wù)框架 Triton 加載 TensorRT 模型。業(yè)務(wù)代碼使用 VIVO 封裝 Triton 的 JNI 接口，將業(yè)務(wù)請(qǐng)求輸入 TensorRT 模型去做推理計(jì)算。