NVIDIA Volta架構(gòu)面世 英偉達(dá)產(chǎn)品迭代為啥這么快！

NVIDIA Volta架構(gòu)，一個(gè)在幾年前便已經(jīng)被曝光的次世代架構(gòu)，于上周的GTC 2017大會(huì)上正式與大家見(jiàn)面。正如老黃去年所說(shuō)的，NVIDIA未來(lái)會(huì)大幅提高產(chǎn)品的迭代速度以推動(dòng)GPU界的發(fā)展，Volta架構(gòu)的發(fā)布時(shí)間正好距Pascal架構(gòu)的發(fā)布過(guò)了一年。在這短短的一年時(shí)間里，老黃將整個(gè)Pascal家族悉數(shù)抖落，以大家最熟悉的GeForce系列游戲卡為例，從GT 1030到GTX 1080 Ti可謂是高中低檔應(yīng)有盡有，比Maxwell 2家族的集體亮相整整快了約一年。

為什么NVIDIA能夠做到短短一年便推出新架構(gòu)產(chǎn)品?因?yàn)榕cAMD的拖延相比，NVIDIA嚴(yán)格按照自家的產(chǎn)品路線(xiàn)圖發(fā)布產(chǎn)品，雖然受限于HBM顯存的產(chǎn)能，NVIDIA在Maxwell和Volta之間加了一個(gè)Pascal作為過(guò)渡，但Pascal的表現(xiàn)卻不敷衍，完全稱(chēng)得上是GPU史上的一個(gè)里程碑，因?yàn)镹VIDIA的Pascal顯卡讓GPU的頻率首次突破2GHz大關(guān)，在超頻大師的手中甚至可以超過(guò)3GHz，追上了CPU的主頻，這在以前是完全不敢想象的。

采用Volta架構(gòu)的首款產(chǎn)品是NVIDIA Xavier SOC

現(xiàn)在GPU講究的是能耗比，不再像以前一樣單純追求絕對(duì)性能，而采用了TSMC全新12nm的Volta讓我們看到了能耗比的新高度：首發(fā)產(chǎn)品Tesla V100同P100相比，在TDP同為300W的情況下，單精度浮點(diǎn)運(yùn)算性能提升了41.5%，實(shí)際HPC應(yīng)用性能提升了40-70%，憑借架構(gòu)中新引入的Tensor單元，在深度學(xué)習(xí)方面的性能甚至可以達(dá)到后者的12倍!

NVIDIA Tesla V100

我們上周在第一時(shí)間報(bào)道了有關(guān)Tesla V100的相關(guān)消息，但大家能看到的只是諸如815平方毫米的核心面積、210億個(gè)晶體管、5120個(gè)CUDA核心、15TFLOPS單精度性能這樣的專(zhuān)業(yè)數(shù)據(jù)，但我相信大家都很好奇Volta同Pascal相比究竟有了哪些設(shè)計(jì)方面的提升和改變，接下來(lái)吉吉我就用相對(duì)通俗易懂的語(yǔ)言來(lái)給大家細(xì)細(xì)道來(lái)，讓大家看看老黃的“新核彈”究竟是怎樣一個(gè)構(gòu)造。

外觀：PCI-E版身材迷你

同采用Pascal架構(gòu)的Tesla P100一樣，Volta P100也有2種版本，一種是用在DGX-1上的NVLink版，還有一種是標(biāo)準(zhǔn)的PCI-E版，兩種版本的規(guī)格是一模一樣的。首先我們看一下NVLink版的V100和P100對(duì)比：

上圖為T(mén)esla V100，下圖為T(mén)esla P100

由于V100和P100的TDP均為300W，并且都是使用了16GB的HBM2顯存，所以NVLink版的PCB的設(shè)計(jì)幾乎是一模一樣的，僅僅是料件型號(hào)和排布上有些微區(qū)別。另外，需要強(qiáng)調(diào)的是，V100使用的是全新的NVLink 2接口，比NVLink多了2組通道，雙向總帶寬達(dá)300GB/s，比NVLink提升了87.5%。接下來(lái)我們看一下PCI-E版的對(duì)比：

上圖為T(mén)esla V100，下圖為T(mén)esla P100

PCI-E版的Tesla V100同P100相比，體積可謂是大大縮小，不僅從雙槽厚度變成了單槽，PCB也從標(biāo)準(zhǔn)長(zhǎng)度縮到了巴掌大小，比NVLink版的大不了多少。真是不知道老黃是如何做到用這么“寒酸”的被動(dòng)散熱壓制住TDP高達(dá)300W的“性能巨獸”的，只能期待NVIDIA后續(xù)的詳細(xì)介紹了。

如果不出意外，NVIDIA未來(lái)還會(huì)推出基于GV100核心的Quadro顯卡，到時(shí)候不知道在外觀上是否會(huì)采用Quadro GP100的渦輪式散熱器，當(dāng)然據(jù)吉吉我推測(cè)，可能性是很大的。

規(guī)格：晶體管數(shù)量史上之最

Volta架構(gòu)的首款產(chǎn)品Tesla V100采用12nm FFN工藝，核心代號(hào)GV100，核心面積為驚人的815平方毫米，共包含211億個(gè)晶體管。GV100核心共有5120個(gè)CUDA處理器，運(yùn)算單元數(shù)量為80個(gè)，核心頻率為1455MHz，搭載4096-bit 16GB HBM2顯存，單精度浮點(diǎn)性能高達(dá)驚人的15 TFLOPS，雙精度浮點(diǎn)7.5 TFLOPS，顯存帶寬900GB/s。

NVIDIA歷代大核心計(jì)算卡參數(shù)對(duì)比

Tesla V100首次使用了TSMC的12nm FFN工藝，該工藝其實(shí)是TSMC自家16nm FFC工藝的改進(jìn)版，性能是后者的1.1倍，功耗只有后者的70%，核心面積則可以縮小20%。憑借更為先進(jìn)的工藝，Tesla V100的計(jì)算單元數(shù)量增加了43%，但核心面積卻只增加了33%。

身材堪比Nano的Tesla V100

計(jì)算單元增加了43%，但理論單精度性能只增加了42%，這說(shuō)明同Pascal相比，Volta的性能提升靠的就是計(jì)算單元的增加，而不像從Maxwell進(jìn)化到Pascal那樣因工藝提升頻率激增而帶來(lái)的性能質(zhì)的飛躍。說(shuō)到頻率，從上表可以看出V100的頻率照比P100略有下降，其可能的原因有兩個(gè)，一是由于規(guī)模大幅增加，為了控制功耗而輕微降頻;二是12nm FFN工藝在性能上照比成熟的16nm FinFET Plus工藝略有差距，所以頻率達(dá)不到這么高的數(shù)值。

核心面積高達(dá)815平方毫米

此外，Tesla V100的二級(jí)緩存及寄存器大小也有所增加，L2緩存由Tesla P100的4MB增加到了6MB，每組SM單元的寄存器文件大小總數(shù)從14MB增加到了20MB。顯存方面，使用的HBM2的位寬及容量都沒(méi)變化，還是16GB 4096-bit，不過(guò)頻率有所提升，帶寬從前代的720GB/s提升到了900GB/s，更接近HBM 2顯存1024GB/s的理論值。

架構(gòu)：為AI設(shè)計(jì)的Tensor單元

從架構(gòu)整體設(shè)計(jì)上看，Volta核心同Pascal和Maxwell一樣，采用了6組GPC的設(shè)計(jì)，只不過(guò)是每組GPC內(nèi)的SM單元呈遞進(jìn)式增長(zhǎng)：Maxwell每組GPC的內(nèi)部有8組SM單元，Pascal增加到10組，而最新的Volta則是增加到14組。有一點(diǎn)需要說(shuō)明，由于單雙精度比的不同，GP100核心每組SM單元內(nèi)的CUDA核心數(shù)量與GP102是不同的，前者為64個(gè)，后者為128個(gè)，所以我們只看GP100。

GV100核心架構(gòu)圖

GV100同GP100每組SM單元內(nèi)的CUDA數(shù)量一樣，均為64個(gè)，而CUDA處理器的總數(shù)理應(yīng)為64*14*6=5376個(gè)，但GV100核心的CUDA處理器數(shù)量為5120個(gè)，少了的256個(gè)正是因?yàn)镹VIDIA關(guān)閉了4組SM單元，這一做法同GP100如出一轍。

GP100核心架構(gòu)圖

前面說(shuō)到的64是FP32單精度運(yùn)算單元數(shù)量，在單雙精度單元數(shù)量比上，GV100同GP100一樣為2:1，也就是說(shuō)每組SM單元中有32個(gè)FP64雙精度單元，理論值應(yīng)為32*14*6=2688個(gè)，但由于關(guān)閉了4組SM單元，所以總數(shù)為2560個(gè)。

Tensor單元工作流程圖

由于NVIDIA現(xiàn)在已經(jīng)轉(zhuǎn)型為一家AI公司，因此其GPU產(chǎn)品也開(kāi)始著力于AI、DP等領(lǐng)域的優(yōu)化發(fā)掘，在Pascal中NVIDIA開(kāi)始強(qiáng)調(diào)FP16半精度，因?yàn)樯疃葘W(xué)習(xí)對(duì)精度的要求并不高，甚至FP8就夠了，其更需要的是更強(qiáng)大的運(yùn)算性能。在Volta中，NVIDIA帶來(lái)了革命性的Tensor運(yùn)算單元，該單元是繼FP16和FP8后為AI設(shè)計(jì)的全新利器。其能夠提供高達(dá)120 TFLOPS的超強(qiáng)運(yùn)算性能，而且效率高且非常省電。

V100中SM單元設(shè)計(jì)

在GV100核心中，每組SM單元中包含8個(gè)Tensor單元，其能夠提供高達(dá)120 TFLOPS的超強(qiáng)運(yùn)算性能。相比于在P100的FP32單元上，Tesla V100的深度學(xué)習(xí)訓(xùn)練能力是前者的12倍，而相比于在P100的FP16單元的深度學(xué)習(xí)推理能力上，V100是前者的6倍。

性能：DP方面能力提升迅猛

由于Volta同Pascal相比架構(gòu)僅僅是小幅改動(dòng)，因此V100的理論性能提升同P100相比僅僅是規(guī)格增加而帶來(lái)的，但實(shí)際運(yùn)行方面，其提升還是相對(duì)可觀的，尤其是人工智能和深度學(xué)習(xí)能力。首先我們來(lái)看一下在HPC運(yùn)算方面的性能提升：

Volta HPC應(yīng)用性能提升

官方給出了V100與P100在6款HPC應(yīng)用中的性能對(duì)比，其中最低增長(zhǎng)了42%左右，最高增長(zhǎng)了76%左右，平均提升幅度約為50%，可見(jiàn)提升還是比較明顯的，但我們也能看出，由于V100的頻率與P100基本相當(dāng)，所以實(shí)際性能并沒(méi)有從M40到P100那種翻天覆地的提升。接下來(lái)我們看看Tensor單元的引入會(huì)對(duì)V100的深度學(xué)習(xí)性能帶來(lái)怎樣的影響：

ResNet-50深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練任務(wù)中的速度對(duì)比

從圖中可以看出，Tesla V100使用Tensor單元在ResNet-50深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練任務(wù)中的速度是Tesla P100使用FP32單元進(jìn)行運(yùn)算的2.4倍;如果每張圖像的目標(biāo)延遲是7ms，那么Tesla V100使用Tensor核心在ResNet-50深度神經(jīng)網(wǎng)絡(luò)進(jìn)行推理的速度是使用FP16單元的P100的3.7倍(參與測(cè)試的V100為原型卡)。

Tesla V100 Tensor單元和CUDA 9對(duì)GEMM運(yùn)算的性能提升

矩陣-矩陣乘法運(yùn)算(BLAS GEMM)是神經(jīng)網(wǎng)絡(luò)訓(xùn)練和推理的核心，被用來(lái)獲得輸入數(shù)據(jù)和權(quán)重的大型矩陣的乘積。從上圖我們可以看出，相比于基于Pascal的GP100，Tesla V100中的Tensor單元把這些運(yùn)算的性能最高提升了8倍多。

不同平臺(tái)深度學(xué)習(xí)訓(xùn)練時(shí)間對(duì)比

還是得益于Tensor單元強(qiáng)大的實(shí)力，8路V100的深度學(xué)習(xí)訓(xùn)練時(shí)間僅為8路P100的三分之一左右，而雙路E5 2699V4的耗時(shí)是8路V100的56倍，這種差距是非常懸殊的。

以上就是Volta架構(gòu)分析的全部?jī)?nèi)容，其主要特性無(wú)非為三點(diǎn)：1、史上最大規(guī)模的GPU;2、首款采用12nm工藝的GPU;3、全新加入的Tensor單元讓GV100的DP性能達(dá)到了史無(wú)前例的新高。在GTC 2017大會(huì)上，老黃表示NVIDIA在研發(fā)Tesla V100的過(guò)程中投入了30億美元的巨資，這是迄今為止NVIDIA投資的最大的單個(gè)項(xiàng)目，比Pascal還多花了10億刀。這30億刀讓NVIDIA整整領(lǐng)先了AMD一代，AMD這邊甭說(shuō)Navi，就連Vega也遲遲不見(jiàn)蹤影，正是如此，NVIDIA在下半年還不準(zhǔn)備放出消費(fèi)級(jí)的Volta，就讓我們期待明年初的消費(fèi)級(jí)Volta吧，4K被徹底征服不是夢(mèng)。