NVIDIA Volta架構(gòu)面世 英偉達產(chǎn)品迭代為啥這么快！

NVIDIA Volta架構(gòu)，一個在幾年前便已經(jīng)被曝光的次世代架構(gòu)，于上周的GTC 2017大會上正式與大家見面。正如老黃去年所說的，NVIDIA未來會大幅提高產(chǎn)品的迭代速度以推動GPU界的發(fā)展，Volta架構(gòu)的發(fā)布時間正好距Pascal架構(gòu)的發(fā)布過了一年。在這短短的一年時間里，老黃將整個Pascal家族悉數(shù)抖落，以大家最熟悉的GeForce系列游戲卡為例，從GT 1030到GTX 1080 Ti可謂是高中低檔應(yīng)有盡有，比Maxwell 2家族的集體亮相整整快了約一年。

為什么NVIDIA能夠做到短短一年便推出新架構(gòu)產(chǎn)品?因為與AMD的拖延相比，NVIDIA嚴格按照自家的產(chǎn)品路線圖發(fā)布產(chǎn)品，雖然受限于HBM顯存的產(chǎn)能，NVIDIA在Maxwell和Volta之間加了一個Pascal作為過渡，但Pascal的表現(xiàn)卻不敷衍，完全稱得上是GPU史上的一個里程碑，因為NVIDIA的Pascal顯卡讓GPU的頻率首次突破2GHz大關(guān)，在超頻大師的手中甚至可以超過3GHz，追上了CPU的主頻，這在以前是完全不敢想象的。

采用Volta架構(gòu)的首款產(chǎn)品是NVIDIA Xavier SOC

現(xiàn)在GPU講究的是能耗比，不再像以前一樣單純追求絕對性能，而采用了TSMC全新12nm的Volta讓我們看到了能耗比的新高度：首發(fā)產(chǎn)品Tesla V100同P100相比，在TDP同為300W的情況下，單精度浮點運算性能提升了41.5%，實際HPC應(yīng)用性能提升了40-70%，憑借架構(gòu)中新引入的Tensor單元，在深度學習方面的性能甚至可以達到后者的12倍!

NVIDIA Tesla V100

我們上周在第一時間報道了有關(guān)Tesla V100的相關(guān)消息，但大家能看到的只是諸如815平方毫米的核心面積、210億個晶體管、5120個CUDA核心、15TFLOPS單精度性能這樣的專業(yè)數(shù)據(jù)，但我相信大家都很好奇Volta同Pascal相比究竟有了哪些設(shè)計方面的提升和改變，接下來吉吉我就用相對通俗易懂的語言來給大家細細道來，讓大家看看老黃的“新核彈”究竟是怎樣一個構(gòu)造。

外觀：PCI-E版身材迷你

同采用Pascal架構(gòu)的Tesla P100一樣，Volta P100也有2種版本，一種是用在DGX-1上的NVLink版，還有一種是標準的PCI-E版，兩種版本的規(guī)格是一模一樣的。首先我們看一下NVLink版的V100和P100對比：

上圖為Tesla V100，下圖為Tesla P100

由于V100和P100的TDP均為300W，并且都是使用了16GB的HBM2顯存，所以NVLink版的PCB的設(shè)計幾乎是一模一樣的，僅僅是料件型號和排布上有些微區(qū)別。另外，需要強調(diào)的是，V100使用的是全新的NVLink 2接口，比NVLink多了2組通道，雙向總帶寬達300GB/s，比NVLink提升了87.5%。接下來我們看一下PCI-E版的對比：

上圖為Tesla V100，下圖為Tesla P100

PCI-E版的Tesla V100同P100相比，體積可謂是大大縮小，不僅從雙槽厚度變成了單槽，PCB也從標準長度縮到了巴掌大小，比NVLink版的大不了多少。真是不知道老黃是如何做到用這么“寒酸”的被動散熱壓制住TDP高達300W的“性能巨獸”的，只能期待NVIDIA后續(xù)的詳細介紹了。

如果不出意外，NVIDIA未來還會推出基于GV100核心的Quadro顯卡，到時候不知道在外觀上是否會采用Quadro GP100的渦輪式散熱器，當然據(jù)吉吉我推測，可能性是很大的。

規(guī)格：晶體管數(shù)量史上之最

Volta架構(gòu)的首款產(chǎn)品Tesla V100采用12nm FFN工藝，核心代號GV100，核心面積為驚人的815平方毫米，共包含211億個晶體管。GV100核心共有5120個CUDA處理器，運算單元數(shù)量為80個，核心頻率為1455MHz，搭載4096-bit 16GB HBM2顯存，單精度浮點性能高達驚人的15 TFLOPS，雙精度浮點7.5 TFLOPS，顯存帶寬900GB/s。

NVIDIA歷代大核心計算卡參數(shù)對比

Tesla V100首次使用了TSMC的12nm FFN工藝，該工藝其實是TSMC自家16nm FFC工藝的改進版，性能是后者的1.1倍，功耗只有后者的70%，核心面積則可以縮小20%。憑借更為先進的工藝，Tesla V100的計算單元數(shù)量增加了43%，但核心面積卻只增加了33%。

身材堪比Nano的Tesla V100

計算單元增加了43%，但理論單精度性能只增加了42%，這說明同Pascal相比，Volta的性能提升靠的就是計算單元的增加，而不像從Maxwell進化到Pascal那樣因工藝提升頻率激增而帶來的性能質(zhì)的飛躍。說到頻率，從上表可以看出V100的頻率照比P100略有下降，其可能的原因有兩個，一是由于規(guī)模大幅增加，為了控制功耗而輕微降頻;二是12nm FFN工藝在性能上照比成熟的16nm FinFET Plus工藝略有差距，所以頻率達不到這么高的數(shù)值。

核心面積高達815平方毫米

此外，Tesla V100的二級緩存及寄存器大小也有所增加，L2緩存由Tesla P100的4MB增加到了6MB，每組SM單元的寄存器文件大小總數(shù)從14MB增加到了20MB。顯存方面，使用的HBM2的位寬及容量都沒變化，還是16GB 4096-bit，不過頻率有所提升，帶寬從前代的720GB/s提升到了900GB/s，更接近HBM 2顯存1024GB/s的理論值。

架構(gòu)：為AI設(shè)計的Tensor單元

從架構(gòu)整體設(shè)計上看，Volta核心同Pascal和Maxwell一樣，采用了6組GPC的設(shè)計，只不過是每組GPC內(nèi)的SM單元呈遞進式增長：Maxwell每組GPC的內(nèi)部有8組SM單元，Pascal增加到10組，而最新的Volta則是增加到14組。有一點需要說明，由于單雙精度比的不同，GP100核心每組SM單元內(nèi)的CUDA核心數(shù)量與GP102是不同的，前者為64個，后者為128個，所以我們只看GP100。

GV100核心架構(gòu)圖

GV100同GP100每組SM單元內(nèi)的CUDA數(shù)量一樣，均為64個，而CUDA處理器的總數(shù)理應(yīng)為64*14*6=5376個，但GV100核心的CUDA處理器數(shù)量為5120個，少了的256個正是因為NVIDIA關(guān)閉了4組SM單元，這一做法同GP100如出一轍。

GP100核心架構(gòu)圖

前面說到的64是FP32單精度運算單元數(shù)量，在單雙精度單元數(shù)量比上，GV100同GP100一樣為2:1，也就是說每組SM單元中有32個FP64雙精度單元，理論值應(yīng)為32*14*6=2688個，但由于關(guān)閉了4組SM單元，所以總數(shù)為2560個。

Tensor單元工作流程圖

由于NVIDIA現(xiàn)在已經(jīng)轉(zhuǎn)型為一家AI公司，因此其GPU產(chǎn)品也開始著力于AI、DP等領(lǐng)域的優(yōu)化發(fā)掘，在Pascal中NVIDIA開始強調(diào)FP16半精度，因為深度學習對精度的要求并不高，甚至FP8就夠了，其更需要的是更強大的運算性能。在Volta中，NVIDIA帶來了革命性的Tensor運算單元，該單元是繼FP16和FP8后為AI設(shè)計的全新利器。其能夠提供高達120 TFLOPS的超強運算性能，而且效率高且非常省電。

V100中SM單元設(shè)計

在GV100核心中，每組SM單元中包含8個Tensor單元，其能夠提供高達120 TFLOPS的超強運算性能。相比于在P100的FP32單元上，Tesla V100的深度學習訓練能力是前者的12倍，而相比于在P100的FP16單元的深度學習推理能力上，V100是前者的6倍。

性能：DP方面能力提升迅猛

由于Volta同Pascal相比架構(gòu)僅僅是小幅改動，因此V100的理論性能提升同P100相比僅僅是規(guī)格增加而帶來的，但實際運行方面，其提升還是相對可觀的，尤其是人工智能和深度學習能力。首先我們來看一下在HPC運算方面的性能提升：

Volta HPC應(yīng)用性能提升

官方給出了V100與P100在6款HPC應(yīng)用中的性能對比，其中最低增長了42%左右，最高增長了76%左右，平均提升幅度約為50%，可見提升還是比較明顯的，但我們也能看出，由于V100的頻率與P100基本相當，所以實際性能并沒有從M40到P100那種翻天覆地的提升。接下來我們看看Tensor單元的引入會對V100的深度學習性能帶來怎樣的影響：

ResNet-50深度神經(jīng)網(wǎng)絡(luò)訓練任務(wù)中的速度對比

從圖中可以看出，Tesla V100使用Tensor單元在ResNet-50深度神經(jīng)網(wǎng)絡(luò)訓練任務(wù)中的速度是Tesla P100使用FP32單元進行運算的2.4倍;如果每張圖像的目標延遲是7ms，那么Tesla V100使用Tensor核心在ResNet-50深度神經(jīng)網(wǎng)絡(luò)進行推理的速度是使用FP16單元的P100的3.7倍(參與測試的V100為原型卡)。

Tesla V100 Tensor單元和CUDA 9對GEMM運算的性能提升

矩陣-矩陣乘法運算(BLAS GEMM)是神經(jīng)網(wǎng)絡(luò)訓練和推理的核心，被用來獲得輸入數(shù)據(jù)和權(quán)重的大型矩陣的乘積。從上圖我們可以看出，相比于基于Pascal的GP100，Tesla V100中的Tensor單元把這些運算的性能最高提升了8倍多。

不同平臺深度學習訓練時間對比

還是得益于Tensor單元強大的實力，8路V100的深度學習訓練時間僅為8路P100的三分之一左右，而雙路E5 2699V4的耗時是8路V100的56倍，這種差距是非常懸殊的。

以上就是Volta架構(gòu)分析的全部內(nèi)容，其主要特性無非為三點：1、史上最大規(guī)模的GPU;2、首款采用12nm工藝的GPU;3、全新加入的Tensor單元讓GV100的DP性能達到了史無前例的新高。在GTC 2017大會上，老黃表示NVIDIA在研發(fā)Tesla V100的過程中投入了30億美元的巨資，這是迄今為止NVIDIA投資的最大的單個項目，比Pascal還多花了10億刀。這30億刀讓NVIDIA整整領(lǐng)先了AMD一代，AMD這邊甭說Navi，就連Vega也遲遲不見蹤影，正是如此，NVIDIA在下半年還不準備放出消費級的Volta，就讓我們期待明年初的消費級Volta吧，4K被徹底征服不是夢。