NVIDIA高速GPU互聯(lián)技術(shù) 鋪平百億億次級(jí)計(jì)算的道路
NVIDIA將把NVLink技術(shù)添加到其Pascal GPU架構(gòu)當(dāng)中,該架構(gòu)將承接今年全新的NVIDIA Maxwell計(jì)算架構(gòu),預(yù)計(jì)將于2016 年推出。這一全新的互聯(lián)技術(shù)是與IBM合作開(kāi)發(fā)的,IBM 正在將該技術(shù)融入到其未來(lái)版本的 POWER CPU 當(dāng)中。
NVIDIA GPU工程高級(jí)副總裁Brian Kelleher表示:“NVLink技術(shù)通過(guò)大幅提升CPU與GPU之間的數(shù)據(jù)傳輸速度,最大限度縮短了GPU等待數(shù)據(jù)處理的時(shí)間,從而釋放了GPU的全部潛能?!?BR>IBM 副總裁兼 IBM 院士 Bradley McCredie 表示:“NVLink 讓CPU與GPU之間能夠快速交換數(shù)據(jù),從而提升了整個(gè)計(jì)算系統(tǒng)的數(shù)據(jù)吞吐量,克服了當(dāng)今加速計(jì)算的一大瓶頸。NVLink 讓開(kāi)發(fā)者能夠更輕松地修改高性能與數(shù)據(jù)分析應(yīng)用,以便充分利用加速的 CPU-GPU 系統(tǒng)。 我們認(rèn)為,該技術(shù)標(biāo)志著我們對(duì) OpenPOWER 生態(tài)系統(tǒng)又做出了一大貢獻(xiàn)?!?BR>由于NVLink 技術(shù)能夠?qū)?IBM POWER CPU 與 NVIDIA Tesla GPU 緊密結(jié)合,POWER 數(shù)據(jù)中心生態(tài)系統(tǒng)將能夠在各種各樣的應(yīng)用程序上充分利用GPU加速,例如高性能計(jì)算、數(shù)據(jù)分析以及機(jī)器學(xué)習(xí)等應(yīng)用。
與 PCI Express 3.0 相比之下的優(yōu)勢(shì)
當(dāng)今的GPU 通過(guò) PCI Express (PCIe) 接口連接至 x86 CPU。PCIe 限制了 GPU 存取 CPU 系統(tǒng)內(nèi)存的能力,比一般的 CPU 內(nèi)存系統(tǒng)慢 4-5 倍。IBM POWER CPU的帶寬高于x86 CPU,因此在 GPU 與 IBM POWER CPU 之間,PCIe 成為了更加顯著的瓶頸。由于 NVLink 接口可與一般 CPU 內(nèi)存系統(tǒng)的帶寬相匹配,因而讓 GPU 能夠以全帶寬的速度存取 CPU 內(nèi)存。
這一高帶寬互聯(lián)技術(shù)將大幅提高加速軟件應(yīng)用的性能。GPU 的顯存速度快但容量小,CPU 內(nèi)存速度慢但容量大。因?yàn)閮?nèi)存系統(tǒng)的差異,加速的計(jì)算應(yīng)用一般先把數(shù)據(jù)從網(wǎng)絡(luò)或磁盤(pán)移至 CPU 內(nèi)存,然后再把數(shù)據(jù)復(fù)制到 GPU 顯存,數(shù)據(jù)才可以被 GPU 處理。 憑借 NVLink,數(shù)據(jù)在 CPU 內(nèi)存與 GPU 顯存之間的移動(dòng)速度得到了大幅提升,從而讓 GPU 加速的應(yīng)用能夠大幅提升運(yùn)行速度。
統(tǒng)一內(nèi)存特性
更快的數(shù)據(jù)移動(dòng)加上名為統(tǒng)一內(nèi)存的另一大特性,將簡(jiǎn)化GPU加速器的編程。 統(tǒng)一內(nèi)存讓程序員能夠?qū)PU內(nèi)存和 GPU 顯存視為一個(gè)內(nèi)存塊。 程序員可以操作數(shù)據(jù),無(wú)需擔(dān)心數(shù)據(jù)存在于 CPU 內(nèi)存還是 GPU 顯存當(dāng)中。
雖然將來(lái)的 NVIDIA GPU 會(huì)繼續(xù)支持 PCIe,但是 NVLink 技術(shù)將被用于連接GPU與支持 NVLink 技術(shù)的CPU,另外還將用于在多顆 GPU 之間直接提供高帶寬連接。 此外,盡管擁有極高的帶寬,NVLink 卻在每比特?cái)?shù)據(jù)的傳輸上比 PCIe 節(jié)能得多。
NVIDIA 現(xiàn)已設(shè)計(jì)了一個(gè)模塊來(lái)容納 Pascal 架構(gòu)的GPU與NVLink。這一全新的GPU模塊僅為當(dāng)今標(biāo)準(zhǔn) PCIe 顯卡尺寸的三分之一。Pascal 模塊底部的接口使其能夠插入到主板當(dāng)中,從而改善了系統(tǒng)設(shè)計(jì)、提升了信號(hào)完整性。
NVLink 高速互連技術(shù)將成就緊密結(jié)合的系統(tǒng),這類(lèi)系統(tǒng)為人們呈現(xiàn)了一條通往超節(jié)能可擴(kuò)展百億億次級(jí)超級(jí)計(jì)算機(jī)的道路。百億億次級(jí)超級(jí)計(jì)算機(jī)的運(yùn)行速度為 1,000 Petaflops (每秒 1 x 1018 次浮點(diǎn)運(yùn)算),比當(dāng)今最快的系統(tǒng)還要快50 - 100倍。