NVIDIA高速GPU互聯(lián)技術(shù) 鋪平百億億次級計算的道路
[導讀]NVIDIA近日宣布，該公司計劃將名為 NVIDIANVLink的高速互連技術(shù)集成到其未來的GPU中，讓GPU與CPU之間共享數(shù)據(jù)的速度能夠比當今速度快5 - 12倍。這將消除長期以來的瓶頸，有助于鋪平新一代百億億次級(Exascale)超級計
NVIDIA近日宣布，該公司計劃將名為 NVIDIANVLink的高速互連技術(shù)集成到其未來的GPU中，讓GPU與CPU之間共享數(shù)據(jù)的速度能夠比當今速度快5 - 12倍。這將消除長期以來的瓶頸，有助于鋪平新一代百億億次級(Exascale)超級計算機的道路，這種超級計算機比當今最強大的系統(tǒng)還要快50-100倍。
NVIDIA將把NVLink技術(shù)添加到其Pascal GPU架構(gòu)當中，該架構(gòu)將承接今年全新的NVIDIA Maxwell計算架構(gòu)，預計將于2016 年推出。這一全新的互聯(lián)技術(shù)是與IBM合作開發(fā)的，IBM 正在將該技術(shù)融入到其未來版本的 POWER CPU 當中。
IBM 副總裁兼 IBM 院士 Bradley McCredie 表示：“NVLink 讓CPU與GPU之間能夠快速交換數(shù)據(jù)，從而提升了整個計算系統(tǒng)的數(shù)據(jù)吞吐量，克服了當今加速計算的一大瓶頸。NVLink 讓開發(fā)者能夠更輕松地修改高性能與數(shù)據(jù)分析應用，以便充分利用加速的 CPU-GPU 系統(tǒng)。 我們認為，該技術(shù)標志著我們對 OpenPOWER 生態(tài)系統(tǒng)又做出了一大貢獻?！?BR>由于NVLink 技術(shù)能夠?qū)?IBM POWER CPU 與 NVIDIA Tesla GPU 緊密結(jié)合，POWER 數(shù)據(jù)中心生態(tài)系統(tǒng)將能夠在各種各樣的應用程序上充分利用GPU加速，例如高性能計算、數(shù)據(jù)分析以及機器學習等應用。
與 PCI Express 3.0 相比之下的優(yōu)勢
當今的GPU 通過 PCI Express (PCIe) 接口連接至 x86 CPU。PCIe 限制了 GPU 存取 CPU 系統(tǒng)內(nèi)存的能力，比一般的 CPU 內(nèi)存系統(tǒng)慢 4-5 倍。IBM POWER CPU的帶寬高于x86 CPU，因此在 GPU 與 IBM POWER CPU 之間，PCIe 成為了更加顯著的瓶頸。由于 NVLink 接口可與一般 CPU 內(nèi)存系統(tǒng)的帶寬相匹配，因而讓 GPU 能夠以全帶寬的速度存取 CPU 內(nèi)存。
這一高帶寬互聯(lián)技術(shù)將大幅提高加速軟件應用的性能。GPU 的顯存速度快但容量小，CPU 內(nèi)存速度慢但容量大。因為內(nèi)存系統(tǒng)的差異，加速的計算應用一般先把數(shù)據(jù)從網(wǎng)絡(luò)或磁盤移至 CPU 內(nèi)存，然后再把數(shù)據(jù)復制到 GPU 顯存，數(shù)據(jù)才可以被 GPU 處理。 憑借 NVLink，數(shù)據(jù)在 CPU 內(nèi)存與 GPU 顯存之間的移動速度得到了大幅提升，從而讓 GPU 加速的應用能夠大幅提升運行速度。
統(tǒng)一內(nèi)存特性
更快的數(shù)據(jù)移動加上名為統(tǒng)一內(nèi)存的另一大特性，將簡化GPU加速器的編程。 統(tǒng)一內(nèi)存讓程序員能夠?qū)PU內(nèi)存和 GPU 顯存視為一個內(nèi)存塊。 程序員可以操作數(shù)據(jù)，無需擔心數(shù)據(jù)存在于 CPU 內(nèi)存還是 GPU 顯存當中。
雖然將來的 NVIDIA GPU 會繼續(xù)支持 PCIe，但是 NVLink 技術(shù)將被用于連接GPU與支持 NVLink 技術(shù)的CPU，另外還將用于在多顆 GPU 之間直接提供高帶寬連接。 此外，盡管擁有極高的帶寬，NVLink 卻在每比特數(shù)據(jù)的傳輸上比 PCIe 節(jié)能得多。
NVIDIA 現(xiàn)已設(shè)計了一個模塊來容納 Pascal 架構(gòu)的GPU與NVLink。這一全新的GPU模塊僅為當今標準 PCIe 顯卡尺寸的三分之一。Pascal 模塊底部的接口使其能夠插入到主板當中，從而改善了系統(tǒng)設(shè)計、提升了信號完整性。
NVLink 高速互連技術(shù)將成就緊密結(jié)合的系統(tǒng)，這類系統(tǒng)為人們呈現(xiàn)了一條通往超節(jié)能可擴展百億億次級超級計算機的道路。百億億次級超級計算機的運行速度為 1,000 Petaflops (每秒 1 x 1018 次浮點運算)，比當今最快的系統(tǒng)還要快50 - 100倍。
NVIDIA將把NVLink技術(shù)添加到其Pascal GPU架構(gòu)當中，該架構(gòu)將承接今年全新的NVIDIA Maxwell計算架構(gòu)，預計將于2016 年推出。這一全新的互聯(lián)技術(shù)是與IBM合作開發(fā)的，IBM 正在將該技術(shù)融入到其未來版本的 POWER CPU 當中。
IBM 副總裁兼 IBM 院士 Bradley McCredie 表示：“NVLink 讓CPU與GPU之間能夠快速交換數(shù)據(jù)，從而提升了整個計算系統(tǒng)的數(shù)據(jù)吞吐量，克服了當今加速計算的一大瓶頸。NVLink 讓開發(fā)者能夠更輕松地修改高性能與數(shù)據(jù)分析應用，以便充分利用加速的 CPU-GPU 系統(tǒng)。 我們認為，該技術(shù)標志著我們對 OpenPOWER 生態(tài)系統(tǒng)又做出了一大貢獻?！?BR>由于NVLink 技術(shù)能夠?qū)?IBM POWER CPU 與 NVIDIA Tesla GPU 緊密結(jié)合，POWER 數(shù)據(jù)中心生態(tài)系統(tǒng)將能夠在各種各樣的應用程序上充分利用GPU加速，例如高性能計算、數(shù)據(jù)分析以及機器學習等應用。
與 PCI Express 3.0 相比之下的優(yōu)勢
當今的GPU 通過 PCI Express (PCIe) 接口連接至 x86 CPU。PCIe 限制了 GPU 存取 CPU 系統(tǒng)內(nèi)存的能力，比一般的 CPU 內(nèi)存系統(tǒng)慢 4-5 倍。IBM POWER CPU的帶寬高于x86 CPU，因此在 GPU 與 IBM POWER CPU 之間，PCIe 成為了更加顯著的瓶頸。由于 NVLink 接口可與一般 CPU 內(nèi)存系統(tǒng)的帶寬相匹配，因而讓 GPU 能夠以全帶寬的速度存取 CPU 內(nèi)存。
這一高帶寬互聯(lián)技術(shù)將大幅提高加速軟件應用的性能。GPU 的顯存速度快但容量小，CPU 內(nèi)存速度慢但容量大。因為內(nèi)存系統(tǒng)的差異，加速的計算應用一般先把數(shù)據(jù)從網(wǎng)絡(luò)或磁盤移至 CPU 內(nèi)存，然后再把數(shù)據(jù)復制到 GPU 顯存，數(shù)據(jù)才可以被 GPU 處理。 憑借 NVLink，數(shù)據(jù)在 CPU 內(nèi)存與 GPU 顯存之間的移動速度得到了大幅提升，從而讓 GPU 加速的應用能夠大幅提升運行速度。
統(tǒng)一內(nèi)存特性
更快的數(shù)據(jù)移動加上名為統(tǒng)一內(nèi)存的另一大特性，將簡化GPU加速器的編程。 統(tǒng)一內(nèi)存讓程序員能夠?qū)PU內(nèi)存和 GPU 顯存視為一個內(nèi)存塊。 程序員可以操作數(shù)據(jù)，無需擔心數(shù)據(jù)存在于 CPU 內(nèi)存還是 GPU 顯存當中。
雖然將來的 NVIDIA GPU 會繼續(xù)支持 PCIe，但是 NVLink 技術(shù)將被用于連接GPU與支持 NVLink 技術(shù)的CPU，另外還將用于在多顆 GPU 之間直接提供高帶寬連接。 此外，盡管擁有極高的帶寬，NVLink 卻在每比特數(shù)據(jù)的傳輸上比 PCIe 節(jié)能得多。
NVIDIA 現(xiàn)已設(shè)計了一個模塊來容納 Pascal 架構(gòu)的GPU與NVLink。這一全新的GPU模塊僅為當今標準 PCIe 顯卡尺寸的三分之一。Pascal 模塊底部的接口使其能夠插入到主板當中，從而改善了系統(tǒng)設(shè)計、提升了信號完整性。
NVLink 高速互連技術(shù)將成就緊密結(jié)合的系統(tǒng)，這類系統(tǒng)為人們呈現(xiàn)了一條通往超節(jié)能可擴展百億億次級超級計算機的道路。百億億次級超級計算機的運行速度為 1,000 Petaflops (每秒 1 x 1018 次浮點運算)，比當今最快的系統(tǒng)還要快50 - 100倍。
下載文檔
