1、天河2概要
21ic電子網，在五月底在長沙舉辦的國際HPC大會上，國防科技大組員透露了天河2的詳細信息。天河2將會被安置在廣州的國家超算中心，為華南的教育和研究機構提供高性能計算服務。
天河2將會由16000個浪潮的節(jié)點組成，每個節(jié)點有2顆基于IveBridge-EXeonE52692處理器和3個XeonPhi，累計共有32000顆IveBridge處理器和48000個XeonPhi，總計有312萬個計算核心。
2、天河2的節(jié)點
每個XeonPhi使用其中的57個核心，而不是使用全部的61個，因為使用61個在運算周期協調方面會有問題，而使用57個核心能夠加速4個執(zhí)行線程，并且在每個線程單周期可以達成4flops的運算量，運行在1.1GHz的XeonPhi可以生產1003Tflops的雙精度運算能力。如果考慮CPU，2IvyBridge*0.2112Tflop/s+3XeonPhi*1.003Tflop/s=3.431Tflops，2個IveBridge+3個XeonPhi單個節(jié)點可以有3.431Tflops運算能力，16000個節(jié)點總計可達54.9PFlops性能。每個運算節(jié)點有64GB主存、而每個XeonPhi板載8GB內存，因此每個節(jié)點共有88GB內存，總計16000個節(jié)點一共有1.404PB內存，而外部存儲器容量方面更是高達12.4PB。
在每個主板上有2個計算節(jié)點，而每個框架則有16個主板，4個框架組成一個機柜，整個系統(tǒng)由125個機柜組成。
每個計算節(jié)點主板分為兩塊，一塊CPM一塊APU，CPM上有4核IveBridge、內存和一個XeonPhi,而APU基板上則承載著5個XeonPhi。
CPM和APU之間有5個水平插入的鏈接口，由IveBridge內置的PCI-E2.0進行連接，雖然IveBridge內置為PCIExpress3.0接口，但XeonPhi僅支持2.0，單個通路為10Gbps帶寬。
3、天河2內部互連
計算節(jié)點的前端處理器為4096個FT-1500處理器,FT-1500處理器是由國防科技大學為天河1研發(fā)，其可以說是天河1項目的最大收獲，其為16核心的SparcV9架構處理器，在40nm工藝情況下運行頻率為1.8Ghz,峰值性能為144Fflops/s,功耗為65W，但相比英特爾22nm12核2.2GHz211Gflops/s性能的IveBridge還是有明顯差距。
天河2互聯方面采用自主研發(fā)的Express-2內部互聯網絡，其為有13個交換機，而每個交換機有576個端口。連接介質為光電混合。具體控制器是名為NRC的ASIC專用目的集成電路，其采用90nm工藝，核心尺寸為17.16x17.16mm，共有2577引腳。單個NRC的吞吐能力為2.56Tbps。而在終端方面網絡接口也采用類似結構的NIC，但規(guī)模稍小，為10.76x10.76mm,675pin，其采用PCIE2.0方式連接，傳輸速率為6.36GB/s。并且在在12000節(jié)點的情況下延遲也很低，僅為85us。
4、天河2的性能
而在計算能力方面，使用14336個節(jié)點總計50GB內存進行LINPACK測試，理論性能為49.19Pflops，而實際測試性能為30.65Pflops,效率為62.3%。這個效率并不算高，還有很大優(yōu)化提升潛力。當然也可能是被Xeonphi僅支持PCIExpress2.0帶寬不足限制。
上面測試使用了16000個節(jié)點中的14336個，運用了90%的規(guī)模，基本可以代表天河2的整體性能表現。天河2的性能部件(處理器、內存、互聯)整體功耗為17.6MW，而整體的運算能力為30.65PFlops，這樣計算每瓦的性能為1.935Gflops，這個性能/功耗比可以拍在超算TOP500的前五，其整體性能/功耗比十分出色。
系統(tǒng)的整體功耗為17.6MW，并且這個功耗還不包括水冷這樣的散熱系統(tǒng)，如果考慮上整體功耗將高達24MW，廣州國家超算中心將采用城市供水系統(tǒng)構建高散熱效能的冷卻系統(tǒng)，有能力可以提供80KW系統(tǒng)的散熱能力。
天河2燈光效果
天河2雖然并不是最早采用英特爾XeonPhi的超級計算機，但其卻對XeonPhi卻有至關重要的意義，天河2號對于Xeonphi的采用使得其在與Tesla的競爭中穩(wěn)穩(wěn)占到上風，并給予TeslaKO般的致命一擊。天河2號的意義不僅在于登頂超算排行TOP1，相比天河1和其他基于GPU的異構超級計算機，其在應用范圍上更廣、整體效率更高，相比在浮點計算精度、分支預測存在天生缺陷的GPU異構計算有更大的實用價值。天河2采用XeonPhi,可以說代表HPC并行計算到達新的層次，迎來XeonPhi并行計算的新時代，同時也預示著以NVIDIATesla為代表的GPU異構超算逐漸走向死路末途。
下載文檔
