超級計算機通過以太網(wǎng)連接400PB存儲系統(tǒng)

美國國家超級計算應(yīng)用中心(National Center for Supercomputing Applications)正計劃推出一個包含380PB磁帶存儲容量和由17000個SATA驅(qū)動器組成的25PB在線磁盤存儲的存儲基礎(chǔ)設(shè)施。

這個大規(guī)模存儲基礎(chǔ)設(shè)施將用于支持世界上最大的超級計算機之一，被稱為Blue Waters。由美國國家科學(xué)基金會(NFS)委托制造的Blue Waters預(yù)計峰值性能將達到11.5 petaflops，雖然NFS對其的要求是提供1 petaflop的應(yīng)用程序持續(xù)計算能力。

美國伊利諾伊大學(xué)運行的NCSA已經(jīng)與Cray公司簽署了一份合同來建設(shè)這個超級計算機，該系統(tǒng)將運行一個Lustre并行文件系統(tǒng)，到其后端存儲的吞吐量將超過1TB每秒。

Blue Waters項目將創(chuàng)造一個1 petaflop超級計算機來處理現(xiàn)實世界科學(xué)和工程應(yīng)用。其中，這臺超級計算機將幫助人類理解宇宙大爆炸后宇宙是如何演化的，幫助預(yù)測颶風(fēng)和龍卷風(fēng)的形成，并在新材料的設(shè)計中在原子水平上發(fā)揮重要作用。

這臺超級計算機將包含超過235個使用380000個AMD Opteron 6200系列X82處理器的Cray XE6機柜，和超過30個最新推出的Cray XK6超級計算機(擁有3000個NVIDIA CPU)未來版本的機柜。該系統(tǒng)將包含來自19萬個內(nèi)存DIMM的1.5PB聚合內(nèi)存。

為了支持所有這些計算能力，NCSA使用Cray Sonexion存儲系統(tǒng)部署了25PB磁盤存儲。Sonexion原本被稱為Zyratex存儲陣列，該系統(tǒng)通過40Gbps以太網(wǎng)從Extreme Networks提供高達1TBps聚合帶寬。

“我們一直努力與網(wǎng)絡(luò)供應(yīng)商合作，以確保他們準備好迎接40千兆以太網(wǎng)，”NCSA負責(zé)存儲和網(wǎng)絡(luò)工程的高級技術(shù)項目經(jīng)理Michelle Butler表示，“我們并不是第一個使用40Gbps以太網(wǎng)的，但是現(xiàn)在使用這個以太網(wǎng)的人并不多。”

Butler表示，使用40Gbit以太網(wǎng)網(wǎng)絡(luò)的關(guān)鍵是將管道分成多個10Gbps以太網(wǎng)通道的能力，使NCSA將架構(gòu)分散到多個端口。該以太網(wǎng)將被用于連接75臺主機。

Butler表示，NCSA還選擇了DataDirect Network的SFA 12K存儲陣列提供100GBps存儲性能來卸載數(shù)據(jù)到“近線”磁帶庫系統(tǒng)。該磁帶子系統(tǒng)可擴展到500PB容量。

她表示：“該子系統(tǒng)能夠卸載每秒萬億字節(jié)的文件系統(tǒng)，所以我們需要一個非常大的磁帶基礎(chǔ)設(shè)施來進行卸載。”

正在建設(shè)中的Blue Waters超級計算機

在主存儲后面是四個Spectra Logic 17-frame T-Finity磁帶庫，磁帶庫將擁有366個240MB/sec 的IBM TS1140企業(yè)級磁帶驅(qū)動器。該磁帶庫將提供高達每小時2.2PB的聚合讀/寫率。

Butler表示：“我們實際上評估了LTO-5或LTO-6和TS1140，我們并沒有指定何種磁帶驅(qū)動器、何種庫或者其他任何東西。我們希望讓供應(yīng)商自由地向我們提供多種解決方案。”

Butler表示，NCSA選擇IBM磁帶驅(qū)動器，而沒有選擇更流行的中級LTO驅(qū)動器，因為它們提供優(yōu)越的性能。TS1140提供240MB每秒的吞吐量，LTO驅(qū)動器提供140MB每秒。

在意見請求書中，Butler的團隊給存儲供應(yīng)商列出了10到15個要求。除此之外，它們還規(guī)定磁帶庫必須要符合一定面積，不能超過一定電力和冷卻要求，并且應(yīng)該滿足某種可靠性和性能目標。

Butler表示，磁帶庫聚合吞吐量的目標是100GB/sec，目前，大約為89.5GB/sec。

Cray超級計算機通過Mellanox IS5000 InfiniBand交換機和ConnectX InfiniBand適配器連接到磁帶庫。交換機使用InfiniBand QDR協(xié)議，提供高達每個lane 8Gbps吞吐量和高達12個I/O lane。Butler表示，她想要使用更高帶寬版本的InfiniBand， FDR，但是Cray的系統(tǒng)不支持。

InfiniBand FDR提供每個lane 13.6 Gbps吞吐量和高達12個I/O lane。

雖然NCSA可以從很多企業(yè)級磁盤存儲供應(yīng)商中選擇產(chǎn)品用于超級計算機中，Butler及其團隊感覺如果所有產(chǎn)品都來自于Cray的話，他們將會得到更好的支持。

“Lustre，如你所知，并不好維護，所以我們想要與特定供應(yīng)商合作，使用其軟件硬件，并有一個設(shè)備來進行故障轉(zhuǎn)換等，自2003年以來，我們就一直運行Lustre，”Butler表示，“所以我理解Cray公司試圖為我們簡化我們的系統(tǒng)。”

更多信息請關(guān)注：21ic網(wǎng)友雜談頻道