東芝硬盤攜手寶德 HPC 在中國科學(xué)院 大連化學(xué)物理研究所成功應(yīng)用

客戶行業(yè)背景

中國科學(xué)院大連化學(xué)物理研究所(以下簡(jiǎn)稱大連化物所)創(chuàng)建于1949年 3月，是一個(gè)基礎(chǔ)研究與應(yīng)用研究并重、應(yīng)用研究和技術(shù)轉(zhuǎn)化相結(jié)合，以任務(wù)帶學(xué)科為主要特色的綜合性研究所。大連化物所重 點(diǎn)學(xué)科領(lǐng)域?yàn)椋? 催化化學(xué)、工程化學(xué)、化學(xué)激光和分子反應(yīng)動(dòng)力學(xué)以及近代分析化學(xué)和Th物技術(shù)自建院以來，大連化物所在催化化學(xué)、工程化學(xué)、有機(jī)合成化 學(xué)、化學(xué)雷射和分子反應(yīng)動(dòng)力學(xué)、以色譜為主的近代分析化學(xué)和Th物技 術(shù)等學(xué)科領(lǐng)域取得大量重大科技成果。目前下設(shè)十個(gè)研究室，其中有三個(gè)國家級(jí)重點(diǎn)實(shí)驗(yàn)室和四個(gè)國家級(jí)研究中心，另有籌建中的潔凈能源國家實(shí)驗(yàn)室。參與了中國載人航天計(jì)劃。迄今已與32國建立了科技合作和交流關(guān)系，合作領(lǐng)域集中于催化及燃料電池。研究所成立以來，先后有 15位科學(xué)家當(dāng)選為中國科學(xué)院和中國工程院院士。 2009年底共有職工912人，其中專業(yè)技術(shù)人員770人，研究員108人，副研究員235人。1998 年成為中科院知識(shí)創(chuàng)新工程首批試點(diǎn)單位之一。大連化物所同時(shí)也是中華人民共和國國務(wù)院學(xué)位委員會(huì)授權(quán)培養(yǎng)博士、碩士學(xué)位的單位，具有化學(xué)和化工一級(jí)學(xué)科博士學(xué)位授予權(quán)和博士Th導(dǎo)師資格的審批權(quán)。

系統(tǒng)現(xiàn)狀與挑戰(zhàn)

大連化物所需要采集、分析和處理大量的數(shù)據(jù)來解決復(fù)雜的科學(xué)問題， 所以必然需要高性能計(jì)算系統(tǒng)的支持?？蛻粲?010年建設(shè)了一套用于科學(xué)計(jì)算的高性能計(jì)算平臺(tái)，采用5臺(tái)單路Xeon E3系列CPU服務(wù)器作為計(jì)算節(jié)點(diǎn)，并組成Computing Cluster,每臺(tái)計(jì)算節(jié)點(diǎn)配備2塊希捷 300GB SAS 10K rpm 硬盤,組建成raid 1，用于安裝操作系統(tǒng);存儲(chǔ)服務(wù)器配備4塊2TB SATA 7200rpm 硬盤，組建成raid 5，用于存放數(shù)據(jù)模型和計(jì)算結(jié)果等文件;計(jì)算節(jié)點(diǎn)與存儲(chǔ)服務(wù)器之間用千兆以太網(wǎng)交換機(jī)進(jìn)行連接，用于計(jì)算節(jié)點(diǎn)與存儲(chǔ)服務(wù)器之間的數(shù)據(jù)傳輸。 計(jì)算平臺(tái)剛建成時(shí)，要用到高性能計(jì)算的研究課題還不是很多，計(jì)算任務(wù)平均每周不到2個(gè)，且計(jì)算時(shí)間也一般不會(huì)超過8小時(shí)，隨著化物所的研究課題數(shù)量增多，研究力度的加大，如分子反應(yīng)動(dòng)力學(xué)，復(fù)雜Th物樣品的高效分離與表征課題的深入研究等等，計(jì)算平臺(tái)平均每天都有2個(gè)或大或小的計(jì)算任務(wù)被提交，以每月統(tǒng)計(jì)來看，平均每個(gè)計(jì)算任務(wù)需花3小時(shí)完成，且任務(wù)排程上經(jīng)常有10個(gè)左右的任務(wù)在等待調(diào)度，如此一來，新的計(jì)算任務(wù)提交后需要等待一到兩天才能安排處理，加上任務(wù)本身計(jì)算所花掉的時(shí)間，研究人員拿到計(jì)算結(jié)果經(jīng)常是2-3天后的認(rèn)可。

需求分析

1. 儲(chǔ)存設(shè)備效能低落: 原計(jì)算平臺(tái)存儲(chǔ)系統(tǒng)采用簡(jiǎn)易NAS構(gòu)架，所用的存儲(chǔ)介質(zhì)為2TB SATA 7200rpm硬盤，讀寫性能不高，且存儲(chǔ)設(shè)備不是專用NAS設(shè)備，硬盤擴(kuò)容受限，文件系統(tǒng)穩(wěn)定性也不高。

2. 計(jì)算能力資源不足: 計(jì)算節(jié)點(diǎn)數(shù)量少，且采用300GB SAS 10K rpm硬盤，存儲(chǔ)空間較小，轉(zhuǎn)速偏低，模型計(jì)算過程中所產(chǎn) Th的大量緩存文件存放于計(jì)算節(jié)點(diǎn)硬盤中，嚴(yán)重影響內(nèi)存與硬盤之間的交互效率。

3. 網(wǎng)絡(luò)傳輸瓶頸: 計(jì)算節(jié)點(diǎn)與存儲(chǔ)服務(wù)器之間采用千兆ethernet交換機(jī)作為數(shù)據(jù)傳輸，傳輸速率和硬盤讀寫速率相比不在一個(gè)量級(jí)上。

4. 舊系統(tǒng)架構(gòu)跟不上新需求的變化: 研究所內(nèi)的科研課題數(shù)量增多，深度加大，高性能計(jì)算任務(wù)隨之增多，導(dǎo)致計(jì)算平臺(tái)無法及時(shí)處理計(jì)算任務(wù)。 在計(jì)算平臺(tái)整體性能不佳，擴(kuò)展受限，加上其所搭載操作系統(tǒng)的傳統(tǒng)硬盤更是瓶頸所在，因此要在有限空間和計(jì)算能力下完成科研項(xiàng)目，難上加難。經(jīng)研究所相關(guān)部門討論決定，新建一套高性能計(jì)算平臺(tái)，以支持新的科研項(xiàng)目。

東芝與寶德提供的合作解決方案

系統(tǒng)拓樸圖如下

PowerLeader HPC Cluster

KVM Ethernet Switch Management Server

此次東芝與寶德的合作解決方案中，其項(xiàng)目計(jì)算節(jié)點(diǎn)采用寶德PR4712GW多子星服務(wù)器，是基于模塊化設(shè)計(jì)理念而開發(fā)的新一代高密度服務(wù)器。在 4U的空間內(nèi)達(dá)到 4 個(gè)計(jì)算節(jié)點(diǎn)，充分滿足隨需擴(kuò)展的超高密度部署需求。每個(gè)計(jì)算節(jié)點(diǎn)配置2塊東芝400G企業(yè)級(jí)固態(tài)硬盤(PX04SMB040)，并組建 成raid 1用于系統(tǒng)加速，同時(shí)配備1塊東芝2TB 7200 rpm SATA企業(yè)級(jí)硬盤(MG03SCA200)，用于存放計(jì)算過程中產(chǎn)Th的過程文件和臨時(shí)文件;1塊英偉達(dá)GPU加速卡和兩顆 E5-2600系列CPU。 儲(chǔ)存設(shè)備GS5120FD則采用東芝最新一代固態(tài)硬盤(PX04SMB040)和高穩(wěn)定企業(yè)級(jí)SATA 硬盤(MG03ACA400)。 配備2塊東芝SSD 組建成Raid1用于緩存加速，同時(shí)配備10塊4T 7200 rpm SATA硬盤用于存儲(chǔ) 計(jì)算模型、元數(shù)據(jù)和過程文件。滿足高IOPS、高帶寬的同時(shí)，保證節(jié)點(diǎn)存儲(chǔ)系統(tǒng)的可靠性和經(jīng)濟(jì)性，消除了計(jì)算集群的數(shù)據(jù) 讀寫瓶頸，使整個(gè)平臺(tái)性能達(dá)至最優(yōu)。 東芝與寶德科技針對(duì)此次大連化物所的研究要求，方案中共配置 2 個(gè)管理節(jié)點(diǎn)，56 個(gè)計(jì)算節(jié)點(diǎn)，千兆交換機(jī)管理網(wǎng)絡(luò)系統(tǒng)和IB網(wǎng)絡(luò)，光纖存儲(chǔ) GS5120FD, 大規(guī)模機(jī)房管理 KVM 切換系統(tǒng)、監(jiān)控系統(tǒng)以及內(nèi)置控制臺(tái)等共同構(gòu)成了高速計(jì)算、海量數(shù)據(jù)傳輸網(wǎng)格計(jì)算集群系統(tǒng)。 系統(tǒng)采用 Rocks 管理軟件實(shí)現(xiàn)節(jié)點(diǎn)管理、任務(wù)分發(fā)和集群監(jiān)控，優(yōu)化通信庫模塊來實(shí)現(xiàn)節(jié)點(diǎn)之間的進(jìn)程通信，近乎達(dá)到大型機(jī)中多進(jìn)程間消息傳輸機(jī)制的效率，再加上東芝固態(tài)硬盤的高傳輸速率，消除數(shù)據(jù)傳輸瓶頸，使整個(gè)系統(tǒng)性能發(fā)揮得淋漓盡致。。

效益與成果

大連化物所通過應(yīng)用了寶德高密度四子星服務(wù)器的 HPC 系統(tǒng)，能在較小的空間達(dá)到較高的計(jì)算節(jié)點(diǎn)。整個(gè)高性能計(jì)算集群系統(tǒng)由于采用了業(yè)內(nèi)領(lǐng)先的技術(shù)，不僅性能突出，安全穩(wěn)定，在未來的較長(zhǎng)時(shí)間保持高效領(lǐng)先的高性能計(jì)算能力。整個(gè)系統(tǒng) 具有很好的彈性化設(shè)計(jì)，客戶將來如需提高計(jì)算性能，用戶可橫向接入計(jì)算節(jié)點(diǎn);如需提高存儲(chǔ)性能，東芝可提供廣泛容量范圍和較大讀寫性能區(qū)間的硬盤供用戶選擇;也可橫向接入存儲(chǔ)節(jié)點(diǎn)或縱向級(jí)聯(lián)擴(kuò)展存儲(chǔ)柜增加存儲(chǔ)空間。用56Gb/s傳輸速率的IB交換機(jī)取代1Gb的以太網(wǎng)交換機(jī)，在未來較長(zhǎng)時(shí)間內(nèi)，都能承載計(jì)算節(jié)點(diǎn)與存儲(chǔ)節(jié)點(diǎn)的傳輸出帶寬需求。如此一來，新的設(shè)計(jì)方案從計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)三方面的性能提升和彈性化設(shè)計(jì)，很好的滿足了用戶對(duì)計(jì)算平臺(tái)的高性能要求和消除了對(duì)平臺(tái)擴(kuò)展的顧慮。 整個(gè)集群系統(tǒng)能很好的提高科學(xué)研究的工作效率。在原計(jì)算平臺(tái)處理需21小時(shí)的計(jì)算任務(wù)，在新平臺(tái)上僅需1.5小時(shí)就能完成，新平臺(tái)的處理性能是原平臺(tái)的14倍。

不僅是由于方案提供了更高性能、更多數(shù)量的計(jì)算節(jié)點(diǎn)，而且，更是憑借多節(jié)點(diǎn)服務(wù)器與東芝SSD的完美結(jié)合，加快了系統(tǒng)響應(yīng)速度;直觀體現(xiàn)在服務(wù)器開機(jī)時(shí)間由使用東芝SSD之前需60秒，配備東芝 SSD后，開機(jī)時(shí)間縮短至30秒，硬盤讀寫性能提升2倍。

計(jì)算平臺(tái)采用寶德高密度四子星服務(wù)器和東芝高存儲(chǔ)容量硬盤，設(shè)備總體占用機(jī)房空間與傳統(tǒng)標(biāo)準(zhǔn)服務(wù)器和傳統(tǒng)1TB容量硬盤相比，空間節(jié)約50%;單臺(tái)四子星服務(wù)器電源功率為2KW,而4臺(tái)計(jì)算性能相當(dāng)?shù)膫鹘y(tǒng)標(biāo)準(zhǔn)服務(wù)器服務(wù)器總功率為3.2KW, 能耗節(jié)省37.5%。在提供如此強(qiáng)大的計(jì)算性能的情況下，同時(shí)為客戶節(jié)省了計(jì)算平臺(tái)的后期的運(yùn)行成本，也響應(yīng)了客戶”Do more with less”的環(huán)保精神，中國科學(xué)院大連化物所對(duì)本次項(xiàng)目合作非常滿意。

合作伙伴與未來規(guī)劃

本次項(xiàng)目的成功要感謝大連化物所領(lǐng)導(dǎo)和同事對(duì)項(xiàng)目的高度重視和大力支持，正是有了你們的幫助和配合，項(xiàng)目才能進(jìn)行得如此順利。 還要感謝東芝公司提供的針對(duì)本項(xiàng)目的存儲(chǔ)解決方案和長(zhǎng)期以來對(duì)我公司的大力支持。 東芝是全球唯一一家同時(shí)提供SSD和HDD全系列產(chǎn)品解決方案的存儲(chǔ)公司，東芝為寶德服務(wù)器產(chǎn)品解決方案提供了更加靈活的存儲(chǔ)產(chǎn)品選擇。東芝與寶德一直以來保持良好合作與緊密的溝通，東芝深圳實(shí)驗(yàn)室專門采購寶德主流機(jī)型做長(zhǎng)期的兼容性測(cè)試，并且寶德使用東芝企業(yè)級(jí)硬盤返修率控制在0.5%以內(nèi)。 寶德產(chǎn)品部陳總提到，東芝為我們提供了高性價(jià)比的產(chǎn)品、專業(yè)的產(chǎn)品解決方案和優(yōu)質(zhì)的售后服務(wù)，與東芝合作是前所未有的順暢和愉快!