CUDA支持ARM實(shí)現(xiàn)百億億次超算:NVIDIA和ARM的好機(jī)會(huì)?
掃描二維碼
隨時(shí)隨地手機(jī)看文章
超級計(jì)算機(jī)(Supercomputer)通常簡稱超算,在科學(xué)界常被視作一個(gè)國家技術(shù)領(lǐng)軍能力的指標(biāo),因?yàn)樗軌驗(yàn)锳I、空氣動(dòng)力、大氣科學(xué)、能源科學(xué)等重要技術(shù)的研究提供算力支撐。如今強(qiáng)國之間的競爭已經(jīng)進(jìn)入到了百億億次級超算的時(shí)代,這就需要更強(qiáng)大的處理器。
目前,X86、Power作為超算CPU計(jì)算節(jié)點(diǎn)的主要架構(gòu),那么NVIDIA宣布CUDA支持ARM誰將是最大的贏家?
超算競爭進(jìn)入百億億次級時(shí)代
去年六月,美國能源部公布了世界上最快的超級計(jì)算機(jī)—;—;Summit,反超中國超算太湖之光重奪超算Top 500第一的位置,并且美國表示他們預(yù)計(jì)在2021年建造一臺每秒運(yùn)算數(shù)十億億次計(jì)算機(jī)“極光(Aurora)”,甚至?xí)蛟旄咝艿挠?jì)算機(jī)。
2019超算Top 500
當(dāng)然,中國也在建立一個(gè)百億億次級超級計(jì)算機(jī)系統(tǒng),有消息稱它基于已構(gòu)建的三種原型系統(tǒng):曙光、天河和神威。日本和歐洲也不甘落后,日本希望在2021年有一臺百億億次級的超級計(jì)算機(jī),歐洲人則在希望在2023年實(shí)現(xiàn)這一目標(biāo)。顯然,超級計(jì)算機(jī)的競賽跨入了Exascale計(jì)算(百億億次級的計(jì)算,也可稱E級超算)時(shí)代。
用一個(gè)不精確的說法來解釋百億億次級計(jì)算,一個(gè)百億億次級計(jì)算機(jī)一瞬間進(jìn)行的計(jì)算,相當(dāng)于地球上的所有人每天每秒都不停地計(jì)算四年。這樣強(qiáng)大的計(jì)算能力需要更加復(fù)雜的系統(tǒng)。
與普通計(jì)算機(jī)一樣,超算同樣由硬件和軟件系統(tǒng)組成,但超算僅硬件部分就由高速運(yùn)算系統(tǒng)、高速互連通信網(wǎng)絡(luò)系統(tǒng)、存儲系統(tǒng)、維護(hù)監(jiān)控系統(tǒng)、電源系統(tǒng)、冷卻系統(tǒng)和結(jié)構(gòu)組裝設(shè)計(jì)等部分組成。
其中,高速運(yùn)算系統(tǒng)負(fù)責(zé)邏輯復(fù)雜的調(diào)度和串行任務(wù)和并行度高的任務(wù),可采用同構(gòu)計(jì)算(純CPU組成計(jì)算節(jié)點(diǎn)),也可以采用異構(gòu)計(jì)算(CPU+加速器組成計(jì)算節(jié)點(diǎn))的方式。
實(shí)現(xiàn)百億億次級超算的新途徑
根據(jù)國際組織TOP500編制的超級計(jì)算機(jī)榜單,從2019年度ISC國際超算大會(huì)上公布的超算性能500強(qiáng)榜單中,我們不難發(fā)現(xiàn)IBM Power、NVIDIA Volta/Tesla、Intel Xeon顯然是超算計(jì)算節(jié)點(diǎn)的重要組成。
2019年度ISC國際超算大會(huì)上公布的超算Green500
但是,隨著算力的進(jìn)一步增強(qiáng),超算產(chǎn)生的熱量不僅會(huì)造成更多的資源消耗,冷卻系統(tǒng)的設(shè)計(jì)同樣面臨更大的挑戰(zhàn),因此沒瓦特性能也十分重要。
TOP500也編制了一個(gè)Green500的超算排行榜,這個(gè)排行榜比拼的不是性能,而是比拼每瓦性能,所以,即便某個(gè)超算在TOP500榜單中墊底,在Green500中卻獲得好名次。
根據(jù)最新的Green500排行榜,在全球最節(jié)能的25款超級計(jì)算機(jī)中,有22款都得益于NVIDIA的支持。
這其中的關(guān)鍵之一就是采用了異構(gòu)計(jì)算的方式,讓x86或者Power架構(gòu)的CPU與NVIDIA GPU協(xié)同,把繁重的處理作業(yè)卸載至更為節(jié)能的并行處理CUDA GPU之上。
不過在CPU市場,ARM架構(gòu)也不可忽略,那么在超算的百億億次級競爭中,ARM CPU是否也能發(fā)揮優(yōu)勢?
現(xiàn)在下結(jié)論還為時(shí)尚早,但英偉達(dá)并不打算錯(cuò)過這個(gè)可能的機(jī)會(huì)。6月17日,2019年度ISC國際超算大會(huì)上,NVIDIA宣布將于年底前向ARM生態(tài)系統(tǒng)提供全堆棧的AI和HPC軟件,該堆棧為600多個(gè)HPC應(yīng)用程序和所有AI框架提供加速,其中包括了所有NVIDIA CUDA-X AI和HPC庫、GPU加速的AI框架和軟件開發(fā)工具,如支持OpenACC的PGI編譯器和性能分析器。
這也就意味著,在NVIDIA的堆棧優(yōu)化完成之后,NVIDIA將為所有主要CPU架構(gòu)提供加速,包括x86、Power和ARM。
對于新的宣布,NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“超級計(jì)算機(jī)是促進(jìn)科學(xué)發(fā)現(xiàn)的重要工具,建立百億億次級超級計(jì)算將能夠極大地?cái)U(kuò)展人類知識的邊界。隨著傳統(tǒng)計(jì)算規(guī)模擴(kuò)展步伐的停止,功率也將成為所有超級計(jì)算機(jī)的限制因素。NVIDIA CUDA加速的計(jì)算和ARM的高能效CPU架構(gòu)的相結(jié)合,將助力HPC社區(qū)實(shí)現(xiàn)大幅提升,以達(dá)到百億億次級?!?/p>
NVIDIA的好生意
從百億億次級超算建造者的角度看,ARM CPU+NVIDIA GPU是一個(gè)新選擇,但從NVIDIA的角度看,CUDA支持ARM不是一個(gè)簡單的宣布,而是資源的投入。讓NVIDIA有動(dòng)力進(jìn)行這樣的投入,是各國和巨頭公司們的需求和投入。
僅美國方面,下一代超算技術(shù)的研發(fā)總投入將達(dá)到4.3億多美元,美國能源部部長里克?佩里就表示,這些資金劍指“下階段研發(fā)百億億次系統(tǒng)的全球競賽”。
顯然,百億億次級超算的構(gòu)建少不了NVIDIA的GPU,特別是AI技術(shù)蓬勃發(fā)展并且越來越重要的當(dāng)下。此時(shí)NVIDIA又聯(lián)合ARM為構(gòu)建百億億次級超算提供了新的途徑,自然能讓其從超算市場獲得更多的營收。
NVIDIA的在超算市場的努力不止CUDA支持ARM,NVIDIA在2019年度ISC國際超算大會(huì)上還宣布了全球速度排名第22位的超級計(jì)算機(jī)—;—;DGX SuperPOD。
根據(jù)NVIDIA的說法,該超級計(jì)算機(jī)系統(tǒng)采用了96臺NVIDIA DGX-2H超級計(jì)算機(jī),內(nèi)含1536顆NVIDIA V100 Tensor Core GPU,由NVIDIA NVSwitch及 Mellanox網(wǎng)絡(luò)結(jié)構(gòu)相聯(lián)接。其處理能力高達(dá)9.4 petaflops,能夠用于訓(xùn)練安全自動(dòng)駕駛汽車所需要的海量深度神經(jīng)網(wǎng)絡(luò)。
對比來看,具備同等性能的其他TOP500超級計(jì)算機(jī)系統(tǒng)需要由數(shù)千臺服務(wù)器構(gòu)建,而DGX SuperPOD占地面積更少,體積比同等系統(tǒng)小400倍左右。部署方面,其他同等規(guī)模的系統(tǒng)通常需要6-9個(gè)月才能完成部署畢,DGX SuperPOD在工程師采用經(jīng)過驗(yàn)證的規(guī)范性方法情況下,僅需3個(gè)星期。
據(jù)雷鋒網(wǎng)(公眾號:雷鋒網(wǎng))了解,NVIDIA DGX系統(tǒng)已經(jīng)服務(wù)于眾多對大規(guī)模計(jì)算有需求的企業(yè)機(jī)構(gòu),例如寶馬、Continental、福特與Zenuity 等汽車公司,還有Facebook、微軟與富士膠片等公司,還有研究領(lǐng)域的日本理化學(xué)研究所與美國能源部實(shí)驗(yàn)室等。
NVIDIA希望還沒有部署人工智能的數(shù)據(jù)中心的企業(yè)機(jī)構(gòu)使用NVIDIA SuperPOD架構(gòu)。這可以讓雙方都從中獲益,不止于此,NVIDIA還能通過構(gòu)建這樣的超級計(jì)算機(jī),可以學(xué)會(huì)如何設(shè)計(jì)面向大規(guī)模人工智能機(jī)器的系統(tǒng)。
顯然,超算特別是百億億次超算對NVIDIA是可以多贏的好生意。
ARM的好機(jī)會(huì)
對于ARM而言,百億億次級超算市場則是一個(gè)好機(jī)會(huì)。在移動(dòng)市場占據(jù)領(lǐng)導(dǎo)地位的ARM遇到市場增長放緩時(shí),同樣也希望能夠?qū)⑵浼軜?gòu)拓展到新的市場帶來增長,近年來也在努力聯(lián)合合作伙伴推動(dòng)ARM服務(wù)器的發(fā)展,不過情況并不理想。
但在超算市場,特別是CUDA支持ARM之后,ARM能夠迎來了好機(jī)會(huì)。Atos高級執(zhí)行副總裁、大數(shù)據(jù)和網(wǎng)絡(luò)安全部門負(fù)責(zé)人Pierre Barnabé表示:“憑借萬寶龍項(xiàng)目,以及為百億億次級超級計(jì)算機(jī)BullSequana X所做的ARM計(jì)算刀片設(shè)計(jì),Atos成為了ARM生態(tài)系統(tǒng)中的先驅(qū)者。”
全球重要的超算提供商Cray總裁兼首席執(zhí)行官Peter Ungaro表示:“我們的Cray系統(tǒng)管理和編程環(huán)境(編譯器、庫和工具)已經(jīng)能夠在XC和未來的Shasta超級計(jì)算機(jī)上支持ARM處理器,將CUDA和CUDA-X HPC和AI軟件堆棧用于ARM平臺,并將其與Cray系統(tǒng)管理和編程環(huán)境緊密集成,能夠助力我們的超級計(jì)算機(jī)實(shí)現(xiàn)我們的愿景?!?/p>
另外,Ampere Computing、CSC、EPI、HPE、Jülich超算中心、Marvell等都表達(dá)了對于CUDA支持ARM的期待。同時(shí)還要看到,CUDA支持ARM能夠建造百億億次級超算,同樣也能讓服務(wù)器廠商更便捷地制造ARM服務(wù)器,所以,ARM的好機(jī)會(huì)是讓其能夠更好的拓展架構(gòu)優(yōu)勢。
小結(jié)
百億億次級超算系統(tǒng)是各國努力正在打造的新一代超算,此時(shí),英偉達(dá)CUDA支持ARM給正在打造新一代超算的國家以及對算力有更高需求的企業(yè)一個(gè)新的選擇,這既是英偉達(dá)能夠多贏的好生意,更是ARM進(jìn)入超算市場的好機(jī)會(huì)。
現(xiàn)在有眾多的支持者表態(tài)支持這一新路徑,我們雖然對此也保持積極的態(tài)度,但結(jié)果仍需通過實(shí)際的百億億次級的超算系統(tǒng)來得出。創(chuàng)新不會(huì)百分之百成功,但創(chuàng)新才是推動(dòng)革新的最大動(dòng)力。