時(shí)光荏苒，經(jīng)歷了長(zhǎng)時(shí)間的高速發(fā)展，今日IT系統(tǒng)架構(gòu)相對(duì)20年前早已有了翻天覆地的變化。云化的架構(gòu)、更海量的計(jì)算、按TB來(lái)算的內(nèi)存、發(fā)生質(zhì)變的存儲(chǔ)……一切的一切都讓現(xiàn)在的企業(yè)有了贏戰(zhàn)數(shù)字化、智能化的資本。但伴隨ICT產(chǎn)品技術(shù)的不斷進(jìn)化，很多消失已久的問題卻似乎再次浮現(xiàn)。
算力多樣化帶來(lái)的隱憂數(shù)字時(shí)代，算力無(wú)處不在。但與此同時(shí)，出于性能、效率、能耗、成本等方面的考量，算力的類型也開始變得多樣化；不同架構(gòu)的CPU、GPU、FPGA和ASIC都開始發(fā)揮自身特長(zhǎng)，在不同的場(chǎng)景中為用戶貢獻(xiàn)算力。但在算力多樣化成為趨勢(shì)的同時(shí)，算力的快速分化也造成了管理、應(yīng)用開發(fā)等方面的問題。
面對(duì)不同硬件產(chǎn)品天差地別的特性，軟件開發(fā)者必須首先了解硬件平臺(tái)和指令集的相關(guān)特性，并在開發(fā)過程中針對(duì)性的配置開發(fā)環(huán)境、使用不同開發(fā)工具和語(yǔ)言、進(jìn)行不同方式的優(yōu)化。而這不僅造成了開發(fā)周期周期變長(zhǎng)、開發(fā)人才短缺，更對(duì)開發(fā)成本、開發(fā)流程和軟件本身的質(zhì)量帶來(lái)了負(fù)面影響。對(duì)于很多軟件企業(yè)來(lái)說，今天的情況一如20年前開發(fā)者在面對(duì)RISC與x86、UNIX與Linux時(shí)一樣。
從硬件架構(gòu)的長(zhǎng)期發(fā)展趨勢(shì)來(lái)看，算力的多樣化是無(wú)法避免的。那么，除了配置能力更豐富的開發(fā)人員之外，軟件企業(yè)還有其他選擇嗎？
善于總結(jié)的人不會(huì)在同一條河里翻船，在面對(duì)算力多樣化時(shí)，今天的開發(fā)者也有更好的選擇——北冥多樣性計(jì)算融合架構(gòu)！
一個(gè)架構(gòu)，搞定多樣算力的開發(fā)作為國(guó)內(nèi)ICT行業(yè)的頂尖企業(yè)，華為不僅具備強(qiáng)大的設(shè)備制造和方案整合能力，更擁有從半導(dǎo)體層面入手，構(gòu)建多種算力產(chǎn)品的能力。而鯤鵬系列CPU和昇騰系列AI處理器就是華為最具代表性的處理器產(chǎn)品。
圍繞鯤鵬和昇騰兩大核心，華為先是聯(lián)合伙伴推出了大量硬件產(chǎn)品，而后，更在積極布局和完善其軟件生態(tài)。這其中既包括對(duì)應(yīng)的操作系統(tǒng)、固件和SDK，也囊括了對(duì)應(yīng)的開發(fā)框架、調(diào)度器、函數(shù)庫(kù)、編程語(yǔ)言、編譯器、執(zhí)行引擎、開發(fā)工具等一系列軟件產(chǎn)品。
不過，在不斷推出和更新工具類軟件的同時(shí)，華為也意識(shí)到，獨(dú)立存在的各類語(yǔ)言和工具很難在面向開發(fā)者的推廣中形成合力，各類工具和框架的部署和集成也比較繁瑣，而生態(tài)碎片化情況的改觀也將變得相對(duì)緩慢。因此，在日前舉行的HuaweiConnect2021大會(huì)上，華為便將針對(duì)鯤鵬和昇騰的各類工具、環(huán)境、框架、編譯器統(tǒng)統(tǒng)整合進(jìn)一個(gè)品牌并進(jìn)行系統(tǒng)性的整合及優(yōu)化，而這正是北冥多樣性計(jì)算融合架構(gòu)。
在介紹北冥架構(gòu)時(shí)，華為副總裁、計(jì)算產(chǎn)品線總裁鄧泰華表示：北冥架構(gòu)是為多樣性計(jì)算硬件及集群打造的完整軟件棧，可幫助開發(fā)者在多樣算力環(huán)境下，實(shí)現(xiàn)與單機(jī)\同構(gòu)相仿的應(yīng)用開發(fā)、調(diào)試和部署體驗(yàn)，并獲得遠(yuǎn)超單一算力的應(yīng)用性能。
三重發(fā)力，為開發(fā)者解憂在進(jìn)行使用多樣算力的應(yīng)用開發(fā)時(shí)，開發(fā)者面臨的挑戰(zhàn)多種多樣：
-
系統(tǒng)從單一算力到多樣性算力；
-
從單機(jī)部署到融合集群部署；
-
從傳統(tǒng)應(yīng)用到融合智能應(yīng)用。
為應(yīng)對(duì)這些挑戰(zhàn)，華為將北冥架構(gòu)下的多個(gè)模塊劃分為基礎(chǔ)使能、應(yīng)用使能和開發(fā)使能三個(gè)部分，分別對(duì)應(yīng)了多算力協(xié)同、融合型應(yīng)用的在集群上開發(fā)與調(diào)優(yōu)、開發(fā)工具鏈；而這既是開發(fā)多數(shù)軟件所需的三大要素也是開發(fā)者在面對(duì)多樣算力時(shí)所感受到的痛點(diǎn)。
01、基礎(chǔ)使能，多算力調(diào)用更簡(jiǎn)單
在基礎(chǔ)使能層面，北冥架構(gòu)力求做到通用、生產(chǎn)力和高性能；而這些正是開發(fā)者在面對(duì)多樣算力時(shí)最頭疼的地方。
首先，華為通過畢昇C 編程語(yǔ)言實(shí)現(xiàn)了多算力情況下的統(tǒng)一編程，讓開發(fā)者能夠通過一種語(yǔ)言、一段源碼就能實(shí)現(xiàn)對(duì)不同類型底層算力的充分調(diào)用。具體而言，在算法中經(jīng)常用到的各類標(biāo)量、向量、矩陣、張量計(jì)算及多核并行開發(fā)中，畢昇C 可以屏蔽鯤鵬與x86、昇騰與傳統(tǒng)GPU之間的大部分硬件差異。由此，多樣算力能夠變得透明，開發(fā)者便可以專注于代碼和程序的構(gòu)建，而不是學(xué)習(xí)不同算力之間的差異。這一做法顯然大幅降低了跨算力應(yīng)用的開發(fā)門檻。另一方面，以C 為基礎(chǔ)，開發(fā)人員也可以快速上手并實(shí)現(xiàn)較高的程序執(zhí)行效率。
當(dāng)然，畢昇C 實(shí)現(xiàn)這一效果還需要北冥融合加速庫(kù)的支持。AI處理器之所以能夠在特定運(yùn)算中展現(xiàn)出更高的性能，是因?yàn)檫@類處理器在執(zhí)行相關(guān)函數(shù)運(yùn)算時(shí)能夠展現(xiàn)出極高的效率。因此，從某種意義上講，AI相關(guān)的應(yīng)用開發(fā)便是對(duì)各類硬件優(yōu)化函數(shù)的海量調(diào)用。而有了北冥融合加速庫(kù)，畢昇C 便可調(diào)用各類經(jīng)過硬件優(yōu)化的函數(shù)實(shí)現(xiàn)計(jì)算效率的大幅提高，簡(jiǎn)化后期的調(diào)試調(diào)優(yōu)工作。
在源碼開發(fā)完成后，用戶還需要對(duì)源碼進(jìn)行編譯。以往，不同類型的算力產(chǎn)品往往分屬不同廠牌，而不同廠牌也有自己推薦的編譯器。但對(duì)于多算力融合型應(yīng)用來(lái)說，由于需要調(diào)用不同類型的算力，所以源碼的不同部分也需要使用不同的編譯器來(lái)進(jìn)行編譯。顯然，這樣的傳統(tǒng)編譯方式是復(fù)雜、低效且容易失敗的。而畢昇編譯器則提供鯤鵬、昇騰、x86、GPU等多種算力和指令集支持，讓開發(fā)者能夠通過一次開發(fā)就編譯出不同版本的可執(zhí)行程序，大大提升了開發(fā)效率。
同時(shí)，華為提供的鯤鵬DevKit還提供了強(qiáng)大的代碼遷移和調(diào)優(yōu)程序，各類使用JAVA開發(fā)的源碼都可通過該工具方便的遷移至鯤鵬平臺(tái)并實(shí)現(xiàn)代碼的自動(dòng)調(diào)優(yōu)。
經(jīng)過實(shí)際測(cè)試，使用畢昇編譯器后，鯤鵬920在SPECCPU2017 INT上能帶來(lái)平均25%以上的性能提升。而在WRF等HPC應(yīng)用場(chǎng)景中，使用畢昇編譯器則可以帶來(lái)10%的性能提升。
另外，經(jīng)過畢昇編譯器編譯的程序還具備更高的性能。經(jīng)過測(cè)試，同一套源碼經(jīng)過畢昇編譯器編譯后，在鯤鵬處理器上的執(zhí)行性能可比常見的GCC編譯器提升25%以上。而在由SPEC推出的專門針對(duì)異構(gòu)計(jì)算的SPECACCEL的OpenCL測(cè)試提升了30%以上。
02、應(yīng)用使能，融合應(yīng)用集群部署的福音
云時(shí)代，很多企業(yè)軟件都需要在數(shù)據(jù)中心內(nèi)進(jìn)行集群部署。在多樣算力參與的情況下，開發(fā)者所面對(duì)的并行化、性能和調(diào)度問題將更復(fù)雜、更棘手。而北冥架構(gòu)的眾多應(yīng)用使能特性便是為解決這些問題而生。
在需要CPU算力的部分，元戎分布式并行開發(fā)框架能夠在很大程度上簡(jiǎn)化大規(guī)模分布式應(yīng)用的開發(fā)，讓開發(fā)人員能夠像開發(fā)單機(jī)應(yīng)用一樣開發(fā)集群應(yīng)用。通常，開發(fā)者只需幾行代碼就可開啟算法、數(shù)據(jù)和函數(shù)嵌套的并行模式，成倍提高代碼在集群中的執(zhí)行效率。
在實(shí)際的開發(fā)環(huán)境中，通過使用元戎分布式并行開發(fā)框架，華為云視頻RTC服務(wù)的視頻特效功能開發(fā)時(shí)間縮短了6倍，硬件資源利用率提升了50%。而在某金融資管風(fēng)控算法當(dāng)中，開發(fā)者只用了三行代碼便完成了算法的分布化、并行化，使執(zhí)行效率獲得了數(shù)十倍的提升。
而在經(jīng)常需要集群參與的AI和HPC應(yīng)用中，昇思科學(xué)計(jì)算套件則通過多尺度混合計(jì)算和高階混合微分兩大關(guān)鍵創(chuàng)新實(shí)現(xiàn)了AI計(jì)算引擎和科學(xué)計(jì)算引擎的統(tǒng)一。同時(shí)，昇思科學(xué)計(jì)算套件還集成了包含面向EDA行業(yè)的MindElec、面向生命科學(xué)行業(yè)的MindSPONGE等8大科學(xué)計(jì)算模板的MindScience系列套件，能夠通過預(yù)制的數(shù)據(jù)集、基礎(chǔ)模型、高精度模型、前后處理工具等簡(jiǎn)化相關(guān)行業(yè)應(yīng)用的開發(fā)，提升計(jì)算效率。
而對(duì)于需要用到多種算力的融合性應(yīng)用，北冥架構(gòu)中的多瑙統(tǒng)一調(diào)度器2.0則能夠?qū)崿F(xiàn)CPU、AI處理器（GPU）存儲(chǔ)、網(wǎng)絡(luò)、能耗管理等集群特性的統(tǒng)一調(diào)度、統(tǒng)一管理，進(jìn)一步提升集群系統(tǒng)的使用效率。
03、開發(fā)使能，全流程一站式開發(fā)
任何軟件的工業(yè)化開發(fā)都需要使用大量的開發(fā)工具和嚴(yán)謹(jǐn)?shù)牧鞒碳肮芾?。如何?qiáng)化管理并提升工具鏈和流程的效率是軟件企業(yè)提升競(jìng)爭(zhēng)力的關(guān)鍵。不過，在多樣算力的情況下，面向不同算力的開發(fā)需要使用不同的集成開發(fā)環(huán)境，也需要不同的工具鏈來(lái)完成開發(fā)流程定義、優(yōu)化、調(diào)試等工作。因此，面向多樣算力的軟件開發(fā)也就變得異常復(fù)雜，開發(fā)效率提升困難重重。而為解決軟件企業(yè)的這些痛點(diǎn)，華為還在北冥架構(gòu)中集成了MindStudio多樣性計(jì)算統(tǒng)一工具鏈。
MindStudio自帶多樣算力硬件抽象功能，可通過統(tǒng)一基礎(chǔ)平臺(tái)做到底層透明，屏蔽不同算力硬件之間的巨大差異。同時(shí)，MindStudio的統(tǒng)一基礎(chǔ)平臺(tái)還能做到各類新功能的靈活添加、即插即用，讓新算力、新功能的擴(kuò)展變得異常簡(jiǎn)單。MindStudio統(tǒng)一基礎(chǔ)平臺(tái)通過API與上層開發(fā)工具進(jìn)行對(duì)接，能夠極大的簡(jiǎn)化工具鏈和相關(guān)開發(fā)流程的構(gòu)建。
而在工具鏈的前段，MindStudio還提供了工程框架、專家系統(tǒng)、功能插件、調(diào)試和調(diào)優(yōu)、工程管理、語(yǔ)言引擎、調(diào)測(cè)組件等一系列實(shí)用工具，讓企業(yè)通過一套工具鏈就滿足軟件開發(fā)所需的全部功能，簡(jiǎn)化了鯤鵬、昇騰等多樣算力的開發(fā)門檻，讓企業(yè)能夠?qū)Ｗ⒂诖a和開發(fā)本身。
與此同時(shí)，北冥架構(gòu)中的MindStudio還可以通過插件與華為云上的DevOps平臺(tái)連接，實(shí)現(xiàn)針對(duì)多算力的完整DevOps功能。
為多樣算力賦予越動(dòng)靈魂20年前，眾多硬件架構(gòu)的并行造成了軟件生態(tài)的極大分裂，既限制了用戶，也限制了行業(yè)的發(fā)展。隨后的x86大一統(tǒng)從底層解決了這一問題，并促成了過去10年ICT市場(chǎng)的空前繁榮。但在算力多樣化趨勢(shì)之下，硬件架構(gòu)的多樣性又再次限制了軟件和應(yīng)用市場(chǎng)的發(fā)展。不過，這一次，以華為為代表的企業(yè)早已未雨綢繆，為跨算力應(yīng)用的開發(fā)、測(cè)試和部署鋪平了道路。
北冥架構(gòu)的出現(xiàn)，不僅抹平了不同算力之間的架構(gòu)鴻溝，更為多樣算力的進(jìn)一步發(fā)展提了供參考。而作為行業(yè)內(nèi)極少數(shù)能夠同時(shí)提供多種算力方案的企業(yè)，北冥架構(gòu)的推出也代表華為對(duì)技術(shù)應(yīng)用和軟件開發(fā)的極端看重。由此，以鯤鵬和昇騰為代表的華為算力產(chǎn)品也實(shí)現(xiàn)了對(duì)用戶和開發(fā)者的雙向友好。
硬件是軀體、軟件是靈魂。而華為北冥架構(gòu)的出現(xiàn)，則為鯤鵬、昇騰乃至整個(gè)算力生態(tài)的迸發(fā)鋪平了道路。
【IT葡萄皮】（公眾號(hào)：itopics）由資深媒體人張垞運(yùn)營(yíng)。從業(yè)十二年的深度觀察，只為一篇不吐不快的科技評(píng)論。
下載文檔
