華為最強(qiáng)云端AI芯片揭秘：性能超NVIDIA/Google

在去年10月10日的2018華為全聯(lián)接大會(huì)（HUAWEI CONNECT）上，華為輪值CEO徐直軍公布了華為全棧全場(chǎng)景AI解決方案，并正式宣布了兩款A(yù)I芯片：算力最強(qiáng)的昇騰910和最具能效的昇騰310。

經(jīng)過(guò)近一年的時(shí)間。今天（8月23日），華為正式宣布昇騰910成功商用，同時(shí)推出全場(chǎng)景AI計(jì)算框架MindSpore。

最強(qiáng)AI芯片昇騰910

跟之前公布的參數(shù)一樣，昇騰910是目前單芯片計(jì)算密度最大的芯片，采用7nm增強(qiáng)版EUV工藝，單Die內(nèi)建32顆達(dá)芬奇核心，半精度(FP16)算力達(dá)到256 Tera-FLOPS，整數(shù)精度 (INT8) 算力達(dá)到512 Tera-OPS，最大功耗為350W。支持128通道 全高清 視頻解碼器- H.264/265。

另外根據(jù)華為此前公布昇騰910的性能與Google TPU v2、Google TPU v3、NVIDIA V100對(duì)比數(shù)據(jù)來(lái)看，昇騰910的算力比NVIDIA V100還要高出一倍，計(jì)算力遠(yuǎn)超Google及NVIDIA。

現(xiàn)場(chǎng)，徐直軍先介紹了華為AI解決方案，以及基于昇騰310的產(chǎn)品和云服務(wù)的廣泛應(yīng)用。

接著，徐直軍說(shuō)：“我宣布，算力最強(qiáng)的AI處理器 Ascend 910 正式推出。去年10月，我們發(fā)布了Ascend 910的技術(shù)規(guī)格，今天我向大家介紹最新的實(shí)際測(cè)試結(jié)果?！?/p>

昇騰910屬于Ascend-max系列，徐直軍公布了其最新測(cè)試結(jié)果：

半精度 (FP16)算力達(dá)到256 Tera-FLOPS

整數(shù)精度 (INT8) 算力達(dá)到512 Tera-OPS

而且，達(dá)到規(guī)格算力所需功耗僅310W，明顯低于設(shè)計(jì)規(guī)格的350W。

也就是說(shuō)，在算力方面，昇騰910完全達(dá)到了設(shè)計(jì)規(guī)格，下面是昇騰910初次亮相時(shí)公布的設(shè)計(jì)規(guī)格。

徐直軍說(shuō)，昇騰910總體技術(shù)表現(xiàn)超出預(yù)期。昇騰910已經(jīng)被用于實(shí)際AI訓(xùn)練任務(wù)。其中，在典型的ResNet-50 網(wǎng)絡(luò)的訓(xùn)練中，昇騰910與MindSpore配合，與現(xiàn)有主流訓(xùn)練單卡配合TensorFlow相比，顯示出接近2倍的性能提升。每秒訓(xùn)練的圖片數(shù)量從965張?zhí)嵘?802張。

徐直軍現(xiàn)場(chǎng)表示：“昇騰910總體技術(shù)表現(xiàn)超出預(yù)期，作為算力最強(qiáng)AI處理器，當(dāng)之無(wú)愧！”

高算力、高集成度、高速互聯(lián)，便共同鑄造了 業(yè)界最強(qiáng)大的 AI 處理器 —— 昇騰 910。

基于達(dá)芬奇架構(gòu)的 AI 核是計(jì)算核心。除了標(biāo)量和矢量計(jì)算單元，AI 核集成了 3D 立方體計(jì)算引擎，能夠在一個(gè)時(shí)鐘周期內(nèi)完成 4096 的乘加運(yùn)算。

與 CPU 和 GPU 相比，有兩個(gè)數(shù)量級(jí)的提升，昇騰 910 集成了 32 個(gè)立方體計(jì)算引擎，能夠輸出 256TFLOPS。

它不僅是一顆強(qiáng)大的 AI 計(jì)算處理器，而且還是一個(gè)高度集成的片上系統(tǒng)，集成了 CPU、DVPP 以及任務(wù)管理器。

這些單元給昇騰 910 提供了一種 “自治” 能力，使其可以獨(dú)立完成整個(gè) AI 的訓(xùn)練流程，最小化與 Host 的交互，從而充分發(fā)揮其算力。

創(chuàng)建一個(gè)強(qiáng)大的訓(xùn)練系統(tǒng)不僅需要芯片自身強(qiáng)大的算力，高效的通信機(jī)制也是必不可少的。

昇騰 910 集成了 HCCS、PCIe 和 RoCE 三種高速接口。

其中，自研的 HCCS 可以提供單接口 240Gbps 的傳輸。

也正是采用了最新的 PCIe，使得吞吐量比上一代翻倍。

而芯片上集成的 RoCE 接口，則為多節(jié)點(diǎn)間提供了高效的數(shù)據(jù)交互的互聯(lián)方案，這些互聯(lián)技術(shù)大幅提升了構(gòu)建訓(xùn)練系統(tǒng)的性能和靈活性。

最后，現(xiàn)場(chǎng)有記者問(wèn)道，昇騰 910 售價(jià)多少呢？畢竟我們知道NVIDIA GPU和Google TPU都有定價(jià)。

徐直軍笑道：“售價(jià)具體還沒(méi)定出來(lái)，但肯定不會(huì)比他們（NVIDIA GPU和Google TPU）高。”

昇騰310和昇騰910僅僅是一個(gè)開(kāi)始。徐直軍表示，未來(lái)將持續(xù)投資，推出更多的AI處理器，面向邊緣計(jì)算場(chǎng)景，在已經(jīng)商用Ascend 310基礎(chǔ)上，計(jì)劃2021年將推出Ascend 320。上面是昇騰處理器的一系列計(jì)劃時(shí)間表，可以看到，該系列芯片覆蓋訓(xùn)練、MDC/DC、邊緣計(jì)算多種場(chǎng)景，即將在2021年推出用于訓(xùn)練場(chǎng)景的昇騰920，邊緣計(jì)算場(chǎng)景的昇騰320。MindSpore 全場(chǎng)景AI計(jì)算框架，明年Q1開(kāi)源！

此外，徐直軍還發(fā)布了全場(chǎng)景AI計(jì)算框架 MindSpore，并宣布“MindSpore將在2020年Q1開(kāi)源”！

徐直軍表示：能否大大降低AI應(yīng)用開(kāi)發(fā)的門(mén)檻，能否實(shí)現(xiàn)AI將無(wú)處不在，能否在任何場(chǎng)景下確保用戶隱私得到尊重和保護(hù)，這些都與AI計(jì)算框架息息相關(guān)。

在去年HC會(huì)上，華為提出：AI框架應(yīng)該是開(kāi)發(fā)態(tài)友好（例如顯著減少訓(xùn)練時(shí)間和成本）和運(yùn)行態(tài)高效（例如最少資源和最高能效比），更重要的是，要能適應(yīng)每個(gè)場(chǎng)景包括端、邊緣和云。

一年后的今天，全場(chǎng)景AI計(jì)算框架MindSpore在這三個(gè)方面都取得了顯著的進(jìn)展：在原生適應(yīng)每個(gè)場(chǎng)景包括端，邊緣和云，并能夠按需協(xié)同的基礎(chǔ)上，通過(guò)實(shí)現(xiàn)AI算法即代碼，使開(kāi)發(fā)態(tài)變得更加友好，顯著減少模型開(kāi)發(fā)時(shí)間，降低了模型開(kāi)發(fā)門(mén)檻。

MindSpore如何做到更快更高效？

MindSpore秉承“AI算法即代碼”理念，提供一系列的關(guān)鍵技術(shù)，例如MindSpore自動(dòng)微分，采用Source 2 Source方式實(shí)現(xiàn)，在性能和可編程性上，明顯優(yōu)于業(yè)界圖和運(yùn)算符重載方式。能夠?qū)崿F(xiàn)任意算子的微分表達(dá)和編譯優(yōu)化，同時(shí)實(shí)現(xiàn)反向算子自動(dòng)生成，極大地方便了模型開(kāi)發(fā)。

而隨著數(shù)據(jù)集和模型規(guī)模越來(lái)越大，模型并行將成為必然趨勢(shì)。相比手工切分的模型并行的門(mén)檻高、效率低、調(diào)優(yōu)難，MindSpore只需定義單機(jī)模型，即可自動(dòng)實(shí)現(xiàn)多機(jī)混合并行運(yùn)行，無(wú)需了解AI集群細(xì)節(jié)。主從控制模式中，CPU和GPU交互引入內(nèi)存和數(shù)據(jù)開(kāi)銷。MindSpore在芯片上完成神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練的所有控制和執(zhí)行，減少和主機(jī)CPU的交互時(shí)間，速度更快。并在已有的分布式訓(xùn)練方案引入中心控制來(lái)尋找梯度同步點(diǎn)，MindSpore實(shí)現(xiàn)了去中心化的分布式梯度聚合，完全消除控制開(kāi)銷。

最終，軟硬件優(yōu)化為不同類型算子映射最佳的計(jì)算單元和數(shù)據(jù)布局，獲得最佳的性能。

通過(guò)MindSpore自身的技術(shù)創(chuàng)新及MindSpore與Ascend處理器協(xié)同優(yōu)化，實(shí)現(xiàn)了運(yùn)行態(tài)的高效，大大提高了計(jì)算性能。除了昇騰處理器，MindSpore也支持GPU、CPU等其它處理器。

現(xiàn)在已有了TensorFlow、PyTorch框架，但還沒(méi)有任何一個(gè)現(xiàn)有框架支持全場(chǎng)景，而這就是華為要做的——覆蓋端-邊緣-云，做一個(gè)能支持全場(chǎng)景的框架，實(shí)現(xiàn)AI無(wú)所不在越來(lái)越基礎(chǔ)的需求，這也是MindSpore的重要特色。

針對(duì)不同的運(yùn)行環(huán)境，MindSpore框架架構(gòu)上支持可大可小 ，適應(yīng)全場(chǎng)景獨(dú)立部署。同時(shí)，MindSpore框架通過(guò)協(xié)同經(jīng)過(guò)處理后的、不帶有隱私信息的梯度、模型信息，而不是數(shù)據(jù)本身，以此實(shí)現(xiàn)在保證用戶隱私數(shù)據(jù)保護(hù)的前提下跨場(chǎng)景協(xié)同。除了隱私保護(hù)，MindSpore還將模型保護(hù)Built-in到AI框架中，實(shí)現(xiàn)模型的安全可信。

為了降低AI開(kāi)發(fā)者的開(kāi)發(fā)門(mén)檻，MindSpore創(chuàng)造性地實(shí)現(xiàn)了AI算法即代碼，使開(kāi)發(fā)態(tài)變得更加友好，顯著減少模型開(kāi)發(fā)時(shí)間。以一個(gè)NLP（自然語(yǔ)言處理）典型網(wǎng)絡(luò)為例，相比其他框架，用MindSpore可降低核心代碼量20%，開(kāi)發(fā)門(mén)檻大大降低，效率整體提升50%以上。

華為全棧全場(chǎng)景AI解決方案已經(jīng)完成最后，徐直軍說(shuō)，去年在HC大會(huì)上發(fā)布的全棧全場(chǎng)景AI解決方案已經(jīng)完成了構(gòu)建！這對(duì)華為的AI業(yè)務(wù)來(lái)講是一個(gè)新的里程碑，更是一個(gè)新的開(kāi)始！

昇騰910商用以后，華為云AI將為客戶提供充裕經(jīng)濟(jì)的算力。通過(guò)MindSpore，華為云讓科學(xué)家更高效地完成AI算子開(kāi)發(fā)（比如自動(dòng)微分功能），縮短開(kāi)發(fā)周期，減少開(kāi)發(fā)工作量。同時(shí)，MindSpore可以發(fā)揮出昇騰芯片最大計(jì)算潛能，這樣軟硬件協(xié)同可以更好地利用芯片算力。華為云致力于解決AI應(yīng)用過(guò)程中面臨的“貴”和“難”的問(wèn)題，降低AI計(jì)算的門(mén)檻，實(shí)現(xiàn)普惠AI。