寒武紀(jì)發(fā)布新款A(yù)I訓(xùn)練卡MLU370-X8

近日，寒武紀(jì)發(fā)布新款訓(xùn)練加速卡MLU370-X8。MLU370-X8搭載雙芯片四芯粒思元370，集成寒武紀(jì)MLU-Link?多芯互聯(lián)技術(shù)，主要面向訓(xùn)練任務(wù)，在業(yè)界應(yīng)用廣泛的YOLOv3、Transformer等訓(xùn)練任務(wù)中， 8卡計(jì)算系統(tǒng)的并行性能平均達(dá)到350W RTX GPU的155%。

▲ 寒武紀(jì)訓(xùn)練加速卡MLU370-X8

雙芯思元370架構(gòu)

MLU370-X8智能加速卡提供250W最大訓(xùn)練功耗，可充分發(fā)揮AI訓(xùn)練加速中常見的FP32、FP16或BF16計(jì)算性能。寒武紀(jì)首次將雙芯片四芯粒思元370整合在MLU370-X8智能加速卡中，提供了兩倍于標(biāo)準(zhǔn)思元370加速卡的內(nèi)存、編解碼資源，同時(shí)搭載MLU-Link?多芯互聯(lián)技術(shù)。在YOLOv3、Transformer、BERT和ResNet101訓(xùn)練任務(wù)中， 8卡并行平均性能達(dá)350W RTX GPU的155%。

圖片▲ MLU370-X8中整合了雙芯片四芯粒思元370

MLU-Link?多芯互聯(lián)技術(shù)

MLU370-X8智能加速卡支持MLU-Link?多芯互聯(lián)技術(shù)，提供卡內(nèi)及卡間互聯(lián)功能。寒武紀(jì)為多卡系統(tǒng)專門設(shè)計(jì)了MLU-Link橋接卡，可實(shí)現(xiàn)4張加速卡為一組的8顆思元370芯片全互聯(lián)，每張加速卡可獲得200GB/s的通訊吞吐性能，帶寬為PCIe 4.0 的3.1倍，可高效執(zhí)行多芯多卡訓(xùn)練和分布式推理任務(wù)。

▲MLU370-X8 MLU-Link 4卡橋接

▲MLU370-X8 MLU-Link? 4卡橋接拓?fù)?

訓(xùn)推一體的Cambricon NeuWare交付優(yōu)秀訓(xùn)練性能

Cambricon NeuWare支持FP32、FP16混合精度、BF16混合精度和自適應(yīng)精度訓(xùn)練等多種訓(xùn)練方式并提供靈活高效的訓(xùn)練工具，高性能算子庫已完整覆蓋視覺、語音、自然語言處理、搜索推薦和自動(dòng)駕駛等典型人工智能應(yīng)用，可滿足用戶對(duì)于算子覆蓋率以及模型精度的需求。

▲Cambricon NeuWare為思元370系列芯片提供訓(xùn)推一體加速

在Cambricon NeuWare SDK上實(shí)測，在常見的4個(gè)人工智能模型上，MLU370-X8單卡性能與主流350W RTX GPU相當(dāng);而在多卡加速方面，MLU370-X8借助MLU-Link多芯互聯(lián)技術(shù)和Cambricon NeuWare CNCL通訊庫的優(yōu)化，在8卡環(huán)境下達(dá)到更優(yōu)的并行加速比。

▲MLU370-X8 單機(jī)8卡部署配置

▲單卡MLU370-X8性能對(duì)比

▲8卡MLU370-X8性能對(duì)比

*測試環(huán)境

250W MLU370-X8：NF5468M5/Intel Xeon Gold 5218 CPU @ 2.30GHz/MLU370 SDK 1.2.0

350W GPU：Supermicro AS-4124GS-TNR/Intel Xeon Gold 6130 CPU @ 2.10GHz/Cuda11.2

▲MLU370-X8規(guī)格表

MLU370-X8補(bǔ)全思元370系列產(chǎn)品線

寒武紀(jì)長期秉承“云邊端一體、訓(xùn)推一體、軟硬件協(xié)同”的技術(shù)理念。MLU370-X8提供兩倍思元370的內(nèi)存帶寬，結(jié)合MLUarch03架構(gòu)和MLU-Link多芯互聯(lián)技術(shù)，將思元370芯片在訓(xùn)練任務(wù)的優(yōu)勢充分發(fā)揮。MLU370-X8定位中高端，與高端訓(xùn)練產(chǎn)品思元290、玄思1000相互結(jié)合，進(jìn)一步豐富了寒武紀(jì)的訓(xùn)練算力交付方式;并與基于思元370芯粒(chiplet)技術(shù)構(gòu)建的MLU370-X4、MLU370-S4智能加速卡協(xié)同，形成完整的云端訓(xùn)練、推理產(chǎn)品組合。

MLU370-X8加速卡與國內(nèi)主流服務(wù)器合作伙伴的適配工作已經(jīng)完成，并已對(duì)客戶實(shí)現(xiàn)小規(guī)模出貨。

浪潮信息人工智能和高性能產(chǎn)品線副總經(jīng)理張強(qiáng)表示：“浪潮跟寒武紀(jì)目前在思元370系列產(chǎn)品上合作順利，攜手在互聯(lián)網(wǎng)、金融、制造等領(lǐng)域逐步落地;MLU370-X8的性能優(yōu)異，我們期待雙方可以繼續(xù)加強(qiáng)合作，為更多的行業(yè)和客戶帶來優(yōu)秀的人工智能計(jì)算力。”

寒武紀(jì)用產(chǎn)品向客戶印證自己的初心與決心：為人工智能技術(shù)的大爆發(fā)提供卓越的AI芯片產(chǎn)品，讓機(jī)器更好地理解和服務(wù)人類。