當(dāng)前位置:首頁 > 原創(chuàng) > 劉巖軒
[導(dǎo)讀]近日燧原科技發(fā)布新一代“邃思”AI推理芯片,采用第二代高性能計(jì)算核心和數(shù)據(jù)引擎,由12nm工藝打造,通過架構(gòu)升級,大大提高了單位面積的晶體管效率,從而實(shí)現(xiàn)了與目前業(yè)內(nèi)7nm GPU相匹敵的計(jì)算能力。同時(shí)因?yàn)椴捎?2nm的成熟工藝,也實(shí)現(xiàn)了更優(yōu)的性價(jià)比。

近日燧原科技發(fā)布了其最新的“邃思”AI推理芯片及其推理卡云燧i20,這是其推理產(chǎn)品的最新迭代。新一代“邃思”AI推理芯片采用第二代高性能計(jì)算核心和數(shù)據(jù)引擎,由12nm工藝打造,通過架構(gòu)升級,大大提高了單位面積的晶體管效率,從而實(shí)現(xiàn)了與目前業(yè)內(nèi)7nm GPU相匹敵的計(jì)算能力。同時(shí)因?yàn)椴捎?2nm的成熟工藝,也實(shí)現(xiàn)了更優(yōu)的性價(jià)比。

另外一個(gè)重要意義在于,第二代推理產(chǎn)品的面市意味著燧原科技已經(jīng)實(shí)現(xiàn)了推理+訓(xùn)練的第二代產(chǎn)品組合的全面迭代,這是AI國產(chǎn)自研架構(gòu)芯片穩(wěn)步有序邁進(jìn)的體現(xiàn)。

在燧原科技“芯懷天地”新品發(fā)布會上,燧原科技CEO趙立東和COO張亞林針對推理訓(xùn)練產(chǎn)品及其最新技術(shù)進(jìn)行了精彩的分享。


AI市場新趨勢:推理產(chǎn)品比例變高


人工智能分為訓(xùn)練和推理兩個(gè)主要的任務(wù),訓(xùn)練是指創(chuàng)建機(jī)器學(xué)習(xí)算法的過程,訓(xùn)練的比例和整個(gè)數(shù)據(jù)科學(xué)家的生產(chǎn)力直接相關(guān),需要大量的計(jì)算資源來部署學(xué)習(xí)框架和訓(xùn)練數(shù)據(jù)集。而推理指的是使用經(jīng)過訓(xùn)練的算法來進(jìn)行預(yù)測,因此跟整個(gè)用戶和海量的應(yīng)用直接相關(guān),與用戶和用戶所持應(yīng)用的數(shù)量乘積成直接正比例的關(guān)系。

上圖是從2017到2023年AI市場的走勢,可以看到推理在整個(gè)AI市場中占的比例在逐漸增大,推理的實(shí)際應(yīng)用場景也變得多元化,AI的業(yè)務(wù)從傳統(tǒng)單一的機(jī)器視覺、聲音、文字、決策、推薦等方向性的算法,逐步變成多場景、多應(yīng)用的落地,廣泛分布在用戶日常生活中。結(jié)合推理的客戶需求場景,這樣的計(jì)算密集型應(yīng)用對于性價(jià)比的考量也會更為敏感。所以除了GPU之外的其他更具性價(jià)比的方案,有望在這部分實(shí)現(xiàn)突圍。針對這樣的趨勢,AI芯片公司譬如燧原科技早也在推理產(chǎn)品上進(jìn)行了投入和布局。

在去年12月,燧原科技就發(fā)布了其首款神經(jīng)網(wǎng)絡(luò)模型推理引擎“鑒算TopsInference”及其“云燧i10”推理卡。通過鑒算TopsInference的推理加速,配合云燧i10的高算力及虛擬化技術(shù),可以對計(jì)算密集型深度學(xué)習(xí)工作負(fù)載提供高性價(jià)比的部署方案。到了今年12月剛好一年的時(shí)間,燧原科技隨即發(fā)布了其新一代的“邃思2.5”AI推理芯片及其推理卡云燧i20。這也意味著其推理產(chǎn)品也進(jìn)入了有序的迭代節(jié)奏中,同時(shí)也是對于當(dāng)前AI市場推理產(chǎn)品旺盛需求的及時(shí)產(chǎn)品補(bǔ)充。


DTU2.5 :國內(nèi)首顆TF23推理芯片


“邃思2.5”采用的是專門為云端推理場景而自主研發(fā)的計(jì)算架構(gòu),燧原在這顆芯片上,針對場景落地需求、包括性價(jià)比和能效比都有著嚴(yán)苛的設(shè)計(jì)要求。

據(jù)張亞東介紹,“邃思”推理芯片采用具備全AI算力空間的計(jì)算架構(gòu),具備32位的算力,從FP32一直到INT8,包含中間精度TF32、BF16、FP16五個(gè)精度構(gòu)成了全AI算力空間,滿足各種各樣推理的客戶需求。單精度FP32達(dá)到了32 TFLOPS、單精度張量TF32達(dá)到了128 TFLOPS;同樣具備半精度BF16/FP16的算力,達(dá)到128 TFLOPS。在最重要的推理方面,整數(shù)精度INT8也有了提升,達(dá)到256TOPS。

據(jù)悉,這是中國第一顆具備TF32張量單精度的推理芯片,能用16位的算力達(dá)到32位的精度,實(shí)現(xiàn)4倍于FP32的算力,同時(shí)保持99%的整個(gè)模型精度一致性。

數(shù)據(jù)架構(gòu)方面采用了完全自研的 (Sparse Value Segment ) 數(shù)據(jù)壓縮格式,能夠進(jìn)行獨(dú)立的分層壓縮和硬件自動循環(huán)解壓,使得所有的數(shù)據(jù)(特別是稀疏數(shù)據(jù))在傳輸過程帶寬和功耗減少。同時(shí)支持硬件指令預(yù)取的操作,使得指令的預(yù)取、數(shù)據(jù)的傳輸和計(jì)算可以同時(shí)進(jìn)行,進(jìn)行并行的數(shù)據(jù)廣播,使得同樣的數(shù)據(jù)可以廣播到多個(gè)處理器上進(jìn)行并行執(zhí)行。同時(shí),這種數(shù)據(jù)壓縮格式還具有很強(qiáng)的動態(tài)功耗控制,讓整個(gè)數(shù)據(jù)傳輸?shù)膭討B(tài)功耗變得非常的有效。

內(nèi)存方面是采用兩顆HBM2E,單芯片容量為16GB,最大帶寬達(dá)到819GB/s。封裝形式采用了2.5D的封裝,整合了5顆芯片進(jìn)去,尺寸為55mmX55mm。

除了能效比、性價(jià)比這些關(guān)鍵因素之外,用戶的實(shí)際部署易用性也是非常重要的考量。針對當(dāng)前爆炸式增長的多樣化的推理落地場景,燧原科技進(jìn)一步加強(qiáng)推理軟件棧,使其更加泛化易用,滿足更多客戶日益增長的需求。


超越主流GPU的性價(jià)比之選


搭載2.5代DTU的推理加速卡云燧i20,縱向上實(shí)現(xiàn)了比前代產(chǎn)品的大幅提升,橫向上對比GPU的方案也有更好的性價(jià)比。

相比云燧i10,云燧i20的浮點(diǎn)32位的算力從17.6T提升到32T,浮點(diǎn)16位的算力從70.4T提升到了128T,INT8整點(diǎn)8位的算力從70.4T提升到了256T,HBM2升級到HBM2E后相應(yīng)的帶寬也從512GB提升了819GB,連接方式和功耗表現(xiàn)上與前代保持一致。

如下圖所示,根據(jù)燧原科技提供的和某次旗艦GPU加速卡的對比數(shù)據(jù),以該次旗艦GPU的參數(shù)為基準(zhǔn),i20的浮點(diǎn)16位的算力是其2倍,INT8的算力是2倍,內(nèi)存帶寬是2.65倍。

據(jù)張亞東介紹,在DTU2.5設(shè)計(jì)最初,燧原就定了其性能目標(biāo)——至少達(dá)到主流GPU次旗艦的2.5倍以上,最高達(dá)到3.5倍。在這樣的設(shè)計(jì)目標(biāo)驅(qū)動下,搭載DTU2.5出來i20的實(shí)際效果也確實(shí)是精準(zhǔn)地完成了這一目標(biāo)。

在實(shí)時(shí)性方面,DTU相比GPU也有非常出色的表現(xiàn),根據(jù)燧原科技展示的一個(gè)實(shí)時(shí)語意分析的對比demo展示,DTU的實(shí)時(shí)性能(吞吐量)是GPU的2.5倍以上,而實(shí)時(shí)的延時(shí)DTU卻只有GPU的一半不到。在這種典型的NLP——bert應(yīng)用中,DTU展現(xiàn)了至少2.5倍于GPU的性能。


“訓(xùn)推一體化”產(chǎn)品組合升級到第二代


此次全新二代云端推理產(chǎn)品的推出,使得燧原構(gòu)建了T20+i20的第二代訓(xùn)推產(chǎn)品組合。但僅僅有產(chǎn)品是不夠的,燧原科技還同步將訓(xùn)推一體化的系統(tǒng)進(jìn)行了增強(qiáng),使得用戶可以方便使用T20和i20,完成訓(xùn)練加推理一體化的部署。

據(jù)張亞東介紹,在TopsRider軟件系統(tǒng)里,從高層的圖優(yōu)化到中間的算子庫再到中間的編程模型,最后到底層的Runtime,四個(gè)階段中分別都實(shí)現(xiàn)了整個(gè)訓(xùn)練和推理引擎的統(tǒng)一,使得用一套結(jié)構(gòu)可以支持所有訓(xùn)練和推理軟件棧。這樣統(tǒng)一的表達(dá)、統(tǒng)一的訓(xùn)練推理的算子編程模型、統(tǒng)一的Runtime,讓T20+i20在訓(xùn)練和推理?xiàng)I线M(jìn)行了很好的深度融合和充分泛化,也使得開發(fā)者在運(yùn)用訓(xùn)練和推理一體化的時(shí)候更加的高效、更加的精密和更加的兼容。

從“邃思”2.5和云燧i20推理卡的發(fā)布之后,燧原科技已經(jīng)完成了二代產(chǎn)品的布局,未來的i30和T30/T31的產(chǎn)品也已經(jīng)在研發(fā)過程中。

總結(jié)

燧原科技通過自研架構(gòu)DPU,實(shí)現(xiàn)了比GPU更具性價(jià)比的AI推訓(xùn)方案?!白龃笮酒⑵从部萍肌笔瞧湟恢狈钚械睦砟?,“每代產(chǎn)品比前代實(shí)現(xiàn)3倍能效提升、2倍性價(jià)比提升、軟件向后兼容”是其產(chǎn)品更新的目標(biāo)。此次“邃思”2.5和云燧i20推理卡的發(fā)布,標(biāo)志著其推訓(xùn)一體的產(chǎn)品布局已經(jīng)夯實(shí),隨著AI市場的繼續(xù)發(fā)展,未來第三代產(chǎn)品相信也會如期而至。

聲明:該篇文章為本站原創(chuàng),未經(jīng)授權(quán)不予轉(zhuǎn)載,侵權(quán)必究。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉