老黃的勁敵來(lái)了 一文了解Intel最新Gaudi 3 AI加速芯片

AI的紛爭(zhēng)越來(lái)越激烈，老黃跟蘇媽都相繼推出了自家的AI加速器。不過(guò)大家似乎忘記了還有一個(gè)芯片巨頭——Intel。

在美國(guó)亞利桑那州Intel Vision 2024會(huì)議上，Intel發(fā)布性能最強(qiáng)的新一代Gaudi3 AI 加速芯片。當(dāng)然，也包括全新的下一代英特爾至強(qiáng)6處理器等產(chǎn)品。

不過(guò)，我們今天的重點(diǎn)還是看看這個(gè)號(hào)稱“超越H100”的Gaudi3 AI 加速芯片。

Intel的Gaudi AI加速芯片已經(jīng)推出了三代了，現(xiàn)有的Gaudi2芯片已經(jīng)是兩年前的產(chǎn)物，在2023年7月才正式引入國(guó)內(nèi)，不錯(cuò)的性能與性價(jià)比一度成為不少大廠的優(yōu)選。

從下圖可以看到，Gaudi2 AI芯片為臺(tái)積電7nm工藝制造，集成24個(gè)可編程的Tenor張量核心(TPC)、48MB SRAM緩存、21個(gè)10萬(wàn)兆內(nèi)部互連以太網(wǎng)接口(ROCEv2 RDMA)、96GB HBM2E高帶寬內(nèi)存(總帶寬2.4TB/s)、多媒體引擎等，支持PCIe 4.0 x16，最高功耗800W。

而全新一代的Gaudi3 AI芯片顯然更勝一籌，專為高性能、高效率的生成式 AI 計(jì)算而生。其采用臺(tái)積電5nm工藝打造，每個(gè)加速器都具有獨(dú)特的異構(gòu)計(jì)算引擎，由64個(gè)AI定制和可編程TPC和8個(gè)MME組成，支持128GB HBMe2內(nèi)存以及配備96MB SRAM緩存。

相比上代產(chǎn)品，Intel的 Gaudi 3帶來(lái)了4倍的BF16 AI計(jì)算能力提升，1.5 倍的內(nèi)存帶寬以及 2 倍的網(wǎng)絡(luò)帶寬提升。

同時(shí)，每個(gè)Gaudi 3當(dāng)中都集成24個(gè)200 Gb以太網(wǎng)端口，提供靈活且開(kāi)放標(biāo)準(zhǔn)的網(wǎng)絡(luò)。而Gaudi 3 的PCIe 功率為600w，帶寬為每秒 3.7TB。

當(dāng)然，AI芯片最重要的還是性能表現(xiàn)，在AI模型算力中，相比NVIDIA的H100 GPU，Gaudi3 AI芯片的模型訓(xùn)練速度、推理速度都更出色，分別提升了40%和50%，平均性能提升達(dá)到了50%，能效更是提高了40%，更重要的是，Gaudi3 AI芯片的成本比H100更低，妥妥的性能更強(qiáng)，價(jià)格更低。

即使是面對(duì)NVIDIA的H200 GPU，Gaudi 3也毫不遜色。在LLAMA-7B以及LLAMA-70B的部分場(chǎng)景與H200基本是伯仲之間，差距基本在10%以內(nèi)。如果是在Faicon 180B的大模型里，Gaudi 3的推理吞吐量和能效則非常出色，最高甚至可以領(lǐng)先H200 30%以上。

性能表現(xiàn)想必已經(jīng)足夠驚艷你了，Intel還為Gaudi 3提供多種靈活的形態(tài)，包括OAM兼容夾層卡、通用基板、PCIe擴(kuò)展卡。其中OAM的型號(hào)是HL-325L，其實(shí)就是單顆Gaudi 3的性能表現(xiàn)，TDP設(shè)定為900W，一般用于風(fēng)冷型服務(wù)器。

更高端的HLB-325則包含八顆 Gaudi 3芯片，提供 14.6 PFLOPS FP8 性能，1TB帶寬速率達(dá) 29.6TB/s的HBM2e 內(nèi)存，64個(gè)線性計(jì)算引擎，192條200GbE 網(wǎng)絡(luò)總線，9.6TB/s吞吐能力。

當(dāng)然，還有更加精致小巧的版本，適合普通用戶選用。PCIe 版本型號(hào)為 HL-338，提供單卡 1835 TFLOPS FP8 峰值性能，128GB HBM2e 內(nèi)存，8個(gè)線性計(jì)算引擎，24條200GbE網(wǎng)絡(luò)總線，600W TDP，整張卡僅有兩槽寬。

硬件夠硬，軟件也要夠軟。軟件生態(tài)方面，Intel也在發(fā)力，Gaudi 3將針對(duì)生成式AI提供端到端全棧AI軟件解決方案，包括嵌入式軟件、軟件套件、AI軟件、AI應(yīng)用等。

Gaudi 3 AI加速芯片兼具高性能、經(jīng)濟(jì)實(shí)用、節(jié)能、可快速部署等優(yōu)點(diǎn)，能夠充分滿足復(fù)雜性、成本效益、碎片化、數(shù)據(jù)可靠性、合規(guī)性等AI應(yīng)用需求。

Intel在Vision 2024上也同步介紹了這款芯片的生產(chǎn)節(jié)點(diǎn)，計(jì)劃在今年第三季度向客戶發(fā)貨Gaudi 3 AI芯片，包括聯(lián)想、惠普、Dell和Supermicro等OEM廠商都會(huì)使用這款新品構(gòu)建系統(tǒng)。

隨著Gaudi 3的正式發(fā)布，當(dāng)前AI芯片市場(chǎng)呈現(xiàn)出NVIDIA B200、AMD MI300系列和Intel Gaudi 3三足鼎立的格局。

Intel希望能夠利用長(zhǎng)期的 AI 技術(shù)積累，通過(guò)開(kāi)放生態(tài)系統(tǒng)的力量以及出色的Gaudi 3硬件基礎(chǔ)，乘上AI的熱潮。

此次的Gaudi 3 AI加速芯片雖然有著出色的性能與極具競(jìng)爭(zhēng)力的定價(jià)，不過(guò)AI領(lǐng)域繞不開(kāi)的還有生態(tài)，這方面NVIDIA依舊是遙遙領(lǐng)先與紅藍(lán)兩家，現(xiàn)在AMD與Intel在硬件層面已經(jīng)追上來(lái)了，在軟件層面我們也期待它們能夠持續(xù)進(jìn)步，讓AI新技術(shù)普及、普惠到各行各業(yè)。