美光發(fā)布第二代HBM3,加速AI計(jì)算應(yīng)用
2015年,AMD發(fā)布了搭載HBM的GPU顯卡。彼時(shí)大眾對(duì)于HBM并不了解,蘇姿豐形象比喻HBM的創(chuàng)新點(diǎn)在于——將DRAM顆粒由傳統(tǒng)的“平房設(shè)計(jì)”轉(zhuǎn)變?yōu)椤皹欠吭O(shè)計(jì)”,可實(shí)現(xiàn)更高的性能和帶寬。
而今,HBM成為了影響GPU顯卡實(shí)現(xiàn)更高性能AI計(jì)算的關(guān)鍵,AI巨頭排隊(duì)搶購(gòu)。在最近的兩次英偉達(dá)的新品發(fā)布中,黃仁勛也多次強(qiáng)調(diào)HBM3于AI計(jì)算的重要性。大眾也開(kāi)始意識(shí)到HBM的重要性,將HBM視為是躲在GPU背后的大贏家。
作為內(nèi)存領(lǐng)導(dǎo)者,美光必然不會(huì)缺席HBM這場(chǎng)盛筵。近日,美光發(fā)布了業(yè)界首款8層堆疊的24GB 第二代HBM3,采用美光的1β制程工藝,實(shí)現(xiàn)了1.2TB/s超高性能。
AI應(yīng)用對(duì)內(nèi)存提出了更高的要求
我們可以把AI應(yīng)用分為三大類。首先是生成式AI,包括時(shí)下火熱的ChatGPT和Mid-Journey等,都屬于此類范疇。第二類是深度學(xué)習(xí),例如虛擬助理、聊天機(jī)器人和醫(yī)療診斷等。這類應(yīng)用需要處理大量的數(shù)據(jù),并通過(guò)算法來(lái)詮釋數(shù)據(jù)、加以預(yù)測(cè)。第三類是高效能計(jì)算,包括全基因測(cè)序、天氣預(yù)測(cè)等重大科學(xué)問(wèn)題的解決,都需要依賴于此類AI計(jì)算能力發(fā)展。
而不論是哪種AI應(yīng)用,都驅(qū)動(dòng)了大量的計(jì)算性能需求和內(nèi)存需求。據(jù)美光副總裁暨計(jì)算與網(wǎng)絡(luò)事業(yè)部計(jì)算產(chǎn)品事業(yè)群總經(jīng)理Praveen Vaidyanathan分享,光擁有大量的計(jì)算能力,卻沒(méi)有足夠的內(nèi)存帶寬來(lái)支持也是不夠的,通常計(jì)算性能的瓶頸超過(guò)半數(shù)都與內(nèi)存的帶寬有關(guān)。
此外,大語(yǔ)言模型的參數(shù)數(shù)量正在巨量增長(zhǎng),因此AI應(yīng)用上需要更高的內(nèi)存容量密度,以在相同的體積內(nèi)實(shí)現(xiàn)更高的內(nèi)存容量。最后還需要關(guān)注到功耗,據(jù)推測(cè)未來(lái)7年內(nèi)數(shù)據(jù)中心的耗電量將占全球電力消耗近8%,而AI服務(wù)器中所需的內(nèi)存是通用服務(wù)器的6~8倍,因此內(nèi)存的高能效也同樣關(guān)鍵。
為了應(yīng)對(duì)數(shù)據(jù)密集型工作負(fù)載和應(yīng)用程序的增長(zhǎng),數(shù)據(jù)中心基礎(chǔ)構(gòu)架已經(jīng)被重新定義。傳統(tǒng)上圍繞著CPU的數(shù)據(jù)中心架構(gòu)已經(jīng)不足以滿足當(dāng)下的計(jì)算需求,GPU、FPGA和ASIC等專用加速芯片正在成為異構(gòu)數(shù)據(jù)中心發(fā)展的核心。與此同時(shí),僅僅靠DDR也已經(jīng)不足異構(gòu)數(shù)據(jù)中心基礎(chǔ)設(shè)施的需求,HBM作為超帶寬方案更為實(shí)現(xiàn)AI計(jì)算加速的關(guān)鍵。
HBM位于非常靠近GPU或CPU的中介層上,由多個(gè)DRAM Die以堆疊的方式構(gòu)成,最底層是邏輯控制單元,每一層Die之間采用TVS的方式互聯(lián)。憑借其寬I/O總線和增加的密度,HBM提供了現(xiàn)代數(shù)據(jù)中心基于加速器的計(jì)算模型所需的高性能和功效。目前HBM技術(shù)最新已經(jīng)發(fā)展到了HBM3e,而預(yù)期明年的大規(guī)模AI計(jì)算系統(tǒng)商用上,HBM3和HBM3e將會(huì)成為主流。
美光第二代HBM3,先進(jìn)工藝和封裝技術(shù)加持
AI應(yīng)用爆發(fā)促進(jìn)了數(shù)據(jù)中心基礎(chǔ)構(gòu)架的發(fā)展,而HBM市場(chǎng)也將受益于此,據(jù)悉未來(lái)三年HBM的年復(fù)合增長(zhǎng)率將超過(guò)50%。
美光近日推出的第二代HBM3,是24GB的單塊DRAM,也是市面上第一款八層堆疊的24GB HBM3。在帶寬、容量和功耗上,新的HBM3都實(shí)現(xiàn)了突破:內(nèi)存帶寬高達(dá)1.2TB/s,引腳傳輸速率超過(guò)9.2Gb/s,較市面上11x11毫米的HBM3 Gen1產(chǎn)品高出約50%;功耗方面每瓦性能相較前代提升了2.5倍。
能夠取得如此領(lǐng)先的表現(xiàn),得益于美光在HBM3上的技術(shù)積累。據(jù)悉,此次采用了1β制程工藝和先進(jìn)的封裝技術(shù)。
HBM3 Gen2是美光采用1β制程的第三個(gè)產(chǎn)品,該工藝已經(jīng)達(dá)到規(guī)模生產(chǎn)要求,在去年第四季度開(kāi)始投入生產(chǎn),包括最新的LPDDR5和DDR5均采用此項(xiàng)工藝。該工藝是支持內(nèi)存實(shí)現(xiàn)更高容量密度的關(guān)鍵,美光也計(jì)劃在24GB 8層HBM3 Gen2的基礎(chǔ)上,明年推出36GB 12層堆疊的產(chǎn)品。
而先進(jìn)封裝技術(shù)則是實(shí)現(xiàn)3D IC的技術(shù)基礎(chǔ),據(jù)Praveen介紹,美光致力于不斷提升硅通孔(TSV)與封裝以實(shí)現(xiàn)突破,達(dá)到封裝互聯(lián)的縮小。相比目前商用的產(chǎn)品,美光在HBM3 Gen2上提供了兩倍的硅通孔(TSV)數(shù)量,并且采用了縮小25%的封裝互聯(lián),縮小了DRAM層之間的空間,從而縮短了熱量傳輸?shù)木嚯x;在封裝互聯(lián)的數(shù)量上也有所提升,從而減少了熱阻抗,實(shí)現(xiàn)了更高的散熱效率。此外,產(chǎn)品內(nèi)部采用了采用更高能效數(shù)據(jù)路徑設(shè)計(jì),從而實(shí)現(xiàn)功耗的改善。
助力打造實(shí)現(xiàn)更高效的AI系統(tǒng)
對(duì)于AI系統(tǒng)而言,客戶在意的是提高訓(xùn)練算法的精度,同時(shí)盡量實(shí)現(xiàn)更低的系統(tǒng)功耗。而美光HBM Gen2的出現(xiàn),可以進(jìn)一步助力客戶打造更高效的AI系統(tǒng)。
據(jù)悉,在AI系統(tǒng)引入最新的HBM Gen2后,得益于內(nèi)存帶寬的提升,整個(gè)AI訓(xùn)練演算將會(huì)變得更為高效,大幅降低模型訓(xùn)練的時(shí)間。對(duì)于大語(yǔ)言模型而言,能夠?qū)⒂?xùn)練時(shí)間降低30%。同時(shí)由于內(nèi)存容量的提升,給予了客戶更多的靈活性。不論是客戶想追求更準(zhǔn)確的精度,還是更快的運(yùn)算速度,都是可以實(shí)現(xiàn)的。
而HBM3 Gen2的低功耗的熱點(diǎn),能夠?yàn)榭蛻籼峁└叩膬r(jià)值。一方面,更低的功耗可以幫助數(shù)據(jù)中心客戶實(shí)現(xiàn)電費(fèi)的節(jié)省,打造更綠色的服務(wù)器。假設(shè)一個(gè)數(shù)據(jù)中心裝設(shè)了1000萬(wàn)個(gè)GPU,那么每個(gè)HBM哪怕實(shí)現(xiàn)了幾W的功耗降低,對(duì)于整個(gè)數(shù)據(jù)中心而言都可以實(shí)現(xiàn)巨大的電量節(jié)省。而另一方面,對(duì)于電力充足的客戶而言,HBM內(nèi)存上節(jié)省的電力可以分配給GPU或ASIC,從而實(shí)現(xiàn)了整個(gè)系統(tǒng)的效能的提升。
HBM3 Gen2的性能提升,將會(huì)最終影響到AI應(yīng)用的加速賦能。“雖然終端消費(fèi)者不會(huì)直接購(gòu)買(mǎi)HBM,但如果他們發(fā)現(xiàn)每天查詢的效率或數(shù)量增加,便能提升他們的使用體驗(yàn)?!盤(pán)raveen分享到,“長(zhǎng)期而言,整個(gè)訓(xùn)練的成本會(huì)降低,最終計(jì)算的成本也會(huì)隨之降低。因此,在未來(lái)幾年,當(dāng)越來(lái)越多人使用AI引擎,整體AI計(jì)算性能也會(huì)跟著提升?!?
HBM乃內(nèi)存廠商的兵家必爭(zhēng)之地,美光也已經(jīng)進(jìn)行了長(zhǎng)遠(yuǎn)的產(chǎn)品規(guī)劃。據(jù)悉美光已經(jīng)在開(kāi)發(fā) HBM Next內(nèi)存產(chǎn)品,該 HBM 迭代將為每個(gè)堆棧提供 1.5 TB/s – 2+ TB/s 的帶寬,容量范圍為 36 GB 至 64 GB。