AI應(yīng)用爆發(fā)促進(jìn)了數(shù)據(jù)中心基礎(chǔ)構(gòu)架的發(fā)展,而HBM市場(chǎng)也將受益于此,據(jù)悉未來(lái)三年HBM的年復(fù)合增長(zhǎng)率將超過(guò)50%。目前HBM技術(shù)最新已經(jīng)發(fā)展到了HBM3e,而預(yù)期明年的大規(guī)模AI計(jì)算系統(tǒng)商用上,HBM3和HBM3e將會(huì)成為主流。
Aug. 1, 2023 ---- 根據(jù)TrendForce集邦咨詢調(diào)查顯示,2023年HBM(High Bandwidth Memory)市場(chǎng)主流為HBM2e,包含NVIDIA A100/A800、AMD MI200以及多數(shù)CSPs自研加速芯片皆以此規(guī)格設(shè)計(jì)。同時(shí),為順應(yīng)AI加速器芯片需求演進(jìn),各原廠計(jì)劃于2024年推出新產(chǎn)品HBM3e,預(yù)期HBM3與HBM3e將成為明年市場(chǎng)主流。
2023年7月27日,中國(guó)上海 —— Micron Technology Inc.(美光科技股份有限公司,納斯達(dá)克股票代碼:MU)今日宣布,公司已開(kāi)始出樣業(yè)界首款8層堆疊的24GB容量第二代HBM3內(nèi)存,其帶寬超過(guò)1.2TB/s,引腳速率超過(guò)9.2Gb/s,比當(dāng)前市面上現(xiàn)有的HBM3解決方案性能可提升最高50%。美光第二代HBM3產(chǎn)品與前一代產(chǎn)品相比,每瓦性能提高2.5倍,創(chuàng)下了關(guān)鍵型人工智能(AI)數(shù)據(jù)中心性能、容量和能效指標(biāo)的新紀(jì)錄,將助力業(yè)界縮短大型語(yǔ)言模型(如GPT-4及更高版本)的訓(xùn)練時(shí)間,為AI推理提供高效的基礎(chǔ)設(shè)施,并降低總體擁有成本(TCO)。
面對(duì)數(shù)據(jù)中心多種多樣的加速器IC,以及多種全新的內(nèi)存技術(shù),如何將兩者完美結(jié)合實(shí)現(xiàn)高效安全的數(shù)據(jù)搬運(yùn)?Rambus給出了答案。
關(guān)于HBM3的消息,海力士早前曾表示單芯片可以達(dá)到5.2Gbps的I/O速率,帶寬達(dá)到665GB/s,將遠(yuǎn)超HBM2E。但從Rambus最新發(fā)布的HBM3內(nèi)存子系統(tǒng)來(lái)看,數(shù)據(jù)傳輸速率達(dá)到了8.4Gbps,寬帶達(dá)到1TB/s,說(shuō)明HBM3還有著更大的潛力。而且作為集成了PHY和控制器的完整內(nèi)存接口子系統(tǒng),Rambus HBM3方案的推出也意味著HBM3的真正面世也將不遠(yuǎn)了。