TrendForce集邦咨詢：大型云端業(yè)者積極建置AI 服務(wù)器，加速推升AI芯片與HBM需求，預(yù)估2024年先進封裝產(chǎn)能將提升3~4成

Jun. 21, 2023 ---- 根據(jù)TrendForce集邦咨詢研究指出，2023年ChatBOT等生成式AI應(yīng)用帶動AI服務(wù)器成長熱潮，又以大型云端業(yè)者最積極投入，包含Microsoft、Google、AWS或其他中系業(yè)者如Baidu、ByteDance等陸續(xù)采購高端AI服務(wù)器，以持續(xù)訓(xùn)練及優(yōu)化其AI分析模型。高端AI服務(wù)器需采用的高端AI芯片，將推升2023-2024年高帶寬存儲器(HBM)的需求，并將驅(qū)動先進封裝產(chǎn)能2024年成長3~4成。

TrendForce集邦咨詢指出，為提升整體AI服務(wù)器的系統(tǒng)運算效能，以及存儲器傳輸帶寬等，NVIDIA、AMD、Intel等高端AI芯片中大多選擇搭載HBM。目前NVIDIA的A100及H100，各搭載達80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper芯片中，單顆芯片HBM搭載容量再提升20%，達96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量與前一代相同為128GB，更高端MI300X則達192GB，提升了50%。同時預(yù)期Google將于2023年下半年積極擴大與Broadcom合作開發(fā)AISC AI加速芯片TPU亦采搭載HBM存儲器，以擴建AI基礎(chǔ)設(shè)施。

TrendForce集邦咨詢預(yù)估，2023年市場上主要搭載HBM的AI加速芯片(如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等)，搭載HBM總?cè)萘繉⑦_2.9億GB，成長率近6成，2024年將持續(xù)成長3成以上。

此外，AI及HPC等芯片對先進封裝技術(shù)的需求日益提升，其中，以TSMC的CoWoS為目前AI 服務(wù)器芯片主力采用者。CoWoS封裝技術(shù)主要分為CoW和oS兩段，其中，CoW主要整合各種Logic IC(如CPU、GPU、AISC等)及HBM存儲器等，另外，oS部分則將上述CoW以凸塊(Solder Bump)等接合，封裝在基板上，最后再整合到PCBA，成為服務(wù)器主機板的主要運算單元，與其他零部件如網(wǎng)絡(luò)、儲存、電源供應(yīng)單元(PSU)及其他I/O等組成完整的AI 服務(wù)器系統(tǒng)。

TrendForce集邦咨詢觀察，估計在高端AI芯片及HBM強烈需求下，TSMC于2023年底CoWoS月產(chǎn)能有望達12K，其中，NVIDIA在A100及H100等相關(guān)AI Server需求帶動下，對CoWoS產(chǎn)能較年初需求量，估提升近5成，加上AMD、Google等高端AI芯片需求成長下，將使下半年CoWoS產(chǎn)能較為緊迫，而此強勁需求將延續(xù)至2024年，預(yù)估若在相關(guān)設(shè)備齊備下，先進封裝產(chǎn)能將再成長3-4成。

TrendForce集邦咨詢指出，值得注意的是，在AI較急促需求下，無論是HBM或CoWoS生產(chǎn)過程中，得后續(xù)觀察周邊配套措施，例如硅通孔封裝技術(shù)(TSV)、中介層電路板(Interposer)以及相關(guān)設(shè)備(如濕制程設(shè)備)等是否能到位，如前置時間(Lead Time)等考量。而在AI強勁需求持續(xù)下，估NVIDIA針對CoWoS相關(guān)制程，亦不排除將評估其他類似先進封裝外援，例如Amkor或Samsung等，以應(yīng)對可能供不應(yīng)求的情形。

注：

本文高端AI Server指搭載高端AI芯片的Sever設(shè)備，針對如大型CSPs或HPC等AI模型訓(xùn)練應(yīng)用，高端AI芯片包含如NVIDIA的A100或H100，或AMD的MI200、MI300，或Intel的Max GPU等。

Samsung主力先進封裝技術(shù)為Cube系列，如I-Cube、H-Cube、X-Cube等;Amkor先進封裝技術(shù)涵蓋晶圓級封裝(WLP)、覆晶封裝、系統(tǒng)級封裝等。