"千億參數(shù)"大模型再卷風云，成功實現(xiàn)CPU通用服務器上運行

北京2024年7月26日 /美通社/ -- 生成式AI快速發(fā)展，AI算力作為人工智能發(fā)展的重要支撐，正以驚人的速度滲透至每一個計算設備。一切計算皆AI，為了支撐千行百業(yè)最廣泛的場景，通用服務器也在"智變"。

不久前，浪潮信息的研發(fā)工程師基于2U4路旗艦通用服務器NF8260G7，采用領先的張量并行、NF4模型量化等技術，實現(xiàn)服務器僅依靠4顆CPU即可運行千億參數(shù) "源2.0" 大模型，成為通用AI算力的新標桿。

NF8260G7在2U空間搭載4顆32核英特爾至強處理器，主頻2.4GHz，支持8個內存通道，3路UPI總線互聯(lián)，采用32根32G的DDR5內存，內存容量1024GB，實測內存讀帶寬995GB/s，運行效率82.94%?？蚣芎退惴ǚ矫妫琋F8260G7支持PyTorch、TensorFlow等主流AI框架和DeepSpeed等流行開發(fā)工具，滿足用戶更成熟、易部署、更便捷的開放生態(tài)需求。浪潮信息算法工程師還基于Yuan2.0千億參數(shù)大模型的研發(fā)積累，為NF8260G7部署張量并行環(huán)境，提升4倍計算效率，并通過NF4等量化技術，將1026億參數(shù)的Yuan2.0大模型容量縮小至1/4，首次實現(xiàn)單機通用服務器，即可運行千億參數(shù)大模型，為千億參數(shù)AI大模型在通用服務器的推理部署，提供了性能更強，成本更經(jīng)濟的選擇。

【出題】
算力智變：通用服務器挑戰(zhàn)「千億參數(shù)」大模型

科技的進步，最終目的是"落入凡間"。AIGC正以超乎想象的速度滲透進千行百業(yè)，對企業(yè)的算力基礎設施也提出了更高的要求。為了滿足最廣泛的通用業(yè)務與新興AI業(yè)務融合的需求，目前金融、醫(yī)療等許多行業(yè)用戶正在基于通用算力構建AI業(yè)務，實現(xiàn)了通用算力的"AI進化"。從效果來看，目前通用服務器單機已能夠承載幾十到幾百億參數(shù)規(guī)模的AI模型應用。

但算力需求仍在爆發(fā)式增長，隨著大模型技術的不斷發(fā)展，模型參數(shù)量不斷攀升，千億級參數(shù)是智能涌現(xiàn)的門檻，通用算力能否運行千億參數(shù)AI大模型，是衡量其能否支撐千行百業(yè)智能涌現(xiàn)的關鍵。

千億參數(shù)大模型要在單臺服務器中高效運行，對計算、內存、通信等硬件資源需求量非常大，如果使用以GPU為主的異構加速計算方式，千億參數(shù)大約需要200~300GB的顯存空間才放得下，這已經(jīng)遠超過當前業(yè)界主流的AI加速芯片的顯存大小。放得下只是基礎，千億參數(shù)大模型在運行過程中，對數(shù)據(jù)計算、計算單元之間及計算單元與內存之間通信的帶寬要求也非常高。千億參數(shù)大模型按照BF16的精度計算，運行時延要小于100ms，內存與計算單元之間的通信帶寬至少要在2TB/s以上。

不同參數(shù)規(guī)模服務器硬件資源需求對比

除了硬件資源的挑戰(zhàn)，為了讓通用服務器運行千億大模型，軟硬協(xié)同優(yōu)化也是一大難題。比如AI大模型一般基于擅長大規(guī)模并行計算的AI加速卡設計，通用服務器的處理器雖然擁有高通用性和高性能的計算核心，但沒有并行工作的環(huán)境。AI大模型需要頻繁地在內存和CPU之間搬運算法權重，但通用服務器默認模型權重只能傳輸給一個CPU的內存，由該CPU串聯(lián)其他CPU進行權重數(shù)據(jù)的傳輸。這就導致CPU與內存之間的帶寬利用率不高，通信開銷大。

通用服務器要運行千億參數(shù)大模型面臨重重挑戰(zhàn)。要填補這一空白，浪潮信息研發(fā)工程師亟需提升通用服務器AI計算性能，優(yōu)化CPU之間、CPU與內存之間的通信效率，建立通用服務器的大規(guī)模并行計算的算法環(huán)境等軟硬協(xié)同技術，系統(tǒng)釋放通用服務器的AI能力。

【解題】
軟硬協(xié)同創(chuàng)新，釋放通用服務器的智算力

首先，硬件資源方面，為支撐大規(guī)模并行計算，浪潮信息研發(fā)工程師采用2U4路旗艦通用服務器NF8260G7，對服務器處理器、內存、互連以及框架和算法的適配性等方面進行了全面優(yōu)化。

本次運行千億參數(shù)大模型的通用服務器NF8260G7采用如下配置：

NF8260G7在2U空間搭載4顆英特爾至強處理器6448H，具有AMX（高級矩陣擴展）AI加速功能，核心數(shù)達到了32核心，基準主頻2.4GHz，L3 Cache 60MB，支持8個內存通道，3路UPI總線互聯(lián)，功耗250W。內存方面，NF8260G7配置32根32G DDR5 4800MHZ的內存，內存帶寬實測值分別為995GB/s（讀帶寬）、423GB/s（寫帶寬）、437GB/s（讀寫帶寬），為滿足千億大模型低延時和多處理器的并發(fā)推理計算打下基礎。

在高速信號互連方面，浪潮信息研發(fā)工程師優(yōu)化了CPU之間，CPU和內存之間的走線路徑和阻抗連續(xù)性，依據(jù)三維仿真結果調整過孔排列方式，將信號串擾降低到-60dB以下，較上一代降低50%，通過DOE矩陣式有源仿真找到通道所有corner的組合最優(yōu)解，充分發(fā)揮算力性能?？蚣芎退惴ǚ矫妫顺毙畔⑼ㄓ梅掌饕仓С諴yTorch、TensorFlow等主流AI框架和DeepSpeed等流行開發(fā)工具，滿足用戶更成熟、易部署、更便捷的開放生態(tài)需求。

僅依靠硬件創(chuàng)新還遠遠不夠。算法層面，浪潮信息算法工程師基于Yuan2.0的算法研發(fā)積累，將1026億參數(shù)的Yuan2.0大模型卷積算子進行張量切分，把大模型中的注意力層和前饋層的矩陣計算的權重分別拆分到多個處理器的內存中，為通用服務器進行高效的張量并行計算提供了可能。這種權重的拆分改變了傳統(tǒng)CPU串聯(lián)傳輸?shù)哪Ｊ剑?顆CPU可以與內存實時傳輸獲取算法權重，協(xié)同并行工作，計算效率提升4倍。

同時，千億參數(shù)大模型在張量并行計算過程中，參數(shù)權重需要200-300GB的內存空間進行存儲和計算，在100ms的時間內，完成CPU與內存數(shù)據(jù)的通信，內存帶寬需求至少在2T/s。而4路通用服務器的內存帶寬極限值為1200GB/s，還差一半左右。面對巨大的內存帶寬瓶頸，浪潮信息算法工程師需要在不影響模型精度的情況下對模型進行量化"瘦身"。浪潮信息研發(fā)工程師們嘗試了不同精度int8、int4、NF4等先進量化技術，最終選擇了更高數(shù)據(jù)精度的NF4量化方案，將模型尺寸瘦身到原來的1/4，在滿足精度需求的條件下，大幅度降低大規(guī)模并行計算的訪存數(shù)據(jù)量，從而達到實時推理的解碼需求。

【交卷】
填補行業(yè)空白，樹立AI算力新標桿

通過系統(tǒng)優(yōu)化，浪潮信息NF8260G7在業(yè)界首次實現(xiàn)僅基于通用處理器，支持千億參數(shù)大模型的運行，讓通用算力可支持的AI大模型參數(shù)規(guī)模突破千億，填補了行業(yè)空白，成為企業(yè)擁有AI的新起點。

人工智能的發(fā)展，是算力、算法和數(shù)據(jù)三要素系統(tǒng)突破的結果。浪潮信息研發(fā)工程師基于通用服務器NF8260G7的軟硬件協(xié)同創(chuàng)新，為千億參數(shù)AI大模型在通用服務器的推理部署，提供了性能更強，成本更經(jīng)濟的選擇，讓AI大模型應用可以與云、大數(shù)據(jù)、數(shù)據(jù)庫等應用能夠實現(xiàn)更緊密的融合，從而充分釋放人工智能在千行百業(yè)中的創(chuàng)新活力，讓人工智能真正"落入凡間"，推動社會和經(jīng)濟的發(fā)展。