國產(chǎn)GPU AI訓(xùn)推達到國際水準！摩爾線程已媲美RTX 4090

6月14日消息，摩爾線程官方宣布，2024年5月份與智譜AI開展了新一輪GPU大模型適配、性能測試，包括大模型推理、基于夸娥(KUAE)千卡智算集群的大模型預(yù)訓(xùn)練。

測試使用的相關(guān)大模型，來自智譜AI基座大模型及其開源版本。

測試結(jié)果表明，在推理方面，摩爾線程自研全功能GPU顯著優(yōu)于基準對比產(chǎn)品RTX 3090和RTX 4090，其中全部測試用例中優(yōu)于RTX 3090，在多batch下優(yōu)于RTX 4090。

在訓(xùn)練方面，摩爾線程夸娥千卡智算集群的訓(xùn)練精度與A100集群相比，誤差在1%以內(nèi)，而集群性能擴展系數(shù)超過90%，模型算力利用率(MFU)與A100集群相當。

這一結(jié)果，對于中國大模型產(chǎn)品技術(shù)生態(tài)具有重要的意義：

一是技術(shù)自主新突破。

摩爾線程千卡智算集群成功應(yīng)用ChatGLM預(yù)訓(xùn)練，標志著摩爾線程有能力讓大模型訓(xùn)練與推理在全國產(chǎn)可控的算力底座上運行，可增強技術(shù)自主性，保障信息安全。

二是助力打破算力瓶頸。

根據(jù)Scaling laws(尺度定律)，有限的算力供應(yīng)可能成為制約大模型發(fā)展的關(guān)鍵瓶頸，而摩爾線程全功能GPU可以提高大模型的迭代速度和自研水平，助推中國大模型更好發(fā)展。

三是開拓創(chuàng)新空間。

摩爾線程與智譜AI卓有成效的適配與測試合作，有利于推動實現(xiàn)軟硬件的深度融合與協(xié)同創(chuàng)新。

四是降低運營成本。

摩爾線程憑進的AGI算力底座，不僅可以兼容適配全球主流AI軟件生態(tài)，節(jié)約遷移成本，而且在單位算力總體擁有成本上擁有較為明顯優(yōu)勢，能夠有效降低大模型產(chǎn)品研發(fā)成本。

值得一提的是，早在2022年8月，智譜AI就開源了GLM-130B模型，2023年又推出了千億基座對話模型ChatGLM，以及開源版本的ChatGLM-6B。

最近，摩爾線程陸續(xù)公布了與國產(chǎn)AI企業(yè)在大模型訓(xùn)練、推理方面的合作，主要包括：

- 第一家接入無問芯穹，適配無穹Infini-AI大模型開發(fā)與服務(wù)平臺，完成LLama2 700億參數(shù)大模型訓(xùn)練測試、MT-infini-3B 3B(30億參數(shù))規(guī)模大模型實訓(xùn)

- 完成憨猴集團70億、340億。700億參數(shù)量級大模型的分布式訓(xùn)練

- 完成與滴普企業(yè)大模型Deepexi v1.0的訓(xùn)練、推理適配

- 完成羽人科技70億參數(shù)大語言模型YuRen-7b的訓(xùn)練測試

- 完成師者AI 70億參數(shù)全學(xué)科教育大模型的高強度訓(xùn)練測試