當(dāng)前位置:首頁(yè) > 芯聞號(hào) > 產(chǎn)業(yè)動(dòng)態(tài)
[導(dǎo)讀]北京2023年8月31日 /美通社/ -- 與狹義的人工智能相比,通用人工智能通過(guò)跨領(lǐng)域、跨學(xué)科、跨任務(wù)和跨模態(tài)的大模型,能夠滿足更廣泛的場(chǎng)景需求、實(shí)現(xiàn)更高程度的邏輯理解能力與使用工具能力。2023年,隨著 LLM 大規(guī)模語(yǔ)言模型技術(shù)的不斷突破,大模型為探索更高階的通用人工智能帶...

北京2023年8月31日 /美通社/ -- 與狹義的人工智能相比,通用人工智能通過(guò)跨領(lǐng)域、跨學(xué)科、跨任務(wù)和跨模態(tài)的大模型,能夠滿足更廣泛的場(chǎng)景需求、實(shí)現(xiàn)更高程度的邏輯理解能力與使用工具能力。2023年,隨著 LLM 大規(guī)模語(yǔ)言模型技術(shù)的不斷突破,大模型為探索更高階的通用人工智能帶來(lái)了新的曙光。通用人工智能進(jìn)入了快速發(fā)展期,在中國(guó),大模型已經(jīng)呈現(xiàn)出百花齊放的態(tài)勢(shì),各種大模型層出不窮。

要想在"百模爭(zhēng)秀"的時(shí)代占得先機(jī),AI開(kāi)發(fā)團(tuán)隊(duì)需要著力化解算力、算法、數(shù)據(jù)層面的巨大挑戰(zhàn),而開(kāi)發(fā)效率和訓(xùn)練速度是保障大模型市場(chǎng)競(jìng)爭(zhēng)力的核心關(guān)鍵因素,也是未來(lái)的核心發(fā)力點(diǎn)。近日,浪潮信息人工智能與高性能應(yīng)用軟件部 AI 架構(gòu)師Owen ZHU參與首屆由CSDN、《新程序員》聯(lián)合主辦的NPCon大會(huì),發(fā)表重要技術(shù)演講,分享面向新一輪AIGC產(chǎn)業(yè)革命,AI大模型的算力系統(tǒng)解決之道,并強(qiáng)調(diào)算力、算法、數(shù)據(jù)和系統(tǒng)架構(gòu)等多個(gè)方面的綜合優(yōu)化對(duì)大模型訓(xùn)練到了至關(guān)重要的作用。

以下為Owen ZHU在NPCon大會(huì)的演講實(shí)錄整理:

  • "百模爭(zhēng)秀"時(shí)代的算力瓶頸

大模型研發(fā)的核心技術(shù)是由預(yù)訓(xùn)練與Alignment組成的,第一部分就是預(yù)訓(xùn)練,需要用大量的數(shù)據(jù)使模型收斂速度更快、性能更好。第二部分則是Alignment,Alignment不完全等于強(qiáng)化學(xué)習(xí),其通過(guò)使用多種方式/策略優(yōu)化模型輸出,讓AI在和人的交流反饋中學(xué)會(huì)如何溝通表達(dá),這兩部分是提升大模型質(zhì)量的核心要素。

目前來(lái)看,模型基礎(chǔ)能力取決于數(shù)據(jù)、模型參數(shù)量和算力。模型參數(shù)量越大、投入的訓(xùn)練數(shù)據(jù)越大,模型泛化能力越強(qiáng)。由于資源限制,在兩者不可兼得的時(shí)候,應(yīng)該如何進(jìn)行取舍呢?OpenAI的研究結(jié)論認(rèn)為,與增加數(shù)據(jù)量相比,先增大模型參數(shù)量受益則會(huì)更好,用一千億的模型訓(xùn)練兩千億的Token和兩千億模型訓(xùn)練一千億的Token,后者的模型性能會(huì)更高。

由此可見(jiàn),參數(shù)量是衡量模型能力的一個(gè)重要指標(biāo),當(dāng)模型參數(shù)量增長(zhǎng)超過(guò)一定閾值時(shí),模型能力表現(xiàn)出躍遷式的提升,表現(xiàn)出來(lái)語(yǔ)言理解能力、生成能力、邏輯推理能力等能力的顯著提升,這也就是我們所說(shuō)的模型的涌現(xiàn)能力。

模型規(guī)模多大能產(chǎn)生涌現(xiàn)能力呢?現(xiàn)在來(lái)看,百億參數(shù)是模型具備涌現(xiàn)能力的門檻,千億參數(shù)的模型具備較好的涌現(xiàn)能力。但這并不意味著模型規(guī)模就要上升到萬(wàn)億規(guī)模級(jí)別的競(jìng)爭(zhēng),因?yàn)楝F(xiàn)有大模型并沒(méi)有得到充分訓(xùn)練,如GPT-3的每個(gè)參數(shù)基本上只訓(xùn)練了1-2個(gè)Token,DeepMind的研究表明,如果把一個(gè)大模型訓(xùn)練充分,需要把每個(gè)參數(shù)量訓(xùn)練20個(gè)Token。所以,當(dāng)前的很多千億規(guī)模的大模型還需要用多10倍的數(shù)據(jù)進(jìn)行訓(xùn)練,模型性能才能達(dá)到比較好的水平。

無(wú)論是提高模型參數(shù)量還是提升數(shù)據(jù)規(guī)模,算力依舊是大模型能力提升的核心驅(qū)動(dòng)力:需要用"足夠大"的算力,去支撐起"足夠精準(zhǔn)"模型泛化能力。當(dāng)前大模型訓(xùn)練的算力當(dāng)量還在進(jìn)一步增大,從GPT-3到GPT-4算力當(dāng)量增長(zhǎng)了68倍。算力當(dāng)量越大,交叉熵越小,模型能力越強(qiáng)。隨著訓(xùn)練的token數(shù)、模型參數(shù)、計(jì)算量的增加,語(yǔ)言模型的loss在平滑下降,這就意味著大語(yǔ)言模型的精度可以隨著計(jì)算量、參數(shù)規(guī)模、token數(shù)擴(kuò)展進(jìn)一步提升。

浪潮信息Owen ZHU:大模型百花齊放,算力效率決定速度


  • 欲煉大模型,先利其器

大模型能力來(lái)源于大量工程實(shí)踐經(jīng)驗(yàn),預(yù)訓(xùn)練的工程挑戰(zhàn)巨大,這表現(xiàn)在如下幾個(gè)方面:首先,AI大模型的演化對(duì)于集群的并行運(yùn)算效率、片上存儲(chǔ)、帶寬、低延時(shí)的訪存等也都提出了較高的需求,萬(wàn)卡AI平臺(tái)的規(guī)劃建設(shè)、性能調(diào)優(yōu)、算力調(diào)度都是很難解決的難題;其次,大規(guī)模訓(xùn)練普遍存在硬件故障、梯度爆炸等小規(guī)模訓(xùn)練不會(huì)遇到的問(wèn)題;再次,工程實(shí)踐方面的缺乏導(dǎo)致企業(yè)難以在模型質(zhì)量上實(shí)現(xiàn)快速提升。

作為最早布局大模型的企業(yè)之一,浪潮信息在業(yè)界率先推出了中文AI巨量模型"源1.0",參數(shù)規(guī)模高達(dá)2457億。千億參數(shù)規(guī)模的大模型創(chuàng)新實(shí)踐,使得浪潮信息在大模型領(lǐng)域積累了實(shí)戰(zhàn)技術(shù)經(jīng)驗(yàn)并擁有專業(yè)的研發(fā)團(tuán)隊(duì),為業(yè)界提供AI算力系統(tǒng)參考設(shè)計(jì)。在算力效率層面,針對(duì)大模型訓(xùn)練中存在計(jì)算模式復(fù)雜,算力集群性能較低的情況,源1.0在大規(guī)模分布式訓(xùn)練中采用了張量并行、流水線并行和數(shù)據(jù)并行的三維并行策略,訓(xùn)練耗時(shí)約15天,共計(jì)訓(xùn)練了180 billion token,并將模型最后的loss值收斂至1.73,顯著低于GPT-3等業(yè)界其他語(yǔ)言模型。首次提出面向效率和精度優(yōu)化的大模型結(jié)構(gòu)協(xié)同設(shè)計(jì)方法,圍繞深度學(xué)習(xí)框架、訓(xùn)練集群IO、通信開(kāi)展了深入優(yōu)化,在僅采用2x200G互聯(lián)的情況下,源1.0的算力效率達(dá)到45%,算力效率世界領(lǐng)先。在集群高速互聯(lián)層面,基于原生RDMA實(shí)現(xiàn)整個(gè)集群的全線速組網(wǎng),并對(duì)網(wǎng)絡(luò)拓?fù)溥M(jìn)行優(yōu)化,可以有效消除混合計(jì)算的計(jì)算瓶頸,確保集群在大模型訓(xùn)練時(shí)始終處于最佳狀態(tài)。

  • 為大模型良好生態(tài)發(fā)展尋找最優(yōu)解

當(dāng)前,中國(guó)和業(yè)界先進(jìn)水平大模型的算力差距依然較大,從算力當(dāng)量來(lái)看,GPT-4的算力當(dāng)量已經(jīng)達(dá)到了248,842PD,而國(guó)內(nèi)大多數(shù)主流的大模型算力大量?jī)H為數(shù)千PD,差距高達(dá)近百倍。

同時(shí),中國(guó)和業(yè)界先進(jìn)水平大模型在算法、數(shù)據(jù)方面也存在巨大差距。在算法方面,雖然開(kāi)源為國(guó)內(nèi)大模型發(fā)展帶來(lái)了彎道超車的良機(jī),但LLaMA等開(kāi)源大模型相比GPT4等頂級(jí)水平自研模型的性能,開(kāi)源模型的能力存在"天花板"。

在數(shù)據(jù)方面,中文數(shù)據(jù)集和英文數(shù)據(jù)集相比較,在規(guī)模、質(zhì)量上均存在顯著差距,相較于動(dòng)輒數(shù)千億單詞量級(jí)的英文數(shù)據(jù),中文大模型的數(shù)據(jù)量級(jí)僅為百億左右,而且開(kāi)源程度較低,封閉程度較高。

開(kāi)發(fā)大模型、發(fā)展通用人工智能是一項(xiàng)非常復(fù)雜的系統(tǒng)工程,我們亟需從系統(tǒng)層面為未來(lái)大模型的良好生態(tài)發(fā)展尋找最優(yōu)解。從實(shí)戰(zhàn)中走來(lái),通過(guò)構(gòu)建高效穩(wěn)定的智算系統(tǒng),加速模型開(kāi)發(fā)效率提升。

日前,浪潮信息大模型智算軟件棧OGAI(Open GenAI Infra)——"元腦生智"已正式發(fā)布。浪潮信息正通過(guò)"工具化、系統(tǒng)化、全鏈條"的全棧賦能能力,讓煉大模型省時(shí)、省力,讓大模型更快、更穩(wěn)、更智能,助力百模真正實(shí)現(xiàn)"競(jìng)速AIGC"。

浪潮信息Owen ZHU:大模型百花齊放,算力效率決定速度


 

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開(kāi)發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來(lái)越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來(lái)越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開(kāi)幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉