ASC22超算競賽進(jìn)入預(yù)賽，大學(xué)生從零打造AI大模型

（全球TMT2022年2月17日訊）2022 ASC世界大學(xué)生超級(jí)計(jì)算機(jī)競賽（ASC22）已進(jìn)入預(yù)賽階段。來自全球各地的300多支參賽隊(duì)伍正在挑戰(zhàn)一道人工智能難題 -- AI語言大模型。組委會(huì)提供了100GB高質(zhì)量中文數(shù)據(jù)集，要求參賽隊(duì)基于此數(shù)據(jù)集實(shí)現(xiàn)一個(gè)47億參數(shù)的“源”AI語言大模型，以此激發(fā)參賽大學(xué)生對自然語言處理的興趣與創(chuàng)造力，激勵(lì)他們向這一人工智能“皇冠上的明珠”發(fā)起沖擊。

ASC22組委會(huì)提供了100GB高質(zhì)量中文數(shù)據(jù)集，要求參賽隊(duì)基于這一數(shù)據(jù)集實(shí)現(xiàn)一個(gè)47億參數(shù)的“源”AI語言大模型。但是，組委會(huì)并未提供大模型設(shè)計(jì)的參考代碼。這就意味著參賽隊(duì)需要從零開始，自行完成模型結(jié)構(gòu)構(gòu)建和全部訓(xùn)練過程，并合理設(shè)計(jì)模型訓(xùn)練策略，以期得到最佳的計(jì)算性能。因此，這道賽題也變得更具挑戰(zhàn)性：在追求極致性能的同時(shí)，還要滿足精度約束，這也是在實(shí)際大模型研發(fā)中，行業(yè)人士經(jīng)常會(huì)面臨的關(guān)鍵問題。