浪潮發(fā)布全球最大規(guī)模人工智能巨量模型“源”

北京2021年9月28日 /美通社/ -- 9月28日，浪潮人工智能研究院在京發(fā)布全球最大規(guī)模人工智能巨量模型“源1.0”。“源”的單體模型參數(shù)量達(dá)2457億，超越美國OpenAI組織研發(fā)的GPT-3，成為全球最大規(guī)模的AI巨量模型?！霸?.0研討會(huì)”同期舉行，來自國內(nèi)相關(guān)領(lǐng)域的院士、專家出席了研討會(huì)，對(duì)AI巨量模型的創(chuàng)新與應(yīng)用進(jìn)行了深入研討交流。

源1.0模型參數(shù)規(guī)模為2457億，訓(xùn)練采用的中文數(shù)據(jù)集達(dá)5000GB，相比GPT3模型1750億參數(shù)量和570GB訓(xùn)練數(shù)據(jù)集，源1.0參數(shù)規(guī)模領(lǐng)先40%，訓(xùn)練數(shù)據(jù)集規(guī)模領(lǐng)先近10倍。

“源1.0”在語言智能方面表現(xiàn)優(yōu)異，獲得中文語言理解評(píng)測(cè)基準(zhǔn)CLUE榜單的零樣本學(xué)習(xí)和小樣本學(xué)習(xí)兩類總榜冠軍。在零樣本學(xué)習(xí)榜單中，“源1.0”超越業(yè)界最佳成績18.3%，在文獻(xiàn)分類、新聞分類，商品分類、原生中文推理、成語閱讀理解填空、名詞代詞關(guān)系6項(xiàng)任務(wù)中獲得冠軍；在小樣本學(xué)習(xí)的文獻(xiàn)分類、商品分類、文獻(xiàn)摘要識(shí)別、名詞代詞關(guān)系等4項(xiàng)任務(wù)獲得冠軍。在成語閱讀理解填空項(xiàng)目中，源1.0的表現(xiàn)已超越人類得分。

ZeroCLUE零樣本學(xué)習(xí)榜（第一行為人類得分）

FewCLUE小樣本學(xué)習(xí)榜（第一行為人類得分）

在對(duì)“源1.0”進(jìn)行的“圖靈測(cè)試”中，將源1.0模型生成的對(duì)話、小說續(xù)寫、新聞、詩歌、對(duì)聯(lián)與由人類創(chuàng)作的同類作品進(jìn)行混合并由人群進(jìn)行分辨，測(cè)試結(jié)果表明，人群能夠準(zhǔn)確分辨人與“源1.0”作品差別的成功率已低于50%。

巨量模型的發(fā)展備受關(guān)注。斯坦福大學(xué)李飛飛教授等人工智能領(lǐng)域知名學(xué)者近期在論文中表示，這類巨量模型的意義在于突現(xiàn)和均質(zhì)。突現(xiàn)意味著通過巨大模型的隱含的知識(shí)和推納可帶來讓人振奮的科學(xué)創(chuàng)新靈感出現(xiàn)；均質(zhì)表示巨量模型可以為諸多應(yīng)用任務(wù)泛化支持提供統(tǒng)一強(qiáng)大的算法支撐。

源1.0中文巨量模型的發(fā)布，使得中國學(xué)術(shù)界和產(chǎn)業(yè)界可以使用一種通用巨量語言模型的方式，大幅降低針對(duì)不同應(yīng)用場(chǎng)景的語言模型適配難度；同時(shí)提升在小樣本學(xué)習(xí)和零樣本學(xué)習(xí)場(chǎng)景的模型泛化應(yīng)用能力。

浪潮人工智能研究院表示，“源1.0”將面向?qū)W術(shù)研究單位和產(chǎn)業(yè)實(shí)踐用戶進(jìn)行開源、開放、共享，降低巨量模型研究和應(yīng)用的門檻，有效推進(jìn)AI產(chǎn)業(yè)化和產(chǎn)業(yè)AI化的進(jìn)步，切實(shí)為國家在人工智能研究創(chuàng)新和產(chǎn)業(yè)發(fā)展作出貢獻(xiàn)。