騰訊混元大模型發(fā)布：預(yù)訓(xùn)練語料超2萬億tokens

9月7日消息，2022年底至今，各種AI大模型火爆全球，國內(nèi)更是掀起“千模大戰(zhàn)”，眾多頭部科技企業(yè)競相投入研發(fā)。

在今日舉行的2023騰訊全球數(shù)字生態(tài)大會(huì)上，騰訊集團(tuán)高級執(zhí)行副總裁、云與智慧產(chǎn)業(yè)事業(yè)群CEO湯道生正式發(fā)布騰訊混元大模型。

據(jù)悉，該大模型為騰訊全鏈路自研大語言模型，參數(shù)規(guī)模超千億，預(yù)訓(xùn)練語料超2萬億tokens(大語言模型文本單位)，具有中文創(chuàng)作能力、任務(wù)執(zhí)行能力和復(fù)雜語境下的邏輯推理能力。

混元大模型已在騰訊云、騰訊廣告、微信搜一搜等多個(gè)騰訊內(nèi)部業(yè)務(wù)和產(chǎn)品經(jīng)過測試。同時(shí)也服務(wù)產(chǎn)業(yè)場景，客戶可基于API調(diào)用混元，也可基于混元做專屬的行業(yè)大模型。

因此，騰訊方面推出了“騰訊云MaaS服務(wù)”，在騰訊云行業(yè)大模型精選商店中，不僅提供混元大模型，還上架了20多種行業(yè)最新、最流行的開源通用大模型，以及覆蓋金融、文旅、零售、政務(wù)、醫(yī)療、教育等20多個(gè)領(lǐng)域的行業(yè)大模型。

據(jù)介紹，混元大模型能在多種場景下處理超長文本，通過位置編碼優(yōu)化，提升長文處理效果和性能，結(jié)合指令跟隨優(yōu)化，讓產(chǎn)出內(nèi)容更符合字?jǐn)?shù)要求。

值得一提的是，該大模型號稱能識別“陷阱”，簡單說就是通過強(qiáng)化學(xué)習(xí)方法拒絕被“誘導(dǎo)”，比如用戶有意或無意問出難以回答、無法回答的問題，安全誘導(dǎo)類問題拒答率提升20%。

據(jù)了解，微信已上線“騰訊混元”公眾號、“騰訊混元助手”小程序，但目前“騰訊混元助手”小程序還是內(nèi)測狀態(tài)，只有受邀用戶才能體驗(yàn)，但根據(jù)界面來看，這是一款能夠進(jìn)行智能對話的助手。

小程序簡介顯示，“騰訊混元助手”的功能包括AI問答、AI繪畫，可以回答各類問題，也能處理多種任務(wù)，如獲取知識、解決數(shù)學(xué)問題、翻譯、提供旅游攻略、工作建議等。