參照人類大腦，學會忘記會讓AI大模型變得更好？

計算機科學家團隊近期開發(fā)出一種更敏捷更具彈性的機器學習模型，它們可以周期性忘記已知信息，而現(xiàn)有大語言模型不具備忘卻能力。

實測表明，在很多情況下，“忘卻法”的訓練效率很高，忘卻型模型表現(xiàn)也會更好。韓國基礎科學研究院（Institute for Basic Science）的AI工程師Jea Kwon說，新研究意味著AI領域取得明顯進步。

“忘卻法”訓練效率很高

今天的AI語言引擎大多都是人工神經(jīng)網(wǎng)絡驅(qū)動的。網(wǎng)絡中的每一個“神經(jīng)元”都是一個數(shù)學函數(shù)，它會從其它神經(jīng)元接收信號，它會運算，然后通過多層神經(jīng)元發(fā)送信號。

最開始時信息流或多或少都是隨機的，當網(wǎng)絡不斷與訓練數(shù)據(jù)匹配，神經(jīng)元之間流動的信息會不斷優(yōu)化。例如，如果研究人員想訓練一個雙語翻譯模型，它首先要收集海量雙語文本，用文本訓練模型，它會調(diào)整神經(jīng)元之間的連接，將一種語言中的文本與另一種語言中的等效單詞聯(lián)系起來。

上述訓練會耗費大量計算力。如果模型運行時不夠出色，如果后來用戶的需求變了，模型會很難匹配。

新模型研究人員Mikel Artetxe說：“假設你有一個模型，里面包含100種語言，有1種語言沒有被覆蓋。如果你想將這種語言添加進去，那就要重新訓練?！?

幾年前，Artetxe和同事用1種語言訓練神經(jīng)網(wǎng)絡，他們抹去神經(jīng)網(wǎng)絡所知的單詞組成信息，也就是所謂的“Tokens”。Tokens存儲在神經(jīng)網(wǎng)絡的第一層，它也叫“嵌入層”。對于其它層，不去理睬。抹去第1語言的Tokens之后，用第2種語言訓練，第2種語言新的Tokens可以填充到嵌入層。

雖然模型包含大量不匹配信息，但仍然可以用第2種語言重新訓練，也就是說模型可以學習、處理第2種語言。研究人員認為，雖然嵌入層存儲了第2種語言的語匯特殊信息，但神經(jīng)網(wǎng)絡更底層存儲了抽象信息，它涉及到人類語言的幕后概念，正是這些概念幫助模型學習第二種語言。

研究報告作者Yihong Chen認為：“我們生活在相同的世界，用不同語言的不同詞匯來賦予相同事物以概念。所以在模型之中會有相同等級的推理，比如一個蘋果，它是甜的，美味的，它不只是一個詞匯?！?

將新語言添加到已訓練模型中，采用“忘卻法”效率很高，盡管如此，還是需要重新訓練，仍然需要海量數(shù)據(jù)和強大的處理能力。有沒有更好的辦法？當然有，不需要訓練，直接抹去嵌入層，然后再訓練，也就是在初步訓練時周期性重置嵌入層。

Artetxe稱：“如此一來，整個模型就能適應重置。如果你想擴展模型，讓它適應另一種語言，過程會變得更容易。”

忘卻型模型表現(xiàn)更好

研究人員用一種比較通用的大語言模型Roberta做實驗，采用周期性忘卻技術訓練，將它與那些用標準、非忘卻方法訓練的模型作比較。結(jié)果發(fā)現(xiàn)，在處理第1種語言時，忘卻型模型得分85.1分，傳統(tǒng)標準模型得分86.1分。再用第2種語言訓練，只用約500萬Tokens（第一種語言用了700億）訓練，忘卻型模型的精準度得分降至62.7分，標準模型降到53.3分。

再訓練時如果研究人員施加計算限制，忘卻型模型的表現(xiàn)會更好。例如，當研究人員將訓練長度從125000步短到5000步，忘卻型模型的平均得分約為57.8分，標準模型降到37.2分，幾乎和猜測差不多。

因此研究人員得出結(jié)論：在學習語言時，忘卻型模型表現(xiàn)更好一些。

魁北克深度學習研究中心Mila的研究人員Evgenii Nikishin認為：“因為模型在訓練時不斷忘卻，然后再重新學習，所以后面再教網(wǎng)絡一些新東西時會變得更容易些?！狈N種跡象顯示，模型理解語言時會從更深層次著眼，不只是了解單個詞匯的意思。

忘卻法與人類大腦的運行模式有些相似。舊金山大學神經(jīng)科學家Benjamin Levy認為：“存儲大量詳細信息時人類記憶是相當不精準的。但人類大腦可以記住經(jīng)驗要點，記住抽象信息，而且擅長推斷。讓AI像人類一樣處理信息，比如讓它具備忘卻能力，AI也許會更有彈性?！?

Yihong Chen認為，未來也許會出現(xiàn)制造語言模型的工廠，這樣的工廠需要忘卻型技術，它是一個基本模型，可以快速適應新領域。（小刀）