引起人工疑問(wèn)可顯著提高AI數(shù)學(xué)精度

是什么使AI系統(tǒng)擅長(zhǎng)數(shù)學(xué)?不是原始的計(jì)算能力，而是幾乎矛盾的東西：正確地謹(jǐn)慎。

當(dāng)AI研究人員談?wù)摂?shù)學(xué)推理時(shí)，他們通常專注于擴(kuò)展 - 更大的模型，更多參數(shù)和較大的數(shù)據(jù)集。但是在實(shí)踐中，數(shù)學(xué)能力并不是關(guān)于模型的計(jì)算多少。實(shí)際上，這是關(guān)于機(jī)器是否可以學(xué)會(huì)驗(yàn)證自己的工作，因?yàn)橹辽?0%的推理錯(cuò)誤來(lái)自自信地說(shuō)明錯(cuò)誤的中間步驟的模型。

我想一旦您理解，這聽(tīng)起來(lái)很明顯。任何數(shù)學(xué)家都會(huì)告訴您，解決嚴(yán)重問(wèn)題的關(guān)鍵不是原始智能，而是有條不紊的驗(yàn)證。然而多年來(lái)，人工智能研究人員一直在試圖通過(guò)使模型更大來(lái)違反數(shù)學(xué)能力，仿佛單獨(dú)的計(jì)算能力會(huì)產(chǎn)生仔細(xì)的推理。

Microsoft的RSTAR-MATH通過(guò)三個(gè)鏈接的創(chuàng)新來(lái)改變此模式：每個(gè)推理步驟的代碼驗(yàn)證，一個(gè)學(xué)會(huì)評(píng)估中間思維的偏好模型，以及一個(gè)多輪自我進(jìn)化過(guò)程。他們的7b參數(shù)模型(使用這些技術(shù))匹配或超過(guò)100倍大的模型的性能。

該系統(tǒng)通過(guò)在每個(gè)步驟中強(qiáng)制明確驗(yàn)證來(lái)起作用。每個(gè)數(shù)學(xué)推理都必須表示為正確運(yùn)行或失敗的可執(zhí)行代碼。這引起了一種人為的懷疑，它是一種健康的懷疑主義，可以防止不合理的飛躍。但是，僅驗(yàn)證還不夠，該系統(tǒng)還需要學(xué)習(xí)哪種推理方法比其他方法更好，這是通過(guò)其偏好模型所做的。它需要隨著時(shí)間的流逝而改善，這通過(guò)多輪自我訓(xùn)練實(shí)現(xiàn)。

RSTAR-MATH的概述。注意已驗(yàn)證的推理軌跡模塊。 它的工作方式大致如此：

1. 每個(gè)推理步驟都表示為必須正確運(yùn)行的Python代碼的簡(jiǎn)短片段。

2. 每個(gè)步驟的“流程偏好模型”對(duì)。

3. 該系統(tǒng)進(jìn)行了多輪訓(xùn)練，每個(gè)迭代都基于最后一個(gè)培訓(xùn)解決方案。

我懷疑這種持續(xù)的反饋循環(huán)迫使較小的模型以可驗(yàn)證的步驟“大聲思考”，而不僅僅是猜測(cè)。這與我們現(xiàn)在在ML世界?中看到的模式相匹配，重點(diǎn)是通過(guò)經(jīng)過(guò)思考的模式來(lái)提高性能。 Openai的O1是最突出的例子，但是我報(bào)道了許多其他觀察類似方法的論文。

表5

表5：最具挑戰(zhàn)性的數(shù)學(xué)基準(zhǔn)，RSTAR-MATH和其他Frontier LLM的結(jié)果。 RSTAR-MATH64顯示在采樣64個(gè)軌跡時(shí)達(dá)到的通行證@1的準(zhǔn)確性?！?- 從紙上。

無(wú)論如何，到最后一輪，這種較小的模型顯然在數(shù)學(xué)基準(zhǔn)上得分90%，并解決了真正的奧林匹克級(jí)AIME問(wèn)題的53%，足以將其置于前20%的人類參賽者中。我希望這樣的結(jié)果需要一個(gè)具有更多參數(shù)的模型。但是RSTAR-MATH表明，如果系統(tǒng)能夠驗(yàn)證每個(gè)步驟并盡早拒絕故障路徑，那么更大并不總是更好。

對(duì)我來(lái)說(shuō)，令人興奮的是這可能會(huì)概括。對(duì)于數(shù)學(xué)，代碼執(zhí)行是一個(gè)干凈的驗(yàn)證信號(hào)：代碼要么正確地運(yùn)行，并且輸出與部分結(jié)果一致，要么沒(méi)有。在其他領(lǐng)域(例如法律，疫苗研究或創(chuàng)意藝術(shù)任務(wù))中，每個(gè)步驟都沒(méi)有明顯的是/否測(cè)試。但是，我想我們?nèi)匀豢梢詣?chuàng)建特定于域的檢查或偏好模型，以確定每個(gè)推理是否可靠。如果是這樣，只要每個(gè)推理步驟得到驗(yàn)證，較小的模型就可以在許多專業(yè)任務(wù)中與較大的模型競(jìng)爭(zhēng)。

有些人可能會(huì)擔(dān)心基于代碼的驗(yàn)證是有限的，也許會(huì)問(wèn)：“我們?nèi)绾螌⑵鋽U(kuò)展到每個(gè)問(wèn)題?”但是我認(rèn)為我們會(huì)看到這種方法的創(chuàng)造性擴(kuò)展。例如，法律模型可以針對(duì)已知先例解析相關(guān)的法規(guī)或測(cè)試論證，并且醫(yī)學(xué)模型可能會(huì)咨詢知識(shí)庫(kù)或進(jìn)行標(biāo)準(zhǔn)治療的模擬。只要我們?yōu)檎_性構(gòu)建強(qiáng)大的檢查，我們甚至可以將這些想法應(yīng)用于日常任務(wù)。