人工智能可以預(yù)測物體運(yùn)動(dòng)嗎

人類可以輕松地識(shí)別事物并對(duì)其行為進(jìn)行推理，這是我們認(rèn)知發(fā)展的核心。即使是兒童，他們也會(huì)根據(jù)物體動(dòng)態(tài)對(duì)其進(jìn)行細(xì)分，并用持久性、穩(wěn)定性、連續(xù)性的概念來解釋物體發(fā)生了什么，以及推測在其他情況下物體會(huì)發(fā)生什么。

受此啟發(fā)，為了簡化人工智能模型的視覺識(shí)別問題，來自麻省理工學(xué)院-IBM Watson人工智能實(shí)驗(yàn)室、麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室、DeepMind和哈佛大學(xué)的一組研究人員引入了一套動(dòng)態(tài)視頻推理基準(zhǔn)——CLEVRER，并開發(fā)出了一套能預(yù)測物體運(yùn)動(dòng)的模型。

CLEVRER包含了由物理引擎生成的2萬多個(gè)時(shí)長為5秒的碰撞物體視頻，每個(gè)視頻里包含了三種形狀、兩種材料和八種顏色。同時(shí)還包括30多萬個(gè)問題和答案。這些視頻和問題全部都集中在邏輯推理的四個(gè)要素上：描述，什么顏色；說明，什么原因造成；預(yù)測，接下去會(huì)發(fā)生什么；反事實(shí)，如果發(fā)什么。

模型運(yùn)行示意圖

通過解析CLEVRER，研究人員確定了在描述性、解釋性、預(yù)測性和反事實(shí)性問題上，訓(xùn)練AI模型需要的內(nèi)容，分別是：對(duì)物體、事件之間的運(yùn)動(dòng)、因果關(guān)系，以及背后的邏輯關(guān)系進(jìn)行推理的符號(hào)描述。隨后，研究人員據(jù)此開發(fā)了神經(jīng)符號(hào)動(dòng)態(tài)推理模型（NS-DR）。

這個(gè)模型實(shí)際由四個(gè)部分合成。分別是：視頻幀解析器，神經(jīng)動(dòng)態(tài)預(yù)測器，問題解析器和符號(hào)程序執(zhí)行器。給定輸入視頻，視頻幀解析器會(huì)檢測場景中的對(duì)象并提取其軌跡和屬性（即位置，顏色，形狀，材質(zhì)）。形成視頻的抽象描述后，將其發(fā)送到神經(jīng)動(dòng)態(tài)預(yù)測器以預(yù)測對(duì)象的運(yùn)動(dòng)和碰撞。問題解析器接收輸入問題以獲得代表其邏輯的功能程序。然后，符號(hào)程序執(zhí)行器在動(dòng)態(tài)場景上運(yùn)行該程序并輸出答案。

根據(jù)該團(tuán)隊(duì)報(bào)告，在用1000個(gè)程序應(yīng)用了該模型后，他們的模型對(duì)問題的識(shí)別準(zhǔn)確率達(dá)到了88.1％，優(yōu)于其他基準(zhǔn)模型。在解釋性，預(yù)測性和反事實(shí)性問題上，則有更好的表現(xiàn)。

研究人員指出：“ NS-DR 將動(dòng)態(tài)規(guī)劃納入視覺推理任務(wù)中，可以直接預(yù)測未觀察到的運(yùn)動(dòng)和事件，并可為預(yù)測性和反事實(shí)性任務(wù)啟用。其次，符號(hào)描述為視覺，語言，動(dòng)力和因果關(guān)系提供了強(qiáng)大的基礎(chǔ)。通過設(shè)計(jì)，它使模型能夠明確捕捉視頻的因果結(jié)構(gòu)和問題背后的邏輯構(gòu)成?！?/p>

不過，研究人員也承認(rèn)，即便訓(xùn)練所需的數(shù)據(jù)量相對(duì)較少，但模型在實(shí)際應(yīng)用中仍很難使用。此外，在需要長期動(dòng)態(tài)預(yù)測的任務(wù)（例如反事實(shí)問題）上，NS-DR的性能也沒有那么高，這表明未來仍需要一種能夠生成更穩(wěn)定和準(zhǔn)確軌跡的動(dòng)態(tài)模型。