神經(jīng)網(wǎng)絡(luò)內(nèi)在邏輯：沒打開的AI“黑匣子”

伴隨著大數(shù)據(jù)，AI在沉寂了多年之后，又迎來了新的高潮。在這場涉及大部分科學(xué)的革命中，人工神經(jīng)網(wǎng)絡(luò)釋放了人工智能。但科學(xué)家們發(fā)現(xiàn)，這一關(guān)鍵技術(shù)暗含著一個(gè)問題：人工神經(jīng)網(wǎng)絡(luò)就是一個(gè)“黑匣子”。

我們都知道，無論人工神經(jīng)網(wǎng)絡(luò)有多么復(fù)雜，都可以將其看作是三部分：輸入層、輸出層和隱含層。其中，我們通過深度學(xué)習(xí)，對神經(jīng)網(wǎng)絡(luò)進(jìn)行一層一層的疊加訓(xùn)練，以此來有效調(diào)整神經(jīng)網(wǎng)絡(luò)各級(jí)神經(jīng)元的權(quán)重。但是，這里有一個(gè)問題，除去輸入和輸出，我們對隱含層發(fā)生了什么一無所知，即對神經(jīng)網(wǎng)絡(luò)內(nèi)部邏輯行為無從認(rèn)知。

華盛頓大學(xué)的研究生Marco Ribeiro使用過一種叫做反事實(shí)探測的方法來了解這個(gè)“黑匣子”。此方法具體就是通過給輸入一點(diǎn)微小的變化，隨即查看輸出的變化，并記錄這些變化。但是很顯然，這一方法需要上千次的操作和嘗試，而且無法幫助我們?nèi)嬲J(rèn)識(shí)人工神經(jīng)網(wǎng)絡(luò)。

而Google的另一位計(jì)算機(jī)科學(xué)家Mukund Sundararajan設(shè)計(jì)了一種探測器，大大減少了輸入。不同于Ribeiro采取的隨機(jī)輸入，Sundararajan的研究創(chuàng)新點(diǎn)是引入一個(gè)空白的參考。

首先，Sundararajan輸入一個(gè)零排列的數(shù)組，隨后讓輸入數(shù)據(jù)逐步向需要測試的目標(biāo)數(shù)據(jù)轉(zhuǎn)變，以此通過輸出變化來反過來研究內(nèi)在邏輯。這里值得注意的是，隨著每一步的變化，科學(xué)家們就能看到它確切的變化軌跡，從而可以以此預(yù)測變化特征。但這依然不可信，預(yù)測的結(jié)果仍然是存在很大誤差的。

對此，美國華盛頓州微軟研究所計(jì)算機(jī)科學(xué)家RiCh Caruana融入廣義加法模型（GAM）來對數(shù)據(jù)間的復(fù)雜關(guān)系進(jìn)行處理。我們都知道，統(tǒng)計(jì)學(xué)中GAM就是一種基于線性回歸，然后在一組數(shù)據(jù)中找到線性趨勢的方法。Caruana增加了這一過程，他先利用機(jī)器學(xué)習(xí)來輸出變化，隨后將網(wǎng)絡(luò)輸出的數(shù)據(jù)輸入到GAM，找出變化之間的相關(guān)性，以此來研究神經(jīng)網(wǎng)絡(luò)的內(nèi)在邏輯。

除此之外，在圖像研究領(lǐng)域，還有科學(xué)家利用生成式對抗網(wǎng)絡(luò)（GAN）對神經(jīng)網(wǎng)絡(luò)進(jìn)行研究，然而所有的這些努力都是嘗試，普適的研究方法至今尚未得出。

現(xiàn)在，不僅科學(xué)家認(rèn)識(shí)到這一問題的緊迫性，多國政府也意識(shí)到這一問題。根據(jù)歐盟的一項(xiàng)指示，明年所有有巨大影響力的公司需向公眾解釋其模型的內(nèi)在邏輯。此外，美國軍方的藍(lán)天研究機(jī)構(gòu)國防高級(jí)研究計(jì)劃署也正在向一個(gè)稱為“可解釋AI”的新計(jì)劃投入7000萬美元。

Google的機(jī)器學(xué)習(xí)研究員Maya Gupta說，硅谷的研究人員們也在試圖打開AI的“黑匣子”。除了運(yùn)行后操作的準(zhǔn)確性，所有人心中還有一個(gè)非常大的顧忌：因?yàn)椴恢浪谧鍪裁?，所以不確定能不能相信它。

伴隨著人工智能（AI）應(yīng)用的蓬勃之勢，出于安全隱患的考慮，神經(jīng)網(wǎng)絡(luò)內(nèi)在邏輯的這一“盲點(diǎn)”確實(shí)急需規(guī)避。