斯坦福探索深度神經(jīng)網(wǎng)絡(luò)可解釋性 決策樹是關(guān)鍵

深度學(xué)習(xí)的熱潮還在不斷涌動(dòng)，神經(jīng)網(wǎng)絡(luò)再次成為業(yè)界人士特別關(guān)注的問題，AI 的未來大有可期，而深度學(xué)習(xí)正在影響我們的日常生活。近日斯坦福大學(xué)給我們分享咯一則他對(duì)深度神經(jīng)網(wǎng)絡(luò)可解釋性的探索的論文，我們?nèi)タ纯此侨缋斫獾陌桑?/p>

近日，斯坦福大學(xué)計(jì)算機(jī)科學(xué)博士生 Mike Wu 發(fā)表博客介紹了他對(duì)深度神經(jīng)網(wǎng)絡(luò)可解釋性的探索，主要提到了樹正則化。其論文《Beyond Sparsity： Tree RegularizaTIon of Deep Models for Interpretability》已被 AAAI 2018 接收。

近年來，深度學(xué)習(xí)迅速成為業(yè)界、學(xué)界的重要工具。神經(jīng)網(wǎng)絡(luò)再次成為解決圖像識(shí)別、語音識(shí)別、文本翻譯以及其他困難問題的先進(jìn)技術(shù)。去年十月，Deepmind 發(fā)布了 AlphaGo 的更強(qiáng)版本，從頭開始訓(xùn)練即可打敗最優(yōu)秀的人類選手和機(jī)器人，表明 AI 的未來大有可期。在業(yè)界，F(xiàn)acebook、谷歌等公司將深度網(wǎng)絡(luò)集成在計(jì)算 pipeline 中，從而依賴算法處理每天數(shù)十億比特的數(shù)據(jù)。創(chuàng)業(yè)公司，如 Spring、Babylon Health 正在使用類似的方法來顛覆醫(yī)療領(lǐng)域。深度學(xué)習(xí)正在影響我們的日常生活。

圖 1：GradCam - 利用目標(biāo)概念的梯度突出重要像素，從而創(chuàng)建決策的視覺解釋。

但是深度學(xué)習(xí)是一個(gè)黑箱。我第一次聽說它時(shí)，就對(duì)其工作原理非常費(fèi)解。幾年過去了，我仍然在探索合理的答案。嘗試解釋現(xiàn)代神經(jīng)網(wǎng)絡(luò)很難，但是至關(guān)重要。如果我們打算依賴深度學(xué)習(xí)制造新的 AI、處理敏感的用戶數(shù)據(jù)，或者開藥，那么我們必須理解這些模型的工作原理。

很幸運(yùn)，學(xué)界人士也提出了很多對(duì)深度學(xué)習(xí)的理解。以下是幾個(gè)近期論文示例：

Grad-Cam（Selvaraju et. al. 2017）：使用最后卷積層的梯度生成熱力圖，突出顯示輸入圖像中的重要像素用于分類。

LIME（Ribeiro et. al. 2016）：使用稀疏線性模型（可輕松識(shí)別重要特征）逼近 DNN 的預(yù)測(cè)。

特征可視化（Olah 2017）：對(duì)于帶有隨機(jī)噪聲的圖像，優(yōu)化像素來激活訓(xùn)練的 DNN 中的特定神經(jīng)元，進(jìn)而可視化神經(jīng)元學(xué)到的內(nèi)容。

Loss Landscape（Li et. al. 2017）：可視化 DNN 嘗試最小化的非凸損失函數(shù)，查看架構(gòu)／參數(shù)如何影響損失情況。

圖 2：特征可視化：通過優(yōu)化激活特定神經(jīng)元或一組神經(jīng)元，從而生成圖像（Olah 2017）。

從上述示例中可見，學(xué)界對(duì)如何解釋 DNN 存在不同見解。隔離單個(gè)神經(jīng)元的影響？可視化損失情況？特征稀疏性？