全球AI泰斗Stuart Rusell：研究人工智能太誘人了，不可抗拒

 UC Berkeley 大學(xué)計(jì)算機(jī)科學(xué)系教授，人工智能著名教材《Artificial Intelligence: A Modern Approach 》第一作者日前接受了Edge的專訪。目前全世界有1300多所學(xué)校，包括一些知名大學(xué)，都在使用他的書作為人工智能標(biāo)準(zhǔn)教材。這位人工智能界赫赫有名的大師分享了他對(duì)人工智能的獨(dú)特觀點(diǎn)。他認(rèn)為，大多數(shù)人對(duì)智能的定義都是不清晰的。結(jié)合自己多年來的研究心得，他在訪談中嘗試對(duì)“智能”一詞進(jìn)行定義：有限最優(yōu)性(bounded optimality)。他認(rèn)為：我仍然不認(rèn)為我們應(yīng)該將 AI 看作算法的集合。算法只是針對(duì)特定問題的高度工程化的產(chǎn)物。

【人物簡介】Stuart Russell，UC Berkeley 大學(xué)計(jì)算機(jī)科學(xué)教授。他是人工智能著名教材《Artificial Intelligence: A Modern Approach 》第一作者。

研究人工智能太誘人了，不可抗拒

我的工作領(lǐng)域是人工智能，從一開始我就問自己如何能創(chuàng)造真正的智能系統(tǒng)。我的一部分大腦總在考慮下一個(gè)障礙會(huì)在哪里。為什么我們的認(rèn)知放在現(xiàn)實(shí)世界中總是出錯(cuò)?錯(cuò)誤的本質(zhì)是什么?如何避免?如何創(chuàng)造新一代表現(xiàn)更好的系統(tǒng)?同時(shí)，如果我們成功了，會(huì)發(fā)生什么?

回溯到1994年，利益和可能出現(xiàn)的弊端尚且是均勢(shì)的。盡管人工智能可能帶來的大規(guī)模失業(yè)風(fēng)險(xiǎn)已很明顯，失控可能出現(xiàn)。如果你建造了比你更聰明的系統(tǒng)，很明顯會(huì)有失控的問題。想象你是只大猩猩，問問自己，我的祖先應(yīng)該進(jìn)化成人類嗎?

從大猩猩的觀點(diǎn)來看，這可不是個(gè)好主意。94年我要說我對(duì)為什么我們會(huì)失去對(duì)AI的控制還不太理解。打個(gè)比方，人們?cè)谛尚珊腿祟惢蛘呷祟惡统?jí)外星文明中做類比，但問題是猩猩沒有故意去設(shè)計(jì)人類，人類也沒有故意去設(shè)計(jì)出超級(jí)外星文明。

問題的本質(zhì)是什么?我們能否解決?我愿意相信能夠解決。一種解決思路是要么減緩AI的發(fā)展，要么停止發(fā)展智能系統(tǒng)中的某些方面——如果我們不知如何控制它的話。這是非常困難的，因?yàn)閴毫薮?。我們都想要更智能的系統(tǒng)——它們能帶來巨大的經(jīng)濟(jì)利益。

比爾·蓋茨說過，解決了機(jī)器學(xué)習(xí)的問題，抵得上十個(gè)微軟。彼時(shí)，那要花掉4萬億，這對(duì)人類推進(jìn)技術(shù)進(jìn)步來說還算是劃算的。我們?nèi)绾巫孉I更能干?如果可以，我們?nèi)绾文茏尳Y(jié)果對(duì)我們更有利?這是我經(jīng)常會(huì)問自己的問題。

我問的另一個(gè)問題是：為什么我的同事們沒有問自己這樣的問題?是因?yàn)槎栊詥?一個(gè)典型的工程師或計(jì)算機(jī)學(xué)家是不是已經(jīng)陷入了某種慣性思維?或者他們是在一條他們沒有想過通往何處的軌道上，也從來不會(huì)去想是不是應(yīng)該停下來或者慢下來?或者只是我錯(cuò)了?在我的思考中，是不是有一些錯(cuò)誤，將我導(dǎo)向了失控的誤判?我總在問自己是不是我錯(cuò)了。

我審視了人們關(guān)于這個(gè)問題是否值得注意的爭論。他們不愿意直面這個(gè)問題，因?yàn)樗坪醴磳?duì)聲是來自于人類的一些防備心。很明顯，威脅是存在的。我們可以看看原子物理學(xué)的發(fā)展歷史。有一些非常著名的原子物理學(xué)家就是不承認(rèn)原子物理學(xué)會(huì)導(dǎo)向核武器。

核武器的想法大約出現(xiàn)在至少1914年，當(dāng)時(shí)H.G.Wells寫了World Set Free，其中他描述了一種原子炸彈的武器。物理學(xué)的部分他寫的不是太準(zhǔn)確。他想象原子炸彈能夠持續(xù)爆炸數(shù)周，釋放出巨大的能量，會(huì)給一座城市帶來巨大的能源。基本就是這樣。也有一些物理學(xué)家，比如Frederick Soddy，預(yù)見到了風(fēng)險(xiǎn)，但更有像Ernest Rutherford這樣的科學(xué)家就是不承認(rèn)可能出現(xiàn)的危險(xiǎn)。直到Leo Szilard發(fā)明原子鏈反應(yīng)的前夜，Rutherford 還在否認(rèn)。正式的實(shí)體建設(shè)本可以避免，而從無到有也不過區(qū)區(qū)16小時(shí)。

我不認(rèn)為AI會(huì)發(fā)生同樣的事情，因?yàn)槲覀冞€有一個(gè)瓶頸需要突破。Szilard似乎就是突破了一個(gè)瓶頸，想出了原子鏈反應(yīng)的方法，不過在真正的核反應(yīng)被演示出來，這仍然花了5、6年的時(shí)間。

5、6年只是彈指一揮間。如果我們有5、6年時(shí)間搞出超級(jí)人工智能系統(tǒng)，我們也就不用擔(dān)心控制問題了，同時(shí)我們也可能會(huì)看到消極的結(jié)果。如果幸運(yùn)的話，它們會(huì)被限制起來，這就會(huì)成為一個(gè)我們?yōu)槭裁床灰@么做的反面例子。就好像切爾諾貝利被用來說明為什么要限制原子能反應(yīng)一樣。

早先我沒有太多考慮過限制和控制的問題。我的第一個(gè)AI項(xiàng)目是1975年的一個(gè)國際象棋程序，當(dāng)時(shí)是在高中。那時(shí)我讀了很多科幻小說，還看了《2001漫游》和《星際迷航》。在流行文化里，人工智能失控應(yīng)該是猴年馬月的事情。

年輕時(shí)我是個(gè)單純的科技樂觀主義者，對(duì)我來說研究人工智能太誘人了，不可抗拒。高中時(shí)我學(xué)習(xí)了計(jì)算機(jī)科學(xué)，對(duì)機(jī)器學(xué)習(xí)非常感興趣，我寫了一個(gè)小游戲程序，接著就是那個(gè)國際象棋程序。我讀了一些AI方面的書籍，不過那時(shí)我并不覺得AI是個(gè)嚴(yán)肅的學(xué)術(shù)領(lǐng)域。

從物理學(xué)到人工智能

我希望成為物理學(xué)家，所以本科選擇了物理學(xué)。我和物理學(xué)畢業(yè)生、博士后和一些導(dǎo)師聊了聊，對(duì)于原子理論的未來不太樂觀。你得花個(gè)10年在290個(gè)作者里脫穎而出，如果走運(yùn)的話，再花個(gè)十幾年成為博士后，然后你可能得到一個(gè)教職，但也有可能成為一個(gè)出租車司機(jī)。

1982年我畢了業(yè)，沒什么大事。弦理論開始流行了。人們?cè)趯ふ椅锢韺W(xué)的大一統(tǒng)理論，卻沒找到什么靠得住的。我記得非常清楚，我和當(dāng)時(shí)任教的Chris Liewellyn Smith有過一次交談——他很快就要去CERN當(dāng)主任了——我問他在做些什么。在所有我認(rèn)識(shí)的和在哈佛上過課的老師中，他是最聰明的一個(gè)。他說他也在搞大一統(tǒng)理論，還在努力把它們轉(zhuǎn)換成數(shù)理邏輯。因?yàn)閷W(xué)過一點(diǎn)AI，我明白他的意思。數(shù)理邏輯可以讓人直接比較兩個(gè)理論，來判斷它們是否相等或產(chǎn)生可測(cè)試的結(jié)果。對(duì)物理學(xué)家來說，這是個(gè)相當(dāng)新的想法，不光是供爭論，而且能提出數(shù)學(xué)上的證據(jù)。

他檢驗(yàn)了81條理論中的64條，結(jié)果只有3條獨(dú)立的理論，所以人們只是在書寫理論，都沒意識(shí)到他們和別人總結(jié)的理論沒什么不同。

這3條理論中有2條，原則上，是無法測(cè)試的，這意味著整個(gè)宇宙里都沒有可供觀測(cè)的結(jié)果。第三條可以被測(cè)試，但想看到任何可供觀測(cè)的結(jié)果要花上1031年。對(duì)我來說，這次談話相當(dāng)壓抑。平衡可能就是那時(shí)被打破的——還有關(guān)于畢業(yè)生和博士后的那件事——我于是投身到計(jì)算機(jī)科學(xué)，去了加州。

斯坦福受訓(xùn)

到達(dá)斯坦福的時(shí)候，我?guī)缀鯖]碰上任何計(jì)算機(jī)學(xué)家。我在高中和大學(xué)之間的那段時(shí)間，在IBM工作了一年。他們有一些非常好的計(jì)算機(jī)學(xué)家。在那兒我做了一些有意思的事，我對(duì)人工智能領(lǐng)域的計(jì)算機(jī)學(xué)家是個(gè)什么樣子也多少有了些認(rèn)識(shí)。

在Edinburgh我遇到了Alan Bundy，我也是在Edinburgh被授予的博士學(xué)位，那里有英國最好的AI項(xiàng)目。很多人建議我如果我能進(jìn)斯坦?；蛘進(jìn)IT，我應(yīng)該從二者里挑一個(gè)。盡管比申請(qǐng)截止時(shí)間晚了6周，我還是進(jìn)了斯坦福。他們?cè)敢饪紤]我的申請(qǐng)真是太好了。

我剛到那兒的時(shí)候，我的第一任導(dǎo)師是Doug Lenat。Doug非常積極樂觀，充滿干勁，他研究的問題也很酷。他繪制了他的Eurisko系統(tǒng)，作為一個(gè)多層機(jī)器學(xué)習(xí)系統(tǒng)，被用來自由成長為一個(gè)智能系統(tǒng)。

Doug很有野心，我喜歡這一點(diǎn)。我和他工作了一段時(shí)間。不幸的是，他沒有終身職位。對(duì)于任何學(xué)術(shù)機(jī)構(gòu)來說，他的野心可能有些太大了。有些人沒有看到他論文和實(shí)驗(yàn)中的嚴(yán)謹(jǐn)和清晰。

然后我和Mike Genesereth一起工作，他在數(shù)學(xué)上更為嚴(yán)謹(jǐn)。每篇論文都應(yīng)該有理論支撐。他想建立一套非常牢固的能力和概念的體系，但仍然有建立真正智能系統(tǒng)的野心。他對(duì)諸如自動(dòng)診斷、自動(dòng)設(shè)計(jì)這樣的應(yīng)用類科技也有興趣。

我和Zohar Manna有一些交流，他更像一位計(jì)算機(jī)邏輯學(xué)家，對(duì)用邏輯學(xué)來驗(yàn)證和綜合推理更有興趣。我從他那里吸取了不少有趣的想法。不過，他對(duì)AI不是特別感興趣，所以我們不是太合得來。一度我曾希望請(qǐng)Doug Lenat 和Zohar Manna作為我的兩位論文導(dǎo)師，但他們之間根本沒有溝通，所以沒能如愿。

82年我去了斯坦福。那里有Feigenbaum，Nils Nilsson 就在距離不遠(yuǎn)的SRI。Minsky當(dāng)時(shí)還有點(diǎn)不太顯眼。他論文發(fā)表得比較少。1976年他已經(jīng)發(fā)表了那篇Frames的論文，有些影響。斯坦福，像很多大學(xué)一樣，有他們的AI分支，而且他們也不太把他們自己的學(xué)生介紹到其他學(xué)校的AI分支去。

斯坦福有啟發(fā)式算法程序項(xiàng)目，由Ed Feigenbaum帶頭，主要是關(guān)于專家系統(tǒng)的。Mike Genesereth 也參與其中，但他采用的主要是基于邏輯的方法。概率當(dāng)時(shí)還不被認(rèn)為是特別相關(guān)的。當(dāng)時(shí)對(duì)于為什么你不能在構(gòu)建系統(tǒng)時(shí)采用概率論還是有爭論的。

概率論的廣泛介入是Eric Horvitz和David Heckerman這兩個(gè)醫(yī)學(xué)AI項(xiàng)目的畢業(yè)生以及Ted Shortliffe加入以后的事。他們閱讀了Judea Pearl關(guān)于貝葉斯網(wǎng)絡(luò)的著作，或者像他們當(dāng)時(shí)叫的，置信網(wǎng)絡(luò)。我那時(shí)開始理解那本著作有多重要了。1988年P(guān)earl的著作問世時(shí)，我相信以前我學(xué)到的一些內(nèi)容很可能是錯(cuò)的了。使用概率論是完全可行的，實(shí)際上，面對(duì)不確定性，它的效果比基于規(guī)則的方法好得多，此前斯坦福一直在推行基于規(guī)則的方法。

我的論文研究是機(jī)器學(xué)習(xí)方面的，但使用了邏輯工具來理解學(xué)習(xí)系統(tǒng)內(nèi)部發(fā)生了什么，尤其是，一個(gè)學(xué)習(xí)系統(tǒng)如何能借助它已經(jīng)學(xué)會(huì)的東西來幫助它進(jìn)一步的學(xué)習(xí)新知識(shí)。到今天為止這個(gè)問題仍很關(guān)鍵，因?yàn)楫?dāng)人類學(xué)習(xí)時(shí)，他們是借助一切他們已知的信息來理解未知的。

人類通常會(huì)從一、兩個(gè)典型的現(xiàn)象或一種新接觸的事物或經(jīng)歷中快速學(xué)習(xí)，而當(dāng)前的機(jī)器學(xué)習(xí)系統(tǒng)可能需要數(shù)萬或數(shù)百萬的例子才能達(dá)到學(xué)習(xí)的效果。當(dāng)前機(jī)器學(xué)習(xí)系統(tǒng)被設(shè)計(jì)為只學(xué)習(xí)很少的或零先前經(jīng)驗(yàn)，因?yàn)槿祟悓?duì)這個(gè)問題什么也不甚了解，但其實(shí)這并不是常態(tài)，人類總在不停的積累經(jīng)驗(yàn)，機(jī)器只是模擬了人類生命的前五分鐘的那種無知狀態(tài)。之后當(dāng)人類已經(jīng)知道了一些東西，就會(huì)開始使用他們所知道的東西來學(xué)習(xí)下一件事情了。

從零開始學(xué)習(xí)是一件好事，但它不能很好地解釋智力，除非你能證明你開始的這個(gè)空無一物的程序，繼續(xù)喂給它經(jīng)驗(yàn)，它變得超級(jí)智能。我們距離那個(gè)目標(biāo)還很遠(yuǎn)。

有限理性研究

如果你想想當(dāng)前的學(xué)習(xí)系統(tǒng)內(nèi)部發(fā)生了什么 - 我知道這有點(diǎn)跑題 - 我們教他們學(xué)會(huì)認(rèn)識(shí)一只羊或奧爾茲莫比爾牌汽車。這些是離散的邏輯類別，我們這樣做是因?yàn)樗鼘?duì)我們建立了一個(gè)羊識(shí)別器或奧爾茲莫比爾牌汽車識(shí)別器，而且是有用的，但如果這將變成一個(gè)更大規(guī)模的智能系統(tǒng)的一部分呢?如果你是一個(gè)深層學(xué)習(xí)的信徒，你不相信深度學(xué)習(xí)網(wǎng)絡(luò)會(huì)使用離散的邏輯類別或“羊有四條腿”這種明確的知識(shí)，你為什么認(rèn)為訓(xùn)練羊識(shí)別器是邁向通用智能的一個(gè)步驟，除非通用智能確實(shí)使用離散的邏輯類別思考，或者至少反觀人類似乎是這樣的?

我做的第一件被認(rèn)為是機(jī)器學(xué)習(xí)領(lǐng)域的一件大事，就是在有限理性(bounded rationality)上的研究。在我看來，智力是一種做事成功的能力。正確思考或快速地學(xué)習(xí)都有一個(gè)目的，就是能夠行事成功，或是選擇最有可能實(shí)現(xiàn)目標(biāo)的行動(dòng)。

智力的定義一直圍繞著經(jīng)濟(jì)學(xué)家所推崇的“理性”、控制理論家所關(guān)注的“最佳控制”、運(yùn)營研究者所提到的“決策問題的最佳政策”。在某種意義上，這些的確是我們想要的智力的正確定義。

在AI中，智力的定義是一種限制性的形式，應(yīng)該有一個(gè)邏輯目標(biāo)，比如我想到這個(gè)地方，或建造這個(gè)建筑——這是對(duì)于“成功”的定義，一個(gè)智能的機(jī)器就是生成保證實(shí)現(xiàn)該目標(biāo)計(jì)劃的智能體。當(dāng)然，在現(xiàn)實(shí)世界中，沒有任何保證，只有權(quán)衡。不確定性和權(quán)衡利弊是被包含在經(jīng)濟(jì)學(xué)對(duì)于“理性”的定義中當(dāng)中的，是預(yù)期效用的最大化的一部分;但在我看來，這不可能是AI的基礎(chǔ)，因?yàn)樗荒苻D(zhuǎn)化為計(jì)算。

如果我們將AI設(shè)置為構(gòu)建效用最大化的智能體，那我們永遠(yuǎn)不會(huì)達(dá)成任何目標(biāo)，因?yàn)樗鼜母旧鲜遣豢尚械模覀兩踔敛荒馨研в米畲蠡瘧?yīng)用在棋盤上。棋盤是一個(gè)微小的，離散的問題。眾所周知的，棋盤和完全可觀測(cè)的現(xiàn)實(shí)世界相比只是滄海一粟。而我們又必須在現(xiàn)實(shí)世界中運(yùn)作，這是將會(huì)是非常龐大的。我們不知道規(guī)則是什么，我們不能縱觀世界的全部。世界是那么復(fù)雜，有數(shù)以萬計(jì)的微小因素在影響著它。如果想從尋求所謂完美的理性出發(fā)，那便是自尋死路。

定義智能：有限最優(yōu)性

鑒于此，我努力提出一種定義智力的新方法，力求可以提出一套有指導(dǎo)意義的解決方案。這就是有限最優(yōu)性(bounded optimality)的概念。大致解釋說來，如果你有一臺(tái)機(jī)器，機(jī)器是有限的——因?yàn)樗乃俣仁怯邢薜?，?nèi)存是有限的，這意味著只有有限數(shù)量的程序可以在該機(jī)器上運(yùn)行，并且在該有限集合中，一個(gè)或一些等效類程序比所有其他程序更好——這是我們應(yīng)該關(guān)注的。

這就是我們所說的某個(gè)機(jī)器的有限最佳程序，也可以引申為某個(gè)工作環(huán)境下的最佳程序。我們可以在這種思路下取得進(jìn)展是因?yàn)槲覀冊(cè)谟邢弈芰Φ臋C(jī)器和有限條件的環(huán)境中來思考去怎樣解決問題。我們可以說，“這是，對(duì)于那臺(tái)機(jī)器和這個(gè)環(huán)境下，最好的程序?？紤]到機(jī)器不能無限快地運(yùn)行，它只能做一定量的計(jì)算。

在我年輕的時(shí)候閱讀了很多哲學(xué)，啟發(fā)了我提出這些想法。哲學(xué)家所做的事就是尋找那些讓你困惑的地方，或者有一些明顯的悖論和需要解決的問題的地方。我們退后一步，我們說：“好吧，我們很困惑，或者我們有一個(gè)矛盾，因?yàn)槲覀兡J(rèn)了一堆關(guān)于我們應(yīng)該解決什么問題的假設(shè)。如果我們抓住這些概念性的障礙不放，就不能做出正確的事，那么我們應(yīng)該如何退一步并改變問題的定義呢?

我們一直在做的是試圖定義什么是“理性行動(dòng)”，也就是效用最大化的行動(dòng)，然后就可以說：“好吧，AI的目標(biāo)是建立總能選擇理性行動(dòng)的系統(tǒng)。事實(shí)上，對(duì)于有界系統(tǒng)，理性行動(dòng)的概念是沒有意義的，就像是你非要問“如果我不可能計(jì)算我應(yīng)該做什么，我該怎么辦? “。這個(gè)問題是沒有答案的。你只能談?wù)勁渲檬鞘裁矗?dāng)在現(xiàn)實(shí)世界面臨決策問題時(shí)，我能盡力而為。

理性元推理

我在Kahneman和Tversky是研究生時(shí)就注意到了他們的觀點(diǎn)，他們對(duì)“理性”的批判是有實(shí)驗(yàn)支持的。所有的實(shí)驗(yàn)表明，人類在經(jīng)典意義上并不是理性的。從人工智能的角度來看，這就提出了新的問題，AI應(yīng)該關(guān)注什么?我們不打算復(fù)制人類，人類的很多行為只是進(jìn)化史中很多事件的累積結(jié)果。沒有人說人類本身就是登峰造極之作，但是也沒有人能說還有比大自然更好的配置人類的大腦的方式。

現(xiàn)在，很多人重新詮釋人類非理性行為，以此證明人類的有限最優(yōu)性。如果你能做出足夠的假設(shè)，你可以證明人類所犯的所謂的錯(cuò)誤，是在人類硬件的限制下的最優(yōu)程序所產(chǎn)生的某些后果。程序犯這些類型的錯(cuò)誤完全是可以預(yù)判的，也是合理的。所以如果你是有限的，無法做無限量的計(jì)算，那么你應(yīng)該計(jì)算些什么?這就引出了我們所謂的理性元推理(rational meta-reasoning)，簡單可以理解為，你做的計(jì)算就是有助于你盡快提高最終決策質(zhì)量的計(jì)算。

你可以把這個(gè)應(yīng)用到下棋上，并使用它來控制這個(gè)下棋程序的搜索。機(jī)器可以在游戲中提前思考數(shù)十億步棋，但是一個(gè)人最多只是提前思考幾十步。人類如何選擇值得思考的東西?這就是個(gè)問題。到底什么值得思考?

很顯然這類問題就不值得考慮，比如“好，如果我下這步棋，然后我的對(duì)手下這步愚蠢的棋...”為什么要這么想呢?他不太可能做出那么愚蠢的回應(yīng)，所以不值得花時(shí)間思考如果他做出那個(gè)愚蠢的回應(yīng)，我將如何贏得比賽。但是，人類就通常會(huì)這樣想。當(dāng)你學(xué)會(huì)下棋時(shí)，你不用學(xué)習(xí)alpha-beta樹搜索算法 ，這個(gè)算法用于如何在樹的各個(gè)分支之間分配你的思考時(shí)間。我們的大腦能很自然地知道或?qū)W習(xí)如何將思想分配給不同的可能性，然后很快做出一個(gè)好的決定。

我想出了如何做到這一點(diǎn)，并表明你可以應(yīng)用這種理性元推理技術(shù)來控制諸如游戲樹搜索之類的東西，即使沒有設(shè)計(jì)算法，也能獲得非常好的結(jié)果。

我仍然不認(rèn)為我們應(yīng)該將 AI 看作算法的集合。算法是針對(duì)特定問題的高度工程化的產(chǎn)物。我們有非常高度工程化的雙人游戲的算法。當(dāng)你去玩一個(gè)像步步高這樣的三人游戲，你便需要一個(gè)全新的算法。然而，人類不是這樣的。人類學(xué)習(xí)下棋，學(xué)習(xí)玩步步高，不需要工程師給出一個(gè)新的算法。所以，人類的思維過程必然是從一些更統(tǒng)籌的控制過程中來進(jìn)行思考和計(jì)算，然后得出決策。

也許你也可以說它確實(shí)是一個(gè)算法，但它是一個(gè)能計(jì)算出所有能進(jìn)行計(jì)算的價(jià)值的算法，然后它只做最有價(jià)值的一類計(jì)算。這是才是這個(gè)算法的本質(zhì)。這種算法規(guī)則適用于所有不同類型的游戲 - 單人搜索問題，雙玩家，有幾率的雙玩家問題，多玩家，規(guī)劃問題，等等。這個(gè)普適性值得被注意。

有兩個(gè)貢獻(xiàn)是我在80年代末和90年代早期工作中最驕傲的：第一，認(rèn)識(shí)到有界最優(yōu)性是對(duì)智力的定義中最后行為指導(dǎo)意義的概念;第二，就是理性元推理的技術(shù)。

在思考了很多關(guān)于理性和智力的問題后，我決定寫一本教科書，因?yàn)槲覜]有看到這些概念在現(xiàn)有的AI教學(xué)中被清楚地列出來。大多是千篇一律都是：“有個(gè)領(lǐng)域叫自然語言處理，講的是這些這些;有一個(gè)領(lǐng)域叫搜索，說的是這些這些;有一個(gè)領(lǐng)域稱為游戲，我會(huì)告訴你那些那些。”問題就在于，各領(lǐng)域之間沒有一個(gè)統(tǒng)一的線索。

因?yàn)闆]有整體的線索，所以我寫的教科書中就為人們明確，其實(shí)所有問題背后是理性的代理或有限的理性代理。而且，針對(duì)搜索問題、游戲、規(guī)劃問題所開發(fā)的特定方法其實(shí)只是你對(duì)環(huán)境所做的特定假設(shè)后所出現(xiàn)的結(jié)果，以及在這些假設(shè)下做出的所謂理性的決策。在搜索問題中，我們假設(shè)世界是完全可被觀測(cè)的，是具有確定性的，而且只有一個(gè)代理，等等;在所有這些假設(shè)下，搜索算法是有意義的，但它們只適用于理性決策中的特殊情況。

我在教本科時(shí)一直有寫自己的思考，記了長達(dá)200頁。我記這些東西的時(shí)候并不是為了出書，只是我后來發(fā)現(xiàn)我講的內(nèi)容越來越多地偏離現(xiàn)有的教科書了。

AI冬天在88年左右開始，我昨天還在與Aspen Institute交換電子郵件說起這件事兒。他們?cè)?jīng)在80年代時(shí)使用“AI冬天”這個(gè)詞來指代發(fā)生在60年代末，70年代初的那個(gè)“冬天”。“AI冬天”這個(gè)詞是Hector Levesque在1986年的一個(gè)小型論文中提到的。 “AI冬天”是由“核冬天”這個(gè)詞演化而來的，據(jù)我所知這是在1983年國家研究委員會(huì)對(duì)大型核戰(zhàn)爭對(duì)氣候的潛在影響進(jìn)行了大量研究后所發(fā)明的一個(gè)詞。AI冬天這個(gè)詞被第一次使用的時(shí)候是80年代末，這也是專家系統(tǒng)行業(yè)崩潰的時(shí)候。

在那之后，資金枯竭了，學(xué)生也減少了。我非常擔(dān)心這個(gè)領(lǐng)域一蹶不振，這個(gè)擔(dān)心一部分也是因?yàn)槲覀儺?dāng)時(shí)還在使用70年代或80年代初寫的教科書。Pearl(貝葉斯網(wǎng)絡(luò)的主要提出者之一)出版社的書在88年出版，那時(shí)我們已經(jīng)有了貝葉斯網(wǎng)絡(luò)，解決了許多導(dǎo)致專家系統(tǒng)行業(yè)沒落的問題。

專家系統(tǒng)為什么會(huì)失敗

關(guān)于專家系統(tǒng)產(chǎn)業(yè)為什么會(huì)失敗，當(dāng)下有著許許多多的原因。他們說：“在我們的經(jīng)濟(jì)中，有大量的知識(shí)性工作。他們都是很昂貴的，專家很難得到。他們要么是退休了，要么是消失了。所以，在建立以知識(shí)為基礎(chǔ)的專家系統(tǒng)上，存在一個(gè)很大的經(jīng)濟(jì)利基。而建立以知識(shí)為基礎(chǔ)的專家系統(tǒng)的方法就是去采訪專家。你應(yīng)該讓他從本質(zhì)上描述他的推理步驟，你把這些知識(shí)作為規(guī)則寫下來，隨后，你就能建立基于規(guī)則的專家系統(tǒng)，它能模擬專家的推理步驟。但是，很遺憾，我不認(rèn)為它會(huì)以這種方式運(yùn)行。

每個(gè)人都知道，這些問題中，很多都存在不確定性。醫(yī)學(xué)的診斷是一個(gè)典型的例子。每個(gè)人對(duì)醫(yī)學(xué)診斷的認(rèn)知有一部分都是醫(yī)學(xué)院所教授的那樣：如果你有這些癥狀，那么你就滿足某些病的條件，如果你滿足了某些病的條件此外還有一些別的狀況，那么你將會(huì)發(fā)展到另外一些癥狀。整個(gè)推理的過程被假定為，從癥狀到結(jié)論再到診斷結(jié)果。

他們按照這個(gè)方向?qū)懥艘?guī)則，當(dāng)然你不能從任何給定的癥狀，就斷定一個(gè)人有一個(gè)特定的疾病，如阿爾茨海默病。所以在過程中，必須加入不確定性。必須有一些結(jié)合了證據(jù)以支撐結(jié)論，或者否定證據(jù)等等的方法。

它們基本上必須構(gòu)成一種處理所有這種不確定性的微積分，這不是概率論，因?yàn)楦怕收摬辉试S基于規(guī)則的推理步驟。事實(shí)上， Pearl 在他的書中所做的一個(gè)主要事情就是解釋為什么鏈規(guī)則( chaining of rules )不能得到那些概率論認(rèn)為你應(yīng)該這么做的證據(jù)。

這些系統(tǒng)的發(fā)展趨勢(shì)是，使用少量的規(guī)則，你可以調(diào)整所有規(guī)則的權(quán)重，這樣你在你希望處理的一系列案例上，它能正確地運(yùn)行。但當(dāng)你的案例范圍變得更大，有更多的規(guī)則和更深層次的鏈接，你會(huì)面臨證據(jù)數(shù)量過多或者數(shù)量不足的問題。進(jìn)而，你在得到最終的結(jié)論時(shí)，也會(huì)面臨更多的問題，因?yàn)槟愕拇_定性遠(yuǎn)比你真正想要的高得多。這都是真的，因?yàn)橐?guī)則基本上是在運(yùn)行一個(gè)泵循環(huán)，由于他們自身處在推理過程中，所以他們會(huì)獲得越來越多的的確定性。

實(shí)際情況是，一些公司在建立了大型的專家系統(tǒng)后，他們發(fā)現(xiàn)，讓這些系統(tǒng)得到正確的結(jié)論，以及系統(tǒng)的維護(hù)都變得越來越難。還有一些別的原因，比如，你不得不買一個(gè)Symbolics Lisp機(jī)器運(yùn)行來這些包(packages)。您無法將其與其他數(shù)據(jù)處理硬件和軟件集成。你必須雇傭特殊的AI程序員，他們知道如何在Lisp中編程。這其中有很多原因，但主要的是技術(shù)本身有缺陷。

另一個(gè)有趣的問題是：人類的知識(shí)就是人們所認(rèn)為的形式嗎? 這些你用證據(jù)鏈接起來的規(guī)則，會(huì)隨著你的推進(jìn)增加不確定性嗎?事實(shí)證明，要采訪人并得到那些規(guī)則是非常困難的。你一般不會(huì)問，“如果你看到癥狀A(yù)，B和C，你能得到什么結(jié)論，確定性如何?你反而會(huì)問，“如果一個(gè)人有這種疾病，我們一般能見到看到什么癥狀?這是在因果方向上的，也是專家如何理解健康和疾病的。他們的認(rèn)知方式是：“這種微生物寄宿在你的腸道，導(dǎo)致這種情況發(fā)生，所以會(huì)發(fā)生這些癥狀，這就是為什么我們看到一個(gè)人眼里含有血絲” 。

當(dāng)Horvitz 和Heckerman采訪專家時(shí)，他們發(fā)現(xiàn)可以非常迅速地從疾病到癥狀的方向提取這些因果條件概率，對(duì)于專家來說，估計(jì)這些概率是非常自然的，而且這些概率也是非常穩(wěn)定(robust)。想想這樣，如果一個(gè)人有腦膜炎，肯定有一個(gè)因果過程，導(dǎo)致他們有一定的癥狀，因果過程是獨(dú)立的。它與患者群體的大小無關(guān)。

但看看它的另一方面：腦膜炎給你的印象是一個(gè)僵硬的脖子。那么，如果有人頸部很僵硬，他們患有腦膜炎的可能性是多少?這取決于很多因素，比如是否有腦膜炎傳染病流行?為什么這個(gè)病人在我的辦公室第一個(gè)感染?他們的狀況是不是真的很糟糕?還是他們之所以頸部很僵硬，是因?yàn)樵?jīng)遇到過車禍?

你可以在因果方向評(píng)估的可能性，被認(rèn)為更有穩(wěn)定性。在更寬的范圍中，它們比診斷方向的概率更有效，因?yàn)樵摳怕适欠裼行? ，也就是你頸部僵硬是不是以為這你患有腦膜炎，這高度依賴于個(gè)體之外的其他情況。以及所以所有這些問題一起使專家系統(tǒng)行業(yè)失敗了，并且，它的失敗非?？?。

關(guān)于深度學(xué)習(xí)

在這些領(lǐng)域發(fā)生的事是：有一些新的技術(shù)在出現(xiàn)?，F(xiàn)在的深度學(xué)習(xí)，似乎每個(gè)人都在說：“如果我沒能抓住這一技術(shù)，沒能在公司內(nèi)建立一個(gè)知道如何使用這一技術(shù)的小組，那我會(huì)被遠(yuǎn)遠(yuǎn)地甩在身后。”所以，許多公司都開始對(duì)深度學(xué)習(xí)技術(shù)進(jìn)行投入，但是，沒有任何證據(jù)表明深度學(xué)習(xí)技術(shù)可以有效地解決他們的難題，僅僅是基于一個(gè)假設(shè)——如果我不這樣做我就落后了。這一技術(shù)有著獲利潛力，我們無法承擔(dān)錯(cuò)過它的損失。

所以他們?cè)谑刂甏?，也許在六個(gè)月或一年后，他們?nèi)匀辉诘却麄兊耐顿Y回報(bào)，不管這種回報(bào)是什么。然后他們開始聽到一些傳言，比如，類似的公司在嘗試六次后失敗的故事——因?yàn)樯疃葘W(xué)習(xí)并沒有解決公司要解決的問題，這一技術(shù)對(duì)很多問題都不管用。所以，他們很快就失去信心了。

所有這些還沒使用深度學(xué)習(xí)技術(shù)獲得成功的公司可能會(huì)在一夜之間轉(zhuǎn)變自己的思維方式，從“維持我們的競爭力是至關(guān)重要的”轉(zhuǎn)變到“我們最好早點(diǎn)擺脫它，不然我們會(huì)看起來很蠢”。這就是80年代后期發(fā)生在專家系統(tǒng)技術(shù)上的事。

這是一個(gè)恥辱，因?yàn)楫?dāng)時(shí)我們已經(jīng)有了技術(shù)解決方案，它能減少很多這些困難。

我記得1993年，我和一群華爾街人一起去吃飯。當(dāng)時(shí)，在他們眼中，我就是個(gè)怪胎。我向他們解釋，我從事人工智能，在他們聽來，我就像在做冷融合工作一般，他們的反應(yīng)是：“AI失敗了。對(duì)嗎?它已經(jīng)不復(fù)存在。”在他們看來，AI和基于規(guī)則的專家系統(tǒng)在商業(yè)市場中似乎是同一件事。在華爾街和投資者社區(qū)的心目中，它不存在。他們的觀點(diǎn)是，“忘記它吧”，當(dāng)然，在學(xué)術(shù)領(lǐng)域，我們?nèi)匀辉谕七M(jìn)。

經(jīng)典教材是如何煉成的?

正如我所提到的那樣，我在1994年寫了一本教材，想盡可能多地把我們知道的如何使用理性智能體框架的知識(shí)融入書中，然后再加入大量關(guān)于概率決策的理論知識(shí)。Peter Norvig 是書的合著者。 我當(dāng)時(shí)有一些課堂講義，Peter 會(huì)時(shí)不時(shí)地到伯克利來。他當(dāng)時(shí)是在波士頓的SUN 工作，在那有一個(gè)實(shí)驗(yàn)室。

在Peter 回到伯克利時(shí)，我們一起與Robert Wilensky 討論是不是可以寫一本伯克利 AI 課程教材。Robert 是 Peter 的導(dǎo)師，他對(duì)AI 有自己獨(dú)特的觀點(diǎn)，他曾是Roger Schank 的學(xué)生。雖然我非常喜歡Robert的陪伴，但是我們依然很難在內(nèi)容上達(dá)成一致。我們對(duì)于人工智能的看法有根本上的差異，所以無法展開工作。他有著強(qiáng)勢(shì)的個(gè)性，所以當(dāng)時(shí)我們之間也有很多的爭吵。不幸的是，幾年前，他去世了。

但是，Peter 確實(shí)一個(gè)非常好相處的人，他的隨和簡直讓人難以置信。這也是他為什么如此成功的一個(gè)原因。 他從來不會(huì)試圖凸顯自我或者能力，他是完全理性化的。你可以和他討論，他不會(huì)覺得受到威脅。他也不試圖威脅你，所以與他合作是非常有效率的。他也是一個(gè)好的作家和一個(gè)偉大的程序員，所以我們花了很多時(shí)間一起寫關(guān)于這本書的代碼。在這本書上，我們做的另一個(gè)重要的事情是，嘗試建立建一套完整的代碼，以反映書的原則，書中的理性智能體框架是通用的。我們?cè)谝欢ǔ潭壬先〉昧顺晒?。雖然不完美，但它是一個(gè)進(jìn)步。

這本書將 Pearl 此前所做的工作，還有一些其他的想法，帶到了聚光燈下。強(qiáng)化學(xué)習(xí)也是出現(xiàn)于80年代后期，但是，并沒有被廣泛地了解或者學(xué)習(xí)。當(dāng)時(shí)，大多數(shù)AI 研究者都不了解馬爾科夫決策過程的整個(gè)概念。我們?cè)噲D搭建橋梁，展示 AI 是統(tǒng)計(jì)學(xué)和運(yùn)籌學(xué)的繼續(xù)，它研究的是馬爾科夫決策過程。因此，他們做的事是就是在不確定性下做決策。

在經(jīng)濟(jì)學(xué)上，學(xué)習(xí)效用理論(utility theory)，你怎么搭建這些用來描述價(jià)值的函數(shù)?我們?cè)噲D把所有這些都帶進(jìn)來，并且創(chuàng)造與其他領(lǐng)域的聯(lián)系，這對(duì)AI 領(lǐng)域的發(fā)展也是有用的，讓人們意識(shí)到，比起只是閱讀上一年的大會(huì)程序手冊(cè)然后對(duì)論文做一些小改動(dòng)，AI 領(lǐng)域還是有很多研究需要做的。其實(shí)，在所有這些與我們關(guān)心的一些問題相關(guān)的領(lǐng)域已經(jīng)有很多文獻(xiàn)。所以在1994年，這本書的成果有點(diǎn)讓人意外。

這是個(gè)很有意思的事。伴隨智能系統(tǒng)而來的風(fēng)險(xiǎn)要追溯到 AI 歷史的早期。 “ Robot ”這個(gè)詞來自1920年的一部捷克戲劇，在那個(gè)戲劇上，機(jī)器仆人崛起并接管世界。在 AI 領(lǐng)域，既有的風(fēng)險(xiǎn)一直都是一個(gè)威脅。圖靈曾經(jīng)談到這個(gè)話題：我不知道你能叫它自暴自棄還是什么，但是，“在某個(gè)階段，我們應(yīng)該期望機(jī)器控制。

“智能爆炸”(intelligence explosion)一詞，來自 I.J. Good 發(fā)表在1965年的一篇論文，他指出，足夠智能的系統(tǒng)可以做自己的AI研究和硬件設(shè)計(jì)，并迅速生產(chǎn)他們的下一代，然后這個(gè)過程將加速，人類將被遠(yuǎn)遠(yuǎn)地摔在身后。當(dāng)時(shí)，人們看著他的文章，說，“這聽起來不錯(cuò)，”然后他們只是回去工作，好像實(shí)際的語義內(nèi)容是不相干的。

Norbert Wiener 1960年在一篇論文中寫道。他看到了 Arthur Samuel 的跳棋程序，這是一個(gè)通過自己下棋進(jìn)行學(xué)習(xí)的程序，最后在跳棋上能力還勝過了 Samuel 。這件事在1957 和1958年時(shí)很好地證明了，人們認(rèn)為計(jì)算機(jī)只能完成編程所要求的任務(wù)是一個(gè)絕對(duì)錯(cuò)誤的認(rèn)知。如果機(jī)器具備學(xué)習(xí)能力，那么它就能超過程序員自身。

Wiener 正處在開始思考技術(shù)對(duì)人類的影響的問題，以及如果我們遵循現(xiàn)在的道路，我們能否在長期的未來獲得成功。他使用了魔法師的學(xué)徒(Sorcerer’s Apprentice)作為例子，“如果你把一個(gè)目標(biāo)輸入機(jī)器里，你最好絕對(duì)地保證這一目的是你真正想要的”，他說。這是自動(dòng)化所面臨的一個(gè)大問題，他當(dāng)時(shí)所說的自動(dòng)化就是我們現(xiàn)在所說的智能系統(tǒng)或者AI。

所以，要思考，或者甚至是想象未來會(huì)發(fā)生什么都是非常困難的。但是，如果我們沒有讓其走在正確的方向，我們可能會(huì)面臨一個(gè)并不那么美好的未來。我們需要做的是盡最大的努力弄清楚這一事情。所以，我認(rèn)為這篇論文是很有價(jià)值的。

AI 100 報(bào)告“不可理喻”

在英國有政府任命的所謂健康和安全官員，一個(gè)忙著走進(jìn)每個(gè)人的辦公室說“噢，你應(yīng)該關(guān)上窗戶”或“你的車道得拓寬一些”，等等。不過你想象一下100萬年前這位健康和安全官員走到那些可憐的先民面前說“啊，你可不能吃那些東西，不安全啊。你的頭發(fā)可能會(huì)著火啊。這可能會(huì)引起全球變暖啊!必須得停下來啊!”

100萬年前，限制科技的發(fā)展太早了。但懷著對(duì)全球變暖問題的尊重，我要說100年前其實(shí)是個(gè)很好的時(shí)間點(diǎn)，或者120年前。那時(shí)我們已經(jīng)發(fā)明了內(nèi)燃機(jī)和發(fā)電及電力系統(tǒng)，我們本可以在完全依賴于化石燃料之前，在發(fā)展風(fēng)力和太陽能發(fā)電方面投入更多的精力。而且我們也知道，Arrhenius和其他科學(xué)家早就預(yù)言了用掉這些化石燃料的結(jié)果。

Alexander Gram Bell為此寫過論文，但被忽視了。沒有投票選擇的過程。政府更愿意聽從企業(yè)的游說，而非科學(xué)家。你可能會(huì)說是科學(xué)家發(fā)明了內(nèi)燃機(jī)，但他們也發(fā)現(xiàn)了全球變暖并且提出了相應(yīng)警告。社會(huì)傾向于聽那些好話，但無視那些逆耳忠言。

當(dāng)基因工程在70年代啟動(dòng)時(shí)，多數(shù)人不知道那意味著什么。大多數(shù)人甚至不知道DNA是什么。如果當(dāng)時(shí)解釋得能更充分清晰，他們很可能會(huì)同意科學(xué)家的決定，那就是：1)我們要對(duì)這方面的實(shí)驗(yàn)嚴(yán)格限制，以免意外制造出感染人類的疾病氣管;2)我們不允許修改人類基因圖譜的實(shí)驗(yàn)。這就是科學(xué)家所做的，值得贊揚(yáng)。

這種做法尤其顯得難能可貴，鑒于長期以來基因?qū)嶒?yàn)的目的是所謂的人類種群的優(yōu)化。這就是誕生于加州但20世紀(jì)30年代移入德國的優(yōu)生學(xué)。這些研究的主要目的之一就是這個(gè)。

因?yàn)樗麄儠?huì)說，“我們可以這么做，但我們不做，因?yàn)闀?huì)產(chǎn)生不希望的社會(huì)后果。”我想這是非常勇敢的。本來發(fā)起一個(gè)真正的公眾討論會(huì)很有趣。我相信他們不會(huì)允許記者出席。

對(duì)于一個(gè)民主國家來說，要決定那些復(fù)雜的技術(shù)問題的界限何在，總是非常困難的。我們?nèi)绾蜗拗坪藙?dòng)力?如何限制醫(yī)學(xué)發(fā)展?限制經(jīng)常是伴隨著災(zāi)難而來的，而且限制很難充分設(shè)計(jì)，因?yàn)槿藗冋幵跒?zāi)難帶來的憤怒和恐懼之中。

對(duì)于AI的發(fā)展，我希望能充分設(shè)計(jì)，盡量未雨綢繆，并意識(shí)到回避問題不是辦法。 比如說，我看到了幾周前剛剛出爐的AI100報(bào)告。Eric Horvitz 完成了這個(gè)關(guān)于斯坦福百年來關(guān)于AI研究的報(bào)告。他們應(yīng)該每隔幾年就發(fā)布這樣一篇報(bào)告。一些科學(xué)家合力完成了這份報(bào)告，試圖預(yù)測(cè)到2030年AI會(huì)對(duì)一個(gè)典型的北美人的生活產(chǎn)生什么影響。到時(shí)會(huì)出現(xiàn)什么樣的技術(shù)，有何影響?他們討論了風(fēng)險(xiǎn)，基本上他們否定了達(dá)到人類水平AI的可能性，這在我看來有些不可理解。如果他們是AI學(xué)院的正式員工，那他們真應(yīng)該集體辭職。報(bào)告說可能會(huì)有風(fēng)險(xiǎn)，但我們不應(yīng)該去討論它，因?yàn)檫@可能會(huì)阻礙相關(guān)的研究，這簡直是不可理喻。