警惕人工智能事不宜遲

人工智能（AI）研究正在朝著人類(lèi)級(jí)或超人類(lèi)智能機(jī)器的長(zhǎng)期目標(biāo)大步邁進(jìn)，然而，如果它以目前的形式取得成功，很可能給人類(lèi)帶來(lái)災(zāi)難性的影響。原因在于，人工智能的“標(biāo)準(zhǔn)模型”要求機(jī)器去追求人類(lèi)指定的固定目標(biāo)。我們無(wú)法完全正確地指定目標(biāo)，也無(wú)法預(yù)測(cè)或預(yù)防追求錯(cuò)誤目標(biāo)的超能力機(jī)器在全球范圍內(nèi)會(huì)造成的傷害。我們已經(jīng)看到了一些例子，比如社交媒體算法利用人們的偏好來(lái)優(yōu)化點(diǎn)擊量，這給民主體制帶來(lái)了災(zāi)難性的后果。

尼克?博斯特羅姆（Nick Bostrom）在2014年出版的《超級(jí)智能：路徑、危險(xiǎn)與策略》（Superintelligence: Paths, Danger, Strategies）一書(shū)中詳細(xì)闡述了嚴(yán)肅對(duì)待風(fēng)險(xiǎn)的主張?！督?jīng)濟(jì)學(xué)人》（The Economist）雜志對(duì)這本書(shū)進(jìn)行了評(píng)論，評(píng)論最后寫(xiě)道：“在地球上引入第二個(gè)智能物種影響深遠(yuǎn)，值得我們深思?！?/span>

當(dāng)然，在利害攸關(guān)的情況下，智者們已經(jīng)在苦思冥想了：參與嚴(yán)肅的辯論、權(quán)衡利弊、尋求解決方案、找出解決方案的漏洞等。據(jù)我所知，這些工作收效甚微，而且遭到了各種否認(rèn)。

一些著名的人工智能研究人員的論據(jù)幾乎不值一駁。我在文章中看到或在會(huì)議上聽(tīng)到了不下幾十種說(shuō)法，以下是其中的一部分：

電子計(jì)算器在算術(shù)方面無(wú)人能敵，而計(jì)算器并沒(méi)有占領(lǐng)世界；因此，沒(méi)有理由擔(dān)心超人類(lèi)人工智能。

歷史上沒(méi)有發(fā)生過(guò)機(jī)器殺死數(shù)百萬(wàn)人的例子，有鑒于此，這種情況未來(lái)也不會(huì)發(fā)生。

宇宙中沒(méi)有無(wú)限大的物理量，智力也不例外，所以無(wú)須過(guò)度擔(dān)憂(yōu)超級(jí)智能。

或許人工智能研究人員最常見(jiàn)的回答是：“我們可以關(guān)掉它?！卑⑻m?圖靈自己也提出了這種可能性，但他并不太自信：

如果機(jī)器可以思考，它可能會(huì)比我們思考得更全面，那么我們會(huì)處在什么位置？即使可以讓機(jī)器屈從于我們，例如在關(guān)鍵時(shí)刻關(guān)閉電源，但我們作為一個(gè)物種，也應(yīng)該感到自愧不如……這種新的危險(xiǎn)……一定會(huì)讓我們倍感焦慮。

關(guān)掉機(jī)器是行不通的，原因很簡(jiǎn)單，超級(jí)智能實(shí)體一定會(huì)考慮到這種可能性，會(huì)采取措施來(lái)阻止。它會(huì)這么做不是因?yàn)樗跋胍妗?，而是因?yàn)樗谧非笪覀兘o它設(shè)定的目標(biāo)，并且知道如果被關(guān)掉，它就會(huì)失敗。我們不能簡(jiǎn)單地“關(guān)掉它”，就像我們不能僅憑將棋子放在相應(yīng)的棋盤(pán)格上就打敗阿爾法圍棋一樣。

其他形式的否認(rèn)則引發(fā)了更復(fù)雜的觀點(diǎn)，比如智力是多方面的。例如，一個(gè)人的空間智力可能高于其他人，但社交智力則不及后者，所以我們不能按照嚴(yán)格的智力順序來(lái)排列所有人。對(duì)機(jī)器來(lái)說(shuō)更是如此：將阿爾法圍棋的“智力”與谷歌搜索引擎的“智力”進(jìn)行比較毫無(wú)意義。

現(xiàn)在，有一個(gè)很明顯的答案，機(jī)器可能在所有相關(guān)智力的維度上超越人類(lèi)。在這種情況下，即便按照凱利的嚴(yán)格標(biāo)準(zhǔn)，機(jī)器人也會(huì)比人類(lèi)聰明。不過(guò)這個(gè)相當(dāng)有力的假設(shè)并不是反駁凱利的論點(diǎn)的必要條件。

以黑猩猩為例。黑猩猩的短期記憶可能優(yōu)于人類(lèi)，即使是人類(lèi)擅長(zhǎng)的任務(wù)，比如回憶數(shù)字序列也是如此。短期記憶是智力的一個(gè)重要維度。按照凱利的論點(diǎn)，人類(lèi)并不比黑猩猩聰明，事實(shí)上，他會(huì)說(shuō)“比黑猩猩聰明”是一個(gè)毫無(wú)意義的概念。

對(duì)僅僅因?yàn)槿说膶捜荻婊钕聛?lái)的黑猩猩和其他物種，以及所有人類(lèi)已經(jīng)摧毀的物種而言，這可不是什么安慰。同樣，對(duì)于可能擔(dān)心被機(jī)器消滅的人來(lái)說(shuō)，這也算不上安慰。

有人認(rèn)為超級(jí)智能無(wú)法實(shí)現(xiàn)，因此超級(jí)智能的風(fēng)險(xiǎn)也就不復(fù)存在。這些說(shuō)法并不新鮮，但現(xiàn)在人工智能研究人員自己都說(shuō)這種人工智能不可能實(shí)現(xiàn)，著實(shí)令人驚訝。例如，AI100組織的重要報(bào)告《2030年的人工智能與生活》（Artificial Intelligence and Life in 2030）稱(chēng)：“與電影場(chǎng)景不同，未來(lái)現(xiàn)實(shí)中不會(huì)也不可能出現(xiàn)超人類(lèi)機(jī)器人。”

據(jù)我所知，這是第一次有嚴(yán)肅的人工智能研究人員公開(kāi)表示不可能出現(xiàn)人類(lèi)級(jí)或超人類(lèi)人工智能，而且這發(fā)生在人工智能研究飛速發(fā)展的時(shí)期，這期間一個(gè)又一個(gè)障礙被打破。這就好比是一群頂尖的癌癥生物學(xué)家宣布他們一直在愚弄我們：他們一直都知道永遠(yuǎn)都不會(huì)有治愈癌癥的方法。

是什么促成了這種重大轉(zhuǎn)變？報(bào)告中沒(méi)有提供任何論據(jù)或證據(jù)。（事實(shí)上，有什么證據(jù)能夠證明，物理上不可能存在比人類(lèi)大腦更優(yōu)的原子排列呢？）我認(rèn)為主要原因在于部落主義——這是一種對(duì)抗可能對(duì)人工智能構(gòu)成“攻擊”的事物的本能，然而，將超級(jí)智能的人工智能視為可能對(duì)人工智能構(gòu)成攻擊的事物似乎有些奇怪，用人工智能永遠(yuǎn)不會(huì)實(shí)現(xiàn)其目標(biāo)來(lái)為人工智能辯護(hù)更顯得荒謬。我們不能靠打賭斷定人類(lèi)的創(chuàng)造力有限來(lái)確保未來(lái)的災(zāi)難不會(huì)發(fā)生。

嚴(yán)格來(lái)說(shuō)，超人類(lèi)人工智能不是沒(méi)有可能，那我們是否無(wú)須過(guò)早擔(dān)心它的風(fēng)險(xiǎn)？計(jì)算機(jī)科學(xué)家吳恩達(dá)認(rèn)為，這就像是在擔(dān)心“火星上人口過(guò)?！薄２贿^(guò)，長(zhǎng)期風(fēng)險(xiǎn)仍然會(huì)引起人們的關(guān)注。何時(shí)擔(dān)憂(yōu)有關(guān)人類(lèi)的潛在嚴(yán)重問(wèn)題，不僅取決于問(wèn)題發(fā)生的時(shí)間，還取決于準(zhǔn)備和實(shí)施解決方案需要多長(zhǎng)時(shí)間。

例如，要探測(cè)一顆將于2069年與地球相撞的小行星，我們會(huì)等到2068年才開(kāi)始研究解決方案嗎？當(dāng)然不是！人類(lèi)將設(shè)立全球性的緊急項(xiàng)目來(lái)尋找應(yīng)對(duì)威脅的方法，因?yàn)槲覀儫o(wú)法提前獲知我們需要多少時(shí)間。

吳恩達(dá)的觀點(diǎn)也讓人感覺(jué)我們根本不可能把數(shù)十億人轉(zhuǎn)移到火星上去。這個(gè)類(lèi)比是錯(cuò)誤的。我們投入了大量的科學(xué)和技術(shù)資源來(lái)創(chuàng)造更強(qiáng)大的人工智能系統(tǒng)，卻很少考慮成功之后會(huì)發(fā)生什么。我們可以做一個(gè)更恰當(dāng)?shù)念?lèi)比：計(jì)劃把人類(lèi)遷移到火星，而不考慮到達(dá)后的呼吸、飲食問(wèn)題。有些人可能會(huì)認(rèn)為這個(gè)計(jì)劃不明智。

另一種回避潛在問(wèn)題的方法是斷言人們對(duì)風(fēng)險(xiǎn)的擔(dān)憂(yōu)源于無(wú)知。例如，艾倫人工智能研究所的首席執(zhí)行官奧倫?艾奇奧尼（Oren Etzioni）指責(zé)呼吁人們認(rèn)清人工智能潛在威脅的埃隆?馬斯克和斯蒂芬?霍金是盧德主義（對(duì)新技術(shù)和新事物的盲目沖動(dòng)反抗）者：

每一項(xiàng)新興技術(shù)創(chuàng)新都將人們置于恐懼中。從工業(yè)時(shí)代初期織工把鞋子扔進(jìn)紡織機(jī)，到今天對(duì)機(jī)器人殺手的畏怯，我們不知道新技術(shù)會(huì)對(duì)自我意識(shí)和生計(jì)產(chǎn)生什么影響。當(dāng)我們一無(wú)所知，便會(huì)心生恐慌。

即使從表面上理解這個(gè)經(jīng)典的謬誤論證，它也站不住腳?；艚饘?duì)科學(xué)推理并不陌生，馬斯克監(jiān)督并投資了多個(gè)人工智能研究項(xiàng)目。如果認(rèn)為提出擔(dān)憂(yōu)的比爾?蓋茨、I.J.古德（I.J. Good）、馬文?明斯基、阿蘭?圖靈和諾伯特?維納（Norbert Wiener）都沒(méi)有資格討論人工智能，那就更不可信了。

指責(zé)盧德主義也是完全錯(cuò)誤的。這就好比當(dāng)核工程師指出有必要控制裂變反應(yīng)時(shí)，有人指責(zé)核工程師是盧德主義者。也就是說(shuō)，提及人工智能的風(fēng)險(xiǎn)就意味著否認(rèn)人工智能的潛在利益。再以?shī)W倫?艾奇奧尼為例：

悲觀預(yù)測(cè)往往沒(méi)有考慮到人工智能在預(yù)防醫(yī)療事故、減少車(chē)禍等方面的潛在優(yōu)勢(shì)。

近期，臉譜網(wǎng)首席執(zhí)行官馬克?扎克伯格與埃隆?馬斯克進(jìn)行了媒體交流：

反對(duì)人工智能就是在反對(duì)不會(huì)發(fā)生事故的更安全的汽車(chē)，反對(duì)更準(zhǔn)確的患者病情診斷。

任何提及風(fēng)險(xiǎn)的人都是在“反對(duì)人工智能”，這種觀念很離奇。（核安全工程師“反對(duì)電”嗎？）更重要的是，整個(gè)論點(diǎn)恰恰是逆向的，原因有二。首先，如果沒(méi)有潛在利益，就沒(méi)有人工智能研究的動(dòng)力和人類(lèi)級(jí)人工智能帶來(lái)的危險(xiǎn)，我們也就不會(huì)進(jìn)行相關(guān)探討。其次，如果不能成功降低風(fēng)險(xiǎn)，就不會(huì)有任何利益。

奇怪的是，有這些事件作為前車(chē)之鑒，著名的認(rèn)知科學(xué)家史蒂文?平克（Steven Pinker）依然認(rèn)為，不應(yīng)呼吁人們關(guān)注人工智能的風(fēng)險(xiǎn)，因?yàn)椤跋冗M(jìn)社會(huì)的安全文化”將確保消除所有重大的人工智能風(fēng)險(xiǎn)。即便無(wú)視我們先進(jìn)的安全文化導(dǎo)致的切爾諾貝利核事故、福島核事故和全球變暖失控，平克的論點(diǎn)也完全沒(méi)有說(shuō)到重點(diǎn)。發(fā)揮作用的安全文化包括指出潛在的失效模式和尋找方法來(lái)進(jìn)行預(yù)防，而人工智能的標(biāo)準(zhǔn)模型即是失效模式。

平克還認(rèn)為，有問(wèn)題的人工智能行為源于設(shè)定特定類(lèi)型的目標(biāo)；如果不考慮這些，就不會(huì)有任何問(wèn)題：

人工智能反烏托邦項(xiàng)目將狹隘的大男子主義心理投射到了智力的概念上。他們認(rèn)為，具有超人類(lèi)智力的機(jī)器人會(huì)制定一些目標(biāo)，比如推翻它們的主人，或者征服世界。

深度學(xué)習(xí)先驅(qū)、臉譜網(wǎng)人工智能研究主管揚(yáng)?勒丘恩（Yann LeCun）在淡化人工智能風(fēng)險(xiǎn)時(shí)，經(jīng)常引用同樣的觀點(diǎn)：

我們無(wú)須讓人工智能擁有自我保護(hù)本能、嫉妒心理等……人工智能不會(huì)產(chǎn)生破壞性的“情緒”，除非我們將這些情緒融入其中。

那些認(rèn)為這種風(fēng)險(xiǎn)可以忽略不計(jì)的人，沒(méi)有解釋為何超級(jí)人工智能必須處于人類(lèi)控制之下。

實(shí)際上，不管我們是否植入“情感”或“欲望”（比如自我保護(hù)、資源獲取、知識(shí)發(fā)掘，或者極端情況下的統(tǒng)治世界）都全然無(wú)關(guān)緊要。機(jī)器無(wú)論如何都會(huì)產(chǎn)生這些情感，就像我們所構(gòu)建目標(biāo)的子目標(biāo)一樣——不管它是什么性別。正如“關(guān)掉機(jī)器”的觀點(diǎn)所揭示的，對(duì)于一臺(tái)機(jī)器來(lái)說(shuō)，生命終止本身并不是壞事。盡管如此，還是要避免生命終止，因?yàn)橐坏┙K止，它們便很難達(dá)到目標(biāo)。

“避免設(shè)定目標(biāo)”觀點(diǎn)的一個(gè)常見(jiàn)變體是：足夠智能的系統(tǒng)必然會(huì)憑借其智力而自行制定“正確”的目標(biāo)。18世紀(jì)的哲學(xué)家大衛(wèi)?休謨?cè)凇度诵哉摗分旭g斥了這一觀點(diǎn)。尼克?博斯特羅姆在《超級(jí)智能》（Superintelligence）一書(shū)中將休謨的觀點(diǎn)視為正交命題：

智力和最終目標(biāo)呈正交關(guān)系：任何水平的智力都可以或多或少地與任何最終目標(biāo)相結(jié)合。

例如，無(wú)人駕駛汽車(chē)的目的地可以是任何指定的地點(diǎn)；讓汽車(chē)更好地自動(dòng)駕駛，并不意味著它會(huì)自動(dòng)拒絕前往需要既定數(shù)學(xué)計(jì)算的地址。

同樣，不難想象，通用智能系統(tǒng)可以或多或少地被賦予目標(biāo)，包括最大化回形針的數(shù)量或已知圓周率的數(shù)位。這就是強(qiáng)化學(xué)習(xí)系統(tǒng)和其他獎(jiǎng)勵(lì)優(yōu)化器的工作原理：算法是完全通用的，可以接受任何獎(jiǎng)勵(lì)信號(hào)。對(duì)于在標(biāo)準(zhǔn)模型中工作的工程師和計(jì)算機(jī)科學(xué)家來(lái)說(shuō)，正交命題只是一個(gè)給定命題。

不過(guò)，鑒于布魯斯克對(duì)這個(gè)問(wèn)題的定義，這樣的程序不僅是可能存在的，實(shí)際上更是不可避免的。布魯斯克認(rèn)為，機(jī)器“實(shí)現(xiàn)人類(lèi)設(shè)定目標(biāo)”的最佳方案正在給人類(lèi)帶來(lái)問(wèn)題。由此可見(jiàn)，這些問(wèn)題反映了人類(lèi)在制定目標(biāo)時(shí)忽略了對(duì)人類(lèi)有價(jià)值的東西。由機(jī)器執(zhí)行的最佳方案很可能會(huì)給人類(lèi)造成困擾，而機(jī)器也很可能意識(shí)到了這一點(diǎn)，但是，機(jī)器顯然不會(huì)認(rèn)為這些問(wèn)題是有問(wèn)題的，這不關(guān)它們的事。

總而言之，那些認(rèn)為人工智能帶來(lái)的風(fēng)險(xiǎn)微乎其微的“懷疑論者”并未解釋為什么超級(jí)人工智能系統(tǒng)必須處于人類(lèi)控制之下；他們甚至沒(méi)有試圖解釋為什么超級(jí)人工智能系統(tǒng)永遠(yuǎn)不會(huì)被開(kāi)發(fā)出來(lái)。

人工智能領(lǐng)域必須承擔(dān)風(fēng)險(xiǎn)，并盡力降低風(fēng)險(xiǎn)，而不是繼續(xù)陷入對(duì)立中傷和反復(fù)挖掘不可信的論點(diǎn)。就我們所知，這些風(fēng)險(xiǎn)既非渺小，也非不可逾越。第一步就是認(rèn)識(shí)到必須替換標(biāo)準(zhǔn)模型，改變?nèi)斯ぶ悄芟到y(tǒng)優(yōu)化一個(gè)固定目標(biāo)的模式。這是一項(xiàng)糟糕的工程。我們需要做大量的工作來(lái)重塑和再構(gòu)人工智能的基礎(chǔ)。

作者：Stuart Russell