Facebook關(guān)閉“失控”項(xiàng)目,原因竟是AI發(fā)展出人類無法理解的語言

Facebook上個(gè)月引起廣泛爭議的“開發(fā)出人類無法理解”的溝通的智能對(duì)話機(jī)器人項(xiàng)目已經(jīng)被關(guān)閉，因?yàn)檠芯空邠?dān)心會(huì)“失控”。

根據(jù)digitaljournal的報(bào)道，F(xiàn)acebook上個(gè)月引起廣泛爭議的“開發(fā)出人類無法理解”的溝通的智能對(duì)話機(jī)器人項(xiàng)目已經(jīng)被關(guān)閉。

上個(gè)月，F(xiàn)acebook 人工智能研究所(FAIR)使用機(jī)器學(xué)習(xí)方法，對(duì)兩個(gè)聊天機(jī)器人進(jìn)行對(duì)話策略迭代升級(jí)，結(jié)果發(fā)現(xiàn)它們竟自行發(fā)展出了人類無法理解的獨(dú)特語言。研究者不得不對(duì)其進(jìn)行了人工干預(yù)。

這一研究一經(jīng)發(fā)布，迅速在網(wǎng)絡(luò)和媒體上引起了廣泛的關(guān)注和傳播，不少人在驚呼：機(jī)器創(chuàng)造了自己的語言，人類都無法理解，細(xì)思極恐。

但是也有人指出，這不就是一堆亂碼嗎?

現(xiàn)在，這一系統(tǒng)被關(guān)進(jìn)了“小黑屋”。根據(jù)國外媒體的報(bào)道，現(xiàn)在Facebook 的研究院已經(jīng)停止了這一項(xiàng)目的研究，原因是“擔(dān)心可能會(huì)對(duì)這些AI失去控制”。

這不是第一次發(fā)現(xiàn) AI 偏離訓(xùn)練所用的英文，轉(zhuǎn)向發(fā)展出新的更加有效的語言。雖然在人類看來，這些溝通更像是胡言亂語。但是，從AI 智能體的角度上看，他們實(shí)際上是有詞義意義的。

用新的語言進(jìn)行溝通：英語缺乏“反饋”

這篇研究報(bào)告的主旨是說機(jī)器人可以成為不錯(cuò)的談判者——他們甚至?xí)傺b對(duì)某件沒有價(jià)值的東西感興趣，然后在談判過程中犧牲掉它，好像做出了讓步。而關(guān)于對(duì)話智能體發(fā)展出自我語言的部分，在研究報(bào)告中確實(shí)只是一鱗半爪，但卻引發(fā)了大家的關(guān)注。

正如Fast Co. Design報(bào)道，研究員注意到，系統(tǒng)中的聊天機(jī)器人(bots)完全放棄了用英語進(jìn)行交流，但是，升級(jí)版的系統(tǒng)確實(shí)能夠與其他的智能體進(jìn)行交流。他們一起可以決定如何繼續(xù)進(jìn)行任何工作。一開始，他們所使用的詞匯似乎是無法理解的，但是，通過長期的觀察，研究者發(fā)現(xiàn)，這些詞匯其實(shí)代表了智能體面臨的任務(wù)。

例如，在一次交流中，兩個(gè)進(jìn)行對(duì)話的機(jī)器人——Bob 和 Alice，使用自己創(chuàng)造的語言來完成了交流。Bob 開始說：“I can can I I everything else”。Alice回答，“Balls have zero to me to me to me to me to me to me to me to me to。” 接下來的對(duì)話都是類似這樣的句子。

雖然這些詞語組合第一眼看上去沒什么實(shí)際意義，但是，研究者認(rèn)為，他們揭示了兩個(gè)機(jī)器人是如何工作的，每一個(gè)詞匯他們需要進(jìn)行多少次處理。Bob的重復(fù)說明了他如何使用這一詞匯，來想Alice傳遞更多的信息。如果用這種方法來進(jìn)行闡述，那么它所說的那就好就有點(diǎn)像人們所說的“I’ll have three and you have everything else”。

看起來，似乎智能體們發(fā)現(xiàn)，英語的句子對(duì)于特定場景的理解并不是必需的。當(dāng)下，以深度學(xué)習(xí)為主的AI 遵循的是“回饋”(reward)原則，智能體通過依照一系統(tǒng)特定的行為行動(dòng)，會(huì)獲得相應(yīng)的利益(benefit)。但是，在這一場景中，繼續(xù)使用英語并沒能帶來相應(yīng)的回饋，所以智能體決定適應(yīng)更加高效的方法進(jìn)行溝通。

Facebook AI Research (FAIR)的研究員對(duì)FastCo. Designs說，“英語語言中，并沒有所謂的回饋能讓智能體來遵從。”

FastCo. Designs報(bào)道稱：“智能體會(huì)偏離自己人類能理解的語言，創(chuàng)造出自己的‘代碼語言’。比如，如果提到‘the’ 5次，那么就是我想要復(fù)制這一術(shù)語5次。這和人類創(chuàng)造的縮寫其實(shí)也沒有多大的差別。”

其他的AI開發(fā)者也注意到了智能體會(huì)使用“縮寫”來簡化溝通。在Open AI，研究者成功地讓AI機(jī)器人學(xué)會(huì)自己創(chuàng)造的語言。

問題在哪

如果AI繼續(xù)創(chuàng)建自己的語言，開發(fā)人員可能會(huì)在創(chuàng)建和采用新的神經(jīng)網(wǎng)絡(luò)時(shí)遇到問題，但是不清楚這是否會(huì)讓機(jī)器實(shí)際上推翻其研發(fā)者。

然而，這些新的發(fā)展使得AI能夠更有效地工作，并且如果他們?cè)诠ぷ髦袑W(xué)習(xí)新的AI創(chuàng)建的“縮寫”，并保持最新的這種新的溝通方式，可以使研究團(tuán)隊(duì)長期受益。