Facebook關(guān)閉“失控”項目,原因竟是AI發(fā)展出人類無法理解的語言

Facebook上個月引起廣泛爭議的“開發(fā)出人類無法理解”的溝通的智能對話機(jī)器人項目已經(jīng)被關(guān)閉，因為研究者擔(dān)心會“失控”。

根據(jù)digitaljournal的報道，F(xiàn)acebook上個月引起廣泛爭議的“開發(fā)出人類無法理解”的溝通的智能對話機(jī)器人項目已經(jīng)被關(guān)閉。

上個月，F(xiàn)acebook 人工智能研究所(FAIR)使用機(jī)器學(xué)習(xí)方法，對兩個聊天機(jī)器人進(jìn)行對話策略迭代升級，結(jié)果發(fā)現(xiàn)它們竟自行發(fā)展出了人類無法理解的獨特語言。研究者不得不對其進(jìn)行了人工干預(yù)。

這一研究一經(jīng)發(fā)布，迅速在網(wǎng)絡(luò)和媒體上引起了廣泛的關(guān)注和傳播，不少人在驚呼：機(jī)器創(chuàng)造了自己的語言，人類都無法理解，細(xì)思極恐。

但是也有人指出，這不就是一堆亂碼嗎?

現(xiàn)在，這一系統(tǒng)被關(guān)進(jìn)了“小黑屋”。根據(jù)國外媒體的報道，現(xiàn)在Facebook 的研究院已經(jīng)停止了這一項目的研究，原因是“擔(dān)心可能會對這些AI失去控制”。

這不是第一次發(fā)現(xiàn) AI 偏離訓(xùn)練所用的英文，轉(zhuǎn)向發(fā)展出新的更加有效的語言。雖然在人類看來，這些溝通更像是胡言亂語。但是，從AI 智能體的角度上看，他們實際上是有詞義意義的。

用新的語言進(jìn)行溝通：英語缺乏“反饋”

這篇研究報告的主旨是說機(jī)器人可以成為不錯的談判者——他們甚至?xí)傺b對某件沒有價值的東西感興趣，然后在談判過程中犧牲掉它，好像做出了讓步。而關(guān)于對話智能體發(fā)展出自我語言的部分，在研究報告中確實只是一鱗半爪，但卻引發(fā)了大家的關(guān)注。

正如Fast Co. Design報道，研究員注意到，系統(tǒng)中的聊天機(jī)器人(bots)完全放棄了用英語進(jìn)行交流，但是，升級版的系統(tǒng)確實能夠與其他的智能體進(jìn)行交流。他們一起可以決定如何繼續(xù)進(jìn)行任何工作。一開始，他們所使用的詞匯似乎是無法理解的，但是，通過長期的觀察，研究者發(fā)現(xiàn)，這些詞匯其實代表了智能體面臨的任務(wù)。

例如，在一次交流中，兩個進(jìn)行對話的機(jī)器人——Bob 和 Alice，使用自己創(chuàng)造的語言來完成了交流。Bob 開始說：“I can can I I everything else”。Alice回答，“Balls have zero to me to me to me to me to me to me to me to me to。” 接下來的對話都是類似這樣的句子。

雖然這些詞語組合第一眼看上去沒什么實際意義，但是，研究者認(rèn)為，他們揭示了兩個機(jī)器人是如何工作的，每一個詞匯他們需要進(jìn)行多少次處理。Bob的重復(fù)說明了他如何使用這一詞匯，來想Alice傳遞更多的信息。如果用這種方法來進(jìn)行闡述，那么它所說的那就好就有點像人們所說的“I’ll have three and you have everything else”。

看起來，似乎智能體們發(fā)現(xiàn)，英語的句子對于特定場景的理解并不是必需的。當(dāng)下，以深度學(xué)習(xí)為主的AI 遵循的是“回饋”(reward)原則，智能體通過依照一系統(tǒng)特定的行為行動，會獲得相應(yīng)的利益(benefit)。但是，在這一場景中，繼續(xù)使用英語并沒能帶來相應(yīng)的回饋，所以智能體決定適應(yīng)更加高效的方法進(jìn)行溝通。

Facebook AI Research (FAIR)的研究員對FastCo. Designs說，“英語語言中，并沒有所謂的回饋能讓智能體來遵從。”

FastCo. Designs報道稱：“智能體會偏離自己人類能理解的語言，創(chuàng)造出自己的‘代碼語言’。比如，如果提到‘the’ 5次，那么就是我想要復(fù)制這一術(shù)語5次。這和人類創(chuàng)造的縮寫其實也沒有多大的差別。”

其他的AI開發(fā)者也注意到了智能體會使用“縮寫”來簡化溝通。在Open AI，研究者成功地讓AI機(jī)器人學(xué)會自己創(chuàng)造的語言。

問題在哪

如果AI繼續(xù)創(chuàng)建自己的語言，開發(fā)人員可能會在創(chuàng)建和采用新的神經(jīng)網(wǎng)絡(luò)時遇到問題，但是不清楚這是否會讓機(jī)器實際上推翻其研發(fā)者。

然而，這些新的發(fā)展使得AI能夠更有效地工作，并且如果他們在工作中學(xué)習(xí)新的AI創(chuàng)建的“縮寫”，并保持最新的這種新的溝通方式，可以使研究團(tuán)隊長期受益。