不用開口，AI將大腦活動(dòng)轉(zhuǎn)化為文本，單句錯(cuò)詞僅3％

繼喉嚨皮膚震動(dòng)就能讀出想說的話之后，閱讀大腦思想再往前進(jìn)一步，即使不用說話，AI系統(tǒng)就能將大腦活動(dòng)轉(zhuǎn)化成文本內(nèi)容。

目前，該系統(tǒng)已經(jīng)可以檢測(cè)到有人大聲說話時(shí)的神經(jīng)模式，離最終目標(biāo)的實(shí)現(xiàn)還有很長(zhǎng)一段距離，但是專家表示，最終成型的系統(tǒng)可以幫助無法說話或打字的患者，例如患有一些癥狀的患者，進(jìn)行交流。

加州大學(xué)舊金山分校Joseph Makin博士及其他研究者在雜志上發(fā)表了研究，文章揭示了他們?nèi)绾瓮ㄟ^招募四名將電極陣列植入其大腦中以監(jiān)測(cè)癲癇發(fā)作的參與者開發(fā)這一系統(tǒng)的。Joseph Makin表示：“這可能是‘語言假肢’的基礎(chǔ)?！?/p>

論文鏈接：

https://www.nature.com/articles/s41593-020-0608-8

實(shí)驗(yàn)參與者被要求多次朗讀50個(gè)固定句子，比如“蒂娜·特納是流行歌手”和“那些小偷偷走了30件珠寶”，研究者們跟蹤了他們講話時(shí)的神經(jīng)活動(dòng)。這些數(shù)據(jù)隨后被輸入到機(jī)器學(xué)習(xí)算法中，系統(tǒng)能將每個(gè)口述句子的大腦活動(dòng)數(shù)據(jù)轉(zhuǎn)換為數(shù)字字符串。

為了確保數(shù)字僅與語音方面有關(guān)，系統(tǒng)將根據(jù)大腦活動(dòng)數(shù)據(jù)的小塊預(yù)測(cè)的聲音與實(shí)際記錄的音頻進(jìn)行了比較，然后將數(shù)字字符串輸入用來轉(zhuǎn)換為單詞序列的系統(tǒng)的第二部分。

萬事開頭難，開始時(shí)系統(tǒng)會(huì)顯示不少廢話，但當(dāng)系統(tǒng)將單詞的每個(gè)序列與實(shí)際朗讀的句子進(jìn)行比較時(shí)，通過不斷改善，從而了解了數(shù)字串與單詞之間的關(guān)系以及哪些單詞趨于彼此相連。團(tuán)隊(duì)接下來對(duì)系統(tǒng)進(jìn)行了測(cè)試，僅從語音過程中的大腦活動(dòng)生成書面文本。

系統(tǒng)并不完美，“那些音樂家很合拍”被解釋為“菠菜是著名的歌手”，而“一卷電線躺在墻上”變成“威爾賓會(huì)戴黃色百合花”。但是，新系統(tǒng)的準(zhǔn)確性遠(yuǎn)遠(yuǎn)高于以前的方法，盡管準(zhǔn)確度因人而異，但對(duì)于一名參與者，平均每個(gè)句子僅需要糾正3%的單詞，高于專業(yè)人類筆錄者5%的單詞錯(cuò)誤率。但是，團(tuán)隊(duì)擔(dān)心該算法僅能處理少量句子。

Makin說：“如果使用50個(gè)句子之外的單詞，解碼會(huì)變得很糟糕。”他補(bǔ)充說，系統(tǒng)可能依賴于學(xué)習(xí)特定句子，從大腦活動(dòng)中識(shí)別單詞以及識(shí)別英語一般模式的組合 。

研究小組還發(fā)現(xiàn)，根據(jù)一個(gè)參與者的數(shù)據(jù)對(duì)算法進(jìn)行訓(xùn)練意味著最終用戶需要的訓(xùn)練數(shù)據(jù)更少，這可以減少對(duì)患者的繁瑣訓(xùn)練。

馬斯特里赫特大學(xué)的專家Christian Herff博士沒有參加這項(xiàng)研究，他認(rèn)為這項(xiàng)研究很有意思，因?yàn)橄到y(tǒng)只為每個(gè)參與者使用不到40分鐘的訓(xùn)練數(shù)據(jù)，并且句子的收集數(shù)量有限，而不是需要幾個(gè)小時(shí)的數(shù)百萬數(shù)據(jù)?！斑@讓他們達(dá)到了迄今為止尚未達(dá)到的準(zhǔn)確性水平?！?/p>

但是該系統(tǒng)尚不能用于許多嚴(yán)重殘疾的患者，因?yàn)樵撓到y(tǒng)依賴于大聲說出句子的人記錄的大腦活動(dòng)。他說：“當(dāng)然，這是一項(xiàng)了不起的研究，但是那些人也可以使用'OK Google就好了'，這不是思想的翻譯，而是言語中涉及的大腦活動(dòng)?！?/p>

Herff說，人們現(xiàn)在還不必?fù)?dān)心別人會(huì)讀懂他們的想法，這必須要植入大腦電極，而想象中的語音與內(nèi)在的聲音大不相同。 謝菲爾德大學(xué)腦機(jī)接口專家Mahnaz Arvaneh博士認(rèn)為，現(xiàn)在考慮道德問題很重要。她說：“我們距離機(jī)器能夠讀懂我們的思想的距離仍然非常非常遙遠(yuǎn)。但這并不意味著我們不應(yīng)該考慮它，我們也不應(yīng)該計(jì)劃它?！?/p>