谷歌研發(fā)類似“雞尾酒效應(yīng)”的技術(shù) 可以運用到Y(jié)outube中
該研究與已知的“雞尾酒會效應(yīng)(cocktail party effect)”有關(guān)。所謂“雞尾酒會效應(yīng)”,指的是人的一種聽力選擇能力,在這種情況下,注意力集中在某一個人的談話之中而忽略背景中其他的對話或噪音,該效應(yīng)揭示了人類聽覺系統(tǒng)中令人驚奇的能力,即我們可以在噪聲中談話。
同理,谷歌的這項研究可以讓人工智能模仿大腦,在一個充滿干擾的環(huán)境中(例如到處都有其他的人在說話),將注意力集中在一個單獨的物體(例如某一個人)的能力。
人工智能模型通常很難以相同的效果調(diào)整外部輸入,特別是當(dāng)涉及包含多個聲音的音頻流時更是如此。這已被證明是語音識別領(lǐng)域的主要挑戰(zhàn),這是當(dāng)今神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用領(lǐng)域之一。
谷歌表示,其研究人員通過開發(fā)一種考慮到不同類型信息的深度學(xué)習(xí)模型的做法克服了這一障礙:視覺輸入。該技術(shù)被設(shè)計用于處理視頻,該人工智能可以分析剪輯中顯示的人物的嘴部動作,以使每個人都能與他們發(fā)出的聲音進(jìn)行匹配。一旦它建立起了必要的關(guān)聯(lián)關(guān)系,模型就可以將單個的語音軌道分開。
教會人工智能有效地完成這項任務(wù)并不是一件容易的事。谷歌的研究人員從YouTube上收集了100,000個視頻,提取了每個包含每個發(fā)言人聲音的音頻片段,然后將這些片段拼接成具有多個音軌的“合成雞尾酒會”。該小組使用這個數(shù)據(jù)集來訓(xùn)練模型,以便在各種條件下都能夠?qū)⒄f話者的聲音與其他聲音分開。
谷歌表示,結(jié)果是用戶可以點擊他們希望聽到的人的臉部,并讓視頻中的其他說話的人自動靜音。該技術(shù)對這家搜索巨頭來說有很多潛在的用途。
對于初學(xué)者來說,谷歌可以在YouTube中使用這個人工智能版本,讓用戶調(diào)出剪輯中的一些聲音。對于在嘈雜的環(huán)境中錄制的視頻來說,這可能是一個特別大的便利,在這樣的環(huán)境中有時候會難以聽到發(fā)言者的聲音。
該人工智能也有可能會改善Hangouts和Meet——谷歌的視頻會議服務(wù)——的用戶體驗,它能夠讓會議的參與者更容易地專注于特定的人的語音。該搜索巨頭甚至相信這項技術(shù)可以應(yīng)用于醫(yī)療領(lǐng)域,例如可以開發(fā)出更復(fù)雜的助聽器。