美教授以Youtube視頻為素材研究計(jì)算機(jī)情感識別

當(dāng)Louis-Philippe Morency還在南加州大學(xué)教授人類行為學(xué)的分析課程時，他就已經(jīng)不遺余力地尋找人們之間彼此交談和表達(dá)觀點(diǎn)的優(yōu)秀視頻了，直到他靈光一閃，想到了YouTube。忽然之間就有數(shù)百萬充滿個人觀點(diǎn)的視頻以供分析，這些例子涵蓋的話題包羅萬象，從美容乳液到棒球，而且都是免費(fèi)的。忘掉那些不自然且呆板的采訪吧，“最棒的是，即使采訪環(huán)境有些嘈雜，在攝像機(jī)面前，所有人都是如此直接地描述了自己的感受和自己的喜好。”Morency解釋道。

Morency是美國南加州大學(xué)科技創(chuàng)新技術(shù)學(xué)院的一名科學(xué)家，主要工作是教計(jì)算機(jī)識別和理解人類傳達(dá)感情的方式，對他而言，YouTube上的寶貴資源不僅僅為他的學(xué)生提供了巨大的數(shù)據(jù)資料，同時也具有提升日益增長的觀點(diǎn)挖掘產(chǎn)業(yè)的潛力，這遠(yuǎn)遠(yuǎn)領(lǐng)先于對只有文字的亞馬遜產(chǎn)品評論和Facebook狀態(tài)更新的深入研究。 “通過集中精力研究在線視頻，我們在這個領(lǐng)域領(lǐng)先了一步，因?yàn)樵诰€視頻可以提供語言和非語言的交流線索，而不僅僅是話語。”Morency說道。

美國南加州大學(xué)教授 Morency

為了進(jìn)行研究，Morency和他的同事們對上百個來自Youtube的視頻進(jìn)行了梳理，這些視頻充滿了各種抱怨和誹謗，比方其中包括來自20個憤世嫉俗者各種各樣的抱怨吐槽，從小型鳥類到火氣大的司機(jī)等等。Morency將一份具有50個視頻資料分析結(jié)果的驗(yàn)證類數(shù)據(jù)資料輸入自己開發(fā)的計(jì)算機(jī)程序中進(jìn)行分析，該程序可以將說話人的語言、說話模式和面部表情等以圖像的形式進(jìn)行覆蓋，用以判斷說話者想要表達(dá)觀點(diǎn)的類型。

“這個對樣本分析的小方法勝過單獨(dú)的文本分析。”Morency說道，“因此這種方法可以提供交流溝通中哪怕是最不明顯細(xì)枝末節(jié)的線索。”Morency還發(fā)現(xiàn)，除了明顯愉悅時，人們在自己的觀點(diǎn)得到認(rèn)同的時候會更多地看著鏡頭，同時聲調(diào)也會變得更高。當(dāng)人們持中立態(tài)度的時候，人們說話更容易停頓。“眼中的微笑最為真實(shí)。”他補(bǔ)充道，“在很多例子中會出現(xiàn)一個完美的表情，但是如果這個表情消失的很快，那么有可能就不是真實(shí)的。”

對人造情感的檢測和分辨帶來了更多的啟示和思考，F(xiàn)ast Company邀請Morency對《甜蜜布朗》新聞錄影帶的片段進(jìn)行分析。她對從失火公寓中艱難逃生戲劇般的講述不僅讓攝影師為之動容，同時也引發(fā)了無數(shù)網(wǎng)民的觀看（目前已有三百七十萬瀏覽量，這個數(shù)字還在繼續(xù)上升），隨后這一事件演變成了使用電子合聲器而走紅的互聯(lián)網(wǎng)快速傳播事件。但是布朗當(dāng)時真的是沒有穿鞋而逃命的嗎?

Morency承認(rèn)自己并非是一個欺騙高手，不過從他的角度來說，布朗女士是一個老練的(或者是天生的)講故事高手。 “她從一開始就牢牢抓住了采訪者的注意力，接著通過不斷的搖頭和揚(yáng)眉毛強(qiáng)調(diào)自己故事的重要線索，并且這些身體語言和她的話語很一致。同時她通過時不時的具有目的性的微笑將這個本該是難過的故事講述成了一個有趣的故事。”Morency說他需要親自和她見面會談才能做出更準(zhǔn)確的判斷，不過根據(jù)另一份來自 KFOR的報(bào)告表明Morency的看法是對的，布朗女士確實(shí)是這樣的人。

Morency將他的模型帶到了在西班牙舉行的多模態(tài)交互國際會議，之后宣布他已經(jīng)將自己的數(shù)據(jù)資料庫擴(kuò)展到包含了接近500個視頻的規(guī)模，并將在今年年底宣布從這個更大的樣本庫得出的分析結(jié)果。

除了學(xué)術(shù)界，Morency的發(fā)現(xiàn)還吸引了YouTube和谷歌高層人員的興趣，目前Morency正在準(zhǔn)備一份和搜索引擎巨頭合作的提議，并重申是出于“科學(xué)研究和創(chuàng)造技術(shù)”的動機(jī)。一旦提議得到許可，那么公司將金額他的團(tuán)隊(duì)一起工作，“用行動影響世界”。

除了研究內(nèi)容讓熱愛科學(xué)的Morency心潮澎湃以外，他還看到了在各領(lǐng)域中巨大的實(shí)際應(yīng)用，包括為心理學(xué)家提供分析解釋行為的新工具，以及為企業(yè)和消費(fèi)者提供更好的眾包方式等等。“當(dāng)人們想要嘗試一家新餐館或者看一部電影的時候，多多少少都會受到網(wǎng)絡(luò)上人們的影響。”他解釋道：“增加視頻分析可以將最真實(shí)的意見和看法放到首位，不然用戶看到的不僅是通過關(guān)鍵詞還有正面負(fù)面評價(jià)得到的網(wǎng)絡(luò)搜索結(jié)果。”

企業(yè)測試版本最遲也會在3年內(nèi)完成，不過科技創(chuàng)新技術(shù)學(xué)院已經(jīng)在他們的虛擬人研究中運(yùn)用了該技術(shù)，該技術(shù)可以改進(jìn)虛擬人和真實(shí)人的交流方式。

作為法裔加拿大人，Morency同時希望研究非英語講話者的視頻。

從西班牙語入手，Morency研究了基于不同文化背景下的來自不同國家的人們是如何表達(dá)觀點(diǎn)的，“我們可以將視頻結(jié)合語境進(jìn)行分析，同時對視頻進(jìn)行分類，然后找尋天生行為中的差異。”跨文化領(lǐng)導(dǎo)訓(xùn)練，有人愿意參加嗎？

說道領(lǐng)導(dǎo)力和協(xié)同工作，Morency的工作也幫助學(xué)生在集體中認(rèn)清具有領(lǐng)導(dǎo)力的人，同時也分辨學(xué)生是融入其中、充滿困惑還是不斷學(xué)習(xí)。評估這些不確定因素可以創(chuàng)造更好的培訓(xùn)系統(tǒng)以便在需要的時候提供更多建議和積極的影響，Morency相信這項(xiàng)技術(shù)能夠?qū)⒓彝プ鳂I(yè)更加互動同時鼓勵學(xué)生之間的合作。

“我們正在培養(yǎng)下一代，”Morency說道：“好的學(xué)校應(yīng)該盡早在課程體系中安排類似的課程，我非常希望和更多的公司合作以便將其付諸實(shí)踐。

更多相關(guān)新聞?wù)堦P(guān)注：21ic計(jì)算機(jī)與外設(shè)頻道