結合音頻和生命體征數(shù)據(jù)，AI深度學習系統(tǒng)不僅將可能成為焦慮人群的“社交教練”，而且有望在未來能夠研發(fā)出“情感智能”，大大改善人們的社交質量。
有一個不爭的事實，那就是人們對某一次對話內容可以有迥然不同的理解方式。舉例而言，對于焦慮人群而言，這會使他們的社會交往變得極具挑戰(zhàn)。但是，如果有一套客觀的方法來測度和理解我們交流時所流露出的情緒，情況是否會變得不同?
麻省理工學院計算機科學與人工智能實驗室(CSAIL)和醫(yī)學工程與科學研究所(IMES)的研究人員已近乎給出我們一個潛在的解決方案：一種可穿戴式AI系統(tǒng)，根據(jù)人的講話方式和生命體征來預測交談是快樂的、悲傷的還是中性的。
Tuka Alhanai是該團隊主要成員之一，他也將出席下星期在舊金山舉行的國際人工智能協(xié)會(AAAI)第31屆大會。他表示：“想象一下，在對話結束時，你可以像倒帶一樣，重現(xiàn)令你周圍人感到最焦慮的時刻。而我們的研究只是朝這個方向邁出了一小步，但也表明，人們離出門時隨身裝一個AI社交教練的時代可能不遠了。”
當參與者講述一個故事時，系統(tǒng)開始對音頻、音頻的文本轉錄和身體信號進行分析，并對故事整體基調做判定，準確率達到了83%。使用深度學習技術，該系統(tǒng)還能為會話內的每個五秒間隔打出“情緒分數(shù)”。
研究團隊的另外一位核心成員MohammadGhassemi表示：“據(jù)我們所知，這是第一個以被動但可靠的方式收集對話者身體數(shù)據(jù)和語音數(shù)據(jù)的實驗，即使受試者進行自然的、非結構化的對話，而我們的研究結果表明，利用收集到的數(shù)據(jù)為對話的情緒語調進行實時分類是可行的。”
研究人員還表示，若能在多人對話情境中，使用裝有這一系統(tǒng)的智能穿戴設備，比如智能手表，從而能夠產生更多可供系統(tǒng)算法分析的數(shù)據(jù)，將有助于系統(tǒng)性能的進一步提高。
德國帕紹大學教授兼復合智能系統(tǒng)主席BjörnSchuller雖沒有參與本研究，但他這樣評價此項成果：“該團隊使用面向消費者的可穿戴設備收集生理數(shù)據(jù)和語音數(shù)據(jù)，顯示出我們在日常設備中擁有這種工具即將成為現(xiàn)實。技術本身很快會顯得更加情感智能，甚至成為“情感智能”。
背后的工作原理
許多情緒檢測研究是讓參與者觀看“快樂”和“悲傷”的視頻，或要求他們人為地表現(xiàn)出特定的情感狀態(tài)。但該研究團隊為了努力引出更多的情緒，要求受試者講一個他們自選的或快樂、或悲傷的故事。
受試者佩戴裝有本系統(tǒng)的三星Simband智能腕帶——這是一種能捕捉高分辨率生理波形以測量運動、心率、血壓、血流量和皮膚溫度等體征的研究設備。系統(tǒng)則捕獲音頻數(shù)據(jù)和文本轉錄，從而分析說話者的語氣、音調、精力和詞匯。
以三星智能腕帶對31組持續(xù)數(shù)分鐘的不同對話收集的數(shù)據(jù)為材料，研究人員對兩個算法進行了訓練：一種只將會話的總體性質分辨成“快樂”或“悲傷”;第二種則是將每段會話按5秒間隔標記為“正”、“負”或“中性”。
Alhanai指出，在傳統(tǒng)的神經網絡中，數(shù)據(jù)的所有特征都被提供給基于網絡的算法進行分析。與此相反，他們團隊發(fā)現(xiàn)，對網絡的不同層次組織不同的特征可以提高算法性能。
“系統(tǒng)在不斷學習——例如，文本轉錄中表達的情緒遠比原始加速器數(shù)據(jù)抽象得多。Al在研究人員沒有進行有效輸入時，機器可以模仿我們人類感知這些交流中包含的感情色彩，這絕對是意義非凡的事情。”
持續(xù)開發(fā)出能夠準確把握人類情緒脈搏的技術
事實是，該算法得到的結果與我們人類可能期望觀察到的結果高度匹配。例如，長時間的停頓和單調的聲調與悲傷的故事有關，而精力充沛、變化的講話方式則與快樂的故事有關。在身體語言方面，煩躁不安和心血管活動的增加，以及某些姿勢，如一個人把手放在臉上，往往與悲傷的故事密切相關。
平均來說，該模型對每五秒間隔的情緒分類有18%以上的準確度，比現(xiàn)有的方法高出7.5%。
目前，算法雖然還不能可靠到成為一名稱職的社交教練，但Alhanai表示，他們正積極地朝著這個目標努力。對于未來的工作，研究團隊計劃擴大數(shù)據(jù)的收集規(guī)模，考慮使用商業(yè)設備，如Apple Watch，讓全世界的人們都能更容易地用上這一系統(tǒng)。
“我們的下一步是改進算法在辨別對話情緒方面的準確度，使其能準確辨別諸如無聊、緊張和激動等情緒，而不是僅僅將其標記為‘正’或‘負’。”Alhanai說，“開發(fā)能夠準確把握人類情緒脈搏的技術，有可能大大改善我們的社交質量。”
這項研究部分由三星戰(zhàn)略與創(chuàng)新中心完成。
下載文檔
