智能座艙中的駕駛員語音及情感識(shí)別技術(shù)深度詳解

隨著人們對(duì)汽車安全性能要求的進(jìn)一步提升，汽車安全相關(guān)的法律法規(guī)越來越完善，很多國(guó)家和地區(qū)要求汽車必須配備自動(dòng)緊急制動(dòng)系統(tǒng)(AEBS)或者ADAS系統(tǒng)等，隨之而來的是對(duì)功能告警車載語音需求的增加。尤其是用于告警的語音，對(duì)響應(yīng)性能要求非常高，不能出現(xiàn)語音播報(bào)延遲，這些都對(duì)車載語音的品質(zhì)要求提出了新的挑戰(zhàn)。

隨著汽車成為人們?nèi)粘Ｉ钪性絹碓街匾墓ぞ撸脩粜枰踩?、舒適、更智能的駕駛體驗(yàn)，智能駕駛艙的概念也逐漸出現(xiàn)。智能駕駛艙旨在通過支持包括語音和操作手勢(shì)在內(nèi)的多模式交互，盡可能提高用戶體驗(yàn)和駕駛便利性。語音在現(xiàn)階段的智能座艙交互中起著至關(guān)重要的作用，導(dǎo)航、廣播和內(nèi)容搜索等車載媒體功能需要語音識(shí)別。車內(nèi)硬件交互可以使用語音控制，例如打開空調(diào)和關(guān)閉天窗。由于智能座艙的條件，語音面臨許多挑戰(zhàn)。首先，駕駛艙是一個(gè)特殊的聲學(xué)環(huán)境，具有各種噪聲干擾，包括媒體噪聲、風(fēng)噪聲和相對(duì)封閉且較小的空腔中的人聲。同時(shí)，駕駛員情緒是駕駛員生理心理狀態(tài)的外在表現(xiàn)，影響著駕駛員的駕駛決策和行為。隨著智能汽車的快速發(fā)展，動(dòng)態(tài)駕駛場(chǎng)景中駕駛員的情緒監(jiān)測(cè)逐漸成為研究的熱點(diǎn)。

截至目前，智能座艙已逐漸成為智能汽車的標(biāo)配，包括極越01、智己L7、AITO問界M5等在內(nèi)的多款汽車產(chǎn)品均已配備了具有語音交互功能的智能座艙。以極越01為例，目前極越01擁有基于百度語音交互底層能力的語音助手SIMO，其語音識(shí)別速度已經(jīng)達(dá)到了500ms，在弱網(wǎng)和無網(wǎng)環(huán)境也能流暢交互。極越方面進(jìn)一步表示，在未來，視頻語音融合的多模態(tài)交互方案也將上車，全面提升多模態(tài)融合交互能力和用戶隱私保護(hù)，并通過多合一端側(cè)模型進(jìn)一步提升語音識(shí)別準(zhǔn)確率。2020年，以色列初創(chuàng)公司Hi Auto展示該公司的駕駛員語音識(shí)別商用解決方案的原型，Hi Auto表示，該方案為全球首創(chuàng)，可以分離駕駛員的聲音，屏蔽掉車內(nèi)和車外其他乘客的聲音和噪音。該系統(tǒng)基于一個(gè)安裝在設(shè)備上的深度學(xué)習(xí)軟件程序，消除了僅使用音頻技術(shù)無法消除的噪音，讓汽車語音識(shí)別功能在任何噪音條件下都能夠可靠地工作，從而進(jìn)一步優(yōu)化智能座艙的使用體驗(yàn)。2023年4月，全新升級(jí)的騰訊云智能車載語音助手對(duì)外亮相。通過打通訓(xùn)練平臺(tái)和云端能力，語音交互功能更新周期將縮短至小時(shí)級(jí)。同時(shí)，3D數(shù)字人與語音助手聯(lián)合，多方言、多語種識(shí)別等功能，也將助力車企打造更有溫度、有效率、有感情的人車交互體驗(yàn)。目前，騰訊云智能車載語音助手已落地超過15家車企，交付超100款國(guó)內(nèi)外暢銷車型，累計(jì)接入車輛300多萬臺(tái)。

在已有語音識(shí)別技術(shù)的基礎(chǔ)上，智能座艙語音識(shí)別存在一些主流技術(shù)。Kaldi[1]基于音素級(jí)GMM-HMM建模比對(duì)，其通過fst解碼網(wǎng)絡(luò)將序列從聲學(xué)單元轉(zhuǎn)換為單詞。Wenet等人采用于用來解決時(shí)序類數(shù)據(jù)的分類問題的CTC模型，直接使用單詞作為建模對(duì)象。噪聲較大的環(huán)境中的語音識(shí)別同樣具備較大的挑戰(zhàn)性，B. Zhang[2]等人提出了一種新的基于注意力的方法來有效融合空氣傳導(dǎo)(AC)和骨傳導(dǎo)(BC)麥克風(fēng)信號(hào)，用于復(fù)數(shù)域語音增強(qiáng)。顯著提高了噪聲環(huán)境下的語音增強(qiáng)性能。語音增強(qiáng)生成對(duì)抗性網(wǎng)絡(luò)(SEGAN)[3]提供了一個(gè)快速的增強(qiáng)過程，而不需要因果關(guān)系。它與原始音頻端到端地發(fā)揮作用，無需手動(dòng)提取聲音特征。受到這些最新發(fā)展的啟發(fā)，YingWei Tan[4]等人提出了兩種梳理異構(gòu)網(wǎng)絡(luò)輸出的方法。標(biāo)量權(quán)重和基于向量的注意力權(quán)重，分別用于引導(dǎo)權(quán)重的分配。此外，作者端到端地訓(xùn)練所提出的模型。它在時(shí)域和頻域都進(jìn)行了優(yōu)化，采用了多個(gè)損失函數(shù)來實(shí)現(xiàn)所需的性能。在汽車智能座艙環(huán)境中對(duì)合成數(shù)據(jù)集進(jìn)行了實(shí)驗(yàn)。在語音質(zhì)量感知評(píng)估(PESQ)、短時(shí)目標(biāo)可懂度(STOI)和尺度不變?cè)丛氡?SISNR)方面，結(jié)果表明，在語音增強(qiáng)實(shí)驗(yàn)中，該框架比人造噪聲數(shù)據(jù)分別提高了1.87%、8.38%和18.43%的正確率。此外，在語音識(shí)別實(shí)驗(yàn)中，所提出的算法在相同數(shù)據(jù)的基礎(chǔ)上降低了3.20%的誤字率。

▲ 圖1 [4]中提到的異構(gòu)網(wǎng)絡(luò)輸出的方法

Hanzhi GUO[5]在文章中討論了他們?cè)贗SCSLP 2022智能駕駛艙語音識(shí)別挑戰(zhàn)賽中進(jìn)行自動(dòng)語音識(shí)別工作的基本原理，并提供了詳細(xì)描述。作者提出了一種基于中間CTC的損失正則化(Inter-CTC)與自適應(yīng)折疊編碼器的組合，也與基于TLG注意力中心的聲學(xué)模型相結(jié)合。這種組合為智能駕駛艙語音識(shí)別找到了很好的解決方案，因?yàn)樗梢蕴岣邷?zhǔn)確性。與基線模型相比，軌道II(無限模型大小軌道)中模型的字符錯(cuò)誤率(CER)下降了38.12%，以9.86%的CER位居排名期第二。對(duì)于軌道I(有限模型大小的軌道)，我們應(yīng)用知識(shí)提取從無限軌道訓(xùn)練師生模型，結(jié)合軌道I和軌道II Kloss。Track II模型的CER比基線模型下降了40.18%，以13.39%的CER排名第三。

▲圖2 [5]中所提到的工作流程與模型結(jié)構(gòu)

智能座艙主流情感識(shí)別技術(shù)

汽車智能座艙是一種智能服務(wù)系統(tǒng)，配備智能互聯(lián)的車內(nèi)產(chǎn)品或技術(shù)，在應(yīng)用場(chǎng)景中具有洞察、理解和滿足用戶需求的能力，以實(shí)現(xiàn)安全、高效、舒適、愉快的人機(jī)交互(HMI)體驗(yàn)。智能駕駛艙的開發(fā)將擴(kuò)大和深化人機(jī)界面在人與車之間的范圍，從而產(chǎn)生新的人與車交互問題，挑戰(zhàn)安全性、舒適性和駕駛員的接受度。為了實(shí)現(xiàn)與駕駛員的情感互動(dòng)，智能駕駛艙必須穩(wěn)健地識(shí)別駕駛員的情緒。目前，駕駛員的情緒識(shí)別主要通過分析駕駛員的生理信號(hào)、面部表情、身體姿勢(shì)、語音信號(hào)和其他情緒表達(dá)來實(shí)現(xiàn)。基于生理信號(hào)的情緒識(shí)別結(jié)果可以更真實(shí)地反映駕駛員的情緒狀態(tài)，但數(shù)據(jù)采集通常需要使用侵入式傳感器，駕駛環(huán)境中可能存在信號(hào)不穩(wěn)定的情況?；诿娌勘砬楹蜕眢w姿勢(shì)的情緒識(shí)別具有入侵性低、易于獲取的優(yōu)點(diǎn)，但其識(shí)別過程會(huì)受到光照強(qiáng)度和背景變化等環(huán)境因素的限制，可能會(huì)侵犯駕駛員的隱私。相比之下，駕駛員的語音信號(hào)具有易于采集、入侵性低、不易侵犯隱私的優(yōu)點(diǎn)。

為了解決語音情感識(shí)別任務(wù)中單個(gè)特征性能較差的問題，[6]中提出了一種新的基于多個(gè)頭自注意的特征融合深度卷積神經(jīng)網(wǎng)絡(luò)(MSA-NN-FF)。融合特征包括話語級(jí)聲學(xué)特征和框架級(jí)特征。首先，利用CNN對(duì)幀級(jí)特征進(jìn)行編碼。然后，通過使用多頭自注意機(jī)制來關(guān)注與情緒相關(guān)的時(shí)頻區(qū)域。最后，將局部學(xué)習(xí)的特征與語音的聲學(xué)特征相結(jié)合，得到最終的特征表示。在IEMOCAP數(shù)據(jù)庫(kù)上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明MSA-NN-FF的有效性優(yōu)于其他先進(jìn)的基線網(wǎng)絡(luò)。

▲圖3 MSA-NN-FF模型的總體架構(gòu)

Chen等人[7]綜合語音情緒的個(gè)性化和非個(gè)性化特征，利用多個(gè)隨機(jī)森林識(shí)別不同的情緒，構(gòu)建了兩層模糊多隨機(jī)森林模型。由于深度學(xué)習(xí)能夠以分層的方式表示和學(xué)習(xí)隱藏在語音中的低級(jí)情感特征，因此在語音情感識(shí)別方面引起了學(xué)者們的廣泛關(guān)注。Li等人[8]開發(fā)了一種基于注意力池的深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)，將語音聲譜圖作為模型輸入，通過端到端的方法學(xué)習(xí)情緒表達(dá)。

Li Wenbo[9]等人提出了一種多特征融合的并行結(jié)構(gòu)語音情感識(shí)別網(wǎng)絡(luò)，該網(wǎng)絡(luò)將整個(gè)語音的全局聲學(xué)特征和局部頻譜特征互補(bǔ)融合。其次，我們?cè)O(shè)計(jì)并進(jìn)行了駕駛員情緒下的語音數(shù)據(jù)采集，建立了包括40名參與者的動(dòng)態(tài)駕駛環(huán)境中的駕駛員語音情緒(SpeechEmo)數(shù)據(jù)集。最后，在SpeechEmo和公共數(shù)據(jù)集上對(duì)所提出的模型進(jìn)行了驗(yàn)證，并進(jìn)行了定量分析。研究發(fā)現(xiàn)，所提出的模型具有先進(jìn)的識(shí)別性能。所提出的模型和數(shù)據(jù)集有利于未來在智能駕駛艙中實(shí)現(xiàn)人車情感交互，從而獲得更好的駕駛員體驗(yàn)。

▲圖4 智能座艙與人類情感互動(dòng)的過程

隨著智能語音助手等產(chǎn)品的快速普及，智能座艙可以通過駕駛員的聲音識(shí)別情緒，具有廣泛的應(yīng)用潛力。關(guān)于跨地區(qū)、跨文化的情感識(shí)別研究，目前還沒有明確的結(jié)論證明不同方言會(huì)影響識(shí)別結(jié)果。因此，在當(dāng)前的研究中，已有學(xué)者[9]建立了最常用的漢語語音(普通話)數(shù)據(jù)集來提取情緒相關(guān)特征。鑒于跨地區(qū)的情感識(shí)別研究暫未取得重大突破，跨文化和不同方言的情感識(shí)別是未來亟需解決的難題。