基于多層深度學習框架和運動分析的駕駛員疲勞監(jiān)測系統(tǒng)

Francesco Rundo1

Sabrina Conoci1

Francesca Trenta2

Sebastiano BatTIato2

1意法半導體

2IPLAB –卡塔尼亞大學數學和計算機科學系

摘要：汽車工業(yè)的最新發(fā)展引起了科研人員對疲勞駕駛監(jiān)測的研究興趣，意圖開發(fā)一種有效的駕駛員監(jiān)測系統(tǒng)，能及時發(fā)現心理物理狀態(tài)異常，減少疲勞駕駛引起的交通事故。現在許多文獻特別專注于生理信號的研究，通過測量心率變異性（HRV）來得到有關心臟運動的信息。事實上，HRV還是一個有效的評估生理壓力的指標，因為它可以提供與自主神經系統(tǒng)支配的心血管系統(tǒng)活動相關的信息。本文旨在通過提取人臉特征點，分析由血壓引起的皮膚細微運動，再以一個穩(wěn)健的方式重構光電容積圖（PPG）信號。所得結論是，傳感器檢測到的PPG信號與使用人臉特征點重構的PPG信號有很強的相關性，而且我們從實驗結果中獲得了支持這一結論的證據。

1 前言

困倦是一種生理狀態(tài)，其特征是人的意識程度降低，難以保持清醒狀態(tài)。根據國家安全委員會的調查，在美國，疲勞駕駛導致的致命性事故的占比正在顯著上升［1］。因此，開發(fā)一種可以提前發(fā)現駕駛員生理狀況不適宜開車的有效預警系統(tǒng)將具有重要意義。據報道，有研究顯示，心率變異性（HRV）與駕駛員的注意力程度相關聯［2］。準確的講，心率變異性是一個代表個體的生理適應能力和行為靈活性的重要指標。評估心臟運動的方法是使用PPG信號測量血壓，由此再評估心率變異性。具體地說，PPG信號是由代表逐次心動周期的血管容積峰值組成，PPG檢測方法是，使用LED光源照射皮膚的不同部位，再用光電二極管評價光的反射強度［3］。盡管生理信號使我們能夠監(jiān)測困倦程度，但是最近的研究方向主要是使用計算機視覺技術評估駕駛員的疲勞程度［4］。雖然在汽車環(huán)境中開發(fā)人臉檢測系統(tǒng)肯定具有挑戰(zhàn)性，但仍有許多方法使用攝像頭確定眨眼率，由此來評估疲勞程度［5］。與其它研究不同，我們的方法側重于利用計算機視覺技術來檢測和提取人臉特征點，通過分析先前錄制的視頻序列的像素強度變化，來定義人臉特征點的時間序列。更具體地說，我們的方法的基本原理也是通過“視頻放大”來揭示血壓變化引起的面部細微運動。本研究的目的是通過定義人臉特征點時間序列而不是使用傳感器來構建PPG信號。

本文后面的結構如下：第二部分介紹相關的研究成果；第三部分概述PPG信號，并介紹我們的基于長期短記憶和卷積神經網絡的管道。第四部分解釋實驗過程。最后，第五部分討論我們方法的優(yōu)點和未來研究方向。

2 相關研究

在以往發(fā)表的論文著作中，大部分是通過生理信號檢測駕駛員困倦，取得了很高的檢測精度。事實上，很多研究證明，僅基于計算機視覺技術的駕駛員疲勞監(jiān)測解決方案可能不一定行之有效，尤其是側重于分析交通標志的視覺方法，在路況不佳時，往往會失敗。

一部分科研人員曾公布了一項光體積描述信號（PPG） 檢測研究成果［6］，作者使用低功率無線PPG傳感器取得了很好的檢測效果。另一種方法 ［7］ 是作者利用在手指和耳垂檢測到的低頻和高頻PPG信號來評估疲勞程度。本文引用的研究成果主要是通過研究ECG和PPG信號來評估HRV信號。不過，本文所引用的方法對計算性能有較高的要求，需要在車上集成昂貴的檢測設備。盡管集成的傳感器不一定是直接測量工具，但為了準確地獲取生理信號，駕駛員還是需要將手或身體的其它部分（例如耳垂或手指）放在傳感器上，這對于在汽車上推廣應用是一個限制。本文另辟蹊徑，提出一個創(chuàng)新的框架，基本原理是抓取司機面部圖像，采集人臉特征點，重建PPG信號，以此評估HRV信號和疲勞程度。

3 背景和管道方案

如前所述，我們提出了一種創(chuàng)新的駕駛員困倦狀態(tài)監(jiān)測方法，而無需使用傳感器來獲取PPG信號。部分學者的研究成果［8］闡述了視頻放大方法是如何通過放大普通視頻圖像來揭示人臉面部的運動變化，因為逐次心動周期中的血壓變化會引起皮膚不同部位的顏色變化。研究證明，自主神經系統(tǒng)活動可調節(jié)某些生理過程，例如，血壓和呼吸速率，通過評估心率變異性信號可以間接測量這些生理過程，因為心率變異性信號在生理壓力、極度疲勞和困倦期間會出現變化。

評估HRV心率變異性需要使用生物反饋工具或軟件，以及檢測心電信號的高質量傳感器，還需要功能強大的處理器來管理大量的數據。ECG信號是傳統(tǒng)的心率變異性評估方法，不過，這種方法在使用上存在某些缺陷，盡管檢測效果良好，但是在數據采集（數據采樣）過程中，人體的細微運動會導致信號內出現一些噪聲和偽影。為了克服ECG的問題，業(yè)界提出PPG信號是可靠的解決方案，檢測血液容積變化的能力使PPG能夠有效地檢測裸眼難以觀察到的皮膚細微運動。特別是，通過分析PPG信號，我們能夠界定在特定時段內的心率變化，顯示自主神經系統(tǒng)的兩個分支（副交感神經和交感神經）是否都在正常工作。通常，HRV值小，表示心率間隔恒定；HRV值大，則表示心率間隔異常。非常正常的心律和心率的細微變化可以確定注意力是否因為慢性生理壓力而降低。但是，不存在一個標準的HRV值，因為HRV值因人而異。

考慮到這一點，我們采用長期短記憶（LSTM）神經網絡［9］與卷積神經網絡（CNN）［10］相結合的方法開發(fā)了一個駕駛員困倦監(jiān)測系統(tǒng)。本文提出的管道機制代表心臟運動評估方法取得了進步，因為它是使用一個低幀率（25fps）攝像頭檢測和提取人臉圖像中的關鍵特征點，并分析每個視頻幀的像素變化。準確地講，LSTM是評估數據之間隱藏的非線性相關性的有力解決方案。

具體地講，LSTM管道的輸出是綜合傳感器檢測到的原始PPG目標數據后預測的人臉特征點時間序列。

此外，CNN模型的準確分類表示LSTM預測有效，可以確定汽車駕駛員的注意力程度。

4 實驗

總共有71個對象參與了我們的LSTM-CNN管道運行。更具體地說，數據集是來自不同性別、年齡（20至70歲之間）和病理的病患/駕駛員的PPG樣本。在這種情況下，我們不僅采集健康對象的數據，還收集高血壓、糖尿病等病患的數據?？紤]到這兩種困倦狀態(tài)的差異，分別測量了兩種困倦各自的PPG信號樣本。具體地而言，我們模擬被同步ECG采樣信號證實的完全清醒和困倦兩種情景，其中Beta和Alpha波形分別證實大腦在喚醒和困倦時的活動狀態(tài)。每種情景的模擬間隔設為5分鐘，以確保系統(tǒng)有充足的時間完成初步校準和實時連續(xù)學習。同時，我們使用低幀率（25fps）全高清攝像機記錄一段駕駛員的面部視頻，如前文所述，我們先用基于Kazemi和Sullivan機器學習算法 ［11］ 的dlib庫，檢測先前錄制的視頻幀，提取人臉面部特征點，然后，計算與每個特征點關聯的像素強度，以及每幀像素強度的變化，確定人臉特征點的時間序列，將其輸入LSTM神經網絡。

4.1 CNN管道

本節(jié)將更詳細地介紹實驗中使用的CNN模型架構。本文提出的CNN架構為驗證LSTM預測結果提供有力的證據。具體地講，我們的CNN模型能夠跟蹤和學習汽車駕駛員的面部表情，從而提高困倦檢測水平。為了訓練模型，我們將批大小（batch size）設為32，初始學習率設為0.0001。此外，我們在隱藏層中使用了32個神經元，在二進制分類中使用了2個輸出神經元。

我們非常看好實驗結果，因為準確率達到80％。

4.2 長短期記憶網絡（LSTM，Long Short-Term Memory）管道

圖。 1. LSTM管道

關于長短期記憶網絡（LSTM，Long Short-Term Memory）檢測順序數據（時間序列）的關聯性的能力，我們構建了一個LSTM模型，用面部特征點時間序列作為輸入數據，原始PPG信號作為目標數據，重建PPG信號（圖1）。在使用MinMaxScaler算法調整（0.2，0.8）范圍內的所有時間序列值后，綜合考慮以下參數，我們進行了模型訓練。模擬訓練采用256個神經元，批大?。╞atch size）128，初始學習率和輟學率分別設為0.001和0.2。為了評估PPG重構信號的魯棒性，我們計算了PPG最小點的頻率（傅里葉頻譜），我們特別分析了這些點的頻率，比較了原始PPG最小點的頻率與重構PPG最小點的頻率。

5 結論

圖2.原始PPG最小點的快速傅立葉變換（FFT）頻譜（藍色）和重建PPG最小點的快速傅立葉變換（綠色）。

最后，我們提供了一種基于LSTM-CNN的有效的監(jiān)測系統(tǒng)，通過PPG信號評估心臟活動來確定駕駛員的困倦程度。與其它方法不同，我們的方法是利用面部特征點數據重建PPG信號，不涉及傳感器系統(tǒng)。如前文所述，我們構建了LSTM管道，用面部特征點時間序列作為輸入數據，傳感器檢測到的PPG作為目標數據，證明PPG重構信號的魯棒性。此外，我們還構建了CNN模型，不僅可以對駕駛員的生理狀態(tài)進行分類，還可以驗證LSTM的預測結果。最后，我們計算了原始PPG最小點的快速傅立葉變換（FFT）頻譜和重構的PPG最小點的FFT頻譜（圖2）。實驗結果證明，我們的方法有廣闊的應用前景，因為我們能夠區(qū)分瞌睡的對象與清醒的對象，準確率接近100％，這與科學文獻報道的類似管道取得的平均成績一致。使用改進的PPG傳感器［12］，以及利用Stacked-AutoEconder架構［13］學會的特殊功能對PPG信號進行深度處理，將會給本文提出的管道帶來哪些改進，是本文作者目前正在研究的方向。

參考文獻

［1］ NaTIonal Safety Council： https://www.nsc.org/road-safety/safety-topics/fatality-esTImates

［2］ Melo， H. M.， Nascimento， L. M.， Takase， E.， Mental faTIgue and heart rate variability （HRV）： The time-on-task effect. Psychology & Neuroscience， 10 （2017） 428-436.

［3］ Rundo， F.; Ortis， A.; Battiato， S.; Conoci， S.， Advanced Bio-Inspired System for Noninvasive Cuff-Less Blood Pressure Estimation from Physiological Signal Analysis， Computation 6 （2018） 46.

［4］ Zhang， W.， Cheng， B.， Lin， Y.， Driver drowsiness recognition based on computer vision technology， Tsinghua Science and Technology 17 （2012） 354-362.

［5］ Haq， Z. A.， Hasan， Z.， Eye-blink rate detection for fatigue determination. In 1st India International Conference on Information Processing （IICIP）， Delhi， India， 2016， 1-5.

［6］ Xu Y. J.; Ding， F.; Wu， Z.; Wang， J.; Ma， Q.; Chon， K.; Clancy， E.; Qin， M.; Mendelson， Y.; Fu， N.; Assad， S.; Jarvis， S.; Huang， X.， Drowsiness control center by photoplythesmogram， In Proceedings of 38th Annual Northeast Bioengineering Conference （NEBEC）， Philadelphia， USA， 2012， 430-431.

［7］ Koh， S.; Cho， B. R.; Lee J.-I.; Kwon， S.-O.; Lee， S.; Lim， J. B.; Lee， S. B.; Kweon， H.-D.， Driver drowsiness detection via PPG biosignals by using multimodal head support， In Proceedings of the 4th International Conference on Control， Decision and Information Technologies （CoDIT）， Barcelona， Spain， 2017， 383-388;

［8］ Wu， H.-Y.， Rubinstein， M.， Shih， E.， Guttag， J.， Durand， F.， Freeman， W. T. Eulerian Video Magnification for Revealing Subtle Changes in the World. ACM Transactions on Graphics 31 （2012）

［9］ Hochreiter， S.， Schmidhuber， J， Long Short-Term Memory， Neural Computation 9 （1997） 1735 1780

［10］ Lecun， Y.， Bengio， Y.， Convolutional Networks for Images， Speech， and Time-Series， The Handbook of Brain Theory and Neural Networks （1995）。

［11］ Kazemi， V.， Sullivan， J.， One millisecond face alignment with an ensemble of regression trees.， In 2014 IEEE Conference on Computer Vision and Pattern Recognition， Columbus， USA， 2014， 1867-1874.

［12］ Mazzillo， M.， Maddiona， L.， Rundo， F.， Sciuto， A.， Libertino， S.， Lombardo， S.， Characterization of SiPMs With NIR Long-Pass Interferential and Plastic Filters， In IEEE Photonics Journal， 10 （2018） 1-12.

［13］ Rundo， F.， Conoci， S.， Banna， G.L.， Ortis， A.， Stanco， F.， Battiato， S.， Evaluation of Levenberg-Marquardt neural networks and stacked autoencoders clustering for skin lesion analysis， screening and follow-up， IET Computer Vision 12 （2018） 957-962.