基于FPGA的司機(jī)眼球跟蹤疲勞檢測(cè)報(bào)警系統(tǒng)

摘要：

本系統(tǒng)是針對(duì)現(xiàn)有市場(chǎng)上銷售的車輛多注重于事故發(fā)生時(shí)對(duì)人身安全的保障(如安全氣囊等)，忽略了防范事故于未然的考慮而提出的。基于FPGA的司機(jī)眼球跟蹤疲勞報(bào)警系統(tǒng)可以很好的解決上述問(wèn)題，且相較于傳統(tǒng)的DSP實(shí)現(xiàn)具有集成度高、處理速度快、功能更強(qiáng)大、方便改進(jìn)內(nèi)部設(shè)計(jì)等諸多優(yōu)點(diǎn)。

1、研究意義

視頻實(shí)時(shí)跟蹤作為一個(gè)應(yīng)用性研究方向，其應(yīng)用愈加廣泛，如軍事、航空、防盜、視頻會(huì)議等場(chǎng)合，特別是重要場(chǎng)合的安檢系統(tǒng)成為新的應(yīng)用領(lǐng)域。本系統(tǒng)將視頻實(shí)時(shí)跟蹤應(yīng)用于對(duì)疲勞駕駛的司機(jī)報(bào)警，以避免交通事故的發(fā)生。“交通事故猛于虎”。近年來(lái)，國(guó)民擁有私家車的數(shù)量不斷提高，與此同時(shí)交通事故的發(fā)生率也不斷上升，車輛與安全問(wèn)題已成為社會(huì)關(guān)注的熱點(diǎn)。而其中疲勞駕駛引發(fā)的交通事故占事故總數(shù)的20%左右，占特大交通事故的40%以上;日本的一項(xiàng)事故調(diào)查統(tǒng)計(jì)顯示，因疲勞產(chǎn)生的事故約占1%~1.5%;法國(guó)國(guó)家警察總署事故報(bào)道，因疲勞瞌睡而發(fā)生車禍的，占人身傷害事故的14.9%，占死亡事故的20.6%;美國(guó)國(guó)家公路交通安全管理局保守估計(jì)，每年因?yàn)槠隈{駛而導(dǎo)致的車禍大約有10萬(wàn)起?？梢哉f(shuō)疲勞已成為安全行車的大敵。

現(xiàn)有市場(chǎng)上銷售的車輛多注重于事故發(fā)生時(shí)對(duì)人身安全的保障(如安全氣囊等)，忽略了防事故于未然的考慮。司機(jī)眼球跟蹤疲勞報(bào)警系統(tǒng)的設(shè)計(jì)可以很好的解決上述問(wèn)題。傳統(tǒng)的視頻跟蹤的圖像處理過(guò)程采用DSP實(shí)現(xiàn)，首先在外圍設(shè)備的設(shè)計(jì)上具有很高的布線復(fù)雜度，且測(cè)量精度受布線影響較大，其次設(shè)計(jì)調(diào)試具有很高的難度，在實(shí)際車內(nèi)空間內(nèi)往往需要更改某些參數(shù)設(shè)計(jì)等，這在實(shí)際使用中會(huì)受到較大的限制。為了克服以上缺點(diǎn)，急需研制一種功能強(qiáng)大、集成度高、方便更新內(nèi)部器件的電路設(shè)計(jì)系統(tǒng)。

司機(jī)眼球跟蹤疲勞報(bào)警系統(tǒng)應(yīng)用視頻實(shí)時(shí)跟蹤原理，實(shí)時(shí)跟蹤捕捉司機(jī)眼球(通過(guò)臉部圖像跟蹤和眼球識(shí)別)，分析司機(jī)眼睛的睜閉情況并計(jì)算閉合時(shí)間，以此判斷是否提出報(bào)警。本系統(tǒng)由攝像頭及視頻解碼模塊、顯示器、LCD顯示模塊、開發(fā)板四部分組成。在系統(tǒng)設(shè)計(jì)過(guò)程中，我們以FPGA器件作為硬件基礎(chǔ)，運(yùn)用Xilinx的MicroBlaze嵌入式軟核處理器，結(jié)合圖像處理和動(dòng)態(tài)目標(biāo)識(shí)別算法，輔以必要的外圍電路完成整個(gè)系統(tǒng)的搭建。為了提高系統(tǒng)處理速度，所有的主要處理過(guò)程都通過(guò)硬件方式實(shí)現(xiàn)，其中包括視頻圖像的實(shí)時(shí)采集、中值濾波器與FIR濾波器、相關(guān)圖像處理算法等很多內(nèi)容。

本設(shè)計(jì)主要適用于經(jīng)常需要長(zhǎng)途開車的司機(jī)，也可以面向各品牌的汽車制造商或一些交通安全保障部門。

2、系統(tǒng)原理

系統(tǒng)可分為四個(gè)模塊：圖像采集、特征提取、數(shù)據(jù)存儲(chǔ)、人機(jī)交互界面

(1)面部圖像數(shù)據(jù)的實(shí)時(shí)采集

通過(guò)攝像頭獲得的視頻流經(jīng)過(guò)外部的一個(gè)視頻解碼芯片，實(shí)現(xiàn)模擬視頻信號(hào)向數(shù)字視頻信號(hào)的轉(zhuǎn)換，使其能夠送入到FPGA內(nèi)部做進(jìn)一步的處理。

(2)圖像處理功能

實(shí)現(xiàn)眼部特征的提取是本設(shè)計(jì)的核心算法部分，根據(jù)獲得的眼部特征判斷眼睛的閉合狀態(tài)。利用MicroBlaze強(qiáng)大的運(yùn)算能力，大部分算法由此軟核運(yùn)行C代碼實(shí)現(xiàn) 。

(3)數(shù)據(jù)存儲(chǔ)

FPGA內(nèi)部的用戶自定義模塊可以將眼睛閉合時(shí)間超過(guò)設(shè)定門限值時(shí)的視頻信息存儲(chǔ)到CF卡中，在發(fā)生交通意外的情況下這些數(shù)據(jù)可以作為分析事故原因的重要資料。用戶還可以通過(guò)選擇，將存儲(chǔ)在CF卡中視頻信息在顯示器中顯示出來(lái)。

(4)人機(jī)交互界面

設(shè)計(jì)中使用高分辨率彩色LCD屏，實(shí)現(xiàn)可視化操作界面，根據(jù)用戶需要，在發(fā)生報(bào)警時(shí)可以顯示提示信息。同時(shí)利用觸控屏，對(duì)界面進(jìn)行功能選擇，例如控制視頻數(shù)據(jù)的存儲(chǔ)等。

3、技術(shù)特點(diǎn)

(1)順應(yīng)時(shí)勢(shì)的功能設(shè)計(jì)。隨著社會(huì)生活的日益改善，汽車已經(jīng)成為人們必備的出行工具，伴隨而來(lái)的是交通事故頻發(fā)，人員傷亡時(shí)有發(fā)生。而疲勞駕駛是交通事故的重要誘因之一。因此，設(shè)計(jì)出能夠?qū)崟r(shí)監(jiān)測(cè)司機(jī)疲勞程度的檢測(cè)器，當(dāng)發(fā)現(xiàn)司機(jī)疲勞過(guò)度時(shí)報(bào)警，避免發(fā)生交通意外，防患于未然，通過(guò)這種方式來(lái)減少交通事故的發(fā)生。

(2)開發(fā)的周期短，可以很快的投入使用。利用MicroBlaze處理器的平臺(tái)實(shí)現(xiàn)一種司機(jī)眼球疲勞跟蹤系統(tǒng)，從設(shè)計(jì)理念上來(lái)說(shuō)，利用軟件實(shí)現(xiàn)必要的硬件連接，不僅在工作穩(wěn)定性上有所提高，減少硬件連接，而且可移植能力增強(qiáng)，便于更快開發(fā)。

(3)實(shí)時(shí)的檢測(cè)能力。因?yàn)槠嚨乃俣韧呛芸斓?，一旦檢測(cè)到司機(jī)疲勞，需要迅速作出反應(yīng)并報(bào)警提醒司機(jī)。系統(tǒng)利用MicroBlaze的強(qiáng)大數(shù)據(jù)處理能力，設(shè)計(jì)出具有很好的實(shí)時(shí)性的監(jiān)測(cè)跟蹤系統(tǒng)。

(4)高度的集成性。相比其他的視頻跟蹤系統(tǒng)，基于Xilinx公司FPGA的 MicroBlaze處理器內(nèi)部具有豐富的外圍設(shè)備，因此在芯片外部只需要很少的外圍芯片即可。一方面可以降低成本，降低了開發(fā)和調(diào)試的難度，另一方面系統(tǒng)的體積也可以大大縮小，甚至可以做成單芯片系統(tǒng)，大大方便攜帶和使用。

(5)成本低，功耗小。由于MicroBlaze處理器的強(qiáng)大功能，可以減少很多外圍芯片的使用，一方面可以減少產(chǎn)品的成本，另一方面可以降低功耗，這對(duì)需要一直“在線”的設(shè)備來(lái)說(shuō)是很重要的。

(6)即時(shí)地大量數(shù)據(jù)存儲(chǔ)。實(shí)時(shí)視頻跟蹤過(guò)程中會(huì)有大量的數(shù)據(jù)需要保存下來(lái)，利用MicroBlaze軟核處理器的優(yōu)勢(shì)，引入CF卡可以方便地對(duì)這些視頻數(shù)據(jù)進(jìn)行存儲(chǔ)，在司機(jī)沒(méi)有及時(shí)對(duì)報(bào)警作出反應(yīng)而導(dǎo)致發(fā)生交通意外的情況下，這些數(shù)據(jù)可以作為分析事故原因的重要證據(jù)。

圖1 系統(tǒng)功能圖

圖2 基于MicroBlaze的系統(tǒng)硬件框圖

4、系統(tǒng)軟件流程

基于FPGA的司機(jī)眼球跟蹤疲勞報(bào)警系統(tǒng)軟件實(shí)現(xiàn)流程如下圖所示。眼部特征的提取是系統(tǒng)的核心，通過(guò)眼部特征提取獲得的信息來(lái)判斷眼睛的睜開與閉合，并根據(jù)閉合的時(shí)間來(lái)確定是否啟動(dòng)報(bào)警系統(tǒng)。系統(tǒng)軟件部分的功能主要包括三部分：

1.對(duì)攝像頭獲得的圖像數(shù)據(jù)的處理，實(shí)現(xiàn)對(duì)眼球閉合狀態(tài)的跟蹤;

2.對(duì)重要數(shù)據(jù)的存儲(chǔ)備份;

3.提供人性化的人機(jī)操作界面，方便用戶的操作和存儲(chǔ)結(jié)果的顯示。

圖3 軟件實(shí)現(xiàn)流程圖