基于眼動(dòng)生理特征的視覺(jué)隨動(dòng)系統(tǒng)

課題背景與現(xiàn)狀

人體的體感控制是智能控制設(shè)備的一個(gè)典型的研究方向，其典型的代表就是基于人體表現(xiàn)的運(yùn)動(dòng)控制，已被廣泛應(yīng)用于游戲及體育訓(xùn)練等很多方面。盡管業(yè)界廣泛認(rèn)為基于腦波控制是體感控制的最有效措施，但由于腦波信息的復(fù)雜性使得相關(guān)技術(shù)仍舊停留在實(shí)驗(yàn)室研究階段。視頻信息是人類(lèi)獲取外界信息的主要渠道，相應(yīng)的眼球運(yùn)動(dòng)也具有典型的行為模式特征，其運(yùn)動(dòng)范圍小，釋義明顯，因而基于眼球興趣移動(dòng)信息的控制也被業(yè)界廣泛關(guān)注，相應(yīng)的產(chǎn)品在國(guó)外也有一定表現(xiàn)。

眼動(dòng)儀是用于記錄人在處理視覺(jué)信息時(shí)的眼動(dòng)軌跡特征的一種設(shè)備，根據(jù)角膜和瞳孔的反光原理設(shè)計(jì)的眼動(dòng)儀有：美國(guó)應(yīng)用科學(xué)實(shí)驗(yàn)室(ASL)生產(chǎn)的504型和501型眼動(dòng)儀、加拿大SR公司生產(chǎn)的eyelinkII型頭盔式眼動(dòng)儀、法國(guó)的Metrovision公司生產(chǎn)的Mon VOGl型和Mon VOG2型眼動(dòng)儀、美國(guó)Fourward Optical Technology公司生產(chǎn)的第六代雙普金野眼動(dòng)儀以及德國(guó)SMI公司生產(chǎn)的MEye Track型眼動(dòng)儀等等。美國(guó)LC技術(shù)公司生產(chǎn)的eye gaze communication system也是用這個(gè)原理生產(chǎn)的眼動(dòng)儀，它可以幫助那些不能用手進(jìn)行計(jì)算機(jī)鍵盤(pán)操作的病人用眼睛代替手來(lái)操作鍵盤(pán)。

根據(jù)電流記錄法原理生產(chǎn)的眼動(dòng)儀有法國(guó)Metrovision公司生產(chǎn)研制的Model Mon EOG眼動(dòng)儀，這種眼動(dòng)儀可以記錄水平和垂直方向的眼動(dòng)情況。

根據(jù)電磁感應(yīng)原理生產(chǎn)的眼動(dòng)儀有荷蘭SKALAR公司生產(chǎn)的磁感應(yīng)眼動(dòng)記錄系統(tǒng)。該系統(tǒng)被廣泛應(yīng)用于神經(jīng)生理學(xué)、閱讀、神經(jīng)病學(xué)和視覺(jué)研究中。

另外，瑞典托比公司和中國(guó)聯(lián)想集團(tuán)3月1日在德國(guó)漢諾威2011年信息和通信技術(shù)博覽會(huì)上共同推出世界上第一款用眼睛控制的筆記本電腦。該電腦的焦點(diǎn)總能聚集在用戶(hù)正在注視的屏幕位置上,其眼控功能可以與鍵盤(pán)和鼠標(biāo)聯(lián)動(dòng)以提高使用電腦的速度。

目前結(jié)合視頻場(chǎng)景觀測(cè)，腦波及眼動(dòng)監(jiān)測(cè)的人體研究設(shè)備發(fā)展迅速，相關(guān)研究具有較強(qiáng)的科研價(jià)值。

研究的目的與意義

項(xiàng)目以人眼的興趣移動(dòng)為研究對(duì)象，設(shè)計(jì)相應(yīng)的硬件系統(tǒng)同步遠(yuǎn)端攝像頭的移動(dòng)、對(duì)焦，經(jīng)過(guò)視頻眼鏡顯示遠(yuǎn)端攝像頭采集的圖像。

項(xiàng)目控制以眼球興趣移動(dòng)作為控制判決依據(jù)，符合人眼觀察特點(diǎn)，對(duì)于基于視覺(jué)興趣的環(huán)境信息控制研究具有一定意義，運(yùn)用前景廣泛。設(shè)計(jì)系統(tǒng)具備兩路眼動(dòng)視頻監(jiān)測(cè)及眼球運(yùn)動(dòng)的實(shí)時(shí)檢測(cè)能力，同時(shí)可實(shí)現(xiàn)相應(yīng)的遠(yuǎn)端視頻圖像獲取及云臺(tái)移動(dòng)、攝像頭對(duì)焦同步，具有完整的高速處理系統(tǒng)特點(diǎn)，整體數(shù)據(jù)吞吐能力超過(guò)100Mb/S，同步速率達(dá)到10次/S。

方案設(shè)計(jì)和實(shí)施計(jì)劃系統(tǒng)設(shè)計(jì)

本作品的系統(tǒng)設(shè)計(jì)示意圖如圖1所示：

圖1 系統(tǒng)設(shè)計(jì)圖

系統(tǒng)按照功能分為4個(gè)模塊：

云臺(tái)模塊，由云臺(tái)、攝像頭和步進(jìn)電機(jī)組成，主要功能是控制云臺(tái)攝像頭的水平轉(zhuǎn)動(dòng)、俯仰運(yùn)動(dòng)和自動(dòng)對(duì)焦，并采集圖像；視頻眼鏡模塊，由視頻眼鏡及其控制板，內(nèi)置兩個(gè)微型攝像頭組成，主要功能是用于顯示云臺(tái)攝像頭采集的圖像并通過(guò)內(nèi)部放置的兩個(gè)微型攝像頭采集人眼圖像；圖像處理及顯示平臺(tái)，采用Intel低功耗ATOM系列處理器平臺(tái)，安裝Windows XP操作系統(tǒng)，由液晶顯示屏顯示界面，主要功能是顯示工作界面，實(shí)現(xiàn)人眼運(yùn)動(dòng)識(shí)別并返回計(jì)算結(jié)果；主控制板，采用FPGA為主處理芯片，帶有高速存儲(chǔ)器和串口、視頻接口、云臺(tái)接口等，它是整個(gè)系統(tǒng)的核心控制模塊，主要功能是負(fù)責(zé)與云臺(tái)、圖像處理平臺(tái)和視頻眼鏡之間的數(shù)據(jù)交互，管理整個(gè)系統(tǒng)的數(shù)據(jù)流和控制流；

工作流程

整個(gè)工作流程如下圖所示：

圖2 工作流程

通過(guò)視頻眼鏡內(nèi)部的兩個(gè)微型攝像頭采集人眼圖像，圖像處理平臺(tái)實(shí)現(xiàn)人眼的運(yùn)動(dòng)識(shí)別，主控制板根據(jù)圖像處理結(jié)果控制云臺(tái)攝像頭的移動(dòng)和自動(dòng)對(duì)焦，并將攝像頭采集的圖像在視頻眼鏡中顯示；繼續(xù)對(duì)人眼進(jìn)行監(jiān)控判斷，形成不斷循環(huán)的閉環(huán)運(yùn)行流程。

研究的主要內(nèi)容模塊組成云臺(tái)模塊

云臺(tái)模塊由云臺(tái)、電機(jī)模塊、攝像頭和外接口組成，它的功能是控制電機(jī)的轉(zhuǎn)動(dòng)從而實(shí)現(xiàn)攝像頭的水平和垂直方向的運(yùn)動(dòng)，同時(shí)把攝像頭采集的圖像輸出。

云臺(tái)采用PTS-3030CQ型號(hào)的吊裝云臺(tái)（圖4-1-1-1），內(nèi)置兩個(gè)24V交流電機(jī)，水平旋轉(zhuǎn)角度最大為355度，俯仰角度范圍為-5度到50度。由于該云臺(tái)需要交流供電，不滿(mǎn)足本項(xiàng)目要求，所以將原有的交流電機(jī)更換成直流步進(jìn)電機(jī)。

圖 4-1-1-1

電機(jī)模塊由兩個(gè)12V直流兩相步進(jìn)電機(jī)（圖4-1-1-2）和配套的電機(jī)驅(qū)動(dòng)器組成。步進(jìn)電機(jī)的步距角為1.8度，最大靜力矩約為3600 g*cm，如圖1-2所示。驅(qū)動(dòng)器的驅(qū)動(dòng)電壓小于40V，驅(qū)動(dòng)電流0.8—5V可調(diào)，細(xì)分?jǐn)?shù)可由撥碼開(kāi)關(guān)設(shè)定1/2，1/4，1/8，1/16。

圖4-1-1-2

攝像頭采用彩色一體化攝像機(jī)（圖4-1-1-3），成像元件是SONY CCD image sensor，PAL制信號(hào)輸出，22倍光學(xué)變焦，同時(shí)有自動(dòng)聚焦和手動(dòng)聚焦兩種模式，可以通過(guò)RS485協(xié)議對(duì)攝像頭進(jìn)行相關(guān)控制，攝像頭所需電源為12V直流電壓，200mA電流。

圖4-1-1-3

外接口采用25針接插件，主要功能是整合云臺(tái)內(nèi)部所有控制線，方便與外部連接和使用。外接口定義如圖4-1-1-4所示。

圖4-1-1-4

云臺(tái)模塊通過(guò)更換電機(jī)，安裝攝像頭，整合所有控制線到外接口從而實(shí)現(xiàn)對(duì)原有的云臺(tái)改裝，滿(mǎn)足本項(xiàng)目實(shí)際需要。

視頻眼鏡模塊

視頻眼鏡模塊由headplay視頻眼鏡，兩個(gè)微型攝像頭和USB視頻采集卡改裝而成，兩個(gè)微型攝像頭放置在視頻眼鏡內(nèi)，同時(shí)其視頻線連接到USB視頻采集卡上，主要功能是一方面使用者戴上視頻眼鏡能觀看視頻，另一方面兩個(gè)內(nèi)置的微型攝像頭采集使用者左右眼圖像，通過(guò)USB視頻采集卡發(fā)送到上位機(jī)用于瞳孔定位和識(shí)別。

視頻眼鏡采用headplay視頻眼鏡（如圖4-1-2-1、4-1-2-2、4-1-2-3所示），它的顯示器類(lèi)似PC的顯示設(shè)備，采用先進(jìn)的LCOS硅基液晶，解析度高且省電，同時(shí)可提供640*480、800*600、1024*768三種規(guī)格分辨率，帶來(lái)52英寸的視覺(jué)感受；在顯示器的下方設(shè)置有2組可調(diào)滑塊，用戶(hù)可根據(jù)實(shí)際佩戴需求調(diào)節(jié)焦距和左右屏幕的距離。另外這款視頻眼鏡具有豐富的外圍接口，提供AV、S-video、VGA三種接口，并支持PAL、NTSC和SECAM格式；同時(shí)支持CF、USB設(shè)備，能讀取圖像、音頻和視頻，并具備視頻解碼能力，支持MP3、MPEG3、MPEG4、AVI、JPEG等。

圖4-1-2-1

圖4-1-2-2

圖4-1-2-3

微型攝像頭采用XL-3010CP4超微型攝像頭（圖4-1-2-3），尺寸僅為12mm*12mm，1/4 SONY CCD，PAL制（582*500）視頻輸出，12V直流電壓和100mA電流供電，

圖4-1-2-3

USB視頻采集卡采用一路easycap視頻采集卡（圖4-1-2-4），輸入接口有AV、S端子和音頻輸入，可將采集的視頻和音頻通過(guò)USB口傳輸?shù)诫娔X上播放或存儲(chǔ)。

圖4-1-2-4

圖像處理及顯示平臺(tái)

圖像處理平臺(tái)采用IEI Technology Corp的WAFER-945GSE母板（圖4-1-3-1,4-1-3-2），主要功能是處理USB視頻采集卡采集的左右眼圖像，識(shí)別人眼的運(yùn)動(dòng)方向，并把計(jì)算結(jié)果通過(guò)串口發(fā)送到信號(hào)處理板。

WAFER-945GSE母板基于Intel Atom系列低功耗處理平臺(tái)，1.6GHZ的時(shí)鐘頻率，533MHz前端總線和512KB L2 cache，同時(shí)外圍接口豐富，如網(wǎng)口，串口，USB口，VGA，LVDS等。本項(xiàng)目中在該板上安裝XP精簡(jiǎn)版操作系統(tǒng)，運(yùn)行VC程序?qū)崿F(xiàn)圖像接收、處理和結(jié)果發(fā)送功能。

圖4-1-3-1

圖4-1-3-2

主控制板

主控制板采用FPGA為主處理芯片，帶有高速存儲(chǔ)器和串口、視頻接口、云臺(tái)接口，通過(guò)各個(gè)接口與圖像處理平臺(tái)、視頻眼鏡和云臺(tái)之間實(shí)現(xiàn)數(shù)據(jù)交互，管理整個(gè)系統(tǒng)的數(shù)據(jù)流和控制流。

下圖是主控制板設(shè)計(jì)圖：

實(shí)物圖（第一版）如下圖所示，第二版已經(jīng)投出。

主要芯片介紹：

XC3S1200：可編程邏輯器件（FPGA）

FPGA 的優(yōu)點(diǎn)：易于實(shí)現(xiàn)并行處理；易于實(shí)現(xiàn)流水線操作；通過(guò)開(kāi)發(fā)工具在計(jì)算機(jī)上完成設(shè)計(jì)，電路設(shè)計(jì)周期短；對(duì)硬件系統(tǒng)可靠性高，程序跑飛可能性不大；規(guī)模越來(lái)越大，實(shí)現(xiàn)功能越來(lái)越強(qiáng)，同時(shí)可以實(shí)現(xiàn)系統(tǒng)集成；可反復(fù)修改邏輯。FPGA在系統(tǒng)中起橋接作用，又是系統(tǒng)的主控者，由它來(lái)完成外圍芯片的控制，及數(shù)據(jù)的傳輸。

XILINX公司的FPGA目前分為2大類(lèi)：Spartan類(lèi)和Virtex類(lèi)，前者主要面向低成本的中低端應(yīng)用，是目前業(yè)界成本最低的一類(lèi)FPGA；后者主要面向高端應(yīng)用，屬于業(yè)界的頂級(jí)產(chǎn)品。這兩個(gè)系列的差異僅限于芯片的規(guī)模和專(zhuān)用模塊上，都采用了先進(jìn)的0.13、90甚至65制造工藝，具有相同的卓越品質(zhì)。

目前，比較流行的FPGA類(lèi)型是Spartan3E系列，其家族列表如下：

綜合考慮各系列FPGA的塊RAM容量和最大可用I/O數(shù)以及處理速度等指標(biāo)，選用中Spartan3E系列的XC3S1200E，其封裝為FG676。

SAA7113:8位視頻解碼芯片

SAA7113是飛利浦公司視頻解碼系列芯片的一種，非常具有代表性，在很多視頻產(chǎn)品如電視卡、MPEG2、MPEG4中都有應(yīng)用，熟悉了7113的原理后，對(duì)其它系列芯片SAA7114、7115、7118就會(huì)很容易理解。SAA7113的主要作用是把輸入的模擬視頻信號(hào)解碼成標(biāo)準(zhǔn)的“VPO”數(shù)字信號(hào)，相當(dāng)于一種“A/D”器件。7113兼容全球各種視頻標(biāo)準(zhǔn)。

ADV7179:8位視頻編碼芯片

ADV7179適合各種優(yōu)先考慮封裝空間的視頻應(yīng)用，如第三代移動(dòng)電話或數(shù)碼相機(jī)等，提供視頻輸出功能。該器件采用緊湊的芯片級(jí)封裝，尺寸僅為6 mm x 6mm，并提供適用于CCIR656標(biāo)準(zhǔn)視頻輸入的選項(xiàng)，內(nèi)含或不含嵌入式時(shí)序信息。視頻性能不受影響。它具有高級(jí)濾波功能（SSAF濾波器）和最高達(dá)-80 dB的專(zhuān)業(yè)級(jí)視頻信噪比(SNR)，可在小屏幕上實(shí)現(xiàn)出色的顯示質(zhì)量。

(4)SP3220:串口通信芯片

SP3220E包含一個(gè)高效電荷泵，工作于3.3V電壓時(shí)，只需0.1μF電容即可操作。該電荷泵允許SP3220E在+3.3V到+5.0V的電壓范圍內(nèi)發(fā)送符合RS-232協(xié)議的信號(hào)。SP3220E的ESD保護(hù)使得收發(fā)器的管腳可承受±15kV的人體放電模式和IEC1000-4-2氣隙放電模式。
SP3220E包含低功耗關(guān)斷模式，該模式下驅(qū)動(dòng)器輸出和電荷泵將被禁止。關(guān)斷狀態(tài)下，電源電流低于1μA。

程序設(shè)計(jì)1 上位機(jī)程序設(shè)計(jì)

上位機(jī)程序采用VC6.0開(kāi)發(fā)環(huán)境和OpenCV圖像處理庫(kù)編寫(xiě)，主要功能是通過(guò)處理人眼圖像，識(shí)別人眼的運(yùn)動(dòng)，從而判別人眼注視方向。并將計(jì)算結(jié)果通過(guò)串口返回給主控制板。

界面效果圖

程序流程圖

瞳孔定位算法

本算法主要基于圖像的灰度分布來(lái)定位人眼瞳孔和輪廓，根據(jù)左右眼瞳孔和輪廓的位置來(lái)判斷人眼的注視方向，具體步驟如下所示:

第一步，將左右眼圖像轉(zhuǎn)換成320*240的圖像；

第二步，選擇合適的閾值將灰度圖像二值化，使眼部輪廓清晰地呈現(xiàn)出來(lái)，然后從圖像的四周開(kāi)始向內(nèi)尋找眼部輪廓找，并用矩形畫(huà)出眼部輪廓；

第三步，將圖像轉(zhuǎn)換成灰度圖像，選擇合適大小的區(qū)域，在眼部輪廓中尋找灰度最小的那塊區(qū)域，取該區(qū)域的中心設(shè)為檢測(cè)到的瞳孔位置；

第四步，根據(jù)左右眼瞳孔與眼睛的輪廓的位置關(guān)系和移動(dòng)情況，設(shè)定合適的閾值來(lái)判斷人眼的注視方向（上、下、左、右、平視）；

第五步，將計(jì)算結(jié)果發(fā)送給主控制板，由主控制板控制云臺(tái)電機(jī)的轉(zhuǎn)動(dòng)帶動(dòng)云臺(tái)攝像頭的轉(zhuǎn)動(dòng)。

FPGA程序設(shè)計(jì)

程序分為串口接收與云臺(tái)控制部分和視頻處理部分。兩部分程序并行運(yùn)行，相互保持獨(dú)立。

2.2.1

串口接收與云臺(tái)控制部分

通用板處理后結(jié)果用串口發(fā)送到串口接收與云臺(tái)控制模塊，此處對(duì)命令進(jìn)行譯碼，分別進(jìn)行云臺(tái)電機(jī)的運(yùn)動(dòng)控制和攝像頭的拉遠(yuǎn)拉近以及聚焦的控制。

2.2.2

視頻處理部分

先配置編碼芯片和解碼芯片，對(duì)視頻輸入信號(hào)進(jìn)行行，列，場(chǎng)的分辨。視頻處理主要包括字符疊加，顏色的改變，二值處理等等，處理完的視頻信號(hào)疊加上行場(chǎng)信號(hào)進(jìn)行輸出。

2.3硬件電路設(shè)計(jì)

主芯片采用BGA封裝，其他芯片為SMA表貼封裝，電路板為八層，信號(hào)線寬為5mil，電源線寬30mil，板厚2mm, 為了保證信號(hào)完整性，其中4層為信號(hào)走線層，兩層地層，兩層電源層，信號(hào)層之間用地層或電源層隔開(kāi)，相鄰信號(hào)層走線盡量保持垂直。

設(shè)計(jì)性能指標(biāo)雙路人眼圖像的分辨率為320x240，平均處理速度為10幀/秒；視頻眼鏡雙路VGA視頻顯示，分辨率為640x480，幀頻為25幀/秒；水平方向視場(chǎng)范圍為0到355度，豎直方向視場(chǎng)范圍為-5到50度，水平轉(zhuǎn)動(dòng)和俯仰運(yùn)動(dòng)的最小角度是0.9度；水平方向視場(chǎng)最大轉(zhuǎn)速約為20度/s,垂直方向視場(chǎng)最大轉(zhuǎn)速約為10度/s；；

創(chuàng)新點(diǎn)和結(jié)論將遠(yuǎn)端攝像頭與人眼的觀察動(dòng)作同步，實(shí)現(xiàn)觀察范圍和對(duì)象的自動(dòng)調(diào)整，整個(gè)控制過(guò)程符合人體用眼習(xí)慣，方便快捷;將專(zhuān)用系統(tǒng)平臺(tái)（硬件和軟件自行設(shè)計(jì)）和通用系統(tǒng)平臺(tái)（軟件設(shè)計(jì)）高效聯(lián)合使用；模塊化設(shè)計(jì)，方便二次開(kāi)發(fā)，可作為高校學(xué)習(xí)和實(shí)驗(yàn)的平臺(tái)。

成果的應(yīng)用前景醫(yī)療電子領(lǐng)域

在現(xiàn)場(chǎng)手術(shù)和遠(yuǎn)程醫(yī)療中，利用高性能攝像頭可以輔助醫(yī)生準(zhǔn)確精細(xì)進(jìn)行手術(shù)，同時(shí)操作更加方便、人性化；

車(chē)輛駕駛

駕駛者可利用該系統(tǒng)通過(guò)人眼的移動(dòng)控制車(chē)輛的行駛方向，為殘疾人群駕駛車(chē)輛提供可能；

探測(cè)和監(jiān)控

將該系統(tǒng)組裝在機(jī)器人上，用于在極端環(huán)境或者對(duì)人體有害的環(huán)境等條件下遠(yuǎn)程控制機(jī)器人探測(cè)目標(biāo)；

消費(fèi)電子領(lǐng)域

基于視覺(jué)信息的人機(jī)交互可應(yīng)用于3D游戲和家庭影院；

軍事領(lǐng)域

可應(yīng)用于頭盔顯示器，在車(chē)輛、飛機(jī)駕駛員以及單兵作戰(zhàn)時(shí)的命令傳達(dá)、戰(zhàn)場(chǎng)觀察、地形查看、夜視系統(tǒng)顯示、車(chē)輛和飛機(jī)的炮瞄系統(tǒng)等；

心理學(xué)科學(xué)研究

通過(guò)設(shè)置特定視頻場(chǎng)景并實(shí)時(shí)獲得眼球動(dòng)作,一定程度上可獲得測(cè)試者心理表現(xiàn)的信息，相應(yīng)的技術(shù)結(jié)合腦電及心電的監(jiān)測(cè)可以促進(jìn)對(duì)人體系統(tǒng)信息反映及心里活動(dòng)的研究；

實(shí)驗(yàn)平臺(tái)

模塊化設(shè)計(jì)，可作為高校課程實(shí)驗(yàn)和課外創(chuàng)新活動(dòng)的平臺(tái)，學(xué)生可以編寫(xiě)自己的算法實(shí)現(xiàn)不同的功能。

雖然我國(guó)在此領(lǐng)域的研究和開(kāi)發(fā)工作已經(jīng)開(kāi)展，但是目前國(guó)內(nèi)市場(chǎng)上尚無(wú)具有完全自主知識(shí)產(chǎn)權(quán)的同類(lèi)產(chǎn)品。由于其在民用和軍用方面的廣泛和重要的應(yīng)用，其經(jīng)濟(jì)效益十分可觀。