一種基于灰度投影的實(shí)時(shí)電子穩(wěn)像方法

1、引言

        電子穩(wěn)像[1,2]（EIS, Electronic Image Stabilization）就是用數(shù)字圖像處理和電子技術(shù)直接從像面上來確定圖像序列的幀間偏移，并進(jìn)行運(yùn)動(dòng)補(bǔ)償從而獲取穩(wěn)定的圖像序列的技術(shù)。與傳統(tǒng)的光學(xué)穩(wěn)像和機(jī)械式穩(wěn)像技術(shù)相比，電子穩(wěn)像具有穩(wěn)像精度高、體積小、重量輕、功耗低及成本低等優(yōu)點(diǎn)。從穩(wěn)像技術(shù)研究的歷史來看，電子穩(wěn)像技術(shù)是研究的發(fā)展趨勢(shì)，在軍事和民用中都有廣泛的應(yīng)用前景。

        電子穩(wěn)像中，全局運(yùn)動(dòng)估計(jì)[1]和變換參考幀策略是兩大難點(diǎn)，正確地估計(jì)圖像序列的幀間運(yùn)動(dòng)是關(guān)鍵。目前用于電子穩(wěn)像運(yùn)動(dòng)估計(jì)的算法有很多種，如塊匹配法[3]、位平面匹配法[4]、代表點(diǎn)匹配法[5]等等。其中灰度投影法[6]算法簡(jiǎn)單，計(jì)算量小，同時(shí)還能保持較高的準(zhǔn)確度。驗(yàn)證并應(yīng)用多區(qū)域灰度投影法來消除內(nèi)部運(yùn)動(dòng)物體對(duì)全局運(yùn)動(dòng)估計(jì)的影響，并設(shè)計(jì)了一種帶有校正的變換參考幀策略。

2、電子穩(wěn)像基本流程

        如上圖[1]所示，電子穩(wěn)像過程由圖像預(yù)處理、局部運(yùn)動(dòng)估計(jì)、全局運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)葞讉€(gè)部分組成。預(yù)處理：圖像的采集與處理準(zhǔn)確度受到多種因素的影響，如CCD的空間分辨率、量化誤差、系統(tǒng)噪音、A／D轉(zhuǎn)換準(zhǔn)確度、攝像機(jī)振動(dòng)等，這些噪音直接影響到圖像序列的處理和電子穩(wěn)像系統(tǒng)的性能。在運(yùn)動(dòng)估計(jì)與運(yùn)動(dòng)補(bǔ)償?shù)确€(wěn)像操作前，需要對(duì)圖像做濾波操作，實(shí)驗(yàn)采用的是中值濾波。運(yùn)動(dòng)估計(jì)[7]：包括局部運(yùn)動(dòng)估計(jì)和全局運(yùn)動(dòng)估計(jì)，即求取相鄰兩幀圖像之間偏移，求得局部運(yùn)動(dòng)矢量和全局運(yùn)動(dòng)矢量。運(yùn)動(dòng)補(bǔ)償[8]：用運(yùn)動(dòng)估計(jì)得到的運(yùn)動(dòng)矢量把圖像校準(zhǔn)到同一基準(zhǔn)上，得到穩(wěn)定的圖像序列。

                                           圖1 電子穩(wěn)像流程圖

3、灰度投影

        灰度投影算法是基于標(biāo)準(zhǔn)的幀與幀之間的運(yùn)算，算法分為圖像映射、投影濾波、相關(guān)計(jì)算三個(gè)步驟。

        圖像映射是把每一幀輸入的圖像二維灰度信息映射成兩個(gè)獨(dú)立的一維投影序列，公式如下：， 式中 是第k幀圖像第i行的灰度值； 是第k幀圖像第j列的灰度值； 是第k幀圖像 位置處的像素的灰度值。

        投影濾波就是要對(duì)圖像投影值進(jìn)行濾波，因?yàn)槠屏看髸r(shí)，邊緣信息在互相關(guān)運(yùn)算時(shí)會(huì)對(duì)互相關(guān)的峰值產(chǎn)生不利的影響，這就要求把邊緣處的投影值去除。通常采用的是余弦濾波，此方法可以保留中間區(qū)域的投影值，降低邊緣區(qū)域的信息幅值，從而保證相關(guān)計(jì)算的正確性，提高校正精度。

        相關(guān)計(jì)算是把第k幀圖像與參考幀圖像的行、列投影曲線做互相關(guān)計(jì)算，根據(jù)兩條相關(guān)曲線的峰值即可確定當(dāng)前幀圖像相對(duì)于參考幀圖像的行、列位移矢量。得到水平和垂直方向的位移矢量后就把當(dāng)前圖像向位移矢量的反方向移動(dòng)相應(yīng)像素距離，實(shí)現(xiàn)圖像序列的穩(wěn)定。

4、分區(qū)域灰度投影

        為消除局部運(yùn)動(dòng)物體對(duì)運(yùn)動(dòng)估計(jì)的影響，提高灰度投影的可靠性，采用分區(qū)域灰度投影法。

        分塊的大小和多少應(yīng)該由圖像的大小、內(nèi)部運(yùn)動(dòng)物體的大小，還有灰度投影的有效性三個(gè)方面決定。若分得塊太多，每個(gè)塊包含的信息量太少，將會(huì)影響灰度投影的準(zhǔn)確度，若分的塊太少了，就不能準(zhǔn)確判斷局部運(yùn)動(dòng)矢量。

        表1為將投影區(qū)域分成不同大小進(jìn)行運(yùn)動(dòng)估計(jì)的仿真實(shí)驗(yàn)結(jié)果。由表1可知,若投影區(qū)域大小小于90×90能準(zhǔn)確估計(jì)的范圍太小，容易出現(xiàn)誤差，而大于100×100像素的能保證灰度投影的有效性，滿足運(yùn)動(dòng)估計(jì)的需要。塊的大小的確定還要兼顧內(nèi)部運(yùn)動(dòng)物體的大小，內(nèi)部運(yùn)動(dòng)物體越小，越容易應(yīng)用分塊的灰度投影法消除其對(duì)全局運(yùn)動(dòng)矢量造成的影響。應(yīng)用背景下目標(biāo)最小為幾個(gè)像素，最大時(shí)為180×120個(gè)像素。通常情況下，運(yùn)動(dòng)目標(biāo)位于視場(chǎng)中心，如果分成4個(gè)投影區(qū)域[9]，每個(gè)區(qū)域都可能包含運(yùn)動(dòng)目標(biāo)的一部分，也就難以得到實(shí)際的全局運(yùn)動(dòng)矢量，所以至少要把投影區(qū)域分成9個(gè)塊。假定圖像大小為720×576，目標(biāo)最大為180×120，選取中間投影區(qū)域分成9個(gè)大小為200×180像素的塊，目標(biāo)最多占有四個(gè)塊，不會(huì)影響全局運(yùn)動(dòng)估計(jì)的判決?？梢姡灰獫M足內(nèi)部運(yùn)動(dòng)物體占有少數(shù)塊和保證灰度投影的有效性，就能保證得到正確的全局運(yùn)動(dòng)估計(jì)矢量。

                             表1 投影區(qū)域分塊大小對(duì)運(yùn)動(dòng)估計(jì)影響

                               
                                                圖2 圖像分塊示意圖
5、變換參考幀策略

        實(shí)時(shí)電子穩(wěn)像中，攝像機(jī)處于不斷的運(yùn)動(dòng)中，背景不是一成不變的。如果一直以第一幀為參考幀，可能最后穩(wěn)像出來的圖像序列不能反映真實(shí)的運(yùn)動(dòng)，這就要求實(shí)時(shí)更新參考幀。如果每一幀都以前一幀為參考幀，又會(huì)大大增加計(jì)算量，影響電子穩(wěn)像的實(shí)時(shí)性。

        為了兼顧穩(wěn)像的速度和準(zhǔn)確度，采用每n幀換一次參考幀,n的值要綜合考慮攝像頭的運(yùn)動(dòng)情況來確定。參考幀使用的是穩(wěn)定以后的圖像，這里存在的問題就是如果一直選取穩(wěn)定后的圖像為參考幀，如果某次運(yùn)動(dòng)補(bǔ)償出現(xiàn)錯(cuò)誤，例如由于實(shí)際偏移超出最大偏移范圍而導(dǎo)致的運(yùn)動(dòng)估計(jì)錯(cuò)誤，那么這種錯(cuò)誤就會(huì)一直延續(xù)下去。所以采取視頻編碼中若干P幀后插入I幀的方法[10]，每隔k幀插入一幀原始圖像作為參考幀。如果換取參考幀時(shí)，本幀的運(yùn)動(dòng)矢量太大，偏離上一參考幀太多，則采取下一幀為參考幀。

                                               圖3 變換參考幀流程圖

6、實(shí)驗(yàn)結(jié)果與分析

        仿真所用的圖像截取自地震瞬間某銀行監(jiān)控設(shè)備所拍下的視頻，在這段視頻中整個(gè)背景都在劇烈抖動(dòng)。對(duì)這段視頻進(jìn)行穩(wěn)像處理，圖4所示為從中截取的連續(xù)6幀圖像，以及進(jìn)行穩(wěn)像處理后的圖像。

                                     圖4.1 穩(wěn)像前的連續(xù)6幅圖像

                                      圖4.2 穩(wěn)像后的連續(xù)6幅圖像

        對(duì)實(shí)驗(yàn)的效果進(jìn)行分析，圖5所示為對(duì)這6幀圖像在穩(wěn)像前后的行、列投影曲線進(jìn)行比較。其中橫坐標(biāo)表示行、列數(shù)，縱坐標(biāo)表示投影值。由圖可見，穩(wěn)像前6幅圖像的投影曲線有很大差異，在穩(wěn)像后投影曲線差異減小，基本達(dá)到一致。

                     
                           圖5.1 穩(wěn)像前、后連續(xù)6幀圖像行投影比較

                           圖5.2 穩(wěn)像前、后連續(xù)6幀圖像列投影比較

        品質(zhì)因子PSNR（Peak Signal To Noise Ratio）是穩(wěn)像效果的一種評(píng)價(jià)標(biāo)準(zhǔn)。

        其中均方差MSE為兩幀間每個(gè)像素的偏差值，PSNR越大穩(wěn)像效果越好。由表2可知，采用分塊灰度投影法穩(wěn)像后的PSNR值比整體投影法有了很大提高，表明此電子穩(wěn)像方法取得了較好的穩(wěn)像效果。

                           表2 兩種方法穩(wěn)像前后PSNR值比較

                
7、結(jié)論

        深入分析了利用分區(qū)域灰度投影算法進(jìn)行全局運(yùn)動(dòng)估計(jì)的方法，可以有效地消除局部物體運(yùn)動(dòng)對(duì)全局運(yùn)動(dòng)估計(jì)的影響，借鑒視頻編碼的思想設(shè)計(jì)了參考幀更新策略，帶有校正功能，此穩(wěn)像算法實(shí)現(xiàn)簡(jiǎn)單、容易理解，用它對(duì)劇烈抖動(dòng)的地震視頻進(jìn)行穩(wěn)像，取得較好的效果