行人視頻檢測(cè)中陰影檢測(cè)與去除方法設(shè)計(jì)

摘 要： 設(shè)計(jì)了基于模糊神經(jīng)網(wǎng)絡(luò)的目標(biāo)本體與陰影的自動(dòng)分類(lèi)器，將光譜特征值作為神經(jīng)網(wǎng)絡(luò)輸入，用遺傳算法對(duì)網(wǎng)絡(luò)權(quán)值和模糊規(guī)則實(shí)時(shí)更新，并結(jié)合圖像的空間特性對(duì)去除結(jié)果進(jìn)行修正。實(shí)驗(yàn)結(jié)果表明，應(yīng)用該方法能有效去除陰影，并可提高行人視頻檢測(cè)的準(zhǔn)確率。
關(guān)鍵詞： 陰影去除；模糊神經(jīng)網(wǎng)絡(luò)；行人視頻檢測(cè)；遺傳算法

行人是城市交通系統(tǒng)的主要參與者，保障行人安全和減少其對(duì)機(jī)動(dòng)車(chē)的干擾是城市交通系統(tǒng)建設(shè)的重要目標(biāo)，因此對(duì)行人交通的研究也越來(lái)越受到重視。行人交通研究的主要問(wèn)題[1-2]包括行人檢測(cè)、目標(biāo)跟蹤和行為分析?；谝曨l的行人檢測(cè)與傳統(tǒng)的紅外檢測(cè)、GPS檢測(cè)、激光檢測(cè)等方法相比，具有不破壞路面、維護(hù)方便、實(shí)時(shí)性好、可檢測(cè)的參數(shù)多等優(yōu)點(diǎn)，成為實(shí)時(shí)交通信息采集和處理技術(shù)的發(fā)展方向。
視頻圖像中的陰影會(huì)影響行人的檢測(cè)與跟蹤[2-4]，因?yàn)殛幱暗拇嬖跁?huì)造成檢測(cè)目標(biāo)的變形、合并、甚至丟失，使得目標(biāo)定位及計(jì)數(shù)不準(zhǔn)確。近年來(lái)，科研工作者對(duì)圖像中的陰影去除問(wèn)題進(jìn)行了大量研究，在這些研究方法中，考察的圖像特征主要有三種：光譜特征、空間特征和時(shí)間特征[5]。光譜特征針對(duì)像素點(diǎn)，如灰度值、顏色信息等[6]，根據(jù)當(dāng)前圖與背景圖的色差、亮度差值等判斷像素點(diǎn)是否為陰影，或者對(duì)圖像進(jìn)行變換得到光照無(wú)關(guān)圖[7]進(jìn)而去除陰影；空間特征是針對(duì)某一區(qū)域或某一幀圖像，根據(jù)檢測(cè)到的圖像的輪廓、紋理、邊緣等信息判斷是否為陰影，如利用圖像的輪廓特征[8-9]，找到目標(biāo)與陰影的邊界線(xiàn)，對(duì)本體和陰影粗分，再建立陰影像素的高斯模板進(jìn)行細(xì)分，既減少了計(jì)算量又能達(dá)到較好效果；時(shí)間特征一般都是與前兩種特征結(jié)合使用，可以用于對(duì)陰影方向或運(yùn)動(dòng)速度的估算等，以進(jìn)一步提高陰影去除效果。
本文提出一種新的基于YUV顏色空間的陰影去除算法，因?yàn)楹芏鄶z像頭的輸出信號(hào)采用YUV顏色空間，與基于RGB顏色空間的處理方法相比，省去了圖像顏色空間轉(zhuǎn)換的步驟，能提高處理速度。在圖像特征上，本文結(jié)合像素點(diǎn)的光譜特征與圖像整體的空間特征，首先通過(guò)亮度差和色差對(duì)像素點(diǎn)進(jìn)行判斷，再利用目標(biāo)本體與陰影只相接不相交的空間特征，對(duì)去除結(jié)果進(jìn)行修正，使其陰影去除效果更好。同時(shí)，為了使算法適應(yīng)光照、場(chǎng)景等的變化，采用模糊神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)本體與陰影的分類(lèi)，用遺傳算法對(duì)網(wǎng)絡(luò)參數(shù)和權(quán)值進(jìn)行自適應(yīng)調(diào)整，以提高算法的魯棒性。
1 YUV顏色空間
在色彩學(xué)上，為了可以準(zhǔn)確定量地描述顏色，將色彩定義為三大屬性：“Y”表示明亮度，即灰度值；“U”和“V”表示色度，作用是描述圖像色彩及飽和度，用于指定像素的顏色。根據(jù)美國(guó)國(guó)家電視制式委員會(huì)NTSC制式的標(biāo)準(zhǔn)，白光的亮度用Y來(lái)表示，色差U、V由B－Y、R－Y按不同比例壓縮而成，與紅、綠、藍(lán)三色光的關(guān)系可用式(1)描述，這也是常用的轉(zhuǎn)換公式。YUV到RGB的轉(zhuǎn)換公式則如式(2)所示。

式中，R、G、B的取值范圍均為0~255。通常攝像機(jī)的數(shù)據(jù)以RGB、YUV或YCrCb的格式輸出。采用YUV顏色空間的重要性是它的亮度信號(hào)Y和色度信號(hào)U、V是分離的。目前有很多種顏色空間可以將圖像的色度分量和亮度分量區(qū)分開(kāi)來(lái)，如HSV顏色空間，但是這種轉(zhuǎn)換較為復(fù)雜，對(duì)于大型圖像非常耗時(shí)，并且在亮度值和飽和度較低的情況下，采用HSV顏色空間計(jì)算出來(lái)的H分量是不可靠的。
在YUV顏色空間中，如果只有Y信號(hào)分量而沒(méi)有U、V信號(hào)分量，則這樣表示的圖像就是黑白灰度圖像。除去亮度信號(hào)后，由U和V單純表現(xiàn)出色度。因此，如果要將U與V色差信號(hào)用色相及飽和度來(lái)表示，必須從含有三維空間的色點(diǎn)P投影到U-V平面的P′點(diǎn)，如圖1(a)所示。U-V平面投影法在受到不穩(wěn)定光源亮度的擾動(dòng)時(shí)，對(duì)于目標(biāo)色度有較大的精確性且不易辨識(shí)錯(cuò)誤，但是當(dāng)光源色溫變化過(guò)大時(shí)，其飽和度和色相的增減變化不易掌握。因此，如果需要判定兩個(gè)任意色點(diǎn)是否為同一色度時(shí)，必須確定其色相與飽和度都是相等的。如圖1(b)所示，對(duì)兩個(gè)色點(diǎn)P1與P2，當(dāng)其與U軸的夾角α1=α2時(shí)，表示色相相等；當(dāng)其與原點(diǎn)的距離L1=L2時(shí)，表示飽和度相等。當(dāng)兩者都相等時(shí)，表示色度完全相同。

對(duì)于光源亮度的不穩(wěn)定因素，只要光源亮度不是極值(極亮或極暗)，對(duì)于相似顏色，如深藍(lán)色和藍(lán)色，就有相近的色度關(guān)系。對(duì)運(yùn)動(dòng)目標(biāo)本體和陰影，也有相近的色度，但亮度值差別較大，可通過(guò)計(jì)算當(dāng)前圖與背景圖之間的亮度差值和色差來(lái)進(jìn)行陰影去除。

上述準(zhǔn)則在應(yīng)用中，要注意Ymin、ε和Δα等閾值的選取，因?yàn)檫@對(duì)判斷結(jié)果的影響較大。要找到合適的閾值[9]，需要對(duì)視頻資料進(jìn)行大量的仿真實(shí)驗(yàn)，這需要花費(fèi)很長(zhǎng)時(shí)間，而且根據(jù)現(xiàn)有資料得到的閾值不能根據(jù)場(chǎng)景、光照等的變化自適應(yīng)進(jìn)行調(diào)整，實(shí)用價(jià)值不大。
針對(duì)上述問(wèn)題，將模糊神經(jīng)網(wǎng)絡(luò)[10-11]融入到目標(biāo)本體與陰影的分類(lèi)中是很好的解決方法。它利用神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)能力和自適應(yīng)能力來(lái)調(diào)整模糊規(guī)則和隸屬度函數(shù)，通常對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練采用ＢＰ算法，但是ＢＰ算法具有收斂性依賴(lài)初始條件，容易陷入局部極小值等問(wèn)題。因此，本文采用遺傳算法優(yōu)化模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)，并自動(dòng)獲得最優(yōu)的模糊規(guī)則，使網(wǎng)絡(luò)能自動(dòng)適應(yīng)場(chǎng)景與光照的變化。
2.3 模糊神經(jīng)網(wǎng)絡(luò)
模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示。

式中，ui表示對(duì)第i個(gè)模糊子集的隸屬度，zi表示輸出結(jié)論的支集值。最后，對(duì)輸出結(jié)果進(jìn)行二值化表示，1表示目標(biāo)本體，0表示陰影。當(dāng)結(jié)果小于0.05時(shí)，認(rèn)定為陰影；結(jié)果大于0.95時(shí)，認(rèn)定為目標(biāo)本體，當(dāng)結(jié)果在0.05~0.95之間時(shí)，認(rèn)為無(wú)法判斷。
2.4 網(wǎng)絡(luò)自適應(yīng)優(yōu)化
用遺傳算法對(duì)模糊神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)進(jìn)行優(yōu)化。網(wǎng)絡(luò)的結(jié)構(gòu)優(yōu)化指確定第3層節(jié)點(diǎn)數(shù)、第3層和第2層的連接數(shù)、以及第3層和第4層的連接數(shù)和連接權(quán)值。網(wǎng)絡(luò)的參數(shù)優(yōu)化包括輸入變量的隸屬度函數(shù)的中心參數(shù)和寬度參數(shù)、輸出變量的隸屬函數(shù)支集值。
種群的每個(gè)個(gè)體由網(wǎng)絡(luò)結(jié)構(gòu)和網(wǎng)絡(luò)的輸入隸屬度函數(shù)參數(shù)和結(jié)論參數(shù)組成，其長(zhǎng)度為結(jié)構(gòu)基因長(zhǎng)度+參數(shù)基因長(zhǎng)度。結(jié)構(gòu)基因中“連接”采用二值的編碼，“0”表示沒(méi)有連接，“1”表示有連接，連接權(quán)值ωji用(0~1)之間實(shí)數(shù)編碼。輸入的隸屬度參數(shù)Cji和bj、結(jié)論參數(shù)zi采用實(shí)數(shù)編碼。一個(gè)染色體對(duì)應(yīng)一種模糊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及其參數(shù)。初始種群中包含著對(duì)應(yīng)于最大節(jié)點(diǎn)數(shù)及輸入變量和輸出變量在其變化范圍內(nèi)均勻劃分模糊子集的個(gè)體，其余個(gè)體隨機(jī)產(chǎn)生。將根據(jù)經(jīng)驗(yàn)得到的規(guī)則集及輸入輸出模糊劃分對(duì)應(yīng)的向量選入初始種群。
遺傳操作包括復(fù)制、交叉、變異。為簡(jiǎn)化運(yùn)算實(shí)現(xiàn)實(shí)時(shí)處理，本文僅采用變異操作。二值編碼按一定的概率將控制基因串中的位從0變異為1，或者從1變異為0。實(shí)數(shù)編碼按下式突變：

2.5 空間特征
考慮到圖像中陰影和目標(biāo)本體相接但互不相交，對(duì)于不能判斷的像素及初步識(shí)別結(jié)果，按下述規(guī)則進(jìn)行判斷和修正：(1)如果周?chē)袼攸c(diǎn)多數(shù)為“陰影”，則該點(diǎn)是“陰影”。(2)如果周?chē)袼攸c(diǎn)多數(shù)為“目標(biāo)”，則該點(diǎn)是“目標(biāo)”。(3)如果周?chē)袼攸c(diǎn)多數(shù)是目標(biāo)而被判斷為“陰影”，則改判斷為“目標(biāo)”。(4)如果周?chē)袼攸c(diǎn)多數(shù)是陰影而被判斷為“目標(biāo)”，則改判斷為“陰影”。這里的多數(shù)是指相鄰8個(gè)像素點(diǎn)中5個(gè)以上。
3 實(shí)驗(yàn)結(jié)果和分析
圖3、圖4是室外拍攝的視頻序列的處理結(jié)果，視頻序列共2 571幀，單幀圖像大小為354×288，圖3是第154幀圖像，圖4是第363幀圖像。

童車(chē)在圖3中作為背景被提取出來(lái)，而在圖4中成為前景。與圖3相比，圖4中光照有較大變化，圖3(d)、圖4(d)、圖5(d)表明模糊神經(jīng)網(wǎng)絡(luò)分類(lèi)器能有效地進(jìn)行陰影去除。由圖5(d)可見(jiàn)，通過(guò)陰影去除，行人能被分隔開(kāi)來(lái)，這樣有利于提高視頻檢測(cè)的準(zhǔn)確率。
表1是對(duì)在不同路口拍攝的行人視頻進(jìn)行行人檢測(cè)的結(jié)果，進(jìn)行陰影去除后視頻檢測(cè)的平均準(zhǔn)確率由61.52%提高到80.15%。

本文給出了一種新的陰影去除算法，該算法以YUV顏色空間為基礎(chǔ)，用模糊神經(jīng)網(wǎng)絡(luò)分類(lèi)器識(shí)別對(duì)像素點(diǎn)提取的光譜特征是否為陰影，網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)采用遺傳算法進(jìn)行實(shí)時(shí)更新，最后結(jié)合運(yùn)動(dòng)目標(biāo)與陰影的空間特征對(duì)分類(lèi)結(jié)果進(jìn)行修正。實(shí)驗(yàn)表明，該方法能適應(yīng)光照、場(chǎng)景的變化，通過(guò)陰影去除能明顯提高行人視頻檢測(cè)的準(zhǔn)確率。
本文關(guān)于行人視頻檢測(cè)的研究尚處于起步階段，對(duì)視頻檢測(cè)中的遮擋問(wèn)題、運(yùn)動(dòng)描述和行為理解問(wèn)題還在進(jìn)一步研究中。
參考文獻(xiàn)
[1] 邵春福.行人交通的視頻檢測(cè)方法綜述[J].交通運(yùn)輸系統(tǒng)工程與信息，2008，8(4):23-29.
[2] SEITNER F H. Fast pedestrian tracking based on spatial features and color[R]. Computer Vision Winter Workshop， 2006:1-6.
[3] 馬國(guó)峰.基于YUV顏色空間的視頻運(yùn)動(dòng)檢測(cè)[J].計(jì)算機(jī)工程與設(shè)計(jì)，2008，29(14):3700-3703.
[4] BROGGI A. A multi-resolution approach for infrared vision-based pedestrian detection[R]. IEEE Intelligent Vehicles Symposium， 2004.
[5] PRATI A.Detecting moving shadows: algorithms and evaluation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(7):918-923.
[6] YOON J J. Shadow flash: an approach for shadow removal in an active illumination environment[C]. BMVC， 2003:636-645.
[7] 劉富強(qiáng).基于光照無(wú)關(guān)圖的陰影去除方法[J].中國(guó)圖像圖形學(xué)報(bào)，2007，10(12):1837-1840.
[8] HSIEH J W. Shadow elimination for effective moving object detection by Gaussian shadow modeling[J]. Image and Vision Computing， 2003，21:505-516.
[9] SCHREEE O.Fast and robust shadow detection in videoconference applications[C]. Symposium on Video Proces. and Multimedia Comm， 2002.
[10] RAFIEE A. Neuro-fuzzy system in sonographical image enhancement[C]. the 6th WSEAS Int. Conference. on signal Processing Computational Geometry & Artificial Vision，2006:95-100.
[11] LO B P L. Neuro-fuzzy shadow filter[M].LNCS，2002:
381-392.