嵌入式客流量統(tǒng)計模塊的設(shè)計和實現(xiàn)

隨著傳統(tǒng)的顯示－存儲－回放模式的監(jiān)控系統(tǒng)的普及，在已有監(jiān)控系統(tǒng)上提供增值服務(wù)的智能監(jiān)控技術(shù)成為行業(yè)發(fā)展的熱點。利用安裝在大型建筑、娛樂休閑場所、購物設(shè)施等公共場所的監(jiān)控系統(tǒng)，實現(xiàn)客流量的精確計數(shù)以及對人群密度進行估計，監(jiān)控人群活動，保證人群的安全性和分析客流分布規(guī)律等功能成為當前監(jiān)控應用中迫切需要的功能。
    早期先后出現(xiàn)過光電監(jiān)測[1]、紅外對射、紅外光幕客流量計數(shù)器，由于這些方法計數(shù)精度差、不能判斷客流行進方向、易受外界干擾影響、而且維護成本高導致應用受限。近年來為克服光照等影響計數(shù)精度的干擾因素，出現(xiàn)了主動/被動紅外成像客流量計數(shù)器[2]，但由于其價格昂貴而限制了推廣。本文以傳統(tǒng)可見光攝像頭獲取的圖像為處理對象，在達芬奇系列處理器TMS320DM6437平臺上，提取HOG[3]特征實現(xiàn)人頭檢測，利用Mean-shift[4]實現(xiàn)人員跟蹤和計數(shù)，完成了客流量統(tǒng)計的嵌入式模塊化設(shè)計。
1 客流量統(tǒng)計模塊硬件構(gòu)成
    基于視頻的客流量統(tǒng)計，按攝像頭放置位置與客流方向的關(guān)系有傾斜放置和垂直放置兩種。在進出客流量較大時，攝像頭傾斜放置時圖像中的人像之間不可避免會出現(xiàn)遮擋和重疊。為了解決遮擋和重疊問題實現(xiàn)精確計數(shù)，需要采用更復雜的計數(shù)算法，額外增加了較大的計算量。本文采用如圖1所示的攝像頭垂直放置，通過檢測和跟蹤人頭實現(xiàn)客流量的計數(shù)，既避免了遮擋和重疊導致計數(shù)精度下降的問題，又能使人頭檢測和跟蹤算法計算量適中。

1.1 TMS320DM6437芯片的特點
    TMS320DM6437是TI公司首批支持達芬奇技術(shù)的純DSP器件，結(jié)合增強型TMS320C64X內(nèi)核與最新視頻處理子系統(tǒng)(VPSS)，實現(xiàn)超強的視頻處理能力。 TMS320C64X采用第二代高性能超長指令字(VLIW)的體系結(jié)構(gòu)，2級存儲器/高速緩存和EDMA引擎，非常適合高強度的數(shù)學運算；其內(nèi)核主頻高達600 MHz，峰值處理速度可達5 600 MIPS。內(nèi)核擁有兩級緩存結(jié)構(gòu)，第一級緩存(L1)包括80 KB的數(shù)據(jù)緩存(L1D)和32 KB 的程序緩存(L1P)，L1直接與CPU連接，數(shù)據(jù)寬度為128 bit。第二級緩存(L2)的容量大小為128 KB，可以被映射成緩存結(jié)構(gòu)也可被用作片內(nèi)存儲器。核內(nèi)部擁有兩個處理通路，每條通路包含4個功能單元，最高時可在一個時鐘并行處理8條指令；視頻處理子系統(tǒng)(VPSS)，以D1解析度實現(xiàn)高達H.264的視頻編碼。TMS320DM6437芯片還擁有豐富的外部接口，片內(nèi)包含4路視頻數(shù)模轉(zhuǎn)換芯片，可實現(xiàn)多種制式的模擬視頻信號輸出，為運行客流量統(tǒng)計程序提供了一個高性價比的硬件平臺。
1.2 系統(tǒng)硬件構(gòu)成
    系統(tǒng)主要由圖像采集、圖像數(shù)據(jù)存儲、圖像數(shù)據(jù)處理和圖像顯示等部分組成。圖像采集部分使用TI公司的TVP5150專用圖像采集器。TVP5150的主要作用是把輸入的模擬視頻信號轉(zhuǎn)換成符合ITU-R BT.656標準的4:2:2 YUV全數(shù)字視頻信號。運行人頭檢測和跟蹤計數(shù)算法的處理器采用TI公司的高性價比媒體處理器TMS320DM6437。該處理器先從視頻轉(zhuǎn)換芯片TVP5150讀取數(shù)字視頻數(shù)據(jù)，然后運行人頭檢測和跟蹤計數(shù)程序，最后在檢測的人頭上加框后顯示統(tǒng)計的客流量。由于圖像數(shù)據(jù)量大，TMS320DM6437處理器運行客流量統(tǒng)計程序時，不可避免會將運行的中間數(shù)據(jù)存儲在片外高速RAM中(片外RAM采用256 MB的DDR2 DRAM存儲器)。視頻顯示芯片采用Philips公司的視頻編碼芯片SAA7126H，實現(xiàn)視頻顯示。系統(tǒng)基本的硬件結(jié)構(gòu)如圖2所示。

2 利用HOG特征實現(xiàn)人頭檢測
    Dalal等人首先將HOG特征[3]用于靜態(tài)圖像中的行人檢測，其主要思想是利用局部區(qū)域的梯度方向直方圖來描述目標特征。本文用HOG特征結(jié)合支撐向量機SVM(Support Vector Machine)分類器進行頭部檢測，分為SVM分類器訓練和人頭檢測兩個階段。
2.1 HOG特征提取
    提取目標的HOG特征步驟如下：首先按照式（1）和式（2）計算灰度圖像的梯度幅值和梯度方向。
    
其中，Gx、Gy分別是(x，y)的水平和豎直梯度，梯度的方向設(shè)定為0～?仔。本文梯度的方向反映該像素點周圍的灰度變化的方向，梯度的幅度反映灰度變化的大小。
    然后進行子塊單元的劃分和方向直方圖統(tǒng)計。如圖3（a）所示，將圖像劃分為若干個圖像塊（BLOCK），每個塊劃分為若干個正方形圖像單元（CELL），圖像單元的邊長記為CELLSIZE。圖3（a）中CELL的大小為8×8個像素，即CELLSIZE=8；一個BLOCK包含2×2個圖像單元CELLNUM=4。以一個圖像單元為單位，進行方向梯度直方圖的統(tǒng)計。將梯度方向劃分為BIN個區(qū)間，對于各個區(qū)間的梯度相加，形成一個BIN維的向量來描述一個圖像單元。最后生成圖像的Hog描述子，對于每一個BLOCK對應的BIN×CELLNUM維向量可以根據(jù)實際需要按式（3）進行標準化：

    最后所有CELL對應的向量構(gòu)成整個圖像的Hog描述子，如圖3（b）所示，圖像由16個CELL組成。

[!--empirenews.page--]

2.2 SVM分類器的訓練和人頭檢測
    人頭檢測的分類器選擇高斯內(nèi)核的支撐向量機（SVM）。SVM分類器的訓練分兩次進行，第一次是使用人頭居中的正樣本和從不包含人頭對象的圖像（源負樣本）中取樣得到的負樣本中訓練出基本分類器。第二次是采用基本分類器對所有源負樣本進行密集掃面檢測，將其中檢測錯誤的子圖像歸為困難負樣本，然后將之前的正樣本和負樣本與困難樣本一起對基本分類器進行二次訓練。在對源負樣本進行密集掃描時，不僅掃描步長要小，而且還要加入尺度的變化(尺度步長可設(shè)為 1.5 或者2)，盡可能地獲取源負樣本的局部信息和全局信息。這樣得到的負樣本才夠健壯，對二次訓練后檢測器的效果也提升得更加全面。
    SVM分類器的訓練階段，訓練用正樣本和負樣本的尺寸固定，大小為32×24。在人頭檢測階段，由于距離等因素，導致目標（人頭）大小變化較大，本文采用訓練模板大小不變而只縮放待檢測圖像的方法實現(xiàn)目標的多尺度檢測，檢測結(jié)果如圖4（a）所示。

3 Mean-shift跟蹤計數(shù)
    利用HOG特征，只能實現(xiàn)單幅圖像中人頭的檢測。要完成人員計數(shù)，必須利用多幀圖像信息，既要檢測出圖像中新出現(xiàn)的目標，又要利用目標跟蹤技術(shù)，確定連續(xù)多幀圖像中的同一個目標，實現(xiàn)人員統(tǒng)計計數(shù)。
    利用Mean-shift實現(xiàn)人員跟蹤計數(shù)具體步驟如下：
    (1)將人頭檢測的結(jié)果作為初始的搜索窗口，確定窗口大小和位置。
    (2)計算搜索窗口內(nèi)的灰度概率分布函數(shù)，并用該分布函數(shù)反演下一幀的待搜索圖像。
    (3)利用前一幀初始搜索窗口的大小和位置信息，確定當前幀的搜索起點和范圍，并在計算選取搜索窗口中按照式(4)、式(5)計算零階矩和一階矩，并按照式（6）計算搜索窗口的質(zhì)心：
    
4 試驗結(jié)果
    用圖像大小為384×307、30幀/s的實拍視頻流進行測試實驗，測試視頻中行人只能從畫面的上下兩端進入。為減小計算量，人頭檢測只在圖像的上下1/4區(qū)域進行檢測，根據(jù)行人運動方向，在圖像的中間1/2 區(qū)域進行搜索跟蹤技術(shù)，完成客流量統(tǒng)計。實驗結(jié)果如圖4（b）所示。在達芬奇系列處理器TMS320DM6437平臺上實測數(shù)據(jù)處理速度為28幀/s，客流量統(tǒng)計精度為97.8%。試驗中測試發(fā)現(xiàn)，HOG特征檢測人頭消耗了系統(tǒng)70%的計算量。為進一步提高計算速度，對人頭檢測算法進行優(yōu)化：利用積分圖[5]計算HOG特征，采用Cascade[5]結(jié)構(gòu)組合SVM分類器。優(yōu)化后，在不影響客流量統(tǒng)計精度的情況下實測處理速度達到了38幀/s。
    本文在達芬奇系列處理器TMS320DM6437平臺上，設(shè)計并實現(xiàn)了一個實時的嵌入式客流量統(tǒng)計模塊，實測表明，客流量統(tǒng)計精度高，數(shù)據(jù)處理速度快。在不改變已有監(jiān)控系統(tǒng)的結(jié)構(gòu)，僅通過增加該模塊就可實現(xiàn)客流量統(tǒng)計等智能監(jiān)控功能，具有良好的市場前景。
參考文獻
[1] 屈建中，張軍，魯墨武.長途客車流量監(jiān)測裝置[J].測控技術(shù)，1994，13(3)：23-26.
[2] 畢勝，梁德群.基于主動紅外成像的客流量統(tǒng)計系統(tǒng)[J]. 小型微型計算機系統(tǒng)，2007，28（4）：697-700.
[3] DALAL N，TRIGGS D. Histograms of oriented gradients for  human detection[C].Proceeding. IEEE Conference. on Computer Vision and Pattern Recognition，2005：886-893.
[4] BRADSKI G，KAEBLER A.Learning OpenCV—computer  vision with the OpenCV library[M].(3rd Ed).New York：O’Reilly Media，Inc.，2008：337-341.
[5] VIOLA P，JONES M.Robust real-time face detection[J].  International Journal of Computer Vision，2004，57(2)：137-154.