當(dāng)前位置:首頁 > 嵌入式 > 嵌入式教程
[導(dǎo)讀]嵌入式客流量統(tǒng)計(jì)模塊的設(shè)計(jì)和實(shí)現(xiàn)

隨著傳統(tǒng)的顯示-存儲-回放模式的監(jiān)控系統(tǒng)的普及,在已有監(jiān)控系統(tǒng)上提供增值服務(wù)的智能監(jiān)控技術(shù)成為行業(yè)發(fā)展的熱點(diǎn)。利用安裝在大型建筑、娛樂休閑場所、購物設(shè)施等公共場所的監(jiān)控系統(tǒng),實(shí)現(xiàn)客流量的精確計(jì)數(shù)以及對人群密度進(jìn)行估計(jì),監(jiān)控人群活動,保證人群的安全性和分析客流分布規(guī)律等功能成為當(dāng)前監(jiān)控應(yīng)用中迫切需要的功能。
    早期先后出現(xiàn)過光電監(jiān)測[1]、紅外對射、紅外光幕客流量計(jì)數(shù)器,由于這些方法計(jì)數(shù)精度差、不能判斷客流行進(jìn)方向、易受外界干擾影響、而且維護(hù)成本高導(dǎo)致應(yīng)用受限。近年來為克服光照等影響計(jì)數(shù)精度的干擾因素,出現(xiàn)了主動/被動紅外成像客流量計(jì)數(shù)器[2],但由于其價(jià)格昂貴而限制了推廣。本文以傳統(tǒng)可見光攝像頭獲取的圖像為處理對象,在達(dá)芬奇系列處理器TMS320DM6437平臺上,提取HOG[3]特征實(shí)現(xiàn)人頭檢測,利用Mean-shift[4]實(shí)現(xiàn)人員跟蹤和計(jì)數(shù),完成了客流量統(tǒng)計(jì)的嵌入式模塊化設(shè)計(jì)。
1 客流量統(tǒng)計(jì)模塊硬件構(gòu)成
    基于視頻的客流量統(tǒng)計(jì),按攝像頭放置位置與客流方向的關(guān)系有傾斜放置和垂直放置兩種。在進(jìn)出客流量較大時(shí),攝像頭傾斜放置時(shí)圖像中的人像之間不可避免會出現(xiàn)遮擋和重疊。為了解決遮擋和重疊問題實(shí)現(xiàn)精確計(jì)數(shù),需要采用更復(fù)雜的計(jì)數(shù)算法,額外增加了較大的計(jì)算量。本文采用如圖1所示的攝像頭垂直放置,通過檢測和跟蹤人頭實(shí)現(xiàn)客流量的計(jì)數(shù),既避免了遮擋和重疊導(dǎo)致計(jì)數(shù)精度下降的問題,又能使人頭檢測和跟蹤算法計(jì)算量適中。

1.1 TMS320DM6437芯片的特點(diǎn)
    TMS320DM6437是TI公司首批支持達(dá)芬奇技術(shù)的純DSP器件,結(jié)合增強(qiáng)型TMS320C64X內(nèi)核與最新視頻處理子系統(tǒng)(VPSS),實(shí)現(xiàn)超強(qiáng)的視頻處理能力。 TMS320C64X采用第二代高性能超長指令字(VLIW)的體系結(jié)構(gòu),2級存儲器/高速緩存和EDMA引擎,非常適合高強(qiáng)度的數(shù)學(xué)運(yùn)算;其內(nèi)核主頻高達(dá)600 MHz,峰值處理速度可達(dá)5 600 MIPS。內(nèi)核擁有兩級緩存結(jié)構(gòu),第一級緩存(L1)包括80 KB的數(shù)據(jù)緩存(L1D)和32 KB 的程序緩存(L1P),L1直接與CPU連接,數(shù)據(jù)寬度為128 bit。第二級緩存(L2)的容量大小為128 KB,可以被映射成緩存結(jié)構(gòu)也可被用作片內(nèi)存儲器。核內(nèi)部擁有兩個處理通路,每條通路包含4個功能單元,最高時(shí)可在一個時(shí)鐘并行處理8條指令;視頻處理子系統(tǒng)(VPSS),以D1解析度實(shí)現(xiàn)高達(dá)H.264的視頻編碼。TMS320DM6437芯片還擁有豐富的外部接口,片內(nèi)包含4路視頻數(shù)模轉(zhuǎn)換芯片,可實(shí)現(xiàn)多種制式的模擬視頻信號輸出,為運(yùn)行客流量統(tǒng)計(jì)程序提供了一個高性價(jià)比的硬件平臺。
1.2 系統(tǒng)硬件構(gòu)成
    系統(tǒng)主要由圖像采集、圖像數(shù)據(jù)存儲、圖像數(shù)據(jù)處理和圖像顯示等部分組成。圖像采集部分使用TI公司的TVP5150專用圖像采集器。TVP5150的主要作用是把輸入的模擬視頻信號轉(zhuǎn)換成符合ITU-R BT.656標(biāo)準(zhǔn)的4:2:2 YUV全數(shù)字視頻信號。運(yùn)行人頭檢測和跟蹤計(jì)數(shù)算法的處理器采用TI公司的高性價(jià)比媒體處理器TMS320DM6437。該處理器先從視頻轉(zhuǎn)換芯片TVP5150讀取數(shù)字視頻數(shù)據(jù),然后運(yùn)行人頭檢測和跟蹤計(jì)數(shù)程序,最后在檢測的人頭上加框后顯示統(tǒng)計(jì)的客流量。由于圖像數(shù)據(jù)量大,TMS320DM6437處理器運(yùn)行客流量統(tǒng)計(jì)程序時(shí),不可避免會將運(yùn)行的中間數(shù)據(jù)存儲在片外高速RAM中(片外RAM采用256 MB的DDR2 DRAM存儲器)。視頻顯示芯片采用Philips公司的視頻編碼芯片SAA7126H,實(shí)現(xiàn)視頻顯示。系統(tǒng)基本的硬件結(jié)構(gòu)如圖2所示。

 

 

2 利用HOG特征實(shí)現(xiàn)人頭檢測
    Dalal等人首先將HOG特征[3]用于靜態(tài)圖像中的行人檢測,其主要思想是利用局部區(qū)域的梯度方向直方圖來描述目標(biāo)特征。本文用HOG特征結(jié)合支撐向量機(jī)SVM(Support Vector Machine)分類器進(jìn)行頭部檢測,分為SVM分類器訓(xùn)練和人頭檢測兩個階段。
2.1 HOG特征提取
    提取目標(biāo)的HOG特征步驟如下:首先按照式(1)和式(2)計(jì)算灰度圖像的梯度幅值和梯度方向。
    
其中,Gx、Gy分別是(x,y)的水平和豎直梯度,梯度的方向設(shè)定為0~?仔。本文梯度的方向反映該像素點(diǎn)周圍的灰度變化的方向,梯度的幅度反映灰度變化的大小。
    然后進(jìn)行子塊單元的劃分和方向直方圖統(tǒng)計(jì)。如圖3(a)所示,將圖像劃分為若干個圖像塊(BLOCK),每個塊劃分為若干個正方形圖像單元(CELL),圖像單元的邊長記為CELLSIZE。圖3(a)中CELL的大小為8×8個像素,即CELLSIZE=8;一個BLOCK包含2×2個圖像單元CELLNUM=4。以一個圖像單元為單位,進(jìn)行方向梯度直方圖的統(tǒng)計(jì)。將梯度方向劃分為BIN個區(qū)間,對于各個區(qū)間的梯度相加,形成一個BIN維的向量來描述一個圖像單元。最后生成圖像的Hog描述子,對于每一個BLOCK對應(yīng)的BIN×CELLNUM維向量可以根據(jù)實(shí)際需要按式(3)進(jìn)行標(biāo)準(zhǔn)化:

    最后所有CELL對應(yīng)的向量構(gòu)成整個圖像的Hog描述子,如圖3(b)所示,圖像由16個CELL組成。

[!--empirenews.page--]

2.2 SVM分類器的訓(xùn)練和人頭檢測
    人頭檢測的分類器選擇高斯內(nèi)核的支撐向量機(jī)(SVM)。SVM分類器的訓(xùn)練分兩次進(jìn)行,第一次是使用人頭居中的正樣本和從不包含人頭對象的圖像(源負(fù)樣本)中取樣得到的負(fù)樣本中訓(xùn)練出基本分類器。第二次是采用基本分類器對所有源負(fù)樣本進(jìn)行密集掃面檢測,將其中檢測錯誤的子圖像歸為困難負(fù)樣本,然后將之前的正樣本和負(fù)樣本與困難樣本一起對基本分類器進(jìn)行二次訓(xùn)練。在對源負(fù)樣本進(jìn)行密集掃描時(shí),不僅掃描步長要小,而且還要加入尺度的變化(尺度步長可設(shè)為 1.5 或者2),盡可能地獲取源負(fù)樣本的局部信息和全局信息。這樣得到的負(fù)樣本才夠健壯,對二次訓(xùn)練后檢測器的效果也提升得更加全面。
    SVM分類器的訓(xùn)練階段,訓(xùn)練用正樣本和負(fù)樣本的尺寸固定,大小為32×24。在人頭檢測階段,由于距離等因素,導(dǎo)致目標(biāo)(人頭)大小變化較大,本文采用訓(xùn)練模板大小不變而只縮放待檢測圖像的方法實(shí)現(xiàn)目標(biāo)的多尺度檢測,檢測結(jié)果如圖4(a)所示。

3 Mean-shift跟蹤計(jì)數(shù)
    利用HOG特征,只能實(shí)現(xiàn)單幅圖像中人頭的檢測。要完成人員計(jì)數(shù),必須利用多幀圖像信息,既要檢測出圖像中新出現(xiàn)的目標(biāo),又要利用目標(biāo)跟蹤技術(shù),確定連續(xù)多幀圖像中的同一個目標(biāo),實(shí)現(xiàn)人員統(tǒng)計(jì)計(jì)數(shù)。
    利用Mean-shift實(shí)現(xiàn)人員跟蹤計(jì)數(shù)具體步驟如下:
    (1)將人頭檢測的結(jié)果作為初始的搜索窗口,確定窗口大小和位置。
    (2)計(jì)算搜索窗口內(nèi)的灰度概率分布函數(shù),并用該分布函數(shù)反演下一幀的待搜索圖像。
    (3)利用前一幀初始搜索窗口的大小和位置信息,確定當(dāng)前幀的搜索起點(diǎn)和范圍,并在計(jì)算選取搜索窗口中按照式(4)、式(5)計(jì)算零階矩和一階矩,并按照式(6)計(jì)算搜索窗口的質(zhì)心:
    
4 試驗(yàn)結(jié)果
    用圖像大小為384×307、30幀/s的實(shí)拍視頻流進(jìn)行測試實(shí)驗(yàn),測試視頻中行人只能從畫面的上下兩端進(jìn)入。為減小計(jì)算量,人頭檢測只在圖像的上下1/4區(qū)域進(jìn)行檢測,根據(jù)行人運(yùn)動方向,在圖像的中間1/2 區(qū)域進(jìn)行搜索跟蹤技術(shù),完成客流量統(tǒng)計(jì)。實(shí)驗(yàn)結(jié)果如圖4(b)所示。在達(dá)芬奇系列處理器TMS320DM6437平臺上實(shí)測數(shù)據(jù)處理速度為28幀/s,客流量統(tǒng)計(jì)精度為97.8%。試驗(yàn)中測試發(fā)現(xiàn),HOG特征檢測人頭消耗了系統(tǒng)70%的計(jì)算量。為進(jìn)一步提高計(jì)算速度,對人頭檢測算法進(jìn)行優(yōu)化:利用積分圖[5]計(jì)算HOG特征,采用Cascade[5]結(jié)構(gòu)組合SVM分類器。優(yōu)化后,在不影響客流量統(tǒng)計(jì)精度的情況下實(shí)測處理速度達(dá)到了38幀/s。
    本文在達(dá)芬奇系列處理器TMS320DM6437平臺上,設(shè)計(jì)并實(shí)現(xiàn)了一個實(shí)時(shí)的嵌入式客流量統(tǒng)計(jì)模塊,實(shí)測表明,客流量統(tǒng)計(jì)精度高,數(shù)據(jù)處理速度快。在不改變已有監(jiān)控系統(tǒng)的結(jié)構(gòu),僅通過增加該模塊就可實(shí)現(xiàn)客流量統(tǒng)計(jì)等智能監(jiān)控功能,具有良好的市場前景。
參考文獻(xiàn)
[1] 屈建中,張軍,魯墨武.長途客車流量監(jiān)測裝置[J].測控技術(shù),1994,13(3):23-26.
[2] 畢勝,梁德群.基于主動紅外成像的客流量統(tǒng)計(jì)系統(tǒng)[J]. 小型微型計(jì)算機(jī)系統(tǒng),2007,28(4):697-700.
[3] DALAL N,TRIGGS D. Histograms of oriented gradients for  human detection[C].Proceeding. IEEE Conference. on Computer Vision and Pattern Recognition,2005:886-893.
[4] BRADSKI G,KAEBLER A.Learning OpenCV—computer  vision with the OpenCV library[M].(3rd Ed).New York:O’Reilly Media,Inc.,2008:337-341.
[5] VIOLA P,JONES M.Robust real-time face detection[J].  International Journal of Computer Vision,2004,57(2):137-154.

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉