視頻監(jiān)控系統(tǒng)及其在Blackfin上的應(yīng)用及優(yōu)勢(shì)

1． 視頻監(jiān)控系統(tǒng)的現(xiàn)狀

　　視頻監(jiān)控系統(tǒng)從最初的模擬閉路電視監(jiān)控開(kāi)始，經(jīng)歷了數(shù)字化，網(wǎng)絡(luò)化的發(fā)展，正在向分布式、智能化的方向邁進(jìn)。視頻壓縮技術(shù)的發(fā)展促進(jìn)了視頻監(jiān)控系統(tǒng)的數(shù)字化，節(jié)約了大量的存儲(chǔ)空間。計(jì)算機(jī)網(wǎng)絡(luò)的普及和帶寬的增加使得城域網(wǎng)視頻監(jiān)控成為現(xiàn)實(shí)。而經(jīng)過(guò)科研人員40多年的不懈努力，計(jì)算機(jī)視覺(jué)已經(jīng)進(jìn)入突破式發(fā)展階段。得益于計(jì)算機(jī)視覺(jué)的研究成果，智能視頻監(jiān)控系統(tǒng)開(kāi)始得到產(chǎn)業(yè)化應(yīng)用。

　　從上世紀(jì)90年代中期開(kāi)始，以卡耐基梅隆大學(xué)（CMU）和麻省理工學(xué)院（MIT）為代表的，多家美國(guó)高校所參與的，由美國(guó)國(guó)防高級(jí)研究項(xiàng)目署設(shè)立的視覺(jué)監(jiān)控重大項(xiàng)目VSAM（Visual Surveillance and Monitoring），以及其它科研機(jī)構(gòu)的研究成果，使得智能視覺(jué)分析取得了快速發(fā)展。2001年美國(guó)“911事件”，以及后來(lái)的西班牙馬德里列車(chē)連環(huán)爆炸和英國(guó)倫敦地鐵大爆炸等恐怖襲擊后，全世界范圍內(nèi)對(duì)視頻監(jiān)控系統(tǒng)，包括智能視頻分析系統(tǒng)的需求空前高漲。在英國(guó)全國(guó)范圍內(nèi)已經(jīng)安裝攝像機(jī)420多萬(wàn)個(gè)，平均每14人一個(gè)，一個(gè)人一天之中可能出現(xiàn)在多達(dá)300個(gè)攝像機(jī)前（英國(guó)《The Daily Mail》）。國(guó)內(nèi)，2007年底廣州市安裝完畢25萬(wàn)個(gè)治安攝像機(jī)，北京在26.3萬(wàn)臺(tái)攝像機(jī)的基礎(chǔ)上，又在所有重點(diǎn)單位、人員聚集的公共場(chǎng)所、重要的交通樞紐、城市重要基礎(chǔ)設(shè)施及法律法規(guī)規(guī)定的重點(diǎn)區(qū)域安裝公共圖像信息系統(tǒng)并且全部與警方監(jiān)控網(wǎng)聯(lián)網(wǎng)。上海2010年前將在馬路上安裝20多萬(wàn)個(gè)監(jiān)控?cái)z像機(jī)，全面建立“社會(huì)防控體系”。海量的監(jiān)控圖像需要視頻監(jiān)控系統(tǒng)智能地選擇壓縮、存儲(chǔ)和檢索內(nèi)容。

　　當(dāng)前，除了CMU和MIT，奧地利Graz理工大學(xué)的嵌入式智能攝像機(jī)研究組，IBM的S3(Smart Surveillance System)項(xiàng)目組，Intel的IRISNET（Internet-scale, Resource-intensive Sensor Network Services）項(xiàng)目組等，分別在分布式智能監(jiān)控系統(tǒng)的不同領(lǐng)域處于領(lǐng)先地位。Object Video， Hisign，3VR等公司率先實(shí)現(xiàn)了智能視頻監(jiān)控的工業(yè)應(yīng)用。在國(guó)內(nèi)，中科院自動(dòng)化所，清華大學(xué)電子工程系和自動(dòng)化系等處于研究的前列。

　　2．智能視頻監(jiān)控系統(tǒng)的技術(shù)背景簡(jiǎn)介

　　智能視頻監(jiān)控的核心內(nèi)容之一是對(duì)特定目標(biāo)的自動(dòng)跟蹤。目標(biāo)跟蹤可分為5個(gè)步驟，包括運(yùn)動(dòng)檢測(cè)、目標(biāo)分類(lèi)、目標(biāo)（類(lèi)型）跟蹤、行為分析和目標(biāo)（個(gè)體）跟蹤。例如對(duì)人體的跟蹤：首先從實(shí)時(shí)圖像序列（即視頻）中檢測(cè)出運(yùn)動(dòng)物體，再判定運(yùn)動(dòng)物體中的人體，然后跟蹤人體的運(yùn)動(dòng)軌跡，并分析和選定有異常行為的人，如在車(chē)站，機(jī)場(chǎng)等遺留包裹的人，最后對(duì)行為異常的人進(jìn)行持續(xù)跟蹤。

　　運(yùn)動(dòng)檢測(cè)是從圖像序列中將變化區(qū)域從背景圖像中提取出來(lái)。運(yùn)動(dòng)區(qū)域的有效分割將大大減少后繼過(guò)程的運(yùn)算量。然而，背景圖像的不穩(wěn)定性，如陰影，光照，慢移動(dòng)（如蝸牛的爬行），靜移動(dòng)（樹(shù)葉的擺動(dòng)）等等，也使得運(yùn)動(dòng)檢測(cè)非常困難。

　　視頻監(jiān)控系統(tǒng)中的運(yùn)動(dòng)檢測(cè)有兩種不同的實(shí)現(xiàn)途徑，一種是直接利用視頻壓縮算法的中間結(jié)果，比如ADI的第三方合作伙伴利用MPEG 4和H.264編碼過(guò)程中的運(yùn)動(dòng)向量，在Blackfin處理器上同步實(shí)現(xiàn)了運(yùn)動(dòng)檢測(cè)和視頻壓縮。另外一種是獨(dú)立于視頻編碼的方法。

　　運(yùn)動(dòng)檢測(cè)算法可按照不同分類(lèi)標(biāo)準(zhǔn)分為多種。中科院自動(dòng)化所把運(yùn)動(dòng)檢測(cè)算法歸納為三種：背景消除法，時(shí)間差分法，光流法。背景消除法和時(shí)間差分法都可以看作是差分圖像法。背景消除法是目前運(yùn)動(dòng)分割中最常用的一種方法，它利用當(dāng)前圖像與背景圖像的差分來(lái)檢測(cè)出運(yùn)動(dòng)區(qū)域。時(shí)間差分方法是在連續(xù)的圖像序列中兩個(gè)或三個(gè)相鄰幀間采用基于像素的時(shí)間差分并且閾值化來(lái)提取出圖像中的運(yùn)動(dòng)區(qū)域?；诠饬鞣椒ǖ倪\(yùn)動(dòng)檢測(cè)采用了運(yùn)動(dòng)目標(biāo)隨時(shí)間變化的光流特性，通過(guò)計(jì)算位移向量光流場(chǎng)來(lái)初始化基于輪廓的跟蹤算法，從而有效地提取和跟蹤運(yùn)動(dòng)目標(biāo)。該方法的優(yōu)點(diǎn)是在攝像機(jī)運(yùn)動(dòng)的情況下也能檢測(cè)出獨(dú)立的運(yùn)動(dòng)目標(biāo)。

　　目標(biāo)分類(lèi)的目的是從檢測(cè)到的運(yùn)動(dòng)區(qū)域中將特定類(lèi)型物體的運(yùn)動(dòng)區(qū)域提取出來(lái)。根據(jù)利用的信息的不同，目標(biāo)分類(lèi)可以分為基于運(yùn)動(dòng)特性的分類(lèi)和基于形狀信息的分類(lèi)兩種方法。基于運(yùn)動(dòng)特性的識(shí)別利用目標(biāo)運(yùn)動(dòng)的周期性進(jìn)行識(shí)別，受顏色、光照的影響較小?；谛螤钚畔⒌淖R(shí)別利用檢測(cè)出的運(yùn)動(dòng)區(qū)域的形狀特征與模板或者統(tǒng)計(jì)量進(jìn)行匹配。

　　目標(biāo)跟蹤是在連續(xù)的圖像幀間創(chuàng)建基于位置、速度、形狀、紋理、色彩等有關(guān)特征的對(duì)應(yīng)匹配。依據(jù)不同的跟蹤方法可分為基于模型的跟蹤、基于區(qū)域的跟蹤、基于活動(dòng)輪廓的跟蹤、基于特征的跟蹤等。

　　聯(lián)合目標(biāo)跟蹤與分類(lèi)（JTC）技術(shù)是信息融合領(lǐng)域新興的一個(gè)研究方向。其基本思想是，通過(guò)在目標(biāo)跟蹤器和目標(biāo)分類(lèi)器之間進(jìn)行雙向信息交互，來(lái)同時(shí)有效地提高目標(biāo)的跟蹤精度和分類(lèi)性能。

　　在特定情況下需要對(duì)跟蹤目標(biāo)從類(lèi)型細(xì)化到個(gè)體。這需要對(duì)目標(biāo)的行為進(jìn)行分析和理解。行為理解的關(guān)鍵問(wèn)題是如何從學(xué)習(xí)樣本中獲取參考行為序列，并且學(xué)習(xí)和匹配的行為序列必須能夠處理在相似的運(yùn)動(dòng)模式類(lèi)別中空間和時(shí)間尺度上輕微的特征變化。

　　3. 智能視頻監(jiān)控系統(tǒng)實(shí)施的難點(diǎn)和Blackfin的優(yōu)勢(shì)

　　盡管已經(jīng)取得了巨大進(jìn)展，智能視頻分析領(lǐng)域仍然沒(méi)有公認(rèn)的最優(yōu)方法。其自身研究?jī)?nèi)容的復(fù)雜性，使得研究方法和工具多樣，算法復(fù)雜度高，適用范圍有限，沒(méi)有魯棒性、準(zhǔn)確度、速度都符合需求的普遍方法。同時(shí)，視頻監(jiān)控系統(tǒng)的網(wǎng)絡(luò)化和分布式處理的要求，以及大規(guī)模工程安裝對(duì)成本、體積和功耗的限制，使得運(yùn)算能力和帶寬都在不斷提高的嵌入式處理器成為視頻監(jiān)控系統(tǒng)的主流選擇。而非標(biāo)準(zhǔn)化的智能視頻分析，正是DSP的用武之地。

　　Blackfin處理器是ADI與INTEL聯(lián)合研制的會(huì)聚式處理器，它的MSA（Micro Signal Architecture）架構(gòu)兼具M(jìn)CU的控制能力和DSP的高速運(yùn)算能力。MCU和DSP融入同一個(gè)內(nèi)核，只需要同一套開(kāi)發(fā)工具和同一套指令集。與DSP加ARM的芯片架構(gòu)相比，具有軟硬件實(shí)現(xiàn)簡(jiǎn)單的優(yōu)勢(shì)。Blackfin支持ThreadX，Nucleus，uCOS-II，uCLinux等十多種嵌入式操作系統(tǒng)，為客戶(hù)提供熟悉的軟件架構(gòu)基礎(chǔ)。Blackfin為高強(qiáng)度，高數(shù)據(jù)率的數(shù)字和媒體處理做了專(zhuān)門(mén)優(yōu)化，是理想的視頻處理器，而且具有極高的性?xún)r(jià)比。它的低功耗特性非常適合外殼體積小的IP攝像頭產(chǎn)品。

　　Blackfin的幾十個(gè)DMA通道和可靈活配置的Cache很好地滿(mǎn)足了視頻監(jiān)控系統(tǒng)對(duì)大運(yùn)算量，高數(shù)據(jù)吞吐率的要求。十級(jí)流水線(xiàn)使得Blackfin有很強(qiáng)的指令并行執(zhí)行能力。零開(kāi)銷(xiāo)循環(huán)控制指令讓系統(tǒng)中的大量循環(huán)跳轉(zhuǎn)不再消耗任何處理器的時(shí)鐘周期。利用這些優(yōu)勢(shì)，real解碼器的idct4×4算法在Blackfin上速度提高了7倍。

　　頻數(shù)據(jù)有其自身的特性。在不同顏色空間，表示象素的每個(gè)分量通常都是8位寬度。Blackfin的4個(gè)視頻算術(shù)運(yùn)算單元和視頻象素指令集大大加速了視頻運(yùn)算速度。一條視頻象素操作指令可以在一周期之內(nèi)完成4對(duì)視頻數(shù)據(jù)分量的加法運(yùn)算，減法運(yùn)算，加減混合運(yùn)算，取平均值，或者相減并求絕對(duì)值等11種視頻象素運(yùn)算。這些運(yùn)算在編解碼算法中的運(yùn)動(dòng)估計(jì)、loop filter和智能視頻分析的各種算法中大量應(yīng)用。在智能視頻分析的一些基礎(chǔ)算子中，例如直方圖統(tǒng)計(jì)，中值運(yùn)算，Sobel運(yùn)算，形態(tài)學(xué)中的膨脹運(yùn)算等都可以利用Blackfin的MIN, MAX指令來(lái)消除條件跳轉(zhuǎn)，節(jié)省處理器周期。不僅如此，Blackfin還支持13種非視頻數(shù)據(jù)的向量運(yùn)算。適當(dāng)設(shè)計(jì)數(shù)據(jù)結(jié)構(gòu)，在前背景分離，閾值計(jì)算和更新等多個(gè)環(huán)節(jié)都可以運(yùn)用Blackfin的特色指令讓智能視頻分析算法更迅捷。這些本身就很有效的指令中，大部分指令都能夠并行執(zhí)行，使得Blackfin的處理能力再加倍。

　　4．智能視頻監(jiān)控系統(tǒng)的實(shí)例

　　清華大學(xué)自動(dòng)控制系在視覺(jué)分析領(lǐng)域有長(zhǎng)期的研究和積累。結(jié)合ADI的優(yōu)勢(shì)，雙方在Blackfin BF561雙核處理器上實(shí)現(xiàn)了智能視頻監(jiān)控系統(tǒng)。ADI提供高質(zhì)量高性能的H.264編碼算法，清華大學(xué)自動(dòng)控制系則在BF561上實(shí)現(xiàn)了自動(dòng)跟蹤算法。系統(tǒng)框圖如圖1所示。

圖1：基于BF561的智能監(jiān)控終端框圖

　　H.264編碼算法模塊是ADI為Blackfin客戶(hù)提供的免費(fèi)軟件模塊之一，目前已經(jīng)有基于BF53x和BF561兩個(gè)系列的芯片的實(shí)現(xiàn)。它支持完全動(dòng)態(tài)的參數(shù)配置，用戶(hù)可在系統(tǒng)運(yùn)行時(shí)根據(jù)場(chǎng)景和網(wǎng)絡(luò)帶寬的變化改變編碼的碼率、幀率、關(guān)鍵幀間隔、量化值等等。從80KBb的CDMA網(wǎng)絡(luò)到3Mb的DVR系統(tǒng)都能使用同一套函數(shù)庫(kù)達(dá)到理想的編碼質(zhì)量。具有很強(qiáng)的適應(yīng)性和靈活性。

　　清華大學(xué)自動(dòng)控制系的智能跟蹤算法采用單高斯背景建模的背景減除方法進(jìn)行運(yùn)動(dòng)檢測(cè)，在目標(biāo)分類(lèi)階段，結(jié)合了基于運(yùn)動(dòng)特性的分類(lèi)和基于形狀信息的分類(lèi)兩種方法，利用人體、車(chē)輛的長(zhǎng)寬比例、梯度直方圖和運(yùn)動(dòng)周期性等對(duì)運(yùn)動(dòng)物體進(jìn)行分類(lèi)。在對(duì)同類(lèi)目標(biāo)跟蹤時(shí)，采用基于區(qū)域的算法，判斷連續(xù)的各幀之間運(yùn)動(dòng)物體的質(zhì)心位移方向和距離?；谏鲜鋈齻€(gè)階段的算法，系統(tǒng)還能實(shí)現(xiàn)人群跟蹤，入侵檢測(cè)，人、車(chē)數(shù)量統(tǒng)計(jì)，遺留物體檢測(cè)，攝像頭非法遮擋和移位報(bào)警等功能。

　　系統(tǒng)中，BF561的Core A用于實(shí)現(xiàn)H.264編碼算法，Core B用于智能視頻分析。Core A上同時(shí)運(yùn)行uCos II操作系統(tǒng)以及RTP和TCP/IP協(xié)議棧。YUV4:2:2視頻幀通過(guò)PPI（并行外設(shè)接口）以DMA的方式傳送到SDRAM緩沖區(qū)。Core A和Core B共享幀緩沖區(qū)。Core B首先啟動(dòng)memory DMA把視頻幀的Y（亮度）分量傳送到Core B的片內(nèi)存儲(chǔ)區(qū)L1 SRAM的行緩沖區(qū)內(nèi)。Core B對(duì)行緩沖區(qū)內(nèi)的Y分量進(jìn)行背景建模和后繼的運(yùn)動(dòng)檢測(cè)及目標(biāo)跟蹤。如果可視區(qū)域內(nèi)出現(xiàn)指定類(lèi)型的物體，Core B向Core A發(fā)送一個(gè)中斷信號(hào)，Core A可以通過(guò)UART接口向本地控制臺(tái)發(fā)送告警信息，或者通過(guò)網(wǎng)絡(luò)接口向遠(yuǎn)程控制臺(tái)發(fā)送告警信息；Core B還可以修改幀緩沖區(qū)，給目標(biāo)加矩形邊框以標(biāo)識(shí)目標(biāo)。Core A也通過(guò)一個(gè)memory DMA接收來(lái)自幀緩沖區(qū)的視頻亮度和色度數(shù)據(jù)。編碼器對(duì)Core B處理后的幀緩沖區(qū)進(jìn)行編碼。同時(shí)系統(tǒng)也可以通過(guò)另外一個(gè)PPI接口輸出經(jīng)Core B修改后的幀緩沖區(qū)，實(shí)時(shí)顯示跟蹤結(jié)果。目標(biāo)跟蹤算法是實(shí)時(shí)的，因此不會(huì)造成編碼的延時(shí)。在未檢測(cè)到運(yùn)動(dòng)物體時(shí)，編碼器可以工作在低碼率或低幀率狀態(tài)下，甚至不編碼。一旦檢測(cè)到指定類(lèi)型的運(yùn)動(dòng)物體，編碼器即恢復(fù)正常工作，把壓縮碼流和對(duì)應(yīng)時(shí)間通過(guò)以太網(wǎng)接口上傳到管理系統(tǒng)。這樣既能節(jié)約存儲(chǔ)空間，又能方便事后對(duì)視頻錄像的檢索。

　　該系統(tǒng)還可以通過(guò)UART或者以太網(wǎng)接口設(shè)定監(jiān)控區(qū)域邊界，用以標(biāo)識(shí)入侵檢測(cè)的監(jiān)視范圍。當(dāng)有運(yùn)動(dòng)物體越過(guò)邊界時(shí)，系統(tǒng)立即向控制臺(tái)報(bào)警。控制臺(tái)還可以向該智能監(jiān)控終端發(fā)送指令改變它所執(zhí)行的功能，從智能跟蹤，到入侵檢測(cè)，再到遺留物體檢測(cè)或者清點(diǎn)人數(shù)等等，自由切換。沒(méi)有Blackfin強(qiáng)大的處理能力和靈活性，在一個(gè)嵌入式處理器里實(shí)現(xiàn)如此復(fù)雜而眾多的功能幾乎是不可想象的。

　　5．智能視頻監(jiān)控的發(fā)展趨勢(shì)

　　盡管智能視頻分析在視頻監(jiān)控中已經(jīng)得到一定的應(yīng)用，但它還有很長(zhǎng)的發(fā)展歷程。一個(gè)比較理想的智能視頻監(jiān)控系統(tǒng)應(yīng)該是這樣的：

　　如果有一天，城市的一角突然發(fā)生槍擊事件。犯罪嫌疑人立即逃向不遠(yuǎn)處的轎車(chē)，試圖駕車(chē)逃跑。然而，他的一舉一動(dòng)已經(jīng)落入了公共安全監(jiān)控網(wǎng)之中，難以遁形。首先，帶有聲音識(shí)別和聲源定位功能的視頻監(jiān)控系統(tǒng)檢測(cè)到槍聲之后立即調(diào)整攝像頭角度和方向，對(duì)準(zhǔn)槍聲來(lái)向，同時(shí)啟動(dòng)第一次報(bào)警，報(bào)告槍擊發(fā)生的大致位置。該攝像頭采集視頻，檢測(cè)運(yùn)動(dòng)人體，分析人物的行為特征，并立即定位、跟蹤嫌疑人。定位后，通知系統(tǒng)內(nèi)處于合適位置的多個(gè)攝像頭提取嫌疑人面部特征，試圖駕駛的車(chē)輛的車(chē)牌等，并上傳到管理系統(tǒng)，建立數(shù)據(jù)庫(kù)表項(xiàng)，分發(fā)到公安局，車(chē)站，機(jī)場(chǎng)，銀行，海關(guān)等重點(diǎn)單位。監(jiān)控系統(tǒng)轉(zhuǎn)而跟蹤該車(chē)輛。警方在嫌疑人運(yùn)動(dòng)的路上設(shè)置警力攔截和追捕。即使嫌疑人僥幸逃脫現(xiàn)場(chǎng)追捕，當(dāng)他出現(xiàn)在全國(guó)任何一個(gè)攝像頭前的時(shí)候，仍然無(wú)法逃脫被捕的命運(yùn)。

　　這個(gè)系統(tǒng)中融合了多種先進(jìn)監(jiān)控技術(shù)。音視頻結(jié)合，視覺(jué)成像和非視覺(jué)成像結(jié)合，目標(biāo)跟蹤和行為分析、特征識(shí)別相結(jié)合的全連通的智能視頻監(jiān)控系統(tǒng)將是未來(lái)安防系統(tǒng)的趨勢(shì)。其中的各項(xiàng)技術(shù)都已經(jīng)分別得到了相當(dāng)?shù)陌l(fā)展。Blackfin在紅外攝像頭，相控陣麥克風(fēng)等方面已有許多應(yīng)用。而更準(zhǔn)確，更快速，更魯棒的智能視覺(jué)分析算法仍然是一個(gè)難點(diǎn)。ADI將會(huì)繼續(xù)在智能視頻監(jiān)控領(lǐng)域與全球科研機(jī)構(gòu)和企業(yè)合作，為我們創(chuàng)造更安全更美好的生活。