走向成熟的智能數(shù)字視頻監(jiān)控

Intelligent Digital Video Surveillance Is Bounding to Mature

摘要：視頻監(jiān)控技術伴隨著“平安中國”的暢想以及北京奧運會和上海世博會等大型活動的順利舉辦，成為近期備受關注的電子技術應用領域。作為智能數(shù)字視頻核心的半導體器件，在智能監(jiān)控技術的普及中占據(jù)著極為重要的地位，本文通過多個角度，解析數(shù)字視頻監(jiān)控發(fā)展趨勢及其對半導體產(chǎn)品的需求。

關鍵詞：視頻監(jiān)控；傳感器；DSP；FPGA

DOI：10．3969/j.issn.1005-5517.2011.04.001

對于每個人而言，平安是幸福生活最基本的要素之一，而如何保障平安生活，無疑需要時刻有一雙慧眼的保護。無論是生活安全的監(jiān)控、突發(fā)事件的預警、交通違章情況和流量監(jiān)控還是重點場所的安全保障，甚至山林火險監(jiān)控、邊界和領海各種情況的監(jiān)控等，都需要先進的智能數(shù)字視頻監(jiān)控系統(tǒng)做保障。

具體到中國，人口眾多地域遼闊的特點僅僅依靠人力很難滿足保障國土安全、人民安居樂業(yè)的需求。因此，無論近年來全球經(jīng)濟如何動蕩，中國的公共安防市場卻總是保持旺盛增長的勢頭。“平安中國”計劃的推廣，特別是隨著2008年北京成功舉辦奧運會過程中，國產(chǎn)的監(jiān)控產(chǎn)品廣泛被采用，表現(xiàn)不凡，進一步引發(fā)了國內數(shù)字化視頻監(jiān)控產(chǎn)業(yè)的發(fā)展。

數(shù)字視頻監(jiān)控系統(tǒng)是以數(shù)字視頻處理技術為核心，綜合利用光電傳感器、計算機網(wǎng)絡、自動控制和人工智能等技術的一種新型監(jiān)控系統(tǒng)。數(shù)字視頻監(jiān)控系統(tǒng)除了具有傳統(tǒng)閉路電視監(jiān)視系統(tǒng)的所有功能外，還具有遠程視頻傳輸與回放、自動異常檢測與報警、結構化的視頻數(shù)據(jù)存儲等功能。與數(shù)字視頻監(jiān)控系統(tǒng)相關的主要技術有視頻數(shù)據(jù)壓縮，視頻的分析與理解，視頻流的傳輸與回放和視頻數(shù)據(jù)的存儲。

技術發(fā)展趨勢

TI DSP業(yè)務發(fā)展經(jīng)理鄭曉龍認為，數(shù)字視頻監(jiān)控的核心技術主要有四種，即視頻壓縮、影像處理、視頻顯示和視頻分析，如圖1所示。回顧數(shù)字視頻監(jiān)控的發(fā)展歷程，數(shù)字音視壓縮技術的發(fā)展導致了壓縮標準的制定，數(shù)字音視壓縮技術包含視頻編碼和解碼，在視頻監(jiān)控應用中已由MPEG4過渡到H．264而成為主流，而SVC作為一個效率更多的標準也將接受市場的考驗。在各種寬帶和無線數(shù)字監(jiān)控系統(tǒng)中，既有多通道處理的需求，也有多格式、多碼率及多視頻流的支持。

富士通半導體(上海)有限公司市場部產(chǎn)品經(jīng)理沈弘人則將監(jiān)控產(chǎn)品的技術及市場需求概況為五大發(fā)展趨勢。

網(wǎng)絡化

市場需求：消費型客戶的需求量較大對高清需求不多，售價低，以公眾互聯(lián)網(wǎng)布線為主；而項目客戶則需求量較少，對高清需求較多，但售價高，且多半以內網(wǎng)／專網(wǎng)布線為主。

技術發(fā)展：向高清視頻(HD／Full HD)方向發(fā)展，可進行實時壓縮(H．264)，并經(jīng)由IP網(wǎng)絡實時傳送(Real-TimeStreaming，一般網(wǎng)絡的傳送遞延時間最好不超過一秒。

智能化

市場需求：除傳統(tǒng)云臺控制攝像頭轉向／縮放功能外，智能影音分析(前端及后端)的應用需求將越來越多。

技術發(fā)展：智能影音分析軟件，如移動動物／人臉追蹤、危險物(靜態(tài)物體)監(jiān)測、火災監(jiān)測、門禁人員／車輛計數(shù)等。大部分智能影音分析都在后端實施，如中控系統(tǒng)(CMS)，或是軟件離線分析，但也有一些智能影音分析功能逐漸開始內置在頭端(攝像頭)進行重要事件監(jiān)測及數(shù)據(jù)分析。

高清化

市場需求：目前市場需求的起始規(guī)格為720P 30，進階規(guī)格則為720P 60或1080P 30。而有些應用，如車牌辨識(LPR)，甚至需要1080P60或是更高的規(guī)格。

技術發(fā)展：為了滿足高清化需求，傳感器技術也逐漸走向高階CMOS(1．3M，2M，5M等)，而CMOS在高動態(tài)(HDR)和低照度(low lux)方面也已經(jīng)趕上CCD的水平。另外，高階影像處理器(ISP)、高階編碼技術(H．264)及高分辨率鏡頭(HDLens)也是重要的技術發(fā)展方向。

安全化

市場需求：數(shù)字視頻錄像(DVR)、網(wǎng)絡數(shù)字視頻錄像(NVR)、高容量硬盤(HDD)、磁盤陣列(DiskArray)的市場需求大增，也因而讓數(shù)據(jù)存儲更容易、更安全。

技術發(fā)展：擴充DVR／NVR到集中式網(wǎng)絡儲存技術(NAS)或是主從式儲存設備網(wǎng)絡技術(SAN)以及加強網(wǎng)絡防火墻(Fire Wall)，讓數(shù)據(jù)儲存更安全，且具備容錯能力，災難備援，以及快速回復數(shù)據(jù)之能力。

分工化

市場需求：高端監(jiān)控市場的特性包括應用多元化、規(guī)格定制化和少量多樣化，且要求存儲時間長，因此對質量的要求比一般消費性產(chǎn)品高很多，所以每個組件都應具有最高規(guī)格和性能，這也使高端監(jiān)控的產(chǎn)業(yè)鏈必須達到專業(yè)分工。

技術發(fā)展：傳感器(CCD或CMOS)、高階影像處理器(ISP)、影像壓縮編解碼器(CODEC)、網(wǎng)絡傳輸(IP Video Streaming)和高清閉路電視(HDCCTV)等各自發(fā)展或部分整合。換句話說，沒有一顆單芯片(SoC)能完全滿足高端監(jiān)控的需求，當然對于入門級的家用監(jiān)控系統(tǒng)則可能用一顆單芯片就可以完成。

萊迪斯半導體市場營銷副總裁Douglas Hunter則直言未來視頻監(jiān)控兩個最重要的趨勢是：百萬像素攝像機和高動態(tài)范圍(HDR)照相機。對于半導體制造商，這意味著需要向市場提供器件，提供更高的處理能力，以便處理由兆像素圖像傳感器和HDR處理需求結合所引起的大量數(shù)據(jù)的增加。Maxim業(yè)務總監(jiān)JimFox則認為，視頻監(jiān)控市場的整體增長率將保持在5％-10％左右，而IP攝像機這樣的具體產(chǎn)品增長率可以達到30％以上。最重要的技術發(fā)展趨勢除了高清和百萬像素攝像外，智能視頻分析和成像也非常重要。

當然，趨勢總是由市場的需求所推動的。視頻監(jiān)控市場正要求更高的分辨率和更精準的圖像內容，包括場景內容和活動的“智能”識別(如車牌號碼識別，清點人數(shù)的能力，檢測侵入者)?？梢杂帽环Q為視頻分析(VA)的自動化軟件夾處理越來越多的復雜視頻監(jiān)控。為了能夠有效、避免產(chǎn)生“誤報“，VA軟件需要較高的分辨率和HDR處理。這就是對攝像機制造商的要求，以高幀率來處理大量的數(shù)據(jù)。

攝像頭高清、3D一個都不能少

高清技術將使數(shù)字視頻監(jiān)控系統(tǒng)徹底淘汰傳統(tǒng)模擬系統(tǒng)，于是在CIF／D1分辨率的基礎之上，720p和1080p的呼聲很高，視頻壓縮技術在新的潮流下得到了進一步的提升。Aptina Imaging公司資深業(yè)務發(fā)展／市場經(jīng)理Cliff Cheng認為，監(jiān)控攝像頭領域最普遍的發(fā)展趨勢是轉向分辨率為720P和1080P兩種格式的高清(HD)攝像頭，而所提供的接口選項的數(shù)量增加了，包括子兆位以太網(wǎng)、閉路高清(HDCCTV)以及IP over Coaxial(電纜)，這些都正逐漸成為HD視頻的首選接口。多媒體2D／3D圖像加速技術已開始引入，HDMI高清接口將成為必需，顯示加密技術也許不可或缺。

隨著CMOS視頻傳感器技術的成熟和推廣，數(shù)字一體化攝像機將融合更多的影像處理技術，其中包括自動曝光(AE)、自動白平衡(AWB)和自動聚焦(AF)技術將有可能被掌握。隨著繼承有視頻前端的單片系統(tǒng)(SoC)的推出，不僅支持上述的弘功能，還有可以支持3D噪聲濾波、人臉檢測、LDC鏡頭校正和WDR寬動態(tài)等功能。與CCD圖像傳感器相比，由于CMOS圖像傳感器具備同等甚至更好的成像性能、更低的成本、更高的集成度、更低的功耗以及更高的速度，因此在網(wǎng)絡攝像頭領域的應用也日益增多。高速HD視頻攝像頭轉向CMOS圖像傳感器的原因之一是CMOS器件固有低功耗的特性。功耗較低的CMOS圖像傳感器還結合了數(shù)項節(jié)能功能，如門控時鐘(gated clock)設計、可變幀率，以及低待機電流，這些功能均可通過CMOS工藝技術來實現(xiàn)。

萊迪斯半導體的Douglas Hunter認為，視頻監(jiān)控需要圖像傳感器有更多的像素以得到更好的場景定義，更好的微光性能，并能夠為HDR功能提供足夠的數(shù)據(jù)。關于市場趨勢，圖像傳感器將繼續(xù)從CCD轉變到CMOS技術。更高的兆像素傳感器將變得司空見慣。為了增強微光性能，更大格式的傳感器可能更為常見。像那些菜迪思伙伴的傳感器制造商將對傳感器從提供并行接口轉向串行接口，以便每秒從圖像傳感器送出更多的像素數(shù)據(jù)。

一個新興的發(fā)展趨勢是加入寬動態(tài)范圍(Wide Dynamic Range，WDR)功能，借助WDR功能，視頻監(jiān)控攝像頭的放置就不再受到限制，幾乎可以放置在任何環(huán)境中，包括嚴苛的高對比度光照環(huán)境。Aptina用于監(jiān)控市場的最新HD和全HD圖像傳感器解決方案都加入了統(tǒng)計引擎、3D立體攝像頭支持、感興趣區(qū)域(region of interest)和WDR功能，將更多的計算工作量從視頻分析引擎中卸載，讓攝像頭的算法可以提供更高的準確度和智能化水平更高的功能性。

媒體處理器百花齊放

回顧數(shù)字視頻監(jiān)控的發(fā)展歷程，數(shù)字音視壓縮技術的發(fā)展導致了壓縮標準的制定，于是在高速數(shù)字信號處理器(DSP)上得以實現(xiàn)和應用。DSP得天獨厚的高性能和低功耗的軟件可編程的特性使之成為嵌入式數(shù)字音視頻壓縮的理想處理平臺，而在高速通用DSP芯片上集成多個視頻接口以及豐富的外圍接口，就成為數(shù)字媒體處理器。數(shù)字視頻監(jiān)控產(chǎn)品的推陳出新得益于核心處理平臺的升級換代，其中數(shù)字媒體處理器發(fā)揮了重要的作用。單片的通用DSP可以很好地實現(xiàn)視頻數(shù)字壓縮或智能視頻數(shù)字分析處理工作，但還需要在外圍接視頻接口和前端或后端處理設備，因此系統(tǒng)比較復雜。

TI推出的第一顆數(shù)字媒體SoC對于數(shù)字視頻監(jiān)控行業(yè)的影響極其深遠，從而開創(chuàng)了以創(chuàng)新大師達芬奇冠名一個系列媒體處理平臺。如圖2為數(shù)字視頻SoC集成結構，其中包含有ARM和DSP核心系統(tǒng)，還有視頻協(xié)處理器(VICP)，以及視頻處理子系統(tǒng)(VPSS)。

隨著監(jiān)控行業(yè)對高清需求的增加，DSP一統(tǒng)天下的格局在變化。賽靈思公司亞太區(qū)市場及應用總監(jiān)張宇清介紹，傳統(tǒng)的視頻監(jiān)控由于對運算的要求不高，只需要DSP芯片即可。隨著智能分析和高清視頻監(jiān)控成為主流，F(xiàn)PGA的優(yōu)勢逐漸顯現(xiàn)。

智能分析的關鍵在于算法，需要大量的矩陣運算以及乘法器。通常有兩種方式來實現(xiàn)智能分析。一是，DSP+FPGA，F(xiàn)PGA作為協(xié)處理器，來彌補DSP在運算方面的不足。然而，雖然DSP在信號處理、監(jiān)控方面具有優(yōu)勢，但其通過執(zhí)行串行指令進行處理運算、智能分析，一個時鐘只能執(zhí)行一個指令。而FPGA是并行指令架構，可以在一個時鐘內執(zhí)行幾百個指令。以運算速度來看，即使DSP的運算達到1G以上，F(xiàn)PGA的速度700M，但顯然，F(xiàn)PGA的并行處理仍然要遠高于DSP的串行處理。同時，F(xiàn)PGA帶有硬件乘法器和DSP核，具有高度靈活的擴展性，目前很多高端視頻監(jiān)控設備已采用這一架構。二是，在DSP中嵌入硬核，用硬核做硬件加速器，但其彈性小，沒有擴展性，導致產(chǎn)品差異化低。

FPGA可以在復雜的像素處理方面替代DSP，如高性能視頻分析，各種圖像傳感器寬動態(tài)范圍壓縮，以及高精度圖像處理。對于高清視頻監(jiān)控來說，F(xiàn)PGA的作用更是不可小覷。高清監(jiān)控，數(shù)據(jù)流量非常大，需要更高的處理能力，并且還要提供自動曝光、高效的自動白平衡和高動態(tài)范圍等功能，傳統(tǒng)DSP已經(jīng)難以應付，需要FPGA共同完成。

對FPGA在視頻監(jiān)控領域應用非常看好的還有萊迪斯半導體。DouRlasHunter認為一個顯而易見的方法是從順序處理轉變?yōu)椴⑿刑幚怼＠?，F(xiàn)PGA是并行處理器件，可以在每個時鐘周期比傳統(tǒng)DSP處理更多的數(shù)據(jù)。由于在每個時鐘周期能夠處理更多的數(shù)據(jù)，比如LatticeECP3系列FPGA可以使用較低的時鐘速度，因此消耗的功耗更少，而順序處理的器件需要更快的時鐘速度；因此消耗大量的功率。

視頻分析

視頻分析技術業(yè)已在數(shù)字視頻監(jiān)控領域逐步顯露鋒芒，從而使得監(jiān)控真正向智能化的視覺方向發(fā)展。視頻分析所包含的內容相當廣泛，其中有物體檢測統(tǒng)計、目標物體識別和監(jiān)控目標跟蹤，還可以設立警戒區(qū)進行檢測或行為分析。對于攝像機自身的智能化處理，已有視頻穩(wěn)定和鏡頭受襲告警實用技術。人臉識別技術目前已經(jīng)開始實現(xiàn)市場化，并已有不少成功的應用，例如北京奧運會和上海世博會。

在談到數(shù)字視頻監(jiān)控新的增長點時，智能視頻分析一定是一個熱門話題。視頻分析從計算機后端分析到前端嵌入式分析，使得其應用范圍大大增加，目前已開始啟動市場化的進程。TI鄭小龍認為，在這過程中通用可編程的DSP扮演了極其重要的角色，從DM642到DM6437或DM6435，許多智能視頻分析廠商推出了出色的算法并進入實用?；诂F(xiàn)在的達芬奇的C64+核心，已可實現(xiàn)單片的智能視頻應用。未來DM8168的C674x將可提供更加強大的高級智能視頻分析性能。

在視頻監(jiān)控中的軟件算法可以用于兩個方面。首先是圖像處理引擎中執(zhí)行一套算法。第二個是幫助人們完成任務的VA軟件，如內容和事件的識別。在圖像信號處理(ISP)領域，萊迪思從合作伙伴HelionGmbH那里得到了算法，它提供了業(yè)界最快的自動曝光，支持傳感器高達16兆像素的分辨率，ISP流水線的HDR(高動態(tài)范圍)可達192分貝。

MAXIM業(yè)務總監(jiān)Jim Fox介紹，該公司的Mobilygen專利技術大大降低了系統(tǒng)計算的復雜度，在保持低功耗的同時提供最高畫質。預先定義的配置和固件API允許開發(fā)人員設置比特率、幀速率等參數(shù)以及GOP結構、H．264工具等。MAXIM器件支持完整的高畫質H．264工具套件，包括8x8轉換、矩陣比例縮放、CABAC和任意分割尺寸的宏模塊自適應幀／場(MBAFF)。先進的固件算法提供圖像自適應幀／場(PAFF)編碼、加權預測、定制矩陣比例縮放和影視圖像反轉處理，以達到最佳圖像質量。視頻輸出處理器能夠組合實時圖像和／或存儲圖像，其圖像覆蓋功能可以創(chuàng)建單路輸出。該輸出可以放大或縮小，通過雙向端口發(fā)送到另外一個器件或輸出，以8位YUV4：2：0格式或18位RGB格式驅動本地顯示器。

行業(yè)應用的特殊需求

雖然在所有的應用之中，數(shù)字視頻監(jiān)控的基本圖像處理相似，不過某些應用確有具體的特殊需求。例如，在工業(yè)應用中，高速度和高幀率是捕捉圖像細節(jié)的必備條件，需要傳感器具有全局快門，而不是滾動快門；在醫(yī)療市場中，出色的低光照性能和極低的功耗是必不可少的，要求非常低的延時和無損圖像壓縮；對于交通運輸攝像頭，需要增強的HDR性能和快速的自動曝光，需要使用帶有全局快門的捕捉速度極高的攝像頭，以便在夜間光線較暗時讀取車牌號碼，當有迎面而來的車輛前車燈時，他們也許突然變得明亮。因此需要對不同產(chǎn)業(yè)類別的應用根據(jù)FW做特殊的應用，以配合特殊產(chǎn)業(yè)與廠商的需求。例如工業(yè)應用要求高速視頻(120-240fps)，但是對分辨率的需求并不是很高(QVGA—VGA)，醫(yī)療應用則需要可拋式攝像頭，這些特殊功能都需要圖像感應器廠商與鏡頭廠商配合。

這些需求構成了對半導體制造商相同的基本挑戰(zhàn)：即提高了數(shù)據(jù)處理負載。萊迪思Douglas Hunter坦言，半導體制造商必須提供低成本、低功耗并行處理器件，如各種配置的FPGA，針對大的和小的應用提供處理邏輯。他們還必須提供IP，支持不同種類的圖像傳感器，以及提供低延遲和HDR處理的ISP流水線。

對于交通行業(yè)而言，需求又有所不同。如何利用車載攝像機降低交通事故數(shù)，減少人員傷亡，控制直接財產(chǎn)損失，是中國汽車電子行業(yè)不容無視的重大研究課題和商機，本文通過概要介紹若干系統(tǒng)，為中國汽車電子行業(yè)拋磚引玉。值得一提的是，開發(fā)針對汽車安全的車載攝像機系統(tǒng)需要汽車電子與汽車生產(chǎn)廠家開展密切合作，從攝像頭、視頻數(shù)據(jù)采集、視頻傳輸、實時監(jiān)視和播放平臺等多個方面進行研究，才有利于車廠最終使其產(chǎn)品化。

特別的，車載攝像頭需要的高速總線，MOST(面向媒體的系統(tǒng)傳輸總線)技術目前已經(jīng)被50多種車型采用它由MOST組織來主持標準化與規(guī)格化工作。截至目前，已經(jīng)有15家國際性汽車廠商和70余家主要零配件生產(chǎn)廠商加盟該組織。

目前已經(jīng)實現(xiàn)產(chǎn)品化的MOST技術有MOST25、MOST50，第3代MOST 150Mbps技術一150MOST正在開發(fā)中。150Mbps可以達到與MOST25塑料光纖同等的傳輸速度，不用增加物理層成本就可以提高通信速度。采用MOST150后，視頻傳輸變得更容易，不僅可以用在休閑娛樂方面，還可以用在車載攝像頭等行車系統(tǒng)上。

MOST在制訂上完全合乎ISO／OSI的7層數(shù)據(jù)通訊協(xié)議參考模型，而在網(wǎng)線連接上MOST采行環(huán)狀拓樸，允許改采星狀(亦稱放射狀)或雙環(huán)狀的連接組態(tài)，每套MOST傳控網(wǎng)絡允許最多達64個裝置(節(jié)點)建立連接。

目前，在MOST的應用中，美國車種僅占9％，歐洲車種占比達58％，亞太車系則占比大約為33％。