基于FPGA的視頻監(jiān)控時(shí)代

視頻監(jiān)控市場(chǎng)及發(fā)展趨勢(shì)

不斷升級(jí)的安全問題迫使各國(guó)政府和機(jī)構(gòu)在監(jiān)控和安全設(shè)備上投入巨資。此外，在圖像及視頻處理領(lǐng)域的技術(shù)創(chuàng)新徹底改變了視頻監(jiān)控行業(yè)，這不限于安防，還包括銀行、交通、教育、零售、醫(yī)療保健，游戲和其他領(lǐng)域。根據(jù)ABI Research的預(yù)測(cè)，整個(gè)視頻監(jiān)控市場(chǎng)的收入將從2008年的16億美元增加到2015年的29億美元，有9%的復(fù)合年增長(zhǎng)率。

視頻監(jiān)控已經(jīng)從模擬標(biāo)準(zhǔn)清晰度攝像機(jī)和VCR轉(zhuǎn)變到兆像素的高清攝像機(jī)，以及DVR到通過以太網(wǎng)的IP網(wǎng)絡(luò)攝像機(jī)的視頻流，到基于云計(jì)算的網(wǎng)絡(luò)視頻錄像機(jī)(NVR)。取代了現(xiàn)場(chǎng)觀看，連續(xù)記錄和通過記錄材料的可視化搜索，智能攝像機(jī)和錄像機(jī)目前已能夠?qū)嵤┗谑录匿浵窈蛨?bào)警觸發(fā)，并通過記錄材料自動(dòng)搜索。

這些先進(jìn)的安防和監(jiān)控設(shè)備與先進(jìn)的圖像傳感器技術(shù)和半導(dǎo)體的圖像信號(hào)處理功能緊密結(jié)合。這些包括攝像機(jī)的架構(gòu)，傳感器接口/傳感器橋接、圖像信號(hào)處理、高動(dòng)態(tài)范圍(HDR)處理和視頻分析。

攝相機(jī)的體系結(jié)構(gòu)

一個(gè)典型的攝相機(jī)由圖像傳感器，圖像信號(hào)處理器和一些輸出接口所組成。除了這些功能塊之外，攝相機(jī)還可以包括視頻壓縮或視頻分析功能。圖1示展示了LatticeECP3 FPGA器件上實(shí)現(xiàn)兆像素網(wǎng)絡(luò)攝像機(jī)的一個(gè)實(shí)例。

圖1 用FPGA實(shí)現(xiàn)的攝相機(jī)架構(gòu)

傳感器接口/傳感器橋接

通常圖像信號(hào)處理器(ISP)有一個(gè)或多個(gè)圖像傳感器接口。最常見的圖像傳感器是CMOS傳感器。較低的分辨率和較低的幀速率傳感器可以通過并行接口連接到ISP。更高分辨率和更高幀速率的圖像傳感器需要高速的接口，包括MIPI、Aptina HiSPi或sub-LVDS接口。低成本的ISP通常只支持一個(gè)并行接口。因此，傳感器橋接功能必須能夠轉(zhuǎn)換MIPI、HiSPi sub-LVDS信號(hào)至并行接口。低成本的FPGA可用于轉(zhuǎn)換MIPI、HiSPi或sub-LVDS接口至并行接口。在圖2中，萊迪思的MachXO2 FPGA用于轉(zhuǎn)換來自兩個(gè)Aptina圖像傳感器(MT9034)的HiSPi傳感器信號(hào)到一個(gè)并行格式，然后用TI DSP器件(DM8127)進(jìn)行處理。

圖2 使用FPGA的傳感器接口橋接應(yīng)用

圖像信號(hào)處理(ISP)

圖像信號(hào)處理器(ISP)通常由多個(gè)視頻處理算法組成，對(duì)輸入的視頻流，以集束流水線的形式執(zhí)行圖像增強(qiáng)和轉(zhuǎn)換功能。圖像流水線可以實(shí)現(xiàn)為軟件在計(jì)算機(jī)，F(xiàn)PGA或數(shù)字信號(hào)處理器(DSP)上運(yùn)行，或作為一個(gè)專用應(yīng)用標(biāo)準(zhǔn)產(chǎn)品(ASSP)。

圖3 用FPGA實(shí)現(xiàn)的圖像信號(hào)處理器(ISP)流水線

圖3中展示了一個(gè)典型的圖像處理流水線。從CMOS圖像傳感器接收到原始的傳感器數(shù)據(jù)。線性化之后，根據(jù)與它們相鄰的像素值校正有缺陷的傳感器像素。典型的圖像傳感器提供了灰度圖像，通過使用bayer濾波器(稱為de-bayering)轉(zhuǎn)換成紅，綠和藍(lán)色。彩色校正矩陣(CCM)用來消除紅色，綠色和藍(lán)色像素之間的色度亮度干擾。

自動(dòng)曝光(AE)模塊自動(dòng)調(diào)整曝光時(shí)間，以彌補(bǔ)不斷變化的光照情況。HDR算法改進(jìn)了圖像的亮和暗區(qū)域的對(duì)比度(HDR將在下一節(jié)中做更詳細(xì)的解釋)。自動(dòng)白平衡(AWB)根據(jù)場(chǎng)景中的一個(gè)白色參考點(diǎn)對(duì)所有顏色作出調(diào)整。噪聲減小器消除噪聲，在不同的平滑顏色的區(qū)域常可見有明顯錯(cuò)誤顏色的隨機(jī)點(diǎn)。噪聲隨著溫度和曝光時(shí)間而增大。伽瑪校正重新分配原本的攝相機(jī)色調(diào)級(jí)到更均勻的和更適合人眼觀看的水準(zhǔn)，從而最有效地使用一個(gè)給定位的深度。

重疊功能使得文本和圖形能夠在視頻的頂部重疊，用于顯示菜單或攝相機(jī)的設(shè)置。根據(jù)特定的要求，可以添加額外的功能模塊?？梢宰兓瘔嚎s算法H.264或JPEG來達(dá)到這些要求，可運(yùn)用運(yùn)動(dòng)檢測(cè)、目標(biāo)檢測(cè)，或人臉識(shí)別來進(jìn)行智能視頻分析。

HDR處理

圖像的質(zhì)量取決于各種因素，包括照明。根據(jù)照明情況，場(chǎng)景的部分區(qū)域可能太暗，而有些區(qū)域太亮。在這些區(qū)域往往看不到細(xì)節(jié)。丟失的細(xì)節(jié)可能在應(yīng)用中是非常重要的，那里需要作出關(guān)鍵的決策。

圖4 HDR處理實(shí)例

動(dòng)態(tài)范圍(也稱為圖像的最大對(duì)比度)描述圖像的最亮點(diǎn)到相同圖像最暗點(diǎn)之間的比率。人的眼睛能夠看到這兩個(gè)區(qū)域中的細(xì)節(jié)，但大多數(shù)圖像傳感器具有有限的動(dòng)態(tài)范圍，并且不能夠捕捉相同圖像在這兩個(gè)區(qū)域中的細(xì)節(jié)。為了能夠在高對(duì)比度區(qū)域看到細(xì)節(jié)，需要捕獲具有不同的曝光時(shí)間的同一場(chǎng)景的多個(gè)圖像。需要很短的曝光時(shí)間以捕獲非常明亮的區(qū)域，需要長(zhǎng)曝光時(shí)間以捕獲暗的區(qū)域。

具有不同曝光時(shí)間的圖像可以被組合成一個(gè)圖像，提高了圖像的動(dòng)態(tài)范圍。不同曝光時(shí)間的場(chǎng)景捕獲和這些圖像整合為一個(gè)圖像被稱為高動(dòng)態(tài)范圍(HDR)處理，也被稱為寬動(dòng)態(tài)范圍(WDR)處理。HDR處理、全局和局部的色調(diào)映射算法被用來創(chuàng)建單一的圖像，擴(kuò)展了動(dòng)態(tài)范圍，在相同圖像的高對(duì)比度區(qū)域中顯示出細(xì)節(jié)。動(dòng)態(tài)范圍通常以dB表示。好的HDR圖像的動(dòng)態(tài)范圍大于或等于90。例如，Aptina720p HDR傳感器(MT9M034)的動(dòng)態(tài)范圍為120dB。

HDR處理算法有很強(qiáng)的處理功能，尤其是當(dāng)使用更高幀速率的兆像素傳感器時(shí)。這些都需要很強(qiáng)的處理能力，現(xiàn)成的圖像信號(hào)處理器(ISP)往往無法實(shí)現(xiàn)。使用FPGA實(shí)現(xiàn)這些復(fù)雜和需要大量資源的的算法是最佳的。相同的FPGA器件可用于實(shí)現(xiàn)附加的圖像處理算法。

圖5 基于FPGA的傳感器接口橋接和HDR處理

圖5展示了用松下MN34041圖像傳感器實(shí)現(xiàn)HDR。具有不同曝光時(shí)間的兩個(gè)1080p幀以每秒60幀(fps)的速度捕獲。通過一個(gè)行緩沖器傳遞一個(gè)幀，同步這兩個(gè)捕獲的幀。同步后，兩幀被組合，并加工成每秒30幀的1080p幀。在上述的例子中，傳感器接口、行緩沖器控制器、幀合成器和色調(diào)映射算法是用單片萊迪思的MachXO2 FPGA來實(shí)現(xiàn)的。處理的幀然后被傳遞的圖像信號(hào)處理器，用于進(jìn)一步的處理。

視頻分析

視頻分析(VA)具有能夠自動(dòng)分析視頻的功能， 以檢測(cè)并確定事件。視頻分析可用于廣泛的應(yīng)用領(lǐng)域，包括安防監(jiān)控、汽車、交通控制、以及零售。運(yùn)動(dòng)檢測(cè)是最流行的視頻分析算法，相對(duì)固定的背景場(chǎng)景檢測(cè)運(yùn)動(dòng)。Intellivision公司針對(duì)基于LatticeECP3 HDR-60攝像機(jī)開發(fā)套件已經(jīng)開發(fā)了一套完整的智能視頻分析和移植，可實(shí)現(xiàn)智能安全攝像機(jī)的設(shè)計(jì)。該套件包括智能視頻移動(dòng)檢測(cè)、智能入侵檢測(cè)，以及攝像機(jī)篡改檢測(cè)。智能視頻移動(dòng)探測(cè)可以區(qū)分動(dòng)物和人，必要時(shí)會(huì)發(fā)送警報(bào)。當(dāng)有人打開一扇門或進(jìn)入受限制的空間時(shí)，智能入侵檢測(cè)會(huì)發(fā)出警報(bào)。有了攝像機(jī)篡改檢測(cè)功能，如果攝相機(jī)被移動(dòng)，阻擋或破壞聚焦，可以發(fā)出警報(bào)并采取相應(yīng)的行動(dòng)。

圖6 視頻分析演示

針對(duì)基于HDR-60攝像機(jī)開發(fā)套件的視頻分析演示，圖6展示了基于以太網(wǎng)的圖形控制界面。黃線表示計(jì)數(shù)器演示，用戶能夠在屏幕的水平，垂直或?qū)蔷€位置上定位這條黃線。如果一個(gè)對(duì)象穿過這根線，那么這個(gè)對(duì)象從一個(gè)位置到另個(gè)位置就會(huì)被計(jì)數(shù)。此功能可以用來數(shù)出人們進(jìn)入或退出某個(gè)位置的數(shù)目。紅色方框表示一個(gè)受限制的區(qū)域，可以對(duì)紅色框的大小和位置進(jìn)行編程，以滿足特定應(yīng)用。一旦對(duì)象進(jìn)入現(xiàn)場(chǎng)，就會(huì)被檢測(cè)到。對(duì)象進(jìn)入紅色框表示的受限制區(qū)域可以設(shè)置警報(bào)。自動(dòng)檢測(cè)和報(bào)警可以取代昂貴的攝像機(jī)圖像的實(shí)時(shí)監(jiān)控。在圖6中未展示的第三個(gè)功能是攝像機(jī)的篡改檢測(cè)。當(dāng)攝相機(jī)被遮蓋或移動(dòng)時(shí)，會(huì)發(fā)送警報(bào)。

總結(jié)

更高分辨率和更高幀速率圖像傳感器的需求在繼續(xù)增長(zhǎng)。這些圖像傳感器和先進(jìn)的圖像信號(hào)處理算法的整合，如HDR和智能視頻分析，開辟了新的、還無法想象的應(yīng)用領(lǐng)域?，F(xiàn)有的信號(hào)處理器跟不上新的復(fù)雜應(yīng)用的性能要求。可編程FPGA器件能夠同時(shí)與多個(gè)高分辨率圖像傳感器接口，拼接在一起成為全景或平鋪格式，并在同一芯片上運(yùn)行HDR和智能視頻分析算法，因此FPGA器件是一個(gè)的理想選擇。