物聯(lián)網(wǎng)的智能視頻接入終端一高清晰智能相機的研制與應用

通過將多個智能相機組成的陣列部署在現(xiàn)場，并與設在相關(guān)載體上的傳感器有機融合,然后通過實時數(shù)據(jù)采集與分析、監(jiān)視信息的分布式獲取，即可形成全方位、全時域的多維監(jiān)視、預警和管理體系。

與傳統(tǒng)的基于傳感器架構(gòu)的物聯(lián)網(wǎng)結(jié)構(gòu)不同，使用智能相機作為接入節(jié)點的嵌入式網(wǎng)格系統(tǒng)具有可重構(gòu)和自組織能力。智能相機不僅可以把過去需要長時間才能完成的目標信息的處理和傳送任務壓縮到幾分鐘甚至幾秒鐘，還可以通過大規(guī)模節(jié)點部署來有效避免盲區(qū)，故為防汛、消防、預警和應急聯(lián)動提供了精確的實時目標定位信息。同時，其感知能力也不會因某一節(jié)點的損壞而導致整個監(jiān)測系統(tǒng)的崩潰。

1  智能視頻分析網(wǎng)格節(jié)點

本項目利用智能相機來作為信息分析系統(tǒng)的接入終端。每一個智能相機就是一個網(wǎng)格的節(jié)點。智能視頻分析網(wǎng)格節(jié)點如圖1所示，在圖1中，前端視頻采集主要使用面陣可見光CCD或者紅外圖像傳感器來完成視頻信號的釆集，然后輸出數(shù)字信號到視頻編碼板。視頻編碼板使用TI公司的DSP進行實時高效的H.264壓縮編碼并作為原始圖像記錄，視頻分析板則把輸入的視頻流通過后續(xù)的TI公司的DSP進行相應的視頻處理分析。 

由于高清智能相機的強大分析能力和物聯(lián)網(wǎng)結(jié)構(gòu)相對復雜和信息量大等特點，一個系統(tǒng)很可能同時需要視頻的多種處理方式,例如智能交通中的偷、盜、搶和套牌車輛的識別和跟蹤，可能需要分析和識別很多同時在高清晰圖像中出現(xiàn)的其他車輛。因此，需要設計出可以同時級聯(lián)多達八塊DSP視頻分析板的設計方案。各個DSP之間既可以級聯(lián)工作，也可以同時并行工作。

每一塊視頻分析板的底層硬件系統(tǒng)設計都是一致的，只需給不同板子加載不同的處理算法,便可實現(xiàn)不同的處理功能，例如，第一塊加載夜間低照度圖像增強算法、圖像去霧算法，第二塊可以加載在完成去霧處理后實現(xiàn)目標的準確跟蹤和定位算法,第三塊加載紅外目標檢測和跟蹤算法,完成夜視目標識別功能等。每一個智能相機均配備有無線、有線和3G網(wǎng)絡接口。

2  基于網(wǎng)格的分布式物聯(lián)網(wǎng)技術(shù)框架

傳統(tǒng)物聯(lián)網(wǎng)堂的“技術(shù)體系”框架如圖2所示，它包括感知層技術(shù)、網(wǎng)絡層技術(shù)、應用層技術(shù)和公共技術(shù)。但是，筆者在研究與交流中發(fā)現(xiàn)5〕，許多工程人員在理解“物聯(lián)網(wǎng)的構(gòu)架"時，常常與圖2所示的“技術(shù)框架”混淆在一起。

物聯(lián)網(wǎng)的構(gòu)架應當是以“服務”為最終目標的、具有網(wǎng)絡特征的硬件和軟件系統(tǒng)。針對不同行業(yè)而言，其硬件特征和網(wǎng)絡結(jié)構(gòu)也千差萬別，但其共同的“技術(shù)框架”均可以描述成圖2所示的各類“基本元素”。

因此,與傳統(tǒng)物聯(lián)網(wǎng)不同的是,基于智能視頻的網(wǎng)格物聯(lián)網(wǎng)在具體的應用中具有下面幾個優(yōu)點：

第一是感知可視化，即通過數(shù)個智能相機可以生成實時全景圖，以實時觀察監(jiān)控現(xiàn)場的實際情況，系統(tǒng)通過對各個接入節(jié)點信息的分析，自動制定出合理的處置方案。

第二是設備人工智能化。全自主式具有人工智能分析決策的智能相機具有數(shù)據(jù)釆集、分析和處理的能力?；谥悄芤曨l的網(wǎng)格物聯(lián)網(wǎng)能將包括人在內(nèi)的場景可視信息相互連接，并允許他們相互通信。新一代網(wǎng)絡協(xié)議、嵌入式智能芯片技術(shù)和計算機視覺技術(shù)均可以讓目標物體用自己的“大腦”來運算和分析。

第三是應急救援物資、生產(chǎn)后勤保障準確化。基于智能視頻的物聯(lián)網(wǎng)可以有效避免后勤工作的盲目性。伴隨著射頻識別技術(shù)、二維條碼技術(shù)和智能傳感技術(shù)的突破，物聯(lián)網(wǎng)無疑能夠為自動獲取“在儲、在運、在用”物資信息方面提供靈活的可視性解決方案。在安全生產(chǎn)、應急救援等各種活動的全過程中，實現(xiàn)在準確的地點、準確的時間向準確的對象提供數(shù)量適當?shù)谋Ｕ?/span>,從而避免造成不必要的混亂和浪費。

3  基于智能相機的智能交通環(huán)境監(jiān)視和去霧研究

在構(gòu)建基于網(wǎng)格的嵌入式智能相機的信息處理系統(tǒng)的基礎上，可以對每一個終端動態(tài)配置其功能，使每一個終端既能獨立完成自己的任務，又可以協(xié)調(diào)工作。這樣在實際工作中，就可以為不同的智能攝像機分別配置不同的圖像增強算法來完成大范圍內(nèi)的環(huán)境監(jiān)視和目標識別任務。在本項目首先針對某些地區(qū)的多霧情況開展研究。

眾所周知，在惡劣天氣條件下(如霧，雨等)，大氣能見度下降，致使光學器材獲取的圖像對比度下降,從而影響圖像中的信息提取E,霧這種常見的天氣現(xiàn)象會對景物產(chǎn)生白化作用3也，故會使圖像退化，以至模糊，而這將給軍事偵察、自動導航、目標跟蹤等帶來很大的困難。因此對這種自然現(xiàn)象引起的圖像質(zhì)量下降開展圖像信號處理的研究具有普遍的實際意義。

圖像去霧就是采用一定的方法和策略對采集到的含有霧的圖像進行處理，從中恢復出比較清晰的圖像。去霧算法的研究，對于部署基于智能相機的網(wǎng)格監(jiān)控系統(tǒng)具有比較重要的應用價值，同時，對沿海和相關(guān)地域的應用也具有較高的指導意義。

3.1  基于暗通道先驗規(guī)律的去霧算法

在有霧天氣下，監(jiān)控系統(tǒng)捕獲場景圖像的顏色和對比度都會發(fā)生嚴重的降質(zhì)。這種現(xiàn)象主要是由大氣粒子的散射作用引起的。大氣散射的物理本質(zhì)是高度復雜的，在不考慮大氣擾動等現(xiàn)象發(fā)生時，可以假設此時的天氣條件(包括大氣粒子的類型、密度等情況)是空間不變的，這樣，到達感光器的光強就可以簡單的等效成大氣衰減后的場景輻射和因大氣懸浮粒子的散射作用而進入傳感器的環(huán)境光強兩部分的線性組合。

霧圖形成模型在計算機視覺和計算機圖形中被廣泛應用。霧越濃，介質(zhì)的透過率越小，到達傳感器的光強中實際的場景輻射衰減的就越嚴重。利用這個模型可通過求得全局大氣光和介質(zhì)的透射率來從一幅含霧圖像中恢復出原始的清晰圖片，即場景輻射。

3.2  局部暗通道先驗規(guī)律

局部暗通道先驗規(guī)律是有關(guān)文獻提出的一個統(tǒng)計規(guī)律，該規(guī)律假定在不包含天空區(qū)域的戶外無霧圖像情況下，對于任何一個像素點,在它周圍的范圍內(nèi)，至少有一個顏色通道具有很低的亮度值，而對每一個像素點，都以這樣一個最小值來取代其本身的亮度,于是便可以得到暗通道圖。大量統(tǒng)計數(shù)據(jù)表明，除了天空方位,戶外無霧圖像的各個像素點的強度總是很低，并且趨近于0,這就是暗通道先驗規(guī)律。

3.3  估計全局大氣光

考慮到原始輸入圖像，在這N個位置所對應的像素點中分別求得紅色，綠色，藍色分量的最大值。它們就組成了全局大氣光(Ar,Ag,Ab)_o在這個方法中，A的三個顏色通道的亮度值并不單一的來自原始輸入圖像中的某一個像素點，而更多時候，它們分別來自三個不同的像素點，于是能在一定程度上避免將原始輸入圖像中的白色物體誤選為全局大氣光。

3.4  實驗結(jié)果分析

釆用文獻［11］的方法可以指導我們進行去霧算法的研究,并將實驗成功的算法移植到智能相機上。其實驗結(jié)果如圖3所示，圖3(a)是去霧前的城市的照片，圖3(b)是去霧后的照片。圖3(c)是去霧前海面的照片，圖3(d)是去霧后的海面照片。從實驗結(jié)果看,去霧算法的效果非常明顯。

設計的最終目標是將各類圖像處理算法移植到智能相機里，這樣一來，各個相機作為終端節(jié)點就可以更有效的接入到整個系統(tǒng)中。圖4所示為本文研制的智能相機的部分硬件系統(tǒng)實物圖，其中圖4(a)是200百萬像素CCD成像板背面，圖4(b)是200百萬像素CCD成像板正面，圖4(c)?(d)是圖像處理板的背面和正面實物圖。

筆者目前已經(jīng)成功地研制了高清晰智能相機的系列產(chǎn)品，并具有全部知識產(chǎn)權(quán)。圖5(a)所示是一款樣機。圖5(b)是其內(nèi)部結(jié)構(gòu)。圖5(c)是利用智能相機上的Web服務器通過網(wǎng)絡瀏覽器看到的實驗室外面建筑物的外墻的高清晰圖像。在長距離成像的條件下(200m),可以清晰地看到外墻上的斑點和窗戶護欄的銹跡。

圖6所示是針對智能相機開發(fā)的智能交通車牌識別算法和實際應用。

圖6中給出了利用DSP算法實現(xiàn)的智能交通中的車牌監(jiān)測的試驗結(jié)果。實際的算法已經(jīng)在智能相機中實現(xiàn)并應用到具體的工程中。針對200百萬像素的圖像,該系統(tǒng)可以檢測出多達數(shù)十個位于多車道中的車牌信息。圖6中的圖像拍攝于西安電子科技大學北校門外的二環(huán)路上，拍攝時間是2009年5月8日，筆者將多個車牌粘貼在圖像上進行智能相機的性能測試，多個車牌的亮度、對比度、色度等參數(shù)都根據(jù)不同的天氣情況進行了調(diào)整。從圖中可以明顯地看出位于樹木、車體等復雜背景下的車牌均可被準確的定位出來。在圖6中，只有一個最黑的車牌沒有被定位出來。

4  結(jié)論

基于嵌入式智能相機的物聯(lián)網(wǎng)研究在國內(nèi)外尚不多見。對嵌入式智能相機的研究，不僅可為傳統(tǒng)的物聯(lián)網(wǎng)接入提供一個新的數(shù)據(jù)接入形式，而且可以使接入終端具有動態(tài)可重構(gòu)的新功能。以智能相機為接入終端來研究物聯(lián)網(wǎng)構(gòu)建過程中的新型網(wǎng)格結(jié)構(gòu)和安全策略，可以為研究物聯(lián)網(wǎng)的數(shù)據(jù)安全引入一個新的思路。

在積極推進智能相機的產(chǎn)業(yè)化工作的同時，應當積極推進基于智能相機作為接入終端的物聯(lián)網(wǎng)的行業(yè)應用，并應在風力發(fā)電、新能源、低碳經(jīng)濟模式等領(lǐng)域積極開展多方合作。

本文所討論的研究成果對相關(guān)領(lǐng)域的研究和應用都具有比較重要的價值。