一、智能產(chǎn)品簡(jiǎn)介
智能視頻系統(tǒng)是由位于前端或后端的視頻分析服務(wù)器組成,對(duì)監(jiān)控?cái)z像機(jī)所拍攝的視頻圖像進(jìn)行分析,能將影像中的人、車(chē)或者物體的狀態(tài)從任何背景中分離出來(lái),加以辨認(rèn)、分析與追蹤。比對(duì)出所追蹤對(duì)象的行為模式與預(yù)設(shè)的諸項(xiàng)安全規(guī)則,若發(fā)現(xiàn)違規(guī)之處,立刻進(jìn)行報(bào)警通知,同時(shí)由使用平臺(tái)進(jìn)行信息記錄或顯示。
二、智能分析的功能:
目前,智能視頻分析系統(tǒng)在視頻監(jiān)控方向的應(yīng)用主要在對(duì)運(yùn)動(dòng)目標(biāo)的識(shí)別、分類(lèi)和追蹤。可以設(shè)置的規(guī)則、功能為以下幾種:
1、 絆線(xiàn)檢測(cè)
針對(duì)人、車(chē)通過(guò)特定運(yùn)動(dòng)方向絆線(xiàn)的監(jiān)控;其應(yīng)用如:警戒線(xiàn)、單向閘門(mén)流向、柵欄攀爬…等;
2、 警戒區(qū)域
針對(duì)人、車(chē)進(jìn)入或離開(kāi)特定管制區(qū)域的監(jiān)控;其應(yīng)用例:停機(jī)坪、碼頭車(chē)站的工作區(qū)域、營(yíng)業(yè)場(chǎng)所后臺(tái)…等。
3、 閑逛
針對(duì)不合理滯留過(guò)久的人、車(chē)發(fā)出警示訊息,以提醒安管保全人員加以盤(pán)察注意。
4、 偷竊
針對(duì)特定重要資產(chǎn)的保全;例如:貴重的掛畫(huà)或擺飾、裝備器材、場(chǎng)站內(nèi)的車(chē)輛或機(jī)具…等。
5、 遺留物
針對(duì)可能的爆裂物、易燃物、生化污染物…的惡意棄置。
6、 群體事件
針對(duì)人群聚集
智能監(jiān)控和傳統(tǒng)監(jiān)控的比較
傳統(tǒng)報(bào)警系統(tǒng)和智能分析報(bào)警性能比較三、系統(tǒng)使用網(wǎng)絡(luò)結(jié)構(gòu)
1、簡(jiǎn)單模式:視頻來(lái)源來(lái)自于模擬監(jiān)控頭,比較適合小型單一的監(jiān)控系統(tǒng)
2、聯(lián)網(wǎng)模式:視頻來(lái)自于編碼后的網(wǎng)絡(luò)數(shù)據(jù),適用于大型聯(lián)網(wǎng)監(jiān)控,在大型監(jiān)控系統(tǒng)中有獨(dú)特的優(yōu)勢(shì),不需要做任何線(xiàn)路的更改,可以任意選擇要分析的視頻,操作極其方便
智能視頻分析系統(tǒng)概述
智能視頻(IV,Intelligent Video)源自計(jì)算機(jī)視覺(jué)(CV,Computer Vision)技術(shù)。計(jì)算機(jī)視覺(jué)技術(shù)是人工智能(AI,Artificial Intelligent)研究的分支之一,它能夠在圖像及圖像描述之間建立映射關(guān)系,從而使計(jì)算機(jī)能夠通過(guò)數(shù)字圖像處理和分析來(lái)理解視頻畫(huà)面中的內(nèi)容。
視頻監(jiān)控中所提到的智能監(jiān)控技術(shù)主要是指:“運(yùn)用智能算法,對(duì)輸入視頻圖像進(jìn)行自動(dòng)的內(nèi)容分析,提取當(dāng)前監(jiān)控畫(huà)面中我們所感興趣的,關(guān)鍵的,有效的信息。“如果把攝像機(jī)看作人的眼睛,而智能視頻系統(tǒng)或設(shè)備則可以看作人的大腦。智能視頻分析技術(shù)借助計(jì)算機(jī)強(qiáng)大的數(shù)據(jù)處理功能,對(duì)視頻畫(huà)面中的海量數(shù)據(jù)進(jìn)行高速分析,過(guò)濾掉用戶(hù)不關(guān)心的信息,僅僅為監(jiān)控者提供有用的關(guān)鍵信息。智能視頻監(jiān)控以數(shù)字化、網(wǎng)絡(luò)化視頻監(jiān)控為基礎(chǔ),但又有別于一般的網(wǎng)絡(luò)化視頻監(jiān)控,它是一種更高端的視頻監(jiān)控應(yīng)用。
智能視頻分析系統(tǒng)是一種涉及圖像處理、模式識(shí)別、人工智能等多個(gè)領(lǐng)域的智能視頻分析產(chǎn)品。它能夠?qū)σ曨l區(qū)域內(nèi)出現(xiàn)的警戒區(qū)警戒線(xiàn)闖入、物品遺留或丟失、逆行、人群密度異常等異常情況進(jìn)行分析,能夠?qū)σ曨l區(qū)域內(nèi)出現(xiàn)的運(yùn)動(dòng)目標(biāo)自動(dòng)識(shí)別出目標(biāo)類(lèi)型并跟蹤,對(duì)目標(biāo)進(jìn)行標(biāo)記并畫(huà)出目標(biāo)運(yùn)動(dòng)軌跡,及時(shí)發(fā)出告警信息。能夠同時(shí)監(jiān)測(cè)同一場(chǎng)景里多個(gè)目標(biāo),可以根據(jù)防范目標(biāo)的特點(diǎn)進(jìn)行靈活設(shè)置;它能夠適應(yīng)不同的環(huán)境變化,包括光照、四季、晝夜、晴雨等,并能夠很好地抗攝像頭抖動(dòng)。其改變了以往視頻“被動(dòng)”監(jiān)控的狀態(tài),不僅僅局限于提供視頻畫(huà)面,而且能主動(dòng)對(duì)視頻信息進(jìn)行智能分析,識(shí)別和區(qū)分物體,可自定義事件類(lèi)型,一旦發(fā)現(xiàn)異常情況或者突發(fā)事件能及時(shí)的發(fā)出警報(bào),其在安防領(lǐng)域的應(yīng)用必然有助于克服了人力疲憊的局限性,從而更加有效地協(xié)助安全人員處理突發(fā)事件。
智能視頻分析的發(fā)展過(guò)程
智能視頻監(jiān)控技術(shù)是基于圖像處理、模式識(shí)別的新型視頻監(jiān)控技術(shù)。簡(jiǎn)而言之,就是發(fā)現(xiàn)圖像中運(yùn)動(dòng)的物體,并對(duì)其進(jìn)行跟蹤、分析,及時(shí)發(fā)現(xiàn)“異常”行為,觸發(fā)報(bào)警并采取其他措施進(jìn)行干預(yù)。智能視頻分析技術(shù)(Video Analytics)綜合了多學(xué)科的研究成果。主要包括圖像處理,跟蹤技術(shù),模式識(shí)別,軟件工程,數(shù)字信號(hào)處理(DSP)等領(lǐng)域。隨著計(jì)算機(jī)處理能力的提高,在90年代,對(duì)圖像的處理逐漸變成研究熱點(diǎn)。其中卡內(nèi)基-梅隆(CMU)大學(xué)在1999年完成的在校園內(nèi)的智能圖像監(jiān)控系統(tǒng)是比較有代表性的研究項(xiàng)目。當(dāng)時(shí)的智能圖像監(jiān)控技術(shù)仍處在實(shí)驗(yàn)室研究為主階段。
2001年911事件發(fā)生后,美國(guó)在安防科研方面大大加強(qiáng)了投資力度。許多研究機(jī)構(gòu)和研究人員紛紛加入了安防類(lèi)技術(shù)的研究和開(kāi)發(fā)。智能視頻分析是其中的一個(gè)亮點(diǎn)。從研究論文的數(shù)量來(lái)看,2002年到2005年有一個(gè)明顯的高峰期。這和此期間科研經(jīng)費(fèi)的大量投入是相吻合的。目前此研究領(lǐng)域的科研論文逐漸轉(zhuǎn)移到細(xì)分的問(wèn)題和方向上去了。 這并不代表智能視頻監(jiān)控變成了一個(gè)已經(jīng)解決了的問(wèn)題。恰恰相反,即使目前最優(yōu)秀的商業(yè)系統(tǒng)離人們對(duì)此類(lèi)技術(shù)的期待值還有一些距離。解決問(wèn)題的方法也沒(méi)有達(dá)成共識(shí)。它實(shí)際上反應(yīng)了原創(chuàng)性的理論工作在減少。此項(xiàng)技術(shù)的進(jìn)步在未來(lái)可能更多地依賴(lài)企業(yè)自身的科研開(kāi)發(fā)力量。
智能視頻分析系統(tǒng)的功能
目前市場(chǎng)上的智能視頻分析系統(tǒng)通常都具有以下功能:
1. 圖像采集/接口
2. 運(yùn)動(dòng)物體檢測(cè)
3. 多物體跟蹤
4. 行為特征分析
5. 設(shè)定報(bào)警條件
6. 報(bào)警聯(lián)動(dòng)
1、圖像采集/接口
絕大多數(shù)的智能視頻分析算法是基于非壓縮圖像格式,如RGB或者YUV,所以圖像信號(hào)在被采集以后不經(jīng)過(guò)壓縮直接送給視頻分析單元,幾乎所有的視頻分析系統(tǒng)都自帶有圖像采集功能,通常是通過(guò)BNC輸入模擬圖像信號(hào)。
現(xiàn)有的圖像監(jiān)控系統(tǒng)中圖像信號(hào)通常是以壓縮圖像流的形式存在,例如MPEG4、H.264、MJPEG等。IP相機(jī)通常也直接輸出壓縮圖像流。直接從壓縮的圖像流中進(jìn)行運(yùn)動(dòng)檢測(cè)是一個(gè)較偏的研究方向,還沒(méi)有被主流廠(chǎng)家接受。當(dāng)然也可以將圖像流解壓還原成原始圖像格式后再進(jìn)行分析。常用的壓縮格式都不是無(wú)損(lossless)壓縮。和壓縮前的原始圖像相比,解壓后的圖像會(huì)損失掉一些信息。不過(guò)由于壓縮算法的特點(diǎn),丟失的信息通常是高頻的噪聲信號(hào),所以對(duì)運(yùn)動(dòng)檢測(cè) 的影響是較小的。當(dāng)然前提是壓縮流有足夠的帶寬。如果壓縮比太高,圖像會(huì)出現(xiàn)“馬賽克”效應(yīng),給視頻分析增加難度。
由于實(shí)時(shí)圖像處理對(duì)處理器的要求非常高,所以用于視頻分析的圖像的分辨率通常比僅用于顯示或者傳輸?shù)膱D像要小。分辨率大小會(huì)影響到檢測(cè)距離和對(duì)運(yùn)動(dòng)物體的敏感性。有些產(chǎn)品通過(guò)降低處理的幀率來(lái)適應(yīng)處理器的處理能力。過(guò)低的幀率會(huì)影響到跟蹤算法的可靠性。它可能造成對(duì)運(yùn)動(dòng)物體運(yùn)動(dòng)性質(zhì)的判斷錯(cuò)誤。
2、 運(yùn)動(dòng)物體檢測(cè)
簡(jiǎn)單地說(shuō),運(yùn)動(dòng)檢測(cè)就是發(fā)現(xiàn)圖像中運(yùn)動(dòng)的物體。運(yùn)動(dòng)物體可以簡(jiǎn)單定義為圖像中變化的部分。一些初級(jí)的運(yùn)動(dòng)檢測(cè)算法就是基于這些概念,例如早期的DVR產(chǎn)品的運(yùn)動(dòng)偵測(cè)功能等。它們通常也沒(méi)有跟蹤功能。此類(lèi)方法的誤報(bào)警率太高,不適合用作實(shí)時(shí)報(bào)警系統(tǒng)。
并不是所有圖像中的變化都是我們感興趣的運(yùn)動(dòng)物體。例如由相機(jī)自身引入的變化,它包括像素的噪聲,相機(jī)自動(dòng)光圈控制電路引起的整體亮度變化,圖像傳輸中引入的高低頻周期噪聲信號(hào),紅外相機(jī)周期校準(zhǔn)所帶來(lái)的突變等。外界環(huán)境引入的變化包括地面光照在多云天氣里迅速的變化,運(yùn)動(dòng)物體的陰影,水面波浪或者波光粼粼的現(xiàn)象,陸地上樹(shù)枝的擺動(dòng),夜間汽車(chē)大燈造成的光暈,雨雪天氣等現(xiàn)象。另外相機(jī)在大風(fēng)天,尤其是高燈桿上容易抖動(dòng)。由上述這些現(xiàn)象造成的圖像變化通常是應(yīng)該被過(guò)濾掉的。它們可以通過(guò)算法或者其它技術(shù)手段加以解決。
從算法的角度來(lái)看,可以簡(jiǎn)單地分為兩大類(lèi)。一類(lèi)是建立背景模型,通過(guò)和背景模型相對(duì)比來(lái)發(fā)現(xiàn)運(yùn)動(dòng)物體。另一類(lèi)是通過(guò)“光流”法,通過(guò)發(fā)現(xiàn)運(yùn)動(dòng)物體對(duì)光流場(chǎng)的影響來(lái)發(fā)現(xiàn)運(yùn)動(dòng)物體。另外就是介于兩者之間或者兩者結(jié)合的方法。背景模型法對(duì)運(yùn)動(dòng)物體的提取較完整,有利于下一步對(duì)物體的跟蹤,分類(lèi)以及將來(lái)的檢索。但是它要求相機(jī)固定。如果沒(méi)有有效的穩(wěn)定算法,在相機(jī)抖動(dòng)的情況下容易產(chǎn)生誤報(bào)警。光流法對(duì)相機(jī)穩(wěn)定性的要求低。即使相機(jī)安裝在云臺(tái)上,或者其它運(yùn)動(dòng)平臺(tái)如飛機(jī)上,也可以進(jìn)行運(yùn)動(dòng)檢測(cè)。不過(guò)由于光流法是基于導(dǎo)數(shù)的檢測(cè)方法。它較容易受到圖像噪音的影響。所以它不適用于檢測(cè)小物體,檢測(cè)距離較近。
3、多物體跟蹤
現(xiàn)有視頻分析算法和早期移動(dòng)偵測(cè)最大的區(qū)別就在于是否對(duì)運(yùn)動(dòng)物體進(jìn)行跟蹤。運(yùn)動(dòng)物體檢測(cè)和跟蹤是視頻分析的基礎(chǔ)。這兩方面做扎實(shí)了,才有可能對(duì)物體的行為特性進(jìn)行分析,同時(shí)也才有可能較容易地針對(duì)某些特殊應(yīng)用迅速開(kāi)發(fā)出來(lái)新功能模塊。跟蹤實(shí)質(zhì)上就是將在每一幀上發(fā)現(xiàn)的同一物體沿時(shí)間順序串起來(lái)。此領(lǐng)域本身就是一個(gè)相對(duì)獨(dú)立的活躍的研究領(lǐng)域。主要研究方向是在復(fù)雜環(huán)境下,如多個(gè)運(yùn)動(dòng)物體,多個(gè)相機(jī),運(yùn)動(dòng)物體之間互相遮擋,消失及重現(xiàn)等情況下進(jìn)行有效跟蹤。例如在擁擠的地鐵站臺(tái)對(duì)某個(gè)人進(jìn)行跟蹤;對(duì)草叢里身著迷彩服沿一定方向爬行的士兵進(jìn)行跟蹤。雖然在每一幀里用肉眼無(wú)法辨明此士兵的位置,但是積累了一定幀數(shù)后,系統(tǒng)發(fā)現(xiàn)了他。以上實(shí)例主要還停留在實(shí)驗(yàn)室演示階段。但是它們代表了跟蹤算法的發(fā)展方向。
在實(shí)際監(jiān)控應(yīng)用中,尤其是對(duì)一些入侵報(bào)警的應(yīng)用案例中,對(duì)跟蹤算法的要求比較低?,F(xiàn)有的商業(yè)系統(tǒng)對(duì)運(yùn)動(dòng)物體“融合”及其它復(fù)雜應(yīng)用場(chǎng)景的跟蹤效果并不理想。但是參照以往技術(shù)發(fā)展速度,這方面會(huì)很快完善起來(lái)。
4、行為特征分析
行為特征分析是從圖像中尋找滿(mǎn)足預(yù)先設(shè)定的行為特征的事件。目前市場(chǎng)上比較典型的應(yīng)用包括:
(1)分類(lèi): 判斷運(yùn)動(dòng)物體是人,車(chē),船只,飛機(jī)。
(2)停止或者突然加速:例如車(chē)輛在隧道或者公路上拋錨;大街上搶劫得手后逃跑等場(chǎng)景。
(3)徘徊:例如在敏感區(qū)域外觀(guān)察的人員。對(duì)正常通過(guò)的行人、車(chē)輛不報(bào)警。
(4)遺留物: 例如對(duì)在機(jī)場(chǎng),油庫(kù)等地放置爆炸物然后離開(kāi)。
(5)物品遺失: 例如博物館的貴重展品保護(hù)。當(dāng)發(fā)現(xiàn)展品消失后,系統(tǒng)會(huì)立刻報(bào)警。
(6)人數(shù)統(tǒng)計(jì):例如 對(duì)進(jìn)入超市等場(chǎng)所的人數(shù)進(jìn)行統(tǒng)計(jì)。并結(jié)合銷(xiāo)售數(shù)據(jù)繪制一天當(dāng)中平均消費(fèi)額曲線(xiàn)。
(7)人群密度:例如當(dāng)聚集人員過(guò)多時(shí)報(bào)警。或者人群突然散開(kāi),如出現(xiàn)異常情況時(shí),進(jìn)行報(bào)警。
(8)人員倒地: 例如當(dāng)人員由直立突然變成平躺。
總的來(lái)說(shuō),智能視頻分析可以作很多事情。所以需要視頻分析開(kāi)發(fā)人員和最終用戶(hù)進(jìn)行有效溝通。由于智能視頻分析還是一個(gè)較新的技術(shù),在國(guó)內(nèi)了解此項(xiàng)技術(shù)的圈子目前只拓展到集成商這個(gè)層面上,所以很多適合視頻分析技術(shù)的應(yīng)用場(chǎng)景還有待市場(chǎng)開(kāi)發(fā)。但有一點(diǎn)是一目了然的:企業(yè)必須掌握核心技術(shù)并具有自主研究開(kāi)發(fā)能力。智能視頻分析的市場(chǎng)是由許多細(xì)分小市場(chǎng)組成的,新的應(yīng)用正不斷地出現(xiàn)。在可預(yù)見(jiàn)的將來(lái),這會(huì)是這個(gè)市場(chǎng)的一個(gè)明顯特點(diǎn)。
5、設(shè)定報(bào)警條件
在視頻監(jiān)控里引入“智能”極大地豐富了監(jiān)控內(nèi)容,提高了監(jiān)控的靈活性。用戶(hù)可以針對(duì)某個(gè)特定行為進(jìn)行報(bào)警。例如簡(jiǎn)單地說(shuō),當(dāng)運(yùn)動(dòng)物體穿越某條界限時(shí)報(bào)警。也可以使用更多的限定條件,如在晚上7點(diǎn)到早晨7點(diǎn)之間對(duì)進(jìn)入某個(gè)區(qū)域的人員進(jìn)行報(bào)警,對(duì)出去的人員,進(jìn)出的車(chē)輛不報(bào)警。由于是通過(guò)軟件設(shè)定報(bào)警條件,更改報(bào)警策略通常來(lái)說(shuō)非常容易。例如有一批貴重貨物在倉(cāng)庫(kù)里只存放一天,可以在那一天在屏幕上倉(cāng)庫(kù)周?chē)O(shè)置虛擬邊界,就像孫悟空用金箍棒畫(huà)個(gè)圈將唐僧等人保護(hù)起來(lái)一樣,很快地建立起保護(hù)措施。用戶(hù)也可以依據(jù)不同設(shè)施的具體安保需求設(shè)定不同的策略。例如白天和夜晚的監(jiān)控內(nèi)容不一樣,工作日和周末監(jiān)控內(nèi)容、監(jiān)控力度也不一樣。系統(tǒng)自動(dòng)切換,避免了人員監(jiān)控的隨意性。目前可供選擇的報(bào)警要素包括區(qū)域、時(shí)間段、物體種類(lèi)、尺寸、運(yùn)動(dòng)方向、速度、行為特征等許多內(nèi)容。
6、報(bào)警聯(lián)動(dòng)
在智能視頻分析系統(tǒng)發(fā)現(xiàn)異常情況以后,通常需要作3類(lèi)事情:
1) 核實(shí)報(bào)警真實(shí)性: 通過(guò)另外一臺(tái)云臺(tái)相機(jī)對(duì)報(bào)警事件拉近進(jìn)行詳細(xì)調(diào)查。由于監(jiān)控范圍的需要,報(bào)警相機(jī)的監(jiān)控范圍通常較大,而且經(jīng)常是固定相機(jī)。另外一臺(tái)云臺(tái)相機(jī)可以和一臺(tái)或者幾臺(tái)固定報(bào)警相機(jī)相配合自動(dòng)或者手動(dòng)響應(yīng)報(bào)警事件。報(bào)警錄像片段通常會(huì)被同時(shí)存在硬盤(pán)上。
2). 及時(shí)通知、提醒監(jiān)控人員: 常用實(shí)時(shí)提示方法包括語(yǔ)音提示監(jiān)控人員,如“倉(cāng)庫(kù)門(mén)口發(fā)現(xiàn)人員。”;在屏幕上彈出報(bào)警圖像;在圖像上用標(biāo)識(shí)框標(biāo)識(shí)觸警物體;顯示觸警物體之前的運(yùn)動(dòng)軌跡。另外也有非實(shí)時(shí)的技術(shù)手段,如通過(guò)郵件或者短信的形式通知負(fù)責(zé)人員,并附以觸警截圖。目前通過(guò)手機(jī)瀏覽實(shí)時(shí)監(jiān)控圖像已經(jīng)較成熟。3G手機(jī)在國(guó)內(nèi)的普及必將促使手機(jī)成為有一個(gè)響應(yīng)平臺(tái)。除了DVR備份以外,智能視頻分析系統(tǒng)可以存儲(chǔ)報(bào)警錄像片段,供監(jiān)控人員迅速檢索。
3). 觸發(fā)其它外部響應(yīng)手段: 為避免頻繁出警,有些系統(tǒng)可以和喇叭聯(lián)動(dòng),提醒入侵人員已經(jīng)被監(jiān)控。通常他們?cè)谥辣话l(fā)現(xiàn)后會(huì)迅速離開(kāi)。智能視頻分析系統(tǒng)主要形式及特點(diǎn)
目前智能視頻分析產(chǎn)品主要基于通用CPU如英特爾(服務(wù)器,工控機(jī))或者DSP。有些產(chǎn)品和DVR集成在一起,有些產(chǎn)品做成獨(dú)立的模塊,通過(guò)提供界面和開(kāi)發(fā)SDK供集成商使用。集成化程度最高的產(chǎn)品已經(jīng)和相機(jī)做成一體,直接輸出智能分析結(jié)果。
基于服務(wù)器(工控機(jī))的系統(tǒng)通常適合布置在監(jiān)控系統(tǒng)的后臺(tái)。由于它的架構(gòu)相對(duì)開(kāi)放,所以可以方便地和現(xiàn)有監(jiān)控系統(tǒng)融合。另外服務(wù)器的CPU處理能力和DSP相比要高,可以使用較為復(fù)雜的算法。多核是英特爾CPU的發(fā)展方向,非常適合多路圖像處理的需要及發(fā)展趨勢(shì)。對(duì)于降低系統(tǒng)成本很有幫助。英特爾每?jī)赡晖瞥鲆豢钚庐a(chǎn)品的速度也遠(yuǎn)較德州儀器(TI)快?;诜?wù)器的系統(tǒng)性能可以隨著英特爾產(chǎn)品的更新而方便地提升。在一些高端智能視頻監(jiān)控系統(tǒng)中,使用服務(wù)器的比較多。