視頻監(jiān)控與大數(shù)據(jù)結(jié)合,共鑄智能安防未來
得益于IT信息技術(shù)的快速進(jìn)步,人類可以隨時(shí)隨地記錄下產(chǎn)生的各類數(shù)據(jù),而同時(shí)數(shù)據(jù)存儲(chǔ)的成本也正以前所未有的速度下降,一個(gè)大數(shù)據(jù)的時(shí)代在悄然來臨。根據(jù)IDC預(yù)測,全球在2010年正式進(jìn)入ZB時(shí)代,全球數(shù)據(jù)量大約每兩年翻一番,意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。爆炸式增長的數(shù)據(jù),正推動(dòng)人類進(jìn)入大數(shù)據(jù)的時(shí)代。
大數(shù)據(jù)是飛速增長的,用現(xiàn)有數(shù)據(jù)庫管理工具難以管理所有的數(shù)據(jù)集合。這些數(shù)據(jù)包括:社交媒體、移動(dòng)設(shè)備、科學(xué)計(jì)算和城市中部署的各類傳感器等等,其中視頻又是構(gòu)成數(shù)據(jù)體量最大的一部分。在視頻監(jiān)控大聯(lián)網(wǎng)、高清化推動(dòng)下,視頻監(jiān)控業(yè)務(wù)步入數(shù)據(jù)洪水時(shí)代不可避免。如圖1所示。
圖1 全球數(shù)據(jù)規(guī)模預(yù)測
視頻監(jiān)控?cái)?shù)據(jù)有兩個(gè)方面的內(nèi)涵——海量和非結(jié)構(gòu)化。視頻監(jiān)控?cái)?shù)據(jù)量規(guī)模龐大,并且隨著高清化、超高清化的趨勢加強(qiáng),視頻監(jiān)控?cái)?shù)據(jù)規(guī)模將以更快的指數(shù)級(jí)別增長;與通常講的結(jié)構(gòu)化數(shù)據(jù)不同,視頻監(jiān)控業(yè)務(wù)產(chǎn)生的數(shù)據(jù)絕大多數(shù)以非結(jié)構(gòu)化的數(shù)據(jù)為主,這給傳統(tǒng)的數(shù)據(jù)管理和使用機(jī)制帶來了極大的挑戰(zhàn)。
數(shù)據(jù)“洪水”帶給視頻監(jiān)控的困境
飛速增長的視頻監(jiān)控?cái)?shù)據(jù),使得傳統(tǒng)視頻監(jiān)控體系架構(gòu)、數(shù)據(jù)的管理方式、數(shù)據(jù)分析應(yīng)用等面臨新的困境。如圖2所示。
圖2 視頻監(jiān)控大數(shù)據(jù)時(shí)代面臨的困境
困境一,數(shù)據(jù)量的急劇擴(kuò)大和IT投資之間的矛盾。按照I T產(chǎn)業(yè)的法則:在滿足客戶需求的前提之下,往往技術(shù)成本越低,其生命力越強(qiáng)。由于數(shù)據(jù)量的急速擴(kuò)大,以及隨之而來的大規(guī)模計(jì)算的需求越來越多,一味采用高配硬件,使得硬件投資成為客戶不可承受之重,客戶越來越希望在滿足需求的前提下,用中低端的硬件來替換高配硬件。
困境二,海量數(shù)據(jù)和有效數(shù)據(jù)之間的矛盾。攝像頭7&TImes;24小時(shí)工作,如實(shí)記錄鏡頭覆蓋范圍發(fā)生的一切,僅僅記錄信息是不夠的,因?yàn)閷τ诳蛻魜碇v可能大部分信息是無效,有效信息可能只分布在一個(gè)較短的時(shí)間段內(nèi),按照數(shù)學(xué)統(tǒng)計(jì)的說法,信息是呈現(xiàn)冪律分布的,也稱之為信息的密度,往往越高密度的信息對客戶價(jià)值越大。
困境三,資源利用和效率之間的矛盾,串行計(jì)算和并行計(jì)算的矛盾。視頻監(jiān)控業(yè)務(wù)網(wǎng)絡(luò)化、大聯(lián)網(wǎng)后,網(wǎng)絡(luò)內(nèi)的設(shè)備越來越多,利用閑置的計(jì)算資源,實(shí)現(xiàn)資源的最大化利用,關(guān)乎運(yùn)算的效率。在視頻監(jiān)控領(lǐng)域,往往視頻分析的效率決定價(jià)值,更低的延遲、更準(zhǔn)確的分析往往是平安城市這類客戶的普遍需求。隨著數(shù)據(jù)量的增加,哪怕對TB級(jí)別的數(shù)據(jù)進(jìn)行對視頻內(nèi)容的數(shù)據(jù)分析和檢索,采用串行計(jì)算的模式都可能需要花費(fèi)數(shù)小時(shí)的計(jì)算,已遠(yuǎn)遠(yuǎn)不能勝任時(shí)效性的需求。視頻的分析和檢索,不能依賴于傳統(tǒng)的手段,巨量數(shù)據(jù)的效率優(yōu)化,并行計(jì)算是視頻智能分析的唯一出路。
因?yàn)榇髷?shù)據(jù)帶來了很多現(xiàn)實(shí)中的難題,為了解決這些難題需要新的技術(shù)變革,需要新一代的數(shù)據(jù)庫技術(shù),業(yè)界稱之為大數(shù)據(jù)技術(shù) 。IDC這樣定義大數(shù)據(jù)技術(shù):大數(shù)據(jù)技術(shù)將被設(shè)計(jì)用于在成本可承受(economically)的條件下,通過非??焖伲╲elocity)的采集、發(fā)現(xiàn)和分析,從大量化(volumes)、多類別(variety)的數(shù)據(jù)中提取價(jià)值(value),將是IT領(lǐng)域新一代的技術(shù)與架構(gòu)的變革。Had oop技術(shù)正是在此背景下誕生,歷經(jīng)數(shù)年的積累,Hadoop已成長為一個(gè)強(qiáng)大的生態(tài)系統(tǒng),不但衍生出HDFS、HBase、Hive等多個(gè)子項(xiàng)目,成為IT領(lǐng)域廣泛采用的大數(shù)據(jù)模型框架。
欲了解更多視頻監(jiān)控或智能安防技術(shù)與市場,請關(guān)注并參與ETD第13期:智能安防技術(shù)沙龍!(火熱報(bào)名中)