得益于IT信息技術(shù)的快速進(jìn)步,人類可以隨時隨地記錄下產(chǎn)生的各類數(shù)據(jù),而同時數(shù)據(jù)存儲的成本也正以前所未有的速度下降,一個大數(shù)據(jù)的時代在悄然來臨。根據(jù)IDC預(yù)測,全球在2010年正式進(jìn)入ZB時代,全球數(shù)據(jù)量大約每兩年翻一番,意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。爆炸式增長的數(shù)據(jù),正推動人類進(jìn)入大數(shù)據(jù)的時代。
視頻監(jiān)控數(shù)據(jù)有兩個方面的內(nèi)涵——海量和非結(jié)構(gòu)化。視頻監(jiān)控數(shù)據(jù)量規(guī)模龐大,并且隨著高清化、超高清化的趨勢加強,視頻監(jiān)控數(shù)據(jù)規(guī)模將以更快的指數(shù)級別增長;與通常講的結(jié)構(gòu)化數(shù)據(jù)不同,視頻監(jiān)控業(yè)務(wù)產(chǎn)生的數(shù)據(jù)絕大多數(shù)以非結(jié)構(gòu)化的數(shù)據(jù)為主,這給傳統(tǒng)的數(shù)據(jù)管理和使用機制帶來了極大的挑戰(zhàn)。
因為大數(shù)據(jù)帶來了很多現(xiàn)實中的難題,為了解決這些難題需要新的技術(shù)變革,需要新一代的數(shù)據(jù)庫技術(shù),業(yè)界稱之為大數(shù)據(jù)技術(shù)。IDC這樣定義大數(shù)據(jù)技術(shù):大數(shù)據(jù)技術(shù)將被設(shè)計用于在成本可承受(economically)的條件下,通過非??焖?velocity)的采集、發(fā)現(xiàn)和分析,從大量化(volumes)、多類別(variety)的數(shù)據(jù)中提取價值(value),將是IT 領(lǐng)域新一代的技術(shù)與架構(gòu)的變革。Hadoop技術(shù)正是在此背景下誕生,歷經(jīng)數(shù)年的積累,Hadoop已成長為一個強大的生態(tài)系統(tǒng),不但衍生出HDFS、HBase、Hive等多個子項目,成為IT領(lǐng)域廣泛采用的大數(shù)據(jù)模型框架。
大數(shù)據(jù)技術(shù)和視頻監(jiān)控業(yè)務(wù)的融合
“除了上帝,任何人都必須用數(shù)據(jù)來說話”,美國著名管理學(xué)家、統(tǒng)計學(xué)家愛德華·戴明將數(shù)據(jù)提升到了和上帝平行的高度。視頻監(jiān)控業(yè)務(wù)正是一個典型的數(shù)據(jù)依賴型業(yè)務(wù),依靠數(shù)據(jù)說話??梢哉f,大數(shù)據(jù)與視頻監(jiān)控業(yè)務(wù)有著天然的結(jié)合。綜合來看,大數(shù)據(jù)與視頻監(jiān)控業(yè)務(wù)的結(jié)合主要體現(xiàn)在“存”、“看”、“用”上。
“閃存”:如果類比水庫蓄水的方式,典型的網(wǎng)絡(luò)視頻監(jiān)控數(shù)據(jù)存儲模型是一個由小溪匯聚河流、再匯聚到水庫的蓄水方式。小溪數(shù)量增多、水量增大是水庫蓄水量的保證,然而傳統(tǒng)方式下蓄水量增大將提高水庫建造成本和蓄水安全的要求。而采用分布式蓄水模式,在河流中游建立多個中間蓄水池,不僅可以減少主水庫蓄水壓力和成本,化整為零也提高了就近用水效率。在大數(shù)據(jù)技術(shù)支撐下,網(wǎng)絡(luò)視頻監(jiān)控數(shù)據(jù)存儲模型可轉(zhuǎn)向分布式的數(shù)據(jù)存儲體系,提供高效、安全、廉價的存儲方式。
“易看”:在視頻監(jiān)控業(yè)務(wù)中,錯看漏看、來不及看等是常見的困擾點。大數(shù)據(jù)監(jiān)控圖像的回溯給許多安防監(jiān)控管理人員帶來了生理與心理的雙重挑戰(zhàn)。在大量人力投入的公安案件追溯中,都常常耳聞“看到吐”、“看到暈”等無奈和感嘆。可想而知一般零售行業(yè)、金融行業(yè)等,對于視頻監(jiān)控圖像的回溯就更為困難。在視頻監(jiān)控大數(shù)據(jù)趨勢已經(jīng)來臨之際,依靠人眼去檢索、查看所有視頻圖像數(shù)據(jù)已經(jīng)不太現(xiàn)實。通過大數(shù)據(jù)技術(shù)實現(xiàn)視頻圖像模糊查詢、快速檢索、精準(zhǔn)定位,讓看變得簡單迫在眉睫。
“善用”:視頻監(jiān)控業(yè)務(wù)中,看只是信息采集的方式之一,用才是業(yè)務(wù)應(yīng)用的根本。視頻監(jiān)控業(yè)務(wù)的效率問題已經(jīng)成為阻礙產(chǎn)業(yè)發(fā)展的關(guān)鍵瓶頸。隨著視頻監(jiān)控攝像機覆蓋廣度、密度增大,視頻圖像數(shù)據(jù)量呈指數(shù)級上升,而視頻監(jiān)控數(shù)據(jù)的使用效率卻在下降。