東方網(wǎng)力科技股份有限公司副總裁 蔣宗文
海量視頻催生智能視頻分析應用大
數(shù)據(jù)集記錄數(shù)眾多(億級以上),容量巨大(TB乃至PB級別),導致在采集、傳輸、存儲、處理、檢索、共享、分析、顯示數(shù)據(jù)集時產(chǎn)生巨大障礙,無法采用傳統(tǒng)的基于單機或小規(guī)模服務器集群的數(shù)據(jù)庫、文件存儲、分布式處理技術,而必須采用基于大規(guī)模計算集群或數(shù)據(jù)中心的可靈活擴展可容錯的大規(guī)模分布式并行處理技術。大數(shù)據(jù)最早出現(xiàn)在科學計算和政府的信息處理領域,隨著互聯(lián)網(wǎng)業(yè)務的發(fā)展,互聯(lián)網(wǎng)公司廣泛采用了大數(shù)據(jù)處理技術,使得大數(shù)據(jù)的概念廣為人知。當前大數(shù)據(jù)的應用熱點是巨量數(shù)據(jù)中挖掘相關性,比如消費者行為分析、相關商品推薦等。
隨著各地城市級聯(lián)網(wǎng)視頻監(jiān)控系統(tǒng)以及高清攝像頭的普及,視頻錄像數(shù)據(jù)正在快速增加。以一個部署了10000個攝像頭的典型中等城市為例,假定每個攝像頭每秒壓縮視頻數(shù)據(jù)量為1M比特,則一天產(chǎn)生108TB的視頻錄像,一個月產(chǎn)生約3PB的視頻錄像。
如此巨量的視頻錄像,用戶很難從海量的視頻錄像文件中查閱和檢索到所需的信息。因此可以通過視頻內(nèi)容智能分析技術,從原始視頻中提取有意義的信息,主要是人車物等可能運動的目標事件。保守估計平均每個攝像頭每10秒發(fā)生2個事件(人、車、物),則每天產(chǎn)生事件記錄2000x3600x24=1.73億條,每年產(chǎn)生約630億條,假設保存3年,將產(chǎn)生1890億條;假設每條記錄的索引信息需要100字節(jié)存儲,則需要19TB的磁盤空間;另外涉及的圖片和視頻剪輯的存儲量更為浩大,保守的估算也需要5PB磁盤空間。
大數(shù)據(jù)的智能應用
可見,視頻監(jiān)控已經(jīng)進入了大數(shù)據(jù)時代。
有了這些大數(shù)據(jù),就可以做到很多以前無法做到的應用:實時交通狀況分析:通過視頻實時分析道路交通流量,然后綜合分析統(tǒng)計出全城市的交通狀況;套牌分析:通過視頻進行車牌識別,按照一定的規(guī)則(如最近時間內(nèi)一定距離以外)在全城市中檢索相同車牌的汽車;犯罪嫌疑人追查:輸入嫌疑人照片進行人臉特征識別并在所有視頻中尋找該人臉;犯罪嫌疑車輛追查:輸入嫌疑車的照片或顏色車型等相關特征在所有視頻中尋找;人車物的軌跡分析:在所有視頻中按照特征查找指定的人車物并繪制其時空軌跡;車輛的首次入城分析等。
與科學計算、互聯(lián)網(wǎng)相比,視頻監(jiān)控的大數(shù)據(jù)處理難度尤大,首先,視頻錄像是更原始的非文本非結(jié)構(gòu)化的數(shù)據(jù),必須經(jīng)過復雜繁重的分析處理才能提取出文本結(jié)構(gòu)化的數(shù)據(jù)進行下一步處理;其次視頻錄像相對其它形式數(shù)據(jù)的容量要大幾個數(shù)量級,對傳輸、存儲和計算的帶寬要求大。
如何處理如此巨大的數(shù)據(jù)記錄?唯一的解決方案就是采用“云計算”(大規(guī)模集群分布式并行計算技術)。因此我們推出了智能視頻云計算系統(tǒng)基于業(yè)界HadoopHDFS/HBASE/MapReduce云計算框架,結(jié)合自行開發(fā)的POSA組件式對象和服務架構(gòu),構(gòu)成一個完整的視頻采集、傳輸、存儲、智能索引分析、檢索的視頻大數(shù)據(jù)處理系統(tǒng)。
隨著視頻監(jiān)控應用的不斷深化發(fā)展,目前各地已經(jīng)開始集成大量不同子系統(tǒng)。作為智慧城市物聯(lián)網(wǎng)應用的一部分,云計算視頻大數(shù)據(jù)處理將為系統(tǒng)聯(lián)網(wǎng)實戰(zhàn)應用帶來前所未有的用戶體驗。
推薦閱讀:
安防大數(shù)據(jù)時代,海量信息的事后分析與處理
大數(shù)據(jù)時代,提升“統(tǒng)一監(jiān)控”平臺的門檻
安防領域的大數(shù)據(jù)時代尚未到來