“十一五”期間,國內(nèi)安防行業(yè)一直保持著高速增長,年復(fù)合增長率超過23%。作為安防行業(yè)最重要的組成部分,視頻監(jiān)控行業(yè)在此期間也得到了高速的發(fā)展。隨著視頻監(jiān)控大規(guī)模建設(shè),積累了大量的視頻資料,現(xiàn)有的視頻監(jiān)控體系和大量的視頻資料,為有關(guān)部門查詢破案線索、維護(hù)公眾安全方面起到了巨大的作用。
根據(jù)安防“十二五”規(guī)劃,“十二五”期間,“平安城市”、“科技強警建設(shè)工程”、“3111工程”等重大公共工程項目將繼續(xù)加大實施力度。隨著視頻監(jiān)控體系的快速建設(shè)和視頻資料體量的高速增加,如何高效地使用海量視頻數(shù)據(jù)成為視頻監(jiān)控行業(yè)面臨的一個挑戰(zhàn)。目前視頻監(jiān)控廠家眾多,以及人工查看視頻數(shù)據(jù)的現(xiàn)狀來分析,在海量視頻數(shù)據(jù)的使用上存在以下三個主要問題:
視頻數(shù)據(jù)封裝、編碼格式未統(tǒng)一。視頻監(jiān)控的國標(biāo)目前還在實施中,之前建設(shè)的視頻監(jiān)控體系中存在大量封裝、編碼格式不一致的視頻數(shù)據(jù),觀看不同格式的數(shù)據(jù)需要不同的播放軟件。
完全靠人工查看的方式和視頻資料的體量相比較而言效率很低。一個平安城市的視頻監(jiān)控建設(shè),少則幾千路,多則上萬路甚至數(shù)十萬路。我們舉一個例子,一個視頻監(jiān)控數(shù)據(jù)達(dá)到一萬路的某地,因為發(fā)生某刑事案件,需要調(diào)用其中100路的24小時錄像來查找線索,如果一個辦案人員按正常速度看完所有視頻資料需要2400小時,按4倍速看也需要600小時,如果需要提高查看速度只能使用“人海戰(zhàn)術(shù)”增加查看視頻的人員。而且,使用人工有一弊端,都是容易疲勞,注意力無法長時間集中,或者注意力集中了也容易忽略視頻中的某些目標(biāo),時而需要多次查看同一視頻資料來保證查證效果。
視頻數(shù)據(jù)的匯總的困難。以平安城市為例,分布式存儲和集中式存儲在實際應(yīng)用中都是并存的。對于分布式存儲來說,需要對視頻數(shù)據(jù)進(jìn)行檢索時,如果我們的檢索人員不能分布式工作,要求集中式工作,那么就要求對分布的視頻數(shù)據(jù)進(jìn)行匯總。
同樣的,以上述的100路24小時錄像為例,假設(shè)這100路平均碼率為2Mb/S,每一路24小時的錄像文件大小約172800Mb,100路的錄像都通過網(wǎng)絡(luò)上傳到集中檢索所在處需要消耗的帶寬為17280000Mb約等于2110GByte。如果經(jīng)過普通寬帶,以1Mb/S的速度傳輸,傳輸完1路24小時的錄像文件需要48小時。
通過千兆網(wǎng)絡(luò)可能達(dá)到500Mb/S的速度,但考慮到大部分存儲使用普通硬盤上,硬盤的IO瓶頸使實際的傳輸達(dá)不到這樣的速度,假設(shè)為100Mb/S,以這樣的速度傳輸,需要30分鐘左右。如果串行傳輸完100路,需要3000分鐘。
如果不用網(wǎng)絡(luò)傳輸數(shù)據(jù),以更為原始的插拔硬盤集中的方式,則需要更多的人力、運輸成本,還不考慮插拔對硬盤帶來可能的損傷。
對于集中式存儲則沒有這個問題,但本文并非討論分布式存儲和集中式存儲的優(yōu)劣,不進(jìn)一步展開分析。
這三個問題中,隨著國標(biāo)的推出,各廠家的標(biāo)準(zhǔn)化工作推進(jìn),以及部分有研發(fā)實力的高兼容性軟件的實現(xiàn),第一個問題可以逐步解決或者不成為問題,其它兩個問題在現(xiàn)有框架和技術(shù)下成為海量視頻數(shù)據(jù)檢索的最大障礙。
我們回過頭來考慮視頻數(shù)據(jù)的檢索本身,我們需要在視頻中檢索什么?絕大大部分情況下,視頻畫面中運動的物體才是我們關(guān)注的目標(biāo),也正是需要檢索的對象。針對這一點,我們可以把視頻數(shù)據(jù)分為兩種:有運動目標(biāo)的視頻數(shù)據(jù)和靜止場景視頻數(shù)據(jù)。這就是提升海量視頻數(shù)據(jù)檢索速度的第一個方法:
有效視頻數(shù)據(jù)提取
該方法的技術(shù)基石是圖像分析技術(shù)中的移動偵測技術(shù)。該技術(shù)在業(yè)界已經(jīng)比較成熟。移動偵測我們可以在前端設(shè)備中完成,也可以通過后端處理來執(zhí)行。以24小時錄像來說,鬧市區(qū)場景的錄像可能有1/3左右的錄像是無運動目標(biāo);而郊區(qū)場景的錄像可能有2/3左右的錄像是無運動目標(biāo),在檢索視頻數(shù)據(jù)時,我們只需要觀看有運動目標(biāo)的視頻數(shù)據(jù)即可,無論是1/3或2/3,均能顯著降低所需檢索視頻數(shù)據(jù)的大小。
但是,在執(zhí)行完視頻濃縮后,似乎又陷入了人海戰(zhàn)術(shù)的困境。如今,智能化監(jiān)控大行其道,我們的智能分析算法能為視頻檢索帶來什么呢?目前,業(yè)界推出的智能產(chǎn)品已經(jīng)有周界防范、車牌識別、人臉識別等較成熟產(chǎn)品,在這些產(chǎn)品里面,觸發(fā)周界防范規(guī)則的物體,被識別的車牌和人臉,都可作為視頻檢索的輸入檢索條件。智能算法可以集成在前端嵌入式設(shè)備中,也可以在后端設(shè)備中進(jìn)行視頻數(shù)據(jù)的分析。除了利用移動偵測技術(shù)外,這里提出提升海量數(shù)據(jù)檢索速度的第二個方法:
基于智能視頻分析算法的檢索
前面提到,一段24小時的錄像,人工查看即使用4倍速查看也需要6小時,而利用計算機通過智能視頻分析算法進(jìn)行視頻的自動檢索,檢索的速度則取決于視頻解碼和分析算法的運行速度。我們以對4cif的視頻數(shù)據(jù)執(zhí)行周界防范算法為例,一幀視頻數(shù)據(jù)解碼加上算法執(zhí)行的平均時間可以控制在10ms左右,也就是相當(dāng)于4倍速。同樣四倍速,一個是不知疲倦的計算機,一個是極易疲倦和出錯的人腦。孰優(yōu)孰劣,一目了然。
然而,利用計算機進(jìn)行視頻數(shù)據(jù)自動分析及檢索,引出了海量數(shù)據(jù)快速視頻檢索的一大挑戰(zhàn),視頻數(shù)據(jù)解碼及智能視頻分析算法將消耗大量的計算資源,計算機的性能瓶頸將嚴(yán)重制約海量數(shù)據(jù)的檢索速度,檢索效率還是無法得到有效的提升。如果我們檢索對象是海量視頻數(shù)據(jù)經(jīng)過解碼并通過智能算法分析后輸出的智能源數(shù)據(jù)(Meta Data),檢索速度將大大提高。這里提出提升海量數(shù)據(jù)檢索速度的第三個方法,也是關(guān)鍵性的方法。
基于視頻數(shù)據(jù)的元數(shù)據(jù)的檢索
如果我們把1段24小時的錄像,經(jīng)過解碼,智能分析,把獲取到的智能元數(shù)據(jù)都存儲下來,對元數(shù)據(jù)的查詢速度可以達(dá)到十秒的量級。
我們來回顧一段24小時錄像文件的查詢速度提升過程:人工,正常速度查詢,24小時;人工,四倍速查詢,6小時;視頻濃縮后,人工四倍速查詢,3小時左右;視頻濃縮后,基于智能分析算法查詢,3小時左右;基于視頻數(shù)據(jù)的元數(shù)據(jù)查 詢 ,十秒量級。
可以看到,最后一步才是質(zhì)的提升,檢索速度量級的飛躍。到此,看上去很美,真的這么美嗎?基于元數(shù)據(jù)的查詢存在哪些問題呢?
移動偵測算法雖然比較成熟,但對于飛蟲干擾、燈光干擾、樹葉抖動等問題目前還沒有特別有效的解決辦法;基于智能分析算法的檢索,比如車牌識別、人臉識別,對視頻數(shù)據(jù)的場景要求比較高,普通的治安監(jiān)控視頻基本無法執(zhí)行這種分析。對于視頻場景適應(yīng)性相對較好的周界防范,行為分析算法來說,雖然能較為準(zhǔn)確分析出目標(biāo),但是對于目標(biāo)進(jìn)一步的分類,比如人、物、非機動車、機動車、目標(biāo)的屬性特征,比如顏色、紋理、形狀等,目前還是業(yè)界面臨的技術(shù)難題。
雖然有上述兩大難題,隨著元數(shù)據(jù)的標(biāo)準(zhǔn)化,以及前端設(shè)備實時產(chǎn)生元數(shù)據(jù)和后處理產(chǎn)生元數(shù)據(jù)兩種機制和產(chǎn)品的并存,基于元數(shù)據(jù)的檢索必然會成為海量視頻數(shù)據(jù)檢索的主流。