視頻摘要技術(shù)解決的問題是如何使視頻數(shù)據(jù)有效的表示和快速的訪問，它是利用對視頻內(nèi)容的分析來減小視頻存儲、分類和索引的代價(jià)，提高視頻的使用效率、可用性和可訪問性，它是基于內(nèi)容的視頻分析技術(shù)的發(fā)展。

　　視頻摘要解釋

　　視頻摘要技術(shù)的研究最早始于1994年CMU大學(xué)的Informedia工程，隨后德國曼海姆大學(xué)、FXPaloAlto實(shí)驗(yàn)室、Minnesota大學(xué)、MITRE公司、哥倫比亞大學(xué)與微軟研究院等都在這方面進(jìn)行了較為深入的研究，分別提出了各自的視頻摘要策略，視頻摘要的表現(xiàn)形式也由最初的靜態(tài)摘要轉(zhuǎn)變?yōu)楝F(xiàn)在的動(dòng)態(tài)縮略視頻。

　　總的來說視頻摘要是對一長段視頻內(nèi)容的簡短總結(jié)，即視頻摘要就是一連串靜止或運(yùn)動(dòng)的圖像，分別稱為靜態(tài)視頻摘要和動(dòng)態(tài)視頻摘要，它們用精簡的方式代表了原視頻的內(nèi)容，同時(shí)保留了原內(nèi)容的要點(diǎn)。靜態(tài)視頻摘要是從原始視頻中剪取而生成的一系列靜止圖像的集合，這些代表了原始視頻的圖像成為關(guān)鍵幀;動(dòng)態(tài)視頻摘要是由一些圖像序列以及對應(yīng)的音頻組成，它本身是一個(gè)視頻片斷。兩者區(qū)別是靜態(tài)視頻摘要只考慮其關(guān)鍵幀，忽略了音頻信息，但生成摘要的速度比動(dòng)態(tài)視頻摘要快;動(dòng)態(tài)視頻摘要表現(xiàn)的內(nèi)容比靜態(tài)視頻摘要豐富，通常以鏡頭的方式表示，融合了圖像、聲音和文字等信息。

　　視頻摘要的作用主要是便于存儲和視頻的瀏覽或查找，相對于原始的視頻資料，視頻摘要的長度要短很多，節(jié)省了存儲時(shí)間和空間。視頻摘要保留了原內(nèi)容的要點(diǎn)，所以對于用戶來說，瀏覽或查找視頻摘要比瀏覽原始視頻要節(jié)省時(shí)間。

　　視頻摘要生成方法及過程

　　視頻摘要的生成方法大致可以分為4類：

　　簡單的生成方法

　　基于時(shí)間點(diǎn)對視頻進(jìn)行采樣，即每間隔一定的時(shí)間抽取一個(gè)代表幀或者一個(gè)片段，這種生成方法很容易實(shí)現(xiàn)，但完全沒有基于視頻的內(nèi)容。

　　基于視覺信息的生成方法

　　根據(jù)視頻里出現(xiàn)的顏色、紋理、形狀、運(yùn)動(dòng)方向和強(qiáng)度等視覺信息，基于模式識別的思維，應(yīng)用各種視頻和圖像處理技術(shù)，進(jìn)行鏡頭探測、關(guān)鍵幀提取、場景聚類、運(yùn)動(dòng)特征提取等一系列操作，最終生成具有代表性的關(guān)鍵幀序列或縮略視頻。這種算法完全基于視覺特征，忽略了音頻、字幕等信息對視頻的作用。

　　融合多特性的生成方法

　　在基于視覺方法的基礎(chǔ)上融入其他媒體提供的信息，準(zhǔn)確的判斷視頻片段的重要程度，這種算法是目前大多數(shù)視頻摘要技術(shù)采用的方法。

　　基于視頻句法語義的生成方法

　　從視頻的句法結(jié)構(gòu)分析入手，探尋鏡頭與鏡頭之間、場景與場景之間的結(jié)構(gòu)規(guī)則，將視頻的句法語義盡可能完整的保存在摘要中。

　　視頻摘要生成過程可以歸納為3個(gè)過程：

　　視頻分割

　　任何視頻摘要算法都遵循“先分后合”的原則，要進(jìn)行視頻內(nèi)容理解和分析必須首先將視頻切分成合理的基本單位，這些基本單位包括場景、鏡頭、幀等。

　　視頻內(nèi)容提取

　　采用模式識別或者視頻結(jié)構(gòu)探測的方法來獲取能夠被計(jì)算機(jī)或者人感覺的信息。

　　合成摘要

　　把判定為重要的視頻片段組合在一起形成某種形式的摘要。

　　如果將上述3個(gè)過程細(xì)化，由原始視頻生成視頻摘要首先要對非結(jié)構(gòu)化的圖像流進(jìn)行處理，使之成為結(jié)構(gòu)化的數(shù)據(jù)，這個(gè)過程被稱為視頻結(jié)構(gòu)化，又叫視頻分析。幀是視頻數(shù)據(jù)的最小單元，是一幅靜止的畫面，鏡頭是由幀組成的視頻數(shù)據(jù)的基本單位，是攝像頭的一次連續(xù)的動(dòng)作，只能拍攝相鄰地點(diǎn)連續(xù)發(fā)生的事情，場景由內(nèi)容相近的鏡頭組成，從不同的角度描述同一個(gè)事件，視頻是由許多場景組成，敘述一件完成的事情。針對視頻內(nèi)容的結(jié)構(gòu)化提取是通過自底向上的方法從每一幀中分析出結(jié)構(gòu)化信息。

　　視頻結(jié)構(gòu)化主要步驟有鏡頭分割、關(guān)鍵幀提取、場景重構(gòu)。

　　鏡頭分割：鏡頭是視頻檢索的基本單元，大部分視頻是由一個(gè)個(gè)鏡頭連接而成的。在編輯時(shí)，可能采用不同的方法將前后兩個(gè)鏡頭結(jié)合在一起。兩個(gè)鏡頭的結(jié)合方法可能是突變，即一個(gè)鏡頭直接加在上一個(gè)鏡頭最后一個(gè)畫面之后;也可能是漸變，如淡入淡出、慢轉(zhuǎn)換等。鏡頭分割過程的主要工作是鏡頭邊界的檢測。常用的鏡頭邊界檢測的算法有突變檢測算法和漸變檢測算法。

　　關(guān)鍵幀提?。涸谶M(jìn)行鏡頭分割后，視頻被分解為一個(gè)個(gè)連續(xù)的鏡頭。在同一鏡頭中，t時(shí)刻的圖像幀和t+1時(shí)刻的圖像幀往往在視覺特征和內(nèi)容上差別不大，所以在一個(gè)鏡頭中對分析過程而言存在太多的冗余的圖像幀，因此就需要從成千上萬的圖像幀中提取關(guān)鍵幀。所謂關(guān)鍵幀是用于描述一個(gè)鏡頭內(nèi)容的關(guān)鍵圖像，它是從原始的視頻文件中抽取的一些靜態(tài)圖像。靜態(tài)視頻摘要就是由這些關(guān)鍵幀組成的。用它們來表示視頻，更加簡潔，也消除了在視頻分析時(shí)的巨大冗余。關(guān)鍵幀提取主要是利用圖論、曲線分裂、聚類和奇異值分解的方法。這些方法的基本思想是把一幀看成是多維特征空間中的一點(diǎn)，選擇的關(guān)鍵幀是點(diǎn)的子集，這些點(diǎn)集能夠覆蓋特征距離內(nèi)的其它點(diǎn)，或者能夠表明場景內(nèi)容的變化。關(guān)鍵幀提取算法主要有:基于鏡頭邊界法、基于顏色特征法、基于運(yùn)動(dòng)分析法、基于內(nèi)容的自適應(yīng)提取方法、基于聚類的關(guān)鍵幀提取方法等。

　　場景重構(gòu)：場景是由語義上相關(guān)和時(shí)間上相鄰的若干組鏡頭組成的。場景是視頻所蘊(yùn)涵的高層抽像概念和語義的表達(dá)。在視頻分割中，首先將視頻切分為一個(gè)個(gè)的鏡頭，然而實(shí)質(zhì)上某一些連續(xù)的鏡頭在情節(jié)上是相關(guān)的，這組鏡頭具有相同的語義，表達(dá)同樣的主題，將這些鏡頭重構(gòu)成場景也是視頻結(jié)構(gòu)化的重要部分。重構(gòu)的場景是觀眾頭腦中形成的主觀概念，因此，場景重構(gòu)的邊界檢測也就比鏡頭邊界檢測要困難得多，更具有挑戰(zhàn)性。完全自動(dòng)場景變換檢測系統(tǒng)很難實(shí)現(xiàn)，很多文獻(xiàn)提出了場景變化檢測的算法。這些算法可分為兩類:時(shí)間約束聚類算法和聲音、視覺特性檢測算法。前者是把視覺相似和時(shí)間接近的鏡頭組織成一個(gè)場景，目標(biāo)在于用一種緊湊且有語義含義的方法表示視頻;后者則強(qiáng)調(diào)模仿人的觀察力檢測場景變化。

　　視頻摘要未來發(fā)展趨勢

　　隨著視頻、音頻內(nèi)容分析技術(shù)、自然語言理解以及人工交互技術(shù)的不斷發(fā)展與完善，未來的視頻摘要技術(shù)將出現(xiàn)以下發(fā)展趨勢:

　　1)多模態(tài)的視頻摘要，即融合圖像、視頻、音頻以及文本等多種媒體內(nèi)容的視頻摘要。大量的實(shí)驗(yàn)證明，將各種媒體的特征有機(jī)地結(jié)合在一起，才能最大限度地讓用戶在短時(shí)間內(nèi)迅速理解并獲取視頻的內(nèi)容，如標(biāo)題與故事板相結(jié)合的摘要形式必定會比單一的標(biāo)題或故事板的摘要形式更容易讓人理解。

　　2)交互式的視頻摘要?，F(xiàn)在的視頻摘要多半是主觀的、按照生成者意圖定制的摘要，力求讓用戶理解或?yàn)g覽視頻內(nèi)容。但未來的視頻摘要將是交互式的，允許用戶指定摘要的形式，摘要哪方面的內(nèi)容，便于用戶自己設(shè)計(jì)個(gè)性化的摘要。未來的視頻摘要技術(shù)目標(biāo)是生成自適應(yīng)的、可視化的視頻摘要，即根據(jù)用戶需求對內(nèi)容進(jìn)行自適應(yīng)的表現(xiàn)。具體體現(xiàn)在允許用戶對視頻片段進(jìn)行標(biāo)注，允許用戶調(diào)整縮略的壓縮比，如對感興趣的內(nèi)容設(shè)置較小的壓縮率。另外，它可以通過對用戶交互記錄的分析獲取用戶的喜好，按照用戶喜好自適應(yīng)地生成縮略。目前，已經(jīng)能夠?qū)崿F(xiàn)通過交互式的地圖以及時(shí)間線的方法對新聞視頻按地區(qū)和時(shí)間進(jìn)行快速信息的獲取。

　　總而言之，視頻摘要技術(shù)正在向多模態(tài)、個(gè)性化以及融合的方向發(fā)展，具有很好的研究價(jià)值以及廣闊的應(yīng)用前景。

　　視頻摘要在安防領(lǐng)域的作用

　　視頻摘要技術(shù)目前已經(jīng)廣泛地應(yīng)用于大量使用視頻監(jiān)控的行業(yè)，例如：

　　公安行業(yè)：關(guān)鍵道路、卡口視頻智能摘要;

　　交通行業(yè)：重點(diǎn)路段、收費(fèi)閘口視頻智能摘要;

　　監(jiān)獄看守所：重點(diǎn)監(jiān)舍、人員交接班視頻智能摘要;

　　大型展會：場館、出入口視頻智能摘要;

　　電信行業(yè)：相關(guān)網(wǎng)店、基站、機(jī)房視頻智能摘要;

　　電力行業(yè)：相關(guān)變電站、電力設(shè)備。

　　目前市場推出的視頻摘要子系統(tǒng)是從海量的視頻文件中迅速定位播放相關(guān)事件的視頻，找出有價(jià)值的視頻信息，縮短視頻回放翻查時(shí)間，節(jié)省人力成本，使查看所有視頻成為日常工作的一部分。視頻摘要子系統(tǒng)能夠?qū)χ攸c(diǎn)監(jiān)控區(qū)域的錄像文件進(jìn)行特征分析，使原來需要數(shù)小時(shí)查看的文件，在幾分鐘內(nèi)可以快速瀏覽查看。用戶通過摘要回放，可以快捷的預(yù)覽視頻覆蓋時(shí)間內(nèi)的可疑事件和事件發(fā)生時(shí)間，并根據(jù)摘要短片中的單個(gè)事件索引，直接鏈接播放可疑事件的原始視頻，觀看整個(gè)事件的真實(shí)情況。同時(shí)視頻摘要子系統(tǒng)還提供對處理后的視頻文件進(jìn)行物件特征搜索功能，用戶可以通過設(shè)置活動(dòng)物件大小、移動(dòng)方向以及顏色等信息，對大范圍的視頻進(jìn)行搜索，找出與用戶設(shè)置信息類似的物件，并通過查找結(jié)果，回溯到原始視頻。

　　結(jié)語

　　總的來說視頻摘要技術(shù)已經(jīng)廣泛使用在安防行業(yè)各種應(yīng)用場景。視頻摘要技術(shù)建立在基于內(nèi)容的多媒體分析技術(shù)基礎(chǔ)上，多年以來一直是國內(nèi)外多媒體研究的熱點(diǎn)之一。如何集成現(xiàn)有成熟技術(shù)到視頻摘要系統(tǒng)中，使視頻分析和檢索系統(tǒng)能夠真正實(shí)現(xiàn)商業(yè)化應(yīng)用，也是今后研究的重點(diǎn)之一，面向監(jiān)視視頻的視頻摘要技術(shù)具有很大的商業(yè)應(yīng)用前景。

　　(本文作者現(xiàn)任杭州?？低曄到y(tǒng)技術(shù)有限公司圖像處理與智能分析部工程師)