視頻分析技術(shù)通常采用背景分離(背景減除)技術(shù)來(lái)進(jìn)行圖像變化的檢測(cè)(所有的視頻分析模式，如入侵、丟包、逆行等都是一種模式的圖像變化)。其思路是對(duì)視頻幀與基準(zhǔn)背景圖像進(jìn)行比較，相同位置的像素(區(qū)域)變化則認(rèn)為是變化了的區(qū)域，對(duì)這些區(qū)域進(jìn)一步處理、跟蹤、識(shí)別，得到包括目標(biāo)位置、尺寸、形狀、速度、停留時(shí)間等基本形態(tài)信息和動(dòng)態(tài)信息，完成目標(biāo)的跟蹤和行為理解之后，也就完成了圖像與圖像描述之間的映射關(guān)系，從而使系統(tǒng)進(jìn)一步進(jìn)行規(guī)則判定，直到觸發(fā)報(bào)警。

　　背景減除法是目前普遍使用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，其算法本身需要大量的運(yùn)算處理資源，并且仍然會(huì)受到光線、天氣等自然條件及背景自身變化(海浪、云影、樹(shù)葉搖動(dòng)等情況)的影響。但是，針對(duì)不同的天氣以及自然干擾，已經(jīng)有多種附加算法(過(guò)濾器)應(yīng)用來(lái)彌補(bǔ)這些缺陷，隨著芯片能力的提升及算法改進(jìn)，相信視頻分析技術(shù)會(huì)進(jìn)一步成熟。

　　視頻內(nèi)容分析的關(guān)鍵技術(shù)

　　前景目標(biāo)的探測(cè)是視頻分析技術(shù)實(shí)施的前提條件。背景減除法是目前視頻分析技術(shù)中用于前景目標(biāo)探測(cè)的最常見(jiàn)方法，其原理是利用當(dāng)前圖象和背景圖象的差分(SAD)來(lái)檢測(cè)出運(yùn)動(dòng)目標(biāo)(區(qū)域)的一種方法。此方法可以提供比較完整的運(yùn)動(dòng)目標(biāo)特征數(shù)據(jù)，精確度和靈敏度比較高，具有良好的性能表現(xiàn)，但對(duì)動(dòng)態(tài)場(chǎng)景的變化，如光線變化情況也比較敏感。背景減除法的工作原理如圖2所示，當(dāng)前圖像與背景圖像模型做差后形成運(yùn)動(dòng)目標(biāo)區(qū)域，即圖中的小船。

　　背景模型的建立是背景減除法的關(guān)鍵所在。通常，視頻分析算法需要一定的時(shí)間進(jìn)行“背景學(xué)習(xí)”，所謂背景學(xué)習(xí)，實(shí)質(zhì)上是利用時(shí)間平均圖像的方法，將背景在一個(gè)時(shí)間段(如30秒鐘)內(nèi)的平均圖像計(jì)算出來(lái)，作為該場(chǎng)景的背景模型。那么，“背景學(xué)習(xí)”時(shí)間結(jié)束后，系統(tǒng)仍然需要具有“背景維護(hù)”的能力，之前建模的背景并不是一成不變的，這樣能保證系統(tǒng)對(duì)場(chǎng)景內(nèi)的圖像變化不那么敏感，如光線變化、影子等等，因此，開(kāi)發(fā)出實(shí)用、有效的背景模型以適應(yīng)動(dòng)態(tài)、復(fù)雜的場(chǎng)景是目標(biāo)探測(cè)及視頻分析技術(shù)的關(guān)鍵。

　　視頻分析的工作流程

　　視頻分析實(shí)質(zhì)是人工智能的一部分，是通過(guò)模仿人類的工作過(guò)程來(lái)實(shí)現(xiàn)的。人類通過(guò)眼睛這個(gè)“傳感器”實(shí)現(xiàn)視頻的采集、預(yù)處理、處理然后將真實(shí)圖像傳送給大腦，大腦并不是對(duì)所有傳送過(guò)來(lái)的圖像進(jìn)行整體的分析處理，而是采用多層分級(jí)，將背景、緩慢移動(dòng)及遠(yuǎn)處的目標(biāo)分辨率最低化，忽略一些細(xì)節(jié);并對(duì)前景感興趣區(qū)進(jìn)行二次聚焦(我們常說(shuō)的眼前一亮就是這個(gè)意思)，獲得更多細(xì)節(jié)，然后對(duì)該區(qū)域進(jìn)行判定。

　　圖3所展示的案例是日常生活中常見(jiàn)的情況，圖像是一個(gè)地鐵站臺(tái)，畫面中出現(xiàn)一個(gè)穿紅色衣服的女子，手里拿著一個(gè)黑色包放到站臺(tái)中的一個(gè)空地上，之后迅速離開(kāi)。這是一個(gè)很普通的視頻場(chǎng)景，值班人員對(duì)這段場(chǎng)景很容易迅速地提取出特征描述來(lái)，即“一個(gè)紅衣女子將一個(gè)黑色包放在站臺(tái)上后迅速離開(kāi)”，而對(duì)這個(gè)簡(jiǎn)單的信息，值班人員利用眼睛采集到信息，首先是場(chǎng)景(站臺(tái))，之后分離出感興趣的前景目標(biāo)(紅衣女)，之后對(duì)其跟蹤，最后形成結(jié)論(丟下一個(gè)包)，之后將整個(gè)過(guò)程的完整信息傳給大腦去按規(guī)則判定。

　　無(wú)論采用何種視頻分析架構(gòu)，其視頻分析過(guò)程都是視頻內(nèi)容分析的算法模塊“協(xié)力作業(yè)”的結(jié)果，視頻分析基本過(guò)程如下(見(jiàn)圖4)：

　　·加載算法過(guò)程：加載用戶的預(yù)定義規(guī)則，如防區(qū)、分析模式等;

　　·過(guò)濾器加載：對(duì)特殊場(chǎng)景進(jìn)行預(yù)處理如防抖動(dòng)、雨雪、燈光抑制等;

　　·背景建模及更新：背景模型建立并自動(dòng)學(xué)習(xí)更新背景情況;

　　·目標(biāo)提取與跟蹤：提取跟蹤前景變化目標(biāo)，檢測(cè)并分析目標(biāo)的活動(dòng);

　　·目標(biāo)分類：對(duì)跟蹤的目標(biāo)進(jìn)行分類，如人或車輛等;

　　·視頻分析判斷過(guò)程：根據(jù)規(guī)則判斷是否符合預(yù)定義規(guī)則;

　　·觸發(fā)報(bào)警過(guò)程：確定目標(biāo)活動(dòng)違反規(guī)則，根據(jù)預(yù)定義傳輸報(bào)警到指定的用戶。

　　視頻分析技術(shù)難點(diǎn)

　　視頻分析技術(shù)本身并不是一項(xiàng)新技術(shù)，但其在視頻監(jiān)控系統(tǒng)中的應(yīng)用還僅僅處于起步階段，它給視頻監(jiān)控系統(tǒng)帶來(lái)了顛覆性的革命，具有美好的發(fā)展遠(yuǎn)景。目前，視頻分析系統(tǒng)本身有一些技術(shù)問(wèn)題有待提升，下面是一些需要克服的技術(shù)難點(diǎn)。

　　光照適應(yīng)性

　　通常，視頻監(jiān)控系統(tǒng)需要24小時(shí)晝夜工作，所處環(huán)境的光照情況也是一直處于變化中，如晝夜的交替、陰晴雨雪霧等天氣條件，及外界光源干擾，如照明燈光、逆光、反光、車燈，還有室外云彩、云影的動(dòng)態(tài)變化等，所有這些都對(duì)視頻分析核心算法的光照適應(yīng)性提出了嚴(yán)格的要求，優(yōu)異的視頻分析算法應(yīng)該具有先進(jìn)的背景學(xué)習(xí)、更新、維護(hù)功能。

　　自然天氣變化

　　雨、雪、霧、沙塵天氣、煙霧、氣流、云影等，體現(xiàn)的不僅僅是光照的變化，而是真正的圖像像素變化，這些“小假象”會(huì)導(dǎo)致系統(tǒng)視為場(chǎng)景中有物體在移動(dòng)，從而干擾了真正的目標(biāo)探測(cè)，浪費(fèi)系統(tǒng)資源，因此，需要采用“過(guò)濾”機(jī)制將這些干擾做過(guò)濾處理。

　　背景的高頻率變化

　　在視頻圖像背景中，可能出現(xiàn)搖動(dòng)的樹(shù)葉、晃動(dòng)的波浪、光線反射、物體的反光、草地的微動(dòng)等等現(xiàn)象，這些現(xiàn)象都可能造成畫面像素出現(xiàn)變化，從而導(dǎo)致誤報(bào)。系統(tǒng)需要具有先進(jìn)的過(guò)濾器，實(shí)現(xiàn)對(duì)規(guī)則往復(fù)性、細(xì)小運(yùn)動(dòng)進(jìn)行過(guò)濾，使其集中精力在前景。

　　高速移動(dòng)目標(biāo)

　　視頻分析系統(tǒng)基于自身算法及目前處理器的運(yùn)算處理能力，通常對(duì)非實(shí)時(shí)視頻圖像進(jìn)行分析(如每秒采用12幀或6幀)，這樣當(dāng)像素的采用頻率比較低的時(shí)候，視頻分析算法需要連續(xù)分析一定數(shù)量的幀才能確定是否報(bào)警，而這時(shí)如果需要的分析時(shí)間長(zhǎng)于入侵者通過(guò)防范區(qū)域的時(shí)間，入侵者可能已經(jīng)完成入侵動(dòng)作而導(dǎo)致系統(tǒng)漏報(bào)。

　　視頻分析的架構(gòu)

　　目前，在實(shí)際應(yīng)用中，視頻分析產(chǎn)品主要有三種架構(gòu)：一種是基于后端的服務(wù)器(軟件算法運(yùn)行于CPU);第二種是基于前端的IPC或DVS;第三種是利用前端嵌入式視頻分析設(shè)備(僅僅做視頻分析，不做編碼壓縮工作)。其中，第三種方式是在嵌入式設(shè)備中固化視頻分析模塊，利用網(wǎng)絡(luò)客戶端進(jìn)行遠(yuǎn)程配置與報(bào)警管理。三種架構(gòu)也可以按照目前主流說(shuō)法分成兩大類，即前端分析與后端分析(見(jiàn)圖5)。

　　需要注意的是，對(duì)于視頻分析功能，最根本的考核是性能，即良好的探測(cè)率和較低的誤報(bào)率。其實(shí)視頻分析架構(gòu)方式并不是最重要的，其實(shí)質(zhì)都是視頻分析算法來(lái)完成的，只不過(guò)是運(yùn)行平臺(tái)不同，一個(gè)在DSP上，一個(gè)在計(jì)算機(jī)的CPU上，也不存在某種方式絕對(duì)好與壞，實(shí)際應(yīng)用中應(yīng)該根據(jù)項(xiàng)目的規(guī)模、前期設(shè)備的架構(gòu)、用戶的需求、網(wǎng)路建設(shè)等具體情況進(jìn)行選擇部署。

　　視頻分析技術(shù)實(shí)施誤區(qū)

　　視頻分析的設(shè)置本身并不難，通常步驟是：選擇好視場(chǎng)、明確分析模式，然后進(jìn)行防區(qū)、分辨率、靈敏度、各種過(guò)濾器的選擇和使用。設(shè)置視頻分析的過(guò)程很快，但是，對(duì)一個(gè)通道視頻分析進(jìn)行參數(shù)微調(diào)、現(xiàn)場(chǎng)模擬、參數(shù)修正、再模擬、算法優(yōu)化、效果觀察等工作卻是一個(gè)漫長(zhǎng)而復(fù)雜的工作。在各環(huán)節(jié)中，要解決 “提高探測(cè)率，降低誤報(bào)率”的問(wèn)題，必須長(zhǎng)期地嘗試和試驗(yàn)，這也是視頻分析廠家實(shí)驗(yàn)室產(chǎn)品和真正可投入應(yīng)用的產(chǎn)品的最大區(qū)別。

　　視頻分析產(chǎn)品的真正考量在室外環(huán)境，對(duì)于室內(nèi)環(huán)境，廠商基本可以進(jìn)行模擬試驗(yàn)，問(wèn)題不大。但是對(duì)于大型戶外項(xiàng)目，環(huán)境復(fù)雜、遇到的問(wèn)題比較多，系統(tǒng)調(diào)試階段工作量比較大，從調(diào)試到試運(yùn)行，可能需要不止一次的現(xiàn)場(chǎng)模擬、參數(shù)微調(diào)、效果觀察、統(tǒng)計(jì)、再模擬過(guò)程。每個(gè)項(xiàng)目有自己的特點(diǎn)、一個(gè)項(xiàng)目中各點(diǎn)位有自己的特點(diǎn)，各點(diǎn)位又有不同的應(yīng)用需求，并且視頻分析產(chǎn)品并非是“即插即用”的產(chǎn)品，因此必須針對(duì)不同的項(xiàng)目、不同的點(diǎn)位、不同的需求進(jìn)行有針對(duì)地實(shí)施。

　　視頻分析技術(shù)具有一定的復(fù)雜度，國(guó)際上真正掌握視頻分析算法的廠家并不多，從掌握算法、推出實(shí)驗(yàn)室產(chǎn)品到產(chǎn)品真正能夠投入項(xiàng)目運(yùn)行，還有很長(zhǎng)的路要走。對(duì)于一些非常普遍的場(chǎng)景，在實(shí)驗(yàn)室中進(jìn)行模擬有一定困難，因此許多廠家利用工程項(xiàng)目實(shí)施過(guò)程，不斷修正參數(shù)以適應(yīng)不同的環(huán)境，這并不代表廠家的產(chǎn)品不成熟，反而是廠家實(shí)力的體現(xiàn)。