幀間差分法
    幀間差分法又稱圖像序列差分法。當(dāng)監(jiān)控場(chǎng)景中出現(xiàn)運(yùn)動(dòng)物體時(shí)，幀與幀之間會(huì)出現(xiàn)較為明顯的差別，兩幀相減，得到兩幀圖像對(duì)應(yīng)像素點(diǎn)亮度值差的絕對(duì)值，通過(guò)判斷它是否大于閾值，來(lái)分析視頻或圖像序列的運(yùn)動(dòng)特性，以確定圖像序列中有無(wú)物體運(yùn)動(dòng)。圖像序列逐幀地差分，相當(dāng)于對(duì)圖像序列進(jìn)行了時(shí)域上的高通濾波。相鄰幀圖像的差分表達(dá)式為：

    式中為第i幀的亮度分量；為第i-1幀的亮度分量，d為相鄰兩幀圖像對(duì)應(yīng)像素點(diǎn)亮度差值的絕對(duì)值。那相鄰幀差圖為： 

    式中T為相鄰圖像差分比較閾值，為差分圖像中對(duì)應(yīng)像素點(diǎn)的亮度值。

 
    幀間差分法的優(yōu)點(diǎn)主要有：算法實(shí)現(xiàn)簡(jiǎn)單，程序設(shè)計(jì)復(fù)雜度低；對(duì)光線等場(chǎng)景變化不太敏感，能夠適應(yīng)各種動(dòng)態(tài)環(huán)境，穩(wěn)定性較好。

    其缺點(diǎn)主要有：不能提取出對(duì)象的完整區(qū)域，只能提取出邊界；對(duì)快速運(yùn)動(dòng)的物體，需要選擇較小的時(shí)間間隔，如果選擇不合適，物體在前后兩幀中沒(méi)有重迭時(shí)，會(huì)被檢測(cè)為兩個(gè)分開的物體；而對(duì)慢速運(yùn)動(dòng)的物體，應(yīng)該選擇較大的時(shí)間間隔，如果此時(shí)選擇不適當(dāng)，當(dāng)物體在前后兩幀中幾乎完全重迭，則檢測(cè)不到物體。

    除了最簡(jiǎn)單的逐像素相減，差分圖像還可以由兩組屬于相鄰圖像幀的像素(如相鄰的四個(gè)元素、八個(gè)元素)的均值相減得到。

視頻檢測(cè)總體流程
    視頻檢測(cè)總體流程如圖1所示。

[nextpage]

檢測(cè)帶設(shè)置
    視頻圖像所包含的路口信息豐富、情況復(fù)雜，而對(duì)檢測(cè)車輛闖紅燈違法行為有用的信息在整個(gè)圖像中所占的比例不是很大。因此，沒(méi)有必要對(duì)整幅圖像進(jìn)行處理來(lái)獲得檢測(cè)信息。同時(shí)，如果對(duì)整幅圖像進(jìn)行處理所產(chǎn)生較大的計(jì)算量，不利于電子警察嵌入式系統(tǒng)的穩(wěn)定運(yùn)行，不利于滿足系統(tǒng)的實(shí)時(shí)性要求。本文根據(jù)視頻圖像中實(shí)際車輛運(yùn)行方向，按車道數(shù)目分別截取一定寬度、高度的矩形圖像區(qū)域，作為車輛違法檢測(cè)帶，并通過(guò)對(duì)檢測(cè)帶圖像進(jìn)行處理，對(duì)處理結(jié)果進(jìn)行信息提取，最后做出車輛是否為違法行駛的判斷，達(dá)到檢測(cè)車輛違法行為的目的。檢測(cè)帶的位置和大小可以根據(jù)需要調(diào)整，以適應(yīng)道路路口車輛檢測(cè)的實(shí)際情況。

1、檢測(cè)帶位置
    檢測(cè)帶位置的設(shè)置應(yīng)該考慮以下因素：

    由于現(xiàn)有電子警察系統(tǒng)的攝像頭安裝位置及攝像角度等原因（如圖2所示），在視頻圖像中，當(dāng)車輛停在停車線范圍內(nèi)時(shí)，車身會(huì)遮擋停車線及停車線前很大一片區(qū)域。同時(shí)，由于車輛種類不同，車身高度也不一樣，在視頻中遮擋的區(qū)域大小也不一樣。因此，檢測(cè)帶位置的設(shè)置必須根據(jù)不同路口、不同的攝像機(jī)架設(shè)位置及多數(shù)車輛車身高度，來(lái)作為設(shè)置檢測(cè)帶位置的參考，以避免在停車線范圍內(nèi)運(yùn)動(dòng)或靜止的車輛出現(xiàn)在檢測(cè)帶圖像中。

    檢測(cè)帶的設(shè)置應(yīng)該盡量避免人流量較多的區(qū)域，如人行橫道線等，盡量減少因?yàn)樾腥诉M(jìn)入檢測(cè)帶而造成的對(duì)檢測(cè)結(jié)果的影響。在本文所采用的路口視頻圖像中，有的車輛車身較高，即使該車輛停止在停車線范圍內(nèi)，也會(huì)遮擋住人行橫道線區(qū)域。綜合參考以上設(shè)置檢測(cè)帶位置的條件，并根據(jù)視頻圖像中路口實(shí)際情況，我們將檢測(cè)帶設(shè)置在人行橫道線離攝像頭遠(yuǎn)端的位置，如圖3所示。

 
2、檢測(cè)帶大小
    檢測(cè)帶的寬度是根據(jù)視頻圖像中車道大小而定的，如同一個(gè)車輛行駛方向上有多個(gè)車道，而每個(gè)車道的交通信號(hào)控制不盡相同，因此需要按不同車道實(shí)行車輛的視頻檢測(cè)。在圖3中，同一個(gè)車輛行駛方向上有兩個(gè)車道，因此需要設(shè)置兩條檢測(cè)帶。在本視頻圖像中，檢測(cè)帶的寬度為70~75個(gè)像素點(diǎn)。檢測(cè)帶高度的設(shè)定，要考慮以下幾方面的因素：
·考慮到圖像處理時(shí)系統(tǒng)計(jì)算的數(shù)據(jù)量盡量少；
·當(dāng)一車尾隨另一車雙雙闖紅燈時(shí)，檢測(cè)帶盡量能夠檢測(cè)出兩車之間的無(wú)車區(qū)域，從而判別出是兩輛車有違法行為，對(duì)兩輛車進(jìn)行抓拍取證；
·如檢測(cè)帶高度太小，對(duì)車輛特征包含不夠，會(huì)造成車輛駛?cè)霗z測(cè)帶后，相鄰兩幅圖像差分無(wú)明顯結(jié)果，而無(wú)法判斷車輛是否還在檢測(cè)帶中的情況。

 
    綜合上面的因素，并做了大量的觀察和實(shí)驗(yàn)，本文設(shè)定檢測(cè)帶的高度為1520個(gè)像素。

[nextpage]
圖像差分法
    幀間差分法就是將輸入連續(xù)的相鄰兩幀圖像在空域中進(jìn)行差分，它是當(dāng)前圖像中的像素的灰度值減去前一幀圖像對(duì)應(yīng)像素的灰度值，若差值少于某一個(gè)閾值就判定為背景，若差值大于該閾值就判定為前景信息。但在實(shí)際的檢測(cè)系統(tǒng)中，由于攝像頭受風(fēng)等因素而產(chǎn)生的抖動(dòng)等，會(huì)對(duì)這種直接差分結(jié)果產(chǎn)生巨大影響。因此，在幀間差分時(shí)，提出了改進(jìn)的幀間差分方法——鄰域比較法，其具體方法是：

    1、取當(dāng)前幀的圖像像素為，則相應(yīng)的前一幀圖像的一個(gè)3×3的模板為：

    2、將當(dāng)前幀的像素與模版中像素的灰度相比較，若它們的差值小于閾值，則判定為背景點(diǎn)，將其灰度置為0，就不再做鄰域比較。否則，再與前一幀其余的8個(gè)鄰域點(diǎn)相比較，只要有一差值小于閾值，就將其判定為背景點(diǎn)，不再比較。若當(dāng)前幀與模板中所有點(diǎn)的灰度比較的結(jié)果都大于閾值，則判定該點(diǎn)為前景圖像點(diǎn)，則將其灰度置為1。

    通過(guò)此種鄰域比較法在實(shí)現(xiàn)了背景圖像與前景圖像分離的同時(shí)，也實(shí)現(xiàn)了圖像的二值化，從而提高了檢測(cè)效率。本文即采用此方法來(lái)實(shí)現(xiàn)視頻流中兩幅圖像的差分運(yùn)算。本文實(shí)驗(yàn)所用的視頻圖像為道路路口場(chǎng)景，即使在綠燈情況下，車輛的行駛速度也不快。視頻圖像為25幀/秒，即每?jī)蓭瑘D像的時(shí)間間隔為40毫秒。在40毫秒的時(shí)間里，車輛的運(yùn)動(dòng)距離很小，使得視頻序列中前后兩幀圖像變化不大，加上圖像分辨率為352×288像素點(diǎn)，圖像的清晰度不高。如果直接將相鄰兩幀圖像進(jìn)行差分，所得到的差分圖像結(jié)果并不明顯，不能夠很好判斷圖像中是否有車輛運(yùn)動(dòng)。經(jīng)過(guò)反復(fù)試驗(yàn)，本文采用時(shí)間間隔120毫秒的圖像進(jìn)行鄰域差分，這樣得出的差分圖像效果較好。鄰域比較相鄰兩幅圖像（本文以下所涉及到的相鄰兩幅圖像都是指時(shí)間間隔為120毫秒的兩幅圖像）對(duì)應(yīng)像素點(diǎn)差分所選閾值也極為重要。閾值偏大時(shí)，會(huì)出現(xiàn)差分圖像中車輛信息丟失過(guò)多的情況；閾值較小時(shí)，會(huì)出現(xiàn)差分圖像中干擾信息多，而無(wú)法判別車輛信息的情況。因此，本文選取閾值為15。

提取差分圖像特征信息及分析
    相鄰兩幅圖像通過(guò)差分所得到的圖像，僅僅反映了圖像中物體運(yùn)動(dòng)位置的變化，要從差分圖像中分別判斷出車輛進(jìn)入檢測(cè)帶、在檢測(cè)帶中行駛以及離開檢測(cè)帶的過(guò)程情況，必須要提取相關(guān)的差分圖像信息，并進(jìn)行相應(yīng)分析。需要提取的特征信息包括：差分圖像中前景圖像像素點(diǎn)數(shù)量及前景圖像的形心位置。

1、前景圖像像素點(diǎn)數(shù)量
    檢測(cè)帶設(shè)置的位置，要盡量避免有除車輛以外的其它運(yùn)動(dòng)物體的干擾，但偶爾也會(huì)出現(xiàn)行人進(jìn)入檢測(cè)帶等干擾情況的發(fā)生。行人在檢測(cè)帶中所占面積較小，且在大多數(shù)情況下運(yùn)動(dòng)速度相對(duì)車輛速度較慢，前后兩幅圖像人的運(yùn)動(dòng)造成的圖像差異不大，因此在差分圖像中呈現(xiàn)的干擾像素點(diǎn)的數(shù)量較少，而車輛在檢測(cè)帶中的面積較大且運(yùn)動(dòng)速度相對(duì)較快，前后兩幅圖像中車輛運(yùn)動(dòng)造成的圖像差異較大，因此在差分圖像中反映出的像素點(diǎn)數(shù)量較多。本文采用計(jì)算差分圖像中像素點(diǎn)數(shù)量的方法，來(lái)實(shí)現(xiàn)對(duì)車輛進(jìn)入檢測(cè)帶的判斷。當(dāng)差分圖像中的前景像素點(diǎn)數(shù)量不少于閾值 時(shí)，判定有車進(jìn)入檢測(cè)帶，屬于違法闖紅燈行為；反之，則判定為其它非車輛的干擾情況。經(jīng)過(guò)大量實(shí)驗(yàn)和統(tǒng)計(jì)，本文設(shè)定閾值為30。 [nextpage]

 2、前景圖像的形心位置
    當(dāng)目標(biāo)車輛表面存在大面積的灰度均勻區(qū)域時(shí)，相鄰兩幅圖像差分后，會(huì)在前景車輛圖像中出現(xiàn)“空洞”，從而使前景圖像被分割成多個(gè)區(qū)域。

    本文曾試圖采用數(shù)學(xué)形態(tài)學(xué)中的腐蝕與膨脹來(lái)實(shí)現(xiàn)去除空洞，然后通過(guò)記錄圖像中前景圖像像素點(diǎn)位置來(lái)判斷車輛的行駛狀況。然而，由于差分圖像中常常會(huì)出現(xiàn)較大的“空洞”，因此使用該方法效果并不明顯，且計(jì)算數(shù)據(jù)量較大，對(duì)系統(tǒng)實(shí)時(shí)性要求不利。經(jīng)過(guò)對(duì)大量差分圖像的觀察及實(shí)驗(yàn)，本文發(fā)現(xiàn)，雖然在差分圖像中存在“空洞”現(xiàn)象，導(dǎo)致前景圖像被分割，然而所有被分割的前景圖像大致可以反映出車輛的形狀輪廓，特別是車輛左右兩側(cè)的輪廓。因此，本文采用形心算法來(lái)計(jì)算差分后的前景圖像的形心。形心算法是通過(guò)對(duì)二維圖像的處理和計(jì)算來(lái)確定目標(biāo)中心位置的算法。從二值化圖像中可以得出目標(biāo)的形心位置： 

    其中g(shù)(x,y)為差分圖像中(x,y)處的灰度值，為目標(biāo)形心位置，N，M為分別為圖像長(zhǎng)、寬方向的像素點(diǎn)數(shù)。

    這樣，形心算法的計(jì)算簡(jiǎn)單，計(jì)算量較小，在較短時(shí)間內(nèi)就可以完成計(jì)算，輸出差分前景圖像形心的位置。在本文差分圖像這種簡(jiǎn)單背景模式下，形心算法比較有效。因此本文采用形心算法實(shí)現(xiàn)檢測(cè)帶中車輛運(yùn)動(dòng)的跟蹤。通過(guò)對(duì)大量差分圖像中前景車輛圖像形心的計(jì)算可以得出以下結(jié)論。
·對(duì)于單輛車通過(guò)檢測(cè)帶時(shí)，形心的水平坐標(biāo)(x方向坐標(biāo))變化不大，在0~5個(gè)像素點(diǎn)間擺動(dòng)；
·在反映車輛在進(jìn)入檢測(cè)帶的初始幾幀的圖像中，形心的豎直坐標(biāo)(y方向坐標(biāo))在檢測(cè)帶偏下位置接近檢測(cè)帶下邊沿的位置；而當(dāng)車輛將駛出檢測(cè)帶的最后幾幀圖像中，形心的豎直坐標(biāo)則接近檢測(cè)帶上邊沿的位置；車輛在檢測(cè)帶中其它運(yùn)動(dòng)狀態(tài)時(shí)，形心的豎直坐標(biāo)處于上下擺動(dòng)中，擺動(dòng)狀況取決于差分圖像中車輛自身特征信息的多少；
·當(dāng)檢測(cè)帶中沒(méi)有運(yùn)動(dòng)物體時(shí)，相鄰兩幅圖像的差分圖像中，沒(méi)有前景圖像的像素點(diǎn)，因此沒(méi)有圖像的形心存在。

車輛違法行為的判斷
    根據(jù)以上對(duì)差分圖像特征信息的提取和分析，本文提出對(duì)車輛進(jìn)入檢測(cè)帶區(qū)域、離開檢測(cè)帶區(qū)域及車輛在檢測(cè)帶中運(yùn)動(dòng)等情況的判斷：

1、車輛進(jìn)入檢測(cè)帶
    當(dāng)差分圖像的前景像素點(diǎn)的數(shù)量不少于閾值 (30個(gè)像素點(diǎn))時(shí)，判定有車輛入檢測(cè)帶，系統(tǒng)判斷有車輛闖紅燈的違法行為，于是啟動(dòng)抓拍裝置，對(duì)違法車輛進(jìn)行違法取證；反之，當(dāng)前景像素點(diǎn)數(shù)量不足 時(shí)，則判定是非車輛的干擾物體，如行人的干擾情況等。當(dāng)判定有車輛進(jìn)入檢測(cè)帶后，系統(tǒng)便開始計(jì)算并記錄差分前景圖像的形心的水平坐標(biāo)位置；同時(shí)，系統(tǒng)啟動(dòng)圖像抓拍裝置，對(duì)車輛違法行為進(jìn)行拍攝。

2、車輛離開檢測(cè)帶
    當(dāng)車輛離開檢測(cè)帶時(shí)，若該車輛后方無(wú)車輛尾隨駛?cè)霗z測(cè)帶中，差分前景圖像中的像素點(diǎn)會(huì)逐漸減少，形心的豎直坐標(biāo) 會(huì)逐漸靠近圖像的上邊沿。當(dāng)車輛完全離開檢測(cè)帶時(shí)，差分前景圖像像素點(diǎn)為0，則形心不存在。因此，當(dāng)判斷到形心不存在時(shí)，則判定車輛已經(jīng)駛出了檢測(cè)帶。

3、車輛行駛在檢測(cè)帶中
     當(dāng)車輛行駛在檢測(cè)帶中時(shí)，差分圖像序列中前后兩幅差分圖像的像素點(diǎn)數(shù)量不會(huì)有劇烈的變化，但像素點(diǎn)數(shù)量變化會(huì)有一定波動(dòng)。在考察差分前景圖像形心的水平坐標(biāo)時(shí)，發(fā)現(xiàn) 的變化在左右5個(gè)像素點(diǎn)的范圍內(nèi)；而只有當(dāng)該車輛在檢測(cè)帶中行駛時(shí)，另有車輛從其旁邊駛?cè)霗z測(cè)帶中，會(huì)造成差分前景圖像的 發(fā)生劇烈變化，超過(guò)5個(gè)像素點(diǎn)的變化范圍。另外一種情況也會(huì)造成圖像 的劇烈變化：當(dāng)兩輛車并行在檢測(cè)帶中行駛時(shí)，一輛車率先駛出檢測(cè)帶，差分前景圖像的 也會(huì)發(fā)生劇烈變化， 會(huì)移動(dòng)到還沒(méi)有駛離檢測(cè)帶的車輛差分圖像中。

[nextpage]
    因此，本文判定當(dāng)差分圖像形心的水平坐標(biāo)位置 變化在左右5個(gè)像素點(diǎn)范圍內(nèi)時(shí)，差分圖像所反映的前景圖像是同一輛車或同幾輛車同時(shí)在檢測(cè)帶中行駛；否則，當(dāng) 的變化超出5個(gè)像素范圍時(shí)，判定另外有車輛從旁邊駛?cè)牖蜍囕v并行情況下有車率先駛出檢測(cè)帶，即檢測(cè)帶中行駛車輛數(shù)量發(fā)生變化的情況。

幾種特殊情況的判斷
    下面是對(duì)路口現(xiàn)場(chǎng)的幾種特殊的車輛闖紅燈違法行為的分析與判斷。

1、多輛車尾隨闖紅燈的情況
    當(dāng)一輛車輛還沒(méi)有完全駛離檢測(cè)帶時(shí)，有另一輛車輛尾隨其駛?cè)霗z測(cè)帶中。此時(shí)在差分圖像中顯示的前景圖像形心的水平位置 的變化仍在5個(gè)像素點(diǎn)的范圍內(nèi)，因此很難用 的變化來(lái)判斷有新車闖紅燈。在對(duì)路口實(shí)際情況及視頻圖像作了詳細(xì)統(tǒng)計(jì)后發(fā)現(xiàn)，反映車輛經(jīng)過(guò)檢測(cè)帶過(guò)程的序列圖像的數(shù)量有一定范圍。按照統(tǒng)計(jì)結(jié)果顯示，車輛根據(jù)其車身長(zhǎng)度和行駛速度不同，在檢測(cè)帶中留下的圖像數(shù)量一般在1320幅之間(每幅圖像相120ms)。當(dāng) 未超過(guò)變化范圍的情況下，連續(xù)差分圖像數(shù)量超過(guò)20幅時(shí)，則判定為另外有車輛尾隨前車進(jìn)入檢測(cè)帶中。此時(shí)便需要啟動(dòng)抓拍裝置，拍攝車輛闖紅燈行為。

2、并行車輛出現(xiàn)檢測(cè)帶區(qū)域
    車輛行駛在檢測(cè)帶過(guò)程中，另有車輛從其旁邊闖入檢測(cè)帶；或兩車并行駛?cè)霗z測(cè)帶中，一車率先駛出檢測(cè)帶的情況(即檢測(cè)帶水平方向上出現(xiàn)車輛數(shù)量變化的情況。

    以上兩種情況都會(huì)造成差分前景圖像的 發(fā)生劇烈變化。當(dāng) 發(fā)生超出5個(gè)像素范圍變化時(shí)，系統(tǒng)將計(jì)算此時(shí)差分前景圖像像素點(diǎn)的數(shù)量，使其與前一差分圖像像素點(diǎn)數(shù)量作比較。如果像素點(diǎn)數(shù)量發(fā)生增多的現(xiàn)象，則判定此時(shí)是另外有車輛從現(xiàn)有車輛一側(cè)闖入檢測(cè)帶中，則需要啟動(dòng)抓拍裝置；如果像素點(diǎn)數(shù)量發(fā)生減少的現(xiàn)象，則判定在檢測(cè)帶中原有兩輛車并行，此時(shí)有一輛車率先駛出了檢測(cè)帶，系統(tǒng)對(duì)此不作抓拍處理。

結(jié)語(yǔ)
    本文對(duì)采用幀間差分法這一視頻檢測(cè)技術(shù)來(lái)實(shí)現(xiàn)車輛闖紅燈違法行為的檢測(cè)進(jìn)行了初步研究，還需進(jìn)行大量的實(shí)踐驗(yàn)證，并在實(shí)際驗(yàn)證的應(yīng)用中不斷改進(jìn)和完善。此外，針對(duì)不同的違法行為特點(diǎn)，可對(duì)算法進(jìn)行改進(jìn)和調(diào)整，使這種視頻檢測(cè)算法技術(shù)可對(duì)超速、逆行、禁停、壓黃線、搶占公交車道等一系列違法行為進(jìn)行檢測(cè)。