專利名稱：基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及在交通視頻監(jiān)控系統(tǒng)中的數(shù)字視頻穩(wěn)定方法，特別涉及一種基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法。
背景技術(shù)：
交通流參數(shù)信息自動(dòng)采集和處理是智能交通系統(tǒng)中一項(xiàng)重要的研究課題，是進(jìn)行公路交通管理的基礎(chǔ)。它可以用于檢測(cè)道路的車流量、車型、車速、占有率等交通數(shù)據(jù)，是控制車流出入，確保道路安全暢通的重要手段。同時(shí)它也為交通管理統(tǒng)計(jì)有關(guān)數(shù)據(jù)，為管理者的決策提供有效的數(shù)字依據(jù)。目前交通流參數(shù)檢測(cè)廣泛應(yīng)用于交通疏導(dǎo)、道路資源配置、道路建設(shè)評(píng)估等領(lǐng)域。隨著計(jì)算機(jī)視覺(jué)理論和以視頻采集設(shè)備為基礎(chǔ)的車輛識(shí)別與交通流檢測(cè)技術(shù)的成熟，基于數(shù)字視頻的交通流參數(shù)信息采集已經(jīng)可以自動(dòng)采集和處理，在不需要人工干預(yù)或很少干預(yù)的情況下，通過(guò)對(duì)視頻序列中車輛的檢測(cè)、分割、識(shí)別和跟蹤完成交通信息的提取。道路中架設(shè)的監(jiān)控?cái)z像機(jī)一般安裝在8 12米的空中，周圍無(wú)遮擋物，往往會(huì)因?yàn)轱L(fēng)力等因素影響而出現(xiàn)攝像機(jī)晃動(dòng)，這種不穩(wěn)定的視頻圖像容易使觀察者產(chǎn)生視疲勞感，從而導(dǎo)致誤判或漏判；對(duì)于視頻監(jiān)控和視頻跟蹤系統(tǒng)，由于拍攝平臺(tái)的不穩(wěn)定，會(huì)帶來(lái)跟蹤誤差，在某些情況下甚至導(dǎo)致跟蹤目標(biāo)的丟失或錯(cuò)誤。因此，攝像系統(tǒng)的穩(wěn)定化是交通信息有效提取的前提和基本保證。電子視頻穩(wěn)定技術(shù)是將視頻序列中因?yàn)閿z像機(jī)抖動(dòng)而帶來(lái)的圖像擾動(dòng)去除，從而實(shí)現(xiàn)視頻序列穩(wěn)定化的過(guò)程。其中運(yùn)動(dòng)估計(jì)是視頻穩(wěn)定中一項(xiàng)重要的技術(shù)環(huán)節(jié)，運(yùn)動(dòng)估計(jì)算法的有效性會(huì)直接影響視頻穩(wěn)定的效果與效率。針對(duì)各種具體的應(yīng)用場(chǎng)合，目前常用的運(yùn)動(dòng)估計(jì)算法大致可以分為基于圖像塊、基于灰度值和基于特征的運(yùn)動(dòng)估計(jì)方法?；趫D像塊的方法是最常見(jiàn)的一種運(yùn)動(dòng)矢量估計(jì)方法，在進(jìn)行運(yùn)動(dòng)矢量估計(jì)時(shí)，塊的大小、搜索范圍和搜索方法都將影響結(jié)果的精確性和計(jì)算的復(fù)雜性；基于灰度信息的方法算法較簡(jiǎn)單， 易于實(shí)現(xiàn)，對(duì)于僅存在平移運(yùn)動(dòng)的圖像序列，能夠較為準(zhǔn)確、快速地實(shí)現(xiàn)運(yùn)動(dòng)矢量的估計(jì)； 基于特征的方法，可以較為準(zhǔn)確、快速地實(shí)現(xiàn)目標(biāo)特征量的識(shí)別與配準(zhǔn)，對(duì)于配準(zhǔn)得到的目標(biāo)圖像偏移信息，通過(guò)運(yùn)動(dòng)濾波和補(bǔ)償?shù)燃夹g(shù)可以實(shí)現(xiàn)圖像序列的穩(wěn)定化，但適應(yīng)性較差。 在道路監(jiān)控中為了保證系統(tǒng)的實(shí)時(shí)性和準(zhǔn)確性，要求視頻穩(wěn)定系統(tǒng)應(yīng)該具有較高的運(yùn)算速度和較強(qiáng)的抗干擾能力。為此需要采用合理的技術(shù)保證運(yùn)動(dòng)估計(jì)的準(zhǔn)確性和實(shí)時(shí)性。現(xiàn)有運(yùn)動(dòng)估計(jì)算法在實(shí)際應(yīng)用中存在不足，需要研究一種能夠在實(shí)時(shí)視頻中保證穩(wěn)定精度和具有一定抗干擾能力的運(yùn)動(dòng)估計(jì)算法。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)現(xiàn)有道路監(jiān)控視頻穩(wěn)定系統(tǒng)的不足，提出一種基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法，在道路視頻監(jiān)控環(huán)境下能夠保證系統(tǒng)的時(shí)間代價(jià)、穩(wěn)定精度和魯棒性，并且容易實(shí)現(xiàn)，能夠滿足道路交通視頻監(jiān)控系統(tǒng)對(duì)于交通流參數(shù)數(shù)據(jù)的有效提取。為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法，其包括以下步驟步驟1)對(duì)輸入圖像進(jìn)行非線性平滑去除噪聲，增強(qiáng)圖像細(xì)節(jié)；步驟2)圖像中的信息很多，但不是所有的信息都需要關(guān)注或能為工作提供幫助， 所以需要對(duì)這些信息進(jìn)行篩選，將能夠提供穩(wěn)定的特征信息提取出來(lái)。本發(fā)明根據(jù)視頻監(jiān)控系統(tǒng)穩(wěn)定精度要求確定特征搜索范圍，獲取最佳特征信息；步驟幻在相鄰幀之間對(duì)模板和待匹配塊進(jìn)行十字灰度投影，在一定范圍內(nèi)對(duì)特征信息進(jìn)行配準(zhǔn)，根據(jù)其差異找到最佳匹配區(qū)域；步驟4)圖像間的運(yùn)動(dòng)有兩種情況，一種是圖像中物體本身的運(yùn)動(dòng)；另一種是由于攝像機(jī)的移動(dòng)造成的圖像間物體的相對(duì)移動(dòng)。因此需要將這兩種運(yùn)動(dòng)區(qū)分出來(lái)，本發(fā)明中采用運(yùn)動(dòng)方程為勻速的卡爾曼濾波器，采用遞推式的方法構(gòu)造動(dòng)態(tài)運(yùn)動(dòng)模型，獲得攝像機(jī)運(yùn)動(dòng)參數(shù)，用以描述由于攝像機(jī)運(yùn)動(dòng)所造成的幀間運(yùn)動(dòng)，將運(yùn)動(dòng)估計(jì)得到的偏移序列中的隨機(jī)抖動(dòng)進(jìn)行辨識(shí)和濾除；步驟5)對(duì)因?yàn)橐曨l抖動(dòng)而丟失圖像區(qū)域進(jìn)行修補(bǔ)，填充未知區(qū)域，利用圖像序列之間的時(shí)間相關(guān)性，對(duì)相鄰幀采用混合高斯模型對(duì)其進(jìn)行重建。本發(fā)明針對(duì)監(jiān)控需要，建立了完整的視頻穩(wěn)定模型，利用視頻序列前后幀的相關(guān)特征信息，根據(jù)道路監(jiān)控的特點(diǎn)，對(duì)圖像配準(zhǔn)采用分級(jí)比對(duì)，特征信息采用由粗到細(xì)，由局部配準(zhǔn)到全局配準(zhǔn)的原則進(jìn)行，利用特征灰度投影算法快速、準(zhǔn)確地完成運(yùn)動(dòng)矢量的估計(jì)， 對(duì)于運(yùn)動(dòng)估計(jì)得到的偏移序列，通過(guò)動(dòng)態(tài)濾波技術(shù)對(duì)視頻序列中的隨機(jī)抖動(dòng)進(jìn)行辨識(shí)和濾除，提高了穩(wěn)像精度和穩(wěn)像效率，得到了滿意的道路視頻監(jiān)控穩(wěn)定圖像。本發(fā)明的有益效果具體如下1)道路監(jiān)控視頻受外界各種噪聲干擾嚴(yán)重，通常采集到的圖像質(zhì)量較差，因此首先需要對(duì)噪聲污染的圖像進(jìn)行去噪處理。圖像去噪采用基于十字滑動(dòng)窗口的快速自適應(yīng)圖像中值濾波方法，它可以在有效地濾除圖像中的脈沖噪聲的同時(shí)保留圖像細(xì)節(jié)，保證圖像特征提取的準(zhǔn)確性。2)根據(jù)監(jiān)控平臺(tái)要求的穩(wěn)定精度設(shè)定特征匹配的初始搜索范圍，將獲取的特征信息作為模板，在搜索范圍內(nèi)進(jìn)行特征匹配，得到最佳的匹配特征。搜索過(guò)程中為了避免出現(xiàn)運(yùn)動(dòng)目標(biāo)較大范圍移動(dòng)時(shí)特征點(diǎn)移出搜索區(qū)域造成特征點(diǎn)無(wú)法匹配的情況，需要建立圖像金字塔結(jié)構(gòu)，利用圖像金字塔從最高層圖像細(xì)節(jié)最少向金字塔底層圖像細(xì)節(jié)豐富進(jìn)行遞進(jìn)搜索，以保證在較小的搜索區(qū)域能捕獲較大范圍的運(yùn)動(dòng)。3)道路視頻監(jiān)控中，攝像機(jī)為固定架設(shè)，攝像機(jī)的晃動(dòng)通常是由于風(fēng)力的影響而產(chǎn)生，因此攝像機(jī)的晃動(dòng)通常是平移運(yùn)動(dòng)，所以對(duì)特征模型匹配可以只考慮平移運(yùn)動(dòng)，不考慮旋轉(zhuǎn)、縮放運(yùn)動(dòng)。在連續(xù)視頻圖像序列中，圖像灰度會(huì)逐幀變化，但在相鄰兩幀間，圖像重合區(qū)域內(nèi)的灰度分布基本相同。利用這一原理，對(duì)模板和待匹配塊進(jìn)行十字灰度投影，根據(jù)其差異找到最佳匹配區(qū)域。4)利用數(shù)字濾波技術(shù)完成圖像運(yùn)動(dòng)補(bǔ)償，視頻穩(wěn)定中需要保留圖像序列中存在的主動(dòng)運(yùn)動(dòng)，減少或消除由于攝像機(jī)抖動(dòng)所造成圖像序列中的有害運(yùn)動(dòng)，因此需要采用相應(yīng)的穩(wěn)定技術(shù)實(shí)現(xiàn)失真圖像序列的穩(wěn)定化和校正。視頻序列中抖動(dòng)失真是圖像偏移的一種高頻變化，平動(dòng)偏移是圖像偏移的一種低頻變化，對(duì)于一個(gè)失真圖像序列進(jìn)行運(yùn)動(dòng)濾波之前， 需要對(duì)估計(jì)得到的偏移序列進(jìn)行分析和辨識(shí)，根據(jù)辨識(shí)的失真模式和頻率來(lái)設(shè)定運(yùn)動(dòng)濾波
權(quán)利要求
1.一種基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法，其特征在于包括以下步驟 步驟1)對(duì)輸入圖像進(jìn)行非線性平滑去除噪聲；步驟2)根據(jù)系統(tǒng)要求精度確定特征搜索范圍，獲取最佳特征信息； 步驟幻對(duì)模板和待匹配塊進(jìn)行十字灰度投影，根據(jù)其差異找到最佳匹配區(qū)域； 步驟4)采用運(yùn)動(dòng)方程為勻速的卡爾曼濾波器，采用遞推式的方法構(gòu)造動(dòng)態(tài)運(yùn)動(dòng)模型，獲得攝像機(jī)運(yùn)動(dòng)參數(shù)，用以描述由于攝像機(jī)運(yùn)動(dòng)所造成的幀間運(yùn)動(dòng)，將運(yùn)動(dòng)估計(jì)得到的偏移序列中的隨機(jī)抖動(dòng)進(jìn)行辨識(shí)和濾除；步驟5)對(duì)因?yàn)橐曨l抖動(dòng)而丟失圖像區(qū)域進(jìn)行填補(bǔ)，利用圖像序列之間的時(shí)間相關(guān)性，對(duì)相鄰幀采用混合高斯模型對(duì)其進(jìn)行重建。
2.如權(quán)利要求1所述的基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法，其特征在于所述的步驟 1)包括采用自適應(yīng)快速十字滑動(dòng)窗口中值濾波方法，滑動(dòng)窗口為H行、W列，窗口中心坐標(biāo)為(i，j)，十字窗口對(duì)應(yīng)的矩陣M(i，j)與窗口選取的權(quán)值f(i，j)的關(guān)系由公式(1)表
3.如權(quán)利要求1所述的基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法，其特征在于所述步驟2) 包括設(shè)dx、dy為圖像在水平方向χ和垂直方向y上的最大可能位移，則圖像中一點(diǎn)(i，j) 的搜索范圍為(i-dx，i+dx)，(j-dy，j+dy)，建立圖像金字塔結(jié)構(gòu)，從高層圖像細(xì)節(jié)向金字塔底層圖像細(xì)節(jié)進(jìn)行遞進(jìn)搜索，獲取最佳特征信息。
4.如權(quán)利要求1所述的基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法，其特征在于所述步驟3) 包括1)將二維圖像信息映射為兩個(gè)獨(dú)立的一維灰度曲線，分別表示圖像的行和列，投影方法由公式(2)和(3)表示
5.如權(quán)利要求1所述的基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法，其特征在于所述步驟 4)包括設(shè)圖像中一像素的位置\的估值輸出為χ' n，攝像機(jī)抖動(dòng)頻率yn的估值輸出為 γ' n，經(jīng)過(guò)一個(gè)采樣周期后圖像像素可能到達(dá)的預(yù)測(cè)位置為χ' n+1。，抖動(dòng)頻率為y' n+1，濾波方程由公式(6)、(7)表示；預(yù)測(cè)方程由公式⑶、(9)表示
6.如權(quán)利要求1所述的基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法，其特征在于所述步驟5) 包括視頻監(jiān)控圖像中任意一點(diǎn)在一段時(shí)間內(nèi)灰度樣本構(gòu)成的時(shí)間序列符合高斯分布的加權(quán)和，使用混合高斯模型來(lái)描述一段時(shí)間內(nèi)樣本灰度值時(shí)間序列的特征分布情況，通過(guò)圖像信息丟失區(qū)域與模型進(jìn)行配準(zhǔn)，利用配準(zhǔn)后的參數(shù)對(duì)圖像信息丟失區(qū)域進(jìn)行填充，達(dá)到圖像修補(bǔ)的目的。
全文摘要
本發(fā)明涉及一種基于運(yùn)動(dòng)估計(jì)的道路視頻穩(wěn)定方法，其包括以下步驟對(duì)輸入圖像進(jìn)行非線性平滑去除噪聲；根據(jù)系統(tǒng)要求精度確定特征搜索范圍，獲取最佳特征信息；對(duì)模板和待匹配塊進(jìn)行十字灰度投影，根據(jù)其差異找到最佳匹配區(qū)域；采用運(yùn)動(dòng)方程為勻速的卡爾曼濾波器，采用遞推式的方法構(gòu)造動(dòng)態(tài)運(yùn)動(dòng)模型，獲得攝像機(jī)運(yùn)動(dòng)參數(shù)，用以描述由于攝像機(jī)運(yùn)動(dòng)所造成的幀間運(yùn)動(dòng)，將運(yùn)動(dòng)估計(jì)得到的偏移序列中的隨機(jī)抖動(dòng)進(jìn)行辨識(shí)和濾除；對(duì)因?yàn)橐曨l抖動(dòng)而丟失圖像區(qū)域進(jìn)行填補(bǔ)，利用圖像序列之間的時(shí)間相關(guān)性，對(duì)相鄰幀采用混合高斯模型對(duì)其進(jìn)行重建。
文檔編號(hào)H04N7/26GK102202164SQ20111013227
公開(kāi)日2011年9月28日 申請(qǐng)日期2011年5月20日 優(yōu)先權(quán)日2011年5月20日
發(fā)明者孫大躍, 屈立成, 曹偉, 李鵬 申請(qǐng)人:江蘇長(zhǎng)天智遠(yuǎn)交通科技有限公司西安分公司, 西安天鍵信息技術(shù)工程有限公司, 長(zhǎng)安大學(xué)