專利名稱：一種夜間監(jiān)控視頻增強(qiáng)方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機(jī)視覺領(lǐng)域中的圖像增強(qiáng)處理領(lǐng)域，尤其是涉及針對夜視監(jiān)控視頻的增強(qiáng)方法。
背景技術(shù)：
相對于白天，夜間情況下的光照條件較差，采集到夜間監(jiān)控視頻存在分辨率低，對比度差、圖像細(xì)節(jié)丟失等不足。因此，夜間視頻增強(qiáng)是視頻安全監(jiān)控系統(tǒng)最重要同時也是最困難的部分之一。大多數(shù)監(jiān)控攝像機(jī)的表現(xiàn)在低光照或高對比環(huán)境下不盡如人意。低光線產(chǎn)生噪聲視頻圖像，高亮光(例如汽車頭燈)過度曝光攝像機(jī)的感光元件，以至于所有的細(xì)節(jié)丟失。普通的監(jiān)控攝像機(jī)電子設(shè)備過于簡單，不能補償這一問題，所以有必要考慮在將夜間圖像呈現(xiàn)給用戶之前對其進(jìn)行增強(qiáng)，從而傳遞更多信息。
傳統(tǒng)的視頻增強(qiáng)方法通過直方圖均衡、低通轉(zhuǎn)換或者色調(diào)映射等方法增強(qiáng)夜間視頻[1]。這些技術(shù)在亮度值逐步改變的相對一致區(qū)域常常產(chǎn)生噪聲視頻或者錯誤的輪廓，因為在視頻中噪聲或者像素值間很小的差別有可能過度放大。他們通常不能很好的增強(qiáng)夜間視頻，因為視頻昏暗區(qū)域的信息已經(jīng)丟失，不管應(yīng)多多少照度增強(qiáng)辦法也不能取回信息。
早期的針對夜間監(jiān)控視頻增強(qiáng)方法[2’3]采用梯度信息檢測夜間圖像中的顯著區(qū)域，并綜合白天圖像達(dá)到增強(qiáng)效果。Cai等M提出了一種基于上下文的圖像融合技術(shù)用于增強(qiáng)夜間視頻。Yamasaki等[5]將夜間圖像的灰度分量分離為照度分量和反射分量，利用提前得到的白天和夜間背景圖像的照度分量增強(qiáng)夜間視頻。Li等[6]首先使用混合高斯模型提取前景目標(biāo)，然后引入位移不變離散小波變化技術(shù)用于白天和夜間圖像的時域融合，取得了不錯的處理效果。
目前，夜間圖像課題的難點包括兩方面(1)因為傳感器噪聲或非常低的光照的原因，獲取的夜間圖像有很多的噪聲；(2)觀察者不能看清高亮光或者昏暗區(qū)域的場景信息。本專利主要針對第二個難點，提出一種解決方案。
參考文獻(xiàn)
[I]E. P. Bennett and L. McMillan. Video enhancement using per-pixel virtual exposures. ACMTransactions on Graphics, 24 (2005)3, 845-852.
[2]R. Raskar, A.1lie, and J. Yu, "Image fusion for context enhancement and video surrealism, "International Symposium on Non-Photorealistic Animation and Rendering, pp. 85-94，2004.
[3]A.1lie, R. Raskar, and J. Yu. Gradient domain con-text enhancement for fixed cameras.1nternationalJournal of Pattern Recognition and Artificial Intel l1-gence, 19(2005)4，533-549.
[4]Y. Cai, K. Huang, T. Tan, and Y. Wang, ^Context enhancement of nighttime surveil lance by imagefusion, "ICPR, pp. 980-983，2006.
[ 5 ] A . Yamasaki, H . Takauj i , S . Kaneko，T . Kanade，andH. Ohkij"Denighting: enhancement of nighttime image for a surveillance camera, 〃19th International Conference of Pattern Recognition, 2008.
[6] J. Li, T. Yang, Q. Pan, and Y. M. Cheng，"Combining scene model and fusion for night videoenhancement,^Journal of Electronics (china)，vol.26，no. 1，p p. 88-93，2009.發(fā)明內(nèi)容
針對當(dāng)前現(xiàn)有夜間監(jiān)控視頻處理存在的不足，提出了一種融合白天和夜間圖像信息的增強(qiáng)方法。目的是在保留夜間顯著對象的同時，恢復(fù)背景信息，提高圖像的可視性。本發(fā)明的技術(shù)方案如下
一種夜間監(jiān)控視頻增強(qiáng)方法，該方法包括下列步驟
(I)采用時域平均方法分別提取白天視頻背景圖像BKDay和夜間視頻背景圖像 BKNight，設(shè)需要進(jìn)行視頻增強(qiáng)的夜間圖像為當(dāng)前夜間圖像，使用RGB三顏色通道的均值表示當(dāng)前夜間圖像Ni的灰度圖，并用INTNighti表示，下標(biāo)i代表該夜間圖像的幀序號；
(2)利用夜間背景圖像，采用背景差的方法檢測運動目標(biāo)，得到二值圖BW1，其取值為I的像素點表示潛在運動前景目標(biāo)區(qū)域；
(3)采用下述的驗證算法去除干擾區(qū)域先用數(shù)學(xué)形態(tài)學(xué)膨脹算子對二值圖BWl 中取值為I的點進(jìn)行處理，連接斷裂部分；再標(biāo)注膨脹結(jié)果圖像的連通區(qū)域，計算各連通區(qū)域內(nèi)像素點的數(shù)目，對于某個連通區(qū)域，當(dāng)它的像素數(shù)大于一定數(shù)值NUM時，才被判定為前景區(qū)域，BffImageli表示檢測到的前景區(qū)域；
(4)設(shè)定下限閾值(T3)和上限閾值(T4),將當(dāng)前夜間圖像的灰度

圖1NTNighti中灰度值大于下限閾值(T3)且當(dāng)前夜間圖像的飽和度分量值小于上限閾值(T4)的像素點取1， 得到潛在的夜間強(qiáng)光區(qū)域，將經(jīng)過此種準(zhǔn)則檢驗的二值圖像稱為BW2 ；
(5)采用步驟(3)的驗證算法對二值圖BW2進(jìn)行處理，去除干擾區(qū)域，得到得到用 Bfflmage2i表示檢測到的夜間強(qiáng)光區(qū)域；
(6)將前景區(qū)域BWImageli和夜間強(qiáng)光區(qū)域BWImageZi進(jìn)行合并，得到最終的夜間圖像顯著區(qū)域BWImagei ；
(7)對當(dāng)前夜間圖像的RGB三個通道分別進(jìn)行增強(qiáng)處理；
(8)使用夜間圖像顯著區(qū)域BWImagei將當(dāng)前夜間圖像分割為兩部分，即顯著變化區(qū)域和背景不顯著變化區(qū)域，對于顯著變化區(qū)域，增強(qiáng)圖像的像素點取對應(yīng)位置經(jīng)過步驟(7)增強(qiáng)處理后夜間圖像像素點的數(shù)值；對于背景不顯著變化區(qū)域，增強(qiáng)圖像的像素點取白天背景圖像像素點的數(shù)值。
作為優(yōu)選實施方式，步驟(7)采用下式對當(dāng)前夜間圖像的RGB三個通道分別采用 下式進(jìn)行增強(qiáng)處理
權(quán)利要求
1.一種夜間監(jiān)控視頻增強(qiáng)方法，該方法包括下列步驟 (1)采用時域平均方法分別提取白天視頻背景圖像BKDay和夜間視頻背景圖像BKNight，設(shè)需要進(jìn)行視頻增強(qiáng)的夜間圖像為當(dāng)前夜間圖像，使用RGB三顏色通道的均值表示當(dāng)前夜間圖像的灰度圖，并用INTNighti表示，下標(biāo)i代表該夜間圖像的幀序號； (2)利用夜間背景圖像，采用背景差的方法檢測運動目標(biāo)，得到二值圖BW1，其取值為I的像素點表示潛在運動前景目標(biāo)區(qū)域； (3)采用下述的驗證算法去除干擾區(qū)域先用數(shù)學(xué)形態(tài)學(xué)膨脹算子對二值圖BWl中取值為I的點進(jìn)行處理，連接斷裂部分；再標(biāo)注膨脹結(jié)果圖像的連通區(qū)域，計算各連通區(qū)域內(nèi)像素點的數(shù)目，對于某個連通區(qū)域，當(dāng)它的像素數(shù)大于一定數(shù)值NUM時，才被判定為前景區(qū)域，BffImageli表示檢測到的前景區(qū)域； (4)設(shè)定下限閾值(T3)和上限閾值(T4),將當(dāng)前夜間圖像的灰度圖1NTNighti中灰度值大于下限閾值(T3)且當(dāng)前夜間圖像的飽和度分量值小于上限閾值(T4)的像素點取1，得到潛在的夜間強(qiáng)光區(qū)域，將經(jīng)過此種準(zhǔn)則檢驗的二值圖像稱為BW2 ； (5)采用步驟(3)的驗證算法對二值圖BW2進(jìn)行處理，去除干擾區(qū)域，得到得到用Bfflmage2i表示檢測到的夜間強(qiáng)光區(qū)域； (6)將前景區(qū)域BWImageli和夜間強(qiáng)光區(qū)域BWImagdi進(jìn)行合并，得到最終的夜間圖像顯著區(qū)域BWImagei ； (7)對當(dāng)前夜間圖像的R、G、B三個通道分別進(jìn)行增強(qiáng)處理； (8)使用夜間圖像顯著區(qū)域BWImageJf當(dāng)前夜間圖像分割為兩部分，即顯著變化區(qū)域和背景不顯著變化區(qū)域，對于顯著變化區(qū)域，增強(qiáng)圖像的像素點取對應(yīng)位置經(jīng)過步驟(7)增強(qiáng)處理后夜間圖像像素點的數(shù)值；對于背景不顯著變化區(qū)域，增強(qiáng)圖像的像素點取白天背景圖像像素點的數(shù)值。
2.根據(jù)權(quán)利要求1所述的夜間監(jiān)控視頻增強(qiáng)方法，其特征在于，步驟(7)采用下式對當(dāng)前夜間圖像的RGB三個通道分別采用下式進(jìn)行增強(qiáng)處理
全文摘要
本發(fā)明涉及計算機(jī)視覺領(lǐng)域中的圖像增強(qiáng)處理領(lǐng)域，涉及一種夜間監(jiān)控視頻增強(qiáng)方法，包括分別提取白天視頻背景圖像和夜間視頻背景圖像；對于夜間圖像，利用夜間背景圖像，采用背景差的方法檢測運動目標(biāo)，并去除干擾區(qū)域，得到前景區(qū)域；檢測夜間強(qiáng)光區(qū)域；將前景區(qū)域和夜間強(qiáng)光區(qū)域合并，得到最終的夜間圖像顯著區(qū)域；對當(dāng)前夜間圖像進(jìn)行增強(qiáng)處理；使用夜間圖像顯著區(qū)域?qū)?dāng)前夜間圖像分割為兩部分，即顯著變化區(qū)域和背景不顯著變化區(qū)域，對于顯著變化區(qū)域，增強(qiáng)圖像的像素點取對應(yīng)位置增強(qiáng)處理后夜間圖像像素點的數(shù)值；對于背景不顯著變化區(qū)域，增強(qiáng)圖像的像素點取白天背景圖像像素點的數(shù)值。本發(fā)明能夠恢復(fù)背景信息，提高夜間圖像的可視性。
文檔編號G06T5/50GK103020930SQ20121049153
公開日2013年4月3日 申請日期2012年11月26日 優(yōu)先權(quán)日2012年11月26日
發(fā)明者王建, 曹群 申請人:天津大學(xué)