專利名稱：基于直方圖均衡化過(guò)校正恢復(fù)的霧天視頻圖像清晰化方法
技術(shù)領(lǐng)域：
本發(fā)明屬圖像恢復(fù)技術(shù)領(lǐng)域，具體涉及一種基于直方圖均衡化過(guò)校正恢復(fù)的霧天視頻圖像清晰化方法。

背景技術(shù)：
大霧天氣下的圖像，因?yàn)槟芤?jiàn)度的降低，使得畫(huà)面上許多景物的細(xì)節(jié)無(wú)法辨認(rèn)，因此，提高畫(huà)面的能見(jiàn)度，增加圖像的清晰度成為一個(gè)在戶外監(jiān)視系統(tǒng)中不可缺少的一個(gè)核心技術(shù)。
直方圖均衡化方法是對(duì)低對(duì)比度的圖像進(jìn)行清晰化處理的一種常用的比較有效的方法，但存在灰度歸并，以及過(guò)校正等問(wèn)題，同時(shí)，直方圖均衡化方法比較復(fù)雜，很難滿足視頻清晰化的實(shí)時(shí)性的要求。


發(fā)明內(nèi)容
本發(fā)明的目的是，提供一種基于直方圖均衡化過(guò)校正恢復(fù)的霧天視頻圖像清晰化方法，克服現(xiàn)有技術(shù)存在灰度歸并以及過(guò)校正的問(wèn)題，提高畫(huà)面的能見(jiàn)度，并滿足視頻圖像實(shí)時(shí)性處理的要求。
本發(fā)明的技術(shù)方案是，一種基于直方圖均衡化過(guò)校正恢復(fù)的霧天視頻圖像清晰化方法，該方法按照以下步驟實(shí)施， 步驟1、首先，確定視頻幀序列中的基礎(chǔ)幀與后續(xù)幀，將啟動(dòng)清晰化處理后的第一幀作為基礎(chǔ)幀，之后，每隔一定時(shí)間間隔，更新一個(gè)視頻基礎(chǔ)幀，跟在基礎(chǔ)幀后的其余視頻幀為后續(xù)幀； 步驟2、對(duì)步驟1確定的基礎(chǔ)幀進(jìn)行直方圖均衡化處理； 步驟3、對(duì)上步經(jīng)直方圖均衡化處理后的基礎(chǔ)幀，通過(guò)統(tǒng)計(jì)其灰度歸并的情況進(jìn)行過(guò)校正恢復(fù)，得到一個(gè)前后圖像灰度值的映射表hs； 步驟4、對(duì)步驟3經(jīng)過(guò)過(guò)校正恢復(fù)的基礎(chǔ)幀進(jìn)行濾波去噪處理； 步驟5、利用步驟3中過(guò)校正恢復(fù)處理后得到的映射表，對(duì)后續(xù)幀進(jìn)行清晰化處理； 步驟6、對(duì)上步處理后的后續(xù)幀按照步驟4的方法進(jìn)行濾波去噪處理； 步驟7、判斷是否結(jié)束清晰化處理，如果是，則結(jié)束所有的操作， 如果不是，則判斷時(shí)間間隔是否到設(shè)定的閾值T，如果是，下一幀作為基礎(chǔ)幀處理，轉(zhuǎn)步驟2進(jìn)行循環(huán)處理；如果不是，則下一幀作為后續(xù)幀處理，轉(zhuǎn)步驟5進(jìn)行循環(huán)處理，并且將計(jì)數(shù)值加1。
本發(fā)明的有益效果是實(shí)現(xiàn)了對(duì)大霧條件下，戶外監(jiān)視視頻畫(huà)面的實(shí)時(shí)清晰化處理，對(duì)于VGA分辨率下的視頻，經(jīng)過(guò)清晰化處理之后，能夠恢復(fù)出大部分的細(xì)節(jié)信息。

具體實(shí)施例方式 下面結(jié)合具體實(shí)施方式
對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明。
本發(fā)明的方法的原理是，基于直方圖均衡化過(guò)校正恢復(fù)的大霧天氣下視頻圖像清晰化處理方法，將實(shí)時(shí)監(jiān)視的視頻圖像分為基礎(chǔ)幀和后續(xù)幀，基礎(chǔ)幀采用直方圖均衡化處理后，比較原圖像與處理后圖像的直方圖分布特性，并對(duì)所歸并掉的灰度細(xì)節(jié)進(jìn)行恢復(fù)，完成直方圖均衡化的過(guò)校正恢復(fù)，同時(shí)得到清晰化處理的映射表，之后，根據(jù)該映射表對(duì)后續(xù)幀進(jìn)行清晰化處理，實(shí)現(xiàn)了對(duì)視頻監(jiān)視畫(huà)面的實(shí)時(shí)清晰化處理的目的。
本發(fā)明的霧天圖像清晰化處理方法，將處理前的圖像稱為原圖像，按照以下步驟實(shí)施， 步驟1、視頻基礎(chǔ)幀與后續(xù)幀的確定。視頻的基礎(chǔ)幀是指啟動(dòng)清晰化處理后，第一幀圖像為基礎(chǔ)幀，之后，為了適應(yīng)環(huán)境光照的變化，在每隔一定的時(shí)間間隔下，更新基礎(chǔ)幀。更新間隔的時(shí)間可以設(shè)置為10分鐘，按照每秒鐘25幀的幀率計(jì)算，每15000幀中，頭一幀為基礎(chǔ)幀，跟在其后的其余視頻幀為后續(xù)幀。因此，基礎(chǔ)幀所占比例大約為0.006％。
步驟2、對(duì)步驟1確定的基礎(chǔ)幀進(jìn)行直方圖均衡化處理，具體步驟如下 1)、統(tǒng)計(jì)處理前的原圖像[fB(i，j)]m×n的灰度直方圖，記作hB，則 hB(k)＝Nk/(m·n)，k＝0，1，2，...，255(1) 其中，Nk為[fB(i，j)]m×n中，像素值等于k的像素個(gè)數(shù)，m，n分別為圖像[fB(i，j)]m×n的行數(shù)和列數(shù)。
2)、按照下式計(jì)算[fB(i，j)]m×n的累計(jì)直方圖hs，即 3)、按照下式計(jì)算得到直方圖均衡化處理的結(jié)果[fh(i，j)]m×n fh(i，j)＝255·hs(fB(i，j))，i＝1，2，..，m，j＝1，2，..，n(3) 步驟3、對(duì)直方圖均衡化處理后的基礎(chǔ)幀[fh(i，j)]m×n通過(guò)統(tǒng)計(jì)其灰度歸并的情況進(jìn)行過(guò)校正恢復(fù)。
1)、按照公式(1)統(tǒng)計(jì)圖像[fh(i，j)]m×n的灰度直方圖，記作hh。
2)、計(jì)算直方圖均衡化處理前后圖像的直方圖的峰值位置 即設(shè)直方圖為h，則峰值位置kmax為 kmax＝{k|h(k)＝max[h]}(4) 設(shè)按照上式，計(jì)算得到的[fB(i，j)]m×n和[fh(i，j)]m×n的直方圖峰值位置分別為kBmax，khmax。
3)、查找直方圖均衡化處理后被歸并的灰度級(jí)。對(duì)照前后圖像灰度值的映射表hs，如果hs(i)＝hs(j)，則表明原圖像中的灰度值i，j被歸并為相同的值hs(i)；如果hs(i)＝k，hs(i+1)＝k+s，并且s＞1，則表明在處理后圖像中，沒(méi)有像素灰度值[k+1，k+s-1]的范圍內(nèi)，這里稱之為相鄰灰度級(jí)間存在s-1個(gè)空位。
如果原圖像中的所有細(xì)節(jié)全部恢復(fù)，就會(huì)影響到圖像主要成分的對(duì)比度，為此，本發(fā)明設(shè)置有歸并允許歸并像素的概率分布小于萬(wàn)分之五的灰度級(jí)，因?yàn)檫@樣的像素集合對(duì)于圖像的影響非常小，能夠被一般人的視覺(jué)忽略。
計(jì)算原圖像直方圖hB的統(tǒng)計(jì)值，當(dāng)hB(k)≤0.00005時(shí)，則灰度級(jí)k允許被歸并。
4)、暗區(qū)細(xì)節(jié)恢復(fù)。計(jì)算原圖像[fB(i，j)]m×n中
之間的hB(k)＞0.00005的灰度級(jí)個(gè)數(shù)，設(shè)為NBl；計(jì)算直方圖均衡化后圖像[fh(i，j)]m×n中
之間的hh(k)＞0的灰度級(jí)個(gè)數(shù)，設(shè)為Nhl，則需要恢復(fù)的像素級(jí)數(shù)為ΔNl＝NBl-Nhl。
a、如果kBmax＞khmax，表明直方圖均衡化處理后，將峰值變小，統(tǒng)計(jì)圖像[fh(i，j)]在[khmax，kBmax]范圍內(nèi)，不為空位的灰度級(jí)個(gè)數(shù)，記作NhBmax，如果kBmax＜khmax，表明直方圖均衡化處理后，將峰值變大，統(tǒng)計(jì)圖像[fh(i，j)]在[kBmax，khmax]范圍內(nèi)，不為空位的灰度級(jí)個(gè)數(shù)，同樣地，也記作NhBmax， 將這NhBmax個(gè)灰度級(jí)在[kBmax+1，255](峰值位置變小)范圍內(nèi)，或者是[khmax+1，255](峰值位置變大)恢復(fù)。
具體方法是(以下的操作以峰值位置變小的情況下的處理，對(duì)于峰值位置變大的情況，只需要將kBmax與khmax相互替換即可) 按照順序，找到其中的空位，在空位上順序插入Nhomax個(gè)灰度級(jí)即可。這個(gè)操作在映射表修正上表示為 判斷如果Δhs(s)＝hs(kBmax+s)-hs(kBmax+s-1)＞1則找到空位， hs(k)＝hs(k)+Δhs(s)-1，k＝komax，...，ko+s(5) 恢復(fù)了s個(gè)灰度級(jí)，不斷地重復(fù)，直到恢復(fù)的灰度級(jí)個(gè)數(shù)等于NhBmax。
b、對(duì)映射表hs的暗區(qū)部分按照下式進(jìn)行修正，移動(dòng)[fh(i，j)]的直方圖峰值至komaxhs(k)＝hs(k)+(komax-khmax)，k＝0，1，...，khmax(6) c、如果ΔNl＝0，則表明暗區(qū)細(xì)節(jié)不需要恢復(fù)，直接轉(zhuǎn)入亮區(qū)細(xì)節(jié)恢復(fù)。否則，進(jìn)行下面的操作在
的灰度級(jí)范圍內(nèi)，恢復(fù)之前統(tǒng)計(jì)得到的ΔNl個(gè)灰度級(jí)。具體方法是找到映射表hs中所有hs(k)＝(komax-khmax)的元素，將其值逆序分別遞減1即可。
5)、亮區(qū)細(xì)節(jié)恢復(fù)。具體的方法是，在[komax+1，255]范圍內(nèi)，從255至komax逆序查找空位，如果有空位，則將映射表hs中兩個(gè)相等的值中的一個(gè)減1，完成分解，恢復(fù)1個(gè)灰度級(jí)，以此循環(huán)，直到要求的細(xì)節(jié)恢復(fù)個(gè)數(shù)全部分解完成。經(jīng)過(guò)上面的處理之后，獲得了清晰化處理的映射表hs。
步驟4、進(jìn)行濾波去噪處理。因?yàn)楫?huà)面上的噪聲是因?yàn)橛徐F天氣下，空中懸浮的水珠顆粒造成的，可采用中值濾波進(jìn)行處理，中值濾波的步驟如下 1)、設(shè)定模板的大小為3×3； 2)、將該模板在整個(gè)畫(huà)面上移動(dòng)，對(duì)于待處理的像素f(i，j)，取其模板覆蓋的范圍的9個(gè)像素集合Ωf＝{f(i-1，j-1)，f(i-1，j)，f(i-1，j+1)，f(i，j-1)，f(i，j)，f(i，j+1)，f(i+1，j-1)，f(i+1，j)，f(i+1，j+1)}； 3)、將集合中的9個(gè)像素按照像素值的大小進(jìn)行排序，其排列在中間位置上的像素值，作為濾波處理的結(jié)果。
步驟5、對(duì)后續(xù)幀進(jìn)行清晰化處理。后續(xù)幀的清晰化處理方法是，根據(jù)由步驟3中得到的映射表hs給出的值，按照下面的公式獲得清晰化處理的后續(xù)幀[g(i，j)]m×ng(i，j)＝hs(f(i，j))，i＝1，2，..，m，j＝1，2，..，n (7) 步驟6、對(duì)后續(xù)幀進(jìn)行濾波去噪處理。后續(xù)幀的濾波去噪處理方法同步驟4中的基礎(chǔ)幀的濾波去噪處理方法。
步驟7、判斷是否需要退出清晰化處理，如果是，則結(jié)束所有的操作，如果不是，則判斷計(jì)時(shí)器的計(jì)時(shí)時(shí)間是否到設(shè)定的閾值T，如果是，下一幀作為基礎(chǔ)幀處理，轉(zhuǎn)到步驟2進(jìn)行循環(huán)處理；如果不是，則下一幀作為后續(xù)幀處理，轉(zhuǎn)到步驟5進(jìn)行循環(huán)處理，并且計(jì)時(shí)器的計(jì)數(shù)值加1。
本發(fā)明的方法是將視頻序列分為基礎(chǔ)幀和后續(xù)幀兩類，基礎(chǔ)幀的幀數(shù)只占到后續(xù)幀的0.006％左右，對(duì)少量的基礎(chǔ)幀采用過(guò)校正補(bǔ)償?shù)闹狈綀D均衡化方法進(jìn)行處理，處理之后，建立一個(gè)映射表，對(duì)后續(xù)幀則只需要根據(jù)該映射表進(jìn)行查表處理即可。這樣就極大的減少了需要處理的視頻圖像的計(jì)算量，加快了處理的速度，保證了所需的圖像畫(huà)面質(zhì)量，適應(yīng)實(shí)時(shí)監(jiān)控的需要。
采用本發(fā)明的方法，實(shí)現(xiàn)了對(duì)大霧條件下，戶外監(jiān)視視頻畫(huà)面的實(shí)時(shí)清晰化處理，對(duì)于VGA分辨率下的視頻，能夠達(dá)到平均幀率為20幀/秒的處理速度，能夠恢復(fù)出大部分的細(xì)節(jié)信息，效率高，效果好。
權(quán)利要求
1、一種基于直方圖均衡化過(guò)校正恢復(fù)的霧天視頻圖像清晰化方法，其特征在于，該方法按照以下步驟實(shí)施，
步驟1、首先，確定視頻幀序列中的基礎(chǔ)幀與后續(xù)幀，將啟動(dòng)清晰化處理后的第一幀作為基礎(chǔ)幀，之后，每隔一定時(shí)間間隔，更新一個(gè)視頻基礎(chǔ)幀，跟在基礎(chǔ)幀后的其余視頻幀為后續(xù)幀；
步驟2、對(duì)步驟1確定的基礎(chǔ)幀進(jìn)行直方圖均衡化處理；
步驟3、對(duì)上步經(jīng)直方圖均衡化處理后的基礎(chǔ)幀，通過(guò)統(tǒng)計(jì)其灰度歸并的情況進(jìn)行過(guò)校正恢復(fù)，得到一個(gè)前后圖像灰度值的映射表hs；
步驟4、對(duì)步驟3經(jīng)過(guò)過(guò)校正恢復(fù)的基礎(chǔ)幀進(jìn)行濾波去噪處理；
步驟5、利用步驟3中過(guò)校正恢復(fù)處理后得到的映射表，對(duì)后續(xù)幀進(jìn)行清晰化處理；
步驟6、對(duì)上步處理后的后續(xù)幀按照步驟4的方法進(jìn)行濾波去噪處理；
步驟7、判斷是否結(jié)束清晰化處理，如果是，則結(jié)束所有的操作，
如果不是，則判斷時(shí)間間隔是否到設(shè)定的閾值T，如果是，下一幀作為基礎(chǔ)幀處理，轉(zhuǎn)步驟2進(jìn)行循環(huán)處理；如果不是，則下一幀作為后續(xù)幀處理，轉(zhuǎn)步驟5進(jìn)行循環(huán)處理，并且將計(jì)數(shù)值加1。
2、按照權(quán)利要求1所述的方法，其特征在于，所述的步驟2的對(duì)基礎(chǔ)幀進(jìn)行直方圖均衡化處理的具體方法是
1)、統(tǒng)計(jì)處理前的原圖像[fB(i，j)]m×n的灰度直方圖，記作hB，則
hB(k)＝Nk/(m·n)，k＝0，1，2，...，255
其中，Nk為[fB(i，j)]m×n中，像素值等于k的像素個(gè)數(shù)，m，n分別為圖像[fB(i，j)]m×n的行數(shù)和列數(shù)，
2)、按照下式計(jì)算[fB(i，j)]m×n的累計(jì)直方圖hs，即
3)、按照下式計(jì)算得到直方圖均衡化處理的結(jié)果[fh(i，j)]m×n
fh(i，j)＝255·hs(fB(i，j))，i＝1，2，..，m，j＝1，2，..，n。
3、按照權(quán)利要求1所述的方法，其特征在于，所述的步驟3的直方圖均衡化過(guò)校正恢復(fù)方法的具體方法是
1)、統(tǒng)計(jì)直方圖均衡化處理后的圖像[fh(i，j)]m×n的灰度直方圖，記作hh，
2)、計(jì)算直方圖均衡化處理前后圖像的直方圖的峰值位置
即設(shè)直方圖為h，則峰值位置kmax為
kmax＝{k|h(k)＝max[h]}
設(shè)按照上式，計(jì)算得到的[fB(i，j)]m×n和[fh(i，j)]m×n的直方圖峰值位置分別為kBmax，khmax，
3)、查找直方圖均衡化處理后被歸并的灰度級(jí)
對(duì)照前后圖像灰度值的映射表hs，如果hs(i)＝hs(j)，則表明原圖像中的灰度值i，j被歸并為相同的值hs(i)；如果hs(i)＝k，hs(i+1)＝k+s，并且s＞1，則表明在處理后圖像中，沒(méi)有像素灰度值[k+1，k+s-1]的范圍內(nèi)，
設(shè)置歸并允許歸并像素的概率分布小于萬(wàn)分之五的灰度級(jí)，計(jì)算原圖像直方圖hB的統(tǒng)計(jì)值，當(dāng)hB(k)≤0.00005時(shí)，則灰度級(jí)k允許被歸并，
4)、暗區(qū)細(xì)節(jié)恢復(fù)，計(jì)算原圖像[fB(i，j)]m×n中
之間的hB(k)＞0.00005的灰度級(jí)個(gè)數(shù)，設(shè)為NBl；計(jì)算直方圖均衡化后圖像[fh(i，j)]m×n中
之間的hh(k)＞0的灰度級(jí)個(gè)數(shù)，設(shè)為Nhl，則需要恢復(fù)的像素級(jí)數(shù)為ΔNl＝NBl-Nhl，
a、如果kBmax＞khmax，表明直方圖均衡化處理后，將峰值變小，統(tǒng)計(jì)圖像[fh(i，j)]在[khmax，kBmax]范圍內(nèi)，不為空位的灰度級(jí)個(gè)數(shù)，記作NhBmax，
如果kBmax＜khmax，表明直方圖均衡化處理后，將峰值變大，統(tǒng)計(jì)圖像[fh(i，j)]在[kBmax，khmax]范圍內(nèi)，不為空位的灰度級(jí)個(gè)數(shù)，同樣地，也記作NhBmax，
將這NhBmax個(gè)灰度級(jí)在[kBmax+1，255](峰值位置變小)范圍內(nèi)，或者在[khmax+1，255](峰值位置變大)恢復(fù)，
具體方法是按照順序，找到其中的空位，在空位上順序插入Nhomax個(gè)灰度級(jí)即可，這個(gè)操作在映射表修正上表示為
判斷如果Δhs(s)＝hs(kBmax+s)-hs(kBmax+s-1)＞1則找到空位，
hs(k)＝hs(k)+Δhs(s)-1，k＝komax，...，ko+s
恢復(fù)了s個(gè)灰度級(jí)，不斷地重復(fù)，直到恢復(fù)的灰度級(jí)個(gè)數(shù)等于NhBmax，
以上的操作以峰值位置變小的情況下的處理，對(duì)于峰值位置變大的情況，將kBmax與khmax相互替換即可，
b、對(duì)映射表hs的暗區(qū)部分按照下式進(jìn)行修正，移動(dòng)[fh(i，j)]的直方圖峰值至komaxhs(k)＝hs(k)+(komax-khmax)，k＝0，1，...，khmax，
c、如果ΔNl＝0，則表明暗區(qū)細(xì)節(jié)不需要恢復(fù)，直接轉(zhuǎn)入亮區(qū)細(xì)節(jié)恢復(fù)，否則，進(jìn)行下面的操作在
的灰度級(jí)范圍內(nèi)，恢復(fù)之前統(tǒng)計(jì)得到的ΔNl個(gè)灰度級(jí)，具體方法是找到映射表hs中所有hs(k)＝(komax-khmax)的元素，將其值逆序分別遞減1即可，
5)、亮區(qū)細(xì)節(jié)恢復(fù)，具體的方法是，在[komax+1，255]范圍內(nèi)，從255至komax逆序查找空位，如果有空位，則將映射表hs中兩個(gè)相等的值中的一個(gè)減1，完成分解，恢復(fù)1個(gè)灰度級(jí)，以此循環(huán)，直到要求的細(xì)節(jié)恢復(fù)個(gè)數(shù)全部分解完成，得到清晰化處理的映射表hs。
4、按照權(quán)利要求1所述的方法，其特征在于，所述的步驟4的對(duì)過(guò)校正恢復(fù)的基礎(chǔ)幀進(jìn)行濾波去噪處理，采用中值濾波方法進(jìn)行處理，步驟如下
1)、設(shè)定模板的大小為3×3；
2)、將該模板在整個(gè)畫(huà)面上移動(dòng)，對(duì)于待處理的像素f(i，j)，取其模板覆蓋的范圍的9個(gè)像素集合Ωf＝{f(i-1，j-1)，f(i-1，j)，f(i-1，j+1)，f(i，j-1)，f(i，j)，f(i，j+1)，f(i+1，j-1)，f(i+1，j)，f(i+1，j+1)}；
3)、將集合中的9個(gè)像素按照像素值的大小進(jìn)行排序，其排列在中間位置上的像素值，作為濾波處理的結(jié)果。
5、按照權(quán)利要求1所述的方法，其特征在于，所述的步驟5的對(duì)后續(xù)幀進(jìn)行清晰化處理方法的具體方法是
根據(jù)所述的步驟3所得到的清晰化處理映射表hs給出的值，按照下面的公式獲得清晰化處理的后續(xù)幀[g(i，j)]m×n
g(i，j)＝hs(f(i，j))，i＝1，2，..，m，j＝1，2，..，n。
全文摘要
本發(fā)明公開(kāi)了一種基于直方圖均衡化過(guò)校正恢復(fù)的霧天視頻圖像清晰化方法，該方法按照以下步驟實(shí)施，首先確定視頻序列的一個(gè)基礎(chǔ)幀，對(duì)基礎(chǔ)幀進(jìn)行直方圖均衡化處理；之后再進(jìn)行過(guò)校正細(xì)節(jié)恢復(fù)，獲得一個(gè)清晰化處理的映射表；然后，對(duì)處理后的基礎(chǔ)幀進(jìn)行濾波去噪處理；然后，利用基礎(chǔ)幀清晰化處理所得到的映射表對(duì)后續(xù)幀進(jìn)行清晰化處理；并按照同樣的方法對(duì)處理后的后續(xù)幀進(jìn)行濾波去噪；每隔一段時(shí)間，更新一次基礎(chǔ)幀；不斷地進(jìn)行相同的基礎(chǔ)幀和后續(xù)幀的清晰化處理，直到規(guī)定的清晰化過(guò)程完成。本發(fā)明的方法不僅能夠恢復(fù)因大霧天氣而退化的細(xì)節(jié)信息，并且能夠滿足視頻清晰化處理的實(shí)時(shí)性要求。
文檔編號(hào)G06T5/40GK101290680SQ20081001825
公開(kāi)日2008年10月22日 申請(qǐng)日期2008年5月20日 優(yōu)先權(quán)日2008年5月20日
發(fā)明者虹 朱, 璐 黎, 棟 王, 鄧穎娜, 薇 劉, 袁承興, 趙朝杰, 馬文慶, 楠 邢, 剛 李, 憧 沈 申請(qǐng)人:西安理工大學(xué)