專利名稱:對(duì)視頻信號(hào)使用時(shí)變非線性變換的自適應(yīng)對(duì)比度增強(qiáng)方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種對(duì)視頻信號(hào)使用時(shí)變非線性變換的自適應(yīng)對(duì)比度增強(qiáng)方法。
背景技術(shù):
現(xiàn)代數(shù)字視頻技術(shù)已經(jīng)有效地改善了諸如數(shù)字視盤播放機(jī)(DVD)和數(shù)字電視(DTV)系統(tǒng)的消費(fèi)產(chǎn)品的視頻質(zhì)量。當(dāng)DTV系統(tǒng)的視頻質(zhì)量與當(dāng)前的模擬電視系統(tǒng)的可獲得的視頻質(zhì)量比較時(shí),這一點(diǎn)特別明顯。然而,應(yīng)當(dāng)注意的是,這種數(shù)字視頻系統(tǒng)僅在信噪比(SNR)和分辨率方面提高了視頻質(zhì)量。有各種其它涉及增強(qiáng)視頻的方法,例如是增強(qiáng)對(duì)比度、增強(qiáng)亮度和增強(qiáng)清晰度。一般地說,增強(qiáng)視頻的處理由一個(gè)用于尋求提高顯示視頻的視覺表像的技術(shù)集合組成。這些技術(shù)主要包括灰度級(jí)和對(duì)比度處理,噪聲降低,邊緣的鮮明和銳化,上述技術(shù)例如可參見W.K.Pratt的Digital Image Processing,第二版,Wieley Interscience。與圖像恢復(fù)問題相反,增強(qiáng)視頻或圖像的方法既不增加數(shù)據(jù)中固有的信息內(nèi)容,也不要求數(shù)學(xué)模型化。通常,包括在增強(qiáng)視頻過程中的基本操作是對(duì)一個(gè)給定的圖像序列進(jìn)行處理,以便改善其在一個(gè)顯示媒介上的表像。由于量化增強(qiáng)的標(biāo)準(zhǔn)是困難的,所以大量的增強(qiáng)視頻技術(shù)是完全根據(jù)經(jīng)驗(yàn)的并且要求交互式的過程,以獲得滿意的結(jié)果。
在用于增強(qiáng)視頻的現(xiàn)有技術(shù)當(dāng)中,增強(qiáng)對(duì)比度可能是最重要的一個(gè),因?yàn)樗谌绾问挂粋€(gè)圖像的整體表像被人所察覺的過程中扮演了一個(gè)重要的角色。眾所周知的,人類的感知對(duì)于反差是靈敏的,勝于對(duì)絕對(duì)值本身的感知(例如參見A.K.Jain的Fundamentals of Digital ImageProcessing,Prentice Hall,Englewood Cliffs,1989)。因此,為了提供一個(gè)可以更好被人感知到的圖像,增強(qiáng)圖像的對(duì)比度是很自然的。
增強(qiáng)對(duì)比度注重于一個(gè)給定圖像的整體表像,而不是諸如邊緣的鮮明和銳化的局部表象。例如根值法則和對(duì)數(shù)法則的對(duì)比度的模型能夠在A.K.Jain的書中見到。通過對(duì)比度處理來增強(qiáng)圖像的應(yīng)用已經(jīng)被應(yīng)用于例如醫(yī)學(xué)圖像處理、天文學(xué)圖像處理、人造衛(wèi)星圖像處理和紅外線圖像處理等的許多領(lǐng)域中。例如,直方圖均衡化在X射線圖像處理過程中是一種有用的方法,因?yàn)樗@著地強(qiáng)化了一個(gè)X射線圖像的各個(gè)細(xì)節(jié),并因此容易探測(cè)到腫瘤。
雖然用于增強(qiáng)對(duì)比度的幾種方法在理論上是可行的,但是它們主要的應(yīng)用限于靜止圖像。從而,由于直接應(yīng)用上述方法可能導(dǎo)致一些視覺假象,如不自然的表像或過度加強(qiáng),所以難于找到一種方法適用于一組本身具有時(shí)變特征的視頻序列。因此,增強(qiáng)對(duì)比度的這些方法不能夠適用于例如電視機(jī)的以圖像序列形式提供視頻內(nèi)容的消費(fèi)產(chǎn)品,發(fā)明內(nèi)容因此,本發(fā)明的目的在于提供一種方法,該方法根據(jù)視頻信號(hào)的時(shí)變特性自適應(yīng)的增強(qiáng)該時(shí)變視頻信號(hào)中的圖像或圖形的對(duì)比度。
根據(jù)本發(fā)明的前述的或其它的目的,提供一種方法用于自適應(yīng)地增強(qiáng)一個(gè)時(shí)變視頻信號(hào)的對(duì)比度,此信號(hào)包括大量按時(shí)間排序的數(shù)字圖像。每個(gè)數(shù)字圖像由一組采樣來表示。每個(gè)采樣包括一個(gè)從下限C到上限U范圍內(nèi)的分度級(jí)。通過執(zhí)行以下步驟構(gòu)建一個(gè)至少包括第一變換函數(shù)和第二變換函數(shù)的對(duì)比度增強(qiáng)變換a)對(duì)于數(shù)字圖像中的第一圖像,在下限C到上限U之間選擇第一個(gè)值;該第一個(gè)值最好是這個(gè)數(shù)字圖像中第一個(gè)圖像各圖像采樣分度級(jí)的平均值;b)將表示這個(gè)數(shù)字圖像中的第一圖像的這組采樣劃分為至少一個(gè)第一部分和一個(gè)第二部分,所述第一部分具有其分度級(jí)不大于所述第一個(gè)值的采樣,所述第二部分具有其分度級(jí)不小于所述第一個(gè)值的采樣;c)根據(jù)在第一部分中的分度級(jí)的分布狀況選擇所述第一變換函數(shù),和d)根據(jù)在第二部分中的分度級(jí)的分布狀況選擇第二變換函數(shù)。
通過對(duì)一組表示數(shù)字圖像的采樣應(yīng)用這個(gè)對(duì)比度增強(qiáng)變換,所述數(shù)字圖像的對(duì)比度被增強(qiáng)了。這個(gè)被增強(qiáng)的實(shí)際數(shù)字圖像可以是這個(gè)數(shù)字圖像中的第一個(gè)圖像,并且在這種情況下,在構(gòu)建所述增強(qiáng)變換的同時(shí),存儲(chǔ)數(shù)字圖像中的第一個(gè)圖像。
因?yàn)樵谒矔r(shí)定位為彼此接近的兩個(gè)圖像的分度級(jí)分布之間具有很高的相關(guān)性,所以這個(gè)由數(shù)字圖像中的第一個(gè)圖像構(gòu)建的增強(qiáng)變換能夠被應(yīng)用于最好是緊隨其后的一個(gè)數(shù)字圖像的后續(xù)數(shù)字圖像,以增強(qiáng)后續(xù)數(shù)字圖像的對(duì)比度。這在這種情況下,以類似的方式,將被應(yīng)用于數(shù)字圖像中的第一個(gè)圖像的實(shí)際增強(qiáng)變換,將從時(shí)間上暫時(shí)先于這個(gè)數(shù)字圖像中的第一個(gè)圖像的數(shù)字圖像中獲得。也可以理解,在這種情況下,由于對(duì)比度增強(qiáng)變換將被用于隨后的數(shù)字圖像中,所以不必存儲(chǔ)正在被用于構(gòu)建對(duì)比度增強(qiáng)變換的數(shù)字圖像,以便隨后對(duì)其施加對(duì)比度增強(qiáng)變換。然而,在這兩種情況下,根據(jù)表示這個(gè)時(shí)變視頻信號(hào)的按時(shí)間排序圖像的采樣的分度級(jí)分布,對(duì)比度增強(qiáng)變換將做自適應(yīng)改變。所述對(duì)比度增強(qiáng)變換最好以查詢表的形式構(gòu)建。至少在某些范圍內(nèi)通過增大采樣的動(dòng)態(tài)范圍,對(duì)比度增強(qiáng)變換增強(qiáng)了所述對(duì)比度。
根據(jù)本發(fā)明一個(gè)附加的特性,步驟a)包括根據(jù)表示該數(shù)字圖像中第一個(gè)圖像的所有采樣的分度級(jí)計(jì)算平均值m,并選擇所述第一個(gè)值為平均值m。
根據(jù)本發(fā)明一個(gè)附加的特性,該方法包括在執(zhí)行增強(qiáng)對(duì)比度的步驟時(shí)選擇被增強(qiáng)的數(shù)字圖像作為這個(gè)數(shù)字圖像的第一個(gè)圖像,或作為暫時(shí)位于所述第一個(gè)數(shù)字圖象之后的一個(gè)數(shù)字圖象。
根據(jù)本發(fā)明的另一個(gè)特性,在執(zhí)行增強(qiáng)對(duì)比度步驟時(shí)被增強(qiáng)的數(shù)字圖像是一個(gè)暫時(shí)直接位于所述第一個(gè)數(shù)字圖像之后的圖像。
根據(jù)本發(fā)明的再一個(gè)特征,所述方法包括使用對(duì)比度增強(qiáng)變換來構(gòu)建一個(gè)查詢表,用于接收在從下限C到上限U之間的范圍內(nèi)的輸入分度級(jí)和提供相應(yīng)的輸出分度級(jí),與所述輸入分度極的相應(yīng)區(qū)域相比較,該輸出分度級(jí)至少在兩個(gè)區(qū)域中具有增加的動(dòng)態(tài)范圍;和通過將所述查詢表應(yīng)用到該組采樣并借此內(nèi)在地將所述對(duì)比度增強(qiáng)變換應(yīng)用到該組采樣上執(zhí)行增強(qiáng)所述對(duì)比度的步驟。
根據(jù)本發(fā)明的另一個(gè)附加特征,構(gòu)建對(duì)比度增強(qiáng)變換的步驟包括通過根據(jù)隨分度極的函數(shù)變化的第一增強(qiáng)函數(shù)構(gòu)建所述第一變換函數(shù)執(zhí)行選擇所述第一變換函數(shù)的步驟,所述第一變換函數(shù)在下限C處等于0,在所述第一值處等于0,并且在下限C到第一值的范圍內(nèi)僅有一個(gè)極值;和通過根據(jù)隨分度級(jí)函數(shù)變化的第二增強(qiáng)函數(shù)構(gòu)建所述第二變換函數(shù)執(zhí)行選擇所述第二變換函數(shù)的步驟,所述第二變換函數(shù)在第一值處等于0,在上限U處等于0,并且在從所述第一值到所述上限U的范圍內(nèi)僅有一個(gè)極值。
根據(jù)本發(fā)明的另一個(gè)附加特征,構(gòu)建對(duì)比度增強(qiáng)變換的步驟包括在從下限C到第一值的區(qū)域內(nèi)將第一增強(qiáng)函數(shù)選擇為非負(fù);選擇隨第一分布速率函數(shù)單調(diào)增加的第一增益函數(shù),當(dāng)所述第一分布速率等于0時(shí),所述第一增益函數(shù)等于-1,當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于1;將第二增強(qiáng)函數(shù)在第一值到上限U的區(qū)域內(nèi)選擇為非負(fù);選擇隨第二分布速率函數(shù)單調(diào)增加的第二增益函數(shù),當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于-1,當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于1;通過確定一個(gè)分度級(jí)值定義一個(gè)第二值,第一增強(qiáng)函數(shù)在該分度級(jí)值處于它的極值狀態(tài);通過確定一個(gè)分度級(jí)值定義一個(gè)第三值,第二增強(qiáng)函數(shù)在該分度級(jí)值處于它的極值狀態(tài);通過將具有從所述下限C到所述第二值范圍內(nèi)分度級(jí)的該組采樣中的采樣數(shù)除以在具有從所述下限C到所述第一值范圍內(nèi)的分度級(jí)的該組采樣數(shù)獲得所述第一分布速率;通過將具有從所述第一值到所述第三值范圍內(nèi)分度級(jí)的該組中的采樣數(shù)除以具有在從所述第一值到所述上限U范圍內(nèi)分度級(jí)的該組中采樣數(shù)獲得所述第二分布速率;以所述第一分布速率估算第一增益函數(shù),以獲得一個(gè)第一增益常數(shù);以第二分布處估算第二增益函數(shù),以獲得一個(gè)第二增益常數(shù);用第一增益函數(shù)乘以第一增強(qiáng)函數(shù)構(gòu)造第一變換函數(shù);用第二增益函數(shù)乘以第二增強(qiáng)函數(shù)構(gòu)造第二變換函數(shù)。
根據(jù)本發(fā)明的再一個(gè)附加特征,構(gòu)建對(duì)比度增強(qiáng)變換的步驟包括當(dāng)在從下限C到第一值的區(qū)域內(nèi)將第一增強(qiáng)函數(shù)選為非負(fù)時(shí),選擇一個(gè)隨第一分布速率單調(diào)增加的第一增益函數(shù),當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于-1,當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于1;當(dāng)在從所述第一值到所述上限U區(qū)域內(nèi)將所述第二增強(qiáng)函數(shù)選擇為非負(fù)時(shí),選擇一個(gè)隨所述第二分布速率單調(diào)增加的第二增益函數(shù)。當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于-1,當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于1;當(dāng)將第一增強(qiáng)函數(shù)在下限C到第一值的區(qū)域內(nèi)選為非正時(shí),則選擇隨所述第一分布速率單調(diào)減少的一個(gè)第一增益函數(shù),當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于1,當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于-1;當(dāng)將第二增強(qiáng)函數(shù)在從第一值到上限U的區(qū)域內(nèi)選為非正時(shí),選擇隨所述第二分布速率單調(diào)減少的一個(gè)第二增益函數(shù),當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于1,當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于-1;通過確定其第一增強(qiáng)函數(shù)處于極值的一個(gè)分度級(jí)的值定義一個(gè)第二值; 通過確定其第二增強(qiáng)函數(shù)處于極值的一個(gè)分度級(jí)的值定義第三值;通過將這組采樣中具有在從下限C到第一值的范圍內(nèi)的分度級(jí)的采樣數(shù)除以這組采樣中具有在從下限C到第二值的范圍內(nèi)的分度級(jí)的采樣數(shù),獲得第一分布速率;通過將這組采樣中具有在從第一值到上限U的范圍內(nèi)的分度級(jí)的采樣數(shù)除以這組采樣中具有在從第一值到第三值的范圍內(nèi)的分度級(jí)的采樣數(shù),獲得第二分布速率;以第一分布速率處估算第一增益函數(shù),以獲得一個(gè)第一增益常數(shù);以第二分布速率處估算第二增益函數(shù),以獲得一個(gè)第二增益常數(shù);用第一增益函數(shù)乘以第一增強(qiáng)函數(shù)構(gòu)造第一變換函數(shù);和用第二增益函數(shù)乘以第二增強(qiáng)函數(shù)構(gòu)造第二變換函數(shù)。
根據(jù)本發(fā)明的再一個(gè)附加特征,所述方法包括選擇第一增強(qiáng)函數(shù)為K1(x-C)(m-x),其中K1是常數(shù),x是一個(gè)輸入采樣;選擇第二增強(qiáng)函數(shù)為Ku(m-x)(x-U),其中Ku是常數(shù)。
根據(jù)本發(fā)明的再一個(gè)特征,該方法包括選擇K1不大于1/(m-C);和選擇Ku不大于1/(U-m)。
根據(jù)本發(fā)明的再一個(gè)附加特征,方法包括選擇K1等于1/(m-C);和選擇Ku等于1/(U-m)。
根據(jù)本發(fā)明相伴的一個(gè)特征,該方法包括選擇第一增益函數(shù)為2r1-1,其中r1是第一分布速率;和選擇第二增益函數(shù)為2ru-1,其中ru是第二分布速率。
圖1示出了一個(gè)變換的例子,它能夠用于增加具有在某一范圍內(nèi)的分度級(jí)的采樣的動(dòng)態(tài)范圍;圖2示出了一個(gè)變換的例子,它能夠用于增加具有在另一范圍內(nèi)的分度級(jí)的采樣的動(dòng)態(tài)范圍;圖3A~3C示出了增強(qiáng)函數(shù)的例子;圖4A~4C示出了增益增強(qiáng)函數(shù)的例子;
圖5A示出了增強(qiáng)函數(shù)f1(x)和fu(x)一個(gè)例子;圖5B示出了f1(x)·g1(r1)和fu(x)·gu(ru)的的曲線;圖5C示出了使用圖5B中的項(xiàng)f1(x)·g1(r1)和fu(x)·gu(ru)獲得的變換函數(shù)的曲線;圖6A是用于執(zhí)行自適應(yīng)增強(qiáng)對(duì)比度方法的一個(gè)裝置的第一實(shí)施例的方框圖;和圖6B是用于執(zhí)行自適應(yīng)增強(qiáng)對(duì)比度方法的一個(gè)裝置的第二實(shí)施例的方框圖。
最佳實(shí)施例描述在下面的討論中,應(yīng)當(dāng)知道術(shù)語“圖形”或“圖像”用于表示一個(gè)視頻序列中所個(gè)圖形中的一張圖形。用fn(·)表示在時(shí)刻n時(shí)一組引入的視頻序列中的一張圖像(一幀或半幀),這里假設(shè)這張圖像fn(·)由將要被增強(qiáng)的采樣組成。每個(gè)采樣表示一個(gè)在范圍{C,C+1,......,U}內(nèi)的分度級(jí),其中C表示一個(gè)視頻系統(tǒng)中最暗的分度級(jí),U表示最亮的分度級(jí)。在大多數(shù)的視頻系統(tǒng)中,通常是C=0、U=255,但是,C和U的實(shí)際值可以根據(jù)應(yīng)用而改變。
所說算法的第一參數(shù)(第一值)最好是平均亮度,或是這個(gè)輸入視頻圖像fn(·)的平均值m。最好使用平均值m,因?yàn)槭褂眠@個(gè)參數(shù)能夠獲得好的結(jié)果。但是,應(yīng)當(dāng)知道偏離平均值m的其它的值也能夠替換使用。概念上任何一個(gè)位于C和U之間的數(shù)值都能夠使用,但是,最好使用平均值或非常接近于平均值的數(shù)值以使平均亮度不發(fā)生改變,或至少不會(huì)顯著改變。這個(gè)觀點(diǎn)在下面進(jìn)一步論述?,F(xiàn)在,用h(x)表示fn(·)的概率密度函數(shù)(PDF),其中h(x)表示在fn(·)中分度級(jí)等于x的采樣的數(shù)量。定義,N=Σx=CUh(x)]]>表示在要被增強(qiáng)的輸入視頻圖像fn(·)中的采樣總數(shù)。那么,那些采樣的平均值可以通過m=Σx=CUx·h(x)/N]]>計(jì)算出來??蛇x擇的,平均值m可以簡(jiǎn)單的計(jì)算得到,即,通過對(duì)要被增強(qiáng)的輸入視頻圖像的采樣的分度級(jí)求和,并用這個(gè)結(jié)果除以N。
基于平均值m,輸入的圖像fn(·)實(shí)際上被分為兩個(gè)子圖像組一個(gè)由分度值小于或等于平均值m的采樣組成,另一個(gè)由分度值大于或等于平均值m的采樣組成。隨后結(jié)合分成的子圖像組的局部直方圖,計(jì)算出下列參數(shù)na=Σx=CMih(x)---(1)]]>和nb=ΣX=MMuh(x)---(2)]]>
其中M1和Mu是分別在C和m之間、m和U之間的變量。M1和Mu的取值將結(jié)合增強(qiáng)函數(shù)在后面闡述。應(yīng)當(dāng)注意的是,參數(shù)na和nb各自表示分度級(jí)在(C,M1)和(m,Mu)中的采樣總數(shù)。
在計(jì)算或估算了輸入的視頻圖像的參數(shù)na和nb后,在區(qū)域(C,m)和(m,U)中表示各自采樣分布的其它參數(shù)會(huì)被確定。第一分布速率r1和第二分布速率ru確定如下r1=naN1]]>和ru=nbNu---(3)]]>其中N1=Σx=Cmh(x)]]>和Nu=Σx=mUh(x)]]>注意,參數(shù)N1和Nu各自表示分度級(jí)在(C,m)和(m,U)中的采樣總數(shù)。
還應(yīng)注意,規(guī)定0≤r1≤1和0≤ru≤1。這些參數(shù)表明各自的采樣是如何分布在每個(gè)區(qū)域(C,m)和(m,U)中的。例如,第一分布速率r1=1意味著在區(qū)域(C,m)中的采樣僅分布在子區(qū)域(C,M1)中,相反,r1=0意味著在區(qū)域(C,m)中沒有采樣分布在子區(qū)域(C,M1)中。對(duì)于第二分布速率ru的值可以做同樣的分析。第一分布速率r1和第二分布速率ru用于設(shè)置第一增益函數(shù)g1(r1)和第二增益函數(shù)gu(ru)的值。這些增益函數(shù)的函數(shù)式和用途將在下面描述。
圖1示出了一種變換,其中x表示輸入采樣的輸入分度級(jí),f(x)是這個(gè)變換的輸出。這個(gè)變換將被用于說明在這個(gè)具備創(chuàng)造性的增強(qiáng)方法之后的原理。在這個(gè)特殊的例子中,可以看出在區(qū)域(p,k)中的分度值被映射到區(qū)域(p,k′)中的值。重要的是,作為變換的結(jié)果,分度級(jí)在(p,k)中的采樣的動(dòng)態(tài)范圍Din已經(jīng)被增大到Dout。通過使用這種變換,如果輸入的圖像在區(qū)域(p,k)中的采樣多于在區(qū)域(k,q)中的采樣,則這個(gè)圖像的總體對(duì)比度能被提高,因?yàn)槟切┎蓸拥膭?dòng)態(tài)區(qū)域已經(jīng)被增加。從而,當(dāng)有比在區(qū)域(k,q)中更多的采樣分布于區(qū)域(p,k)中時(shí),圖1中描述的變換就適于增強(qiáng)對(duì)比度。另一方面,如果有比在區(qū)域(p,k)中更多的采樣分布于區(qū)域(k,q)中,那么很容易看到諸如圖2所示的變換函數(shù)使用同樣的原理,能夠用于提高這個(gè)圖像的總體對(duì)比度。
通過根據(jù)一個(gè)輸入視頻序列輸入圖形的(p.q)中的采樣分布適當(dāng)?shù)亟M合圖1和圖2所示的變換,自適應(yīng)對(duì)比度增強(qiáng)是可能的。從而,增強(qiáng)對(duì)比度方法的基本目標(biāo)是依照輸入圖像的分度級(jí)的分布狀況,自適應(yīng)的調(diào)整變換函數(shù),以提高圖像的總體對(duì)比度。在公式(3)中定義第一分布速率r1和第二分布速率ru的目的是為了能夠調(diào)整變換函數(shù)以達(dá)到這個(gè)目標(biāo)。圖1圖2所示的變換函數(shù)將被稱為增強(qiáng)函數(shù)。
第一增強(qiáng)函數(shù)f1(x)定義在區(qū)域(C,m)上,而第二增強(qiáng)函數(shù)fu(x)定義在區(qū)域(m,U)上。通過利用下面的約束,增強(qiáng)函數(shù)f1(x)和fu(x)在它們各自的區(qū)域內(nèi)被選擇確定為正1、f1(C)=f1(m)=0,和fu(m)=fu(U)=0, (4)2、對(duì)所有的實(shí)時(shí)值x∈(C,m),在(C,m)中f1(x)僅有一個(gè)極值(局部最小值或局部最大值),換句話說,僅當(dāng)x=M1時(shí)才能夠滿足ddxf1(x)=0,]]>其中,C<M1<m,(5)3、對(duì)所有的實(shí)時(shí)值x∈(m,U),在(m,U)中fu(x)僅有一個(gè)極值(局部最小值或局部最大值),換句話說,僅當(dāng)x=Mu時(shí)ddxfu(x)=0,]]>其中m<Mu<U。(6)任何任意的增強(qiáng)函數(shù)都可以使用,只要這些增強(qiáng)函數(shù)符合(4)、(5)和(6)中給定的約束。滿足(4)、(5)和(6)中給定的約束條件的增強(qiáng)函數(shù)的例子示于圖3A~3C中。
應(yīng)注意的是,M1和Mu與輸入圖像的分組有關(guān),用以估算在(1)和(2)中定義的局部直方圖。一旦這些增強(qiáng)函數(shù)依賴于其應(yīng)用被確定,M1和Mu的值就能夠通過確定其ddxf1(x)=0]]>和ddxfu(x)=0]]>的各自分度級(jí)而獲得。還應(yīng)注意的是,由于(4)中給定的條件,M1和Mu的值應(yīng)當(dāng)是m的函數(shù)。
為了依據(jù)分別在區(qū)域(C,m)和(m,U)中的局部直方圖的分布狀況來調(diào)節(jié)增強(qiáng)函數(shù)f1(x)和fu(x)的增益,定義了第一增益函數(shù)g1(r1)和第二增益函數(shù)gu(ru)。應(yīng)注意的是,所述增益函數(shù)分別是第一分布速率r1和第二分布速率ru的函數(shù)。還應(yīng)注意的是,前面在(3)中定義的第一分布速率r1和第二分布速率ru的特征是在區(qū)域(C,m)和(m,U)中各自的采樣分布。為了達(dá)到增益函數(shù)的目標(biāo),增益函數(shù)被強(qiáng)加了兩個(gè)條件1、g1(0)=gu(0)=-1和g1(1)=gu(1)=1, (7)和2、g1(r1)是一個(gè)相對(duì)第一分布速率r1的單調(diào)增函數(shù),和gu(ru)是一個(gè)相對(duì)第二分布速率ru的單調(diào)增函數(shù)。(8)
其中,假定第一增強(qiáng)函數(shù)f1(x)和第二增強(qiáng)函數(shù)fu(x)在區(qū)域(C,m)和(m,U)中分別為非負(fù)。從而,當(dāng)?shù)谝环植妓俾蕆1從0變換到1時(shí),第一增益函數(shù)g1(r1)的值將從-1變換到1,而當(dāng)?shù)诙植妓俾蕆u從0變換到1時(shí),第二增益函數(shù)gu(ru)的值將從-1變換到1。應(yīng)注意的是,增益參數(shù)的作用是根據(jù)參考圖1和圖2論述的采樣分布調(diào)整增強(qiáng)函數(shù)。還應(yīng)注意的是,在所述第一增益函數(shù)g1(r1)和第二增益函數(shù)gu(ru)的值在逐個(gè)圖像變化的同時(shí),相對(duì)任一個(gè)圖像來講,它們都將是一個(gè)恒定值。
任一增益函數(shù)都可以使用,只要這些增益函數(shù)符合(7)和(8)中的約束。一些增強(qiáng)函數(shù)的例子示于圖4A~4C中。
應(yīng)當(dāng)注意的是,如果我們假定第一增強(qiáng)函數(shù)f1(x)和第二增強(qiáng)函數(shù)fu(x)在區(qū)域(C,m)和(m,U)中各自為非正,則(7)和(8)中的條件應(yīng)改為1、g1(0)=gu(0)=1和g1(1)=gu(1)=-1,和2、g1(r1)是一個(gè)相對(duì)所述第一分布速率r1的單調(diào)減函數(shù),和gu(ru)是一個(gè)相對(duì)所述第二分布速率ru的單調(diào)減函數(shù)。
基于上述的增益函數(shù)g1(r1)和gu(ru)以及增強(qiáng)函數(shù)f1(x)和fu(x),可以獲得以下的自適應(yīng)對(duì)比度增強(qiáng)變換 自適應(yīng)對(duì)比度增強(qiáng)變換ψ(x)包括一個(gè)第一變換函數(shù)g1(r1)·f1(x)和一個(gè)第二變換函數(shù)gu(ru)·fu(x)。應(yīng)注意的是,如果x∈(C,m)則輸入分度級(jí)由g1(r1)·f1(x)改變,如果x∈(m,U)則輸入分度級(jí)由gu(ru)·fu(x)改變。還應(yīng)注意的是,其最大的改變分別發(fā)生在x=M1和x=Mu處。還應(yīng)注意的是,由于我們限定f1(m)=fu(m)=0,使得(9)中給出的自適應(yīng)對(duì)比度增強(qiáng)變換ψ(x)映射m到m。設(shè)置這樣的限制是為了使變換后圖像的平均亮度與輸入圖像的平均亮度相比不發(fā)生顯著變化。
重要的是,由于視頻信號(hào)的特性或分度級(jí)分布逐圖改變,所以(9)中所述的自適應(yīng)對(duì)比度增強(qiáng)變換ψ(x)的特征也在逐圖地改變。特別是,由于平均值m、第一分布速率r1和第二分布速率ru的值都逐圖改變,所以(9)中所述的自適應(yīng)對(duì)比度增強(qiáng)變換ψ(x)的最終形式也都逐圖改變。這樣保證了這個(gè)對(duì)比度增強(qiáng)方法的類型是自適應(yīng)的。
圖5A~5C示出了一個(gè)例子,用于說明(9)中所述的自適應(yīng)對(duì)比度增強(qiáng)變換ψ(x)的操作。圖5A表示了第一增強(qiáng)函數(shù)f1(x)和第二增強(qiáng)函數(shù)fu(x)的一個(gè)例子,兩個(gè)增強(qiáng)函數(shù)分別在x=M1和x=Mu處取得最大值。圖5B示出了f1(x)·g1(r1)和fu(x)·gu(ru)的曲線,用(9)中給出的自適應(yīng)對(duì)比度增強(qiáng)變換ψ(x)將f1(x)·g1(r1)和fu(x)·gu(ru)加到輸入分度級(jí)上。在這個(gè)例子中,g1(r1)=1和gu(ru)=-0.25。最后,圖5C是準(zhǔn)備用于輸入視頻的(9)中所給出的變換的曲線。記住確定具有(7)和(8)中條件的第一增益函數(shù)g1(r1)和第二增益函數(shù)gu(ru)的目的,將會(huì)注意到與在區(qū)域(C,M1)中采樣相關(guān)的動(dòng)態(tài)范圍已經(jīng)增加到(C,M1′),從而使得該采樣與變換前相比具有更高的對(duì)比度。同樣的,由于動(dòng)態(tài)范圍從(Mu,U)增加到(Mu′,U),所以在區(qū)域(Mu,U)中的采樣變換后具有更高的對(duì)比度。因而,能夠提高圖像的整體對(duì)比度。
總之,基于(9)中給出的對(duì)比度增強(qiáng)變換ψ(x)的對(duì)比度增強(qiáng)方法可描述如下1、預(yù)先確定能夠滿足在(4)-(8)中披露的各自條件的f1(x),fu(x),g1(r1)和gu(ru)的具體函數(shù)形式;2、計(jì)算引入圖像fn(·)的PDF、h(x),并同時(shí)計(jì)算出輸入圖像的平均值m;3、以平均值和PDF為基礎(chǔ),估算關(guān)系到分組直方圖的(1)和(2)中的參數(shù)na、nb。
4、根據(jù)參數(shù)na、nb計(jì)算出第一和第二分布速率((3)中的r1和ru),然后計(jì)算第一和第二增益函數(shù)g1(r1)和gu(ru);5、一旦這些參數(shù)被計(jì)算出來,使用(9)中給出的自適應(yīng)對(duì)比度增強(qiáng)變換ψ(x)構(gòu)造所述變換查詢表(LUT),用于分度級(jí)x=C,1,...,U;和6、將LUT應(yīng)用到所引入的視頻輸入信號(hào)上。
圖6A是用于執(zhí)行自適應(yīng)增強(qiáng)對(duì)比度方法的一個(gè)裝置20的第一實(shí)施例的方框圖。如功能塊12所示,當(dāng)使用從圖像中獲取的參數(shù)構(gòu)建變換查詢表時(shí),所引入的圖像被存儲(chǔ)在存儲(chǔ)器10中。如功能塊14所示,提供存儲(chǔ)器10用于將所述輸入視頻延遲一幀或一場(chǎng)周期,使得變換LUT能應(yīng)用于被用來構(gòu)造變換LUT的圖像。從而使得所述變換LUT能夠被應(yīng)用于已經(jīng)被用于構(gòu)建所述變換LUT的圖像,如功能框14所示。
一個(gè)視頻序列通常在時(shí)間方向中具有很高的相關(guān)性,因此,在大多數(shù)應(yīng)用中,根據(jù)一個(gè)圖像構(gòu)造的LUT變換能夠被用于這個(gè)視頻序列中后繼的圖像。圖6B是用于執(zhí)行自適應(yīng)增強(qiáng)對(duì)比度方法的一個(gè)裝置30的第二實(shí)施例的方框圖。在使用根據(jù)引入圖像獲取的參數(shù)構(gòu)建變換LUT的同時(shí),該引入圖像沒有存儲(chǔ)在存儲(chǔ)器中。已經(jīng)根據(jù)所述視頻序列在前圖像構(gòu)建的所述變換被應(yīng)用于這個(gè)引入圖像。同樣的,正在根據(jù)這個(gè)引入圖像構(gòu)建的變換將被用于這個(gè)視頻序列中后繼的圖像。將變換LUT用于輸入圖像是一種用于輸出與所述輸入像素分度級(jí)x相關(guān)的ψ(x)的逐個(gè)像素的操作。在這兩個(gè)實(shí)施例中,LUT變換可以以和圖像SYNC信號(hào)同步的方式被更新。
自適應(yīng)增強(qiáng)對(duì)比度方法基于增強(qiáng)函數(shù)f1(x)、fu(x)與自適應(yīng)增益調(diào)整函數(shù)g1(r1)、gu(ru)的結(jié)合,它取決于引入圖像的采樣分布。此外,對(duì)于函數(shù)f1(x)、fu(x)、g1(r1)和gu(ru)任一函數(shù)都可以使用,只要它們以(4)到(8)中給定的條件為依據(jù)。
為了說明,此方法的一個(gè)具體實(shí)施例將在下面予以敘述。用于自適應(yīng)增強(qiáng)對(duì)比度的變換函數(shù)ψ(x)(9)的第一和第二增強(qiáng)函數(shù)被規(guī)定為以下的二階多項(xiàng)式f1(x)=K1(x-C)(m-x) (10)和fu(x)=Ku(m-x)(x-U) (11)其中,K1和Ku是預(yù)先確定的常數(shù)。注意,這些函數(shù)滿足(4)~(6)定義中的約束。容易表明,僅當(dāng)x各自取值x=C+m2]]>和x=m+U2]]>時(shí),才滿足條件ddxf1(x)=0]]>和ddxfu(x)=0.]]>因此,這里M1=C+m2]]>和Mu=m+U2.]]>于是,得出(9)中給定的自適應(yīng)對(duì)比度增強(qiáng)變換ψ(x) 如上所述,滿足(7)和(8)中給定的限定條件的第一增益函數(shù)g1(r1)和第二增益函數(shù)gu(ru)的選擇是多樣的。實(shí)際上,不同的增益函數(shù)將導(dǎo)致ψ(x)的不同特性,因此,這個(gè)選擇能夠依賴于具體的應(yīng)用而改變。對(duì)于第一增益函數(shù)g1(r1)和第二增益函數(shù)gu(ru)的一個(gè)簡(jiǎn)單的選擇如下
g1(r1)=2·r1-1和gu(ru)=2·ru-1(13)應(yīng)注意的是,由于當(dāng)(C,M1)和(M1,m)中的采樣數(shù)受到約束(即r1=0.5)進(jìn)而使(12)中第一部分的變換簡(jiǎn)單變?yōu)椤芭月贰钡膅1(r1)=0,(13)中第一增益函數(shù)g1(r1)將同等地處理在子區(qū)域(C,M1)和(M1,m)中的采樣分布。對(duì)于(13)中第二增益函數(shù)gu(ru)的具體實(shí)例能夠得出相似的論述。
直接應(yīng)用(12)中給出的變換的一個(gè)關(guān)鍵問題是灰度反轉(zhuǎn)問題,所述灰度反轉(zhuǎn)依據(jù)m的值而發(fā)生?;叶确崔D(zhuǎn)問題意味著下面的關(guān)系對(duì)于一些x1<x2,ψ(x1)>ψ(x2)。
使用下面約束條件的一個(gè)簡(jiǎn)單的代數(shù)處理ψ(x1)<ψ(x2)↔iffx1<x2]]>為了防止所述灰度反轉(zhuǎn)問題,它很容易的示出,K1和Ku必須被限制于K1≤1m-C]]>和Ku≤1U-m]]>從而,如果我們?nèi)〉肒1和Ku的邊界值,則(11)中給定的變換成為
權(quán)利要求
1.一種自適應(yīng)增強(qiáng)對(duì)比度的方法,包括獲取一個(gè)包括多個(gè)按時(shí)間排序的數(shù)字圖像的時(shí)變視頻信號(hào),每個(gè)數(shù)字圖像由一組采樣表示,每個(gè)采樣具有在下限C到上限U范圍內(nèi)的分度級(jí);通過執(zhí)行以下步驟構(gòu)建一個(gè)至少包括一個(gè)第一變換函數(shù)和一個(gè)第二變換函數(shù)的對(duì)比度增強(qiáng)變換a)對(duì)于數(shù)字圖像中的第一圖像,選擇一個(gè)在下限C和上限U之間的第一值,b)將表示數(shù)字圖像中的第一圖像的這組采樣分成至少一個(gè)第一部分和一個(gè)第二部分,第一部分具有分度級(jí)不大于第一值的采樣,第二部分具有分度級(jí)不小于第一值的采樣,c)根據(jù)在第一部分內(nèi)的分度級(jí)分布,選擇第一變換函數(shù),和d)根據(jù)在第二部分內(nèi)的分度級(jí)分布,選擇第二變換函數(shù);和通過對(duì)表示數(shù)字圖像的一組采樣施加這個(gè)對(duì)比度增強(qiáng)變換,增強(qiáng)數(shù)字圖像的對(duì)比度。
2.如權(quán)利要求1所述的方法,其中步驟a)包括根據(jù)表示這個(gè)數(shù)字圖像第一圖像的采樣分度級(jí)計(jì)算平均值m,和選擇該第一值為平均值m。
3.如權(quán)利要求1所述的方法,其中包括從由所述第一數(shù)字圖像和在時(shí)間上位于該第一數(shù)字圖像之后的所述數(shù)字圖像組成的所述組中選擇當(dāng)執(zhí)行增強(qiáng)所述對(duì)比度的步驟時(shí)已經(jīng)被增強(qiáng)的所述數(shù)字圖象。
4.如權(quán)利要求1所述的方法,其中步驟a)包括根據(jù)表示所述第一數(shù)字圖象的所有采樣的分度級(jí)計(jì)算平均值m,并選擇所述第一值作為所述平均值m。
5.如權(quán)利要求1所述的方法,其中當(dāng)執(zhí)行增強(qiáng)對(duì)比度步驟時(shí)被增強(qiáng)的數(shù)字圖像是在時(shí)間上直接位于所述第一數(shù)字圖象之后的一個(gè)圖像。
6.如權(quán)利要求1所述的方法,所述方法包括使用對(duì)比度增強(qiáng)變換來構(gòu)造一個(gè)查詢表,用于接收在從下限C到上限U之間的范圍內(nèi)的輸入分度級(jí)和用于提供相應(yīng)的輸出分度級(jí),與輸入分度級(jí)的相應(yīng)區(qū)域比較,所述的輸出分度級(jí)至少在兩個(gè)區(qū)域內(nèi)具有增加的動(dòng)態(tài)范圍;和通過將所述查詢表應(yīng)用到該組采樣上并借此內(nèi)在地將所述對(duì)比度增強(qiáng)變換應(yīng)用到該組采樣上執(zhí)行增強(qiáng)所述對(duì)比度的步驟。
7.如權(quán)利要求6所述的方法,其中步驟a)包括根據(jù)表示這個(gè)數(shù)字圖像的第一圖像的所有采樣的分度級(jí)計(jì)算平均值m,并選擇該第一值為平均值m。
8.如權(quán)利要求6所述的方法,其中,構(gòu)建這個(gè)對(duì)比度增強(qiáng)變換的步驟包括通過根據(jù)隨分度級(jí)函數(shù)變化的第一增強(qiáng)函數(shù)構(gòu)建所述第一變換函數(shù)執(zhí)行選擇所述第一變換函數(shù)的步驟,所述第一變換函數(shù)在下限C處等于0,在所述第一值處等于0,和在從所述下限C到所述第一值之間范圍內(nèi)僅具有一個(gè)極值;和通過根據(jù)隨所述分度級(jí)函數(shù)變化的第二增強(qiáng)函數(shù)構(gòu)建所述第二變換函數(shù)執(zhí)行選擇所述第二變換函數(shù)的步驟,所述第二變換函數(shù)在第一值處等于0,在所述上限U處等于0,和在從所述第一值到所述上限U之間的范圍內(nèi)僅具有一個(gè)極值。
9.如權(quán)利要求8所述的方法,其中構(gòu)造這個(gè)對(duì)比度增強(qiáng)變換的步驟包括在從下限C到第一值的范圍內(nèi)將第一增強(qiáng)函數(shù)選擇為非負(fù);選擇一個(gè)隨第一分布速率的函數(shù)單調(diào)增加的第一增益函數(shù),當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于-1,和當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于1;在從所述第一值到上限U的范圍內(nèi)將第二增強(qiáng)函數(shù)選擇為非負(fù);選擇一個(gè)隨第二分布速率的函數(shù)單調(diào)增加的第二增益函數(shù),當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于-1,和當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于1;通過確定其第一增強(qiáng)函數(shù)處于極值的分度級(jí)的值定義第二值;通過確定其第二增強(qiáng)函數(shù)處于極值的分度級(jí)的值定義第三值;通過將這組采樣中具有在從下限C到第一值的范圍內(nèi)的分度級(jí)的采樣數(shù)除以這組采樣中具有在從下限C到第二值的范圍內(nèi)的分度級(jí)的采樣數(shù),獲得第一分布速率;通過將這組采樣中具有在從第一值到上限U的范圍內(nèi)的分度級(jí)的采樣數(shù)除以這組采樣中具有在從第一值到第三值的范圍內(nèi)的分度級(jí)的采樣數(shù),獲得第二分布速率;以第一分布速率估算第一增益函數(shù),以便獲得一個(gè)第一增益常數(shù);以第二分布速率估算第二增益函數(shù),以便獲得一個(gè)第二增益常數(shù);將第一增益函數(shù)乘以第一增強(qiáng)函數(shù)以構(gòu)建第一變換函數(shù);和將第二增益函數(shù)乘以第二增強(qiáng)函數(shù)以構(gòu)建第二變換函數(shù)。
10.如權(quán)利要求8所述的方法,其中構(gòu)建這個(gè)對(duì)比度增強(qiáng)變換的步驟包括當(dāng)?shù)谝辉鰪?qiáng)函數(shù)在從下限C到第一值的區(qū)域內(nèi)被選擇為非負(fù)時(shí),選擇一個(gè)隨第一分布速率的函數(shù)單調(diào)增加的第一增益函數(shù),當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于-1,當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于1;當(dāng)?shù)诙鰪?qiáng)函數(shù)在從第一值到上限U的區(qū)域內(nèi)被選擇為非負(fù)時(shí),選擇一個(gè)隨第二分布速率的函數(shù)單調(diào)增加的第二增益函數(shù),當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于-1,當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于1;當(dāng)?shù)谝辉鰪?qiáng)函數(shù)在從下限C到第一值的區(qū)域內(nèi)被選擇為非正時(shí),選擇一個(gè)隨所述第一分布速率的函數(shù)單調(diào)減小的第一增益函數(shù),當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于1,當(dāng)?shù)谝环植妓俾实扔?時(shí)第一增益函數(shù)等于-1;當(dāng)?shù)诙鰪?qiáng)函數(shù)在從第一值到上限U的區(qū)域內(nèi)被選擇為非正時(shí),選擇一個(gè)隨第二分布速率函數(shù)單調(diào)減小的第二增益函數(shù),當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于1,當(dāng)?shù)诙植妓俾实扔?時(shí)第二增益函數(shù)等于-1;通過確定其第一增強(qiáng)函數(shù)處于所述極值的分度級(jí)的值定義第二值;通過確定其第二增強(qiáng)函數(shù)處于所述極值的分度級(jí)的值定義第三值;通過將這組采樣中具有在從下限C到第一值的范圍內(nèi)的分度級(jí)的采樣數(shù)除以這組采樣中具有在從下限C到第二值的范圍內(nèi)的分度級(jí)的采樣數(shù),獲得第一分布速率;通過將這組采樣中具有在從第一值到上限U的范圍內(nèi)的分度級(jí)的采樣數(shù)除以這組采樣中具有在從第一值到第三值的范圍內(nèi)的分度級(jí)的采樣數(shù),獲得第二分布速率;以第一分布速率估算第一增益函數(shù),以便獲得一個(gè)第一增益常數(shù);以第二分布速率估算第二增益函數(shù),以便獲得一個(gè)第二增益常數(shù);將第一增益函數(shù)乘以第一增強(qiáng)函數(shù)以構(gòu)建所述第一變換函數(shù);和將第二增益函數(shù)乘以第二增強(qiáng)函數(shù)以構(gòu)建所述第二變換函數(shù)。
11.如權(quán)利要求10所述的方法,其中步驟a)包括根據(jù)表示第一個(gè)數(shù)字圖象的所有采樣的分度級(jí)計(jì)算平均值m,并選擇所述第一值作為所述平均值m。
12.如權(quán)利要求11所述的方法,其包括選擇第一增強(qiáng)函數(shù)為K1(x-C)(m-x),其中K1是一個(gè)常數(shù),x是一個(gè)輸入采樣;和選擇第二增強(qiáng)函數(shù)為Ku(m-x)(x-U),其中Ku是一個(gè)常數(shù)。
13.如權(quán)利要求12所述的方法,包括選擇K1不大于1/(m-C);和選擇Ku不大于1/(U-m)。
14.如權(quán)利要求12所述的方法,包括選擇K1等于1/(m-C);和選擇Ku等于1/(U-m)。
15.如權(quán)利要求12所述的方法,包括選擇第一增益函數(shù)為2r1-1,其中r1是第一分布速率;和選擇第二增益函數(shù)為2ru-1,其中ru是第二分布速率。
16.如權(quán)利要求15所述的方法,包括選擇K1等于1/(m-C);和選擇Ku等于1/(U-m)。
全文摘要
增強(qiáng)一個(gè)時(shí)變視頻信號(hào)的對(duì)比度。每個(gè)數(shù)字圖像由具有在下限C到上限U的范圍內(nèi)的分度級(jí)的采樣所表示。確定表示一個(gè)第一數(shù)字圖像的這些采樣的分度級(jí)的平均值。根據(jù)分度級(jí)小于或等于平均值的采樣的分布,構(gòu)建一個(gè)第一變換函數(shù)。根據(jù)分度級(jí)大于或等于平均值的采樣的分布,構(gòu)建一個(gè)第二變換函數(shù)。第一變換函數(shù)和第二變換函數(shù)用于構(gòu)成一個(gè)對(duì)比度增強(qiáng)變換,它最好構(gòu)建成一個(gè)查詢表的形式。這個(gè)對(duì)比度增強(qiáng)變換用于一組表示第一數(shù)字圖像的采樣或表示時(shí)間在后的圖像的采樣。
文檔編號(hào)H04N5/20GK1494315SQ03158470
公開日2004年5月5日 申請(qǐng)日期2003年8月1日 優(yōu)先權(quán)日2002年8月1日
發(fā)明者金永鐸 申請(qǐng)人:三星電子株式會(huì)社