專利名稱：用于增強(qiáng)輸入圖像的系統(tǒng)、圖像顯示系統(tǒng)和用于圖像增強(qiáng)的方法
技術(shù)領(lǐng)域：
本發(fā)明實(shí)施例總體上涉及圖像增強(qiáng)，具體涉及一種用于增強(qiáng)輸入圖像的系統(tǒng)、圖 像顯示系統(tǒng)以及用于在低對比度觀看條件下提高液晶顯示器(LCD)上的內(nèi)容可見性的方法。
背景技術(shù)：
例如，由于眼疲勞，低對比度觀看條件會對IXD設(shè)備(例如，IXD電視、IXD移動設(shè) 備以及包括LCD顯示器的其他設(shè)備)的用戶的觀看體驗(yàn)產(chǎn)生負(fù)面影響。當(dāng)在迅速(aggressive)功率降低模式中使用設(shè)備時(shí)，會出現(xiàn)低對比度觀看條件， 其中，LCD背光功率級急劇降低，使得圖像/視頻內(nèi)容看起來較暗，并且對于觀看者幾乎不 可見。圖像/視頻的對比度會極大降低，或者在某些情況下，固定在黑色，并且可以傳遞重 要場景內(nèi)容的許多圖像特征會降至可見閾值以下。當(dāng)在強(qiáng)環(huán)境光(例如，直射陽光)下觀看IXD顯示器時(shí)，也會引起低對比度觀看條 件。在這些情況下，觀看者可以感知到的最小顯示亮度可能因周圍的強(qiáng)環(huán)境光而提高。圖 像/視頻中應(yīng)當(dāng)亮的地方會看起來“褪了色”，并且圖像/視頻在較暗的區(qū)域看起來無特征。對于上述兩種低對比度觀看情況，以及其他低對比度觀看情況，圖像/視頻的色 調(diào)動態(tài)范圍被壓縮，并且圖像對比度極大降低，從而劣化了用戶的觀看體驗(yàn)。由于日益增加 的對降低能量成本的消費(fèi)關(guān)注以及對設(shè)備移動性的要求，期望提供改善的數(shù)字圖像和視頻 質(zhì)量，以增強(qiáng)低對比度觀看條件下的觀看體驗(yàn)。在以下參考文獻(xiàn)中示出了數(shù)字圖像和視頻質(zhì)量的這種改善例如，S. Takafumi 禾口 T. Takahashi 的"Comprehensible rendering of 3-D shapes,，，pp. 197-206, SIGGRAPH(1990) ；G. Winkenbach 禾口 D. H. Salesin 的"Computer generated pen-and-ink illustration,"Proc. of SIGGRAPH 2000，pp.91-100(1994) ；M. Nienhaus 和 J. Doellner 的“Edge-enhancement-an algorithm for real-time non-photorealistic rendering, "Journal of WSCG, Vol. 11, No. 1, pp. 346—353 (2003) ；D. Ε. Pearson 禾口 J. A. Robinson 的“Visual communication at very low data rates,，，Proceedings of the IEEE, Vol. 73, No. 4(1985)；以及 D. DeCarlo 和 A. Santella，A 的‘。tylization and abstraction of photographs,” In Proceedings of. SIGGRAPH,pp.769-776(2002)。然而，所有這些傳統(tǒng)技術(shù)具有以下問題傳統(tǒng)技術(shù)不能解決“低對比度觀看條件下的低圖像可見性”的特定問題。因此，傳 統(tǒng)技術(shù)所處理的圖像在低對比度觀看條件下仍不可用或可理解。傳統(tǒng)技術(shù)不能使圖像增亮，因此在低對比度觀看條件下觀看圖像對比度時(shí)，圖像 對比度仍較低。傳統(tǒng)技術(shù)在形成增強(qiáng)圖像時(shí)沒有考慮背光功率級、環(huán)境光級以及圖像內(nèi)容。因此， 傳統(tǒng)技術(shù)所產(chǎn)生的圖像在低對比度觀看條件下不可觀看或不可理解。

發(fā)明內(nèi)容
本發(fā)明的一些實(shí)施例包括用于在對比度觀看條件下提高液晶顯示器(IXD)上的 內(nèi)容可見性的方法和系統(tǒng)。根據(jù)本發(fā)明的一個(gè)方面，公開了一種用于增強(qiáng)輸入圖像的系統(tǒng)。該系統(tǒng)包括關(guān)鍵 特征估計(jì)器，用于估計(jì)與輸入圖像相關(guān)聯(lián)的關(guān)鍵特征圖像，也被稱作關(guān)鍵特征圖；亮度提升 器(booster)，用于產(chǎn)生與輸入圖像相關(guān)聯(lián)的增亮圖像；以及組合器，用于將關(guān)鍵特征圖像 和增亮圖像進(jìn)行組合，以形成增強(qiáng)的圖像，所述增強(qiáng)的圖像在被顯示在LCD顯示器上以及 在低對比度觀看條件下觀看時(shí)可以呈現(xiàn)改善的內(nèi)容可見性。關(guān)鍵特征圖像可以在輸入圖像 中識別存在大梯度和清晰的對象輪廓的像素。根據(jù)本發(fā)明的另一方面，公開了一種用于增強(qiáng)輸入圖像的方法。該方法包括接收 輸入圖像；估計(jì)與輸入圖像相關(guān)聯(lián)的關(guān)鍵特征圖；通過提升輸入圖像的亮度來形成增亮圖 像；以及將關(guān)鍵特征圖與增亮圖像進(jìn)行組合，以形成增強(qiáng)圖像。根據(jù)本發(fā)明的另一方面，公開了一種圖像顯示系統(tǒng)。該系統(tǒng)包括輸入圖像接收 器，用于接收輸入圖像；關(guān)鍵特征估計(jì)器，用于估計(jì)與輸入圖像相關(guān)聯(lián)的關(guān)鍵特征圖；亮度 提升器，用于通過提升輸入圖像的亮度來形成增亮圖像；組合器，用于將梯度圖與增亮圖像 進(jìn)行組合，以形成增強(qiáng)圖像；以及顯示器，用于顯示增強(qiáng)圖像。在考慮以下結(jié)合附圖進(jìn)行的本發(fā)明的詳細(xì)描述的情況下，將更容易理解本發(fā)明的 上述和其他目標(biāo)、特征和優(yōu)點(diǎn)。


圖1是示出了在低背光功率觀看條件下的示例圖像的圖；圖2是示出了在強(qiáng)環(huán)境光觀看條件下的示例圖像的圖；圖3是示出了本發(fā)明的示例實(shí)施例的圖，包括用于提升輸入圖像的亮度級的亮 度提升器、用于估計(jì)與輸入圖像相關(guān)聯(lián)的關(guān)鍵特征圖的關(guān)鍵特征估計(jì)器、以及用于將亮度 提升后的圖像與關(guān)鍵特征圖進(jìn)行組合的組合器；圖4是示出了本發(fā)明的示例實(shí)施例的圖，包括梯度估計(jì)器，梯度估計(jì)器包括大空 間模板(large-spatial-support)梯度計(jì)算器；圖5是示出了根據(jù)本發(fā)明實(shí)施例的在梯度計(jì)算中使用的與像素位置相關(guān)聯(lián)的示 例大空間模板的畫面；圖6是示出了示例輸入圖像的畫面；圖7是示出了針對圖6所示示例輸入圖像、根據(jù)本發(fā)明實(shí)施例確定的未處理梯度 圖的畫面；圖8是示出了根據(jù)本發(fā)明實(shí)施例的在圖7所示未處理梯度圖中抑制低幅度梯度之 后的梯度圖的畫面；圖9是示出了根據(jù)本發(fā)明實(shí)施例的應(yīng)用于圖8所示示例梯度圖、通過極性反向所 產(chǎn)生的反梯度圖的畫面；圖10是示出了與圖9所示反梯度圖相關(guān)聯(lián)的、根據(jù)本發(fā)明實(shí)施例產(chǎn)生的對比度增 強(qiáng)梯度圖的畫面；
圖11是示出了應(yīng)用于圖10所示示例對比度增強(qiáng)梯度圖的梯度平滑的效果的畫圖12是示出了本發(fā)明示例實(shí)施例的圖，包括確定在發(fā)生裁剪時(shí)在是三個(gè)顏色通 道上保持顏色比的亮度提升因子；圖13是示出了根據(jù)本發(fā)明實(shí)施例的在全功耗下圖6所示示例輸入圖像的非真實(shí) 感繪制(NPR)再現(xiàn)的畫面；圖14是示出了根據(jù)本發(fā)明實(shí)施例的在2%功耗下圖6所示示例輸入圖像的NPR再 現(xiàn)的畫面；圖15是示出了根據(jù)本發(fā)明實(shí)施例的在直射陽光下觀看的圖2所示示例輸入圖像 的NPR再現(xiàn)的畫面；以及圖16示出了本發(fā)明示例實(shí)施例的圖，包括用于提升輸入圖像的亮度級的亮度提 升器、用于估計(jì)與輸入圖像相關(guān)聯(lián)的關(guān)鍵特征圖的關(guān)鍵特征估計(jì)器、用于將亮度提升后的 圖像與關(guān)鍵特征圖進(jìn)行組合的組合器、以及用于確定組合器所使用的混合參數(shù)的混合參數(shù) 選擇器。
具體實(shí)施例方式為了解決傳統(tǒng)技術(shù)中所示的問題，本發(fā)明通過邊緣加亮和圖像增亮，在低對比度 觀看條件下改善了感知的對比度、可見性和可理解性。本發(fā)明還使用圖像增亮，確保在低對比度觀看條件下觀看時(shí)，圖像對比度不低。本發(fā)明還基于背光功率級、環(huán)境光級和圖像內(nèi)容形成增強(qiáng)圖像。這確保所產(chǎn)生的 圖像在低對比度觀看條件下可觀看或可理解。參照附圖將更好地理解本發(fā)明的實(shí)施例，其中，貫穿附圖類似的部件由類似的數(shù) 字表示。可以將以上所列附圖清楚地合并為該詳細(xì)描述的一部分。容易理解，這里附圖中總體上描述和示意的本發(fā)明的組件應(yīng)當(dāng)按照各種不同配置 來布置和設(shè)計(jì)。因此，本發(fā)明的方法和系統(tǒng)的實(shí)施例的以下更詳細(xì)描述并不意在限制本發(fā) 明的范圍，而僅代表本發(fā)明的當(dāng)前優(yōu)選實(shí)施例。本發(fā)明實(shí)施例的元件可以以硬件、固件和/或軟件來實(shí)現(xiàn)。盡管這里揭示的示例 實(shí)施例僅描述這些形式中的一種形式，但是應(yīng)理解，本領(lǐng)域技術(shù)人員能夠?qū)崿F(xiàn)采用這些形 式中的任何形式的這些元件，而同時(shí)保持在本發(fā)明的范圍內(nèi)。例如，由于眼疲勞，低對比度觀看條件會對IXD設(shè)備(例如，IXD電視，IXD移動設(shè) 備以及包括LCD顯示器的其他設(shè)備)的用戶的觀看體驗(yàn)產(chǎn)生負(fù)面影響。當(dāng)在迅速功率降低模式中使用設(shè)備時(shí)，會引起低對比度觀看條件，其中，LCD背光 功率級急劇降低，使得圖像/視頻內(nèi)容看起來較暗，并且對于觀看者幾乎不可見。圖像/視 頻的對比度會極大降低，或者在某些情況下，固定在黑色，并且可以傳遞重要場景內(nèi)容的許 多圖像特征會降至可見閾值以下。圖1示出了在操作于迅速功率模式降低下的設(shè)備上顯示 的示例圖像10。當(dāng)在強(qiáng)環(huán)境光(例如，直射陽光)下觀看IXD顯示器時(shí)，也會引起低對比度觀看條 件。在這些情況下，觀看者可以感知到的最小顯示亮度可能因周圍的強(qiáng)環(huán)境光而提高。圖 像/視頻中應(yīng)當(dāng)亮的地方會看起來“褪了色”，并且圖像/視頻在較暗的區(qū)域看起來無特征。圖2示出了在強(qiáng)環(huán)境光照(直射陽光)下利用移動電話觀看的示例圖像20。對于上述兩種低對比度觀看情況，以及其他低對比度觀看情況，圖像/視頻的色 調(diào)動態(tài)范圍被壓縮，并且圖像對比度極大降低，從而劣化了用戶的觀看體驗(yàn)。由于日益增加 的對降低能量成本的消費(fèi)關(guān)注以及對設(shè)備移動性的要求，期望提供改善的數(shù)字圖像和視頻 質(zhì)量，以增強(qiáng)低對比度觀看條件下的觀看體驗(yàn)。關(guān)于圖3描述的本發(fā)明的一些實(shí)施例可以利用非真實(shí)感繪制(NPR)技術(shù)加亮關(guān)鍵 圖像特征，來增加低對比度觀看條件下的圖像/視頻特征的可見性。這些實(shí)施例中的一些 可以包括圖像增強(qiáng)系統(tǒng)30，圖像增強(qiáng)系統(tǒng)30包括亮度提升器32、關(guān)鍵特征估計(jì)器34、組合 器36以及碼值映射器38。圖像增強(qiáng)系統(tǒng)30可以接收輸入圖像31，并且可以使得輸入圖像 31對于亮度提升器32和關(guān)鍵特征估計(jì)器34可用。在本發(fā)明的一些實(shí)施例中，輸入圖像31 可以是彩色圖像，例如，RGB圖像。在備選實(shí)施例中，輸入圖像31可以是灰度級圖像。輸入 圖像31可以是靜止圖像或視頻序列的幀。亮度提升器32可以使用亮度保護(hù)技術(shù)來提升輸入圖像31的亮度，并且亮度提升 器32可以產(chǎn)生可用于組合器36的增亮圖像33。在本發(fā)明的一些實(shí)施例中，亮度提升器32 可以基于與LCD背光相關(guān)的信息，來提升輸入圖像31的亮度，LCD背光與可以在其上顯示 增強(qiáng)圖像的IXD顯示器相關(guān)聯(lián)。關(guān)鍵特征估計(jì)器34可以根據(jù)輸入圖像31估計(jì)關(guān)鍵特征圖像35 (也被稱作關(guān)鍵特 征圖)，并且可以使關(guān)鍵特征圖像35可用于組合器36。組合器36可以對增亮圖像33和關(guān)鍵特征圖像35進(jìn)行混合，以形成使得可用于碼 值映射器38的混合圖像37。碼值映射器38可以通過將組合器36所產(chǎn)生的碼值映射成適 合于IXD的碼值(例如，
的范圍)，來形成關(guān)鍵特征加亮(KFH)圖像39。在一些實(shí) 施例中，可以使KFH圖像39直接可用于IXD，以進(jìn)行顯示。KFH圖像39也可以被稱作NPR 圖像。在關(guān)于圖4描述的本發(fā)明的一些實(shí)施例中，關(guān)鍵特征估計(jì)器34可以包括低通濾波 器40以及用于將輸入圖像的分辨率降低至允許近實(shí)時(shí)處理的分辨率的下采樣器42 (如果 需要)。示例低通濾波器可以包括鄰域像素值平均、高斯平滑、中值模糊濾波以及本領(lǐng)域中 已知的其他低通濾波器。在本發(fā)明的一些實(shí)施例中，低通濾波器可以基于計(jì)算極限和/或 系統(tǒng)資源來選擇。示例下采樣器可以包括圖像行的移除、圖像列的移除、雙線性圖像縮放、 雙三次圖像縮放、高斯金字塔下采樣器以及本領(lǐng)域已知的其他下采樣器。在本發(fā)明的一些 實(shí)施例中，下采樣器可以基于計(jì)算極限和/或系統(tǒng)資源來選擇。在備選實(shí)施例(未示出) 中，關(guān)鍵特征估計(jì)器可以不降低輸入圖像的分辨率，因此可以不包括低通濾波器和下采樣器?？梢允瓜虏蓸訄D像43可用于雙邊濾波器44，雙邊濾波器44可以平滑紋理稀疏的 區(qū)域。圖像內(nèi)對象的主要輪廓可以傳遞重要的圖像信息，而紋理稀疏的區(qū)域在感知上對觀 看者不太重要。因此，雙邊濾波器可以用于移除不必要的梯度信息，而保留與對象輪廓相對 應(yīng)的關(guān)鍵邊緣信息?？梢酝ㄟ^灰度級轉(zhuǎn)換器46將雙邊濾波器的結(jié)果45轉(zhuǎn)換成灰度級值，并且可以通 過大空間模板梯度計(jì)算器對灰度級圖像47執(zhí)行梯度估計(jì)。常用的邊緣檢測器(例如，sobel 算子、canny邊緣檢測器以及拉普拉斯算子)不能高效地檢測與主要輪廓相關(guān)聯(lián)的邊緣。這些常用邊緣檢測器的使用可能導(dǎo)致主要對象輪廓上的斷線。此外，可以在紋理稀疏的區(qū)域 中檢測次要邊緣，這在Κ 渲染中是不期望的。此外，使用常用邊緣檢測器之一產(chǎn)生的梯度 圖中的對象邊界不是清晰的。本發(fā)明的實(shí)施例可以使用大空間模板來計(jì)算圖像梯度，并且 僅保留具有大梯度值的像素作為邊緣像素。在本發(fā)明的一些實(shí)施例中，大空間模板梯度計(jì)算器48可以包括用于根據(jù)從輸入 圖像形成的灰度級圖像來計(jì)算梯度圖的梯度圖計(jì)算器。梯度圖計(jì)算器可以在梯度圖計(jì)算中 使用大規(guī)?？臻g模板。在本發(fā)明的一些實(shí)施例中，大空間模板梯度計(jì)算器48可以包括水平梯度計(jì)算器 和垂直梯度計(jì)算器。在灰度級圖像47的每個(gè)像素處，水平梯度值可以由水平梯度計(jì)算器來 確定，垂直梯度值可以由垂直梯度計(jì)算器來確定?？梢曰谂c像素(第一像素)相關(guān)聯(lián)的 確定的水平梯度值和確定的垂直梯度值，來將梯度值分配給該像素。在一些實(shí)施例中，分配 給像素的梯度值可以是與該像素相關(guān)聯(lián)的水平梯度值和垂直梯度值中最大的一個(gè)。 在本發(fā)明的一些實(shí)施例中，可以通過在像素處計(jì)算相對于沿著所述像素左邊和右 邊的每個(gè)方向的多個(gè)水平鄰域的一階導(dǎo)數(shù)，來確定與所述像素相關(guān)聯(lián)的水平梯度值。這可 以看作相對于第一像素位置的沿著第一水平方向的多個(gè)第一一階導(dǎo)數(shù)以及沿著第二水平 方向的多個(gè)第二一階導(dǎo)數(shù)?？梢詫⒀刂總€(gè)方向的最大導(dǎo)數(shù)值加在一起，以形成與該像素 相關(guān)聯(lián)的水平梯度值。沿著第一水平方向的最大導(dǎo)數(shù)值是第一最大值，沿著第二水平方向 的最大導(dǎo)數(shù)值是第二最大值。類似地，可以通過在像素處計(jì)算相對于沿著所述像素之上和 之下的每個(gè)方向的多個(gè)垂直鄰域的一階導(dǎo)數(shù)，來確定與所述像素相關(guān)聯(lián)的垂直梯度值。這 可以看作相對于第一像素位置的沿著第一垂直方向的多個(gè)第三一階導(dǎo)數(shù)，以及沿著第二垂 直方向的多個(gè)第四一階導(dǎo)數(shù)?？梢詫⒀刂總€(gè)方向的最大導(dǎo)數(shù)值加在一起，以形成與像素 相關(guān)聯(lián)的垂直梯度值。沿著第一垂直方向的最大導(dǎo)數(shù)值是第三最大值，沿著第二垂直方向 的最大導(dǎo)數(shù)值是第四最大值。在本發(fā)明的一些實(shí)施例中，與方向(左、右、上、下)相關(guān)聯(lián)的 一維搜索窗的大小可以是三個(gè)像素。圖5示出了其中一維搜索窗是三個(gè)像素的示例實(shí)施例 的大空間模板。在該示例中，對于表示為的像素P。80的像素，水平梯度值gradH(pQ)可以 根據(jù)以下公式來確定gradH(p0)=max [D1 (p0, Ph1)，D1 (p0, ph2)，D1 (p0, ph3) ] +max [D1 (p0, ph^)，D1 (p0, ph_2)，D1 (p0, ph_3)]并且垂直梯度值gradv (Ptl)可以根據(jù)以下公式來確定gradv (Po)=max [D1 (p0, Pv1), D1 (p0, pv2), D1 (p0, pv3) ] +max [D1 (p0, pv—丄),D1 (p0, pv_2), D1 (p0, pv_3)]其中，D1^，·)可以表示一階導(dǎo)數(shù)，Ph1 SUph2 82和pt!3 83是一維搜索窗中像素 P0 80右邊的像素，Ph^1 84、ph_2 85和ph_3 86是一維搜索窗中像素P(1 80左邊的像素，Pv1 87,Pv2 88和Pv3 89是一維搜索窗中像素pQ 80下邊的像素，P^1 90、pv_2 91和pv_3 92是 一維搜索窗中像素上邊的像素。與像素P。80相關(guān)聯(lián)的最終未處理梯度值grad(ρ。)可以根 據(jù)以下公式來確定grad (p0) = max [gradH (p0), gradv (p0)]從而產(chǎn)生未處理梯度圖49。圖6示出了示例輸入圖像100，圖7示出了針對圖6所示的示例圖像100根據(jù)本發(fā)
gradsuppress{p0)
明的上述實(shí)施例確定的所獲得的未處理梯度圖110。在該示例中，使用三個(gè)像素搜索窗。
未處理梯度圖49可以包含噪聲細(xì)節(jié)。因此，可以使未處理梯度圖49可用于低幅 度梯度抑制器50，該抑制器50可以移除低幅度梯度。這提供了“估計(jì)關(guān)鍵特征圖的”效果。 在本發(fā)明的一些實(shí)施例中，低幅度梯度抑制器50可以包括比較器，該比較器根據(jù)以下公式 將梯度幅度與閾值進(jìn)行比較
\grad(p0), grad(p0)>T { 0,其他其中，T可以表示閾值，gradsuppress(Po)可以表示低幅度梯度抑制的梯度圖。在一 些實(shí)施例中，可以將閾值設(shè)置為T = 5.0。在備選實(shí)施例中，低幅度梯度抑制器50可以包括 零交叉檢測器，并且可以在梯度圖中保留與零交叉相關(guān)聯(lián)的像素位置，而同時(shí)可以抑制非 零交叉。圖8示出了在圖7所示的未處理梯度圖110中通過閾值處理抑制低幅度梯度之后 所獲得的梯度圖120?？梢允沟头忍荻纫种频奶荻葓D51可用于梯度圖極性反向器52，該該梯度圖極 性反向器52可以根據(jù)以下公式來使梯度極性反向gradrev(p0) = offset-gradsuppress (p0)其中，offset可以表示與白背景相關(guān)聯(lián)的偏移參數(shù)，gradrev(p0)可以表示反梯度 圖。在一些實(shí)施例中，可以根據(jù)經(jīng)驗(yàn)確定參數(shù)offset。在一些實(shí)施例中，offset = 120。圖 9示出了應(yīng)用于圖8所示示例梯度圖120的極性反向的結(jié)果130。可以使反梯度圖53可用于梯度對比度增強(qiáng)器M，梯度對比度增強(qiáng)器M可以改善 (增強(qiáng))反梯度圖53的對比度，并且可以將梯度值映射至0到255的范圍。在一些實(shí)施例 中，梯度對比度增強(qiáng)器M可以根據(jù)以下公式來映射反梯度值
255，gradrev{p0) = Offset
0，gradrev(p0)<0
gradrev (p0) + shift, 0 < gradrev (pQ) < offset 其中，shift可以表示對比度偏移，gradenhan。ed(pQ)可以表示對比度增強(qiáng)梯度圖。在 本發(fā)明的一些實(shí)施例中，可以根據(jù)經(jīng)驗(yàn)確定參數(shù)shift。在一些實(shí)施例中，shift = 120。 gradenhanced(p0) =
梯度圖
在本發(fā)明的一些實(shí)施例中，梯度對比度增強(qiáng)器M可以根據(jù)以下公式產(chǎn)生二進(jìn)制
, ( 、 /255, gradrev(pQ) = Offset
gradrevM< offset
圖10示出了應(yīng)用于圖9所示示例反梯度圖130的梯度對比度增強(qiáng)的結(jié)果140。這
提供了 “形成增亮圖像”的效果。可以使對比增強(qiáng)梯度圖55可用于梯度平滑器56，梯度平滑器56可以模糊前景邊 緣與白背景之間的邊界，并且可以連接斷線。在本發(fā)明的一些實(shí)施例中，梯度平滑器56可 以包括高斯低通濾波器，以平滑梯度-對比度增強(qiáng)梯度圖中的梯度。在一些實(shí)施例中，高斯 低通濾波器的核大小可以是3x3。圖11示出了應(yīng)用于圖10所示示例對比度-增強(qiáng)梯度圖 140的梯度平滑的結(jié)果150?？梢允蛊交蟮奶荻葓D57可用于上縮放器58，上縮放器58可以將平滑后的梯度圖57縮放(上縮放)至原始輸入圖像分辨率。可以使上縮放的梯度圖59可用于梯度圖偏 移器60，梯度圖偏移器60可以將梯度圖的背景偏移至零。在一些實(shí)施例中，梯度圖偏移器 60可以從上縮放的梯度值中減去255，以將背景偏移至零。使從特征估計(jì)34所獲得的關(guān)鍵 特征圖61可用于組合器36。在關(guān)于圖3描述的本發(fā)明的一些實(shí)施例中，亮度提升器32可以使用線性縮放因子 (也被稱作縮放因子、提升因子、增亮因子以及亮度提升因子)來提升輸入圖像31的亮度。 在這些實(shí)施例中的一些實(shí)施例中，可以確定線性縮放因子，使得在預(yù)定百分比背光調(diào)光下 根據(jù)以下公式來保留亮度
權(quán)利要求
1.一種用于增強(qiáng)輸入圖像的系統(tǒng)，所述系統(tǒng)包括關(guān)鍵特征估計(jì)器，用于估計(jì)與輸入圖像相關(guān)聯(lián)的關(guān)鍵特征圖； 亮度提升器，用于通過提升所述輸入圖像的亮度，來形成增亮圖像；以及 組合器，用于將所述關(guān)鍵特征圖和所述增亮圖像進(jìn)行組合，以形成增強(qiáng)圖像。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括混合參數(shù)選擇器，用于選擇所述組合器要使用 的混合參數(shù)。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，還包括碼值映射器，用于將所述增強(qiáng)圖像的像素值映 射至與LCD顯示器相關(guān)聯(lián)的碼值。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述關(guān)鍵特征估計(jì)器包括梯度圖計(jì)算器，用于 根據(jù)從所述輸入圖像形成的灰度級圖像來計(jì)算梯度圖，其中，所述梯度圖計(jì)算器在所述梯 度圖的計(jì)算中使用大空間模板。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述關(guān)鍵特征估計(jì)器包括a)雙邊濾波器，用于對與所述輸入圖像相關(guān)聯(lián)的低分辨率圖像進(jìn)行濾波；b)灰度級轉(zhuǎn)換器，用于將雙邊濾波后的圖像轉(zhuǎn)換成灰度級圖像；c)梯度計(jì)算器，用于對所述灰度級圖像執(zhí)行大空間模板梯度計(jì)算，從而產(chǎn)生未處理梯 度圖；d)低幅度梯度抑制器，用于抑制所述未處理梯度圖中的低幅度梯度；e)梯度圖極性反向器，用于使低幅度梯度抑制后的梯度圖中的極性反向；f)梯度對比度增強(qiáng)器，用于增強(qiáng)極性反向后的梯度圖中的梯度對比度；g)梯度平滑器，用于對梯度對比度增強(qiáng)后的梯度圖中的梯度進(jìn)行平滑；以及h)梯度圖偏移器，用于將根據(jù)平滑后的梯度形成的梯度圖的背景偏移至零。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述關(guān)鍵特征估計(jì)器包括a)水平梯度計(jì)算器，用于確定與所述輸入圖像相關(guān)聯(lián)的灰度級圖像中第一像素位置處 的水平梯度，其中，所述水平梯度計(jì)算器用于i)確定相對于所述第一像素位置的沿著第一水平方向的多個(gè)第一一階導(dǎo)數(shù)值； )確定相對于所述第一像素位置的沿著第二水平方向的多個(gè)第二一階導(dǎo)數(shù)值；iii)確定第一最大值，其中，所述第一最大值是所述多個(gè)第一一階導(dǎo)數(shù)值的最大值；iv)確定第二最大值，其中，所述第二最大值是所述多個(gè)第二一階導(dǎo)數(shù)值的最大值；以及 ν)通過將所述第一最大值與所述第二最大值相加來確定水平梯度值；b)垂直梯度計(jì)算器，用于確定與所述輸入圖像相關(guān)聯(lián)的灰度級圖像中第一像素位置處 的垂直梯度，其中，所述垂直梯度計(jì)算器用于i)確定相對于所述第一像素位置的沿著第一垂直方向的多個(gè)第三一階導(dǎo)數(shù)值； )確定相對于所述第一像素位置的沿著第二垂直方向的多個(gè)第四一階導(dǎo)數(shù)值；iii)確定第三最大值，其中，所述第三最大值是所述多個(gè)第三一階導(dǎo)數(shù)值的最大值；iv)確定第四最大值，其中，所述第四最大值是所述多個(gè)第四一階導(dǎo)數(shù)值的最大值； ν)通過將所述第三最大值與所述第四最大值相加來確定垂直梯度值；以及c)像素梯度確定器，用于確定與像素位置相關(guān)聯(lián)的梯度值，其中所述與像素位置相關(guān) 聯(lián)的梯度值是所述水平梯度值和所述垂直梯度值中的最大值。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述亮度提升器在形成所述增亮圖像中，使用與LCD顯示器相關(guān)聯(lián)的背光功率級、環(huán)境光級以及所述輸入圖像的圖像內(nèi)容中的至少一個(gè)。
8.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述混合參數(shù)值用于對所述關(guān)鍵特征圖和所述 增亮圖像進(jìn)行線性加權(quán)。
9.根據(jù)權(quán)利要求5所述的系統(tǒng)，其中，與所述輸入圖像相關(guān)聯(lián)的所述低分辨率圖像由 以下來形成a)低通濾波器，用于對所述輸入圖像進(jìn)行低通濾波；以及b)下采樣器，用于對低通濾波后的輸入圖像進(jìn)行下采樣。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，根據(jù)平滑后的梯度圖形成的所述梯度圖通過以 下來形成將所述平滑后的梯度圖上縮放至所述輸入圖像的分辨率。
11.一種用于增強(qiáng)輸入圖像的方法，所述方法包括a)接收輸入圖像；b)估計(jì)與輸入圖像相關(guān)聯(lián)的關(guān)鍵特征圖；c)通過提升所述輸入圖像的亮度來形成增亮圖像；以及d)組合所述關(guān)鍵特征圖與所述增亮圖像，以形成增強(qiáng)圖像。
12.根據(jù)權(quán)利要求11所述的方法，其中，所述形成包括確定增亮因子。
13.根據(jù)權(quán)利要求12所述的方法，其中，所述增亮因子是在空間上變化的。
14.根據(jù)權(quán)利要求11所述的方法，其中，所述形成包括a)接收第一增亮因子；b)接收所述輸入圖像中與第一像素相關(guān)聯(lián)的第一顏色分量值；c)接收與所述第一像素相關(guān)聯(lián)的第二顏色分量值；d)接收與所述第一像素相關(guān)聯(lián)的第三顏色分量值；e)當(dāng)所述第一增亮因子修改的第一顏色分量值小于最大碼值，所述第一增亮因子修改 的第二顏色分量值小于所述最大碼值，以及所述第一增亮因子修改的第三顏色分量值小于 所述最大碼值時(shí)，通過所述第一增亮因子，修改所述第一顏色分量值、所述第二顏色分量值 以及所述第三顏色分量值；以及f)當(dāng)所述第一增亮因子修改的第一顏色分量值不小于所述最大碼值，或者所述第一增 亮因子修改的第二顏色分量值不小于所述最大碼值，或者所述第一增亮因子修改的第三顏 色分量值不小于所述最大碼值時(shí)i)基于所述最大碼值、以及所述第一顏色分量值、所述第二顏色分量值和所述第三顏 色分量值中的最大值，確定第二增亮因子； )通過所述第二增亮因子，修改所述第一顏色分量值；iii)通過所述第二增亮因子，修改所述第二顏色分量值；以及iv)通過所述第二增亮因子，修改所述第三顏色分量值。
15.一種圖像顯示系統(tǒng)，包括a)輸入圖像接收器，用于接收輸入圖像；b)關(guān)鍵特征估計(jì)器，用于估計(jì)與所述輸入圖像相關(guān)聯(lián)的關(guān)鍵特征圖；c)亮度提升器，用于通過提升所述輸入圖像的亮度，來形成增亮圖像；d)組合器，用于組合所述梯度圖和所述增亮圖像，以形成增強(qiáng)圖像；以及e)顯示器，用于顯示所述增強(qiáng)圖像。
全文摘要
本發(fā)明的方面涉及一種用于增強(qiáng)輸入圖像的系統(tǒng)、圖像顯示系統(tǒng)以及用于在低對比度觀看條件下提高液晶顯示器(LCD)上的內(nèi)容可見性的方法。根據(jù)本發(fā)明的一個(gè)方面，關(guān)鍵特征估計(jì)器可以估計(jì)與輸入圖像相關(guān)聯(lián)的關(guān)鍵特征圖，亮度提升器可以通過提升輸入圖像的亮度來形成增亮圖像。增強(qiáng)圖像可以通過組合與輸入圖像相關(guān)聯(lián)的關(guān)鍵特征圖和輸入圖像的亮度提升版本來形成。該效果是通過邊緣加亮和圖像增亮，來提高低對比度觀看條件下圖像的感知對比度、可見性以及可理解性。
文檔編號G09G3/36GK102063703SQ20101054885
公開日2011年5月18日 申請日期2010年11月12日 優(yōu)先權(quán)日2009年11月18日
發(fā)明者斯科特·J·達(dá)利, 許新玉, 路易斯·約瑟夫·科洛斯基 申請人:夏普株式會社