圖像處理裝置和方法
【專利摘要】按照圖像（Din）的每個像素檢測以校正對象像素為中心的周邊區(qū)域的對比度相關(guān)值（CT）（1），根據(jù)對比度相關(guān)值（CT）決定對比度的增強系數(shù)（Ken）（2），根據(jù)增強系數(shù)（Ken）按照每個像素增強局部對比度而生成中間圖像（D3）（3）。當(dāng)對中間圖像（D3）在時間方向進行平滑來進行降噪（5）時，根據(jù)在增強系數(shù)（Ken）大的情況下變大的降噪系數(shù)（Knr）控制降噪程度。能夠針對在霧、霾等的惡劣天氣條件下拍攝到的低對比度圖像，適當(dāng)改善對比度下降部分的對比度并降低伴隨對比度改善而被增強的噪聲，從而得到高質(zhì)量的圖像。
【專利說明】圖像處理裝置和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及校正圖像的對比度的圖像處理裝置和方法，特別是涉及為了提高在 霧、霾等的惡劣天氣條件下拍攝到的低對比度圖像的視認(rèn)性而改善圖像的對比度和清晰度 的處理以及降低隨之增強的噪聲的處理。
【背景技術(shù)】
[0002]以往，作為校正低對比度圖像來生成鮮明圖像的技術(shù)，提出了各種對比度改善方法。
[0003]例如，在專利文獻(xiàn)I所述的灰度校正裝置中，根據(jù)原色信號生成亮度信號，檢測生 成的亮度信號在畫面整體上的分布信息，生成對度數(shù)分布在亮度級別的整個范圍內(nèi)進行平 滑的灰度校正轉(zhuǎn)換表，根據(jù)灰度校正轉(zhuǎn)換表的輸入與輸出的比率計算校正系數(shù)，對各原色 信號乘以相同的校正系數(shù)，從而進行圖像整體的高對比度化。
[0004]并且，在專利文獻(xiàn)2所述的圖像處理裝置中，生成保存有輸入圖像數(shù)據(jù)的邊緣成 分的平滑圖像數(shù)據(jù)，對輸入圖像數(shù)據(jù)與平滑圖像數(shù)據(jù)之間的差分進行放大并與平滑圖像數(shù) 據(jù)相加，從而進行圖像的高頻成分的對比度增強。
[0005]一般，上述對比度改善處理的目的在于，在圖像整體或局部區(qū)域中擴展亮度分布 的范圍。然而，當(dāng)進行亮度分布的范圍伸展時，對于進行伸展后的亮度級別，不僅信號被放 大，而且連噪聲也被放大，存在有損畫質(zhì)的問題。
[0006]因此，在專利文獻(xiàn)3所述的攝像裝置中，將灰度校正后的圖像通過小波(wavelet) 變換分離成多個頻率成分，通過針對分離出的多個頻率成分進行核化(coring)來進行降 噪，根據(jù)灰度校正曲線設(shè)定核化閾值，由此，抑制與在進行灰度校正時產(chǎn)生的噪聲放大程度 對應(yīng)的噪聲成分。
[0007]現(xiàn)有技術(shù)文獻(xiàn)
[0008]專利文獻(xiàn)
[0009]專利文獻(xiàn)1:日本特開2004 - 342030號公報(第0036?0072段)
[0010]專利文獻(xiàn)2:日本特開2001 - 298621號公報(第0008?0041段)
[0011 ] 專利文獻(xiàn)3:日本特開2008 - 199448號公報(第0025?0083段)

【發(fā)明內(nèi)容】

[0012]發(fā)明要解決的課題
[0013]然而，在專利文獻(xiàn)3所述的攝像裝置中，在圖像信號的對比度極低，信號的振幅是 與噪聲的振幅大致相同程度的情況下，在降噪中不能設(shè)定適當(dāng)?shù)暮嘶撝?，不能限制噪?而僅充分放大信號。特別是在有霧、霾的圖像中，在遠(yuǎn)景等對比度極低的部位，為了使被攝 體的信號的振幅放大到視認(rèn)級別，需要使范圍也伸展到10倍以上，然而在被攝體的信號的 振幅和噪聲的振幅是相同程度的情況下，噪聲也被放大到10倍以上，存在本來應(yīng)不顯著的 噪聲被視認(rèn)而畫質(zhì)下降的問題。[0014]并且，在專利文獻(xiàn)3所述的攝像裝置中，為了降噪而去除高頻成分，因而邊緣部分 發(fā)生模糊。因此，與專利文獻(xiàn)2所述的在圖像的局部區(qū)域中進行對比度改善的方法組合的 情況下，盡管進行了圖像的高頻成分的對比度增強，然而為了降噪而使高頻成分衰減，存在 否定效果的問題。特別是在有霧、霾的圖像中，雖然通過對比度增強可得到去除霾的效果， 但是由于通過降噪使邊緣部分模糊而再次看起來像霾。
[0015]因此，本發(fā)明正是為了解決上述現(xiàn)有技術(shù)的課題而完成的，其目的在于提供一種 圖像處理裝置和方法，能夠針對在霧、霾等的惡劣天氣條件下拍攝到的低對比度圖像，適當(dāng) 改善對比度下降部分的視認(rèn)性，并且降低伴隨對比度改善而被增強的噪聲，從而得到高質(zhì) 量的圖像。
[0016]用于解決課題的手段
[0017]本發(fā)明的一個方式的圖像處理裝置，其特征在于，所述圖像處理裝置具有:
[0018]低對比度部分檢測單元，其將輸入圖像的各像素作為校正對象像素，檢測所述輸 入圖像的該校正對象像素的周邊區(qū)域的對比度相關(guān)值；
[0019]增強系數(shù)決定單元，其根據(jù)由所述低對比度部分檢測單元檢測到的所述對比度相 關(guān)值，決定針對該校正對象像素的對比度的增強系數(shù)；
[0020]局部對比度增強單元，其根據(jù)由所述增強系數(shù)決定單元決定的所述增強系數(shù)，增 強所述輸入圖像的該校正對象像素的局部區(qū)域的對比度，輸出局部對比度增強圖像；
[0021]降噪系數(shù)生成單元，其針對由所述增強系數(shù)決定單元決定的所述增強系數(shù)，生成 隨著該增強系數(shù)變大而變大的降噪系數(shù)；以及
[0022]三維降噪單元，其橫跨多個幀在時間方向上對所述局部對比度增強圖像進行平 滑，由此進行該校正對象像素的噪聲成分的降噪，
[0023]所述三維降噪單元根據(jù)由所述降噪系數(shù)生成單元生成的降噪系數(shù)，控制針對該校 正對象像素的降噪程度。
[0024]本發(fā)明的另一方式的圖像處理裝置，其特征在于，所述圖像處理裝置具有:
[0025]三維降噪單元，其將輸入圖像的各像素作為校正對象像素，橫跨多個幀在時間方 向上對所述輸入圖像進行平滑，由此進行該校正對象像素的噪聲成分的降噪，輸出三維降 噪圖像；
[0026]低對比度部分檢測單元，其檢測所述三維降噪圖像的該校正對象像素的周邊區(qū)域 的對比度相關(guān)值；
[0027]增強系數(shù)決定單元，其根據(jù)由所述低對比度部分檢測單元檢測到的所述對比度相 關(guān)值，決定針對該校正對象像素的對比度的增強系數(shù)；
[0028]局部對比度增強單元，其根據(jù)由所述增強系數(shù)決定單元決定的所述增強系數(shù)，增 強所述三維降噪圖像的該校正對象像素的局部區(qū)域的對比度，輸出局部對比度增強圖像信 號;
[0029]降噪系數(shù)生成單元，其針對由所述增強系數(shù)決定單元決定的所述增強系數(shù)，生成 隨著該增強系數(shù)變大而變大的降噪系數(shù)；以及
[0030]第I幀存儲器，其存儲I幀量的由所述降噪系數(shù)生成單元生成的針對各像素的所 述降噪系數(shù)，
[0031]所述三維降噪單元根據(jù)存儲在所述第I幀存儲器內(nèi)的針對一幀前的各像素的所述降噪系數(shù)，控制針對該校正對象像素的降噪程度。
[0032]發(fā)明效果
[0033]根據(jù)本發(fā)明，由于能夠根據(jù)局部對比度增強的增強系數(shù)設(shè)定用于進行降噪的降噪 系數(shù)，因而能夠根據(jù)伴隨局部對比度增強的噪聲放大程度適當(dāng)?shù)亟档驮肼暋?br> [0034]并且，由于具有橫跨圖像的多個幀在時間方向上對噪聲成分進行平滑的三維降噪 單元，因而能夠僅減少隨機噪聲成分而不會使已增強的被攝體的信號的振幅衰減。并且，能 夠進行降噪而不會在靜態(tài)圖像中產(chǎn)生邊緣部分的模糊。
[0035]因此，能夠針對在霧、霾等的惡劣天氣條件下拍攝到的低對比度圖像，適當(dāng)改善對 比度下降部分的對比度，并且降低伴隨對比度改善而被增強的噪聲，從而得到高質(zhì)量的圖像。
【專利附圖】

【附圖說明】
[0036]圖1是示出本發(fā)明的實施方式I的圖像處理裝置的結(jié)構(gòu)的框圖。
[0037]圖2是示出圖1的增強系數(shù)決定單元2中的增強系數(shù)Ken與對比度相關(guān)值CT關(guān) 系的一例的圖。
[0038]圖3是示出用于圖1的非線性LPF單元32將周邊像素的值Ds轉(zhuǎn)換成校正像素值 Dst的非線性函數(shù)的圖。
[0039]圖4是示出圖1的局部對比度增強單元3中的、非線性LPF單元32的輸出是D32 時的輸入信號Sin與輸出信號Sout的關(guān)系的圖。
[0040]圖5是示出圖1的降噪系數(shù)生成單元4中的降噪系數(shù)Kne與增強系數(shù)Ken的關(guān)系 的圖。
[0041]圖6是示出實施方式I的圖像處理裝置的動作的流程圖。
[0042]圖7的(a)?(d)是示出實施方式I的圖像處理裝置的各部中出現(xiàn)的信號的一例 的圖。
[0043]圖8是示出本發(fā)明的實施方式2的圖像處理裝置的結(jié)構(gòu)的框圖。
[0044]圖9是示出實施方式2的圖像處理裝置的動作的流程圖。
[0045]圖10的(a)?(e)是示出實施方式2的圖像處理裝置的各部中出現(xiàn)的信號的一 例的圖。
[0046]圖11是示出本發(fā)明的實施方式3的圖像處理裝置的結(jié)構(gòu)的框圖。
[0047]圖12是示出本發(fā)明的實施方式4的圖像處理裝置的結(jié)構(gòu)的框圖。
【具體實施方式】
[0048]實施方式I
[0049]圖1是示出本發(fā)明的實施方式I的圖像處理裝置的結(jié)構(gòu)的框圖。本實施方式I的 圖像處理裝置具有低對比度部分檢測單元1、增強系數(shù)決定單元2、降噪系數(shù)生成單元4以 及三維降噪單元5。
[0050]低對比度部分檢測單元I接收表示輸入圖像Din的輸入圖像信號，按照該輸入圖 像Din的每個像素檢測以校正對象像素為中心的周邊區(qū)域的對比度相關(guān)值CT。輸入圖像和 表示該輸入圖像的輸入圖像信號由相同的標(biāo)號Din表示。以下，對于其它信號也是同樣的。[0051]增強系數(shù)決定單元2根據(jù)由低對比度部分檢測單元I檢測到的對比度相關(guān)值CT，決定每個像素的對比度的增強系數(shù)Ken。
[0052]局部對比度增強單元3生成根據(jù)由增強系數(shù)決定單元2決定的增強系數(shù)Ken按照輸入圖像Din的每個像素增強局部對比度而得到的中間圖像D3。
[0053]如圖所示，局部對比度增強單元3例如具有延遲單元31、非線性LPF單元32、增益決定單元33以及乘法器34。
[0054]延遲單元31使輸入圖像信號Din延遲預(yù)定量，輸出延遲圖像信號D31。
[0055]非線性LPF單元32使用根據(jù)輸入圖像Din的校正對象像素的值與周邊像素的值之間的差分對周邊像素的值進行非線性轉(zhuǎn)換而得到的值，按照每個像素進行周邊區(qū)域的平滑，生成非線性平滑信號D32。
[0056]增益決定單元33使用非線性平滑信號32和使輸入圖像信號Din延遲后的信號(延遲圖像信號)D31以及增強系數(shù)Ken，決定用于按照輸入圖像Din的每個像素增強局部對比度的增益G。
[0057]乘法器34對延遲圖像信號D31的每個像素乘以增益G而生成中間圖像D3。
[0058]由增益決定單元33和乘法器34構(gòu)成按照與增強系數(shù)Ken對應(yīng)的混合比對延遲圖像信號D31和非線性平滑信號D32進行混合的混合單元35。
[0059]并且，由延遲單元31、非線性LPF單元32以及增益決定單元33構(gòu)成根據(jù)延遲圖像信號D31、非線性平滑信號D32和增強系數(shù)Ken生成增益G的增益生成單元36。
[0060]降噪系數(shù)生成單元4根據(jù)由增強系數(shù)決定單元2決定的增強系數(shù)Ken，設(shè)定用于由三維降噪單元5進行降噪的降噪系數(shù)(NR系數(shù))Knr。
[0061]三維降噪單元5橫跨中間圖像D3的多個幀在時間方向上對噪聲成分進行平滑，由此生成噪聲得到降低的輸出圖像Dout。
[0062]如圖所示，三維降噪單元5例如具有減法器51和53、乘法器52以及幀存儲器54，構(gòu)成幀循環(huán)型的降噪裝置。
[0063]以下，更詳細(xì)地說明各部件。
[0064]輸入圖像信號Din是亮度信號Y和色差信號Cb、Cr或者三原色信號R、G、B等的合成信號。
[0065]低對比度部分檢測單元I按照輸入圖像Din的每個像素計算以校正對象像素為中心的周邊區(qū)域的對比度相關(guān)值CT，用于檢測圖像中的對比度低的部分。對比度相關(guān)值CT是以校正對象像素為中心的周邊區(qū)域內(nèi)包含的像素間的對比度，即與亮度分布的范圍寬度相
關(guān)的量。
[0066]S卩，求出在對比度局部較低的區(qū)域內(nèi)為小值，在對比度局部較高的區(qū)域內(nèi)為大值的對比度相關(guān)值CT。換言之，求出在以該校正對象像素為中心的周邊區(qū)域的對比度低的情況下為小值，在以該校正對象像素為中心的周邊區(qū)域的對比度高的情況下為大值的值，作為針對各校正對象像素的對比度相關(guān)值。
[0067]對比度相關(guān)值CT例如是通過如下方式計算出的:在以第I預(yù)定大小的窗例如11X11像素的窗內(nèi)的各像素為中心的第2預(yù)定大小的窗例如5X5像素的窗中，求出窗內(nèi)的全部像素的值的標(biāo)準(zhǔn)偏差，并進一步在上述第I預(yù)定大小的窗即11 X 11像素的窗內(nèi)對求出的標(biāo)準(zhǔn)偏差進行平均，其中所述第I預(yù)定大小的窗以校正對象像素為中心。更詳細(xì)地說，針對以校正對象像素(其位置由坐標(biāo)(h，V)表示)為中心的第I預(yù)定大小的窗例如11X11像素的窗內(nèi)的11X11個像素(以由坐標(biāo)(h — 5，V — 5)、(h + 5，V — 5)、(h — 5，v + 5)、(h + 5，V + 5)表示的位置為四角的矩形窗內(nèi)的像素)的各個像素，求出以其為中心的第2預(yù)定大小的窗例如5X5像素的窗(例如針對由坐標(biāo)(h - 5, V - 5)表示的位置的像素，以由坐標(biāo)(h — 7, V — 7)、(h — 3, V — 7)、(h — 7, V — 3)、(h — 3, V — 3)表不的位置為四角的窗)內(nèi)的全部像素(5X 5個像素)的標(biāo)準(zhǔn)偏差，針對上述第I預(yù)定大小的窗的11X11個像素，求出它們的標(biāo)準(zhǔn)偏差(11X11個標(biāo)準(zhǔn)偏差)的平均，將該平均用作針對該校正對象像素的對比度相關(guān)值CT。
[0068]另外，也可以取代標(biāo)準(zhǔn)偏差，而是求出上述第2預(yù)定大小的窗內(nèi)的像素值的最大值MAX與最小值MIN的差(MAX — MIN)，將其在上述第I預(yù)定大小的窗內(nèi)進行平均，從而求出對比度相關(guān)值CT。
[0069]并且，窗的大小不限定于5X5像素、11 X 11像素。而且，上述“第I預(yù)定大小”和“第2預(yù)定大小”也可以是相同大小。
[0070]另外，低對比度部分檢測單元I的作用是檢測圖像中的對比度低的部分，通過后述的處理在對比度低的部分增大對比度 的增強程度。因此，只要能夠使用上述以外的其它指標(biāo)檢測想要增強對比度的部分，就可以使用這樣的指標(biāo)來求出對比度相關(guān)值CT。例如，在霧、霾等的惡劣天氣條件下拍攝到的圖像的情況下，下霧的部分存在不僅亮度分布范圍變窄，而且高頻成分的量少、亮度級別發(fā)亮、彩度下降等的傾向?？梢岳迷搩A向，通過未圖示的單元按照每個像素檢測以校正對象像素為中心的周邊區(qū)域的高頻成分的量和亮度級別、彩度，使其反映于對比度相關(guān)值CT。
[0071]具體地，高頻成分的量可通過如下方式進行計算:使用以11X11像素的窗內(nèi)的各像素為中心的3X3像素或5X5像素的拉普拉斯濾波器等檢測高頻成分，將取濾波器輸出的絕對值而得到的值進一步在上述11X11像素的窗內(nèi)進行積分，其中所述11X11像素的窗以校正對象像素為中心。在該情況下，對比度相關(guān)值CT當(dāng)局部包含許多高頻成分時為大值，當(dāng)是平坦圖像時為小值。
[0072]并且，周邊區(qū)域的亮度級別可通過如下方式進行計算:在以校正對象像素為中心的5X5像素的窗內(nèi)求出窗內(nèi)的全部像素的亮度的平均值。在該情況下，將亮度信號的最大值的亮度的1/2-3/4左右的亮度級別判斷為下霧的部位，對比度相關(guān)值CT成為小值。
[0073]并且，在使用周邊區(qū)域的彩度的情況下，在輸入圖像信號Din由彩色圖像的亮度信號Y和色差信號Cb、Cr構(gòu)成的情況下，可通過如下方式進行計算:使用色差信號Cb、Cr的兩個信號根據(jù)下式(I)
[0074]Snn = 4 Cb2 + Cr2⑴
[0075]檢測彩度，在以校正對象像素為中心的5 X 5像素的窗內(nèi)求出窗內(nèi)的全部像素的Srm的平均值。在該情況下，對比度相關(guān)值CT在周邊區(qū)域的彩度大的情況下為大值，在周邊區(qū)域的彩度小的情況下為小值。
[0076]然后，增強系數(shù)決定單元2根據(jù)對比度相關(guān)值CT決定每個像素的對比度的增強系數(shù)Ken。換言之，增強系數(shù)決定單元2根據(jù)針對各像素的對比度相關(guān)值CT求出針對該像素的增強系數(shù)Ken。增強系數(shù)Ken例如根據(jù)下式(2)作為對比度相關(guān)值CT的函數(shù)進行計算。
[0077]
【權(quán)利要求】
1.一種圖像處理裝置，其特征在于，所述圖像處理裝置具有:低對比度部分檢測單元，其將輸入圖像的各像素作為校正對象像素，檢測所述輸入圖像的該校正對象像素的周邊區(qū)域的對比度相關(guān)值；增強系數(shù)決定單元，其根據(jù)由所述低對比度部分檢測單元檢測到的所述對比度相關(guān)值，決定針對該校正對象像素的對比度的增強系數(shù)；局部對比度增強單元，其根據(jù)由所述增強系數(shù)決定單元決定的所述增強系數(shù)，增強所述輸入圖像的該校正對象像素的局部區(qū)域的對比度，輸出局部對比度增強圖像；降噪系數(shù)生成單元，其針對由所述增強系數(shù)決定單元決定的所述增強系數(shù)，生成隨著該增強系數(shù)變大而變大的降噪系數(shù)；以及三維降噪單元，其橫跨多個幀在時間方向上對所述局部對比度增強圖像進行平滑，由此進行該校正對象像素的噪聲成分的降噪，所述三維降噪單元根據(jù)由所述降噪系數(shù)生成單元生成的降噪系數(shù)控制針對該校正對象像素的降噪程度。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于，所述低對比度部分檢測單元輸出如下的值作為所述對比度相關(guān)值:其在以所述校正對象像素為中心的所述周邊區(qū)域的對比度低的情況下為小值，在以所述校正對象像素為中心的所述周邊區(qū)域的對比度高的情況下為大值。
3.根據(jù)權(quán)利要求1或2所述的圖像處理裝置，其特征在于，所述低對比度部分檢測單元針對以所述校正對象像素為中心的預(yù)定范圍內(nèi)的各個像素，求出以該像素為中心的預(yù)定大小的窗內(nèi)的全部像素的值的標(biāo)準(zhǔn)偏差，求出針對所述預(yù)定范圍內(nèi)的全部像素的所述標(biāo)準(zhǔn)偏差的平均作為所述對比度相關(guān)值。
4.根據(jù)權(quán)利要求1-3中的任意 一項所述的圖像處理裝置，其特征在于，所述降噪系數(shù)生成單元決定所述降噪系數(shù)，使得所述局部對比度增強單元中的與所述增強系數(shù)對應(yīng)的 SNR劣化量和所述三維降噪單元中的與所述降噪系數(shù)對應(yīng)的SNR改善量對應(yīng)。
5.根據(jù)權(quán)利要求1-4中的任意一項所述的圖像處理裝置，其特征在于，所述降噪系數(shù)生成單元根據(jù)在所述增強系數(shù)小的情況下所述降噪系數(shù)變小，在所述增強系數(shù)大的情況下所述降噪系數(shù)變大，而且所述降噪系數(shù)的增量隨著所述增強系數(shù)變大而變小的特性，生成所述降噪系數(shù)。
6.根據(jù)權(quán)利要求1-5中的任意一項所述的圖像處理裝置，其特征在于，所述三維降噪單元具有:幀存儲器，其存儲至少I幀從該三維降噪單元輸出的圖像信號；第I減法器，其從所述局部對比度增強圖像中減去存儲在所述幀存儲器內(nèi)的在一幀前輸出的圖像信號；系數(shù)乘法器，其對所述第I減法器的輸出乘以由所述降噪系數(shù)生成單元生成的所述降噪系數(shù)；以及第2減法器，其從所述局部對比度增強圖像中減去所述系數(shù)乘法器的輸出，所述三維降噪單元將所述第2減法器的輸出作為從所述三維降噪單元輸出的所述圖像信號。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其特征在于，在設(shè)所述增強系數(shù)為Ken，設(shè)所述降噪系數(shù)為Knr，設(shè)任意的比例常數(shù)為k時，所述降噪系數(shù)生成單元生成滿足由下式
8.根據(jù)權(quán)利要求1~7中的任意一項所述的圖像處理裝置，其特征在于，所述增強系數(shù)決定單元根據(jù)在所述對比度相關(guān)值小的情況下所述增強系數(shù)變大，在所述對比度相關(guān)值大的情況下所述增強系數(shù)變小，而且所述增強系數(shù)的增量隨著所述對比度相關(guān)值變小而變大的特性，決定所述增強系數(shù)。
9.根據(jù)權(quán)利要求1~8中的任意一項所述的圖像處理裝置，其特征在于，在設(shè)所述對比度相關(guān)值為CT，設(shè)所述增強系數(shù)為Ken，設(shè)所述增強系數(shù)的最大值為Kmax，設(shè)所述增強系數(shù)的最小值為Kmin，設(shè)所述增強系數(shù)的變化切換點處的所述對比度相關(guān)值為CTtp時，所述增強系數(shù)決定單元決定所述增強系數(shù)，使得滿足下式
10.根據(jù)權(quán)利要求1~9中的任意一項所述的圖像處理裝置，其特征在于，所述局部對比度增強單元具有:非線性LPF單元，其使用根據(jù)所述輸入圖像的所述校正對象像素的值與位于該校正對象像素周邊的像素的值之間的差分對所述位于周邊的像素的值進行非線性轉(zhuǎn)換而得到的值，對所述校正對象像素和位于其周邊的像素進行平滑，輸出該平滑結(jié)果作為針對該校正對象像素的非線性平滑結(jié)果；增益決定單元，其使用所述非線性LPF單元的輸出和所述輸入圖像的所述校正對象像素的值以及所述增強系數(shù)，決定輸入到該局部對比度增強單元的增益；以及增益乘法器，其對所述輸入圖像的所述校正對象像素的值乘以所述增益。
11.一種圖像處理裝置，其特征在于，所述圖像處理裝置具有:三維降噪單元，其將輸入圖像的各像素作為校正對象像素，橫跨多個幀在時間方向上對所述輸入圖像進行平滑，由此進行該校正對象像素的噪聲成分的降噪，輸出三維降噪圖像；低對比度部分檢測單元，其檢測所述三維降噪圖像的該校正對象像素的周邊區(qū)域的對比度相關(guān)值；增強系數(shù)決定單元，其根據(jù)由所述低對比度部分檢測單元檢測到的所述對比度相關(guān)值，決定針對該校正對象像素的對比度的增強系數(shù)；局部對比度增強單元，其根據(jù)由所述增強系數(shù)決定單元決定的所述增強系數(shù)，增強所述三維降噪圖像的該校正對象像素的局部區(qū)域的對比度，輸出局部對比度增強圖像信號；降噪系數(shù)生成單元，其針對由所述增強系數(shù)決定單元決定的所述增強系數(shù)，生成隨著該增強系數(shù)變大而變大的降噪系數(shù)；以及第1幀存儲器，其存儲I幀量的由所述降噪系數(shù)生成單元生成的針對各像素的所述降噪系數(shù)，所述三維降噪單元根據(jù)存儲在所述第I幀存儲器內(nèi)的針對一幀前的各像素的所述降噪系數(shù)，控制針對該校正對象像素的降噪程度。
12.根據(jù)權(quán)利要求11所述的圖像處理裝置，其特征在于，所述低對比度部分檢測單元輸出如下的值作為所述對比度相關(guān)值:其在以所述校正對象像素為中心的所述周邊區(qū)域的對比度低的情況下為小值，在以所述校正對象像素為中心的所述周邊區(qū)域的對比度高的情況下為大值。
13.根據(jù)權(quán)利要求11或12所述的圖像處理裝置，其特征在于，所述低對比度部分檢測單元針對以所述校正對象像素為中心的預(yù)定范圍內(nèi)的各個像素，求出以該像素為中心的預(yù)定大小的窗內(nèi)的全部像素的值的標(biāo)準(zhǔn)偏差，求出針對所述預(yù)定范圍內(nèi)的全部像素的所述標(biāo)準(zhǔn)偏差的平均作為所述對比度相關(guān)值。
14.根據(jù)權(quán)利要求11-13中的任意一項所述的圖像處理裝置，其特征在于，所述降噪系數(shù)生成單元決定所述降噪系數(shù)，使得所述局部對比度增強單元中的與所述增強系數(shù)對應(yīng)的SNR劣化量和所述三維降噪單元中的與所述降噪系數(shù)對應(yīng)的SNR改善量對應(yīng)。
15.根據(jù)權(quán)利要求11-14中的任意一項所述的圖像處理裝置，其特征在于，所述降噪系數(shù)生成單元根據(jù)在所述增強系數(shù)小的情況下所述降噪系數(shù)變小，在所述增強系數(shù)大的情況下所述降噪系數(shù)變大，而且所述降噪系數(shù)的增量隨著所述增強系數(shù)變大而變小的特性， 生成所述降噪系數(shù)。
16.根據(jù)權(quán)利要求11-15中的任意一項所述的圖像處理裝置，其特征在于，所述三維降噪單元具有:幀存儲器，其存儲至少I幀從該三維降噪單元輸出的圖像信號；第I減法器，其從所述輸入圖像中減去存儲在所述幀存儲器內(nèi)的在一幀前輸出的圖像信號;系數(shù)乘法器，其對所述第I減法器的輸出乘以由所述降噪系數(shù)生成單元生成的所述降噪系數(shù)；以及第2減法器，其從所述輸入圖像中減去所述系數(shù)乘法器的輸出，所述三維降噪單元將所述第2減法器的輸出作為從所述三維降噪單元輸出的所述圖像信號。
17.根據(jù)權(quán)利要求16所述的圖像處理裝置，其特征在于，在設(shè)所述增強系數(shù)為Ken，設(shè)所述降噪系數(shù)為Knr，設(shè)任意的比例常數(shù)為k時，所述降噪系數(shù)生成單元生成滿足由下式Km.= K.Ken+ I表示的關(guān)系的所述降噪系數(shù)。
18.根據(jù)權(quán)利要求11-17中的任意一項所述的圖像處理裝置，其特征在于，所述增強系數(shù)決定單元根據(jù)在所述對比度相關(guān)值小的情況下所述增強系數(shù)變大，在所述對比度相關(guān)值大的情況下所述增強系數(shù)變小，而且所述增強系數(shù)的增量隨著所述對比度相關(guān)值變小而變大的特性，決定所述增強系數(shù)。
19.根據(jù)權(quán)利要求11-18中的任意一項所述的圖像處理裝置，其特征在于，在設(shè)所述對比度相關(guān)值為CT，設(shè)所述增強系數(shù)為Ken，設(shè)所述增強系數(shù)的最大值為Kmax，設(shè)所述增強系數(shù)的最小值為Kmin，設(shè)所述增強系數(shù)的變化切換點處的所述對比度相關(guān)值為CTtp時，所述增強系數(shù)決定單元決定所述增強系數(shù)，使得滿足下式
20.根據(jù)權(quán)利要求11 -19中的任意一項所述的圖像處理裝置，其特征在于，所述局部對比度增強單元具有:非線性LPF單元，其使用根據(jù)所述三維降噪圖像的所述校正對象像素的值與位于該校正對象像素周邊的像素的值之間的差分對所述位于周邊的像素的值進行非線性轉(zhuǎn)換而得到的值，對所述校正對象像素和位于其周邊的像素進行平滑，輸出該平滑結(jié)果作為針對該校正對象像素的非線性平滑結(jié)果；增益決定單元，其使用所述非線性LPF單元的輸出和所述三維降噪圖像的所述校正對象像素的值以及所述增強系數(shù)，決定輸入到該局部對比度增強單元的增益；以及增益乘法器，其對所述三維降噪圖像的所述校正對象像素的值乘以所述增益。
21.—種圖像處理裝置，其特征在于，所述圖像處理裝置具有:低對比度部分檢測單元，其將輸入圖像的各像素作為校正對象像素，檢測所述輸入圖像的亮度信號中該校正對象像素的周邊區(qū)域的對比度相關(guān)值；增強系數(shù)決定單元，其根據(jù)由所述低對比度部分檢測單元檢測到的所述對比度相關(guān)值，決定針對該校正對象像素的對比度的增強系數(shù)；局部對比度增強單元，其根據(jù)由所述增強系數(shù)決定單元決定的所述增強系數(shù)，增強所述輸入圖像的各色成分的信號中該校正對象像素的局部區(qū)域的對比度，輸出局部對比度增強圖像的各色成分的信號；降噪系數(shù)生成單元，其針對由所述增強系數(shù)決定單元決定的所述增強系數(shù)，生成隨著該增強系數(shù)變大而變大的降噪系數(shù)；以及三維降噪單元，其接收所述局部對比度增強圖像的各色成分的信號，橫跨多個幀在時間方向上對該局部對比度增強圖像的各色成分的信號進行平滑，由此進行該校正對象像素的噪聲成分的降噪，所述三維降噪單元根據(jù)由所述降噪系數(shù)生成單元生成的降噪系數(shù)，控制針對該校正對象像素的降噪程度，所述局部對比度增強單元還具有:非線性LPF單元，其使用根據(jù)所述輸入圖像的亮度信號中該校正對象像素的值與位于該校正對象像素周邊的像素的值之間的差分對所述位于周邊的像素的值進行非線性轉(zhuǎn)換而得到的值，對該校正對象像素和位于其周邊的像素進行平滑，輸出該平滑結(jié)果作為針對該校正對象像素的非線性平滑結(jié)果；增益決定單元，其使用所述非線性LPF單元的輸出和所述輸入圖像的亮度信號中該校正對象像素的值以及所述增強系數(shù)，決定輸入到該局部對比度增強單元的增益；以及增益乘法器，其對所述輸入圖像的各色成分的信號中該校正對象像素的值乘以所述增.、Mo
22.—種圖像處理裝置，其特征在于，所述圖像處理裝置具有:三維降噪單元，其將輸入圖像的各像素作為校正對象像素，橫跨多個幀在時間方向上對所述輸入圖像的各色成分的信號進行平滑，由此進行該校正對象像素的噪聲成分的降噪，輸出三維降噪圖像的各色成分的信號；亮度圖像生成單元，其根據(jù)所述三維降噪圖像的各色成分的信號生成三維降噪圖像的亮度信號；低對比度部分檢測單元，其檢測所述三維降噪圖像的亮度信號中該校正對象像素的周邊區(qū)域的對比度相關(guān)值；增強系數(shù)決定單元，其根據(jù)由所述低對比度部分檢測單元檢測到的所述對比度相關(guān)值，決定針對該校正對象像素的對比度的增強系數(shù)；局部對比度增強單元，其根據(jù)由所述增強系數(shù)決定單元決定的所述增強系數(shù)，增強所述三維降噪圖像的各色成分的信號中該校正對象像素的局部區(qū)域的對比度；降噪系數(shù)生成單元，其針對由所述增強系數(shù)決定單元決定的所述增強系數(shù)，生成隨著該增強系數(shù)變大而變大的降噪系數(shù)；以及第I幀存儲器，其存儲I幀量的 由所述降噪系數(shù)生成單元生成的針對各像素的所述降噪系數(shù)，所述三維降噪單元根據(jù)存儲在所述第I幀存儲器內(nèi)的針對一幀前的各像素的所述降噪系數(shù)，控制針對該校正對象像素的降噪程度，所述局部對比度增強單元還具有:非線性LPF單元，其使用根據(jù)所述三維降噪圖像的亮度信號中該校正對象像素的值與位于該校正對象像素周邊的像素的值之間的差分對所述位于周邊的像素的值進行非線性轉(zhuǎn)換而得到的值，對該校正對象像素和位于其周邊的像素進行平滑，輸出該平滑結(jié)果作為針對該校正對象像素的非線性平滑結(jié)果；增益決定單元，其使用所述非線性LPF單元的輸出和所述三維降噪圖像的亮度信號中該校正對象像素的值以及所述增強系數(shù)，決定輸入到該局部對比度增強單元的增益；以及增益乘法器，其對所述三維降噪圖像的各色成分的信號中該校正對象像素的值乘以所述增益。
23.一種圖像處理方法，其特征在于，所述圖像處理方法具有:低對比度部分檢測步驟，將輸入圖像的各像素作為校正對象像素，檢測所述輸入圖像的該校正對象像素的周邊區(qū)域的對比度相關(guān)值；增強系數(shù)決定步驟，根據(jù)由所述低對比度部分檢測步驟檢測到的所述對比度相關(guān)值， 決定針對該校正對象像素的對比度的增強系數(shù)；局部對比度增強步驟，根據(jù)由所述增強系數(shù)決定步驟決定的所述增強系數(shù)，增強所述輸入圖像的所述校正對象像素的局部區(qū)域的對比度，輸出局部對比度增強圖像；降噪系數(shù)生成步驟，針對由所述增強系數(shù)決定步驟決定的所述增強系數(shù)，生成隨著該增強系數(shù)變大而變大的降噪系數(shù)；以及三維降噪步驟，針對所述校正對象像素，橫跨多個幀在時間方向上對所述局部對比度增強圖像進行平滑，由此進行該校正對象像素的噪聲成分的降噪，所述三維降噪步驟根據(jù)由所述降噪系數(shù)生成步驟生成的降噪系數(shù)，控制針對該校正對象像素的降噪程度。
24.一種圖像處理方法，其特征在于，所述圖像處理方法具有:三維降噪步驟，將輸入圖像的各像素作為校正對象像素，橫跨多個幀在時間方向上對所述輸入圖像進行平滑，由此進行該校正對象像素的噪聲成分的降噪，輸出三維降噪圖像；低對比度部分檢測步驟，檢測所述三維降噪圖像的該校正對象像素的周邊區(qū)域的對比度相關(guān)值；增強系數(shù)決定步驟，根據(jù)由所述低對比度部分檢測步驟檢測到的所述對比度相關(guān)值， 決定針對該校正對象像素的對比度的增強系數(shù)；局部對比度增強步驟，根據(jù)由所述增強系數(shù)決定步驟決定的所述增強系數(shù)，增強所述三維降噪圖像的該校正對象像素的局部區(qū)域的對比度；降噪系數(shù)生成步驟，針對由所述增強系數(shù)決定步驟決定的所述增強系數(shù)，生成隨著該增強系數(shù)變大而變大的降噪系數(shù)；以及第I幀存儲器，存儲I幀量的由所述降噪系數(shù)生成步驟生成的針對各像素的所述降噪系數(shù)，所述三維降噪步驟根據(jù)存儲在所述第I幀存儲器內(nèi)的針對一幀前的各像素的所述降噪系數(shù)，控制針對該校正對象像素的降噪程度。
25.一種圖像處理方法，其特征在于，所述圖像處理方法具有:低對比度部分檢測步驟，將輸入圖像的各像素作為校正對象像素，檢測所述輸入圖像的亮度信號的該校正對象像素的周邊區(qū)域的對比度相關(guān)值；增強系數(shù)決定步驟，根據(jù)由所述低對比度部分檢測步驟檢測到的所述對比度相關(guān)值， 決定針對該校正對象像素的對比度的增強系數(shù)；局部對比度增強步驟，根據(jù) 由所述增強系數(shù)決定步驟決定的所述增強系數(shù)，增強所述輸入圖像的各色成分的信號中該校正對象像素的局部區(qū)域的對比度，輸出局部對比度增強圖像的各色成分的信號；降噪系數(shù)生成步驟，針對由所述增強系數(shù)決定步驟決定的所述增強系數(shù)，生成隨著該增強系數(shù)變大而變大的降噪系數(shù)；以及三維降噪步驟，橫跨多個幀在時間方向上對所述局部對比度增強圖像的各色成分的信號進行平滑，由此進行該校正對象像素的降噪，所述三維降噪步驟根據(jù)由所述降噪系數(shù)生成步驟生成的降噪系數(shù)，控制針對該校正對象像素的降噪程度，所述局部對比度增強步驟還具有:非線性LPF步驟，使用根據(jù)所述輸入圖像的亮度信號中該校正對象像素的值與位于該校正對象像素周邊的像素的值之間的差分對所述位于周邊的像素的值進行非線性轉(zhuǎn)換而得到的值，對該校正對象像素和位于其周邊的像素進行平滑，輸出該平滑結(jié)果作為針對該校正對象像素的非線性平滑結(jié)果；增益決定步驟，使用所述非線性LPF步驟的輸出和所述輸入圖像的亮度信號中該校正對象像素的值以及所述增強系數(shù)，決定輸入到該局部對比度增強步驟的增益；以及增益乘法步驟，對所述輸入圖像的各色成分的信號中該校正對象像素的值乘以所述增.、Mo
26.一種圖像處理方法，其特征在于，所述圖像處理方法具有:三維降噪步驟，將輸入圖像的各像素作為校正對象像素，橫跨多個幀在時間方向上對所述輸入圖像的各色成分的信號進行平滑，由此進行該校正對象像素的噪聲成分的降噪， 輸出三維降噪圖像的各色成分的信號；亮度圖像生成步驟，根據(jù)所述三維降噪圖像的各色成分的信號生成三維降噪圖像的亮度信號；低對比度部分檢測步驟，檢測所述三維降噪圖像的亮度信號中該校正對象像素的周邊區(qū)域的對比度相關(guān)值；增強系數(shù)決定步驟，根據(jù)由所述低對比度部分檢測步驟檢測到的所述對比度相關(guān)值， 決定針對該校正對象像素的對比度的增強系數(shù)；局部對比度增強步驟，根據(jù)由所述增強系數(shù)決定步驟決定的所述增強系數(shù)，增強所述三維降噪圖像的各色成分的信號中該校正對象像素的局部區(qū)域的對比度；降噪系數(shù)生成步驟，針對由所述增強系數(shù)決定步驟決定的所述增強系數(shù)，生成隨著該增強系數(shù)變大而變大的降噪系數(shù)；以及第I幀存儲器，存儲I幀量的由所述降 噪系數(shù)生成步驟生成的針對各像素的所述降噪系數(shù)，所述三維降噪步驟根據(jù)存儲在所述第I幀存儲器內(nèi)的針對一幀前的各像素的所述降噪系數(shù)，控制針對該校正對象像素的降噪程度，所述局部對比度增強步驟還具有:非線性LPF步驟，使用根據(jù)所述三維降噪圖像的亮度信號中該校正對象像素的值與位于該校正對象像素周邊的像素的值之間的差分對所述位于周邊的像素的值進行非線性轉(zhuǎn)換而得到的值，對該校正對象像素和位于其周邊的像素進行平滑，輸出該平滑結(jié)果作為針對該校正對象像素的非線性平滑結(jié)果；增益決定步驟，使用所述非線性LPF步驟的輸出和所述三維降噪圖像的亮度信號中該校正對象像素的值以及所述增強系數(shù)，決定輸入到該局部對比度增強步驟的增益；以及增益乘法步驟，對所述三維降噪圖像的各色成分的信號中該校正對象像素的值乘以所述增益。
【文檔編號】H04N5/21GK103460682SQ201280014653
【公開日】2013年12月18日 申請日期:2012年1月31日 優(yōu)先權(quán)日:2011年3月24日
【發(fā)明者】豐田善隆, 鈴木大祐, 山下孝一, 伊藤俊, 的場成浩 申請人:三菱電機株式會社