圖像處理方法、圖像處理系統(tǒng)以及顯示裝置制造方法
【專利摘要】本發(fā)明提供一種圖像處理方法，該圖像處理方法包括將對象圖像區(qū)分為對象物區(qū)域和背景區(qū)域的步驟、算出對象物區(qū)域的平均顏色的灰度的步驟、通過使用平均顏色的灰度算出對象物區(qū)域的反色的灰度的步驟、以及通過使用對象圖像的反色的灰度和背景區(qū)域的灰度算出處理圖像的背景區(qū)域的灰度。
【專利說明】圖像處理方法、圖像處理系統(tǒng)以及顯示裝置【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像處理方法及一種圖像處理系統(tǒng)。
【背景技術(shù)】
[0002]從大型顯示裝置如電視接收機(jī)到小型顯示裝置如移動電話的范圍中的各種各樣顯示裝置已在市場上普及。高附加價值的產(chǎn)品被要求且得到開發(fā)。近年來，為了顯示更具有真實感的圖像，已開發(fā)出能夠顯示立體圖像的顯示裝置。
[0003]人將物體識別為立體物體時的生理因素是雙眼視差、輻輳、焦點調(diào)節(jié)、運(yùn)動視差、物體大小、空間配置、對比度或陰影等。 [0004]顯示裝置大多采用利用雙眼視差的方法作為三維立體圖像的顯示方法。作為利用雙眼視差的方式，例如，有使用用來分離左眼所觀察的圖像和右眼所觀察的圖像的專用眼鏡的方式。此外，作為不使用專用眼鏡的方式，有對顯示部追加用來分離左眼所觀察的圖像和右眼所觀察的圖像的機(jī)構(gòu)(例如，視差屏障、雙凸透鏡、或微透鏡陣列)并且能夠使裸眼觀察到立體圖像的方式(例如，專利文獻(xiàn)I)。
[0005][參考文獻(xiàn)]
[0006]專利文獻(xiàn)I日本專利申請公開第2005-258013號
【發(fā)明內(nèi)容】

[0007]上述顯示方式需要對顯示部追加機(jī)構(gòu)(例如，視差屏障)或需要專用眼鏡，這導(dǎo)致顯示裝置的制造成本或耗電量的增加。
[0008]從上述觀點來看，本發(fā)明的一個方式的目的是提供一種提高全彩色的二維圖像的立體效應(yīng)或深度效應(yīng)的簡便圖像處理方法。或者，本發(fā)明的一個方式的目的是提供一種提高全彩色的二維圖像的立體效應(yīng)或深度效應(yīng)的圖像處理系統(tǒng)，而不使用特別的機(jī)構(gòu)。
[0009]當(dāng)圖像的對象物和背景之間的色調(diào)的差異小時，人識別該圖像作為平面圖像。與此相反，當(dāng)圖像的對象物和背景之間的色調(diào)的差異大時，人識別該圖像作為有立體效應(yīng)或深度效應(yīng)的圖像。
[0010]注意，在本說明書中，圖像中的要強(qiáng)調(diào)或要使其清晰的物象稱為對象物，并且該圖像中的除了對象物之外的物象稱為背景。
[0011]作為將難以獲得立體效應(yīng)或深度效應(yīng)的圖像變換為容易獲得立體效應(yīng)或深度效應(yīng)的圖像的方法，想到以具有與對象物的平均顏色的色調(diào)相反(充分遠(yuǎn)離)的色調(diào)的顏色(反色、轉(zhuǎn)色或補(bǔ)色)顯示背景的方法。注意，在本說明書中，對象物的平均顏色(也稱為對象物區(qū)域的平均顏色)是包含在對象物區(qū)域的所有像素的平均顏色。
[0012]注意，在本說明書中，對象圖像中的構(gòu)成對象物的多個像素(像素群)被稱為對象物區(qū)域，并且，對象圖像中的構(gòu)成背景的多個像素(像素群)被稱為背景區(qū)域。
[0013]換言之，本發(fā)明的一個方式是一種圖像處理方法，包括如下步驟:將構(gòu)成對象圖像的所有像素區(qū)分為對象物區(qū)域和背景區(qū)域的第一步驟；算出該對象物區(qū)域的平均顏色并根據(jù)該平均顏色算出反色的第二步驟；以及對包含在背景區(qū)域中的所有像素以一定比例提供該反色的第三步驟。
[0014]本發(fā)明的一個方式是一種圖像處理方法，包括如下步驟:使用RGB彩色模型將構(gòu)成由(N+1)灰度表示的對象圖像的所有像素區(qū)分為對象物區(qū)域和背景區(qū)域的第一步驟；根據(jù)包含在該對象物區(qū)域中的所有像素的顏色算出平均顏色(R1, G1, B1),并根據(jù)該平均顏色(R1, G1, B1)算出由(N-R1, N-G1, N-B1)表示的反色(R2，G2, B2)的第二步驟；以及對包含在該背景區(qū)域中的像素(x，y)的顏色(Rxy，Gxy，Bxy)以一定比例提供該反色(R2，G2，B2)，并算出包含在處理圖像的背景區(qū)域中的像素(x，y)的顏色(R' xy，G' xy，B' xy)的第三步驟。該第二步驟由算式(I)表不。
[0015](R，xy, G’ xy, B’ xy) = (kRxy+(l-k) R2, kGxy+ (l_k) G2, kBxy+ (l_k) B2)
[0016]其中0〈k〈l (I)
[0017]注意，在本說明書中，通過對對象圖像進(jìn)行根據(jù)本發(fā)明的一個方式的圖像處理而得到的圖像被稱為處理圖像。
[0018]在上述圖像處理方法中，算式(I)中的k優(yōu)選為0.2至0.8，因為該圖像處理的效
應(yīng)提聞。
[0019]在上述圖像處理方法中，在該第三步驟之后，優(yōu)選進(jìn)行珈馬校正、對比度強(qiáng)調(diào)、銳化或輪廓強(qiáng)調(diào)作為第四步驟。
[0020]通過上述第四步驟，可以使處理圖像中的對象物更清晰或更被強(qiáng)調(diào)。
[0021]本發(fā)明的一個方式是一種包括通過上述圖像處理方法形成處理圖像的處理部的圖像處理系統(tǒng)。該圖像處理系統(tǒng)可以還包括顯示該處理圖像的顯示部。該圖像處理系統(tǒng)可以還包括儲存該處理圖像的存儲部。
[0022]能夠提供一種提高全彩色的二維圖像的立體效應(yīng)或深度效應(yīng)的簡便的圖像處理方法?；蛘撸軌蛱峁┮环N提高全彩色的二維圖像的立體效應(yīng)或深度效應(yīng)的圖像處理系統(tǒng)，而不使用特別的機(jī)構(gòu)。
【專利附圖】

【附圖說明】
[0023]在附圖中:
[0024]圖1示出根據(jù)本發(fā)明的一個方式的圖像處理系統(tǒng)；
[0025]圖2A及2B示出根據(jù)本發(fā)明的一個方式的圖像處理方法；
[0026]圖3示出根據(jù)本發(fā)明的一個方式的圖像處理方法；
[0027]圖4A至4D都示出用于根據(jù)本發(fā)明的一個方式的圖像處理方法的圖像；
[0028]圖5示出根據(jù)本發(fā)明的一個方式的圖像處理方法；
[0029]圖6A及6B示出根據(jù)本發(fā)明的一個方式的圖像處理方法；
[0030]圖7A-1至7D-2示出實施例1 ;并且[0031 ]圖8A至8C示出實施例1。
【具體實施方式】
[0032]參照附圖對實施方式及實施例進(jìn)行詳細(xì)說明。注意，本發(fā)明不局限于以下說明。所屬【技術(shù)領(lǐng)域】的普通技術(shù)人員很容易地理解本發(fā)明的方式及詳細(xì)內(nèi)容在不脫離本發(fā)明的宗旨及其范圍的情況下可以被變換為各種各樣的形式。因此，本發(fā)明不應(yīng)該被解釋為僅局限在以下所示的實施方式及實施例的記載中。注意，在下面說明的發(fā)明結(jié)構(gòu)中，在不同的附圖中通過相同的附圖標(biāo)記來表示相同的部分或具有相同功能的部分，而不反復(fù)其說明。
[0033]實施方式I
[0034]在本實施方式中，參照圖1、圖2A和2B、圖3、圖4A至4D以及圖6A說明根據(jù)本發(fā)明的一個方式的圖像處理方法及圖像處理系統(tǒng)。
[0035]根據(jù)本發(fā)明的一個方式的圖像處理系統(tǒng)包括通過根據(jù)本發(fā)明的一個方式的圖像處理方法能夠形成處理圖像的處理部。根據(jù)本發(fā)明的一個方式的圖像處理系統(tǒng)的例子包括如下顯示裝置以及如下存儲裝置，所述顯示裝置包括該處理部及顯示從該處理部輸出的圖像數(shù)據(jù)的顯示部，所述存儲裝置包括該處理部及儲存從該處理部輸出的圖像數(shù)據(jù)的存儲部。在本實施方式中，以圖1所示的顯示裝置100為例子說明根據(jù)本發(fā)明的一個方式的圖像處理系統(tǒng)。
[0036]《顯示裝置100》
[0037]圖1所示的顯示裝置100包括顯示部101及處理部102。
[0038]〈顯示部101〉
[0039]顯示部101具有顯示從處理部102輸出的圖像數(shù)據(jù)的功能。顯示部101顯示二維圖像。顯示部101顯示靜態(tài)圖像或由多個圖像構(gòu)成的動態(tài)圖像。
[0040]例如，可以使用液晶顯示裝置、電致發(fā)光顯示裝置、等離子體顯示器等作為顯示部101。顯示部101包括具有多個像素120的像素部121、掃描線驅(qū)動電路122及信號線驅(qū)動電路123等。
[0041]像素部121包括配置為矩陣狀的像素120。各像素120與掃描線125及信號線126電連接。由此，各像素120與掃描線驅(qū)動電路122及信號線驅(qū)動電路123電連接。
[0042]各像素120的顏色根據(jù)從處理部102輸入的圖像數(shù)據(jù)而決定。用來選擇進(jìn)行顯示的像素120的信號從掃描線驅(qū)動電路122輸入掃描線125，并且圖像數(shù)據(jù)從信號線驅(qū)動電路123輸入信號線126。被選擇的像素120進(jìn)行顯示。
[0043]〈處理部102〉
[0044]處理部102具有從讀取的對象圖像中抽出對象物并區(qū)分為由構(gòu)成對象物的像素群構(gòu)成的對象物區(qū)域和由其他像素群構(gòu)成的背景區(qū)域的功能。處理部102還具有對背景區(qū)域所包含的像素進(jìn)行圖像處理而形成處理圖像的功能。
[0045]處理部102包括運(yùn)算處理部111、數(shù)據(jù)存儲部112、控制部113、輸入側(cè)接口部114以及輸出側(cè)接口部115等。
[0046]運(yùn)算處理部111進(jìn)行各種運(yùn)算處理如圖像數(shù)據(jù)的運(yùn)算處理。例如，運(yùn)算處理部111包括中央處理器(Central Processing Unit:CPU)、用來進(jìn)行圖像處理的運(yùn)算電路等。
[0047]數(shù)據(jù)存儲部112包括儲存用來在處理部102中進(jìn)行圖像處理的數(shù)據(jù)的各種存儲電路。例如，數(shù)據(jù)存儲部112包括只讀存儲器(Read Only Memory:R O M)，該只讀存儲器儲存當(dāng)運(yùn)算處理部111進(jìn)行運(yùn)算處理時使用的計算機(jī)程序、用于圖像處理的濾波器的數(shù)據(jù)、以及查找表等；儲存運(yùn)算處理部111所算出的運(yùn)算結(jié)果的隨機(jī)存取存儲器(Random AccessMemory:RAM);儲存輸入到處理部102的圖像數(shù)據(jù)的存儲電路；等等。
[0048]控制部113包括用來控制包含在處理部102中的電路的電路。例如，控制部113包括控制對數(shù)據(jù)存儲部112的數(shù)據(jù)的寫入的寫入控制電路以及控制該數(shù)據(jù)的讀出的讀出控制電路等。
[0049]輸入側(cè)接口部114與外部設(shè)備進(jìn)行信號的交換，以從連接到處理部102的外部設(shè)備提取數(shù)據(jù)10(例如，圖像數(shù)據(jù))并將該數(shù)據(jù)10供應(yīng)給處理部102。該外部設(shè)備只要是能夠輸出圖像數(shù)據(jù)的設(shè)備即可。例如，可以使用影像拍攝裝置如照相機(jī)或再現(xiàn)儲存在硬盤、DVD等的存儲介質(zhì)中的圖像數(shù)據(jù)的圖像再現(xiàn)裝置。
[0050]為了在處理部102中處理圖像數(shù)據(jù)，該圖像數(shù)據(jù)需要是數(shù)字?jǐn)?shù)據(jù)。例如，當(dāng)需要在處理部102中處理模擬數(shù)據(jù)的圖像數(shù)據(jù)時，輸入側(cè)接口部114設(shè)置有模擬-數(shù)字轉(zhuǎn)換器(A/D轉(zhuǎn)換器)即可。
[0051]輸出側(cè)接口部115與顯示部101進(jìn)行信號的交換，以對顯示部101輸出圖像數(shù)據(jù)11。
[0052]例如，為了對顯示部101輸出模擬圖像信號，輸出側(cè)接口部115可以設(shè)置有數(shù)字-模擬轉(zhuǎn)換器(D/A轉(zhuǎn)換器)。
[0053]《圖像處理方法》
[0054]說明根據(jù)本發(fā)明的一個方式的圖像處理方法。圖2A及2B、圖3和圖6A是在圖1所示的處理部102中執(zhí)行的圖像處理方法的流程圖。
[0055]本實施方式中的圖像處理方法包括如下步驟:將構(gòu)成對象圖像的所有像素區(qū)分為對象物區(qū)域和背景區(qū)域的第一步驟(圖2A中的步驟Al);算出該對象物區(qū)域的平均顏色并根據(jù)該平均顏色算出反色的第二步驟(圖2A中的步驟A2);以及對包含在該背景區(qū)域中的所有像素以一定比例提供該反色的第三步驟(圖2A中的步驟A3)。
[0056]受到根據(jù)本發(fā)明的一個方式的圖像處理的處理圖像的對象物顏色和背景顏色的色調(diào)與對象圖像遠(yuǎn)離；因此，當(dāng)觀察者看到該處理圖像時，觀察者能夠在對象物和背景中得到遠(yuǎn)近感。換言之，該處理圖像具有比對象圖像更高的立體效應(yīng)或深度效應(yīng)。
[0057]〈第一步驟Al:區(qū)分為對象物區(qū)域和背景區(qū)域〉
[0058]首先，將對象圖像的像素區(qū)分為對象物區(qū)域和背景區(qū)域。對于將對象圖像的像素區(qū)分為對象物區(qū)域和背景區(qū)域的方法沒有特別的限制。
[0059]在本發(fā)明的一個方式中，求得包括背景的一部分的圖像(稱為比較圖像)與由對象物及背景構(gòu)成的全彩色二維對象圖像之間的差異，將該差異等于或大于閾值(或大于閾值)的區(qū)域定義為對象物區(qū)域，將該差異低于閾值(或等于或低于閾值)的區(qū)域定義為背景區(qū)域。該閾值只要是能夠區(qū)分對象物區(qū)域和背景區(qū)域的值即可。進(jìn)行圖像處理的人可以使用該人判斷為適合于區(qū)分對象物區(qū)域和背景區(qū)域的值作為閾值。
[0060]具體而言，對象圖像可以是靜態(tài)圖像如照片或者從構(gòu)成動態(tài)圖像的多個幀圖像中選擇的圖像。
[0061]作為比較圖像，可以使用以與對象圖像相同或大致相同的焦點拍攝但與對象圖像不同的圖像。在使用多個比較圖像的情況下，包含在對象圖像中的對象物也可以包含在比較圖像中。因此，在對象圖像是構(gòu)成動態(tài)圖像的多個幀圖像中之一而不是靜態(tài)圖像如照片的情況下，比較圖像可以為該多個幀圖像中之一的上一個或下一個圖像。
[0062]接著，具體地說明對象圖像和比較圖像之間的差異的計算方法。
[0063]參照圖3說明本實施方式的第一步驟Al的詳細(xì)內(nèi)容(步驟BI至步驟B6)。[0064][步驟B1:對象圖像及比較圖像的讀取]
[0065]在步驟BI中，在處理部102中讀取對象圖像及比較圖像。讀取的對象圖像及比較圖像的數(shù)據(jù)被寫入到數(shù)據(jù)存儲部112中。對象圖像及比較圖像都可以從外部設(shè)備輸入處理部102。此外，預(yù)先儲存在數(shù)據(jù)存儲部112中的圖像可以被用作比較圖像。
[0066]在本實施方式中，靜態(tài)圖像用作對象圖像及比較圖像。本實施方式中的對象圖像(圖4A)是由對象物和背景構(gòu)成的圖像，并且，比較圖像(圖4B)是僅由該背景構(gòu)成的圖像(以與對象圖像相同的焦點取得的只含有背景的對象物，即，不包括對象物的圖像)。
[0067]另外，在實施方式2中詳細(xì)地說明從構(gòu)成動態(tài)圖像的多個幀圖像中選擇對象圖像及比較圖像的例子。
[0068][步驟B2:總計值及處理計數(shù)值的復(fù)位]
[0069]在后面的步驟中，算出對象圖像中的對象物區(qū)域的所有像素的R、G、B的灰度值的總和作為Sum (R)、Sum (G), Sum (B)。此外，算出對象物區(qū)域中的像素的總數(shù)作為處理計數(shù)值counter。在此，當(dāng)各Sum (R)、Sum (G)、Sum (B)及處理計數(shù)值counter不是O時,將它們設(shè)定為O。當(dāng)各Sum (R)、Sum (G)、Sum (B)及處理計數(shù)值counter是O時,可以省略該步驟。另外，步驟B2可以在步驟BI之前進(jìn)行。
[0070][步驟B3:像素(X，y)是否是對象物區(qū)域中的像素？]
[0071]在步驟B3中，決定比較圖像中的像素(x，y)的顏色要素的灰度值和對象圖像中的像素(X，y)的顏色要素的灰度值之間的差異的絕對值是否等于或大于閾值。參照圖6A說明步驟B3的詳細(xì)內(nèi)容(步驟B3-1至B3-3)。
[0072]像素(X，y)的數(shù)據(jù)包括用來特定一個顏色的數(shù)據(jù)。當(dāng)顯示部101具有由R (紅)、G (綠)、B (藍(lán))的三種顏色要素表現(xiàn)一個顏色的結(jié)構(gòu)時，圖像數(shù)據(jù)的最小單位的像素(x，y)的數(shù)據(jù)包括R、G、B的灰度值。另外，R、G、B之外的顏色可以被用作顏色要素。例如，可以使用黃色(yellow)、青色(cyan)、品紅色(magenta)。
[0073]在本實施方式中，像素(X，y)的數(shù)據(jù)包括R、G、B的三個顏色(顏色要素)的灰度值。
[0074]另外，為了更準(zhǔn)確地從對象圖像抽出對象物區(qū)域，可以在對對象圖像或/及比較圖像進(jìn)行圖像處理之后形成掩模圖像。這種圖像處理的例子包括平均化處理、使用水平方向的線形一次微分濾波器的濾波器處理、邊緣檢測處理以及使用中值濾波器的噪聲去除處理等。
[0075][步驟B3-1: Δ R (x, y)、Δ G (x, y)、Δ B (x, y)的計算]
[0076]在步驟B3中，首先算出三個差異值A(chǔ)R (x，y)、AG (x，y)、ΛΒ (x，y)。在此，差異值A(chǔ)R (x，y)是比較圖像中的像素(x，y)的R的灰度值和對象圖像中的像素(x，y)的R的灰度值之間的差異的絕對值；差異值A(chǔ)G (x，y)是比較圖像中的像素(x，y)的G的灰度值和對象圖像中的像素(X，y)的G的灰度值之間的差異的絕對值；并且差異值ΛΒ (x, y)是比較圖像中的像素(x，y)的B的灰度值和對象圖像中的像素(x，y)的B的灰度值之間的差異的絕對值。
[0077][步驟B3-2: a R (x, y)、a G (x, y)、α B (x, y)的決定]
[0078]接著,分別決定差異值A(chǔ)R (X，y)、AG (x, y)、ΔΒ (χ, y)是否等于或大于閾值Rth、Gth、Bth。
[0079]當(dāng)差異值等于或大于閾值時，將灰度判定值設(shè)定為1，當(dāng)差異值小于閾值時，將灰度判定值設(shè)定為O。換言之，當(dāng)AR (X，y) > Rth時,將紅色的灰度判定值Ctli (X，y)設(shè)定為1，并且當(dāng)AR (X，y) <Rth時,將紅色的灰度判定值Ctli (χ，y)設(shè)定為O。這可同樣地應(yīng)用于綠色、藍(lán)色的灰度判定值。根據(jù)差異值A(chǔ)G (x，y)、ΔΒ (x，y)是等于或大于閾值Gth、Bth還是大于Gth、Bth而將灰度判定值ae (χ, y)、α B (x, y)設(shè)定為I或O。
[0080]在此，使用兩個圖像(對象圖像和比較圖像)的顏色要素的灰度值的變化量決定像素(χ，y)是否是對象物區(qū)域中的像素。閾值Rth、Gth、Bth是用來決定像素(χ, y)是包括在對象物區(qū)域中還是包括在背景區(qū)域中的灰度值的變化量的閾值?？梢元毩⒌貨Q定閾值Rth、
[0081][步驟B3-3:差異判定值D (X，y)的決定]
[0082]接著,判斷R、G、B的灰度判定值的總和是否等于或大于2。當(dāng)Ctli (x,y) + a G (χ,y) + a B (x，y)≥2時,將像素(x,y)的差異判定值D (x,y)設(shè)定為I,并且當(dāng)a (x,y) + a G(x, y) + a B (x，y)〈2時，將差異判定值D (x,y)設(shè)定為O。
[0083]在此，差異判定值D (x, y)根據(jù)R、G、B的灰度判定值的總和是否等于或大于2而決定；但是，差異判定值D (x, y)可以根據(jù)R、G、B的灰度判定值的總和是否等于或大于I或者R、G、B的灰度判定值的總和是否等于3而決定。
[0084][步驟B4-1:對象圖像中的像素(X，y)為對象物區(qū)域中的像素的情況]
[0085]當(dāng)在步驟B3中差異判定值D (x，y)為I時，該對象圖像中的像素(x，y)為對象物區(qū)域中的像素。此外，掩模圖像中的像素(X，y)顯示白色(步驟B4-la)。
[0086]再者，當(dāng)在步驟B3中差異判定值D (X，y)為I時，對Sum (R)、Sum (G), Sum (B)加上對象圖像中的像素(χ，y)的R、G、B的灰度值,并且對處理計數(shù)值counter加上I (步驟B4-lb)。通過步驟B4-lb，在步驟B6中可以算出對象物區(qū)域的反色。
[0087][步驟B4-2:對象圖像中的像素(X，y)為背景區(qū)域中的像素的情況]
[0088]當(dāng)在步驟B3中差異判定值D (x，y)為O時，該對象圖像中的像素(x，y)為背景區(qū)域中的像素。此外，掩模圖像中的像素(X，y)顯示黑色。
[0089][步驟B5:是否已經(jīng)決定所有像素的灰度值的差異？]
[0090]直到算出對象圖像中的所有像素的顏色要素的灰度值與比較圖像中的像素的顏色要素的灰度值之間的差異的絕對值并決定該差異的絕對值是否等于或大于閾值為止，反復(fù)執(zhí)行步驟B3至B5。
[0091][步驟Be:掩模圖像的形成]
[0092]通過決定所有像素的掩模圖像的顏色(黑色或白色)，形成圖4C所示的掩模圖像。圖4C所示的掩模圖像是由對象物區(qū)域(白色顯示區(qū)域)和背景區(qū)域(黑色顯示區(qū)域)構(gòu)成的二值圖像。通過形成圖4C所示的掩模圖像，對象圖像被區(qū)分為對象物區(qū)域和背景區(qū)域。另外，可以在步驟B6之前進(jìn)行步驟A2。
[0093]通過上述步驟BI至B6,第一步驟Al結(jié)束。
[0094]〈第二步驟A2:對象物區(qū)域的平均顏色及反色的計算〉
[0095]接著，算出對象物區(qū)域的平均顏色及反色。
[0096]在第二步驟A2中，通過算出在第一步驟Al中被區(qū)分為對象物區(qū)域的所有像素的平均顏色，來算出對象物區(qū)域的平均顏色，并且，根據(jù)該平均顏色算出對象物區(qū)域的反色。
[0097](平均顏色)[0098]通過進(jìn)行步驟B4_lb的處理，算出對象圖像中的對象物區(qū)域的所有像素的R、G、B的灰度值的總和作為Sum (R)、Sum (G), Sum (B)。此外，算出對象物區(qū)域中的像素的總數(shù)作為處理計數(shù)值counter。在步驟A2中，通過用處理計數(shù)值counter除Sum (R)、Sum (G)、Sum (B)，算出包含在對象圖像中的對象物區(qū)域中的所有像素的平均顏色。在此，將對象物區(qū)域中的像素的(N+1)灰度中的R、G、B的平均灰度值分別表示為％、GpB1，并且，將平均顏色表不為(R1, G1, B1)ο
[0099]另外，平均顏色可以是包含在對象圖像中的對象物區(qū)域中的所有像素的R、G、B的灰度值的中值。下面說明該中值的計算方法。
[0100]首先，在步驟M-1b中，儲存對象物區(qū)域的所有像素的R、G、B的灰度值，并且算出包含在對象物區(qū)域中的像素的總數(shù)作為處理計數(shù)值counter。然后，在步驟A2中，算出處理計數(shù)值counter的一半的值M。此外，以升序或降序排列R、G、B的灰度值,并將第M的R、G、B的灰度值分別定義為R1' G1, B”另外，當(dāng)處理計數(shù)值counter為奇數(shù)時，第(M+0.5)或第(M-0.5)的值可以為對象物區(qū)域的平均顏色?；蛘?，第(M+0.5)或第(M-0.5)的值的平均值可以為對象物區(qū)域的平均顏色。
[0101](反色)
[0102]再者，根據(jù)對象物區(qū)域的平均顏色算出對象物區(qū)域的平均顏色的反色。平均顏色(R1, G1, B1)的反色可以由(N-R1, N-G1, N-B1)表示。該顏色被用作反色(R2，G2, B2)。
[0103]另外，如下述實施例1所說明，當(dāng)在以(N+1)灰度表示的對象圖像中包含在對象物區(qū)域中的所有像素的平均顏色的對象物的平均顏色(R1, G1, B1)及該對象物的平均顏色(R1,G1, B1)的反色(R2，G2, B2)滿足算式(2)、(3)時，通過根據(jù)本發(fā)明的一個方式的圖像處理方法，可以得到立體效應(yīng)或深度效應(yīng)特別高的處理圖像。
[0104]Δ:_2= I Rj+Gj+Bj- (R2+G2+B2) | (2)
[0105]O < Δ !_2 ^ 2.4Ν (3)
[0106]〈第三步驟A3:對背景區(qū)域提供反色〉
[0107]接著，在第二步驟Α2中算出的反色以一定比例提供給包含在背景區(qū)域中的所有像素。
[0108]具體而言，在第二步驟Α2中算出的反色使用在第一步驟Al中得到的掩模圖像以一定比例提供給背景區(qū)域中的像素的像素(x，y)。另外，該反色不提供給對象物區(qū)域中的像素的像素(χ，y)。
[0109]參照圖2B說明第三步驟A3的詳細(xì)內(nèi)容(步驟B7至B10)。
[0110][步驟B7:掩模圖像中的像素(x，y)是否顯示黑色？]
[0111]在步驟B7中，判斷掩模圖像中的像素(x，y)是顯示黑色還是白色。在掩模圖像中的像素(x，y)顯示黑色的情況下，進(jìn)行步驟B8-1，在掩模圖像中的像素(x，y)顯示白色的情況下，進(jìn)行步驟B8-2。
[0112][步驟B8-1:掩模圖像中的像素(X，y)顯示黑色的情況]
[0113]在掩模圖像中的像素U，y)顯示黑色的情況下(在像素U，y)是背景區(qū)域中的像素的情況下)，處理圖像中的像素(x，y)的顏色取決于對象圖像中的像素(x，y)的顏色及反色。具體而言，處理圖像中的背景區(qū)域中的像素(x，y)的顏色(R' xy，G' xy，B' xy)可以使用對象圖像中的像素(χ，y)的顏色(Rxy，Gxy, Bxy)及反色(R2，G2, B2)由算式(I)表示。[0114](R，xy, G，xy, B，xy) = (kRxy+(l-k) R2, kGxy+ (l_k) G2, kBxy+ (l_k) B2)
[0115]其中0〈k〈l(l)
[0116]特別是，算式(I)中的k優(yōu)選為0.2至0.8，因為實現(xiàn)圖像處理的高效率化。
[0117][步驟B8-2:掩模圖像中的像素(X，y)顯示白色的情況]
[0118]在掩模圖像中的像素(χ，y)顯示白色的情況下(在像素(χ，y)是對象物區(qū)域中的像素的情況下)，處理圖像中的像素(χ，y)的顏色是對象圖像中的像素(χ，y)的顏色。
[0119][步驟B9:是否已經(jīng)決定所有像素的顏色？]
[0120]直到?jīng)Q定處理圖像中的所有像素的顏色為止反復(fù)進(jìn)行步驟B7至B9。
[0121][步驟BlO:處理圖像的輸出]
[0122]通過決定處理圖像中的所有像素的顏色，形成圖4D所示的處理圖像。如上所述，當(dāng)對對象圖像進(jìn)行根據(jù)本發(fā)明的一個方式的圖像處理時，可以得到處理圖像。
[0123]可以對通過根據(jù)本發(fā)明的一個方式的圖像處理方法得到的處理圖像進(jìn)一步進(jìn)行圖像處理。具體而言，在圖2B中的步驟BlO之后可以進(jìn)行該圖像處理。
[0124]上述圖像處理的例子包括銳化處理如反銳化掩模、強(qiáng)調(diào)對比度的對比度轉(zhuǎn)換(對比度強(qiáng)調(diào))、珈馬校正或輪廓強(qiáng)調(diào)。這種圖像處理例如可以使對象物清晰或被強(qiáng)調(diào)。
[0125]例如，珈馬校正是根據(jù)輸出圖像的設(shè)備的珈馬值(表示圖像的灰度的響應(yīng)特性的數(shù)值)校正圖像的灰度的處理。通過珈馬校正，顯示部可以顯示與從處理部輸出的處理圖像的數(shù)據(jù)符合的圖像。
[0126]對比度轉(zhuǎn)換是改變顏色對比度的處理。通過相對于未進(jìn)行處理的像素的灰度值改變進(jìn)行處理之后的像素的灰度值的圖表的斜率，來可以改變顏色對比度。為了強(qiáng)調(diào)對比度，該圖表的斜率可以大于I。例如，在未進(jìn)行處理的像素的灰度值χ為O至50的情況下，通過進(jìn)行處理之后的像素的灰度值y為O至100 (y=2x,圖表中的斜率=2)的處理I或進(jìn)行處理之后的像素的灰度值y為O至150 (y=3x,圖表中的斜率=3)的處理2，可以增加顏色對比度。特別是，圖表中的斜率越大，顏色對比度也越高(處理2使顏色對比度比處理I更大)。
[0127]通過使用根據(jù)本發(fā)明的一個方式的圖像處理方法得到的處理圖像的對象物顏色的色調(diào)和背景顏色的色調(diào)與對象圖像相比彼此遠(yuǎn)離；因此，當(dāng)觀察者看到該處理圖像時，觀察者能夠在對象物和背景中得到遠(yuǎn)近感。因此，在本發(fā)明的一個方式中，可以從對象圖像得到具有比該對象圖像更高的立體效應(yīng)或深度效應(yīng)的處理圖像。
[0128]實施方式2
[0129]不同于實施方式I，在本實施方式中，參照圖5及圖6B說明一種包括如下步驟的圖像處理方法:從構(gòu)成動態(tài)圖像的多個幀圖像選擇對象圖像及比較圖像并將構(gòu)成對象圖像的所有像素區(qū)分為對象物區(qū)域和背景區(qū)域的第一步驟；算出該對象物區(qū)域的平均顏色并根據(jù)該平均顏色算出反色的第二步驟；以及對包含在該背景區(qū)域中的所有像素以一定比例提供該反色的第三步驟。
[0130]在構(gòu)成動態(tài)圖像的多個幀圖像中，在兩個連續(xù)的幀圖像中有圖像變化的部分。在本實施方式中，在幀圖像中，將動態(tài)變化量等于或大于閾值的圖像(或者動態(tài)變化量大于閾值的圖像)稱為對象物，將其他部分的圖像稱為背景。
[0131 ] 在對象圖像是構(gòu)成動態(tài)圖像的多個幀圖像中之一的情況下，例如，可以使用該對象圖像的上一個或下一個幀圖像作為比較圖像。具體而言，對象圖像fa的上一個或下一個幀圖像fa_i或fa+i可以為比較圖像。比較圖像不局限于該對象圖像的上一個或下一個幀圖像。因此，作為對象圖像1的比較圖像，可以使用幀圖像fa-j或幀圖像1+」(j是自然數(shù))。
[0132]在本實施方式中，選擇性地使用構(gòu)成動態(tài)圖像的多個幀圖像作為對象圖像及比較圖像。在本實施方式中，詳細(xì)地描述與實施方式I的步驟不同的步驟。具體而言，說明圖2A中的第一步驟Al。
[0133]參照圖5說明本實施方式中的第一步驟Al的詳細(xì)內(nèi)容(步驟Cl至C6)。另外，第二步驟A2及第三步驟A3可以參照實施方式1。
[0134][步驟Cl:對象圖像及比較圖像的讀取]
[0135]在步驟Cl中，在處理部102讀取對象圖像及比較圖像。讀取的對象圖像及比較圖像的數(shù)據(jù)被寫入到數(shù)據(jù)存儲部112中。在本實施方式中，讀取三個幀圖像(讀取比較圖像L和fa+i以及對象圖像fa)。
[0136][步驟C2:總計值及處理計數(shù)值的復(fù)位]
[0137]在此，當(dāng)Sum (R)、Sum (G)、Sum (B)及處理計數(shù)值counter都不是O時,將它們設(shè)定為O。當(dāng)Sum (R)、Sum (G)、Sum (B)及處理計數(shù)值counter是O時,可以省略該步驟。另外，步驟C2可以在步驟Cl之前進(jìn)行。
[0138][步驟C3:像素(X，y)是否是對象物區(qū)域中的像素？] [0139]在步驟C3中，決定比較圖像L中的像素(x，y)的顏色要素的灰度值和對象圖像4中的像素(X，y)的顏色要素的灰度值之間的差異的絕對值是否等于或大于閾值。并且，決定比較圖像fa+i中的像素(χ，y)的R、G、B和對象圖像fa中的像素(χ，y)的R、G、B之間的灰度值的差異的絕對值是否等于或大于閾值。參照圖6B說明步驟C3的詳細(xì)內(nèi)容。
[0140]在本實施方式中，像素(X，y)的數(shù)據(jù)包括R、G、B的三個顏色的灰度值。
[0141][步驟CS-1a = AR1 (x, y)^ Δ G1 (x, y)^ Δ B1 (x, y)的計算]
[0142]根據(jù)比較圖像及對象圖像fa算出三個差異值A(chǔ)R1 (X，y)、AG1 (x, y)、AB1(x，y)。在此，差異值A(chǔ)R1 (x, y)是比較圖像中的像素(x, y)的R的灰度值和對象圖像4中的像素(X，y)的R的灰度值之間的差異的絕對值；差異值A(chǔ)G1 (x, y)是比較圖像fa-!中的像素(x，y)的G的灰度值和對象圖像fa中的像素(x，y)的G的灰度值之間的差異的絕對值；并且差異值A(chǔ)B1 (x，y)是比較圖像fa_i中的像素(x，y)的B的灰度值和對象圖像fa中的像素(χ，y)的B的灰度值之間的差異的絕對值。
[0143][步驟C3-2a: a R1 (χ, y)、α G1 (χ, y)、α Β1 (χ, y)的決定]
[0144]接著,分別決定差異值A(chǔ)R1 (x, y), AG1 (x, y), AB1 (x, y)是否等于或大于閾值Rth、Gth、Bth。
[0145]當(dāng)差異值等于或大于閾值時，將灰度判定值設(shè)定為1，當(dāng)差異值小于閾值時，將灰度判定值設(shè)定為O。換言之，當(dāng)AR1 (x,y) > Rth時,將紅色的灰度判定值a K1 (x,y)設(shè)定為1，并且當(dāng)AR1 (x,y) <Rth時,將紅色的灰度判定值a K1 (x,y)設(shè)定為O。這可同樣地應(yīng)用于綠色、藍(lán)色的灰度判定值。根據(jù)差異值A(chǔ)G1 (Xjy)^AB1 (x，y)是等于或大于閾值Gth、Bth還是大于Gth、Bth而將灰度判定值Ctel (χ，y)、α Β1 (χ，y)設(shè)定為I或O。
[0146][步驟C3-3a:差異判定值D1 (x, y)的決定]
[0147]接著,判斷R、G、B的灰度判定值的總和是否等于或大于2。當(dāng)α R1 (x, y) + a G1(χ, y)+ α Β1 (χ, y)≥2時,將像素(x,y)的差異判定值D1 (x, y)設(shè)定為I,并且當(dāng)α K1 (x, y)+ α Cl (x, y) + α Bi (X，y)〈2時，將差異判定值D1 (x,y)設(shè)定為O。
[0148]在此，差異判定值D1 (x，y)根據(jù)R、G、B的灰度判定值的總和是否等于或大于2而決定；但是，差異判定值D1 (x, y)可以根據(jù)R、G、B的灰度判定值的總和是否等于或大于I或者R、G、B的灰度判定值的總和是否等于3而決定。
[0149][步驟C3_lb:AR2 (χ, y)^ Δ G2 (x,y)、AB2 (x，y)的計算]
[0150]同樣地，根據(jù)比較圖像fa+1及對象圖像4算出三個差異值A(chǔ)R2 (X，y)、AG2 (χ,y)、ΔΒ2 (χ, y)。在此,差異值A(chǔ)R2 (x, y)是比較圖像f；+:中的像素(x, y)的R的灰度值和對象圖像fa中的像素(X，y)的R的灰度值之間的差異的絕對值；差異值A(chǔ)G2 (x, y)是比較圖像f；+:中的像素(χ，y)的G的灰度值和對象圖像fa中的像素(χ，y)的G的灰度值之間的差異的絕對值；并且差異值A(chǔ)B2 (x，y)是比較圖像fa+i中的像素(x，y)的B的灰度值和對象圖像fa中的像素(χ，y)的B的灰度值之間的差異的絕對值。
[0151][步驟C3-2b: a R2 (χ, y)、α G2 (χ, y)、α Β2 (χ, y)的決定]
[0152]接著,分別決定差異值A(chǔ)R2 (x，y)、AG2 (x, y), AB2 (x, y)是否等于或大于閾值Rth、Gth、Bth。然后,將灰度判定值 αΚ2 (x, y)> a G2 (χ, y)> α Β2 (x,y)設(shè)定為 I 或 O。
[0153][步驟C3-3b:差異判定值D2 (X，y)的決定]
[0154]接著,判斷R、G、B的灰度判定值的總和是否等于或大于2。當(dāng)α Κ2 (χ, y)+a e2(x, y)+ α Β2 (χ, y)≥2時,將像素(x,y)的差異判定值D2 (x, y)設(shè)定為I,并且當(dāng)α K2 (x, y)+ a G2 (χ, y) + α β2 (χ，y)〈2時，將差異判定值D2 (x,y)設(shè)定為O。
[0155][步驟C3-4:差異判定值D1 (X，y)的決定]
[0156]然后,決定差異判定值D1 (乂,7)和02 (x,y)是否都是“I”。在差異判定值D1 (χ,}0和02 (X，y)都是“I”的情況下，進(jìn)行步驟O1-1 (C4_la)。在差異判定值D1 (1,}0和02(X，y)中的至少一方不是I的情況下，進(jìn)行步驟C4-2。
[0157][步驟C4-1:對象圖像中的像素(X，y)為對象物區(qū)域中的像素]
[0158]當(dāng)在步驟C3-4中差異判定值D1 (義,}0和02 (x,y)都是I (差異判定值D1 (x,y)=1且02 (x,y)=l)時,掩模圖像中的像素(x,y)顯示白色(步驟C4-la)。另外,可以說該對象圖像中的像素(X，y)是對象物區(qū)域中的像素。
[0159]再者，當(dāng)步驟C3-4中差異判定值D1 (x，yWPD2 (x，y)都是“ I”時，對Sum (R)、Sum (G)、Sum (B)加上對象圖像中的像素(x，y)的R、G、B的灰度值，并且對處理計數(shù)值counter加上I (步驟C4_lb)。通過步驟C4_lb,在步驟C6中可以算出對象物區(qū)域的平均顏色及反色。
[0160][步驟C4-2:對象圖像中的像素(X，y)為背景區(qū)域中的像素的情況]
[0161]當(dāng)在步驟C3-4中差異判定值D1 (義,}0和02 (χ, y)中的至少一方不是I時(差異判定值D1 (χ, y)=0或/及02 (χ, y) =0),掩模圖像中的像素(χ, y)顯示黑色。此外,可以說該對象圖像中的像素(X，y)是背景區(qū)域中的像素。
[0162][步驟C5:是否已經(jīng)決定所有像素的灰度值的差異？]
[0163]直到算出對象圖像中的所有像素的顏色要素的灰度值與比較圖像中的像素的顏色要素的灰度值之間的差異的絕對值并決定該差異的絕對值是否是等于或大于閾值為止，反復(fù)執(zhí)行步驟C3至C5。
[0164][步驟C6: 掩模圖像的形成][0165]通過決定所有像素中的掩模圖像的顏色(黑色或白色)，形成掩模圖像。掩模圖像是由對象物區(qū)域(白色顯示區(qū)域)和背景區(qū)域(黑色顯示區(qū)域)構(gòu)成的二值圖像。通過形成掩模圖像，對象圖像被區(qū)分為對象物區(qū)域和背景區(qū)域。另外，可以在步驟C6之前進(jìn)行第二步驟A2。
[0166]通過步驟Cl至C6,本實施方式的第一步驟Al結(jié)束。
[0167]然后，可以進(jìn)行實施方式I中的第二步驟A2之后的處理。
[0168]如本實施方式所示，通過根據(jù)本發(fā)明的一個方式的圖像處理方法，從構(gòu)成動態(tài)圖像的多個幀圖像中可以選擇對象圖像及比較圖像。
[0169]實施例1
[0170]在本實施例中，參照圖7A-1至7D-2以及圖8A至8C說明通過根據(jù)本發(fā)明的一個方式的圖像處理方法形成的處理圖像。
[0171]表1示出結(jié)構(gòu)例子I至4的未進(jìn)行根據(jù)本發(fā)明的一個方式的圖像處理的對象物區(qū)域中的圖像的平均顏色(R1, G1, B1X反色(R2，G2, B2)及八卜2。
[0172]在本實施例中，平均顏色是包含在對象物區(qū)域中的所有像素的256
[0173]灰度中的R、G、B的灰度值的平均值。
[0174][表1]
【權(quán)利要求】
1.一種圖像處理方法，包括如下步驟: 將對象圖像分為對象物區(qū)域和背景區(qū)域； 算出所述對象物區(qū)域的平均顏色的灰度值； 使用所述平均顏色的所述灰度值算出所述對象物區(qū)域的反色的灰度值；以及 使用所述反色的所述灰度值及所述對象圖像的所述背景區(qū)域的灰度值算出處理圖像的背景區(qū)域的灰度值。
2.根據(jù)權(quán)利要求1所述的圖像處理方法，其中所述對象圖像和所述處理圖像都是全彩色圖像。
3.根據(jù)權(quán)利要求1所述的圖像處理方法，其中所述處理圖像的對象物區(qū)域的灰度值與所述對象圖像的所述對象物區(qū)域的所述灰度值相同。
4.根據(jù)權(quán)利要求1所述的圖像處理方法，其中多個像素被分為包括在所述對象物區(qū)域中的第一像素和包括在所述背景區(qū)域中的第二像素。
5.根據(jù)權(quán)利要求1所述的圖像處理方法，還包括如下步驟:進(jìn)行珈馬校正處理、對比度強(qiáng)調(diào)處理、銳化處理或輪廓強(qiáng)調(diào)處理。
6.一種圖像處理系統(tǒng)，包括:根據(jù)權(quán)利要求1所述的圖像處理方法制造所述處理圖像的處理部。
7.一種圖像處理方法，包括如下步驟: 將對象圖像分為對象物區(qū)域和背景區(qū)域，其中所述對象圖像以(N+1)灰度表示； 算出所述對象物區(qū)域的平均顏色的`灰度值，其中(R1, G1, B1)表示所述平均顏色的所述灰度值； 利用算式(R2，G2, B2)= (N-R1, N-G1, N-B1)算出所述對象物區(qū)域的反色的灰度值，其中(R2, G2, B2)表示所述反色的所述灰度值；以及 利用算式^?^^^^)= CkRxy+ (l-k)R2，kGxy+ (l-k)G2，kBxy+ (l-k)B2)算出處理圖像的背景區(qū)域的灰度值，其中(R’ Χ?，G’ xy，B’ xy)表示所述處理圖像的所述背景區(qū)域的像素(X，y)的灰度值，(Rxy, Gxy, Bxy)表示所述對象圖像的所述背景區(qū)域的像素U，y)的灰度值，并且0〈k〈l。
8.根據(jù)權(quán)利要求7所述的圖像處理方法，其中Λη表示Iragab1-(r2+g2+b2) I，并且Δ卜2滿足0< Δ卜2 ( 2.4N的關(guān)系。
9.根據(jù)權(quán)利要求7所述的圖像處理方法，其中k是0.2至0.8。
10.根據(jù)權(quán)利要求7所述的圖像處理方法，其中所述處理圖像的對象物區(qū)域的像素(X，y)的灰度值與所述對象圖像的所述對象物區(qū)域的像素(X，y)的所述灰度值相同。
11.根據(jù)權(quán)利要求7所述的圖像處理方法，其中多個像素被分為包括在所述對象物區(qū)域中的第一像素和包括在所述背景區(qū)域中的第二像素。
12.根據(jù)權(quán)利要求7所述的圖像處理方法，還包括如下步驟:進(jìn)行珈馬校正處理、對比度強(qiáng)調(diào)處理、銳化處理或輪廓強(qiáng)調(diào)處理。
13.一種圖像處理系統(tǒng)，包括:根據(jù)權(quán)利要求7所述的圖像處理方法制造所述處理圖像的處理部。
14.一種包括處理部和顯示部的顯示裝置，該處理部包括: 用來將對象圖像分為對象物區(qū)域和背景區(qū)域的單元，其中所述對象圖像以(N+1)灰度表不; 用來算出所述對象物區(qū)域的平均顏色的灰度值的單元，其中(R1, G1, B1)表示所述平均顏色的所述灰度值； 用來利用算式(R2，G2, B2) = (N-R1, N-G1, N-B1)算出所述對象物區(qū)域的反色的灰度值的單元，其中(R2，G2, B2)表示所述反色的所述灰度值；以及
用來利用算式(R’xy，G’xy, B' xy) = (kRxy+ (1-k) R2, kGxy+ (1-k) G2, kBxy+ (l_k)B2)算出處理圖像的背景區(qū)域的灰度值的單元，其中(R’ xy，G’ xy，B’ xy)表示所述處理圖像的所述背景區(qū)域的像素(x，y)的灰度值，(Rxy，Gxy，Bxy)表示所述對象圖像的所述背景區(qū)域的像素(X，y)的灰度值，并且0〈k〈l， 其中，所述顯示部包括用來顯示所述處理圖像的多個像素。
15.根 據(jù)權(quán)利要求14所述的顯示裝置，其中Ap2表示IrjgjB1-(r2+g2+b2) |，并且Λ H滿足0〈 A1K 2.4Ν的關(guān)系。
16.根據(jù)權(quán)利要求14所述的顯示裝置，其中k是0.2至0.8。
17.根據(jù)權(quán)利要求14所述的顯示裝置，其中所述處理圖像的對象物區(qū)域的像素(X，y)的灰度值與所述對象圖像的所述對象物區(qū)域的像素(X，y)的所述灰度值相同。
18.根據(jù)權(quán)利要求14所述的顯示裝置，其中多個像素被分為包括在所述對象物區(qū)域中的第一像素和包括在所述背景區(qū)域中的第二像素。
19.根據(jù)權(quán)利要求14所述的顯示裝置，其中所述處理部還包括:用來進(jìn)行珈馬校正處理、對比度強(qiáng)調(diào)處理、銳化處理或輪廓強(qiáng)調(diào)處理的單元。
【文檔編號】H04N9/64GK103650488SQ201280032377
【公開日】2014年3月19日 申請日期:2012年6月18日 優(yōu)先權(quán)日:2011年7月1日
【發(fā)明者】田村輝, 濱田俊樹 申請人:株式會社半導(dǎo)體能源研究所