專利名稱：圖像處理裝置、三維顯示裝置和圖像處理方法
技術(shù)領(lǐng)域：
這里所述的實(shí)施方式一般地涉及一種能夠調(diào)節(jié)圖像之間的視差值的圖像處理裝 置、三維顯示裝置和圖像處理方法。
背景技術(shù)：
三維圖像利用各種方法生成，例如(1)使通過排列多個(gè)圖像拍攝設(shè)備而形成的 三維攝像機(jī)拍攝多個(gè)視點(diǎn)的圖像；或( 根據(jù)從一個(gè)或多個(gè)圖像推定的深度來生成多個(gè)視 點(diǎn)的圖像。在很多情況下，已經(jīng)生成的多個(gè)視點(diǎn)的圖像被輸入用于顯示三維圖像的裝置。因 此，對(duì)于所顯示的三維圖像，不同視點(diǎn)的圖像之間的每個(gè)像素的視差的大小(以下稱為視 差值)多數(shù)情況下具有在生成時(shí)固定的預(yù)定值。另一方面，三維圖像有時(shí)在尺寸不同于在生成時(shí)設(shè)想的尺寸的顯示屏上再現(xiàn)。此 時(shí)，在所再現(xiàn)的三維圖像中，用戶可能會(huì)有不協(xié)調(diào)的感覺。另外，例如用戶可能有根據(jù)自己 的眼睛疲勞狀態(tài)調(diào)節(jié)視差值來降低疲勞的要求。因此根據(jù)需要來調(diào)節(jié)視差值的技術(shù)是很重 要的。作為調(diào)節(jié)視差值的方法，公開了根據(jù)顯示屏的尺寸、用戶與顯示屏之間的距離等 得到偏移量，并且將用于一只眼睛的圖像在視差產(chǎn)生的方向上平移該偏移量(例如日本專 利No. 3978392)。即，該技術(shù)能夠通過將整個(gè)圖像平移預(yù)定的量而針對(duì)用戶增加或減小深 度。因此，如果在圖像部分中存在字幕，則會(huì)發(fā)生字符大小改變等現(xiàn)象，導(dǎo)致用戶感覺到不 協(xié)調(diào)。

發(fā)明內(nèi)容
這里所述的實(shí)施方式的目的是調(diào)節(jié)圖像之間的視差值。根據(jù)一個(gè)實(shí)施方式，一種圖像處理裝置包括取得單元，取得具有視差的多個(gè)圖像 的每個(gè)像素的視差值；設(shè)置單元，在所述視差值的范圍內(nèi)設(shè)置至少一個(gè)基準(zhǔn)范圍；變換單 元，對(duì)每個(gè)像素的視差值實(shí)施變換，從而不改變屬于所述基準(zhǔn)范圍的視差值，而改變不屬于 所述基準(zhǔn)范圍的視差值，并且不改變像素的視差值之間的大小關(guān)系；以及生成單元，根據(jù)實(shí) 施了變換后的視差值，從所述圖像生成視差圖像。根據(jù)一個(gè)實(shí)施方式，一種三維顯示裝置包括上述的圖像處理裝置；和顯示所述 視差圖像的顯示單元。根據(jù)一個(gè)實(shí)施方式，一種圖像處理方法包括取得具有視差的多個(gè)圖像的每個(gè)像 素的視差值；在所述視差值的范圍內(nèi)設(shè)置至少一個(gè)基準(zhǔn)范圍；對(duì)每個(gè)像素的視差值實(shí)施變 換，從而不改變屬于所述基準(zhǔn)范圍的視差值，而改變不屬于所述基準(zhǔn)范圍的視差值，并且不改變像素的視差值之間的大小關(guān)系；以及根據(jù)實(shí)施了變換后的視差值，從所述圖像生成視
差圖像。 根據(jù)一個(gè)實(shí)施方式，能夠調(diào)節(jié)圖像之間的視差值。


圖1是示出第一實(shí)施方式所涉及的三維顯示裝置的框圖。
圖2是用于說明深度與視差值之間的關(guān)系的圖。
圖3是用于說明深度與視差值之間的關(guān)系的圖。
圖4是用于說明像素位置的圖。
圖5A是示出輸入圖像與深度值之間的關(guān)系的圖。
圖5B是示出輸入圖像與深度值之間的關(guān)系的圖。
圖6是示出視差值變換函數(shù)的例子的圖。
圖7是用于說明視差圖像生成方法的圖。
圖8是示出第二實(shí)施方式所涉及的三維顯示裝置的框圖。
圖9是用于說明深度與視差值之間的關(guān)系的圖。
具體實(shí)施例方式以下對(duì)實(shí)施方式進(jìn)行說明。根據(jù)一個(gè)實(shí)施方式，一種圖像處理裝置包括取得單元、 設(shè)置單元、變換單元和生成單元，所述取得單元取得具有視差的多個(gè)圖像的每個(gè)像素的視 差值；所述設(shè)置單元在所述視差值的范圍內(nèi)設(shè)置至少一個(gè)基準(zhǔn)范圍；所述變換單元對(duì)每個(gè) 像素的視差值實(shí)施變換，從而不改變屬于所述基準(zhǔn)范圍的視差值，而改變不屬于所述基準(zhǔn) 范圍的視差值，并且不改變像素的視差值之間的大小關(guān)系；所述生成單元根據(jù)實(shí)施了變換 后的視差值，從所述圖像生成視差圖像。注意，相同的附圖標(biāo)記指示執(zhí)行相同操作的部件或處理，并省略對(duì)其的重復(fù)說明。(第一實(shí)施方式)本實(shí)施方式的三維顯示裝置可以采用諸如眼鏡方式或裸眼方式等能夠進(jìn)行三維 顯示的各種方式中的任意一種。在下述實(shí)施方式中，將對(duì)通過使用眼鏡的時(shí)分方式顯示三 維圖像的兩眼顯示進(jìn)行說明。時(shí)分方式的例子是液晶快門眼鏡方式、偏振濾波眼鏡方式和 RGB波帶分割濾波眼鏡方式。在本實(shí)施方式中，將對(duì)利用液晶快門眼鏡方式的眼鏡的時(shí)分方 式進(jìn)行說明。時(shí)分方式可以是場(chǎng)序列或幀序列。在本實(shí)施方式中，將對(duì)幀序列時(shí)分方式進(jìn) 行說明。圖1是示出本實(shí)施方式所涉及的三維顯示裝置的框圖。本實(shí)施方式的三維顯示裝 置包括圖像處理裝置10，調(diào)節(jié)輸入圖像的視差值；和顯示單元106，顯示由圖像處理裝置 10進(jìn)行了視差值調(diào)節(jié)的三維圖像。顯示單元106交替地顯示具有視差的左眼圖像和右眼圖 像。專用的眼鏡將顯示圖像分離成左眼圖像和右眼圖像。具有視差的圖像針對(duì)用戶的左眼 和右眼分開地顯示，從而利用兩眼視差實(shí)現(xiàn)三維視覺。本實(shí)施方式的三維顯示裝置的組成 部件將后述。首先參照?qǐng)D2和圖3對(duì)視差值與深度之間的關(guān)系進(jìn)行說明。深度值&(= Za-) 的軸設(shè)置在垂直于顯示屏的方向(顯示屏的深度方向)上。因此，深度值h由一維標(biāo)量表示。視差典型地設(shè)置在水平方向上。但是，取決于例如觀看環(huán)境等因素，視差也可能設(shè)置在 其它方向(例如垂直方向)上。例如，當(dāng)用戶躺著時(shí)，連接用戶的眼睛的線(以下稱為眼 線)不是平行于水平方向，而是平行于垂直或傾斜方向。因此，設(shè)想將視差在平行于眼線的 軸上移動(dòng)。由于如上所述可以在任意方向上設(shè)置視差，因此在以下說明中將視差表達(dá)為向 量。在以下說明中，假定視差被設(shè)置在水平方向(X軸方向)上。圖2示意性地示出深度值與視差值之間的關(guān)系。圖2是示出用戶觀看顯示單元106 的顯示屏?xí)r的要素的位置關(guān)系的鳥瞰圖。深度值設(shè)置在ζ軸上，ζ = 0對(duì)應(yīng)于顯示屏的位 置。χ軸平行于顯示屏(線DE)。在這個(gè)例子中，χ軸還平行于用戶的眼線(線段BC)。點(diǎn) B指示用戶左眼的位置。點(diǎn)C指示用戶右眼的位置。線段BC的長(zhǎng)度(即，用戶的兩眼之間 的距離)由b(= |b— I)表示。Zs(= Zs- I)是用戶與顯示屏之間的距離。h是物體 的深度值。點(diǎn)A表示用戶感知物體的虛擬位置。點(diǎn)A與顯示屏的距離為深度值&。點(diǎn)D指示 針對(duì)左眼圖像而實(shí)際顯示在顯示屏上的物體的位置。點(diǎn)E指示針對(duì)右眼圖像而實(shí)際顯示在 顯示屏上的物體的位置。即，線段DE的長(zhǎng)度表示視差值。視差向量是從點(diǎn)D到點(diǎn)E的向量。 在以下說明中，視差向量表示為“d—”。視差值是視差向量d—的大小(絕對(duì)值)|d— |。圖3示意性地示出當(dāng)物體的虛擬位置設(shè)置在顯示屏的近側(cè)時(shí)深度值與視差值之 間的關(guān)系。圖3中的符號(hào)與圖2中的相同，不對(duì)其進(jìn)行重復(fù)說明。將圖3與圖2進(jìn)行比較 可知，點(diǎn)D和E在χ軸上的位置關(guān)系相反(即，視差向量d —的方向相反)。在圖2 中，考慮到三角形 ABC 與 ADE 相似，(| Za - +Zs - ) | Za - | =b :|d — 成立。即
d =b
(1)
'S
關(guān)于視差值Id — ι成立。 另外，考慮到圖2中X軸和Z軸的定義， d
廣 Z、
7 +7
(2)關(guān)于視差向量d—成立。更具體地說，深度值h與視差向量d—可以相互變換。在以下說明中，與視差向 量有關(guān)的說明可以根據(jù)需要解釋成與深度值有關(guān)的說明，反之亦然。在圖4中，圖像的每個(gè)像素位置由圓圈來表示，并且示出水平軸和垂直軸。每個(gè)像 素位置由坐標(biāo)來定義，而坐標(biāo)由水平軸上的整數(shù)位置和垂直軸上的整數(shù)位置表示。在以下 說明中，除非特別聲明，除了視差向量以外的所有向量的起點(diǎn)都在(0，0)處。對(duì)圖1進(jìn)行詳細(xì)說明。參照?qǐng)D1，圖像處理裝置10包括處理單元100、視差值取 得單元101、基準(zhǔn)范圍設(shè)置單元102、函數(shù)設(shè)置單元103、變換單元104和視差圖像生成單元 105。處理單元100從外部接收第一輸入圖像(例如用于左眼的三維圖像信號(hào))和第二 輸入圖像(例如用于右眼的三維圖像信號(hào))，第二輸入圖像是與第一輸入圖像的視點(diǎn)不同的視點(diǎn)的圖像?？梢允褂酶鞣N方法來提供輸入圖像。例如，可以從調(diào)諧器取得具有視差的 多個(gè)圖像，或者通過讀取存儲(chǔ)在光盤上的信息來取得具有視差的多個(gè)圖像?？商娲?，可以 從外部向處理單元100供給一個(gè)二維圖像。這種情況下，處理單元100從這一個(gè)二維圖像 推定深度值，從而生成具有視差的多個(gè)圖像。視差值取得單元101取得具有視差的多個(gè)圖像之間的每個(gè)像素的視差值。例如， 視差值取得單元101推定每個(gè)像素的視差值，將所推定的視差值輸入到基準(zhǔn)范圍設(shè)置單元 102和變換單元104?？梢允褂酶鞣N方法來取得視差值。例如，可以應(yīng)用立體匹配方法來計(jì) 算第一輸入圖像與第二輸入圖像之間的每個(gè)像素的視差值?？商娲兀绻幚韱卧?00 通過從一個(gè)二維圖像推定深度值而生成具有視差的多個(gè)圖像，則可以從生成多個(gè)圖像時(shí)推 定的深度值來得到視差值。圖5A和5B示出輸入圖像與深度值之間的關(guān)系。在圖5A中，圖中左側(cè)的二維圖像 的像素的深度值越小，對(duì)應(yīng)的像素在圖中的右側(cè)就越黑地示出。圖像中的任意像素的位置 向量可以表示為i —。位置向量i —的像素的深度值可以用ζ (i)表示，而視差向量可以用 d(i)—表示。設(shè)ia—為圖5B中的左視差圖像(即左眼圖像)的任意位置A的位置向量。 與A點(diǎn)對(duì)應(yīng)的右視差圖像(即右眼圖像)中的點(diǎn)B例如可以通過塊匹配而導(dǎo)出。設(shè)對(duì)應(yīng)的 點(diǎn)B的位置向量為ib—。這種情況下，視差向量d(ia)—等于(ib —-ia —)。同樣可以 得到左視差圖像中的每個(gè)像素的深度值。注意，在本實(shí)施方式中，將左視差圖像中的每個(gè)像 素定義為視差向量的起點(diǎn)。但是，當(dāng)然也可以將右視差圖像中的每個(gè)像素定義為視差向量 的起點(diǎn)。這種情況下，盡管視差向量的符號(hào)相反，但可以得到同樣的效果。對(duì)于三個(gè)或更多 個(gè)視差圖像同樣可以將任意圖像中的每個(gè)像素設(shè)置為視差向量的起點(diǎn)。基準(zhǔn)范圍設(shè)置單元102在深度值的范圍內(nèi)設(shè)置一個(gè)或更多個(gè)基準(zhǔn)范圍R。所設(shè)置 的基準(zhǔn)范圍R被發(fā)送到函數(shù)設(shè)置單元103?？梢酝ㄟ^各種方法來設(shè)置基準(zhǔn)范圍R。例如，用 戶可以使用鍵盤或遠(yuǎn)程控制器(未示出)來設(shè)置基準(zhǔn)范圍R。例如，可以在顯示單元106上 顯示接受用戶進(jìn)行的基準(zhǔn)范圍R的設(shè)置輸入的UI畫面，根據(jù)來自用戶使用的鍵盤或遠(yuǎn)程控 制器的指定，設(shè)置基準(zhǔn)范圍R。UI畫面例如可以是設(shè)置“弱/中/強(qiáng)”這樣的立體感的強(qiáng)度的設(shè)置畫面。這種情 況下，用戶使用鍵盤或遠(yuǎn)程控制器等，從設(shè)置畫面中選擇“弱/中/強(qiáng)”中的任意一個(gè)，由此 分別設(shè)置基準(zhǔn)范圍R。例如，通過選擇“強(qiáng)”，與選擇了 “弱”的情況相比，可以使基準(zhǔn)范圍R變窄。另外，UI畫面例如可以是能夠從某個(gè)范圍的數(shù)值(例如0 100)中設(shè)置一個(gè)數(shù) 值的“條(bar)”。這種情況下，用戶使用鍵盤或遠(yuǎn)程控制器等，在條中選擇設(shè)置一個(gè)數(shù)值， 由此來設(shè)置基準(zhǔn)范圍R。另外，圖像處理裝置10還可以具有測(cè)量從顯示單元106到用戶的距離的測(cè)量單元 (未圖示)，基準(zhǔn)范圍設(shè)置單元102根據(jù)該距離來設(shè)置基準(zhǔn)范圍R。例如，可以是隨著該距離 變長(zhǎng)，基準(zhǔn)范圍R變窄。另外，也可以是隨著該距離變短，基準(zhǔn)范圍R變寬。這樣，可以根據(jù)用戶操作直接或間接地調(diào)整基準(zhǔn)范圍R?；鶞?zhǔn)范圍R指示深度軸ζ上的一個(gè)點(diǎn)或具有預(yù)定寬度的范圍。例如，基準(zhǔn)范圍R 可以通過R = {zr I ζ = 0} (3)
被設(shè)置成Z = 0?？商娲?，可以通過
權(quán)利要求
1.一種圖像處理裝置，包括取得單元，取得具有視差的多個(gè)圖像的每個(gè)像素的視差值； 設(shè)置單元，在所述視差值的范圍內(nèi)設(shè)置至少一個(gè)基準(zhǔn)范圍；變換單元，對(duì)每個(gè)像素的視差值實(shí)施變換，從而不改變屬于所述基準(zhǔn)范圍的視差值，而 改變不屬于所述基準(zhǔn)范圍的視差值，并且不改變像素的視差值之間的大小關(guān)系；以及 生成單元，根據(jù)實(shí)施了變換后的視差值，從所述圖像生成視差圖像。
2.如權(quán)利要求1所述的圖像處理裝置，還包括 檢測(cè)單元，檢測(cè)圖像中的關(guān)注區(qū)域ROI ；其中，所述設(shè)置單元將與所述ROI對(duì)應(yīng)的視差值的范圍設(shè)置為所述基準(zhǔn)范圍。
3.如權(quán)利要求2所述的圖像處理裝置，其中，所述檢測(cè)單元檢測(cè)所述圖像中的顯示有疊印內(nèi)容的區(qū)域作為所述R0I。
4.如權(quán)利要求2所述的圖像處理裝置，其中，所述檢測(cè)單元檢測(cè)所述圖像中的顯示有人臉的區(qū)域作為所述ROI。
5.如權(quán)利要求2所述的圖像處理裝置，其中，所述設(shè)置單元將包括視差值等于0的范圍設(shè)置為基準(zhǔn)范圍。
6.如權(quán)利要求1所述的圖像處理裝置，其中，所述設(shè)置單元利用每個(gè)像素的深度值來設(shè)置所述基準(zhǔn)范圍。
7.一種三維顯示裝置，包括如權(quán)利要求1所述的圖像處理裝置；和 顯示所述視差圖像的顯示單元。
8.一種圖像處理方法，包括取得具有視差的多個(gè)圖像的每個(gè)像素的視差值； 在所述視差值的范圍內(nèi)設(shè)置至少一個(gè)基準(zhǔn)范圍；對(duì)每個(gè)像素的視差值實(shí)施變換，從而不改變屬于所述基準(zhǔn)范圍的視差值，而改變不屬 于所述基準(zhǔn)范圍的視差值，并且不改變像素的視差值之間的大小關(guān)系；以及 根據(jù)實(shí)施了變換后的視差值，從所述圖像生成視差圖像。
全文摘要
本發(fā)明提供一種圖像處理裝置、三維顯示裝置和圖像處理方法，其中，圖像處理裝置包括取得單元、設(shè)置單元、變換單元和生成單元，所述取得單元取得具有視差的多個(gè)圖像的每個(gè)像素的視差值；所述設(shè)置單元在所述視差值的范圍內(nèi)設(shè)置至少一個(gè)基準(zhǔn)范圍；所述變換單元對(duì)每個(gè)像素的視差值實(shí)施變換，從而不改變屬于所述基準(zhǔn)范圍的視差值，而改變不屬于所述基準(zhǔn)范圍的視差值，并且不改變像素的視差值之間的大小關(guān)系；所述生成單元根據(jù)進(jìn)行實(shí)施了變換后的視差值，從所述圖像生成視差圖像。
文檔編號(hào)H04N13/00GK102143371SQ20111002933
公開日2011年8月3日 申請(qǐng)日期2011年1月27日 優(yōu)先權(quán)日2010年1月28日
發(fā)明者三島直, 三田雄志, 下山賢一, 平井隆介, 馬場(chǎng)雅裕 申請(qǐng)人:株式會(huì)社東芝