專利名稱：用于調(diào)節(jié)三維圖像中的視差的方法及其三維成像設(shè)備的制作方法
技術(shù)領(lǐng)域：
符合本發(fā)明的裝置和方法涉及調(diào)整三維圖像中的視差(disparity)以及 三維成像設(shè)備，而且更具體地，涉及其中調(diào)整三維圖像中的視差以減少在觀 看三維圖像時發(fā)生的視覺疲勞的三維圖像的視差調(diào)整以及三維成像設(shè)備。
背景技術(shù)：
諸如立體攝像機或多視角攝像機的三維(3D )攝像機通常使用與人眼類 似的兩個或多個攝像機來捕獲左和右圖像，并導(dǎo)致觀看者感受到由兩幅圖像 之間的視差引起的立體效果。特別地，用戶觀察到由通過3D攝像機捕獲的 兩幅圖像之間的不一致引起的視差，而這種雙眼視差導(dǎo)致該用戶體驗到立體 效果。
圖1是示出雙眼視差的各種類型的視圖。圖l中，當用戶觀看3D圖像 時，該用戶看到的雙眼視差可以分為(a)負視差、(b)正視差、以及(c) 零視差。(a)負視差意味著物體看起來從屏幕中凸出來，而(b)正視差意 味著物體看起來在屏幕后面。(c )零視差指其中物體看起來在與屏幕同 一個 水平面上的情形。
3D圖像中，負視差通常具有比正視差更強的立體效果，但是具有比正 視差更大的會聚角，所以觀看正視差對人眼來說更為舒適。然而，如果3D 圖像中的物體僅具有正視差，則即便眼睛在正視差中感覺舒適，眼睛也感到 疲勞。同樣地，如果3D圖像中的物體僅具有負視差，則雙眼感到疲勞。
圖2是示出現(xiàn)有技術(shù)中的各種類型的3D攝像機的視圖。圖2中，所述 3D攝像機包括(a)平行3D攝像機210、 (b)內(nèi)八字(toe-in) 3D攝像機 220、以及(c)混合3D攝像機230。
具有兩個平行布置的鏡頭的平行3D攝像機210在圖像壓縮/發(fā)送和圖像 處理中有優(yōu)勢，但是無法像人眼那樣會聚在單個點上。內(nèi)八字3D攝像機220 具有會聚功能，但是在3D圖像的左和右邊緣產(chǎn)生垂直視差。由垂直視差引 起的3D圖像的失真導(dǎo)致視覺疲勞。在混合3D攝像機230中，鏡頭和電荷
耦合器件(CCD)分別單獨移動，而且控制會聚功能沒有垂直視差，因而能
夠以較少視覺疲勞體現(xiàn)3D圖像。
然而，難以用與混合3D攝像機230相同的方式實現(xiàn)多視角攝像機以及 其它3D攝像機。
因而，需要有用于顯示諸如由混合3D攝像機230捕獲的3D圖像的由 多視角攝像機和其它3D攝像機捕獲的3D圖像的方法。

發(fā)明內(nèi)容
而且，本發(fā)明無需可不上述缺點，并且本發(fā)明的示范性實施例可以不用克服 上述任何一個問題。
本發(fā)明提供了一種用于調(diào)節(jié)3D圖像中的視差的方法及其3D成像設(shè)備， 以提供具有優(yōu)異穩(wěn)定性和較少視覺疲勞的最佳3D圖像。
本發(fā)明還提供了一種用于調(diào)節(jié)3D圖像中的視差的方法及其3D成像設(shè) 備，以體現(xiàn)諸如由混合3D攝像機捕獲的3D圖像的由平行攝像機或多視角 攝像機捕獲的3D圖像
根據(jù)本發(fā)明的一個方面，提供一種用于調(diào)節(jié)3D圖像中的視差的方法， 該方法包括估計輸入3D圖像中的視差并逐個像素計算視差直方圖；分析 所述視差直方圖的預(yù)定視差范圍的能量并確定視差調(diào)節(jié)量；以及基于所述視 差調(diào)節(jié)量再現(xiàn)所述3D圖像。
所述確定所述視差調(diào)節(jié)量可以包括將所述視差直方圖的所述預(yù)定視差 范圍中與最高能量對應(yīng)的位移距離確定作為所述視差調(diào)節(jié)量。
所述預(yù)定視差范圍可以是融合極限(ftision limit)的±7。之內(nèi)的范圍。
如果i)所述預(yù)定視差范圍是雙眼視差范圍中的±1。或±2。、而且ii)第一 位移距離減去第二位移距離所得的絕對值小于或等于一閾值，則可以將與范 圍士1。對應(yīng)的視差直方圖的位移距離確定作為所述視差調(diào)節(jié)量，其中所述第 一位移距離與對應(yīng)于雙眼視差范圍士1。的巻積掩模和視差直方圖中的最大巻 積和對應(yīng)，而所述第二位移距離與對應(yīng)于雙眼視差范圍±2°的巻積掩模和視 差直方圖中的最大巻積和對應(yīng)。
可選擇地，如果i)所述第一位移距離減去所述第二位移距離所得的絕 對值超過一閾值、而且ii)移動所述第一位移距離的視差直方圖的、除與雙眼視差范圍土2。對應(yīng)的視域之外的視域中的視差的和小于移動所述第二位移 距離的視差直方圖的、除與雙眼視差范圍士2。對應(yīng)的視域之外的視域中的視 差的和，則可以將與范圍士1。對應(yīng)的第一位移距離確定作為所述視差調(diào)節(jié)量。 如果i)所述第一位移距離減去所述第二位移距離所得的絕對值超過一 閾值、而且ii)移動所述第一位移距離的視差直方圖的、除與雙眼視差范圍 士2。對應(yīng)的視域之外的視域中的視差的和大于移動所述第二位移距離的視差
直方圖的、除與范圍士2。對應(yīng)的視域之外的視域中的視差的和，則可以將與 雙眼視差范圍士2。對應(yīng)的第二位移距離確定作為所述視差調(diào)節(jié)量。
可以基于實驗數(shù)據(jù)來確定所述預(yù)定視差范圍和所述闊值。
所述再現(xiàn)所述3D圖像可以包括將所述輸入3D圖像的左圖像的左邊 部分裁切掉所述視差調(diào)節(jié)量的一半；將所述輸入3D圖像的右圖像的右邊部 分裁切掉所述視差調(diào)節(jié)量的 一半；以及合并經(jīng)裁切的左圖像和經(jīng)裁切的右圖 像。
該方法可以進一步包括向再現(xiàn)的3D圖像施加運動平均(MA)濾波器 以消除抖動。
所述計算所述視差直方圖可以包括將因調(diào)節(jié)角與會聚角之間的差而出 現(xiàn)的雙眼視差轉(zhuǎn)換為逐個像素的視差。
可以使用具有預(yù)定視差范圍的視差直方圖和巻積掩模中的巻積和來確 定所述視差直方圖的所述視差范圍的能量。
所述巻積掩?？梢允请x散巻積掩模、三角巻積掩模、1D巻積掩模、2D 巻積掩模、以及立方巻積掩模至少其中之一。
根據(jù)本發(fā)明的另一個方面，提供一種3D成像設(shè)備，包括視差估計器， 其估計輸入3D圖像中的視差并逐個像素計算視差直方圖；視差調(diào)節(jié)器，其 分析所述視差直方圖的預(yù)定視差范圍的能量并確定視差調(diào)節(jié)量；以及3D圖 像再現(xiàn)器，其基于所述視差調(diào)節(jié)量再現(xiàn)所述3D圖像。
所述視差調(diào)節(jié)器可以將所述視差直方圖的所述預(yù)定視差范圍中與最高 能量對應(yīng)的位移距離確定作為所述^f見差調(diào)節(jié)量。
所述預(yù)定視差范圍可以是融合極限的士7。之內(nèi)的范圍。
如果i)所述預(yù)定視差范圍是雙眼視差范圍中的士1?；蚴?。、而且ii)第一 位移距離減去第二位移距離所得的絕對值小于或等于一閾值，則所述視差調(diào) 節(jié)器可以將與范圍± 1 。對應(yīng)的視差直方圖的第 一位移距離確定作為所述視差
調(diào)節(jié)量，其中所述第 一位移距離與對應(yīng)于雙眼視差范圍土l 。的巻積掩模和視 差直方圖中的最大巻積和對應(yīng)，而所述第二位移距離與對應(yīng)于雙眼視差范圍 士2。的巻積掩^f莫和視差直方圖中的最大巻積和對應(yīng)。
可選擇地，如果i)與對應(yīng)于雙眼視差范圍士1。的巻積掩模和視差直方圖
中的最大巻積和對應(yīng)的第 一位移距離減去與對應(yīng)于雙眼視差范圍±2°的巻積
掩模和視差直方圖中的最大巻積和對應(yīng)的第二位移距離所得的絕對值超過 一閾值、而且ii)移動所述第一位移距離的視差直方圖的、除與雙眼視差范
圍士2。對應(yīng)的視域之外的視域中的視差的和小于移動所述第二位移距離的視 差直方圖的、除與雙眼視差范圍土2。對應(yīng)的視域之外的視域中的視差的和， 則所述視差調(diào)節(jié)器可以將與雙眼視差范圍土1。對應(yīng)的位移距離確定作為所述 視差調(diào)節(jié)量。
如果i)與對應(yīng)于雙眼視差范圍土1。的巻積掩模和視差直方圖中的最大巻 積和對應(yīng)的第 一位移距離減去與對應(yīng)于雙眼視差范圍±2°的巻積掩模和視差 直方圖中的最大巻積和對應(yīng)的第二位移距離所得的絕對值超過一閾值、而且 ii)移動所述第一位移距離的視差直方圖的、除與所述范圍土2。對應(yīng)的視域之 外的視域中的視差的和大于移動所述第二位移距離的視差直方圖的、除與雙 眼視差范圍±2°對應(yīng)的視域之外的視域中的視差的和，則所述視差調(diào)節(jié)器可 以將與雙眼視差范圍±2°對應(yīng)的位移距離確定作為所述視差調(diào)節(jié)量。
可以基于實驗數(shù)據(jù)來確定所述預(yù)定視差范圍和所述閣值。
所述3D圖像再現(xiàn)器可以將所述輸入3D圖像的左圖像的左邊部分裁切 掉所述視差調(diào)節(jié)量的一半，將所述輸入3D圖像的右圖像的右邊部分裁切掉 所述視差調(diào)節(jié)量的一半，并合并經(jīng)裁切的左圖像和經(jīng)裁切的右圖像。
該設(shè)備可以進一步包括抖動消除器，其向再現(xiàn)的3D圖像施加運動平均 (MA)濾波器以消除抖動。
所述再現(xiàn)估計器可以將因調(diào)節(jié)角與會聚角之間的差而出現(xiàn)的雙眼視差 轉(zhuǎn)換為逐個像素的視差。
可以使用具有預(yù)定視差范圍的視差直方圖和巻積掩模中的巻積和來計 算所述視差直方圖的所述預(yù)定視差范圍的能量。
所述巻積掩?？梢允请x散巻積掩模、三角巻積掩模、1D巻積掩模、2D 巻積掩模、以及立方巻積掩模至少其中之一。


通過參照附圖描述本發(fā)明的某些示范性實施例，本發(fā)明的以上和/或其它 方面將變得更加顯而易見，其中
圖l(a)至圖l(c)是示出現(xiàn)有技術(shù)中一般雙眼視差的各種類型的視圖； 圖2(a)至圖2(c)是示出現(xiàn)有技術(shù)中的各種類型的3D攝像機的視圖； 圖3是使用根據(jù)本發(fā)明的示范性實施例的3D成像設(shè)備的3D攝像機系 統(tǒng)的框圖4是示出根據(jù)本發(fā)明的示范性實施例的通過視差估計計算得到的視差 直方圖的視圖5是示出根據(jù)本發(fā)明的示范性實施例的用于計算基于雙眼視差的感知
深度的范圍的方法；
圖6A是示出根據(jù)本發(fā)明的示范性實施例的巻積掩模的視圖； 圖6B是示出根據(jù)本發(fā)明的另一個示范性實施例的巻積掩模的視圖； 圖7是說明應(yīng)用圖6A的巻積掩模的視差直方圖的能量分析的視圖； 圖8(a)至圖8(b)是說明用于使用圖7的視差直方圖的能量分析來確定視
差調(diào)節(jié)量的方法的視圖9(a)至圖9(c)是說明用于根據(jù)圖8的視差調(diào)節(jié)量再現(xiàn)3D圖像的方法
的視圖10是說明根據(jù)本發(fā)明的示范性實施例的用于調(diào)節(jié)3D成像設(shè)備的3D 圖像中的視差的方法的流程圖。
具體實施例方式
現(xiàn)在將參照附圖更詳細地描述本發(fā)明的某些示范性實施例。 下面描述中，即使在不同的附圖中也為相同的元素使用相同的附圖參考 數(shù)字。在描述中定義的事物，諸如詳細構(gòu)造和元素，是提供用于幫助全面理 解本發(fā)明。因此，顯然無需這些特別定義的事物也可以完成本發(fā)明。同樣， 沒有詳細描述公知的功能或構(gòu)造，因為它們將以不必要的細節(jié)混淆本發(fā)明。 圖3是使用根據(jù)本發(fā)明的示范性實施例的3D成像設(shè)備的3D攝像機系 統(tǒng)的框圖。
根據(jù)本發(fā)明的示范性實施例的3D成像設(shè)備300產(chǎn)生不導(dǎo)致視覺疲勞的 最佳3D圖像。為了獲得最佳3D圖像，3D成像設(shè)備300基于由3D聯(lián)盟提
供的"3D安全/指南"來分析3D圖像的視差直方圖，并調(diào)節(jié)視差。
參照圖3,所述3D攝像機系統(tǒng)包括3D攝像機200和3D成像設(shè)備300。
3D攝像機200可以是平行攝像機或多視角攝像機，而由3D攝像機200捕獲
的3D圖像被發(fā)送到3D成像設(shè)備300。
3D成像設(shè)備300包括輸入部件310、左圖像緩沖器320、右圖像緩沖器
325、視差估計器330、視差調(diào)節(jié)器340、 3D再現(xiàn)器350、抖動消除器360、
以及顯示器370。
輸入部件310從3D攝像機200接收3D圖像，并將所述圖像分離為左 圖像和右圖像。如果通過輸入部件310輸入的3D圖像是多視角圖像，則可 以從所述多視角圖像中隨意選擇兩個圖像。將由輸入部件310分離的左圖像 臨時存儲在左圖像緩沖器320中，并將由輸入部件310分離的右圖像臨時存 儲在右圖像緩沖器325中。視差估計器330估計分別出現(xiàn)在左和右圖像中的 物體的位置的變化。視差估計器330將左圖像分割為NxN個塊，并接著對 每個塊估計物體的位置中的變化以找到與右圖像中的塊最近似的塊。另外， 視差估計器300估計表示右圖像的參考塊與所估計的塊之間的距離的視差矢 量，并估計每個塊中的像素的視差矢量。
視差估計器330獲得每個像素的視差矢量的水平分量的直方圖。這是因 為利用所述視差直方圖來分析3D圖像中的物體的視差的分布，而且與垂直 視差相比，立體效果與水平視差更緊密地關(guān)聯(lián)。圖4中示出由視差估計器330 獲得的視差直方圖。
視差調(diào)節(jié)器340基于"3D安全/指南"根據(jù)視差估計器330所獲得的視 差直方圖計算視差范圍。具體地，"3D安全/指南"勸阻用戶不要顯示超出他 們眼睛的融合極限的圖像，并調(diào)節(jié)物體的深度以得到最佳的3D圖像。另夕卜， "3D安全/指南，，提供合適的雙眼視差，也即，在人眼的融合極限(即，最 大融合范圍)的7。之內(nèi)的雙眼視差。如果雙眼視差小于2°,則用戶將體驗到 舒適，而如果雙眼視差為1。或更小，則用戶將體驗到更大的舒適。
視差調(diào)節(jié)器340通過施加與介于±1。與±2。之間的雙眼視差范圍對應(yīng)的巻 積掩模來巻積視差直方圖，并分析每個掩模范圍內(nèi)的視差直方圖的能量。視 差調(diào)節(jié)器340使用視差直方圖的能量分析來調(diào)節(jié)視差使得可以顯示最佳3D 圖像。
3D再現(xiàn)器350從所述3D圖像的邊緣裁切掉小于或等于由視差調(diào)節(jié)器
340調(diào)節(jié)的視差的量的量。抖動消除器360基于所述3D圖像的視差調(diào)節(jié)量， 通過使用運動平均(MA)濾波器來消除因每一幀的視差調(diào)節(jié)量中的變化而 出現(xiàn)的抖動。在顯示器370上顯示再現(xiàn)的3D圖像。
上面示出和描述了分別包括3D攝像機200以及3D成像設(shè)備300的3D 攝像機系統(tǒng)，但是也可以將3D攝像機200和3D成像設(shè)備300合并在單個 裝置中。換句話說，能夠在單個裝置中調(diào)節(jié)所捕獲的3D圖像的視差并再現(xiàn) 該3D圖像，其將不包括輸入部件310。
本發(fā)明的該示范性實施例中示出和描述了包括顯示器370的3D成像設(shè) 備300，但是也可以在外部顯示裝置上顯示再現(xiàn)的3D圖像。
圖5是示出根據(jù)本發(fā)明的示范性實施例的用于計算基于雙眼視差的視覺 深度范圍的方法。
圖5中，根據(jù)目鏡的調(diào)節(jié)角b與會聚角a和c之間的差得到雙眼視差。 如果提供了觀看距離，則可以使用第二余弦定律得到所述雙眼視差中的深度 的范圍為1°、 2。、以及7。。
從而，如果雙眼視差角為士r,則深度介于dl與d2之間，如果雙眼視 差角為±2°,則深度介于d3與d4之間，而如果雙眼視差角為±7°,則深度介 于d5與d6之間。
如果以像素間距劃分介于dl與d2之間的深度，則可以逐個像素獲得雙 眼視差中與士1。(即，介于dl與d2之間的深度)對應(yīng)的視差的范圍。同樣 地，可以獲得與介于d3與d4之間的深度以及介于d5與d6之間的深度對應(yīng) 的視差范圍。
圖6A是示出根據(jù)本發(fā)明的示范性實施例的巻積掩模的視圖。
圖6A中，(a)hl[x]表示與范圍為士l。的雙眼視差對應(yīng)的巻積掩模，而(b) h2[x]表示與范圍為士2。的雙眼視差對應(yīng)的巻積掩模。從而，(a)hl[x]與介于 dl與d2之間的深度對應(yīng)，而(b ) h2[x]與介于d3與d4之間的深度對應(yīng)。
上面在圖6A中示出用于一般離散巻積的掩模作為本發(fā)明的示范性實施 例，但是圖6B是示出根據(jù)本發(fā)明的另一個示范性實施例的巻積掩模的視圖。
如圖6B中所示，可以使用(a)三角巻積掩模、(b)立方巻積掩模、以 及(c) 2D巻積掩模。另外，還可以采用線性巻積掩模(未示出)或具有不 同形狀的其它巻積掩模。
如果使用離散巻積，則在占據(jù)所述3D圖像的較大部分的背景部分上控
制視差。從而，如果用戶希望調(diào)節(jié)前景部分或物體上的視差，則使用正方向
(positive direction )中的巻積掩模。
圖7是說明應(yīng)用圖6A的巻積掩模的視差直方圖的能量分析的視圖。
圖7示出圖6A的巻積掩模操作的視差直方圖表示。具體地，(a)示出 使用與圖6A的雙眼視差中的土1。對應(yīng)的巻積掩模(a) hl[x]的圖4中所示的 視差直方圖的巻積操作的直方圖表示，而(b)示出使用與圖6A的雙眼視差 中的士2。對應(yīng)的巻積掩模(b ) h2[x]的圖4中所示的視差直方圖的巻積操作的 直方圖表示。圖7中，D1至D2表示介于dl與d2之間的深度中的視差范圍， 而D3至D4表示介于d3與d4之間的深度中的視差范圍。
用下面等式1來計算所述視差直方圖中每個巻積掩模范圍的巻積和
等式l
& = ^ * ^ = Z /;l[x]4^ — x] = Z d[x + sl]^1 = 0丄2，…，M4X
■、'2=0 D4
其中，Sa代表當將d[X]向左(即，沿負方向)移動位移距離Sl時的巻積和，
而Sb代表當將d[x]向左(即，沿負方向)移動到位移距離s2時的巻積和。 參照圖7和等式1，所述3D圖像的視差分量的分布在每個巻積掩模范
圍內(nèi)是最大的。換句話說，視差能量在每個巻積掩模范圍內(nèi)是最高的。從而，
為了獲得具有良好穩(wěn)定性以及立體效果的最合適的3D圖像，將所述視差直
方圖移動位移距離sl或s2。
如上所述，使用巻積和來計算視差能量，但是這僅僅是示范性實施例。
因而，可以使用特定范圍中的視差直方圖的積分，或者可以采用用于計算能
量的全部方法。
圖8是說明用于使用圖7的視差直方圖的能量分析來確定視差調(diào)節(jié)量的 方法的視圖。
圖8中，(a)表示當將d[x]沿負方向移動位移距離sl時除視域[D4，D3] 之外的視域中的視差的和，而(b)表示當將d[x]沿負方向移動位移距離s2 時除視域[D4， D3]之外的視域中的視差的和。
通過下面等式2來計算除視域[D4， D3]之外的視域中的視差的和
等式2
其中，D^代表當將d[x]沿負方向移動位移距離sl時除視域[D4， D3]之外的 視域中的視差的和，而Ds2代表當將d[x]沿負方向移動位移距離s2時除視域 [D4, D3]之外的視域中的視差的和。
通過下面等式3來確定視差調(diào)節(jié)量
等式3
D、力=, 1'如果—1 — ^2—7%
=如果[sl — s2| > 7%, Dtl <化2 ￡)S/I = s2,如果〉1 — s2| > 7Tz, Dsl > Z)v2
其中，如果位移距離sl減去位移距離s2所得的絕對值小于或等于一閾值Th, 則選擇sl作為視差調(diào)節(jié)量；如果位移距離sl減去位移距離s2所得的絕對值 超過閾值Th，則選擇與Dsl和Ds2中的較小者的對應(yīng)的位移距離作為視差 調(diào)節(jié)量。換句話說，選擇除視域[D4， D3]之外的視域中的視差的較小的位移 距離作為視差調(diào)節(jié)量?；趯嶒灁?shù)據(jù)來確定所述閾值。
例如，參照圖8， (a)的視差和D^小于(b)的視差和Ds2，從而，選 擇sl作為視差調(diào)節(jié)量。
圖9是說明用于根據(jù)圖8的視差調(diào)節(jié)量再現(xiàn)3D圖像的方法的視圖。
圖9中，合并右圖像(a)和左圖像(b)以產(chǎn)生3D圖像(c)。根據(jù)所 選擇的調(diào)節(jié)量，將右圖像U)的右邊緣裁切掉所選擇的調(diào)節(jié)量的一半。另 外，將左圖像U)的左邊緣裁切掉所選擇的調(diào)節(jié)量的一半。接著，合并右 圖像(a)和左圖像(b)以再現(xiàn)3D圖像(c)。
因而，減少了整個3D圖像中的視差量，從而觀看者可以體驗到更大的 觀看舒適感，并可以提供最合適的立體效果。
圖IO是說明根據(jù)本發(fā)明的示范性實施例的用于調(diào)節(jié)3D成像設(shè)備的3D 圖l象中的 一見差的方法的流程圖。
圖10中，視差估計器330估計3D圖像中的視差并計算視差直方圖 (SllOO)。由于參照圖3和圖4描述了用于估計視差并計算視差直方圖的方 法，因而略去其詳細說明。
視差調(diào)節(jié)器340使用所述視差直方圖調(diào)節(jié)視差(S1200)。由于參照圖5 至圖8描述了用于調(diào)節(jié)視差的方法，因而略去其詳細說明。
3D圖像再現(xiàn)器350根據(jù)經(jīng)調(diào)整的視差再現(xiàn)3D圖像(S1300 )。由于參照 圖9描述了用于再現(xiàn)3D圖像的方法，因而略去其詳細說明。
抖動消除器360去除所再現(xiàn)的3D圖像的抖動(S1400)。具體地，抖動 消除器360基于依次輸入的所述3D圖像的視差調(diào)節(jié)量而應(yīng)用窗口，并執(zhí)行 濾波。另外，抖動消除器360向所再現(xiàn)的3D圖像施加經(jīng)濾波的視差調(diào)節(jié)量， 以避免抖動。
在顯示器370上顯示所再現(xiàn)的3D圖像(S1500 )。
通過考慮基于"3D安全/指南"的兩個視差范圍而提供上面的描述作為 本發(fā)明的示范性實施例，但是也可以限于單個視差范圍。換句話說，如果將 d[x]沿負方向移動位移距離sl,則可以將與最大視差能量對應(yīng)的移動距離設(shè) 置為視差調(diào)節(jié)量。
通過分析基于"3D安全/指南，，的兩個視差范圍(即，土1。范圍內(nèi)的十分 舒適的雙眼視差以及±2。范圍內(nèi)的舒適的雙眼視差)中的視差能量來確定視 差調(diào)節(jié)量，但是這僅僅是本發(fā)明的示范性實施例。因而，可以分析土1。范圍 和士2。范圍內(nèi)的任何范圍中的視差能量，而且還可以分析融合極限的士7。內(nèi)的 任何范圍中的視差能量。由于用戶可能各自喜好不同的雙眼視差程度以感受 最佳立體效果，因而可以分析通過實驗得到的雙眼視差的范圍中的視差能 量，所述實驗涉及融合極限的士7。內(nèi)能夠使用戶感受到最佳立體效果的雙眼 視差。
如上所述，根據(jù)本發(fā)明的示范性實施例，分析視差直方圖的視差能量并 計算視差調(diào)節(jié)量。因而，可以減少因過度視差而發(fā)生的視覺疲勞，使得觀看 著可以體驗到舒適感，并可以提供最佳立體效果。
另外，根據(jù)本發(fā)明的示范性實施例，可以將由平行攝像機或多視角攝像 機捕獲的3D圖像體現(xiàn)為由混合3D攝像機捕獲的3D圖像。
前述的示范性實施例僅僅是示范性的，不應(yīng)被解讀為限制本發(fā)明。本教 導(dǎo)可以容易地應(yīng)用于其它類型的裝置。同樣，本發(fā)明的示范性實施例的描述 的本意是說明性的，無意限制權(quán)利要求的范圍，而且許多可替換選擇、修改、 以及變化對本領(lǐng)域技術(shù)人員將是顯而易見的。
權(quán)利要求
1.一種用于調(diào)節(jié)3D圖像中的視差的方法，該方法包括估計輸入3D圖像中的視差并逐個像素地計算視差直方圖；分析所述視差直方圖的視差范圍的能量并確定視差調(diào)節(jié)量；以及基于所述視差調(diào)節(jié)量再現(xiàn)所述3D圖像。
2. 如權(quán)利要求1所述的方法，其中所述確定所述視差調(diào)節(jié)量包括將所 述視差直方圖的所述視差范圍中與最高能量對應(yīng)的位移距離確定作為所述 視差調(diào)節(jié)量。
3. 如權(quán)利要求2所述的方法，其中所述視差范圍是融合極限的士7。之內(nèi) 的范圍。
4. 如權(quán)利要求2所述的方法，其中所述位移距離是第一位移距離，而 且如果所述視差范圍是雙眼視差范圍中的±1?；颉?。，而且如果所述第一位移距離減去第二位移距離所得的絕對值小于或等于一闊值，則將與范圍士r對應(yīng)的視差直方圖的位移距離確定作為所述視差調(diào)節(jié)量，其中所述第 一位移距離與對應(yīng)于雙眼視差范圍±1。的巻積掩模和視差直 方圖中的最大巻積和對應(yīng)，而所述第二位移距離與對應(yīng)于雙眼視差范圍±2。 的巻積掩模和視差直方圖中的巻積最大和對應(yīng)。
5. 如權(quán)利要求4所述的方法，其中，如果所述第一位移距離減去所述第二位移距離所得的絕對值超過一閾 值、而且如果移動所述第一位移距離的視差直方圖的、除與雙眼視差范圍士2。 對應(yīng)的視域之外的視域中的視差的和小于移動所述第二位移距離的視差直 方圖的、除與雙眼視差范圍士2。對應(yīng)的視域之外的視域中的視差的和，則將 與雙眼視差范圍± 1 °對應(yīng)的第 一位移距離確定作為所述視差調(diào)節(jié)量。
6. 如權(quán)利要求4所述的方法，其中，如果所述第 一位移距離減去所述第二位移距離所得的絕對值超過一 閾 值、而且如果移動所述第一位移距離的視差直方圖的、除與所述范圍土2。對 應(yīng)的視域之外的視域中的視差的和大于移動所述第二位移距離的視差直方 圖的、除與所述范圍士2。對應(yīng)的視域之外的視域中的視差的和，則將與雙眼 視差范圍土2。對應(yīng)的第二位移距離確定作為所述視差調(diào)節(jié)量。
7. 如權(quán)利要求4所述的方法，其中基于實驗數(shù)據(jù)來確定所述視差范圍和所述閾值。
8. 如權(quán)利要求l所述的方法，其中所述再現(xiàn)所述3D圖像包括 將所述輸入3D圖像的左圖像的左邊部分裁切掉所述視差調(diào)節(jié)量的一半；將所述輸入3D圖像的右圖像的右邊部分裁切掉所述視差調(diào)節(jié)量的一 半；以及合并經(jīng)裁切的左圖像和經(jīng)裁切的右圖像。
9. 如權(quán)利要求1所述的方法，還包括向再現(xiàn)的3D圖像施加運動平均 MA濾波器以消除抖動。
10. 如權(quán)利要求l所述的方法，其中所述計算所述視差直方圖包括將因 調(diào)節(jié)角與會聚角之間的差而出現(xiàn)的雙眼視差轉(zhuǎn)換為逐個像素的視差。
11. 如權(quán)利要求l所述的方法，其中使用具有預(yù)定視差范圍的視差直方 圖和巻積掩模中的巻積和來確定所述視差直方圖的所述視差范圍的能量。
12. 如權(quán)利要求11所述的方法，其中所述巻積掩模是離散巻積掩模、 三角巻積掩模、1D巻積掩模、2D巻積掩模、和立方巻積掩模至少其中之一。
13. —種3D成像設(shè)備，包括視差估計器，其估計輸入3D圖像中的視差并逐個像素計算視差直方圖； 視差調(diào)節(jié)器，其分析所述視差直方圖的視差范圍的能量并確定視差調(diào)節(jié) 量；以及3D圖像再現(xiàn)器，其基于所述視差調(diào)節(jié)量再現(xiàn)所述3D圖像。
14. 如權(quán)利要求13所述的設(shè)備，其中所述視差調(diào)節(jié)器將所述視差直方 圖的所述^f見差范圍中與最高能量對應(yīng)的位移距離確定作為所述^L差調(diào)節(jié)量。
15. 如權(quán)利要求13所述的設(shè)備，其中所述視差范圍是融合極限的±7。之 內(nèi)的范圍。
16. 如權(quán)利要求14所述的設(shè)備，其中所述位移距離是第一位移距離， 而且如果所述視差范圍是雙眼視差范圍中的±1°或±2。，且如果第一位移距離 減去第二位移距離所得的絕對值小于或等于一閾值，則所述視差調(diào)節(jié)器將與 范圍士1。對應(yīng)的視差直方圖的第一位移距離確定作為所述視差調(diào)節(jié)量，其中所述第 一位移距離與對應(yīng)于雙眼視差范圍±1。的巻積掩模和視差直 方圖中的最大巻積和對應(yīng)，而所述第二位移距離與對應(yīng)于雙眼視差范圍±2° 的巻積掩模和視差直方圖中的最大巻積和對應(yīng)。
17. 如權(quán)利要求14所述的設(shè)備，其中，如果與對應(yīng)于雙眼視差范圍± 1 °的巻積掩模和視差直方圖中的最大巻積和對應(yīng)的第 一位移距離減去與對應(yīng)于雙眼視差范圍±2°的巻積掩模和視差直方圖中的最大巻積和對應(yīng)的第二位移距離所得的絕對值超過一閾值，而且如果移動所述第 一位移距離的視差直方圖的、除與雙眼視差范圍士2。對應(yīng)的視 域之外的視域中的視差的和小于移動所述第二位移距離的視差直方圖的、除 與雙眼視差范圍士2。對應(yīng)的視域之外的視域中的視差的和，則所述視差調(diào)節(jié) 器將與雙眼視差范圍±1 。對應(yīng)的位移距離確定作為所述視差調(diào)節(jié)量。
18. 如權(quán)利要求14所述的設(shè)備，其中，如果與對應(yīng)于雙眼視差范圍± 1 °的巻積掩模和視差直方圖中的最大巻積 和對應(yīng)的第 一位移距離減去與對應(yīng)于雙眼視差范圍±2°的巻積掩模和視差直 方圖中的最大巻積和對應(yīng)的第二位移距離所得的絕對值超過一閾值、而且如 果移動所述第 一位移距離的視差直方圖的、除與雙眼視差范圍±2°對應(yīng)的視 域之外的視域中的視差的和大于移動所述第二位移距離的視差直方圖的、除 與雙眼視差范圍士2。對應(yīng)的視域之外的視域中的視差的和，則所述視差調(diào)節(jié) 器將與雙眼視差范圍±2°對應(yīng)的位移距離確定作為所述視差調(diào)節(jié)量。
19. 如權(quán)利要求16所述的設(shè)備，其中基于實驗數(shù)據(jù)來確定所述視差范 圍和所述閾值。
20. 如權(quán)利要求13所述的設(shè)備，其中所述3D圖像再現(xiàn)器將所述輸入 3D圖像的左圖像的左邊部分裁切掉所述視差調(diào)節(jié)量的一半，將所述輸入3D 圖像的右圖像的右邊部分裁切掉所述視差調(diào)節(jié)量的一半，并合并經(jīng)裁切的左 圖像和經(jīng)裁切的右圖像。
21. 如權(quán)利要求13所述的設(shè)備，還包括抖動消除器，其向再現(xiàn)的3D圖 像施加運動平均MA濾波器以消除抖動。
22. 如權(quán)利要求13所述的設(shè)備，其中所述視差估計器將因調(diào)節(jié)角與會 聚角之間的差而出現(xiàn)的雙眼視差轉(zhuǎn)換為逐個像素的視差。
23. 如權(quán)利要求13所述的設(shè)備，其中使用具有預(yù)定視差范圍的視差直 方圖和巻積掩模中的巻積和來計算所述視差直方圖的所述視差范圍的能量。
24. 如權(quán)利要求23所述的設(shè)備，其中所述巻積掩模是離散巻積掩模、 三角巻積掩模、1D巻積掩模、2D巻積掩模、和立方巻積掩模至少其中之一。
全文摘要
提供一種用于調(diào)節(jié)3D圖像中的視差的方法和裝置及其3D成像設(shè)備。所述裝置包括視差估計器，其估計輸入3D圖像中的視差并逐個像素確定視差直方圖；視差調(diào)節(jié)器，其分析所述視差直方圖的視差范圍的能量并確定視差調(diào)節(jié)量；以及3D圖像再現(xiàn)器，其基于所述視差調(diào)節(jié)量再現(xiàn)所述3D圖像。從而，通過分析視差直方圖的視差能量來確定視差調(diào)節(jié)量，使得觀看者可以感受到視覺舒適感并可以提供最佳立體效果。
文檔編號H04N13/02GK101184252SQ20071018022
公開日2008年5月21日 申請日期2007年10月11日 優(yōu)先權(quán)日2006年11月14日
發(fā)明者具宰必, 河泰鉉 申請人:三星電子株式會社