專利名稱：修改立體圖像對的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體涉及用于修改立體圖像(stereoscopic image)對的方法和系統(tǒng)。
背景技術(shù)：
例如三維電視等具有三維功能的顯示設(shè)備顯示立體圖像對，以使觀看者感覺到感知深度。根據(jù)例如年齡和個人品味等因素，不同的觀看者對于觀看立體感內(nèi)容有不同的偏好或容忍度。一些觀看者偏愛較大范圍的深度，其中所顯示的立體感內(nèi)容看上去在顯示表面的前方和后方均延展了較大深度范圍的距離。雖然一些觀看者希望較大深度范圍，然而對于其他觀看者，這種較大深度范圍有時引起強烈的不適感，甚至引發(fā)惡心嘔吐。這些觀看者可能更容易接受相對較小深度范圍的感知深度。類似地，與相對較小深度范圍的感知深度相反，一些觀看者可能偏愛較大深度范圍的感知深度。對于僅具有預(yù)先設(shè)定的固定深度范圍的內(nèi)容而言，觀看者對于三維顯示中合適深度范圍的偏好的顯著潛在分歧會導(dǎo)致問題。在許多情況下，三維立體感內(nèi)容按照其原樣分發(fā)，通常在實體數(shù)字視頻盤上或通過數(shù)字通道(例如，計算機，網(wǎng)絡(luò)，互聯(lián)網(wǎng))，觀看者不能有效地改變所顯示的深度范圍以適合其個人偏好。對深度的感知與立體對中兩幅圖像之間每個像素處的視差值之間成逆相關(guān)，因此改變視差值以便調(diào)整感知的深度。為修改感知深度，可以向立體對中一幅圖像的每一個像素添加相同的恒定側(cè)向偏移(lateral offset)，從而有效地將整幅圖像移動相同的像素距離。換言之，令d(p)是原始立體對中一幅圖像的任意給定像素ρ的原始視差值，d’(ρ)是施加了偏移之后的修改后視差值。因此，得到d’(ρ) = d(p) + a (等式1)，其中α是在整幅圖像上都相同的恒定偏移。這種技術(shù)統(tǒng)一地對立體對之間的視差進行添加或扣減，不考慮圖像的不同區(qū)域中視差值的任何空間變化。在整幅圖像上視差值通常發(fā)生顯著改變。通過視差與感知深度之間的相逆關(guān)系， 圖像不同區(qū)域中視差的空間變化對關(guān)于底層場景幾何形狀的信息進行了編碼。恒定側(cè)向偏移的施加沒有考慮到不同圖像部分之間視差的空間變化，易于向圖像幾何形狀引入額外失
直
ο參照圖1，觀看者的雙眼20觀察由水平條22指示的顯示表面。左側(cè)場景具有正確的深度感知，從而具有由方形M所指示的正確的場景幾何形狀。在右側(cè)場景中，方形26指示正確的場景幾何形狀，而變形的框觀示出了感知到的方形M的失真幾何形狀，這是由于向整幅圖像施加了相同的側(cè)向偏移。在這種情況下，右眼圖像被統(tǒng)一地朝著左眼圖像移動， 壓縮了深度范圍。

發(fā)明內(nèi)容
本發(fā)明的一個實施例公開了一種用于修改立體圖像對以在顯示器上呈現(xiàn)的方法， 包括(a)接收所述立體圖像對；(b)修改所述立體圖像對中至少一幅圖像的不同區(qū)域，使得所述不同區(qū)域的視差改變；(C)觀看者能夠在至少三種不同量的視差之中選擇所述修改。本發(fā)明的另一實施例公開了一種用于修改左圖像和右圖像的立體對以在顯示器上呈現(xiàn)的系統(tǒng)，包括視差估計部，估計從右圖像到左圖像以及從左圖像到右圖像的每個像素的視差值；邊緣響應(yīng)部，通過計算沿水平和垂直方向的梯度響應(yīng)幅度，來估計邊緣圖的邊緣響應(yīng)；合成部，通過以用戶可選的縮放因子對原始視差進行縮放，并側(cè)向偏移原始圖像中的每個像素，來合成新視圖；視圖優(yōu)化部，通過填充合成視圖中產(chǎn)生的孔洞，來優(yōu)化合成的視圖；網(wǎng)格量化部，減少優(yōu)化的視圖中的網(wǎng)格量化偽像。結(jié)合附圖，考慮以下本發(fā)明的詳細描述，本發(fā)明的上述和其他目的、特征和優(yōu)點將
更容易理解。


圖1示出了具有正確深度感知的圖像以及具有錯誤深度感知的同一圖像。圖2示出了系統(tǒng)流程圖。圖3示出了新視圖合成。圖4示出了不同的攝像機視圖。圖5示出了雙通道圖像向內(nèi)涂色(two pass image in-painting)。圖6示出了Cp(N)的函數(shù)。圖7示出了減少網(wǎng)格量化偽像。
具體實施例方式顯示器的不同觀看者對于立體內(nèi)容的感知深度具有不同的偏好。為獲得更適合特定觀看者的視圖，系統(tǒng)應(yīng)該包括可以向觀看者顯示的觀看者可選擇的一組深度范圍。可以使用任何技術(shù)來選擇調(diào)整，這種技例如是在顯示器上的在屏菜單、遙控、對立體眼鏡的選擇、或者通過立體眼鏡選擇的自動設(shè)置。通過根據(jù)觀看者的個人偏好來合成一個或兩個視圖，應(yīng)該可以按照更連續(xù)的方式，或者按照實質(zhì)上多種設(shè)置(例如3種或更多種)，來調(diào)整用于這種立體內(nèi)容的一個或兩個圖像。觀看者設(shè)置不限于例如0. 5等單個固定數(shù)字，而是優(yōu)選地可以在例如10種或更多種設(shè)置等較寬范圍的值中進行選擇。優(yōu)選地，該技術(shù)通過根據(jù)觀看者的偏好，合成一個或多個新視圖，來產(chǎn)生“連續(xù)范圍”的調(diào)整后深度圖像。該技術(shù)還應(yīng)該以保留底層場景幾何形狀的方式來壓縮或擴展視差。與如等式1那樣在整幅圖像上毫無區(qū)別地施加統(tǒng)一的偏移不同，該考慮到場景幾何形狀的技術(shù)應(yīng)該通過觀看者可調(diào)整的因子，對圖像中像素上的視差值進行縮放。一種縮放技術(shù)是選擇修改后視差值d’(P)為d’(P) = P ^d(P)(等式2)，其中P是縮放因子 (縮放值)或者任何其他函數(shù)。通過使用縮放技術(shù)而不僅是偏移技術(shù)，系統(tǒng)更加能夠通過確保不同像素上不同視差值之間的比率基本上保持不變，來保留整幅圖像上視差的空間變化。如果需要，縮放技術(shù)也可以類似地包括偏移。也可以使用至少部分地基于場景幾何形狀來修改視差的其他技術(shù)。向具有不同視差值的相鄰像素應(yīng)用縮放技術(shù)，這對于不同相鄰像素會得到不同量的側(cè)向偏移。不幸的是，相鄰像素的側(cè)向偏移差異導(dǎo)致新合成的圖像中出現(xiàn)孔洞。為填充合成圖像中新產(chǎn)生的孔洞，可以應(yīng)用任何適合的技術(shù)來填充孔洞區(qū)域。一種填充孔洞的適合技術(shù)是向內(nèi)涂色(in-painting)技術(shù)，該技術(shù)對具體孔洞周圍的環(huán)繞強度值進行建模， 并通過向內(nèi)傳播(inward propagation)來填充孔洞。不幸的是，對于立體圖像對，僅基于外觀的向內(nèi)涂色技術(shù)易于產(chǎn)生次優(yōu)結(jié)果，這是因為沒有考慮到視差信息。除了使用局部強度值之外，對合成圖像中由縮放的偏移產(chǎn)生的孔洞提供的向內(nèi)涂色應(yīng)該還對局部視差值和局部幾何顯著性(saliency)進行建模。具體地，該技術(shù)可以在視圖合成期間，分離立體圖像對的低頻部分和高頻部分并分別處理這些部分。不同區(qū)域的分離帶來更可靠、在視覺上更宜人的結(jié)果。該技術(shù)還可以消除網(wǎng)格量化偽像，該偽像是視差值的內(nèi)在離散或量化的本質(zhì)造成的，其中給定像素只允許采用整數(shù)值的側(cè)向偏移數(shù)?？梢酝ㄟ^在檢測到這種偽像的小鄰域中對合成的虛擬視圖進行自適應(yīng)濾波，來消除偽像。通過將濾波限制在小鄰域，該技術(shù)減小了偽像，同時保留了合成視圖中的細節(jié)，而不會引入不希望的過度模糊?？傊?，基于原始立體圖像對，該技術(shù)優(yōu)選地根據(jù)觀看者的偏好，產(chǎn)生“連續(xù)范圍”(例如3個或更多)的、具有調(diào)整后深度的新視圖點的內(nèi)插和外插。這通過利用視差值縮放而不是恒定偏移，保留了整幅圖像上視差(逆深度)的空間變化，這進而保留了低側(cè)場景幾何形狀(深度)。此外，通過使用局部圖像強度值、視差值和幾何顯著性信息，而不是至依賴于強度，該技術(shù)通過分離地處理立體對中的低頻內(nèi)容和高頻內(nèi)容，進一步改進了合成過程。此外，以局部方式減少網(wǎng)格量化偽像，這也保留了合成虛擬視圖中的細節(jié)，減少了模糊。參照圖2，從五個主要組件(即視差估計100、邊緣響應(yīng)200、合成視圖300、視圖優(yōu)化400和網(wǎng)格量化500)方面來描述該技術(shù)。該技術(shù)接收經(jīng)過校正的立體圖像對l·，Ik，作為輸入90。該技術(shù)也可以類似地操作未經(jīng)校正的立體圖像對，或者可以對接收的立體圖像對進行校正。視差估計組件100估計每個像素110的視差值，既在隊120中從左圖像到右圖像，又在DK120中從右圖像到左圖像。該技術(shù)通過計算沿水平和垂直方向210的梯度響應(yīng)幅度，來估計兩幅圖像220的邊緣響應(yīng)200，即，該估計優(yōu)選地與視差估計100同時(在相同時間上)進行。梯度響應(yīng)提供了關(guān)于顯著局部幾何結(jié)構(gòu)的信息，這引導(dǎo)稍后描述的合成過程。然后，合成視圖 300通過以用戶可選的縮放因子P來縮放原始視差1\和1\，并相應(yīng)地側(cè)向移動原始圖像込和Ικ330中的每個像素，來合成310新視圖Is320、新基準視差圖Ds320和新邊緣圖&320。 由于該技術(shù)執(zhí)行視差縮放而不是恒定偏移，所以在合成視圖Is以及Ds和&中產(chǎn)生了孔洞 320。視圖優(yōu)化400可以采用單通道或雙通道的、深度輔助的向內(nèi)涂色方法410，通過填充孔洞，產(chǎn)生完整420(即，無孔洞)的新視圖Ip和完整的基準視差圖DP，來優(yōu)化合成。網(wǎng)格量化500技術(shù)減少由于視差值被限于內(nèi)在離散的等級而引入的網(wǎng)格量化偽像。該技術(shù)從Ip 中減少這種量化偽像，并產(chǎn)生最終輸出IN600，作為具有調(diào)整后深度的新合成視圖。視差估計100可以采用任何適合的技術(shù)來估計視差，以計算和DK。為方便起見，可以針對經(jīng)校正的立體對，通過從右眼圖像中像素的X坐標中減去左眼圖像中對應(yīng)像素的X坐標(反之亦然)，來計算視差值。因此，對于未遮擋的像素，可以存在如下關(guān)系 Ie(x+Dl(x, y),y) = Il (χ，y)(等式 3)以及 IL(x-DE(x, y), y) = Ie (χ, y)(等式 4)?？梢酝ㄟ^組合圖像χ方向(水平)和圖像y方向(垂直)上的梯度響應(yīng)，為輸入立體對中的左眼和右眼圖像220估計210邊緣響應(yīng)200。更具體地，Ei=‘ 2(等式6)?？梢酝ㄟ^利用在X方向上形式為合成視圖300接收輸入立體圖像Il和IK300 (假設(shè)是經(jīng)過校正的)、視差圖隊和 DK340、以及邊緣圖&和&350。該技術(shù)進而根據(jù)用戶基于其偏好而指定的偏移因子P，合成具有期望深度(視差)的新視圖。再參照圖3，示出了合成視圖300的更詳細的實施例。該技術(shù)處理込和Ικ300中每一個像素，并對像素進行偏移，以產(chǎn)生新視圖Is320。由偏移因子0 330以及隊和1\340中的信息來聯(lián)合確定偏移量。更具體地，令I(lǐng)Jx，y)表示左眼圖像(如其下標所示)中(x，y)處的像素P的強度值，Djx，y)表示其視差值。對于左眼圖像中所有像素，得到Is(x+P -Dl(χ, 1),1) = Il(χ, y)(等式7)。類似地，對于右眼圖像中所有像素，得到IsU-(I-P) -De(χ, y),y) = IK(x，y)(等式 8)。注意，對于P值為0，等式7退化成IJx，y)自身，而等式8退化成等式6，也得到 IL(x, y)。對于P值為1，等式7退化成等式5，得到IK(x，y)，而等式8也退化成Ik(χ，y) 自身。該對稱特性遵循對視差的定義，并且得到在通過改變P而定義的線性視差尺度上對虛擬視圖點的內(nèi)插和外插這一概念，如圖4所示?？梢蕴幚硪粋€細微之處來改進視圖合成。根據(jù)上述定義，有時多個像素L和/或 ?？赡鼙灰苿拥较嗤南袼匚恢肐s340。當這種情況發(fā)生時，該技術(shù)通過選擇與觀眾(其應(yīng)該總是遮擋較遠的對象)較近的對象，來解決該不確定問題350。利用視差的定義，這轉(zhuǎn)換成當對象重疊時，具有較小視差(可能為負)的對象應(yīng)該遮擋具有較大視差的對象(可能為負)。因此，在像素重疊的情況下，該技術(shù)選擇對象中最接近觀眾(即，具有最小視差)的像素。由于Is是依據(jù)込和Ik的，所以采用相同方式，分別根據(jù)^和DK、以及&和Ek，來合成370DS和&。Ds可以是針對新合成視圖的基準視差圖，并且Ds的像素具有與其在^和 De的對應(yīng)像素相同的值。因此，Ds不再是嚴格意義上的視差圖，這是因為Ds的像素值沒有反映合成視圖的新的調(diào)整后深度(視差)。而是，Ds用在該技術(shù)的稍后階段中，以在向內(nèi)涂色過程(下面詳細描述)中計算相似性度量。因此，Ds被稱為基準視差圖，而不是視差圖。在定義了 IS、DS和&的情況下，可以修改等式7和8，以合并在合成IS、DS和&時對可能的像素重疊的處理。初始，將Ds中的像素設(shè)定為最大可能值。隨著該技術(shù)依次處理込和IK、^*DK以及中的每個像素，該最大可能值連續(xù)更新。由于Ds(x，y)應(yīng)該記錄像素位置上的最小視差值，所以左眼和右眼圖像中不同像素的處理順序是無關(guān)緊要的。對于左眼圖像II，可以將Is表征為一般性等式Is(x+P · Dl(χ, y)，y) = H · Is(x+P · Dl(x，y)，y) + (l-H) · IL(x，y)(等式 9)，其中，
權(quán)利要求
1.一種用于修改立體圖像對以在顯示器上呈現(xiàn)的方法，包括(a)接收所述立體圖像對；(b)修改所述立體圖像對中至少一幅圖像的不同區(qū)域，使得所述不同區(qū)域的視差改變；(c)觀看者能夠在至少三種不同量的視差之中選擇所述修改。
2.根據(jù)權(quán)利要求1所述的方法，其中，立體圖像是相對于彼此經(jīng)過校正的。
3.根據(jù)權(quán)利要求1所述的方法，還包括確定立體圖像中第一立體圖像和第二立體圖像之間的視差。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述不同量實質(zhì)上保留所述不同區(qū)域的空間變化。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述不同區(qū)域的視差值的比率保持實質(zhì)上不變。
6.根據(jù)權(quán)利要求5所述的方法，其中，所述修改基于縮放值。
7.根據(jù)權(quán)利要求1所述的方法，還包括所述修改導(dǎo)致合成圖像中的孔洞，所述孔洞在隨后被填充。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述填充基于向內(nèi)涂色。
9.根據(jù)權(quán)利要求7所述的方法，其中，所述填充基于各孔洞附近的周圍強度值的模型。
10.根據(jù)權(quán)利要求9所述的方法，其中，所述填充基于向內(nèi)傳播。
11.根據(jù)權(quán)利要求10所述的方法，其中，所述填充還基于立體圖像之間的視差值。
12.根據(jù)權(quán)利要求11所述的方法，其中，所述填充還基于局部幾何顯著性。
13.根據(jù)權(quán)利要求12所述的方法，其中，所述填充針對高頻區(qū)域和低頻區(qū)域基于不同的技術(shù)。
14.根據(jù)權(quán)利要求7所述的方法，還包括進行濾波以減少網(wǎng)格量化偽像。
15.根據(jù)權(quán)利要求14所述的方法，其中，使用自適應(yīng)濾波來減少網(wǎng)格量化偽像。
16.根據(jù)權(quán)利要求1所述的方法，其中，視差修改至少部分地基于立體圖像的場景幾何形狀。
17.根據(jù)權(quán)利要求12所述的方法，其中，所述局部幾何顯著性基于梯度。
18.根據(jù)權(quán)利要求1所述的方法，其中，修改所述立體圖像對的所述不同區(qū)域，使得所述不同區(qū)域的視差還包括恒定偏移。
19.根據(jù)權(quán)利要求6所述的方法，其中，所述縮放是在從起始縮放到結(jié)束縮放的實質(zhì)上連續(xù)范圍之中可選擇的。
20.根據(jù)權(quán)利要求19所述的方法，其中，可選擇的范圍是自動的。
21.根據(jù)權(quán)利要求19所述的方法，其中，可選擇的范圍是來自用戶的輸入選擇的結(jié)果。
22.一種用于修改左圖像和右圖像的立體對以在顯示器上呈現(xiàn)的系統(tǒng)，包括 視差估計部，估計從右圖像到左圖像以及從左圖像到右圖像的每個像素的視差值； 邊緣響應(yīng)部，通過計算沿水平和垂直方向的梯度響應(yīng)幅度，來估計邊緣圖的邊緣響應(yīng)；合成部，通過以用戶可選的縮放因子對原始視差進行縮放，并側(cè)向偏移原始圖像中的每個像素，來合成新視圖；視圖優(yōu)化部，通過填充合成視圖中產(chǎn)生的孔洞，來優(yōu)化合成的視圖；網(wǎng)格量化部，減少優(yōu)化的視圖中的網(wǎng)格量化偽像。
全文摘要
一種用于修改立體圖像對以在顯示器上呈現(xiàn)的方法，包括接收所述立體圖像對；修改所述立體圖像對中至少一幅圖像的不同區(qū)域，使得所述不同區(qū)域的視差改變；觀看者能夠在至少三種不同量的視差之中選擇所述修改。
文檔編號H04N13/00GK102469332SQ201110349639
公開日2012年5月23日 申請日期2011年11月8日 優(yōu)先權(quán)日2010年11月9日
發(fā)明者廖慧鴻, 潘昊, 袁昌 申請人:夏普株式會社