專利名稱：使用背景像素擴大和背景優(yōu)先塊匹配的多視圖繪制設(shè)備和方法
使用背景像素擴大和背景優(yōu)先塊匹配的多視圖繪制設(shè)備和方法技術(shù)領(lǐng)域
以下描述的一個或多個示例實施例涉及一種多視圖繪制(rendering)設(shè)備和方法。
背景技術(shù)：
為了產(chǎn)生三維(3D)圖像，具有寬視角的多視圖3D圖像需要被連續(xù)呈現(xiàn)。
然而，除了拍攝系統(tǒng)中的物理限制以外，由于在存儲和傳輸拍攝數(shù)據(jù)方面存在困難，因此難以單獨捕獲多視像并且難以實時發(fā)送捕獲的多視像。
因此，3D圖像產(chǎn)生設(shè)備可僅使用較少數(shù)量的輸入視圖(或參考視圖)(例如，兩個或三個輸入視圖)來產(chǎn)生3D圖像。此外，用于回放產(chǎn)生的3D圖像的3D顯示設(shè)備可通過對輸入視圖進行外插或內(nèi)插來產(chǎn)生多個輸出視圖。發(fā)明內(nèi)容
根據(jù)示例實施例，可提供一種用于恢復(fù)輸出視像中的通過圖像變形(image warping)而產(chǎn)生的空洞(hole)的設(shè)備和方法。
通過提供一種圖像處理設(shè)備來實現(xiàn)前述和/或其他方面，所述圖像處理設(shè)備包括處理器，用于控制一個或多個處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進行圖像變形，來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個或多個在時間上鄰近的圖像，恢復(fù)通過圖像變形而產(chǎn)生的空洞。
所述一個或多個在時間上鄰近的圖像可與參考視像在時間上鄰近。
所述一個或多個在時間上鄰近的圖像可與輸出視像在時間上鄰近。
基于鄰近圖像的空洞恢復(fù)單元可使用在時間上鄰近的圖像中包括的且與第一像素對應(yīng)的像素的顏色值，來恢復(fù)空洞中的像素。
當(dāng)參考視像和在時間上鄰近的圖像全部隨時間移動時，基于鄰近圖像的空洞恢復(fù)單元可基于參考視像和在時間上鄰近的圖像的移動，從在時間上鄰近的圖像中選擇與空洞中的像素對應(yīng)的像素。
基于鄰近圖像的空洞恢復(fù)單元可使用通過排除與空洞中的像素對應(yīng)的一個或多個空洞像素而獲得的像素來恢復(fù)空洞。
基于鄰近圖像的空洞恢復(fù)單元可使用與空洞中的像素對應(yīng)的像素中的背景像素來恢復(fù)空洞。
所述圖像處理設(shè)備還可包括緩沖區(qū)設(shè)置單元，用于擴大空洞。
緩沖區(qū)設(shè)置單元可通過將與空洞鄰近的緩沖區(qū)域視為空洞來擴大空洞。當(dāng)空洞中的像素包括在緩沖區(qū)域中時，基于鄰近圖像的空洞恢復(fù)單元可基于空洞中的像素的顏色值來恢復(fù)空洞中的像素。
所述圖像處理設(shè)備還可包括雙目視差縫隙檢測單元，用于將輸出視像中的縫隙設(shè)置為空洞。當(dāng)一像素與鄰近像素之間的雙目視差值的差的總和大于預(yù)定值時，雙目視差縫隙檢測單元可將所述像素檢測為縫隙。還通過提供一種圖像處理設(shè)備來實現(xiàn)前述和/或其他方面，所述圖像處理設(shè)備包括處理器，用于控制一個或多個處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進行圖像變形，來產(chǎn)生輸出視像；基于鄰近像素縮放的空洞恢復(fù)單元，用于通過對至少一個像素進行縮放來恢復(fù)空洞，通過圖像變形產(chǎn)生了所述空洞，并且所述至少一個像素與所述空洞鄰近?；卩徑袼乜s放的空洞恢復(fù)單元可對所述至少一個像素中的背景像素執(zhí)行縮放。所述至少一個像素和所述空洞的至少一個空洞像素可在同一水平行上?；卩徑袼乜s放的空洞恢復(fù)單元可沿與鄰近于所述空洞的所述至少一個像素中的背景像素的梯度垂直的方向?qū)λ鲋辽僖粋€像素執(zhí)行縮放。還通過提供一種圖像處理設(shè)備來實現(xiàn)前述和/或其他方面，所述圖像處理設(shè)備包括處理器，用于控制一個或多個處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進行圖像變形，來產(chǎn)生輸出視像；基于最優(yōu)塊搜索的空洞恢復(fù)單元，用于從背景查找塊，并使用查找到的塊來恢復(fù)空洞，通過圖像變形產(chǎn)生了所述空洞，并且所述塊與包括所述空洞的區(qū)域最相似。包括所述空洞的區(qū)域可包括空洞區(qū)域和背景區(qū)域，并且基于最優(yōu)塊搜索的空洞恢復(fù)單元可使用找到的塊的與所述空洞區(qū)域?qū)?yīng)的部分來恢復(fù)所述空洞?；谧顑?yōu)塊搜索的空洞恢復(fù)單元可在輸出視像的第一區(qū)域中搜索第一塊，在輸出視像的第二區(qū)域中搜索第二塊，并可使用第一塊和第二塊的平均值來恢復(fù)第一區(qū)域和第二區(qū)域之間的重疊空洞區(qū)域。通過提供一種圖像處理方法來實現(xiàn)前述和/或其他方面，所述圖像處理方法包括由處理器通過對參考視像進行圖像變形并基于參考視像的雙目視差信息，來產(chǎn)生輸出視像；使用一個或多個在時間上鄰近的圖像，恢復(fù)輸出視像中產(chǎn)生的空洞。所述圖像處理方法還可包括擴大空洞。所述圖像處理方法還可包括將輸出視像中的縫隙設(shè)置為空洞。所述圖像處理方法還可包括通過對至少一個像素進行縮放來恢復(fù)所述空洞，所述至少一個像素與所述空洞鄰近。所述圖像處理方法還可包括通過從背景搜索塊并使用找到的塊來恢復(fù)所述空洞，所述塊與包括所述空洞的區(qū)域最相似。通過提供一種用于產(chǎn)生多視圖的設(shè)備來實現(xiàn)前述和/或其他方面。所述設(shè)備包括處理器，用于控制一個或多個處理器可執(zhí)行單元；圖像產(chǎn)生單元，用于基于參考視像和參考視像的雙目視差信息來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個或多個在時間上鄰近的圖像的背景信息，來恢復(fù)產(chǎn)生的輸出視像中的空洞，所述空洞作為產(chǎn)生輸出視像的結(jié)果而被產(chǎn)生。
通過提供一種用于產(chǎn)生多視圖的設(shè)備來實現(xiàn)前述和/或其他方面。所述設(shè)備包括處理器，用于控制一個或多個處理器可執(zhí)行單元；圖像產(chǎn)生單元，用于基于至少一個參考視像來產(chǎn)生輸出視像；雙目視差縫隙檢測單元，用于檢測產(chǎn)生的輸出視像的預(yù)定對象中的縫隙，所述預(yù)定對象具有分配給所述預(yù)定對象的不同部分的不同的雙目視差值，其中，由于基于所述至少一個參考視像產(chǎn)生輸出視像，在所述預(yù)定對象中出現(xiàn)縫隙；多視圖產(chǎn)生單元，用于將所述縫隙再指定為空洞，并使用一個或多個在時間上鄰近的幀的背景信息來恢復(fù)在產(chǎn)生的輸出視像的當(dāng)前幀中存在的空洞。
所述一個或多個在時間上鄰近的幀可與參考視像在時間上鄰近。
所述一個或多個在時間上鄰近的幀可與輸出視像在時間上鄰近。
通過提供一種用于產(chǎn)生多視圖的方法來實現(xiàn)前述和/或其他方面。所述方法包括由處理器基于至少一個參考視像來產(chǎn)生輸出視像；檢測產(chǎn)生的輸出視像的預(yù)定對象中的縫隙，所述預(yù)定對象具有分配給所述預(yù)定對象的不同部分的不同的雙目視差值，其中，由于基于所述至少一個參考視像產(chǎn)生輸出視像，在所述預(yù)定對象中出現(xiàn)縫隙；將所述縫隙再指定為空洞，并使用一個或多個在時間上鄰近的幀的背景信息來恢復(fù)在產(chǎn)生的輸出視像的當(dāng)前幀中存在的空洞。
通過提供一種包括圖像處理設(shè)備的顯示裝置來實現(xiàn)前述和/或其他方面。所述顯示裝置包括圖像產(chǎn)生單元，基于參考視像和參考視像的雙目視差信息來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個或多個在時間上鄰近的圖像來恢復(fù)空洞，通過產(chǎn)生輸出視像而產(chǎn)生了所述空洞；控制器，用于基于產(chǎn)生的具有通過基于鄰近圖像的空洞恢復(fù)單元恢復(fù)的空洞的輸出視像，來產(chǎn)生將由顯示裝置顯示的信號。
在以下描述中將部分闡述示例實施例的另外的方面、特征和/或優(yōu)點，還有部分從描述中將是清楚的，或者可通過本公開的實踐而得知。


本專利或申請文件包含至少一個彩色附圖。具有彩色附圖的本專利或?qū)＠暾埞嫉母北緦⒃谡埱蠛椭Ц侗匾馁M用時由事務(wù)所提供。從以下結(jié)合附圖的示例實施例的描述中，這些和/或其他方面和優(yōu)點將變得清楚，并且更容易理解，其中
圖I示出根據(jù)示例實施例的基于三個輸入視圖的視圖產(chǎn)生方法的示圖2示出根據(jù)示例實施例的產(chǎn)生外插視圖的幀的方案的示圖3示出根據(jù)示例實施例的圖像處理設(shè)備的配置的框圖4示出根據(jù)示例實施例的使用在時間上鄰近的圖像來恢復(fù)空洞的示圖5示出根據(jù)示例實施例的通過設(shè)置緩沖區(qū)進行空洞擴大(hole expansion)的示圖6示出根據(jù)示例實施例的通過檢測雙目視差縫隙而發(fā)生縫隙(crack)和空洞設(shè)置的不圖7示出根據(jù)示例實施例的鄰近像素的縮放(scaling)的示圖8示出根據(jù)示例實施例的使用背景像素來縮放鄰近像素的示圖9示出根據(jù)示例實施例的沿與背景的梯度垂直的方向執(zhí)行縮放的示圖10示出根據(jù)示例實施例的基于最優(yōu)塊搜索(optimal patch search-based)的空洞恢復(fù)的示圖；圖11示出根據(jù)示例實施例的使用塊的重疊來恢復(fù)空洞的示圖；圖12示出根據(jù)示例實施例的圖像處理方法的流程圖；圖13示出根據(jù)示例實施例的包括圖像處理設(shè)備的顯示裝置。
具體實施例方式現(xiàn)在將詳細參照示例實施例，其示例在附圖中示出，其中，相同的標號始終是指相同的元件。以下通過參照附圖來描述示例實施例，以解釋本公開。圖1示出根據(jù)示例實施例的基于三個輸入視圖的視圖產(chǎn)生方法的示圖。在圖1中，將被捕捉的場景110可包括前景以及背景112。前景可包括第一對象114和第二對象116。基于觀看者的視點，第一對象114和第二對象116可能相對于背景112向左側(cè)或向右側(cè)相對移動。第一輸入設(shè)備120 (例如,相機)可從第一視點捕捉場景110,第二輸入設(shè)備130和第三輸入設(shè)備140可分別從第二視點和第三視點捕捉場景110。第一輸入設(shè)備120、第二輸入設(shè)備130和第三輸入設(shè)備140可從它們各自的視點捕捉場景110，并且可分別產(chǎn)生第一輸入視圖122、第二輸入視圖132和第三輸入視圖142。例如，第一輸入視圖122可提供當(dāng)觀看者從第一視點看場景110時出現(xiàn)的圖像，第二輸入視圖132和第三輸入視圖142可提供當(dāng)觀看者分別從第二視點和第三視點看場景110時出現(xiàn)的圖像。第一輸入視圖122至第三輸入視圖142中的每一個可包括一系列幀。具體地講，第一輸入視圖122至第三輸入視圖142中的每一個可每單位時間包括預(yù)定數(shù)量的幀，例如，按照每秒30幀(FPS)輸出的幀。從預(yù)定視點觀看到的幀是指用于產(chǎn)生從所述預(yù)定視點觀看的圖像的數(shù)據(jù)。因此，第一輸入視圖122至第三輸入視圖142中的每一個可提供一系列圖像，每個圖像對應(yīng)于時間上的具體時刻。幀(或圖像)可包括像素。幀(或圖像)中的像素可具有包括X坐標和y坐標的坐標值。每個像素可具有顏色值?？墒褂妙A(yù)定類型(例如,RGB或YCbCr)來表示顏色值，以呈現(xiàn)顏色。此外，每個像素可具有深度值。深度值可指示通過像素呈現(xiàn)的對象(或背景)與捕捉時間(即，與視圖對應(yīng)的視點)之間的距離?？墒褂糜糜诔尸F(xiàn)距離的預(yù)定二進制類型(例如，使用整數(shù)或浮點)來表示深度值。像素的深度值可包括在幀中。換句話說，幀可具有像素的顏色值和深度值。此外，可與幀分開地提供像素的深度值。幀或圖像的深度信息可指示形成所述幀或圖像的像素的深度值。可與幀或輸入視圖分開地提供幀的深度信息?？膳c輸入視圖分開地提供關(guān)于所述輸入視圖中的圖像的深度信息。在圖1中，四邊形指示在預(yù)定時間“t”處的第一輸入視圖122的幀124、第二輸入視圖132的幀134和第三輸入視圖142的幀144。
三維(3D)圖像設(shè)備需要向用戶提供從除了與第一輸入視圖122至第三輸入視圖 142對應(yīng)的視點以外的視點觀看的圖像。因此，3D圖像設(shè)備可基于第一輸入視圖122至第三輸入視圖142，產(chǎn)生來自其他視點的輸出視圖(或目標視圖)。這里，與第一輸入視圖122 至第三輸入視圖142對應(yīng)的視點還可被稱為“參考視點”。
為了提供當(dāng)觀看者從與參考視點不同的視點看場景110時出現(xiàn)的圖像，需要使用由分別由第一輸入設(shè)備120至第三輸入設(shè)備140產(chǎn)生的第一輸入視圖122至第三輸入視圖 142提供的巾貞,通過視圖外插或視圖內(nèi)插來產(chǎn)生與中間視點(intermediate viewpoint)對應(yīng)的輸出視圖。
輸出視圖的產(chǎn)生可指輸出視圖的幀的產(chǎn)生，并還可指提供從與輸出視圖對應(yīng)的視點觀看的圖像。
輸出視圖可包括例如通過內(nèi)插產(chǎn)生的內(nèi)插視圖或通過外插產(chǎn)生的外插視圖。
視圖內(nèi)插是指產(chǎn)生與第一輸入視圖122至第三輸入視圖142對應(yīng)的視點之間的預(yù)定虛擬視點處的輸出視圖。視點內(nèi)插可使得能夠基于與將被產(chǎn)生的虛擬視點鄰近的左輸入視圖幀(或圖像)和右輸入視圖幀(或圖像)產(chǎn)生輸出視圖幀(或圖像)。通過視圖內(nèi)插產(chǎn)生的輸出視圖可被稱為“內(nèi)插視圖(interpolated view)”。
視圖外插是指產(chǎn)生與第一輸入視圖122至第三輸入視圖142對應(yīng)的視點之外的視點處的輸出視圖。視圖外插使得能夠產(chǎn)生比最左面的輸入視圖(即，第一輸入視圖122)更向左的視點處的輸出視圖，或者比最右面的輸入視圖(即，第三輸入視圖142)更向右的視點處的輸出視圖。通過視圖外插產(chǎn)生的輸出視圖可被稱為“外插視圖(extrapolated view)”。
視圖外插可使得能夠基于單個最外輸入視圖(例如，第一輸入視圖122或第三輸入視圖142)的幀(或圖像)產(chǎn)生輸出視圖幀(或圖像)。因此，與可用于視圖內(nèi)插的信息相比，可用于視圖外插的信息可能相對受限。由于相對少量的信息可被用于執(zhí)行視圖外插，因此，與通過視圖內(nèi)插產(chǎn)生的圖像相比，通過視圖外插產(chǎn)生的圖像的質(zhì)量可能會顯著下降。
參照圖1，三角形150、152、160、162、170、172、180和182指示內(nèi)插視圖幀或外插視圖幀。
外插視圖可與比最左面的參考視圖122更向左的視點以及比最右面的輸入視圖 142更向右的視點對應(yīng)。例如，幀150、152、180和182是時間t處的外插視圖幀。
內(nèi)插視圖可與在與輸入視圖122、132和142對應(yīng)的視點之間產(chǎn)生的虛擬視點對應(yīng)。例如，示出時間t處的內(nèi)插視圖的幀160、162、170和172。
內(nèi)插視圖和外插視圖每個可包括在一段預(yù)定時間內(nèi)出現(xiàn)的一系列幀。
內(nèi)插視圖的幀或外插視圖的幀可不包括深度信息。換句話說，內(nèi)插視圖幀或外插視圖幀可以是二維(2D)幀。
如上所述，可從與N個輸入視圖對應(yīng)的視點產(chǎn)生不同視點處的M個輸出視圖。
當(dāng)3D圖像設(shè)備基于觀看者的位置，向觀看者提供所述M個輸出視圖中的預(yù)定的輸出視圖時，觀看者可通過所述預(yù)定的輸出視圖感受到連續(xù)的真實3D圖像。例如，當(dāng)3D圖像設(shè)備分別向觀看者的左眼和右眼輸出第一輸出視圖和第二輸出視圖時，觀看者可感受3D 圖像。
圖2示出根據(jù)示例實施例的產(chǎn)生外插視圖的幀的方案的示圖。
在圖2中，可通過輸入視圖210提供一系列幀，例如，輸入視圖210的預(yù)定時間t1處的幀212。通過比輸入視圖210更向右的視點產(chǎn)生的視圖外插，可基于輸入視圖210產(chǎn)生第一外插視圖和第二外插視圖。可使用輸入視圖210的幀212產(chǎn)生預(yù)定時間t處的第一外插視圖的幀220和第二外插視圖的幀230?？赏ㄟ^捕捉圖1的場景110來獲得輸入視圖210，并且輸入視圖210的幀212可包括例如背景214、第一對象216和第二對象218。此外，第一外插視圖的幀220可包括背景224、第一對象226和第二對象228。此夕卜，第二外插視圖的幀230可包括背景234、第一對象236和第二對象238。與第一外插視圖對應(yīng)的視點可位于比與輸入視圖210對應(yīng)的視點更向右的位置。因此,第一外插視圖的幀220中的背景224、第一對象226和第二對象228可位于比輸入視圖210的幀212更向左的位置。可基于從與輸入視圖210對應(yīng)的視點距背景224的距離，并基于與輸入視圖210對應(yīng)的視點和與第一外插視圖對應(yīng)的視點之間的距離，來確定背景224的更向左的位置。如上所述，由于背景224向左邊移動，因此第一外插視圖的幀220可能具有幀邊界空洞244，其中，所述幀邊界空洞244可能不能被輸入視圖210的幀212合適地填充。依據(jù)環(huán)境，背景224可能不被移動。當(dāng)背景224未被移動時，可能不會產(chǎn)生幀邊界空洞244。前景的第一對象226和第二對象228可與背景224 —起被移動。此外，第一對象226和第二對象228可能移動得比背景224更左?？苫谂c輸入視圖210對應(yīng)的視點距第一對象226的距離，以及與輸入視圖210對應(yīng)的視點距第二對象228的距離，并基于與輸入視圖210對應(yīng)的視點和與第一外插視圖對應(yīng)的視點之間的距離，分別確定第一對象226和第二對象228的比背景224更向左的位置。由于第一對象226和第二對象228移動得比背景224更左，因此第一外插視圖的幀220可能具有對象邊界空洞246和248，其中，所述對象邊界空洞246和248可能不能被輸入視圖210的幀212合適地填充。為了產(chǎn)生外插視圖，合適的像素需要被外插到幀邊界空洞244以及對象邊界空洞246 和 248 中。第二外插視圖的幀230也可能具有幀邊界空洞254以及對象邊界空洞256和258。與對應(yīng)于第一外插視圖的視點相比，與第二外插視圖對應(yīng)的視點距與輸入視圖210對應(yīng)的視點更遠。第二外插視圖的幀230中的背景234、第一對象236和第二對象238可被分別布置得比第一外插視圖的幀220中的背景224、第一對象226和第二對象228更左。幀230中的幀邊界空洞254以及對象邊界空洞256和258可被分別形成得比幀220中的幀邊界空洞244以及對象邊界空洞246和248在水平方向上更寬。因此，更大量的像素需要被外插到幀230中的幀邊界空洞254以及對象邊界空洞256 和 258 中。換句話說，隨著與外插視圖對應(yīng)的視點距最外輸入視圖更遠，將被外插的像素的范圍會更廣。
在下文中，全部的幀邊界空洞244和254以及對象邊界空洞246、248、256和258 可被稱為“空洞”。
圖3示出根據(jù)示例實施例的圖像處理設(shè)備的配置的框圖。
圖3中示出的圖像處理設(shè)備可通過均使用參考視像和參考視像的雙目視差信息的視圖內(nèi)插和視圖外插來產(chǎn)生輸出視圖。此外，所述圖像處理設(shè)備可恢復(fù)輸出視像中的由視圖內(nèi)插和視圖外插而產(chǎn)生的空洞。
輸出視像可指從與輸出視圖對應(yīng)的視點觀看的圖像。如上所述，當(dāng)從新視點觀看的圖像被產(chǎn)生時，需要從所述新視點重新觀察的點可被顯示為圖像中的空洞。
所述圖像處理設(shè)備可恢復(fù)在視圖內(nèi)插和視圖外插期間產(chǎn)生的空洞。
參照圖3，圖像處理設(shè)備300可包括例如圖像變形單元310、緩沖區(qū)設(shè)置單元320、 雙目視差縫隙檢測單元330、基于鄰近圖像的空洞恢復(fù)單元340、基于鄰近像素縮放的空洞恢復(fù)單元350和基于最優(yōu)塊搜索的空洞恢復(fù)單元3 60。
圖像變形單元310可通過使用參考視像和參考視像的雙目視差信息進行圖像變形的方式來產(chǎn)生輸出視像。具體地講，圖像變形單元310可使用參考視圖幀和參考視圖幀的雙目視差信息來產(chǎn)生輸出視圖的幀。
圖像變形單元310可通過對參考視像進行圖像變形來產(chǎn)生輸出視像。例如，當(dāng)參考視像的雙目視差信息未被提供時，圖像變形單元310可產(chǎn)生參考視像的雙目視差信息。
可基于極線(印ipolar line)布置N個輸入圖像(B卩，與參考視圖對應(yīng)的N個圖像)。
可使用與參考視圖距對應(yīng)于虛擬視點的視圖的距離成比例的權(quán)重來產(chǎn)生與虛擬視點對應(yīng)的視圖(即，輸出視圖)。換句話說，可使用與虛擬視點和對應(yīng)于參考視圖的視點之間的距離成比例的權(quán)重來產(chǎn)生與虛擬視點對應(yīng)的視圖。
輸出視像中的第一像素的I坐標值可等于參考視像中的第二像素的y坐標值。這里，第一像素和第二像素可彼此對應(yīng)。換句話說，即使執(zhí)行了圖像變形，像素的y 坐標值也可保持不變。
可通過以下的等式I來計算第一像素的X坐標值
[等式I]
!rendered view (X ) — !reference view (X+ Q ·
在等式I中，view表示參考視圖(或輸入視圖)的圖像或幀(或圖像)，tendered view表示輸出視圖(或已繪制的視圖)的圖像(或幀)。
此外，X表示參考視圖中的第二像素的X坐標值，X’表示輸出視圖中的第一像素的 X坐標值。
此外，d表示從圖像的深度信息或像素的深度信息獲得的第二像素的雙目視差值。 通常，像素的雙目視差值可與像素的深度值成反比。因此，深度和深度信息的以上描述還可被應(yīng)用于雙目視差和雙目視差信息。
此外，α表示與對應(yīng)于參考視圖的視點和對應(yīng)于輸出視圖的視點之間的距離成比例的權(quán)重。
因此，等式I可指示以下五條信息
I)可通過變形操作將參考視圖中的第二像素移動“ a d”。換句話說，當(dāng)參考視圖中的第二像素與輸出視圖中的第一像素對應(yīng)時，可通過將“ a d”加到第二像素的X坐標值來獲得第一像素的X坐標值。2 )可通過變形操作將具有高雙目視差值的像素移動較長距離。由于雙目視差值與深度值成反比，因此具有低深度值的像素可比具有高深度值的像素移動更長距離。此外，對象可接近于與參考視圖對應(yīng)的視點，背景可遠離與參考視圖對應(yīng)的視點。因此，參考視像中的多個像素中呈現(xiàn)對象的像素可比呈現(xiàn)背景的像素移動更長距離。即使執(zhí)行了變形操作，具有無限深度值的像素或雙目視差值為“O”的像素也可不被移動。3)隨著對應(yīng)于參考視圖的視點與對應(yīng)于輸出視圖的視點彼此遠離，參考視圖中的像素可移動更長的距離。除了基于上述等式I的變形操作以外，圖像變形單元310可通過使用各種變形方案進行圖像變形來產(chǎn)生輸出視像。4 )第一像素的雙目視差值(或深度值)可等于第二像素的雙目視差值(或深度值)。5)參考視像中的至少一個像素可被移動到輸出視圖中的相同坐標。這里，所述至少一個像素中與對應(yīng)于輸出視圖的視點最接近的像素可被首先顯示。緩沖區(qū)設(shè)置單元320可擴大通過圖像變形而產(chǎn)生的空洞。以下將參照圖5詳細描述通過緩沖區(qū)設(shè)置單元320進行的空洞擴大。雙目視差縫隙檢測單元330可將產(chǎn)生的輸出視像中的縫隙設(shè)置為空洞。以下將參照圖6詳細描述通過雙目視差縫隙檢測單元330進行的空洞設(shè)置?；卩徑鼒D像的空洞恢復(fù)單元340可恢復(fù)通過圖像變形而產(chǎn)生的空洞。將參照圖4進一步描述通過基于鄰近圖像的空洞恢復(fù)單元340進行的空洞的恢復(fù)。隨后，基于鄰近像素縮放的空洞恢復(fù)單元350可通過對與空洞鄰近的至少一個像素進行縮放來恢復(fù)通過圖像變形而產(chǎn)生的空洞。以下將參照圖7至圖9進一步描述通過基于鄰近像素縮放的空洞恢復(fù)單元350進行的鄰近背景像素的縮放?；谧顑?yōu)塊搜索的空洞恢復(fù)單元360可通過從背景搜索與包括空洞的區(qū)域最相似的塊并通過使用找出的塊來恢復(fù)空洞。以下將參照圖10進一步描述通過基于最優(yōu)塊搜索的空洞恢復(fù)單元360進行的最優(yōu)塊搜索和空洞恢復(fù)。在已通過基于鄰近圖像的空洞恢復(fù)單元340恢復(fù)了一部分空洞之后，可通過基于鄰近像素縮放的空洞恢復(fù)單元350和基于最優(yōu)塊搜索的空洞恢復(fù)單元360來恢復(fù)所述空洞的任意剩余部分或多個部分?；卩徑袼乜s放的空洞恢復(fù)單元350和基于最優(yōu)塊搜索的空洞恢復(fù)單元360可使用輸出視像的背景像素來恢復(fù)其他部分。可基于與空洞鄰近的區(qū)域的特征來確定恢復(fù)空洞的方案。在紋理區(qū)域與空洞鄰近的示例中，基于最優(yōu)塊搜索的空洞恢復(fù)單元360可恢復(fù)空洞。在除紋理區(qū)域以外的區(qū)域與空洞鄰近的另一示例中，基于鄰近像素縮放的空洞恢復(fù)單元350可恢復(fù)空洞?；卩徑袼乜s放的空洞恢復(fù)單元350可對背景像素執(zhí)行縮放，這可能破壞紋理。
具體地講，當(dāng)均質(zhì)(uniform)區(qū)域與空洞鄰近時，或者當(dāng)在與空洞鄰近的區(qū)域上出現(xiàn)顯著的邊緣時，可通過對背景像素進行縮放來恢復(fù)空洞。因此，即使在恢復(fù)的空洞中，也可保持鄰近區(qū)域(即，背景)的特征。
此外，當(dāng)紋理區(qū)域與空洞鄰近時，可從參考視像中的背景區(qū)域檢測與紋理區(qū)域最相似的區(qū)域。檢測到的區(qū)域可被用于恢復(fù)空洞。因此，即使在恢復(fù)的空洞中，也可保持紋理分量。
圖4示出根據(jù)示例實施例的使用在時間上鄰近的圖像來恢復(fù)空洞的示圖。
在一連串時間圖像(temporal image)中，時間t處的參考視像可在圖像變形中被使用以產(chǎn)生時間t處的輸出視像。在下文中，時間t處的參考視像或輸出視像可被稱為“圖像t”或者被稱為當(dāng)前圖像。同樣，時間t處的幀可被稱為“幀t”或被稱為當(dāng)前幀。此外，時間t-1處的幀可被稱為“幀t-1”或被稱為前一幀，時間t+i處的幀可被稱為“幀t+i”或被稱為下一幀。
在圖4中，輸出視圖幀t440可包括空洞442?？赏ㄟ^對參考視圖幀t430進行變形來產(chǎn)生輸出視圖幀t440。
通常，與圖像t在時間上鄰近的圖像可呈現(xiàn)與圖像t呈現(xiàn)的前景(或?qū)ο?和背景相同或相似的前景(或?qū)ο?和背景。例如，圖像t-ι、圖像t+Ι、圖像t-2、圖像t+2等可與圖像t在時間上鄰近。因此，可使用在時間上與參考視像或輸出視像鄰近的在時間上鄰近的圖像的信息來恢復(fù)通過圖像變形而產(chǎn)生的空洞。
在圖4中，與前景對應(yīng)的對象可被垂直移動。因此,與參考視圖幀t430中的對象覆蓋的背景對應(yīng)的部分412可能暴露在參考視圖幀t-1 410中。此外，參考視圖幀t+1 450 的部分452、輸出視圖幀t-1 420的部分422和輸出視圖幀t+1 460的部分462也可能與參考視圖幀t430中的對象覆蓋的背景對應(yīng)。因此，所述部分412、422、452和462可用于恢復(fù)空洞442。
基于鄰近圖像的空洞恢復(fù)單元340可基于以下的等式2來恢復(fù)輸出視像t中的空洞442。等式2可用于解釋使用與輸出視圖幀在時間上鄰近的幀來恢復(fù)幀中的空洞的方法。
[等式2]
權(quán)利要求
1.一種圖像處理設(shè)備，包括處理器，用于控制一個或多個處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進行圖像變形，來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個或多個在時間上鄰近的圖像，恢復(fù)通過圖像變形而產(chǎn)生的空洞。
2.如權(quán)利要求I所述的圖像處理設(shè)備，其中，所述一個或多個在時間上鄰近的圖像與參考視像在時間上鄰近。
3.如權(quán)利要求I所述的圖像處理設(shè)備，其中，所述一個或多個在時間上鄰近的圖像與輸出視像在時間上鄰近。
4.如權(quán)利要求I所述的圖像處理設(shè)備，其中，基于鄰近圖像的空洞恢復(fù)單元使用在時間上鄰近的圖像中包括的且與空洞中的像素對應(yīng)的像素的顏色值，來恢復(fù)空洞中的所述像素。
5.如權(quán)利要求4所述的圖像處理設(shè)備，其中，當(dāng)參考視像和在時間上鄰近的圖像全部隨時間移動時，基于鄰近圖像的空洞恢復(fù)單元基于參考視像和在時間上鄰近的圖像的移動，從在時間上鄰近的圖像中選擇與空洞中的像素對應(yīng)的像素。
6.如權(quán)利要求4所述的圖像處理設(shè)備，其中，基于鄰近圖像的空洞恢復(fù)單元通過排除在時間上鄰近的圖像中的與空洞中的像素對應(yīng)的一個或多個空洞像素來恢復(fù)空洞。
7.如權(quán)利要求4所述的圖像處理設(shè)備，其中，基于鄰近圖像的空洞恢復(fù)單元使用與空洞中的像素對應(yīng)的像素中的一個或多個背景像素來恢復(fù)空洞。
8.如權(quán)利要求I所述的圖像處理設(shè)備，還包括緩沖區(qū)設(shè)置單元，用于擴大空洞。
9.如權(quán)利要求8所述的圖像處理設(shè)備，其中，緩沖區(qū)設(shè)置單元通過將與空洞鄰近的緩沖區(qū)域視為空洞來擴大空洞，其中，當(dāng)空洞中的像素包括在緩沖區(qū)域中時，基于鄰近圖像的空洞恢復(fù)單元基于空洞中的像素的顏色值來恢復(fù)空洞中的像素。
10.如權(quán)利要求I所述的圖像處理設(shè)備，還包括雙目視差縫隙檢測單元，用于將輸出視像中的縫隙設(shè)置為空洞。
11.如權(quán)利要求10所述的圖像處理設(shè)備，其中，當(dāng)一像素與鄰近像素之間的雙目視差值的差的總和大于預(yù)定值時，雙目視差縫隙檢測單元將所述像素檢測為縫隙。
12.—種圖像處理設(shè)備，包括處理器，用于控制一個或多個處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進行圖像變形，來產(chǎn)生輸出視像；基于鄰近像素縮放的空洞恢復(fù)單元，用于通過對至少一個像素進行縮放來恢復(fù)空洞， 通過圖像變形產(chǎn)生了所述空洞，并且所述至少一個像素與所述空洞鄰近。
13.如權(quán)利要求12所述的圖像處理設(shè)備，其中，基于鄰近像素縮放的空洞恢復(fù)單元對所述至少一個像素中的一個或多個背景像素執(zhí)行縮放。
14.如權(quán)利要求12所述的圖像處理設(shè)備，其中，所述空洞和所述至少一個像素在同一水平行上。
15.如權(quán)利要求12所述的圖像處理設(shè)備，其中，基于鄰近像素縮放的空洞恢復(fù)單元沿與鄰近于所述空洞的所述至少一個像素中的背景像素的梯度垂直的方向?qū)λ鲋辽僖粋€像素執(zhí)行縮放。
16.一種圖像處理設(shè)備，包括處理器，用于控制一個或多個處理器可執(zhí)行單元；圖像變形單元，用于通過使用參考視像和參考視像的雙目視差信息進行圖像變形，來產(chǎn)生輸出視像；基于最優(yōu)塊搜索的空洞恢復(fù)單元，用于從背景查找塊，并使用查找到的塊來恢復(fù)空洞， 通過圖像變形產(chǎn)生了所述空洞，并且所述塊與包括所述空洞的區(qū)域最相似。
17.如權(quán)利要求16所述的圖像處理設(shè)備，其中，包括所述空洞的區(qū)域包括空洞區(qū)域和背景區(qū)域，其中，基于最優(yōu)塊搜索的空洞恢復(fù)單元使用查找到的塊的與所述空洞區(qū)域?qū)?yīng)的部分來恢復(fù)所述空洞。
18.如權(quán)利要求16所述的圖像處理設(shè)備，其中，基于最優(yōu)塊搜索的空洞恢復(fù)單元在輸出視像的第一區(qū)域中搜索第一塊，在輸出視像的第二區(qū)域中搜索第二塊，并使用第一塊和第二塊的平均值來恢復(fù)第一區(qū)域和第二區(qū)域之間的重疊空洞區(qū)域。
19.一種圖像處理方法，包括由處理器通過對參考視像進行圖像變形并基于參考視像的雙目視差信息，來產(chǎn)生輸出視像；使用一個或多個在時間上鄰近的圖像，恢復(fù)在輸出視像中產(chǎn)生的空洞。
20.如權(quán)利要求19所述的圖像處理方法，其中，所述一個或多個在時間上鄰近的圖像與參考視像在時間上鄰近。
21.如權(quán)利要求19所述的圖像處理方法，其中，所述一個或多個在時間上鄰近的圖像與輸出視像在時間上鄰近。
22.如權(quán)利要求19所述的圖像處理方法，還包括擴大空洞；將輸出視像中的縫隙設(shè)置為空洞。
23.如權(quán)利要求19所述的圖像處理方法，還包括通過對至少一個像素進行縮放來恢復(fù)所述空洞，所述至少一個像素與所述空洞鄰近；通過從背景搜索塊并使用找到的塊來恢復(fù)所述空洞，所述塊與包括所述空洞的區(qū)域最相似。
24.一種存儲用于使計算機實現(xiàn)權(quán)利要求19的方法的程序的非暫時性計算機可讀記錄介質(zhì)。
25.一種用于產(chǎn)生多視圖的設(shè)備，所述設(shè)備包括處理器，用于控制一個或多個處理器可執(zhí)行單元；圖像產(chǎn)生單元，用于基于參考視像和參考視像的雙目視差信息來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個或多個在時間上鄰近的圖像的背景信息，來恢復(fù)產(chǎn)生的輸出視像中的空洞，所述空洞作為產(chǎn)生輸出視像的結(jié)果而被產(chǎn)生。
26.如權(quán)利要求25所述的設(shè)備，其中，所述一個或多個在時間上鄰近的圖像與參考視像在時間上鄰近。
27.如權(quán)利要求25所述的設(shè)備，其中，所述一個或多個在時間上鄰近的圖像與輸出視像在時間上鄰近。
28.如權(quán)利要求25所述的設(shè)備，其中，圖像產(chǎn)生單元通過對來自參考視圖的數(shù)據(jù)進行內(nèi)插或外插來產(chǎn)生輸出視像。
29.一種用于產(chǎn)生多視圖的設(shè)備，所述設(shè)備包括處理器，用于控制一個或多個處理器可執(zhí)行單元；圖像產(chǎn)生單元，用于基于至少一個參考視像來產(chǎn)生輸出視像；雙目視差縫隙檢測單元，用于檢測產(chǎn)生的輸出視像的對象中的縫隙，所述對象具有分配給所述對象的不同部分的不同的雙目視差值，其中，由于基于所述至少一個參考視像產(chǎn)生輸出視像，在所述對象中出現(xiàn)縫隙；多視圖產(chǎn)生單元，用于將所述縫隙再指定為空洞，并使用一個或多個在時間上鄰近的幀的背景信息來恢復(fù)在產(chǎn)生的輸出視像的當(dāng)前幀中存在的空洞。
30.如權(quán)利要求29所述的設(shè)備，其中，所述一個或多個在時間上鄰近的幀與參考視像在時間上鄰近。
31.如權(quán)利要求29所述的設(shè)備，其中，所述一個或多個在時間上鄰近的幀與輸出視像在時間上鄰近。
32.如權(quán)利要求29所述的設(shè)備，其中，當(dāng)一像素與鄰近像素之間的雙目視差值的差的總和大于預(yù)定值時，雙目視差縫隙檢測單元可將所述像素檢測為縫隙。
33.如權(quán)利要求29所述的設(shè)備，其中，在時間上鄰近的幀包括時間上在當(dāng)前幀之前出現(xiàn)的幀以及在當(dāng)前幀之后出現(xiàn)的幀中的至少一個。
34.一種產(chǎn)生多視圖的方法，所述方法包括由處理器基于至少一個參考視像來產(chǎn)生輸出視像；檢測產(chǎn)生的輸出視像的對象中的縫隙，所述對象具有分配給所述對象的不同部分的不同的雙目視差值，其中，由于基于所述至少一個參考視像產(chǎn)生輸出視像，在所述對象中出現(xiàn)縫隙；將所述縫隙再指定為空洞，并使用一個或多個在時間上鄰近的幀的背景信息來恢復(fù)在產(chǎn)生的輸出視像的當(dāng)前幀中存在的空洞。
35.如權(quán)利要求34所述的方法，其中，所述一個或多個在時間上鄰近的幀與參考視像在時間上鄰近。
36.如權(quán)利要求34所述的方法,其中,所述一個或多個在時間上鄰近的巾貞與輸出視像在時間上鄰近。
37.如權(quán)利要求34所述的圖像處理方法，其中，當(dāng)一像素與鄰近像素之間的雙目視差值的差的總和大于預(yù)定值時，雙目視差縫隙檢測單元可將所述像素檢測為縫隙。
38.如權(quán)利要求34所述的圖像處理方法，其中，在時間上鄰近的幀包括時間上在當(dāng)前幀之前出現(xiàn)的幀以及在當(dāng)前幀之后出現(xiàn)的幀中的至少一個。
39.一種包括圖像處理設(shè)備的顯示裝置，所述顯示裝置包括圖像產(chǎn)生單元，用于基于參考視像和參考視像的雙目視差信息來產(chǎn)生輸出視像；基于鄰近圖像的空洞恢復(fù)單元，用于使用一個或多個在時間上鄰近的圖像來恢復(fù)空洞，通過產(chǎn)生輸出視像而產(chǎn)生了所述空洞；控制器，用于基于產(chǎn)生的具有通過基于鄰近圖像的空洞恢復(fù)單元恢復(fù)的空洞的輸出視像，產(chǎn)生將由顯示裝置顯示的信號。
40.如權(quán)利要求39所述的顯示裝置，其中，所述一個或多個在時間上鄰近的圖像與參考視像在時間上鄰近。
41.如權(quán)利要求39所述的顯示裝置，其中，所述一個或多個在時間上鄰近的圖像與輸出視像在時間上鄰近。
全文摘要
提供了一種用于恢復(fù)在多視圖繪制過程中產(chǎn)生的空洞的設(shè)備和方法?？墒褂迷跁r間上鄰近的圖像來恢復(fù)輸出視圖中的空洞。
文檔編號G06T15/00GK102985949SQ201280001829
公開日2013年3月20日 申請日期2012年1月12日 優(yōu)先權(quán)日2011年1月13日
發(fā)明者趙良鎬, 李晧榮, 樸斗植, 黃圭榮, 鄭英珠 申請人:三星電子株式會社