專利名稱：使用多層表現的圖像處理方法和設備的制作方法
技術領域：
一個或多個示例實施例涉及一種用于處理圖像的方法和設備，更具體地，涉及一種可使用多層表現來渲染視圖的圖像處理方法和設備。
背景技術：
三維(3D)成像設備需要對用戶提供在與輸入視圖的視點分離的視點觀看的圖像。因此，3D成像設備可基于輸入視圖來產生在與輸入視圖的視點不同的視點觀看的輸出視圖。通常，由于網絡帶寬限制、圖像捕捉費用等，將有限數量的輸入視圖提供給圖像處理設備。為了對觀看者提供在多個視點觀看的圖像，可通過使用輸入示圖進行視圖內插或視圖外插或者視圖內插和視圖外插兩者來產生在與輸入視圖的視點不同的視點觀看的輸出視圖。視圖內插表示產生在輸入視圖的視點之間的視點觀看的輸出視圖。視圖外插表示產生在輸入視圖的視點之外的視點觀看的輸出視圖。

發(fā)明內容
通過提供一種處理圖像的方法來實現前述和/或其它方面，所述方法包括:使用至少一個輸入視圖產生包括關于場景的信息的參考視圖的多層表現，并使用產生的多層表現產生在輸出視點觀看的輸出視圖。這里，所述至少一個輸入視圖中的每一個可相應于在場景的預定視點觀看的視圖。所述至少一個輸入視圖中的每一個可包括圖像以及與圖像相關聯(lián)的深度圖。多層表現可包括基于所述至少一個輸入視圖中的每一個的圖像和深度圖產生的至少一個層。所述圖像處理方法還可包括:對多層表現的至少一個層進行擴展?？稍谶@樣的范圍之內對所述至少一個層中的每個層進行擴展，在所述范圍中，在所述至少一個層中的具有大于所述至少一個層中的每個層的深度值的深度值的層未被遮擋。從位于層的端部的像素開始，可基于逐像素迭代地確定所述至少一個層是否將被擴展。在所述至少一個層中的針對參考視圖的預定水平線具有最大深度值的層可具有所述預定水平線上的所有區(qū)域的顏色信息。產生多層表現的步驟可包括:通過將所述至少一個輸入視圖中的每一個的圖像投射到參考視圖上來產生所述至少一個層，并合并產生的至少一個層中的相互影響的層。產生所述至少一個層的步驟可包括:選擇所述至少一個輸入視圖中的第一輸入視圖的第一位置，通過將選擇的第一位置投射到參考視圖上來計算參考視圖中的第二位置和深度，并將新的層添加到第二位置和深度。添加的層的顏色值可與第一位置的顏色值相同。相互影響的層的深度值之間的差可小于或等于預定閾值。合并的步驟可包括:選擇第一參考視圖中的第一位置，并在第一位置將包括在相互影響的層中的關于第一位置的信息合并為單個層。產生輸出視圖的步驟可包括:通過將所述至少一個層中的每個層投射到輸出視圖上來計算所述至少一個層中的每個層在輸出視圖中的位置，并針對輸出視圖中的每個位置，將所述至少一個層中具有最小深度值的層的顏色確定為計算的位置的顏色。當在多層表現中彼此鄰近的第一像素和第二像素分別包括在第一層和第二層中時，將第一像素投射到輸出視圖的第一位置上，將第二像素投射到輸出視圖的第二位置上，并可基于第一像素的顏色和第二像素的顏色之間的內插來確定位于第一位置和第二位置之間的像素的顏色。通過提供一種用于處理圖像的裝置來實現前述和/或其它方面，所述設備包括:多層表現產生單元，使用至少一個輸入視圖產生包括關于場景的信息的參考視圖的多層表現；輸出視圖產生單元，使用產生的多層表現產生在輸出視點觀看的輸出視圖。這里，所述至少一個輸入視圖中的每一個可相應于在場景的預定視點觀看的視圖。所述至少一個輸入視圖中的每一個可包括圖像以及與圖像相關聯(lián)的深度圖。多層表現可包括基于所述至少一個輸入視圖中的每一個的圖像和深度圖產生的至少一個層。所述圖像處理設備可包括:層擴展單元，對多層表現的至少一個層進行擴展。多層表現產生單元可通過將所述至少一個輸入視圖中的每一個的圖像投射到參考視圖上來產生所述至少一個層，并可合并產生的至少一個層中的相互影響的層。多層表現產生單元可通過選擇所述至少一個輸入視圖中的第一輸入視圖的第一位置，通過將選擇的第一位置投射到參考視圖上來計算參考視圖中的第二位置和深度，并將新的層添加到第二位置和深度，來產生所述至少一個層。多層表現產生單元可通過選擇第一參考視圖中的第一位置，并在第一位置將包括在相互影響的層中的關于第一位置的信息合并為單個層，來合并相互影響的層。輸出視圖產生單元可通過將所述至少一個層中的每個層投射到輸出視圖上計算所述至少一個層中的每個層在輸出視圖中的位置，并通過針對輸出視圖中的每個位置，將所述至少一個層中具有最小深度值的層的顏色確定為計算的位置的顏色，來產生輸出視圖。通過提供一種處理圖像的方法來實現前述和/或其它方面，所述方法包括:接收包括圖像以及圖像的顏色信息和深度值的多個視圖的輸入，并使用所述多個視圖產生參考視圖。這里，產生的參考視圖的至少一個位置可具有多個不同深度值以及與所述多個不同深度值相應的顏色信息。所述圖像處理方法還可包括:基于產生的參考視圖來產生將被顯示的輸出視圖。通過在參考視圖的所述至少一個位置將相互影響的深度值合并為單個深度值來產生所述多個不同深度值。相互影響的深度值之間的差可小于或等于預定閾值。
通過提供一種圖像處理方法來實現前述和/或其它方面。所述圖像處理方法包括:產生包括存在于多個輸入圖像中的場景信息的單個參考視圖的多層表現，其中，場景信息包括在多個像素位置的像素信息以及與像素信息相應的層信息，層信息包括與像素信息相應的深度信息；基于預定規(guī)則去除在相同像素位置的層之間的相互影響；如果傳播的鄰近層信息不遮擋在鄰近位置的任何現有的層信息，則通過將鄰近層信息傳播到鄰近位置來在遮擋的區(qū)域中創(chuàng)建層信息；通過渲染來自多層表現的數據來產生輸出視像。通過提供一種圖像處理設備來實現前述和/或其它方面。所述圖像處理設備包括:多層表現產生單元，產生包括存在于多個輸入圖像中的場景信息的單個參考視圖的多層表現，并基于預定規(guī)則去除在相同像素位置的層之間的相互影響，其中，場景信息包括在多個像素位置的像素信息以及與像素信息相應的層信息，層信息包括與像素信息相應的深度信息；層擴展單元，如果傳播的鄰近層信息不遮擋在鄰近位置的任何現有的層信息，則通過將鄰近層信息傳播到鄰近位置來在遮擋的區(qū)域中創(chuàng)建層信息；輸出視圖產生單元，通過渲染來自多層表現的數據來產生輸出視像。通過提供一種產生多視像的方法來實現前述和/或其它方面。所述方法包括:通過將多個輸入圖像中的每一個圖像投射到包括存在于所述多個輸入圖像中的場景信息的單個參考視圖中來產生多層表現，其中，場景信息包括在多個像素位置的像素信息以及與像素信息相應的層信息，層信息包括與像素信息相應的深度信息；基于預定規(guī)則去除在相同像素位置的多層表現的層之間的相互影響。通過提供一種包括圖像處理設備的多視圖顯示裝置來實現前述和/或其它方面。所述多視圖顯示裝置的圖像處理設備包括:多層表現產生單元，產生包括存在于多個輸入圖像中的場景信息的單個參考視圖的多層表現，并基于預定規(guī)則去除在相同像素位置的層之間的相互影響，其中，場景信息包括與多個像素位置相關聯(lián)的像素信息以及與像素信息相應的層信息，層信息包括與像素信息相應的深度信息；層擴展單元，如果傳播的鄰近層信息不遮擋在鄰近位置的任何現有的層信息，則通過將鄰近層信息傳播到鄰近位置來在遮擋的區(qū)域中創(chuàng)建層信息；輸出視圖產生單元，通過渲染來自多層表現的數據來產生用于由多視圖顯示裝置顯示的輸出視像。將在接下來的描述中部分闡述實施例的另外的方面，還有一部分通過描述將是清楚的，或者可以通過本公開的實施而得知。


通過下面結合附圖進行的實施例的描述，這些和/或其它方面將會變得清楚和更易于理解，其中:圖1示出根據示例實施例的圖像處理方法；圖2A和圖2B示出根據示例實施例的至少一個輸入視圖；圖3示出根據示例實施例的場景幾何的上下文中的多層表現；圖4不出根據不例實施例的使用多層表現的輸出視圖的產生；圖5示出根據示例實施例的多層表現的擴展；圖6示出根據示例實施例的對多層表現進行擴展的方法；圖7A到圖7D示出根據示例實施例的層擴展的原理；
圖8示出根據示例實施例的多層表現的層信息；圖9示出根據示例實施例的相互影響層的合并(consolidation)；圖10示出根據示例實施例的產生多層表現的方法；圖11示出根據示例實施例的產生輸出視圖的方法；圖12示出根據示例實施例的將具有相似深度值的層投射到輸出視圖上的方法；圖13示出根據示例實施例的圖像處理設備；圖14示出根據示例實施例的包括圖像處理設備的多視圖顯示裝置；以及圖15A到圖15E示出多視圖表現的示例。
具體實施例方式現在，詳細參照實施例，其示例在附圖中示出，其中，相同的標號始終表示相同的元件。以下通過參考附圖描述實施例以解釋本公開。以下示例實施例可被應用于用于提供三維(3D)圖像的設備或多視圖顯示裝置，例如，3D電視、3D監(jiān)視器、平板計算機、便攜式游戲裝置、膝上型計算機等。所述設備可通過立體方法或自動立體方法來顯示3D圖像。所述設備可用于:1)立體到多視圖轉換，2)多視圖到多視圖轉換，例如，3視圖到16視圖轉換，3)立體深度調節(jié)，4) 二維(2D)到3D轉換，等
坐寸ο這里，可通過在加寬或縮短的基線上重新渲染立體圖像來執(zhí)行立體深度調節(jié)，以增強或降低觀看者的深度感?？赏ㄟ^從無深度圖的單視圖產生至少兩個視圖來執(zhí)行2D到3D轉換。此外，以下示例實施例可被應用于在使用3D捕捉和/或顯示的其它裝置中執(zhí)行的相似的應用，并還可被應用于3D內容的軟件工具。這里，輸入圖像和與輸入圖像相應的輸入深度圖可被修正。這里，這樣的“修正”的示例可相應于可在相同掃描線上找到輸入圖像之間的所有一致性的情況。例如，當兩個圖像中的兩個像素彼此相應時，所述兩個像素可具有相同的y坐標值。術語“深度”和“視差”可例如通過常數項而彼此相反地相關。因此，可交換地使用術語“深度”和“視差”、術語“深度值”和“視差值”以及術語“深度圖”和“視差圖”。可基于以下情況來描述以下示例實施例，在所述情況下，可應用水平視圖內插和外插的輸出視圖可具有水平視差。然而，上述技術特征也可應用于輸出視圖可具有垂直視差的情況。也就是說，所述技術特征還可應用于垂直視圖內插和外插。另外，在與多個輸入視圖相反的單個視圖(即，單個圖像和單個深度圖)被輸入的情況下，所述技術特征可以是有效的。在圖像處理中，可使用至少一個輸入視圖來產生輸出視圖。輸出視圖可表不在預定輸出視點觀看的視圖?？商峁┲辽僖粋€輸出視圖。所述至少一個輸入視圖可具有不同的視點。例如，所述至少一個輸入視圖中的每一個可與在單個場景的預定視點觀看的視圖相應，并可通過從不同視點拍攝場景而被產生。所述至少一個輸入視圖中的每一個可包括圖像以及與所述圖像相關聯(lián)的深度圖或視差圖，從而提供多視圖表現。所述圖像可包括指示圖像中的位置的至少一個像素。所述深度圖或視差圖可包括所述至少一個像素中的每一個的深度。
具有相對較大深度值的像素或具有相對較小視差值的像素可指示可距觀察位置(諸如,距相機)相對較遠的對象或背景。具有相對較小深度值的像素或具有相對較大視差值的像素可指示可距觀察位置(諸如，相機)相對較近的對象或背景。圖15A到圖15E示出多視圖表現的概念的示例。圖15A到圖15E中的粗水平線表示從給定視點可見的顏色(紋理)信息。圖15A和圖15B表示從不同視點觀察的相同場景的兩個視圖。圖15C示出來自兩個視圖的組合信息。雙線指示復制或冗余顏色信息。由于在多個參考圖像之間存在相同信息，故明顯的是:多視圖呈現是無效的。此外，包含的信息可彼此不同，從而增加不確定性。由于不存在統(tǒng)一的表現，故必須獨立地對每個產生的視圖解決所述不確定性。圖MD示出被雙線占據的必須填充用于新視圖產生的區(qū)域。再次，分別對每個新視圖執(zhí)行填孔例程。雖然在附圖中未示出，但是如果從這些視差圖直接產生每個新視圖，則不清楚應如何解決不同視圖之間的視差不一致性。圖1示出根據示例實施例的圖像處理方法。在圖1的操作110中，可使用至少一個輸入視圖來產生多層表現。多層表現可表示包括關于場景的信息的參考視圖的表現?？商峁┒鄠€參考視圖或單個參考視圖。多層表現可與輸入圖像和關于深度圖的所有信息的集相應，其中，所述深度圖與所述輸入圖像相應。層可與具有相應深度值(諸如，相同預定深度值或預定范圍內的深度值)的位置或區(qū)域相應。所述位置或區(qū)域可包括單個像素或多個像素。具體地，可具有相同預定深度值或預定范圍內的深度值的至少一個像素可作為相同層。例如，具有相同深度值的像素可彼此鄰近，或可不鄰近，也就是諸如被其它像素彼此分離。在這種情況下，所有像素可作為相同層，或僅彼此鄰近的像素可作為相同層?；诙鄠€輸入視圖產生的參考視圖可具有與預定位置或坐標相關聯(lián)的多個深度值。還可從單個輸入視圖產生多個深度值。在參考視圖中指示預定位置或坐標的像素可根據視圖而具有多個不同深度值或層。因此，多視圖表現可具有針對每個像素的多個層，諸如，一、二、三或更多個層。另外，多層表現可具有與每個像素相應或相關聯(lián)的不同數量的層。至少一個層中的每個層可具有深度值。因此，所述至少一個像素可與參考視圖的圖像的預定坐標相應，并可包括在不同層中。后面將參照圖2和圖3更詳細地描述產生多層表現的方法。在圖1的操作120中，可對多層表現的至少一個層進行擴展。在實施例中，所述擴展可與層傳播(propagation)或一些其它類型的復制相應。作為示例，層傳播可表示將層的端點延長至它們各自的鄰近位置?？芍貜蛨?zhí)行層傳播，只要滿足特定條件即可。作為層傳播的結果，所述層可被擴展。層傳播是用于對層進行擴展的多個方法中的一個。通過對至少一個層進行擴展，可去除至少一個輸入視圖中所有示圖共同的遮擋區(qū)域(occluded area) 0后面將參照圖4到圖6更詳細地描述對至少一個層進行擴展的方法。在圖1的操作130中,可使用多層表現產生輸出視圖。輸出視圖可表不在輸出視點處觀看的視圖。輸出視點可以與至少一個輸入視圖的輸入視點不同，或可以與至少一個輸入的至少一個視點中的一個視點相同。圖2A和圖2B示出根據示例實施例的至少一個輸入視圖?？赏ㄟ^從不同視點觀察單個場景來產生兩個輸入視圖，例如，圖2A的第一輸入視圖200和圖2B的第二輸入視圖250。在圖2A和圖2B中，縱軸可指示深度，橫軸可指示空間。隨著向下移動縱軸，深度值可增加，也就是說，距相機的距離可增加。Xl到x6可指示水平坐標。第一輸入視圖200的箭頭205的方向或第二輸入視圖250的箭頭255的方向可指示視點。第一輸入視圖200的視點與垂直方向相應。第二輸入視圖250的視點與傾斜方向相應,例如,從第一輸入視圖的視點按照水平方向偏移的視點。第一輸入視圖200和第二輸入視圖250中的每一個可指不關于在每個輸入視圖中的預定水平線(也就是，單個掃描線)的信息。在第一輸入視圖200 和第二輸入視圖 250 中，線 210、212、214、216、218、260、262、264,266和268可指示可從設置的視點可見的顏色信息或紋理信息。如圖2A和圖2B中所不，第一輸入視圖200的第三線214和第二輸入視圖250的第三線264可在長度上相同。由于視點之間的方向差，也就是視點之間的偏移，故第一輸入視圖200的第一線210可長于第二輸入視圖250的第一線260,第一輸入視圖200的第二線212可長于第二輸入視圖250的第二線262。相反，第一輸入視圖200的第四線216可短于第二輸入視圖250的第四線266,第一輸入視圖200的第五線218可短于第二輸入視圖250的第五線268。當使用多輸入視圖(例如，第一輸入視圖200和第二輸入視圖250)直接產生輸出視圖時，在至少一個輸入視圖之間可存在相同信息。也就是說，如參照圖15A到圖15E描述的，在多輸入視圖中存在冗余信息。在該示例中，多輸入視圖可能會不足以完全產生全部輸出視圖。另外，包括在多輸入視圖中的信息可彼此不同，從而增加不確定性?？瑟毩⒌貙γ總€輸出視圖解決所述不確定性。然而，用于表現參考視圖的新的表現可用于解決任何不確定性。圖3示出根據示例實施例的場景幾何的上下文中的多層表現。在圖3中，可使用圖2A的第一輸入視圖200和圖2B的第二輸入視圖250來產生參考視圖300。參考視圖300可被表現為這樣的多層視圖:在所述多層視圖中，與參考視圖300中的預定坐標相應的像素可具有不同深度值。參考視圖300中的水平線可指示在參考視圖300中可標記預定點的層。在參考視圖300中使用垂直線標記的部分(也就是，層)可指示具有顏色信息的區(qū)域。例如，可由多層來表現與兩條線332和342或者兩條線344和352可彼此重疊的部分相應的像素。可將多層表現為如圖3所示的所有關于場景的信息被包括在基于個圖像的格式中的單個參考視圖，或者可將多層表現為基于像素位置被劃分為多個參考視圖。也可將諸如指示相對透明度或不透明度的α值分配給每個層。一種用于獲得α值的可能方法可以是使用與每個輸入圖像相應的深度圖針對每個輸入圖像計算阿爾法蒙版以尋找邊界區(qū)域，并在構造多層表現時像任何其它預定層屬性一樣使用計算的阿爾法蒙版。參考視圖300可相應于在場景的參考視點305觀看的視圖。參考視點305可被選擇為與所有輸入視圖(例如，第一輸入視圖200和第二輸入視圖250)的視點的中心接近。例如，當三臺相機被共線排列時，可將三臺相機的中心用作參考視點。使用垂直線標記的部分314和324可指示基于第一輸入視圖200的顏色信息產生的部分，也就是，層的部分。使用傾斜線標記的部分342和352可指示基于第二輸入視圖250的顏色信息產生的部分。使用重疊的垂直線和傾斜線標記的其它部分312、322、332、344和354可指不第一輸入視圖200中的顏色信息和第二輸入視圖250中的顏色信息被復制或冗余的部分。例如，可基于第一輸入視圖200中的第一線210的顏色信息和第二輸入視圖250中的第一線260的顏色信息來產生包括部分312和314的第一層。相似地，再次參照圖15A到圖15E，在圖15E示出場景幾何的上下文中的多層表現。如果顏色信息在由粗水平線標記的所有點處可用，則可用于產生任意視點的完整場景信息可用。就如在多視圖表現的情況下，由于一些顏色值可能會來自多輸入視圖，故在這種合并處理中可能會需要解決這些顏色值。然而，注意到這種合并處理通常僅需要發(fā)生一次，并且可在隨后的視圖產生處理中參考相同的顏色值。另外，在圖15E中，雙線表現填孔區(qū)域，相似地，這些孔區(qū)域的填充僅需要發(fā)生一次，從而在產生的多視圖之間保證更大的視覺一致性。多層表現可包括多個層，所述所各層包括顏色、深度和可選的α值。所述層可從輸入圖像可見。圖4示出根據示例實施例的使用多層表現的輸出視圖400的產生?？墒褂脠D3的參考視圖300的多層表現來產生輸出視圖400。輸出視圖400可相應于在由多層表現指示的場景的輸出視點405觀看的視圖。可通過使用多層表現將參考視圖300傾斜到輸出視點405來產生輸出視圖400。也就是說，可通過將多層表現中的至少一個層中的每個層投射到輸出視圖400上來計算所述至少一個層中的每個層在輸出視圖400中的位置。另外，可將與輸出視圖400中的每個位置最接近的層的顏色(即，所述至少一個層中的具有最小深度值的層得顏色)確定為計算的位置的顏色。未遮蔽的由虛線構成的部分430和440可指示在輸出視圖400中不會被使用的層。未遮蔽的實線的部分410和420可指示顏色信息被用于產生輸出視圖400的層。也就是說，未遮蔽的實線的部分410和420可指示將被填充以產生輸出視圖400的區(qū)域。未遮蔽的實線的部分410和420可相應于圖2Α的第一輸入視圖200和圖2Β的第二輸入視圖250的共同的遮擋區(qū)域。也就是說，包括在由輸入圖像遮擋的層中的信息不能用于完整地描述場景信息。如圖所示，部分區(qū)域可從與輸入視圖的視點不同的新視點變?yōu)榭梢?。與所述區(qū)域相應的層可相應于不會存在于在基于輸入視圖產生的多層表現中的孔。例如，輸出視圖400中的與未遮蔽的實線的部分410和420相應的區(qū)域可相應于孔?？墒褂妙A定的孔填充算法來去除輸出視圖400中的孔。圖5示出根據示例實施例的多層表現的擴展?？蓪D3的參考視圖的多層表現進行擴展。例如，可在如下范圍內將多層表現中的至少一個層中的每個層進行擴展:在所述范圍內，在所述至少一個層中的具有大于所述至少一個層中的每個層的深度值的深度值的層不被遮擋。換句話說，如果傳播的層在新的位置不遮擋任何現有的層，則層可被傳播到鄰近層。可通過對層進行擴展來產生擴展的參考視圖500。例如，可通過將層擴展到圖2Α的第一輸入視圖200和圖2Β的第二輸入視圖250共同的遮擋區(qū)域來產生擴展的參考視圖500。當將層擴展到第一輸入視圖200和第二輸入視圖250共同的遮擋區(qū)域時，可產生用于共同的遮擋區(qū)域的顏色信息。第一擴展區(qū)域510或第二擴展區(qū)域520可相應于共同的阻擋區(qū)域或所述區(qū)域的部分。也就是說，第一擴展區(qū)域510和第二擴展區(qū)域520可指示孔填充可被執(zhí)行的區(qū)域或所述區(qū)域的部分。第一擴展區(qū)域510可相應于具有中間深度的層(也就是，位于更小深度和更大深度的層之間的層)可被擴展的區(qū)域。第二擴展區(qū)域520可相應于具有最大深度值的層(也就是，在最低端表現的層)可被擴展的區(qū)域。當用于由第一擴展區(qū)域510和第二擴展區(qū)域520標記的所有點的顏色信息被提供時，可獲得可用于產生預定的輸出視圖的完整的場景信息。因此，使用擴展的參考視圖500的多層表現產生的輸出視圖可不包括孔，并且不需要獨立地對每個新的輸出視圖執(zhí)行孔填充例程，從而增加效率?？赏ㄟ^層的擴展僅執(zhí)行一次填充包括孔的區(qū)域。所述填充可保證在不同視點產生的多輸出視圖之間的視覺一致性?？苫趩蝹€共同的參考視圖(例如，擴展的參考視圖500)來產生新的輸出視圖。因此，當與分別基于不同輸入視圖來產生輸出視圖的情況相比時，可減小輸出視圖之間的非一致性。通過擴展產生的層或所述層的部分可相應于可充分指定例如顏色、深度和可選的α值的完整的層描述，或者可相應于可僅指定深度而其余不進行指定的部分的層描述。在部分的層描述的情況下，可將分配產生的層的其它屬性的任務延后到在擴展之后執(zhí)行的更晚的操作。例如，當僅基于深度規(guī)范擴展所有層時可獲得改進的結果，并且隨后基于所有現有層的信息來填充層的顏色。圖6示出根據示例實施例的對多層表現進行擴展的方法。參照圖6，在第一多層表現600中可存在五個層，第一層610、第二層620、第三層630、第四層640和第五層650?？蓮奈挥诿總€層的端部開始，基于逐像素來確定第一層610、第二層620、第三層630、第四層640和第五層650中的每一個是否將被擴展。可對在像素的位置具有最大深度值的像素進行擴展。也就是說，當在像素下面不存在層時，可對像素進行擴展。例如，如由圖6的表現600中的像素612下面的向下指示箭頭所示，在位于第一層610的右端的像素612下面可不存在層。也就是說，在像素612的位置可不存在具有較大值的層。因此，可對像素612進行擴展。可在位于第二層620的左端的像素622下面表現第一層610。也就是說，在像素622的位置可存在具有較大值的第一層610。因此，不可對像素622進行擴展，從而保證沒有新的擴展的像素遮擋現有的第一層610。可將第一層610、第二層620、第四層640和第五層650擴展到在位于第一層610、第二層620、第三層630、第四層640和第五層650中的每個層的左端或右端的像素中的像素612、624、642和652。不可對像素622、632、634和644進行擴展。也就是說，第一層610和第二層620可通過像素被擴展到右側，第四層640和第五層650可通過像素被擴展到左偵U。第三層630不可被擴展到任意一側?？稍诘诙鄬颖憩F660中示出擴展的結果。也就是說，擴展的基礎原理可相應于層傳播、復制或其它不同的傳播方案。當在層將被擴展到的鄰近位置存在現有層，并且現有層不被將被擴展的部分遮擋時，可將所述層傳播到所述鄰近位置。相反，如果新的層將在新位置遮擋任何現有層，則不將層傳播到鄰近位置。可通過比較現有層的深度值與將被擴展的層的深度值來確定遮擋狀態(tài)。當同時發(fā)生多個傳播時，例如，當從左側的傳播和從右側的傳播沒有任何偏好地同時應用于單個位置時，可解決層之間的相互影響。將參照圖9詳細描述層之間的相互影響。
第三多層表現670可描述第一層610、第二層620、第四層640和第五層650的擴展?？纱_定由對層進行擴展而產生的端是否將被擴展。例如，可確定在像素612的右側的像素614是否將被擴展。在這個示例中，由于在像素614下面不存在層，故可對像素614進行擴展。相似地，可對經歷確定像素是否將被擴展的所有其它像素626、646和654進行擴展。如上所述，第一層610可被擴展到右側，第五層650可被擴展到左側。第一層610和第五層650可被持續(xù)擴展直到第一層610和第五層650相遇。相似地，第二層620可被擴展到右側，第四層640可被擴展到左側。第二層620和第四層640可被持續(xù)擴展直到第二層620和第四層640相遇。所述至少一個層中的具有最大值的層(例如，第一層610和第五層650)可被擴展到左側和右側。所述擴展可以持續(xù)直到層與具有相同深度值的另一層相遇，或者層到達區(qū)域的邊緣。也就是說，在多層表現中，具有最大深度值的層可被擴展到參考視圖中的所有區(qū)域。如上所述，第一多層表現600、第二多層表現660和第三多層表現670可指示關于參考視圖中的預定水平線的信息。因此，可按照預定水平線為單位執(zhí)行前述擴展。具體地，參考視圖中的至少一個層中的針對參考視圖中的預定水平線具有最大值的層可通過擴展而具有預定水平線上的所有區(qū)域的顏色信息。因此，可保證將使用通過擴展產生的參考視圖來產生輸出視圖，而在預定的輸出視點沒有孔。圖7A到圖7D示出根據示例實施例的層擴展的原理。在圖7A到圖7D中，第一箭頭710、第二箭頭715、第三箭頭730、第四箭頭735、第五箭頭750、第六箭頭755、第七箭頭770和第八箭頭775可指示參考視圖中的預定位置。鄰近的箭頭(例如，第一箭頭710和第二箭頭715)可指示參考視圖中彼此鄰近的位置。箭頭的上端可指示層與相機靠近，箭頭的下端可指示層與相機遠離。因此，位于箭頭的下部中的層可相應于具有更大深度值的層或像素。位于箭頭的上部中的層可相應于具有更小深度值的層或像素。參照圖7A，第一層720可位于第一箭頭710。沒有層可位于與第一箭頭鄰近的第二箭頭715。因此，可通過對第一層720進行擴展來在第二箭頭715產生第一擴展層722。參照圖7B，第二層740可位于第三箭頭730。第三層742可位于與第三箭頭730鄰近的第四箭頭735。然而，第三層742可比第二層740更靠近相機。因此，可在第四箭頭735產生第二擴展層744?？稍诘谌龑?42后面產生第二擴展層744。參照圖7C，第四層762可位于第五箭頭750。第五層764可位于與第五箭頭750鄰近的第六箭頭755。第四層762可比第五層764更靠近相機。當第四層762被擴展時，第五層764可被第四層762遮擋。因此，不可對第四層762進行擴展。在這種情況下，是否存在比第四層762更靠近相機的第六層766不會影響第四層762是否將被擴展。參照圖7D，第七層782可位于第七箭頭770。第八層784可位于與第七箭頭770鄰近的第八箭頭775。第七層782和第八層784可具有相同的深度值。因此，不可對第七層782進行擴展。在這種情況下，是否存在比第七層782更遠離相機的第九層786不會影響第七層782是否將被擴展。另外，是否存在比第七層782更靠近相機的第十層788不會影響第七層782是否將被擴展。
因此，根據參照圖7A到圖7D描述的層傳播的原理，當其它層具有大于或等于在層可被擴展到的位置存在的層的深度值的深度值時，不可對層進行擴展。否則，可對層進行擴展。圖8示出根據示例實施例的多層表現的層信息。在圖8中，橫軸可指示空間維度，縱軸可指示具有不同深度值的多層。垂直線810、820和830可指示參考視圖中的像素位置。在多層表現中，至少一條層信息可包括在參考視圖中的任何像素位置中。例如，三條層信息，也就是，第一層信息812、第二層信息814和第三層信息816可存在于第一像素位置。也就是說，具有不同深度值的三個層可存在于第一像素的位置。單條層信息822可存在于第二像素位置。兩條層信息832和834可存在于第三像素位置。層信息可包括顏色(例如，紅、綠和藍(RGB))以及與顏色相關聯(lián)的深度(d)或視差。另外，層信息可以可選地包括用于阿爾法混合的α值。多層表現可包括用于在輸入圖像中出現的場景的所有信息。另外，多層表現可包括在輸入圖像中被遮擋的多條信息，所述多條信息可用于產生新的視點。在每個空間位置，可存在不同深度級別的多個顏色信息。因此，多層表現不會被像素位置的可視性限制。可去除多層表現中的冗余。所述冗余可起源于在多個輸入視圖中存在的相似信息。例如，當第一層信息812的深度值d與第二層814的深度值d相同時，可存在與單個像素有關的兩條復制的層信息。復制的層信息或復制的層可合并為單條層信息或單個層。例如，由兩條層信息或可選擇的一個α值指示的多個顏色值中的一個或者多個顏色值的平均可用作合并層信息。當執(zhí)行合并時，在產生未來的輸出視圖時可參照相同的顏色值。圖9示出根據示例實施例的相互影響層的合并。作為去除層之間的冗余的一個方法，可介紹層相互影響的概念。當在相同位置的兩個層表現相同信息時，所述兩個層可被理解為彼此相互影響。在產生參考視圖的步驟中，可構造沒有兩個層可彼此相互影響的多層表現，以最小化冗余從而增加效率。作為示例，可基于深度值或視差值來確定層相互影響。例如，當層的深度值之間的差小于或等于預定閾值時，層可被認為相互影響的層。當在相同位置的兩個層在深度上的差別小于預定閾值時，所述兩個層可被認為彼此相互影響。參照圖9，在第一位置910的三個層922、924和926可彼此相互影響。另外，在第一位置910的兩個層942和944可彼此相互影響。層932不與其它層相互影響。當兩個層彼此相互影響時，可將兩個層合并以去除兩個層之間的相互影響。在合并之后，可通過合并層922、924和926來在第一位置910產生合并層952。另外，在合并之后，可通過合并層942和944來在第一位置910產生合并層964。層962可相應于層932。一種用于合并的可能的方法可以保持一個選擇的層并去除其它未選擇的層。例如，層942可被去除，可基于層944的層信息來產生合并層964。用于選擇層的標準可基于相互影響的層的各種屬性。所述屬性可包括深度、顏色、空間相鄰層等。作為示例，在使用深度作為用于選擇層的標準的方案中，可選擇具有最低深度值的層，也就是，與相機最靠近的層。相反，可選擇具有最大深度值的層。作為另一示例，在另一可能的方案中，可從兩個相互影響的層獲取新的層。也就是說，可從兩個層獲取新的顏色值和深度值?？衫缁谙嗷ビ绊懙膶拥念伾岛蜕疃戎档钠骄?，通過合并來產生新的層。作為至少三個層的示例，在該示例中，層922、924和926可彼此相互影響。當至少三個層彼此相互影響時，可使用這樣的預定方法:所述預定方法相似于與兩個前述的相互作用的層相關聯(lián)的方案，并可解決相互作用的層之間的配對相互作用。例如，可假設具有最小深度值的層A可與具有大于層A的深度值的深度值的層B相互作用，層B可與具有最大深度值的層C相互作用，層A不會與層C相互作用。在這種情況下，一個方案可以保持一個層(例如，層B)并去除其它的層。另一方案可以去除層B，并保持層A和層C。一旦限定了用于解決層之間的相互作用的規(guī)則，就可容易地從多輸入圖像以及與多輸入圖像相應的深度圖中獲得多層表現。根據相關聯(lián)的深度圖從輸入圖像偏移到參考視點的像素位置可成為新的層。當通過傾斜產生的至少兩個新的層彼此相互影響時，可根據限定的規(guī)則來解決層之間的相互影響。圖10示出根據示例實施例的產生多層表現的方法。操作1010到1070可相應于圖1的產生前述的多層表現的操作110，或者可包括在圖1的產生前述的多層表現的操作110之內。在操作1010到1040，可通過將至少一個輸入視圖中的每一個的圖像投射到參考視圖上來產生至少一個層。在操作1010，可從至少一個輸入視圖中選擇預定輸入視圖，并可選擇在選擇的輸入視圖中的預定位置。所述預定位置可參照像素坐標。選擇的預定輸入視圖將被稱為第一輸入視圖，選擇的預定位置將被稱為第一位置。在操作1020中，可使用與第一位置相應的第一深度值，通過將選擇的第一位置投射到參考視圖上來計算參考視圖中的第二位置和第二深度。在操作1030，可將新的層添加到通過投射計算的第二位置和第二深度。在這種情況下，添加的新的層的顏色值可與第一位置的顏色值相同。在操作1040，可確定是否處理了所有輸入視圖和所有位置。當所有輸入視圖和所有位置被處理時，可執(zhí)行合并產生的層的操作1050到1070。否則，可針對還未被處理的輸入視圖和位置迭代地執(zhí)行操作1010到1040。在操作1050到1070，可合并至少一個產生的層。在操作1050，可選擇參考視圖中的預定位置。在操作1060，可在選擇的預定位置將包括在相互影響的層中的信息合并為單個層。在操作1070，可確定是否處理了所有位置。當所有位置被處理時，可終止所述處理。否則，可針對還未被處理的位置迭代地執(zhí)行操作1050到1070。參照圖1到圖9描述的技術特征將被同樣地應用，從而為了簡潔將省略詳細描述。圖11示出根據示例實施例的產生輸出視圖的方法。操作1110和1120可相應于圖1的產生輸出視圖的操作130，或者可包括在圖1的產生輸出視圖的操作130之內。在操作1110，可通過將參考視圖中的至少一個層中的每個層投射到輸出視圖上來計算至少一個層中的每個層在輸出視圖中的位置。在操作1120，對于輸出視圖中的每個位置，可將與計算的位置相應的至少一個層中的具有最小深度值的層的顏色確定為計算的位置的顏色。使用輸出視圖中的每個位置的最鄰近的層的顏色可被認為是對層之間的遮擋進行處理。為了實現合適的遮擋處理，可使用例如z緩存器的深度緩存器。與輸出視圖中的每個位置相應的顏色值和深度值可存儲在深度緩存器中。每次使用投射到預定位置上的至少一個層寫入顏色值時，可將層的深度值與已存在于深度緩存器中的深度值進行比較。例如，當層的深度值大于已存儲在深度緩存器中的深度值，也就是，距相機的距離大于已存儲在深度緩存器中的值時，可丟棄所述層的顏色值。當層的深度值小于已存儲在深度緩存器中的深度值，也就是，距相機的距離小于已存儲在深度緩存器中的值時，可將所述層的顏色值作為像素值存儲在深度緩存器中，并且深度緩存器中的深度值可被更新。換句話說，當多個顏色通過至少一個層被分配給輸出視圖中的相同像素時，來自具有最接近的深度或最大視差的層的顏色可優(yōu)先處理?？蛇x擇地，α值可用于合適的邊界渲染?？筛鶕林祵⒆钋懊娴膶拥念伾蹬c隨后的第二前面的層的顏色值混合。參照圖1到圖10描述的技術特征將被同樣地應用，從而為了簡潔將省略詳細描述。圖12示出根據示例實施例的將具有相似深度值的層投射到輸出視圖上的方法。在圖12中，第一箭頭1210和第二箭頭1220可指示多層表現(也就是，參考視圖)中的鄰近位置，例如，鄰近像素。換句話說，在圖12中，在兩個空間中的鄰近位置與相關聯(lián)的層一起被示出。在鄰近位置的層中，預定的層可具有相似的深度值。例如，當層的深度值之間的差小于或等于預定閾值時，所述層可被認為具有相似的深度值。例如，由于層a和層d的深度值之間的差相應于Cl1，故層a和層d可被確定為具有相似的深度值。由于層b和層e的深度值之間的差相應于d2，故層b和層e可被確定為具有相似的深度值。然而，由于層a和層e的深度值之間的差相應于d3，故層a和層e可被確定為具有不同的深度值。由于層d和層b的深度值之間的差相應于d4，故層d和層b可被確定為具有不同的深度值。這里，可不存在具有與層c的深度值相似的深度值的層。右側的水平線可指示輸出視圖的空間域。輸出視圖中的像素位置1230、1232、1234、1236、1238、1240和1242被示出。對于多層表現中的每個水平鄰近空間位置對(例如，第一箭頭1210的位置和第二箭頭1220的位置)，具有相似的深度值的層對可被處理以用于渲染。根據層a、b、d和e中的每個層的深度，可將層a、b、d和e投射到新的渲染的輸出視圖或輸出圖像的坐標系統(tǒng)上?？蓪觓投射到a’上?？蓪觔投射到b’上?？蓪觗投射到d’上?？蓪觘投射到e’上?？墒褂脙炔?例如，使用雙線性內插)的形式來對在a’和d’之間的所有像素位置的顏色值和深度值進行內插。作為示例，當像素位置1234的X坐標相應于3, a’的x坐標相應于2.5，并且d’的X坐標相應于3.5時，在像素位置1234的像素的顏色值可相應于在第一箭頭1210的層a的顏色值和在第二箭頭1220的層d的顏色值的中間值。作為另一示例，當像素位置1234的X坐標相應于3，a’的x坐標相應于2.9，并且d’的x坐標相應于3.2時，在像素位置1234的像素的顏色值可相應于在這樣的點的值:在所述點，以1: 2劃分在第一箭頭1210的層a的顏色值和在第二箭頭1220的層d的顏色值。相似地，可使用內插的形式對像素位置1234的深度值進行內插。另外，可使用b’和e’的顏色值和深度值的雙線性內插來對像素位置1238和1240的顏色值和深度值進行內插。當參考視圖中的第一像素被投射到輸出視圖中的第一位置上并且參考視圖中的第二像素被投射到輸出視圖中的第二位置上時，可基于第一像素的顏色和第二像素的顏色之間的雙線性內插來確定在輸出視圖中的第一位置和第二位置之間存在的像素的顏色。相似地，可基于投射的第一像素的深度值和投射的第二像素的深度值的雙線性內插來確定在輸出視圖中的第一位置和第二位置之間存在的像素的深度值。圖13示出根據示例實施例的圖像處理設備1300。圖像處理設備1300可包括多層表現產生單元1310、層擴展單元1320和輸出視圖產生單元1330。圖像處理設備1300還可包括存儲單元1340。至少一個輸入視圖1380可被輸入到圖像處理設備1300。至少一個輸入視圖1380中的每一個可包括圖像1382和與所述圖像1382相關聯(lián)的深度圖1384。至少一個輸入視圖1380中的每一個可相應于在場景的預定視點觀看的視圖。圖像處理設備1300可輸出在至少一個輸出視點觀看的新的圖像1390。輸出圖像1390可屬于內插區(qū)域和外插區(qū)域中的一個。多層表現產生單元1310可使用至少一個輸入視圖1380來產生包括所有關于場景的信息的參考視圖的多層表現。多層表現可包括基于至少一個輸入視圖1380中的每一個的圖像1382和深度圖1384產生的至少一個層。輸出視圖產生單元1330可使用產生的多層表現來產生在輸出視點觀看的輸出視圖。層擴展單元1320可對多層表現的至少一個層進行擴展。如參照圖6所述，可在這樣的范圍內對至少一個層中的每個層進行擴展:在所述范圍內，具有大于所述至少一個層中的每個層的深度值的深度值的層被遮擋。另外，可從位于層的端部的像素開始，基于逐像素迭代地確定至少一個層是否將被擴展。通過擴展，在至少一個層中的針對參考視圖中的預定的水平線具有最大深度值的層可具有所述預定的水平線上的所有區(qū)域的顏色信息。存儲單元1340可存儲并提供與至少一個輸入視圖1380、多層表現、參考視圖和輸出視圖相關聯(lián)的數據。多層表現產生單元1310可通過將至少一個輸入視圖1380中的每一個的圖像投射到參考視圖上來產生至少一個層，并可合并產生的至少一個層中的相互影響的層。多層表現產生單元1310可通過以下步驟來產生至少一個層:(I)選擇至少一個輸入視圖1380中的第一輸入視圖中的第一位置，(2)通過將選擇的第一位置投射到參考視圖上來計算參考視圖中的第二位置和深度，以及(3)將新的層添加到計算的第二位置和計算的深度。在這種情況下，添加的新的層的顏色值可以與第一位置的顏色值相同。多層表現產生單元1310可通過以下步驟來合并相互影響的層:(I)選擇參考視圖中的第一位置，以及(2)在第一位置將包括在相互影響的層中的關于第一位置的信息合并為單個層。相互影響的層的深度值之間的差可小于或等于預定閾值。輸出視圖產生單元1330可通過以下步驟來產生輸出視圖:(I)通過將至少一個層中的每個層投射到輸出視圖上來計算至少一個層中的每個層在輸出視圖中的位置，以及
(2)對于輸出視圖中的每個位置，將至少一個層中的具有最小深度值的層的顏色確定為計算的位置的顏色。當在多層表現中彼此鄰近的第一像素和第二像素分別包括在第一層和第二層中時，將第一像素投射到輸出視圖的第一位置上，將第二像素投射到輸出視圖的第二位置上，并可基于第一像素的顏色和第二像素的顏色之間的雙線性內插來確定位于第一位置和第二位置之間的像素的顏色。圖14示出多視圖顯示裝置。參照圖14，多視圖顯示裝置1400可包括例如控制器1401和圖像處理設備1405。多視圖顯示裝置1400可以是用于顯示3D圖像的3D顯示器的形式并可采用多視圖方案以輸出多個不同視點。3D顯示器的示例可包括平板計算裝置、便攜式游戲裝置、3D電視顯示器或者諸如在膝上型計算機中的便攜式3D監(jiān)視器?？刂破?401可產生一個或多個控制信號以控制多視圖顯示裝置1400并將控制多視圖顯示裝置1400進行顯示?？刂破?401可包括一個或多個處理器。
圖像處理設備1405可被用于產生用于多視圖顯示裝置1400的多視像，并可相應于例如如圖13中示出的圖像處理設備1300。因此，圖像處理設備1405可包括例如多層表現產生單元1310、層擴展單元1320、輸出視圖產生單元1330和存儲單元1340。雖然在圖14中未示出，但是圖像處理設備1405中的每個單元可相應于這里例如關于圖13所討論的相似命名的單元，從而這里不需進行進一步的討論。圖像處理設備1405可被內部地安裝在多視圖顯示裝置1400之內，可被附著在多視圖顯示裝置1400上，或可與多視圖顯示裝置1400分離地實施。不管物理配置，圖像處理設備1405具有這里討論的所有性能。圖像處理設備1405可包括一個或多個內部處理器或可由包括在多視圖顯示裝置1400之內的一個或多個處理器(諸如，控制器1401的一個或多個處理器)控制。參照圖1到圖15描述的技術特征將被同樣地應用，從而為了簡潔將省略詳細描述。根據上述實施例的技術特征可被記錄在包括實現由計算機實施的各種操作的程序指令的非暫時計算機可讀介質中。所述介質還可單獨包括程序指令、數據文件、數據結構等或可包括程序指令、數據文件、數據結構等的組合。非暫時計算機可讀介質的示例包括磁介質(諸如，硬盤、軟盤和磁帶)、光介質(諸如，CD ROM盤和DVD)、磁光介質(諸如，光盤)以及特別配置為存儲和執(zhí)行程序指令的硬件裝置(諸如，只讀存儲器(ROM)、隨機存取存儲器(RAM)、閃存等)。程序指令的示例包括機器代碼(諸如，由編譯器產生)和包括可由計算機使用解釋器執(zhí)行的更高級代碼的文件兩者。所述硬件裝置可被配置作為一個或多個軟件模塊以執(zhí)行上述實施例的操作，反之亦然。這里描述的軟件模塊中的一個或多個可由諸如對單元唯一的專用處理器的控制器執(zhí)行，或可由軟件模塊中的一個或多個共同的處理器執(zhí)行。所述方法可在通用計算機或處理器上執(zhí)行，或可在諸如在此所述的用于處理圖像的設備的特定機器上執(zhí)行。雖然已經示出和描述了實施例，但是本領域技術人員將理解的是，在不脫離本公開的原理和精神的情況下可對這些實施例做出改變，本公開的范圍由權利要求及其等同物限定。
權利要求
1.一種處理圖像的方法，所述方法包括: 使用至少一個輸入視圖產生包括關于場景的信息的參考視圖的多層表現；以及 使用產生的多層表現產生在輸出視點觀看的輸出視圖， 其中， 所述至少一個輸入視圖中的每一個相應于在場景的預定視點觀看的視圖， 所述至少一個輸入視圖中的每一個包括圖像以及與圖像相關聯(lián)的深度圖，以及 多層表現包括基于所述至少一個輸入視圖中的每一個的圖像和深度圖產生的至少一個層。
2.如權利要求1所述的方法，還包括: 對多層表現的至少一個層進行擴展， 其中，在這樣的范圍之內對所述至少一個層中的每個層進行擴展，在所述范圍中，在所述至少一個層中的具有大于所述至少一個層中的每個層的深度值的深度值的層未被遮擋。
3.如權利要求2所述的方法，其中，從位于所述至少一個層的端部的像素開始，基于逐像素迭代地確定所述至少一個層是否將被擴展。
4.如權利要求2所述的方法，其中，在所述至少一個層中的針對參考視圖的預定水平線具有最大深度值的層具有所述預定水平線上的所有區(qū)域的顏色信息。
5.如權利要求1所述的方法，其中，產生多層表現的步驟包括: 通過將所述至少一個輸入視圖中的每一個的圖像投射到參考視圖上來產生所述至少一個層；以及 合并產生的至少一個層中的相互影響的層。
6.如權利要求5所述的方法，其中，產生所述至少一個層的步驟包括: 選擇所述至少一個輸入視圖中的第一輸入視圖的第一位置； 通過將選擇的第一位置投射到參考視圖上來計算參考視圖中的第二位置和深度；以及 將新的層添加到第二位置和深度。
7.如權利要求6所述的方法，其中，添加的層的顏色值與第一位置的顏色值相同。
8.如權利要求5所述的方法，其中，相互影響的層的深度值之間的差小于或等于預定閾值。
9.如權利要求5所述的方法，其中，合并相互影響的層的步驟包括: 選擇第一參考視圖中的第一位置；以及 在第一位置將包括在相互影響的層中的關于第一位置的信息合并為單個層。
10.如權利要求1所述的方法，其中，產生輸出視圖的步驟包括: 通過將所述至少一個層中的每個層投射到輸出視圖上來計算所述至少一個層中的每個層在輸出視圖中的位置；以及 針對輸出視圖中的每個位置，將所述至少一個層中具有最小深度值的層的顏色確定為計算的位置的顏色。
11.如權利要求1所述的方法，其中，當在多層表現中彼此鄰近的第一像素和第二像素分別包括在第一層和第二層中時，將第一像素投射到輸出視圖的第一位置上，將第二像素投射到輸出視圖的第二位置上，并基于第一像素的顏色和第二像素的顏色之間的內插來確定位于第一位置和第二位置之間的像素的顏色。
12.一種處理圖像的設備，所述設備包括: 多層表現產生單元，使用至少一個輸入視圖產生包括關于場景的信息的參考視圖的多層表現；以及 輸出視圖產生單元，使用產生的多層表現產生在輸出視點觀看的輸出視圖， 其中， 所述至少一個輸入視圖中的每一個相應于在場景的預定視點觀看的視圖， 所述至少一個輸入視圖中的每一個包括圖像以及與圖像相關聯(lián)的深度圖，以及 多層表現包括基于所述至少一個輸入視圖中的每一個的圖像和深度圖產生的至少一個層。
13.如權利要求12所述的設備，還包括: 層擴展單元，對多層表現的至少一個層進行擴展， 其中，在這樣的范圍之內對所述至少一個層中的每個層進行擴展，在所述范圍中，在所述至少一個層中的具有大于所述至少一個層中的每個層的深度值的深度值的層未被遮擋。
14.如權利要求13所述的設備，其中，從位于所述至少一個層的端部的像素開始，基于逐像素迭代地確定所述至少一個層是否將被擴展。
15.如權利要求13所述的設備，其中，在所述至少一個層中的針對參考視圖的預定水平線具有最大深度值的層具有所述預定水平線上的所有區(qū)域的顏色信息。
16.如權利要求12所述的設備，其中，多層表現產生單元通過將所述至少一個輸入視圖中的每一個的圖像投射到參考視圖上來產生所述至少一個層，并合并產生的至少一個層中的相互影響的層。
17.如權利要求 16所述的設備，其中， 多層表現產生單元選擇所述至少一個輸入視圖中的第一輸入視圖的第一位置，通過將選擇的第一位置投射到參考視圖上來計算參考視圖中的第二位置和深度，并將新的層添加到第二位置和深度，并且 添加的層的顏色值與第一位置的顏色值相同。
18.如權利要求17所述的設備，其中，相互影響的層的深度值之間的差小于或等于預定閾值。
19.如權利要求16所述的設備，其中，多層表現產生單元選擇第一參考視圖中的第一位置，并在第一位置將包括在相互影響的層中的關于第一位置的信息合并為單個層。
20.如權利要求12所述的設備，其中，輸出視圖產生單元通過將所述至少一個層中的每個層投射到輸出視圖上來計算所述至少一個層中的每個層在輸出視圖中的位置，并針對輸出視圖中的每個位置，將所述至少一個層中具有最小深度值的層的顏色確定為計算的位置的顏色。
21.—種處理圖像的方法，所述方法包括: 接收包括圖像以及圖像的顏色信息和深度值的多個視圖的輸入；以及 使用所述多個視圖產生參考視圖， 其中，產生的參考視圖的至少一個位置包括多個不同深度值以及與所述多個不同深度值相應的顏色信息。
22.如權利要求21所述的方法，還包括:基于產生的參考視圖來產生將被顯示的輸出視圖。
23.如權利要求21所述的方法，其中，通過在參考視圖的所述至少一個位置將相互影響的深度值合并為單個深度值來產生所述多個不同深度值。
24.如權利要求23所述的方法，其中，相互影響的深度值之間的差小于或等于預定閾值。
25.—種圖像處理方法,包括: 產生包括存在于多個輸入圖像中的場景信息的單個參考視圖的多層表現，其中，場景信息包括與多個像素位置相關聯(lián)的像素信息以及與像素信息相應的層信息，層信息包括與像素信息相應的深度信息； 基于預定規(guī)則去除在相同像素位置的層之間的相互影響； 如果傳播的鄰近層信息不遮擋在鄰近位置的任何現有的層信息，則通過將鄰近層信息傳播到鄰近位置來在遮擋的區(qū)域中創(chuàng)建層信息；以及 通過渲染來自多層表現的數據來產生輸出視像。
26.一種圖像處理設備，包括: 多層表現產生單元，產生包括存在于多個輸入圖像中的場景信息的單個參考視圖的多層表現，并基于預定規(guī)則去除在相同像素位置的層之間的相互影響，其中，場景信息包括與多個像素位置相關聯(lián)的像素信息以及與像素信息相應的層信息，層信息包括與像素信息相應的深度信息； 層擴展單元，如果傳播的鄰近層信息不遮擋在鄰近位置的任何現有的層信息，則通過將鄰近層信息傳播到鄰近位置來在遮擋的區(qū)域中創(chuàng)建層信息；以及 輸出視圖產生單元，通過渲染來自多層表現的數據來產生輸出視像。
27.—種產生多視像的方法，所述方法包括: 通過將多個輸入圖像中的每一個投射到包括存在于所述多個輸入圖像中的場景信息的單個參考視圖上來產生多層表現，其中，場景信息包括與多個像素位置相關聯(lián)的像素信息以及與像素信息相應的層信息，層信息包括與像素信息相應的深度信息；以及 基于預定規(guī)則去除在相同像素位置的多層表現的層之間的相互影響。
28.—種包括圖像處理設備的多視圖顯示裝置，所述多視圖顯示裝置包括: 多層表現產生單元，產生包括存在于多個輸入圖像中的場景信息的單個參考視圖的多層表現，并基于預定規(guī)則去除在相同像素位置的層之間的相互影響，其中，場景信息包括與多個像素位置相關聯(lián)的像素信息以及與像素信息相應的層信息，層信息包括與像素信息相應的深度信息； 層擴展單元，如果傳播的鄰近層信息不遮擋在鄰近位置的任何現有的層信息，則通過將鄰近層信息傳播到鄰近位置來在遮擋的區(qū)域中創(chuàng)建層信息；以及 輸出視圖產生單元， 通過渲染來自多層表現的數據來產生用于由多視圖顯示裝置顯示的輸出視像。
全文摘要
提供了一種使用多層表現的圖像處理方法和設備。可基于至少一個輸入視圖產生包括關于場景的信息的參考視圖的多層表現?？蓪Χ鄬颖憩F進行擴展以獲得關于由至少一個共同的輸入圖像遮擋的部分的信息?？墒褂脭U展的多層表現來產生在不同視點觀看的輸出視圖。
文檔編號H04N15/00GK103179416SQ20121057625
公開日2013年6月26日 申請日期2012年12月26日 優(yōu)先權日2011年12月26日
發(fā)明者白艾倫 申請人:三星電子株式會社