用于生成中間視點(diǎn)圖像的系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及從立體數(shù)據(jù)生成中間圖像。
[0002]立體圖像是對(duì)于三維(3D)圖像數(shù)據(jù)的一般表示。立體圖像包括與左視點(diǎn)(leftview)相對(duì)應(yīng)的左圖像和與右視點(diǎn)(right view)相對(duì)應(yīng)的右圖像。通過使用立體顯示裝置觀看立體圖像，觀看者的左眼看到左圖像并且觀看者的右眼看到右圖像，從而導(dǎo)致觀看者的3D感知。
[0003]為了在與立體圖像的左視點(diǎn)和右視點(diǎn)不同的中間視點(diǎn)(intermediate view)處觀看3D圖像，需要生成中間圖像。存在用于從立體圖像生成中間圖像的各種方法。
【背景技術(shù)】
[0004]US 2011/00268009 Al描述了一種方法，用于從立體圖像計(jì)算在中間視點(diǎn)處的中間圖像以在多視點(diǎn)(multiview)顯示器上觀看。中間視點(diǎn)指的是在包括左視點(diǎn)和右視點(diǎn)的視點(diǎn)范圍內(nèi)的相對(duì)位置處的視點(diǎn)。該方法從立體圖像計(jì)算左視差數(shù)據(jù)和右視差數(shù)據(jù)，所述立體圖像包括左圖像和右數(shù)據(jù)。該方法使用左圖像和左視差數(shù)據(jù)生成針對(duì)中間視點(diǎn)的左中間圖像。該方法使用右圖像和右視差數(shù)據(jù)生成針對(duì)中間視點(diǎn)的右中間圖像。然后通過融合(blend)左中間圖像和右中間圖像來生成最終的中間圖像。
[0005]現(xiàn)有技術(shù)方法的缺點(diǎn)是它也在中間圖像中生成可見的圖像偽像(artifact)，最明顯的圖像偽像是圖像細(xì)節(jié)模糊偽像和遮擋偽像。偽像的可見度隨著中間視點(diǎn)以及隨著立體圖像的內(nèi)容而變化。細(xì)節(jié)模糊典型地對(duì)于包含大量細(xì)節(jié)的立體圖像且在左視點(diǎn)與右視點(diǎn)之間的視點(diǎn)處最為可見。細(xì)節(jié)模糊的原因在于所生成的左中間圖像和右中間圖像的不完美混合。遮擋偽像對(duì)于包含大的深度過渡的立體圖像最為可見，在側(cè)視點(diǎn)(lateral view)處最明顯，因而在左視點(diǎn)的左側(cè)以及在右視點(diǎn)的右側(cè)最明顯。遮擋偽像的原因在于左圖像的或右圖像的不完美外推(extrapolat1n)。
[0006]在現(xiàn)有技術(shù)方法中，由于中間圖像因隨著中間視點(diǎn)以及隨著立體圖像的內(nèi)容而變化的圖像偽像而受損，所以圖像質(zhì)量是次優(yōu)的。期望對(duì)中間圖像的圖像質(zhì)量的改進(jìn)。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的是提供一種用于從立體數(shù)據(jù)生成中間圖像的方法，其中所述中間圖像具有改善的圖像質(zhì)量。
[0008]本發(fā)明公開了一種用于針對(duì)中間視點(diǎn)從立體數(shù)據(jù)生成中間圖像的方法。該方法使用根據(jù)混合(mix)策略對(duì)左中間圖像和右中間圖像進(jìn)行的混合。混合策略將左中間圖像和右中間圖像在混合中的相對(duì)貢獻(xiàn)限定為中間視點(diǎn)的函數(shù)。立體數(shù)據(jù)包括左數(shù)據(jù)和右數(shù)據(jù)。左數(shù)據(jù)與左視點(diǎn)相對(duì)應(yīng)，并且左數(shù)據(jù)包括左圖像和左視差數(shù)據(jù)。右數(shù)據(jù)與右視點(diǎn)相對(duì)應(yīng)，并且右數(shù)據(jù)包括右圖像和右視差數(shù)據(jù)。中間圖像與中間視點(diǎn)相對(duì)應(yīng)。左中間圖像是針對(duì)中間視點(diǎn)而從左數(shù)據(jù)生成的。右中間圖像是針對(duì)中間視點(diǎn)而從右數(shù)據(jù)生成的。該方法包括:基于立體數(shù)據(jù)的圖像特性，針對(duì)多個(gè)混合策略中的每一個(gè)來預(yù)測(cè)中間圖像的圖像質(zhì)量；通過基于中間圖像的所預(yù)測(cè)的圖像質(zhì)量去從所述多個(gè)混合策略中選取混合策略而確定混合策略；并且，當(dāng)所確定的混合策略如此要求時(shí)，針對(duì)中間視點(diǎn)從左數(shù)據(jù)生成左中間圖像；并且，當(dāng)所確定的混合策略如此要求時(shí)，針對(duì)中間視點(diǎn)從右數(shù)據(jù)生成右中間圖像；以及通過根據(jù)所確定的混合策略使用相對(duì)貢獻(xiàn)來混合左中間圖像和右中間圖像，而生成中間圖像。
[0009]按照這種方式，本發(fā)明提供了靈活性，從而允許完全基于左中間圖像、完全基于右中間圖像，而且還(即，在混合策略如此指示時(shí))如所要求保護(hù)的那樣基于左中間圖像和右中間圖像兩者來生成中間圖像。
[0010]針對(duì)該方法的輸入是包括左數(shù)據(jù)和右數(shù)據(jù)的立體數(shù)據(jù)。左數(shù)據(jù)與左視點(diǎn)相對(duì)應(yīng)，并且右數(shù)據(jù)與右視點(diǎn)相對(duì)應(yīng)。左視點(diǎn)和右視點(diǎn)限定了兩個(gè)觀看點(diǎn)，觀看者從這兩個(gè)觀看點(diǎn)觀看3D圖像。左數(shù)據(jù)包括左圖像和左視差數(shù)據(jù)。右數(shù)據(jù)包括右圖像和右視差數(shù)據(jù)。該方法的輸出是針對(duì)與左視點(diǎn)和右視點(diǎn)不同的中間視點(diǎn)的中間圖像。
[0011 ] 通過根據(jù)混合策略混合左中間視點(diǎn)和右中間視點(diǎn)來生成中間圖像?；旌喜呗赃^程限定了混合如何取決于中間視點(diǎn)。在一般情況下，混合策略限定了左中間圖像在混合中的左相對(duì)貢獻(xiàn)，并且限定了右中間圖像在混合中的右相對(duì)貢獻(xiàn)。然后，通過根據(jù)所述相對(duì)貢獻(xiàn)使用權(quán)重去混合左中間圖像和右中間圖像，來生成中間圖像。在混合策略僅要求生成左中間圖像的第一種特殊情況下，混合有效地將左中間圖像拷貝到中間圖像。在混合策略僅要求生成右中間圖像的第二種特殊情況下，混合有效地將右中間圖像拷貝到中間圖像。
[0012]使用左視差生成左中間圖像，扭曲(warping)過程使用左視差數(shù)據(jù)向中間視點(diǎn)“扭曲”左圖像，但是是僅當(dāng)混合策略如此要求時(shí)。通過使用右視差過程，扭曲過程使用右視差數(shù)據(jù)向中間視點(diǎn)扭曲右圖像，但是是僅當(dāng)混合策略如此要求時(shí)。
[0013]混合不是固定的，而是由通過策略確定過程而確定的混合策略來控制的。混合策略被確定為使得或是基于人類感知或是使用(一組)(一個(gè)或多個(gè))質(zhì)量度量而令中間數(shù)據(jù)的圖像質(zhì)量是最優(yōu)的。為此，策略確定過程基于將使用混合策略來生成的中間圖像的所預(yù)測(cè)的圖像質(zhì)量來確定混合策略。
[0014]可選地，該確定基于預(yù)測(cè)的圖像質(zhì)量，預(yù)測(cè)的圖像質(zhì)量取決于中間圖像的圖像細(xì)節(jié)的量。如果圖像細(xì)節(jié)的量大，則在使用了限定使用左中間圖像和右中間圖像兩者的混合的混合策略的情況下，混合將生成偽像，比如模糊和重影。在檢測(cè)到大量圖像細(xì)節(jié)的情況下，混合策略被確定為使得或是基于人類感知或是使用(一組)(一個(gè)或多個(gè))質(zhì)量度量而令中間圖像中所生成的圖像細(xì)節(jié)具有改善的圖像質(zhì)量。
[0015]可選地，通過從與立體數(shù)據(jù)耦合的元數(shù)據(jù)取回混合策略來實(shí)施該確定。策略確定過程離線地確定混合策略并將它存儲(chǔ)在與立體數(shù)據(jù)耦合的元數(shù)據(jù)中。這種工作方式允許使用更復(fù)雜并且成本更高的硬件來進(jìn)行分析。它還允許使元數(shù)據(jù)的生成被整合在由內(nèi)容創(chuàng)作者支配的創(chuàng)作工具中。
[0016]可選地，生成中間圖像包括:從立體視圖視頻序列的相應(yīng)的后續(xù)幀生成后續(xù)中間圖像，所述相應(yīng)的后續(xù)幀各自包括立體數(shù)據(jù)。因而從立體視圖視頻幀生成中間圖像。
[0017]可選地，所述確定包括:在第一實(shí)例處確定用于從第一幀生成第一中間圖像的第一混合策略；以及在第二實(shí)例處確定用于從第二幀生成第二中間圖像的第二混合策略。當(dāng)在混合中使用第一混合策略時(shí)，從第一幀生成的中間圖像具有最優(yōu)圖像質(zhì)量(根據(jù)(一組)(一個(gè)或多個(gè))度量和/或人類感知)。此外，當(dāng)在混合中使用第二混合策略時(shí)，從第二幀生成的中間圖像具有最優(yōu)圖像質(zhì)量。因此使用相應(yīng)的不同混合策略從不同的立體視圖視頻幀生成中間圖像。
[0018]可選地，所述確定包括:在第三實(shí)例處確定用于從第三幀生成第三中間圖像的第三混合策略，其中第三實(shí)例出現(xiàn)在第一實(shí)例之后且在第二實(shí)例之前，并且由第三混合策略限定的第三混合因子位于由第一混合策略限定的第一混合因子與由第二混合策略限定的第二混合因子之間。從實(shí)例在時(shí)間上按照第一、第三、第二來排序并且混合因子也按照第一、第三和第二來排序的意義上說，混合策略因而隨時(shí)間逐漸改變。
[0019]可選地，生成中間圖像包括:從立體數(shù)據(jù)生成一系列中間圖像，該系列對(duì)應(yīng)于一系列中間視點(diǎn)，該系列中間視點(diǎn)是空間上連續(xù)的視點(diǎn)。因此，并不是針對(duì)一個(gè)視點(diǎn)從該立體數(shù)據(jù)生成一個(gè)中間圖像，而是例如對(duì)于多視點(diǎn)顯示器，針對(duì)一系列相應(yīng)的視點(diǎn)從該立體數(shù)據(jù)生成一系列中間圖像。
[0020]可選地，生成第一系列中間圖像包括:使該系列中間視點(diǎn)以第一中央中間視點(diǎn)為中心，并且基于針對(duì)第一中央中間視點(diǎn)的該系列中間圖像的所預(yù)測(cè)圖像質(zhì)量來選取該中央中間視點(diǎn)。使該系列中間視點(diǎn)以中央中間視點(diǎn)為中心意味著向左或向右改變?cè)撓盗兄虚g視點(diǎn)，使得所述中央中間視點(diǎn)目前在觀看者正前方。顯然，如果該系列中視點(diǎn)的數(shù)目是奇數(shù)，則定中心(centering)對(duì)應(yīng)于將該系列的中心視點(diǎn)置于第一中央中間視點(diǎn)處，S卩，在觀看者正前方。在該系列中存在偶數(shù)個(gè)視點(diǎn)的情況下，定中心暗示了兩個(gè)中心視點(diǎn)將等距離地以第一中央中間視點(diǎn)為中心。通過使用混合策略，能夠針對(duì)中央中間視點(diǎn)附近的視點(diǎn)(在整個(gè)視點(diǎn)范圍內(nèi))改善中間圖像的圖像質(zhì)量。該系列視點(diǎn)因此以中央中間視點(diǎn)為中心。
[0021]可選地，生成中間圖像包括:以第一中央中間視點(diǎn)為中心在第一實(shí)例處從第一幀生成第一系列中間圖像；以及以第二中央中間視點(diǎn)為中心在第二實(shí)例處從第二幀生成第二系列中間圖像。通過針對(duì)第一幀和第二幀使用(相同的)混合策略，從第一幀生成的中間圖像的圖像質(zhì)量能夠針對(duì)第一中間視點(diǎn)附近的視點(diǎn)改善，但是第二幀的中間圖像的圖像質(zhì)量能夠針對(duì)第二中間視點(diǎn)附近的視點(diǎn)改善。該系列視點(diǎn)因此以針對(duì)第一幀的第一視點(diǎn)為中心以及以針對(duì)第二幀的第二視點(diǎn)為中心。在第一系列中間視點(diǎn)的第一中央中間視點(diǎn)附近的最終得到的圖像質(zhì)量因此對(duì)于第一幀以及對(duì)于第二幀是最優(yōu)的。
[0022]可選地，生成中間圖像包括:以第三中央中間視點(diǎn)為中心在第三實(shí)例處從第三幀生成第三系列中間圖像，并且其中第三實(shí)例出現(xiàn)在第一實(shí)例之后且在第二實(shí)例之前，并且其中第三視點(diǎn)處于第一視點(diǎn)和第二視點(diǎn)之間。作為該系列中間視點(diǎn)的中心的中央中間視點(diǎn)從第一幀處的第一視點(diǎn)向下一幀處的下一視點(diǎn)(即，第三幀處的第三視點(diǎn))、向第二幀處的第二視點(diǎn)逐漸移位。從實(shí)例在時(shí)間上按照第一、第三、第二排序并且中央視點(diǎn)在空間上也按照第一、第三和第二排序的意義上說，該系列中間視點(diǎn)的移位是隨時(shí)間逐漸地實(shí)施的。
[0023]可選地，混合策略針對(duì)一定范圍的中間視點(diǎn)限定了左中間圖像在混合中的左相對(duì)貢獻(xiàn)并且限定了右中間圖像在混合中的右相對(duì)貢獻(xiàn)，左相對(duì)貢獻(xiàn)和右相對(duì)貢獻(xiàn)中的一個(gè)跨該范圍地對(duì)左相對(duì)貢獻(xiàn)和右相對(duì)貢獻(xiàn)中的另一個(gè)占優(yōu)勢(shì)?；旌喜呗韵薅似渲凶笙鄬?duì)貢獻(xiàn)和右相對(duì)貢獻(xiàn)中的一個(gè)在中間視點(diǎn)的范圍內(nèi)總體更大的混合。這樣的混合策略也被稱為不對(duì)稱混合策略。
[0024]可選地，生成中間圖像包括:與立體數(shù)據(jù)視頻序列相對(duì)地，針對(duì)靜止立體數(shù)據(jù)生成中間圖像。
[0025]可選地，左視差數(shù)據(jù)是從左圖像和右圖像計(jì)算出的，并且右視差數(shù)據(jù)是從左圖像和右圖像計(jì)算出的。視差數(shù)據(jù)不與立體數(shù)據(jù)一起被提供，而是從左圖像和右圖像計(jì)算出的。
[0026]本發(fā)明公開了一種被布置成使用根據(jù)混合策略對(duì)左中間圖像和右中間圖像進(jìn)行的混合而針對(duì)中間視點(diǎn)從立體數(shù)據(jù)生成中間圖像的系統(tǒng)?；旌喜呗詫⒆笾虚g圖像和右中間圖像在混合中的相對(duì)貢獻(xiàn)限定為中間視點(diǎn)的函數(shù)。立體數(shù)據(jù)包括左數(shù)據(jù)和右數(shù)據(jù)，其中左數(shù)據(jù)與左視點(diǎn)相對(duì)應(yīng)并且左數(shù)據(jù)包括左圖像和左視差數(shù)據(jù)，而且，右數(shù)據(jù)與右視點(diǎn)相對(duì)應(yīng)并且右數(shù)據(jù)包括右圖像和右視差數(shù)據(jù)。中間圖像與中間視點(diǎn)相對(duì)應(yīng)。左中間圖像是針對(duì)中間視點(diǎn)而從左數(shù)據(jù)生成的。右中間圖像是針對(duì)中間視點(diǎn)而從右數(shù)據(jù)生成的。該系統(tǒng)包括生成單元，所述生成單元被布置成執(zhí)行:預(yù)測(cè)功能，用于基于立體數(shù)據(jù)的圖像特性針對(duì)多個(gè)混合策略中的每一個(gè)來預(yù)測(cè)中間圖像的圖像質(zhì)量；以及混合策略功能，用于通過基于中間圖像的所預(yù)測(cè)的圖像質(zhì)量去從所述多個(gè)混合策略中選取混合策略而確定混合策略；以及左扭曲功能，用于當(dāng)所確定的混合策略如此要求時(shí)，針對(duì)中間視點(diǎn)從左數(shù)據(jù)生成左中間圖像；以及右扭曲功能，用于當(dāng)所確定的混合策略如此要求時(shí)，針對(duì)中間視點(diǎn)從右數(shù)據(jù)生成右中間圖像，以及混合功能，用于通過根據(jù)所確定的混合策略使用相對(duì)貢獻(xiàn)去混合左中間圖像和右中間圖像，來生成中間圖像。該系統(tǒng)包括實(shí)施上面描述的過程、方法的功能。
[0027]可選地，中間圖像被用來驅(qū)動(dòng)多視點(diǎn)顯示器。多視點(diǎn)顯示器沿多個(gè)方向輸出多個(gè)視圖，進(jìn)而允許觀看者在其相對(duì)于多視點(diǎn)顯示器被適當(dāng)定位時(shí)用她的左眼看左圖像并用她的右眼看右圖像。
[0028]本發(fā)明的效果是:由于混合策略是取決于圖像內(nèi)容而做出的，所以能夠改善中間圖像數(shù)據(jù)的圖像質(zhì)量。
【附圖說明】
[0029]本發(fā)明的這些和其他方面從下文描述的實(shí)施例中是明顯的，并且將參考下文描述的實(shí)施例被闡明。
[0030]在附圖中，
圖1a圖示了用于從立體數(shù)據(jù)生成中間圖像的方法，
圖1b圖示了以離線方式確定混合策略的策略確定過程，
圖1c圖示了使用圖像細(xì)節(jié)檢測(cè)的策略確定過程，
圖2圖示了多視點(diǎn)顯示器的多個(gè)視點(diǎn)，