用于3d立體視差估計(jì)的自適應(yīng)彩色空間轉(zhuǎn)換的制作方法
【專利摘要】本發(fā)明涉及用于處理圖像信號(hào)的方法，該圖像信號(hào)具有至少兩個(gè)優(yōu)選三個(gè)通道，該方法包括以下步驟：分析每個(gè)通道的信息量；以及使用每個(gè)通道的權(quán)重因數(shù)（Wr、Wg、Wb）將所述通道轉(zhuǎn)換成單通道，其中，所述權(quán)重因數(shù)依據(jù)各個(gè)通道的信息量進(jìn)行調(diào)整。
【專利說(shuō)明】用于3D立體視差估計(jì)的自適應(yīng)彩色空間轉(zhuǎn)換
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于處理具有至少兩個(gè)最好三個(gè)通道的圖像信號(hào)的方法。本發(fā)明還涉及用于處理圖像信號(hào)和計(jì)算機(jī)程序的裝置。
【背景技術(shù)】
[0002]在許多3D立體應(yīng)用中，例如所謂的視差圖基于兩個(gè)攝像機(jī)提供的兩個(gè)視圖計(jì)算。視差圖，包括通過(guò)比較兩個(gè)圖像獲得的相對(duì)深度信息。視差圖通常在特定處理階段是必不可少的，用于改善呈現(xiàn)給用戶的圖像。計(jì)算視差圖的一個(gè)步驟為可以看為，例如左圖像和右圖像的兩個(gè)或更多的圖像之間的對(duì)應(yīng)搜索的視差估計(jì)。既然每個(gè)圖像通常包括三個(gè)通道，即RGB或者YUV通道，那么對(duì)應(yīng)搜索使用來(lái)自左圖像和右圖像的所有通道的信息。然而，上述過(guò)程需要復(fù)雜的硬件，例如用于存儲(chǔ)所有通道的大容量存儲(chǔ)器并且十分費(fèi)時(shí)。因?yàn)槌杀締?wèn)題，有系統(tǒng)僅使用一個(gè)通道，通常為圖像的亮度(Y)通道，用于對(duì)應(yīng)搜索。
[0003]盡管基于單通道，例如亮度(Y)通道，的視差估計(jì)，在實(shí)際上工作良好，仍然要求進(jìn)一步改善視差估計(jì)步驟。

【發(fā)明內(nèi)容】

[0004]本發(fā)明的目標(biāo)是提供一種可以改善視差估計(jì)的圖像信號(hào)處理方法。本發(fā)明的進(jìn)一步目標(biāo)是提供一種可以改善視差估計(jì)的圖像信號(hào)處理裝置。
[0005]根據(jù)本發(fā)明的一方面，提供了一種用于處理具有至少兩個(gè)優(yōu)選三個(gè)通道的圖像信號(hào)的方法，包括以下步驟:
[0006]分析包含在每個(gè)通道中的信息量，以及
[0007]使用每個(gè)通道的權(quán)重因數(shù)將所述通道轉(zhuǎn)換成單通道，其中所述權(quán)重因數(shù)依據(jù)每個(gè)通道的信息量進(jìn)行調(diào)整。
[0008]該工具，換句話說(shuō)，由例如RGB或者YUV通道的兩個(gè)或三個(gè)通道獲得的單通道根據(jù)取決于圖像的量自適應(yīng)方案(和現(xiàn)有技術(shù)中的固定方案大不相同)生成。例如，如果其中一個(gè)通道包含較少信息，當(dāng)將所述通道轉(zhuǎn)換為單通道時(shí)，減少所述該通道的權(quán)重因數(shù)。結(jié)果，轉(zhuǎn)換的所述單通道與非自適應(yīng)轉(zhuǎn)換步驟相比包括更多信息，這會(huì)增加以下視差估計(jì)的性倉(cāng)泛。
[0009]實(shí)現(xiàn)該方法的必要努力相對(duì)較低，因?yàn)榭梢允褂猛ǔＲ呀?jīng)存在于3D顯示裝置中的一個(gè)色彩校準(zhǔn)模塊。為了將具有由于不同的相機(jī)造成的不同的色彩亮度和對(duì)比度的圖像調(diào)整至相似的等級(jí)，通常需要該色彩校準(zhǔn)模塊。該色彩校準(zhǔn)模塊的一種功能是分析圖像。該能力同樣可以用來(lái)分析每個(gè)通道的信息量，每個(gè)通道的信息量為調(diào)整所述權(quán)重因數(shù)的基礎(chǔ)。
[0010]根據(jù)本發(fā)明的另一方面，提供了一種用于處理圖像信號(hào)的裝置，該圖像信號(hào)具有至少兩個(gè)優(yōu)選三個(gè)通道，該裝置包括:適于分析每個(gè)通道的信息量的分析單元，適于使用每個(gè)通道的權(quán)重因數(shù)將所述通道轉(zhuǎn)換為單通道的轉(zhuǎn)換單元，以及適于依據(jù)每個(gè)通道的所述信息量調(diào)整每個(gè)通道的所述權(quán)重因數(shù)的權(quán)重因數(shù)調(diào)整單元。
[0011]根據(jù)本發(fā)明的另一方面，提供一種包括程序代碼的計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序在裝置上執(zhí)行時(shí)，使裝置執(zhí)行根據(jù)本發(fā)明所述方法的步驟。
[0012]本發(fā)明的優(yōu)選實(shí)施方式在從屬權(quán)利要求中被限定。應(yīng)當(dāng)理解要求的裝置與要求的計(jì)算機(jī)程序具有與要求的方法和在從屬權(quán)利要求中所定義的相似和/或相同的優(yōu)選實(shí)施方式。
[0013]所述本發(fā)明基于，使用根據(jù)通道的信息量動(dòng)態(tài)地適應(yīng)的權(quán)重因數(shù)，轉(zhuǎn)換例如三個(gè)RGB通道成為一個(gè)單通道的概念。如果圖像例如包括大部分相似的藍(lán)色(例如，天空)，藍(lán)色通道會(huì)包括非常少的信息使得本發(fā)明賦予該通道減小的權(quán)重。結(jié)果，其他通道，例如R和G通道，在轉(zhuǎn)換的單通道中占有更多優(yōu)勢(shì)。使用單通道的視差估計(jì)的性能可以因此得到改善。
【專利附圖】

【附圖說(shuō)明】
[0014]本發(fā)明的這些和其它方面從下文可以顯而易見并且參考本文中說(shuō)明的實(shí)施方式進(jìn)行更詳細(xì)說(shuō)明。
[0015]圖1示出了一種用于說(shuō)明創(chuàng)造性方法和創(chuàng)造性設(shè)備的結(jié)構(gòu)的方框圖。
【具體實(shí)施方式】
[0016]3D立體觀測(cè)裝置，例如電視機(jī)、投影儀、膝上型電腦、筆記本、個(gè)人計(jì)算機(jī)、平板電腦等具有顯示由一個(gè)用于左眼和另一個(gè)用于右眼的兩個(gè)圖像序列組成的3D視頻內(nèi)容的能力。左眼和右眼圖像之間逐像素的位移，被稱為視差，直接與用戶察覺(jué)到的物體的深度相關(guān)。該3D立體觀測(cè)裝置包括用于視差估計(jì)和/或計(jì)算視差圖的線路。視差圖例如用于放置文本或者圖像為3D場(chǎng)景，以便產(chǎn)生新視圖或者調(diào)整所述場(chǎng)景和物體的深度以符合觀看者的舒適度。例如，當(dāng)觀看立體3D內(nèi)容時(shí)，用戶為了享受更愉快和舒服的觀看體驗(yàn)可能需要調(diào)整在3D場(chǎng)景中的物體的深度。
[0017]基于視差圖，可以執(zhí)行深度調(diào)整。
[0018]視差估計(jì)單元的運(yùn)行通常是已知，因此不用再重復(fù)詳細(xì)地說(shuō)明。所述視差估計(jì)單元的運(yùn)行可以簡(jiǎn)要的概述為在左/右邊圖像對(duì)中的一個(gè)圖像中對(duì)一個(gè)圖像的內(nèi)容的對(duì)應(yīng)搜索。于是兩者圖像中的內(nèi)容的確定的位移為視差的測(cè)量。
[0019]視差估計(jì)單元從而接收?qǐng)D像對(duì)的左圖像和右圖像。由于圖像通常由若干通道組成，例如RGB視頻信號(hào)的RGB通道，在最好的情形中，視差估計(jì)單元使用圖像的所有通道進(jìn)行視差估計(jì)。
[0020]然而，由于成本原因，在此所述視差估計(jì)單元可能僅接收一個(gè)通道。該單通道通常是基于固定的標(biāo)準(zhǔn)化方案從RGB通道中獲得的亮度通道Y。特別地，所述亮度通道根據(jù)以下公式計(jì)算:
[0021]Y=Wr.R+ffg.G+ffb.B
[0022]其中R、G、B是RGB信號(hào)的通道，以及是在標(biāo)準(zhǔn)ITU.BT601或者ITU.BT709中定義的權(quán)重因數(shù)。
[0023]在ITU.BT601 標(biāo)準(zhǔn)中，權(quán)重因數(shù)例如是 1=0.299、Wg=0.587 以及 Wb=0.114。
[0024]使用從三個(gè)通道信號(hào)中獲得的一個(gè)單通道進(jìn)行視差估計(jì)，使得所述視差估計(jì)的計(jì)算復(fù)雜度可以減小。
[0025]在下文中，一種從例如三個(gè)通道定義的圖像中產(chǎn)生單通道的改善的方法參考圖1進(jìn)行描述。
[0026]在圖1中示意性地以方框圖的形式示出一種為在視差估計(jì)單元中進(jìn)一步處理提供的轉(zhuǎn)換圖像信號(hào)的三個(gè)通道成一個(gè)通道的系統(tǒng)。該系統(tǒng)可以是屬于在電視機(jī)、投影儀、膝上型電腦、筆記本、個(gè)人計(jì)算機(jī)、平板電腦等中的圖象處理系統(tǒng)。在圖1中，該系統(tǒng)通常用參考標(biāo)號(hào)10表示。所述系統(tǒng)包括色彩校準(zhǔn)分析單元12、色彩校準(zhǔn)修正單元14、自適應(yīng)色彩轉(zhuǎn)換單元16以及視差估計(jì)單元18。單元12至18可以以硬件和/或軟件實(shí)現(xiàn)。
[0027]色彩校準(zhǔn)分析單元12和色彩校準(zhǔn)修正單元14都接收左圖像和右圖像作為輸入信號(hào)。在本實(shí)施方式中提供的左圖像和右圖像由三個(gè)通道，即一起構(gòu)成已知的RGB信號(hào)的R通道、G通道以及B通道組成。如同在本領(lǐng)域中已知的，RGB信號(hào)基于RGB顏色模型，其中紅色、綠色和藍(lán)色以各種各樣的方式填加到一起將廣泛的大量顏色再生。
[0028]色彩校準(zhǔn)分析單元12和色彩校準(zhǔn)修正單元14首先執(zhí)行“色彩校準(zhǔn)”以使左-右圖像對(duì)的圖像在一個(gè)相似的等級(jí)中。完成該色彩校準(zhǔn)的原因是因?yàn)?，取決于不同的配置通過(guò)攝像機(jī)捕捉的圖像可能具有不同的色彩、亮度和對(duì)比度。所述色彩校準(zhǔn)修正的結(jié)果然后被傳輸?shù)狡渌珉娨暀C(jī)中的處理單元，然而本傳輸沒(méi)有在圖中示出。
[0029]如圖所示，由色彩校準(zhǔn)修正單元14提供的校準(zhǔn)的左圖像和右圖像被傳輸?shù)阶赃m應(yīng)色彩轉(zhuǎn)換單元16。該單元適于將圖像的三個(gè)通道轉(zhuǎn)換成一個(gè)單通道然后提供給后處理單元，例如視差估計(jì)單元18。
[0030]三個(gè)通道的轉(zhuǎn)換與如在ITU.BT601中定義的實(shí)施例的亮度信號(hào)的轉(zhuǎn)換十分相似。詳細(xì)地，各個(gè)通道R、G、B與特定的權(quán)重因數(shù)和Wb相乘，然后該結(jié)果相加成為單個(gè)信號(hào)Y'。相應(yīng)的等式為:
[0031]Y' =Wr.R+ffg.G+ffb.B.[0032]所述標(biāo)準(zhǔn)的轉(zhuǎn)換定義固定的權(quán)重因數(shù)，換句話說(shuō)W,=0.299、Wg=0.587以及Wb=0.114，其中三個(gè)權(quán)重因數(shù)之和為I。
[0033]在本實(shí)施方式中，然而權(quán)重因數(shù)WpWg和Wb不是預(yù)定的固定值，而取決于圖像的信息量動(dòng)態(tài)地適應(yīng)。即換句話說(shuō)，所述權(quán)重因數(shù)在O至I的范圍內(nèi)改變。為了維持權(quán)重因數(shù)之和總是1，一個(gè)通道的權(quán)重因數(shù)的增加總是導(dǎo)致至少另一個(gè)權(quán)重因數(shù)的減小。
[0034]例如，如果通道I的信息量是I (1)，通道2的信息量是I (2)以及通道η的信息量是I U)，各個(gè)通道的權(quán)重因數(shù)可以根據(jù)以下公式計(jì)算出來(lái):
[0035]Wn=I (n)/SUM (I (I)..1 (η))
[0036]可以想象為各個(gè)權(quán)重因數(shù)的上和/或下級(jí)限是被定義的。例如，在本實(shí)施方式中Wr和Wb的上限可以是0.5。
[0037]通常，確定的自適應(yīng)權(quán)重因數(shù)應(yīng)當(dāng)反映通道的信息量。如果通道比另一個(gè)通道包括更多信息，則應(yīng)當(dāng)增加相應(yīng)的權(quán)重因數(shù)。如果通道包括較少的信息，則應(yīng)當(dāng)減小相應(yīng)的權(quán)重因數(shù)。這種一般規(guī)則基于如果所述單通道包括盡可能多的信息則可以改善例如所述視差估計(jì)的所述后處理的假設(shè)。
[0038]例如，如果大部分圖像包括同樣的色彩，例如藍(lán)天，所述相應(yīng)的藍(lán)色通道包括多數(shù)相似的值并且因此包含較少的信息。在這種情況下，權(quán)重因數(shù)減小。因此，至少其它通道的之中的一個(gè)通道增加并且在轉(zhuǎn)換的單通道Y'中獲得更多的相關(guān)性。
[0039]如同已經(jīng)在上文中描述的，系統(tǒng)10包括色彩校準(zhǔn)分析單元12，該單元首先設(shè)置用于均衡兩個(gè)圖像之間的色彩、亮度和對(duì)比度。色彩校準(zhǔn)分析單元12因此適于考慮色彩、亮度和對(duì)比度分析左圖像和右圖像。
[0040]該信息現(xiàn)在可以同樣通過(guò)自適應(yīng)色彩轉(zhuǎn)換單元16使用，自適應(yīng)色彩轉(zhuǎn)換單元16接收來(lái)自色彩校準(zhǔn)分析單元12的相應(yīng)的分析信號(hào)。根據(jù)該分析信號(hào)，自適應(yīng)色彩轉(zhuǎn)換單元16為轉(zhuǎn)換步驟調(diào)整權(quán)重因數(shù)。應(yīng)注意用于轉(zhuǎn)換左圖像和右圖像的權(quán)重因數(shù)是相同的，即兩者圖像的RGB通道。
[0041]例如，如果色彩校準(zhǔn)分析單元12確定R通道包括較少信息，在IYU.BT601中定義的常規(guī)權(quán)重因數(shù)Wr=0.299會(huì)減少為Wr=0.2。然后差0.099被加到剩余權(quán)重因數(shù)Wg和Wb使得權(quán)重因數(shù)之和仍然是I。
[0042]然后這些自適應(yīng)權(quán)重因數(shù)被應(yīng)用于左圖像和右圖像的三個(gè)通道，單通道Y' (—個(gè)用于左圖像，一個(gè)用于右圖像)生成為用于左側(cè)圖像以及右側(cè)圖像的自適應(yīng)色彩轉(zhuǎn)換單元16的輸出。然后，包括圖像的最初通道RGB的信息的單通道Y'，被提供給視差估計(jì)單元18作進(jìn)一步處理。
[0043]然而，同樣可以想到由自適應(yīng)色彩轉(zhuǎn)換單元16制造的單通道Y'同樣用于另一個(gè)單元，例如在此僅作為進(jìn)一步實(shí)例提到的運(yùn)動(dòng)檢測(cè)單元。
[0044]此外，應(yīng)注意，除了 RGB通道作為自適應(yīng)色彩轉(zhuǎn)換單元16的輸入之外，其它通道同樣可以使用自適應(yīng)權(quán)重因數(shù)產(chǎn)生單通道。
[0045]如果單通道被用于運(yùn)動(dòng)估計(jì)，在2D電視機(jī)中同樣可以提供系統(tǒng)10，其中，不再需要色彩校準(zhǔn)修正單元14。所述自適應(yīng)色彩轉(zhuǎn)換單元16在2D電視機(jī)僅接收一個(gè)圖像進(jìn)行分析的情況下，將僅需要來(lái)自色彩校準(zhǔn)分析單元12的分析信號(hào)。
[0046]另外可以想象的至少一個(gè)權(quán)重因數(shù)可以通過(guò)手動(dòng)調(diào)整或者再調(diào)整。為該目的，自適應(yīng)色彩轉(zhuǎn)換單元16包括相應(yīng)的輸入，接收由參考標(biāo)號(hào)19指示的輸入信號(hào)。
[0047]本發(fā)明在附圖和以上說(shuō)明中已經(jīng)進(jìn)行詳細(xì)圖示和說(shuō)明，但是所述圖示和說(shuō)明應(yīng)當(dāng)視為說(shuō)明性或者示例性的而不是限制性的。本發(fā)明并不限于所公開實(shí)施方式。在研究附圖、公開內(nèi)容和所附權(quán)利要求之后，本領(lǐng)域技術(shù)人員在實(shí)踐本發(fā)明中可以理解并且實(shí)現(xiàn)對(duì)于所公開實(shí)施方式的其它變形例。
[0048]在權(quán)利要求中，單詞“包括(comprising)”并不排除其它元件或步驟，并且不定冠詞“a”或“an”并不排除復(fù)數(shù)。單個(gè)元件或其它元件可實(shí)現(xiàn)權(quán)利要求中敘述的幾個(gè)項(xiàng)的功能。某些措施在相互不同的從屬權(quán)利要求中敘述的事實(shí)并不表示這些措施的組合無(wú)法有利地使用。
[0049]計(jì)算機(jī)程序可以被存儲(chǔ)/分發(fā)到合適的非瞬時(shí)媒介，例如光存儲(chǔ)媒介或與其他硬件一起提供或作為其他硬件一部分提供的固態(tài)媒介上，但是也可以以其他形式被分發(fā)，例如經(jīng)由互聯(lián)網(wǎng)或其他有線或無(wú)線的電信系統(tǒng)。
[0050]權(quán)利要求中任何參考符號(hào)不應(yīng)被解釋為限制范圍。
【權(quán)利要求】
1.用于處理圖像信號(hào)的方法，所述圖像信號(hào)具有至少兩個(gè)優(yōu)選三個(gè)通道，所述方法包括以下步驟: 分析每個(gè)通道的信息量，以及 使用每個(gè)通道的權(quán)重因數(shù)(Wpwg、wb)將所述通道轉(zhuǎn)換成單通道，其中，所述權(quán)重因數(shù)依據(jù)每個(gè)通道的信息量進(jìn)行調(diào)整。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述通道是RGB信號(hào)的通道。
3.根據(jù)權(quán)利要求1或2所述的方法，其中，轉(zhuǎn)換的所述單通道是亮度通道。
4.根據(jù)權(quán)利要求3所述的方法，其中，所述圖像信號(hào)是包含左圖像和右圖像的3D圖像信號(hào)。
5.根據(jù)權(quán)利要求4所述的方法，其中，所述亮度通道被用于視差估計(jì)步驟。
6.根據(jù)權(quán)利要求3所述的方法，其中，所述亮度通道被用于運(yùn)動(dòng)估計(jì)步驟。
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，其中，通道的權(quán)重因數(shù)在該通道中的信息量經(jīng)過(guò)分析高于另一個(gè)通道時(shí)被增大，并且減小所述另一個(gè)通道的權(quán)重因數(shù)。
8.根據(jù)權(quán)利要求7所述的方法，其中，所述權(quán)重因數(shù)之和為I。
9.根據(jù)權(quán)利要求1至8中任一項(xiàng)所述的方法，其中，所述權(quán)重因數(shù)可手動(dòng)調(diào)整。
10.根據(jù)權(quán)利要求1至9中任一項(xiàng)所述的方法，其中，所述分析步驟在色彩校準(zhǔn)步驟過(guò)程中執(zhí)行。
11.用于處理圖像信號(hào)的裝置，所述圖像信號(hào)具有至少兩個(gè)優(yōu)選三個(gè)通道，所述裝置包括: 分析單元，適于分析每個(gè)通道的信息量； 轉(zhuǎn)換單元，適于使用每個(gè)通道的權(quán)重因數(shù)將所述通道轉(zhuǎn)換為單通道；以及 權(quán)重因數(shù)調(diào)整單元，適于依據(jù)每個(gè)通道的所述信息量調(diào)整每個(gè)通道的所述權(quán)重因數(shù)。
12.根據(jù)權(quán)利要求11所述的裝置，其中，所述通道是RGB信號(hào)的通道。
13.根據(jù)權(quán)利要求11或12所述的裝置，其中，轉(zhuǎn)換的所述單通道是亮度通道。
14.根據(jù)權(quán)利要求13所述的裝置，其中，所述圖像信號(hào)是包含左圖像和右圖像的3D圖像信號(hào)。
15.根據(jù)權(quán)利要求13的裝置，包括適于接收所述亮度通道的視差估計(jì)單元。
16.根據(jù)權(quán)利要求13的裝置，包括適于接收所述亮度通道的運(yùn)動(dòng)估計(jì)單元。
17.根據(jù)權(quán)利要求12至16中任一項(xiàng)所述的裝置，其中，所述權(quán)重因數(shù)調(diào)整單元適于使通道的權(quán)重因數(shù)在該通道中的信息量經(jīng)過(guò)分析高于另一個(gè)通道時(shí)增加，并且減小所述另一個(gè)通道的權(quán)重因素。
18.根據(jù)權(quán)利要求17所述的裝置，其中，所述權(quán)重因數(shù)之和為I。
19.根據(jù)權(quán)利要求12至18中任一項(xiàng)所述的裝置，其中，所述權(quán)重因數(shù)調(diào)整單元適于允許手動(dòng)調(diào)整所述權(quán)重因數(shù)。
20.一種計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序代碼工具，用于在設(shè)備上執(zhí)行所述計(jì)算機(jī)程序時(shí)，使優(yōu)選權(quán)利要求11的設(shè)備執(zhí)行權(quán)利要求1所要求的所述方法的步驟。
【文檔編號(hào)】H04N13/00GK103828356SQ201280046719
【公開日】2014年5月28日 申請(qǐng)日期:2012年9月26日 優(yōu)先權(quán)日:2011年9月26日
【發(fā)明者】皮爾喬治·薩托, 蒂莫·埃梅里希 申請(qǐng)人:索尼公司