專利名稱：用于編碼和解碼立體視頻的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于一種對立體(stereoscope)視頻編碼和解碼的方法和設(shè)備。更特別地，本發(fā)明涉及一種方法和設(shè)備，用于通過使用傳統(tǒng)的MPEG-4MAC(多重輔助分量)，將立體視頻編碼和解碼為編碼流。
背景技術(shù)：
作為傳統(tǒng)的立體視頻編碼方法，已經(jīng)開發(fā)出MVP(多視圖剖面)方法，用于擴展MPEG-2技術(shù)中的二維視頻編碼技術(shù)。關(guān)于MVP方法，用于通過使用運動補償執(zhí)行編碼的基礎(chǔ)層的編碼結(jié)構(gòu)對應(yīng)于MPEG-2MP(主剖面)的編碼結(jié)構(gòu)，因此，當傳統(tǒng)的二維視頻解碼器重構(gòu)基礎(chǔ)層的數(shù)據(jù)時，重構(gòu)左和右圖像之一，從而保持與現(xiàn)有的二維視頻解碼器系統(tǒng)的兼容性。增強層的編碼器使用右和左圖像之間提供的相關(guān)性信息執(zhí)行編碼。這是通過使用時間可擴展性(temporal scalability)用于執(zhí)行編碼的方法，并且MPEG-4標準也已經(jīng)使用立體視頻編碼定義了時間可擴展性。
上述現(xiàn)有技術(shù)已經(jīng)由標題為“Digital 3D/stereoscope video compensationtechnique utilizing two disparity estimates(利用兩個不一致估計的數(shù)字3D/立體視頻補償技術(shù))”的美國專利no.5,612,735公開。關(guān)于時間可擴展性基礎(chǔ)上的專利‘735，基礎(chǔ)層使用運動補償算法和DCT(離散余弦變換)基礎(chǔ)算法以對左眼的圖像編碼，而增強層使用基礎(chǔ)層和增強層之間的不一致(disparity)信息以對右眼的圖像編碼，而沒有對右眼圖像的運動補償。
同樣地，關(guān)于標題為“Digital 3D/stereoscope video compensation techniqueutilizing disparity and motion compensated prediction(利用不一致和運動補償?shù)念A(yù)測的數(shù)字3D/立體視頻補償技術(shù))”的美國專利no.5,619,256，基礎(chǔ)層使用運動補償算法和DCT基礎(chǔ)算法以對左眼的圖像編碼，而增強層在時間可擴展性基礎(chǔ)上，以類似于專利‘735的方式，使用關(guān)于右眼圖像間的運動補償和基礎(chǔ)層和增強層之間的不一致的信息，對右眼的圖像編碼。通過使用運動和不一致信息，這種方法通過執(zhí)行編碼達到有效的壓縮率，但是該方法具有復(fù)雜的編碼結(jié)構(gòu)，并且以硬連線的方式難于實現(xiàn)該方法，并且處理HDTV圖像時該方法要求大量的計算。
因此，在通過使用時間可擴展性對立體視頻編碼的情況下，為簡化右和左圖像之間的同步問題，可能(problematically)需要額外的多路復(fù)用器，用于作為單一的流發(fā)射分別由基礎(chǔ)層和增強層輸出的編碼流。
傳統(tǒng)的多視圖視頻編碼方法包括一種方法，用于通過使用包含象素的不一致向量值的不一致圖(map)執(zhí)行編碼，該方法已經(jīng)由標題為“Method andapparatus for compressing multi-view video(用于壓縮多視圖視頻的方法和裝置)”的美國專利no.6,055,274公開。
專利‘274對第一圖像(左圖像)的全部圖像數(shù)據(jù)編碼，并且從第一圖像和第二圖像(右圖像)產(chǎn)生包含用于各象素的不一致向量值的不一致圖，以執(zhí)行對運動補償?shù)牟灰恢孪蛄康木幋a，并且使用編碼后重構(gòu)的第一圖像來不一致補償重構(gòu)的不一致圖，并且對產(chǎn)生的第二圖像和輸入的第二原始圖像之間的殘留(residual)圖像數(shù)據(jù)編碼。這種方法可能輸出多個編碼流，并且另外需要多路復(fù)用器用于以單一流的格式發(fā)射它們。
為了使用傳統(tǒng)的用于二維圖像的MPEG編解碼器，并且執(zhí)行立體視頻中右和左圖像間的簡單同步，在Andrew Woods、Tom Docherty和Rolf Koch的“3D video standards conversion，stereoscopic displays and applications”的學報(VII，California，F(xiàn)eb.1996，Proceedings of the SPIE vol.1653A)中的五種方法中，已經(jīng)提出用于右和左圖像分別減少1/2并將它們轉(zhuǎn)換為二維標準圖像的方法。
上面的技術(shù)也已經(jīng)在標題為“Stereoscopic coding system(立體編碼系統(tǒng))”的美國專利no.5,633,682中公開。
如‘682公開的發(fā)明選擇奇場圖像用于左眼的圖像，并選擇偶場圖像用于右眼的圖像，從而轉(zhuǎn)換它們?yōu)閱我粓D像，因此關(guān)于現(xiàn)存的二維圖像對轉(zhuǎn)換的單一圖像執(zhí)行MPEG編碼。這個方法考慮快門(shuttering)方法，用于在顯示立體視頻的情況下交替顯示右和左圖像，并且該方法不適合于同時顯示右和左圖像的偏振顯示。

發(fā)明內(nèi)容
本發(fā)明的優(yōu)勢是對使用現(xiàn)有的MPEG-4編碼技術(shù)和系統(tǒng)保持兼容性，并且最小化右和左圖像間同步的復(fù)雜度。
本發(fā)明的另一個優(yōu)勢是選擇性地控制圖像的質(zhì)量并且根據(jù)圖像的重要性或者復(fù)雜度對圖像編碼，從而改進編碼效率。
在本發(fā)明的第一方面中，一種用于對包括第一和第二圖像的立體視頻編碼的方法包含(a)對第一圖像編碼，并且輸出第一圖的量化的視頻對象和運動向量；(b)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；以及(c)根據(jù)基于象素的水平不一致圖和運動向量，對水平不一致圖編碼并輸出量化的水平不一致圖。
在本發(fā)明的第二方面中，一種用于對包括第一和第二圖像的立體視頻編碼的方法包含(a)對第一圖像編碼，并且輸出第一圖的量化的視頻對象和運動向量；(b)對(a)中輸出的量化的視頻對象解碼，并且重構(gòu)第一圖像；(c)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；(d)根據(jù)基于象素的水平不一致圖和運動向量，對水平不一致圖編碼并輸出量化的水平不一致圖；(e)重構(gòu)(d)中輸出的量化的水平不一致圖，并且輸出重構(gòu)的水平不一致圖；(f)根據(jù)(b)中重構(gòu)的第一圖像的象素值和(e)中重構(gòu)的水平不一致圖的水平不一致向量值，執(zhí)行不一致補償并且輸出不一致補償?shù)牡诙D像的象素值；以及(g)對第二圖像的象素值和(f)中輸出的不一致補償?shù)牡诙D像的象素值執(zhí)行殘留過程，以輸出亮度殘留紋理，并且對亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
在本發(fā)明的第三方面中，一種用于對包括第一和第二圖像的立體視頻編碼的方法包含(a)對第一圖像編碼，并且輸出第一圖像的量化的視頻對象和運動向量；(b)對(a)中輸出的量化的視頻對象解碼，并且重構(gòu)第一圖像；(c)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖和基于象素的垂直不一致圖；(d)根據(jù)基于象素的水平不一致圖和運動向量，對水平不一致圖編碼并輸出量化的水平不一致圖；(e)根據(jù)基于象素的垂直不一致圖和運動向量，對垂直不一致圖編碼并輸出量化的垂直不一致圖；(f)重構(gòu)(d)中輸出的量化的水平不一致圖，并且輸出重構(gòu)的水平不一致圖；(g)重構(gòu)(d)中輸出的量化的垂直不一致圖，并且輸出重構(gòu)的垂直一致圖；(h)根據(jù)(b)中重構(gòu)的第一圖像的象素值、(f)中重構(gòu)的水平不一致圖的水平不一致向量值和(h)中重構(gòu)的垂直不一致圖的垂直不一致向量值，執(zhí)行不一致補償并輸出不一致補償?shù)牡诙D像的象素值；以及(i)對第二圖像的象素值和(h)中輸出的不一致補償?shù)牡诙D像的象素值執(zhí)行殘留過程，以輸出亮度殘留紋理，并且對亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
在本發(fā)明的第四方面中，一種用于對包括第一和第二圖像的立體視頻解碼的方法包含(a)接收編碼流，并且輸出第一圖像的視頻對象的量化數(shù)據(jù)、運動向量和水平不一致圖的量化數(shù)據(jù)；(b)根據(jù)視頻對象的量化數(shù)據(jù)和運動向量對視頻對象解碼并且重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運動向量對水平不一致圖的量化數(shù)據(jù)解碼；以及(d)根據(jù)重構(gòu)的第一圖像和解碼的水平不一致圖執(zhí)行不一致補償，并且重構(gòu)第二圖像。
在本發(fā)明的第五方面中，一種用于對包括第一和第二圖像的立體視頻解碼的方法包含(a)接收編碼流，并且輸出第一圖像的視頻對象的量化數(shù)據(jù)、運動向量、水平不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；(b)根據(jù)視頻對象的量化數(shù)據(jù)和運動向量對視頻對象解碼并且重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運動向量對水平不一致圖的量化數(shù)據(jù)解碼；(d)根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運動向量對亮度殘留紋理的量化數(shù)據(jù)解碼；(e)根據(jù)重構(gòu)的第一圖像和解碼的水平不一致圖執(zhí)行不一致補償，并且輸出不一致補償?shù)牧炼燃y理；以及(f)將不一致補償?shù)牧炼燃y理和(d)中重構(gòu)的亮度殘留紋理相加以重構(gòu)第二圖像。
在本發(fā)明的第六方面中，一種用于對包括第一和第二圖像的立體視頻解碼的方法包含(a)接收編碼流，并且輸出第一圖像的視頻對象的量化數(shù)據(jù)、運動向量、水平不一致圖的量化數(shù)據(jù)、垂直不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；(b)根據(jù)視頻對象的量化數(shù)據(jù)和運動向量對視頻對象解碼并且重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運動向量對水平不一致圖的量化數(shù)據(jù)解碼；(d)根據(jù)垂直不一致圖的量化數(shù)據(jù)和運動向量對垂直不一致圖的量化數(shù)據(jù)解碼；(e)根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運動向量對亮度殘留紋理的量化數(shù)據(jù)解碼；(f)根據(jù)重構(gòu)的第一圖像、解碼的水平不一致圖和解碼的垂直不一致圖執(zhí)行不一致補償，并且輸出不一致補償?shù)牧炼燃y理；以及(g)將不一致補償?shù)牧炼燃y理和(e)中重構(gòu)的亮度殘留紋理相加以重構(gòu)第二圖像。
在本發(fā)明的第七方面中，一種用于包括第一和第二圖像的立體視頻的編碼器包含視頻對象編碼器，用于對第一圖像編碼，并且輸出第一圖像的量化的視頻對象和運動向量；不一致估計器，用于接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；以及輔助分量編碼器，用于根據(jù)由不一致估計器輸出的基于象素的水平不一致圖和由視頻對象編碼器輸出的運動向量，對水平不一致圖編碼并且輸出量化的水平不一致圖。
在本發(fā)明的第八方面中，一種用于包括第一和第二圖像的立體視頻的編碼器，包含視頻對象編碼器，用于對第一圖像編碼以輸出第一圖像的量化的視頻對象和運動向量，并且對量化的視頻對象編碼以輸出重構(gòu)的第一圖像；不一致估計器，用于接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；第一輔助分量編碼器，用于對水平不一致圖編碼以輸出量化的水平不一致圖，并且根據(jù)由不一致估計器輸出的基于象素的水平不一致圖和由視頻對象編碼器輸出的運動向量，對輸出和量化的水平不一致圖解碼以輸出重構(gòu)的水平不一致圖；不一致補償器，用于根據(jù)由視頻對象編碼器輸出的重構(gòu)的第一圖像的象素值和由第一輔助分量編碼器輸出的重構(gòu)的水平不一致圖的水平不一致向量值，執(zhí)行不一致補償并且輸出不一致補償?shù)牡诙D像的象素值；第二輔助分量編碼器，用于對第二圖像的象素值和由不一致補償器輸出的不一致補償?shù)牡诙D像的象素值執(zhí)行殘留過程，以輸出亮度殘留紋理，并且對亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
在本發(fā)明的第九方面中，一種用于包括第一和第二圖像的立體視頻的解碼器，包含可變長度解碼器，用于接收編碼流，并且輸出第一圖像的視頻對象的量化數(shù)據(jù)、運動向量和水平不一致圖的量化數(shù)據(jù)；視頻對象解碼器，用于根據(jù)由可變長度解碼器輸出的視頻對象的量化數(shù)據(jù)和運動向量，對視頻對象解碼并重構(gòu)第一圖像；輔助分量解碼器，用于根據(jù)由可變長度解碼器輸出的水平不一致圖的量化數(shù)據(jù)和運動向量，對水平不一致圖的量化數(shù)據(jù)解碼；以及不一致補償器，用于根據(jù)由視頻對象解碼器輸出的重構(gòu)的第一圖像和由輔助分量解碼器輸出的解碼的水平不一致圖執(zhí)行不一致補償，并且重構(gòu)第二圖像。
在本發(fā)明的第十方面中，一種用于包括第一和第二圖像的立體視頻的解碼器，包含可變長度解碼器，用于接收編碼流，并且輸出第一圖像的視頻對象的量化數(shù)據(jù)、運動向量、水平不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；視頻對象解碼器，用于根據(jù)視頻對象的量化數(shù)據(jù)和運動向量，對視頻對象解碼并重構(gòu)第一圖像；第一輔助分量解碼器，用于根據(jù)水平不一致圖的量化數(shù)據(jù)和運動向量，對水平不一致圖的量化數(shù)據(jù)解碼；第二輔助分量解碼器，用于根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運動向量，對亮度殘留紋理的量化數(shù)據(jù)解碼；不一致補償器，用于根據(jù)由視頻對象解碼器輸出的重構(gòu)的第一圖像和由第一輔助分量解碼器輸出的解碼的水平不一致圖執(zhí)行不一致補償，并且輸出不一致補償?shù)牧炼燃y理和不一致補償?shù)纳燃y理；以及第一加法器，用于把由不一致補償器輸出的不一致補償?shù)牧炼燃y理和由第二輔助分量解碼器輸出的重構(gòu)的亮度殘留紋理加起來。


被合并并且構(gòu)成說明書一部分的

了本發(fā)明的實施例，并且與描述一起用于解釋本發(fā)明的原理圖1顯示由MPEG-4標準定義的video_object_layer_shape_extention的輔助分量的類型和數(shù)目；圖2顯示根據(jù)本發(fā)明第一個優(yōu)選實施例的立體視頻編碼器；圖3顯示根據(jù)本發(fā)明第一個優(yōu)選實施例的立體視頻解碼器；圖4顯示根據(jù)本發(fā)明優(yōu)選實施例，要求用于對立體視頻編碼的額外定義的video_object_layer_shape_extention的輔助分量的類型和數(shù)目；圖5顯示增加MAC(多重輔助分量)的輔助分量的數(shù)目到大于4時，要求額外定義的video_object_layer_shape_extention的輔助分量的類型和數(shù)目；圖6顯示根據(jù)本發(fā)明第二個優(yōu)選實施例的立體視頻編碼器；圖7顯示根據(jù)本發(fā)明第二個優(yōu)選實施例的立體視頻解碼器；圖8顯示由根據(jù)本發(fā)明第二個優(yōu)選實施例的編碼器輸出的編碼流；圖9顯示根據(jù)本發(fā)明第三個優(yōu)選實施例的立體視頻編碼器；圖10顯示根據(jù)本發(fā)明第三個優(yōu)選實施例的立體視頻解碼器；圖11顯示由根據(jù)本發(fā)明第三個優(yōu)選實施例的編碼器輸出的編碼流；圖12顯示根據(jù)本發(fā)明第四個優(yōu)選實施例的立體視頻編碼器；圖13顯示根據(jù)本發(fā)明第四個優(yōu)選實施例的立體視頻解碼器；
圖14顯示由根據(jù)本發(fā)明第四個優(yōu)選實施例的編碼器輸出的編碼流；圖15顯示根據(jù)本發(fā)明第五個優(yōu)選實施例的立體視頻編碼器；圖16顯示根據(jù)本發(fā)明第五個優(yōu)選實施例的立體視頻解碼器；圖17顯示由根據(jù)本發(fā)明第五個優(yōu)選實施例的編碼器輸出的編碼流；圖18顯示用于根據(jù)本發(fā)明的優(yōu)選實施例的視頻對象編碼器的詳細的方塊圖；圖19顯示用于根據(jù)本發(fā)明的優(yōu)選實施例的輔助分量編碼器的詳細的方塊圖；圖20顯示用于根據(jù)本發(fā)明的優(yōu)選實施例的視頻對象解碼器的詳細方塊圖；以及圖21顯示用于根據(jù)本發(fā)明的優(yōu)選實施例的輔助分量解碼器的詳細方塊圖。
具體實施例方式
在下面的詳細說明中，僅僅通過說明實現(xiàn)本發(fā)明的發(fā)明人打算的最佳模式，已經(jīng)顯示和說明了僅僅本發(fā)明的優(yōu)選實施例。如將被理解的，本發(fā)明能夠在各種明顯的方面修改，全部不背離本發(fā)明。因此，附圖和描述實際上被看作說明性的，而不是限制性的。
當前的MPEG-4編解碼器分配輔助信息給包括三個輔助分量的MAC(多重輔助分量)以對它們編碼，輔助信息包括與各視頻對象有關(guān)的alpha、不一致和深度。
本發(fā)明涉及一種方法，用于使用MPEG-4MAC編碼立體視頻，并且將定義要分配給MAC的輔助信息。
添加當前的MPEG-4MAC到MPEG-4視頻版本2，以便說明視頻對象的透明度，并且它進而定義輔助信息，包括與視頻對象有關(guān)的不一致、深度和額外的紋理(texture)。
圖1顯示由MPEG-4標準定義的video_object_layer_shape_extention的輔助分量的類型和數(shù)目。
如所示，video_object_layer_shape_extention的值被定義為0001、0010、0011和0100，video_object_layer_shape_extention中輔助分量包括不一致類型，并且沒有輔助分量被定義為從1101到1111的值。
在優(yōu)選實施例中，定義video_object_layer_shape_extention值的未定義輔助分量以包括需要的輔助信息，用于立體視頻更有效的編碼。
圖2顯示根據(jù)本發(fā)明的第一個優(yōu)選實施例的立體視頻編碼器。編碼器使用由圖1中所示的現(xiàn)有MPEG-4MAC定義的輔助分量以對立體視頻數(shù)據(jù)編碼。
如所示，編碼器包含不一致估計器100、視頻對象編碼器200、輔助分量編碼器320和可變長度編碼器600。
視頻對象編碼器200接收立體視頻的一個圖像(在優(yōu)選實施例中是左圖像)，并且輸出量化的視頻對象和運動向量。不一致估計器100接收左和右圖像，并且參考左圖像找到右圖像的基于象素的水平不一致圖。即，不一致估計器100輸出移動到水平軸的位置向量作為水平不一致圖，以便搜索和估計右圖像的象素被提供到左圖像的什么位置。
輔助分量編碼器320接收水平不一致圖，它是由不一致估計器100輸出的輔助分量，以及由視頻對象編碼器200輸出的運動向量，并且輸出量化的水平不一致圖。
可變長度編碼器600接收由視頻對象編碼器200輸出的量化的視頻對象和運動向量，以及由輔助分量編碼器320輸出的量化的水平不一致圖；執(zhí)行可變長度編碼；并且輸出編碼流。
圖3顯示根據(jù)本發(fā)明的第一個優(yōu)選實施例的解碼器。
如所示，解碼器包含可變長度解碼器700、視頻對象解碼器800、輔助分量解碼器920和不一致補償器1000。
可變長度解碼器700對由圖2的編碼器輸出的編碼流執(zhí)行可變長度解碼，并且輸出視頻對象的量化數(shù)據(jù)、運動向量和水平不一致圖的量化數(shù)據(jù)。
視頻對象解碼器800接收視頻對象的量化數(shù)據(jù)和運動向量，并且對視頻對象解碼以對左圖像解碼。
輔助分量解碼器920接收水平不一致圖的量化數(shù)據(jù)和運動向量，并且對水平不一致圖解碼。
不一致補償器1000接收重構(gòu)的左圖像和重構(gòu)的水平不一致圖，根據(jù)水平不一致圖的不一致向量執(zhí)行不一致補償，并且最終重構(gòu)右圖像。
如上所述，不一致估計是用于搜索和估計提供右圖像的象素到左圖像的什么位置的過程，并且移動到水平軸的位置向量作為水平不一致圖輸出，而移動到垂直軸的位置向量作為垂直不一致圖輸出。一般地，不一致圖表示水平不一致圖，因為理想的立體圖像的右和左圖像只有水平不一致值，并且所有垂直不一致值是零。
根據(jù)第一個優(yōu)選實施例的編碼器和解碼器用于理想系統(tǒng)，并且使用預(yù)先定義的MAC，該系統(tǒng)只有水平不一致值，垂直不一致值為0。
換句話說，根據(jù)優(yōu)選實施例的編碼器和解碼器使用具有包括圖1的不一致類型的傳統(tǒng)輔助分量的video_object_layer_shape_extention的值，以分配水平不一致圖給不一致類型輔助分量，并且將其編碼。在這種情況下，從亮度數(shù)據(jù)和色度數(shù)據(jù)中找到不一致圖用于亮度數(shù)據(jù)。
因為通過計算機由計算機圖形學理想地產(chǎn)生立體視頻，垂直不一致值可以全部設(shè)置為零，以便產(chǎn)生立體視頻。因此，可以通過根據(jù)第一個優(yōu)選實施例的編碼器和解碼器找到準確的不一致圖，并且右圖像的質(zhì)量在某種程度上由這個信息保證。
但是，在由立體相機獲得的真實圖像的情況下，根據(jù)實際制造的立體相機的形狀和性能，提供垂直不一致值，該值不同于由計算機圖形學產(chǎn)生的圖像。另外，因為由計算找到的水平不一致向量的不一致圖的精度低于計算機圖形圖像的精度，只通過水平不一致信息重構(gòu)的右圖像的質(zhì)量基本上劣化。進而，因為根據(jù)第一個優(yōu)選實施例的不一致圖沒有關(guān)于閉塞區(qū)域的信息，難于精確地重構(gòu)右圖像，該信息不提供給左圖像而提供給右圖像。
因此，關(guān)于垂直不一致和殘留紋理的信息以及關(guān)于水平不一致的信息作為關(guān)于右圖像的信息添加到MPEG-4MAC，以定義具有圖4和5的輔助分量的video_object_layer_shape_extention。
圖4的video_object_layer_shape_extention包括從1011到1111的值，該值未由現(xiàn)有的MPEG-4MAC定義，而新定義為本發(fā)明的優(yōu)選實施例中的輔助分量，而圖5的video_object_layer_shape_extention在本發(fā)明的優(yōu)選實施例中新定義，以便支持MPEG-4MAC不支持的4個輔助分量。
如圖4和5中所示，不一致信息由水平和垂直不一致值分割為水平不一致圖和垂直不一致圖，殘留紋理分類為亮度殘留紋理和色度殘留紋理信息，并且根據(jù)圖像的重要性和復(fù)雜度選擇輔助信息以執(zhí)行編碼。在這種情況下，亮度殘留紋理信息表示解碼后重構(gòu)的左圖像的數(shù)據(jù)、由重構(gòu)的不一致圖不一致補償?shù)挠覉D像、和輸入的右圖像的亮度分量的殘留圖像。色度殘留紋理信息表示編碼后重構(gòu)的左圖像的數(shù)據(jù)、由重構(gòu)的不一致圖不一致補償?shù)挠覉D像、和輸入的右圖像的色度分量的殘留圖像。
圖6和7根據(jù)本發(fā)明的第二個優(yōu)選實施例分別顯示編碼器和解碼器。編碼器和解碼器建立具有水平不一致類型和亮度殘留紋理類型的兩個輔助分量的video_object_layer_shape_extention，其被新定義用于對立體視頻編碼；并且對立體視頻編碼和解碼。
如圖6中所示，編碼器包含不一致估計器100、視頻對象編碼器200、輔助分量編碼器320和340、不一致補償器400、加法器500和可變長度編碼器600。
視頻對象編碼器200接收立體視頻的一個圖像(在優(yōu)選實施例中為左圖像)，輸出量化的視頻對象和運動向量，并且輸出由重構(gòu)量化的視頻對象得到的左圖像。
不一致估計器100接收左和右圖像，并且參考左圖像找到右圖像的基于象素的水平不一致圖。
輔助分量編碼器320接收水平不一致圖，它是由不一致估計器100輸出的輔助分量；以及由視頻對象編碼器200輸出的運動向量，產(chǎn)生量化的水平不一致圖，輸出量化的水平不一致圖，并且輸出由重構(gòu)量化的水平不一致圖得到的水平不一致圖。
根據(jù)由視頻對象編碼器200輸出的重構(gòu)的左圖像的象素值(亮度)和由輔助分量編碼器320輸出的重構(gòu)的水平圖的水平不一致向量，不一致補償器400執(zhí)行不一致補償，并且輸出補償?shù)挠覉D像的象素值(亮度)。
加法器500對右圖像的象素值(亮度)和由不一致補償器400輸出的不一致補償?shù)挠覉D像的象素值(亮度)執(zhí)行殘留過程，以輸出亮度殘留紋理，并且輔助分量編碼器340對亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
可變長度編碼器600對由視頻對象編碼器200輸出的量化的視頻對象和運動向量、由輔助分量編碼器320輸出的量化的水平不一致圖和由輔助分量編碼器340輸出的量化的亮度殘留紋理執(zhí)行可變長度編碼，并且輸出編碼流。
圖8顯示由根據(jù)本發(fā)明的第二個優(yōu)選實施例的編碼器輸出的編碼流。如所示，由編碼器(可變長度編碼器)輸出的編碼流包括編碼的視頻對象(左圖像)的宏塊、用于編碼的水平不一致圖的輔助分量AC
的宏塊和用于編碼的亮度殘留紋理的輔助分量AC［1］的宏塊。
圖7顯示根據(jù)本發(fā)明的第二個優(yōu)選實施例的解碼器。
如所示，解碼器包含可變長度解碼器700、視頻對象解碼器800、輔助分量解碼器920和940、不一致補償器1000和加法器1100。
可變長度解碼器700對由如圖8中所示的編碼器輸出的編碼流執(zhí)行可變長度解碼，并且輸出視頻對象的量化數(shù)據(jù)、運動向量、水平不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)。
視頻對象解碼器800接收視頻對象的量化數(shù)據(jù)和運動向量，并且對視頻對象解碼以對左圖像解碼。
輔助分量解碼器920接收水平不一致圖的量化數(shù)據(jù)和運動向量，并且對水平不一致圖解碼。
輔助分量解碼器940接收亮度殘留紋理的量化數(shù)據(jù)和運動向量，并且對亮度殘留紋理解碼。
不一致補償器1000接收重構(gòu)的左圖像和重構(gòu)的水平不一致圖，并且根據(jù)水平不一致圖的不一致向量執(zhí)行不一致補償。
加法器1100將來自不一致補償?shù)臄?shù)據(jù)中的不一致補償?shù)牧炼燃y理和由輔助分量解碼器940輸出的重構(gòu)的亮度殘留紋理加起來，以重構(gòu)右圖像。
在圖6和7中顯示的第二個優(yōu)選實施例中，作為單一的視頻對象對左圖像編碼和解碼，并且使用圖4中顯示的MAC對右圖像編碼和解碼。即，分配參考左圖像找到的基于象素的水平不一致圖給aux_comp_type
，并且分配亮度殘留紋理給aux_comp_type[1]以執(zhí)行編碼和解碼，該亮度殘留紋理是亮度分量的殘留圖像數(shù)據(jù)。
第二個優(yōu)選實施例對簡單圖像或不要求精確重構(gòu)的圖像是可應(yīng)用的，該簡單圖像當執(zhí)行編碼而沒有垂直不一致圖和色度殘留紋理信息時沒有極大地影響圖像質(zhì)量的惡化，該色度殘留紋理信息是色度分量上的殘留圖像數(shù)據(jù)。
圖9和10分別顯示根據(jù)本發(fā)明的第三個優(yōu)選實施例的編碼器和解碼器。編碼器和解碼器建立具有參考圖4另外定義的水平不一致類型、亮度殘留紋理類型和色度殘留紋理類型的三個輔助分量的video_object_layer_shape_extention，并且執(zhí)行編碼和解碼。
即，分配參考左圖像找到的基于象素的水平不一致圖給aux_comp_type
，分配亮度殘留紋理給aux_comp_type[1]，而分配色度殘留紋理給aux_comp_type[2]，該色度殘留紋理是色度分量上的殘留圖像數(shù)據(jù)。該編碼器和解碼器可用于簡單圖像或不要求精確重構(gòu)的圖像，該簡單圖像當執(zhí)行編碼而沒有垂直不一致圖時沒有極大地影響圖像質(zhì)量的惡化。
如圖9中所示，根據(jù)本發(fā)明的第三個優(yōu)選實施例的編碼器包含不一致估計器100、視頻對象編碼器200、輔助分量編碼器320、340以及360、不一致補償器400、加法器500和可變長度編碼器600。
與圖6的編碼器的那些組件執(zhí)行相同或相似功能的圖9的組件具有相同的參考號碼，并且將不提供執(zhí)行與圖6的組件相同的操作的圖9的組件的重復(fù)說明。
根據(jù)由視頻對象編碼器200輸出的重構(gòu)的左圖像的象素值(亮度和色度)和由輔助分量編碼器320輸出的重構(gòu)的水平圖的水平不一致向量，不一致補償器400執(zhí)行不一致補償，并且輸出補償?shù)挠覉D像的象素值(亮度和色度)。
加法器500對不一致補償?shù)挠覉D像的象素值(亮度和色度)和由不一致補償器400輸出的補償?shù)挠覉D像的象素值(亮度和色度)執(zhí)行殘留過程，以輸出亮度殘留紋理和色度殘留紋理，并且輔助分量編碼器340和360對亮度殘留紋理和色度殘留紋理編碼以輸出量化的亮度殘留紋理和量化的色度殘留紋理。
可變長度編碼器600對由視頻對象編碼器200輸出的量化的視頻對象和運動向量、由輔助分量編碼器320輸出的量化的水平不一致圖、由輔助分量編碼器340輸出的量化的亮度殘留紋理和由輔助分量編碼器360輸出的量化的色度殘留紋理執(zhí)行可變長度編碼，并且輸出編碼流。
圖11顯示由根據(jù)本發(fā)明的第三個優(yōu)選實施例的編碼器輸出的編碼流。如所示，由編碼器輸出的編碼流包括編碼的視頻對象的宏塊、用于編碼的水平不一致圖的輔助分量AC
的宏塊、用于編碼的亮度殘留紋理的輔助分量AC[1]的宏塊和用于編碼的色度殘留紋理的輔助分量AC[2]的宏塊。
圖10顯示根據(jù)本發(fā)明的第三個優(yōu)選實施例的解碼器。
如所示，解碼器包含可變長度解碼器700、視頻對象解碼器800、輔助分量解碼器920、940和960、不一致補償器1000和加法器1100和1200。
與圖7的解碼器的那些組件執(zhí)行相同或相似功能的圖10的組件具有相同的參考號碼，并且將不提供執(zhí)行與圖7的組件相同的操作的圖10的組件的重復(fù)說明。
可變長度解碼器700對由編碼器輸出并在圖11中顯示的編碼流執(zhí)行可變長度解碼，并且輸出視頻對象的量化數(shù)據(jù)、運動向量、水平不一致圖的量化數(shù)據(jù)、亮度殘留紋理的量化數(shù)據(jù)和色度殘留紋理的量化數(shù)據(jù)。
輔助分量解碼器940接收亮度殘留紋理的量化數(shù)據(jù)和運動向量，并且對亮度殘留紋理解碼。
輔助分量解碼器960接收色度殘留紋理的量化數(shù)據(jù)和運動向量，并且對色度殘留紋理解碼。
不一致補償器1000接收重構(gòu)的左圖像和重構(gòu)的水平不一致圖，并且根據(jù)水平不一致圖的不一致向量執(zhí)行不一致補償。
加法器1100把來自由不一致補償器1000不一致補償?shù)臄?shù)據(jù)中的不一致補償?shù)牧炼燃y理和由輔助分量解碼器940輸出的重構(gòu)的亮度殘留紋理加起來，以重構(gòu)右圖像的亮度分量。
加法器1200把來自不一致補償?shù)臄?shù)據(jù)中的不一致補償?shù)纳燃y理和由輔助分量解碼器940輸出的重構(gòu)的色度殘留紋理加起來，以重構(gòu)右圖像的色度分量。
圖12和13分別顯示根據(jù)本發(fā)明的第四個優(yōu)選實施例的編碼器和解碼器。編碼器和解碼器建立具有水平不一致類型、垂直不一致類型和亮度殘留紋理類型的三個輔助分量的video_object_layer_shape_extention，并且執(zhí)行編碼和解碼，參考圖4另外定義該三個輔助分量。
即，分配參考左圖像找到的基于象素的水平不一致圖給aux_comp_type
，分配參考左圖像找到的基于象素的垂直不一致圖給aux_comp_type[1]，并且分配亮度殘留紋理給aux_comp_type[2]，該亮度殘留紋理是亮度分量上的殘留圖像數(shù)據(jù)。編碼器和解碼器可用于簡單圖像或不要求精確重構(gòu)的圖像，該簡單圖像當執(zhí)行編碼而沒有色度殘留紋理信息時沒有極大地影響圖像質(zhì)量的惡化，該色度殘留紋理信息是色度分量上的殘留圖像數(shù)據(jù)。
如圖12中所示，根據(jù)本發(fā)明的第四個優(yōu)選實施例的編碼器包含不一致估計器100、視頻對象編碼器200、輔助分量編碼器320、340以及380、不一致補償器420、加法器500和可變長度編碼器600。
與圖6的編碼器的那些組件執(zhí)行相同或相似功能的圖12的組件具有相同的參考號碼，并且將不提供執(zhí)行與圖6的組件相同的操作的圖12的組件的重復(fù)說明。
不一致估計器100接收左和右圖像，并且參考左圖像找到右圖像的基于象素的水平不一致圖和垂直不一致圖。
輔助分量編碼器380接收由不一致估計器100輸出的垂直不一致圖和由視頻對象編碼器200輸出的運動向量，產(chǎn)生量化的垂直不一致圖，輸出量化的垂直不一致圖，并且輸出由重構(gòu)量化的垂直不一致圖得到的垂直不一致圖。
根據(jù)由視頻對象編碼器200輸出的重構(gòu)的左圖像的象素值(亮度)、由輔助分量編碼器320輸出的重構(gòu)的水平不一致圖的水平不一致向量和由輔助分量編碼器380輸出的重構(gòu)的垂直不一致圖的垂直不一致向量，不一致補償器420執(zhí)行不一致補償，并且輸出補償?shù)挠覉D像的象素值(亮度)。
加法器500對右圖像的象素值(亮度)和由不一致補償器420輸出的不一致補償?shù)挠覉D像的象素值(亮度)執(zhí)行殘留過程，以輸出亮度殘留紋理，并且輔助分量編碼器340對亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
可變長度編碼器600對由視頻對象編碼器200輸出的量化的視頻對象和運動向量、由輔助分量編碼器320輸出的量化的水平不一致圖、由輔助分量編碼器380輸出的量化的垂直不一致圖和由輔助分量編碼器360輸出的量化的亮度殘留紋理執(zhí)行可變長度編碼，并且輸出編碼流。
圖14顯示由根據(jù)本發(fā)明的第四個優(yōu)選實施例的編碼器輸出的編碼流。如所示，由編碼器輸出的編碼流包括編碼的視頻對象的宏塊、用于編碼的水平不一致圖的輔助分量AC
的宏塊、用于編碼的垂直不一致圖的輔助分量AC[1]的宏塊和用于編碼的亮度殘留紋理的輔助分量AC[2]的宏塊。
圖13顯示根據(jù)本發(fā)明的第四個優(yōu)選實施例的解碼器。
如所示，解碼器包含可變長度解碼器700、視頻對象解碼器800、輔助分量解碼器920、940和980、不一致補償器2000和加法器1100。
與圖7的解碼器的那些組件執(zhí)行相同或相似功能的圖13的組件具有相同的參考號碼，并且將不提供執(zhí)行與圖7的組件相同的操作的圖13的組件的重復(fù)說明。
可變長度解碼器700對由如圖14中所示的編碼器輸出的編碼流執(zhí)行可變長度解碼，并且輸出視頻對象的量化數(shù)據(jù)、運動向量、水平不一致圖的量化數(shù)據(jù)、垂直不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)。
輔助分量解碼器980接收垂直不一致圖的量化數(shù)據(jù)和運動向量，并且對垂直不一致圖解碼。
不一致補償器2000接收重構(gòu)的左圖像、重構(gòu)的水平不一致圖和重構(gòu)的垂直不一致圖，并且根據(jù)水平不一致圖和垂直不一致圖的不一致向量執(zhí)行不一致補償。
加法器1100把來自由不一致補償器2000不一致補償?shù)臄?shù)據(jù)中的不一致補償?shù)牧炼燃y理和由輔助分量解碼器940輸出的重構(gòu)的亮度殘留紋理加起來，以重構(gòu)右圖像的亮度分量。
圖15和16分別顯示根據(jù)本發(fā)明的第五個優(yōu)選實施例的編碼器和解碼器。該編碼器和解碼器建立具有水平不一致類型、垂直不一致類型、亮度殘留紋理類型和色度殘留紋理類型的四個輔助分量的video_object_layer_shape_extention，并且執(zhí)行編碼和解碼，如圖5中所示，當MAC的輔助分量的數(shù)目增加到等于或大于四時另外定義該四個輔助分量。
即，編碼器和解碼器分配參考左圖像找到的基于象素的水平不一致圖給aux_comp_type
，分配參考左圖像找到的基于象素的垂直不一致圖給aux_comp_type[1]，分配作為亮度分量上的殘留圖像數(shù)據(jù)的亮度殘留紋理給aux_comp_type[2]，并且分配作為色度分量上的殘留圖像數(shù)據(jù)的色度殘留紋理給aux_comp_type[3]，以執(zhí)行編碼和解碼。
上述第五個優(yōu)選實施例可應(yīng)用到這樣的情況通過使用右圖像上所有種類的輔助信息重構(gòu)高質(zhì)量圖像。
如圖15中所示，根據(jù)本發(fā)明的第五個優(yōu)選實施例的編碼器包含不一致估計器100、視頻對象編碼器200、輔助分量編碼器320、340、360以及380、不一致補償器420、加法器500和可變長度編碼器600。
與圖12的編碼器的那些組件執(zhí)行相同或相似功能的圖15的組件具有相同的參考號碼，并且將不提供執(zhí)行與圖12的組件相同的操作的圖15的組件的重復(fù)說明。
不一致估計器100接收左和右圖像，并且參考左圖像找到右圖像的基于象素的水平不一致圖和垂直不一致圖。
輔助分量編碼器380接收由不一致估計器100輸出的垂直不一致圖和由視頻對象編碼器200輸出的運動向量，產(chǎn)生量化的垂直不一致圖，輸出量化的垂直不一致圖，并且輸出由重構(gòu)量化的垂直不一致圖得到的垂直不一致圖。
根據(jù)由視頻對象編碼器200輸出的重構(gòu)的左圖像的象素值(亮度和色度)、由輔助分量編碼器320輸出的重構(gòu)的水平不一致圖的水平不一致向量和由輔助分量編碼器380輸出的重構(gòu)的垂直不一致圖的垂直不一致向量，不一致補償器420執(zhí)行不一致補償，并且輸出補償?shù)挠覉D像的象素值(亮度和色度)。
加法器500對右圖像的象素值(亮度和色度)和由不一致補償器420輸出的不一致補償?shù)挠覉D像的象素值(亮度和色度)執(zhí)行殘留過程，以輸出亮度殘留紋理和色度殘留紋理，并且輔助分量編碼器340和輔助分量編碼器360分別對亮度殘留紋理和色度殘留紋理編碼，以輸出量化的亮度殘留紋理和量化的色度殘留紋理。
可變長度編碼器600對由視頻對象編碼器200輸出的量化的視頻對象和運動向量、由輔助分量編碼器320輸出的量化的水平不一致圖、由輔助分量編碼器380輸出的量化的垂直不一致圖、由輔助分量編碼器340輸出的量化的亮度殘留紋理和由輔助分量編碼器360輸出的量化的色度殘留紋理執(zhí)行可變長度編碼，并且輸出編碼流。
圖17顯示由根據(jù)本發(fā)明的第五個優(yōu)選實施例的編碼器輸出的編碼流。如所示，由編碼器輸出的編碼流包括編碼的視頻對象的宏塊、用于編碼的水平不一致圖的輔助分量AC
的宏塊、用于編碼的垂直不一致圖的輔助分量AC[1]的宏塊、用于編碼的亮度殘留紋理的輔助分量AC[2]的宏塊和用于編碼的色度殘留紋理的輔助分量AC[3]的宏塊。
圖16顯示根據(jù)本發(fā)明的第五個優(yōu)選實施例的解碼器。
如所示，解碼器包含可變長度解碼器700、視頻對象解碼器800、輔助分量解碼器920、940、960和980、不一致補償器2000和加法器1100和1200。
與圖13的解碼器的那些組件執(zhí)行相同或相似功能的圖16的組件具有相同的參考號碼，并且將不提供執(zhí)行與圖13的組件相同的操作的圖16的組件的重復(fù)說明。
可變長度解碼器700對如圖17中所示并由編碼器輸出的編碼流執(zhí)行可變長度解碼，并且輸出視頻對象的量化數(shù)據(jù)、運動向量、水平不一致圖的量化數(shù)據(jù)、垂直不一致圖的量化數(shù)據(jù)、亮度殘留紋理的量化數(shù)據(jù)和色度殘留紋理的量化數(shù)據(jù)。
不一致補償器2000接收重構(gòu)的左圖像、重構(gòu)的水平不一致圖和重構(gòu)的垂直不一致圖，并且根據(jù)水平不一致圖和垂直不一致圖的不一致向量執(zhí)行不一致補償。
加法器1100把來自由不一致補償器2000不一致補償?shù)臄?shù)據(jù)中的不一致補償?shù)牧炼燃y理和由輔助分量解碼器940輸出的重構(gòu)的亮度殘留紋理加起來，以重構(gòu)右圖像的亮度分量。
加法器1200把來自由不一致補償器2000不一致補償?shù)臄?shù)據(jù)中的不一致補償?shù)纳燃y理和由輔助分量解碼器960輸出的重構(gòu)的色度殘留紋理加起來，以重構(gòu)右圖像的色度分量。
現(xiàn)在將進一步詳細說明視頻對象編碼器200、輔助分量編碼器320、340、360和380、視頻對象解碼器800和輔助分量解碼器920、940、960和980。
圖18顯示用于根據(jù)本發(fā)明的優(yōu)選實施例的視頻對象編碼器200的詳細方塊圖。
如所示，視頻對象編碼器200包含編碼單元220、解碼單元240、運動估計器260和運動補償器280。
編碼單元220對視頻對象數(shù)據(jù)(左圖像)和已經(jīng)經(jīng)過殘留過程的運動補償?shù)臄?shù)據(jù)執(zhí)行離散余弦變換，量化離散余弦變換的數(shù)據(jù)，并且輸出量化的視頻對象。編碼單元220包含加法器221，用于對視頻對象數(shù)據(jù)和運動補償?shù)臄?shù)據(jù)執(zhí)行殘留過程；DCT(離散余弦變換器)222，用于對由加法器221輸出的殘留數(shù)據(jù)執(zhí)行離散余弦變換；以及量化器223，用于量化由DCT 222輸出的數(shù)據(jù)。
解碼單元240對由編碼單元220輸出的量化的視頻對象去量化，并且對去量化的數(shù)據(jù)執(zhí)行逆離散余弦變換以重構(gòu)視頻對象數(shù)據(jù)。解碼單元240包含去量化器241，用于對由編碼單元220輸出的量化的視頻對象去量化；IDCT(逆離散余弦變換器)242，用于對由去量化器241輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換；加法器243，用于把由IDCT 242輸出的視頻對象和運動補償?shù)臄?shù)據(jù)加起來以重構(gòu)視頻對象數(shù)據(jù)；以及存儲器244，用于存儲由加法器243輸出的重構(gòu)的左圖像。
運動估計器260比較視頻對象數(shù)據(jù)(左圖像)和存儲在存儲器244中的前一幀的重構(gòu)的左圖像，以輸出運動向量MV。
運動補償器280比較由運動估計器260輸出的運動向量和存儲在存儲器244中的前一幀的左圖像，以輸出運動補償數(shù)據(jù)。
圖19顯示用于根據(jù)本發(fā)明的優(yōu)選實施例的輔助分量編碼器300的詳細方塊圖。
如所示，輔助分量編碼器300包含編碼單元310、解碼單元330和運動補償器350。
編碼單元310對輔助分量數(shù)據(jù)和已經(jīng)經(jīng)過殘留過程的運動補償?shù)臄?shù)據(jù)執(zhí)行離散余弦變換，量化離散余弦變換的數(shù)據(jù)，并且輸出量化的輔助分量數(shù)據(jù)。編碼單元310包含加法器331，用于對輔助分量數(shù)據(jù)和運動補償?shù)臄?shù)據(jù)執(zhí)行殘留過程；DCT(離散余弦變換器)312，用于對由加法器331輸出的殘留數(shù)據(jù)執(zhí)行離散余弦變換；以及量化器313，用于量化由DCT 312輸出的數(shù)據(jù)。
解碼單元330對由編碼單元310輸出的量化的輔助分量數(shù)據(jù)去量化，并且對去量化的數(shù)據(jù)執(zhí)行逆離散余弦變換以重構(gòu)輔助分量數(shù)據(jù)。解碼單元330包含去量化器331，用于對由編碼單元310輸出的量化的輔助分量數(shù)據(jù)去量化；IDCT(逆離散余弦變換器)332，用于對由去量化器331輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換；加法器333，用于把由IDCT 332輸出的輔助分量數(shù)據(jù)和運動補償?shù)臄?shù)據(jù)加起來以重構(gòu)輔助分量數(shù)據(jù)；以及存儲器334，用于存儲由加法器333輸出的重構(gòu)的輔助分量數(shù)據(jù)。
運動補償器350比較由視頻對象編碼器200的運動估計器260輸出的運動向量和存儲在存儲器334中的前一幀的輔助分量數(shù)據(jù)，以輸出輔助分量上的運動補償數(shù)據(jù)。
圖20顯示用于根據(jù)本發(fā)明的優(yōu)選實施例的視頻對象解碼器800的詳細方塊圖。
如所示，視頻對象解碼器800包含去量化器810、IDCT 820、加法器830、運動補償器850和存儲器840。
去量化器810對由可變長度解碼器輸出視頻對象的量化數(shù)據(jù)去量化，IDCT 820對由去量化器810輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換，并且運動補償器850比較存儲在存儲器840中的前一幀的重構(gòu)的視頻對象數(shù)據(jù)和運動向量以對運動進行補償，并且輸出補償?shù)倪\動向量數(shù)據(jù)。
加法器830把由IDCT 820輸出的視頻對象和由運動補償器850輸出的運動補償?shù)南蛄繑?shù)據(jù)加起來，以輸出重構(gòu)的視頻對象數(shù)據(jù)。
圖21顯示用于根據(jù)本發(fā)明的優(yōu)選實施例的輔助分量解碼器900的詳細方塊圖。
如所示，輔助分量解碼器900包含去量化器901、IDCT 902、加法器903、運動補償器905和存儲器904。
去量化器901對由可變長度解碼器輸出的輔助分量的量化數(shù)據(jù)去量化，IDCT 902對由去量化器901輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換，而運動補償器905比較存儲在存儲器904中的前一幀的重構(gòu)的輔助分量數(shù)據(jù)和運動向量以對運動進行補償，并且輸出補償?shù)倪\動向量數(shù)據(jù)。
加法器903把由IDCT 902輸出的輔助分量數(shù)據(jù)和由運動補償器905輸出的運動補償?shù)南蛄繑?shù)據(jù)加起來，以輸出重構(gòu)的視頻對象數(shù)據(jù)。
如所述，因為根據(jù)本發(fā)明的優(yōu)選實施例，通過使用MPEG-4的MAC對立體視頻編碼，所以提供了對使用當前的MPEG-4編碼技術(shù)和系統(tǒng)的兼容性。
同樣地，因為右和左圖像的編碼流作為單一的編碼流輸出，所以右和左圖像間的同步被簡單地執(zhí)行。
進而，通過以各種方式分配右圖像的輔助信息的四個分量給MAC，根據(jù)用戶或制作者想要的圖像質(zhì)量水平選擇其方式，并且將其編碼，改善了編碼效率。
雖然已經(jīng)結(jié)合目前被認為最實用和優(yōu)選的實施例說明了本發(fā)明，但要理解，本發(fā)明不限于所公開的實施例，而正相反，意圖在于覆蓋包括在權(quán)利要求的精神和范圍內(nèi)的各種修改和等效安排。
例如，輔助信息使用由MPEG-4標準定義的MAC分配，此外，還可以使用由其它協(xié)議定義的信息。
如所述，對使用現(xiàn)有的MPEG-4編碼技術(shù)和系統(tǒng)的兼容性被保持，并且右和左圖像間同步的復(fù)雜度被最小化。
另外，通過根據(jù)圖像的重要性和復(fù)雜度選擇性控制圖像質(zhì)量并對它編碼，改善了編碼效率。
權(quán)利要求
1.一種用于對包括第一和第二圖像的立體視頻編碼的方法，包含(a)對第一圖像編碼，并且輸出第一圖像的量化的視頻對象和運動向量；(b)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；以及(c)根據(jù)基于象素的水平不一致圖和運動向量，對水平不一致圖編碼并且輸出量化的水平不一致圖。
2.根據(jù)權(quán)利要求1所述的方法，還包含(d)對量化的視頻對象、運動向量和量化的水平不一致圖執(zhí)行可變長度編碼，并且作為單一流輸出它們。
3.根據(jù)權(quán)利要求1所述的方法，其中量化的水平不一致圖被分配給MPEG-4MAC(多重輔助分量)的不一致類型的輔助分量，并且被編碼。
4.根據(jù)權(quán)利要求1所述的方法，其中第一圖像是左圖像，而第二圖像是右圖像。
5.一種用于對包括第一和第二圖像的立體視頻解碼的方法，包含(a)接收編碼流，并且輸出第一圖像的視頻對象的量化數(shù)據(jù)、運動向量和水平不一致圖的量化數(shù)據(jù)；(b)根據(jù)視頻對象的量化數(shù)據(jù)和運動向量，對視頻對象解碼并且重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運動向量，對水平不一致圖的量化數(shù)據(jù)解碼；以及(d)根據(jù)重構(gòu)的第一圖像和解碼的水平不一致圖執(zhí)行不一致補償，并且重構(gòu)第二圖像。
6.根據(jù)權(quán)利要求5所述的方法，其中第一圖像是左圖像，而第二圖像是右圖像。
7.一種用于對包括第一和第二圖像的立體視頻編碼的方法，包含(a)對第一圖像編碼，并且輸出第一圖像的量化的視頻對象和運動向量；(b)對(a)中輸出的量化的視頻對象解碼，并且重構(gòu)第一圖像；(c)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；(d)根據(jù)基于象素的水平不一致圖和運動向量，對水平不一致圖編碼并且輸出量化的水平不一致圖；(e)重構(gòu)(d)中輸出的量化的水平不一致圖，并且輸出重構(gòu)的水平不一致圖；(f)根據(jù)(b)中重構(gòu)的第一圖像的象素值和(e)中重構(gòu)的水平不一致圖的水平不一致向量值，執(zhí)行不一致補償并輸出不一致補償?shù)牡诙D像的象素值；以及(g)對第二圖像的象素值和(f)中輸出的不一致補償?shù)牡诙D像的象素值執(zhí)行殘留過程，以輸出亮度殘留紋理，并且對亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
8.根據(jù)權(quán)利要求7所述的方法，還包含(h)對量化的視頻對象、運動向量、量化的水平不一致圖和量化的亮度殘留紋理執(zhí)行可變長度編碼，并且作為單一流輸出它們。
9.根據(jù)權(quán)利要求7所述的方法，其中量化的水平不一致圖和量化的亮度殘留紋理被分配給MPEG-4MAC，然后被編碼。
10.根據(jù)權(quán)利要求7所述的方法，其中第一圖像是左圖像，而第二圖像是右圖像。
11.根據(jù)權(quán)利要求7所述的方法，還包含(h)對第二圖像的象素值和(f)中輸出的不一致補償?shù)牡诙D像的象素值執(zhí)行殘留過程，以輸出色度殘留紋理，并且對色度殘留紋理編碼以輸出量化的色度殘留紋理。
12.根據(jù)權(quán)利要求11所述的方法，還包含(i)對量化的視頻對象、運動向量、量化的水平不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理執(zhí)行可變長度編碼，并且作為單一流輸出它們。
13.根據(jù)權(quán)利要求11所述的方法，其中量化的水平不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理被分配給MPEG-4MAC，然后被編碼。
14.一種用于對包括第一和第二圖像的立體視頻解碼的方法，包含(a)接收編碼流，并且輸出第一圖像的視頻對象的量化數(shù)據(jù)、運動向量、水平不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；(b)根據(jù)視頻對象的量化數(shù)據(jù)和運動向量，對視頻對象解碼并重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運動向量，對水平不一致圖的量化數(shù)據(jù)解碼；(d)根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運動向量，對亮度殘留紋理的量化數(shù)據(jù)解碼；(e)根據(jù)重構(gòu)的第一圖像和解碼的水平不一致圖執(zhí)行不一致補償，并且輸出不一致補償?shù)牧炼燃y理；以及(f)把不一致補償?shù)牧炼燃y理和(d)中重構(gòu)的亮度殘留紋理加起來，以重構(gòu)第二圖像。
15.根據(jù)權(quán)利要求14所述的方法，其中第一圖像是左圖像，而第二圖像是右圖像。
16.根據(jù)權(quán)利要求14所述的方法，其中步驟(a)包含接收編碼流，并且另外輸出色度殘留紋理的量化數(shù)據(jù)，步驟(d)另外包含根據(jù)色度殘留紋理的量化數(shù)據(jù)和運動向量，對色度殘留紋理的量化數(shù)據(jù)解碼，以及步驟(f)另外包含把不一致補償?shù)纳燃y理和色度殘留紋理加起來，以重構(gòu)第二圖像。
17.一種用于對包括第一和第二圖像的立體視頻編碼的方法，包含(a)對第一圖像編碼，并且輸出第一圖像的量化的視頻對象和運動向量；(b)對(a)中輸出的量化的視頻對象解碼，并且重構(gòu)第一圖像；(c)接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖和基于象素的垂直不一致圖；(d)根據(jù)基于象素的水平不一致圖和運動向量，對水平不一致圖編碼并且輸出量化的水平不一致圖；(e)根據(jù)基于象素的垂直不一致圖和運動向量，對垂直不一致圖編碼并且輸出量化的垂直不一致圖；(f)重構(gòu)(d)中輸出的量化的水平不一致圖，并且輸出重構(gòu)的水平不一致圖；(g)重構(gòu)(d)中輸出的量化的垂直不一致圖，并且輸出重構(gòu)的垂直不一致圖；(h)根據(jù)(b)中重構(gòu)的第一圖像的象素值、(f)中重構(gòu)的水平不一致圖的水平不一致向量值和(h)中重構(gòu)的垂直不一致圖的垂直不一致向量值，執(zhí)行不一致補償并輸出不一致補償?shù)牡诙D像的象素值；以及(i)對第二圖像的象素值和(h)中輸出的不一致補償?shù)牡诙D像的象素值執(zhí)行殘留過程，以輸出亮度殘留紋理，并且對亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
18.根據(jù)權(quán)利要求17所述的方法，還包含(j)對量化的視頻對象、運動向量、量化的水平不一致圖、量化的垂直不一致圖和量化的亮度殘留紋理執(zhí)行可變長度編碼，并且作為單一流輸出它們。
19.根據(jù)權(quán)利要求17所述的方法，其中量化的水平不一致圖、量化的垂直不一致圖和量化的亮度殘留紋理被分配給MPEG-4MAC，然后被編碼。
20.根據(jù)權(quán)利要求17所述的方法，其中第一圖像是左圖像，而第二圖像是右圖像。
21.根據(jù)權(quán)利要求17所述的方法，還包含(j)對第二圖像的象素值和(h)中輸出的不一致補償?shù)牡诙D像的象素值執(zhí)行殘留過程，以輸出色度殘留紋理，并且對色度殘留紋理編碼以輸出量化的色度殘留紋理。
22.根據(jù)權(quán)利要求21所述的方法，還包含(k)對量化的視頻對象、運動向量、量化的水平不一致圖、量化的垂直不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理執(zhí)行可變長度編碼，并且作為單一流輸出它們。
23.一種用于對包括第一和第二圖像的立體視頻解碼的方法，包含(a)接收編碼流，并且輸出第一圖像的視頻對象的量化數(shù)據(jù)、運動向量、水平不一致圖的量化數(shù)據(jù)、垂直不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；(b)根據(jù)視頻對象的量化數(shù)據(jù)和運動向量，對視頻對象解碼并重構(gòu)第一圖像；(c)根據(jù)水平不一致圖的量化數(shù)據(jù)和運動向量，對水平不一致圖的量化數(shù)據(jù)解碼；(d)根據(jù)垂直不一致圖的量化數(shù)據(jù)和運動向量，對垂直不一致圖的量化數(shù)據(jù)解碼；(e)根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運動向量，對亮度殘留紋理的量化數(shù)據(jù)解碼；(f)根據(jù)重構(gòu)的第一圖像、解碼的水平不一致圖和解碼的垂直不一致圖執(zhí)行不一致補償，并且輸出不一致補償?shù)牧炼燃y理；以及(g)把不一致補償?shù)牧炼燃y理和(e)中重構(gòu)的亮度殘留紋理加起來，以重構(gòu)第二圖像。
24.根據(jù)權(quán)利要求23所述的方法，其中步驟(a)包含接收編碼流，并且另外輸出色度殘留紋理的量化數(shù)據(jù)；步驟(e)另外包含根據(jù)色度殘留紋理的量化數(shù)據(jù)和運動向量，對色度殘留紋理的量化數(shù)據(jù)解碼；以及步驟(g)另外包含把不一致補償?shù)纳燃y理和色度殘留紋理加起來，以重構(gòu)第二圖像。
25.一種用于包括第一和第二圖像的立體視頻的編碼器，包含視頻對象編碼器，用于對第一圖像編碼，并且輸出第一圖像的量化的視頻對象和運動向量；不一致估計器，用于接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；以及輔助分量編碼器，用于根據(jù)由不一致估計器輸出的基于象素的水平不一致圖和由視頻對象編碼器輸出的運動向量，對水平不一致圖編碼并且輸出量化的水平不一致圖。
26.根據(jù)權(quán)利要求25所述的編碼器，還包含可變長度編碼器，用于對量化的視頻對象、運動向量和量化的水平不一致圖執(zhí)行可變長度編碼，并且作為單一流輸出它們。
27.一種用于包括第一和第二圖像的立體視頻的解碼器，包含可變長度解碼器，用于接收編碼流，并且輸出第一圖像的視頻對象的量化數(shù)據(jù)、運動向量和水平不一致圖的量化數(shù)據(jù)；視頻對象解碼器，用于根據(jù)由可變長度解碼器輸出的視頻對象的量化數(shù)據(jù)和運動向量，對視頻對象解碼并重構(gòu)第一圖像；輔助分量解碼器，用于根據(jù)由可變長度解碼器輸出的水平不一致圖的量化數(shù)據(jù)和運動向量，對水平不一致圖的量化數(shù)據(jù)解碼；以及不一致補償器，用于根據(jù)由視頻對象解碼器輸出的重構(gòu)的第一圖像和由輔助分量解碼器輸出的解碼的水平不一致圖執(zhí)行不一致補償，并且重構(gòu)第二圖像。
28.一種用于包括第一和第二圖像的立體視頻的編碼器，包含視頻對象編碼器，用于對第一圖像編碼以輸出第一圖像的量化的視頻對象和運動向量，并且對量化的視頻對象編碼以輸出重構(gòu)的第一圖像；不一致估計器，用于接收第一和第二圖像，并且參考第一圖像找到第二圖像上的基于象素的水平不一致圖；第一輔助分量編碼器，用于對水平不一致圖編碼以輸出量化的水平不一致圖，并且根據(jù)由不一致估計器輸出的基于象素的水平不一致圖和由視頻對象編碼器輸出的運動向量，對輸出和量化的水平不一致圖解碼以輸出重構(gòu)的水平不一致圖；不一致補償器，用于根據(jù)由視頻對象編碼器輸出的重構(gòu)的第一圖像的象素值和由第一輔助分量編碼器輸出的重構(gòu)的水平不一致圖的水平不一致向量值，執(zhí)行不一致補償并且輸出不一致補償?shù)牡诙D像的象素值；第二輔助分量編碼器，用于對第二圖像的象素值和由不一致補償器輸出的不一致補償?shù)牡诙D像的象素值執(zhí)行殘留過程，以輸出亮度殘留紋理，并且對亮度殘留紋理編碼以輸出量化的亮度殘留紋理。
29.根據(jù)權(quán)利要求28所述的編碼器，還包含可變長度編碼器，用于對量化的視頻對象、運動向量、量化的水平不一致圖和量化的亮度殘留紋理執(zhí)行可變長度編碼，并且作為單一流輸出它們。
30.根據(jù)權(quán)利要求28所述的編碼器，其中量化的水平不一致圖和量化的亮度殘留紋理被分配給MPEG-4MAC，然后被編碼。
31.根據(jù)權(quán)利要求28所述的編碼器，還包含第三輔助分量編碼器，用于對第二圖像的象素值和由不一致補償器輸出的不一致補償?shù)牡诙D像的象素值執(zhí)行殘留過程，以輸出色度殘留紋理，并且對色度殘留紋理編碼以輸出量化的色度殘留紋理。
32.根據(jù)權(quán)利要求31所述的編碼器，還包含變長度編碼器，用于對量化的視頻對象、運動向量、量化的水平不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理執(zhí)行可變長度編碼，并且作為單一流輸出它們。
33.根據(jù)權(quán)利要求31所述的編碼器，其中量化的水平不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理被分配給MPEG-4MAC，然后被編碼。
34.根據(jù)權(quán)利要求28所述的編碼器，其中不一致估計器參考第一圖像另外輸出第二圖像上的基于象素的垂直不一致圖；用于立體視頻的編碼器還包含第三輔助分量編碼器，用于根據(jù)由不一致估計器輸出的基于象素的垂直不一致圖和由視頻對象編碼器輸出的運動向量，對垂直不一致圖編碼并輸出量化的垂直不一致圖；以及根據(jù)重構(gòu)的第一圖像的象素值、重構(gòu)的水平不一致圖的水平不一致向量值和重構(gòu)的垂直不一致圖，不一致補償器執(zhí)行不一致補償并輸出不一致補償?shù)牡诙D像的象素值。
35.根據(jù)權(quán)利要求34所述的編碼器，還包含可變長度編碼器，用于對量化的視頻對象、運動向量、量化的水平不一致圖、量化的垂直不一致圖和量化的亮度殘留紋理執(zhí)行可變長度編碼，并且作為單一流輸出它們。
36.根據(jù)權(quán)利要求34所述的編碼器，其中量化的水平不一致圖、量化的垂直不一致圖和量化的亮度殘留紋理被分配給MPEG-4MAC，然后被編碼。
37.根據(jù)權(quán)利要求34所述的編碼器，還包含第四個輔助分量編碼器，用于對第二圖像的象素值和由不一致補償器輸出的不一致補償?shù)牡诙D像的象素值執(zhí)行殘留過程，以輸出色度殘留紋理，并且對色度殘留紋理編碼以輸出量化的色度殘留紋理。
38.根據(jù)權(quán)利要求37所述的編碼器，還包含可變長度編碼器，用于對量化的視頻對象、運動向量、量化的水平不一致圖、量化的垂直不一致圖、量化的亮度殘留紋理和量化的色度殘留紋理執(zhí)行可變長度編碼，并且作為單一流輸出它們。
39.根據(jù)權(quán)利要求28所述的編碼器，其中視頻對象編碼器包含編碼單元，用于對第一圖像和運動補償?shù)臄?shù)據(jù)執(zhí)行殘留過程，對該數(shù)據(jù)執(zhí)行離散余弦變換和量化，并且輸出量化的視頻對象；解碼單元，用于對由編碼單元輸出的量化的視頻對象執(zhí)行去量化和逆離散余弦變換，重構(gòu)視頻對象數(shù)據(jù)，并且在存儲器中存儲重構(gòu)的視頻對象數(shù)據(jù)；運動估計器，用于比較第一圖像和存儲器中存儲的前一幀的重構(gòu)的視頻對象數(shù)據(jù)，并且輸出運動向量；以及運動補償器，用于比較由運動估計器輸出的運動向量和存儲器中存儲的前一幀的重構(gòu)的視頻對象數(shù)據(jù)，并且輸出運動補償數(shù)據(jù)。
40.根據(jù)權(quán)利要求39所述的編碼器，其中第一輔助分量編碼器包含編碼單元，用于對水平不一致圖和運動補償?shù)臄?shù)據(jù)執(zhí)行殘留過程，對該數(shù)據(jù)執(zhí)行離散余弦變換和量化，并且輸出量化的水平不一致圖；解碼單元，用于對由編碼單元輸出的量化的水平不一致圖執(zhí)行去量化和逆離散余弦變換，重構(gòu)水平不一致圖，并且在存儲器中存儲重構(gòu)的水平不一致圖；以及運動補償器，用于比較由視頻對象編碼器的運動估計器輸出的運動向量和存儲器中存儲的前一幀的重構(gòu)的水平不一致圖，并且輸出運動補償數(shù)據(jù)。
41.一種用于包括第一和第二圖像的立體視頻的解碼器，包含可變長度解碼器，用于接收編碼流，并且輸出第一圖像的視頻對象的量化數(shù)據(jù)、運動向量、水平不一致圖的量化數(shù)據(jù)和亮度殘留紋理的量化數(shù)據(jù)；視頻對象解碼器，用于根據(jù)視頻對象的量化數(shù)據(jù)和運動向量，對視頻對象解碼并重構(gòu)第一圖像；第一輔助分量解碼器，用于根據(jù)水平不一致圖的量化數(shù)據(jù)和運動向量，對水平不一致圖的量化數(shù)據(jù)解碼；第二輔助分量解碼器，用于根據(jù)亮度殘留紋理的量化數(shù)據(jù)和運動向量，對亮度殘留紋理的量化數(shù)據(jù)解碼；不一致補償器，用于根據(jù)由視頻對象解碼器輸出的重構(gòu)的第一圖像和由第一輔助分量解碼器輸出的解碼的水平不一致圖執(zhí)行不一致補償，并且輸出不一致補償?shù)牧炼燃y理和不一致補償?shù)纳燃y理；以及第一加法器，用于把由不一致補償器輸出的不一致補償?shù)牧炼燃y理和由第二輔助分量解碼器輸出的重構(gòu)的亮度殘留紋理加起來。
42.根據(jù)權(quán)利要求41所述的解碼器，其中可變長度解碼器另外輸出色度殘留紋理的量化數(shù)據(jù)，以及用于立體視頻的解碼器還包含第三輔助分量解碼器，用于根據(jù)由可變長度解碼器輸出的色度殘留紋理的量化數(shù)據(jù)和運動向量，對色度殘留紋理的量化數(shù)據(jù)解碼；以及第二加法器，用于把由不一致補償器輸出的不一致補償?shù)纳燃y理和由第三輔助分量解碼器輸出的重構(gòu)的色度殘留紋理加起來。
43.根據(jù)權(quán)利要求41所述的解碼器，其中可變長度解碼器另外輸出垂直不一致圖的量化數(shù)據(jù)；用于立體視頻的解碼器還包含第三輔助分量解碼器，用于根據(jù)由可變長度解碼器輸出的垂直不一致圖的量化數(shù)據(jù)和運動向量，對垂直不一致圖的量化數(shù)據(jù)解碼；以及根據(jù)由視頻對象解碼器輸出的重構(gòu)的第一圖像、由第一輔助分量解碼器輸出的解碼的水平不一致圖和由第三輔助分量解碼器輸出的解碼的垂直不一致圖，不一致補償器執(zhí)行不一致補償，并且輸出不一致補償?shù)牧炼燃y理和不一致補償?shù)纳燃y理。
44.根據(jù)權(quán)利要求43所述的解碼器，其中可變長度解碼器另外輸出色度殘留紋理的量化數(shù)據(jù)，以及用于立體視頻的解碼器還包含第四輔助分量解碼器，用于根據(jù)由可變長度解碼器輸出的色度殘留紋理的量化數(shù)據(jù)和運動向量，對色度殘留紋理的量化數(shù)據(jù)解碼；以及第二加法器，用于把由不一致補償器輸出的不一致補償?shù)纳燃y理和由第三輔助分量解碼器輸出的重構(gòu)的色度殘留紋理加起來。
45.根據(jù)權(quán)利要求41所述的解碼器，其中視頻對象解碼器包含去量化器，用于對由可變長度解碼器輸出的視頻對象的量化數(shù)據(jù)去量化；IDCT(逆離散余弦變換器)，用于對由去量化器輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換；運動補償器，用于比較前一幀的重構(gòu)的視頻對象數(shù)據(jù)和運動向量以對運動進行補償，并且輸出運動向量；以及加法器，用于把由IDCT輸出的視頻對象和由運動補償器輸出的運動補償?shù)臄?shù)據(jù)加起來。
46.根據(jù)權(quán)利要求41所述的解碼器，其中第一輔助分量解碼器包含去量化器，用于對由可變長度解碼器輸出的水平不一致圖的量化數(shù)據(jù)去量化；IDCT(逆離散余弦變換器)，用于對由去量化器輸出的數(shù)據(jù)執(zhí)行逆離散余弦變換；運動補償器，用于比較前一幀的重構(gòu)的水平不一致圖和運動向量以對運動進行補償，并且輸出運動向量；以及加法器，用于把由IDCT輸出的水平不一致圖和由運動補償器輸出的運動補償?shù)臄?shù)據(jù)加起來。
47.一種用于對包括第一和第二圖像的立體視頻編碼/解碼的方法，其中作為視頻對象建立第一圖像，作為第一圖像的輔助信息的第二圖像被分配給MPEG-4MAC，然后被編碼/解碼。
48.根據(jù)權(quán)利要求47所述的方法，其中輔助信息包括下列至少之一水平不一致圖，包含參考第一圖像的右圖像的基于象素的水平不一致向量值；垂直不一致圖，包含參考第一圖像的右圖像的基于象素的垂直不一致向量值；亮度殘留紋理，包括編碼后重構(gòu)的第一圖像，由重構(gòu)的不一致圖不一致補償?shù)牡诙D像，以及輸入的第二圖像上的亮度分量上的殘留圖像數(shù)據(jù)；以及色度殘留紋理，包括編碼后重構(gòu)的第一圖像，由重構(gòu)的不一致圖不一致補償?shù)牡诙D像，以及輸入的第二圖像上的色度分量上的殘留圖像數(shù)據(jù)。
全文摘要
通過使用由現(xiàn)有的MPEG－4標準定義的MAC對立體視頻編碼和解碼。立體視頻被分割為作為單個視頻對象的一個圖像；以及另一個圖像，作為用于作為視頻對象建立的圖像的輔助信息。所述輔助信息包括水平不一致圖、垂直不一致圖、亮度殘留紋理和色度殘留紋理，它們根據(jù)圖像的重要性和復(fù)雜度分別被分配給MAC的輔助分量，被編碼，然后作為單一編碼流被輸出。
文檔編號H04N7/24GK1742488SQ03826007
公開日2006年3月1日 申請日期2003年1月22日 優(yōu)先權(quán)日2002年12月27日
發(fā)明者曹叔嬉, 崔潤靜, 尹國鎮(zhèn), 李珍煥, 咸泳權(quán), 安致得, 金庸?jié)h 申請人:韓國電子通信研究院