專利名稱：基于全局視差向量對多視像編碼和解碼的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
與本發(fā)明一致的方法和設(shè)備涉及對多^L像進(jìn)行編碼和解碼，更具體 地說，涉及使用全局視差(disparity)向量對多視像高效編碼和解碼的方 法和設(shè)備。
背景技術(shù)：
通過從提供多視像的多個相機接收圖像信號并且對所述圖像信號編 碼來執(zhí)行多視像編碼。使用相機之間(視圖間)的時間相關(guān)和空間相關(guān) 對多視像進(jìn)行壓縮編碼。
使用在不同時間拍攝的相同視點的畫面之間的時間相關(guān)來執(zhí)行時間預(yù)
測，使用相同時間拍4聶的具有不同視點的畫面之間的空間相關(guān)來執(zhí)行空間預(yù)測。
使用這種空間相關(guān)的方法包括使用全局視差向量的預(yù)測編碼方法。下面
將參照圖1A和1B詳細(xì)描述使用全局視差向量的預(yù)測編碼方法。
圖1A和1B是用于示出在不同視點(view-point)拍攝的兩幅圖像之間 的全局視差的示圖。
圖1A和1B示出由位于不同位置的兩個相機在相同時間拍攝的具有不同 視點的兩幅圖像110和130。在多視像的情況下，由于與不同視點相應(yīng) 的相機的位置差，具有不同視點的多視像具有全局視差。參照圖1A和 圖1B，圖1A示出的圖像110的左側(cè)部分120在圖1B中沒有看到。另外， 圖1B示出的圖像130的右側(cè)部分140沒有在圖1A中示出。其結(jié)果是，如果 將圖1示出的圖像110向右側(cè)移位，則圖像110將與圖1B中示出的圖像130 相似。
通過在不同視點拍攝相應(yīng)場景的相機的位置的差異來產(chǎn)生圖1A的圖像 110與圖1B的圖像130之間的全局視差。使用表示這種全局視差的向量對當(dāng) 前畫面進(jìn)行預(yù)測編碼的方法被稱為"全局^L差補償"。
在全局視差補償中，參照參考畫面對當(dāng)前畫面進(jìn)行預(yù)測編碼，其中，參考畫面在一維方向或二維方向移動了參考畫面和當(dāng)前畫面之間的全局視差那 么多。然而，全局視差補償不考慮包括在參考畫面和當(dāng)前畫面中的每個對象 各自的差異。
圖2A、圖2B和圖2C是用于示出在不同視點捕捉的圖像中包括的對象 的視差的示圖。如圖2A所示，下面將描述兩個相機拍攝彼此分開的對象的 情況作為示例。
圖2B示出第一相機210拍攝的圖像，圖2C示出第二相機220拍攝的圖 像。在具有不同視點的圖像之間，位于相機210和相機220附近的對象230 的外觀差異很小，而在具有不同視點的圖像之間，相對遠(yuǎn)離相機210和相機 220的對象240的外觀差異大。
盡管在執(zhí)行運動補償時考慮了具有不同視點的圖像之間的全局視差，但 是具有不同視點的圖像中包括的對象可具有除了全局視差之外的不同視差。 因此，需要考慮這種問題的多視像編碼方法。

發(fā)明內(nèi)容
技術(shù)方案
本發(fā)明提供一種在考慮多視像中包括的對象各自的外觀差異的情況 下對多視像編碼和解碼的方法和設(shè)備，以及記錄有用于執(zhí)行多視像 編碼/解碼方法的程序的計算機可讀記錄介質(zhì)。
有益效果
本發(fā)明還可以被實現(xiàn)為計算機可讀記錄介質(zhì)上的計算機可讀代碼。所述 計算機可讀記錄介質(zhì)是存儲其后能夠由計算機系統(tǒng)讀取的數(shù)據(jù)的任何數(shù)據(jù)存 儲裝置。所述計算機可讀記錄介質(zhì)的例子包括但不限于只讀存儲器(ROM)、 隨機存取存儲器(RAM)、 CD-ROM、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲裝置。所述 計算機可讀記錄介質(zhì)還可分布于聯(lián)網(wǎng)的計算機系統(tǒng)上，以便所述計算機可讀
代碼能夠以分布方式被記錄和執(zhí)行。
如上所述，根據(jù)本發(fā)明的示例性實施例，由于使用其視點不同于當(dāng)前畫 面的視點的與當(dāng)前塊相應(yīng)的塊的塊信息以及與所述相應(yīng)塊相鄰的塊的塊信息 對多視像編碼，因此能夠在考慮對象各自的外觀差異以及視點之間的全 局視差的情況下對多視像編碼。由于還可使用另 一塊的塊信息對當(dāng)前塊編碼，因此能夠減少對塊信息編
碼所需的比特數(shù)，并且能夠提高編碼的壓縮率。
由于能夠以片為單位控制是否應(yīng)用使用另一塊的塊信息直接執(zhí)行編碼的 編碼模式，因此能夠更加有效地對關(guān)于編碼模式的信息進(jìn)行編碼和解碼。
盡管已經(jīng)具體顯示并描述了本發(fā)明的一些示例性實施例，但是本領(lǐng)域的 普通技術(shù)人員將理解，在不脫離本發(fā)明的原理和精神的情況下，可以對這些 示例性實施例進(jìn)行各種改變，本發(fā)明的范圍由權(quán)利要求及其等同物來限定。


通過下面結(jié)合附圖對示例性實施例進(jìn)行的描述，本發(fā)明的上述和其它特
點和優(yōu)點將會變得明顯且更加容易理解，其中
圖1A和圖1B是用于示出具有不同視點的圖像之間的全局視差的示圖； 圖2A、圖2B和圖2C是用于示出具有不同視點的圖像中包括的對象各
自的外觀差異的示圖3是根據(jù)本發(fā)明的示例性實施例的多視像編碼設(shè)備的框圖4是用于示出根據(jù)本發(fā)明的示例性實施例的確定鄰近視點的方法的示
圖6是根據(jù)本發(fā)明的示例性實施例的編碼單元的框圖7示出根據(jù)本發(fā)明的示例性實施例的產(chǎn)生塊信息的句法；
圖8是根據(jù)本發(fā)明的示例性實施例的多視像編碼方法的流程圖9是根據(jù)本發(fā)明的示例性實施例的多視像解碼設(shè)備的框圖；以及
圖10是根據(jù)本發(fā)明的示例性實施例的多視像解碼方法的流程圖。
最佳模式
根據(jù)本發(fā)明的一方面，提供一種多視像編碼方法，所述方法包括 基于表示當(dāng)前塊所屬的當(dāng)前畫面和另一畫面之間的全局視差的全局視差向 量，從其視點不同于當(dāng)前畫面的視點的該另 一畫面選擇與當(dāng)前塊相應(yīng)的塊； 基于所選塊和與所選塊相鄰的塊之中的塊的塊信息，對當(dāng)前塊編碼。量、參考索引和預(yù)測模式中的至少一個。
對當(dāng)前塊編碼的步驟可包括對標(biāo)記信息編碼，所述標(biāo)記信息指示基于 所選塊和與所選塊相鄰的塊之中的塊的塊信息對當(dāng)前塊編碼。
對當(dāng)前塊編碼的步驟還可包括對索引信息編碼，所述索引信息指示所
對當(dāng)前塊編碼的步驟還可包括對標(biāo)記信息和索引信息進(jìn)行熵編碼。 根據(jù)本發(fā)明的另一方面，提供一種多視像編碼設(shè)備，所述設(shè)備包括 選擇單元，基于表示當(dāng)前塊所屬的當(dāng)前畫面和另 一畫面之間的全局視差的全 局視差向量，從其視點不同于當(dāng)前畫面的視點的該另 一畫面選擇與當(dāng)前塊相 應(yīng)的塊；編碼單元，基于所選塊和與所選塊相鄰的塊之中的塊的塊信息，對 當(dāng)前塊編碼。
根據(jù)本發(fā)明的另一方面，提供一種多視像解碼方法，所述方法包括 接收包括關(guān)于當(dāng)前塊的數(shù)據(jù)的比特流，所述當(dāng)前塊已經(jīng)基于所選塊和與所選 塊相鄰的塊之中的塊的塊信息被編碼，其中，基于表示當(dāng)前塊所屬的當(dāng)前畫 面和另 一 畫面之間的全局視差的全局視差向量，從其3見點不同于當(dāng)前畫面的 視點的該另 一畫面選擇與當(dāng)前塊相應(yīng)的所述所選塊；從比特流提取關(guān)于當(dāng)前 塊的數(shù)據(jù)；基于關(guān)于當(dāng)前塊的數(shù)據(jù)恢復(fù)當(dāng)前塊。
關(guān)于當(dāng)前塊的數(shù)據(jù)可包括標(biāo)記信息，所述標(biāo)記信息指示基于所選塊和與 所選塊相鄰的塊之中的塊的塊信息對當(dāng)前塊編碼。
關(guān)于當(dāng)前塊的數(shù)據(jù)還可包括索引信息，所述索引信息指示所選塊和與所 選塊相鄰的塊之中的哪些塊與用于對當(dāng)前塊編碼的塊信息相應(yīng)。
根據(jù)本發(fā)明的另一方面，提供一種多視像解碼設(shè)備，所述設(shè)備包括 解碼單元，接收包括關(guān)于當(dāng)前塊的數(shù)據(jù)的比特流，并且從比特流提取關(guān)于當(dāng) 前塊的數(shù)據(jù)，所述當(dāng)前塊已經(jīng)基于所選塊和與所選塊相鄰的塊之中的塊的塊 信息被編碼，其中，基于表示當(dāng)前塊所屬的當(dāng)前畫面和另一畫面之間的全局 視差的全局視差向量，從其3見點不同于當(dāng)前畫面的#見點的該另一畫面選擇與 當(dāng)前塊相應(yīng)的所述所選塊；恢復(fù)單元，基于關(guān)于當(dāng)前塊的數(shù)據(jù)恢復(fù)當(dāng)前塊。
根據(jù)本發(fā)明的另一方面，提供一種多視像編碼方法，所述方法包括 基于表示當(dāng)前塊所屬的當(dāng)前畫面和另一畫面之間的全局#見差的全局-見差向 量，從其視點不同于當(dāng)前畫面的視點的該另 一畫面選擇與當(dāng)前塊相應(yīng)的塊； 根據(jù)基于所選塊的塊信息對塊編碼的編碼模式對當(dāng)前塊編碼；對標(biāo)記信息編碼，所述標(biāo)記信息指示已經(jīng)根據(jù)所述編碼模式對當(dāng)前塊所屬的當(dāng)前片中包含 的至少一個塊編碼。
根據(jù)本發(fā)明的另一方面，提供一種多視像編碼設(shè)備，所述設(shè)備包括 選擇單元，基于表示當(dāng)前塊所屬的當(dāng)前畫面和另 一畫面之間的全局視差的全 局視差向量，從其一見點不同于當(dāng)前畫面的一見點的該另 一畫面選擇與當(dāng)前塊相 應(yīng)的塊；編碼單元，根據(jù)基于所選塊的塊信息對塊編碼的編碼模式對當(dāng)前塊 編碼，其中，編碼單元還對標(biāo)記信息編碼，所述標(biāo)記信息指示已經(jīng)根據(jù)所述
編碼模式對當(dāng)前塊所屬的當(dāng)前片中包含的至少一個塊編碼。
根據(jù)本發(fā)明的另一方面，提供一種多視像解碼方法，所述方法包括 接收包括關(guān)于當(dāng)前塊的數(shù)據(jù)的比特流，所述當(dāng)前塊已經(jīng)基于與當(dāng)前塊相應(yīng)的 塊的塊信息被編碼，其中，基于表示當(dāng)前塊所屬的當(dāng)前畫面和另一畫面之間 的全局視差的全局視差向量，從其視點不同于當(dāng)前畫面的視點的該另 一 畫面 選擇該相應(yīng)塊；從比特流提取關(guān)于當(dāng)前塊的殘差塊的數(shù)據(jù)以及關(guān)于編碼模式 的信息；基于關(guān)于殘差塊的數(shù)據(jù)以及關(guān)于編碼模式的信息來恢復(fù)當(dāng)前塊，其 中，關(guān)于編碼模式的信息包括標(biāo)記信息，所述標(biāo)記信息指示已經(jīng)根據(jù)所述編 碼模式對當(dāng)前塊所屬的當(dāng)前片中包括的至少一個塊編碼。
根據(jù)本發(fā)明的另一方面，提供一種多視像解碼設(shè)備，所述設(shè)備包括 解碼單元，接收包括關(guān)于當(dāng)前塊的數(shù)據(jù)的比特流，然后從比特流提取關(guān)于當(dāng)
前塊的殘差塊的數(shù)據(jù)以及關(guān)于編碼模式的信息，所述當(dāng)前塊已經(jīng)基于與當(dāng)前 塊相應(yīng)的塊的塊信息被編碼，其中，基于表示當(dāng)前塊所屬的當(dāng)前畫面和另一 畫面之間的全局視差的全局視差向量，從其視點不同于當(dāng)前畫面的視點的該 另一畫面選擇該相應(yīng)塊；恢復(fù)單元，基于關(guān)于殘差塊的數(shù)據(jù)以及關(guān)于編碼模 式的信息來恢復(fù)當(dāng)前塊，其中，關(guān)于編碼模式的信息包括標(biāo)記信息，所述標(biāo) 記信息指示已經(jīng)根據(jù)所述編碼模式對當(dāng)前塊所屬的當(dāng)前片中包括的至少一個 塊編碼。
根據(jù)本發(fā)明的另 一方面，提供一種記錄有用于執(zhí)行上述方法的程序的計 算機可讀記錄介質(zhì)。
具體實施方式
以下將參照附圖來詳細(xì)描述本發(fā)明的示例性實施例。 圖3是根據(jù)本發(fā)明的示例性實施例的多視像編碼設(shè)備300的框圖。多視像編碼設(shè)備300包括選擇單元310、編碼單元320和幀存儲器
330。
選捧單元310基于表示當(dāng)前塊所屬的當(dāng)前畫面和另 一畫面之間的全局4見 差的向量，從其^L點不同于當(dāng)前畫面的視點的該另一畫面選擇與當(dāng)前塊相應(yīng) 的塊。詳細(xì)地，選擇單元310 #>據(jù)表示當(dāng)前畫面和先前已經(jīng)編碼的具有鄰近 視點的另 一 畫面之間的全局視差的全局視差向量，乂人該另 一 畫面選才奪與當(dāng)前 宏塊相應(yīng)的宏塊，所述鄰近視點不同于當(dāng)前塊所屬的當(dāng)前畫面的視點且相鄰 于當(dāng)前畫面的^見點。
先前已經(jīng)以預(yù)定塊為單位對具有鄰近視點的另 一畫面編碼。以編碼的塊 為單位產(chǎn)生該另 一畫面的塊信息。為了使用另 一塊的塊信息對當(dāng)前塊編碼， 必須選擇具有塊信息的塊作為與當(dāng)前塊相應(yīng)的塊。因此，如果在x軸方向或 y軸方向上全局視差向量不是當(dāng)前塊的大小的倍數(shù)，則根據(jù)通過將全局視差 向量取整獲得的結(jié)果來選擇與當(dāng)前塊相應(yīng)的塊。
例如，假設(shè)當(dāng)前塊是16x 16宏塊，并且通過以16x 16宏塊為單位通過 產(chǎn)生塊信息對其^L點不同于當(dāng)前塊所屬的當(dāng)前畫面的^L點的另 一畫面編碼。 如果計算全局視差向量為(x, y)=(10， 12)，則與當(dāng)前塊相應(yīng)的塊是具有不同視 點的另一畫面中相對于當(dāng)前塊的位置移動了(x, y)=(10， 12)的位置上的塊。然 而，"10"和"12"不是當(dāng)前塊的大小的倍數(shù)，并且移動了(x,y一(10, 12)的位 置上的塊落在多個宏塊上且沒有獨立的塊信息。因此，通過將10"和"12" 取整到"16",從具有不同視點(即，鄰近視點)的該另一畫面選擇相對于當(dāng) 前宏塊的位置移動了 (x， y)=(16， 16)的位置上的宏塊。
提供通過將全局視差向量的X分量和Y分量取整來選擇與當(dāng)前塊相應(yīng)的 塊的方法作為示例，但是本發(fā)明不限于此。
選擇單元310還可使用搜索鄰近視點的各種方法以選擇與當(dāng)前塊相應(yīng)的 塊，并且可對每個多視像序列使用不同的方法來確定鄰近視點。下面將 參照圖4詳細(xì)描述這個操作。
圖4是用于示出根據(jù)本發(fā)明的示例性實施例的確定鄰近視點的方法的示 圖。詳細(xì)地，圖4是用于解釋確定鄰近視點以在8視點的多視像中搜索 與當(dāng)前塊相應(yīng)的塊的方法的示圖。
參照圖3和圖4，如果當(dāng)前塊屬于具有視點1的圖像，則多視像編 碼設(shè)備300從與具有視點1的圖像在相同時間拍攝的具有視點0的圖像選擇與當(dāng)前塊相應(yīng)的塊，并且如果當(dāng)前塊屬于具有視點2的圖像，則多視像 編碼設(shè)備300從具有視點0的圖像選擇與當(dāng)前塊相應(yīng)的塊。如果當(dāng)前塊屬于 具有視點3的圖像，則多視像編碼設(shè)備從具有視點2的圖像選擇與當(dāng)前 塊相應(yīng)的塊，如果當(dāng)前塊屬于具有視點4的圖像，則多視像編碼設(shè)備從 具有視點2的圖像選擇與當(dāng)前塊相應(yīng)的塊。如果當(dāng)前塊屬于具有視點5和視 點6的圖像，則多視像編碼設(shè)備從具有一見點4的圖像選擇與當(dāng)前塊相應(yīng) 的塊。最后，如果當(dāng)前塊屬于具有視點7的圖像，則多視像編碼設(shè)備從 具有視點6的圖像選擇與當(dāng)前塊相應(yīng)的塊。
然而，提供上面參照圖4描述的方法作為示例，并且本發(fā)明不限于此。
返回圖3,編碼單元320基于所選塊和與所選塊相鄰的塊之中的塊的塊 信息對當(dāng)前塊編碼。詳細(xì)地，根據(jù)所選塊及相鄰塊之中的塊的塊信息使用預(yù) 定方法對當(dāng)前塊編碼。也就是說，可使用所選塊及相鄰塊之中的塊的塊信息 對當(dāng)前塊編碼。通過率失真(R-D)開銷來確定所選塊及相鄰塊之中其塊信 息將用于編碼的塊。如果使用了幀內(nèi)預(yù)測對包含將用于對當(dāng)前塊編碼的塊信 息的塊編碼，則也使用幀內(nèi)預(yù)測對當(dāng)前塊編碼。如果使用時間預(yù)測對包含將 用于對當(dāng)前塊編碼的塊信息的塊編碼，則也使用時間預(yù)測對當(dāng)前塊編碼。
將用于對當(dāng)前塊編碼的塊信息的類型不受限制。例如，塊信息可包括用 于對所選塊編碼的預(yù)測模式、用于視圖間預(yù)測或時間預(yù)測的運動向量和參考 索引中的至少一個。
由于使用另一塊的塊信息對當(dāng)前塊編碼，因此不需要產(chǎn)生當(dāng)前塊的塊信 息。稍后將參照圖7描述其細(xì)節(jié)。
如果確定與使用作為多視像的一般預(yù)測方法的幀內(nèi)預(yù)測、視圖間預(yù) 測或時間預(yù)測對當(dāng)前塊編碼相比，根據(jù)相應(yīng)塊的塊信息對當(dāng)前塊編碼具有低 率失真(R-D)開銷，則使用相應(yīng)塊的塊信息對當(dāng)前塊編碼。
圖5是用于示出沖艮據(jù)本發(fā)明的示例性實施例的對當(dāng)前塊510編碼的方法 的示圖。
圖5還是用于示出選擇具有鄰近視點的塊的方法的示圖，所述塊將用于 編碼單元320 (見圖3 )對當(dāng)前塊510編碼。
參照圖3至圖5，選擇單元310根據(jù)全局視差向量從具有鄰近視點的圖 像選擇與當(dāng)前塊510相應(yīng)的塊530。然后，編碼單元320使用所選塊530和 與所選塊530相鄰的塊540之中的塊的塊信息對當(dāng)前塊510編碼。因此，編碼單元320通過不僅使用根據(jù)全局視差向量所選塊530的塊信 息而且使用與所選塊530相鄰的塊540的塊信息，對當(dāng)前塊510編碼。
可改變其塊信息被用于編碼的相鄰塊540的數(shù)量。如圖5所示，包括塊 530和相鄰塊540的總共9個塊可用于對當(dāng)前塊510編碼。還可以使用多于9 個塊對當(dāng)前塊510編碼。還可以僅使用8個相鄰塊中的一些對當(dāng)前塊510編 碼，而非使用8個相鄰塊的全部對當(dāng)前塊510編碼，在這種情況下，僅使用 與當(dāng)前塊510具有高相關(guān)性的部分塊的塊信息對當(dāng)前塊510編碼。
將索引分配給塊530和相鄰塊540，以指示其塊信息用于對當(dāng)前塊510 編碼的塊。稍后將參照圖7進(jìn)行更加詳細(xì)的描述。
返回圖3和圖5,編碼單元320在^吏用塊530和相鄰塊540之中的塊的 塊信息對當(dāng)前塊510編碼的同時，對關(guān)于當(dāng)前塊510的編碼才莫式的信息編碼。 關(guān)于當(dāng)前塊510的編碼模式的信息是指示已經(jīng)使用塊530和塊540之中的塊 的塊信息對當(dāng)前塊510編碼的標(biāo)記信息。下面將參照圖6進(jìn)行詳細(xì)描述。
圖6是根據(jù)本發(fā)明的示例性實施例的編碼單元320的框圖。
參照圖6，編碼單元320包括標(biāo)記信息編碼器610、索引信息編碼器620 和熵編碼器630。
標(biāo)記信息編碼器610對指示當(dāng)前塊的編碼模式的標(biāo)記信息編碼，將基于 由編碼單元310 (見圖3 )所選塊和與所選塊相鄰的塊之中的至少一個塊的塊 信息對當(dāng)前塊編碼。也就是說，標(biāo)記信息編碼器610對標(biāo)記信息編碼，所述 標(biāo)記信息指示基于根據(jù)全局視差向量所選塊和與所選塊相鄰的塊之中的塊 的塊信息對當(dāng)前塊編碼，而不是使用作為多視像的 一般預(yù)測方法的幀內(nèi) 預(yù)測或^L圖間預(yù)測對當(dāng)前塊編碼。
由于使用根據(jù)全局視差向量選擇的另 一塊的塊信息對當(dāng)前塊編碼，因此 不需要將當(dāng)前塊的塊信息插入到比特流。原因是標(biāo)記信息代替了當(dāng)前塊的 塊信息。標(biāo)記信息可包含在宏塊頭或者片(slice)頭中。稍后將參照圖7詳 細(xì)描述將標(biāo)記信息插入宏塊頭的方法。
除了包含在宏塊頭中的標(biāo)記信息之外，可將其它標(biāo)記信息插入片頭，從 而能夠以片為單位指示是否將應(yīng)用根據(jù)本發(fā)明的圖5示出的編碼模式。將標(biāo) 記信息插入片頭能夠控制是否以片為單位應(yīng)用圖5示出的編碼^t式。
例如，可將"MB_info_skip—enable " 句法添加到片頭。如果 "MB—info—skip—enable=l",則意思是已經(jīng)根據(jù)使用另 一塊的塊信息對一個塊編碼的編碼模式對包含在當(dāng)前片中的塊之中的至少一個塊編碼。如果
"MB—info_skip—enable=0",則意思是沒有根據(jù)所述編碼模式對包含在當(dāng)前片 中的塊編碼。在這種情況下，對于當(dāng)前片中的任何一個塊，不需要對稍后將 參照圖7描述的"mbinfo—skip—flag"和"ref_mb_pos"句法編碼。
索引信息編碼器620對索引信息編碼，所述索引信息指示根據(jù)全局視差 向量所選塊和與所選塊相鄰的塊之中哪些塊與用于對當(dāng)前塊編碼的塊信息相 應(yīng)。當(dāng)不僅使用選擇單元310所選塊的塊信息，而且使用與所選塊相鄰的塊 的塊信息，對當(dāng)前塊編碼時，需要索引信息。
編碼單元320不僅使用通過全局視差向量所選塊的塊信息而且使用與所 選塊相鄰的塊的塊信息，對當(dāng)前塊編碼。因此，在這種情況下，編碼單元320 還對索引信息編碼，所述索引信息指示所述塊中將用于對當(dāng)前塊編碼的塊。
熵編碼器630對標(biāo)記信息編碼器610產(chǎn)生的標(biāo)記信息和索引信息編碼器 620產(chǎn)生的索引信息進(jìn)行編碼。然后，熵編碼器630將標(biāo)記信息和索引信息 二元化，對二元化的標(biāo)記信息和索引信息執(zhí)行基于上下文自適應(yīng)算術(shù)編碼 (CABAC),并且將結(jié)果插入比特流。
圖7示出根據(jù)本發(fā)明的示例性實施例的產(chǎn)生塊信息的句法。
在圖7中，示出編碼單元320產(chǎn)生的用于產(chǎn)生標(biāo)記信息和索引信息的 Q99402-Re句法。參照圖7，編碼單元320產(chǎn)生標(biāo)記信息"mbinfo—skip—flag" 和索引信息"ref—mb_pos"。
標(biāo)記信息"mbinfo_skip_flag"指示是否已經(jīng)使用根據(jù)全局視差向量所選 塊和與所選塊相鄰的塊之中的塊的塊信息對當(dāng)前塊編碼。
由于使用另 一塊的塊信息對當(dāng)前塊編碼，因此不需要產(chǎn)生當(dāng)前塊的塊信 息。因此，產(chǎn)生指示跳過當(dāng)前塊的塊信息的標(biāo)記信息，作為標(biāo)記信息 "mbinfo—skip—flag"。
索引信息"ref—mb_pos"指示其塊信息用于對當(dāng)前塊編碼的塊。如果不 僅基于通過全局視差向量所選塊而且基于與所選塊相鄰的塊對當(dāng)前塊編碼， 則索引信息"ref_mb_pos"指示上述塊中哪些塊與用于對當(dāng)前塊編碼的塊信 息相應(yīng)。
指示圖5中示出的所選塊(索引0)和相鄰塊(索引1至索引8)中哪些 塊與用于對當(dāng)前塊編碼的塊信息相應(yīng)的索引信息"ref—mb_pos"被插入到比特流。參照圖5，分配給所選塊530和與所選塊530相鄰的塊540的標(biāo)號0至8 可表示優(yōu)先級。換句話說，分配的標(biāo)號可表示當(dāng)對當(dāng)前塊510編碼時將依次 被參考的塊的順序。如果被分配了標(biāo)號0的所選塊530的塊信息與當(dāng)前塊510 的塊信息相同，則將"mbinfo—skip—flag"和"ref—mb_pos"分別設(shè)置為1和0。 然而，如果被分配了標(biāo)號0的所選塊530的塊信息與當(dāng)前塊510的塊信息不 同，則將被分配了標(biāo)號1的塊(即，與所選塊530上部相鄰的塊)的塊信息 與當(dāng)前塊510的塊信息進(jìn)行比較。如果比較結(jié)果顯示相鄰塊的塊信息與當(dāng)前 塊510的塊信息相同，則將"mbinfo—skip—flag"和"ref—mb_pos，，設(shè)置為1。 從標(biāo)號為2的塊到標(biāo)號為8的塊重復(fù)執(zhí)行這種比較。如果任何被參考的塊的 塊信息均與當(dāng)前塊510的塊信息不同，則將"mbinfo一skip一flag"設(shè)置為1, 并且根據(jù)傳統(tǒng)編碼方法對當(dāng)前塊510的塊信息編碼。
參照圖3,將編碼單元320編碼的當(dāng)前塊被存儲在幀存儲器330中，并 且當(dāng)下一塊或圖像被編碼時被參考。
圖8是根據(jù)本發(fā)明的示例性實施例的多視像編碼方法的流程圖，其 中，通過圖3所述的多視像編碼設(shè)備執(zhí)行所述多視像編碼方法。
參照圖8,在#:作810， ^使用表示當(dāng)前畫面和鄰近畫面之間的全局^L差的 全局視差向量，從當(dāng)前塊所屬的當(dāng)前畫面的該鄰近畫面選#^與當(dāng)前塊相應(yīng)的 塊。
在操作820,使用所選塊和與所選塊相鄰的塊之中的塊的塊信息對當(dāng)前 塊編碼。也就是說，可僅基于所選塊的塊信息或者基于所選塊和相鄰塊之中 的塊的塊信息對當(dāng)前塊編碼。
使用塊信息直接對當(dāng)前塊編碼。這里，還對關(guān)于當(dāng)前塊的編碼模式的標(biāo) 記信息以及指示哪些塊與用于對當(dāng)前塊編碼的塊信息相應(yīng)的索引信息進(jìn)行編 碼，并且將其插入比特流。將標(biāo)記信息和索引信息進(jìn)行熵編碼并將其插入比 特流。如圖7所示，被編碼的標(biāo)記信息可以是插入宏塊頭的標(biāo)記信息。另夕卜， 單獨地，可將標(biāo)記信息編碼并將其插入片頭，所述標(biāo)記信息指示已經(jīng)根據(jù)上 面參照圖5描述的編碼模式對包含在當(dāng)前片中的至少一個塊編碼。圖9是根 據(jù)本發(fā)明的示例性實施例的多視像解碼設(shè)備900的框圖。
參照圖9,多^Ll象解碼設(shè)備900包括解碼單元910和恢復(fù)單元920。
解碼單元910接收包括關(guān)于當(dāng)前塊的數(shù)據(jù)的比特流，并且從比特流提取 關(guān)于當(dāng)前塊的數(shù)據(jù)。關(guān)于當(dāng)前塊的數(shù)據(jù)包括關(guān)于通過對當(dāng)前塊預(yù)測編碼產(chǎn)生的殘差塊
(residual block)的數(shù)據(jù)和關(guān)于當(dāng)前塊的編碼模式的信息。通過基于指示當(dāng)前 塊所屬的當(dāng)前畫面與另 一 畫面之間的全局視差的全局視差向量，從其視點不 同于當(dāng)前畫面的視點的該另 一畫面選擇與當(dāng)前塊相應(yīng)的塊，并且基于所選塊 和與所選塊相鄰的塊之中的塊的塊信息對當(dāng)前塊進(jìn)行預(yù)測編碼，來產(chǎn)生殘差塊。
關(guān)于當(dāng)前塊的編碼模式的信息包括指示按照根據(jù)本發(fā)明的編碼模式對 當(dāng)前塊編碼的標(biāo)記信息，和指示用于對當(dāng)前塊編碼的塊的索引信息。當(dāng)相鄰 塊的塊信息也用于對當(dāng)前塊編碼時包括所述索引信息。
解碼單元910基于包含在片頭中的標(biāo)記信息確定當(dāng)前片是否包括使用根 據(jù)本發(fā)明的編碼方法編碼的塊。如果片頭中的標(biāo)記信息指示當(dāng)前片不包括使 用上述編碼方法編碼的塊，則不需要從當(dāng)前塊的塊頭中提取標(biāo)記信息和索《1 信息。
然后，解碼單元910對關(guān)于殘差塊的數(shù)據(jù)執(zhí)行熵解碼、逆變換和解量化， 從而對關(guān)于殘差塊的數(shù)據(jù)解碼。解碼單元910對當(dāng)前塊的標(biāo)記信息和索引信 息執(zhí)行熵解碼(即，CABAC解碼)。
恢復(fù)單元920基于解碼單元910提取的關(guān)于當(dāng)前塊的數(shù)據(jù)來恢復(fù)當(dāng)前塊。 當(dāng)前塊的塊信息包括標(biāo)記信息和索引信息。因此，恢復(fù)單元920參照片 頭中的標(biāo)記信息、塊頭中的標(biāo)記信息和索引信息，使用與當(dāng)前塊相應(yīng)的具有 鄰近視點的塊和與具有鄰近視點的塊相鄰的塊之中的塊的塊信息，來恢復(fù)當(dāng) 前塊。
恢復(fù)單元920根據(jù)塊信息在預(yù)測模式下預(yù)測當(dāng)前塊?；謴?fù)單元920將作 為結(jié)果的預(yù)測的塊添加到解碼單元910提取的殘差塊，從而恢復(fù)當(dāng)前塊。
圖10是根據(jù)本發(fā)明的示例性實施例的多視像解碼方法的流程圖，其 中，通過圖9所示的多視像解碼設(shè)備來執(zhí)行所述多視像解碼方法。
參照圖10，在操作1010，接收包括關(guān)于已經(jīng)基于全局視差向量編碼的當(dāng) 前塊的數(shù)據(jù)的比特流。
也就是說，接收包括關(guān)于當(dāng)前塊的數(shù)據(jù)的比特流，通過基于全局視差向 量從具有鄰近視點的另 一畫面選擇與當(dāng)前塊相應(yīng)的塊并且基于所選塊和與所 選塊相鄰的塊之中的塊的塊信息對當(dāng)前塊編碼而獲得所述當(dāng)前塊的數(shù)據(jù)。
在操作1020，從比特流提取關(guān)于當(dāng)前塊的數(shù)據(jù)。也就是說，從比特流提取關(guān)于當(dāng)前塊的殘差塊的數(shù)據(jù)和當(dāng)前塊的編碼模式的信息。當(dāng)前塊的塊信息 可包括標(biāo)記信息和索引信息，所述標(biāo)記信息指示按照根據(jù)本發(fā)明的編碼模式 對當(dāng)前塊編碼，所述索引信息指示用于對當(dāng)前塊編碼的塊。另外，分別從宏 塊頭和片頭4是取塊信息和標(biāo)記信息。
在操作1030，基于關(guān)于當(dāng)前塊的數(shù)據(jù)恢復(fù)當(dāng)前塊。也就是說，使用當(dāng)前
塊的塊信息中包括的標(biāo)記信息和才艮據(jù)索引信息指示的塊的塊信息來恢復(fù)當(dāng)前塊。
權(quán)利要求
1、一種多視像編碼方法，包括基于表示當(dāng)前塊所屬的當(dāng)前畫面和另一畫面之間的全局視差的全局視差向量，從其視點不同于當(dāng)前畫面的視點的該另一畫面選擇與當(dāng)前塊相應(yīng)的塊；基于所選塊和與所選塊相鄰的塊之中的塊的塊信息，對當(dāng)前塊編碼。
2、 如權(quán)利要求l所述的方法，其中，塊信息包括用于對所選塊和與所選 塊相鄰的塊之中的塊編碼的運動向量、參考索S1和預(yù)測模式中的至少 一個。
3、 如權(quán)利要求l所述的方法，其中，對當(dāng)前塊編碼的步驟包括對標(biāo)記 信息編碼，所述標(biāo)記信息指示基于所選塊和與所選塊相鄰的塊之中的塊的塊 信息對當(dāng)前塊編碼。
4、 如權(quán)利要求3所述的方法，其中，對當(dāng)前塊編碼的步驟還包括對索 引信息編碼，所述索引信息指示所選塊和與所選塊相鄰的塊之中的哪些塊與 用于對當(dāng)前塊編碼的塊信息相應(yīng)。
5、 如權(quán)利要求4所述的方法，其中，對當(dāng)前塊編碼的步驟還包括對標(biāo) 記信息和索引信息進(jìn)行熵編碼。
6、 如權(quán)利要求5所述的方法，其中，對標(biāo)記信息和索引信息進(jìn)行熵編碼 的步驟包括對標(biāo)記信息和索引信息執(zhí)行基于上下文自適應(yīng)算術(shù)編碼 CAB AC 。
7、 一種多視像編碼設(shè)備，包括選擇單元，基于表當(dāng)前塊所屬的示當(dāng)前畫面和另一畫面之間的全局視差 的全局視差向量，從其視點不同于當(dāng)前畫面的視點的該另 一 畫面選擇與當(dāng)前 塊相應(yīng)的塊；編碼單元，基于所選塊和與所選塊相鄰的塊之中的塊的塊信息，對當(dāng)前塊編碼。
8、 如權(quán)利要求7所述的設(shè)備，其中，塊信息包括用于對所選塊和與所選 塊相鄰的塊之中的塊編碼的運動向量、參考索引和預(yù)測模式中的至少一個。
9、 如權(quán)利要求7所述的設(shè)備，其中，編碼單元還包括標(biāo)記信息編碼單元， 對標(biāo)記信息編碼，所述標(biāo)記信息指示基于所選塊和與所選塊相鄰的塊之中的 塊的塊信息對當(dāng)前塊編碼。
10、 如權(quán)利要求9所述的設(shè)備，其中，編碼單元對索引信息編碼，所述索引信息指示 的塊信息相應(yīng)。
11、 如權(quán)利要求10所述的設(shè)備，其中，編碼單元還包括熵編碼單元，對 標(biāo)記信息和索引信息進(jìn)行熵編碼。
12、 如權(quán)利要求11所述的設(shè)備，其中，熵編碼單元對標(biāo)記信息和索引信息執(zhí)行基于上下文自適應(yīng)算術(shù)編碼CABAC。
13、 一種多視像解碼方法，包括接收包括關(guān)于當(dāng)前塊的數(shù)據(jù)的比特流，所述當(dāng)前塊已經(jīng)基于所選塊和與 所選塊相鄰的塊之中的塊的塊信息被編碼，其中，基于表示當(dāng)前塊所屬的當(dāng) 前畫面和另 一 畫面之間的全局4見差的全局#見差向量，乂人其浮見點不同于當(dāng)前畫 面的視點的該另 一畫面選擇與當(dāng)前塊相應(yīng)的所述所選塊；從比特流提取關(guān)于當(dāng)前塊的數(shù)據(jù)；基于關(guān)于當(dāng)前塊的數(shù)據(jù)恢復(fù)當(dāng)前塊。
14、 如權(quán)利要求13所述的方法，其中，關(guān)于當(dāng)前塊的數(shù)據(jù)包括標(biāo)記信息， 所述標(biāo)記信息指示基于所選塊和與所選塊相鄰的塊之中的塊的塊信息對當(dāng)前 塊編碼。
15、 如權(quán)利要求14所述的方法，其中，關(guān)于當(dāng)前塊的數(shù)據(jù)還包括索引信前塊編碼的塊信息相應(yīng)。
16、 如權(quán)利要求15所述的方法，其中，恢復(fù)當(dāng)前塊的步驟包括基于索 引信息指示的塊的塊信息恢復(fù)當(dāng)前塊。
17、 一種多視像解碼設(shè)備，包括解碼單元，接收包括關(guān)于當(dāng)前塊的數(shù)據(jù)的比特流，并且從比特流提取關(guān) 于當(dāng)前塊的數(shù)據(jù)，所述當(dāng)前塊已經(jīng)基于所選塊和與所選塊相鄰的塊之中的塊 的塊信息被編碼，其中，基于表示當(dāng)前塊所屬的當(dāng)前畫面和另一畫面之間的 全局^L差的全局^L差向量，乂人其^L點不同于當(dāng)前畫面的一見點的該另 一畫面選 擇與當(dāng)前塊相應(yīng)的所述所選塊；恢復(fù)單元，基于關(guān)于當(dāng)前塊的數(shù)據(jù)恢復(fù)當(dāng)前塊。
18、 如權(quán)利要求17所述的設(shè)備，其中，關(guān)于當(dāng)前塊的數(shù)據(jù)包括標(biāo)記信息， 所述標(biāo)記信息指示基于所選塊和與所選塊相鄰的塊之中的塊的塊信息對當(dāng)前 塊編碼。
19、 如權(quán)利要求18所述的設(shè)備，其中，關(guān)于當(dāng)前塊的數(shù)據(jù)還包括索引信 息，所述索引信息指示所選塊和與所選塊相鄰的塊之中的哪些塊與用于對當(dāng) 前塊編碼的塊信息相應(yīng)。
20、 如權(quán)利要求19所述的設(shè)備，其中，恢復(fù)單元基于索引信息指示的塊 的塊信息恢復(fù)當(dāng)前塊。
21、 一種記錄有用于執(zhí)行權(quán)利要求1所述的方法的程序的計算機可讀記 錄介質(zhì)。
22、 一種記錄有用于執(zhí)行權(quán)利要求13所述的方法的程序的計算機可讀記錄介質(zhì)。
23、 一種多視像編碼方法，包括基于表示當(dāng)前塊所屬的當(dāng)前畫面和另 一畫面之間的全局視差的全局視差 向量，從其視點不同于當(dāng)前畫面的視點的該另 一畫面選擇與當(dāng)前塊相應(yīng)的塊； 根據(jù)基于所選塊的塊信息對塊編碼的編碼模式對當(dāng)前塊編碼； 對標(biāo)記信息編碼，所述標(biāo)記信息指示已經(jīng)根據(jù)所述編碼^^莫式對當(dāng)前塊所 屬的當(dāng)前片中包含的至少一個塊編碼。
24、 如權(quán)利要求23所述的方法，其中，塊信息包括用于對所選塊編碼的 預(yù)測模式、運動向量和參考索引中的至少一個。
25、 如權(quán)利要求23所述的方法，其中，標(biāo)記信息包括在當(dāng)前片的片頭中。
26、 如權(quán)利要求23所述的方法，其中，對標(biāo)記信息編碼的步驟還包括 對指示是否已經(jīng)根據(jù)所述編碼模式對當(dāng)前塊編碼的標(biāo)記信息編碼。
27、 一種多視像編碼設(shè)備，包括選擇單元，基于表示當(dāng)前塊所屬的當(dāng)前畫面和另 一畫面之間的全局視差 的全局視差向量，從其視點不同于當(dāng)前畫面的視點的該另 一 畫面選擇與當(dāng)前 塊相應(yīng)的塊；編碼單元，根據(jù)基于所選塊的塊信息對塊編碼的編碼模式對當(dāng)前塊編碼， 其中，編碼單元還對標(biāo)記信息編碼，所述標(biāo)記信息指示已經(jīng)根據(jù)所述編碼模式對當(dāng)前塊所屬的當(dāng)前片中包含的至少一個塊編碼。
28、 如權(quán)利要求27所述的設(shè)備，其中，塊信息包括用于對所選塊編碼的 預(yù)測模式、運動向量和參考索引中的至少一個。
29、 如權(quán)利要求27所述的設(shè)備，其中，標(biāo)記信息包括在當(dāng)前片的片頭中。
30、 如權(quán)利要求27所述的設(shè)備，其中，編碼單元對指示是否已經(jīng)根據(jù)所述編碼斗莫式對當(dāng)前塊編碼的標(biāo)記信息編碼。
31、 一種多視像解碼方法，包括接收包括關(guān)于當(dāng)前塊的數(shù)據(jù)的比特流，所述當(dāng)前塊已經(jīng)基于與當(dāng)前塊相 應(yīng)的塊的塊信息被編碼，其中，基于表示當(dāng)前塊所屬的當(dāng)前畫面和另一畫面 之間的全局視差的全局視差向量，從其視點不同于當(dāng)前畫面的-見點的該另一 畫面選4奪該相應(yīng)塊；從比特流提取關(guān)于當(dāng)前塊的殘差塊的數(shù)據(jù)以及關(guān)于編碼模式的信息； 基于關(guān)于殘差塊的數(shù)據(jù)以及關(guān)于編碼模式的信息來恢復(fù)當(dāng)前塊， 其中，關(guān)于編碼模式的信息包括標(biāo)記信息，所述標(biāo)記信息指示已經(jīng)根據(jù) 所述編碼模式對當(dāng)前塊所屬的當(dāng)前片中包括的至少一個塊編碼。
32、 如權(quán)利要求31所述的方法，其中，標(biāo)記信息包括在當(dāng)前片的片頭中。
33、 如權(quán)利要求31所述的方法，其中，關(guān)于編碼模式的信息包括指示是 否已經(jīng)根據(jù)所述編碼^t式對當(dāng)前塊編碼的標(biāo)記信息。
34、 一種多視像解碼設(shè)備，包括解碼單元，接收包括關(guān)于當(dāng)前塊的數(shù)據(jù)的比特流，然后從比特流提取關(guān) 于當(dāng)前塊的殘差塊的數(shù)據(jù)以及關(guān)于編碼模式的信息，所述當(dāng)前塊已經(jīng)基于與 當(dāng)前塊相應(yīng)的塊的塊信息被編碼，其中，基于表示當(dāng)前塊所屬的當(dāng)前畫面和 另 一 畫面之間的全局視差的全局視差向量，從其^L點不同于當(dāng)前畫面的視點 的該另一畫面選擇該相應(yīng)塊；恢復(fù)單元，基于關(guān)于殘差塊的數(shù)據(jù)以及關(guān)于編碼模式的信息來恢復(fù)當(dāng)前塊，其中，關(guān)于編碼模式的信息包括標(biāo)記信息，所述標(biāo)記信息指示已經(jīng)根據(jù) 所述編碼模式對當(dāng)前塊所屬的當(dāng)前片中包括的至少一個塊編碼。
35、 如權(quán)利要求34所述的設(shè)備，其中，標(biāo)記信息包括在當(dāng)前片的片頭中。
36、 如權(quán)利要求34所述的設(shè)備，其中，關(guān)于編碼模式的信息包括指示是 否已經(jīng)根據(jù)所述編碼模式對當(dāng)前塊編碼的標(biāo)記信息。
37、 一種記錄有用于執(zhí)行權(quán)利要求23所述的方法的程序的計算機可讀記 錄介質(zhì)。
38、 一種記錄有用于執(zhí)行權(quán)利要求31所述的方法的程序的計算機可讀記 錄介質(zhì)。
全文摘要
一種用于對多視像編碼和解碼的方法和設(shè)備。所述對多視像編碼的方法包括基于表示當(dāng)前塊所屬的當(dāng)前畫面和另一畫面之間的全局視差的全局視差向量，從其視點不同于當(dāng)前畫面的視點的該另一畫面選擇與當(dāng)前塊相應(yīng)的塊；基于所選塊和與所選塊相鄰的塊之中的塊的塊信息，對當(dāng)前塊編碼。因此，能夠在考慮對象各自外觀之間的差異以及視點之間的全局視差的情況下對多視像編碼。
文檔編號H04N7/32GK101578881SQ200880001732
公開日2009年11月11日 申請日期2008年1月3日 優(yōu)先權(quán)日2007年1月3日
發(fā)明者宋學(xué)燮, 崔鐘凡, 文榮豪, 沈優(yōu)星 申請人:三星電子株式會社