專利名稱：對(duì)多視角視頻進(jìn)行編碼的方法和設(shè)備的制作方法
對(duì)多視角視頻進(jìn)行編碼的方法和設(shè)備 技術(shù)領(lǐng)域根據(jù)本發(fā)明的方法和設(shè)備涉及對(duì)多視角視頻序列進(jìn)行編碼，更具體地講， 涉及使用最少量的關(guān)于多視角視頻的信息對(duì)多視角相機(jī)拍攝的多視角視頻進(jìn) 行編碼。
背景技術(shù)：
在實(shí)現(xiàn)高質(zhì)量的信息和電信服務(wù)中，真實(shí)性是重要的因素?？墒褂没谌S(3D)圖像的視頻通信來(lái)獲得真實(shí)性。3D成像系統(tǒng)在教育、娛樂(lè)、醫(yī)療 手術(shù)、視頻會(huì)議等具有很多潛在應(yīng)用。為了向很多觀察者提供遠(yuǎn)方場(chǎng)景的更 生動(dòng)和精確的信息，將三個(gè)或更多個(gè)相機(jī)放置在稍微不同的視點(diǎn)以產(chǎn)生多視 角序列。很多研究組已經(jīng)開(kāi)發(fā)了 3D圖像處理和顯示系統(tǒng)反映了對(duì)3D圖像的當(dāng)前 興趣。在歐洲，通過(guò)若干項(xiàng)目(比如DISTIMA)已經(jīng)開(kāi)始了對(duì)3DTV的研究， 目的在于開(kāi)發(fā)一種用于捕獲、編碼、發(fā)送和顯示數(shù)字立體圖像序列的系統(tǒng)。 這些項(xiàng)目已經(jīng)產(chǎn)生另一項(xiàng)目PANORAMA,其目標(biāo)在于增強(qiáng)在3D遠(yuǎn)程呈現(xiàn)通 信中的可視信息。這些項(xiàng)目還產(chǎn)生另一項(xiàng)目ATTEST,其中，研究關(guān)于3D內(nèi) 容獲取、3D壓縮和傳輸以及3D顯示系統(tǒng)的各種技術(shù)。在ATTEST項(xiàng)目中， 應(yīng)用運(yùn)動(dòng)圖像專家組2 (MPEG-2)和數(shù)字視頻廣播(DVB)標(biāo)準(zhǔn)以使用時(shí)間 可伸縮性來(lái)發(fā)送3D內(nèi)容。為了獲得時(shí)間可伸縮性，基本層被用于傳輸2D內(nèi) 容，高級(jí)層^^皮用于發(fā)送3D內(nèi)容。1996年修改了 MPEG-2標(biāo)準(zhǔn)，以定義多視角類(multiview profile, MVP )。 MVP以MPEG-2語(yǔ)法定義用于多相機(jī)序列和獲耳又相機(jī)參數(shù)的時(shí)間可伸縮模式 的使用。表示多視角視頻信號(hào)的基本層流可以以減小的幀率被編碼，可被用于在 幀間插入另外幀的增強(qiáng)層流可被定義為在兩種流都可用時(shí)允許以全幀率再構(gòu)的增強(qiáng)層幀來(lái)確定對(duì)增強(qiáng)層幀中的每一宏塊執(zhí)行運(yùn)動(dòng)補(bǔ)償估計(jì)的最佳方 法。使用時(shí)間可伸縮性語(yǔ)法對(duì)這種多視角視頻信號(hào)進(jìn)行立體和多視角信道編 碼的處理很簡(jiǎn)單。為此，來(lái)自具體相機(jī)視角的幀(通常是左眼幀)被定義為 基本層，來(lái)自其他相機(jī)視角的幀被定義為增強(qiáng)層。基本層表示同時(shí)的單視場(chǎng) 序列。對(duì)于增強(qiáng)層，盡管在封閉的區(qū)域內(nèi)不能進(jìn)行視差補(bǔ)償估計(jì)，但是仍舊可在相同信道內(nèi)使用運(yùn)動(dòng)補(bǔ)償估計(jì)來(lái)保持重構(gòu)的圖像的質(zhì)量。由于MPEG-2 MVP主要為立體序列定義，所以它不支持多視角序列，并且本質(zhì)上難于擴(kuò)展 到多視角序列。圖1是傳統(tǒng)的MPEG-2 MVP的編碼器和解碼器的框圖。MPEG-2提供的 可伸縮性被用于用圖像處理裝置同時(shí)對(duì)具有不同分辨率或格式的圖像解碼。 在MPEG-2支持的可伸縮性中，時(shí)間可伸縮性被用于通過(guò)增加幀率來(lái)提高視 覺(jué)質(zhì)量?？紤]到時(shí)間可伸縮性，MVP被應(yīng)用到立體序列。圖1所示的編碼器和解碼器是利用時(shí)間可伸縮性的立體視頻編碼器和解 碼器。立體視頻中的左圖像被輸入到基本視角編碼器，右圖像被輸入到時(shí)間 輔助視角編碼器。時(shí)間輔助視角編碼器提供時(shí)間可伸縮性，并且是用于在基本層的圖像之 間交織圖像的層間編碼器。當(dāng)左圖像被單獨(dú)編碼和解碼時(shí)，可獲得二維(2D)視頻。當(dāng)左圖像和右 圖像被同時(shí)編碼和解碼時(shí)，可獲得立體視頻。為了傳輸或存儲(chǔ)視頻，需要系 統(tǒng)復(fù)用器和系統(tǒng)解復(fù)用器以結(jié)合或者分離這兩種圖像的序列。圖2是使用MPEG-2 MVP的傳統(tǒng)立體視頻編碼器和解碼器的框圖。通過(guò)運(yùn)動(dòng)補(bǔ)償和離散余弦變換(DCT)來(lái)對(duì)基本層的圖像進(jìn)行編碼。以 相反的處理來(lái)對(duì)編碼的圖像進(jìn)行解碼。時(shí)間輔助視角編碼器用作基于基本層 的解碼的圖像執(zhí)行預(yù)測(cè)的時(shí)間層間編碼器。換句話說(shuō)，可執(zhí)行兩次視差補(bǔ)償?shù)墓烙?jì)，或者各執(zhí)行一次視差估計(jì)和運(yùn) 動(dòng)補(bǔ)償?shù)墓烙?jì)。與基本層的編碼器和解碼器一樣，時(shí)間輔助視角編碼器包括 視差和運(yùn)動(dòng)補(bǔ)償?shù)腄CT編碼器和解碼器。此外，因?yàn)檫\(yùn)動(dòng)估計(jì)/補(bǔ)償編碼處理需要運(yùn)動(dòng)估計(jì)器和補(bǔ)償器，所以視差 補(bǔ)償?shù)木幋a處理需要視差估計(jì)器和補(bǔ)償器。除了基于塊的運(yùn)動(dòng)/視差估計(jì)和補(bǔ) 償之外，編碼處理還包括對(duì)估計(jì)的圖像和原始圖像之間的差執(zhí)行DCT、對(duì) DCT系數(shù)執(zhí)行量化并執(zhí)行可變長(zhǎng)度編碼。另一方面，解碼處理包括可變長(zhǎng)度 解碼、逆量化和逆DCT。因?yàn)閷?duì)雙向運(yùn)動(dòng)補(bǔ)償?shù)漠?huà)面(B畫(huà)面)執(zhí)行雙向運(yùn)動(dòng)估計(jì)，所以MPEG-2 編碼是非常有效的壓縮方法。由于MPEG-2編碼提供非常有效的時(shí)間可伸縮 性，所以B畫(huà)面可被用于對(duì)右圖像序列進(jìn)行編碼。結(jié)果，可產(chǎn)生高度壓縮的 右序列。圖3示出基于視差的預(yù)測(cè)編碼，其中，對(duì)雙向運(yùn)動(dòng)估計(jì)使用兩次視差估計(jì)。使用不可伸縮的MPEG-2編碼器來(lái)對(duì)左圖像進(jìn)行編碼，基于解碼的左圖 像使用MPEG-2時(shí)間輔助視角編碼器來(lái)對(duì)右圖像進(jìn)行編碼。換句話說(shuō)，使用兩個(gè)參考圖像(例如兩個(gè)左圖像)來(lái)預(yù)測(cè)右圖像，并且 右圖像被編碼成B畫(huà)面.。在這種情況下，兩個(gè)參考圖像中的一個(gè)是與右圖像 同時(shí)顯示的等時(shí)的(isochronal)左圖像，另 一個(gè)是跟隨著所述等時(shí)的左圖像 的左圖像。與運(yùn)動(dòng)估計(jì)/補(bǔ)償一樣，這兩種預(yù)測(cè)具有三種預(yù)測(cè)模式前向模式、后向 模式和內(nèi)插模式。前向模式表示基于等時(shí)的左圖像的視差估計(jì)，后向模式表 示基于緊跟著所述等時(shí)的左圖像的左圖像的視差估計(jì)。在這種情況下，使用 兩個(gè)左圖像的視差矢量來(lái)預(yù)測(cè)右圖像。只考慮視差矢量，這種估計(jì)方法被稱 作預(yù)測(cè)編碼。因此，編碼器為右圖像的每一幀估計(jì)兩個(gè)視差矢量，解碼器使 用這兩個(gè)視差矢量根據(jù)左圖像對(duì)右圖像進(jìn)行解碼。圖4示出用于雙向估計(jì)的使用視差矢量和運(yùn)動(dòng)矢量的預(yù)測(cè)編碼。在圖4 所示的預(yù)測(cè)編碼中，使用通過(guò)圖3的雙向估計(jì)獲得的B畫(huà)面。然而，在所述 雙向估計(jì)中各使用視差估計(jì)和運(yùn)動(dòng)估計(jì)一次。也就是說(shuō)，使用利用等時(shí)的左 圖像的視差估計(jì)和利用了先前右圖像的運(yùn)動(dòng)估計(jì)。此外，和圖3的基于視差的預(yù)測(cè)編碼一樣，雙向估計(jì)也包括三種估計(jì)模 式，即，前向模式、后向模式和內(nèi)插模式。所述前向模式表示基于解碼的右 圖像的運(yùn)動(dòng)估計(jì)，后向模式表示基于解碼的左圖像的視差估計(jì)。如上所述，由于MPEG-2 MVP沒(méi)有考慮多視角視頻編碼器，所以不適合 于對(duì)多視角視頻編碼。因此，需要用于同時(shí)向很多人"t是供立體和逼真的多視 角視頻的多視角視頻編碼器。發(fā)明內(nèi)容提供編碼的多視角^L頻的方法和設(shè)備。本發(fā)明還提供一種使用如下所述的預(yù)測(cè)結(jié)構(gòu)來(lái)對(duì)多視角視頻進(jìn)行編碼的 方法和設(shè)備，所述預(yù)測(cè)結(jié)構(gòu)使用最少量的關(guān)于多視角視頻的信息。本發(fā)明提供了 一種有效地對(duì)多視角視頻進(jìn)行編碼以同時(shí)向很多人提供逼 真的多視角視頻的方法和設(shè)備。本發(fā)明還4是供一種使用如下所述的B幀預(yù)測(cè)結(jié)構(gòu)來(lái)對(duì)多^L角^L頻進(jìn)行編 碼的方法和設(shè)備，所述B幀預(yù)測(cè)結(jié)構(gòu)使用最少量的關(guān)于多視角視頻的信息。根據(jù)本發(fā)明的一方面，提供了一種對(duì)多視角視頻進(jìn)行編碼的方法，所述 方法包括根據(jù)預(yù)定標(biāo)準(zhǔn)將多個(gè)B幀分類為至少兩組；順序地對(duì)分類的所述 多個(gè)B幀進(jìn)行編碼。所述預(yù)定標(biāo)準(zhǔn)可以是每個(gè)B幀所參考的幀的數(shù)量。作為選擇，所述預(yù)定 標(biāo)準(zhǔn)可以是每個(gè)B幀所參考的參考幀的數(shù)量和參考幀的位置。所述B幀可被分類為參考兩個(gè)水平相鄰的幀、兩個(gè)垂直相鄰的幀或者一 個(gè)水平相鄰的幀和一個(gè)垂直相鄰的幀預(yù)測(cè)的第一組B幀、參考兩個(gè)水平相鄰 的幀和 一 個(gè)垂直相鄰的幀或者 一 個(gè)水平相鄰的幀和兩個(gè)垂直相鄰的幀預(yù)測(cè)的 第二組B幀、和參考兩個(gè)水平相鄰的幀和兩個(gè)垂直相鄰的幀預(yù)測(cè)的第三組B 幀，其中，所述一個(gè)或兩個(gè)水平相鄰的幀是從與參考B幀處在相同時(shí)間水平 的多視角視頻獲得的一個(gè)或多個(gè)幀，所述一個(gè)或兩個(gè)垂直相鄰的幀是從與參 考B幀處在相同視角位置的多視角視頻獲得的一個(gè)或多個(gè)幀。對(duì)分類的多個(gè)B幀進(jìn)行順序編碼的步驟可包括順序地對(duì)第一組B幀、 第二組B幀和第三組B幀進(jìn)行編碼。步驟還可包括在根據(jù)多個(gè)視角水平布置的幀之間進(jìn)行視差估計(jì)和在根據(jù)時(shí) 間流逝垂直布置的幀之間執(zhí)行運(yùn)動(dòng)估計(jì)，并且，所述視頻編碼結(jié)構(gòu)可被水平 和垂直擴(kuò)展。在所述包括B幀的視頻編碼結(jié)構(gòu)中，具有n個(gè)視角的一見(jiàn)頻編碼結(jié)構(gòu)可通 過(guò)去除第n-l列幀而被構(gòu)造成具有n-l個(gè)視角的視頻編碼結(jié)構(gòu)，其中n是奇數(shù)。根據(jù)本發(fā)明的另一方面，提供了一種對(duì)多視角視頻進(jìn)行編碼的設(shè)備，所 述設(shè)備包括預(yù)測(cè)單元，預(yù)測(cè)輸入的多視角視頻的視差矢量和運(yùn)動(dòng)矢量；視 差和運(yùn)動(dòng)補(bǔ)償單元，使用預(yù)測(cè)的視差矢量和運(yùn)動(dòng)矢量來(lái)補(bǔ)償圖像；殘差圖像 編碼單元，接收原始圖像和通過(guò)視差和運(yùn)動(dòng)補(bǔ)償單元產(chǎn)生的補(bǔ)償?shù)膱D像，從原始圖像減去補(bǔ)償?shù)膱D像，并對(duì)從所迷減法中獲得的殘差圖像進(jìn)行編碼；熵 編碼單元，使用視差矢量、運(yùn)動(dòng)矢量和編碼的殘差圖像來(lái)產(chǎn)生多視角視頻的比特流；其中，所述預(yù)測(cè)單元根據(jù)預(yù)定標(biāo)準(zhǔn)將多個(gè)B幀分類為至少兩組，并 順序地對(duì)分類的所述多個(gè)B幀進(jìn)行預(yù)測(cè)。根據(jù)本發(fā)明的另 一方面，提供了 一種記錄有用于執(zhí)行實(shí)現(xiàn)所述方法的程 序的計(jì)算機(jī)可讀記錄介質(zhì)。


通過(guò)參照附圖對(duì)本發(fā)明示例性實(shí)施例的詳細(xì)描述，本發(fā)明的上述和其他 特征和優(yōu)點(diǎn)將會(huì)更清楚，其中圖1是現(xiàn)有技術(shù)中運(yùn)動(dòng)圖像專家組2 (MPEG-2)多視角類(MVP)的編 碼器和解碼器的框圖；圖2是現(xiàn)有技術(shù)中使用MPEG-2 MVP的立體視頻編碼器和解碼器的框圖；圖3示出現(xiàn)有技術(shù)中對(duì)雙向運(yùn)動(dòng)估計(jì)使用兩次視差估計(jì)的基于視差的預(yù) 測(cè)編碼；圖4示出現(xiàn)有技術(shù)中對(duì)雙向估計(jì)使用視差矢量和運(yùn)動(dòng)矢量的預(yù)測(cè)編碼； 圖5是根據(jù)本發(fā)明示例性實(shí)施例的對(duì)多視角視頻進(jìn)行編碼的設(shè)備的框圖；圖6示出根據(jù)本發(fā)明示例性實(shí)施例的多視角視頻的單位編碼結(jié)構(gòu)； 圖7A到圖7F示出在根據(jù)本發(fā)明示例性實(shí)施例的多視角視頻編碼中使用 的三種類型的B畫(huà)面；圖8示出根據(jù)本發(fā)明示例性實(shí)施例的多視角視頻的水平擴(kuò)展的單位編碼結(jié)構(gòu)；圖9示出圖8的多視角圖像的預(yù)觀'j順序；圖10示出根據(jù)本發(fā)明示例性實(shí)施例的用于運(yùn)動(dòng)估計(jì)和視差估計(jì)的具有 奇數(shù)視角的視頻編碼結(jié)構(gòu)；圖11示出根據(jù)本發(fā)明示例性實(shí)施例的用于運(yùn)動(dòng)估計(jì)和視差估計(jì)的具有 偶數(shù)視角的視頻編碼結(jié)構(gòu)；圖12是示出根據(jù)本發(fā)明示例性實(shí)施例的對(duì)多視角視頻進(jìn)行編碼的方法 的流程圖。
具體實(shí)施方式
現(xiàn)在將參考附圖來(lái)更全面地描述本發(fā)明，本發(fā)明的示例在附圖中示出。 然而，可以以多種不同的形式來(lái)實(shí)現(xiàn)本發(fā)明，并且本發(fā)明并不限于這里闡述 的示例性實(shí)施例，相反，提供這些示例性實(shí)施例以使得本公開(kāi)更加徹底和完圖5是根據(jù)本發(fā)明示例性實(shí)施例的對(duì)多視角視頻進(jìn)行編碼的設(shè)備的框圖。參考圖5,所述設(shè)備包括多視角圖像緩沖器510、預(yù)測(cè)單元520、視差/ 運(yùn)動(dòng)補(bǔ)償單元530、殘差圖像編碼單元540和熵編碼單元550。所述設(shè)備可從多個(gè)相機(jī)系統(tǒng)或通過(guò)另 一方法來(lái)接收多視角視頻源。接收 的多視角視頻被存儲(chǔ)在多視角圖像緩沖器510中。所述多視角圖像緩沖器510 向預(yù)測(cè)單元520和殘余圖像編碼單元540提供多視角 一見(jiàn)頻。預(yù)測(cè)單元520包括視差估計(jì)單元522和運(yùn)動(dòng)估計(jì)單元524。預(yù)測(cè)單元520 對(duì)多視角視頻執(zhí)行運(yùn)動(dòng)估計(jì)和視差估計(jì)。預(yù)測(cè)單元520以由圖6到圖11示出 的箭頭所指示的方向估計(jì)視差矢量和運(yùn)動(dòng)矢量，并向視差/運(yùn)動(dòng)補(bǔ)償單元530 提供估計(jì)的視差矢量和運(yùn)動(dòng)矢量。如在圖6到圖11所示的多視角視頻編碼結(jié)構(gòu)中所示，預(yù)測(cè)單元520可通 過(guò)有效地使用多視角視差矢量和運(yùn)動(dòng)矢量來(lái)設(shè)置用于執(zhí)行運(yùn)動(dòng)估計(jì)和視差估 計(jì)的方向，所述視差矢量和運(yùn)動(dòng)矢量在多視角視頻源基于時(shí)間軸擴(kuò)展時(shí)被產(chǎn) 生。換句話說(shuō)，MPEG-2編碼結(jié)構(gòu)可基于視角軸而被擴(kuò)展以使用多視角視頻 的空間/時(shí)間相關(guān)性。視差/運(yùn)動(dòng)補(bǔ)償單元530使用由視差估計(jì)單元522和運(yùn)動(dòng)估計(jì)單元524估 計(jì)的運(yùn)動(dòng)矢量和視差矢量來(lái)執(zhí)行視差估計(jì)和運(yùn)動(dòng)估計(jì)。視差/運(yùn)動(dòng)補(bǔ)償單元 530使用估計(jì)的運(yùn)動(dòng)矢量和視差矢量來(lái)重構(gòu)圖像，并向殘差圖像編碼單元540 提供重構(gòu)的圖像。為了提供更好的視覺(jué)質(zhì)量和立體視覺(jué)，殘差圖像編碼單元540對(duì)通過(guò)從 多視角圖像緩沖器510提供的原始圖像減去視差/運(yùn)動(dòng)補(bǔ)償單元530補(bǔ)償和重 構(gòu)的圖像而獲得的殘差圖像進(jìn)行編碼，并向熵編碼單元550提供編碼的殘差 圖像。熵編碼單元550接收來(lái)自預(yù)測(cè)單元520的估計(jì)的視差矢量和運(yùn)動(dòng)矢量以及來(lái)自殘差圖像編碼單元540的編碼的殘差圖像，并產(chǎn)生多視角視頻源的比 特流。圖6示出根據(jù)本發(fā)明示例性實(shí)施例的多視角視頻的單位編碼結(jié)構(gòu)。圖6 所示的核心預(yù)測(cè)結(jié)構(gòu)或單位預(yù)測(cè)結(jié)構(gòu)是基于存在三個(gè)視角的假設(shè)。方框表示 多視角視頻中的圖像幀。水平箭頭表示根據(jù)相機(jī)的位置或視角的幀序列，垂 直箭頭表示根據(jù)時(shí)間的幀序列。I畫(huà)面表示"幀內(nèi)預(yù)測(cè)畫(huà)面"，與MPEG-2/4 或H.264中的I幀相同。P和B畫(huà)面分別表示"預(yù)測(cè)畫(huà)面"和"雙向預(yù)測(cè)畫(huà) 面"，與MPEG-2/4或H.264中的P幀和B幀相似。在多視角 一見(jiàn)頻編碼中由運(yùn)動(dòng)估計(jì)和一見(jiàn)差估計(jì)共同來(lái)估計(jì)P和B畫(huà)面。在 圖6中，畫(huà)面幀之間的箭頭表示預(yù)測(cè)方向。水平箭頭表示視差估計(jì)，垂直箭 頭表示運(yùn)動(dòng)估計(jì)。根據(jù)本發(fā)明示例性實(shí)施例，存在3種類型的B畫(huà)面，現(xiàn)在 將參考圖7A到圖7F來(lái)對(duì)此進(jìn)行描述。圖7A到圖7F示出在根據(jù)本發(fā)明示例性實(shí)施例的多視角視頻編碼中使用 的三種類型的B畫(huà)面。根據(jù)本發(fā)明示例性實(shí)施例，存在3種類型的B畫(huà)面B、 B1和B2畫(huà)面。 在圖7中，B、 Bl和B2畫(huà)面表示使用兩種或更多垂直或水平相鄰的幀預(yù)測(cè) 的畫(huà)面幀。使用如圖7A所示的兩個(gè)水平相鄰的幀、如圖7B所示的兩個(gè)垂直相鄰的 幀或者由圖7C所示的一個(gè)水平相鄰的幀和一個(gè)垂直相鄰的幀來(lái)預(yù)測(cè)B畫(huà)面。^吏用如圖7D所示的兩個(gè)水平相鄰的幀和一個(gè)垂直相鄰的幀、如圖7E所 示的兩個(gè)垂直相鄰的幀和一個(gè)水平相鄰的幀來(lái)預(yù)測(cè)Bl畫(huà)面。使用如圖7F所 示的四個(gè)水平或垂直相鄰的幀來(lái)預(yù)測(cè)B2畫(huà)面?，F(xiàn)在將參考圖6來(lái)描述根據(jù)本發(fā)明示例性實(shí)施例的指示多視角視頻的預(yù) 測(cè)順序的單位編碼結(jié)構(gòu)。參考圖6，基本預(yù)測(cè)順序依次是I、 P、 B、 B1和B2 畫(huà)面。首先，I幀601被幀內(nèi)預(yù)測(cè)。通過(guò)參考I幀601來(lái)預(yù)測(cè)P幀603，通過(guò)參 考I幀601來(lái)預(yù)測(cè)P幀610。使用與B幀602水平相鄰的I幀601和P幀603來(lái)預(yù)測(cè)B巾貞602。 4吏用 與B幀604和B幀607垂直相鄰的I幀601和P幀610來(lái)預(yù)測(cè)B幀604和B 幀607。使用與B巾貞612水平相鄰的P幀610和與B幀612垂直相鄰的P幀 603來(lái)預(yù)測(cè)B幀612。然后，預(yù)測(cè)Bl幀。具體地講，使用與Bl幀606水平相鄰的B幀604 以及與Bl幀606垂直相鄰的P幀603和B幀612來(lái)預(yù)測(cè)Bl幀606。使用與 Bl幀609水平相鄰的B幀607以及與Bl幀609垂直相鄰的P幀603和B幀 612來(lái)預(yù)測(cè)Bl幀609。使用與Bl幀611水平相鄰的P幀610和B幀612以 及與Bl幀611垂直相鄰的B幀602來(lái)預(yù)測(cè)Bl幀611。最后，預(yù)測(cè)B2幀。具體地講，使用與B2幀605水平相鄰的B幀604 和Bl幀606以及與B2幀605垂直相鄰的B幀602和Bl幀611來(lái)預(yù)測(cè)B2 幀605。另外，使用與B2幀608水平相鄰的B幀607和Bl幀609以及與B2 幀608垂直相鄰的B幀602和Bl幀611來(lái)預(yù)測(cè)B2幀608。如上參考圖6和圖7A至圖7F所述，根據(jù)本發(fā)明示例性實(shí)施例，不僅參 考B幀還參考Bl和B2幀來(lái)執(zhí)行雙向預(yù)測(cè)。由于可增加B類型的幀的數(shù)量， 所以可使得對(duì)多視角圖像進(jìn)行編碼所需的信息量最小化。因此，根據(jù)本發(fā)明 示例性實(shí)施例，為了有效地對(duì)多視角圖像進(jìn)行編碼，根據(jù)圖7A到圖7F所示 的幀的類型來(lái)對(duì)B幀進(jìn)行分組，并以如上所述的B幀》B1幀》B2幀的預(yù)測(cè) 順序來(lái)對(duì)B幀進(jìn)行編碼。圖8示出根據(jù)本發(fā)明示例性實(shí)施例的多視角視頻的水平擴(kuò)展的單位編碼 結(jié)構(gòu)。圖8示出具有5個(gè)視角的輸入圖像源的預(yù)測(cè)框結(jié)構(gòu)。圖9示出了圖8的多視角圖像的預(yù)測(cè)順序。在圖9中，相同列的幀在相 同的時(shí)間;故預(yù)測(cè)。參考圖9，首先I幀801 ;故幀內(nèi)預(yù)測(cè)。然后預(yù)測(cè)第二列的P 幀803和P幀816,并預(yù)測(cè)第三列的B幀802、 806、 811、 818和P幀805。 接下來(lái)，預(yù)測(cè)Bl幀817、 808和813、以及B幀804和820。然后預(yù)測(cè)第五 列的B2幀807和812、 Bl幀810、 819和815。最后預(yù)測(cè)B2幀809和814。 因此，根據(jù)本發(fā)明示例性實(shí)施例的預(yù)測(cè)順序依次是I、 P、 B、 Bl、 B2、 P、 B、 Bl和B2畫(huà)面。圖10是示出根據(jù)本發(fā)明示例性實(shí)施例的用于運(yùn)動(dòng)估計(jì)和視差估計(jì)的具 有奇數(shù)視角的視頻編碼結(jié)構(gòu)。圖11是示出根據(jù)本發(fā)明示例性實(shí)施例的用于運(yùn)動(dòng)估計(jì)和視差估計(jì)的具 有偶數(shù)視角的視頻編碼結(jié)構(gòu)。可通過(guò)在圖10的五個(gè)視角的視頻編碼結(jié)構(gòu)中去除第四列的預(yù)測(cè)幀來(lái)獲 得圖11的視頻編碼結(jié)構(gòu)。根據(jù)本發(fā)明示例性實(shí)施例的視頻編碼結(jié)構(gòu)可被水平 和垂直擴(kuò)展。因此，根據(jù)本發(fā)明示例性實(shí)施例，可通過(guò)去除第n-l列的預(yù)測(cè)幀來(lái)將n 視角(n是奇數(shù))視頻編碼結(jié)構(gòu)重構(gòu)為(n-l)視角視頻編碼結(jié)構(gòu)。圖12是根據(jù)本發(fā)明示例性實(shí)施例的對(duì)多視角視頻進(jìn)行編碼的方法的流 程圖。已經(jīng)參考圖6到圖11描述了所述方法。具體地講，以如下所述的方法 對(duì)B幀進(jìn)行編碼。根據(jù)預(yù)定標(biāo)準(zhǔn)，多個(gè)B幀被劃分成至少兩組(S1210)。所述預(yù)定標(biāo)準(zhǔn)可 以是每個(gè)B幀所參考的幀的數(shù)量，或者可以是每個(gè)B幀所參考的幀的數(shù)量和 參考幀的位置。B幀可被分類為參考兩個(gè)水平相鄰的幀、兩個(gè)垂直相鄰的幀或者一個(gè)水平相鄰的幀和一個(gè)垂直相鄰的幀預(yù)測(cè)的第一組B幀、參考兩個(gè)水平相鄰的幀 和一個(gè)垂直相鄰的幀或者一個(gè)水平相鄰的幀和兩個(gè)垂直相鄰的幀預(yù)測(cè)的第二組B幀、以及參考兩個(gè)水平相鄰的幀和兩個(gè)垂直相鄰的幀預(yù)測(cè)的第三組B幀。對(duì)如上分組的B幀順序地進(jìn)行編碼(S1220)。在這種情況下，可以按第一 組、第二組和第三組的順序?qū)幀進(jìn)行編碼。如上所述，本發(fā)明提供了 一種有效地對(duì)多視角視頻進(jìn)行編碼以同時(shí)向很 多用戶提供逼真的多視角視頻的方法和設(shè)備。本發(fā)明還提供了 一種使用利用最少量的關(guān)于多視角視頻的信息的B幀預(yù) 測(cè)結(jié)構(gòu)來(lái)對(duì)多視角視頻進(jìn)行編碼的方法和設(shè)備。本發(fā)明還可實(shí)現(xiàn)為計(jì)算機(jī)可讀記錄介質(zhì)上的計(jì)算機(jī)可讀代碼。所述計(jì)算 機(jī)可讀記錄介質(zhì)是能夠存儲(chǔ)稍后能由計(jì)算機(jī)系統(tǒng)讀出的數(shù)據(jù)的任何數(shù)據(jù)存儲(chǔ) 裝置。所述計(jì)算機(jī)可讀記錄介質(zhì)的示例包括只讀存儲(chǔ)器(ROM)、隨機(jī)存取 存儲(chǔ)器(RAM)、 CD-ROM、磁帶、軟盤、光學(xué)數(shù)據(jù)存儲(chǔ)裝置和載波(比如 通過(guò)互聯(lián)網(wǎng)的數(shù)據(jù)傳輸)。計(jì)算機(jī)可讀記錄介質(zhì)還可分布在聯(lián)網(wǎng)的計(jì)算機(jī)系統(tǒng)上，從而以分布式方 式來(lái)存儲(chǔ)和執(zhí)行計(jì)算機(jī)可讀代碼。盡管已經(jīng)參照本發(fā)明示例性實(shí)施例具體顯示和描述了本發(fā)明，但是本領(lǐng) 域的普通技術(shù)人員應(yīng)該理解，在不脫離由權(quán)利要求限定的本發(fā)明的精神和范 圍的情況下，可在形式和細(xì)節(jié)上對(duì)本發(fā)明進(jìn)行各種改變。
權(quán)利要求
1、一種對(duì)多視角視頻進(jìn)行編碼的方法，所述方法包括根據(jù)預(yù)定標(biāo)準(zhǔn)將多個(gè)B幀分類為至少兩組；順序地對(duì)分類的所述多個(gè)B幀進(jìn)行編碼。
2、 如權(quán)利要求1所述的方法，其中，所述預(yù)定標(biāo)準(zhǔn)包括所述多個(gè)B幀 中的每個(gè)B幀所參考的幀的數(shù)量。
3、 如權(quán)利要求1所述的方法，其中，所述預(yù)定標(biāo)準(zhǔn)包括所述多個(gè)B幀 中的每個(gè)B幀所參考的幀的數(shù)量和幀的視角位置。
4、 如權(quán)利要求1所述的方法，其中，所述多個(gè)B幀被分類為參考兩個(gè) 水平相鄰的幀、兩個(gè)垂直相鄰的幀或者一個(gè)水平相鄰的幀和一個(gè)垂直相鄰的 幀預(yù)測(cè)的第一組B幀、參考兩個(gè)水平相鄰的幀和一個(gè)垂直相鄰的幀或者一個(gè) 水平相鄰的幀和兩個(gè)垂直相鄰的幀預(yù)測(cè)的第二組B幀、以及參考兩個(gè)水平相 鄰的幀和兩個(gè)垂直相鄰的幀預(yù)測(cè)的第三組B幀，其中，所述一個(gè)或兩個(gè)水平相鄰的幀是從與第一組、第二組或第三組的 B幀處在相同時(shí)間水平的多視角視頻獲得的一個(gè)或多個(gè)幀，所述一個(gè)或兩個(gè) 垂直相鄰的幀是從與第一組、第二組或第三組的B幀處在相同視角位置的多 視角視頻獲得的一個(gè)或多個(gè)幀。
5、 如^L利要求4所述的方法，其中，對(duì)分類的多個(gè)B幀進(jìn)行順序編碼 的步驟包括順序地對(duì)第一組B幀、第二組B幀和第三組B幀進(jìn)行編碼。
6、 如權(quán)利要求1所述的方法，其中，基于包括所述多個(gè)B幀的視頻編 碼結(jié)構(gòu)來(lái)執(zhí)行順序編碼，其中，所述順序編碼的步驟包括在根據(jù)多個(gè)視角水平布置的幀之間進(jìn) 行視差估計(jì)和在根據(jù)時(shí)間流逝垂直布置的幀之間執(zhí)行運(yùn)動(dòng)估計(jì)，其中，視頻編碼結(jié)構(gòu)在水平和垂直方向中的至少一個(gè)方向上是可擴(kuò)展的， 其中，水平布置的幀是從處于相同時(shí)間水平的多視角視頻獲得的幀，垂 直布置的幀是從處于相同視角位置的多視角視頻獲得的幀。
7、 如權(quán)利要求6所述的方法，其中，所述多個(gè)視角包括n個(gè)視角，其中， n是奇數(shù)。
8、 如權(quán)利要求7所述的方法，其中，在第n-l視角獲得的幀不被用于視 差估計(jì)和運(yùn)動(dòng)估計(jì)。
9、 如權(quán)利要求7所述的方法，其中，在所述視頻編碼結(jié)構(gòu)中，在多個(gè)視角中除了第一視角之外的視角獲得的幀不包括I幀，在第k視角獲得的幀只 包括B幀，其中，k是小于n的偶數(shù)。
10、 一種對(duì)多視角視頻進(jìn)行編碼的設(shè)備，所述設(shè)備包括 預(yù)測(cè)單元，預(yù)測(cè)輸入的多視角視頻的視差矢量和運(yùn)動(dòng)矢量； 視差和運(yùn)動(dòng)補(bǔ)償單元，使用視差矢量和運(yùn)動(dòng)矢量來(lái)補(bǔ)償圖像； 殘差圖像編碼單元，接收輸入的多視角視頻和通過(guò)視差和運(yùn)動(dòng)補(bǔ)償單元產(chǎn)生的補(bǔ)償?shù)膱D像，從原始圖像減去補(bǔ)償?shù)膱D像，并對(duì)從所述減法中獲得的 殘差圖像進(jìn)行編碼；熵編碼單元，使用視差矢量、運(yùn)動(dòng)矢量和編碼的殘差圖像來(lái)產(chǎn)生多視角 視頻的比特 流;其中，所述預(yù)測(cè)單元根據(jù)預(yù)定標(biāo)準(zhǔn)將多個(gè)B幀分類為至少兩組，并順序 地對(duì)分類的所述多個(gè)B幀進(jìn)行預(yù)測(cè)。
11、 如權(quán)利要求10所述的設(shè)備，其中，所述預(yù)定標(biāo)準(zhǔn)包括所述多個(gè)B 幀中的每個(gè)B幀所參考的幀的數(shù)量。
12、 如權(quán)利要求10所述的設(shè)備，其中，所述預(yù)定標(biāo)準(zhǔn)包括所述多個(gè)B 幀中的每個(gè)B幀所參考的幀的數(shù)量和幀的視角位置。
13、 如權(quán)利要求10所述的設(shè)備，其中，所述多個(gè)B幀被分類為參考兩 個(gè)水平相鄰的幀、兩個(gè)垂直相鄰的幀或者一個(gè)水平相鄰的幀和一個(gè)垂直相鄰 的幀預(yù)測(cè)的第一組B幀、參考兩個(gè)水平相鄰的幀和一個(gè)垂直相鄰的幀或者一 個(gè)水平相鄰的幀和兩個(gè)垂直相鄰的幀預(yù)測(cè)的第二組B幀、以及參考兩個(gè)水平 相鄰的幀和兩個(gè)垂直相鄰的幀預(yù)測(cè)的第三組B幀，其中，所述一個(gè)或兩個(gè)水平相鄰的幀是以與第一組、第二組或第三組的 B幀處在相同時(shí)間水平的多視角視頻獲得的一個(gè)或多個(gè)幀，所述一個(gè)或兩個(gè) 垂直相鄰的幀是以與第一組、第二組或第三組的B幀處在相同視角位置的多 視角視頻獲得的一個(gè)或多個(gè)幀。
14、 如4又利要求13所述的設(shè)備，其中，預(yù)測(cè)單元順序地對(duì)第一組B幀、 第二組B幀和第三組B幀進(jìn)行預(yù)測(cè)。
15、 如權(quán)利要求10所述的設(shè)備，其中，預(yù)測(cè)單元基于包括所述多個(gè)B 幀的視頻編碼結(jié)構(gòu)來(lái)預(yù)測(cè)輸入的多視角視頻的視差矢量和運(yùn)動(dòng)矢量，其中，預(yù)測(cè)單元還在根據(jù)多個(gè)視角水平布置的幀之間進(jìn)行視差估計(jì)和在根據(jù)時(shí)間流逝垂直布置的幀之間執(zhí)行運(yùn)動(dòng)估計(jì)，其中，視頻編碼結(jié)構(gòu)在水平和垂直方向中的至少一個(gè)方向上是可擴(kuò)展的， 其中，水平布置的幀是從處于相同時(shí)間水平的多視角視頻獲得的幀，垂直布置的幀是從處于相同視角位置的多視角視頻獲得的幀。
16、 如權(quán)利要求15所述的設(shè)備，其中，所述多個(gè)視角包括n個(gè)視角，其 中，n是奇數(shù)。
17、 如權(quán)利要求16所述的設(shè)備，其中，在第n-l視角獲得的幀不被用于 #見(jiàn)差估計(jì)和運(yùn)動(dòng)估計(jì)。
18、 如權(quán)利要求16所述的設(shè)備，其中，在所述視頻編碼結(jié)構(gòu)中，在多個(gè) 視角中除了第一視角之外的視角獲得的幀不包括I幀，在第k視角獲得的幀 只包括b幀，其中，k是小于n的偶數(shù)。
19、 一種存儲(chǔ)對(duì)多視角視頻進(jìn)行編碼的方法的計(jì)算機(jī)可讀記錄介質(zhì)，所 述方法包括根據(jù)預(yù)定標(biāo)準(zhǔn)將多個(gè)b幀分類為至少兩組； 順序地對(duì)分類的所述多個(gè)b幀進(jìn)行編碼。
20、 如權(quán)利要求19所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述預(yù)定標(biāo)準(zhǔn)包 括所述多個(gè)b幀中的每個(gè)b幀所參考的幀的數(shù)量。
21、 如權(quán)利要求19所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述預(yù)定標(biāo)準(zhǔn)包 括所述多個(gè)b幀中的每個(gè)b幀所參考的幀的數(shù)量和幀的視角位置。
22、 如權(quán)利要求19所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述多個(gè)b幀 被分類為參考兩個(gè)水平相鄰的幀、兩個(gè)垂直相鄰的幀或者一個(gè)水平相鄰的幀 和一個(gè)垂直相鄰的幀預(yù)測(cè)的第一組b幀、參考兩個(gè)水平相鄰的幀和一個(gè)垂直相鄰的幀或者一個(gè)水平相鄰的幀和兩個(gè)垂直相鄰的幀預(yù)測(cè)的第二組b幀、以 及參考兩個(gè)水平相鄰的幀和兩個(gè)垂直相鄰的頓預(yù)測(cè)的第三組b巾貞，其中，所述一個(gè)或兩個(gè)水平相鄰的幀是以與第一組、第二組或第三組的 b幀處在相同時(shí)間水平的多視角視頻獲得的一個(gè)或多個(gè)幀，所述一個(gè)或兩個(gè) 垂直相鄰的幀是以與第一組、第二組或第三組的b幀處在相同視角位置的多 視角視頻獲得的一個(gè)或多個(gè)幀。
23、 如權(quán)利要求22所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，對(duì)分類的多個(gè)b 幀進(jìn)行順序編碼的步驟包括順序地對(duì)第一組b幀、第二組b幀和第三組b 幀進(jìn)行編碼。
24、 如權(quán)利要求19所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，基于包括多個(gè)B 幀的一見(jiàn)頻編碼結(jié)構(gòu)來(lái)執(zhí)行所述順序編碼，其中，所述順序編碼的步驟包括在根據(jù)多個(gè)視角水平布置的幀之間進(jìn) 行視差估計(jì)和在根據(jù)時(shí)間流逝垂直布置的幀之間執(zhí)行運(yùn)動(dòng)估計(jì)，其中，視頻編碼結(jié)構(gòu)在水平和垂直方向中的至少一個(gè)方向上是可擴(kuò)展的， 其中，水平布置的幀是從處于相同時(shí)間水平的多視角視頻獲得的幀，垂直布置的幀是從處于相同視角位置的多視角視頻獲得的幀。
25、 如權(quán)利要求24所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，所述多個(gè)視角包 括n個(gè)視角，其中，n是奇數(shù)。
26、 如權(quán)利要求25所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，在第n-l視角獲 得的幀不被用于視差估計(jì)和運(yùn)動(dòng)估計(jì)。
27、 如權(quán)利要求25所述的計(jì)算機(jī)可讀記錄介質(zhì)，其中，在所述視頻編碼 結(jié)構(gòu)中，在多個(gè)視角中除了第一視角之外的視角獲得的幀不包括I幀，在第k 視角獲得的幀只包括B幀，其中，k是小于n的偶數(shù)。
全文摘要
提供了一種使用最少量的關(guān)于多視角視頻的信息來(lái)對(duì)多視角視頻進(jìn)行編碼的方法和設(shè)備。所述方法包括根據(jù)預(yù)定標(biāo)準(zhǔn)將多個(gè)B幀分類為至少兩組；順序地對(duì)分類的B幀進(jìn)行編碼。因此，可使用最少量的關(guān)于多視角視頻的信息來(lái)向很多用戶同時(shí)提供逼真的多視角視頻。
文檔編號(hào)H04N7/32GK101243692SQ200680030315
公開(kāi)日2008年8月13日 申請(qǐng)日期2006年8月19日 優(yōu)先權(quán)日2005年8月22日
發(fā)明者俞弼皓, 河泰鉉 申請(qǐng)人:三星電子株式會(huì)社