專(zhuān)利名稱(chēng)：解碼多視像的方法
技術(shù)領(lǐng)域：
與本發(fā)明一致的方法和裝置一般涉及編碼和解碼多視像，更具體地，涉及編碼和解碼多視像以便執(zhí)行高速編碼和解碼所需的視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)。
背景技術(shù)：
在多視像編碼中，同時(shí)編碼從提供多視像的多個(gè)照相機(jī)輸入的圖像。使用時(shí)間相關(guān)性和視圖間空間相關(guān)性來(lái)壓縮編碼多視像。 圖I示出了根據(jù)現(xiàn)有技術(shù)的多視像的序列。在圖I中，水平軸為時(shí)間軸，垂直軸為視圖軸。在多視像編碼中，對(duì)于來(lái)自于基本視圖和時(shí)間預(yù)測(cè)的圖像周期性地產(chǎn)生內(nèi)(I)圖片(picture)，或者基于產(chǎn)生的I圖片執(zhí)行視圖間預(yù)測(cè)，從而預(yù)測(cè)編碼其它的圖片。使用同一視圖(S卩，同一行)中的圖像之間的時(shí)間相關(guān)性來(lái)執(zhí)行時(shí)間預(yù)測(cè)。使用同一時(shí)間點(diǎn)(即，同一列)處的圖像之間的空間相關(guān)性來(lái)執(zhí)行視圖間預(yù)測(cè)。在圖I中，每行示出了多視像的每個(gè)視圖隨時(shí)間的圖像序列，每列自上而下依次示出了視圖0、1、2到7的圖像序列。視圖O為基本視圖，以及第一行中的圖像序列來(lái)自于該基本視圖。僅僅使用時(shí)間預(yù)測(cè)而不使用視圖間預(yù)測(cè)來(lái)對(duì)包括在來(lái)自于基本視圖的圖像序列中的圖片進(jìn)行預(yù)測(cè)編碼。每列示出了同一時(shí)間點(diǎn)處的多視像。包括在列110、120和130中的圖片(其中，來(lái)自于基本視圖的圖像為I圖片)被稱(chēng)為錨(anchor)圖片。僅僅使用視圖間預(yù)測(cè)來(lái)對(duì)錨圖片進(jìn)行編碼。除了包括I圖片的列110、120和130之外的其余列中包括的圖片被稱(chēng)為非錨圖片。使用時(shí)間預(yù)測(cè)和視圖間預(yù)測(cè)二者來(lái)對(duì)非錨圖片進(jìn)行預(yù)測(cè)編碼。在圖I所示的序列當(dāng)中，將以第二行和第五列中的圖片141作為示例。使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)二者來(lái)對(duì)包括在圖片141中的每個(gè)塊進(jìn)行預(yù)測(cè)。由于預(yù)測(cè)方法可以對(duì)于每個(gè)塊都不同，因此將參考位于鄰近于圖片141處的奇數(shù)行中的圖片142和143以及在時(shí)間上在圖片141之前或之后的圖片111和121，以便預(yù)測(cè)圖片141。相似地，根據(jù)現(xiàn)有技術(shù)，將不得不使用需要參考四個(gè)圖片的視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)來(lái)預(yù)測(cè)編碼非錨圖片，結(jié)果導(dǎo)致低速的多視像編碼。

發(fā)明內(nèi)容
技術(shù)方案本發(fā)明提供一種用于對(duì)多視像進(jìn)行編碼和解碼的方法和裝置以及其上記錄有用于執(zhí)行該方法的程序的計(jì)算機(jī)可讀記錄介質(zhì)，其中可以高效地對(duì)多視像序列進(jìn)行聞速編碼和解碼。具體地，本發(fā)明提供一種解碼多視像的方法，該方法包括接收比特流，該比特流包括指示包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測(cè)的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。有益效果在預(yù)測(cè)中，基于提取的信息確定不是用于視圖間預(yù)測(cè)的參考圖像的 圖片不被參考用于視圖間預(yù)測(cè)。由于可以高效地以高速執(zhí)行視圖間預(yù)測(cè)，因此多視像解碼的速度也提聞了。如上所述，根據(jù)本發(fā)明，在多視像的編碼和解碼期間，使用視圖間預(yù)測(cè)來(lái)對(duì)包括在多視像序列中的僅僅一些圖片進(jìn)行預(yù)測(cè)編碼和解碼，從而加速了編碼和解碼。此外，當(dāng)預(yù)測(cè)不使用視圖間預(yù)測(cè)的圖片時(shí)，僅參考少量圖片，從而使得可以有效利用預(yù)測(cè)編碼和解碼所需的存儲(chǔ)器。


通過(guò)下面參考附圖對(duì)本發(fā)明的示范性實(shí)施例的詳細(xì)描述，本發(fā)明的上述及其它方面將變得更加明顯，其中圖I示出了根據(jù)現(xiàn)有技術(shù)的多視像的序列；圖2是示出了根據(jù)本發(fā)明的示范性實(shí)施例的用于編碼多視像的裝置的框圖；圖3示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像的序列的時(shí)間級(jí)別(temporal level)；圖4A示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像的序列；圖4B示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像的序列和它們的時(shí)間級(jí)別；圖5示出了根據(jù)本發(fā)明的示范性實(shí)施例的網(wǎng)絡(luò)提取層(NAL)單元報(bào)頭的語(yǔ)法；圖6A和6B示出了根據(jù)本發(fā)明的示范性實(shí)施例的序列參數(shù)集的語(yǔ)法；圖6C和6D示出了根據(jù)本發(fā)明的示范性實(shí)施例的補(bǔ)充增強(qiáng)信息(SEI)消息的語(yǔ)法;圖7是根據(jù)本發(fā)明的示范性實(shí)施例的編碼多視像的方法的流程圖；圖8是根據(jù)本發(fā)明的另一個(gè)示范性實(shí)施例的編碼多視像的方法的流程圖；圖9是示出了根據(jù)本發(fā)明的示范性實(shí)施例的用于解碼多視像的裝置的框圖；以及圖10是根據(jù)本發(fā)明的示范性實(shí)施例的解碼多視像的方法的流程圖。
具體實(shí)施例方式根據(jù)本發(fā)明的一方面，提供一種編碼多視像的方法。該方法包括確定包括在該多視像的序列(以下將被稱(chēng)為多視像序列)中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測(cè)的參考圖片；以及基于確定結(jié)果使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中的至少一個(gè)來(lái)編碼該圖片。該圖片的編碼可以包括編碼每個(gè)圖片的參數(shù)，其指示每個(gè)圖片是否為該參考圖片。根據(jù)本發(fā)明的另一方面，提供一種用于編碼多視像的裝置。該裝置包括確定單元，確定包括在該多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測(cè)的參考圖片；以及編碼單元，基于確定結(jié)果使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中的至少一個(gè)來(lái)編碼該圖片。該編碼單元可以基于該確定結(jié)果編碼關(guān)于被每個(gè)圖片參考以用于視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中的至少一個(gè)的參考圖片的信息。根據(jù)本發(fā)明的另一方面，提供一種解碼多視像的方法。該方法包括接收比特流，該比特流包括指示包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測(cè)的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及基于提取的 信息解碼該關(guān)于多視像序列的數(shù)據(jù)。該信息可以包括在每個(gè)圖片的參數(shù)中。根據(jù)本發(fā)明的另一方面，提供一種用于解碼多視像的裝置。該裝置包括提取單元，接收比特流，該比特流包括指示包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測(cè)的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及解碼單元，基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。根據(jù)本發(fā)明的另一方面，提供一種編碼多視像的方法。該方法包括基于時(shí)間級(jí)別從多視像序列中選擇要使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片；以及使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼所選擇的圖片，并且使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中的一個(gè)來(lái)編碼包括在該多視像序列中的其余圖片。所述選擇圖片可以包括從包括在該多視像序列中的所有圖片當(dāng)中選擇時(shí)間級(jí)別小于預(yù)定值的非錨圖片。 所述編碼選擇的圖片可以包括編碼關(guān)于選擇的圖片的信息。根據(jù)本發(fā)明的另一方面，提供一種用于編碼多視像的裝置。該裝置包括選擇單元，基于時(shí)間級(jí)別從多視像序列中選擇要被使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片；以及編碼單元，使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼所選擇的圖片，并且使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中的一個(gè)來(lái)編碼包括在該多視像序列中的其余圖片。根據(jù)本發(fā)明的另一方面，提供一種解碼多視像的方法。該方法包括接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息；以及基于所提取的信息來(lái)解碼關(guān)于該多視像序列的數(shù)據(jù)。該信息可以包括在序列參數(shù)中或補(bǔ)充增強(qiáng)信息(SEI)消息中。根據(jù)本發(fā)明的另一方面，提供一種用于解碼多視像的裝置。該裝置包括提取單元，接收比特流，該比特流包括關(guān)于多視像序列中使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)，以及從接收到的比特流中提取該信息；以及解碼單元，基于所提取的信息來(lái)解碼關(guān)于該多視像序列的數(shù)據(jù)。根據(jù)本發(fā)明的另一方面，提供一種計(jì)算機(jī)可讀記錄介質(zhì)，其上記錄有用于執(zhí)行編碼多視像的方法和解碼多視像的方法的程序。在下文中，將參考附圖詳細(xì)描述本發(fā)明的示范性實(shí)施例。應(yīng)當(dāng)注意，相似的參考數(shù)字指代一個(gè)或多個(gè)附圖中所示的相似的元件。在本發(fā)明的以下描述中，為了簡(jiǎn)明清楚，將略去合并于此的已知功能和配置的詳細(xì)說(shuō)明。圖2是示出了根據(jù)本發(fā)明的示范性實(shí)施例的用于編碼多視像的裝置200的框圖。參考圖2，裝置200包括控制單元210和編碼單元220。根據(jù)本發(fā)明的示范性實(shí)施例，控制單元210確定包括在多視像的序列(以下將被稱(chēng)為多視像序列)中的圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測(cè)的參考圖片。使用時(shí)間上相鄰的圖片之間的時(shí)間相關(guān)性和相鄰的視圖中的圖片之間的空間相關(guān)性來(lái)預(yù)測(cè)編碼多視像序列。多視像序列中的一些可以具有高的時(shí)間相關(guān)性和低的空間相關(guān)性。在這種情況下，對(duì)于如圖I所示的所有非錨圖片使用空間相關(guān)性進(jìn)行的視圖間預(yù)測(cè)僅僅增加了多視像編碼所需的時(shí)間，而并未有助于壓縮率的改善。因而，根據(jù)本發(fā)明的示范性實(shí)施例的用于編碼多視像的裝置200通過(guò)僅僅對(duì)一些非錨圖片執(zhí)行視圖間預(yù)測(cè)而不是對(duì)所有非錨圖片執(zhí)行視圖間預(yù)測(cè)來(lái)執(zhí)行預(yù)測(cè)編碼。為此，控制單元210確定包括在多視像序列中的每個(gè)圖片是否充當(dāng)用于視圖間預(yù)測(cè)的參考圖片。換句話(huà)說(shuō)，控制單元210確定每個(gè)圖片是否被其它圖片參考以通過(guò)視圖間預(yù)測(cè)進(jìn)行預(yù)測(cè)編碼。根據(jù)本發(fā)明的另一個(gè)示范性實(shí)施例，控制單元210基于時(shí)間級(jí)別從多視像序列中選擇要被使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片。控制單元210選擇哪一個(gè)圖片將被使用視圖間預(yù)測(cè)編碼，而不是確定每個(gè)圖片是否被其它圖片參考以用于視圖間預(yù)測(cè)。根據(jù)現(xiàn)有技術(shù)，使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)來(lái)預(yù)測(cè)編碼所有非錨圖片。但是，根據(jù)本發(fā)明，為了使用視圖間預(yù)測(cè)編碼僅僅一些非錨圖片，基于時(shí)間級(jí)別從多視像序列中選擇要被使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片。時(shí)間級(jí)別是用于通過(guò)將圖像序列分割成多個(gè)電平(level)來(lái)提供時(shí)間可分級(jí)的參數(shù)，以便使得在圖像解碼期間僅僅選擇一些電平并解碼，下面將參考圖3進(jìn)行詳細(xì)描述。圖3示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像序列的時(shí)間級(jí)別。參考圖3，多視像序列中的錨圖片310和312的時(shí)間級(jí)別為‘O’。插入在錨圖片310和鋪圖片312之間的圖片314的時(shí)間級(jí)別為‘ I ’。插入在時(shí)間級(jí)別為‘0’的圖片和時(shí)間級(jí)別為‘I’的圖片之間的圖片316和318的時(shí)間級(jí)別為‘2’。多視像序列的其余圖片的時(shí)間級(jí)別為‘3’。圖4A示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像序列。圖4A所示的多視像序列是通過(guò)控制單元210確定包括在多視像序列中的每個(gè)圖片是否被參考以用于視圖間預(yù)測(cè)或通過(guò)控制單元210選擇要被使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片來(lái)產(chǎn)生的。因而，圖4A所示的多視像序列不同于根據(jù)圖I所示的現(xiàn)有技術(shù)的多視像序列。
例如，在根據(jù)圖I所示的現(xiàn)有技術(shù)的多視像序列中，第二行和第二列中的圖片144參考第一行和第二列中的圖片145以及第三行和第二列中的圖片146用于視圖間預(yù)測(cè)。換句話(huà)說(shuō)，第一行和第二列中的圖片145以及第三行和第二列中的圖片146為用于圖片144的視圖間預(yù)測(cè)的參考圖片。但是，在根據(jù)圖4A所示的本發(fā)明的示范性實(shí)施例的多視像中，第二行和第二列中的圖片420不參考第一行和第二列中的圖片422以及第三行和第二列中的圖片用于視圖間預(yù)測(cè)。取而代之，圖片420僅參考第二行和第三列中的圖片426以及第二行和第一列中的圖片428用于時(shí)間預(yù)測(cè)。在根據(jù)圖I所示的現(xiàn)有技術(shù)的多視像序列中，非錨圖片當(dāng)中的所有奇數(shù)行的圖片被其它圖片參考用于視圖間預(yù)測(cè)。但是，在根據(jù)圖4A所示的本發(fā)明的示范性實(shí)施例的多視像序列中，非錨圖片當(dāng)中的奇數(shù)行的圖片中的僅僅一些被其它圖片參考用于視圖間預(yù)測(cè)。換句話(huà)說(shuō)，在圖4A中，奇數(shù)行的非錨圖片當(dāng)中的僅僅奇數(shù)列的非錨圖片使用視圖間預(yù)測(cè)來(lái)編碼。 圖4B示出了根據(jù)本發(fā)明的示范性實(shí)施例的多視像序列和時(shí)間級(jí)別。現(xiàn)在將參考圖4B來(lái)描述選擇包括在多視像序列中的一些圖片以用于如圖4A所示的使用視圖間預(yù)測(cè)來(lái)編碼僅僅選擇的圖片的方式。在圖4B中，基于時(shí)間級(jí)別來(lái)確定要被參考以用于視圖間預(yù)測(cè)的圖片。在圖4B中，確定時(shí)間級(jí)別‘3’中的非錨圖片不使用視圖間預(yù)測(cè)來(lái)編碼。換句話(huà)說(shuō)，從非錨圖片當(dāng)中僅僅選擇時(shí)間級(jí)別小于預(yù)定值的圖片來(lái)使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼。充當(dāng)控制單元210的確定或選擇的準(zhǔn)則的時(shí)間級(jí)別根據(jù)多視像序列的特征而變化，不局限于圖4B所示的那些。例如，當(dāng)由于拍攝多視像的照相機(jī)之間的距離很大導(dǎo)致視圖之間的空間相關(guān)性不高時(shí)，沒(méi)有必要使用視圖間預(yù)測(cè)來(lái)預(yù)測(cè)所有非錨圖片。在這種情況下，可以使用視圖間預(yù)測(cè)僅僅預(yù)測(cè)時(shí)間級(jí)別為I或更小的圖片，以及在極端情況下，可以不使用視圖間預(yù)測(cè)來(lái)預(yù)測(cè)非錨圖片。反回來(lái)參考圖2，根據(jù)本發(fā)明的示范性實(shí)施例，編碼單元220基于控制單元210的確定或選擇結(jié)果來(lái)編碼多視像序列。換句話(huà)說(shuō)，編碼單元220基于控制單元210的確定或選擇結(jié)果使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中的至少一個(gè)來(lái)預(yù)測(cè)編碼該多視像序列。編碼單元220預(yù)測(cè)包括在多視像序列中的每個(gè)圖片，并從原始圖片中減去每個(gè)圖片的預(yù)測(cè)值，從而產(chǎn)生多視像序列的殘差數(shù)據(jù)。為了預(yù)測(cè)，編碼單元220將參考圖片存儲(chǔ)在預(yù)定存儲(chǔ)器中，并通過(guò)參考存儲(chǔ)的參考圖片來(lái)執(zhí)行視圖間預(yù)測(cè)或時(shí)間預(yù)測(cè)。根據(jù)現(xiàn)有技術(shù)，當(dāng)預(yù)測(cè)非錨圖片時(shí)，用于視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)的所有圖片應(yīng)當(dāng)被存儲(chǔ)在該存儲(chǔ)器中。但是，根據(jù)本發(fā)明，對(duì)于由控制單元210確定不使用視圖間預(yù)測(cè)編碼的圖片，沒(méi)有必要將用于視圖間預(yù)測(cè)的參考圖片存儲(chǔ)在該存儲(chǔ)器中。例如，為了編碼圖4A中第二行和第二列中的圖片420，位于與圖片420的視圖相鄰的視圖處且在圖片420之上和之下的圖片422和424不是用于視圖間預(yù)測(cè)的參考圖片，因而不需要被存儲(chǔ)在存儲(chǔ)器中，從而使得能夠有效利用存儲(chǔ)器。由控制單元210確定不被參考用于視圖間預(yù)測(cè)的圖片不被參考用于視圖間預(yù)測(cè)，從而加速了預(yù)測(cè)。
反回來(lái)參考圖2，根據(jù)本發(fā)明的示范性實(shí)施例，當(dāng)編碼單元220預(yù)測(cè)編碼多視像序列時(shí)，它也編碼指示控制單元210的關(guān)于每個(gè)圖片是否為用于視圖間預(yù)測(cè)的參考圖片的確定結(jié)果的參數(shù)，并且將編碼的參數(shù)插入到比特流中。一旦控制單元210確定每個(gè)圖片是否被參考用于視圖間預(yù)測(cè)，則編碼單元220編碼關(guān)于控制單元210的確定結(jié)果的信息。由于執(zhí)行確定以確定每個(gè)圖片是否被其它圖片參考用于視圖間預(yù)測(cè)，因此在每個(gè)圖片的參數(shù)中包括關(guān)于每個(gè)圖片是否被其它圖片參考用于視圖間預(yù)測(cè)的信息。圖5示出了根據(jù)本發(fā)明的示范性實(shí)施例的網(wǎng)絡(luò)提取層(NAL)單元報(bào)頭的語(yǔ)法。NAL單元是圖像數(shù)據(jù)的分組化的單位。由于一個(gè)NAL單元一般包括關(guān)于 單個(gè)圖片的數(shù)據(jù)，因此在NAL單元報(bào)頭中包括關(guān)于每個(gè)圖片是否被其它圖片參考用于視圖間預(yù)測(cè)的信息，以便被編碼。參考圖5，根據(jù)現(xiàn)有技術(shù)，將語(yǔ)法元素‘nal_ref_idC_VieW’添加到NAL單元報(bào)頭，從而指示每個(gè)圖片是否被其它圖片參考以用于視圖間預(yù)測(cè)。例如，‘nal_ref_idc_view=l’意思是相應(yīng)的圖片被其它圖片參考用于視圖間預(yù)測(cè)，以及‘nal_ref_idC_VieW=0’意思是該圖片不被其它圖片參考用于視圖間預(yù)測(cè)。由于新的比特分配給‘nal_ref_idc_view’，因此也添加語(yǔ)法元素‘reserved_zero_four_bits’以改變預(yù)留比特的數(shù)目。反回來(lái)參考圖2，當(dāng)編碼單元220執(zhí)行編碼時(shí)，它也編碼關(guān)于被每個(gè)圖片參考以用于視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)的參考圖片的信息。語(yǔ)法元素‘RefPicList’指示這樣的信息。由于控制單元210確定是否每個(gè)圖片充當(dāng)用于視圖間預(yù)測(cè)的參考圖片，因此當(dāng)編碼單元220編碼多視像序列時(shí)，不充當(dāng)參考圖片用于視圖間預(yù)測(cè)的圖片不被其它圖片參考。因而，當(dāng)編碼單元220編碼關(guān)于用于每個(gè)圖片的參考圖片的信息時(shí)，它可以產(chǎn)生‘RefPicList’，以排除由控制單元210確定為不被參考用于視圖間預(yù)測(cè)的圖片。例如，當(dāng)根據(jù)現(xiàn)有技術(shù)編碼圖4A所示的圖片420時(shí)，在與圖片420的視圖相鄰的視圖處、位于圖片420之上和之下的圖片422和424是參考圖片，以及關(guān)于圖片422和424的信息包括在‘RefPicList’中。但是，根據(jù)本發(fā)明的示范性實(shí)施例，關(guān)于由控制單元210確定為不是圖片420的參考圖片的圖片422和424的信息不包括在‘RefPicList’中。根據(jù)本發(fā)明的另一個(gè)示范性實(shí)施例，編碼單元220也編碼關(guān)于由控制單元210選擇的要使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片的信息，并且將編碼的信息插入到比特流中，下面將參考圖6A和6B進(jìn)行詳細(xì)描述。圖6A示出了根據(jù)本發(fā)明的示范性實(shí)施例的序列參數(shù)集的語(yǔ)法。參考圖6A，編碼單元220可以在序列參數(shù)集中包括用于指明由控制單元210選擇的圖片的信息并且編碼該序列參數(shù)集。根據(jù)本發(fā)明的序列參數(shù)集包括語(yǔ)法元素‘temporalleveljnax’ 和語(yǔ)法兀素 ‘use_interview_pred_temporal_level [i] ’。‘temporal_level_max’是指示由用于編碼多視像的裝置200編碼的多視像序列的不同時(shí)間級(jí)別的數(shù)目的信息。圖3B所示的多視像序列具有從‘0’到‘3’的時(shí)間級(jí)別，因而 ‘temporal_level_max’ 為 ‘3’?！畊se_interview_pred_temporal_level [i] ’是用于指明要使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)預(yù)測(cè)編碼的圖片的信息。當(dāng)僅僅對(duì)如圖4B所示的時(shí)間級(jí)別為‘I’或‘2’的圖片執(zhí)行視圖間預(yù)測(cè)時(shí)，‘use_interview_pred_temporal_level [I] ’ 為 ‘1’，以及 ‘use_interview_pred_temporal_level[2]，為 ‘I，?！畊se_interview_pred_temporal_level [3]，可以被設(shè)置為 ‘O，。值‘O，和 ‘I，為指示是否使用視圖間預(yù)測(cè)來(lái)預(yù)測(cè)相應(yīng)時(shí)間級(jí)別的圖片的標(biāo)志信息。時(shí)間級(jí)別為‘0’的圖片是錨圖片。由于僅僅使用視圖間預(yù)測(cè)來(lái)預(yù)測(cè)編碼錨圖片，因此不單獨(dú)設(shè)置 ‘use_interview_pred_temporal_level [O] ’。圖6B示出了根據(jù)本發(fā)明的另一個(gè)示范性實(shí)施例的序列參數(shù)集的語(yǔ)法。在圖4B中，控制單元210基于時(shí)間級(jí)別選擇要被使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)進(jìn)行預(yù)測(cè)編碼的圖片。換句話(huà)說(shuō)，特定時(shí)間級(jí)別的圖片不被時(shí)間預(yù)測(cè)。但是，也可以基于視圖以及時(shí)間級(jí)別來(lái)選擇那些圖片。例如，視圖I的多視像序列的圖片當(dāng)中的時(shí)間級(jí)別為‘I’或‘2’的圖片被視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)，以及視圖3的多視像序列的圖片當(dāng)中的時(shí)間級(jí)別為I的圖片被 視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)。換句話(huà)說(shuō)，對(duì)于每個(gè)視圖單獨(dú)地選擇要被視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)的圖片。在這種情況下，需要用于指明對(duì)于每個(gè)視圖的選擇的圖片的語(yǔ)法元素。參考圖6B,序列參數(shù)集包括語(yǔ)法兀素‘temporal_level_max’和‘use_interview_pred_temporal_level[i][j] ’。‘temporal_level_max’ 與圖 6A 所不的 ‘temporal_level_max’ 相同，但是 ‘use_interview_pred_temporal_level [i] [j] ’ 不同于圖 6A 所不的 <use_interview_pred_temporal_level[i]，。在‘use_interview_pred_temporal_level [i] [j]，中，‘i，指不視圖，‘j，指不時(shí)間級(jí)別。如上所述，假定視圖I的多視像序列的圖片當(dāng)中的時(shí)間級(jí)別為‘I’或‘2’的圖片被視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)，以及視圖3的多視像序列的圖片當(dāng)中的時(shí)間級(jí)別為‘I’的圖片被視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)。在這種情況下，‘use_interview_pred_temporal_level[I] [I] ’ 為 ‘I，，‘use_interview_pred_temporal_level[I][2]’ 為 ‘1，，‘use_interview_pred_temporal_level[I][3]’ 為 ‘0，，‘use_interview_pred_temporal_level[3][I]’ 為 ‘1，，‘use_interview_pred_temporal_level [3] [2] ’ 為 ‘0，，以及‘use_interview_pred_temporal_level [3] [3] ’ 為 ‘O，。值 ‘O，和 ‘I，為指不相應(yīng)視圖的多視像序列中相應(yīng)時(shí)間級(jí)別的圖片是否使用視圖間預(yù)測(cè)來(lái)預(yù)測(cè)的標(biāo)志信息，如圖6A所示。圖6C示出了根據(jù)本發(fā)明的示范性實(shí)施例的補(bǔ)充增強(qiáng)信息(SEI)消息。參考圖6C，編碼單元220可以在SEI消息中包括用于指明由控制單元210選擇的圖片的信息并且編碼該SEI消息。SEI消息是解碼視頻編碼層所需的附加信息，以及可以包括每個(gè)圖片的定時(shí)信息、關(guān)于pan/scan功能的信息、和隨機(jī)存取所需的信息。SEI消息也可以包括用戶(hù)單獨(dú)定義的信息。根據(jù)本發(fā)明的示范性實(shí)施例的SEI消息包括用于指明由控制單元210選擇的用于視圖間預(yù)測(cè)的圖片的信息。在圖 6C 中，‘temporal_level_max，和 ‘use_interview_prediction_temporal_level [i] ’與圖6A的相同。
圖6D示出了根據(jù)本發(fā)明的另一個(gè)示范性實(shí)施例的SEI消息。在圖6D 中，‘temporal—level_ jnax’ 和 ‘use_interview_prediction_temporal_level [i] [j]，與圖6B的相同。圖7是示出了根據(jù)本發(fā)明的示范性實(shí)施例的編碼多視像的方法的流程圖。參考圖7，在操作710，圖2所示的用于編碼多視像的裝置200確定包括在多視像序列中的每個(gè)圖片是否是用于視圖間預(yù)測(cè)的參考圖片。換句話(huà)說(shuō)，確定每個(gè)圖片是否被包括在該多視像序列中的其它圖片參考用于視圖間預(yù)測(cè)。在根據(jù)本發(fā)明的示范性實(shí)施例的編碼多視像的方法中，使用視圖間預(yù)測(cè)來(lái)預(yù)測(cè)僅僅一些非錨圖片，而不是使用視圖間預(yù)測(cè)來(lái)預(yù)測(cè)編碼所有非錨圖片。因而，僅僅一些圖片被其它圖片參考用于視圖間預(yù)測(cè)。為此，在操作710中確定是否每個(gè)圖片被其它圖片參考用于視圖間預(yù)測(cè)。可以基于時(shí)間級(jí)別來(lái)確定用于視圖間預(yù)測(cè)的參考圖片。 在操作720，裝置200基于操作710的確定，使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中的至少一個(gè)來(lái)編碼多視像序列中的圖片。使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中的至少一個(gè)來(lái)預(yù)測(cè)多視像序列中的每個(gè)圖片，并且從原始圖片中減去每個(gè)圖片的預(yù)測(cè)值，從而產(chǎn)生多視像序列的殘差數(shù)據(jù)。不用參考在操作710中確定為不是用于視圖間預(yù)測(cè)的參考圖片的圖片而執(zhí)行視圖間預(yù)測(cè)，從而加速了預(yù)測(cè)并且使得能夠高效使用存儲(chǔ)器。在多視像序列編碼中，關(guān)于在操作710中確定為用于視圖間預(yù)測(cè)的參考圖片的圖片的信息也被編碼并且被插入到比特流中。更具體地說(shuō)，將指示每個(gè)圖片是否為用于視圖間預(yù)測(cè)的參考圖片的信息插入到每個(gè)圖片的參數(shù)中。該信息可以包括在NAL單元報(bào)頭中以便被編碼，如上所述。圖8是示出了根據(jù)本發(fā)明的另一個(gè)示范性實(shí)施例的編碼多視像的方法的流程圖。參考圖8，在操作810，圖2所示的用于編碼多視像的裝置200基于時(shí)間級(jí)別選擇要被使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片。裝置200也可以對(duì)于多視像序列的每個(gè)視圖，選擇要被使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片。更具體地說(shuō)，時(shí)間級(jí)別小于預(yù)定值的非錨圖片被選擇作為要被使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的圖片。在操作820，裝置200基于操作810的選擇結(jié)果來(lái)編碼多視像序列。更具體地說(shuō)，使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)來(lái)預(yù)測(cè)編碼在操作810中選擇的圖片，以及使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中的一個(gè)來(lái)預(yù)測(cè)編碼多視像序列中的其余圖片。根據(jù)現(xiàn)有技術(shù)使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)來(lái)預(yù)測(cè)編碼多視像序列中的所有非錨圖片，而根據(jù)本發(fā)明的示范性實(shí)施例，則使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)來(lái)預(yù)測(cè)編碼非錨圖片中的僅僅一些圖片，從而加速了多視像編碼。在多視像序列編碼期間，關(guān)于在操作810中選擇用于視圖間預(yù)測(cè)的圖片的信息也被編碼并被插入到比特流中。如前所述，該信息可以按照序列參數(shù)或SEI消息的形式被編碼并被插入到比特流中。圖9是示出了根據(jù)本發(fā)明的示范性實(shí)施例的用于解碼多視像的裝置900的框圖。參考圖9，裝置900包括提取單元910和解碼單元920。
提取單元910接收比特流，該比特流包括關(guān)于通過(guò)根據(jù)本發(fā)明的編碼多視像的方法編碼的多視像序列的數(shù)據(jù)。這里，關(guān)于多視像序列的數(shù)據(jù)是多視像序列的殘差數(shù)據(jù)，以及該比特流包括關(guān)于多視像序列中的每個(gè)圖片是否為用于視圖間預(yù)測(cè)的參考圖片的信息或關(guān)于每個(gè)圖片是否已被視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的信息。在接收到比特流后，提取單元910從接收的比特流中提取信息。更具體地說(shuō)，提取單元910提取指示每個(gè)圖片是用于視圖間預(yù)測(cè)的參考圖片的參數(shù)或指示每個(gè)圖片已被使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的參數(shù)。優(yōu)選地，但不是必須地，提取單元910提取包括在NAL單元報(bào)頭、序列參數(shù)或SEI消息中的信息。解碼單元920基于提取單元910提取的信息解碼關(guān)于多視像序列的數(shù)據(jù)。包括在比特流中的關(guān)于多視像序列的數(shù)據(jù)是多視像序列的殘差數(shù)據(jù)。因而，解碼單元920基于提取單元910提取的信息，使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中
的至少一個(gè)，來(lái)預(yù)測(cè)多視像序列中的每個(gè)圖片，并且將預(yù)測(cè)結(jié)果添加到多視像序列的殘差數(shù)據(jù)中，從而重構(gòu)多視像序列。為了預(yù)測(cè)，解碼單元920將參考圖片存儲(chǔ)在預(yù)定存儲(chǔ)器中并執(zhí)行預(yù)測(cè)。但是，對(duì)于視圖間預(yù)測(cè)，裝置900基于提取單元910提取的信息，在存儲(chǔ)器中不存儲(chǔ)不是用于視圖間預(yù)測(cè)的參考圖片的圖片。因而，在預(yù)測(cè)期間降低了要被存儲(chǔ)在存儲(chǔ)器中的參考圖片的數(shù)目，從而使得能夠有效地利用存儲(chǔ)器。此外，不是所有的非錨圖片都被視圖間預(yù)測(cè)，從而提高了預(yù)測(cè)速度。此外，可以進(jìn)行快速的隨機(jī)存取。例如，當(dāng)圖4A中第二行和第二列中的圖片420被隨機(jī)存取時(shí)，不必要解碼位于與圖片420的視圖相鄰的視圖處且在圖片420之上和之下的圖片422和424，因?yàn)橐呀?jīng)確定它們不是用于視圖間預(yù)測(cè)的參考圖片。因而，可以進(jìn)行快速的預(yù)測(cè)和隨機(jī)存取。圖10是根據(jù)本發(fā)明的示范性實(shí)施例的解碼多視像的方法的流程圖。參考圖10，在操作1010，圖9中用于解碼多視像的裝置900接收包括關(guān)于多視像序列的數(shù)據(jù)的比特流。關(guān)于多視像序列的數(shù)據(jù)是多視像序列的殘差數(shù)據(jù)。在操作1020，裝置900從接收的比特流中提取指示包括在多視像序列中的每個(gè)圖片是否為用于視圖間預(yù)測(cè)的參考圖片的信息或指示每個(gè)圖片是否已被使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)編碼的信息。也提取關(guān)于該多視像序列的數(shù)據(jù)，即殘差數(shù)據(jù)。為此，可以提取包括在NAL單元報(bào)頭、序列參數(shù)或SEI消息中的信息。在操作1030，裝置900基于在操作1020中提取的信息來(lái)解碼多視像序列。更具體地說(shuō)，基于提取的信息使用視圖間預(yù)測(cè)和時(shí)間預(yù)測(cè)中的至少一個(gè)來(lái)預(yù)測(cè)多視像序列，并且將在操作1020中提取的殘差數(shù)據(jù)添加到預(yù)測(cè)結(jié)果，從而重構(gòu)多視像序列。同時(shí)，本發(fā)明的示范性實(shí)施例可以被寫(xiě)為計(jì)算機(jī)程序并且可以被使用計(jì)算機(jī)可讀記錄介質(zhì)或其它傳輸介質(zhì)執(zhí)行該程序的通用數(shù)字計(jì)算機(jī)實(shí)現(xiàn)。計(jì)算機(jī)可讀記錄介質(zhì)的例子包括磁存儲(chǔ)介質(zhì)(例如，ROM、軟盤(pán)、硬盤(pán)等)和光記錄介質(zhì)(例如，CD-ROM、或DVD)。其它傳輸介質(zhì)可以包括載波(例如，通過(guò)互聯(lián)網(wǎng)的傳輸)。計(jì)算機(jī)可讀記錄介質(zhì)也可以被分布在網(wǎng)絡(luò)耦合的計(jì)算機(jī)系統(tǒng)之上以使得計(jì)算機(jī)可讀代碼以分布式被存儲(chǔ)和執(zhí)行。盡管已經(jīng)參考本發(fā)明的示范性實(shí)施例對(duì)本發(fā)明進(jìn)行了具體圖示和描述，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在不脫離由以下權(quán)利要求書(shū)所定義的本發(fā)明的精神和范圍的情況下，可以對(duì)本發(fā)明做出形式和細(xì)節(jié)上的各種修改?！?br> 權(quán)利要求
1.一種解碼多視像的方法，該方法包括 接收比特流，該比特流包括指示包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測(cè)的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)； 從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及 基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
2.如權(quán)利要求I所述的方法，其中該信息包括在每個(gè)圖片的參數(shù)中。
3.如權(quán)利要求2所述的方法，其中該參數(shù)是每個(gè)圖片的網(wǎng)絡(luò)提取層(NAL)單元報(bào)頭。
4.如權(quán)利要求I所述的方法，其中基于每個(gè)圖片的時(shí)間級(jí)別來(lái)確定包括在該多視像序列中的每個(gè)圖片是否為該參考圖片，其中時(shí)間級(jí)別是用于通過(guò)將圖像序列分割成多個(gè)電平來(lái)提供時(shí)間可分級(jí)的參數(shù)。
全文摘要
提供一種解碼多視像的方法，該方法包括接收比特流，該比特流包括指示包括在多視像序列中的每個(gè)圖片是否為被包括在該多視像序列中的其它圖片參考以用于視圖間預(yù)測(cè)的參考圖片的信息和關(guān)于該多視像序列的數(shù)據(jù)；從接收到的比特流中提取該信息和關(guān)于該多視像序列的數(shù)據(jù)；以及基于提取的信息解碼該關(guān)于多視像序列的數(shù)據(jù)。
文檔編號(hào)H04N7/32GK102892002SQ20121039078
公開(kāi)日2013年1月23日 申請(qǐng)日期2008年3月6日 優(yōu)先權(quán)日2007年4月11日
發(fā)明者崔鐘凡, 沈優(yōu)星, 宋學(xué)燮, 文榮豪 申請(qǐng)人:三星電子株式會(huì)社