專利名稱：：編碼多視圖視頻編碼信息中使用碼片組的方法和裝置的制作方法
技術(shù)領(lǐng)域：
：本原理一般地涉及視頻編碼和解碼，并且更具體地，涉及在編碼和解碼多視圖編碼(MVC)信息中使用碼片組(slicegroups)的方法和裝置。
背景技術(shù)：
：國際標(biāo)準(zhǔn)化組織/國際電工委員會(ISO/IEC)運(yùn)動圖像專家組-4(MPEG-4)第10部分高級視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟電信分部(ITU-T)H.264推薦(在下文中被稱作"MPEG-4AVC標(biāo)準(zhǔn)")提供了通過如表5中所示的、被稱作立體視頻信息(SVI)補(bǔ)充增強(qiáng)信息消息的SEI消息用于3D視頻編碼的框架。表5<table>tableseeoriginaldocumentpage5</column></row><table>SVISEI消息提供了其中指示整個編碼的視頻序列包括形成立體視圖內(nèi)容的畫面對的解碼器。進(jìn)一步地，SVISEI消息指定了以場格式還是幀格式來安排這兩個視圖，以及是否已經(jīng)獨(dú)立地編碼了這些視圖以及已經(jīng)獨(dú)立地編碼這些視圖中的哪些。在場格式下，將給定時間實(shí)例(instance)的每個視圖編碼為隔行掃描的(interlaced)視頻幀的每個場。在幀格式下，輸出順序中的每個交替的幀表示視圖。MPEG-4AVC標(biāo)準(zhǔn)引入了附加的高級語法以將每個畫面分割為碼片(slice)。另外，這些碼片可以屬于不同的碼片組。這些碼片組可以具有不同的碼片組類型。多個碼片組使得可能將編碼的宏塊(MB)的序列以若干靈活的方式向解碼畫面映射。由指示每個宏塊屬于哪個碼片組的宏塊向碼片組的映射來判定宏塊的分配。MPEG-4AVC標(biāo)準(zhǔn)支持下列不同的碼片組類型隔行掃描的(interleaved)碼片組；分散的(dispersed)碼片組映射；一個或更多的"前景(foreground)"碼片組、以及"剩余(leftover)"的碼片組；改變(changing)碼片組；以及碼片組向每個碼片組映射單元的顯式(explicit)指派。這提供了怎樣編碼不同的碼片的很多靈活性。碼片組的首要目的可以被認(rèn)為是錯誤復(fù)原能力(errorresiliency)。碼片組的另一應(yīng)用為感興趣區(qū)域(regionofinterest,ROI)編碼。MPEG-4AVC標(biāo)準(zhǔn)還包括了用于指定碼片組邊界上的幀間預(yù)測(interprediction)的約束的SEI消息。對于并行處理來說，這可以是有用的。
發(fā)明內(nèi)容本原理解決現(xiàn)有的技術(shù)的這些和其他缺陷和缺點(diǎn)，本原理專注于在編碼和解碼多視角視頻編碼(MVC)信息中使用碼片組的方法和裝置。根據(jù)本原理的一方面，提供了一種裝置，該裝置包括使用多個碼片組來編碼對應(yīng)于多視圖視頻內(nèi)容的至少兩個視圖的編碼器。根據(jù)本原理的另一方面，提供了一種方法。該方法包括使用多個碼片組來編碼對應(yīng)于多視圖視頻內(nèi)容的至少兩個視圖。根據(jù)本原理的又一方面，提供了一種裝置，該裝置包括用于使用多個碼片組來解碼對應(yīng)于多視圖視頻內(nèi)容的至少兩個視圖的解碼器。根據(jù)本原理的另一方面，提供一種方法。該方法包括使用多個碼片組來解碼對應(yīng)于多視圖視頻內(nèi)容的至少兩個視圖。從下面的對示范實(shí)施例的詳細(xì)描述中，本原理的這些和其他方面、特征和優(yōu)勢將變得明顯，應(yīng)當(dāng)聯(lián)系附圖來閱讀所述詳細(xì)描述。根據(jù)下列示范附圖，將更好地理解本原理，其中圖1為能夠根據(jù)MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼(MVC)擴(kuò)展來執(zhí)行視頻編碼的視頻編碼器的框圖2為能夠根據(jù)MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼(MVC)擴(kuò)展來執(zhí)行視頻解碼的視頻解碼器的框圖3為根據(jù)本原理的實(shí)施例的、可以應(yīng)用本原理的、使用分層級的(hierarchical)B畫面、基于MPEG-4AVC標(biāo)準(zhǔn)的視圖間時間(inter-view-temporal)子貞測結(jié)構(gòu)的圖4為根據(jù)本原理的實(shí)施例的、在單個幀上的四個視圖的示范平鋪(tiling)的圖5為根據(jù)本原理的實(shí)施例的范方法的流程圖6為根據(jù)本原理的實(shí)施例的范方法的流程圖7為根據(jù)本原理的實(shí)施例的一示范方法的流程圖8為根據(jù)本原理的實(shí)施例的一示范方法的流程圖9為根據(jù)本原理的實(shí)施例的一示范方法的流程圖10為根據(jù)本原理的實(shí)施例的、使用碼片組來解碼多視圖視頻內(nèi)容的又一示范方法的流程圖。具體實(shí)施例方式本原理專注于在編碼和解碼多視角視頻編碼(MVC)信息中使用碼片組的方法和裝置。本描述闡釋了本原理。因而將理解，本領(lǐng)域技術(shù)人員將能夠設(shè)計(jì)出雖然未在這里顯式地描述或示出、但體現(xiàn)了本原理并且被包括在其精神和范圍內(nèi)、使用碼片組來編碼多視圖視頻內(nèi)容的示、使用碼片組來解碼多視圖視頻內(nèi)容的示、使用碼片組來編碼多視圖視頻內(nèi)容的另、使用碼片組來解碼多視圖視頻內(nèi)容的另、使用碼片組來編碼多視圖視頻內(nèi)容的又7的各種安排。在這里所詳述(recite)的所有示例和條件性的語言意圖在于輔助讀者理解本原理和由(多個)發(fā)明者為開發(fā)本領(lǐng)域而貢獻(xiàn)本原理和構(gòu)思的教導(dǎo)目的，并且應(yīng)當(dāng)被理解為不受限于這樣的具體詳述的示例和條件。此外，在這里詳述本原理的原理、方面和實(shí)施例的所有陳述，以及其具體例子，意圖包括其結(jié)構(gòu)性和功能性等效物的兩者。另外，這樣的等效物意圖包括當(dāng)前已知的等效物以及在將來開發(fā)的等效物，即無論結(jié)構(gòu)如何而執(zhí)行相同的功能的所開發(fā)的任何元件。因而，例如，本領(lǐng)域技術(shù)人員將理解，在這里所呈現(xiàn)的框圖表示體現(xiàn)本原理的闡釋性電路的概念視圖。相似地，將理解，任何流程表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽碼等表示可以在計(jì)算機(jī)可讀介質(zhì)中實(shí)質(zhì)表示的、并且由計(jì)算機(jī)或處理器如此執(zhí)行的各種過程，而無論這樣的計(jì)算機(jī)或處理器是否被顯式地示出。可以通過使用專用硬件以及能夠與恰當(dāng)?shù)能浖嗦?lián)系而執(zhí)行軟件的硬件來提供圖中所示的各種元件的功能。在由處理器提供時，可以由單個專用處理器、由單個共享處理器、或由多個單獨(dú)的處理器(其中的一些可以被共享)來提供這些功能。此外，術(shù)語"處理器"或"控制器"的顯式使用不應(yīng)被理解為僅僅指能夠執(zhí)行軟件的硬件，而是可以隱式地包括但不限于數(shù)字信號處理器("DSP")硬件、用于存儲軟件的只讀存儲器("ROM")、隨機(jī)存取存儲器("RAM")和非易失性存儲器。還可以包括傳統(tǒng)的和/或定制的其他硬件。相似地，圖中所示的任何開關(guān)都僅僅是概念性的?？梢酝ㄟ^程序邏輯、通過專用邏輯、通過程序控制和專用邏輯的交互、或甚至手動的操作來執(zhí)行它們的功能，如同從環(huán)境中更具體地理解的那樣，具體的技術(shù)可由實(shí)施者選擇。在其權(quán)利要求中，被表達(dá)為用于執(zhí)行所指定的功能的部件的任何元件意圖包括執(zhí)行該功能的任何方式，所述任何方式例如包括a)執(zhí)行該功能的電路元件的組合或b)任何形式的軟件(因此包括固件、微代碼(microcode)等)與用于執(zhí)行該軟件以執(zhí)行該功能的恰當(dāng)?shù)碾娐方M合。按照由這樣的權(quán)利要求所定義的本原理在于以下事實(shí)以權(quán)利要求所要求的方式將由各種詳述的部件所提供的功能組合并放在一起。因而認(rèn)為可以提供這些功能的任何部件與這里所示出的那些部件等效。本說明書中對本原理的"一個實(shí)施例，，或"實(shí)施例"的引用意味著在本原理的至少一個實(shí)施例中包括了與該實(shí)施例相聯(lián)系地描述的具體特征、結(jié)構(gòu)、特性等。因而，在貫穿本說明書中的各處出現(xiàn)的短語"在一個實(shí)施例中，，或"在實(shí)施例中"的出現(xiàn)不一定都指相同的實(shí)施例。應(yīng)當(dāng)理解，例如在"A和/或B，，的情況中的用語"和/或"的使用意圖包括對第一所列選項(xiàng)(A)的選4奪、對第二所列選項(xiàng)(B)的選"l奪、或?qū)蓚€選項(xiàng)(A和B)的選4奪。作為進(jìn)一步的例子，在"A、B和/或C"的情況中，這樣的措辭意圖包括對第一所列選項(xiàng)(A)的選擇、對第二所列選項(xiàng)(B)的選擇、對第三所列選項(xiàng)(C)的選擇、對第一和第二所列選項(xiàng)(A和B)的選擇、對第一和第三所列選項(xiàng)(A和C)的選4奪、對第二和第三所列選項(xiàng)(B和C)的選擇、或?qū)λ腥齻€選項(xiàng)(A和B和C)的選擇。如同對于本領(lǐng)域和相關(guān)領(lǐng)域中的普通技術(shù)人員來說容易地明顯的那樣，對于所列出的許多項(xiàng)目可以對此進(jìn)行擴(kuò)展。此外，應(yīng)當(dāng)理解，雖然對于MPEG-4AVC標(biāo)準(zhǔn)在此描述本原理的一個或更多的實(shí)施例，但本原理不僅僅限于該標(biāo)準(zhǔn)，并且因而可以對于包括MPEG-4AVC標(biāo)準(zhǔn)的擴(kuò)展的其他視頻編碼標(biāo)準(zhǔn)、推薦及其擴(kuò)展來利用本原理，同時保留本原理的精神。如這里所使用的那樣，"高級語法，，指分層級的次駐留于宏塊層之上的比特流中出現(xiàn)的語法。例如，如這里所使用的那樣，高級語法可以指、但不限于在碼片首標(biāo)(header)層、補(bǔ)充增強(qiáng)信息(SEI)層、畫面參數(shù)集(PPS)層、序列參數(shù)集(SPS)層和網(wǎng)絡(luò)抽象層(NAL)單元首標(biāo)層處的語法。轉(zhuǎn)向圖1，概括地由參考標(biāo)號100指示能夠根據(jù)MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼(MVC)擴(kuò)展來執(zhí)行視頻編碼的視頻編碼器。視頻編碼器100包括幀順序緩沖器110,幀順序緩沖器IIO具有與組合器185的非反相輸入端進(jìn)行信號通信的輸出端。組合器185的輸出端與變換器和量化器125的第一輸入端信號通信地連接。變換器和量化器125的輸出端與熵編碼器145的第一輸入端以及逆變換器和逆量化器150的第一輸入端信號通信地連接。熵編碼器145的輸出端與組合器190的第一非反相輸入端信號通信地連接。組合器190的輸出端與輸出緩沖器135的第一輸入端信號通信地連接。編碼器控制器105的第一輸出端與幀順序緩沖器110的第二輸入端、逆變換器和逆量化器150的第二輸入端、畫面類型判定模塊115的輸入端、宏塊類型(MB類型)判定模塊120的輸入端、幀內(nèi)預(yù)測(intraprediction)模塊160的第二輸入端、去塊(deblocking)濾波器165的第二輸入端、運(yùn)動補(bǔ)償器170的第一輸入端、運(yùn)動估算器175的第一輸入端以及參考畫面緩沖器180的第二輸入端信號通信地連接。編碼器控制器105的第二輸出端與補(bǔ)充增強(qiáng)信息(SEI)插入器130的第一輸入端、變換器和量化器125的第二輸入端、熵編碼器145的第二輸入端、輸出緩沖器135的第二輸入端、以及序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器140的輸入端信號通信地連接。畫面類型判定模塊115的第一輸出端115與幀順序緩沖器110的第三輸入端信號通信地連接。畫面類型判定模塊115的第二輸出端與宏塊類型判定模塊120的第二輸入端信號通信地連接。序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器140的輸出端與組合器190的第三非反相輸入端信號通信地連接。逆量化器和逆變換器150的輸出端與組合器119的第一非反相輸入端信號通信地連接。組合器119的輸出端與幀內(nèi)預(yù)測模塊160的第一輸入端和去塊濾波器165的第一輸入端信號通信地連接。去塊濾波器165的輸出端與參考畫面緩沖器180的第一輸入端信號通信地連接。參考畫面緩沖器180的輸出端與運(yùn)動估算器175的第二輸入端信號通信地連接。運(yùn)動估算器175的第一輸出端與運(yùn)動補(bǔ)償器170的第二輸入端信號通信地連接。運(yùn)動估算器175的第二輸出端與熵編碼器145的第三輸入端信號通信地連接。運(yùn)動補(bǔ)償器170的輸出端170與開關(guān)197的第一輸入端信號通信地連接。幀內(nèi)預(yù)測模塊160的輸出端與開關(guān)197的第二輸入端信號通信地連接。宏塊類型判定模塊120的輸出端與開關(guān)197的第三輸入端信號通信地連接。開關(guān)197的第三輸入端判定開關(guān)的"數(shù)據(jù)，，輸入端(與控制輸入端，即第三輸入端相比)是否由運(yùn)動補(bǔ)償器170或幀內(nèi)預(yù)測模塊160提供。開關(guān)197的輸出端與組合器119的第二非反相輸入端、以及與組合器185的反相輸入端信號通信地連接。編碼器控制器的第二輸入端接收碼片組信息186。向平鋪模塊188提供共同地由參考標(biāo)號189表示的視圖0至視圖N-l，所述平鋪模塊188平鋪視圖以提供(多個)輸入畫面101。10幀順序緩沖器110的第一輸入端和編碼器控制器105作為編碼器100的輸入端可用于接收輸入畫面101。此外，補(bǔ)充增強(qiáng)信息(SEI)插入器130作為編碼器100的輸入端可用于接收元數(shù)據(jù)。輸出緩沖器135的輸出端作為編碼器100的輸出端可用于輸出比特流。轉(zhuǎn)向圖2,概括地由參考標(biāo)號200指示能夠根據(jù)MPEG-4AVC標(biāo)準(zhǔn)的多視圖視頻編碼(MVC)擴(kuò)展來執(zhí)行視頻解碼的視頻解碼器。視頻解碼器200包括輸入緩沖器210，輸入緩沖器210具有與熵解碼器245的第一輸入端信號通信地連接的輸出端。熵解碼器245的第一輸出端與逆變換器和逆量化器250的第一輸入端信號通信地連接。逆變換器和逆量化器250的輸出端與組合器225的第二非反相輸入端信號通信地連接。組合器225的輸出端與去塊濾波器265的第二輸入端、以及幀內(nèi)預(yù)測模塊260的第一輸入端信號通信地連接。去塊濾波器265的第二輸出端與參考畫面緩沖器280的第一輸入端信號通信地連接。參考畫面緩沖器280的輸出端與運(yùn)動補(bǔ)償器270的第二輸入端信號通信地連接。熵解碼器245的第二輸出端與運(yùn)動補(bǔ)償器270的第三輸入端、以及去塊濾波器265的第一輸入端信號通信地連接。熵解碼器245的第三輸出端與解碼器控制器205的輸入端信號通信地連接。解碼器控制器205的第一輸出端與熵解碼器245的第二輸入端信號通信地連接。解碼器控制器205的第二輸出端與逆變換器和逆量化器250第二輸入端信號通信地連接。解碼器控制器205的第三輸出端與去塊濾波器265的第三輸入端信號通信地連接。解碼器控制器205的第四輸出端與幀內(nèi)預(yù)測模塊260的第二輸入端、與運(yùn)動補(bǔ)償器270的第一輸入端、以及與參考畫面緩沖器280的第二輸入端信號通信地連接。運(yùn)動補(bǔ)償器270的輸出端與開關(guān)297的第一輸入端信號通信地連接。幀內(nèi)預(yù)測模塊260的輸出端與開關(guān)297的第二輸入端信號通信地連接。開關(guān)297的輸出端與組合器225的第一非反相輸入端信號通信地連接。輸入緩沖器210的輸入端作為解碼器200的輸入端可用于接收輸入比特流。去塊濾波器265的第一輸出端作為解碼器200的輸出端可用于對輸出畫面進(jìn)行輸出。轉(zhuǎn)向圖3,概括地由參考標(biāo)號300來指示使用分層級的B畫面、基于MPEG-4AVC標(biāo)準(zhǔn)的視圖間時間預(yù)測結(jié)構(gòu)。ii轉(zhuǎn)向圖4,概括地由參考標(biāo)號400來指示在單個幀上四個;f見圖的示范平鋪。根據(jù)本原理，我們擴(kuò)展MPEG-4AVC標(biāo)準(zhǔn)框架以使得能夠使用碼片組來進(jìn)行多視圖視頻內(nèi)容的編碼和解碼。為了支持該新能力，我們已經(jīng)開發(fā)了新的高級語法以使用MPEG-4AVC標(biāo)準(zhǔn)來用信號通知(signal)碼片中的多視圖視頻信息。如上所述，雖然在這里對于MPEG-4AVC標(biāo)準(zhǔn)來描述一個或更多的實(shí)施例，但本原理不受如此限制，而是可以被擴(kuò)展至其他編碼技術(shù)。根據(jù)本原理，與MPEG-4AVC標(biāo)準(zhǔn)兼容的碼片組被用于在單個幀中編碼多個視圖。如前所述，MPEG-4AVC標(biāo)準(zhǔn)引入了附加的高級語法以將每個畫面分割(partition)為碼片。另外，這些碼片可以屬于不同的碼片組。這些碼片組可以具有不同的碼片組類型。MPEG-4AVC標(biāo)準(zhǔn)支持下列不同的碼片組類型隔行掃描的碼片組；分散的碼片組映射；一個或更多的"前景"碼片組、和"剩余"碼片組；改變碼片組；和向每個碼片組映射單元的顯式指派碼片組。這提供了怎樣編碼不同的碼片的很多靈活性。碼片組的首要目的可以認(rèn)為是錯誤復(fù)原能力。碼片組的另一應(yīng)用為感興趣區(qū)域(ROI)編碼。AVC還包括了用于指定碼片組邊界上的幀間預(yù)測的約束的SEI消息。對于并行處理來說，這可以是有用的。利用可以使用SEI消息以及碼片組的概念來獨(dú)立地編碼和解碼不同的碼片組的事實(shí)，我們可以將來自不同視圖的每個畫面編碼為單獨(dú)的碼片組。如上所述，圖4示出了在單個幀上的不同的視圖的示范平鋪400。在MPEG-4AVC標(biāo)準(zhǔn)的框架中，可以將每個平鋪的視圖視作特定的碼片組。例如，左上象限可以是碼片組l、右上象限可以是碼片組2、左下象限可以是碼片組3、而右下象限可以是碼片組4。實(shí)現(xiàn)它的一個可能的方法為使用碼片組類型映射類型2和6的中的任一種。碼片組類型2表示"前景"碼片組和"剩余"碼片組。根據(jù)本原理，可以將"前景"碼片組指定為沒有"剩余"區(qū)域、或具有作為剩余區(qū)域的一個視圖的矩形區(qū)域。導(dǎo)致非重疊視圖的任何其他組合也是可能的。碼片組類型6允許在語法中顯式地用信號通知宏塊向碼片組的映射。因而，對于每個視圖來說，用信號通知該視圖屬于哪個碼片組是可能的。在用信號通知之后，則可以為了幀間預(yù)測而使用SEI消息來約束每個視圖。表1示出了根據(jù)本原理的實(shí)施例的、利用MPEG-4AVC標(biāo)準(zhǔn)供使用的運(yùn)動約束的碼片組集補(bǔ)充增強(qiáng)信息(SEI)消息語法。此方式我們確信只從其自身視圖來預(yù)測每個視圖。表1<table>tableseeoriginaldocumentpage13</column></row><table>可以以幾種不同的方式從不同的碼片組提取視圖信息。在一個實(shí)施例中，我們可以使用如表3中所示的SEI消息。表3例示了在與MPEG-4AVC標(biāo)準(zhǔn)兼容的碼片組中使用的多視圖視頻編碼(MVC)補(bǔ)充增強(qiáng)信息(SEI)消息。表3<table>tableseeoriginaldocumentpage13</column></row><table>因?yàn)橐子趶腜PS中可得到描述每個視圖的位置的部分的信息，所以已經(jīng)去除了該信息。添加了被稱作slice_group—id[viewjd[i]]的附加語法。該附加語法用于將在PPS中用信號通知的碼片組向它們對應(yīng)的view—id映射。因而，4吏用該信息，可以確定哪個碼片組對應(yīng)于哪個view—id。slice—group一id[view一id[i]]的"i吾義(semantics)如下slice—group—id[view—id[iI以光柵(raster)掃描順序來識別對應(yīng)于由view一id[i]指定的視圖的碼片組映射單元中的碼片組。slice一group一id[view—id[i]]i吾法元素的尺寸為Ceil(Log2(num—slice—groups一minusl+l))比凈爭。slice—group—id[view一id[i]]的^直應(yīng)當(dāng)包4舌在0至num—slice—groups—minus1的范圍內(nèi)。在另一實(shí)施例中，我們可以與碼片組信息一起用信號通知PPS中的視圖信息。在表2中指示了該實(shí)施例的一個例子。即，表2示出了根據(jù)本原理的實(shí)施例的修改后畫面參數(shù)集(PPS)RBSP語法。表2<table>tableseeoriginaldocumentpage14</column></row><table><table>tableseeoriginaldocumentpage15</column></row><table>這里，在碼片組類型為2時，我們除左和右支持(support)之外還用信號通知viewjd信息。在碼片組類型為6的情況中，我們則提供從slice—group—id向view_id的映射。這向每個碼片組給予相關(guān)聯(lián)的view—id。其后該信息可以用于提取不同的視圖。另外，我們可以通過添加凈皮稱作self—contained_flag[i]的標(biāo)志來改造SEI消息，所述標(biāo)志指示由viewjd[i]識別的視圖不依賴于用于幀間預(yù)測的任何其他視圖。在表4中示出self—contained_flag[i]、并且定義如下self—contained—flag[ij等于1指示在對于由編碼的視頻畫面的view—id[i]部分識別的視圖的解碼過程內(nèi)、沒有幀間預(yù)測操作引用作為對應(yīng)于view—id[j]的區(qū)域的部分的參考區(qū)域，并且i不等于j。selfLcontainecLflag[il等于0指示在對于由編碼的視頻畫面的viewjd[i]部分識別的視圖的解碼過程內(nèi)一些巾貞間預(yù)測操作可以引用或可以不引用作為對應(yīng)于view—idG]的區(qū)域的部分的參考區(qū)域，并且i不等于j。表4<table>tableseeoriginaldocumentpage16</column></row><table>轉(zhuǎn)向圖5，概括地由參考標(biāo)號500指示使用碼片組來編碼多視圖視頻內(nèi)，的^范》法。方法500包括向功能塊510傳遞控制的開始塊。功能塊510輸入視圖0至N-l,并且向功能塊515傳遞控制。功能塊515平鋪輸入視圖，并且向功能塊520傳遞控制。功能塊520為每個平鋪提供的碼片組信息，并且向功能塊525傳遞控制。功能塊525使用碼片組類型2或6，并且向功能塊530傳遞控制。功能塊530創(chuàng)建補(bǔ)充增強(qiáng)信息(SEI)消息以約束碼片組之間的運(yùn)動，并且向功能塊535傳遞控制。功能塊535創(chuàng)建包括碼片組的序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)信息，并且向功能塊540傳遞控制。功能塊540編碼平鋪的視頻序列，并且向結(jié)束塊599傳遞控制。轉(zhuǎn)向圖6，概括地由參考標(biāo)號600指示使用碼片組來解碼多視圖視頻內(nèi)容的示范方法。方法600包括向功能塊610傳遞控制的開始塊605。功能塊610解析(parse)運(yùn)動約束的補(bǔ)充增強(qiáng)信息(SEI)消息和序列參數(shù)集(SPS),并且向功能塊615傳遞控制。功能塊615解析畫面參數(shù)集(PPS)，并且向功能塊620傳遞控制。功能塊620解析碼片組信息，并且向功能塊625傳遞控制。功能塊625解析碼片組類型2或6，并且向功能塊630傳遞控制。功能塊630解碼每個碼片組，并且向功能塊635傳遞控制。功能塊635提取每個碼片組以獲得不同的視圖，并且向結(jié)束塊699傳遞控制。轉(zhuǎn)向圖7，概括地由參考標(biāo)號700指示使用碼片組來編碼多視圖視頻內(nèi)容的另一示范方法。方法700包括向功能塊710傳遞控制的開始塊705。功能塊710輸入一見圖O至N-1,并且向功能塊715傳遞控制。功能塊715平鋪輸入視圖，并且向功能塊720傳遞控制。功能塊720為每個平鋪提供碼片組信息，并且向功能塊725傳遞控制。功能塊725使用碼片組類型2或6,并且向判定塊730傳遞控制。判定塊730判定當(dāng)前碼片組類型是否等于2。如果是，則向功能塊735傳遞控制。否則，向功能塊740傳遞控制。功能塊735為每個碼片組指定view—id以及top—left和bottom—right坐標(biāo)，并且向功能塊745傳遞控制。功能塊745繼續(xù)編碼過程，并且向結(jié)束塊799傳遞控制。功能塊740為每個碼片組指定view—id,并且向功能塊745傳遞控制。轉(zhuǎn)向圖8，概括地由參考標(biāo)號800指示使用碼片組來解碼多視圖視頻內(nèi)容的另一示范方法。方法800包括向功能塊810傳遞控制的開始塊805。功能塊810解析序列參數(shù)集(SPS),并且向功能塊815傳遞控制。功能塊815解析畫面參數(shù)集(PPS)，并且向功能塊820傳遞控制。功能塊820解析碼片組信息，并且向判定塊825傳遞控制。判定塊825確定當(dāng)前碼片組類型是否等于2。如果是，則向功能塊830傳遞控制，否則，向功能塊835傳遞控制。功能塊830為每個碼片組解析view—id以及top—left和bottom—right坐標(biāo)，并且向功能塊840傳遞控制。功能塊840繼續(xù)解碼過程，并且向結(jié)束塊899傳遞控制。17功能塊835為每個碼片組解析view—id，并且向功能塊840傳遞控制。轉(zhuǎn)向圖9，概括地由參考標(biāo)號900指示使用碼片組來編碼多視圖視頻內(nèi)容的又一示范方法。方法900包括向功能塊910傳遞控制的開始塊。功能塊910開始多^L圖視頻編碼補(bǔ)充增強(qiáng)信息(SEI)消息，并且向功能塊915傳遞控制。功能塊915寫入編碼視圖的數(shù)目減1,并且向功能塊920傳遞控制。功能塊920寫入原始畫面的寬度和高度，并且向判定塊925傳遞控制。判定塊925確定是否已完成所有視圖。如果是，則向功能塊930傳遞控制。否則，向功能塊935傳遞控制。功能塊930編碼視圖，并且向結(jié)束塊999傳遞控制。功能塊935在補(bǔ)充增強(qiáng)信息(SEI)消息中寫入view一id，并且向功能塊940傳遞控制。功能塊940寫入slice—group—id,并且向功能塊945傳遞控制。功能塊945在補(bǔ)充增強(qiáng)信息(SEI)消息中寫入upsample_view_flag，并且向功能塊950傳遞控制。功能塊950在補(bǔ)充增強(qiáng)信息(SEI)消息中寫入其他補(bǔ)充增強(qiáng)信息(SEI)參數(shù)，并且返回控制給判定塊925。轉(zhuǎn)向圖10，概括地由參考標(biāo)號1000指示使用碼片組來解碼多視圖視頻內(nèi)容的又一示范方法。方法1000包括向功能塊1010傳遞控制的開始塊1005。功能塊1010解析多視圖視頻補(bǔ)充增強(qiáng)信息(SEI)消息，并且向功能塊1015傳遞控制。功能塊1015解析編碼視圖的數(shù)目減1，并且向功能塊1020傳遞控制。功能塊1020解析原始畫面的寬度和高度，并且向判定塊1025傳遞控制。判定塊1025確定是否已完成所有視圖。如果是，則向功能塊1030傳遞控制。否則，向功能塊1035傳遞控制。功能塊1030編碼視圖，并且向結(jié)束塊1099傳遞控制。功能塊1035解析view—id,并且向功能塊1040傳遞控制。功能塊1040解析slice—group—id,并且向功能塊1045傳遞控制。功能塊1045解析upsample—view—flag,并且向功能塊1050傳遞控制。功能塊1050解析其他補(bǔ)充增強(qiáng)消息(SEI)參數(shù)，并且返回控制給判定塊1025。將對本原理的許多伴隨的優(yōu)勢/特征中的一些給出描述，所述優(yōu)勢/特征中的一些已經(jīng)在上面被提及。例如，一個優(yōu)勢/特征為具有使用多個碼片組來編碼對應(yīng)于多視圖視頻內(nèi)容的至少兩個視圖的編碼器的裝置。另一優(yōu)勢/特征為具有如上所述的編碼器的裝置，其中多個碼片組中的至少一些服從現(xiàn)有的視頻編碼標(biāo)準(zhǔn)或現(xiàn)有的視頻編碼推薦。又一優(yōu)勢/特征為具有如上所述的編碼器的裝置，其中多個碼片組中的至少一些服從國際標(biāo)準(zhǔn)化組織/國際電工委員會運(yùn)動圖像專家組-4第IO部分高級視頻編碼標(biāo)準(zhǔn)/國際電信聯(lián)盟電信部分H.264推薦。又一優(yōu)勢/特征為具有如上所述的編碼器的裝置，其中編碼器編碼作為多個碼片組中的相應(yīng)的單獨(dú)的一個碼片組的至少兩個視圖中的每一個視圖。此外，另一優(yōu)勢/特征為具有編碼器的裝置，所述編碼器編碼作為上述的多個碼片組中的相應(yīng)的單獨(dú)的一個碼片組的至少兩個視圖中的每一個視圖，其中，所述編碼器使用補(bǔ)充增強(qiáng)信息消息以編碼作為多個碼片組中的相應(yīng)的單獨(dú)的一個碼片組的至少兩個浮見圖中的每一個浮見圖。進(jìn)一步地，另一優(yōu)勢/特征為具有如上所述使用補(bǔ)充增強(qiáng)信息(SEI)消息的編碼器的裝置，其中補(bǔ)充增強(qiáng)信息消息指示多個碼片組中的至少一些受運(yùn)動約束。并且，另一優(yōu)勢/特征為具有如上所述的編碼器的裝置，其中編碼器修改現(xiàn)有的視頻編碼標(biāo)準(zhǔn)或視頻編碼推薦的現(xiàn)有的補(bǔ)充增強(qiáng)信息消息以包括碼片組識別符信息。附加地，另一優(yōu)勢/特征為具有如上所述的編碼器的裝置，其中編碼器修^改畫面參數(shù)集以用信號通知用于至少兩個視圖的視圖識別符信息和碼片組識別符信息。此外，另一優(yōu)勢/特征為具有如上所述的編碼器的裝置，其中修改畫面參數(shù)集以指定碼片組類型2和碼片組類型6中的至少一個。進(jìn)一步地，另一優(yōu)勢/特征為具有其中如上所述修改畫面參數(shù)集的編碼器的裝置，其中當(dāng)在畫面參數(shù)集中指定碼片組類型2和碼片組類型6時，提供從視圖識別符信息向碼片組識別符信息的映射。并且，另一優(yōu)勢/特征為具有如上所述的編碼器的裝置，其中編碼器^f吏用高級語法元素來用信號通知獨(dú)立地編碼至少兩個視圖中的每一個視圖。另外，另一優(yōu)勢/特征為具有如上所述的編碼器的裝置，其中高級語法元素對應(yīng)于以下中的至少一個碼片首標(biāo)層、序列參數(shù)集層、畫面參數(shù)集層、視圖參數(shù)集層、網(wǎng)絡(luò)抽象層單元首標(biāo)層、以及對應(yīng)于補(bǔ)充增強(qiáng)信息消息的層。本原理的這些和其他特征和優(yōu)勢可以由相關(guān)領(lǐng)域普通技術(shù)人員基于這19里的教導(dǎo)來容易地確定。應(yīng)當(dāng)理解，可以以各種形式的硬件、軟件、固件、專用處理器或它們的組合來實(shí)施本原理的教導(dǎo)。最優(yōu)選地，按照硬件和軟件的組合來實(shí)施本原理的教導(dǎo)。此外，可以按照在程序存儲單元上被有形體現(xiàn)的應(yīng)用程序來實(shí)施該軟件。該應(yīng)用程序可以被上載至包括任何合適的架構(gòu)的機(jī)器，并且被所述機(jī)器執(zhí)行。優(yōu)選地，在具有諸如一個或更多的中央處理單元("CPU")、隨機(jī)存取存儲器("RAM")和輸入/輸入("I/O")接口的硬件的計(jì)算機(jī)平臺上實(shí)施該機(jī)器。該計(jì)算機(jī)平臺還可以包括操作系統(tǒng)和微指令代碼。在這里所描述的各種過程和功能可以是微指令代碼的一部分或應(yīng)用程序的一部分、或是它們的任何組合，其可以由CPU執(zhí)行。另外，諸如附加數(shù)據(jù)存儲單元和打印單元之類的各種其他外設(shè)單元可以與該計(jì)算機(jī)平臺連接。應(yīng)當(dāng)進(jìn)一步理解，因?yàn)閮?yōu)選地以軟件實(shí)施系統(tǒng)構(gòu)成組件中的一些和在附圖中描繪的方法，所以取決于對本原理編程的方式，系統(tǒng)組件或過程功能塊之間的實(shí)際連接可以是不同的。在這里教導(dǎo)的給定下，相關(guān)領(lǐng)域普通技術(shù)人員將能夠想到本原理的這些和相似的實(shí)施方案或配置。雖然在這里已經(jīng)參考附圖描述了闡釋性的實(shí)施例，但應(yīng)當(dāng)理解，本原理不限于這些精確的實(shí)施例，而相關(guān)領(lǐng)域普通技術(shù)人員可以實(shí)現(xiàn)各種改變和修改，而不偏離本原理的范圍或精神。意圖在于在所附權(quán)利要求中提出的本原理的范圍內(nèi)包括如所有這樣的改變和修改。權(quán)利要求1.一種裝置，其包括使用多個碼片組來編碼對應(yīng)于多視圖視頻內(nèi)容的至少兩個視圖的編碼器(100)。2.根據(jù)權(quán)利要求1的裝置，其中多個碼片組中的至少一些服從現(xiàn)有的視頻編碼標(biāo)準(zhǔn)或現(xiàn)有的視頻編碼推薦。3.根據(jù)權(quán)利要求1的裝置，其中多個碼片組中的至少一些服從國際標(biāo)準(zhǔn)化組織/國際電工委員會運(yùn)動圖像專家組-4第10部分高級視頻編碼標(biāo)準(zhǔn)/國際電信^:盟電信分部H.264推薦。4.根據(jù)權(quán)利要求l的裝置，其中所述編碼器(100)編碼作為多個碼片組中的相應(yīng)的單獨(dú)的一個碼片組的至少兩個一見圖中的每一個^見圖。5.根據(jù)權(quán)利要求4的裝置，其中所述編碼器(100)使用補(bǔ)充增強(qiáng)信息消息來編碼作為多個碼片組中的相應(yīng)的單獨(dú)的一個碼片組的至少兩個視圖中的每一個視圖。6.根據(jù)權(quán)利要求5的裝置，其中補(bǔ)充增強(qiáng)信息消息指示多個碼片組中的至少一些是運(yùn)動受約束的。7.根據(jù)權(quán)利要求1的裝置，其中所述編碼器(100)修改現(xiàn)有的視頻編碼標(biāo)準(zhǔn)或視頻編碼推薦的現(xiàn)有的補(bǔ)充增強(qiáng)信息消息以包括碼片組識別符信臺、8.根據(jù)權(quán)利要求1的裝置，其中所述編碼器(100)修改畫面參數(shù)集以用信號通知用于至少兩個視圖的視圖識別符信息和碼片組識別符信息。9.根據(jù)權(quán)利要求1的裝置，其中修改畫面參數(shù)集以指定碼片組類型2和碼片組類型6中的至少一個。10.根據(jù)權(quán)利要求9的裝置，其中當(dāng)在畫面參數(shù)集中指定碼片組類型2和碼片組類型6時，提供從視圖識別符信息向碼片組識別符信息的映射。11.根據(jù)權(quán)利要求1的裝置，其中所述編碼器(100)使用高級語法元素來用信號通知獨(dú)立地編碼至少兩個視圖中的每一個視圖。12.根據(jù)權(quán)利要求l的裝置，其中高級語法元素對應(yīng)于以下中的至少一個碼片首標(biāo)層、序列參數(shù)集層、畫面參數(shù)集層、視圖參數(shù)集層、網(wǎng)絡(luò)抽象層單元首標(biāo)層、以及對應(yīng)于補(bǔ)充增強(qiáng)信息消息的層。13.—種方法，其包括使用多個碼片組來編碼對應(yīng)于多視圖視頻內(nèi)容的至少兩個視圖(510、515、520)。14.根據(jù)權(quán)利要求13的方法，其中多個碼片組中的至少一些服從現(xiàn)有的視頻編碼標(biāo)準(zhǔn)或現(xiàn)有的視頻編碼推薦(540)。15.根據(jù)權(quán)利要求13的方法，其中多個碼片組中的至少一些服從國際標(biāo)準(zhǔn)化組織/國際電工委員會運(yùn)動圖像專家組-4第IO部分高級視頻編碼標(biāo)準(zhǔn)/國際電信聯(lián)盟電信分部R264推薦(540)。16.根據(jù)權(quán)利要求13的方法，其中所述編碼步驟編碼作為多個碼片組中的相應(yīng)的單獨(dú)的一個碼片組的至少兩個視圖中的每一個視圖(520)。17.根據(jù)權(quán)利要求16的方法，其中所述編碼步驟使用補(bǔ)充增強(qiáng)信息消息來編碼作為多個碼片組中的相應(yīng)的單獨(dú)的一個碼片組的至少兩個一見圖中的每一個視圖(530)。18.根據(jù)權(quán)利要求17的方法，其中補(bǔ)充增強(qiáng)信息消息指示多個碼片組中的至少一些是運(yùn)動受約束的(530)。19.根據(jù)權(quán)利要求13的方法，其中所述編碼步驟包括修改現(xiàn)有的視頻編碼標(biāo)準(zhǔn)或視頻編碼推薦的現(xiàn)有的補(bǔ)充增強(qiáng)信息消息以包括碼片組識別符信息(940)。20.根據(jù)權(quán)利要求13的方法，其中所述編碼步驟包括修改畫面參數(shù)集以用信號通知用于至少兩個視圖的視圖識別符信息和碼片組識別符信息(720、725、735、740)。21.根據(jù)權(quán)利要求13的方法，其中修改畫面參數(shù)集以指定碼片組類型2和碼片組類型6中的至少一個(725、730、735、740)。22.根據(jù)權(quán)利要求21的方法，其中當(dāng)在畫面參數(shù)集中指定碼片組類型6時，提供從視圖識別符信息向碼片組識別符信息的映射(740)。23.根據(jù)權(quán)利要求13的方法，其中所述編碼步驟包括使用高級語法元素來用信號通知獨(dú)立地編碼至少兩個視圖中的每一個視圖(530)。24.根據(jù)權(quán)利要求13的方法，其中高級語法元素對應(yīng)于以下中的至少一個碼片首標(biāo)層、序列參數(shù)集層、畫面參數(shù)集層、視圖參數(shù)集層、網(wǎng)絡(luò)抽象層單元首標(biāo)層、以及對應(yīng)于補(bǔ)充增強(qiáng)信息消息的層(530)。25.—種用于視頻編碼的視頻信號結(jié)構(gòu)，其包括使用多個碼片組編碼的對應(yīng)于多視圖視頻內(nèi)容的至少兩個視圖。全文摘要提供了在編碼和解碼多視圖視頻編碼(MVC)信息中使用碼片組的方法和裝置。描述了使用多個碼片組來編碼對應(yīng)于多視圖視頻內(nèi)容的至少兩個視圖(510、515、520)的裝置(100)和方法(500)。另外，描述了使用多個碼片組來解碼對應(yīng)于多視圖視頻內(nèi)容的至少兩個視圖(620)的裝置(200)和方法(600)。文檔編號H04N7/50GK101682785SQ200880016117公開日2010年3月24日申請日期2008年4月18日優(yōu)先權(quán)日2007年5月16日發(fā)明者吉爾·M·博伊斯,澎尹,珀文·B·潘迪特申請人:湯姆森特許公司