專利名稱：編碼系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
至少ー個實現(xiàn)方式涉及以可縮放方式對視頻數(shù)據(jù)進行編碼和解碼。
背景技術(shù)：
當數(shù)據(jù)所針對的終端具有不同的能力并且因此不對全部數(shù)據(jù)流進行解碼而僅對全部數(shù)據(jù)流的一部分進行解碼時，根據(jù)多個層對視頻數(shù)據(jù)進行編碼可以是有用的。當以可縮放方式根據(jù)多個層對視頻數(shù)據(jù)進行編碼時，接收終端可以根據(jù)終端的簡檔從接收到的比特流中提取一部分數(shù)據(jù)。完整的數(shù)據(jù)流還可以傳輸用于每ー個所支持的層的開銷信息，以便于在終端處對每ー層進行解碼。

發(fā)明內(nèi)容
根據(jù)ー個總的方面，訪問來自序列參數(shù)集(“SPS”)網(wǎng)絡(luò)抽象層(“NAL”)単元的信息。所述信息描述在對圖像序列的第一層編碼進行解碼中使用的參數(shù)。還訪問來自補充SPS NAL單元的信息，補充SPSNAL單元具有與SPS NAL單元不同的結(jié)構(gòu)。來自補充SPSNAL単元的信息描述在對圖像序列的第二層編碼進行解碼中使用的參數(shù)?；诘谝粚泳幋a、第二層編碼、所訪問的來自SPS NAL単元的信息、以及所訪問的來自補充SPS NAL単元的信息，來生成圖像序列的解碼。根據(jù)另ー個總的方面，使用了ー種語法結(jié)構(gòu)，所述語法結(jié)構(gòu)提供對圖像序列進行多層解碼。所述語法結(jié)構(gòu)包括用于SPS NAL単元的語法，SPS NAL単元包括描述在對圖像序列的第一層編碼進行解碼中使用的參數(shù)的信息。所述語法結(jié)構(gòu)還包括用于補充SPS NAL單元的語法，補充SPS NAL單元具有與SPS NAL單元不同的結(jié)構(gòu)。補充SPS NAL單元包括描述在對圖像序列的第二層編碼進行解碼中使用的參數(shù)的信息?；诘谝粚泳幋a、第二層編碼、來自SPS NAL單元的信息、以及來自補充SPS NAL單元的信息，可以生成圖像序列的解碼。根據(jù)另ー個總的方面，ー種信號被格式化為包括來自SPS NAL單元的信息。所述信息描述在對圖像序列的第一層編碼進行解碼中使用的參數(shù)。所述信號還被格式化為包括來自補充SPS NAL單元的信息，補充SPS NAL單元具有與SPS NAL單元不同的結(jié)構(gòu)。來自補充SPSNAL単元的信息描述在對圖像序列的第二層編碼進行解碼中使用的參數(shù)。根據(jù)另ー個總的方面，生成SPS NAL單元，所述SPS NAL單元包括描述在對圖像序列的第一層編碼進行解碼中使用的參數(shù)的信息。生成補充SPS NAL単元，補充SPS NAL單元具有與SPS NAL單元不同的結(jié)構(gòu)。補充SPS NAL單元包括描述在對圖像序列的第二層編碼進行解碼中使用的參數(shù)的信息。提供包括圖像序列的第一層編碼、圖像序列的第二層編碼、SPS NAL單元、以及補充SPS NAL單元在內(nèi)的數(shù)據(jù)集合。根據(jù)另ー個總的方面，使用了ー種語法結(jié)構(gòu)，所述語法結(jié)構(gòu)提供對圖像序列進行多層編碼。所述語法結(jié)構(gòu)包括用于SPS NAL単元的語法。SPS NAL単元包括描述在對圖像序列的第一層編碼進行解碼中使用的參數(shù)的信息。所述語法結(jié)構(gòu)包括用于補充SPS NAL單 元的語法。補充SPS NAL單元具有與SPS NAL單元不同的結(jié)構(gòu)。補充SPS NAL單元包括描述在對圖像序列的第二層編碼進行解碼中使用的參數(shù)的信息。提供包括圖像序列的第一層編碼、圖像序列的第二層編碼、SPSNAL単元、以及補充SPS NAL単元在內(nèi)的數(shù)據(jù)集合。根據(jù)另ー個總的方面，訪問第一規(guī)范參數(shù)集合中的依賴于第一層的信息。所訪問的依賴于第一層的信息在對圖像序列的第一層編碼進行解碼中使用。訪問第二規(guī)范參數(shù)集合中的依賴于第二層的信息。所述第二規(guī)范參數(shù)集合具有與第一規(guī)范參數(shù)集合不同的結(jié)構(gòu)。所訪問的依賴于第二層的信息在對圖像序列的第二層編碼進行解碼中使用。基于所訪問的依賴于第一層的信息或者所訪問的依賴于第二層的信息中的ー個或者更多，來對圖像序列進行解碼。根據(jù)另ー個總的方面，生成包括依賴于第一層的信息在內(nèi)的第一規(guī)范參數(shù)集合。所述依賴于第一層的信息在對圖像序列的第一層編碼進行解碼中使用。生成具有與第一規(guī)范參數(shù)集合不同結(jié)構(gòu)的第二規(guī)范參數(shù)集合。所述第二規(guī)范參數(shù)集合包括依賴于第二層的信息，所述依賴于第二層的信息在對圖像序列的第二層編碼進行解碼中使用。提供包括第一規(guī)范參數(shù)集合和第二規(guī)范參數(shù)集合在內(nèi)的數(shù)據(jù)集合。在下面的附圖和描述中闡述了ー個或者更多實現(xiàn)方式的細節(jié)。即使以ー個特定方式來描述，也應(yīng)當清楚，可以以各種方式來配置或者實施實現(xiàn)方式。例如，可以將實現(xiàn)方式作為方法執(zhí)行，或者實施為設(shè)備，例如配置為執(zhí)行操作集合的設(shè)備或者存儲用于執(zhí)行操作集合的指令的設(shè)備，或者在信號中實施。通過結(jié)合附圖和權(quán)利要求來考慮的以下詳細描述，其它方面和特征將變得顯而易見。


圖I示出了編碼器的實現(xiàn)方式的框圖。圖Ia示出了編碼器的另ー個實現(xiàn)方式的框圖。圖2示出了解碼器的實現(xiàn)方式的框圖。圖2a示出了解碼器的另ー個實現(xiàn)方式的框圖。圖3示出了單層序列參數(shù)集(“SPS”)網(wǎng)絡(luò)抽象層(“NAL”)単元的實現(xiàn)方式的結(jié)構(gòu)。圖4示出了部分數(shù)據(jù)流的示例的方框視圖，示意了 SPS NAL単元的使用。
圖5示出了補充SPS ( “SUP SPS”)NAL單元的實現(xiàn)方式的結(jié)構(gòu)。圖6示出了 SPS単元和多個SUP SPS単元之間的組織分級的實現(xiàn)方式。圖7示出了 SUP SPS NAL單元的另ー個實現(xiàn)方式的結(jié)構(gòu)。圖8示出了生成SUP SPS単元的可縮放視頻編碼器的實現(xiàn)方式的功能視圖。圖9示出了生成包含SUP SPS単元的數(shù)據(jù)流的實現(xiàn)方式的分級視圖。 圖10示出了由圖9的實施生成的數(shù)據(jù)流的示例的方框視圖。圖11示出了編碼器的實現(xiàn)方式的框圖。圖12示出了編碼器的另ー個實現(xiàn)方式的框圖。圖13示出了由圖11或者12的編碼器所使用的編碼過程的實現(xiàn)方式的流程圖。圖14示出了由圖13的過程生成的數(shù)據(jù)流的示例的方框視圖。圖15示出了解碼器的實現(xiàn)方式的框圖。圖16示出了解碼器的另ー個實現(xiàn)方式的框圖。圖17示出了由圖15或者16的解碼器所使用的解碼過程的實現(xiàn)方式的流程圖。
具體實施例方式今天存在多種可以根據(jù)不同層和/或簡檔來對視頻數(shù)據(jù)進行編碼的視頻編碼標準。其中，可以引用H. 264/MPEG-4AVC( “AVC標準”)，也稱作國際標準化組織/國際電子技術(shù)委員會(IS0/IEC)運動圖像專家組-4(MPEG-4)第10部分高級視頻編碼(AVC)標準/國際電信聯(lián)盟電信分部(ITU-T)H. 264建議。此外，存在對于AVC標準的擴展。第一個這種擴展是可縮放視頻編碼(“SVC”)擴展(附錄G)，稱作H. 264/MPEG-4AVC，可縮放視頻編碼擴展(“SVC擴展”)。第二個這種擴展是多視點視頻編碼(“MVC”)擴展(附錄H)，稱作H. 264/MPEG-4AVC, MVC 擴展(“MVC 擴展”)。本公開中描述的至少ー個實現(xiàn)方式可以與AVC標準以及SVC和MVC擴展一起使用。該實現(xiàn)方式提供具有與SPS NAL単元不同的NAL單元類型的補充(“SUP”)序列參數(shù)集(“SPS”)網(wǎng)絡(luò)抽象層(“NAL”)単元。SPS単元典型地包括(但不是必須包括)用于至少單個層的信息。此外，SUP SPS NAL単元包括用于至少一個附加層的依賴于層的信息。因此，通過訪問SPS和SUP SPS単元，解碼器具有對比特流進行解碼所需的可用特定(典型地為全部)依賴于層的信息。在AVC系統(tǒng)中使用該實現(xiàn)方式，不需要傳輸SUP SPS NAL單元，并且可以傳輸單層SPS NAL單元(如下所述)。在SVC(或者MVC)系統(tǒng)中使用該實現(xiàn)方式，除了 SPS NAL單元之外，可以傳輸用于所需附加層(或者視點)的SUP SPS NAL單元。在包括AVC兼容解碼器和SVC兼容(或者MVC兼容)解碼器的系統(tǒng)中使用該實現(xiàn)方式，AVC兼容解碼器可以通過檢測NAL單元類型來忽略SUP SPS NAL単元。在每ー種情況中，可以實現(xiàn)高效率和兼容性。上述實現(xiàn)方式還對施加下述要求的系統(tǒng)(標準或其它)提供益處要求特定層共享首部信息(例如，SPS或者在SPS中典型攜帯的特定信息)。例如，如果基礎(chǔ)層及其合成時間層需要共享SPS，則不能用共享的SPS來傳輸依賴于層的信息。然而，SUP SPS提供了ー種用于傳輸依賴于層的信息的機制。各種實現(xiàn)方式的SUP SPS還提供了高效的優(yōu)點SUP SPS不需要包括并且因此不需要重復SPS中的所有參數(shù)。SUP SPS將典型地專注于依賴于層的參數(shù)。然而，各種實現(xiàn)方式包括SUP SPS結(jié)構(gòu),該結(jié)構(gòu)包括不依賴于層的參數(shù),或者甚至重復全部SPS結(jié)構(gòu)。各種實現(xiàn)方式涉及SVC擴展。SVC擴展提出根據(jù)多個空間等級、時間等級以及質(zhì)量等級的視頻數(shù)據(jù)的傳輸。對于ー個空間等級，可以根據(jù)多個時間等級來進行編碼，對于每ー個時間等級，可以根據(jù)多個質(zhì)量等級來進行編碼。因此，當定義有m個空間等級、η個時間等級、以及O個質(zhì)量等級時，可以根據(jù)m*n*0個不同組合來對視頻數(shù)據(jù)進行編碼。將這些組合稱作層，或者互操作性點(“Ι0Ρ”)。根據(jù)解碼器(也稱作接收機或者客戶端)的能力，可以傳輸不同層，多至與最大客戶端能力相對應(yīng)的特定層。如本文所使用的，“依賴于層”的信息是指具體與単一層相關(guān)的信息。即，顧名思義，該信息依賴于特定層。這種信息不一定隨層與層而不同，但是典型地對于每ー層單獨提供這種信息。如本文所使用的，“高等級語法”是指在比特流中出現(xiàn)的、在分級中位于宏塊層之上的語法。例如，如本文所使用的，高等級語法可以指(但不限干)片首部等級、補充增強 信息(SEI)等級、畫面參數(shù)集(PPS)等級、序列參數(shù)集(SPS)等級、以及網(wǎng)絡(luò)抽象層(NAL)單元首部等級的語法。參見圖1，由參考數(shù)字100來總體指示示例SVC編碼器。SVC編碼器100還可以用于AVC編碼，即用于單層(例如基礎(chǔ)層)。此外，如本領(lǐng)域普通技術(shù)人員將理解的，SVC編碼器100可以用于MVC編碼。例如，SVC編碼器100的各種組件，或者這些組件的變型，可以在對多視點進行編碼中使用。時間分解模塊142的第一輸出以信號通信方式與巾貞內(nèi)塊的巾貞內(nèi)預測模塊146的第一輸入連接。時間分解模塊142的第二輸出以信號通信方式與運動編碼模塊144的第一輸入連接。幀內(nèi)塊的幀內(nèi)預測模塊146的輸出以信號通信方式與變換/熵編碼器(信噪比(SNR)可縮放)149的輸入連接。變換/熵編碼器149的第一輸出以信號通信方式與復用器170的第一輸入連接。時間分解模塊132的第一輸出以信號通信方式與巾貞內(nèi)塊的巾貞內(nèi)預測模塊136的第一輸入連接。時間分解模塊132的第二輸出以信號通信方式與運動編碼模塊134的第一輸入連接。幀內(nèi)塊的幀內(nèi)預測模塊136的輸出以信號通信方式與變換/熵編碼器(信噪比(SNR)可縮放)139的輸入連接。變換/熵編碼器139的第一輸出以信號通信方式與復用器170的第一輸入連接。變換/熵編碼器149的第二輸出以信號通信方式與2D空間插值模塊138的輸入連接。2D空間插值模塊138的輸出以信號通信方式與幀內(nèi)塊的幀內(nèi)預測模塊136的第二輸入連接。運動編碼模塊144的第二輸出以信號通信方式與運動編碼模塊134的輸入連接。時間分解模塊122的第一輸出以信號通信方式與巾貞內(nèi)預測器126的第一輸入連接。時間分解模塊122的第二輸出以信號通信方式與運動編碼模塊124的第一輸入連接。幀內(nèi)預測器126的輸出以信號通信方式與變換/熵編碼器(信噪比(SNR)可縮放)129的輸入連接。變換/熵編碼器129的第一輸出以信號通信方式與復用器170的第一輸入連接。變換/熵編碼器139的第二輸出以信號通信方式與2D空間插值模塊128的輸入連接。2D空間插值模塊128的輸出以信號通信方式與幀內(nèi)預測器126的第二輸入連接。運動編碼模塊134的第二輸出以信號通信方式與運動編碼模塊124的輸入連接。
運動編碼模塊124的第一輸出、運動編碼模塊134的第一輸出、以及運動編碼模塊144的第一輸出均以信號通信方式與復用器170的第二輸入連接。2D空間抽取模塊104的第一輸出以信號通信方式與時間分解模塊132的輸入連接。2D空間抽取模塊104的第二輸出以信號通信方式與時間分解模塊142的輸入連接。時間分解模塊122的輸入以及2D空間抽取模塊104的輸入可用作編碼器100的輸入，用于接收輸入視頻102。復用器170的輸出可用作編碼器100的輸出，用于提供比特流180。在編碼器100的核心編碼器部分187中包括時間分解模塊122、時間分解模塊132、時間分解模塊142、運動編碼模塊124、運動編碼模塊134、運動編碼模塊144、幀內(nèi)預測器126、幀內(nèi)預測器136、幀內(nèi)預測器146、變換/熵編碼器129、變換/熵編碼器139、變換/熵編碼器149、2D空間插值模塊128、以及2D空間插值模塊138。 圖I包括三個核心編碼器187。在圖中所示的實現(xiàn)方式中，最底部的核心編碼器187可以對基礎(chǔ)層進行編碼，中間和上部的核心編碼器187對較高層進行編碼。轉(zhuǎn)到圖2，由參考數(shù)字200總體指示示例SVC解碼器。SVC解碼器200還可以用于AVC解碼，即用于單ー視點。此外，本領(lǐng)域普通技術(shù)人員將理解，SVC解碼器200可以用于MVC解碼。例如，SVC解碼器200的各種組件，或者這些組件的不同變型可以在對多個視點的解碼中使用。注意，可以將編碼器100和解碼器200，以及本公開中討論的其它編碼器和解碼器，配置為執(zhí)行貫穿本公開示出的各種方法。除了執(zhí)行編碼操作之外，為了對解碼器的預期行動進行鏡像，本公開中描述的編碼器可以執(zhí)行重構(gòu)過程期間的各種解碼操作。例如，為了產(chǎn)生編碼視頻數(shù)據(jù)的重構(gòu)以預測附加視頻數(shù)據(jù)，編碼器可以對SUP SPS單元進行解碼以對編碼的視頻數(shù)據(jù)進行解碼。因此，編碼器可以執(zhí)行由解碼器執(zhí)行的實質(zhì)上所有操作。解復用器202的輸入可用作對可縮放視頻解碼器200的輸入，用于接收可縮放比特流。解復用器202的第一輸出以信號通信方式與空間反變換SNR可縮放熵解碼器204的輸入連接?？臻g反變換SNR可縮放熵解碼器204的第一輸出以信號通信方式與預測模塊206的第一輸入連接。預測模塊206的輸出以信號通信方式與組合器230的第一輸入連接。
空間反變換SNR可縮放熵解碼器204的第二輸出以信號通信方式與運動向量(MV)解碼器210的第一輸入連接。MV解碼器210的輸出以信號通信方式與運動補償器232的輸入連接。運動補償器232的輸出以信號通信方式與組合器230的第二輸入連接。解復用器202的第二輸出以信號通信方式與空間反變換SNR可縮放熵解碼器212的輸入連接?？臻g反變換SNR可縮放熵解碼器212的第一輸出以信號通信方式與預測模塊214的第一輸入連接。預測模塊214的第一輸出以信號通信方式與插值模塊216的輸入連接。插值模塊216的輸出以信號通信方式與預測模塊206的第二輸入連接。預測模塊214的第二輸出以信號通信方式與組合器240的第一輸入連接。空間反變換SNR可縮放熵解碼器212的第二輸出以信號通信方式與MV解碼器220的第一輸入連接。MV解碼器220的第一輸出以信號通信方式與MV解碼器210的第二輸入連接。MV解碼器220的第二輸出以信號通信方式與運動補償器242的輸入連接。運動補償器242的輸出以信號通信方式與組合器240的第二輸入連接。解復用器202的第三輸出以信號通信方式與空間反變換SNR可縮放熵解碼器222的輸入連接?？臻g反變換SNR可縮放熵解碼器222的第一輸出以信號通信方式與預測模塊224的輸入連接。預測模塊224的第一輸出以信號通信方式與插值模塊226的輸入連接。插值模塊226的輸出以信號通信方式與預測模塊214的第二輸入連接。預測模塊224的第二輸出以信號通信方式與組合器250的第一輸入連接?？臻g反變換SNR可縮放熵解碼器222的第二輸出以信號通信方式與MV解碼器230的輸入連接。MV解碼器230的第一輸出以信號通信方式與MV解碼器220的第二輸入連接。MV解碼器230的第二輸出以信號通信方式與運動補償器252的輸入連接。運動補償器252的輸出以信號通信方式與組合器250的第二輸入連接。組合器250的輸出可用作解碼器200的輸 出，用于輸出層O信號。組合器240的輸出可用作解碼器200的輸出，用于輸出層I信號。組合器230的輸出可用作解碼器200的輸出，用于輸出層2信號。參見圖la，由參考數(shù)字2100來總體指示示例AVC編碼器。AVC編碼器2100可以用于例如對單一層(例如，基礎(chǔ)層)進行編碼。視頻編碼器2100包括幀排序緩沖器2110，緩沖器2110具有與組合器2185的非反相輸入進行信號通信的輸出。組合器2185的輸出以信號通信方式與變換器和量化器2125的第一輸入連接。變換器和量化器2125的輸出以信號通信方式與熵編碼器2145的第一輸入以及反變換器和反量化器2150的第一輸入連接。熵編碼器2145的輸出以信號通信方式與組合器2190的第一非反相輸入連接。組合器2190的輸出以信號通信方式與輸出緩沖器2135的第一輸入連接。編碼器控制器2105的第一輸出以信號通信方式與巾貞排序緩沖器2110的第二輸入、反變換器和反量化器2150的第二輸入、畫面類型判定模塊2115的輸入、宏塊類型(MB類型)判定模塊2120的輸入、幀內(nèi)預測模塊2160的第二輸入、解塊濾波器2165的第二輸入、運動補償器2170的第一輸入、運動估計器2175的第一輸入、以及參考畫面緩沖器2180的第二輸入相連接。編碼器控制器2105的第二輸出以信號通信方式與補充增強信息(“SEI”)插入器2130的第一輸入、變換器和量化器2125的第二輸入、熵編碼器2145的第二輸入、輸出緩沖器2135的第二輸入、序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器2140的輸入相連接。圖像類型判定模塊2115的第一輸出以信號通信方式與幀排序緩沖器2110的第三輸入連接。圖像類型判定模塊2115的第二輸出以信號通信方式與宏塊類型判定模塊2120的第二輸入連接。序列參數(shù)集(“SPS”)和畫面參數(shù)集(“PPS”)插入器2140的輸出以信號通信方式與組合器2190的第三非反相輸入連接。SEI插入器2130的輸出以信號通信方式與組合器2190的第二非反相輸入連接。反量化器和反變換器2150的輸出以信號通信方式與組合器2127的第一非反相輸入連接。組合器2127的輸出以信號通信方式與幀內(nèi)預測模塊2160的第一輸入以及解塊濾波器2165的第一輸入連接。解塊濾波器2165的輸出以信號通信方式與參考畫面緩沖器2180的第一輸入連接。參考圖像緩沖器2180的輸出以信號通信方式與運動估計器2175的第二輸入以及運動補償器2170的第一輸入連接。運動估計器2175的第一輸出以信號通信方式與運動補償器2170的第二輸入連接。運動估計器2175的第二輸出以信號通信方式與熵編碼器2145的第三輸入連接。運動補償器2170的輸出以信號通信方式與開關(guān)2197的第一輸入連接。幀內(nèi)預測模塊2160的輸出以信號通信方式與開關(guān)2197的第二輸入連接。宏塊類型判定模塊2120的輸出以信號通信方式與開關(guān)2197的第三輸入連接，以向開關(guān)2197提供控制輸入。開關(guān)2197的輸出以信號通信方式與組合器2127的第二非反相輸入以及組合器2185的反相輸入連接。幀排序緩沖器2110以及編碼器控制器2105的輸入可用作編碼器2100的輸入，用于接收輸入畫面2101。此外，SEI插入器2130的輸入可用作編碼器2100的輸入，用于接收元數(shù)據(jù)。輸出緩沖器2135的輸出可用作編碼器2100的輸出，用于輸出比特流。參見圖2a，由參考數(shù)字2200來總體指示能夠根據(jù)MPEG-4 AVC標準來執(zhí)行視頻解碼的視頻解碼器。視頻解碼器2200包括輸入緩沖器2210，緩沖器2210具有與熵解碼器2245的第一輸入以信號通信方式連接的輸出。熵解碼器2245的第一輸出以信號通信方式與反變換器和反量化器2250的第一輸入連接。反變換器和反量化器2250的輸出以信號通信方式與組合器2225的第二非反相輸入連接。組合器2225的輸出以信號通信方式與解塊濾波器2265的第二輸入和幀內(nèi)預測模塊2260的第一輸入連接。解塊濾波器2265的第二輸出以信號通信方式與參考畫面緩沖器2280的第一輸入連接。參考畫面緩沖器2280的輸出以信號通信方式與運動補償器2270的第二輸入連接。熵解碼器2245的第二輸出以信號通信方式與運動補償器2270的第三輸入以及解塊濾波器2265的第一輸入連接。熵解碼器2245的第三輸出以信號通信方式與解碼器控制器2205的輸入連接。解碼器控制器2205的第一輸出以信號通信方式與熵解碼器2245的第二輸入連接。解碼器控制器2205的第二輸出以信號通信方式與反變換器和反量化器2250的第二輸入連接。解碼器控制器2205的第三輸出以信號通信方式與解塊濾波器2265的第三輸入連接。解碼器控制器2205的第四輸出以信號通信方式與幀內(nèi)預測模塊2260的第二輸入、運動補償器2270的第一輸入以及參考畫面緩沖器2280的第二輸入相連接。運動補償器2270的輸出以信號通信方式與開關(guān)2297的第一輸入連接。幀內(nèi)預測模塊2260的輸出以信號通信方式與開關(guān)2297的第二輸入連接。開關(guān)2297的輸出以信號通信方式與組合器2225的第一非反相輸入連接。輸入緩沖器2210的輸入可用作解碼器2200的輸入，用于接收輸入比特流。解塊濾波器2265的第一輸出可用作解碼器2200的輸出，用于輸出輸出畫面。參見圖3，示出了單層SPS 300的結(jié)構(gòu)。SPS是一般而言包含語法元素的語法結(jié)構(gòu)，所述語法元素應(yīng)用于零個或者更多整個編碼的視頻序列。在SVC擴展中，SPS中傳遞的一些語法元素的值是依賴于層的。這些依賴于層的語法元素包括但不限于定時信息、HRD(代表“假定參考解碼器”)參數(shù)、以及比特流限制信息。HRD參數(shù)可以包括例如緩沖器大小、最大比特率以及初始延遲的指示符。HRD參數(shù)可以例如允許接收系統(tǒng)驗證接收比特流的完整性和/或確定接收系統(tǒng)(例如，解碼器)是否能夠?qū)Ρ忍亓鬟M行解碼。因此，系統(tǒng)可以針 對每一層提供前述語法元素的傳輸。單層SPS 300包括提供SPS的標識符的SPS-ID 310。單層SPS 300還包括用于單一層的VUI (代表視頻可用性信息)參數(shù)320。WI參數(shù)包括用于單一層(例如，基礎(chǔ)層)的HRD參數(shù)330。單層SPS 300還可以包括附加參數(shù)340，盡管實現(xiàn)方式不需要包括任何附加參數(shù)340。參見圖4，數(shù)據(jù)流400的方框視圖示出了單層SPS 300的典型使用。在AVC標準中，例如，典型的數(shù)據(jù)流可以包括SPS單元、提供用于特定畫面的參數(shù)的多個PPS (畫面參數(shù)序列)單元，以及用于編碼畫面數(shù)據(jù)的多個單元，以及其它成分。在圖4中示出了這種總體框架，其包括SPS 300、PPS-1410、包括編碼畫面I數(shù)據(jù)的一個或者更多單元420、PPS-2430、以及包括編碼畫面2數(shù)據(jù)的一個或者更多單元440。PPS-1410包括用于編碼畫面I數(shù)據(jù)420的參數(shù)，PPS-2430包括用于編碼畫面2數(shù)據(jù)440的參數(shù)。編碼畫面I數(shù)據(jù)420以及編碼畫面2數(shù)據(jù)440均與特定SPS (在圖4的實現(xiàn)方式中為SPS 300)相關(guān)聯(lián)。如現(xiàn)在解釋的，這是通過使用指針來實現(xiàn)的。編碼圖像I數(shù)據(jù)420包括PPS-ID (圖中未示出)，該PPS-ID標識PPS-1410，如箭頭450所示?？梢栽诶缙撞恐写鎯υ揚PS-ID。編碼圖像2數(shù)據(jù)440包括PPS-ID (圖中未示出)，該PPS-ID標識PPS-2430，如箭頭460所示。PPS-1410和PPS-2430均包括SPS-ID (圖中未示出)，該SPS-ID標識SPS300，如箭頭470和480分別所示。參見圖5，示出了 SUP SPS 500 的結(jié)構(gòu)。SUP SPS 500 包括 SPS ID510、包括HRD 參數(shù)530 (該參數(shù)用于稱為“(D2，T2，Q2)”的單一附加層)在內(nèi)的VUI 520、以及可選的附加參數(shù)540?！癉2，T2，Q2”是指具有空間(D)等級2、時間(T)等級2、以及質(zhì)量(Q)等級2的
第二層。注意，可以使用各種編號方案來指代層。在一個編號方案中，基礎(chǔ)層具有值為0，x，0的D，T，Q，意味著空間等級為零、任何時間等級、以及質(zhì)量等級為零。在該編號方案中，增強層具有D，T，Q，其中D或者Q大于零。SUP SPS 500的使用允許例如系統(tǒng)使用僅包括用于單一層的參數(shù)在內(nèi)的SPS結(jié)構(gòu)，或者允許系統(tǒng)使用不包括任何依賴于層的信息在內(nèi)的SPS結(jié)構(gòu)。這樣的系統(tǒng)可以為基礎(chǔ)層之上的每一個附加層創(chuàng)建單獨的SUP SPS。附加層可以標識其通過使用SPS ID 510來關(guān)聯(lián)的SPS。顯然，多個層可以通過在其相應(yīng)的SUP SPS單元中使用共同的SPS ID來共享單一 SPS。參見圖6，示出了 SPS單元605和多個SUP SPS單元610和620之間的組織分級600。將SUP SPS單元610和620示為單層SUP SPS單元，但是其它實現(xiàn)方式可以在使用單層SUP SPS單元之外或者作為替代，使用一個或者更多的多層SUP SPS單元。在典型場景中，分級600示出了多個SUP SPS單元可以與單一 SPS單元相關(guān)聯(lián)。當然，實現(xiàn)方式可以包括多個SPS單元，并且每一個SPS單元可以具有相關(guān)聯(lián)的SUP SPS單元。參見圖7，示出了另一個SUP SPS 700的結(jié)構(gòu)。SUP SPS 700包括多個層的參數(shù)，而SUP SPS 500包括單一層的參數(shù)。SUP SPS 700包括SPS ID 710、VUI 720、以及可選附加參數(shù)740。VUI 720包括用于第一附加層(D2，T2，Q2)的HRD參數(shù)730以及用于多至層(Dn，Tn, Qn)的其它附加層的HRD參數(shù)。再次參照圖6，可以修改分級600以使用多層SUP SPS0例如，如果SUP SPS 610和620都包括相同的SPS ID，則可以用SUP SPS 700來替代SUP SPS 610和620的組合。此外，SUP SPS 700可以與例如包括用于單一層的參數(shù)的SPS、或者包括用于多個層的參數(shù)的SPS、或者不包括用于任何層的依賴于層的參數(shù)的SPS—起使用。SUP SPS 700允許系統(tǒng)在較少開銷的情況下提供用于多個層的參數(shù)。其它實現(xiàn)方式可以基于例如包括用于所有可能層的所有所需參數(shù)的SPS。S卩，不管是否傳輸所有層，這種實現(xiàn)方式的SPS包括可用于傳輸?shù)乃邢鄳?yīng)的空間(DD、時間(Ti)以及質(zhì)量(Qi)等級。然而，即使對于這樣的系統(tǒng)，可以使用SUP SPS以提供在不再次傳輸整個SPS的情況下改變用于一個或者更多層的參數(shù)的能力。參見表1，為單層SUP SPS的特定實現(xiàn)方式提供了語法。該語法包括用于標識相關(guān)聯(lián)SPS的sequence—parameter—set—id、以及用于標識可縮放層的標識符temporal—level、dependency—id 以及 quality—level。通過 svc—vui—parameters ()的使用來包括 VUI 參數(shù)(參見表 2)，svc—vui—parameters ()通過 hrd—parameters ()的使用來包括 HRD 參數(shù)。下面的語法允許每一層指定其自己的依賴于層的參數(shù)，例如HRD參數(shù)。
權(quán)利要求
1.一種用于多視點視頻編碼MVC的編碼圖像的方法，所述方法包括 生成用于序列參數(shù)集“SPS”網(wǎng)絡(luò)抽象層“NAL”単元的信息，所述信息描述在對圖像序列的第一 MVC層編碼進行解碼中使用的參數(shù)；以及 生成用于補充SPS NAL單元的補充信息，補充SPS NAL單元具有與SPS NAL單元不同的語法結(jié)構(gòu)，并且所述用于補充SPS NAL単元的補充信息描述在對圖像序列的第二 MVC層編碼進行解碼中使用的參數(shù)， 基于所生成的用于SPS NAL単元的信息以及所生成的用于補充SPS NAL単元的補充信息來進行編碼，以生成第一 MVC層編碼和第二 MVC層編碼。
全文摘要
在實現(xiàn)方式中，提供了補充序列參數(shù)集“SPS”結(jié)構(gòu)，所述結(jié)構(gòu)具有其自己的網(wǎng)絡(luò)抽象層“NAL”單元類型，并且允許在SVC環(huán)境中傳輸用于非基礎(chǔ)層的依賴于層的參數(shù)。所述補充SPS結(jié)構(gòu)還可以用于MVC環(huán)境中的視點信息。在一個總的方面，提供了一種結(jié)構(gòu)，所述結(jié)構(gòu)包括(1)來自SPS NAL單元的信息(1410)，所述信息描述了在對圖像序列的第一層編碼進行解碼中使用的參數(shù)，以及(2)來自具有與SPS NAL單元不同結(jié)構(gòu)的補充SPS NAL單元的信息(1420)，并且來自補充SPS NAL單元的信息描述了在對圖像序列的第二層編碼進行解碼中使用的參數(shù)。還提供了在編碼器和解碼器側(cè)的相關(guān)聯(lián)的方法和設(shè)備以及所述信號。
文檔編號H04N7/24GK102685556SQ20121014687
公開日2012年9月19日 申請日期2008年4月7日 優(yōu)先權(quán)日2007年4月18日
發(fā)明者尹鵬, 朱立華, 楊繼珩, 羅建聰 申請人:湯姆森許可貿(mào)易公司