專利名稱：可縮放視頻的層間殘差預(yù)測的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及視頻編碼和解碼，更具體地，涉及可縮放視頻的層間殘差預(yù)測 的方法和設(shè)備。
背景技術(shù)：
“比特深度”，也可交換地稱為“顏色深度”和/或“像素深度”，是指用于保持像素 的比特的數(shù)目。比特深度確定可以一次顯示的最大顏色數(shù)目。近年來，在許多應(yīng)用領(lǐng)域中 更期望具有比特深度大于8的數(shù)字圖像和/或數(shù)字視頻，這些應(yīng)用領(lǐng)域包括但不限于，醫(yī)療 圖像處理、制作和后期制作的數(shù)字電影工作流、家庭影院相關(guān)應(yīng)用、等等。有若干處理例如8比特視頻和10比特視頻共存的方式。在第一現(xiàn)有技術(shù)解決方 案中，僅傳輸10比特編碼的比特流，并且通過向10比特呈現(xiàn)應(yīng)用色調(diào)映射方法，來獲得針 對標(biāo)準(zhǔn)8比特顯示設(shè)備的8比特呈現(xiàn)。色調(diào)映射是將較高比特深度轉(zhuǎn)換成較低比特深度的 公知技術(shù)，通常利用更有限的動(dòng)態(tài)范圍來近似媒體中高動(dòng)態(tài)范圍圖像的表現(xiàn)。在第二現(xiàn)有技術(shù)解決方案中，傳輸包括8比特編碼呈現(xiàn)和10比特編碼呈現(xiàn)的同時(shí) 聯(lián)播比特流。在選擇對那種比特深度進(jìn)行解碼方面，這對于解碼器而言是優(yōu)選的。例如支 持10比特的解碼器可以解碼和輸出10比特視頻，而僅支持8比特視頻的正常解碼器能夠 僅輸出8比特視頻。第一解決方案固有地不符合國際標(biāo)準(zhǔn)化組織/國際電工委員會(huì)(IS0/IEC)運(yùn)動(dòng)圖 像專家組-4(MPEG-4)的第10部分高級視頻編碼(AVC)標(biāo)準(zhǔn)/國際電信聯(lián)盟電信部(ITU-T) H. 264推薦標(biāo)準(zhǔn)(下文稱作“MPEG-4AVC標(biāo)準(zhǔn)”)的8比特簡檔。第二解決方案符合所有當(dāng) 前標(biāo)準(zhǔn)，但需要更多開銷。然而，比特縮減和標(biāo)準(zhǔn)向后兼容性之間的良好折衷可能是可縮放 解決方案?？煽s放視頻編碼(SVC)也被稱為MPEG-4AVC標(biāo)準(zhǔn)的可縮放擴(kuò)展，考慮了對比特 深度可縮放性的支持。比特深度可縮放編碼相比于后處理或聯(lián)播具有至少三個(gè)優(yōu)點(diǎn)。第一優(yōu)點(diǎn)在于，比 特深度可縮放編碼實(shí)現(xiàn)了與MPEG-4AVC標(biāo)準(zhǔn)的高簡檔向后兼容方式的10比特視頻。第二 優(yōu)點(diǎn)在于，比特深度可縮放編碼實(shí)現(xiàn)了對不同網(wǎng)絡(luò)帶寬或設(shè)備能力的適應(yīng)。比特深度可縮 放編碼的第三優(yōu)點(diǎn)在于，提供低復(fù)雜性、高效率和高靈活性。在MPEG-4AVC標(biāo)準(zhǔn)的當(dāng)前可縮放視頻編碼擴(kuò)展中，支持單循環(huán)解碼，以降低解碼 復(fù)雜性。只有當(dāng)前空間或粗增益可縮放(CGS)層需要幀間編碼宏塊的完全解碼(包括運(yùn)動(dòng)補(bǔ)償預(yù)測和去塊)。這可以通過將層間幀內(nèi)紋理預(yù)測約束到利用幀內(nèi)宏塊編碼的較低層圖像的那些部分來實(shí)現(xiàn)。為了針對比特深度可縮放性來擴(kuò)展層間幀內(nèi)紋理預(yù)測，使用色調(diào)逆 映射?？煽s放視頻編碼還支持層間殘差預(yù)測。由于一般而言，在像素(空間)域中使用色 調(diào)映射，所以很難在殘差域中找到相應(yīng)的色調(diào)逆映射。在第三和第四現(xiàn)有技術(shù)方法中，比特 位移用于層間殘差預(yù)測。在被稱為平滑參考預(yù)測(SRP)的第五現(xiàn)有技術(shù)方法(是無需比特深度可縮放性 而增加單循環(huán)解碼的層間編碼效率的技術(shù))中，當(dāng)設(shè)置了語法元素residualpredictioru flag和base_mode_flag兩者時(shí)，發(fā)送一個(gè)比特的語法元素smoothed_reference_flag。當(dāng) Sm00thed_reference_flag等于1時(shí)，在解碼器處采用以下步驟來獲得重構(gòu)的視頻塊1.使用增強(qiáng)層參考幀和來自基本層的上采樣運(yùn)動(dòng)矢量，來獲得預(yù)測塊P;2.對相應(yīng)基本層殘差塊rb進(jìn)行上采樣，并將U(rb)與P相加以形成P+U(rb)；3.首先沿著水平方向然后沿著垂直方向應(yīng)用具有抽頭[1，2，1]的平滑濾波器，以 獲得S(P+U(rh))；以及4.將增加層殘差塊與(3)相加，以獲得重構(gòu)塊R = S(P+U(rb))+re0轉(zhuǎn)向圖1，使用平滑參考預(yù)測的解碼器的一部分總體上由參考數(shù)字100指示。解碼器部分100包括具有與組合器132的第一非反相輸入進(jìn)行信號通信的輸出的 運(yùn)動(dòng)補(bǔ)償器112。組合器132的輸出以信號通信的方式與開關(guān)142的輸入相連接。開關(guān)142 的第一輸出以信號通信的方式與組合器162的第一非反相輸入相連接。開關(guān)142的第二輸 出以信號通信的方式與濾波器152的輸入相連接。濾波器152的輸出以信號通信的方式與 組合器162的第一非反相輸入相連接。參考幀緩沖器122的輸出以信號通信的方式與運(yùn)動(dòng)補(bǔ)償器112的第一輸入相連接。運(yùn)動(dòng)補(bǔ)償器112的第二輸入可用作至解碼器部分100的輸入，以接收增強(qiáng)層運(yùn)動(dòng) 矢量。運(yùn)動(dòng)補(bǔ)償器112的第三輸入可用作至解碼部分100的輸入，以接收上采樣的基本層運(yùn) 動(dòng)矢量。組合器132的第二非反相輸入可用作解碼器部分100的輸入，以接收上采樣的基本 層殘差。開關(guān)142的控制輸入可用作解碼器部分100的輸入，以接收smoothecLreference— flag語法元素。組合器162的第二非反相輸入可用作解碼器部分100的輸入，以接收增加 層殘差。組合器162的輸出可用作解碼器部分100的輸出，以輸出重構(gòu)的塊R。然而，不利地，先前現(xiàn)有技術(shù)不能直接與比特深度可縮放性一同使用。

發(fā)明內(nèi)容
本發(fā)明原理解決了現(xiàn)有技術(shù)的這些和其他缺陷和缺點(diǎn)，本發(fā)明原理涉及可縮放視 頻的層間殘差預(yù)測的方法和設(shè)備。根據(jù)本發(fā)明的一個(gè)方面，提供了一種設(shè)備。該設(shè)備包括通過向圖像的塊的層間殘 差預(yù)測處理應(yīng)用色調(diào)逆映射來對圖像的塊進(jìn)行編碼的編碼器。色調(diào)逆映射是在像素域中執(zhí) 行的，以支持比特深度可縮放性。根據(jù)本發(fā)明的另一方面，提供了一種方法，該方法包括通過向圖像的塊的層間殘 差預(yù)測處理應(yīng)用色調(diào)逆映射，來對圖像的塊進(jìn)行編碼。色調(diào)逆映射是在像素域中執(zhí)行的，以 支持比特深度可縮放性。
根據(jù)本發(fā)明的又一方面，提供了一種設(shè)備。該設(shè)備包括用于通過向圖像的塊的層 間殘差預(yù)測處理應(yīng)用色調(diào)逆映射來對圖像的塊進(jìn)行解碼的解碼器。色調(diào)逆映射是在像素域 中執(zhí)行的，以支持比特深度可縮放性。根據(jù)本發(fā)明的又一方面，提供了一種方法，該方法包括通過向圖像的塊的層間殘 差預(yù)測處理應(yīng)用色調(diào)逆映射，來對圖像的塊進(jìn)行解碼。色調(diào)逆映射是在像素域中執(zhí)行的，以 支持比特深度可縮放性。根據(jù)結(jié)合附圖閱讀的示例性實(shí)施例的以下詳細(xì)描述，本發(fā)明的這些和其他方面、 特征以及優(yōu)點(diǎn)將變得顯而易見。


根據(jù)以下示例附圖可以更好地理解本發(fā)明原理，在附圖中圖1是根據(jù)現(xiàn)有技術(shù)的使用平滑參考預(yù)測的解碼器的一部分的框圖；圖2是根據(jù)本發(fā)明實(shí)施例的可以應(yīng)用本發(fā)明原理的示例性視頻編碼器的框圖；圖3是根據(jù)本發(fā)明實(shí)施例的可以應(yīng)用本發(fā)明原理的示例性解碼器的框圖；圖4是根據(jù)本發(fā)明實(shí)施例的使用針對比特深度可縮放性的層間殘差預(yù)測進(jìn)行編 碼的示例方法的流程圖；以及圖5是根據(jù)本發(fā)明實(shí)施例的使用針對比特深度可縮放性的層間殘差預(yù)測進(jìn)行解 碼的示例方法的流程圖。
具體實(shí)施例方式本發(fā)明原理涉及可縮放視頻的層間殘差預(yù)測的方法和設(shè)備。本說明書示意了本發(fā)明原理。因此將理解的是，盡管這里沒有明確描述或示出，本 領(lǐng)域的技術(shù)人員將能夠設(shè)想體現(xiàn)本發(fā)明原理并包括在本發(fā)明精神和范圍內(nèi)的各種布置。這里所引述的所有示例和條件性語言均為了教導(dǎo)的目的，以幫助讀者理解本發(fā)明 原理以及發(fā)明人對現(xiàn)有技術(shù)做出貢獻(xiàn)的構(gòu)思，應(yīng)看作不會(huì)被限制為這里具體引述的示例和 條件。此外，這里對本發(fā)明的原理、方面、實(shí)施例及其特定示例做出引述的所有聲明意在 包括本發(fā)明的結(jié)構(gòu)和功能上的等同物。另外，該等同物將包括當(dāng)前已知的等同物以及將來 開發(fā)出的等同物，即所開發(fā)出來的執(zhí)行相同功能的任何組件，而與結(jié)構(gòu)無關(guān)。因此，本領(lǐng)域的技術(shù)人員可以理解，例如這里所表示的框圖展示出體現(xiàn)本發(fā)明的 示意性電路的概念圖。類似地，將理解，任何流程、流程圖、狀態(tài)轉(zhuǎn)移圖、偽代碼等表現(xiàn)出實(shí) 質(zhì)上可以在計(jì)算機(jī)可讀介質(zhì)上表現(xiàn)的、并且由計(jì)算機(jī)或處理器執(zhí)行的各個(gè)過程，無論是否 明確示出該計(jì)算機(jī)或處理器?？梢酝ㄟ^使用專用硬件和能夠執(zhí)行適合的軟件的關(guān)聯(lián)軟件的硬件而實(shí)現(xiàn)圖中所 示各個(gè)組件的功能。當(dāng)由處理器來提供時(shí)，這些功能可以由單個(gè)的專用處理器、單個(gè)的共享 處理器、或多個(gè)單獨(dú)的處理器來提供，其中一些可以是共享的。此外，術(shù)語“處理器”或“控 制器”的顯式使用不應(yīng)被解釋為排他性地指代能夠執(zhí)行軟件的硬件，而且可以隱式地包括 (不限為)數(shù)字信號處理器(“DSP”)硬件、用于存儲(chǔ)軟件的只讀存儲(chǔ)器(“ROM”)、隨機(jī)存 取存儲(chǔ)器(“RAM”)以及非易失性存儲(chǔ)器。
還可以包括常規(guī)和/或定制的其它硬件。類似地，圖中所示的任何開關(guān)僅是概念 上的。其功能可以通過程序邏輯的操作、專用邏輯、程序控制和專用邏輯的交互、或甚至是 手動(dòng)地實(shí)現(xiàn)，實(shí)施者可以選擇的具體技術(shù)可以從上下文中得到明確的理解。在權(quán)利要求書中，表示為用于執(zhí)行指定功能的裝置的任何組件意在包括執(zhí)行該功 能的任何方式，例如包括a)執(zhí)行該功能的電路元件的組合，或b)任意形式的軟件，包括固 件、微代碼等，并與用于執(zhí)行該軟件以執(zhí)行該功能的適合的電路進(jìn)行組合。由權(quán)利要求所限 定的本發(fā)明原理在于如下事實(shí)將各個(gè)引述的裝置所提供的功能以權(quán)利要求所要求的方式 組合在一起。因此，可以把能夠提供這些功能的任意裝置看作與這里所示的裝置相等同。在說明書中涉及本發(fā)明原理的“ 一個(gè)實(shí)施例，，或“實(shí)施例，， 是指結(jié)合實(shí)施例描述 的特定特征、結(jié)構(gòu)、特性等包括在本發(fā)明的至少一個(gè)實(shí)施例中。因此，貫穿說明書在不同地 方出現(xiàn)的短語“在一個(gè)實(shí)施例中”或“在實(shí)施例中”不必均指相同的實(shí)施例。此外短語“在 另一實(shí)施例中”不排除與另一實(shí)施例全部或部分組合的所描述實(shí)施例的主題。此外，應(yīng)當(dāng)理解的是，術(shù)語“和/或”的使用，例如在“A和/或B”的情況下，意在 包括只選擇第一所列項(xiàng)目(A)、只選擇第二所列項(xiàng)目(B)、或選擇兩個(gè)項(xiàng)目(A和B)。作為 另一示例，在“A、B和/或C”的情況下，這樣的表示意在包括只選擇第一所列項(xiàng)目(A)、只 選擇第二所列項(xiàng)目(B)、只選擇第三所列項(xiàng)目(C)、選擇第一和第二所列項(xiàng)目(A和B)、選擇 第一和第三所列項(xiàng)目(A和C)、選擇第二和第三所列項(xiàng)目(B和C)、或選擇所有三個(gè)項(xiàng)目(A 和B和C)。對于本領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員來說顯而易見的是，對于所列的許多項(xiàng) 目，上述是可以擴(kuò)展的。此外，應(yīng)當(dāng)理解，盡管這里關(guān)于MPEG-4AVC標(biāo)準(zhǔn)的可縮放視頻編碼擴(kuò)展描述本發(fā) 明的一個(gè)或多個(gè)實(shí)施例，但本發(fā)明原理不僅限于該擴(kuò)展和/或該標(biāo)準(zhǔn)，并因此可以關(guān)于其 他視頻編碼標(biāo)準(zhǔn)、推薦標(biāo)準(zhǔn)及其擴(kuò)展來使用，同時(shí)保留本發(fā)明的精神。此外，應(yīng)當(dāng)理解，以下描述在這里關(guān)于高比特視頻的一個(gè)或多個(gè)示例使用10比特 視頻，本發(fā)明適用于大于8的任何數(shù)目比特，包括但不限于例如12比特、14比特等。如這里所使用的，“高級別語法”是指在分級地位于宏塊層之上的比特流中出現(xiàn)的 語法。例如，如這里所使用的高級別語法可以指代但不限于片首部級、補(bǔ)充增強(qiáng)信息(SEI) 級、圖像參數(shù)集(PPS)級、序列參數(shù)集(SPS)級、網(wǎng)絡(luò)抽象層(NAL)單元首部級處的語法。如上所述，本發(fā)明原理涉及可縮放視頻的層間殘差預(yù)測的方法和設(shè)備。轉(zhuǎn)向圖2，可以應(yīng)用本發(fā)明原理的示例視頻編碼器總體上由參考數(shù)字200指示。編碼器200包括具有與變換器210的輸入進(jìn)行信號通信的輸出的組合器205。變 換器210的輸出以信號通信的方式與量化器215的輸入相連接。量化器的輸出以信號通信 的方式與熵編碼器220的第一輸入和逆量化器225的輸入相連接。逆量化器225的輸出以 信號通信的方式與逆變換器230的輸入相連接。逆變換器230的輸出以信號通信的方式與 組合器235的第一非反相輸入連接。組合器235的輸出以信號通信的方式與環(huán)路濾波器 240的輸入相連接。環(huán)路濾波器240的輸出以信號通信的方式與運(yùn)動(dòng)估計(jì)器和層間預(yù)測確 定器245的第一輸入相連接。運(yùn)動(dòng)估計(jì)器和層間預(yù)測確定器245的輸出以信號通信的方式 與熵編碼器220的第二輸入以及運(yùn)動(dòng)補(bǔ)償器255的輸入相連接。運(yùn)動(dòng)補(bǔ)償器255的輸出以 信號通信的方式與色調(diào)映射器260的輸入相連接。色調(diào)映射器260的輸出以信號通信的方 式與組合器270的第一非反相輸入相連接。組合器270的輸出以信號通信的方式與平滑濾波器275的輸入相連接。平滑濾波器275的輸出以信號通信的方式與色調(diào)逆映射器280的輸入相連接。色調(diào)逆映射器280的輸出以信號通信的方式與組合器235的第二非反相輸入 以及組合器105的反相輸入相連接。上采樣器250的輸出以信號通信的方式與運(yùn)動(dòng)估計(jì)器 和層間預(yù)測確定器245的第二輸入相連接。上采樣器265的輸出以信號通信的方式與組合 器270的第二非反相輸入相連接。組合器205的輸入可用作編碼器200的輸入，以接收高比特深度圖像。上采樣器 250的輸入可用作編碼器200的輸入，以接收基本層運(yùn)動(dòng)矢量。上采樣器265的輸入可用 作編碼器200的輸入，以接收低比特深度基本層殘差。熵編碼器220的輸出可用作編碼器 200的輸出，以輸出比特流。轉(zhuǎn)向圖3，可以應(yīng)用本發(fā)明原理的示例解碼器總體上由參考數(shù)字300來指示。解碼器300包括具有與逆量化器310的輸入進(jìn)行信號通信的第一輸出的熵解碼器 305。逆量化器310的輸出以信號通信的方式與逆變換器315的輸入相連接。逆變換器315 的輸出以信號通信的方式與組合器320的第一非反相輸入相連接。熵解碼器305的第二輸出以信號通信的方式與運(yùn)動(dòng)補(bǔ)償器325的第一輸入相連 接。運(yùn)動(dòng)補(bǔ)償器325的輸出以信號通信的方式與色調(diào)映射器330的輸入相連接。色調(diào)映射 器330的輸出以信號通信的方式與組合器335的第一非反相輸入相連接。組合器335的輸 出以信號通信的方式與平滑濾波器340的第一輸入相連接。平滑濾波器340的輸出以信號 通信的方式與色調(diào)逆映射器345的輸入相連接。色調(diào)逆映射器345的輸出以信號通信的方 式與組合器320的第二非反相輸入相連接。上采樣器350的輸出以信號通信的方式與組合器335的第二非反相輸入相連接。 上采樣器355的輸出以信號通信的方式與運(yùn)動(dòng)補(bǔ)償器325的第二輸入相連接。熵解碼器305的輸入可用作至解碼器300的輸入，以接收增強(qiáng)層比特流。運(yùn)動(dòng)補(bǔ) 償器325的第三輸入可用作解碼器300的輸入，以接收多個(gè)增強(qiáng)層參考幀。平滑參考濾波 器340的第二輸入可用作至解碼器300的輸入，以接收平滑參考標(biāo)志。上采樣器350的輸 入可用作至解碼器300的輸入，以接收低比特深度基本層殘差。上采樣器355的輸入可用 作至解碼器300的輸入，以接收基本層運(yùn)動(dòng)矢量。組合器320的輸出可用作解碼器300的 輸出，以輸出圖像?？紤]到以下事實(shí)，比特深度可縮放性潛在地是有用的在未來某個(gè)時(shí)間，傳統(tǒng)8比 特深度和高比特深度數(shù)字成像系統(tǒng)將同時(shí)存在于市場中。根據(jù)本發(fā)明原理的一個(gè)或多個(gè)實(shí)施例，提出了比特深度可縮放性(BDS)的層間殘 差預(yù)測的新技術(shù)。在比特深度可縮放性中，在使用單循環(huán)解碼的情況下，當(dāng)在增強(qiáng)層(較高比特深 度層)處執(zhí)行運(yùn)動(dòng)補(bǔ)償時(shí)，很難應(yīng)用針對層間殘差預(yù)測的色調(diào)逆映射。因此，根據(jù)本發(fā)明原 理，提出了新的層間殘差預(yù)測技術(shù)，來提高比特深度可縮放性的編碼效率。根據(jù)本發(fā)明原理 的一個(gè)或多個(gè)實(shí)施例，不是在殘差域中進(jìn)行針對層間殘差預(yù)測的色調(diào)逆映射，而是將針對 層間殘差預(yù)測的色調(diào)逆映射問題從殘差域轉(zhuǎn)換到像素域(空間域)。出于示意的目的，這里提供了一個(gè)或多個(gè)示例，僅考慮比特深度和單循環(huán)解碼結(jié) 構(gòu)的使用。然而，應(yīng)當(dāng)認(rèn)識(shí)到，給出這里提供的本發(fā)明原理的教導(dǎo)的情況下，本領(lǐng)域和相關(guān) 領(lǐng)域技術(shù)人員可以容易地將關(guān)于以上參考示例描述的本發(fā)明擴(kuò)展成組合的可縮放性，包括但不限于，比特深度和空間可縮放性等等。此外，本發(fā)明原理可以容易地應(yīng)用在多個(gè)循環(huán)解 碼體系結(jié)構(gòu)中。當(dāng)然，本發(fā)明原理不限于前述應(yīng)用和變型，因此也可以相對于本發(fā)明原理采 用本領(lǐng)域和相關(guān)領(lǐng)域技術(shù)人員容易確定的其他應(yīng)用和變型，同時(shí)保持本發(fā)明原理的精神。因此，在實(shí)施例中，如果使用層間殘差預(yù)測，在將色調(diào)映射后的運(yùn)動(dòng)補(bǔ)償預(yù)測和來 自基本層的上采樣殘差相加之后，應(yīng)用色調(diào)逆映射。僅針對比特深度可縮放性，空間上采樣 因子為1。因此，根據(jù)實(shí)施例的編碼方法的一個(gè)示例如下1.使用增強(qiáng)層參考幀來獲得預(yù)測塊P，然后將P色調(diào)映射到基本層中，得到T(P)；2.對相應(yīng)基本層殘差塊rb進(jìn)行空間上采樣，并將U(rb)與P相加以形成 T(P)+U(rb)；3.使用濾波器，以獲得S (T (P) +U (rb))；4.然后應(yīng)用色調(diào)逆映射，以獲得！^(S (T(P)+U(rb)))；以及5.通過從增強(qiáng)層塊0中減去(4)，產(chǎn)生增強(qiáng)層殘差塊re,re = 0-Γ1 (S (Τ (P) +U (rb)))。轉(zhuǎn)向圖4，使用針對比特深度可縮放性的層間殘差預(yù)測進(jìn)行編碼的示例方法總體 上由參考數(shù)字400指示。方法400包括將控制傳遞至判定框410的開始框405。判定框410確定是否應(yīng)用 層間運(yùn)動(dòng)預(yù)測。如果是，則將控制傳遞至功能框415。否則，將控制傳遞至功能框425。功能框415使用基本層運(yùn)動(dòng)矢量，并將控制傳遞至功能框420。功能框420對基本 層運(yùn)動(dòng)矢量進(jìn)行上采樣，并將控制傳遞至功能框430。功能框425使用增強(qiáng)層運(yùn)動(dòng)矢量，并將控制傳遞至功能框430。功能框430獲得運(yùn)動(dòng)補(bǔ)償后的塊P，并將控制傳遞至功能框435。功能框435對P 執(zhí)行色調(diào)映射，以獲得低比特深度T(P)，并將控制傳遞至功能框440。功能框440讀取基本 層紋理殘差rb，并將控制傳遞至功能框445。功能框445計(jì)算P' = T (P)+rb，并將控制傳遞 至判定框450。判定框450確定是否應(yīng)用平滑參考。如果是，則將控制傳遞至功能框455。 否則，將控制傳遞至功能框460。功能框455對P，應(yīng)用平滑濾波，并將控制傳遞至功能框460。功能框460對P’執(zhí)行色調(diào)逆映射，以獲得高比特深度預(yù)測Γ1 (P')，并將控制傳遞 至功能框465。功能框465從高比特深度預(yù)測!^(P')中減去在色調(diào)映射和色調(diào)逆映射運(yùn) 算之間的誤差值，并將控制傳遞至功能框470。功能框470通過從原始圖像中減去Γ1 (P')， 來獲得增強(qiáng)層殘差其中，& = O-r^P' )，0表示原始圖像，并將控制傳遞至結(jié)束塊499。根據(jù)實(shí)施例的解碼方法的一個(gè)示例如下1.使用增強(qiáng)層參考幀來獲得預(yù)測塊P，然后將P色調(diào)映射到基本層中，得到T(P)；2.對相應(yīng)基本層殘差塊rb進(jìn)行空間上采樣，并將U(rb)與P相加以形成 T(P)+U(rb)；3.使用濾波器，以獲得S (T (P) +U (rb))；4.然后應(yīng)用色調(diào)逆映射，以獲得！^(S (T(P)+U(rb)))；以及5.將增強(qiáng)層殘差塊與(4)相加，來獲得重構(gòu)塊R = Γ1 (S (T (P) +U (rb))) +re。
轉(zhuǎn)向圖5，使用針對比特深度可縮放性的層間殘差預(yù)測進(jìn)行解碼的示例方法總體上由參考數(shù)字500指示。方法500包括將控制傳遞至判定框510的開始框505。判定框510確定層間運(yùn)動(dòng) 預(yù)測標(biāo)志是否設(shè)置為真。如果是，則將控制傳遞至功能框515。否則，將控制傳遞至功能框 525。功能框515對基本層運(yùn)動(dòng)矢量進(jìn)行讀取和熵解碼，并將控制傳遞至功能框520。功 能框520對基本層運(yùn)動(dòng)矢量進(jìn)行上采樣，并將控制傳遞至功能框530。功能框525對增強(qiáng)層運(yùn)動(dòng)矢量進(jìn)行讀取和熵解碼，并將控制傳遞至功能框530。功能框530獲得運(yùn)動(dòng)補(bǔ)償后的塊P，并將控制傳遞至功能框535。功能框535對P 執(zhí)行色調(diào)映射以獲得低比特深度τ (P)，并將控制傳遞至功能框540。功能框540對基本層紋 理殘差rb進(jìn)行讀取和熵解碼，并將控制傳遞至功能框545。功能框545計(jì)算P' =T(P)+rb, 并將控制傳遞至判定框550。判定框550確定平滑參考標(biāo)志是否設(shè)置為真。如果是，則將控 制傳遞至功能框555。否則，將控制傳遞至功能框560。功能框555對P，應(yīng)用平滑濾波，并將控制傳遞至功能框560。功能框560對P’執(zhí)行色調(diào)逆映射，以獲得高比特深度預(yù)測Γ1 (P')，并將控制傳 遞至功能框565。功能框565向高比特深度預(yù)測Γ1 (P')中加上在色調(diào)映射和色調(diào)逆映射 運(yùn)算之間的誤差值，并將控制傳遞至功能框567。功能框567對增強(qiáng)層殘差re進(jìn)行讀取和 熵解碼，并將控制傳遞至功能框570。功能框570獲得重構(gòu)塊R，其中，R = T_i(P' )+re，并 將控制傳遞至結(jié)束塊599。已經(jīng)注意到，在現(xiàn)有技術(shù)中，如果不使用層間運(yùn)動(dòng)預(yù)測，則通過來自增強(qiáng)層的運(yùn)動(dòng) 矢量來產(chǎn)生運(yùn)動(dòng)補(bǔ)償后的塊P，或者如果使用層間運(yùn)動(dòng)預(yù)測，則根據(jù)來自基本層的上采樣的 運(yùn)動(dòng)矢量來產(chǎn)生運(yùn)動(dòng)補(bǔ)償后的塊P。在本發(fā)明的實(shí)施例中，本發(fā)明的技術(shù)可以用于以上兩種 情況。在另一實(shí)施例中，當(dāng)使用層間運(yùn)動(dòng)預(yù)測時(shí)，只需將本發(fā)明的技術(shù)進(jìn)行組合。如果不使 用層間運(yùn)動(dòng)預(yù)測，如參照以上第三和第四現(xiàn)有技術(shù)方法，則將比特位移應(yīng)用于殘差預(yù)測。同樣，可以交換第三和第四現(xiàn)有技術(shù)方法的方案。即，首先執(zhí)行濾波，然后執(zhí)行色 調(diào)逆映射。備選地，首先執(zhí)行色調(diào)逆映射，然后執(zhí)行濾波。濾波器可以是線性的、或非線性 的、一維的、或二維的等等。在一個(gè)示例中，可以首先垂直地、然后水平地使用3抽頭濾波器 [12 1]。該濾波器也可以是相同的，從不需要第三現(xiàn)有技術(shù)過程。因此，根據(jù)本發(fā)明原理的一個(gè)實(shí)施例，通過信號通知來通知色調(diào)映射和色調(diào)逆映 射這兩個(gè)方法。可以使用算法計(jì)算、查找表等來執(zhí)行該信號通知?？梢栽谛蛄?、圖像、片或 塊級別上來執(zhí)行該信號通知。由于色調(diào)映射和色調(diào)逆映射不是真正可逆的，即，T-1CT)興I， 可以考慮誤差ι-ΓΗτ)，其中，I表示單位元素。在一個(gè)示例中，由于T4CT(P))興P，可以考 慮誤差Cl = P-T-1CT (P))。即，在編碼器側(cè)，減去d。在解碼器側(cè)，加上d?，F(xiàn)在將對本發(fā)明的許多附加優(yōu)點(diǎn)/特征給出描述，其中的一些以上已經(jīng)提及。例 如，一個(gè)優(yōu)點(diǎn)/特征是一種設(shè)備，該設(shè)備具有通過向圖像的塊的層間殘差預(yù)測處理應(yīng)用色 調(diào)逆映射來對圖像的塊進(jìn)行編碼的編碼器。色調(diào)逆映射是在像素域中執(zhí)行的，以支持比特 深度可縮放性。另一優(yōu)點(diǎn)/特征是具有編碼器的上述設(shè)備，其中，編碼器通過以下操作來執(zhí)行層 間殘差預(yù)測處理在圖像的增強(qiáng)層中執(zhí)行運(yùn)動(dòng)補(bǔ)償以獲得增強(qiáng)層預(yù)測；執(zhí)行將增強(qiáng)層預(yù)測色調(diào)映射到圖像的基本層中，以獲得塊的色調(diào)映射后的運(yùn)動(dòng)補(bǔ)償?shù)捅忍厣疃阮A(yù)測；將來自基本層的空間上采樣殘差與塊的色調(diào)映射后的運(yùn)動(dòng)補(bǔ)償?shù)捅忍厣疃阮A(yù)測相加，以獲得和； 以及執(zhí)行將該和色調(diào)逆映射到增強(qiáng)層中，以獲得塊的較高比特深度預(yù)測。又一優(yōu)點(diǎn)/特征是具有編碼器的上述設(shè)備，其中，該編碼器在執(zhí)行色調(diào)逆映射之 前還通過向和應(yīng)用平滑濾波，來執(zhí)行層間殘差預(yù)測處理。該色調(diào)逆映射是在濾波后的和上 執(zhí)行的。又一優(yōu)點(diǎn)/特征是具有編碼器的上述設(shè)備，其中，高級別語法元素和塊級別語法 元素中的至少一個(gè)用于信號通知色調(diào)映射和色調(diào)逆映射中的任一個(gè)。此外，另一優(yōu)點(diǎn)/特征是具有編碼器的上述設(shè)備，其中，高級別語法元素包括在片 首部、序列參數(shù)集、圖像參數(shù)集、查看參數(shù)集、網(wǎng)絡(luò)抽象層單元首部、以及補(bǔ)充增強(qiáng)信息消息 中的至少一個(gè)中。此外，另一優(yōu)點(diǎn)/特征是具有編碼器的上述設(shè)備，其中，編碼器還通過從塊的較高 比特深度預(yù)測中減去在色調(diào)映射和色調(diào)逆映射之間的誤差值，來執(zhí)行層間殘差預(yù)測處理。基于這里的教導(dǎo)，本領(lǐng)域的普通技術(shù)人員可以容易地確定本發(fā)明的這些以及其它 特征和優(yōu)點(diǎn)。應(yīng)理解的是，本發(fā)明的教導(dǎo)可以以硬件、軟件、固件、專用處理器或其組合的各 種形式來實(shí)現(xiàn)。最優(yōu)選地，將本發(fā)明的教導(dǎo)實(shí)現(xiàn)為硬件和軟件的組合。此外，可以將該軟件實(shí)現(xiàn)為 在程序存儲(chǔ)單元上具體體現(xiàn)的應(yīng)用程序?？蓪⒃搼?yīng)用程序上載到包括任何適合架構(gòu)在內(nèi)的 機(jī)器并由該機(jī)器執(zhí)行。優(yōu)選地，在具有硬件(如，一個(gè)或多個(gè)中央處理單元(“CPU”)、隨機(jī) 訪問存儲(chǔ)器(“RAM”)以及輸入/輸出(“I/O”)接口)的計(jì)算機(jī)平臺(tái)上實(shí)現(xiàn)該機(jī)器。該計(jì) 算機(jī)平臺(tái)還可以包括操作系統(tǒng)和微指令代碼。這里描述的各種處理和功能可以是可由CPU 執(zhí)行的微指令代碼的一部分或應(yīng)用程序的一部分，或其組合。此外，可將其它各種外圍單元 連接到計(jì)算機(jī)平臺(tái)，如附加的數(shù)據(jù)存儲(chǔ)單元和打印單元。還應(yīng)理解的是，由于在附圖中描述的一些構(gòu)成系統(tǒng)組件和方法優(yōu)選地以軟件來實(shí) 現(xiàn)，根據(jù)對本發(fā)明原理編程的方式，系統(tǒng)組件或處理功能塊之間的實(shí)際連接可以有所不同。 在這里給出教導(dǎo)的情況下，本領(lǐng)域的普通技術(shù)人員將能夠想到本發(fā)明的這些以及類似的實(shí) 現(xiàn)方式或配置。雖然這里參考附圖描述了示意性的實(shí)施例，但是應(yīng)理解的是，本發(fā)明并不限于這 些確定的實(shí)施例，在不背離本發(fā)明的范圍或精神的情況下，本領(lǐng)域的普通技術(shù)人員可以實(shí) 現(xiàn)各種變化和修改。旨在將所有這些變化和修改包括在如所附權(quán)利要求中所闡述的本發(fā)明 的范圍內(nèi)。
權(quán)利要求
一種設(shè)備，包括編碼器(200)，用于通過向針對圖像的塊的層間殘差預(yù)測過程應(yīng)用色調(diào)逆映射，來對所述圖像的塊進(jìn)行編碼，其中所述色調(diào)逆映射是在像素域中執(zhí)行的。
2.根據(jù)權(quán)利要求1所述的設(shè)備，其中，所述編碼器(200)通過以下操作來執(zhí)行層間殘差 預(yù)測過程在圖像的增強(qiáng)層中執(zhí)行運(yùn)動(dòng)補(bǔ)償以得到增強(qiáng)層預(yù)測；將增強(qiáng)層預(yù)測色調(diào)映射到 圖像的基本層，以得到所述塊的色調(diào)映射后的運(yùn)動(dòng)補(bǔ)償?shù)捅忍厣疃阮A(yù)測；將來自基本層的 空間上采樣后的殘差加上所述塊的色調(diào)映射后的運(yùn)動(dòng)補(bǔ)償?shù)捅忍厣疃阮A(yù)測，以得到和；以 及將所述和色調(diào)逆映射到增強(qiáng)層，以得到所述塊的較高比特深度預(yù)測。
3.根據(jù)權(quán)利要求2所述的設(shè)備，其中，所述編碼器(200)還通過在執(zhí)行色調(diào)逆映射之前 向所述和應(yīng)用平滑濾波，來執(zhí)行層間殘差預(yù)測過程，其中所述色調(diào)逆映射是對濾波后的和 執(zhí)行的。
4.根據(jù)權(quán)利要求2所述的設(shè)備，其中，使用高級別語法元素和塊級別語法元素中的至 少一個(gè)，來信號通知色調(diào)映射和色調(diào)逆映射中的任何一個(gè)。
5.根據(jù)權(quán)利要求4所述的設(shè)備，其中，高級別語法元素包含在以下中的至少一項(xiàng)中片 首部、序列參數(shù)集合、圖像參數(shù)集合、查看參數(shù)集合、網(wǎng)絡(luò)抽象層單元首部、以及補(bǔ)充增強(qiáng)信 息消息ο
6.根據(jù)權(quán)利要求2所述的設(shè)備，其中，所述編碼器(200)還通過從所述塊的較高比特深 度預(yù)測中減去色調(diào)映射與色調(diào)逆映射之間的誤差值，來執(zhí)行層間殘差預(yù)測過程。
7.根據(jù)權(quán)利要求1所述的設(shè)備，其中，色調(diào)逆映射是在像素域中執(zhí)行的，以支持比特深 度可縮放性。
8.一種方法，包括 通過向針對圖像的塊的層間殘差預(yù)測過程應(yīng)用色調(diào)逆映射，來對所述圖像的塊進(jìn)行編 碼，其中所述色調(diào)逆映射是在像素域中執(zhí)行的(440，460)。
9.根據(jù)權(quán)利要求8所述的方法，其中，層間殘差預(yù)測過程包括在圖像的增強(qiáng)層中執(zhí)行運(yùn)動(dòng)補(bǔ)償，以得到增強(qiáng)層預(yù)測(430)；將增強(qiáng)層預(yù)測色調(diào)映射到圖像的基本層，以得到所述塊的色調(diào)映射后的運(yùn)動(dòng)補(bǔ)償?shù)捅?特深度預(yù)測(435)；將來自基本層的空間上采樣后的殘差加上所述塊的色調(diào)映射后的運(yùn)動(dòng)補(bǔ)償?shù)捅忍厣?度預(yù)測，以得到和(440,445)；以及將所述和色調(diào)逆映射到增強(qiáng)層，以得到所述塊的較高比特深度預(yù)測(460)。
10.根據(jù)權(quán)利要求9所述的方法，其中，層間殘差預(yù)測過程還包括在執(zhí)行色調(diào)逆映射 的步驟之前，向所述和應(yīng)用平滑濾波，其中所述色調(diào)逆映射是對濾波后的和執(zhí)行的(455)。
11.根據(jù)權(quán)利要求9所述的方法，其中，高級別語法元素和塊級別語法元素中的至少一 個(gè)用于信號通知色調(diào)映射和色調(diào)逆映射中的任何一個(gè)(435，460)。
12.根據(jù)權(quán)利要求11所述的方法，其中，高級語法元素包含在以下中的至少一項(xiàng)中片 首部、序列參數(shù)集合、圖像參數(shù)集合、查看參數(shù)集合、網(wǎng)絡(luò)抽象層單元首部以及補(bǔ)充增強(qiáng)信 息消息ο
13.根據(jù)權(quán)利要求9所述的方法，其中，層間殘差預(yù)測過程還包括從所述塊的較高比 特深度預(yù)測中減去色調(diào)映射與色調(diào)逆映射之間的誤差值(465)。
14.根據(jù)權(quán)利要求8所述的方法，其中，色調(diào)逆映射是在像素域中執(zhí)行的，以支持比特 深度可縮放性。
15.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上編碼了視頻數(shù)據(jù)，包括圖像的塊，所述圖像的塊是通過向所述塊的層間殘差預(yù)測過程應(yīng)用色調(diào)逆映射來編碼 的，其中所述色調(diào)逆映射是在像素域中執(zhí)行的。
全文摘要
本發(fā)明提供了可縮放視頻的層間殘差預(yù)測的方法和設(shè)備。針對通過向圖像塊的層間殘差預(yù)測處理應(yīng)用色調(diào)逆映射來對圖像的塊進(jìn)行編碼的編碼器或?qū)D像的塊進(jìn)行解碼的解碼器，來描述一種設(shè)備，其中，色調(diào)逆映射在像素域中執(zhí)行。還描述了用于對圖像的塊進(jìn)行編碼(440、460)或解碼(540、560)的方法；并通過向塊的層間預(yù)測處理應(yīng)用色調(diào)逆映射來執(zhí)行該方法，其中，色調(diào)逆映射在像素域中執(zhí)行。
文檔編號H04N7/50GK101822059SQ200880111589
公開日2010年9月1日 申請日期2008年10月14日 優(yōu)先權(quán)日2007年10月15日
發(fā)明者尹鵬, 武宇文, 羅建聰, 高永英 申請人:湯姆森許可貿(mào)易公司