專利名稱：使用運動補償?shù)幕趯嵗某直媛实囊曨l解碼的制作方法
技術領域：
本發(fā)明一般地涉及視頻編碼和解碼，更具體地涉及用于視頻壓縮的運動補償?shù)幕趯嵗某直媛实姆椒ê脱b置。
背景技術：
在以前的方法中——如在2010年I月22日提交的共同未決、共同擁有的美國臨時專利申請(序列號61/336516) (Technicolor案卷號PU100014) Dong-QingZhang, Sitaram Bhagavathy 和 Joan Llach 的((Data pruning for video compression
using example-based super-resolution》中公開的方法中-提出了使用基于實例的超
分辨率(SR)對視頻數(shù)據(jù)進行修剪以實現(xiàn)壓縮。用于數(shù)據(jù)修剪的基于實例的超分辨率將高分辨率(high-res)的實例補丁(patch)和低分辨率(low_res)的巾貞發(fā)送給解碼器。解碼器通過使用實例高分辨率補丁替換低分辨率補丁來恢復高分辨率的幀。轉(zhuǎn)到圖1，它對前面的方法的一個方面進行了說明。更具體地說，編碼器側(cè)基于實例的超分辨率的處理的高級框圖整體用參考標號100表示。在步驟110，對輸入視頻進行補丁提取和聚類處理(通過補丁提取和聚類器151)以獲得聚類補丁。并且，在步驟115，對輸入的視頻進行縮減(downsize)處理(通過縮減器153)以從其中輸出縮減巾貞。在步驟120,聚集的補丁被打包成補丁幀(由補丁打包器152)以從其中輸出(打包的)補丁幀。轉(zhuǎn)到圖2，它對前面的方法的另一個方面進行了說明。更具體地說，解碼器側(cè)基于實例的超分辨率的處理的高級框圖整體用參考標號200表示。在步驟210，對已解碼的補丁幀進行補丁提取和處理(通過補丁提取和處理器251)以獲得處理過的補丁。在步驟215，存儲處理過的補丁 (使用補丁庫252)。在步驟220，對已解碼的縮減幀進行擴增(upsize)處理(通過擴增器253)以獲得擴增幀。在步驟225，對擴增幀進行補丁搜索和替換處理(通過補丁搜索器和替換器254)以獲得替換補丁。在步驟230，對替換補丁進行后處理(通過后處理器255)以獲得高分辨率的幀。以前提出的方法非常適用于靜態(tài)的視頻(沒有顯著的背景或前景物體運動的視頻)。例如，實驗表明，對于某些類型的靜態(tài)視頻，使用基于實例的超分辨率與使用獨立視頻編碼器(例如，按照標準化國際組織/國際電工委員會(ISO/IEC)運動圖像專家組-4(MPEG-4)第10部分高級視頻編碼(AVC)標準/國際電信聯(lián)盟電信標準化部門(ITU-T)的
H.264建議書(以下簡稱“MPEG-4AVC標準”)的編碼器)相比，可以提升壓縮效率。然而，對于具有顯著的對象或背景運動的視頻，使用基于實例的超分辨率的壓縮效率通常低于使用獨立MPEG-4AVC編碼器的壓縮效率。這是因為對于具有顯著的運動的視頻，用來提取代表補丁的聚類處理由于補丁移位(patch shifting)和其他變換(例如,縮放、旋轉(zhuǎn)等等)通常會產(chǎn)生明顯更多的冗余代表補丁，從而增加補丁幀的數(shù)量，降低補丁幀的壓縮效率。轉(zhuǎn)到圖3，前面基于實例的超分辨的方法中使用的聚類處理整體用參考標號300表示。在圖3的實例中，聚類處理涉及到6個幀(標示為幀I到第幀6)。圖3中用曲線表示(運動中的)對象。圖3將聚類處理300顯示為上面部分和下面部分。在上面部分，示出了來自輸入視頻序列的連續(xù)巾貞的同一位置的輸入補丁 310(co_located input patch)。在下面部分，示出了與聚類對應的代表補丁 320。具體地說，下面部分示出了聚類I的代表補丁321和聚類2的代表補丁 322?？傊糜跀?shù)據(jù)修剪的基于實例的超分辨率將高分辨率(本說明書中也稱為“high-res”)的實例補丁和低分辨率(本說明書中也稱為“l(fā)ow-res”)的幀發(fā)送到解碼器(參見圖1)。解碼器通過用實例高分辨率的補丁替換低分辨率的補丁恢復高分辨率的幀(參見圖2)。然而，正如上文所述，對于帶有運動的視頻，用于提取代表補丁的聚類過程由于補丁移位(pitch shifting)(參見圖3)和其他變換(如縮放、旋轉(zhuǎn)等)通常會產(chǎn)生明顯更多的冗余代表補丁，從而增加補丁幀的數(shù)量，降低了補丁幀的壓縮效率。

發(fā)明內(nèi)容
本申請公開了用于具有改善的壓縮效率的視頻壓縮的運動補償?shù)幕趯嵗某直媛实姆椒ê脱b置。根據(jù)本發(fā)明的原理的一個方面，提供了一種用于基于實例的超分辨率的裝置。該裝置包括用于估計帶有運動的輸入視頻序列的運動參數(shù)的運動參數(shù)估計器。輸入視頻序列包括多個畫面。該裝置還包括圖像卷繞器(warper)，用于進行畫面卷繞(warping)處理，對多個畫面中的一個或多個進行變換以基于運動參數(shù)通過降低運動量提供輸入視頻序列的靜態(tài)版本。該裝置還包括基于實例的超分辨率處理器，用于執(zhí)行基于實例的超分辨率以從視頻序列的靜態(tài)版本生成一個或多個高分辨率替換補丁畫面。一個或多個高分辨率替換補丁畫面用于在重建輸入視頻序列的過程中替換一個或多個低分辨率補丁畫面。根據(jù)本發(fā)明的原理的另一個方面，提供了一種基于實例的超分辨率的方法。該方法包括估計帶有運動的輸入視頻序列的運動參數(shù)。輸入視頻序列包括多個畫面。該方法還包括進行畫面卷繞處理，對多個畫面中的一個或多個進行變換以基于運動參數(shù)通過降低運動量提供輸入視頻序列的靜態(tài)版本。該方法進一步包括執(zhí)行基于實例的超分辨率以從視頻序列的靜態(tài)版本生成一個或多個高分辨率的替換補丁畫面。一個或多個高分辨率替換補丁畫面用于在重建輸入視頻序列的過程中替換一個或多個低分辨率補丁畫面。根據(jù)本發(fā)明的原理的又一個方面，提供了一種基于實例的超分辨率的裝置。該裝置包括基于實例的超分辨率處理器，用于接收從帶有運動的輸入視頻序列的靜態(tài)版本中生成的一個或多個高分辨率替換補丁畫面，并執(zhí)行基于實例的超分辨率以從一個或多個高分辨率替換補丁畫面中生成輸入視頻序列的靜態(tài)版本的重建版本。輸入視頻序列的靜態(tài)版本的重建版本包括多個畫面。該裝置還包括逆圖像卷繞器，用于接收輸入視頻序列的運動參數(shù)，并基于運動參數(shù)執(zhí)行逆圖像卷繞處理，以對多個畫面中的一個或多個進行變換以生成帶有運動的輸入視頻序列的重建。根據(jù)本發(fā)明的原理的再一個方面，提供了一種基于實例的超分辨率的方法。該方法包括接收帶有運動的輸入視頻序列的運動參數(shù)以及從輸入視頻序列的靜態(tài)版本中生成的一個或多個高分辨率替換補丁畫面。該方法還包括執(zhí)行基于實例的超分辨率以從一個或多個高分辨率替換補丁畫面生成輸入視頻序列的靜態(tài)版本的重建版本。輸入視頻序列的靜態(tài)版本的重建版本包括多個畫面。該方法還包括基于運動參數(shù)執(zhí)行逆畫面卷繞處理，以對多個畫面中的一個或多個進行變換以生成帶有運動的輸入視頻序列的重建。根據(jù)本發(fā)明的原理的再一個方面，提供了一種基于實例的超分辨率的裝置。該裝置包括用于估計帶有運動的輸入視頻序列的運動參數(shù)的部件。輸入視頻序列包括多個畫面。該裝置還包括用于基于運動參數(shù)執(zhí)行對多個畫面中的一個或多個進行變換以通過降低運動量提供輸入視頻序列的靜態(tài)版本的畫面卷繞處理的部件。該裝置還包括執(zhí)行基于實例的超分辨率以從視頻序列的靜態(tài)版本生成一個或多個高分辨率的替換補丁畫面的部件。一個或多個高分辨率替換補丁畫面用于在重建輸入視頻序列的過程中替換一個或多個低分辨率補丁畫面。根據(jù)本發(fā)明的原理的一個附加的方面，提供了一種基于實例的超分辨率的裝置。該裝置包括用于接收帶有運動的輸入視頻序列的運動參數(shù)以及從輸入視頻序列的靜態(tài)版本中生成的一個或多個高分辨率替換補丁畫面的部件。該裝置還包括用于執(zhí)行基于實例的超分辨率以從一個或多個高分辨率替換補丁畫面生成輸入視頻序列的靜態(tài)版本的重建版本的部件。輸入視頻序列的靜態(tài)版本的重建版本包括多個畫面。該裝置還包括用于基于運動參數(shù)執(zhí)行逆畫面卷繞處理以對多個畫面中的一個或多個進行變換以生成帶有運動的輸入視頻序列的重建。


結合附圖閱讀下面詳細描述的示例性實施例，本發(fā)明的原理的這些和其他方面、特征和優(yōu)點將變得顯而易見。根據(jù)下面示例性的附圖，可以更好地理解本發(fā)明的原理，附圖中:圖1是示出根據(jù)以前的方法的編碼器側(cè)基于實例的超分辨率的處理的高級框圖；圖2是示出根據(jù)以前的方法的解碼器側(cè)基于實例的超分辨率的處理的高級框圖；圖3是示出根據(jù)以前的方法的基于實例的超分辨率的聚類處理的圖；圖4是示出根據(jù)本發(fā)明的原理的一個實施例的將帶有物體運動的視頻變換成靜態(tài)視頻的示例性變換的圖；圖5是示出根據(jù)本發(fā)明的原理的一個實施例的供在編碼器中使用的帶有幀卷繞的用于運動補償?shù)幕趯嵗某直媛侍幚淼氖纠匝b置的框圖；圖6是示出根據(jù)本發(fā)明的原理的一個實施例的可以應用本發(fā)明的原理的示例性視頻編碼器的框圖7是示出根據(jù)本發(fā)明的原理的一個實施例的編碼器側(cè)的用于運動補償?shù)幕趯嵗某直媛实氖纠苑椒ǖ牧鞒虉D；圖8是示出根據(jù)本發(fā)明的原理的一個實施例的解碼器中的帶有逆幀卷繞的用于運動補償?shù)幕趯嵗某直媛侍幚淼氖纠匝b置的框圖；圖9是示出根據(jù)本發(fā)明的原理的一個實施例的可以應用本發(fā)明的原理的示例性視頻解碼器的框圖；以及圖10是示出根據(jù)本發(fā)明的原理的一個實施例的解碼器側(cè)的用于運動補償?shù)幕趯嵗某直媛实氖纠苑椒ǖ牧鞒虉D。
具體實施例方式本發(fā)明的原理主要涉及用于視頻壓縮的運動補償?shù)幕趯嵗某直媛实姆椒ê脱b置。本說明書示出了本發(fā)明的原理。因此，可以理解的是，本領域的技術人員能夠設計出各種布置，這些布置雖然沒有在本說明書中明確描述或示出，但是體現(xiàn)了本發(fā)明的原理并被包括在本發(fā)明的精神和范圍之內(nèi)。本說明書中列舉的所有的示例和條件性語言都旨在用于教導的目的，以幫助讀者理解本發(fā)明的原理和發(fā)明者貢獻的促進本技術領域發(fā)展的概念，并應該解釋為不限于這些具體陳述的示例和條件。此外，本說明書中所有詳述的本發(fā)明原理的原理、方面和實施例以及其特定例子的陳述都旨在同時包括其結構和功能的等價物。并且，這些等價物旨在包括當前已知的等價物和將在未來開發(fā)的等價物，即任何被開發(fā)出來執(zhí)行相同功能而不論其結構如何的元件。因此，例如，本領域的技術人員將會理解的是，本說明書中出現(xiàn)的框圖表示實施本發(fā)明原理的示例性電路系統(tǒng)的概念圖。類似地，將會理解的是，任何流程表、流程圖、狀態(tài)轉(zhuǎn)換圖、偽碼等表示可在計算機可讀媒體中被實質(zhì)性表示并由計算機或處理器執(zhí)行的各種過程，不論這些計算機或處理器是否明確地顯示出來。圖中所示的各種元件的功能可以通過使用專用硬件和能夠聯(lián)合合適的軟件執(zhí)行軟件的硬件提供。當由處理器提供時，該功能可以由單個專用的處理器或單個共用的處理器或其中有一些可以共用的多個獨立的處理器提供。并且，明確的使用術語“處理器”或“控制器”不應該被解讀為排他性地專指能夠執(zhí)行軟件的硬件，而應該被解讀為沒有限制地、隱含地包括數(shù)字信號處理器(DSP)硬件、用于存儲軟件的只讀存儲器(ROM)、隨機存儲器(RAM)和非易失性存儲器。還可以包括其他傳統(tǒng)和/或常規(guī)的硬件。相似地，圖中示出的任何開關都只是概念性的。它們的功能可以通過執(zhí)行程序邏輯、專用邏輯、程序控制和專用邏輯交互或者甚至手動進行，可以根據(jù)上下文更加詳細地理解可被實施者選擇的特定技術。在本說明書的權利要求中，任何被表達為執(zhí)行特定功能的部件的元件都旨在包括執(zhí)行該功能的任何方式，該功能包括例如a)執(zhí)行該功能的電路元件的組合或b)包括與合適的用于執(zhí)行軟件以完成該功能的電路組合在一起的固件、微碼等的任何形式的軟件。這些權利要求限定的本發(fā)明原理的主要特征在于由各個被列舉部件提供的功能以權利要求要求保護的方式組合并放置在一起的事實。因此，任何能夠提供這些功能的部件都被視為與這些在本說明書中示出的部件是等價的。本說明書中引用的本發(fā)明原理的“一個實施例”或“實施例”以及其他變型是指與實施例聯(lián)系在一起描述的特定特征、結構或特性等被包括在本發(fā)明原理的至少一個實施例內(nèi)。因此，出現(xiàn)在說明書中各個位置的詞語“在一個實施例中”或“在實施例中”以及其他變型并不一定都是指同一個實施例。應該理解的是，使用以下任何一個的和/或”以及“之中的至少一個”，例如，在“A/B”、“A和/或B”以及“A和B中的至少一個”情形中旨在包括只選擇列出的第一選項(A)，或只選擇列出的第二選項(B)，或同時選擇這兩個選項(A和B)。作為進一步的例子，在“A、B和/或C”以及“A、B和C中的至少一個”的情形中，這樣的措辭旨在包括只選擇列出的第一選項(A)，或只選擇列出的第二選項(B)，或只選擇列出的第三選項(C)，或只選擇列出的第一和第二選項(A和B)，或只選擇列出的第一和第三選項(A和C)，或只選擇列出的第二和第三選項(B和C)，或選擇所有的三個選項(A、B和C)。如本領域和相關領域普通技術人員容易認識到的，這可以被擴展用于很多列出的項目。并且，如此處使用的，在本說明書中可交換地使用詞語“畫面”和“圖像”，它們是指靜態(tài)的圖像或視頻序列中的畫面。眾所周知，畫面可以是一幀或半幀。正如上面所述，本發(fā)明的原理主要涉及運動補償?shù)幕趯嵗某直媛室曨l壓縮的方法和裝置。本發(fā)明的原理有利地提供了一種減少冗余代表補丁的數(shù)目并提升壓縮效率的方法。根據(jù)本發(fā)明的原理，本申請公開了一種將帶有顯著背景和物體運動的視頻片段轉(zhuǎn)換成相對靜態(tài)的視頻片段的構思。更具體地說，在圖4中，將帶有物體運動的視頻轉(zhuǎn)換成靜態(tài)視頻的示例性轉(zhuǎn)換整體用參考標號400表示。轉(zhuǎn)換400涉及應用于帶有對象運動的視頻410的第I幀、第2幀和第3幀以獲得靜態(tài)視頻420的第I幀、第2幀和第3幀的幀卷繞變換。變換400在聚類處理(即，編碼器側(cè)基于實例的超分辨率方法的處理組件)和編碼處理之前進行。然后，將變換參數(shù)發(fā)送到解碼器側(cè)以用于恢復。由于基于實例的超分辨率方法會導致獲得較高的靜態(tài)視頻壓縮效率，并且變換參數(shù)數(shù)據(jù)的大小通常非常小，因此通過將帶有運動的視頻變換成靜態(tài)視頻，可能在帶有運動的視頻的壓縮效率方面潛在地獲得收益。轉(zhuǎn)到圖5，供在編碼器中使用的帶有幀卷繞的用于運動補償?shù)幕趯嵗某直媛侍幚淼氖纠匝b置整體用參考標號500表示。裝置500包括運動參數(shù)估算器510，其具有與圖像卷繞器520的輸入端信號通信的第一輸出端。圖像卷繞器520的輸出端與基于實例的超分辨率編碼器側(cè)處理器530的輸入端信號通信連接。基于實例的超分辨率編碼器側(cè)處理器530的第一輸出端與編碼器540的輸入端信號通信連接，并向其提供縮減幀。基于實例的超分辨率編碼器側(cè)處理器530的第二輸出端的與編碼器540的輸入端信號通信連接，并向其提供補丁幀。運動參數(shù)估計器510的第二輸出端可用作裝置500的輸出端以用于提供運動參數(shù)。運動參數(shù)估計器510的輸入端可用作裝置500的輸入端以用于接收輸入視頻。編碼器540的輸出端(未示出)可用作裝置500的第二輸出端以用于輸出比特流。比特流可以包括例如已編碼的縮減幀、編碼器補丁幀和運動參數(shù)?？梢岳斫獾氖?，可以省略由編碼器540執(zhí)行的功能，即編碼，將縮減幀、補丁幀和運動參數(shù)不經(jīng)任何壓縮發(fā)送到解碼器側(cè)。然而，為了節(jié)省比特率，優(yōu)選地在被發(fā)送到解碼器側(cè)之前對縮減幀和補丁幀進行壓縮(通過編碼器540)。此外，在另一個實施例中，運動參數(shù)估計器510、圖像卷繞器520和基于實例的超分辨率編碼器側(cè)處理器530可以被包括在視頻編碼器中，成為視頻編碼器的一部分。因此，在編碼器側(cè)，在進行聚類處理之前，進行運動估計(通過運動參數(shù)估算器510)并應用幀卷繞處理(通過圖像卷繞器520)以將帶有活動物體或背景的幀變換成相對靜態(tài)的視頻。從運動估計處理中提取的參數(shù)通過單獨的信道被發(fā)送到解碼器側(cè)。轉(zhuǎn)到圖6，可以應用本發(fā)明的原理的示例性視頻編碼器整體用參考標號600表示。視頻編碼器600包括幀排序緩沖器610，幀排序緩沖器610具有與組合器685的非反相輸入端信號通信的輸出端。組合器685的輸出端與變換器和量化器625的第一輸入端信號通信連接。變換器和量化器625的輸出端與熵編碼器645的第一輸入端以及逆變換器和逆量化器650的第一輸入端信號通信連接。熵編碼器645的輸出端與組合器690的第一非反相輸入端信號通信連接。組合器690的輸出端與輸出緩沖器635的第一輸入端信號通信連接。編碼器控制器605的第一輸出端與幀排序緩沖器610的第二輸入端、逆變換器和逆量化器650的第二輸入端、畫面類型判定模塊615的輸入端、宏塊類型(MB類型)判定模塊620的第一輸入端、巾貞內(nèi)預測模塊660的第二輸入端、去塊濾波器665的第二輸入端、運動補償器670的第一輸入端、運動估計器675的第一輸入端和參考畫面緩沖器680的第二輸入端信號通信連接。編碼器控制器605的第二輸出端與補充增強信息(SEI)插入器630的第一輸入端、變換器和量化器625的第二輸入端、熵編碼器645的第二輸入端、輸出緩沖器635的第二輸入端以及序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器640的輸入端信號通信連接。SEI插入器630的輸出端與組合器690的第二非反相輸入端信號通信連接。畫面類型判定模塊615的第一輸出端與巾貞排序緩沖器610的第三輸入端信號通信連接。畫面類型判定模塊615的第二輸出端與宏塊類型判定模塊620的第二輸入端信號通信連接。序列參數(shù)集(SPS)和畫面參數(shù)集(PPS)插入器640的輸出端與組合器690的第三非反相輸入端信號通信連接。逆量化器和逆變換器650的輸出端與組合器619的第一非反相輸入端信號通信連接。組合器619的輸出端與巾貞內(nèi)預測模塊660的第一輸入端和去塊濾波器665的第一輸入端信號通信連接。去塊濾波器665的輸出端與參考畫面緩存器680的第一輸入端信號通信連接。參考畫面緩沖器680的輸出端與運動估計器675的第二輸入端和運動補償器670的第三輸入端信號通信連接。運動估計器675的第一輸出端與運動補償器670的第二輸入端信號通信連接。運動估計器675的第二輸出端與熵編碼器645的第三輸入端信號通信連接。運動補償器670的輸出端與開關697的第一輸入端信號通信連接。幀內(nèi)預測模塊660的輸出端與開關697的第二輸入端信號通信連接。宏塊類型判定模塊620的輸出端與開關697的第三輸入端信號通信連接。開關697的第三輸入端確定開關的“數(shù)據(jù)”輸入是(與控制輸入端比較，即，第三輸入端)由運動補償器670提供還是由幀內(nèi)預測模塊660提供。開關697的輸出端與組合器619第二非反相輸入端和組合器685的反相輸入端信號通信連接。幀排序緩沖器610的第一輸入端和編碼器控制器605的輸入端可用作編碼器600的輸入端以用于接收輸入畫面。并且，補充增強信息(SEI)插入器630的第二輸入端可用作輸入編碼器600的輸入端以用于接收元數(shù)據(jù)。輸出緩沖器635的輸出端的可用作編碼器100的輸出端以用于輸出比特流。可以理解的是，可以將圖5中的編碼器540實施為編碼器600。轉(zhuǎn)到圖7，編碼器中使用的用于運動補償?shù)幕趯嵗某直媛实氖纠苑椒ㄕw用參考標號700表示。方法700包括將控制權傳遞到功能塊710的開始塊705。功能塊710輸入帶有物體運動的視頻，并將控制權傳遞到功能塊715。功能塊715估計并保存帶有物體運動的輸入視頻的運動參數(shù)，并將控制權傳遞到循環(huán)限制塊720。循環(huán)限制塊720對每個幀執(zhí)行循環(huán)，并將控制權傳遞到功能塊725。功能塊725使用估計的運動參數(shù)對當前幀進行卷繞處理，并將控制權傳遞到判定塊730。判定塊730確定是否所有幀的處理都已經(jīng)完成。如果所有幀的處理都已經(jīng)完成，那么將控制權傳遞到功能塊735。否則，控制權返回到功能塊720。功能塊735執(zhí)行基于實例的超分辨率編碼器側(cè)的處理，并將控制權傳遞到功能塊740。功能塊740輸出縮減幀、補丁幀和運動參數(shù)，并將控制權傳遞到結束塊799。轉(zhuǎn)到圖8，解碼器中帶有逆幀卷繞的用于運動補償?shù)幕趯嵗某直媛侍幚淼氖纠匝b置整體用參考標號800表示。裝置800包括解碼器810，對由包括如上所述的編碼器540的裝置500產(chǎn)生的信號進行處理。裝置800包括具有與基于實例的超分辨率的解碼器側(cè)處理器820的第一輸入端和第二輸入端信號通信的輸出端的解碼器810，并向其分別提供(已解碼的)縮減幀和補丁幀?；趯嵗某直媛实慕獯a器側(cè)處理器820的輸出端也與逆幀卷繞器830的輸入端信號通信連接以用于向其提供超分辨的視頻。逆幀卷繞器830輸出端可用作裝置800的輸出端以用于輸出視頻。逆幀卷繞器830的輸入端可用于接收運動參數(shù)?？梢岳斫獾氖?，可以省略由解碼器810執(zhí)行的功能，即解碼，在解碼器側(cè)接收未經(jīng)任何壓縮的縮減幀和補丁幀。然而，為了節(jié)省比特率，優(yōu)選地在被發(fā)送到解碼器側(cè)之前對縮減幀和補丁幀進行壓縮。此外，在另一個實施例中，基于實例的超分辨率解碼器側(cè)處理器820和逆幀卷繞器可以被包括在視頻解碼器中，成為視頻解碼器的一部分。因此，在解碼器側(cè)，在幀通過基于實例的超分辨率恢復之后，進行逆卷繞處理將恢復的視頻片段變換到原始視頻的坐標系。逆卷繞處理使用在編碼器側(cè)估計并從編碼器側(cè)發(fā)送的運動參數(shù)。轉(zhuǎn)到圖9，可以應用本發(fā)明的原理的示例性視頻解碼器整體用參考標號900表示。視頻解碼器900包括輸入緩沖器910，輸入緩沖器910具有與熵解碼器945的第一輸入端信號通信連接的輸出端。熵解碼器945的第一輸出端與逆變換器和逆量化器950的第一輸入端信號通信連接。逆變換器和逆量化器950的輸出端與組合器925的第二非反相輸入端信號通信連接。組合器925的輸出端與去塊濾波器965的第二輸入端和幀內(nèi)預測模塊960的第一輸入端信號通信連接。去塊濾波器965的第二輸出端與參考畫面緩沖器980的第一輸入端信號通信連接。參考畫面緩沖器980的輸出端與運動補償器970的第二輸入端信號通信連接。熵解碼器945的第二輸出端與運動補償器970的第三輸入端、去塊濾波器965的第一輸入端和幀內(nèi)預測器960的第三輸入端信號通信連接。熵解碼器945的第三輸出端與解碼器控制器905的輸入端信號通信連接。解碼器控制器905的第一輸出端與熵解碼器945的第二輸入端信號通信連接。解碼器控制器905的第二輸出端與逆變換器和逆量化器950的第二輸入端信號通信連接。解碼器控制器905的第三輸出端與去塊濾波器965的第三輸入端信號通信連接。解碼器控制器905的第四輸出端與幀內(nèi)預測模塊960的第二輸入端、運動補償器970的第一輸入端和參考畫面緩沖器980的第二輸入端信號通信連接。運動補償器970的輸出端與開關997的第一輸入端信號通信連接。幀內(nèi)預測模塊960的輸出端與開關997的第二輸入端信號通信連接。開關997的輸出端與組合器925的第一非反相輸入端信號通信連接。輸入緩沖器910的輸入端可用作解碼器900的輸入端以用于接收輸入比特流。去塊濾波器965的第一輸出端可用作解碼器900的輸出端以用于輸出輸出畫面?？梢岳斫獾氖牵梢詫D8中的解碼器810實施為解碼器900。轉(zhuǎn)到圖10，解碼器中使用的運動補償?shù)幕趯嵗某直媛实氖纠苑椒ㄕw用參考標號1000表示。方法1000包括將控制權傳遞到功能塊1010的開始塊1005。功能塊1010輸入縮減幀、補丁幀和運動參數(shù)，并將控制權傳遞到功能塊1015。該功能塊1015執(zhí)行基于實例的超分辨率解碼器側(cè)的處理，并將控制權傳遞到循環(huán)限制塊1020。循環(huán)限制塊1020對每個幀執(zhí)行循環(huán)，并將控制權傳遞到功能塊1025。功能塊1025使用接收到的運動參數(shù)進行逆幀卷繞處理，并將控制權傳遞到判定塊1030。判決塊1030確定是否所有幀的處理都已經(jīng)完成。如果所有幀的處理都已經(jīng)完成，那么將控制權傳遞到功能塊1035。否則，控制權返回到功能塊1020。功能塊1035輸出恢復的視頻，并將控制權傳遞到結束塊1099。輸入視頻被劃分成若干幀組(G0F)。每個GOF是運動估計、幀卷繞和基于實例的超分辨率的一個基本單元。GOF中的一個幀(例如，在中間或開頭的幀)被選擇作為運動估計的參考幀。GOF可以具有固定或可變的長度。運動估計運動估計用于估計某一幀中的像素相對于參考幀的位移。由于運動參數(shù)必須被發(fā)送到解碼器裝置側(cè)，因此運動參數(shù)的數(shù)目應盡可能小。因此，優(yōu)選地選擇受較少數(shù)目的參數(shù)控制的特定的參數(shù)化運動模型。例如，在本說明書中公開的當前系統(tǒng)中，采用了可由8個參數(shù)描述的平面運動模型。這種參數(shù)運動模型能夠模擬在許多不同類型的視頻中常見的幀與中貞之間的全局運動，如平移(translation)、旋轉(zhuǎn)、仿射卷繞(affine warp)、投影變換等等。例如，當攝影機搖攝時，攝影機搖攝會導致平移運動。該模型可能不能很好地捕獲前景物體的運動，但如果前景物體較小，而背景運動是比較顯著，那么變換后的視頻仍將保持大多靜態(tài)。當然，使用能夠用8個參數(shù)描述的參數(shù)化運動模型僅是示例性的，因此，也可以根據(jù)本發(fā)明的原理的教導使用其他能夠用多于8個參數(shù)、小于8個參數(shù)或甚至是8個參數(shù)(其中一個或更多不同于上述模型)描述的參數(shù)化運動模型，與此同時保持本發(fā)明原理的精神。不失一般性地，假定參照幀是H1, GOF中其余的幀是Hi (i=2，3，...，N)。兩幀Hi和Hj之間的全局運動實際上可以用將Hi中的像素移動到它們在Hj中對應的像素位置的變換來表征，或反之亦然。從Hi到&的變換用Ou表示，其參數(shù)用表示。然后，可以使用變換 ij將Hi對準(或卷繞)到％ (或反之亦然，使用逆模型Θ J1= Θ J1)?？梢允褂酶鞣N模型和方法估計全局運動，因此，本發(fā)明的原理不限于任何特定的估計全局運動的方法和/或模型。作為一個實例，一個常用的模型(在本說明書中涉及的當前系統(tǒng)中使用的模型)是投影變換，由下式給出:
權利要求
1.一種裝置，包括: 基于實例的超分辨率處理器(820)，用于接收從帶有運動的輸入視頻序列的靜態(tài)版本中生成的一個或多個高分辨率替換補丁畫面，并執(zhí)行基于實例的超分辨率以從所述一個或多個高分辨率替換補丁畫面中生成所述輸入視頻序列的所述靜態(tài)版本的重建版本，所述輸入視頻序列的所述靜態(tài)版本的所述重建版本包括多個畫面；以及 逆圖像卷繞器(830)，用于接收所述輸入視頻序列的運動參數(shù)，并基于所述運動參數(shù)執(zhí)行逆畫面卷繞處理，以對所述多個畫面中的一個或多個進行變換以生成帶有所述運動的所述輸入視頻序列的重建。
2.如權利要求1所述的裝置，其中所述基于實例的超分辨率處理器(820)進一步用于接收來自所述輸入視頻序列的一個或多個縮減畫面，所述一個或多個縮減畫面用于生成帶有所述運動的所述輸入視頻序列的所述重建。
3.如權利要求1所述的裝置，進一步包括解碼器(810)，用于解碼比特流中的所述運動參數(shù)和所述一個或多個高分辨率替換補丁畫面。
4.如權利要求1所述的裝置，其中所述裝置被包括在視頻解碼器模塊(810)中。
5.如權利要求1所述的裝置，其中所述逆畫面卷繞處理將來自被包括在所述多個畫面中的畫面組之中的參考畫面對準來自所述畫面組之中的非參考畫面。
6.一種方法，包括: 接收(1010)帶有運動的輸入視頻序列的運動參數(shù)以及從所述輸入視頻序列的靜態(tài)版本中生成的一個或多個高分辨率替換補丁畫面； 執(zhí)行(1015)基于實例的超分辨率以從所述一個或多個高分辨率替換補丁畫面生成所述輸入視頻序列的所述靜態(tài)版本的重建版本，所述輸入視頻序列的所述靜態(tài)版本的所述重建版本包括多個畫面；以及 基于所述運動參數(shù)執(zhí)行(1025)逆畫面卷繞處理，以對所述多個畫面中的一個或多個進行變換以生成帶有所述運動的所述輸入視頻序列的重建。
7.如權利要求6所述的方法，其中執(zhí)行所述基于實例的超分辨率(1015)包括接收來自所述輸入視頻序列的一個或多個縮減畫面，所述一個或多個縮減畫面用于生成帶有所述運動的所述輸入視頻序列的所述重建。
8.如權利要求6所述的方法，進一步包括解碼比特流中的所述運動參數(shù)和所述一個或多個高分辨率替換補丁畫面。
9.如權利要求6所述的方法，其中所述方法在視頻解碼器中執(zhí)行。
10.如權利要求6所述的方法，其中所述逆畫面卷繞處理將來自被包括在所述多個畫面中的畫面組之中的參考畫面對準來自所述畫面組之中的非參考畫面。
11.一種裝置，包括: 用于接收帶有運動的輸入視頻序列的運動參數(shù)以及從所述輸入視頻序列的靜態(tài)版本中生成的一個或多個高分辨率替換補丁畫面的部件(820)； 用于執(zhí)行基于實例的超分辨率以從所述一個或多個高分辨率替換補丁畫面生成所述輸入視頻序列的所述靜態(tài)版本的重建版本的部件(820)，所述輸入視頻序列的所述靜態(tài)版本的所述重建版本包括多個畫面；以及 用于基于所述運動參數(shù)執(zhí)行逆畫面卷繞處理以對所述多個畫面中的一個或多個進行變換以生成帶有所述運動的所述輸入視頻序列的重建的部件(830)。
12.如權利要求11所述的裝置，其中所述用于執(zhí)行所述基于實例的超分辨率的部件(820)進一步用于接收來自所述輸入視頻序列的一個或多個縮減畫面，所述一個或多個縮減畫面用于生成帶有所述運動的所述輸入視頻序列的所述重建。
13.如權利要求11所述的裝置，進一步包括用于解碼比特流中的所述運動參數(shù)和所述一個或多個高分辨率替換補丁畫面的部件(810)。
14.如權利要求11所述的裝置，其中所述逆畫面卷繞處理將來自被包括在所述多個畫面中的畫面組之中的參考 畫面對準來自所述畫面組之中的非參考畫面。
全文摘要
本發(fā)明提供了使用用于視頻壓縮的運動補償?shù)幕趯嵗某直媛式獯a視頻信號的方法和裝置。一種裝置包括基于實例的超分辨率處理器(820)，用于接收從帶有運動的輸入視頻序列的靜態(tài)版本中生成的一個或多個高分辨率替換補丁畫面，并執(zhí)行基于實例的超分辨率以從一個或多個高分辨率替換補丁畫面中生成輸入視頻序列的靜態(tài)版本的重建版本，所述輸入視頻序列的所述靜態(tài)版本的所述重建版本包括多個畫面。該裝置進一步包括逆圖像卷繞器(830)，用于接收輸入視頻序列的運動參數(shù)，并基于運動參數(shù)執(zhí)行逆畫面卷繞處理以對多個畫面中的一個或多個進行變換以生成帶有運動的輸入視頻序列的重建。
文檔編號H04N7/26GK103210645SQ201180043275
公開日2013年7月17日 申請日期2011年9月9日 優(yōu)先權日2010年9月10日
發(fā)明者張冬青, M.G.雅各布, S.布哈加瓦賽 申請人:湯姆遜許可公司