低復(fù)雜度模式選擇的制作方法
【專利摘要】一種編碼包括多個(gè)幀的輸出視頻流的方法，其中每個(gè)幀包括多個(gè)圖像部分，所述方法包括：針對(duì)每個(gè)要編碼的目標(biāo)圖像部分，通過優(yōu)化包括失真估計(jì)和碼率測量的函數(shù)，從編碼模式集中選擇優(yōu)選的模式，所述碼率是編碼所述目標(biāo)圖像部分所需的碼率；使用所述選定的編碼模式將所述目標(biāo)圖像部分編碼為所述輸出視頻流；以及通過有損通道傳輸所述編碼的輸出視頻流。所述失真估計(jì)包括第一項(xiàng)，其表示源編碼失真，以及偏置項(xiàng)，其表示由于在所述通道上的丟失經(jīng)歷的失真的估計(jì)。所述偏置項(xiàng)基于根據(jù)視頻流樣本訓(xùn)練的訓(xùn)練參數(shù)確定。
【專利說明】低復(fù)雜度模式選擇
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及當(dāng)使用幀內(nèi)編碼和幀間編碼來編碼視頻信號(hào)時(shí)，平衡碼率與失真之間的均衡。
【背景技術(shù)】
[0002]要編碼的視頻數(shù)據(jù)流在圖1a中示意性地示出。該視頻數(shù)據(jù)流包括多個(gè)幀(F)，每個(gè)幀表示不同時(shí)刻上的視頻圖像。本領(lǐng)域的技術(shù)人員將理解，為了進(jìn)行編碼，每個(gè)幀(F)被分為多個(gè)部分，并且每個(gè)部分還可被再細(xì)分為更小的子部分，每個(gè)部分或子部分包括多個(gè)像素。例如，根據(jù)一個(gè)術(shù)語，要編碼的視頻流的每個(gè)幀被分為多個(gè)宏塊(MB)并且每個(gè)宏塊被細(xì)分為塊(b)，每個(gè)塊包括多個(gè)像素。每個(gè)幀還可以被分為可獨(dú)立解碼的片(slice)(S)，每個(gè)片包括一個(gè)或多個(gè)宏塊。注意，圖1a所示的劃分僅作為示例，用于說明的目的，應(yīng)該理解，這些劃分不一定旨在對(duì)應(yīng)于任何實(shí)際的編碼方案-例如，每個(gè)幀可能包含更多數(shù)量的宏塊。
[0003]其中可采用視頻編碼的通信系統(tǒng)實(shí)例在圖2的框圖中示意性地示出。該通信系統(tǒng)包括第一發(fā)送端子12和第二接收端子22。例如，每個(gè)端子12、22可以包括移動(dòng)電話或智能電話、平板計(jì)算機(jī)、膝上型計(jì)算機(jī)、桌面計(jì)算機(jī)或其它家用電器，例如電視機(jī)、機(jī)頂盒、立體音響系統(tǒng)等。第一和第二端子12、22分別在操作上與通信網(wǎng)絡(luò)32相連，因此，第一發(fā)送端子12被設(shè)置為發(fā)送將被第二接收端子22接收的信號(hào)。當(dāng)然，發(fā)送端子12還能從接收端子22接收信號(hào)或者接收端子22從發(fā)送端子12接收信號(hào)，但是為了進(jìn)行說明，此處從第一端子12的角度描述發(fā)送，從第二端子22的角度描述接收。通信網(wǎng)絡(luò)32例如可以包括基于分組的網(wǎng)絡(luò)，例如廣域互聯(lián)網(wǎng)和/或局域網(wǎng)，和/或移動(dòng)蜂窩網(wǎng)絡(luò)。
[0004]第一端子12包括存儲(chǔ)介質(zhì)14，例如閃存或其它電子存儲(chǔ)器、磁存儲(chǔ)器件和/或光存儲(chǔ)器件。第一端子12還包括處理裝置16，該裝置采取具有一個(gè)或多個(gè)核的CPU的形式；收發(fā)器，例如具有至少發(fā)送器18的有線或無線調(diào)制解調(diào)器；以及視頻相機(jī)15，該相機(jī)可能(也可能不)與端子12的支架位于同一外殼內(nèi)。存儲(chǔ)介質(zhì)14、視頻相機(jī)15和發(fā)送器18分別在操作上與處理裝置16相連，并且發(fā)送器18通過有線或無線鏈路在操作上與網(wǎng)絡(luò)32相連。類似地，第二端子22包括存儲(chǔ)介質(zhì)24，例如電、磁和/或光存儲(chǔ)器件；以及處理裝置26，該裝置采取具有一個(gè)或多個(gè)核的CPU的形式。該第二端子包括收發(fā)器，例如具有至少接收器28的有線或無線調(diào)制解調(diào)器；以及屏幕25，該屏幕可能(也可能不)與端子22的支架位于同一外殼內(nèi)。第二端子的存儲(chǔ)介質(zhì)24、屏幕25和接收器28分別在操作上與各個(gè)處理裝置26相連，并且接收器28通過有線或無線鏈路在操作上與網(wǎng)絡(luò)32相連。
[0005]第一端子12上的存儲(chǔ)介質(zhì)14存儲(chǔ)至少視頻編碼器，該編碼器被設(shè)置為在處理裝置16上執(zhí)行。當(dāng)被執(zhí)行時(shí)，該編碼器從視頻相機(jī)15接收“原始”(未編碼)輸入視頻流，將該視頻流進(jìn)行編碼，從而將其壓縮為較低碼率的流，然后輸出經(jīng)過編碼的視頻流以便通過發(fā)送器18和通信網(wǎng)絡(luò)32發(fā)送到第二端子22的接收器28。第二端子22上的存儲(chǔ)介質(zhì)存儲(chǔ)至少視頻解碼器，該解碼器被設(shè)置為在其自己的處理裝置26上執(zhí)行。當(dāng)被執(zhí)行時(shí)，該解碼器從接收器28接收經(jīng)過編碼的視頻流并對(duì)其進(jìn)行解碼，從而將其輸出到屏幕25?？捎糜谥复幋a器和/或解碼器的普通術(shù)語為編解碼器。
[0006]視頻編碼解碼器的目標(biāo)是減小發(fā)送視頻信號(hào)所需的碼率，同時(shí)保持可能的最高質(zhì)量。該目標(biāo)利用統(tǒng)計(jì)冗余度(視頻信號(hào)的相似度)和感知不相干性(與人類視覺系統(tǒng)的敏感性有關(guān))來實(shí)現(xiàn)。
[0007]現(xiàn)今的多數(shù)視頻編解碼器基于包括根據(jù)其它像素塊預(yù)測像素塊，變換預(yù)測殘差，量化變換系數(shù)，以及對(duì)量化指數(shù)進(jìn)行熵編碼的體系結(jié)構(gòu)。這些步驟有助于減少冗余度和不相干性。
[0008]現(xiàn)在參考以下文檔:
[1]ITU-T, Recommendation H.264, “Advanced video coding for genericaudiovisual services，，，2007 年；
[2]張等人在2004年發(fā)表于IEEE國際圖像處理會(huì)議記錄163-166頁的“Errorresilience video coding in H.264 encoder with potential distortion tracking” ;
[3]M.Barkowsky.B.Eskofier、R.Bitto、J.Bialkowski 和 A.Kaup 在 2007 年發(fā)表于MobConQoE 07:移動(dòng)內(nèi)容質(zhì)量體驗(yàn)研討會(huì)的第1-7頁的“Perceptually motivatedspatial and temporal integration of pixel based video quality measures, ” ；
[4]IS0/IEC MPEG 和 ITU-T VCEG 的視頻聯(lián)合組(JVT)，文檔號(hào) JVT-N046 ；
[5]IS0/IEC MPEG 和 ITU-T VCEG 的視頻聯(lián)合組(JVT)，文檔號(hào) JVT- V079 ；
[6]G.J.Sullivan和T.Wiegand在1998年11月發(fā)表于IEEE信號(hào)處理雜志第5卷、第 6 號(hào)，17-90 頁上的 “Rate-Distortion Optimization for Video Compression，，)。
[0009]預(yù)測通?？筛鶕?jù)不同于當(dāng)前幀的視頻幀中的像素執(zhí)行(幀間預(yù)測)并且根據(jù)同一幀中的像素執(zhí)行(幀內(nèi)預(yù)測)。即，如果使用幀內(nèi)編碼進(jìn)行編碼，則幀的一個(gè)塊或部分(目標(biāo)塊或部分)相對(duì)于幀中的另一塊或圖像部分(基準(zhǔn)塊或部分)進(jìn)行編碼；并且如果使用幀間編碼進(jìn)行編碼，則目標(biāo)塊或部分相對(duì)于另一幀中的基準(zhǔn)塊或部分進(jìn)行編碼。此過程一般被稱為預(yù)測或預(yù)測編碼。因此，幀間或幀內(nèi)預(yù)測模塊在幀內(nèi)編碼的情況下產(chǎn)生例如采取鄰近塊指示形式的預(yù)測，和/或在幀間編碼的情況下產(chǎn)生移動(dòng)矢量。一般而言，編碼器還產(chǎn)生表示預(yù)測塊與實(shí)際塊之間的“剩余”差的殘差信號(hào)。殘差移動(dòng)矢量以及與幀內(nèi)預(yù)測關(guān)聯(lián)的任何所需數(shù)據(jù)然后被輸出到經(jīng)過編碼的視頻流，一般通過進(jìn)一步的編碼階段(例如量化器或熵編碼器)執(zhí)行此操作。因此，視頻中的多數(shù)塊可根據(jù)塊差進(jìn)行編碼，這樣，與編碼絕對(duì)像素值相比，編碼所需的比特?cái)?shù)較少，從而節(jié)省碼率。幀內(nèi)預(yù)測編碼一般需要比幀間預(yù)測更多的比特?cái)?shù)，但是仍然比編碼絕對(duì)值省碼率。適合于視頻的幀間編碼和幀內(nèi)編碼技術(shù)的細(xì)節(jié)對(duì)于本領(lǐng)域的技術(shù)人員而言是顯而易見的。
[0010]現(xiàn)代編解碼器允許針對(duì)幀內(nèi)的不同部分使用不同的預(yù)測編碼模式。具有不同編碼選項(xiàng)的可能性增加了視頻編解碼器的率失真效率。必須找到每個(gè)幀區(qū)域的最優(yōu)編碼表示。一般而言，此類區(qū)域?yàn)楹陦K，例如16X16像素。即，對(duì)于幀內(nèi)預(yù)測或幀間預(yù)測模式而言，因此可以針對(duì)每個(gè)宏塊單獨(dú)選擇，以便同一幀內(nèi)的不同宏塊可使用不同的模式進(jìn)行編碼。在某些編解碼器中，還可以根據(jù)不同的宏塊劃分水平使用不同的模式，例如，在較高復(fù)雜度模式或較低復(fù)雜度模式之間選擇，在所述較高復(fù)雜度模式中，針對(duì)宏塊內(nèi)的每個(gè)4X 4塊執(zhí)行單獨(dú)的預(yù)測，在所述較低復(fù)雜度模式中，僅基于8 X 8或8 X 16塊，甚至基于整個(gè)宏塊執(zhí)行預(yù)測?？捎媚Ｊ揭部梢园ㄓ糜趫?zhí)行預(yù)測的不同選項(xiàng)。例如，如圖1b中示意性地示出那樣，在一個(gè)幀內(nèi)模式中，4X4塊(b)的像素可通過從緊上面的塊的鄰近像素的向下外插或通過從緊左邊的塊向側(cè)面外插確定。被稱為“跳過模式”的另一特殊預(yù)測模式也可以在某些編解碼器中提供，此模式可被視為幀間模式的備選類型。在跳過模式(Pskip)中，目標(biāo)的移動(dòng)矢量基于到上面和到左邊的移動(dòng)矢量推斷，因此沒有殘差系數(shù)編碼。推斷移動(dòng)矢量的方式與移動(dòng)矢量預(yù)測一致，因此，移動(dòng)矢量差為零，因此只需要信號(hào)通知MB是跳過塊。
[0011]圖3是示意性地示出例如可以在發(fā)送端子12上實(shí)現(xiàn)的編碼器的高級(jí)框圖。該編碼器包括:離散余弦變換(DCT)模塊51、量化器53、逆變換模塊61、逆量化器63、幀內(nèi)預(yù)測模塊41、幀間預(yù)測模塊43和減法級(jí)(_)。編碼器還包括開關(guān)47和模式選擇模塊49。每個(gè)模塊或塊優(yōu)選地被實(shí)現(xiàn)為在發(fā)送端子的存儲(chǔ)介質(zhì)14上存儲(chǔ)的編碼的一部分，并且被設(shè)置為在其處理裝置16上執(zhí)行，但是也不排除某些或所有這些模塊全部或部分地在專用硬件電路中實(shí)現(xiàn)的可能性。
[0012]開關(guān)47和模式選擇模塊49中的每一者被設(shè)置為接收包括多個(gè)宏塊MB的輸入視頻流的實(shí)例。模式選擇模塊49被設(shè)置為針對(duì)每個(gè)宏塊選擇編碼模式“O”，并且在操作上與多工器47相連，以便以適合于選定模式的方式控制它將逆量化器63的輸出傳遞到幀內(nèi)預(yù)測模塊41或幀間模塊43的輸入端。模式選擇模塊49也可被設(shè)置為將選定模式“ο”指示給相關(guān)預(yù)測模塊41、43(例如，指示4X4劃分模式、8X8模式、跳過模式等)。幀內(nèi)預(yù)測模塊41或幀間預(yù)測模塊43的輸出端然后耦合到減法級(jí)(_)的輸入端，該減法級(jí)被設(shè)置為在另一輸入端上接收未編碼的輸入視頻流并從未編碼的部分減去預(yù)測塊，從而產(chǎn)生殘差信號(hào)。殘差塊然后通過變換(DCT)模塊51傳遞，其中其殘差值被轉(zhuǎn)換為頻域，然后轉(zhuǎn)換為量化器53，其中變換的值被轉(zhuǎn)換為離散量化指數(shù)。量化、變換的信號(hào)被反饋回逆量化器63和逆變換模塊61以產(chǎn)生預(yù)測塊版本(將在解碼器上看到)，以便由選定的預(yù)測模塊41、43使用。在預(yù)測模塊41、43中使用的預(yù)測的指示、幀間預(yù)測模塊43產(chǎn)生的移動(dòng)矢量，以及變換和量化模塊51、53產(chǎn)生的殘差的量化變換指數(shù)全部被輸出，并包括在經(jīng)過編碼的視頻流中，通常通過進(jìn)一步無損編碼階段(例如熵編碼器(未示出))執(zhí)行此操作，在所述無損編碼階段中，預(yù)測值以及變換、量化的指數(shù)可使用本領(lǐng)域公知的無損編碼技術(shù)進(jìn)行進(jìn)一步壓縮。
[0013]根據(jù)上面的描述，編碼表示因此可以包括塊劃分信息、預(yù)測模式、移動(dòng)矢量、量化精確度等。最優(yōu)編碼選項(xiàng)依賴于視頻內(nèi)容、碼率、較早期編碼決策等。變換系數(shù)的量化精確度通常被選擇為滿足碼率約束。而且可以最小化失真。
[0014]例如，H.264視頻編碼器在選擇預(yù)測模式[I]方面提供極大的靈活性。對(duì)于亮度分量的幀間預(yù)測，16 X 16像素的宏塊可被表示為一個(gè)16 X 16像素塊，或兩個(gè)16 X 8像素塊，或兩個(gè)8X 16像素塊,或四個(gè)8X8像素塊。進(jìn)一步地,8X8塊可被表示為一個(gè)8X8像素塊，或兩個(gè)8X4像素塊,或兩個(gè)4X8像素塊,或四個(gè)4X4像素塊。巾貞間預(yù)測針對(duì)每個(gè)允許的宏塊劃分嘗試。塊的幀間預(yù)測通過檢索(多個(gè))基準(zhǔn)幀和(多個(gè))移動(dòng)矢量(從相應(yīng)基準(zhǔn)幀中基準(zhǔn)塊的空間移動(dòng))表示，所述基準(zhǔn)幀和移動(dòng)矢量通常以子像素精確度估計(jì)。對(duì)于亮度分量的幀內(nèi)預(yù)測，對(duì)于16X16塊存在四種可能的模式，對(duì)于4X4塊存在九種可能的模式。進(jìn)一步地，對(duì)于色度分量，存在四種可能的模式。最佳預(yù)測模式通過比較幀間預(yù)測模式與幀內(nèi)預(yù)測模式的性能來選擇。
[0015]諸如H.264 AVC [I]之類的視頻編解碼器的率失真性能很大程度上依賴于宏模塊模式選擇O的性能。即，根據(jù)率失真確定宏塊是否被最佳編碼的過程使用例如幀間模式或幀內(nèi)模式(根據(jù)之前編碼的幀預(yù)測)進(jìn)行平衡。從魯棒的角度來看，幀內(nèi)編碼宏塊是有利的，因?yàn)樗鼈兺Ｖ箷r(shí)間誤差擴(kuò)散(propagation)(假設(shè)使用受約束的幀內(nèi)預(yù)測，即，禁止根據(jù)預(yù)測的宏塊執(zhí)行幀內(nèi)預(yù)測)。但是，與幀間編碼的宏塊相比，幀內(nèi)編碼的宏塊一般在碼率方面支出更大，因此系統(tǒng)性地引入幀內(nèi)編碼的宏塊非常重要，從而在給定特定碼預(yù)算的情況下，最小化解碼器上的失真(例如，平均失真)。
[0016]率失真性能優(yōu)化問題可根據(jù)在碼率約束R下最小化失真以公式表示。經(jīng)常使用拉格朗日優(yōu)化框架解決此問題。在此，優(yōu)化標(biāo)準(zhǔn)用以下公式表示
J=D(m, ο) + λ R(m, ο)(1)
其中/表示拉格朗日函數(shù)4表示失真測量(模式ο和宏塊m或者宏塊子劃分的函數(shù))，W是碼率，并且』是定義失真與碼率之間均衡的參數(shù)。
[0017]在該應(yīng)用中，解決拉格朗日優(yōu)化問題意味著查找最小化拉格朗日函數(shù)/的編碼模式O，其中拉格朗日函數(shù)/包括至少表示失真的項(xiàng)、表示碼率的項(xiàng)和表示二者之間均衡的系數(shù)(“拉格朗日乘數(shù)”)。當(dāng)編碼模式O朝著更細(xì)致或更佳質(zhì)量編碼模式變化時(shí)，失真項(xiàng)D將減小。但是，同時(shí)碼率項(xiàng)將增加，并且在依賴于λ的特定點(diǎn)上，7?的增加比D的減小更重要。因此，表達(dá)式/將具有某一最小值，并且發(fā)生這一現(xiàn)象的編碼模式O被視為最優(yōu)編碼模式。
[0018]在此方面，碼率7?而非』7?項(xiàng)對(duì)最優(yōu)化產(chǎn)生約束，因?yàn)樵擁?xiàng)將最優(yōu)編碼模式從不斷增加的質(zhì)量上拉回。找到此最優(yōu)平衡的模式將依賴于』，因此』可被視為表示碼率與失真間的均衡。
[0019]拉格朗日優(yōu)化通常用于選擇編碼決策的過程，并且適合于每個(gè)幀區(qū)域(例如，每個(gè)16X16像素宏塊)。
[0020]失真D可被量化為原始像素與重構(gòu)像素之間平方差和(SSD);并且可被計(jì)算為解釋所有處理階段，其中包括預(yù)測、變換(從每個(gè)塊或宏塊的像素空間域表示變換為諸如光頻域表示之類的變換域表示)和量化(將連續(xù)信號(hào)的數(shù)字近似值轉(zhuǎn)換為更離散的、低粒度量化水平的過程)。而且，為了計(jì)算重構(gòu)像素，必須執(zhí)行逆量化、逆變換和逆預(yù)測等步驟。SSD經(jīng)常被優(yōu)選為失真標(biāo)準(zhǔn)，因?yàn)樗鼘?dǎo)致更高的質(zhì)量。一般而言，碼率項(xiàng)R還解釋所有所需參數(shù)的編碼，其中包括描述預(yù)測的參數(shù)和量化的變換系數(shù)[4、5、6]。這些參數(shù)一般使用熵編碼器進(jìn)行編碼，并且在這種情況下，該碼率可以是通過熵編碼器獲取，或者可通過實(shí)際運(yùn)行熵編碼器并測量每種候選模式的結(jié)果碼率獲取的碼率的估計(jì)。熵編碼/解碼是無損過程，因此不影響失真。
[0021]此類過程在此可被稱為完全復(fù)雜度率失真優(yōu)化(或完全RD0) [4、5、6]。
[0022]張等人所發(fā)表的文檔[2]提出了一種系統(tǒng)框架以介紹幀內(nèi)編碼宏塊，其基于解碼器上預(yù)期平均平方差和[SSD]的最小值。而且，張考慮了基于誤差傳輸通道假設(shè)的端到端失真的估計(jì)。通過跟蹤潛在的失真，張等人能夠計(jì)算與預(yù)期誤差擴(kuò)散失真(在解碼器上)相關(guān)的偏置項(xiàng)，當(dāng)計(jì)算編碼器率失真環(huán)路內(nèi)宏塊間的成本時(shí)，該預(yù)期誤差擴(kuò)散失真被添加到源編碼失真上。
[0023]在[2]中，作者張等人估計(jì)由于源編碼和通道誤差導(dǎo)致的解碼器中的潛在失真。估計(jì)的潛在失真然后被間接地用于使模式選擇偏向幀內(nèi)編碼(如果存在通道誤差的可能性)。
[0024]張所稱的端到端失真表達(dá)式基于平方差和(SSD)失真測量并假設(shè)用于丟失宏塊的伯努利分布。最優(yōu)宏塊模式0_通過以下公式給出:
【權(quán)利要求】
1.一種編碼包括多個(gè)幀的輸出視頻流的方法，其中每個(gè)幀包括多個(gè)圖像部分，所述方法包括: 針對(duì)每個(gè)要編碼的目標(biāo)圖像部分，通過優(yōu)化包括失真估計(jì)和碼率測量的函數(shù)，從編碼模式集中選擇優(yōu)選的模式，所述碼率是編碼所述目標(biāo)圖像部分所需的碼率； 使用所述選定的編碼模式將所述目標(biāo)圖像部分編碼為所述輸出視頻流；以及 通過有損通道傳輸所述編碼的輸出視頻流； 其中所述失真估計(jì)包括第一項(xiàng)，其表示源編碼失真，以及偏置項(xiàng)，其表示由于在所述通道上的丟失經(jīng)歷的失真的估計(jì)；并且其中所述偏置項(xiàng)基于根據(jù)視頻流樣本訓(xùn)練的訓(xùn)練參數(shù)確定。
2.根據(jù)權(quán)利要求1的方法，其中: 所述偏置項(xiàng)基于第二項(xiàng)，其在表示所述目標(biāo)部分通過所述通道到達(dá)的情況下，由于預(yù)測所述目標(biāo)部分所依賴的所述目標(biāo)部分的歷史中的基準(zhǔn)部分未到達(dá)而經(jīng)歷的失真的估計(jì)，該偏置項(xiàng)還基于隱蔽項(xiàng)，其表示由于隱蔽而經(jīng)歷的失真的估計(jì)； 所述隱蔽項(xiàng)包括第三項(xiàng)，其表示所述目標(biāo)部分相對(duì)于圖像部分的隱蔽失真的測量，在所述目標(biāo)部分在所述通道上丟失的情況下，所述圖像部分用于隱蔽所述目標(biāo)部分的丟失，所述隱蔽項(xiàng)還包括第四項(xiàng)，其表示由于隱蔽所述目標(biāo)部分所依賴的所述目標(biāo)部分的歷史中的圖像部分丟失而經(jīng)歷的失真的估計(jì)；并且 所述第三項(xiàng)和所述第二項(xiàng)之 一包括所述訓(xùn)練參數(shù)。
3.根據(jù)權(quán)利要求1或2的方法，其中包括以下至少一項(xiàng): 所述第一項(xiàng)基于復(fù)雜度比所述偏置項(xiàng)所基于的一個(gè)或多個(gè)項(xiàng)更低的樣本之間差值測量; 所述第一項(xiàng)基于所述目標(biāo)圖像部分的原始樣本與預(yù)測樣本的絕對(duì)差值和； 所述第一項(xiàng)考慮由于預(yù)測編碼導(dǎo)致的失真而非由于量化導(dǎo)致的失真；并且所述第一項(xiàng)考慮由于預(yù)測編碼導(dǎo)致的失真而非由于從空間域表示到變換域表示的變換導(dǎo)致的失真。
4.根據(jù)權(quán)利要求2或3的方法，其中包括以下至少一項(xiàng): 所述第三項(xiàng)包括所述訓(xùn)練參數(shù)； 所述第三項(xiàng)基于所述目標(biāo)圖像部分的重構(gòu)樣本與用于隱蔽所述目標(biāo)部分的丟失的所述圖像部分的重構(gòu)樣本的絕對(duì)差值和； 所述第三項(xiàng)包括絕對(duì)差值和的所述訓(xùn)練參數(shù)次冪； 所述第三項(xiàng)包括平方差和乘以所述訓(xùn)練參數(shù)；并且所述第三項(xiàng)考慮由于預(yù)測編碼導(dǎo)致的失真而非由于量化導(dǎo)致的失真；并且所述第三項(xiàng)考慮由于預(yù)測編碼導(dǎo)致的失真而非由于從空間域表示到變換域表示的變換導(dǎo)致的失真。
5.根據(jù)上述任一權(quán)利要求的方法，其中所述訓(xùn)練參數(shù)被訓(xùn)練為最大化信噪比。
6.根據(jù)權(quán)利要求2至5中任一項(xiàng)的方法，其中包括以下至少一項(xiàng): 所述第二和第四項(xiàng)中的一個(gè)或全部基于所述樣本之間的平方差和； 所述第二和第四項(xiàng)中的一個(gè)或全部考慮同時(shí)由于預(yù)測編碼和量化導(dǎo)致的失真；以及 所述第二和第四項(xiàng)中的一個(gè)或全部考慮同時(shí)由于預(yù)測編碼和從空間域表示到變換域表示的變換導(dǎo)致的失真。
7.根據(jù)權(quán)利要求2至6中任一項(xiàng)的方法，其中包括確定在所述通道上丟失分組的概率/7，其中所述第二項(xiàng)根據(jù)因子2-/7或根據(jù)作為/7和碼率7?的函數(shù)的訓(xùn)練因子a (p, R)進(jìn)行加權(quán)，并且所述隱蔽項(xiàng)根據(jù)因子/7或根據(jù)也作為/7和碼率7?的函數(shù)的訓(xùn)練因子進(jìn)行加權(quán)。
8.根據(jù)權(quán)利要求2至7中任一項(xiàng)的方法，其中所述偏置項(xiàng)基于包括所述第二項(xiàng)和所述隱蔽項(xiàng)的誤差擴(kuò)散失真圖中的項(xiàng)，并且所述方法包括: 在每次選擇編碼模式之后更新所述誤差擴(kuò)散失真圖，并且根據(jù)用于每個(gè)相應(yīng)的后續(xù)編碼模式選擇的誤差擴(kuò)散失真圖確定誤差擴(kuò)散偏置項(xiàng)。
9.根據(jù)上述任一權(quán)利要求的方法，其中所述偏置項(xiàng)整合過去的丟失隨時(shí)間繼續(xù)的效應(yīng)。
10.一種用于編碼包括多個(gè)幀的輸出視頻流的裝置，其中每個(gè)幀包括多個(gè)圖像部分，所述裝置包括: 編碼器，其被配置為針對(duì)每個(gè)要編碼的目標(biāo)圖像部分，通過優(yōu)化包括失真估計(jì)和碼率測量的函數(shù)，從編碼模式集中選擇優(yōu)選的模式，所述碼率是編碼所述目標(biāo)圖像部分所需的碼率； 其中所述編碼器被配置為使用所述選定的編碼模式將所述目標(biāo)圖像部分編碼為所述輸出視頻流； 所述裝置包括發(fā)送器，用于通過有損通道傳輸所述編碼的輸出視頻流； 所述失真估計(jì)包括第一項(xiàng)，其表示源編碼失真，以及偏置項(xiàng)，其表示由于在所述通道上的丟失經(jīng)歷的失真的估計(jì)；并且 所述編碼器被配置為使得所述偏置項(xiàng)基于根據(jù)視頻流樣本訓(xùn)練的訓(xùn)練參數(shù)確定。
【文檔編號(hào)】H04N19/89GK103650493SQ201280031159
【公開日】2014年3月19日 申請(qǐng)日期:2012年6月22日 優(yōu)先權(quán)日:2011年6月24日
【發(fā)明者】M.尼爾松, R.瓦芬, S.V.安德森 申請(qǐng)人:斯凱普公司