專利名稱：功率最佳化的共位運動估測方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種適用于處理幀序列的運動估測方法和設(shè)備，其中幀被分成數(shù)據(jù)樣本塊。
本發(fā)明涉及包括這種運動估測方法的基于預(yù)測塊的編碼方法。還涉及相應(yīng)的編碼器。
本發(fā)明最后涉及一種用于實現(xiàn)所述運動估測方法的計算機程序產(chǎn)品。
本發(fā)明尤其與內(nèi)置有數(shù)字視頻編碼器的產(chǎn)品有關(guān)，比如，家用服務(wù)器、數(shù)字視頻記錄器、攝放像機，尤其是移動電話或個人數(shù)字助理，包括內(nèi)置相機的所述設(shè)備能夠獲取視頻數(shù)據(jù)和能夠在發(fā)送視頻數(shù)據(jù)之前對視頻數(shù)據(jù)進行編碼。
背景技術(shù)：
在常規(guī)的視頻編碼器內(nèi)，大多數(shù)存儲器轉(zhuǎn)儲(因而大部分的能量消耗)來自于運動估測。運動估測是依據(jù)率失真標準、當前決與候選參考塊之間的差來尋找當前塊與一組數(shù)個候選參考塊之間的最佳匹配，其中當前塊與候選參考塊之間的差形成殘余誤差塊，失真值由該殘余誤差塊得出。不過，這樣的運動估測方法并不是最佳的，尤其是在視頻編碼器嵌入在功率有限的便攜設(shè)備中的情況下。
有幾個設(shè)計者開發(fā)出了低功率方法。他們中的一些人提議進行計算簡化這些方法不夠用了。其他人試圖最小化存儲器存取。
在空間域中，N.Chaddha和M.Vishwanath所著的標題為《A LowPower Video Encoder with Power，Memory and BandwidthScalability》的文章(9thInternational Conference on VLSIDesign，第358-263頁，1996年1月)提出了基于分級向量量化的技術(shù)，這種技術(shù)賦予了編碼器依據(jù)可用帶寬和所需的視頻質(zhì)量改變其功耗的能力。
在時域中，C.De Vleeschouwer和T.Nilsson所著的標題為《Motion Estimation for Low-Power Devices》(ICIP2001，第953-959，2001年9月)提出了對常規(guī)的運動估測進行簡化，但是要以降低壓縮性能為代價。
這些現(xiàn)有技術(shù)的缺點要么是運動估測方法過度降低視頻質(zhì)量，要么就是并不能實現(xiàn)足夠的存儲器轉(zhuǎn)儲節(jié)約。

發(fā)明內(nèi)容
本發(fā)明的目的是提出一種在保持滿意的顯示質(zhì)量的同時減少存儲器轉(zhuǎn)儲的有效方式。
為此，按照本發(fā)明的運動估測方法的特征在于，它包括根據(jù)包含在當前幀中的當前決和包含在參考幀內(nèi)的參考決計算與運動向量候選對象相關(guān)的殘余誤差塊的步驟，所述參考塊在參考幀中的位置與當前塊在當前幀中的位置相同，運動向量候選對象定義包含參考塊的第一參考部分的虛擬塊關(guān)于所述參考塊的相對位置，殘余誤差塊是由下列值計算出來的-第一參考部分的數(shù)據(jù)樣本與相應(yīng)的當前塊的第一當前部分的數(shù)據(jù)樣本之間的第一差值，和-虛擬塊的與第一參考部分互補的第二參考部分的數(shù)據(jù)樣本的預(yù)測值與當前塊的與第一當前部分互補的第二當前部分的數(shù)據(jù)樣本之間的第二差值。
另一方面，按照本發(fā)明的運動估測方法僅僅使用范圍有限的數(shù)據(jù)樣本集，這個數(shù)據(jù)樣本集是在參考幀中的位置與當前塊在當前幀中的位置相同的參考塊。所述參考塊也稱為共位塊(collocated block)。由于使用了所述經(jīng)過減小的數(shù)據(jù)樣本集，按照本發(fā)明的運動估測方法是一種減小編碼器和解碼器中的存儲器轉(zhuǎn)儲的有效方式。而且，降低相應(yīng)視頻編碼電路的能耗提高了所述電路的可靠性，并且能夠?qū)崿F(xiàn)冷卻強度的明顯減弱。因此大大降低了生產(chǎn)成本。
另一方面，所述運動估測方法適用于確定參考塊的第一參考部分和當前塊的第一當前部分之間的運動向量，即，通過考慮所述當前和參考塊中類似的部分來確定所述運動向量。如果參考塊包括N×N個數(shù)據(jù)樣本，則所述運動向量可以從(-N+1，-N+1)變化到(N-1，N-1)。此外，該運動估測方法適用于預(yù)測缺失的數(shù)據(jù)樣本，即，屬于虛擬塊的第二參考部分的數(shù)據(jù)樣本。在后面更加詳細的介紹中，我們將會看出，這種預(yù)測可以按照不同的模式來完成。由于確定了運動向量和預(yù)測了相應(yīng)的缺失數(shù)據(jù)樣本，按照本發(fā)明的運動估測方法能夠保持滿意的顯示質(zhì)量。
從下文中介紹的實施例中，將會明顯看出本發(fā)明的這些和其它方面，并且將會參照下文中介紹的實施例說明本發(fā)明的這些和其它方面。


現(xiàn)在將參照附圖借助實例對本發(fā)明進行介紹，其中附圖1是常規(guī)視頻編碼器的框圖，附圖2表示常規(guī)的運動估測方法，附圖3A和3B表示按照本發(fā)明的運動估測方法，附圖4對應(yīng)于所述運動估測方法的第一實施例，附圖5對應(yīng)于所述運動估測方法的第二實施例，和附圖6對應(yīng)于所述運動估測方法的第三實施例。
具體實施例方式
本發(fā)明涉及一種用在適用于對幀序列進行處理的設(shè)備中的運動估測方法，其中幀被分成數(shù)據(jù)樣本塊，例如視頻數(shù)據(jù)樣本情況下的像素。所述設(shè)備是例如適用于對所述幀序列進行編碼的編碼器。
本發(fā)明尤其專用于視頻幀的編碼。它可以用在MPEG-4或H.264視頻編碼器中，或者用在任何等效的基于失真的視頻編碼器中。不過，對于本領(lǐng)域技術(shù)人員而言，有一點是顯而易見的，本發(fā)明還可以應(yīng)用于音頻幀序列的編碼或任何其它等效的編碼。
應(yīng)當注意，本發(fā)明并不局限于編碼，而是也可以應(yīng)用于其它類型的處理，比如圖像穩(wěn)定，在這種處理中，計算視頻幀不同數(shù)據(jù)塊的平均值，以便確定所述幀的全局運動。這種圖像穩(wěn)定處理可以在攝放像機中、在電視接收機中或者在視頻解碼器中在進行了圖像解碼之后進行。
本運動估測方法可以在手持設(shè)備中實現(xiàn)，比如移動電話或內(nèi)置相機，這些設(shè)備具有有限功率并且適用于對視頻幀序列進行編碼。
附圖1表示用于對輸入數(shù)據(jù)塊IN進行編碼的常規(guī)視頻編碼器。所述編碼器包括-減法器，用于得出主殘余誤差塊，-離散余弦變換DCT單元(11)和量化Q單元(12)，用于連續(xù)變換和量化主殘余誤差塊，
-可變長編碼VLC單元(13)，用于給出由經(jīng)過量化的數(shù)據(jù)塊得出可變長編碼的數(shù)據(jù)塊，-反量化IQ單元(14)和反離散余弦變換IDCT單元(15)，用于由經(jīng)過量化的數(shù)據(jù)決得出副殘余誤差決，-運動補償MC單元(16)，用于使用運動向量為加法器和減法器得出經(jīng)過運動補償?shù)臄?shù)據(jù)塊，減法器適用于從輸入數(shù)據(jù)塊中減去經(jīng)過運動補償?shù)臄?shù)據(jù)塊，-加法器，用于將經(jīng)過運動補償?shù)臄?shù)據(jù)塊與副殘余誤差塊相加，-運動估測ME單元(18)，用于在參考幀中找出與輸入數(shù)據(jù)塊相關(guān)的參考數(shù)據(jù)塊及其相應(yīng)的運動向量，和-外部幀存儲器模塊MEM(17)，該模塊與運動補償和運動估測單元相連。
這些常規(guī)的編碼器基于DCT變換、標量量化和運動估測/補償(ME/MC)。最后一項顯然是最耗能的。在對塊進行編碼時，運動估測單元ME在屬于參考幀RF1到RF3中的搜索區(qū)域SA的多個決中查找當前幀CF中當前決cb的最佳匹配塊塊，如附圖2所示。這代表著要像素進行多次存取，所以要對存儲器進行多次存取。搜索區(qū)域越大，存儲器的大小越大，從而能耗就越大。
本發(fā)明提出用所謂的“共位運動估測”來取代常規(guī)的運動估測，這是一種范圍受限的進行運動估測的方式，其中搜索區(qū)域包括經(jīng)過縮小的像素組。為了在使用較少數(shù)據(jù)的同時保持符合標準的編碼效率，本發(fā)明提出，對運動估測處理過程進行改造，并且將其與缺失像素的空間-時間預(yù)測混用。
附圖3A和3B表示按照本發(fā)明的運動估測方法。
所述運動估測方法包括將幀分成等大小的像素塊，例如N×N像素塊，其中N是整數(shù)。
然后它包括根據(jù)包含在當前幀CF內(nèi)的當前塊cb和包含在參考幀RF中的參考塊rb計算與運動向量候選對象MV相關(guān)的殘余誤差塊的步驟。按照本發(fā)明，參考決在參考幀中的位置(i，j)與當前塊在當前幀中的位置相同。換句話說，參考決與當前塊共位。運動向量候選對象MV定義包含參考塊rb的第一參考部分rbp1的虛擬塊vb關(guān)于所述參考塊的相對位置。
然后由下列值計算殘余誤差塊-第一參考部分rbp1的數(shù)據(jù)樣本與當前決的第一當前部分cbp1的相應(yīng)數(shù)據(jù)樣本之間的第一差值，第一當前部分cpb1相當于第一參考部分在當前幀中的投影按照運動向量候選對象MV進行平移的結(jié)果，和-虛擬塊的第二參考部分pred(該第二參考部分與第一參考部分互補)的數(shù)據(jù)樣本的預(yù)測值與當前決的第二當前部分cbp2(該第二當前部分與第一當前部分互補)的數(shù)據(jù)樣本之間的第二差值。
換句話說，我們令將要進行編碼的位置(x，y)的像素的殘余誤差塊值為r(x，y)。殘余誤差塊值是按照下式計算的r(x，y)＝如果(x+vx，y+vy)∈rbrb(x+vx，y+vy)-cb(x，y)否則pred(rb，cb(x，y))其中pred(rb，cb(x，y))是使用參考塊和所要編碼的當前塊的預(yù)測器，并且其中(vx，vy)是運動向量的坐標。
總地來說，第二參考部分pred的像素值是由參考決rb的像素值預(yù)測出來的，但并非必須如此，后面我們將會看出這一點。
這樣的運動估測方法稱為共位運動估測方法。按照所述共位運動估測，當前塊cb(即，所要編碼的塊)的最佳匹配塊是在參考塊rb內(nèi)搜索的。為此，所述運動估測方法適用于在參考塊的第一參考部分與當前塊的第一當前部分之間測試不同的運動向量候選對象MV，預(yù)定運動向量候選對象對應(yīng)于預(yù)定大小的部分。因此如果參考塊包括N×N個像素，則所述運動向量候選對象能夠從坐標為(-N+1，-N+1)的運動向量Mvmin變化到坐標為(N-1，N-1)的運動向量Nvmax。
對一組運動向量候選對象重復(fù)進行計算殘余誤差塊的步驟。按照本發(fā)明的運動估測方法此外還包括針對該組中的運動向量候選對象根據(jù)它們的相關(guān)殘余誤差塊值計算失真值的步驟。該運動估測方法最后包括選擇失真值最小的運動向量候選對象的步驟。
這一處理過程稱為塊匹配，并且基于例如按照本領(lǐng)域技術(shù)人員公知的原理進行的絕對差求和SAD計算。該計算步驟基于(作為其它實例)絕對平均誤差MAE計算或者均方誤差MSE計算。對本領(lǐng)域技術(shù)人員顯而易見的是，失真值可以使用其它等價的計算過程來計算。例如，它可以基于殘余誤差塊的熵h的和以及均方誤差MSE。
按照常規(guī)的編碼方案對殘余誤差塊和選定的運動向量進行傳送。
除了運動向量候選對象(0，0)之外，某些像素對于失真值的計算總是缺失的。可以使用多種預(yù)測缺失像素的方法。
附圖4表示稱為共位預(yù)測的所述運動估測方法的第一實施例。按照這種實施例，第二參考部分pred的像素p’的值是由與第二參考部分的像素按照運動向量候選對象MV的反向進行平移的結(jié)果相對應(yīng)的像素的值得出的。換句話說，缺失像素p’是按照下式根據(jù)與當前像素cb(x，y)共位的像素rb(x，y)預(yù)測出來的pred(rb，cb(x，y))＝rb(x，y)-cb(x，y)。
注意，在附圖4到6中，箭頭diff1代表第一參考部分rbp1的像素與第一當前部分cbp1的相應(yīng)像素之間的第一差值的計算，箭頭diff2代表第二差值的計算。
附圖5表示稱為邊緣預(yù)測的運動估測方法的第二實施例。按照這種實施例，第二參考部分的像素值是根據(jù)參考塊的像素值的第一插值預(yù)測出來的。所述預(yù)測定位為下式pred(rb，cb(x，y))＝rb(proj(x)，proj(y))-cb(x，y)，其中proj()函數(shù)適用于確定第二參考部分pred的像素p’關(guān)于參考塊的水平和/或垂直邊緣的對稱像素p”和采用所述對稱像素p”的值作為參考值rb(x”，y”)，如附圖5所示。
附圖6表示所述運動估測方法的第三實施例。它稱為空間插值預(yù)測。按照這種實施例，第二參考部分pred的像素值是由第一參考部分的多個像素的像素值的插值得出的。例如，第二參考部分的像素p’的值是由屬于參考塊rb的與像素p’在同一行或同一列上的像素插值出來的。
按照本發(fā)明的另一種實施例，單獨一個預(yù)測值pred_value是由參考塊rb得出的。相應(yīng)的殘余誤差塊值是按照下式計算出來的r(x，y)＝cb(x，y)-pred_value將pred_value設(shè)定為參考決rb值的平均值或參考塊rb值的中值。
按照本發(fā)明的另一種實施例，進行嚴格的空間預(yù)測。在這種情況下，不使用參考塊。預(yù)測值pred_value是當前塊頂部的像素行L或當前塊左側(cè)的像素列C的平均值或中值，如附圖3A所示。另一種可選方案是，預(yù)測值可以是恒定值，例如，如果像素值包含在0和255之間，則該恒定值為128。
對本領(lǐng)域的技術(shù)人員顯而易見，也可以給出其它的確定預(yù)測值的方法。例如，可以是最頻繁出現(xiàn)的值，即參考塊rb的直方圖的峰值，或者與行L、列C和/或參考塊rb相關(guān)的值。
前文中的附圖以及它們的說明適用于解釋說明，而不是對本發(fā)明進行限定。對于本領(lǐng)域的技術(shù)人員，顯然，有很多落在所附權(quán)利要求的范圍之內(nèi)的其它可選方案。
例如可以利用僅僅一個預(yù)測函數(shù)使用按照本發(fā)明的運動估測方法，或者利用前面所述的多個預(yù)測函數(shù)使用按照本發(fā)明的運動估測方法，各個預(yù)測函數(shù)是共同起作用的，而且運動向量本身也是共同起作用的，并且是借助失真標準選定的。
共位運動搜索可以基于三維遞歸搜索3DRS，或者分級塊匹配算法HBMA的算法?？梢砸酝瑯拥姆绞讲捎米酉袼丶毞?。運動并不局限于平移；它例如可以支持仿射模型。
所提出的方法可以應(yīng)用于任何使用由于帶寬有限或由于能耗過高而構(gòu)成瓶頸的外部存儲器的視頻編碼設(shè)備。后一原因在移動設(shè)備中尤其嚴重，在移動設(shè)備中，延長電池使用時間是關(guān)鍵要素。它代替任何類型的編碼器內(nèi)的常規(guī)運動估測。它可以用在例如家用網(wǎng)絡(luò)或代碼轉(zhuǎn)換應(yīng)用中。
按照本發(fā)明的運動估測方法可以借助硬件或軟件產(chǎn)品或者二者來實現(xiàn)。所述的硬件或軟件產(chǎn)品可以分別以多種方式實現(xiàn)，比如借助線接電子電路或借助適當程控的集成電路。集成電路可以包含在編碼器內(nèi)。集成電路包括指令集。這樣，所述包含在編碼器存儲器內(nèi)的指令集可以使編碼器執(zhí)行該運動估測方法的不同步驟。該指令集可以通過讀取諸如盤之類的數(shù)據(jù)載體來加載到程控存儲器內(nèi)。服務(wù)提供商還可以使得指令集可以通過諸如因特網(wǎng)之類的通信網(wǎng)絡(luò)得到。
所附權(quán)利要求中的任何附圖標記都不應(yīng)認為是對權(quán)利要求的限定。顯而易見的，使用詞“包括”及其同義詞并不排除除了任何權(quán)利要求中定義的步驟或單元之外還存在任何其它步驟或單元的可能。置于單元或步驟之前的詞“一個”或“一”并不排除存在多個這樣的單元或步驟的可能。
權(quán)利要求
1.一種用在適用于對幀序列進行處理的設(shè)備中的運動估測方法，幀被分成數(shù)據(jù)樣本塊，所述運動估測方法包括根據(jù)包含在當前幀(CF)中的當前塊(cb)和包含在參考幀(RF)內(nèi)的參考塊(rb)計算與運動向量候選對象(MV)相關(guān)的殘余誤差塊的步驟，所述參考塊在參考幀中的位置與當前塊在當前幀中的位置相同，運動向量候選對象定義包含參考塊的第一參考部分(rbp1)的虛擬塊(vb)關(guān)于所述參考塊的相對位置，殘余誤差塊是由下列值計算出來的-第一參考部分的數(shù)據(jù)樣本與相應(yīng)的當前塊的第一當前部分(cbp1)的數(shù)據(jù)樣本之間的第一差值，和-虛擬塊的與第一參考部分互補的第二參考部分(pred)的數(shù)據(jù)樣本的預(yù)測值與當前塊的與第一當前部分互補的第二當前部分(cbp2)的數(shù)據(jù)樣本之間的第二差值。
2.按照權(quán)利要求1所述的運動估測方法，其中第二參考部分的數(shù)據(jù)樣本值是由參考塊的數(shù)據(jù)樣本值預(yù)測出來的。
3.按照權(quán)利要求2所述的運動估測方法，其中第二參考部分的數(shù)據(jù)樣本值是由與當前塊的當前數(shù)據(jù)樣本共位的參考塊的數(shù)據(jù)樣本值得出的。
4.按照權(quán)利要求2所述的運動估測方法，其中第二參考部分的數(shù)據(jù)樣本值是由參考塊的至少一個數(shù)據(jù)樣本值的插值得出的。
5.按照權(quán)利要求1所述的運動估測方法，其中對一組運動向量候選對象重復(fù)進行計算殘余誤差塊的步驟，該運動估測方法此外還包括針對所述組中的運動向量候選對象根據(jù)它們的相關(guān)殘余誤差塊值計算失真值的步驟。
6.按照權(quán)利要求5所述的運動估測方法，還包括選擇失真值最小的運動向量候選對象的步驟。
7.按照權(quán)利要求6所述的運動估測方法，其中第二差值是按照不同的預(yù)測模式計算出來的，這些預(yù)測模式對于選擇失真值最小的運動向量候選對象是共同起作用的。
8.一種對幀序列進行編碼的基于預(yù)測塊的編碼方法，所述編碼方法包括權(quán)利要求1所述的用于將運動向量計算到期望的精度的運動估測方法，所述編碼方法此外還包括對所述運動向量及其相關(guān)殘余誤差塊進行編碼的步驟。
9.一種適用于對幀序列進行處理的運動估測設(shè)備，幀被分成數(shù)據(jù)樣本塊，所述設(shè)備包括用于根據(jù)包含在當前幀中的當前塊(cb)和包含在參考幀內(nèi)的參考塊(rb)計算與運動向量候選對象(MV)相關(guān)的殘余誤差塊的裝置，所述參考塊在參考幀中的位置與當前塊在當前幀中的位置相同，運動向量候選對象定義包含參考塊的一部分(rbp1)的虛擬塊(vb)關(guān)于所述參考塊的相對位置，該計算裝置配置為使得殘余誤差塊是由下列值計算出來的-第一參考部分的數(shù)據(jù)樣本與相應(yīng)的當前塊的第一當前部分(cbp1)的數(shù)據(jù)樣本之間的第一差值，和-虛擬塊的與第一參考部分互補的第二參考部分(pred)的數(shù)據(jù)樣本的預(yù)測值與當前塊的與第一當前部分互補的第二當前部分(cbp2)的數(shù)據(jù)樣本之間的第二差值。
10.一種對幀序列進行編碼的編碼器，包括權(quán)利要求9所述的用于將運動向量計算到期望的精度的運動估測設(shè)備，和用于對所述運動向量及其相關(guān)殘余誤差塊進行編碼的裝置。
11.一種計算機程序產(chǎn)品，包括用于在由處理器執(zhí)行所述程序的時候?qū)崿F(xiàn)權(quán)利要求1所述的運動估測方法的程序指令。
全文摘要
本發(fā)明涉及一種用在適用于對幀序列進行處理的設(shè)備中的運動估測方法，幀被分成數(shù)據(jù)樣本塊。所述運動估測方法包括根據(jù)包含在當前幀(CF)中的當前塊(cb)和包含在參考幀(RF)內(nèi)的參考塊(rb)計算與運動向量候選對象(MV)相關(guān)的殘余誤差塊的步驟，所述參考塊在參考幀中的位置與當前塊在當前幀中的位置相同。運動向量候選對象定義包含參考塊的第一參考部分(rbp1)的虛擬塊(vb)關(guān)于所述參考塊的相對位置。然后由下述值計算殘余誤差塊第一參考部分的數(shù)據(jù)樣本與相應(yīng)的當前塊的第一當前部分(cbp1)的數(shù)據(jù)樣本之間的第一差值，和虛擬塊的與第一參考部分互補的第二參考部分(pred)的數(shù)據(jù)樣本的預(yù)測值與當前塊的與第一當前部分互補的第二當前部分(cbp2)的數(shù)據(jù)樣本之間的第二差值。
文檔編號H04N7/50GK1871859SQ200480031596
公開日2006年11月29日 申請日期2004年10月20日 優(yōu)先權(quán)日2003年10月27日
發(fā)明者J·容格 申請人:皇家飛利浦電子股份有限公司