專利名稱：一種用于降低多媒體數(shù)據(jù)編碼比特率的方法
技術(shù)領(lǐng)域：
本發(fā)明總的來(lái)說(shuō)涉及壓縮數(shù)據(jù)的系統(tǒng)和方法。
背景技術(shù)：
多種應(yīng)用中使用的多媒體數(shù)據(jù)(視頻、音頻、文本和它們的結(jié)合)具有很大程度的復(fù)雜性。在許多應(yīng)用中，主要通過(guò)數(shù)據(jù)壓縮來(lái)克服這種復(fù)雜性，以便實(shí)現(xiàn)有效率的處理、傳送、呈現(xiàn)和涉及多媒體數(shù)據(jù)的其它重要功能。
數(shù)據(jù)壓縮算法取決于數(shù)據(jù)組的冗余度，以便獲得編碼效率。通常地，使用數(shù)據(jù)組特征的先驗(yàn)知識(shí)來(lái)選擇該數(shù)據(jù)組的編碼算法實(shí)現(xiàn)數(shù)據(jù)壓縮。例如，圖象壓縮算法取決于圖象數(shù)據(jù)的空間相關(guān)性。具體來(lái)說(shuō)，我們知道各象素的等級(jí)(level)與相鄰象素的等級(jí)(level)緊密相關(guān)。類似地，各視頻幀內(nèi)一個(gè)象素的等級(jí)與先前視頻幀內(nèi)的同一象素和/或相鄰象素的等級(jí)緊密相關(guān)。相應(yīng)地，很多圖象和視頻壓縮算法產(chǎn)生“剩余”或“差別”信號(hào)，他們使用行程編碼(run lengths)和其它技術(shù)來(lái)利用空間和/或時(shí)間相關(guān)性編碼。例如，運(yùn)動(dòng)圖象專家組標(biāo)準(zhǔn)(MPEG standards)定義的壓縮算法就使用這些技術(shù)。
壓縮算法的性能取決于用來(lái)產(chǎn)生剩余信號(hào)的參考機(jī)制或函數(shù)(functionality)的選擇。在視頻壓縮算法中，通過(guò)假定存在相對(duì)嚴(yán)格的時(shí)間相關(guān)性來(lái)進(jìn)行參考幀的選擇?；谶@樣的假定，典型地通過(guò)檢查正在編碼的幀之前一定限量的先前幀來(lái)選擇參考幀。如果該視頻數(shù)據(jù)具有相對(duì)緊密的時(shí)間相關(guān)性，壓縮性能就是可接受的。但是，多媒體數(shù)據(jù)不是必需總遵循這樣的假定。因此，已知的壓縮算法可能不能有效地利用存在于多媒體數(shù)據(jù)中的冗余。

發(fā)明內(nèi)容
一些典型的實(shí)施例通常是關(guān)于這樣的算法，即通過(guò)利用數(shù)據(jù)的一個(gè)或幾個(gè)參考幀來(lái)計(jì)算和編碼剩余數(shù)據(jù)來(lái)壓縮當(dāng)前數(shù)據(jù)幀的算法。此外，一些典型的實(shí)施例通過(guò)產(chǎn)生最佳剩余數(shù)據(jù)使得可實(shí)現(xiàn)更大程度的數(shù)據(jù)壓縮。在一些典型的實(shí)施例中，最佳剩余數(shù)據(jù)是多個(gè)因子的函數(shù)，諸如當(dāng)前幀，一個(gè)或幾個(gè)參考幀，絕對(duì)差之和(SAD)，運(yùn)動(dòng)矢量值，塊能量，和/或其它系統(tǒng)變量。例如，傳統(tǒng)剩余數(shù)據(jù)塊中的一個(gè)值可以通過(guò)與該塊相關(guān)的SAD值的函數(shù)來(lái)變換或標(biāo)度(scale)。變換后的值然后用于編碼該特定數(shù)據(jù)元素的該剩余值。優(yōu)選地，這樣選擇該變換函數(shù)，以區(qū)分可以丟棄的信息(例如，噪聲、假象等)和對(duì)于圖象的感知質(zhì)量很重要的信息。通過(guò)能夠進(jìn)行這樣的區(qū)分，一些典型的實(shí)施例使得可進(jìn)行更大數(shù)量的數(shù)據(jù)壓縮。
前面已經(jīng)廣義地概括了本發(fā)明的特點(diǎn)和技術(shù)優(yōu)越性，以便可以更好地理解后續(xù)的本發(fā)明的詳細(xì)說(shuō)明。本發(fā)明的其它特點(diǎn)和技術(shù)優(yōu)越性將在此后說(shuō)明，他們構(gòu)成本發(fā)明的權(quán)利要求的主題。應(yīng)該理解，這里公開(kāi)的概念和具體實(shí)施例可以很容易地用于修正或設(shè)計(jì)實(shí)現(xiàn)本發(fā)明的相同目的的構(gòu)造的基礎(chǔ)。還應(yīng)認(rèn)識(shí)到，這樣的等同結(jié)構(gòu)不脫離所附權(quán)利要求定義的本發(fā)明范圍。本發(fā)明的特征的創(chuàng)新點(diǎn)，即指其結(jié)構(gòu)也包括操作方法，以及其它的目的和優(yōu)點(diǎn)，這些將在后面結(jié)合附圖的說(shuō)明中更好地理解。但是還應(yīng)理解，每個(gè)附圖是用于說(shuō)明的目的，不用來(lái)限定本發(fā)明的范圍。


為了更全面地理解本發(fā)明，請(qǐng)參考結(jié)合附圖的下面的說(shuō)明。其中圖1是根據(jù)本發(fā)明的一個(gè)典型實(shí)施例的壓縮視頻幀的流程圖；圖2-4是根據(jù)本發(fā)明的一些典型實(shí)施例的用于標(biāo)度剩余值的SAD值的變換函數(shù)；圖5是根據(jù)本發(fā)明的一個(gè)典型實(shí)施例的執(zhí)行數(shù)據(jù)壓縮的系統(tǒng)。
具體實(shí)施例方式
為了說(shuō)明根據(jù)本發(fā)明的一個(gè)典型性實(shí)施例的視頻幀的壓縮，請(qǐng)參考圖1。圖1的處理流程從步驟101開(kāi)始。在步驟101，定義一組非重疊象素宏塊。宏塊可以多個(gè)塊尺寸運(yùn)動(dòng)估計(jì)公開(kāi)的方式，再分成尺寸為16×16，16×8，8×16，8×8，4×8，4×4和/或等尺寸的子宏塊。子宏塊分割的不同模式可以應(yīng)用于各宏塊。再有，這種再分可以逐個(gè)幀地變化。每個(gè)宏塊可以包括多于一個(gè)成分或通道(例如，RGB，YIQ，YUV，YCbCr等)。
在步驟102，對(duì)于當(dāng)前幀中的每個(gè)塊，獲得最佳匹配塊。每個(gè)最佳匹配塊可以從參考幀中的相同尺寸的塊確定?；蛘?，最佳匹配塊可以與重疊運(yùn)動(dòng)估計(jì)類似的方式從更大塊中產(chǎn)生。再有，每個(gè)最佳匹配塊可以與子象素運(yùn)動(dòng)估計(jì)或重疊運(yùn)動(dòng)估計(jì)/補(bǔ)償算法類似的方式從相鄰塊的加權(quán)線性組合中確定。用于該多個(gè)塊以產(chǎn)生最佳匹配塊的權(quán)重可以逐象素地改變。還有，最佳匹配塊可以從預(yù)定距離的先前幀和預(yù)定距離的后續(xù)幀的組合中確定。在一個(gè)實(shí)施例中，搜索幀i中的塊中的最佳匹配塊的過(guò)程可以跨越幀i-2，i-1，i+1，i+2以及其中的任何塊。最佳匹配塊的確定也可以使用當(dāng)前幀。此外，各最佳匹配塊可以與擴(kuò)展的運(yùn)動(dòng)估計(jì)類似的方式利用所選象素的重復(fù)來(lái)形成。例如，步驟101和102可以利用標(biāo)準(zhǔn)視頻處理算法來(lái)執(zhí)行，諸如各種MPEG壓縮標(biāo)準(zhǔn)定義的算法。
在步驟103，對(duì)于當(dāng)前幀內(nèi)的每個(gè)塊，分析其相應(yīng)的最佳匹配塊。這種分析可以包括計(jì)算通常的剩余幀。這種分析也可以包括執(zhí)行每個(gè)剩余塊的的絕對(duì)差之和的計(jì)算，確定每個(gè)剩余塊的能量，分析與每個(gè)剩余塊相關(guān)的運(yùn)動(dòng)矢量，檢查這些特征的過(guò)去幀的歷史，等等。
在步驟104，最佳剩余幀作為一個(gè)或幾個(gè)變量(例如最佳剩余＝函數(shù)F(通常剩余，一個(gè)或幾個(gè)其它參數(shù)))的函數(shù)來(lái)計(jì)算。在一個(gè)實(shí)施例中，使用了與通常剩余幀的每個(gè)塊相關(guān)的所選參數(shù)的變換函數(shù)。該變換函數(shù)為通常剩余幀中的每個(gè)數(shù)據(jù)元素進(jìn)行估計(jì)，剩余幀的每個(gè)數(shù)據(jù)元素根據(jù)結(jié)果值進(jìn)行標(biāo)度。每個(gè)數(shù)據(jù)元素標(biāo)度之后，通常剩余幀就被變換成最佳剩余幀。也可以使用多個(gè)函數(shù)來(lái)產(chǎn)生單一的最佳剩余幀。這些函數(shù)可以是線性或非線性的。
選擇每個(gè)函數(shù)來(lái)區(qū)分對(duì)圖象數(shù)據(jù)的感知質(zhì)量有用的信號(hào)信息和不重要的信號(hào)信息(諸如誤差、噪聲、假象等)。再有，這些函數(shù)可以有多種形式和/或格式。例如，假定壓縮算法應(yīng)用于根據(jù)攝象機(jī)的慢速運(yùn)動(dòng)“拖曳”取得的視頻。可以使用較低復(fù)雜度的函數(shù)?；蛘?，當(dāng)一個(gè)場(chǎng)景具有更復(fù)雜攝象機(jī)運(yùn)動(dòng)和目標(biāo)運(yùn)動(dòng)時(shí)，可以使用更復(fù)雜的函數(shù)，以決定可以丟棄剩余幀的哪些信息(或者等同地，在給定計(jì)算量、資源和時(shí)間限制條件下可以產(chǎn)生的最佳剩余幀是什么)。最佳參考幀不同于已知的剩余幀，不同之處在于最佳參考幀不編碼全部不同點(diǎn)。具體來(lái)說(shuō)，應(yīng)用變換函數(shù)除去了對(duì)于數(shù)據(jù)感知質(zhì)量不重要的信息。因此實(shí)現(xiàn)更大數(shù)量的數(shù)據(jù)壓縮。
在步驟105，可以進(jìn)行典型的剩余處理，諸如采用離散余弦變換(DCT)，或者其它變換、量化、熵編碼(例如霍夫曼編碼，算術(shù)編碼等)、運(yùn)動(dòng)矢量相關(guān)，等等。MPEG標(biāo)準(zhǔn)定義的典型處理也可以使用。
壓縮之后，可以利用傳統(tǒng)的處理方法恢復(fù)數(shù)據(jù)。例如，傳統(tǒng)的MPEG解碼器可以用于恢復(fù)被壓縮的數(shù)據(jù)。由于應(yīng)用了變換函數(shù)，可能不能恢復(fù)特定幀的準(zhǔn)確的視頻數(shù)據(jù)(即該壓縮是有損壓縮)。但是，優(yōu)選地，變換函數(shù)的選擇最好是使得有錯(cuò)的或不太重要的信息從剩余數(shù)據(jù)刪除。因此，解壓縮視頻數(shù)據(jù)的觀看者不會(huì)體驗(yàn)到圖象質(zhì)量的不適當(dāng)?shù)慕档汀?br> 雖然圖1描述了視頻數(shù)據(jù)的壓縮，但是本發(fā)明不限于此。對(duì)于可以接受有損壓縮的任何類型的數(shù)據(jù)，可以采用其它的典型實(shí)施例。
圖2表示根據(jù)本發(fā)明一個(gè)典型實(shí)施例的用于剩余數(shù)據(jù)的函數(shù)200。函數(shù)200是SAD值的分段線性函數(shù)。函數(shù)200分成幾個(gè)區(qū)域，每個(gè)區(qū)域具有其自己的參數(shù)值(在簡(jiǎn)化的線性情況下，即直線的斜度)。對(duì)于小SAD值來(lái)說(shuō)，直線是陡的，以便減少最佳剩余數(shù)據(jù)(來(lái)反映這樣的事實(shí)，即差值可能是噪聲或誤差)?；蛘?，對(duì)于大的SAD值來(lái)說(shuō)，直線變得平緩，以便可以編碼全部剩余值?？梢越?jīng)訓(xùn)練或先前的統(tǒng)計(jì)來(lái)獲得各區(qū)域。
圖3和4分別表示根據(jù)本發(fā)明的其它典型實(shí)施例的函數(shù)300和400。函數(shù)300壓縮與小SAD值有關(guān)的差，同時(shí)強(qiáng)調(diào)與大SAD值(例如重要的新的視頻特征)有關(guān)的差。函數(shù)400具有“帶通”形狀。與小SAD值和大SAD值有關(guān)的差被壓縮。當(dāng)先驗(yàn)知識(shí)表明大的差值可能不可靠因此應(yīng)該被壓縮，可以使用函數(shù)400。在其它實(shí)施例中，類似地，變換函數(shù)可以是能量、熵和/或運(yùn)動(dòng)矢量的函數(shù)。
圖5表示根據(jù)本發(fā)明的一個(gè)典型實(shí)施例的壓縮視頻數(shù)據(jù)的系統(tǒng)500。系統(tǒng)500可以利用包括合適的計(jì)算資源(如處理器501，顯示器502和非可變存儲(chǔ)器503)的計(jì)算機(jī)平臺(tái)實(shí)施。非可變存儲(chǔ)器503可以用于存儲(chǔ)執(zhí)行視頻數(shù)據(jù)504的壓縮的代碼或軟件指令。例如，當(dāng)前視頻幀可以由最佳匹配塊模塊505處理。在從一個(gè)或幾個(gè)參考幀中確定了當(dāng)前幀數(shù)據(jù)的最佳匹配塊之后，傳統(tǒng)的剩余計(jì)算模塊506產(chǎn)生一剩余幀。變換函數(shù)模塊507利用一個(gè)或幾個(gè)變量來(lái)標(biāo)度傳統(tǒng)剩余幀的數(shù)據(jù)值，以產(chǎn)生一個(gè)最佳剩余幀。變量可以包括SAD值、能量值、運(yùn)動(dòng)矢量值等等。變換函數(shù)模塊507從剩余幀除去對(duì)圖象質(zhì)量來(lái)說(shuō)不重要的信息或者可能代表噪聲或誤差的信息。MPEG編碼模塊508處理最佳剩余幀，以產(chǎn)生壓縮的視頻數(shù)據(jù)509。壓縮的視頻數(shù)據(jù)509可以利用傳統(tǒng)MPEG解碼器/瀏覽器510來(lái)取得。
雖然為某些典型性實(shí)施例討論了MPEG編碼，但是根據(jù)其它的典型性實(shí)施例任何合適的編碼方案都可以使用。此外，雖然某些典型性實(shí)施例在此以軟件形式加以討論，但是可以利用任何其它合適的邏輯元素，諸如集成電路。
雖然已經(jīng)詳細(xì)說(shuō)明了本發(fā)明及其優(yōu)越性，但應(yīng)理解，在不脫離所附權(quán)利要求定義的本發(fā)明的條件下可以做出各種改變，替換和變化。此外，本申請(qǐng)的范圍不限定到此處說(shuō)明書(shū)中描述的處理方法，機(jī)器，制造，物質(zhì)構(gòu)成，手段，方法和步驟等的特定實(shí)施例。從說(shuō)明書(shū)可以容易理解，可以利用實(shí)質(zhì)上執(zhí)行了與這里說(shuō)明的相應(yīng)實(shí)施例相同功能或?qū)崿F(xiàn)了相同結(jié)果的目前已有的或者將來(lái)會(huì)開(kāi)發(fā)出的處理方法，機(jī)器，制造，物質(zhì)構(gòu)成，手段，方法和步驟。因此，所附的權(quán)利要求書(shū)旨在包括這些處理方法，機(jī)器，制造，物質(zhì)構(gòu)成，手段，方法或步驟。
權(quán)利要求
1.一種方法，包括接收要編碼的數(shù)據(jù)幀；產(chǎn)生剩余幀，該剩余幀代表接收的幀和一個(gè)或幾個(gè)參考幀之間的差；執(zhí)行所述剩余幀內(nèi)每個(gè)塊的絕對(duì)差之和(SAD)的計(jì)算；及將變換函數(shù)應(yīng)用到所述剩余幀內(nèi)的每個(gè)數(shù)據(jù)值，其中該變換函數(shù)至少是為包含各數(shù)據(jù)值的塊計(jì)算出的SAD值的函數(shù)。
2.如權(quán)利要求1的方法，其中所述的變換函數(shù)是分段函數(shù)。
3.如權(quán)利要求2的方法，其中所述的變換函數(shù)是對(duì)于各SAD值區(qū)域具有不同斜度的線性函數(shù)。
4.如權(quán)利要求1的方法，其中所述變換函數(shù)對(duì)于較低SAD值具有相對(duì)陡的斜度，對(duì)于較高SAD值具有相對(duì)平緩的斜度。
5.如權(quán)利要求1的方法，其中所述變換函數(shù)是與包含各數(shù)據(jù)值的塊有關(guān)的運(yùn)動(dòng)矢量的函數(shù)。
6.如權(quán)利要求1的方法，其中所述變換函數(shù)是與包含各數(shù)據(jù)值的塊有關(guān)的計(jì)算的能量的函數(shù)。
7.如權(quán)利要求1的方法，還包括在所述的變換函數(shù)應(yīng)用到剩余幀之后，編碼所述的剩余幀。
8.如權(quán)利要求1的方法，其中所述的數(shù)據(jù)幀是視頻序列幀。
9.一種用于壓縮視頻數(shù)據(jù)的系統(tǒng)，包括用于接收要編碼的數(shù)據(jù)幀的裝置；用于從所述的接收數(shù)據(jù)幀和一個(gè)或幾個(gè)參考幀中產(chǎn)生剩余幀的裝置；用于為所述的剩余幀的每個(gè)塊計(jì)算各量度的裝置，其中所述的量度表示所述的接收幀的一個(gè)塊和所述的剩余幀內(nèi)相應(yīng)塊之間的差；用于利用變換函數(shù)標(biāo)度所述剩余幀的每個(gè)數(shù)據(jù)元素的裝置，其中與包含各數(shù)據(jù)元素的剩余塊有關(guān)的計(jì)算出的量度提供到所述變換函數(shù)作為函數(shù)自變量。
10.如權(quán)利要求9的系統(tǒng)，其中所述量度是絕對(duì)差量度之和。
11.如權(quán)利要求9的系統(tǒng)，其中所述的變換函數(shù)是分段函數(shù)。
12.如權(quán)利要求11的系統(tǒng)，其中所述的變換函數(shù)是對(duì)于各SAD值區(qū)域具有不同斜度的線性函數(shù)。
13.如權(quán)利要求12的系統(tǒng)，其中所述變換函數(shù)對(duì)于較低SAD值具有相對(duì)陡的斜度，對(duì)于較高SAD值具有相對(duì)平緩的斜度。
14.如權(quán)利要求9的系統(tǒng)，其中所述變換函數(shù)是與包含各數(shù)據(jù)值的塊有關(guān)的運(yùn)動(dòng)矢量的函數(shù)。
15.如權(quán)利要求9的系統(tǒng)，其中所述變換函數(shù)是與包含各數(shù)據(jù)值的塊有關(guān)的計(jì)算的能量的函數(shù)。
16.如權(quán)利要求9的系統(tǒng)，還包括在所述的變換函數(shù)應(yīng)用到剩余幀之后編碼所述的剩余幀的裝置。
17.如權(quán)利要求9的系統(tǒng)，其中所述的數(shù)據(jù)幀是視頻序列幀。
全文摘要
一些典型的實(shí)施例是關(guān)于壓縮數(shù)據(jù)組的系統(tǒng)和方法。在一個(gè)實(shí)施例中，一種方法包括接收要編碼的數(shù)據(jù)幀，產(chǎn)生代表接收的幀和一個(gè)或幾個(gè)參考幀之間的差的剩余幀，執(zhí)行剩余幀內(nèi)每個(gè)塊的絕對(duì)差之和(SAD)的計(jì)算，將變換函數(shù)應(yīng)用到剩余幀內(nèi)的每個(gè)數(shù)據(jù)值，其中該變換函數(shù)至少是為包含各數(shù)據(jù)值的塊計(jì)算出的SAD值的函數(shù)。
文檔編號(hào)H04N7/32GK1943245SQ200680000021
公開(kāi)日2007年4月4日 申請(qǐng)日期2006年2月8日 優(yōu)先權(quán)日2005年2月8日
發(fā)明者火焰, 區(qū)子廉, 雷志斌 申請(qǐng)人:香港應(yīng)用科技研究院有限公司