專利名稱：自適應(yīng)影響區(qū)域?yàn)V波器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻壓縮領(lǐng)域。
背景技術(shù)：
時(shí)間預(yù)測(cè)濾波器被用在視頻壓縮過程中，用來根據(jù)一組預(yù)先解碼的參 考圖像預(yù)測(cè)目標(biāo)圖像。時(shí)間預(yù)測(cè)過程能有效地去除大量時(shí)間冗余，這一般 會(huì)帶來更高的編碼效率。預(yù)測(cè)過程使用一組運(yùn)動(dòng)向量和一個(gè)作用于運(yùn)動(dòng)向 量的濾波器來預(yù)測(cè)目標(biāo)圖像。例如，預(yù)測(cè)方法將參考圖像110劃分成多個(gè)固定大小的區(qū)塊(block) 120，如圖1所示。每個(gè)區(qū)塊具有一個(gè)相關(guān)聯(lián)的運(yùn)動(dòng)向量，以描述該區(qū)塊 相對(duì)于目標(biāo)圖像的運(yùn)動(dòng)。運(yùn)動(dòng)向量由圖像110中的白點(diǎn)示出。時(shí)間預(yù)測(cè)濾 波器使用相關(guān)聯(lián)的運(yùn)動(dòng)向量來對(duì)參考圖像中的每個(gè)區(qū)塊執(zhí)行簡單的運(yùn)動(dòng)補(bǔ) 償技術(shù)，以預(yù)測(cè)該區(qū)塊在目標(biāo)圖像中的位置。從而，利用簡單的運(yùn)動(dòng)向 量，根據(jù)參考圖像中的區(qū)塊估計(jì)目標(biāo)圖像中的每個(gè)區(qū)塊。但是，該方法獨(dú) 立地對(duì)待每個(gè)運(yùn)動(dòng)向量，而不會(huì)適應(yīng)于圖像特征。傳統(tǒng)的時(shí)間濾波器使用單個(gè)運(yùn)動(dòng)向量來預(yù)測(cè)相關(guān)聯(lián)的區(qū)塊的位置，或 者依賴于針對(duì)規(guī)則的運(yùn)動(dòng)向量圖樣(pattern)定義的濾波器，從而需要規(guī) 則的運(yùn)動(dòng)向量分布來執(zhí)行時(shí)間預(yù)測(cè)。因此，它們無法使預(yù)測(cè)過程適應(yīng)于運(yùn) 動(dòng)向量的非規(guī)則圖樣。需要這樣一種濾波器，這種濾波器能夠使其抽頭和 濾波器系數(shù)局部適應(yīng)于運(yùn)動(dòng)向量的非規(guī)則圖樣的變化。還需要這樣一種時(shí) 間濾波器，這種時(shí)間濾波器具有適應(yīng)于對(duì)象邊界和空間紋理(spatial texture)的靈活性。發(fā)明內(nèi)容通過以下步驟執(zhí)行生成自適應(yīng)時(shí)間濾波器的方法在目標(biāo)圖像中的多個(gè)運(yùn)動(dòng)向量中的每一個(gè)周圍構(gòu)造運(yùn)動(dòng)向量區(qū)域單元，選擇目標(biāo)圖像中的像 素，在選定像素周圍構(gòu)造像素區(qū)域單元，確定運(yùn)動(dòng)向量區(qū)域單元與像素區(qū) 域單元之間的重疊面積，根據(jù)重疊面積生成濾波器權(quán)重，以及利用濾波器 權(quán)重來對(duì)選定像素進(jìn)行濾波。


通過結(jié)合附圖參考以下描述，以示例方式說明了本發(fā)明，并且能夠更 好地理解本發(fā)明，附圖中圖1示出了傳統(tǒng)的基于區(qū)塊的時(shí)間濾波器的示例。 圖2示出了自適應(yīng)時(shí)間濾波過程的示例。圖3示出了運(yùn)動(dòng)向量的非規(guī)則圖樣和自適應(yīng)時(shí)間濾波過程中使用的影 響區(qū)域單元的示例。圖4A和4B示出了生成在自適應(yīng)時(shí)間濾波過程中使用的自適應(yīng)時(shí)間濾波器的方法的示例。圖5示出了利用自適應(yīng)時(shí)間濾波器執(zhí)行的預(yù)測(cè)的示例。圖6示出了可用于自適應(yīng)時(shí)間濾波過程中的誤差減小方法的示例。圖7示出了使用自適應(yīng)時(shí)間濾波器的視頻壓縮編程過程的示例。圖8示出了使用自適應(yīng)時(shí)間濾波器的解碼過程的示例。圖9示出了使用自適應(yīng)影響區(qū)域?yàn)V波器的系統(tǒng)的示例。
具體實(shí)施方式
在下面的描述中，參考了形成說明書的一部分的附圖，在附圖中以示 例方式示出了可以實(shí)現(xiàn)本發(fā)明的特定實(shí)施例。應(yīng)當(dāng)理解，可以采用其他實(shí) 施例，并且可以進(jìn)行結(jié)構(gòu)改變，而不脫離本發(fā)明的范圍。例如，本領(lǐng)域的 技術(shù)人員將會(huì)理解，用于描述各種實(shí)施例的術(shù)語"場(chǎng)"或者"幀"或者 "圖像"在參考視頻數(shù)據(jù)使用時(shí)是可互換的。自適應(yīng)影響區(qū)域(adaptive area of influence, AAOI)時(shí)間濾波器在預(yù) 測(cè)目標(biāo)圖像時(shí)自動(dòng)地適應(yīng)于運(yùn)動(dòng)向量的非規(guī)則圖樣、對(duì)象特征和空間紋 理。AAOI濾波器在時(shí)域中作用于經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)男盘?hào)，這不同于其他的嘗試直接對(duì)運(yùn)動(dòng)向量進(jìn)行濾波的方法(例如運(yùn)動(dòng)向量域中的三角剖分濾 波)。例如，因?yàn)锳AOI濾波方法在時(shí)域中工作，因此它更容易修正成適應(yīng)于對(duì)象和空間紋理。在一個(gè)實(shí)施例中，AAOI濾波器在像素預(yù)測(cè)期間執(zhí) 行兩階段過程來耦合相鄰的運(yùn)動(dòng)向量。第一階段使濾波器適應(yīng)于運(yùn)動(dòng)向量 的非規(guī)則采樣圖樣、適應(yīng)于對(duì)象形狀并且適應(yīng)于邊界。第二階段使濾波器 適應(yīng)于圖像的空間紋理。自適應(yīng)時(shí)間濾波過程的示例在圖2中示出。在210，為圖像生成運(yùn)動(dòng) 向量的非規(guī)則采樣圖樣。這種非規(guī)則圖樣生成可利用本領(lǐng)域的技術(shù)人員已 知的方法以各種方式來完成。運(yùn)動(dòng)向量的非規(guī)則圖樣的示例在圖3的方塊 310中示出。圖像310中的白點(diǎn)代表運(yùn)動(dòng)向量。利用該自適應(yīng)采樣圖樣， 在難以從參考圖像預(yù)測(cè)的區(qū)域(即具有更復(fù)雜的運(yùn)動(dòng)的圖像區(qū)域，例如靠 近運(yùn)動(dòng)邊界的區(qū)域)中，運(yùn)動(dòng)向量更集中。在諸如圖像背景區(qū)域之類的簡 單運(yùn)動(dòng)區(qū)域中放置的運(yùn)動(dòng)向量較少。返回圖2，在220，圖像被分區(qū)成多個(gè)單元，稱為影響區(qū)域單元(area of influence cell， AOI單元)，其中每個(gè)AOI單元具有一個(gè)運(yùn)動(dòng)向量作為 其節(jié)點(diǎn)。被分區(qū)成AOI單元的圖像的示例在圖3中的方塊320處示出。每 個(gè)AOI單元代表這樣一個(gè)區(qū)域，單元內(nèi)的運(yùn)動(dòng)向量對(duì)該區(qū)域的影響比圖像 中的任何其他運(yùn)動(dòng)向量的影響都要大。因?yàn)闉槊總€(gè)運(yùn)動(dòng)向量生成一個(gè)AOI 單元，所以AOI單元的大小可與圖像中的對(duì)象的特征(例如邊界區(qū)域)相 關(guān)。例如，靠近對(duì)象之間的邊界區(qū)域的AOI單元可以小于圖像背景區(qū)域中 的AOI單元。另外，AOI單元的形狀可被局部修正以適應(yīng)于對(duì)象邊界的形 狀。用于生成AOI單元的方法的一個(gè)實(shí)施例是距離最近運(yùn)動(dòng)向量分區(qū)方法(例如Voronoi單元)。可以使用其他分區(qū)方法，例如區(qū)塊或三角方法。 另外，AOI單元可被局部修正以適應(yīng)于對(duì)象邊界。返回圖2，在230，執(zhí)行初始運(yùn)動(dòng)估計(jì)以確定每個(gè)AOI單元中的運(yùn)動(dòng) 向量的初始值。初始運(yùn)動(dòng)估計(jì)將與運(yùn)動(dòng)向量相關(guān)聯(lián)的AOI單元映射到參考 圖像的相應(yīng)單元，并且測(cè)量兩個(gè)單元之間的位移。該位移提供了每個(gè)運(yùn)動(dòng) 向量的初始值。因此，初始值不反映來自周圍運(yùn)動(dòng)向量的任何影響，因?yàn)?它是由這種單元到單元的映射和位移測(cè)量結(jié)果來確定的。因此，特定運(yùn)動(dòng)向量的初始值是獨(dú)立于其他運(yùn)動(dòng)向量的。在240，對(duì)影響區(qū)域單元應(yīng)用自適應(yīng)影響區(qū)域(AAOK)濾波器，以 為目標(biāo)圖像執(zhí)行時(shí)間預(yù)測(cè)。在給定一組運(yùn)動(dòng)向量值和采樣圖樣的情況下， 在時(shí)域中應(yīng)用濾波器來為目標(biāo)圖像生成預(yù)測(cè)結(jié)果。AAOI濾波器使用由重 疊區(qū)域的面積所定義的濾波器抽頭和濾波器系數(shù)來捕捉與要預(yù)測(cè)的像素相 鄰的運(yùn)動(dòng)向量的相關(guān)性。在250，濾波器所產(chǎn)生的預(yù)測(cè)結(jié)果被用于重新估 計(jì)運(yùn)動(dòng)向量的值，以便提高自適應(yīng)濾波器的準(zhǔn)確度。在260，在一些實(shí)施 例中，過程可返回到240以減小由自適應(yīng)影響區(qū)域?yàn)V波器生成的預(yù)測(cè)誤 差。否則，過程在270結(jié)束。更詳細(xì)地參考圖2所示的240，對(duì)影響區(qū)域單元應(yīng)用自適應(yīng)影響區(qū)域?yàn)V波器，以從參考圖像和設(shè)置的運(yùn)動(dòng)向量生成目標(biāo)圖像的時(shí)間預(yù)測(cè)。濾波器具有以下結(jié)構(gòu)。令化}表示iV個(gè)運(yùn)動(dòng)向量的集合，/(x)表示參考圖像(預(yù)先解碼的圖像)。令S(x)表示圍繞像素x的位置的某個(gè)運(yùn)動(dòng)向量集合。該目標(biāo)像素x的預(yù)測(cè)一般可表達(dá)為 /—(x)= Zf(x + Vi)其中{/;}是濾波器系數(shù)的集合，并且x+v,是當(dāng)運(yùn)動(dòng)向量v,被應(yīng)用到像素義時(shí)經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)南袼?。濾波器的支撐或抽頭由集合S(x)表示。抽頭支撐和濾波器系數(shù){/;}一般是像素位置x及其鄰近的運(yùn)動(dòng)向量的函數(shù)。也就是 說，濾波器系數(shù)對(duì)于每個(gè)像素可能發(fā)生變化，因?yàn)樵谡麄€(gè)圖像中運(yùn)動(dòng)向量 的分布會(huì)發(fā)生變化。因此，濾波器局部適應(yīng)于變化中的運(yùn)動(dòng)向量圖樣。在一個(gè)實(shí)施例中，濾波器系數(shù)(^是利用圖4A所示的方法來計(jì)算的。在第一階段，定義自然抽頭結(jié)構(gòu)和濾波器權(quán)重，在第二階段，使濾波器適 應(yīng)于圖像的空間紋理。第一階段生成能夠適應(yīng)于諸如非規(guī)則采樣圖樣之類的特征以及對(duì)象形狀和邊界的AAOI濾波器。第二階段允許AAOI濾波器 在用于視頻壓縮的基于運(yùn)動(dòng)向量的時(shí)間預(yù)測(cè)過程期間適應(yīng)于圖像的空間紋 理。第一階段開始于410，接收包含要預(yù)測(cè)的目標(biāo)像素附近的運(yùn)動(dòng)向量的 局部運(yùn)動(dòng)向量采樣圖樣。在420，在每個(gè)局部運(yùn)動(dòng)向量周圍構(gòu)造影響區(qū)域 單元。目標(biāo)像素的局部區(qū)域從而被分區(qū)成一組AOI單元。在430，為了對(duì)像素進(jìn)行內(nèi)插，它被視為新的節(jié)點(diǎn)，并且在它周圍構(gòu)造像素影響區(qū)域單元。然后，在440，確定與像素影響區(qū)域單元重疊的每個(gè)鄰近的AOI單元 的面積。重疊面積定義了自然抽頭結(jié)構(gòu)和濾波器權(quán)重。換言之，抽頭結(jié)構(gòu)由每個(gè)這樣的運(yùn)動(dòng)向量/定義該運(yùn)動(dòng)向量/的AOI單元與像素區(qū)域單元之間具有非零的重疊面積4。抽頭結(jié)構(gòu)中的每個(gè)運(yùn)動(dòng)向量的濾波器權(quán)重由量j^來定義。也就是說，對(duì)于某個(gè)像素位置X: *) = {/|4>0}厶爿其中《x)是像素X附近的局部運(yùn)動(dòng)向量的集合，^是集合《x)中的運(yùn)動(dòng)向 量z'的AOI單元與像素影響單元的重疊面積，A是AOI單元和像素影響單元的總重疊面積，y;是濾波器權(quán)重。在450，使濾波器適應(yīng)于圖像特征，例如運(yùn)動(dòng)對(duì)象的對(duì)象邊界。在一些實(shí)施例中，影響區(qū)域單元的形狀發(fā)生變化，以適應(yīng)于運(yùn)動(dòng)對(duì)象的邊界。 通過限制運(yùn)動(dòng)向量區(qū)域單元和像素區(qū)域單元只包括屬于同一對(duì)象的像素， 來使區(qū)域單元適應(yīng)于圖像中的對(duì)象邊界。這生成了要預(yù)測(cè)的像素周圍的修正后的AOI單元。因此，在一個(gè)實(shí)施例中，濾波器支撐和系數(shù)被表達(dá)為 ,』其中馬是由于對(duì)象邊界而修正后的運(yùn)動(dòng)向量Z的AOI單元。每個(gè)修正后的 AOI單元包括與將要預(yù)測(cè)的像素相同的運(yùn)動(dòng)層中的像素，并且排除了其他 運(yùn)動(dòng)層中的像素。在該第一階段結(jié)束時(shí)，濾波器既適應(yīng)于運(yùn)動(dòng)向量的非規(guī) 則圖樣，又適應(yīng)于運(yùn)動(dòng)對(duì)象的邊界。在為圖像中的每個(gè)像素生成預(yù)測(cè)之后，執(zhí)行濾波過程的第二階段。在 第二階段中，在460，使濾波器適應(yīng)于空間紋理。因?yàn)閺腁AOI濾波器的 第一階段輸出的預(yù)測(cè)采取的是規(guī)則圖樣的采樣數(shù)據(jù)的形式，因此在一些實(shí) 施例中，在第二階段中使用經(jīng)最小平方(LS)訓(xùn)練的濾波器，用來使濾波 器適應(yīng)于空間紋理。在另一實(shí)施例中，空間適應(yīng)過程可直接修正階段1中 的AOI單元以只包括那些具有相似的空間紋理的像素。圖4A所示的自適應(yīng)濾波過程生成在時(shí)域中定義的基于區(qū)域的濾波器，該濾波器在時(shí)間預(yù)測(cè)過程期間耦合相鄰的運(yùn)動(dòng)向量。濾波器自然地適 應(yīng)于運(yùn)動(dòng)圖像中的運(yùn)動(dòng)向量的非均勻或非規(guī)則采樣圖樣、對(duì)象形狀和邊界 以及空間紋理。圖4A的過程的第一階段期間產(chǎn)生的中間結(jié)果的示例在圖4B中示出。 在417，接收局部節(jié)點(diǎn)圖樣。局部節(jié)點(diǎn)圖樣包括需要被預(yù)測(cè)的像素x附近 的運(yùn)動(dòng)向量的集合(由圓圈表示)。運(yùn)動(dòng)向量被從(1)至(6)編號(hào)。在 427，在運(yùn)動(dòng)向量周圍構(gòu)造影響區(qū)域單元。每條虛線代表AOI單元之間的 邊界。在437，在要預(yù)測(cè)的像素x周圍構(gòu)造由實(shí)線表示的影響區(qū)域單元。在447，確定每個(gè)運(yùn)動(dòng)向量的AOI單元和像素的AOI單元之間的重疊 面積。例如，運(yùn)動(dòng)向量(1)的AOI單元以重疊面積為與像素AOI單元相 重疊。濾波器的抽頭和濾波器系數(shù)由重疊面積確定。抽頭結(jié)構(gòu)由每個(gè)這樣 的運(yùn)動(dòng)向量/定義這種運(yùn)動(dòng)向量的AOI單元與像素區(qū)域單元之間具有非 零的重疊面積。在該示例中，運(yùn)動(dòng)向量(4)的AOI單元不與像素AOI單 元相重疊。因此，像素x的濾波器抽頭結(jié)構(gòu)是運(yùn)動(dòng)向量(1) 、 (2)、 (3) 、 (5)和(6)。抽頭結(jié)構(gòu)中的每個(gè)運(yùn)動(dòng)向量的濾波器權(quán)重由比率j^定義。例如，在該情況下力^4W。在457，使濾波器適應(yīng)于圖像特征，例如運(yùn)動(dòng)對(duì)象的對(duì)象邊界451。 運(yùn)動(dòng)對(duì)象的對(duì)象邊界451分開運(yùn)動(dòng)層453和455。為了對(duì)像素x進(jìn)行內(nèi) 插，抽頭結(jié)構(gòu)被修正以包括與像素x在同一運(yùn)動(dòng)層中的運(yùn)動(dòng)向量。因?yàn)橄?素x在運(yùn)動(dòng)層455中，所以來自447的抽頭結(jié)構(gòu)被修正以去除運(yùn)動(dòng)向量(3)和(5)，留下運(yùn)動(dòng)向量(1) 、 (2)和(6)作為抽頭結(jié)構(gòu)。另外，在457，使濾波器權(quán)重適應(yīng)于對(duì)象邊界451的形狀。在該示例 中，沿著對(duì)象邊界451的影響區(qū)域單元的形狀發(fā)生變化，以適應(yīng)于運(yùn)動(dòng)對(duì) 象的邊界。對(duì)象邊界451分割運(yùn)動(dòng)向量(2)的AOI單元。為了對(duì)處于運(yùn) 動(dòng)層455中的像素x進(jìn)行內(nèi)插，運(yùn)動(dòng)向量(2)的AOI單元被重新定義， 以只包括其原始單元中處于運(yùn)動(dòng)層455中的那些像素。這生成了運(yùn)動(dòng)向量(2)周圍的修正后的AOI單元。運(yùn)動(dòng)向量(6)的AOI單元的形狀也適 應(yīng)于對(duì)象邊界451。運(yùn)動(dòng)向量(6)的AOI單元與對(duì)象邊界451之間的區(qū) 域處于運(yùn)動(dòng)層455中。但是，該區(qū)域最初被包括在運(yùn)動(dòng)向量(5)的AOI12單元中。因?yàn)檫\(yùn)動(dòng)向量(5)不再是濾波器的抽頭結(jié)構(gòu)的一部分，所以該區(qū)域中的像素現(xiàn)在變成了運(yùn)動(dòng)向量(6)的AOI單元的一部分。修正后的重疊面積馬和馬以及重疊面積3被用于生成濾波器權(quán)重。由圖4A和4B所示的方法產(chǎn)生的濾波器被用于預(yù)測(cè)目標(biāo)圖像中的像 素。例如，再次更詳細(xì)地參考圖2的240，濾波器被用于預(yù)測(cè)目標(biāo)圖像中 的像素x，如圖5所示。參考圖像510中的像素被用于預(yù)測(cè)目標(biāo)圖像520 中的像素。參考像素由參考圖像510中的實(shí)線圓圈表示，要預(yù)測(cè)的目標(biāo)像 素由目標(biāo)圖像520中的虛線圓圈表示。濾波器利用局部運(yùn)動(dòng)向量v,至vs的抽頭結(jié)構(gòu)來為目標(biāo)圖像520中的像 素x形成預(yù)測(cè)。運(yùn)動(dòng)向量是像素x局部的，因?yàn)樗鼈兿鄳?yīng)的AOI單元中的 每一個(gè)都與像素x的AOI單元的至少一部分相重疊。抽頭結(jié)構(gòu)中的每個(gè)運(yùn) 動(dòng)向量WJ映射到參考圖像510中的圖像數(shù)據(jù){1;}。自適應(yīng)時(shí)間預(yù)測(cè)濾波器 利用濾波器權(quán)重{5}來調(diào)整參考數(shù)據(jù){1;}以預(yù)測(cè)像素x。在一個(gè)實(shí)施例中， 預(yù)測(cè)濾波器根據(jù)以下式子使用抽頭結(jié)構(gòu)和濾波器權(quán)重來生成預(yù)測(cè)預(yù)測(cè)=+ I2*f2 + I3*f3 + I4*f4 + I5*f5 其中由局部運(yùn)動(dòng)向量定義的濾波器抽頭以及濾波器系數(shù)伐}是由圖4A和 4B所示的方法確定的。在初始預(yù)測(cè)之后，該過程重新估計(jì)運(yùn)動(dòng)向量的值，如圖2的方塊250 所示，以提高濾波器的準(zhǔn)確度。在一個(gè)實(shí)施例中，重估計(jì)是利用圖6所示 的方法來執(zhí)行的。在610，識(shí)別出對(duì)AAOI濾波器造成最大預(yù)測(cè)誤差的運(yùn) 動(dòng)向量。然后，在620，改變所識(shí)別出的運(yùn)動(dòng)向量的值，直到AAOI濾波 器的預(yù)測(cè)誤差得以減小或最小化為止。在630，利用改變后的值來更新運(yùn) 動(dòng)向量的值。在640，如果誤差減小已經(jīng)飽和，則過程結(jié)束。否則，過程 返回到610，直到預(yù)測(cè)誤差減小飽和為止。然后，在一些實(shí)施例中，對(duì)于 圖像中的所有運(yùn)動(dòng)向量重復(fù)圖2的過程。在一個(gè)實(shí)施例中，AAOI濾波器被視頻編碼系統(tǒng)用于對(duì)視頻數(shù)據(jù)的圖 像(或幀，或場(chǎng))進(jìn)行編碼，如圖7所示。在710，編碼器接收輸入目標(biāo) 圖像。(包含與目標(biāo)圖像相關(guān)的解碼后圖像數(shù)據(jù)的一組參考圖像在編碼過 程期間可供編碼器使用，并且在解碼過程期間也可供解碼器使用)。在720，編碼器生成與目標(biāo)圖像相關(guān)聯(lián)的運(yùn)動(dòng)向量的采樣或分布。也就是 說，給定7V個(gè)運(yùn)動(dòng)向量，這7V個(gè)運(yùn)動(dòng)向量被置于目標(biāo)圖像中。運(yùn)動(dòng)向量的位置一般適應(yīng)于圖像內(nèi)容中的運(yùn)動(dòng)區(qū)域，從而得出例如圖3所示的運(yùn)動(dòng)向 量的非規(guī)則圖樣。在730，采樣圖樣信息(例如代表圖樣的比特)被發(fā)送 到解碼器。許多方法可用來生成自適應(yīng)采樣圖樣。在740，對(duì)非規(guī)則運(yùn)動(dòng)采樣圖樣應(yīng)用時(shí)間預(yù)測(cè)濾波過程。該自適應(yīng)濾 波過程使用運(yùn)動(dòng)向量、非規(guī)則采樣圖樣和參考圖像來生成目標(biāo)圖像的預(yù) 測(cè)。在750，運(yùn)動(dòng)向量值被編碼并被發(fā)送到解碼器。在760，生成余量 (residual)，該余量是目標(biāo)圖像的實(shí)際目標(biāo)數(shù)據(jù)減去來自自適應(yīng)濾波過程 的預(yù)測(cè)誤差。在770，余量被編碼，并且在780被發(fā)送到解碼器。在另一實(shí)施例中，AAOI濾波器被用來對(duì)視頻數(shù)據(jù)的圖像(或幀，或 圖像)進(jìn)行解碼，如圖8所示。在810，接收編碼后的余量。在820，解 碼器對(duì)接收到的編碼后余量進(jìn)行解碼。在830，解碼器接收采樣圖樣信 息、參考圖像和運(yùn)動(dòng)向量值。然后，在840，解碼器應(yīng)用自適應(yīng)時(shí)間濾波 過程以生成時(shí)間預(yù)測(cè)。在850，通過將解碼后的余量與時(shí)間預(yù)測(cè)相加來生 成解碼后的目標(biāo)圖像。圖9示出了使用自適應(yīng)影響區(qū)域?yàn)V波器的系統(tǒng)的示例。數(shù)字?jǐn)z像機(jī) 910捕捉電子形式的圖像，并且利用壓縮設(shè)備920來處理圖像，該壓縮設(shè) 備920在壓縮和編碼過程期間使用自適應(yīng)影響區(qū)域?yàn)V波器。編碼后的圖像 通過電子傳輸介質(zhì)930被發(fā)送到數(shù)字重放設(shè)備940。圖像被解碼設(shè)備950 解碼，該解碼設(shè)備950在解碼過程期間使用該濾波器。相機(jī)910是包括本 發(fā)明實(shí)施例的各種圖像處理裝置(例如其他圖像捕捉設(shè)備、圖像編輯器、 圖像處理器、個(gè)人和商業(yè)計(jì)算平臺(tái)，等等)的示例。同樣，解碼設(shè)備950 是對(duì)圖像數(shù)據(jù)進(jìn)行解碼的各種設(shè)備的示例。雖然已經(jīng)按照特定系統(tǒng)環(huán)境中的實(shí)施例描述了本發(fā)明，但是本領(lǐng)域的 普通技術(shù)人員將會(huì)認(rèn)識(shí)到，在所附權(quán)利要求的精神和范圍內(nèi)，本發(fā)明經(jīng)過 修改可實(shí)現(xiàn)在其他的、不同的硬件和軟件環(huán)境中。
權(quán)利要求
1.一種在電子數(shù)據(jù)處理器中執(zhí)行的方法，包括在目標(biāo)圖像中的多個(gè)運(yùn)動(dòng)向量中的每一個(gè)周圍構(gòu)造運(yùn)動(dòng)向量區(qū)域單元；選擇所述目標(biāo)圖像中的像素；在選定像素周圍構(gòu)造像素區(qū)域單元；確定所述運(yùn)動(dòng)向量區(qū)域單元與所述像素區(qū)域單元之間的重疊面積；根據(jù)所述重疊面積生成濾波器權(quán)重；以及利用所述濾波器權(quán)重來對(duì)所述選定像素進(jìn)行濾波。
2. 如權(quán)利要求1所述的方法，還包括 通過修正所述運(yùn)動(dòng)向量的值來減小濾波器預(yù)測(cè)誤差。
3. 如權(quán)利要求2所述的方法，其中修正步驟還包括 識(shí)別造成最大濾波器預(yù)測(cè)誤差的運(yùn)動(dòng)向量；以及改變識(shí)別出的運(yùn)動(dòng)向量的值，直到所述濾波器預(yù)測(cè)誤差得以減小為止。
4. 如權(quán)利要求1所述的方法，其中確定重疊面積的歩驟還包括 通過限制所述運(yùn)動(dòng)向量區(qū)域單元和像素區(qū)域單元包括與所述選定像素屬于同一對(duì)象的像素并且去除其他像素，來使所述運(yùn)動(dòng)向量區(qū)域單元適應(yīng) 于所述圖像中的對(duì)象邊界。
5. 如權(quán)利要求1所述的方法，其中生成濾波器權(quán)重的步驟包括對(duì)于每個(gè)與所述像素區(qū)域單元相重疊的運(yùn)動(dòng)向量區(qū)域單元，確定, 爿其中/是像素x周圍的局部運(yùn)動(dòng)向量的集合SW中的運(yùn)動(dòng)向量，4是運(yùn)動(dòng)向量f的單元與所述像素區(qū)域單元的重疊面積，j是所述運(yùn)動(dòng)向量單元與 所述像素區(qū)域單元的總重疊面積，乂是所述濾波器權(quán)重。
6. 如權(quán)利要求1所述的方法，其中濾波步驟包括 預(yù)測(cè)所述目標(biāo)像素，以使得對(duì)于非規(guī)則運(yùn)動(dòng)向量圖樣其中x是要預(yù)測(cè)的像素，/^Vx卩是像素x的預(yù)測(cè)值，5T3c)是圍繞像素:c的運(yùn) 動(dòng)向量的集合，v,是運(yùn)動(dòng)向量，,是針對(duì)集合S(3c)中的運(yùn)動(dòng)向量的濾波器權(quán) 重，尸化一是所述參考圖像中的值，x+v,是當(dāng)運(yùn)動(dòng)向量v,被應(yīng)用到像素x時(shí) 經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)南袼亍?br> 7. 如權(quán)利要求1所述的方法，還包括 使經(jīng)濾波的像素適應(yīng)于所述圖像的空間紋理。
8. 如權(quán)利要求1所述的方法，其中確定重疊面積的步驟還包括 通過限制所述運(yùn)動(dòng)向量區(qū)域單元和像素區(qū)域單元包括具有所述選定像素的空間紋理的像素并且去除其他像素，來使所述運(yùn)動(dòng)向量區(qū)域單元適應(yīng) 于空間紋理。
9. 如權(quán)利要求1所述的方法，其中在目標(biāo)圖像中的多個(gè)運(yùn)動(dòng)向量中的每一個(gè)周圍構(gòu)造運(yùn)動(dòng)向量區(qū)域單元的歩驟包括應(yīng)用最近鄰居距離分區(qū)。
10. —種裝置，包括運(yùn)動(dòng)向量區(qū)域單元構(gòu)造器，該運(yùn)動(dòng)向量區(qū)域單元構(gòu)造器在目標(biāo)圖像中 的多個(gè)運(yùn)動(dòng)向量中的每一個(gè)周圍構(gòu)造運(yùn)動(dòng)向量區(qū)域單元； 選擇器，該選擇器選擇所述目標(biāo)圖像中要濾波的像素；像素區(qū)域單元構(gòu)造器，該像素區(qū)域單元構(gòu)造器在選定像素周圍構(gòu)造像素區(qū)域單元；重疊面積確定器，該重疊面積確定器確定所述運(yùn)動(dòng)向量區(qū)域單元與所 述像素單元之間的重疊面積；濾波器權(quán)重生成器，該濾波器權(quán)重生成器根據(jù)所述重疊面積生成濾波 器權(quán)重；以及濾波器，該濾波器利用所述濾波器權(quán)重來對(duì)所述選定像素進(jìn)行濾波。
11. 如權(quán)利要求10所述的裝置，還包括修正器，該修正器修正所述運(yùn)動(dòng)向量的值以減小濾波器預(yù)測(cè)誤差。
12. 如權(quán)利要求11所述的裝置，其中所述修正器識(shí)別造成最大濾波器 預(yù)測(cè)誤差的運(yùn)動(dòng)向量；并且改變所述運(yùn)動(dòng)向量的值，直到所述濾波器預(yù)測(cè)誤差得以減小為止。
13. 如權(quán)利要求10所述的裝置，其中所述重疊面積確定器通過限制所 述運(yùn)動(dòng)向量區(qū)域單元和像素區(qū)域單元包括與所述選定像素屬于同一對(duì)象的 像素并且去除其他像素，來使所述運(yùn)動(dòng)向量區(qū)域單元適應(yīng)于所述圖像中的 對(duì)象邊界。
14. 如權(quán)利要求10所述的裝置，其中所述濾波器權(quán)重生成器對(duì)于每個(gè)與所述像素區(qū)域單元相重疊的運(yùn)動(dòng)向量區(qū)域單元，確定 *) = {/|4>。}乂'爿其中Z是像素x周圍的局部運(yùn)動(dòng)向量的集合^一中的運(yùn)動(dòng)向量，^是運(yùn)動(dòng) 向量Z的單元與所述像素區(qū)域單元的重疊面積，^是所述運(yùn)動(dòng)向量單元與 所述像素區(qū)域單元的總重疊面積，乂是所述濾波器權(quán)重。
15. 如權(quán)利要求IO所述的裝置，其中所述濾波器預(yù)測(cè)所述目標(biāo)像素，以使得對(duì)于非規(guī)則運(yùn)動(dòng)向量圖樣其中x是要預(yù)測(cè)的像素，r^^是像素x的預(yù)測(cè)值，s^是圍繞像素x的運(yùn)動(dòng)向量的集合，v,是運(yùn)動(dòng)向量，/是針對(duì)集合S^中的運(yùn)動(dòng)向量的濾波器權(quán) 重，/，力是所述參考圖像中的值，x+v,是當(dāng)運(yùn)動(dòng)向量v,被應(yīng)用到像素義時(shí)經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)南袼亍?br> 16. 如權(quán)利要求IO所述的裝置，其中所述濾波器使所述目標(biāo)像素適應(yīng) 于所述圖像的空間紋理。
17. 如權(quán)利要求10所述的裝置，其中所述重疊面積確定器通過限制所 述運(yùn)動(dòng)向量區(qū)域單元和像素區(qū)域單元包括具有所述選定像素的空間紋理的 像素并且去除其他像素，來使所述運(yùn)動(dòng)向量區(qū)域單元適應(yīng)于空間紋理。
18. 如權(quán)利要求IO所述的裝置，其中所述運(yùn)動(dòng)向量區(qū)域單元構(gòu)造器應(yīng) 用最近鄰居距離分區(qū)。
19. 一種存儲(chǔ)指令程序的計(jì)算機(jī)可讀介質(zhì)，所述指令程序在被處理系 統(tǒng)執(zhí)行時(shí)使該系統(tǒng)執(zhí)行包括以下步驟的方法在目標(biāo)圖像中的多個(gè)運(yùn)動(dòng)向量中的每一個(gè)周圍構(gòu)造運(yùn)動(dòng)向量區(qū)域單元；選擇所述目標(biāo)圖像中要濾波的像素； 在選定像素周圍構(gòu)造像素區(qū)域單元；確定所述運(yùn)動(dòng)向量區(qū)域單元與所述像素區(qū)域單元之間的重疊面積； 根據(jù)所述重疊面積生成濾波器權(quán)重；以及 利用所述濾波器權(quán)重來對(duì)所述選定像素進(jìn)行濾波。
20. 如權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，還包括 通過修正所述運(yùn)動(dòng)向量的值來減小濾波器預(yù)測(cè)誤差。
21. 如權(quán)利要求20所述的計(jì)算機(jī)可讀介質(zhì)，其中修正步驟還包括 識(shí)別造成最大濾波器預(yù)測(cè)誤差的運(yùn)動(dòng)向量；以及改變識(shí)別出的運(yùn)動(dòng)向量的值，直到所述濾波器預(yù)測(cè)誤差得以減小為止。
22. 如權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中確定重疊面積的步驟 還包括通過限制所述運(yùn)動(dòng)向量區(qū)域單元和像素區(qū)域單元包括與所述選定像素 屬于同一對(duì)象的像素并且去除其他像素，來使所述運(yùn)動(dòng)向量區(qū)域單元適應(yīng) 于所述圖像中的對(duì)象邊界。
23. 如權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中生成濾波器權(quán)重的步 驟包括對(duì)于每個(gè)與所述像素區(qū)域單元相重疊的運(yùn)動(dòng)向量區(qū)域單元，確定 *) = {/|4>0}其中/是像素x周圍的局部運(yùn)動(dòng)向量的集合S(x)中的運(yùn)動(dòng)向量，A是運(yùn)動(dòng) 向量z'的單元與所述像素區(qū)域單元的重疊面積，X是所述運(yùn)動(dòng)向量單元與 所述像素區(qū)域單元的總重疊面積，乂是所述濾波器權(quán)重。
24. 如權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中濾波步驟包括預(yù)測(cè)所述目標(biāo)像素，以使得對(duì)于非規(guī)則運(yùn)動(dòng)向量圖樣 /—(x)= Zf " + v')其中x是要預(yù)測(cè)的像素，,"V力是像素X的預(yù)測(cè)值，S^是圍繞像素x的運(yùn)動(dòng)向量的集合，V,是運(yùn)動(dòng)向量，乂是針對(duì)集合^力中的運(yùn)動(dòng)向量的濾波器權(quán) 重，/，力是所述參考圖像中的值，X+V,是當(dāng)運(yùn)動(dòng)向量R被應(yīng)用到像素義時(shí) 經(jīng)運(yùn)動(dòng)補(bǔ)償?shù)南袼亍?br> 25. 如權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，還包括 使經(jīng)濾波的像素適應(yīng)于所述圖像的空間紋理。
26. 如權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中確定重疊面積的歩驟還包括通過限制所述運(yùn)動(dòng)向量區(qū)域單元和像素區(qū)域單元包括具有所述選定像 素的空間紋理的像素并且去除其他像素，來使所述運(yùn)動(dòng)向量區(qū)域單元適應(yīng) 于空間紋理。
27. 如權(quán)利要求19所述的計(jì)算機(jī)可讀介質(zhì)，其中在目標(biāo)圖像中的多個(gè)運(yùn)動(dòng)向量中的每一個(gè)周圍構(gòu)造運(yùn)動(dòng)向量區(qū)域單元的步驟包括應(yīng)用最近鄰居距離分區(qū)。
全文摘要
通過以下步驟執(zhí)行生成自適應(yīng)時(shí)間濾波器的方法在目標(biāo)圖像中的多個(gè)運(yùn)動(dòng)向量中的每一個(gè)周圍構(gòu)造運(yùn)動(dòng)向量區(qū)域單元，選擇目標(biāo)圖像中的像素，在選定像素周圍構(gòu)造像素區(qū)域單元，確定運(yùn)動(dòng)向量區(qū)域單元與像素區(qū)域單元之間的重疊面積，根據(jù)重疊面積生成濾波器權(quán)重，以及利用濾波器權(quán)重來對(duì)選定像素進(jìn)行濾波。
文檔編號(hào)H04B1/66GK101263662SQ200680033885
公開日2008年9月10日 申請(qǐng)日期2006年9月12日 優(yōu)先權(quán)日2005年9月16日
發(fā)明者苗周榮, 詹姆斯·J·卡里格, 馬里奧·帕尼科尼 申請(qǐng)人:索尼電子有限公司