專利名稱：使用貪婪算法的基于目標的四叉樹網格運動補償法的制作方法
技術領域：
本發(fā)明涉及一種運動補償方法，并且特別涉及一種使用貪婪算法(Greedyalgorithm)的基于目標的四叉樹運動補償法。
運動補償技術是運動圖像編碼所必需的，通過這種技術，數(shù)據(jù)量可以通過利用運動圖像在時間軸上冗余度被減少。為了獲得能夠精確地表示復雜的或部分運動的運動補償，一種傳統(tǒng)的分層網格插值(HGI，hierarchical gridinterpolation)技術定義了一種用于以幀為單元的運動圖像編碼的四叉樹網格結構。


圖1是圖解HGI技術的示意方框圖。首先，在塊100中，根據(jù)在幀中的每一塊的幀差值的偏差(VFD，variance of frame difference)，在當前圖象幀(It)上執(zhí)行四叉樹塊分割。更具體地說，首先，當前圖像被分成具有預定尺寸的方塊。如果每一塊的VFD都大于基準值，則再把所說的塊分成具有相同尺寸的四個方塊，重復這一過程，直到分成的塊中的每一個的VFD均小于基準值為止。這里，VFD表示在當前圖像幀(It)和前一圖像幀(It-1)之間的幀差值的偏差。
接著，象在塊102中那樣，從四叉樹塊分割結果St估計頂點的運動，以最小化在多個塊中的運動補償誤差，并且通過使用該估計的插值在塊中的圖像信號上執(zhí)行四叉樹網格運動補償。結果，得到對應于當前圖像幀(It)的補運動償圖像(It)和的運動矢量Mt。
圖2顯示了與當前幀通過四叉樹網格結構匹配的前一幀的四叉樹塊。每一塊都能夠變換，以使得復雜的運動能夠精確地被補償。這里，為了保持每一塊的形狀為四邊形，定義了邊界頂點(例如圖2(a)中的1、2、……、10)，并且通過使用相鄰兩頂點的運動矢量的線性插值得到多個運動矢量(例如圖2(b)中的MV1至MV3)。另一方面，在必須估計運動矢量的控制點(例如圖2(a)中的o、p、……、y)上執(zhí)行運動估計，以最小化圖像幀的運動補償誤差。塊內的每一個像素的運動矢量能夠通過使用每一個已估計的頂點的運動矢量的線性插值得到，從而補償塊內的運動。
分割出的四叉樹的信息象如下描述的那樣編碼和傳輸。當在從根節(jié)點起的四叉樹中的每一個節(jié)點以寬度優(yōu)先方式進行訪問時，依據(jù)其是否為端節(jié)點來編碼成“0”或“1”。但最小化尺寸的塊不要求用“0”編碼。所有控制點的運動矢量被定長編碼。
傳統(tǒng)的運動補償技術用于基于幀的運動圖像的編碼，因此不適合用于基于目標的運動圖像的編碼。在四叉樹結構中的塊分割降低了運動補償誤差，但由于由分割引起的四叉樹信息和運動矢量信息的增加，傳輸速率增加。因此，圖像的一部分將進一步分割的決定直接關聯(lián)于傳輸速率失真的特性，它是指示給定傳輸速率的有效利用的指標。然而，在現(xiàn)有技術中，分別執(zhí)行四叉樹塊分割和運動估計，因此不直接考慮傳輸速率失真特性。
本發(fā)明的一個目的是提供一種運動補償法，它定義一種能夠精確地補償復雜和部分運動的基于目標的四叉樹網格結構。
本發(fā)明的另一個目的是在使用貪婪算法的基于目標的四叉樹網格的運動補償法中提供一種塊分割法，通過它能改進基于目標的四叉樹網格結構的傳輸速率失真特性。
為了達到第一個目的，本發(fā)明提供一種使用貪婪算法的基于目標的四叉樹網格運動補償法，該方法包括(a)定義一基于目標的四叉樹網格；(b)分割圖像幀中的每一塊，他們被分割成預定尺寸的多個塊，以便形成(a)步中的基于目標的四叉樹網格；以及(c)估計各頂點的運動，以便在分割出的塊內進行運動補償期間最小化失真，并補償塊內圖像的運動。這里，基于目標的四叉樹網格廣義地定義成能夠適合基于目標的技術，并且根據(jù)目標的類型，四叉樹塊被分類為不包括目標的任何部分的虛積累塊，和包括目標的一部分的實積累塊。
為了達到第二個目的，本發(fā)明在使用貪婪算法的基于目標的四叉樹網格的運動補償法中提供一種塊分割法，該方法包括(a)形成圍繞圖像中的目標的、預定尺寸的多個塊；(b)分割每一塊，以形成基于目標的四叉樹網格；(c)計算分割出的塊的分割增益；(d)再次分割具有最大增益的分割塊，以形成基于目標的四叉樹網格；(e)再次計算受(d)步的分割影響的塊的分割增益；以及(f)如果當前傳輸率小于給定的傳輸率，則返回(d)步。
通過借助附圖的詳細地描述本發(fā)明的最優(yōu)實施例，以上的目的和優(yōu)點將會更容易理解，其中
圖1是圖解分層網格插值技術的示意方框圖；圖2顯示了前一幀的四叉樹塊，它與當前幀通過四叉樹網格結構匹配；圖3是本發(fā)明的基于目標的四叉樹網格結構的方案視圖；圖4是圖解使用貪婪算法的四叉樹塊分割法的流程圖；圖5圖解受分割影響的周圍塊的限制；圖6是用于圖解計算各單塊的最大分割增益的方法的視圖。
本發(fā)明關心的是一種較新的低傳輸速率高壓縮率的編碼技術，以及一種被基于內容的多媒體應用使用的MPEG-4和MPEG-7采用，用于基于目標移動的圖像編碼的運動補償法。特別地，為了獲得基于目標的運動圖像編碼，本發(fā)明廣義地定義了使用四叉樹網格結構的運動補償法，它對包括復雜的或者部分運動在內的運動圖像有效。在本發(fā)明中，傳輸速率失真特性由于貪婪算法的使用而得以改善。
圖3是本發(fā)明基于目標的四叉樹網格結構的方案視圖。本發(fā)明基于目標的四叉樹網格結構定義了和現(xiàn)有技術一樣的控制點CP(control points)和邊界頂點BV(bound vertices)，也定義了下列項，以便應用于基于目標的運動圖像編碼。首先，四叉樹塊被分類成虛積累(VQ，virtual quadrature)塊和實積累(RQ，real quadrature)塊。虛積累(VQ)塊不包含目標的任何部分，實積累(RQ)塊包含目標的部分。
格點被分類成虛格點(VGP)、控制格點(CP)和邊界頂點(BV)。虛格點(VGP)是被多個虛積累(VQ)塊包圍著的頂點。每一個控制格點(CP)與另外四個頂點連接形成一個十字形，并且與至少一個實積累(RQ)塊相接或存在于最接近于目標的外部區(qū)域上，以便得到目標邊界區(qū)域的運動補償。與虛格點(VGP)和邊界頂點(BV)相反，控制格點(CP)具有要獨立傳輸?shù)倪\動矢量。邊界頂點(BV)是與這樣的RQ塊相接頂點，該RQ塊是在與邊界頂點相接的塊中最大的塊，并且他們每一個都通過與三個另外的頂點相連而形成字母T的形狀。
如上所述，與現(xiàn)有技術類似，本發(fā)明中的實積累(RQ)塊的頂點分類成控制格點(CP)和邊界頂點(BV)。在現(xiàn)有技術中，邊界頂點(BV)被定義成使得運動場可以通過簡單的線性插值獲得。但在本發(fā)明中，為了更精確地補償目標邊界部分的運動，以及既然只有實積累(RQ)塊運動場被需要，以實現(xiàn)目標的運動補償，在邊界頂點(BV)中最大相接塊是實積累(RQ)塊的頂點，被分類成控制格點(CP)。
因此，本發(fā)明的基于目標的四叉樹結構通過擴展四叉樹網格結構定義，它能夠精確地補償復雜和部分運動，因此適合基于目標運動圖像編碼技術。
圖4是圖解使用貪婪算法的四叉樹塊分割法的流程圖。在基于四叉樹的網格中，是塊分割方法的四叉樹塊分割法用于改善傳輸速率失真特性。首先，在400步中，在圖像中包圍目標的預定尺寸塊，即根塊，在初始階段形成。在410步中，每個根塊是以四叉樹方式分割。當每個根塊被運動補償過時，在420步中，計算運動補償誤差的減量與運動矢量和四叉樹分割之前四叉樹編碼位的增量的比值。這里，比值指的是分割增益。
在分割成四叉樹的狀態(tài)下，在430步中，擁有最大分割增益的塊再次以四叉樹方式分割。在440步中，再次得到受分割影響的塊的分割增益。在450步中，確定當前傳輸速率是否比目標傳輸速率小。如果當前傳輸速率比目標傳輸速率小，那么程序返回到430步，并且重復以上描述的操作，直到給定的傳輸速率被完全達到(consumed)。
在420步中，為了計算分割增益，估計控制格點(CP)的運動。當一個塊以四叉樹方式分割時，為了得到分割增益，與該塊相關的控制格點(CP)的運動矢量被重新估計。在一個四叉樹網格結構中，在一幀內的所有控制格點(CP)互相影響。如圖5(a)所示，為了簡化計算，只有在被分割的塊上的控制格點(CP)才再次進行運動估計。這樣，受分割影響的塊就象圖5(b)所示的那樣被確定。因此，再次得到這些塊的分割增益。
圖6是用于圖解計算各單塊的最大分割增益的方法的視圖。在430步中，每一個塊的最到分割增益由以下描述的方法計算。首先，為了執(zhí)行貪婪型四叉樹塊分割，首先必須執(zhí)行運動估計，以使得每一個塊的分割增益最大。在圖6中，橫軸代表每個塊的傳輸速率r，縱軸代表運動補償失真d。(r0，d0)對應于分割之前的一種狀態(tài)，黑色部分包括分割之后，根據(jù)運動估計能夠達到的狀態(tài)。最大分割增益能夠在圖6的③中得到，因此運動估計通過下列方法執(zhí)行。
首先，(r，d)通過執(zhí)行運動估計來計算，以最小化運動補償失真d。接下來，從(r0，d0)到(r，d)的斜率負數(shù)設為λ。然后，執(zhí)行運動估計，以使得最小化拉格朗日(Lagrangian)函數(shù)J=d+λ*r。第二和第三步操作重復直到λ集中于一點。這里，集中于一點的λ是能夠通過塊得到的最大分割增益，并且存儲通過重復操作得到的運動矢量。但是，當運動矢量被定長編碼時，傳輸速率r的變化被固定，以使得執(zhí)行運動估計僅僅最小化運動補償失真d，而不用重復以上描述的重復操作。
如上所述，在本發(fā)明使用貪婪算法的基于目標的四叉樹網格運動補償法中，精確地補償了復雜和部分運動，運動補償?shù)膫鬏數(shù)乃俾适д嫣匦阅軌蛲ㄟ^對給定傳輸速率的有效利用來改善。而且，當基于目標的四叉樹網格運動補償法被應用于基于目標的運動圖像編碼技術時，壓縮率提高。
權利要求
1．一種使用貪婪算法的基于目標的四叉樹網格運動補償法，該方法包括(a)定義一基于目標的四叉樹網格；(b)分割圖像幀中的每一塊，他們被分割成預定尺寸的多個塊，以便形成(a)步中的基于目標的四叉樹網格；以及(c)估計各頂點的運動，以便在分割出的塊內進行運動補償期間最小化失真，并補償塊內圖像的運動；其中基于目標的四叉樹網格廣義地定義成能夠適合基于目標的技術，并且根據(jù)目標的類型，四叉樹塊被分類為不包括目標的任何部分的虛積累塊，和包括目標的一部分的實積累塊。
2．如權利要求1所述的基于目標的四叉樹網格運動補償法，其中基于目標的四叉樹網格將頂點分類為虛格點，他們全與虛積累塊連結；控制點，他們和至少一個實積累塊連結；以及邊界頂點，他們連結到在與邊界頂點連結的塊之中最大的實積累塊。
3．一種在使用貪婪算法的基于目標的四叉樹網格的運動補償法中的塊分割法，該方法包括(a)形成圍繞圖像中的目標的、預定尺寸的多個塊；(b)分割圖像中的每一塊，以形成基于目標的四叉樹網格；(c)計算分割出的塊的分割增益；(d)再次分割具有最大增益的分割塊，以形成基于目標的四叉樹網格；(e)再次計算受(d)步的分割影響的塊的分割增益；以及(f)如果當前傳輸率小于給定的傳輸率，則返回(d)步。
4．如權利要求3所述的塊分割法，其中在(c)步中，要被分割的塊的分割增益通過估計塊周圍的相應控制點的運動向量來計算。
5．如權利要求4所述的塊分割法，其中在(c)步中，估計運動向量以最小化拉格朗日(Lagrangian)函數(shù)J=d+λ*r，這里d表示運動補償失真，r表示傳輸速率，λ表示從(r0，d0)到(r，d)的斜率負數(shù)，(r0，d0)是分割前的值，(r，d)是運動估計得到的值。
全文摘要
一種使用貪婪算法的基于目標的四叉樹網格的運動補償法。可以更精確顯示復雜和部分運動,可改善運動補償?shù)膫鬏斔俾适д?。該方法包?(a)定義基于目標的四叉樹網格;(b)分割圖像中的每一塊;(c)估計各頂點的運動,以在進行運動補償期間最小化失真,并補償塊內圖像的運動。基于目標的四叉樹網格廣義地定義成能夠適合基于目標的技術,并且根據(jù)目標的類型,四叉樹塊被分類為不包括目標的任何部分的虛積累塊,和包括目標的一部分的實積累塊。
文檔編號H04N7/26GK1286572SQ0012630
公開日2001年3月7日 申請日期2000年8月28日 優(yōu)先權日1999年8月27日
發(fā)明者李濬瑞 申請人:三星電子株式會社