專利名稱：自適應加權運動估計方法和采用該方法的幀頻轉換設備的制作方法
技術領域：
本發(fā)明涉及一種幀頻轉換系統(tǒng)，更具體地講，涉及一種自適應加權運動估計方法和一種采用該方法的幀頻轉換設備。
背景技術：
通常，進行幀頻轉換以建立個人電腦(PC)或高清晰電視(HDTV)中的諸如逐行倒相制(PAL)或國家電視系統(tǒng)委員會(NTSC)的廣播標準之間的兼容性。幀頻轉換是將一種幀轉換成另一種幀的行為。具體地講，幀頻上轉換需要將新幀進行插值的處理。最近，隨著廣播技術的發(fā)展，在利用諸如運動圖像專家組(MPEG)和H.263的圖像壓縮方法對圖像數(shù)據(jù)壓縮之后進行幀頻轉換。
這種圖像處理系統(tǒng)中的圖像信號包括由圖像信號之間的強相關性引起的大量冗余?？赏ㄟ^消除冗余對圖像信號進行有效壓縮。為了有效地壓縮時變視頻幀，必須消除時間軸方向上的冗余。換句話說，通過用緊接著的前幀代替未變化或稍微變化的幀，可顯著地減小將被傳送的數(shù)據(jù)量。運動估計(ME)是識別前一幀和當前幀之間的最相似的塊的任務。運動矢量(MV)指示ME中塊的位移量。
通常，考慮到實時處理的可能性、硬件實現(xiàn)等，ME利用基于塊的運動估計(BME)。
BME將連續(xù)輸入的圖像分割成具有統(tǒng)一尺寸的像素塊，對于每個分割的像素塊，搜索前一幀或后一幀和當前幀之間最相似的塊，并確定MV。為了在BME中確定相鄰塊之間的相似性的度量，主要使用平均絕對差(MAD)、均方誤差(MSE)或絕對差和(SAD)。因為MAD不需要乘法操作，所以MAD具有少量操作，從而硬件實現(xiàn)簡單。使用MAD的BME估計與參考幀內的塊相鄰的一幀內的塊中的具有最小MAD值的塊，并獲得兩個塊之間的MV。
通常，具有最小MAD值的MV指示在兩幀之間目標的實際位移量。然而，在復雜的圖像中，通過MAD估計的MV和指示實際目標的運動的MV通常彼此不同。
圖1A到圖1F是顯示由于ME的失敗而導致MCI幀中塊假像的發(fā)生的示圖。
圖1A和圖1B分別顯示相鄰的圖像序列中的前一幀和當前幀?！瓾’形圖像沿著水平軸從左移到右。該圖像表現(xiàn)出當在幀之間進行BME時，盡管在H形圖像的大多數(shù)塊中通過MAD操作估計的MV和指示實際目標的運動的MV是相同的，但是在位于圖1A的右上部分的塊中ME失敗。圖1C和圖1D顯示分別通過使用‘實際運動’和‘MADMIN’被插值到圖1B的幀和圖1A的幀之間的幀。此時，圖1C和圖1D中顯示的兩幀幾乎相同，而且沒有發(fā)生塊假像。圖1E和圖1F顯示分別通過使用‘實際運動’和‘MADMIN’將運動補償插值(MCI)應用于圖1A和圖1B的幀之間的幀。如圖1E所示，當通過使用指示實際目標的運動的MV來執(zhí)行MCI時不會發(fā)生塊假像。然而，如圖1F所示，當通過使用具有最小MAD值的MV來執(zhí)行MCI時，發(fā)生塊假像。在圖1F中，發(fā)生塊假像的部分被圈起來。
結果，如果當在幀頻轉換中執(zhí)行MCI時實際目標的ME失敗，則在插值的圖像中產(chǎn)生塊假像。
另外，在圖像序列中，大多數(shù)MV匯集在(0，0)附近。換句話說，在幀區(qū)域的較大部分，兩個相鄰的圖像幀在運動中沒有變化或僅僅稍微變化。在運動中圖像幀可能保持不變。因而，在傳統(tǒng)的矢量估計方法中，在具有相似的MAD值的兩個不同的候選MV中，接近(0，0)的MV的權值較大。然而，在具有由相機的搖動或變焦引起的全局運動的圖像序列中，大多數(shù)MV位于全局MV周圍，而不是(0，0)周圍。

發(fā)明內容
因此，問題在于傳統(tǒng)的矢量估計方法的使用可引起圖像的嚴重惡化。
本發(fā)明提供一種通過使用自適應加權MAD執(zhí)行ME和運動補償插值來提高具有全局運動的圖像幀之間的ME效率。
本發(fā)明還提供一種用于轉換幀頻的方法和設備，該方法和設備采用自適應加權ME方法。
根據(jù)本發(fā)明，通過使用自適應加權MAD執(zhí)行ME和運動補償插值，可提高具有與整個屏幕的運動相應的全局運動的圖像幀之間的ME效率。


通過參考附圖對本發(fā)明的示例性實施例進行描述，本發(fā)明的以上和其它特征和優(yōu)點將變得更清楚，其中圖1A到圖1F是顯示由于ME失敗而導致MCI幀中塊假像的發(fā)生的示圖；圖2是顯示根據(jù)本發(fā)明的自適應加權ME方法的流程圖；和圖3是顯示采用根據(jù)本發(fā)明的ME方法的幀頻轉換設備的方框圖。
具體實施例方式
根據(jù)本發(fā)明的一方面，提供一種ME方法，包括一幀一幀地存儲輸入圖像；通過存儲的幀之間的相關來估計全局MV；和根據(jù)應用估計的全局MV的權值計算幀之間的塊匹配值，并將最小塊匹配值確定為MV。
根據(jù)本發(fā)明的另一方面，提供一種轉換幀頻的方法，包括一幀一幀地存儲輸入圖像；通過存儲的幀之間的相關來估計全局MV；根據(jù)應用估計的全局MV的權值計算幀之間的塊匹配值，并將最小塊匹配值確定為MV；通過對確定的MV濾波來去除異常值；和使用濾波的MV和相鄰幀之間的匹配塊的像素值來產(chǎn)生將被插值到幀之間的像素值。
根據(jù)本發(fā)明的另一方面，提供一種幀頻轉換設備，包括幀緩沖單元，一幀一幀地存儲輸入圖像；全局MV單元，通過存儲在幀緩沖裝置中的幀之間的相關來估計全局MV；塊ME單元，根據(jù)應用在全局ME中估計的全局MV的權值計算幀之間的塊匹配值，并將最小塊匹配值確定為MV；和運動補償插值單元，使用在塊ME裝置中估計的MV和幀之間的匹配塊的像素值來產(chǎn)生將插值到幀之間的像素值。
現(xiàn)在將參考附圖詳細描述根據(jù)本發(fā)明的示例性實施例。
圖2是顯示根據(jù)本發(fā)明的自適應加權ME方法的流程圖。
首先，一幀一幀地存儲輸入圖像(操作210)。
接下來，通過使用第(n-1)幀F(xiàn)n-1和第n幀F(xiàn)n之間的相關性來估計全局MV(gx，gy)(操作220)。根據(jù)方程1表示全局MV(gx，gy)。
gx=argminx∈Sh{Σh=0NhHn-1(h)Hn(h+x)}]]>
gy=argminy∈Sv{Σv=0NvVn-1(v)Vn(v+y)}]]>其中，Hn-1和Hn表示第(n-1)幀F(xiàn)n-1和第n幀F(xiàn)n中的第h列內的所有像素的平均值。Vn-1和Vn表示第(n-1)幀F(xiàn)n-1和第n幀F(xiàn)n中的第v行內的所有像素的平均值。Nh和Nv表示水平和垂直相關系數(shù)。Sh和Sv表示水平和垂直全局運動的搜索范圍。
接下來，計算自適應加權平均絕對差(MAD)值(操作230)。根據(jù)方程2表示自適應加權MAD(AWMAD)。
AWMAD(x，y)＝MAD(k，1)(x，y)(1+KD)其中，K表示彈性系數(shù)，使用經(jīng)驗值獲得，D表示應用全局MV(gx，gy)的權值。
從方程3計算MAD。
MAD(k,l)(x,y)=Σi=1N1Σj=1N2|fn-1(k+i+x,l+j+y)-fn(k+i,l+j)|N1×N2]]>其中，n表示指示時域中的輸入幀序列的變量，(i，j)表示指示像素的空間坐標的變量，(x，y)表示指示兩個匹配塊之間的距離差的變量，(k，l)表示指示構成N1×N2像素的兩個塊的空間坐標的變量，其中N1和N2分別表示兩個匹配塊的水平和垂直大小。
另外，根據(jù)方程4表示權值D。
D=([x-gxQx]2+[y-gyQy]2)]]>其中，[x/Q]表示不大于x/Q的最大的整數(shù)，Qx和Qy表示量化常數(shù)。為了避免出現(xiàn)這樣的誤差，即在具有平緩MAD特性的圖像中，盡管實際MV不是全局MV(gx，gy)，但是實際MV通過權值收斂成全局MV(gx，gy)，使用Qx和Qy單元來量化全局MV和與當前估計的位置對應的MV之間的差。
返回到方程3，MAD越接近全局MV(gx，gy)，權值D越低。因此，在具有相同或相似MAD值的兩個不同的候選MV的情況下，與全局運動最接近的候選MV具有相對的優(yōu)勢。
接下來，具有最小自適應加權MAD值的位置的(x，y)值被確定為MV(操作240)。從方程5獲得最后的MV。
(xm,ym)(k,l)=argmin(x,y)∈S{AWMAD(k,l)(x,y)}]]>其中，S表示ME的搜索范圍，(xm，ym)表示具有最小MAD值的塊的MV。
圖3是顯示采用根據(jù)本發(fā)明的ME方法的幀頻轉換設備的方框圖。
第一幀緩沖器310一幀一幀地存儲輸入圖像序列。幀延遲單元320逐幀地延遲輸入的圖像序列。第二幀緩沖器330一幀一幀地存儲在幀延遲單元320中延遲一幀的圖像信號。
全局ME單元340在從第一幀緩沖器310輸出的第n幀F(xiàn)n和從第二幀緩沖器330輸出的第n-1幀F(xiàn)n-1的基礎上估計全局MV(gx，gy)。
基于塊的ME單元350確定應用在全局ME單元340中估計的全局MV(gx，gy)的權值，根據(jù)該權值計算第n幀F(xiàn)n和第n-1幀F(xiàn)n-1之間的MAD值，并將該MAD值中的最小MAD值標識為MV。此時，可使用絕對差和(SAD)或平均絕對誤差(MAE)來代替MAD。
中值濾波單元360從基于塊的ME單元350中估計的MV去除異常值(outlier)，并平穩(wěn)地調整該MV。
運動補償插值單元370通過將在中值濾波單元360中濾波的MV分別應用于存儲在第一幀緩沖器310中的第n幀和存儲在第二幀緩沖器330中的第n-1幀的N1×N2個像素來產(chǎn)生將被插值到幀之間的像素值。例如，假設屬于幀F(xiàn)n、幀F(xiàn)n-1和幀F(xiàn)i的塊B內的像素值分別是fn、fn-1和fi，屬于幀F(xiàn)n的坐標值是x，根據(jù)以下的方程6表示將使用運動補償進行插值的圖像信號。
fi(x+MV(x)/2)＝{fn(x)+fn-1(x+MV(x))}/2盡管已參考本發(fā)明的示例性實施例對本發(fā)明進行了描述，但是本領域的技術人員應該理解，在不脫離由權利要求所限定的本發(fā)明的范圍的情況下，可對其進行形式和細節(jié)的各種改變。
產(chǎn)業(yè)上的可利用性可在計算機可讀記錄介質上使用計算機可讀代碼實現(xiàn)本發(fā)明。計算機可讀記錄介質的示例包括在其中存儲有將被計算機系統(tǒng)讀取的數(shù)據(jù)的所有類型的記錄裝置，諸如ROM、RAM、CD-ROM、磁盤、硬盤、軟盤、閃存和光學存儲裝置。以載波形式實現(xiàn)的介質(如，經(jīng)由互聯(lián)網(wǎng)傳輸)是計算機可讀記錄介質的另一示例。此外，計算機可讀記錄介質可分布在通過網(wǎng)絡連接的計算機系統(tǒng)中，并且可以以分布式方式使用計算機可讀代碼被記錄和被實施。
權利要求
1.一種運動估計方法，包括一幀一幀地存儲輸入圖像；通過存儲的幀之間的相關來估計全局運動矢量；和根據(jù)應用估計的全局運動矢量的權值計算幀之間的塊匹配值，并將最小塊匹配值確定為運動矢量。
2.如權利要求1所述的運動估計方法，其中，所述塊匹配值越接近全局運動矢量，權值越低。
3.如權利要求1所述的運動估計方法，其中，在具有相同的塊匹配值的兩個不同的候選運動矢量的情況下，最接近全局運動的候選運動矢量具有相對的優(yōu)勢。
4.如權利要求1所述的運動估計方法，其中，如下表示所述權值DD=([x-gxQx]2+[y-gyQy]2)]]>其中，[x/Q]表示不大于x/Q的最大的整數(shù)，gx和gy表示全局運動矢量值，Qx和Qy表示量化常數(shù)。
5.如權利要求1所述的運動估計方法，其中，所述塊匹配值是MAD(平均絕對差)。
6.一種轉換幀頻的方法，包括一幀一幀地存儲輸入圖像；通過存儲的幀之間的相關來估計全局運動矢量；根據(jù)應用估計的全局運動矢量的權值計算幀之間的塊匹配值，并將最小塊匹配值確定為運動矢量；通過對確定的運動矢量濾波來去除異常值；和使用濾波的運動矢量和相鄰的幀之間的匹配塊的像素值來產(chǎn)生將被插值到幀之間的像素值。
7.一種幀頻轉換設備，包括幀緩沖單元，一幀一幀地存儲輸入圖像；全局運動估計單元，根據(jù)存儲在幀緩沖單元中的幀之間的相關來估計全局運動矢量；塊運動估計單元，根據(jù)應用在全局運動估計單元中估計的全局運動矢量的權值計算幀之間的塊匹配值，并將最小塊匹配值確定為運動矢量；和運動補償插值單元，使用在塊運動估計單元中估計的運動矢量和幀之間的匹配塊的像素值來產(chǎn)生將被插值到幀之間的像素值。
8.如權利要求7所述的幀頻轉換設備，還包括濾波單元，對在塊運動估計單元中估計的運動矢量的異常值進行濾波。
9.如權利要求8所述的幀頻轉換設備，其中，所述濾波單元是中值濾波器。
全文摘要
提供一種自適應加權運動估計方法和一種采用該方法的幀頻轉換設備。該方法包括根據(jù)幀之間的相關來估計全局運動矢量；和根據(jù)應用估計的全局運動矢量的權值計算幀之間的塊匹配值，并將最低的塊匹配值確定為運動矢量。
文檔編號H04N7/01GK1806444SQ200580000501
公開日2006年7月19日 申請日期2005年5月9日 優(yōu)先權日2004年5月10日
發(fā)明者河泰鉉 申請人:三星電子株式會社