專利名稱:使用正交變換域中的塊匹配進(jìn)行運(yùn)動(dòng)估測(cè)的方法和裝置的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及圖象塊匹配方法,并且尤其涉及在正交變換的域中操作的兩個(gè)圖象之間的像素的塊匹配的方法。
運(yùn)動(dòng)估測(cè)是一種基本類型的數(shù)字視頻處理。運(yùn)動(dòng)估測(cè)可在許多數(shù)字視頻應(yīng)用例如,視頻編碼、運(yùn)動(dòng)補(bǔ)償視頻標(biāo)準(zhǔn)轉(zhuǎn)換和機(jī)器視覺中找到。視頻編碼前后的運(yùn)動(dòng)信息用來(lái)減少信號(hào)的平均信息量從而壓縮的視頻信號(hào)可經(jīng)限帶寬信道被傳送。視頻標(biāo)準(zhǔn)轉(zhuǎn)換前后的運(yùn)動(dòng)信息有助于轉(zhuǎn)換器通過沿運(yùn)動(dòng)路徑內(nèi)插信號(hào)來(lái)在空間上和/或暫時(shí)地恢復(fù)丟失的數(shù)據(jù)。運(yùn)動(dòng)信息在機(jī)器視覺應(yīng)用中是有用的,允許自動(dòng)機(jī)經(jīng)各種處理步驟找到或跟蹤工件。在這些例子的每一個(gè)中,運(yùn)動(dòng)估測(cè)典型地使用像素域塊匹配(BM)技術(shù)并且匹配標(biāo)準(zhǔn)為當(dāng)前幀中運(yùn)動(dòng)塊與搜索幀中試驗(yàn)匹配塊之間的最小均方差(MSE)。該最小MSE可由最小平均絕對(duì)值差(MAD)來(lái)取代用于成本更低廉的硬件設(shè)備。
像素域BM技術(shù)非常適合于這些應(yīng)用,因?yàn)樗鼈兊乃惴ê?jiǎn)單并且因?yàn)樗鼈兛墒褂贸笠?guī)模集成(VLSI)電路來(lái)執(zhí)行。但是,這些現(xiàn)有的BM技術(shù)可提供的比最佳結(jié)果少,因?yàn)樗鼈兓谙袼赜虮容^并且因?yàn)樽罴哑ヅ涫腔谧钚≌`差索引(MAD/MSE)來(lái)確定的。通常認(rèn)為像素域MSE(或互相關(guān))測(cè)量與人類感受到的圖像視覺誤差不完全一致。因此當(dāng)前在運(yùn)動(dòng)估測(cè)中使用的誤差測(cè)量需要進(jìn)一步修改。換言之,在匹配過程期間應(yīng)考慮人類視覺系統(tǒng)的特性。
本發(fā)明在考慮了人類視覺特性的運(yùn)動(dòng)估測(cè)技術(shù)中得到體現(xiàn)。該方案利用變換域塊匹配技術(shù)來(lái)獲得與使用像素域塊匹配技術(shù)所能達(dá)到的相比更準(zhǔn)確的運(yùn)動(dòng)矢量。
根據(jù)本發(fā)明的一方面,運(yùn)動(dòng)估測(cè)方法對(duì)運(yùn)動(dòng)塊和所有試驗(yàn)匹配塊執(zhí)行變換操作。然后該方法比較變換后的運(yùn)動(dòng)塊與各個(gè)變換后的試驗(yàn)匹配塊并選擇表現(xiàn)出與變換域中的運(yùn)動(dòng)塊有最小差別的試驗(yàn)匹配塊作為匹配塊。
根據(jù)本發(fā)明的另一方面,變換操作是阿達(dá)瑪變換操作。
根據(jù)本發(fā)明的另一方面,該方法計(jì)算變換后的運(yùn)動(dòng)塊與各個(gè)變換后的試驗(yàn)匹配塊之間的最小均方差(MSE)并選擇具有最小MSE的變換后的試驗(yàn)匹配塊作為匹配塊。
根據(jù)本發(fā)明的另一方面,該方法計(jì)算變換后的運(yùn)動(dòng)塊與各個(gè)變換后的試驗(yàn)匹配塊之間的平均絕對(duì)值差(MAD)并選擇具有最小MAD的變換后的試驗(yàn)匹配塊作為匹配塊。
根據(jù)本發(fā)明的另一方面,該方法允許運(yùn)動(dòng)塊的大小改變。
圖1(已有技術(shù))是用來(lái)描述塊匹配技術(shù)的多幀圖像的圖示。
圖2是根據(jù)本發(fā)明的示例的塊匹配處理器的框圖。
圖3是根據(jù)本發(fā)明的另一示例的塊匹配處理器的框圖。
圖4是根據(jù)本發(fā)明的另一示例的塊匹配處理器的框圖。
圖5是使用諸如圖4所示的塊匹配處理器的視頻信號(hào)編碼系統(tǒng)的框圖。
圖6是使用根據(jù)本發(fā)明的塊匹配技術(shù)而產(chǎn)生運(yùn)動(dòng)矢量場(chǎng)的機(jī)器視覺系統(tǒng)的框圖。
圖7是表示圖6所示的處理器之一的操作的流程圖。
圖8A和8B是用來(lái)描述根據(jù)本發(fā)明的一種塊匹配技術(shù)的多幀圖像的圖示。
圖9是用來(lái)描述根據(jù)本發(fā)明的另一種塊匹配技術(shù)的多幀圖像的圖示。具體描述運(yùn)動(dòng)估測(cè)技術(shù)被廣泛用在視頻分析、編碼和標(biāo)準(zhǔn)轉(zhuǎn)換中。在視頻編碼中,運(yùn)動(dòng)信息被用來(lái)減少圖像平均信息量并從而減少傳送或存儲(chǔ)圖像所需要的位數(shù)。在視頻標(biāo)準(zhǔn)轉(zhuǎn)換應(yīng)用中,運(yùn)動(dòng)信息通常被用來(lái)幫助丟失的像素的內(nèi)插。在機(jī)器視覺中,運(yùn)動(dòng)估測(cè)被用來(lái)限定需要被分析的圖像部分。在所有情況下,編碼或轉(zhuǎn)換的圖像的質(zhì)量直接與運(yùn)動(dòng)估測(cè)準(zhǔn)確度相關(guān)聯(lián)。盡管實(shí)際上被攝像機(jī)拍攝到的可觀察的數(shù)據(jù)是圖像的強(qiáng)度而不是圖像的運(yùn)動(dòng)。感受到的由于物體和攝像器的相對(duì)運(yùn)動(dòng)而引起的圖像序列中的強(qiáng)度圖案的暫時(shí)的位移是圖像分析中重要的一方面并且被稱為光流。光流提供與移動(dòng)物體的空間安排和結(jié)構(gòu)相關(guān)的信息。因此,尤其是在機(jī)器視覺和標(biāo)準(zhǔn)轉(zhuǎn)換應(yīng)用中,需要通過估測(cè)圖像序列中的光流來(lái)模擬真實(shí)的運(yùn)動(dòng)。
以塊為基礎(chǔ)的運(yùn)動(dòng)估測(cè)和補(bǔ)償技術(shù)是用于視頻編碼和標(biāo)準(zhǔn)轉(zhuǎn)換的最普遍的方法之一。一個(gè)示例的以塊為基礎(chǔ)的運(yùn)動(dòng)估測(cè)和補(bǔ)償技術(shù)在題目為“DERIVATION AND USE OF MOTION VECTORS IN ADIFFERENTIAL PULSE CODE MODULATION SYSTEM”(差動(dòng)脈沖編碼調(diào)制系統(tǒng)中的運(yùn)動(dòng)矢量的獲取和應(yīng)用)的美國(guó)專利No.5,198,091中進(jìn)行了描述,在這里因其教導(dǎo)以塊為基礎(chǔ)的運(yùn)動(dòng)估測(cè)技術(shù)而被引用為參考文獻(xiàn)。以塊為基礎(chǔ)的運(yùn)動(dòng)估測(cè)已經(jīng)被采納在數(shù)字視頻壓縮的國(guó)際標(biāo)準(zhǔn)如H.261和MPEG1-2中。但是,這些標(biāo)準(zhǔn)并沒有指定特定的運(yùn)動(dòng)估測(cè)方法。以塊為基礎(chǔ)的運(yùn)動(dòng)估測(cè),包括用于標(biāo)準(zhǔn)轉(zhuǎn)換和機(jī)器視覺的運(yùn)動(dòng)補(bǔ)償濾波(內(nèi)插)也被廣泛地用在一些其它的數(shù)字視頻應(yīng)用中。
塊運(yùn)動(dòng)模型假設(shè)視頻圖像由運(yùn)動(dòng)的塊組成。為減少計(jì)算的復(fù)雜性,通常假設(shè)一個(gè)簡(jiǎn)單的2維平移。在許多其它以塊為基礎(chǔ)的運(yùn)動(dòng)估測(cè)算法中,因?yàn)閴K匹配更少的硬件復(fù)雜性,它被認(rèn)為是用于實(shí)際運(yùn)動(dòng)估測(cè)實(shí)現(xiàn)的最普遍的方法。結(jié)果,它被廣泛應(yīng)用在VLSI中,并且?guī)缀跛蠬.261和MPEG1-2編碼和解碼都使用塊匹配來(lái)進(jìn)行運(yùn)動(dòng)估測(cè)。這些塊匹配技術(shù)中的很多都利用像素域搜索過程來(lái)確定給出的運(yùn)動(dòng)塊的最好的運(yùn)動(dòng)矢量估測(cè)。
基本的塊匹配算法在圖1中表示,其中用于當(dāng)前幀(參考幀)100中的像素x(u1,v1)的位移通過考慮以(u1,v1)為中心的N1×N2運(yùn)動(dòng)塊102并在下一/前一幀(搜索幀)104搜索具有相同大小的最好匹配塊110的位置來(lái)確定。一旦找到最好的匹配塊,運(yùn)動(dòng)矢量相對(duì)于在搜索圖像中占據(jù)了與運(yùn)動(dòng)塊在當(dāng)前幀中所占據(jù)的位置相同的位置的塊108來(lái)確定。為了計(jì)算的原因,這種搜索通常限定在N1+2M1×N2+2M2區(qū)(搜索窗口)106。塊匹配算法在以下幾個(gè)方面不同匹配標(biāo)準(zhǔn)(例如最小互相關(guān)、最小MSE、最小MAD),搜索策略(例如3步快速搜索)或塊大小的確定(例如分層的)。
焦點(diǎn)是關(guān)于用來(lái)從大量試驗(yàn)匹配塊中找到最好匹配塊的匹配標(biāo)準(zhǔn)。
典型地,匹配標(biāo)準(zhǔn)是基于像素域誤差索引測(cè)量如最大互相關(guān)和最小MSE的。為減少塊匹配中的計(jì)算需要量,最小平均絕對(duì)值差(MAD)或最大匹配像素?cái)?shù)(MPC)可取代MSE或MAD,但這是以犧牲性能為代價(jià)的。在最小MSE標(biāo)準(zhǔn)中,MSE由等式(1)來(lái)定義
其中R代表用于一組候選運(yùn)動(dòng)矢量(d1,d2)的N1×N2塊。運(yùn)動(dòng)矢量的估測(cè)取為把MSE降低到最小的(d1,d2)值,如等式(2)所示。[d1,d2]T=argmin(d1,d2)MSE(d1,d2)---(2)]]>因?yàn)殡y以有效地實(shí)現(xiàn)硬件中的平方操作,等式(3)定義的最小MAD標(biāo)準(zhǔn)可用來(lái)取代MSE標(biāo)準(zhǔn)。
那么位移估測(cè)由等式(4)給出。[d1,d2]T=argmin(d1,d2)MAD(d1,d2)---(4)]]>如果兩幀之間的差別代表幀間運(yùn)動(dòng),位移可直接轉(zhuǎn)化為運(yùn)動(dòng)矢量作為代表運(yùn)動(dòng)塊的預(yù)定像素沿例如x和y坐標(biāo)軸在當(dāng)前幀與搜索幀之間的位移的有序?qū)χ怠?br>
在實(shí)際的視頻應(yīng)用中,無(wú)論采用哪種匹配標(biāo)準(zhǔn),運(yùn)動(dòng)估測(cè)方案的準(zhǔn)確性最終由攝像器來(lái)判定。通常認(rèn)為像素域誤差測(cè)量(例如MSE,MAD)不能與人眼感受的圖像視覺誤差完全一致。因此當(dāng)前用在運(yùn)動(dòng)估測(cè)中的誤差測(cè)量需要進(jìn)一步修改來(lái)適應(yīng)人類視覺系統(tǒng)的特性。本發(fā)明通過在變換(序列/頻率)域中而非像素域中執(zhí)行塊匹配而考慮了這些特性。序列/頻率域變換的應(yīng)用可提供更高效的塊匹配,因?yàn)槿绻鼈冊(cè)谳^低空間頻率分量中而不是在較高空間頻率分量中發(fā)生,那么感受到的圖像塊誤差更能注意到。典型的基于像素的塊匹配技術(shù)因?yàn)槠鋬H在像素域中操作能在匹配期間同等處理所有的像素。
本發(fā)明的方法首先把運(yùn)動(dòng)塊和試驗(yàn)匹配塊變換為正交域,然后再應(yīng)用例如MSE/MAD匹配標(biāo)準(zhǔn)來(lái)進(jìn)行系數(shù)與系數(shù)對(duì)比。應(yīng)用變換域塊匹配與傳統(tǒng)像素域塊匹配相比具有幾個(gè)優(yōu)點(diǎn)(1)低階變換分量更可能在與人類的感覺一致的匹配結(jié)果方面具有效果;(2)在變換域中的有效噪音功率被降低;(3)如果違反了圖像僅表現(xiàn)為越界的運(yùn)動(dòng)的假設(shè),運(yùn)動(dòng)估測(cè)誤差小于像素域塊匹配技術(shù)。
有幾種變換可把圖像塊轉(zhuǎn)換為序列/頻率域。傅立葉變換(FT),離散余弦變換(DCT)和阿達(dá)瑪變換(HT)分別是三種代表性方法。由于FT和DCT操作分別是復(fù)數(shù)和實(shí)數(shù)變換,由于它們的硬件設(shè)備方面的相對(duì)的高成本而不被考慮。HT因?yàn)樗膯渭兊?1和-1的變換核心及快速變換算法的存在而更適合這項(xiàng)任務(wù)。因此它花費(fèi)比FT或DCT處理少得多的硬件邏輯來(lái)實(shí)現(xiàn)HT處理。盡管主題發(fā)明根據(jù)阿達(dá)瑪變換來(lái)描述,假設(shè)它實(shí)際可應(yīng)用于任何頻率/序列域變換或信號(hào)能量被壓縮為相對(duì)小數(shù)目的分量的其它正交變換。另外,盡管主題發(fā)明被描述為使用變換后的塊的最小平均絕對(duì)值差(MAD)來(lái)確定最好的匹配塊,也可假設(shè)其它的匹配措施也可應(yīng)用,如最大互交叉、最小MSE或最大匹配像素?cái)?shù)(MPC)。
阿達(dá)瑪矩陣,H=(hij)被定義為n×n尺寸的方陣,這里i.所有項(xiàng)為±1;ii.任何兩個(gè)不同的行是正交的,即
iii.阿達(dá)瑪矩陣的階為1,2,4,8,16…,4m,其中m=1,2……在沒有通常損失時(shí),我們考慮通用的阿達(dá)瑪矩陣的子矩陣來(lái)變換,即,秩2n的西爾威斯特—阿達(dá)瑪(Sylvester-Hadamard)矩陣。它的遞歸形式由等式(5)定義。
Hn=H1Hn-1(5)這里代表Knonecker積,并且H1=+1+1+1-1]]>從而H2=+1+1+1+1+1-1+1-1+1+1-1-1+1-1-1+1,]]>H3=+1+1+1+1+1+1+1+1+1-1+1-1+1-1+1-1+1+1-1-1+1+1-1-1+1-1-1+1+1-1-1+1+1+1+1+1-1-1-1-1+1-1+1-1-1+1-1+1+1+1-1-1-1-1+1-1+1-1-1+1-1+1+1-1]]>
二維平方阿達(dá)瑪變換被等式(6)定義。
F=HmfN1N2Hn(6)這里Hm和Hn分別是N1×N1(2m×2m)和N2×N2(2n×2n)阿達(dá)瑪矩陣。矩陣fN1N2是N1×N2大小的圖像數(shù)據(jù)矩陣。注意也可能用與上面限定的阿達(dá)瑪矩陣的第三特性一致的階來(lái)使圖像數(shù)據(jù)矩陣實(shí)現(xiàn)阿達(dá)瑪變換。
與傳統(tǒng)的像素域BM類似,阿達(dá)瑪變換域BM通過考慮以(u1,v1)為中心的N1×N2運(yùn)動(dòng)塊并在下(或前)一幀(搜索幀)搜索同樣大小的最好匹配塊的位置來(lái)確定當(dāng)前幀(參考幀)中像素f(u1,v1)的位移。這種搜索也被限定在N1+2M1×N2+2M2的區(qū)域。差別是參考和搜索幀中的塊都進(jìn)行各自的阿達(dá)瑪變換,如等式(7)和(8)所定義的。
Fref(R)=Hmfref(R)Hn(7)Fsearch(R)=Hmfsearch(R)Hn(8)
這里R代表N1×N2大小的像素塊。
MAD標(biāo)準(zhǔn)可被用來(lái)根據(jù)等式(9)計(jì)算變換域塊差。
然后位移估測(cè)可由等式(10)計(jì)算。[d1,d2]T=argmin(d1,d2)MAD(d1,d2)---(10)]]>盡管用于BM的匹配標(biāo)準(zhǔn)被改變了,提出的變換域BM(TBM)可與BM算法系列中的其它形式一起使用。例如,TBM可用在分級(jí)運(yùn)動(dòng)估測(cè)算法中,其中匹配塊通過起初使用當(dāng)前和搜索圖像的十分之一的低分辨率方案并使用為這些圖像確定的匹配進(jìn)行搜索以改進(jìn)對(duì)連續(xù)高分辨率圖像的搜索來(lái)確定。另一種情況是,不是對(duì)圖像進(jìn)行濾波和十中抽一,而是較大的塊大小和相應(yīng)的高階阿達(dá)瑪矩陣可被用來(lái)找到粗略的運(yùn)動(dòng)矢量并且然后塊大小和矩陣大小可被連續(xù)減少以把粗略運(yùn)動(dòng)矢量轉(zhuǎn)換為一個(gè)或多個(gè)精細(xì)的運(yùn)動(dòng)矢量。
該技術(shù)可和快速搜索運(yùn)動(dòng)估測(cè)算法如三步搜索法一起使用,該搜索法是由J.N.Kim和T.S.Choi在他們的IEEE Trans.on ConsumerElectronics pp638-648的題目為“A Fast Three-Step Search AlgorithmWith Minumum Checking Points Using Unimodal Error SurfaceAssumption”的文章中于1998年8月公開的,這里因其教導(dǎo)快速搜索運(yùn)動(dòng)估測(cè)算法而被引用為參考文獻(xiàn)。使用這些快速搜索技術(shù),來(lái)自當(dāng)前幀的運(yùn)動(dòng)塊與來(lái)自搜索幀的各個(gè)試驗(yàn)匹配塊可在執(zhí)行該技術(shù)的各個(gè)步驟之前被變換。另外,因?yàn)門BM技術(shù)對(duì)圖像的空間頻率內(nèi)容更敏感,它適用于呈現(xiàn)出非平移運(yùn)動(dòng)如旋轉(zhuǎn)或縮放的圖像序列。
圖2是適合于用在執(zhí)行根據(jù)本發(fā)明的變換塊匹配算法中的電路的框圖。圖2示出的電路把來(lái)自當(dāng)前幀210的運(yùn)動(dòng)塊映射到來(lái)自下一幀212的匹配塊中。塊匹配處理器200包括阿達(dá)瑪變換處理器214,其在微處理器226的控制下選擇來(lái)自當(dāng)前幀210的運(yùn)動(dòng)塊。
塊匹配處理器200也包括大量阿達(dá)瑪變換處理器216,218,220和222,其在微處理器226的控制下選擇來(lái)自下一幀存儲(chǔ)器212的試驗(yàn)匹配塊。微處理器226可控制阿達(dá)瑪變換處理器214到222以根據(jù)全面搜索算法或快速搜索算法選擇來(lái)自當(dāng)前幀210和下一幀212的塊。如果塊匹配處理器200被用在使用分級(jí)塊匹配技術(shù)的系統(tǒng)中,從當(dāng)前幀和下一幀取回的像素塊大小可在X和Y方向上變化并且相應(yīng)的阿達(dá)瑪變換可被用于如上根據(jù)等式(7)和(8)所述的取回的像素塊。
由阿達(dá)瑪變換處理器214到222提供的變換后的像素?cái)?shù)據(jù)塊被用于預(yù)測(cè)塊判定處理器224。處理器224可把例如根據(jù)等式(9)和(10)如上所述的最小值MAD標(biāo)準(zhǔn)用于像素值的各種變換后的塊以選擇相對(duì)于變換后的運(yùn)動(dòng)塊具有最小平均絕對(duì)值差的變換后的搜索塊。
預(yù)測(cè)塊判定處理器224也被耦合來(lái)接收來(lái)自微處理器226的塊識(shí)別信號(hào)。一識(shí)別出滿足等式(10)標(biāo)準(zhǔn)的搜索塊,運(yùn)動(dòng)塊與該搜索塊之間的位移可被預(yù)測(cè)塊判定處理器224計(jì)算出來(lái)。該位移表示為運(yùn)動(dòng)矢量,其是由預(yù)測(cè)塊判定處理器224提供的輸出信號(hào)。
圖3是另一種可選擇的塊匹配處理器200′的框圖。處理器通過在先前幀310和下一幀212中搜索匹配塊來(lái)擴(kuò)展圖2所示的塊匹配處理器200。如圖3所示,例示的塊匹配處理器200′包括阿達(dá)瑪變換處理器312,314,316和318,其被微處理器226′控制在把這些塊應(yīng)用于預(yù)測(cè)塊判定處理器224′之前取回并變換來(lái)自先前幀310的試驗(yàn)匹配塊。圖3示出的電路的剩余部分與圖2所示相同,沒有進(jìn)行描述。預(yù)測(cè)塊判定處理器224′計(jì)算來(lái)自當(dāng)前幀210的變換后的運(yùn)動(dòng)塊與來(lái)自先前幀310或下一幀212的所提供的變換后的塊的任何一個(gè)之間的最小絕對(duì)值差。
圖3所示的發(fā)明的例示實(shí)施例平行處理來(lái)自下一幀和先前幀的試驗(yàn)匹配塊。圖4表示本發(fā)明的另一實(shí)施例,其中來(lái)自下一幀和先前幀的試驗(yàn)匹配塊在三個(gè)順序步驟中被處理。圖4所示的系統(tǒng)包括多路復(fù)用器/塊平均處理器410,其被耦合來(lái)接收來(lái)自下一幀212和先前幀310的試驗(yàn)匹配塊。處理器410也被耦合來(lái)接收來(lái)自微處理器226"的控制信號(hào)。塊匹配處理器200"如下操作。在第一區(qū)間,來(lái)自當(dāng)前幀210的的運(yùn)動(dòng)塊被用于阿達(dá)瑪變換處理器214并且然后用于預(yù)測(cè)塊判定處理器224"。另外,在這個(gè)區(qū)間,來(lái)自先前幀的試驗(yàn)匹配塊經(jīng)多路復(fù)用器/塊平均處理器410被用于各個(gè)阿達(dá)瑪變換處理器216,218,220和222以產(chǎn)生被用于預(yù)測(cè)塊判定處理器224"的變換后的試驗(yàn)匹配塊。
在該第一區(qū)間中,預(yù)測(cè)塊判定處理器224"從相對(duì)于變換后的運(yùn)動(dòng)塊具有最小平均絕對(duì)值差的先前幀中選擇變換后的匹配塊。
在第二時(shí)間區(qū)間中,盡管變換后的運(yùn)動(dòng)塊仍用于預(yù)測(cè)塊判定處理器224",微處理器226"切換多路復(fù)用器/塊平均處理器410以提供來(lái)自下一幀212的試驗(yàn)匹配塊。在該第二時(shí)間區(qū)間中,來(lái)自下一幀的匹配塊被阿達(dá)瑪變換處理器216,218,220和222變換以產(chǎn)生變換后的匹配塊來(lái)用于預(yù)測(cè)塊判定處理器224"。在該第二時(shí)間區(qū)間中,預(yù)測(cè)塊判定處理器224"基于各個(gè)變換后的匹配塊和變換后的運(yùn)動(dòng)塊之間的最小平均絕對(duì)值差從下一幀中選擇一個(gè)匹配塊。
在第三時(shí)間區(qū)間中,預(yù)測(cè)塊判定處理器224"通知微處理器226"來(lái)自下一幀212和先前幀310的所選擇的匹配塊。接著多路復(fù)用器/塊平均處理器410平均來(lái)自下一幀和先前幀的所選擇的塊并把平均的塊提供給阿達(dá)瑪變換處理器之一,如處理器216。這種變換后的塊被用于預(yù)測(cè)塊判定處理器224",在第三時(shí)間區(qū)間中,其計(jì)算變換后的運(yùn)動(dòng)塊如阿達(dá)瑪變換處理器214所提供的和阿達(dá)瑪變換處理器216所提供的變換后的平均塊之間的平均絕對(duì)值差。
然后預(yù)測(cè)塊判定處理器224"比較用于變換后的平均塊的平均絕對(duì)值差和用于來(lái)自下一幀212和先前幀310的變換后的所選擇的塊的平均絕對(duì)值差。具有最小平均絕對(duì)值差的塊確定塊匹配處理器200"所應(yīng)用的運(yùn)動(dòng)矢量。在比較變換后的平均塊的平均絕對(duì)值差和來(lái)自下一幀和先前幀的匹配塊的平均絕對(duì)值差時(shí),預(yù)測(cè)塊判定處理器224"可從下一幀和先前幀存儲(chǔ)MAD值或者在它接收變換后的平均塊的同時(shí)接收來(lái)自下一幀和先前幀的變換后的匹配塊。在此例中,變換后的匹配塊可通過多路復(fù)用器/塊平均電路410被分別路由到各個(gè)阿達(dá)瑪變換處理器216,218,220和222中的幾個(gè),如處理器218和220。
圖4所示的電路可用于例如代碼轉(zhuǎn)換處理器如MPEG-2編碼器,其使用向前預(yù)測(cè)和雙向預(yù)測(cè)運(yùn)動(dòng)補(bǔ)償編碼技術(shù)。
圖2,3和4所示的例示塊匹配處理器表示為從下一幀和/或先前幀提供4個(gè)試驗(yàn)匹配塊來(lái)與來(lái)自當(dāng)前幀的運(yùn)動(dòng)塊作比較。這些圖只為了圖示的目的??杉僭O(shè)例如使用全面搜索運(yùn)動(dòng)估測(cè)技術(shù),可從各個(gè)先前幀和下一幀提供256個(gè)之多的試驗(yàn)匹配塊。對(duì)于快速搜索過程,如上面參考文獻(xiàn)所描述的一樣,下一幀和先前幀的每一個(gè)可在三步處理的每一步提供8個(gè)運(yùn)動(dòng)塊。
圖5是傳統(tǒng)運(yùn)動(dòng)適應(yīng)性視頻編碼器電路的框圖,其被采納來(lái)包括本發(fā)明的實(shí)施例并根據(jù)MPEG-2標(biāo)準(zhǔn)產(chǎn)生例如編碼的視頻信號(hào)。在圖5所示的系統(tǒng)中,輸入視頻信號(hào)被用于耦合于運(yùn)動(dòng)補(bǔ)償處理器200"的幀存儲(chǔ)器212′。運(yùn)動(dòng)補(bǔ)償處理器訪問幀存儲(chǔ)器以從下一幀獲得試驗(yàn)匹配塊。本發(fā)明示例中的幀存儲(chǔ)器212′也耦合于幀延遲210′。當(dāng)幀存儲(chǔ)器212′持有一幀視頻信息時(shí),僅靠前面的一幀經(jīng)幀延遲210′被提供給解碼電路。由幀延遲210′提供的輸出信號(hào)是耦合于運(yùn)動(dòng)補(bǔ)償處理器200"以提供參考圖4所描述的運(yùn)動(dòng)塊的當(dāng)前視頻幀。運(yùn)動(dòng)補(bǔ)償處理器200"也被耦合于幀延遲310′以接收來(lái)自原來(lái)圖像幀的試驗(yàn)匹配塊。
一般意義上,圖5所示的編碼器通過編碼經(jīng)從運(yùn)動(dòng)補(bǔ)償處理器200"提供的運(yùn)動(dòng)補(bǔ)償視頻數(shù)據(jù)減去幀延遲210′提供的當(dāng)前視頻信息而獲得的差分像素值來(lái)操作。
在本發(fā)明的例示實(shí)施例中,處理器210"提供的運(yùn)動(dòng)補(bǔ)償視頻數(shù)據(jù)被減法器510從當(dāng)前視頻數(shù)據(jù)減去。結(jié)果的差分信號(hào)在DCT處理器512中進(jìn)行離散余弦變換(DCT)處理。處理器512提供的變換后的差分信號(hào)被用于量化電路514。如下所述,DCT編碼的差分信號(hào)的量化分辨率被控制響應(yīng)于緩沖器控制處理器526。量化電路514的輸出信號(hào)被用于變量長(zhǎng)度編碼器522,其也接收運(yùn)動(dòng)補(bǔ)償處理器200"提供的運(yùn)動(dòng)矢量。變量長(zhǎng)度編碼器522把保密編碼應(yīng)用于量化變換的差分編碼值及運(yùn)動(dòng)矢量以產(chǎn)生編碼的輸出視頻流。編碼的視頻流被應(yīng)用于先進(jìn)先出(FIFO)緩沖器524,其在輸出端口提供減少編碼視頻信號(hào)的位率給傳輸信道。
依據(jù)視頻圖像中的運(yùn)動(dòng)細(xì)節(jié)和運(yùn)動(dòng)量,提供給FIFO緩沖器524的視頻數(shù)據(jù)可處于與傳輸信道所支持的相比較高的位率。在接近傳輸信道極限值時(shí),為減少用于代表編碼的視頻信號(hào)的數(shù)據(jù)量,F(xiàn)IFO緩沖器524指示緩沖器控制電路526信號(hào)以減少量化器514所應(yīng)用的量化分辨率。因?yàn)榫彌_器控制電路526,圖5所示的編碼處理器能可靠地把具有不同電平的細(xì)節(jié)和運(yùn)動(dòng)的圖像序列編碼為平均位率視頻信號(hào)。
幀延遲電路310′提供的視頻數(shù)據(jù)的先前幀從編碼的視頻信號(hào)再次產(chǎn)生。在本發(fā)明例示的實(shí)施例中,反向的量化電路516對(duì)量化器514執(zhí)行的量化操作進(jìn)行反向并且把解除量化的變換后的差分編碼視頻信號(hào)應(yīng)用于反向的離散余弦變換處理器518。處理器518對(duì)處理器512執(zhí)行的DCT操作進(jìn)行反向以提供解碼的差分視頻信號(hào)給加和電路520。加和電路520通過把運(yùn)動(dòng)補(bǔ)償視頻數(shù)據(jù)與解碼的差分視頻數(shù)據(jù)相加再構(gòu)成來(lái)自當(dāng)前幀的數(shù)據(jù)。再構(gòu)成的數(shù)據(jù)被應(yīng)用于幀延遲電路310′,其延遲當(dāng)前幀數(shù)據(jù)一個(gè)幀間隔以提供先前幀視頻數(shù)據(jù)給運(yùn)動(dòng)補(bǔ)償處理器200"。
圖6是被用來(lái)根據(jù)本發(fā)明的例示的實(shí)施例產(chǎn)生運(yùn)動(dòng)矢量場(chǎng)的高度平行處理器系統(tǒng)的框圖。該處理器系統(tǒng)包括NH乘以NV個(gè)處理器P0,0到PNv-1,Nh-1。從而處理器系統(tǒng)具有用于圖像的各個(gè)塊的處理器,其中圖像包括NH水平塊與NV垂直塊的乘積的塊或者是NH倍NV個(gè)塊。
如圖6所示,相應(yīng)于當(dāng)前場(chǎng)FK,先前場(chǎng)FK-1和下一個(gè)場(chǎng)FK+1的輸入取樣被應(yīng)用于輸入/輸出(I/O)處理器612。該處理器在控制處理器610的控制下把取樣存儲(chǔ)到多出口存儲(chǔ)器614。存儲(chǔ)器614可以是例如具有分別與大量處理器P0,0到PNv-1,Nh-1的每一個(gè)共駐內(nèi)存的不同部分的分布式存儲(chǔ)器??刂破?10和大量處理器P0,0到PNv-1,Nh-1根據(jù)上面的參考圖2,3和4所描述的方法來(lái)操作以從代表2或3個(gè)圖像場(chǎng)的取樣產(chǎn)生代表用于當(dāng)前圖像的運(yùn)動(dòng)矢量場(chǎng)的取樣。
盡管I/O處理器612被表示為接收3幀數(shù)據(jù),可假設(shè)它處于穩(wěn)態(tài)操作中,在任何給定的時(shí)間僅一個(gè)新的幀數(shù)據(jù)被用于處理器612。兩個(gè)先前存儲(chǔ)的幀可簡(jiǎn)單地被再指定從而相應(yīng)于幀F(xiàn)K的存儲(chǔ)數(shù)據(jù)將變?yōu)榇韼現(xiàn)K+1的數(shù)據(jù)并且相應(yīng)于幀F(xiàn)K-1的數(shù)據(jù)將變?yōu)榇韼現(xiàn)K的數(shù)據(jù)。在例示的發(fā)明的實(shí)施例中,各個(gè)處理器例如P0,0經(jīng)存儲(chǔ)器614的一個(gè)端口從幀F(xiàn)K獲得像素?cái)?shù)據(jù)的分別不同的運(yùn)動(dòng)塊。處理器也經(jīng)存儲(chǔ)器端口從幀F(xiàn)K-1和幀F(xiàn)K+1獲得試驗(yàn)匹配塊。
各個(gè)處理器P0,0到PNv-1,Nh-1根據(jù)圖7所示的流程圖來(lái)操作。流程圖中的第一步,步驟710從幀F(xiàn)K取回運(yùn)動(dòng)塊并進(jìn)行阿達(dá)瑪變換。步驟712從幀F(xiàn)K-1并可選擇地從幀F(xiàn)K+1取回試驗(yàn)匹配塊。另外,步驟712把變量MINMAD初始化為最大值。接著步驟714選擇試驗(yàn)匹配塊之一并對(duì)所選擇的塊進(jìn)行阿達(dá)瑪變換。這種操作根據(jù)等式(8)在上面已經(jīng)作了描述。步驟714也計(jì)算選擇的變換后的匹配塊與變換后的運(yùn)動(dòng)塊之間的平均絕對(duì)值差(MAD)。平均絕對(duì)值差的計(jì)算根據(jù)等式(9)在上面已經(jīng)作了描述。在步驟716,比較在步驟714計(jì)算的MAD值與MINMAD。如果MAD小于MINMAD,那么執(zhí)行步驟718,其把MAD的值分配給變量MINMAD并且把在步驟714被處理的塊的塊標(biāo)識(shí)符(BLOCK ID)記錄為變量MINMATCH。如果在步驟716或步驟718之后MAD不小于MINMAD,那么執(zhí)行步驟720。在步驟720,處理器確定是否還有匹配塊需要處理。如果有,控制返回步驟714以選擇下一個(gè)匹配塊。如果沒有其它的匹配塊需要被處理,執(zhí)行步驟722,其計(jì)算用于塊MINMATCH的參考等式(10)在上面進(jìn)行描述的運(yùn)動(dòng)矢量。
圖7所示的流程圖表示本發(fā)明的軟件實(shí)現(xiàn)過程。該軟件實(shí)現(xiàn)過程可以是計(jì)算機(jī)程序的形式,其經(jīng)載體如盤片、CD-ROM或調(diào)制載波而被傳送。
圖6所示的處理器系統(tǒng)提供的結(jié)果是包括用于各個(gè)運(yùn)動(dòng)塊幀F(xiàn)K的運(yùn)動(dòng)矢量的運(yùn)動(dòng)矢量場(chǎng)。和參考等式(7)和(8)而在上面進(jìn)行的描述一樣,阿達(dá)瑪矩陣和參考?jí)K與搜索塊可包括沿各個(gè)水平和垂直方向上的不同數(shù)目的像素。從而,圖6所示的處理器可在4×4塊上也可在16×16塊上操作。因?yàn)槿绲仁?6)所定義的阿達(dá)瑪變換操作使用兩個(gè)不同階的阿達(dá)瑪矩陣,圖6所示的處理器也可在16×4塊或在8×16塊上操作。
圖8A和8B表示主題發(fā)明在分級(jí)運(yùn)動(dòng)塊搜索算法上的應(yīng)用。圖8A中,包括像素值的16個(gè)8×8塊的運(yùn)動(dòng)塊140使用32×32阿達(dá)瑪矩陣來(lái)變換并且在先前幀104中的匹配塊150和152也進(jìn)行32×32阿達(dá)瑪變換。對(duì)每個(gè)變換后的塊150和152計(jì)算平均絕對(duì)值差。因?yàn)閴K150在先前幀104中具有與塊140在當(dāng)前幀100中相同的位置,塊150和塊152之間的位移限定用于塊140的運(yùn)動(dòng)矢量。另一種情況是,可對(duì)像素值的32×32塊通過低通濾波像素值的32×32塊和對(duì)濾波后的像素值十中抽一來(lái)計(jì)算運(yùn)動(dòng)矢量以產(chǎn)生例如像素值的8×8塊。像素值的32×32塊的低通濾波用來(lái)減少在濾波的塊被重取樣以產(chǎn)生像素值的8×8塊時(shí)的圖形失真。像素值的8×8塊然后進(jìn)行阿達(dá)瑪變換并與類似濾波的十中抽一的并變換的試驗(yàn)匹配塊相比以找到最好的匹配。低通濾波器和抽取器在圖中未示出。
如圖8A所示來(lái)計(jì)算的運(yùn)動(dòng)矢量在MPEG-2標(biāo)準(zhǔn)下覆蓋4個(gè)宏塊。應(yīng)用由圖8A所揭示的方法確定的運(yùn)動(dòng)矢量160,用于單個(gè)宏塊的運(yùn)動(dòng)矢量可如圖8B所示來(lái)產(chǎn)生。在圖8B中,當(dāng)單個(gè)宏塊170被用作運(yùn)動(dòng)塊時(shí),運(yùn)動(dòng)矢量160可用來(lái)限制用于把匹配塊放置在先前幀104中的搜索域106′。如圖8B所示,塊172,174,176和178可被確定為試驗(yàn)匹配塊。
根據(jù)該算法,16×16阿達(dá)瑪變換被用于運(yùn)動(dòng)塊170及各個(gè)試驗(yàn)匹配塊172,174,176和178。然后,為了在搜索域106′中選擇一個(gè)塊作為運(yùn)動(dòng)塊170的匹配塊,使用如上參考等式(9)和(10)所述的最小平均絕對(duì)值差算法來(lái)比較變換后的塊。如前所述,不是利用像素值的16×16塊和16×16阿達(dá)瑪變換,該算法可對(duì)16×16塊進(jìn)行濾波并十中抽一以產(chǎn)生8×8塊并將8×8阿達(dá)瑪變換應(yīng)用于該運(yùn)動(dòng)塊及一組類似濾波并重取樣的試驗(yàn)匹配塊中的每一個(gè)。
參考圖8A和8B描述的算法使用兩個(gè)不同階的阿達(dá)瑪變換。在圖8A中,進(jìn)行32階阿達(dá)瑪變換。而在圖8B中進(jìn)行16階阿達(dá)瑪變換。如上面參考圖2到5所述,用于執(zhí)行阿達(dá)瑪變換的處理電路可在其處理過程中的不同時(shí)間使用不同階的阿達(dá)瑪變換。還可假設(shè)單一序列的圖像可使用多階的變換,高階變換可用于圖像與圖像之間變化不明顯的圖像序列的較大區(qū)域,而低階阿達(dá)瑪變換可用于變化頻繁的圖像部分。例如,在新聞廣播中,背景可應(yīng)用相對(duì)大的階數(shù)的阿達(dá)瑪變換來(lái)編碼而新聞廣播員的臉應(yīng)使用相對(duì)低的階數(shù)的阿達(dá)瑪變換來(lái)編碼。
在參考圖8A和8B所描述的運(yùn)動(dòng)估測(cè)技術(shù)中,分級(jí)的運(yùn)動(dòng)估測(cè)是從大塊向小塊進(jìn)行的。但是,可假設(shè)分級(jí)技術(shù)可從小塊向大塊進(jìn)行。圖9是表示小塊的運(yùn)動(dòng)在大塊運(yùn)動(dòng)矢量之前的運(yùn)動(dòng)估測(cè)方法的例示圖。在圖9中,當(dāng)前幀100的運(yùn)動(dòng)塊118包括4個(gè)子塊120,122,124和126。在本發(fā)明例示的實(shí)施例中,對(duì)于各個(gè)子塊確定獨(dú)立的運(yùn)動(dòng)矢量。這表示在圖9中的搜索幀104中,塊118′代表處在與運(yùn)動(dòng)塊118處于當(dāng)前圖像中時(shí)相同的位置的塊和搜索圖像。一旦運(yùn)動(dòng)矢量確定了,運(yùn)動(dòng)塊的子塊120,122和126被映射到搜索圖像中的塊130的子塊120′,122′和123′,而子塊124被映射到搜索塊132的子塊124′。和參考圖1在上面描述的傳統(tǒng)塊運(yùn)動(dòng)算法一樣,搜索域被限定為搜索圖像104的區(qū)域106。因?yàn)檫\(yùn)動(dòng)塊的3個(gè)子塊映射到匹配塊130而僅一個(gè)子塊映射到塊132,塊130被選擇為用于運(yùn)動(dòng)塊118的匹配塊。
在圖9所示的塊匹配方法中,作為搜索幀104的搜索域106中的所有子塊,各個(gè)子塊120,122,124和126首先進(jìn)行阿達(dá)瑪變換。然后上述的塊匹配算法被應(yīng)用在搜索圖像104的搜索域106中的子塊基礎(chǔ)上。
盡管本發(fā)明根據(jù)例示的實(shí)施例作了描述,在后附權(quán)利要求的范圍內(nèi)可設(shè)定這只是作為上面所概括的一種實(shí)踐。
權(quán)利要求
1.用于處理代表第一和第二圖像的像素?cái)?shù)據(jù)以確定相應(yīng)于第一圖像中的像素值的運(yùn)動(dòng)塊的第二圖像中的像素值的匹配塊的方法,該方法包括步驟利用預(yù)定正交變換操作來(lái)變換像素值的運(yùn)動(dòng)塊以產(chǎn)生變換后的運(yùn)動(dòng)塊;從第二圖像選擇大量試驗(yàn)匹配塊;利用預(yù)定正交變換操作來(lái)變換各個(gè)試驗(yàn)匹配塊以產(chǎn)生相應(yīng)的大量變換后的匹配塊;產(chǎn)生變換后的運(yùn)動(dòng)塊與相應(yīng)的大量變換后的匹配塊的每一個(gè)之間的大量測(cè)量差值;及選擇相應(yīng)于具有作為大量測(cè)量差值中最小的測(cè)量差值的變換后的匹配塊的試驗(yàn)匹配塊作為匹配塊。
2.如權(quán)利要求1的方法,其中預(yù)定變換操作是阿達(dá)瑪變換操作。
3.如權(quán)利要求2的方法,其中產(chǎn)生變換后的運(yùn)動(dòng)塊與相應(yīng)的大量變換后的匹配塊的每一個(gè)之間的大量測(cè)量差值的步驟包括計(jì)算變換后的運(yùn)動(dòng)塊與變換后的匹配塊的每一個(gè)之間的均方差(MSE)的步驟;及選擇匹配塊的步驟選擇相應(yīng)于具有小于任何其它的變化后的匹配塊的MSE的MSE的變換后的匹配塊的匹配塊。
4.如權(quán)利要求2的方法,其中產(chǎn)生變換后的運(yùn)動(dòng)塊與相應(yīng)的大量變換后的匹配塊的每一個(gè)之間的大量測(cè)量差值的步驟包括計(jì)算變換后的運(yùn)動(dòng)塊與變換后的匹配塊的每一個(gè)之間的平均絕對(duì)值差(MAD)的步驟;及選擇匹配塊的步驟選擇相應(yīng)于具有小于任何其它的變換后的匹配塊的MAD的MAD的變換后的匹配塊的匹配塊。
5.如權(quán)利要求2的方法,其中運(yùn)動(dòng)塊包括第一數(shù)值M行像素值和第二數(shù)值N列像素值并且變換運(yùn)動(dòng)塊的步驟包括步驟用運(yùn)動(dòng)塊乘以M×M阿達(dá)瑪矩陣以產(chǎn)生M×N矩陣值;及用N×N阿達(dá)瑪矩陣乘以M×N矩陣值以產(chǎn)生N×M塊變換后的圖像值。
6.如權(quán)利要求1的方法,其中第一和第二圖像是第一和第二連續(xù)幀視頻信號(hào)并且第一和第二圖像之間的差相應(yīng)于幀間運(yùn)動(dòng),該方法還包括步驟確定在位置上相應(yīng)于運(yùn)動(dòng)塊的第二幀中的參考?jí)K;確定參考?jí)K與第二幀中的選擇匹配塊之間的位移;及從該位移產(chǎn)生運(yùn)動(dòng)矢量。
7.用于處理代表第一和第二圖像的像素?cái)?shù)據(jù)以確定相應(yīng)于第一圖像中的像素值的運(yùn)動(dòng)塊的第二圖像中的像素值的匹配塊的方法,該方法包括步驟在第一圖像中選擇像素值的M×N塊,該像素值的M×N塊包括作為適當(dāng)?shù)淖蛹南袼刂档倪\(yùn)動(dòng)塊;利用預(yù)定正交變換操作來(lái)變換像素值的M×N塊以產(chǎn)生變換后的像素值的M×N塊;從第二圖像中選擇大量試驗(yàn)的M×N匹配塊;利用預(yù)定變換操作來(lái)變換大量試驗(yàn)M×N匹配塊的每一個(gè)以產(chǎn)生相應(yīng)的大量的變換后的M×N匹配塊;產(chǎn)生變換后的M×N運(yùn)動(dòng)塊與相應(yīng)的大量變換后的M×N匹配塊的每一個(gè)之間的大量測(cè)量差值;及比較產(chǎn)生的測(cè)量差值以確定最小的測(cè)量差并確定哪個(gè)變換后的M×N匹配塊相應(yīng)于最小的測(cè)量差;確定M×N塊與選擇的M×N匹配塊之間的位移;利用預(yù)定正交變換操作來(lái)變換像素值的運(yùn)動(dòng)塊以產(chǎn)生變換后的運(yùn)動(dòng)塊;從第二圖像選擇大量試驗(yàn)匹配塊,該選擇的試驗(yàn)匹配塊被團(tuán)簇在從運(yùn)動(dòng)塊被移開預(yù)定位移的試驗(yàn)匹配塊周圍;利用預(yù)定正交變換操作來(lái)變換像素值的各個(gè)試驗(yàn)匹配塊以產(chǎn)生相應(yīng)的大量的變換后的匹配塊;產(chǎn)生變換后的運(yùn)動(dòng)塊與相應(yīng)的大量變換后的匹配塊的每一個(gè)之間的大量測(cè)量差值;及選擇相應(yīng)于具有小于大量測(cè)量差值中任何一個(gè)其它的測(cè)量差值的測(cè)量差值的變換后的匹配塊的試驗(yàn)匹配塊作為匹配塊。
8.用于處理代表第一和第二圖像的像素?cái)?shù)據(jù)以確定相應(yīng)于第一圖像中的像素值的運(yùn)動(dòng)塊的第二圖像中的像素值的匹配塊的裝置,該裝置包括利用預(yù)定正交變換操作來(lái)變換像素值的運(yùn)動(dòng)塊以產(chǎn)生變換后的運(yùn)動(dòng)塊的變換處理器;從第二圖像選擇相應(yīng)的大量試驗(yàn)匹配塊并利用預(yù)定正交變換操作來(lái)變換像素值的相應(yīng)的試驗(yàn)匹配塊以產(chǎn)生相應(yīng)的大量變換后的匹配塊的大量再變換處理器;產(chǎn)生變換后的運(yùn)動(dòng)塊與相應(yīng)的大量變換后的匹配塊的每一個(gè)之間的大量測(cè)量差值并確定一個(gè)測(cè)量差值作為最小測(cè)量差值的比較器,其中相應(yīng)于具有最小的測(cè)量差值的變換后的匹配塊的試驗(yàn)匹配塊被確定為相應(yīng)于像素值的運(yùn)動(dòng)塊的像素值的匹配塊。
9.如權(quán)利要求8的裝置,其中各個(gè)變換處理器和大量變換處理器是阿達(dá)瑪變換處理器。
10.如權(quán)利要求9的裝置,其中比較器包括用于計(jì)算變換后的運(yùn)動(dòng)塊與變換后的匹配塊的每一個(gè)之間的均方差(MSE)的裝置;及用于選擇相應(yīng)于具有小于任何其它的變換塊的MSE的MSE的變換后的匹配塊的試驗(yàn)匹配塊作為像素值的匹配塊的裝置。
11.如權(quán)利要求9的裝置,其中比較器包括用于計(jì)算變換后的運(yùn)動(dòng)塊與變換后的匹配塊的每一個(gè)之間的平均絕對(duì)值差(MAD)的裝置;及用于選擇相應(yīng)于具有小于任何其它的變換后的塊的MAD的MAD的變換后的匹配塊的試驗(yàn)匹配塊作為像素值的匹配塊的裝置。
12.如權(quán)利要求11的裝置,其中第一和第二圖像是第一和第二連續(xù)幀視頻信號(hào)并且第一和第二圖像之間的差相應(yīng)于幀間運(yùn)動(dòng),該裝置還包括用于確定在位置上相應(yīng)于運(yùn)動(dòng)塊的第二幀中的參考?jí)K的裝置;用于確定參考?jí)K與第二幀中的選擇匹配塊之間的位移的裝置;及從該位移產(chǎn)生運(yùn)動(dòng)矢量的裝置。
13.包括計(jì)算機(jī)程序的載體,計(jì)算機(jī)程序包括大量引起計(jì)算機(jī)執(zhí)行下述步驟的指令從第一圖像確定像素的運(yùn)動(dòng)塊;利用預(yù)定正交變換操作來(lái)變換像素值的運(yùn)動(dòng)塊以產(chǎn)生變換后的運(yùn)動(dòng)塊;從第二圖像中選擇大量試驗(yàn)匹配塊;利用預(yù)定正交變換操作來(lái)變換像素值的試驗(yàn)匹配塊的每一個(gè)以產(chǎn)生相應(yīng)的大量的變換后的匹配塊;產(chǎn)生變換后的運(yùn)動(dòng)塊與相應(yīng)的大量變換后的匹配塊的每一個(gè)之間的大量測(cè)量差值;及選擇相應(yīng)于具有小于大量測(cè)量差值中任何一個(gè)其它的測(cè)量差值的測(cè)量差值的變換后的匹配塊的試驗(yàn)匹配塊作為匹配塊。
全文摘要
一種對(duì)一個(gè)視頻圖像幀中的運(yùn)動(dòng)塊與另一塊視頻圖像幀中的匹配塊進(jìn)行匹配的塊匹配裝置和方法,該裝置包括大量阿達(dá)瑪變換處理器,該處理器對(duì)運(yùn)動(dòng)塊和來(lái)自另一視頻圖像幀的大量試驗(yàn)匹配塊進(jìn)行變換,然后變換后的匹配塊與變換后的運(yùn)動(dòng)塊進(jìn)行比較,并且確定相對(duì)于變換后的運(yùn)動(dòng)塊具有最小差值的變換后的匹配塊,相應(yīng)于所確定的變換后的匹配塊的匹配塊被選擇為用于運(yùn)動(dòng)塊的匹配塊。
文檔編號(hào)G06T7/20GK1262496SQ0010034
公開日2000年8月9日 申請(qǐng)日期2000年1月18日 優(yōu)先權(quán)日1999年1月27日
發(fā)明者朱強(qiáng) 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社