專利名稱：估計(jì)當(dāng)前運(yùn)動(dòng)矢量的單元和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于估計(jì)圖像的第一像素組的當(dāng)前運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)單元，包括-產(chǎn)生裝置，用于產(chǎn)生第一像素組的候選運(yùn)動(dòng)矢量組，所述候選運(yùn)動(dòng)矢量從先前估計(jì)的運(yùn)動(dòng)矢量組中提取，所述候選運(yùn)動(dòng)矢量組包括對(duì)應(yīng)于已經(jīng)為圖像的第二像素組選定的第一個(gè)先前估計(jì)運(yùn)動(dòng)矢量的第一個(gè)候選運(yùn)動(dòng)矢量；-匹配誤差計(jì)算單元，用于計(jì)算各個(gè)候選運(yùn)動(dòng)矢量的匹配誤差，該計(jì)算單元被安排成當(dāng)所計(jì)算的第一個(gè)候選運(yùn)動(dòng)矢量的匹配誤差低于預(yù)定匹配誤差閾值時(shí)停止計(jì)算匹配誤差；和-選擇單元，用于當(dāng)所計(jì)算的第一個(gè)候選運(yùn)動(dòng)矢量的匹配誤差低于預(yù)定匹配誤差閾值時(shí)選擇第一個(gè)候選運(yùn)動(dòng)矢量為當(dāng)前運(yùn)動(dòng)矢量，否則，根據(jù)比較各個(gè)候選運(yùn)動(dòng)矢量的匹配誤差來從候選運(yùn)動(dòng)矢量組中選擇當(dāng)前運(yùn)動(dòng)矢量。
本發(fā)明進(jìn)一步涉及一種用于估計(jì)圖像像素組的當(dāng)前運(yùn)動(dòng)矢量的方法，包括-產(chǎn)生第一像素組的候選運(yùn)動(dòng)矢量組，所述候選運(yùn)動(dòng)矢量從先前估計(jì)的運(yùn)動(dòng)矢量組中提取，所述候選運(yùn)動(dòng)矢量組包括對(duì)應(yīng)于已經(jīng)為圖像的第二像素組選定的第一個(gè)先前估計(jì)的運(yùn)動(dòng)矢量的第一個(gè)候選運(yùn)動(dòng)矢量；-計(jì)算各個(gè)候選運(yùn)動(dòng)矢量的匹配誤差，如果所計(jì)算的第一個(gè)候選運(yùn)動(dòng)矢量的匹配誤差低于預(yù)定匹配誤差閾值則停止計(jì)算匹配誤差；和-如果所計(jì)算的第一個(gè)候選運(yùn)動(dòng)矢量的匹配誤差低于預(yù)定匹配誤差閾值則選擇第一個(gè)候選運(yùn)動(dòng)矢量為當(dāng)前運(yùn)動(dòng)矢量，否則，根據(jù)比較各個(gè)候選運(yùn)動(dòng)矢量的匹配誤差來從候選運(yùn)動(dòng)矢量組中選擇當(dāng)前運(yùn)動(dòng)矢量。
本發(fā)明還涉及一種圖像處理設(shè)備，包括-接收裝置，用于接收表示一系列圖像的信號(hào)；-這種運(yùn)動(dòng)估計(jì)單元；和-運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理單元，用于根據(jù)圖像和當(dāng)前運(yùn)動(dòng)矢量來確定處理的圖像。
在開始段落中描述的這種運(yùn)動(dòng)估計(jì)單元的實(shí)施例從G.de Haan等人的文章“True-Motion Estimation with 3-D Recursive Search BlockMatching”(利用3維遞歸搜索塊匹配的真實(shí)運(yùn)動(dòng)估計(jì))(IEEETransactions on circuits and systems for video technology，vol.3，no.5，1993年10月，368-379頁)可知。
對(duì)于許多視頻信號(hào)處理中的應(yīng)用，有必要知道圖像序列的視在速度場(apparent velocity filed)，稱為光流(optical flow)。該光流以時(shí)間變化的運(yùn)動(dòng)矢量場的形式給出，即每對(duì)圖像一個(gè)運(yùn)動(dòng)矢量場。注意一個(gè)圖像可以是幾個(gè)圖像對(duì)的一部分。
所引述的運(yùn)動(dòng)估計(jì)單元依賴于兩個(gè)基本假設(shè)。第一，對(duì)象大于塊，這是指在塊的附近估計(jì)的運(yùn)動(dòng)矢量將與該塊的當(dāng)前運(yùn)動(dòng)矢量有高相關(guān)性，并且因此能夠作為該運(yùn)動(dòng)矢量的所謂的空間預(yù)測，即空間候選運(yùn)動(dòng)矢量來使用。第二，對(duì)象具有慣性。這是指對(duì)象的運(yùn)動(dòng)不會(huì)逐個(gè)圖像地不規(guī)律地變化，并且當(dāng)前塊的當(dāng)前運(yùn)動(dòng)矢量將與先前圖像中對(duì)應(yīng)塊的運(yùn)動(dòng)矢量有高相關(guān)性。來自這些塊的運(yùn)動(dòng)矢量可以作為當(dāng)前塊的運(yùn)動(dòng)矢量的所謂時(shí)間預(yù)測，即時(shí)間候選運(yùn)動(dòng)矢量來使用。為了允許運(yùn)動(dòng)矢量的更新，添加了稱為隨機(jī)預(yù)測的額外預(yù)測，即隨機(jī)候選運(yùn)動(dòng)矢量，其等于添加了小的噪聲運(yùn)動(dòng)矢量的空間候選運(yùn)動(dòng)矢量。
在所引述的文章中，通過將圖像劃分為塊來估計(jì)該運(yùn)動(dòng)矢量場。對(duì)每個(gè)塊的候選運(yùn)動(dòng)矢量組計(jì)算匹配誤差，并在最小化程序中使用匹配誤差來從塊的候選運(yùn)動(dòng)矢量組尋找最適合的運(yùn)動(dòng)矢量，即當(dāng)前運(yùn)動(dòng)矢量。通過對(duì)像素塊的像素值和第二圖像的第二像素塊的像素值進(jìn)行比較來計(jì)算匹配誤差。在已知的運(yùn)動(dòng)估計(jì)單元中，匹配誤差對(duì)應(yīng)于SAD第一圖像塊中的像素與參考圖像(即被候選運(yùn)動(dòng)矢量偏移的第二圖像)中塊的像素間的絕對(duì)亮度差之和。如果參考圖像和第一圖像彼此直接連續(xù)，SAD可以計(jì)算為SAD(x,y,dx,dy,n)=Σi=0NΣj=0M|Y(x+i,y+j,n)-Y(x+dx+i,y+dy+j,n+1)|---(1)]]>這里(x，y)是塊的位置，(dx，dy)是運(yùn)動(dòng)矢量，n是圖像號(hào)，N和M是塊的寬和高，而Y(x，y，n)是圖像n中位置(x，y)處像素的亮度值。
運(yùn)動(dòng)估計(jì)中的一個(gè)問題是計(jì)算復(fù)雜度。尤其是計(jì)算各候選運(yùn)動(dòng)矢量的匹配誤差花費(fèi)許多計(jì)算。一種稱為“塊跳躍”的技術(shù)極大地降低了該計(jì)算量。塊跳躍是指設(shè)置匹配誤差的預(yù)定閾值。如果候選運(yùn)動(dòng)矢量的匹配誤差(即SAD)降到該閾值以下，則該候選運(yùn)動(dòng)矢量被選定并被指定給當(dāng)前塊，而當(dāng)前塊的候選運(yùn)動(dòng)矢量組的其它矢量被忽略。這意味著不執(zhí)行還沒有被計(jì)算的其它候選運(yùn)動(dòng)矢量的匹配誤差的計(jì)算。
雖然“塊跳躍”看起來是降低計(jì)算量的適當(dāng)方法，但是它并不是在所有環(huán)境下都執(zhí)行得最好。已知運(yùn)動(dòng)估計(jì)單元的問題之一是空間候選運(yùn)動(dòng)矢量能夠在其下使用的假設(shè)在對(duì)象邊界上不成立。位于另一對(duì)象中的空間候選運(yùn)動(dòng)矢量將與當(dāng)前塊的運(yùn)動(dòng)矢量沒有相關(guān)性。因此，在對(duì)象邊界，“塊跳躍”很危險(xiǎn)，因?yàn)楦玫暮蜻x運(yùn)動(dòng)矢量可能被跳過(即沒有被評(píng)估并從而被選擇)。
本發(fā)明的一個(gè)目的是提供一種在開始段落描述的那種運(yùn)動(dòng)估計(jì)單元，其能夠提供更精確的運(yùn)動(dòng)矢量場。
實(shí)現(xiàn)本發(fā)明的該目的在于運(yùn)動(dòng)估計(jì)單元被安排成根據(jù)將圖像分割為像素段的分割結(jié)果來調(diào)整預(yù)定匹配誤差閾值，分割的結(jié)果與第一像素組的第一部分和第二像素組的第一部分都對(duì)應(yīng)第一段的概率有關(guān)。在對(duì)應(yīng)于被捕獲并由圖像表示的場景中的對(duì)象的段中，第一像素組的適當(dāng)運(yùn)動(dòng)矢量和第二像素組的空間候選運(yùn)動(dòng)矢量之間的相關(guān)性非常高。塊跳躍的效率通過增加對(duì)象內(nèi)的預(yù)定匹配誤差閾值而進(jìn)一步提高。換言之，如果第一像素組的第一部分和第二像素組的第一部分都對(duì)應(yīng)相同段的概率增加，則用于評(píng)估有關(guān)候選運(yùn)動(dòng)矢量的預(yù)定匹配誤差閾值增加。這在匹配誤差即使對(duì)適當(dāng)?shù)倪\(yùn)動(dòng)矢量都通常較高的細(xì)節(jié)區(qū)域是一個(gè)優(yōu)點(diǎn)。在對(duì)象邊界，第一像素組的運(yùn)動(dòng)矢量和空間候選運(yùn)動(dòng)矢量之間的相關(guān)性要小得多。因此，“塊跳躍”很危險(xiǎn)，并在對(duì)象邊界降低預(yù)定匹配誤差閾值。降低的匹配誤差閾值意味著“塊跳躍”的機(jī)會(huì)相對(duì)小了。注意術(shù)語“塊跳躍”也可意味著跳躍到下一組像素。
對(duì)于運(yùn)動(dòng)補(bǔ)償應(yīng)用分割結(jié)果并不新穎。例如在歐洲專利申請(qǐng)?zhí)?1202615.9(代理人文檔PHNL010445)中，組合了分級(jí)分割方法和運(yùn)動(dòng)估計(jì)。但是按照本發(fā)明應(yīng)用分割結(jié)果是新穎的根據(jù)分割結(jié)果調(diào)整預(yù)定匹配誤差閾值。因此，應(yīng)用由匹配誤差表示的實(shí)際匹配質(zhì)量和分割結(jié)果來確定特定候選運(yùn)動(dòng)矢量是否適當(dāng)。按照本發(fā)明的運(yùn)動(dòng)估計(jì)單元的一個(gè)優(yōu)點(diǎn)是運(yùn)動(dòng)矢量場的質(zhì)量。另一個(gè)優(yōu)點(diǎn)是計(jì)算復(fù)雜度進(jìn)一步降低，而沒有損害運(yùn)動(dòng)矢量場的質(zhì)量。
按照本發(fā)明的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例被安排成根據(jù)概率大小調(diào)整預(yù)定匹配誤差閾值的值。分割可以是二進(jìn)制的，得到每像素一個(gè)標(biāo)簽，表示該像素是否屬于特定段。但是，優(yōu)選地，分割方法為像素或像素組提供屬于特定段的概率。像素也可能有多個(gè)概率例如屬于段A的20％的第一概率和屬于段B的80％的第二概率。按照發(fā)明的該實(shí)施例被安排成應(yīng)用實(shí)際概率來調(diào)整預(yù)定匹配誤差閾值。例如，如果不屬于相同對(duì)象的概率相對(duì)較高則預(yù)定匹配誤差閾值應(yīng)相當(dāng)較低，反之亦然。該方法的優(yōu)點(diǎn)是更精確即調(diào)協(xié)得更好的預(yù)定匹配誤差閾值，以及是否應(yīng)當(dāng)進(jìn)行“塊跳躍”或是否應(yīng)執(zhí)行對(duì)其它運(yùn)動(dòng)矢量候選的評(píng)估的更好的確定標(biāo)準(zhǔn)。
按照本發(fā)明的運(yùn)動(dòng)估計(jì)單元的另一實(shí)施例被安排成根據(jù)第一像素組第一部分的第一像素?cái)?shù)和第一像素組的第二像素?cái)?shù)之間的比調(diào)整預(yù)定匹配誤差閾值。分割和運(yùn)動(dòng)估計(jì)可以更強(qiáng)地相關(guān)。這意味著例如對(duì)像素組執(zhí)行分割并且對(duì)相同像素組執(zhí)行運(yùn)動(dòng)估計(jì)。但是分割和運(yùn)動(dòng)估計(jì)可以獨(dú)立執(zhí)行。此時(shí)，分割例如基于像素執(zhí)行而運(yùn)動(dòng)估計(jì)基于塊執(zhí)行。結(jié)果，可能是將要被用于運(yùn)動(dòng)估計(jì)的像素組的第一部分像素分類為屬于段A而將另一部分像素分類為屬于段B。在后一情況中，對(duì)像素組可以根據(jù)第一部分的像素?cái)?shù)和整個(gè)像素組的像素?cái)?shù)之間的比來計(jì)算“屬于段A的總概率”。該方法的優(yōu)點(diǎn)是更精確即調(diào)協(xié)的更好的預(yù)定匹配誤差閾值，以及是否應(yīng)當(dāng)進(jìn)行“塊跳躍”或是否應(yīng)執(zhí)行對(duì)其它運(yùn)動(dòng)矢量候選的評(píng)估的更好的確定標(biāo)準(zhǔn)。
在按照本發(fā)明的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例中，第一像素組是像素塊。原理上，像素組可以具有任何形狀，甚至不規(guī)則。優(yōu)選的是基于塊的形狀，因?yàn)檫@降低了運(yùn)動(dòng)估計(jì)單元的設(shè)計(jì)復(fù)雜度。
在按照本發(fā)明的運(yùn)動(dòng)估計(jì)單元的另一實(shí)施例中，匹配誤差計(jì)算單元被設(shè)計(jì)為通過從另一圖像的第三組像素的像素亮度值減去第一組像素的像素亮度值來計(jì)算第一個(gè)候選運(yùn)動(dòng)矢量的匹配誤差。優(yōu)選地，計(jì)算絕對(duì)亮度差的和(SAD)。SAD是能夠較快計(jì)算的相對(duì)可靠的相關(guān)性量度。
在按照本發(fā)明的運(yùn)動(dòng)估計(jì)單元的另一實(shí)施例中，選擇單元被安排成當(dāng)對(duì)應(yīng)的匹配誤差是最小的匹配誤差時(shí)，從候選運(yùn)動(dòng)矢量組中選擇特定運(yùn)動(dòng)矢量作為當(dāng)前運(yùn)動(dòng)矢量。這是從候選運(yùn)動(dòng)矢量組中選擇當(dāng)前運(yùn)動(dòng)矢量的較簡單的方法。
本發(fā)明的另一目的是提供一種在開始段落描述的那種方法，其能夠提供更精確的運(yùn)動(dòng)矢量場。
實(shí)現(xiàn)本發(fā)明的該目的在于根據(jù)將圖像分割為像素段的分割結(jié)果來調(diào)整預(yù)定匹配誤差閾值，分割的結(jié)果與第一像素組的第一部分和第二像素組的第一部分這二者對(duì)應(yīng)第一段的概率有關(guān)。
將按照本發(fā)明的運(yùn)動(dòng)估計(jì)單元的實(shí)施例應(yīng)用在開始段落描述的圖像處理設(shè)備中是有利的。該圖像處理設(shè)備可以包括附加的部件，例如用于顯示處理的圖像的顯示裝置，或用于存儲(chǔ)處理的圖像的存儲(chǔ)裝置。運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理單元可以支持以下類型圖像處理中的一個(gè)或多個(gè)-去交織交織是交替發(fā)送奇數(shù)或偶數(shù)圖像行的通用視頻廣播程序。去交織試圖恢復(fù)完全的垂直分辨率，即使每個(gè)圖像奇偶行同時(shí)可用；-上變換從原始輸入圖像系列中計(jì)算出更大的輸出圖像系列。輸出圖像在時(shí)間上位于兩個(gè)原始輸入圖像之間；-時(shí)間降噪。這也可包括空間處理，產(chǎn)生空-時(shí)降噪；和-視頻壓縮，即例如按照MPEG標(biāo)準(zhǔn)或H26L標(biāo)準(zhǔn)的編碼或解碼。
圖像處理設(shè)備的修改及其變化可以對(duì)應(yīng)于所述運(yùn)動(dòng)估計(jì)單元的修改及其變化。
按照本發(fā)明的運(yùn)動(dòng)估計(jì)單元、方法和圖像處理設(shè)備的這些和其它方面將就下文所述的實(shí)現(xiàn)方式和實(shí)施例并參考附圖來說明和變得明白，其中

圖1示意性示出了結(jié)合圖像分割單元的運(yùn)動(dòng)估計(jì)單元；圖2示意性示出了運(yùn)動(dòng)矢量場；和圖3示意性示出了按照本發(fā)明包括運(yùn)動(dòng)估計(jì)單元的圖像處理設(shè)備的各元件。
所有附圖中對(duì)應(yīng)的參考號(hào)具有相同的意義。
圖1示意性示出了結(jié)合圖像分割單元108和用于存儲(chǔ)圖像的存儲(chǔ)裝置110的運(yùn)動(dòng)估計(jì)單元100。圖像分割是為了將圖像劃分為段，其中一定的特征保持恒定或在預(yù)定閾值之間。對(duì)于圖像的像素或像素組，計(jì)算表示屬于任何段的概率的值。該特征可以是從簡單灰度值到結(jié)合彩色信息的復(fù)雜紋理量度的任何一種?；谒x定的特征的分割方法(即提取段的方法)可以是從簡單的取閾值到分水嶺算法的任何方法。
運(yùn)動(dòng)估計(jì)單元100被安排成估計(jì)圖像第一像素組212的當(dāng)前運(yùn)動(dòng)矢量，包括-產(chǎn)生單元106，用從先前估計(jì)的運(yùn)動(dòng)矢量組中提取的候選運(yùn)動(dòng)矢量產(chǎn)生第一像素組212的候選運(yùn)動(dòng)矢量組；-匹配誤差計(jì)算單元102，用于計(jì)算各候選運(yùn)動(dòng)矢量的匹配誤差；和-選擇單元104，用于從候選運(yùn)動(dòng)矢量中選擇當(dāng)前運(yùn)動(dòng)矢量。
通過對(duì)第一像素組212的像素值和第二圖像的第二像素組的像素值進(jìn)行比較來計(jì)算匹配誤差。此時(shí)，匹配誤差對(duì)應(yīng)于SAD第一圖像當(dāng)前塊中的像素和參考圖像(即被候選運(yùn)動(dòng)矢量偏移的第二圖像)中第二塊的像素之間的絕對(duì)亮度差的和。參見方程式1。原理上，對(duì)屬于當(dāng)前像素塊的候選運(yùn)動(dòng)矢量組的所有運(yùn)動(dòng)矢量候選計(jì)算匹配誤差。但是，如果出現(xiàn)剛計(jì)算的運(yùn)動(dòng)矢量候選的匹配誤差低于預(yù)定匹配誤差閾值，則匹配誤差計(jì)算單元102將不繼續(xù)計(jì)算還未對(duì)其計(jì)算匹配誤差的運(yùn)動(dòng)矢量候選的匹配誤差。此時(shí)，選擇剛處理過的運(yùn)動(dòng)矢量候選作為當(dāng)前像素塊的當(dāng)前運(yùn)動(dòng)矢量。運(yùn)動(dòng)估計(jì)單元100將繼續(xù)估計(jì)后續(xù)像素塊的適當(dāng)運(yùn)動(dòng)矢量。
運(yùn)動(dòng)估計(jì)單元100被安排成根據(jù)將第一圖像分割為像素段的分割結(jié)果來調(diào)整預(yù)定匹配誤差閾值。首先，假定分割單元108被安排成基于塊執(zhí)行分割。在圖像分割期間，每個(gè)塊B(x，y)被指定一個(gè)對(duì)應(yīng)其所屬段Sk的標(biāo)簽1k。該信息被存儲(chǔ)在圖像分割掩碼M(x，y)中。為了降低對(duì)象邊界上運(yùn)動(dòng)估計(jì)單元的空間一致性，按照
調(diào)整預(yù)定匹配誤差閾值T，其中Thigh是高值，以便允許段中的平緩的跳躍，Tlow是低值，以便在對(duì)象邊界處實(shí)施對(duì)更多運(yùn)動(dòng)矢量候選的評(píng)估，(x，y)是當(dāng)前塊的位置，(xp，yp)是另一像素塊(即已經(jīng)對(duì)其估計(jì)了運(yùn)動(dòng)矢量并且是運(yùn)動(dòng)矢量候選所基于的像素塊)的位置。此時(shí)預(yù)定匹配誤差閾值T有兩個(gè)不同的值-如果分割結(jié)果得出當(dāng)前塊和另一塊都屬于相同段Sk則Thigh；和-如果分割結(jié)果得出當(dāng)前塊和另一塊不屬于相同段Sk則Tlow。
其次，假定分割單元108被安排成基于像素執(zhí)行分割。這是指對(duì)每個(gè)像素指定其屬于段Sk的概率。運(yùn)動(dòng)估計(jì)仍然基于塊，即為像素塊估計(jì)運(yùn)動(dòng)矢量。預(yù)定匹配誤差閾值T基于當(dāng)前塊的像素和另一塊的像素屬于相同段Sk的概率，k∈K。Sk是來自段組中的一個(gè)段。預(yù)定匹配誤差閾值T可以用方程式3計(jì)算T=C*Σk=0KΣi=0NΣj=0MP((x+i,y+j)∈Sk)N*M*Σi=0NΣj=0MP((xp+i,yp+j)∈Sk)N*M,---(3)]]>其中C為常數(shù)。如果當(dāng)前塊的像素屬于段Sk的概率(即Σi=0NΣj=0MP((x+i,y+j)∈Sk)N*M)]]>和另一塊的像素屬于段Sk的概率(即Σi=0NΣj=0MP((xp+i,yp+j)∈Sk)N*M)]]>較高，則預(yù)定匹配誤差閾值T較高。
假定順序評(píng)估運(yùn)動(dòng)矢量候選。則優(yōu)選地，運(yùn)動(dòng)矢量候選根據(jù)分割結(jié)果被排序。這是指和有關(guān)其它塊的概率相比，其所屬像素塊屬于相同段的概率最高的候選運(yùn)動(dòng)矢量將首先被評(píng)估。
顯然，每像素屬于特定段Sk的概率值和具有一定概率的像素?cái)?shù)都是有關(guān)的。在二進(jìn)制分割時(shí)，僅需計(jì)數(shù)位于段Sk中的塊部分的像素?cái)?shù)，因?yàn)閷?duì)于這些像素，屬于特定段Sk的概率相等即100％。
在圖1中描繪了從運(yùn)動(dòng)估計(jì)單元100的輸出端114至分割單元108的連接116。該連接116是可選的。通過該連接116，可以對(duì)于將圖像分割為像素段的分割應(yīng)用運(yùn)動(dòng)估計(jì)結(jié)果(例如運(yùn)動(dòng)矢量場)。這可以是對(duì)于對(duì)其執(zhí)行運(yùn)動(dòng)估計(jì)的相同圖像或?qū)τ趫D像系列的另一圖像。此外，還可能將對(duì)特定圖像的分割結(jié)果用于不包括該特定圖像而包括圖像系列的另一圖像的圖像對(duì)的運(yùn)動(dòng)估計(jì)。
運(yùn)動(dòng)估計(jì)單元100的匹配誤差計(jì)算單元102、選擇單元104和產(chǎn)生單元106可以使用一個(gè)處理器來實(shí)現(xiàn)。通常，這些功能在軟件程序產(chǎn)品的控制下執(zhí)行。在執(zhí)行期間，通常將軟件程序產(chǎn)品裝載到存儲(chǔ)器中(例如RAM)，并從那兒執(zhí)行。程序可以從后臺(tái)存儲(chǔ)器裝載(如ROM、硬盤或磁和/或光存儲(chǔ)器)，或者可以經(jīng)網(wǎng)絡(luò)(如互聯(lián)網(wǎng))裝載?？蛇x地，特定用途集成電路提供所公開的功能。
圖2示意性示出了表示具有白背景和在背景前以與背景相反方向運(yùn)動(dòng)的球202的場景的圖像的部分運(yùn)動(dòng)矢量場200，即正在構(gòu)造中的矢量場。假定已經(jīng)對(duì)多個(gè)像素塊204-210估計(jì)了運(yùn)動(dòng)矢量214-226，和必須要對(duì)當(dāng)前像素塊212估計(jì)運(yùn)動(dòng)矢量。對(duì)于該估計(jì)，根據(jù)先前為像素塊204-210計(jì)算的運(yùn)動(dòng)矢量214-226創(chuàng)建候選運(yùn)動(dòng)矢量組214-220。在圖1中，可以看到當(dāng)前像素塊212位于對(duì)應(yīng)球202的段中。此外，像素塊204也位于對(duì)應(yīng)球202的段中。但是像素塊210對(duì)應(yīng)背景，塊206和208部分屬于球202而部分屬于背景。各候選運(yùn)動(dòng)矢量214-220的預(yù)定匹配誤差閾值取決于塊204-210的通過分割而被標(biāo)為屬于表示球202的段的對(duì)應(yīng)像素?cái)?shù)。結(jié)果，由像素塊204得出的候選運(yùn)動(dòng)矢量220的匹配誤差的預(yù)定匹配誤差閾值將最高，而由像素塊210得出的候選運(yùn)動(dòng)矢量218的匹配誤差的預(yù)定匹配誤差閾值將最低。
圖3示意性示出了圖像處理設(shè)備300的各元件，包括-接收單元302，用于接收表示要在已經(jīng)對(duì)其執(zhí)行一些處理之后顯示的圖像的信號(hào)。該信號(hào)可以是經(jīng)天線或電纜接收的廣播信號(hào)，但也可以是來自如VCR(錄像機(jī))或數(shù)字通用盤(DVD)之類的存儲(chǔ)裝置的信號(hào)。信號(hào)在輸入連接器310處提供。
-處理單元304，包括結(jié)合圖1說明的運(yùn)動(dòng)估計(jì)單元100和分割單元108；
-運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理單元306；和-顯示裝置308，用于顯示處理的圖像。該顯示裝置308是可選的。
運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理單元306需要圖像和運(yùn)動(dòng)矢量作為它的輸入。運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理單元306可以支持以下類型圖像處理的一個(gè)或多個(gè)去交職；上變換；時(shí)間降噪；和視頻壓縮。
應(yīng)當(dāng)注意，上述實(shí)施例說明而不是限制本發(fā)明，本領(lǐng)域熟練技術(shù)人員能夠在不脫離所附權(quán)利要求書的范圍的情況下設(shè)計(jì)替代的實(shí)施例。在權(quán)利要求書中，任何置于括號(hào)之間的參考符號(hào)將不構(gòu)成對(duì)權(quán)利要求的限制。單詞“包括”不排除權(quán)利要求中未列出的元件或步驟的存在。元件之前的單詞“一個(gè)”不排除多個(gè)這種元件的存在。本發(fā)明能夠通過包括幾個(gè)不同元件的硬件和通過適當(dāng)編程的計(jì)算機(jī)來實(shí)施。在列舉若干個(gè)裝置的裝置權(quán)利要求中，這些裝置中的若干個(gè)可以用同一個(gè)硬件項(xiàng)實(shí)現(xiàn)。
權(quán)利要求
1.一種用于估計(jì)圖像的第一像素組的當(dāng)前運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)單元，包括-產(chǎn)生裝置，用于產(chǎn)生第一像素組的候選運(yùn)動(dòng)矢量組，所述候選運(yùn)動(dòng)矢量從先前估計(jì)的運(yùn)動(dòng)矢量組中提取，所述候選運(yùn)動(dòng)矢量組包括對(duì)應(yīng)于已經(jīng)為圖像的第二像素組選定的第一個(gè)先前估計(jì)運(yùn)動(dòng)矢量的第一個(gè)候選運(yùn)動(dòng)矢量；-匹配誤差計(jì)算單元，用于計(jì)算各個(gè)候選運(yùn)動(dòng)矢量的匹配誤差，該計(jì)算單元被安排成當(dāng)所計(jì)算的第一個(gè)候選運(yùn)動(dòng)矢量的匹配誤差低于預(yù)定匹配誤差閾值時(shí)停止計(jì)算匹配誤差；和-選擇單元，用于當(dāng)所計(jì)算的第一個(gè)候選運(yùn)動(dòng)矢量的匹配誤差低于預(yù)定匹配誤差閾值時(shí)選擇第一個(gè)候選運(yùn)動(dòng)矢量為當(dāng)前運(yùn)動(dòng)矢量，否則，根據(jù)比較各個(gè)候選運(yùn)動(dòng)矢量的匹配誤差來從候選運(yùn)動(dòng)矢量組中選擇當(dāng)前運(yùn)動(dòng)矢量，其特征在于運(yùn)動(dòng)估計(jì)單元被安排成根據(jù)將圖像分割為像素段的結(jié)果來調(diào)整預(yù)定匹配誤差閾值，所述分割結(jié)果與第一像素組的第一部分和第二像素組的第一部分這二者對(duì)應(yīng)于第一段的概率有關(guān)。
2.如權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)單元，其特征在于運(yùn)動(dòng)估計(jì)單元被安排成根據(jù)概率大小來調(diào)整預(yù)定匹配誤差閾值的值。
3.如權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)單元，其特征在于運(yùn)動(dòng)估計(jì)單元被安排成根據(jù)第一像素組第一部分的第一像素?cái)?shù)與第一像素組的第二像素?cái)?shù)之間的比值來調(diào)整預(yù)定匹配誤差閾值。
4.如權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)單元，其特征在于第一像素組為像素塊。
5.如權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)單元，其特征在于匹配誤差計(jì)算單元被設(shè)計(jì)為通過從另一圖像的第三像素組的像素亮度值中減去第一像素組的像素亮度值來計(jì)算第一個(gè)候選運(yùn)動(dòng)矢量的匹配誤差。
6.如權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)單元，其特征在于選擇單元被安排成當(dāng)對(duì)應(yīng)的匹配誤差是最小的匹配誤差時(shí)，從候選運(yùn)動(dòng)矢量組中選擇特定運(yùn)動(dòng)矢量作為當(dāng)前運(yùn)動(dòng)矢量。
7.一種估計(jì)圖像的第一組像素的當(dāng)前運(yùn)動(dòng)矢量的方法，包括-產(chǎn)生第一像素組的候選運(yùn)動(dòng)矢量組，所述候選運(yùn)動(dòng)矢量從先前估計(jì)的運(yùn)動(dòng)矢量組中提取，所述候選運(yùn)動(dòng)矢量組包括對(duì)應(yīng)于已經(jīng)為圖像的第二像素組選定的第一個(gè)先前估計(jì)的運(yùn)動(dòng)矢量的第一個(gè)候選運(yùn)動(dòng)矢量；-計(jì)算各個(gè)候選運(yùn)動(dòng)矢量的匹配誤差，如果所計(jì)算的第一個(gè)候選運(yùn)動(dòng)矢量的匹配誤差低于預(yù)定匹配誤差閾值則停止計(jì)算匹配誤差；和-如果所計(jì)算的第一個(gè)候選運(yùn)動(dòng)矢量的匹配誤差低于預(yù)定匹配誤差閾值則選擇第一個(gè)候選運(yùn)動(dòng)矢量為當(dāng)前運(yùn)動(dòng)矢量，否則，根據(jù)比較各個(gè)候選運(yùn)動(dòng)矢量的匹配誤差來從候選運(yùn)動(dòng)矢量組中選擇當(dāng)前運(yùn)動(dòng)矢量，其特征在于根據(jù)將圖像分割為像素段的結(jié)果來調(diào)整預(yù)定匹配誤差閾值，所述分割的結(jié)果與第一像素組的第一部分和第二像素組的第一部分這二者對(duì)應(yīng)于第一段的概率有關(guān)。
8.一種圖像處理設(shè)備，包括-接收裝置，用于接收表示包括一個(gè)圖像的圖像系列的信號(hào)；-如權(quán)利要求1所述的運(yùn)動(dòng)估計(jì)單元，用于估計(jì)圖像的第一像素組的當(dāng)前運(yùn)動(dòng)矢量；和-運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理單元，用于根據(jù)圖像和當(dāng)前運(yùn)動(dòng)矢量來確定所處理的圖像。
9.如權(quán)利要求8所述的圖像處理設(shè)備，其特征在于運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理單元被設(shè)計(jì)為執(zhí)行視頻壓縮。
10.如權(quán)利要求8所述的圖像處理設(shè)備，其特征在于運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理單元被設(shè)計(jì)為降低圖像系列中的噪聲。
11.如權(quán)利要求8所述的圖像處理設(shè)備，其特征在于運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理單元被設(shè)計(jì)為對(duì)圖像系列進(jìn)行去交織。
12.如權(quán)利要求8所述的圖像處理設(shè)備，其其特征在于運(yùn)動(dòng)補(bǔ)償?shù)膱D像處理單元被設(shè)計(jì)為執(zhí)行上變換。
全文摘要
運(yùn)動(dòng)估計(jì)單元(100)被安排成估計(jì)第一像素組(212)的當(dāng)前運(yùn)動(dòng)矢量，包括產(chǎn)生單元(106)，用從先前估計(jì)的運(yùn)動(dòng)矢量組中提取的候選運(yùn)動(dòng)矢量產(chǎn)生第一像素組(212)的候選運(yùn)動(dòng)矢量組；匹配誤差單元(102)，用于計(jì)算各候選運(yùn)動(dòng)矢量的匹配誤差；和選擇單元(104)，用于從候選運(yùn)動(dòng)矢量中選擇當(dāng)前運(yùn)動(dòng)矢量。運(yùn)動(dòng)估計(jì)單元(100)被安排成根據(jù)對(duì)第一圖像的分割結(jié)果來調(diào)整預(yù)定匹配誤差閾值。如果第一候選運(yùn)動(dòng)矢量的匹配誤差低于當(dāng)前預(yù)定匹配誤差閾值，則選擇第一候選運(yùn)動(dòng)矢量并跳過對(duì)第一像素組其它候選運(yùn)動(dòng)矢量的評(píng)估。
文檔編號(hào)H04N7/26GK1656515SQ03812291
公開日2005年8月17日 申請(qǐng)日期2003年5月19日 優(yōu)先權(quán)日2002年5月30日
發(fā)明者R·B·維田布魯?shù)? G·德哈安 申請(qǐng)人:皇家飛利浦電子股份有限公司