專利名稱：用于運(yùn)動(dòng)估計(jì)的裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于生成與一個(gè)圖像的一個(gè)像素?cái)?shù)據(jù)塊(block)對應(yīng)的一個(gè)運(yùn)動(dòng)矢量的運(yùn)動(dòng)估計(jì)單元，包括-數(shù)據(jù)塊匹配器，用于通過最小化一個(gè)預(yù)定代價(jià)函數(shù)(costfunction)來計(jì)算一個(gè)起始運(yùn)動(dòng)矢量作為一個(gè)匹配判據(jù)，以便把像素?cái)?shù)據(jù)塊與一個(gè)另外圖像的另外像素?cái)?shù)據(jù)塊相匹配；-光流量(optical flow)分析器，用于根據(jù)該起始運(yùn)動(dòng)矢量并且根據(jù)一個(gè)光流量方程式來計(jì)算用于該像素?cái)?shù)據(jù)塊的一個(gè)像素的更新運(yùn)動(dòng)矢量；以及-選擇器，通過把該起始運(yùn)動(dòng)矢量的匹配判據(jù)的一個(gè)第一值與該更新運(yùn)動(dòng)矢量的匹配判據(jù)的一個(gè)第二值進(jìn)行比較，選擇該起始運(yùn)動(dòng)矢量或該更新運(yùn)動(dòng)矢量作為運(yùn)動(dòng)矢量。
本發(fā)明進(jìn)一步涉及用于生成對應(yīng)于一個(gè)圖像的一個(gè)像素?cái)?shù)據(jù)塊的一個(gè)運(yùn)動(dòng)矢量的一種運(yùn)動(dòng)估計(jì)方法，包括以下步驟-進(jìn)行數(shù)據(jù)塊匹配，通過最小化一個(gè)預(yù)定代價(jià)函數(shù)來計(jì)算一個(gè)起始運(yùn)動(dòng)矢量作為一個(gè)匹配判據(jù)，以便把像素?cái)?shù)據(jù)塊與一個(gè)另外圖像的另外像素?cái)?shù)據(jù)塊相匹配；-進(jìn)行光流量分析，根據(jù)該起始運(yùn)動(dòng)矢量并且根據(jù)一個(gè)光流量方程式，計(jì)算一個(gè)用于該像素?cái)?shù)據(jù)塊的一個(gè)像素的更新運(yùn)動(dòng)矢量；以及-通過把該起始運(yùn)動(dòng)矢量的匹配判據(jù)的一個(gè)第一值與該更新運(yùn)動(dòng)矢量的匹配判據(jù)的一個(gè)第二值進(jìn)行比較，選擇該起始運(yùn)動(dòng)矢量或該更新運(yùn)動(dòng)矢量作為運(yùn)動(dòng)矢量。
本發(fā)明進(jìn)一步涉及一種圖像處理設(shè)備，該圖像處理設(shè)備包括-接收裝置，用于接收表示將要顯示的圖像的一個(gè)信號(hào)；-這樣的運(yùn)動(dòng)估計(jì)單元；以及-運(yùn)動(dòng)補(bǔ)償圖像處理單元。
為了進(jìn)行運(yùn)動(dòng)估計(jì)，通常有兩種主要的區(qū)別技術(shù)，即，基于對應(yīng)關(guān)系(correspondence)的方法和基于光流量的方法?；趯?yīng)關(guān)系的方法適于大運(yùn)動(dòng)的情況，而基于光流量的方法適于小運(yùn)動(dòng)的情況，并且是快速和精確的?；诠饬髁康姆椒ǖ臉?gòu)思是使用光流量方程式Optical Flow Equation(OFE)來計(jì)算一個(gè)運(yùn)動(dòng)矢量。該OFE簡單地是描述亮度沿著運(yùn)動(dòng)軌跡是恒定的假設(shè)的方程式的線性化。對于固定的和，該恒定亮度的假設(shè)能夠被寫成L(x+tv，t)＝常數(shù).， (1)利用運(yùn)動(dòng)矢量＝(u，v)，相對于t的微分得到u∂L∂x+v∂L∂y=-∂L∂t---(2)]]>或不同地寫成v‾·gradL=-∂L∂t,--(3)]]>數(shù)據(jù)塊匹配方法屬于基于對應(yīng)關(guān)系的方法。
在開始段落中所述種類的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例可從專利文獻(xiàn)WO99/17256中得知。在該文件中，相鄰空間-時(shí)間候選項(xiàng)被用作數(shù)據(jù)塊遞歸匹配過程的輸入。另外，另外的更新矢量被對照該數(shù)據(jù)塊遞歸匹配過程的最佳候選項(xiàng)來測試。通過把一個(gè)局部的像素遞歸過程應(yīng)用于當(dāng)前數(shù)據(jù)塊來計(jì)算此更新的矢量，使用該數(shù)據(jù)塊遞歸匹配過程的最佳候選項(xiàng)作為一個(gè)起始向量。該像素遞歸過程基于光流量方程式。通過把來自像素遞歸的更新矢量與來自數(shù)據(jù)塊遞歸過程的起始矢量進(jìn)行比較并且通過選擇具有最佳匹配的矢量，獲得最終輸出的矢量。根據(jù)已有技術(shù)的運(yùn)動(dòng)估計(jì)單元具有涉及光流量部分的兩個(gè)缺點(diǎn)。第一，該像素遞歸方案導(dǎo)致一種實(shí)質(zhì)上不可預(yù)料的存儲(chǔ)器存取，這對于硬件實(shí)現(xiàn)來說是不希望的。第二，選擇來解決孔隙(aperture)問題的技術(shù)使得該方法易受噪聲的影響?？紫秵栴}意味著該單個(gè)光流量方程式帶有兩個(gè)必須求解的未知量，即，在方程式2中，u和v都是未知的。
本發(fā)明的第一目的是提供一種開始段落中描述種類的運(yùn)動(dòng)估計(jì)單元，被設(shè)計(jì)來估計(jì)相對高質(zhì)量的運(yùn)動(dòng)矢量場。
本發(fā)明的第二目的是提供一種開始段落中描述種類的運(yùn)動(dòng)估計(jì)方法來估計(jì)相對高質(zhì)量的運(yùn)動(dòng)矢量場。
本發(fā)明的第三目的是提供一種開始段落中描述種類的圖像處理設(shè)備，被設(shè)計(jì)為基于一種相對高質(zhì)量的運(yùn)動(dòng)矢量場而執(zhí)行運(yùn)動(dòng)補(bǔ)償圖像處理。
實(shí)現(xiàn)本發(fā)明的第一目的在于，光流量分析器被設(shè)計(jì)來最小化與對應(yīng)于像素?cái)?shù)據(jù)塊的各個(gè)像素的一組光流量方程式相關(guān)的誤差之和。在根據(jù)現(xiàn)有技術(shù)的運(yùn)動(dòng)估計(jì)單元和根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元之間的主要差異在于，根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元的光流量分析器不是基于遞歸的而是基于數(shù)據(jù)塊的。在根據(jù)已有技術(shù)的運(yùn)動(dòng)估計(jì)單元中，對應(yīng)于像素?cái)?shù)據(jù)塊的每一像素的光流量方程式的一個(gè)解(solution)被單獨(dú)估計(jì)，并被用于估計(jì)對應(yīng)于下一個(gè)像素的光流量方程式的一個(gè)解。在根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元中，求解對應(yīng)于多個(gè)像素的一組光流量方程式，即與對應(yīng)于該像素?cái)?shù)據(jù)塊的多個(gè)像素的一組光流量方程式相關(guān)的誤差之和被最小化。由于此，噪聲的影響被抑制。結(jié)果是一個(gè)相對精確的運(yùn)動(dòng)矢量場。這具有的好處是例如由于其較少殘留圖像數(shù)據(jù)的編碼應(yīng)用。從高質(zhì)量運(yùn)動(dòng)矢量場獲益的另一應(yīng)用是解交織，因?yàn)樵诖诉\(yùn)動(dòng)矢量場的子象素精確度是至關(guān)重要的。另一優(yōu)點(diǎn)是，良好的候選項(xiàng)穩(wěn)定了該運(yùn)動(dòng)估計(jì)單元，使得其很少可能有錯(cuò)誤的運(yùn)動(dòng)矢量候選項(xiàng)出現(xiàn)，即很少可能出現(xiàn)不對應(yīng)于實(shí)際運(yùn)動(dòng)的候選項(xiàng)，而選擇偶然展現(xiàn)低匹配誤差的候選項(xiàng)。
根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例的特征在于如果滿足對應(yīng)于一個(gè)具體像素的具體光流量方程式，則具體誤差等于零。引入下列表示法-在像素?cái)?shù)據(jù)塊中的像素利用i來索引。
-，和；-Li是具有索引i的數(shù)據(jù)塊中的像素的亮度值；-Xi是那個(gè)像素上L的x導(dǎo)數(shù)；-Yi是那個(gè)像素上L的y導(dǎo)數(shù)；-Ti是那個(gè)像素上L的t導(dǎo)數(shù)；對于特定像素i來說，光流量方程式2能夠被重寫為uXi+vYi+Ti＝0 (4)
僅針對u和v的確切值，該方程式4才滿足左邊的數(shù)據(jù)項(xiàng)等于右邊的數(shù)據(jù)項(xiàng)，即零。這種想法是使用左邊的數(shù)據(jù)項(xiàng)作為誤差項(xiàng)，因?yàn)閡和v的值的估計(jì)越差，左邊的數(shù)據(jù)項(xiàng)偏離零越多。注意，該零的平方等于零。
像素?cái)?shù)據(jù)塊的像素以兩個(gè)未知數(shù)生成一個(gè)超定(over-determined)的光流量方程式組。不是立即求解多個(gè)方程式，而是使得方程式中的誤差最小，得到運(yùn)動(dòng)矢量＝(u，v)的唯一解。由于計(jì)算的簡化，最好是最小化這些誤差的平方之和?？偟钠椒秸`差是∑(uXi+vYi+Ti)2，(5)為了在u和v中最小化此，提取導(dǎo)數(shù)并且使之為零。求解u和v則得到u=ΣiXiYiΣiYiTi-ΣiYi2ΣiXiTiΣiXi2ΣiYi2-(ΣiXiYi)2]]>v=ΣiXiYiΣiYiTi-ΣiXi2ΣiYiTiΣiXi2ΣiYi2-(ΣiXiYi)2---(6)]]>用于求解光流量方程式的一種通用方法是添加一個(gè)平滑約束條件來克服這種孔隙問題。這種方案的一個(gè)實(shí)例由Horn和Schunk的文章″Determining optical flow(確定光流量)″所公開，該文章發(fā)表在1981年的″人工智能(Artificial Intelligence)″第17卷的185-203頁。該平滑約束項(xiàng)是非線性的，導(dǎo)致求解這些方程式的一個(gè)迭代過程。
在根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例中，該光流量分析器被設(shè)計(jì)為根據(jù)像素?cái)?shù)據(jù)塊的像素的一部分計(jì)算一個(gè)更新運(yùn)動(dòng)矢量。不考慮像素?cái)?shù)據(jù)塊的所有像素來定義光流量方程式，本實(shí)施例二次取樣該像素?cái)?shù)據(jù)塊。例如，應(yīng)用4至8的二次取樣系數(shù)。其優(yōu)點(diǎn)是，在更新運(yùn)動(dòng)矢量的精確度仍然相對高的同時(shí)降低計(jì)算量。
在根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例中，光流量分析器包括一個(gè)梯度計(jì)算器，被設(shè)計(jì)來根據(jù)Prewitt梯度算子計(jì)算亮度梯度。為了計(jì)算x導(dǎo)數(shù)，使用下列內(nèi)核(kernel)
并且為了計(jì)算y導(dǎo)數(shù)，使用下列內(nèi)核
在根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例中，光流量分析器包括一個(gè)梯度計(jì)算器，被設(shè)計(jì)來根據(jù)Sobel梯度算子計(jì)算亮度梯度。為了計(jì)算x導(dǎo)數(shù)，使用下列內(nèi)核
并且為了計(jì)算y導(dǎo)數(shù)，使用下列內(nèi)核
在根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例中，光流量分析器包括一個(gè)梯度計(jì)算器，被設(shè)計(jì)來根據(jù)Robert梯度算子計(jì)算亮度梯度。為了計(jì)算x導(dǎo)數(shù)，使用下列內(nèi)核
并且為了計(jì)算y導(dǎo)數(shù)，使用下列內(nèi)核
其中數(shù)字是用于在對應(yīng)象素位置上的亮度值的乘數(shù)，即內(nèi)核系數(shù)。例如，Robert的梯度算子對應(yīng)于gradL＝(L(x+1，y)-L(x-1，y)，L(x，y+1)-L(x，y-1)) (7)為了表示簡單，已經(jīng)省去了用于Robert、Sobel和Prewitt的梯度算子的總的1/2、1/8和1/6的定標(biāo)因數(shù)。
在根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例中，該數(shù)據(jù)塊匹配器是遞歸的。G.de Haan等人在1993年10月關(guān)于用于視頻技術(shù)的電路和系統(tǒng)的IEEE Transactions、卷3第5期的368-379頁上的文章″True-Motion Estimation with 3-D Recursive Search Block Matching(利用3-D遞歸檢索數(shù)據(jù)塊匹配的實(shí)際運(yùn)動(dòng)估計(jì))″給出了一個(gè)相對好的運(yùn)動(dòng)估計(jì)單元。那個(gè)3DRS數(shù)據(jù)塊匹配器原則上準(zhǔn)確到1/4像素。此精確度能夠利用變換運(yùn)動(dòng)例如在一個(gè)攝像鏡頭(camera pan)中的變換運(yùn)動(dòng)而在大構(gòu)造(texture)區(qū)域中實(shí)際地實(shí)現(xiàn)。但是，為了在較小區(qū)域中達(dá)到此精確度，或在具有例如變焦的更復(fù)雜的運(yùn)動(dòng)區(qū)域中達(dá)到此精確度，該3DRS匹配器必須選擇許多更新候選項(xiàng)，并且因?yàn)檫@通常導(dǎo)致空間一致性的劣變而是不希望的。由于此原因，利用懲罰(penalty)來抑制更新候選項(xiàng)。這將導(dǎo)致一個(gè)空間和時(shí)間穩(wěn)定的矢量場，但是也導(dǎo)致一個(gè)次最佳的精確度。根據(jù)本發(fā)明的本實(shí)施例結(jié)合了數(shù)據(jù)塊匹配器方法和基于光流量方法兩者好的方面。這種想法是，使用該數(shù)據(jù)塊匹配器查找達(dá)到中等精確度的起始矢量場。殘留運(yùn)動(dòng)矢量足夠小，以允許由該光流量分析器應(yīng)用一個(gè)光流量方法。與根據(jù)現(xiàn)有技術(shù)的3DRS數(shù)據(jù)塊匹配器相比，必須考慮的更新候選項(xiàng)很少，因?yàn)檫\(yùn)動(dòng)的跟蹤主要利用該光流量分析器來完成。這將提高該運(yùn)動(dòng)估計(jì)單元的效率。
在根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例中，光流量分析器包括一個(gè)可靠性單元，以檢測更新的運(yùn)動(dòng)矢量是否是可靠的。有時(shí)，這組光流量方程式被錯(cuò)誤地確定，例如因?yàn)樵谙袼財(cái)?shù)據(jù)塊中僅有單個(gè)邊緣，使得全部梯度點(diǎn)都在一個(gè)方向。如果出現(xiàn)這種情況，方程式6中的分母與相比將變小。計(jì)算下列數(shù)目作為更新運(yùn)動(dòng)矢量的一個(gè)可靠性度量100*ΣiXi2ΣiYi2-(ΣiXiYi)2ΣiXi2ΣiYi2--(8)]]>并且90或95的閾值用于接受更新運(yùn)動(dòng)矢量作為用于該數(shù)據(jù)塊匹配器的一個(gè)候選矢量。
圖像處理設(shè)備的修改及其變化可以對應(yīng)于所描述的運(yùn)動(dòng)估計(jì)單元的修改及其變化。該圖像處理設(shè)備可以包括附加組成部分，例如，用于接收表示圖像的一個(gè)信號(hào)的裝置以及用于顯示處理的圖像的顯示裝置。此運(yùn)動(dòng)補(bǔ)償圖像處理單元可以支持一個(gè)或者多個(gè)下列類型的圖像處理-解交織交織是常見的視頻信號(hào)廣播方法，用于交替地發(fā)送奇數(shù)或偶數(shù)圖像行。解交織試圖恢復(fù)全部垂直分辨率，即可同時(shí)地得到每個(gè)圖像的奇或偶行；-上變換從一系列原始輸入圖像中計(jì)算一個(gè)較大序列的輸出圖像。輸出圖像被暫時(shí)地定位在兩個(gè)原始輸入圖像之間；以及-時(shí)間降噪。這還可以包括空間處理，實(shí)現(xiàn)空間-時(shí)間降噪。
從隨后參考附圖對實(shí)施方案和實(shí)施例的描述，根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元、圖像處理設(shè)備和方法的這些和其它方面將變得顯而易見并且將相對下面描述的實(shí)施方式和實(shí)施例結(jié)合附圖進(jìn)行說明，其中

圖1A示意地示出運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例；圖1B更詳細(xì)示意地示出運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例；圖1C示意地示出包括一個(gè)可靠性單元的運(yùn)動(dòng)估計(jì)單元的一個(gè)實(shí)施例；和圖2示意地示出圖像處理設(shè)備的一個(gè)實(shí)施例。
相應(yīng)的參考數(shù)字在所有的附圖中具有相同的含意。
圖1A示意地示出運(yùn)動(dòng)估計(jì)單元100的一個(gè)實(shí)施例。運(yùn)動(dòng)估計(jì)單元100被設(shè)計(jì)來生成對應(yīng)于一個(gè)圖像118的像素?cái)?shù)據(jù)塊116的運(yùn)動(dòng)矢量126。一個(gè)圖像的全部運(yùn)動(dòng)矢量被稱為一個(gè)運(yùn)動(dòng)矢量場124。該運(yùn)動(dòng)估計(jì)單元100包括
-數(shù)據(jù)塊匹配器102，通過最小化一個(gè)預(yù)定代價(jià)函數(shù)來計(jì)算一個(gè)起始運(yùn)動(dòng)矢量110作為用于將像素?cái)?shù)據(jù)塊116與一個(gè)另外圖像120的另外像素?cái)?shù)據(jù)塊122相匹配的一個(gè)匹配判據(jù)；-光流量分析器104，用于根據(jù)該起始運(yùn)動(dòng)矢量110計(jì)算一個(gè)更新的運(yùn)動(dòng)矢量111，并且被設(shè)計(jì)為將與對應(yīng)于像素?cái)?shù)據(jù)塊116的各個(gè)像素的一組光流量方程式相關(guān)的誤差之和最小化；以及-選擇器106，通過把該起始運(yùn)動(dòng)矢量110的匹配判據(jù)的一個(gè)第一值與更新運(yùn)動(dòng)矢量111的匹配判據(jù)的一個(gè)第二值進(jìn)行比較，選擇該起始運(yùn)動(dòng)矢量110或該更新運(yùn)動(dòng)矢量111作為運(yùn)動(dòng)矢量126。
運(yùn)動(dòng)估計(jì)單元100的輸入包括圖像，并且被提供在一個(gè)輸入連接器112上。運(yùn)動(dòng)估計(jì)單元100的輸出是例如運(yùn)動(dòng)矢量場124，并且被提供在一個(gè)輸出連接器114上。
圖1B示意地示出結(jié)合圖1A更詳細(xì)描述的運(yùn)動(dòng)估計(jì)單元100的實(shí)施例。數(shù)據(jù)塊匹配器102的工作情況如下。首先，生成裝置202為像素?cái)?shù)據(jù)塊116生成一組候選運(yùn)動(dòng)矢量。隨后，數(shù)據(jù)塊匹配誤差計(jì)算器206計(jì)算這些候選運(yùn)動(dòng)矢量的匹配誤差。然后，該選擇器204根據(jù)這些匹配誤差從該組候選運(yùn)動(dòng)矢量中選擇起始運(yùn)動(dòng)矢量110。此開始運(yùn)動(dòng)矢量110被選擇是因?yàn)槠渚哂凶畹椭档钠ヅ湔`差。由數(shù)據(jù)塊匹配誤差計(jì)算器206計(jì)算的匹配誤差對應(yīng)于SAD在圖像118的像素?cái)?shù)據(jù)塊116中的像素和在對應(yīng)于像素?cái)?shù)據(jù)塊116移動(dòng)一個(gè)候選運(yùn)動(dòng)矢量的下一個(gè)圖像120中的另外數(shù)據(jù)塊122的像素之間的絕對亮度差值之和。
光流量分析器104的工作情況如下。梯度算子208、210和212分別計(jì)算在x、y和時(shí)間方向中的亮度梯度。通常，計(jì)算像素?cái)?shù)據(jù)塊的全部像素的梯度。在僅使用像素?cái)?shù)據(jù)塊的一部分的光流量方程式的情況中，較少梯度必須被計(jì)算。根據(jù)考慮的像素，定義根據(jù)方程式2的一組光流量方程式。優(yōu)化器214被設(shè)計(jì)為最小化與該組光流量方程式相關(guān)的誤差之和。根據(jù)本發(fā)明的運(yùn)動(dòng)估計(jì)單元的最佳實(shí)施例包括運(yùn)行計(jì)數(shù)器，即累加 的值，以便根據(jù)方程式6計(jì)算更新運(yùn)動(dòng)矢量＝(u，v)111。
最終，這兩個(gè)運(yùn)動(dòng)矢量(即，由數(shù)據(jù)塊匹配器102計(jì)算的起始運(yùn)動(dòng)矢量110和由光流量分析器104計(jì)算的更新運(yùn)動(dòng)矢量111)由選擇器106進(jìn)行分析，以選擇運(yùn)動(dòng)矢量126。為了實(shí)現(xiàn)此選擇，數(shù)據(jù)塊匹配誤差計(jì)算器216例如根據(jù)絕對差之和計(jì)算針對兩個(gè)運(yùn)動(dòng)矢量的匹配誤差。然后，該選擇器218根據(jù)這些匹配誤差來選擇運(yùn)動(dòng)矢量126。選擇的運(yùn)動(dòng)矢量126是一個(gè)可能的用于其它數(shù)據(jù)塊的運(yùn)動(dòng)矢量候選項(xiàng)。因此，選擇的運(yùn)動(dòng)矢量126被提供給數(shù)據(jù)塊匹配器102的生成裝置202。
圖1C示意地示出運(yùn)動(dòng)估計(jì)單元101的一個(gè)實(shí)施例，包括一個(gè)可靠性單元220，以檢測更新的運(yùn)動(dòng)矢量111是否可靠。有時(shí)，這組光流量方程被錯(cuò)誤地確定，例如因?yàn)樵谙袼財(cái)?shù)據(jù)塊中僅有單一邊緣，使得全部梯度點(diǎn)都在一個(gè)方向。如果出現(xiàn)這種情況，方程式5中的分母與相比將變小。
作為更新運(yùn)動(dòng)矢量的一個(gè)可靠性度量，按照方程式8中的規(guī)定計(jì)算可靠性度量。如果一個(gè)具體的更新運(yùn)動(dòng)矢量的可靠性測量的值低于例如90或95的一個(gè)預(yù)定閾值，則假設(shè)該具體的更新運(yùn)動(dòng)矢量是不可靠的，并且通知選擇器106該情況。
圖2示意地示出一個(gè)圖像處理設(shè)備200的組成部分，包括-接收裝置201，用于接收表示將在執(zhí)行某些處理之后顯示的圖像的一個(gè)信號(hào)。該信號(hào)可以是通過天線或電纜接收的廣播信號(hào)，也可以是來自象VCR(視頻盒式錄像機(jī))或數(shù)字視盤(DVD)的存儲(chǔ)裝置的信號(hào)。該信號(hào)被提供在輸入連接器207上；-如結(jié)合圖1A和圖1B描述的一個(gè)運(yùn)動(dòng)估計(jì)單元100；-一個(gè)運(yùn)動(dòng)補(bǔ)償圖像處理單元203；和-一個(gè)顯示處理圖像的顯示裝置205。此顯示裝置是可選的。
運(yùn)動(dòng)補(bǔ)償圖像處理單元203需要圖像和運(yùn)動(dòng)矢量作為其輸入。
應(yīng)該指出，上述實(shí)施例示意而非限制本發(fā)明，并且本領(lǐng)域的技術(shù)人員將能在不背離所附的權(quán)利要求書的范圍的條件下設(shè)計(jì)另外的實(shí)施例。在權(quán)利要求書中，圓括號(hào)之間放置的任何參考符號(hào)都不應(yīng)該認(rèn)為是對該權(quán)利要求的限制。詞語‘包括’不排除未在一個(gè)權(quán)利要求中列出的單元或步驟的出現(xiàn)。在一個(gè)部件前面的單詞″一個(gè)″不排除多個(gè)這樣的元件的存在。本發(fā)明能夠利用包括若干不同部件的硬件并且利用適當(dāng)編程的計(jì)算機(jī)來實(shí)現(xiàn)。在列舉若干裝置的單元權(quán)利要求中，這些裝置之中的幾個(gè)裝置能夠利用同一個(gè)硬件項(xiàng)來實(shí)現(xiàn)。注意，數(shù)據(jù)塊匹配誤差計(jì)算器216和206的功能是類似的。可選擇地，這些計(jì)算器之一能夠執(zhí)行兩個(gè)任務(wù)。對于選擇器204和218也是這種情況。
權(quán)利要求
1.一種運(yùn)動(dòng)估計(jì)單元(100)，用于生成對應(yīng)于一個(gè)圖像(118)的像素?cái)?shù)據(jù)塊(116)的一個(gè)運(yùn)動(dòng)矢量(126)，包括數(shù)據(jù)塊匹配器(102)，用于通過最小化一個(gè)預(yù)定代價(jià)函數(shù)來計(jì)算一個(gè)起始運(yùn)動(dòng)矢量(110)作為用于將像素?cái)?shù)據(jù)塊(116)與一個(gè)另外的圖像(120)的另外的像素?cái)?shù)據(jù)塊(122)相匹配的一個(gè)匹配判據(jù)；光流量分析器(104)，用于根據(jù)該起始運(yùn)動(dòng)矢量(110)并且根據(jù)用于該像素?cái)?shù)據(jù)塊(116)的一個(gè)像素的光流量方程式來計(jì)算更新的運(yùn)動(dòng)矢量(111)；和選擇器(106)，通過將該起始運(yùn)動(dòng)矢量(110)的匹配判據(jù)的第一值與該更新的運(yùn)動(dòng)矢量(111)的匹配判據(jù)的第二值進(jìn)行比較，選擇該起始運(yùn)動(dòng)矢量(110)或該更新的運(yùn)動(dòng)矢量(111)作為運(yùn)動(dòng)矢量(126)，其特征在于，該光流量分析器(104)被設(shè)計(jì)為最小化與對應(yīng)于像素?cái)?shù)據(jù)塊(116)的各個(gè)像素的一組光流量方程式相關(guān)的誤差之和。
2.如權(quán)利要求1中所述的運(yùn)動(dòng)估計(jì)單元(100)，其特征在于，如果滿足對應(yīng)于一個(gè)具體像素的一個(gè)具體光流量方程式，則一個(gè)具體誤差等于零。
3.如權(quán)利要求1中所述的運(yùn)動(dòng)估計(jì)單元(100)，其特征在于，該光流量分析器(104)被設(shè)計(jì)為根據(jù)像素?cái)?shù)據(jù)塊(116)的像素的一部分計(jì)算更新的運(yùn)動(dòng)矢量(111)。
4.如權(quán)利要求1中所述的運(yùn)動(dòng)估計(jì)單元(100)，其特征在于，該光流量分析器(104)包括被設(shè)計(jì)為根據(jù)Prewitt梯度算子計(jì)算亮度梯度的梯度計(jì)算器(208-212)。
5.如權(quán)利要求1中所述的運(yùn)動(dòng)估計(jì)單元(100)，其特征在于，該光流量分析器(104)包括被設(shè)計(jì)為根據(jù)Sobel梯度算子計(jì)算亮度梯度的梯度計(jì)算器(208-212)。
6.如權(quán)利要求1中所述的運(yùn)動(dòng)估計(jì)單元(100)，其特征在于，該光流量分析器(104)包括被設(shè)計(jì)為根據(jù)Robert梯度算子計(jì)算亮度梯度的梯度計(jì)算器(208-212)。
7.如權(quán)利要求1中所述的運(yùn)動(dòng)估計(jì)單元(100)，其特征在于，該數(shù)據(jù)塊匹配器(102)是遞歸的。
8.如權(quán)利要求1中所述的運(yùn)動(dòng)估計(jì)單元(100)，其特征在于，該光流量分析器(104)包括可靠性單元(214)，以檢驗(yàn)該更新矢量(111)是否是可靠的。
9.生成對應(yīng)于一個(gè)圖像(118)的一個(gè)像素?cái)?shù)據(jù)塊(116)的運(yùn)動(dòng)矢量(126)的一種運(yùn)動(dòng)估計(jì)方法，包括以下步驟進(jìn)行數(shù)據(jù)塊匹配，以便通過最小化一個(gè)預(yù)定代價(jià)函數(shù)來計(jì)算一個(gè)起始運(yùn)動(dòng)矢量(110)作為用于將像素?cái)?shù)據(jù)塊(116)與一個(gè)另外的圖像(120)的另外的像素?cái)?shù)據(jù)塊(122)相匹配的一個(gè)匹配判據(jù)；進(jìn)行光流量分析，以便根據(jù)該起始運(yùn)動(dòng)矢量(110)并且根據(jù)一個(gè)光流量方程式，計(jì)算用于該像素?cái)?shù)據(jù)塊(116)的一個(gè)像素的更新的運(yùn)動(dòng)矢量(111)；和選擇運(yùn)動(dòng)矢量，通過把該起始運(yùn)動(dòng)矢量(110)的匹配判據(jù)的第一值與更新運(yùn)動(dòng)矢量(111)的匹配判據(jù)的第二值進(jìn)行比較，選擇該起始運(yùn)動(dòng)矢量(110)或該更新運(yùn)動(dòng)矢量(111)作為運(yùn)動(dòng)矢量(126)，其特征在于，在光流量分析中最小化與對應(yīng)于該像素?cái)?shù)據(jù)塊的各個(gè)像素的一組光流量方程式相關(guān)的誤差之和。
10.一種圖像處理設(shè)備(200)，包括接收裝置(201)，用于接收表示將要顯示的圖像(118)的信號(hào)；運(yùn)動(dòng)估計(jì)單元(100)，用于生成對應(yīng)于該圖像(118)的像素?cái)?shù)據(jù)塊(116)的運(yùn)動(dòng)矢量(126)，包括數(shù)據(jù)塊匹配器(102)，用于通過最小化一個(gè)預(yù)定代價(jià)函數(shù)來計(jì)算一個(gè)起始運(yùn)動(dòng)矢量(110)作為用于將像素?cái)?shù)據(jù)塊(116)與一個(gè)另外的圖像(120)的另外的像素?cái)?shù)據(jù)塊(122)相匹配的一個(gè)匹配判據(jù)；光流量分析器(104)，用于根據(jù)該起始運(yùn)動(dòng)矢量(110)并且根據(jù)一個(gè)光流量方程式來計(jì)算用于該像素?cái)?shù)據(jù)塊(116)的一個(gè)像素的更新運(yùn)動(dòng)矢量(111)；和選擇器(106)，通過把該起始運(yùn)動(dòng)矢量(110)的匹配判據(jù)的第一值與該更新運(yùn)動(dòng)矢量(111)的匹配判據(jù)的第二值進(jìn)行比較來選擇該起始運(yùn)動(dòng)矢量(110)或該更新運(yùn)動(dòng)矢量(111)作為運(yùn)動(dòng)矢量(126)；以及運(yùn)動(dòng)補(bǔ)償圖像處理單元(203)，其特征在于，該光流量分析器(104)被設(shè)計(jì)為最小化與對應(yīng)于像素?cái)?shù)據(jù)塊(116)的各個(gè)像素的一組光流量方程式相關(guān)的誤差之和。
11.如權(quán)利要求10中所述的圖像處理裝置(200)，其特征在于，該運(yùn)動(dòng)補(bǔ)償圖像處理單元(203)被設(shè)計(jì)為降低該圖像(118)中的噪聲。
12.如權(quán)利要求10中所述的圖像處理裝置(200)，其特征在于，該運(yùn)動(dòng)補(bǔ)償圖像處理單元(203)被設(shè)計(jì)為解交織該圖像(118)。
13.如權(quán)利要求10中所述的圖像處理裝置(200)，其特征在于，該運(yùn)動(dòng)補(bǔ)償圖像處理單元(203)被設(shè)計(jì)為執(zhí)行上變換。
全文摘要
運(yùn)動(dòng)估計(jì)單元(100)包括數(shù)據(jù)塊匹配器(102)，用于通過最小化一個(gè)預(yù)定代價(jià)函數(shù)來計(jì)算一個(gè)起始運(yùn)動(dòng)矢量(110)作為一個(gè)匹配判據(jù)，以便把像素?cái)?shù)據(jù)塊(116)與一個(gè)另外的圖像(120)的另外的像素?cái)?shù)據(jù)塊(122)相匹配。此運(yùn)動(dòng)估計(jì)單元(100)進(jìn)一步包括光流量分析器(104)，用于根據(jù)該起始運(yùn)動(dòng)矢量(110)計(jì)算更新的運(yùn)動(dòng)矢量(111)，并且被設(shè)計(jì)為最小化與對應(yīng)于像素?cái)?shù)據(jù)塊(116)的分別像素的一組光流量方程式相關(guān)的誤差之和。最終，此運(yùn)動(dòng)估計(jì)單元(100)的選擇器(106)通過比較該起始運(yùn)動(dòng)矢量(110)與該更新的運(yùn)動(dòng)矢量(111)來選擇該運(yùn)動(dòng)矢量(126)。
文檔編號(hào)G06T7/00GK1565118SQ02819833
公開日2005年1月12日 申請日期2002年9月27日 優(yōu)先權(quán)日2001年10月8日
發(fā)明者G·A·倫特, A·佩拉戈蒂 申請人:皇家飛利浦電子股份有限公司