專利名稱：自適應運動估計的制作方法
技術領域：
本公開涉及圖像和視頻數(shù)據(jù)的運動估計，諸如視頻壓縮、存儲、處理、顯示和/或傳送系統(tǒng)的運動估計。
背景技術：
運動估計可被描述為用于按照基準圖片的一個或更多個部分的轉變的拷貝將圖像模型化的技術。運動估計自身可基于圖像序列的模型以產(chǎn)生具有可觀察的質(zhì)量的視頻和圖像。例如，如果物體的圖像從一個幀變化或移動到下一幀，那么可以使用運動估計以產(chǎn)生平滑的圖片過渡。

發(fā)明內(nèi)容
以下的段落給出提供當前公開的技術的示例性實施例的一些方面的基本理解的簡要概況。應當注意，本簡要概況不是示例性實施例的各方面的廣泛的概述。并且，應當注意，本簡要概況不應被理解為識別任何特別重要的方面或元素，不特別描繪示例性實施例的任何范圍，也不一般描繪技術的任何范圍。以下的簡要概況僅以精簡的方式給出與示例性實施例有關的一些概念。本簡要概況由此應僅被理解為以下的示例性實施例中的一個的更詳細的描述的概念性序言。一般地，在本公開中描述的主題的實施例的特征是用于確定運動估計的最佳誤差度量函數(shù)的圖像的運動估計的方法。該方法包括指定初始誤差度量函數(shù)；和通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計，這里，初始運動估計產(chǎn)生也稱為運動補償誤差的運動預測誤差。如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么該方法包括通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。這些和其它的實施例可任選地包含以下特征中的一個或更多個。該方法可包括基于初始運動估計的運動預測誤差的分布和與大量的誤差度量函數(shù)中的一個有關的分布的比較確定初始誤差度量函數(shù)是否是最佳誤差函數(shù)。如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么該方法可包括基于運動預測誤差的分布選擇最佳誤差度量函數(shù)。用于執(zhí)行初始運動估計的方法可包括處理初始誤差度量函數(shù)以確定運動預測誤差。該方法可包括指定與初始誤差度量函數(shù)相關的初始概率分布。如果該方法包括確定初始誤差度量函數(shù)是否為最佳誤差函數(shù)，那么該方法可包括計算初始誤差度量函數(shù)的運動預測誤差的直方圖。如果該方法包括確定初始誤差度量函數(shù)是否為最佳誤差函數(shù)，那么該方法還可包括確定直方圖的統(tǒng)計的最好擬合分布。如果該方法包括確定統(tǒng)計的最好擬合分布，那么該方法還可包括確定最佳誤差度量函數(shù)的概率分布的尺度(scale)因子。候選概率分布可包含高斯分布、拉普拉斯分布和/或柯西分布。該方法還可包括在確定尺度因子之后執(zhí)行最好的擬合分布的統(tǒng)計測驗。統(tǒng)計測驗可包含執(zhí)行分布擬合的卡方(cbi-square)測驗。初始誤差度量函數(shù)可包含休伯(Huber)度量函數(shù)，并且/或者可與來自大量的概率分布的中間概率分布對應。概率分布可包含聞斯分布、拉普拉斯分布和/或柯西分布。初始誤差度量函數(shù) 還可包含總絕對差(SAD)、總方差(SSD)、平均絕對誤差(MAD)、均方誤差(MSE)或穩(wěn)固估計值中的一個或更多個的函數(shù)。該方法可包括在視頻編碼器的運動估計單元中執(zhí)行運動估計、通過使用最佳誤差度量函數(shù)執(zhí)行視頻編碼的交互預測(inter-prediction)、通過使用最佳誤差度量函數(shù)執(zhí)行視頻處理的時間內(nèi)插和/或通過使用最佳誤差度量函數(shù)執(zhí)行超分辨率處理。視頻編碼的交互預測的方法可包含通過運動估計單元，接收像素的塊和幀并產(chǎn)生一個或更多個運動矢量；通過運動補償單元，接收幀和一個或更多個運動矢量并產(chǎn)生接近像素的塊的預測；和通過減法器單元，從像素的塊減去預測并產(chǎn)生差異圖像塊。用于執(zhí)行時間內(nèi)插的方法可包含通過運動估計單元，接收第一幀和第二幀并產(chǎn)生一個或更多個運動矢量；和通過雙向內(nèi)插單元，接收第一幀、第二幀和一個或更多個運動矢量并產(chǎn)生處于與第一幀和第二幀相關的時間之間的圖像的近似。用于執(zhí)行超分辨率處理的方法可包含通過運動估計單元，接收在時間T周圍分組的一組幀并在時間T處的組中的某幀和該組中的其它幀之間產(chǎn)生一個或更多個運動矢量；通過運動補償單元，接收所述的一組幀和所述的一個或更多個運動矢量并產(chǎn)生包含所述的一組幀中的各幀的預測版本的圖像；和通過超分辨率處理單元，接收圖像，處理圖像并產(chǎn)生具有比所述的一組幀高的空間分辨率的時間T處的圖像。運動估計可包含基于塊的或基于區(qū)域的運動估計。運動估計可包含相位相關或像素遞歸(pel-recursive)技術。運動估計還可包括諸如平移、仿射或參數(shù)模型的運動模型。一般地，在本公開中描述的主題的其它方面包括可觸知地在計算機可讀介質(zhì)上被編碼的計算機程序產(chǎn)品的實施例，該計算機程序產(chǎn)品包括導致數(shù)據(jù)處理裝置對于圖像執(zhí)行運動估計的操作的指令。這些操作包括指定初始誤差度量函數(shù)；通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計，這里，初始運動估計產(chǎn)生運動預測誤差。這些操作還包括如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。這些和其它的實施例可任選地包含以下特征中的一個或更多個?？纱嬖诎ɑ诔跏歼\動估計的運動預測誤差的分布和與大量的誤差度量函數(shù)中的一個有關的分布的比較確定初始誤差度量函數(shù)是否是最佳誤差函數(shù)的操作。如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么可存在用于基于運動預測誤差的分布選擇最佳誤差度量函數(shù)的操作。用于確定分布是否是運動預測誤差的分布的最好的擬合的操作可包括用于以下操作的指令確定與大量的候選分布相關的尺度因子；執(zhí)行大量的候選分布的統(tǒng)計測驗；和確定統(tǒng)計測驗是否揭示與大量的誤差度量函數(shù)中的一個相關的分布的最好的擬合。統(tǒng)計測驗可包含卡方測驗。初始誤差度量函數(shù)可包含休伯度量函數(shù)。計算機程序產(chǎn)品可包括導致數(shù)據(jù)處理裝置執(zhí)行以下的操作的指令在視頻編碼器的運動估計單元中執(zhí)行運動估計；通過使用最佳誤差度量函數(shù)執(zhí)行視頻編碼的交互預測；通過使用最佳誤差度量函數(shù)執(zhí)行視頻處理的時間內(nèi)插；和/或通過使用最佳誤差度量函數(shù)執(zhí)行超分辨率處理。
一般地，在本公開中描述的主題的其它方面包括用于執(zhí)行圖像的運動估計的系統(tǒng)的實施例，該系統(tǒng)包括顯示圖像數(shù)據(jù)的顯示器件；存儲圖像數(shù)據(jù)和用于圖像數(shù)據(jù)處理的指令的計算機可讀介質(zhì)；和可操作為處理指令和圖像數(shù)據(jù)的數(shù)據(jù)處理器件。這些指令導致器件通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計，這里，初始運動估計產(chǎn)生運動預測誤差。這些指令還導致器件基于運動預測誤差的分布從大量的誤差度量函數(shù)中的一個選擇最佳誤差度量函數(shù)，以及，如果初始誤差度量函數(shù)不被選擇為最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。這些和其它的實施例可任選地包含以下特征中的一個或更多個。顯示器件可被配置為從處理器接收圖像數(shù)據(jù)以顯示具有具有最佳誤差度量函數(shù)的圖像數(shù)據(jù)的圖像。這些指令還可導致數(shù)據(jù)處理器件基于初始運動估計計算運動預測誤差的直方圖。系統(tǒng)可被配置為用于高分辨率視頻、高質(zhì)量視頻、數(shù)字電影和/或3-D運動。數(shù)據(jù)處理器件可以是或包含視頻編碼器中的運動估計單元。一般地，在本公開中描述的主題的其它方面包括用于確定運動估計的最佳誤差度量函數(shù)的計算機實現(xiàn)的方法的實施例。計算機實現(xiàn)的方法包括對于圖像的初始運動估計 選擇第一誤差度量函數(shù)；和通過第一誤差度量函數(shù)執(zhí)行初始運動估計。該初始運動估計產(chǎn)生運動預測誤差。該方法包括通過確定第一誤差度量函數(shù)是否與作為產(chǎn)生的運動預測誤差的分布的最好擬合分布對應來確定第一誤差度量函數(shù)是否是最佳誤差度量函數(shù)。如果第一誤差度量函數(shù)不是最佳誤差度量函數(shù)，那么該方法包括對于圖像的隨后的運動估計的最佳誤差度量函數(shù)選擇第二誤差度量函數(shù)，這里，第二誤差度量函數(shù)的選擇與作為從初始運動估計產(chǎn)生的運動預測誤差的分布的最好擬合分布對應。這些和其它的實施例可任選地包含以下特征中的一個或更多個?？蓮拇罅康恼`差度量函數(shù)選擇第一誤差度量函數(shù)或第二誤差度量函數(shù)。誤差度量函數(shù)可包含具有高斯分布、拉普拉斯分布、柯西分布和/或休伯分布中的一個或更多個的分布的函數(shù)。如果第一運動估計或第二運動估計對于具有連續(xù)導數(shù)的誤差度量函數(shù)使用最小化方法，那么初始誤差度量函數(shù)可包含與休伯度量函數(shù)的關系。該方法可包括基于從初始運動估計產(chǎn)生的運動預測誤差計算產(chǎn)生的運動誤差的直方圖。如果該方法包括確定第一誤差度量函數(shù)是否與作為產(chǎn)生的運動預測誤差的分布的最好的擬合分布對應，則該方法還可包括確定產(chǎn)生的運動預測誤差的分布的尺度因子；和執(zhí)行統(tǒng)計測驗以確定分布是否是產(chǎn)生的運動預測誤差的分布的最好的擬合。該方法還可包括在視頻編碼器的運動估計單元中執(zhí)行運動估計；通過使用最佳誤差度量函數(shù)執(zhí)行視頻編碼的交互預測；通過使用最佳誤差度量函數(shù)執(zhí)行視頻處理的時間內(nèi)插；和/或通過使用最佳誤差度量函數(shù)執(zhí)行超分辨率處理。一般地，其它方面包括用于執(zhí)行視頻編碼的交互預測的系統(tǒng)。該系統(tǒng)包括接收像素的塊和幀并產(chǎn)生一個或更多個運動矢量的運動估計單元。系統(tǒng)具有接收幀和一個或更多個運動矢量并產(chǎn)生接近像素的塊的預測的運動補償單元。系統(tǒng)包括從像素的塊減去所述預測并產(chǎn)生差異圖像塊的減法器單元。運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括指定初始誤差度量函數(shù)；通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計；以及，如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。該初始運動估計產(chǎn)生運動預測誤差。
這些和其它的實施例可任選地包含以下特征中的一個或更多個。運動估計單元可通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括基于初始運動估計的運動預測誤差的分布和與大量的誤差度量函數(shù)中的一個有關的分布的比較確定初始誤差度量函數(shù)是否是最佳誤差函數(shù)；以及，如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么指令還包含基于運動預測誤差的分布選擇最佳誤差度量函數(shù)。指令和/或處理的結果可被存儲在諸如存儲單元或器件中。初始誤差度量函數(shù)可以是或包含休伯度量函數(shù)。系統(tǒng)可包括視頻編碼器，其中，運動估計單元和運動補償單元是視頻編碼器的部件。運動估計單元可確定誤差度量函數(shù)的形狀并使用該形狀以確定最佳誤差度量函數(shù)。差異圖像塊可以是殘余。—般地，其它方面包括用于視頻處理的時間內(nèi)插的系統(tǒng)。該系統(tǒng)包括接收第一中貞和第二幀并產(chǎn)生一個或更多個運動矢量的運動估計單元。系統(tǒng)還包括接收第一幀、第二幀和一個或更多個運動矢量并產(chǎn)生處于與第一幀和第二幀相關的時間之間的圖像的近似的雙向內(nèi)插單元。運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括指定初始誤差度量函數(shù)；通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計；以及，如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的 運動估計。初始運動估計產(chǎn)生運動預測誤差。這些和其它的實施例可任選地包含以下特征中的一個或更多個。運動估計單元可通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括基于初始運動估計的運動預測誤差的分布和與大量的誤差度量函數(shù)中的一個有關的分布的比較確定初始誤差度量函數(shù)是否是最佳誤差函數(shù)；以及，如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么指令還包含基于運動預測誤差的分布選擇最佳誤差度量函數(shù)。初始或最佳誤差度量函數(shù)可以是或包含休伯度量函數(shù)。運動估計單元可確定誤差度量函數(shù)的形狀并使用該形狀以確定最佳誤差度量函數(shù)。如果相等的子區(qū)間處的中間圖像的數(shù)量在系統(tǒng)中被計算，則系統(tǒng)可產(chǎn)生緩慢運動視頻效果。系統(tǒng)可被配置為用于幀速率轉換。系統(tǒng)可被配置為使用與雙向內(nèi)插單元相關的時間以將第一頻率的第一視頻流轉換成第二頻率的第二視頻流。一般地，一些方面包含用于執(zhí)行視頻處理的超分辨率處理的系統(tǒng)。該系統(tǒng)包括被配置為接收在時間T周圍分組的一組幀并在時間T處的組中的某幀和該組中的其它幀之間產(chǎn)生一個或更多個運動矢量的運動估計單元。系統(tǒng)包括接收所述的一組幀和所述的一個或更多個運動矢量并產(chǎn)生包含所述的一組幀中的各幀的預測版本的圖像的運動補償單元。系統(tǒng)還包括接收圖像、處理圖像并產(chǎn)生具有比所述的一組幀高的空間分辨率的時間T處的圖像的超分辨率處理單元。運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括指定初始誤差度量函數(shù)；通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計；以及，如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。初始運動估計產(chǎn)生運動預測誤差。這些和其它的實施例可任選地包含以下特征中的一個或更多個。運動估計單元可通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數(shù)中的一個有關的分布的比較確定初始誤差度量函數(shù)是否是最佳誤差函數(shù)；以及，如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么指令還可包含基于運動預測誤差的分布選擇最佳誤差度量函數(shù)。初始誤差度量函數(shù)或最佳誤差度量函數(shù)可以是或包含休伯度量函數(shù)。運動估計單元被配置為確定誤差度量函數(shù)的形狀并使用該形狀以確定最佳誤差度量函數(shù)。超分辨率處理單元可被配置為通過調(diào)整尼奎斯特(Nyquist)頻率并增加與圖像相關的分辨率從圖像提取更高的分辨率的圖像。公開的技術可確定精確的誤差分布和誤差度量函數(shù)以產(chǎn)生圖像和視頻的精確的運動估計。在一些實例中，公開的技術可考慮運動預測誤差的實際分布以產(chǎn)生在統(tǒng)計上最佳的算法以選擇運動估計的最佳誤差函數(shù)即FO。產(chǎn)生的運動估計可以是最佳的和穩(wěn)固的。公開的技術可使運動估計自身中的誤差減少超過一百倍。作為結果，由于圖像序列可被精確地模型化，因此圖像序列中的運動預測誤差可基本上減少到零。在一些實施例中，可以在包含以3-D呈現(xiàn)的視頻和圖像的高質(zhì)量視頻和數(shù)字電影中使用公開的技術。公開的用于運動估計的技術可準確地為通過求導使誤差函數(shù)最小化的復雜運動模型和復雜技術提供最佳的算法。也可在具有一個或更多個部件的系統(tǒng)、裝置或設備、機器、計算機程序產(chǎn)品中、在軟件中、在硬件中或者在它們的任意組合中實現(xiàn)這里描述的方法和技術中的任一種。例如， 計算機程序產(chǎn)品可以可觸知地在計算機可讀介質(zhì)上被編碼，并可包含導致數(shù)據(jù)處理裝置(例如，數(shù)據(jù)處理器)執(zhí)行這里描述的方法中的任一種的一個或更多個操作的指令。在這里的附圖和說明書中闡述一個或更多個實施例的細節(jié)。從說明書、附圖和權利要求，將清楚其它的特征、方面和結果。


圖IA示出塊匹配技術的基準圖像的例子的示圖。圖IB示出塊匹配技術的目標圖像的例子的示圖。圖2A示出致密或按像素(per-pixel)運動估計技術的基準圖像的例子的示圖。圖2B示出致密或按像素運動估計技術的目標圖像的例子的示圖。圖3示出概率密度的例子的示圖。圖4示出誤差度量函數(shù)的例子的示圖。圖5A 5B示出執(zhí)行運動估計的例子的流程圖。圖6示出休伯度量函數(shù)的例子的示圖。圖7A示出視頻編碼的交互預測的示例性實施例的示意圖。圖7B示出視頻處理的時間內(nèi)插的示例性實施例的示意圖。圖7C示出視頻處理的超分辨率處理的示例性實施例的示意圖。圖8不出系統(tǒng)模型的例子。各圖中的類似的附圖標記和指示可表示類似的要素。
具體實施例方式這里描述可用于實現(xiàn)實施較一般的目標的不同方式的一般結構和技術和更加具體的實施例。運動估計技術可由使運動補償(或預測)誤差最小化同時使運動場的相干性最大化之間的平衡表征?？砂凑者\動場的平滑性表達運動場的相干性。相干物體的運動可望是與各物體平滑的，使得運動場僅在物體邊界上是不連續(xù)的。這些物體邊界可被稱為輪廓邊緣或外形邊緣。
存在幾種嘗試解決運動估計問題的技術。但是，一些運動估計技術在不考慮運動預測誤差(即，預測圖像中的誤差)的實際統(tǒng)計的情況下基于單一誤差度量函數(shù)使總誤差最小化。其它的運動估計技術嘗試在不確定在執(zhí)行最小化之前最佳誤差度量函數(shù)應是什么的情況下使總誤差最小化。這些運動估計技術中的一些在不考慮特定的圖像序列的運動估計的模型化的情況下采用使用任意選擇的誤差度量函數(shù)的強力方法。當最佳誤差度量函數(shù)還沒有被確定時，僅通過使運動補償(或預測)誤差最小化可能難以完全確定圖像之間的運動或光學流動。以下描述用于基于運動預測誤差的實際統(tǒng)計選擇在統(tǒng)計上最佳的誤差度量函數(shù)的技術。為了幫助理解這些技術，以下的討論首先描述基于塊的運動估計以及致密或按像素(per-pixel)運動估計的運動估計技術。然后，討論描述將約束添加到一些運動估計技 術上以從基于塊或致密/按像素運動估計方法更好地確定運動估計的嘗試。然后，討論描述誤差度量函數(shù)和它們的質(zhì)量的例子。最后，描述用于基于誤差的實際統(tǒng)計選擇在統(tǒng)計上最佳的誤差度量函數(shù)的技術并給出一些示例性實施例。基于塊的運動估計一些運動估計技術包含諸如塊匹配技術的“匹配”方法。對于這些匹配方法，可通過在在塊匹配技術中可以為塊或矩形區(qū)域或者更一般地為圖像的任意形狀的區(qū)域或段的一些區(qū)域之上實施運動的參數(shù)模型強加運動場的平滑性上的約束。雖然該參數(shù)模型可以是更一般的，但是，該模型在最常見的情況下為簡單的位移。這種塊匹配技術?？杀环Q為均勻位移技術，在該均勻位移技術中，對于目標圖像的各塊將目標圖像中的固定位置塊和基準圖像中的可變位置塊之間的預測誤差的函數(shù)的和最小化。圖IA示出塊匹配技術的基準圖像100的例子的示圖，圖IB示出塊匹配技術的目標圖像150的例子的示圖。如圖IA IB所示，目標圖像150中的塊位置105位移到基準 圖像100中的另一塊位置110。在該例子中，基準圖像100具有任意的塊位置，并且，目標圖像150具有固定的塊位置。在該塊匹配例子中，目標圖像150被稱為人氏)，基準圖像100被稱為(毛)，這里，元和毛的水平和垂直分量可包含整數(shù)值。目標圖像150的各塊b具有在目標圖像的塊上使總誤差E最小化的與目標圖像150相關的位移矢量式。一般地，總誤差E可指的是各像素上的應用于預測或運動補償誤差上的一些誤差度量函數(shù)f()的和?？傉`差E可被表達如下
權利要求
1.一種用于確定視頻數(shù)據(jù)的運動估計的最佳誤差度量函數(shù)的圖像的運動估計的方法，該方法包括 指定初始誤差度量函數(shù)； 通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計，其中，初始運動估計產(chǎn)生運動預測誤差;和 如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。
2.根據(jù)權利要求I的方法，還包括基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數(shù)中的一個有關的分布的比較確定初始誤差度量函數(shù)是否是最佳誤差函數(shù)。
3.根據(jù)權利要求2的方法，如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么該方法還 包括基于運動預測誤差的分布選擇最佳誤差度量函數(shù)。
4.根據(jù)權利要求3的方法，其中，執(zhí)行初始運動估計包含處理初始誤差度量函數(shù)以確定運動預測誤差。
5.根據(jù)權利要求3的方法，還包括指定與初始誤差度量函數(shù)相關的初始概率分布。
6.根據(jù)權利要求3的方法，其中，確定初始誤差度量函數(shù)是否為最佳誤差函數(shù)包含計算初始誤差度量函數(shù)的運動預測誤差的直方圖。
7.根據(jù)權利要求6的方法，其中，確定初始誤差度量函數(shù)是否為最佳誤差函數(shù)包含確定所述直方圖的統(tǒng)計最好擬合的分布。
8.根據(jù)權利要求7的方法，其中，確定統(tǒng)計最好擬合的分布包含確定最佳誤差度量函數(shù)的概率分布的尺度因子。
9.根據(jù)權利要求8的方法,其中,候選概率分布包含高斯分布、拉普拉斯分布和柯西分布。
10.根據(jù)權利要8的方法，還包括在確定尺度因子之后執(zhí)行最好擬合分布的統(tǒng)計測驗。
11.根據(jù)權利要求10的方法，其中，所述統(tǒng)計測驗包含執(zhí)行分布擬合的卡方測驗。
12.根據(jù)權利要求11的方法，其中，初始誤差度量函數(shù)包含休伯度量函數(shù)。
13.根據(jù)權利要求3的方法，其中，初始誤差度量函數(shù)與多個概率分布的中間概率分布對應。
14.根據(jù)權利要求13的方法，其中，所述的多個概率分布包含高斯分布、拉普拉斯分布和柯西分布。
15.根據(jù)權利要求I的方法，其中，初始誤差度量函數(shù)包含總絕對差SAD、總方差SSD、平均絕對誤差MAD、均方誤差MSE或穩(wěn)固估計值中的一個或更多個的函數(shù)。
16.根據(jù)權利要求I的方法，還包括在視頻編碼器的運動估計單元中執(zhí)行運動估計。
17.根據(jù)權利要求I的方法，還包括通過使用最佳誤差度量函數(shù)執(zhí)行視頻編碼的交互預測。
18.根據(jù)權利要求17的方法，其中，執(zhí)行視頻編碼的交互預測包含 通過運動估計單元接收像素的塊和幀并產(chǎn)生一個或更多個運動矢量； 通過運動補償單元接收所述幀和所述一個或更多個運動矢量并產(chǎn)生接近所述像素的塊的預測；和 通過減法器單元從所述像素的塊減去所述預測并產(chǎn)生差異圖像塊。
19.根據(jù)權利要求I的方法，還包括通過使用最佳誤差度量函數(shù)執(zhí)行視頻處理的時間內(nèi)插。
20.根據(jù)權利要求19的方法，其中，執(zhí)行時間內(nèi)插包含 通過運動估計單元接收第一幀和第二幀并產(chǎn)生一個或更多個運動矢量；和 通過雙向內(nèi)插單元接收所述第一幀、所述第二幀和所述ー個或更多個運動矢量并產(chǎn)生處于與所述第一幀和所述第二幀相關的時間之間的圖像的近似。
21.根據(jù)權利要求I的方法，還包括通過使用最佳誤差度量函數(shù)執(zhí)行超分辨率處理。
22.根據(jù)權利要求21的方法，其中，執(zhí)行超分辨率處理包含 通過運動估計單元接收在時間T周圍分組的一組幀并在時間T處的組中的某幀和該組中的其它幀之間產(chǎn)生一個或更多個運動矢量； 通過運動補償單元接收所述的一組幀和所述的ー個或更多個運動矢量并產(chǎn)生包含所述的ー組幀中的各幀的預測版本的圖像；和 通過超分辨率處理單元接收圖像、處理圖像并產(chǎn)生具有比所述的ー組幀高的空間分辨率的時間T處的圖像。
23.根據(jù)權利要求I的方法，其中，運動估計包含基于塊的或基于區(qū)域的運動估計。
24.根據(jù)權利要求I的方法，其中，運動估計包含相位相關或像素遞歸技術。
25.根據(jù)權利要求I的方法，其中，運動估計包括包含平移、仿射或參數(shù)模型的運動模型。
26.一種可觸知地在計算機可讀介質(zhì)上被編碼的計算機程序產(chǎn)品，包括導致數(shù)據(jù)處理裝置對于圖像執(zhí)行運動估計的操作的指令，這些操作包括 指定初始誤差度量函數(shù)； 通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計，其中，初始運動估計產(chǎn)生運動預測誤差;和 如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。
27.根據(jù)權利要求26的計算機程序產(chǎn)品，操作還包括基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數(shù)中的一個有關的分布的比較確定初始誤差度量函數(shù)是否是最佳誤差函數(shù)。
28.根據(jù)權利要求27的計算機程序產(chǎn)品，如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么操作還包括基于運動預測誤差的分布選擇最佳誤差度量函數(shù)。
29.根據(jù)權利要求28的計算機程序產(chǎn)品，其中，確定分布是否是運動預測誤差的分布的最好的擬合包含 確定與多個候選分布相關的尺度因子； 執(zhí)行多個候選分布的統(tǒng)計測驗；和 確定統(tǒng)計測驗是否掲示與多個誤差度量函數(shù)中的一個相關的分布的最好的擬合。
30.根據(jù)權利要求29的計算機程序產(chǎn)品，其中，統(tǒng)計測驗包含卡方測驗。
31.根據(jù)權利要求29的計算機程序產(chǎn)品，其中，初始誤差度量函數(shù)包含休伯度量函數(shù)。
32.根據(jù)權利要求26的計算機程序產(chǎn)品，還包括用于在視頻編碼器的運動估計單元中執(zhí)行運動估計的指令。
33.根據(jù)權利要求26的計算機程序產(chǎn)品，還包括用于通過使用最佳誤差度量函數(shù)執(zhí)行視頻編碼的交互預測的指令。
34.根據(jù)權利要求26的計算機程序產(chǎn)品，還包括用于通過使用最佳誤差度量函數(shù)執(zhí)行視頻處理的時間內(nèi)插的指令。
35.根據(jù)權利要求26的計算機程序產(chǎn)品，還包括用于通過使用最佳誤差度量函數(shù)執(zhí)行超分辨率處理的指令。
36.一種用于執(zhí)行圖像的運動估計的系統(tǒng)，該系統(tǒng)包括 顯示圖像數(shù)據(jù)的顯示器件； 存儲圖像數(shù)據(jù)和用于圖像數(shù)據(jù)處理的指令的計算機可讀介質(zhì)；和 可操作為處理指令和圖像數(shù)據(jù)的數(shù)據(jù)處理器件，這些指令導致數(shù)據(jù)處理器件執(zhí)行以下的過程 通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計，其中，初始運動估計產(chǎn)生運動預測誤差; 基于運動預測誤差的分布從多個誤差度量函數(shù)中的一個選擇最佳誤差度量函數(shù)；和 如果初始誤差度量函數(shù)沒有被選擇為最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。
37.根據(jù)權利要求36的系統(tǒng)，其中，顯示器件被配置為從處理器接收圖像數(shù)據(jù)以顯示具有圖像數(shù)據(jù)的圖像，所述圖像數(shù)據(jù)具有最佳誤差度量函數(shù)。
38.根據(jù)權利要求37的系統(tǒng)，其中，指令還導致數(shù)據(jù)處理器件基于初始運動估計計算運動預測誤差的直方圖。
39.根據(jù)權利要求36的系統(tǒng)，其中，系統(tǒng)被配置為用于數(shù)字電影或3-D運動。
40.根據(jù)權利要求36的系統(tǒng)，其中，數(shù)據(jù)處理器件包含視頻編碼器中的運動估計單元。
41.一種用于確定運動估計的最佳誤差度量函數(shù)的計算機實現(xiàn)的方法，該方法包括 對于圖像的初始運動估計選擇第一誤差度量函數(shù)； 通過第一誤差度量函數(shù)執(zhí)行初始運動估計，該初始運動估計產(chǎn)生運動預測誤差； 通過確定第一誤差度量函數(shù)是否與作為產(chǎn)生的運動預測誤差的分布的最好的擬合的分布對應來確定第一誤差度量函數(shù)是否是最佳誤差度量函數(shù)；和 如果第一誤差度量函數(shù)不是最佳誤差度量函數(shù)，那么對于圖像的隨后的運動估計的最佳誤差度量函數(shù)選擇第二誤差度量函數(shù)，其中，第二誤差度量函數(shù)的選擇與作為從初始運動估計產(chǎn)生的運動預測誤差的分布的最好的擬合的分布對應。
42.根據(jù)權利要求41的計算機實現(xiàn)的方法，其中，從多個誤差度量函數(shù)選擇第一誤差度量函數(shù)或第二誤差方法函數(shù)。
43.根據(jù)權利要求42的計算機實現(xiàn)的方法，其中，多個誤差度量函數(shù)包含具有高斯分布、拉普拉斯分布、柯西分布或休伯分布中的一個或更多個的分布的函數(shù)。
44.根據(jù)權利要求41的計算機實現(xiàn)的方法，其中，如果第一運動估計或第二運動估計對于具有連續(xù)導數(shù)的誤差度量函數(shù)使用最小化方法，那么初始誤差度量函數(shù)包含與休伯度量函數(shù)的關系。
45.根據(jù)權利要求41的計算機實現(xiàn)的方法，還包括基于從初始運動估計產(chǎn)生的運動預測誤差計算產(chǎn)生的運動誤差的直方圖。
46.根據(jù)權利要求45的計算機實現(xiàn)的方法，其中，確定第一誤差度量函數(shù)是否與作為產(chǎn)生的運動預測誤差的分布的最好的擬合的分布對應包含 確定產(chǎn)生的運動預測誤差的分布的尺度因子；和 執(zhí)行統(tǒng)計測驗以確定分布是否是產(chǎn)生的運動預測誤差的分布的最好的擬合。
47.根據(jù)權利要求41的計算機實現(xiàn)的方法，還包括在視頻編碼器的運動估計單元中執(zhí)行運動估計。
48.根據(jù)權利要求41的計算機實現(xiàn)的方法，還包括通過使用最佳誤差度量函數(shù)執(zhí)行視頻編碼的交互預測。
49.根據(jù)權利要求41的計算機實現(xiàn)的方法，還包括通過使用最佳誤差度量函數(shù)執(zhí)行視頻處理的時間內(nèi)插。
50.根據(jù)權利要求41的計算機實現(xiàn)的方法，還包括通過使用最佳誤差度量函數(shù)執(zhí)行超分辨率處理。
51.一種用于執(zhí)行視頻編碼的交互預測的系統(tǒng)，該系統(tǒng)包括 接收像素的塊和幀并產(chǎn)生一個或更多個運動矢量的運動估計單元； 接收所述幀和所述ー個或更多個運動矢量并產(chǎn)生接近所述像素的塊的預測的運動補償單元；和 從所述像素的塊減去所述預測并產(chǎn)生差異圖像塊的減法器単元， 其中，運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括 指定初始誤差度量函數(shù)； 通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計，其中，初始運動估計產(chǎn)生運動預測誤差;和 如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。
52.根據(jù)權利要求51的系統(tǒng)，其中，運動估計單元進ー步被配置為通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括 基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數(shù)中的一個有關的分布的比較確定初始誤差度量函數(shù)是否是最佳誤差函數(shù)；和 如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么指令還包含基于運動預測誤差的分布選擇最佳誤差度量函數(shù)。
53.根據(jù)權利要求52的系統(tǒng)，其中，初始誤差度量函數(shù)包含休伯度量函數(shù)。
54.根據(jù)權利要求51的系統(tǒng)，其中，系統(tǒng)包括視頻編碼器，其中，運動估計單元和運動補償單元是視頻編碼器的部件。
55.根據(jù)權利要求51的系統(tǒng)，其中，運動估計單元被配置為確定誤差度量函數(shù)的形狀并使用該形狀來確定最佳誤差度量函數(shù)。
56.根據(jù)權利要求51的系統(tǒng)，其中，差異圖像塊包含殘余。
57.—種用于視頻處理的時間內(nèi)插的系統(tǒng),該系統(tǒng)包括 接收第一幀和第二幀并產(chǎn)生一個或更多個運動矢量的運動估計單元； 接收所述第一幀、所述第二幀和所述ー個或更多個運動矢量并產(chǎn)生處于與所述第一幀和所述第二幀相關的時間之間的圖像的近似的雙向內(nèi)插單元， 其中，運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括: 指定初始誤差度量函數(shù)； 通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計，其中，初始運動估計產(chǎn)生運動預測誤差;和 如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。
58.根據(jù)權利要求57的系統(tǒng)，其中，運動估計單元進ー步被配置為通過處理指令確定運動估計的最佳誤差度量函數(shù) 基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數(shù)中的一個有關的分布的比較確定初始誤差度量函數(shù)是否是最佳誤差函數(shù)；和 如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么指令還包含基于運動預測誤差的分布選擇最佳誤差度量函數(shù)。
59.根據(jù)權利要求58的系統(tǒng)，其中，初始誤差度量函數(shù)包含休伯度量函數(shù)。
60.根據(jù)權利要求57的系統(tǒng)，其中，運動估計單元被配置為確定誤差度量函數(shù)的形狀并使用該形狀來確定最佳誤差度量函數(shù)。
61.根據(jù)權利要求57的系統(tǒng)，其中，所述系統(tǒng)被配置為如果相等的子區(qū)間處的中間圖像的數(shù)量在系統(tǒng)中被計算則產(chǎn)生緩慢運動視頻效果。
62.根據(jù)權利要求57的系統(tǒng)，其中，系統(tǒng)被配置為用于幀速率轉換，并且，系統(tǒng)被配置為使用與雙向內(nèi)插單元相關的時間以將第一頻率的第一視頻流轉換成第二頻率的第二視頻流。
63.一種用于執(zhí)行視頻處理的超分辨率處理的系統(tǒng)，該系統(tǒng)包括 被配置為接收在時間T周圍分組的一組幀并在時間T處的組中的某幀和該組中的其它幀之間產(chǎn)生ー個或更多個運動矢量的運動估計單元； 接收所述的一組幀和所述的ー個或更多個運動矢量并產(chǎn)生包含所述的ー組幀中的各幀的預測版本的圖像的運動補償單元；和 接收圖像、處理圖像并產(chǎn)生具有比所述的ー組幀高的空間分辨率的時間T處的圖像的超分辨率處理單元， 其中運動估計單元被配置為通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括 指定初始誤差度量函數(shù)； 通過使用初始誤差度量函數(shù)執(zhí)行初始運動估計，其中，初始運動估計產(chǎn)生運動預測誤差;和 如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。
64.根據(jù)權利要求63的系統(tǒng)，其中，運動估計單元進ー步被配置為通過處理指令確定運動估計的最佳誤差度量函數(shù)，包括 基于初始運動估計的運動預測誤差的分布和與多個誤差度量函數(shù)中的一個有關的分布的比較確定初始誤差度量函數(shù)是否是最佳誤差函數(shù)；和如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么指令還包含基于運動預測誤差的分布選擇最佳誤差度量函數(shù)。
65.根據(jù)權利要求64的系統(tǒng)，其中，初始誤差度量函數(shù)或最佳誤差度量函數(shù)包含休伯度量函數(shù)。
66.根據(jù)權利要求63的系統(tǒng)，其中，運動估計單元被配置為確定誤差度量函數(shù)的形狀并使用該形狀來確定最佳誤差度量函數(shù)。
67.根據(jù)權利要求63的系統(tǒng)，其中，超分辨率處理單元被配置為通過調(diào)整尼奎斯特頻率并增加與圖像相關的分辨率從圖像提取更高分辨率的圖像。
全文摘要
確定運動估計的最佳誤差度量函數(shù)并將其用于圖像的視頻編碼和/或視頻處理。為了做到這一點，可以執(zhí)行使用初始誤差度量函數(shù)的初始運動估計。這可產(chǎn)生運動預測誤差。如果初始誤差度量函數(shù)不是最佳誤差函數(shù)，那么通過使用選擇的最佳誤差度量函數(shù)執(zhí)行最終的運動估計。在一些實施例中，可以使用誤差分布的形狀來確定最佳誤差度量函數(shù)。該運動估計的一些示例性系統(tǒng)或器件可包含用于壓縮、時間內(nèi)插和/或超分辨率處理的系統(tǒng)或器件。
文檔編號H04N7/36GK102742267SQ200880121684
公開日2012年10月17日 申請日期2008年12月19日 優(yōu)先權日2007年12月19日
發(fā)明者C·沃格特, W·吉什 申請人:杜比實驗室特許公司