專利名稱：估計圖像序列中的主要運動的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于估計視頻鏡頭(shot)中的主要運動的方法和設(shè)備。更具體地，該方法基于對在使用運動補(bǔ)償?shù)膲嚎s方案中與視頻一起發(fā)送的運動場的分析。在MPEG-1、MPEG-2和MPEG-4視頻壓縮標(biāo)準(zhǔn)中實現(xiàn)了這種方案。
背景技術(shù)：
已知運動分析依賴于根據(jù)從MPEG類型壓縮視頻流中得到的運動矢量，對運動模型的估計，運動模型通常是仿射的 這里，u和v是表示運動場的位置(xi，yi)處的矢量ωi的分量。運動模型的仿射參數(shù)a、b、c、d、e和f的估計依賴于最小平方差技術(shù)。M.A Smith和T.Kanade的文章“Video Skimming and Characterizationthrough the Combination of Image and Language Understanding”(Proceedings of IEEE 1998 International Workshop on Content-BasedAccess of Image and Video Databases，61和70頁)描述了這種方法。這篇文章的作者使用運動的仿射模型的參數(shù)以及場的矢量的空間分量的均值u和v，對明顯的運動進(jìn)行標(biāo)識和分類。例如，為了確定運動是否是變焦，利用以下條件驗證存在矢量場的會聚點(x0，y0)，從而使得u(x0，y0)＝0且v(x0，y0)＝0 分析矢量分量的均值u和v，以測試平搖鏡頭(panning shot)的假設(shè)。
還已知運動分析方法直接使用了從MPEG視頻流中得到的矢量場，而不包含對運動模型的識別。O.N.Gerek和Y.Altunbasak的文章“Key Frame Selection from MPEG Video Data”(proceedings of theVisual Communications and Image Processing’97 congress，920～925頁)描述了這種方法。該方法在于，對于與MPEG二進(jìn)制序列圖像相關(guān)的每一個運動場，構(gòu)造矢量場的兩個直方圖，一個表示作為其方向的函數(shù)的矢量的存在，而第二個表示其幅度的函數(shù)。圖1和圖2表示了這種直方圖的示例圖1示出了圖像中的明顯運動是變焦的結(jié)構(gòu)，而在圖2中，主要運動是平搖。
然后，對于兩個直方圖中的每一個，將與直方圖的每一類(或“bin”)中的運動矢量的數(shù)目相關(guān)的變化的閾值設(shè)置用于識別“變焦”和“平搖”類型的主要運動的出現(xiàn)。
例如Gerek和Altunbasak所提出的方法提供了有關(guān)主要運動的分類的純量化信息，而通常還需要有關(guān)運動幅度的量化估計。例如Smith和Kanade所提出的基于估計運動的參數(shù)模型的方法提供了這種量化信息，但通常是非常不可靠的。特別地，這些方法沒有考慮到在已處理視頻場景中、跟隨在不同明顯運動之后的多個物體的出現(xiàn)。對與次要物體相關(guān)的矢量的考慮容易明顯地歪曲主要運動的模型參數(shù)的最小二乘估計。這里將次要物體定義為占據(jù)的圖像區(qū)域比至少一個其它物體所占據(jù)的小的目標(biāo)，該物體與占據(jù)了圖像中最大區(qū)域的主要運動相關(guān)聯(lián)。此外，即使在圖像運動中出現(xiàn)單一物體，充當(dāng)運動分析基礎(chǔ)的壓縮視頻流的矢量也不會始終反映圖像的明顯實際運動的事實。具體地，針對在運動補(bǔ)償之后使要發(fā)送的信息量最小來計算這些矢量，而不是估計圖像象素的物理運動。
基于從壓縮流中得到的矢量的運動模型的可靠估計需要使用魯棒方法，根據(jù)與并未跟隨主要運動的次要物體相關(guān)的運動矢量以及不與圖像主要物體的物理運動相對應(yīng)的矢量的計算來自動地估計。
在與壓縮視頻流的使用不同的情況中已經(jīng)提出了估計主要運動的參數(shù)模型的魯棒方法。一個示例是P.Bouthemy、M.Gelgon和F.Ganansia的、標(biāo)題是“A unified approach to shot change detection andcamera motion characterization”的文章，發(fā)表在IEEE journal Circuitsand Systems for Video Technology volume 9 No.7，1999年10月，1030～1044頁。這些方法具有實現(xiàn)起來非常復(fù)雜的缺點。

發(fā)明內(nèi)容
這里提出的本發(fā)明的目的在于減少上述用于估計主要運動的多類方法的缺點。
本發(fā)明的主題是一種方法，用于通過執(zhí)行與圖像相關(guān)的運動矢量場的計算來檢測圖像序列中的主要運動，對于具有坐標(biāo)xi，yi的象素，定義了具有分量ui，vi的一個或多個運動矢量，所述方法的特征在于還執(zhí)行以下步驟-根據(jù)簡化的參數(shù)表示來建立運動的模型ui＝tx+k.xiVi＝ty+k.yi其中，tx，ty是表示運動的平動分量的矢量的分量，k是代表運動變焦分量的散度因數(shù)，-在由平面(x，u)和(y，v)所限定的兩個運動表示空間的每一個中進(jìn)行魯棒線性回歸，以給出回歸直線，其中x，y，u和v分別表示變量xi、yi、ui和vi的軸，-根據(jù)回歸直線在原點處的縱坐標(biāo)和斜率來計算參數(shù)tx，ty和k。
根據(jù)一種實現(xiàn)模式，魯棒回歸是一種最小平方中值方法，該方法在于在一組直線j中搜索提供了殘差平方的中值組中最小的一個，ri,j是相對于直線j，具有坐標(biāo)xi，ui或yi，vi的第i個采樣的殘差minj(mediri,j2)]]>根據(jù)一種實現(xiàn)模式，將搜索殘差的最小平方中值應(yīng)用于預(yù)定數(shù)目的直線，通過在所考慮的運動的表示空間中隨機(jī)抽取的一對采樣來確定每一條直線。
根據(jù)一種實現(xiàn)模式，在魯棒線性回歸之后，執(zhí)行第二非魯棒線性回歸，可以改進(jìn)運動模型參數(shù)的估計。第二線性回歸排除了表示空間中其從第一魯棒回歸得到的回歸殘差超過預(yù)定閾值的點。
根據(jù)一種實現(xiàn)模式，該方法執(zhí)行在每個表示空間中所計算得到的回歸直線的方向系數(shù)的等同性測試，該測試基于殘差平方和的比較，首先通過執(zhí)行每個表示空間中的分離回歸，然后通過對兩個表示空間中的采樣組執(zhí)行全局斜率回歸來獲得所述殘差，并且在測試是肯定的情況下，通過在每個表示空間中獲得的回歸直線的方向系數(shù)的算術(shù)平均值來估計模型的參數(shù)k。
本發(fā)明還涉及一種實現(xiàn)該方法的設(shè)備。
通過利用視頻圖像中的主要運動的非常簡單但足夠逼真的參數(shù)模型，該方法允許以減少的成本實現(xiàn)運動模型的識別的魯棒方法。更準(zhǔn)確地，本發(fā)明所述方法的主要優(yōu)點在于使用了運動矢量的分量表示的明智空間，可以將運動模型的參數(shù)識別減少為雙線性回歸。


在利用非限制性的示例和有關(guān)附圖所給出的以下說明中，將會使本發(fā)明的其它特點和優(yōu)點更加顯而易見，其中-圖1，與“變焦”相對應(yīng)的理論運動矢量場，-圖2，與背景的主要運動是“平搖”類型的場景相對應(yīng)的理論運動矢量場，其中還包括了遵循不同于主要運動的運動的次要物體，-圖3，本發(fā)明所使用的運動矢量表示空間的圖示，-圖4，以本發(fā)明中所使用的變焦運動為中心的變焦運動的理論矢量的分布，-圖5，本發(fā)明中所使用的表示空間中的圖像的全局傾斜平動運動的理論矢量的分布，-圖6，本發(fā)明中所使用的表示空間中的平動和變焦的組合運動的理論矢量的分布，-圖7，本發(fā)明中所使用的表示空間中的靜態(tài)場景(零運動)的理論矢量的分布，-圖8，檢測主要運動的方法的流程圖。
具體實施例方式
圖像序列中的主要運動的特性包括明顯的主要運動的參數(shù)模型的識別。在利用從壓縮視頻流中得到的運動矢量場的情況下，該模型必需表示二維圖像平面中的明顯運動。通過把投影近似到三維空間中的物體的運動的圖像平面上來獲得這樣的模型。作為示例，在文獻(xiàn)中通常采用以上所示有6個參數(shù)(a，b，c，d，e，f)的仿射模型。
基本上，所提出的方法在于當(dāng)編碼準(zhǔn)則使用如MPEG-1，MPEG-2和MPEG-4標(biāo)準(zhǔn)等運動補(bǔ)償技術(shù)時，根據(jù)視頻流中所提供的運動矢量場，標(biāo)識運動的該參數(shù)模型，從而執(zhí)行其解碼。但是，本發(fā)明所述的方法也適用于通過根據(jù)組成被處理的視頻序列的圖像的獨立處理所計算出來的運動矢量場。
在本發(fā)明的上下文中，從具有四個參數(shù)(tx，ty，k，θ)的簡化線性模型中推導(dǎo)出所采用的運動模型，我們將此模型稱作SLM(表示簡化線性模型的縮寫)，其定義如下uivi=txty+k-θθkxi-xgyi-yg]]>其中(ui，vi)t與坐標(biāo)為(xi，yi)t的圖像平面像素相關(guān)的明顯運動矢量的分量，(xg，yg)t參考點的坐標(biāo)，用于對攝像機(jī)拍出的二維圖像的三維場景的近似；將該參考點認(rèn)為是圖像中坐標(biāo)為(0，0)t的點，(tx，ty)t表示運動的平動分量的矢量，k散度因數(shù)，表示運動的變焦分量，θ關(guān)于攝像機(jī)軸的運動的旋轉(zhuǎn)角度。
客觀查找用于識別視頻序列中由移動和例如光學(xué)變焦之類的攝像機(jī)的光學(xué)變換所引起的主要運動。具體地，這包括識別攝像機(jī)的運動，從統(tǒng)計上來說，這些運動是最普遍的視頻文件組成部分，主要根據(jù)平動運動、變焦運動、二者相結(jié)合以及沒有運動，即靜態(tài)或靜止鏡頭來進(jìn)行分類。沒有考慮在實際中很少觀察到的攝像機(jī)旋轉(zhuǎn)效果因此，在假設(shè)θ≈0的前提下，本模型受到三個參數(shù)(tx，ty，k)的約束。于是，得到了矢量分量及其在圖像中的空間位置之間的兩個線性關(guān)系 這種運動的簡化參數(shù)表示的優(yōu)點在于可以通過運動的表示空間的線性回歸ui＝f(xi)和vi＝f(yi)來估計分別描述了運動模型中的兩個平動分量和變焦參數(shù)的參數(shù)tx，ty和k。因此，如圖3所示，這些空間中的運動矢量場的表示通常給出了分布在斜率為k的直線附近的一簇點。
用于估計簡化運動模型的參數(shù)的過程基于在每個運動表示空間中應(yīng)用魯棒型線性回歸。例如，線性回歸是一種通過使每個點到其擬合直線的距離的平方和最小來確定對一簇點的最佳擬合直線的數(shù)學(xué)運算。在本發(fā)明的情況下，利用魯棒統(tǒng)計估計技術(shù)來實現(xiàn)這種運算，從而保證相對于數(shù)據(jù)中異常值的出現(xiàn)的不敏感度。具體地，主要運動的模型的估計必需忽略以下幾點-圖像中出現(xiàn)多個物體，其中某些遵循不同于主要運動的次要運動，-不表示物體的實際運動的運動矢量的出現(xiàn)。具體地，視頻壓縮流中傳輸?shù)倪\動矢量的計算目的是為了使運動補(bǔ)償后殘余信息最小，而不是以提供組成圖像場景的物體的真實運動為目的。
圖8描述了用于估計序列中主要運動的方法的多個步驟。隨后更加準(zhǔn)確地描述這些步驟中的每一個。
第一步驟1執(zhí)行與所處理的視頻序列圖像相關(guān)的運動矢量場的歸一化。假設(shè)在本算法使用前已經(jīng)利用運動估計器求出了這些矢量場。與所謂的“塊匹配”方法中一樣，可以針對圖像像素的矩形塊來執(zhí)行運動估計，或提供一種稠(dense)矢量場，其中針對圖像的每個像素來估計矢量。本發(fā)明優(yōu)選地但并不局限于處理由視頻編碼器計算得到所使用的矢量場，并出于解碼目的，在壓縮視頻流中傳輸矢量場的情況。在所使用的編碼方案符合MPEG-1或MPEG-2標(biāo)準(zhǔn)之一的典型情況下，相對于其到當(dāng)前圖像的時間距離是可變的參考幀，對于當(dāng)前圖像，以每個矩形塊一個矢量的速度來估計運動矢量。此外，對于雙向預(yù)知的所謂“B”幀，對于同一個塊可以求出兩個運動矢量，一個從當(dāng)前圖像指向之前的參考幀，另一個從當(dāng)前圖像指向之后的參考幀。因此，歸一化矢量場的步驟是不可缺少的，以便在隨后的步驟中處理在相等持續(xù)時間的時間間隔上計算得到的、指向相同方向的矢量。V.Kobla和D.Doermann的文章“Compressed domain video indexingtechniques using DCT and motion vector information in MPEG video”(Proceedings of the SPIE vol.3022，1997，200～211頁)中第3.2節(jié)提供了一種執(zhí)行這種歸一化的典型方法。還可以使用基于MPEG矢量計算間隔上的運動線性近似的其它簡單技術(shù)。
參考數(shù)字為2的第二步驟執(zhí)行了上述運動表示空間的構(gòu)造。分別用兩個空間ui＝f(xi)和vi＝f(yi)內(nèi)的點來表示分量為(ui，vi)t、位置為(xi，yi)t的運動場的每個矢量 每對點(xi，ui)和(yi，vi)與運動場的矢量表示相對應(yīng)，可以相對于每個空間的回歸直線對每對點(xi，ui)和(yi，vi)進(jìn)行建模 其中，(a0，b0)是在空間ui＝f(xi)中計算得到的回歸直線參數(shù)；εui是相應(yīng)的殘余誤差。
(a1，b1)是在空間vi＝f(yi)中計算得到的回歸直線參數(shù)；εvi是相應(yīng)的殘余誤差。
圖3示出了根據(jù)歸一化運動矢量場構(gòu)造這兩個空間之后所獲得的點簇。
在每個表示空間中線性回歸完成時所獲得的參數(shù)(a0，b0)和(a1，b1)提供了對主要運動模型參數(shù)的估計。因此，斜率a0和a1對應(yīng)于表征變焦分量的散度因數(shù)k的二重估計，而在原點處的縱坐標(biāo)b0和b1對應(yīng)于對平動分量tx和ty的估計。
圖4到圖7示出了幾個可能配置的示例。
-圖4是居中變焦情況下的數(shù)據(jù)分布，
-圖5是傾斜平動運動情況下的數(shù)據(jù)分布，-圖6是偏心變焦(將變焦和平動相結(jié)合的運動)情況下的數(shù)據(jù)分布，-圖7是沒有運動情況下的數(shù)據(jù)分布。
接下來的步驟3針對每個運動表示空間，進(jìn)行魯棒線性回歸，其目的是從對應(yīng)于圖像中次要物體的運動或?qū)?yīng)于與其相關(guān)的不表達(dá)像素真實運動的矢量中分離出代表真實的主要運動的數(shù)據(jù)點。
存在幾類魯棒估計的方法。根據(jù)本發(fā)明的優(yōu)選實施例，按照以下方式計算回歸直線，以便滿足最小平方中值準(zhǔn)則。P.Meer、D.Mintz和A.Rosenfeld的文章“Robust Regression Methods for Computer VisionA Review”(公布在International Journal of Computer Vision，volume 6No.1，1991，59～70頁)的第3段更完整地描述了以下簡要介紹的計算方法。
令ri，j為運動表示空間內(nèi)第i個采樣的殘差，在該空間中，試圖估計回歸參數(shù)集Ej(回歸直線的斜率和截距)，計算Ej，從而滿足以下準(zhǔn)則minEj(mediri,j2)]]>根據(jù)所考慮的表示空間，殘差ri，j對應(yīng)于與參數(shù)為Ej的回歸直線的第i個采樣建模相關(guān)的殘留誤差εui或εvi。這種非線性最小化問題的解決方案需要在所有可能的直線中尋找由Ej定義的直線。為了限制計算量，將這種查找局限于p條回歸直線的有限集，從正在研究的表示空間的采樣中隨機(jī)抽取的p對點定義該有限集。對于p條直線中的每一條，都按照識別顯示了中值殘差平方的方式來計算并分類殘差的平方。估計回歸直線，以便得到最小的殘差平方中值。
只從中值殘差的平方中選擇回歸直線，而不是殘差集合，這給出了回歸過程的魯棒本質(zhì)。具體地，這可以忽略殘差的極值，其易于與異常數(shù)據(jù)點相對應(yīng)，從而使回歸出錯。
例如，通過測試p＝12條直線，p對中至少有一對包含兩個非異常采樣的概率，也就是說表示主要運動的概率非常接近于1。假設(shè)如果異常采樣的比例小于50％，與包含至少一個異常采樣的點對相比，不包含異常采樣的點對提供了能夠更好地擬合采樣簇的回歸直線，并因此顯示了更小的殘差平方中值。因此，幾乎可以肯定通過兩個非異常采樣決定了最后得到的回歸直線，從而保證此方法對于異常采樣的魯棒性。
之后，將在每個表示空間中通過魯棒估計所獲得的回歸直線用于識別異常采樣點。出于此目的，假設(shè)非異常采樣服從高斯分布，并且將其絕對值的殘差超過魯棒估計 的K倍的所有采樣標(biāo)記為異常采樣，作為對應(yīng)于最佳回歸直線的殘差平方的中值函數(shù)，計算與非異常采樣相關(guān)的殘差標(biāo)準(zhǔn)差的魯棒估計 有利地，將K值固定為2.5。
但是，在此步驟3中，習(xí)慣上最后對每個表示空間的采樣執(zhí)行非魯棒的線性回歸，而不包括識別為異常值的采樣。這些回歸提供參數(shù)(a0，b0)和(a1，b1)的改進(jìn)估計，這些參數(shù)將在隨后的方法中用到。
接下來的步驟4執(zhí)行了對每個表示空間的回歸直線的線性測試。該測試的目的是驗證每個空間的點簇實際上近似沿直線分布，這不能保證回歸直線的例行出現(xiàn)。
在每個表示空間中，通過將從有關(guān)非異常采樣的線性回歸中得到的殘差標(biāo)準(zhǔn)差與預(yù)定閾值進(jìn)行比較來執(zhí)行線性測試。閾值依賴于本方法步驟1中應(yīng)用于運動矢量的臨時歸一化。歸一化之后，在每個矢量表示對應(yīng)于兩個分離交叉幀的時間間隔的位移情況下，即對于50Hz的傳輸是40ms，有利地，可以將這個閾值固定在6。如果在兩個表示空間中執(zhí)行的至少一個線性測試失敗，則認(rèn)為對應(yīng)于當(dāng)前圖像的運動域不能可靠地估計主要運動模型。于是，設(shè)置表示主要運動估計過程失敗的標(biāo)志，并處理下一圖像。
在相反的情況下，進(jìn)入接下來的步驟5，該步驟在于驗證給出了運動模型中散度因數(shù)k的二重估計的斜率a0和a1差別不明顯。兩個回歸斜率的等同性測試是已知的問題，用一些統(tǒng)計方法可以解決；例如可以查閱C.R Rao在由Wiley出版(第二版)的“Linear StatisticalInference and its Applications”一書中關(guān)于偏差分析的章節(jié)。按照傳統(tǒng)方式，通過計算有關(guān)運動矢量場的兩個表示空間的非異常采樣點集的全局回歸斜率來執(zhí)行該測試。然后，構(gòu)成與數(shù)據(jù)集的全局斜率估計相關(guān)的殘差平方和，與相關(guān)于獨立回歸的殘差平方和的兩個空間上的總和的比率，所述獨立回歸只與非異常采樣相關(guān)。將該比率與預(yù)定的閾值相比；如果比率大于閾值，則兩個運動表示空間中回歸斜率相等的假設(shè)不是統(tǒng)計有效的。于是，設(shè)置表示主要運動估計過程失敗的標(biāo)志，并處理下一圖像。在測試結(jié)果是肯定的情況下，利用在每個表示空間中獲得的回歸斜率a0和a1的算術(shù)平均值來估計主要運動模型中的散度因數(shù)k的值。分別由從表示空間的線性回歸中得到的截距b0和b1的值來估計參數(shù)tx和ty。
在認(rèn)為運動模型有效的情況下，即，如果成功通過了步驟4和5中所執(zhí)行的測試，則在接下來的參考數(shù)字為6的步驟期間執(zhí)行主要運動的分類。
使用所估計參數(shù)的矢量θ＝(k，tx，ty)t，以便決定將主要運動分類到其中的類別，即-靜態(tài)，-純平動，-純變焦，-平動和變焦相結(jié)合。
分類算法基于模型參數(shù)的無效性測試，根據(jù)下表

根據(jù)一種簡單技術(shù)，可以通過簡單地將其絕對值與一個閾值相比較來執(zhí)行模型參數(shù)估計的無效測試。也可以使用基于對數(shù)據(jù)分布的統(tǒng)計建模的更復(fù)雜方法，在此統(tǒng)計構(gòu)架中，發(fā)表于IEEE journal Circuitsand Systems for Video Technology volume 9 No.7，1999年10月，第1030頁到第1044頁的P.Bouthemy，M.Gelgon和F.Ganansia的文章“Aunified approach to shot change detection and camera motioncharacterization”中提出了一種根據(jù)似然測試來確定模型參數(shù)無效性的典型算法。
本發(fā)明的應(yīng)用涉及根據(jù)關(guān)鍵圖像的選擇的視頻索引。
具體地，視頻索引過程通常在預(yù)處理中開始，試圖將視頻流中要處理的信息量限制為從序列中選擇的一組關(guān)鍵圖像。只在這些關(guān)鍵圖像中執(zhí)行視頻索引處理，尤其是可視特征的提取，每個關(guān)鍵圖像表示了一段視頻的內(nèi)容。理想地，這組關(guān)鍵圖像應(yīng)該能構(gòu)成視頻的詳細(xì)概要，并且應(yīng)當(dāng)避免關(guān)鍵圖像的可視內(nèi)容之間的冗余，從而可以使索引過程的計算負(fù)擔(dān)最小化。用于估計每個視頻鏡頭中的主要運動的方法可以通過使其適合主要運動而優(yōu)化每個鏡頭中涉及這些準(zhǔn)則的關(guān)鍵圖像的選擇。例如，可以總計根據(jù)鏡頭內(nèi)的參數(shù)tx(或ty)而估計的圖像水平(或垂直)平動，也可以一旦總和超過圖像寬度(或高度)時，對新的關(guān)鍵圖像進(jìn)行采樣。
所述方法也可以用于元數(shù)據(jù)的產(chǎn)生。在視頻拍攝期間，主要運動通常與攝像機(jī)的運動一致。某些導(dǎo)演用特殊的攝像機(jī)運動序列，從而向觀眾表達(dá)某些感情或感覺。本發(fā)明所述的方法可以檢測視頻中的這些特殊序列，并因此提供了與導(dǎo)演在某些視頻部分中所制造的氣氛相關(guān)的元數(shù)據(jù)。
主要運動檢測的另一個應(yīng)用是檢測或有助于檢測鏡頭中斷。具體地，序列的主要運動屬性的突然變化只能由鏡頭的中斷引起。
最后，本發(fā)明所述的方法允許在每個圖像中對主要運動的支持的識別。在主要運動的意義中，這種支持實際上與其相關(guān)矢量沒有被識別為異常值的像素集一致。主要運動支持的常識提供了對遵循此運動的物體的分割?？梢允褂么朔指睿瑥亩鴪?zhí)行圖像的組成物體的獨立索引，以允許處理有關(guān)物體而不是全部圖像的局部要求，或者在基于視頻壓縮算法的物體的構(gòu)架中使用，例如在MPEG-4視頻壓縮標(biāo)準(zhǔn)中所規(guī)定的那些。
權(quán)利要求
1.一種方法，用于通過執(zhí)行與圖像相關(guān)的運動矢量場的計算(1)來估計圖像序列中的主要運動，對于具有坐標(biāo)xi，yi的象素，定義了具有分量ui，vi的一個或多個運動矢量，所述方法的特征在于還執(zhí)行以下步驟-根據(jù)簡化的參數(shù)表示來建立運動的模型(2)ui＝tx+k.xivi＝ty+k.yi其中，tx，ty是表示運動的平動分量的矢量的分量，k是代表運動變焦分量的散度因數(shù)，-在由平面(x，u)和(y，v)所限定的兩個運動表示空間的每一個中進(jìn)行魯棒線性回歸(3)，以給出回歸直線，其中x，y，u和v分別表示變量xi、yi、ui和vi的軸，-根據(jù)回歸直線在原點處的縱坐標(biāo)和斜率來計算參數(shù)tx，ty和k(4，5)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于所述魯棒回歸(3)是一種最小平方中值方法，該方法在于在一組直線j中搜索提供了殘差平方的中值組中最小的一個，ri，j是相對于直線j，具有坐標(biāo)xi，ui或yi，vi的第i個采樣的殘差。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于將搜索殘差的最小平方中值(3)應(yīng)用于預(yù)定數(shù)目的直線，通過在所考慮的運動的表示空間中隨機(jī)抽取的一對采樣來確定每一條直線。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于在魯棒線性回歸(3)之后，執(zhí)行第二非魯棒線性回歸，可以改進(jìn)運動模型參數(shù)的估計。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于第二線性回歸排除了表示空間中其從第一魯棒回歸得到的回歸殘差超過預(yù)定閾值的點。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于執(zhí)行在每個表示空間(4)中所計算得到的回歸直線的方向系數(shù)的等同性測試(5)，該測試基于殘差平方和的比較，首先通過執(zhí)行每個表示空間中的分離回歸，然后通過對兩個表示空間中的采樣組執(zhí)行全局斜率回歸來獲得所述殘差，并且在測試是肯定的情況下，通過在每個表示空間中獲得的回歸直線的方向系數(shù)的算術(shù)平均值來估計模型的參數(shù)k。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于根據(jù)tx、ty和k的值，將主要運動劃分為以下類別之一平動、縮放、平動和縮放的結(jié)合以及靜態(tài)圖像。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于由使用運動補(bǔ)償?shù)膲嚎s算法所考慮的視頻序列的編碼來得到運動矢量場，所述壓縮算法如與MPEG-1、MPEG-2或MPEG-4壓縮標(biāo)準(zhǔn)相一致的算法等。
8.一種根據(jù)權(quán)利要求1所述的方法的應(yīng)用，用于關(guān)鍵圖像的選擇，對于多個圖像，作為與計算得到的參數(shù)tx、ty或k相關(guān)的信息總和的函數(shù)來選擇圖像。
9.一種用于估計圖像序列中的主要運動的設(shè)備，包括電路(1)，用于計算與圖像相關(guān)的運動矢量場，對于具有坐標(biāo)xi，yi的象素，定義了具有分量ui，vi的一個或多個運動矢量，所述設(shè)備的特征在于還包括計算裝置，用于執(zhí)行-根據(jù)簡化的參數(shù)表示來建立運動的模型(2)ui＝tx+k.xivi＝ty+k.yi其中，tx，ty是表示運動的平動分量的矢量的分量，k是代表運動變焦分量的散度因數(shù)，-在由平面(x，u)和(y，v)所限定的兩個運動表示空間的每一個中進(jìn)行魯棒線性回歸(3)，以給出回歸直線，其中x，y，u和v分別表示變量xi、yi、ui和vi的軸，-根據(jù)回歸直線在原點處的縱坐標(biāo)和斜率來計算參數(shù)tx，ty和k(4，5)。
全文摘要
一種方法，用于執(zhí)行與圖像相關(guān)的運動矢量場的計算(1)，對于具有坐標(biāo)xi，yi的象素，定義了具有分量ui，vi的一個或多個運動矢量，所述方法的特征在于還執(zhí)行以下步驟根據(jù)簡化的參數(shù)表示來建立運動的模型(2)ui＝tx+k.xi，vi＝ty+k.yi其中，tx，ty是表示運動的平動分量的矢量的分量，k是代表運動的變焦分量的散度因數(shù)，在由平面(x，u)和(y，v)所限定的兩個運動表示空間的每一個中進(jìn)行魯棒線性回歸(3)，以給出回歸直線，其中x，y，u和v分別表示變量xi、yi、ui和vi的軸，根據(jù)回歸直線在原點處的斜率和縱坐標(biāo)來計算參數(shù)tx，ty和k(4，5)。其應(yīng)用涉及關(guān)鍵圖像的選擇，用于視頻索引或產(chǎn)生元數(shù)據(jù)。
文檔編號H04N7/32GK1608380SQ02825888
公開日2005年4月20日 申請日期2002年12月12日 優(yōu)先權(quán)日2001年12月19日
發(fā)明者弗朗索瓦絲·勒克萊爾, 西爾萬·馬雷克 申請人:湯姆森許可貿(mào)易公司