專利名稱：數(shù)字圖像穩(wěn)定化方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于數(shù)字圖像穩(wěn)定化的方法，用于將平移和/或旋轉(zhuǎn)中不希望的攝影機(jī)運(yùn)動(dòng)(所謂的抖動(dòng))從由所述攝影機(jī)拍攝的原始圖像序列中去除，并獲得穩(wěn)定圖像序列。例如，這種方法可用于低檔/中檔數(shù)字電影攝影機(jī)或移動(dòng)電話。本發(fā)明還涉及一種用于實(shí)現(xiàn)所述穩(wěn)定化方法的相應(yīng)系統(tǒng)。

背景技術(shù)：
眾所周知，數(shù)字圖像穩(wěn)定化方法(為簡(jiǎn)便起見，此后將數(shù)字圖像穩(wěn)定化方法稱為“DIS”)的目的是消除不希望的攝影機(jī)運(yùn)動(dòng)或抖動(dòng)，產(chǎn)生只顯示希望的攝影機(jī)運(yùn)動(dòng)的序列，從而提供令人滿意的視覺體驗(yàn)。抖動(dòng)被定義為附加在攝影機(jī)有意運(yùn)動(dòng)(特別是平移和/或旋轉(zhuǎn))上的不希望圖像的位置波動(dòng)。在大多數(shù)現(xiàn)有技術(shù)DIS系統(tǒng)中，在兩個(gè)連續(xù)幀(有時(shí)分別被稱為t和t-1)之間進(jìn)行運(yùn)動(dòng)估計(jì)，以獲得由被稱為“全局運(yùn)動(dòng)矢量”(以下“GMV”)的矢量所表示的圖像幀的全局運(yùn)動(dòng)。因此，該運(yùn)動(dòng)只表示連續(xù)幀之間的平移運(yùn)動(dòng)，而據(jù)此實(shí)施的抖動(dòng)校正只校正平移抖動(dòng)。
這種校正是不夠的。事實(shí)上，通常抖動(dòng)還具有旋轉(zhuǎn)的性質(zhì)，或者是純粹地旋轉(zhuǎn)，或者混合了平移抖動(dòng)分量。實(shí)際上，一旦去除了平移抖動(dòng)，殘留的旋轉(zhuǎn)分量將變得愈加明顯。
此外，大多數(shù)既支持旋轉(zhuǎn)校正又支持平移校正的現(xiàn)有技術(shù)系統(tǒng)，既復(fù)雜又昂貴。作為此類方法的一個(gè)實(shí)例，值得一提的是，可以引用Mc Reynolds等人發(fā)表于“Proceedings of the Conference VisionInterface 1999”的論文“Stabilization of infra-red aerialimage sequence using robust estimation”。


發(fā)明內(nèi)容
因此，本發(fā)明的目的在于提供一種低成本并易于在移動(dòng)設(shè)備中實(shí)現(xiàn)的、去除平移和旋轉(zhuǎn)抖動(dòng)的方法。
為此，依照本發(fā)明的方法包括以下三個(gè)主要步驟 -第一步驟，估計(jì)所述電影攝影機(jī)的全局運(yùn)動(dòng)，包括子步驟計(jì)算所述圖像(Img)預(yù)定部分的塊運(yùn)動(dòng)矢量、確定各所述部分的宏塊并將當(dāng)前圖像的所述宏塊與前一圖像的宏塊進(jìn)行匹配、以及由所述塊運(yùn)動(dòng)矢量推導(dǎo)出描繪所述攝影機(jī)運(yùn)動(dòng)的平移矢量和旋轉(zhuǎn)角矢量； -第二步驟，通過分離有意運(yùn)動(dòng)和無(wú)意運(yùn)動(dòng)，濾波并提取出所述抖動(dòng)，包括子步驟平移矢量濾波和旋轉(zhuǎn)角濾波；以及 -抖動(dòng)補(bǔ)償?shù)牡谌襟E，根據(jù)所述提取出的抖動(dòng)，對(duì)所述原始圖像序列進(jìn)行補(bǔ)償，以獲得所述的穩(wěn)定圖像序列。
依照本發(fā)明的方法檢測(cè)并去除平移和旋轉(zhuǎn)抖動(dòng)且成本低。此外，該方法易于實(shí)現(xiàn)。
該方法的某些基本步驟本身是眾所周知的。已公開于出版物、專利或?qū)＠暾?qǐng)。例如，S-J Ko等發(fā)表于“IEEE Transactions on ConsumerElectronics”(第45卷，第3期，598-603頁(yè)，1999年8月)的“FastDigital Stablizer Based on Gray-Coded Bit-Plane Matching”公開了一種二進(jìn)制運(yùn)動(dòng)估計(jì)的用途。美國(guó)Stanford大學(xué)的Chen發(fā)表于“EE392JProject Report，Winter，filtering method”的“Video Stablization AlgorithmUsing a Block-based Parametric Motion Model”公開了一種應(yīng)用于塊運(yùn)動(dòng)矢量的最小均方解的用途。題為“Method and system for stabilizingvideo data”(Stephane Auberger等人)的國(guó)際專利申請(qǐng)示教了一種平移抖動(dòng)的濾波方法。S.Ertürk發(fā)表于Proceedings of the 2nd InternationalSymposium on Image and Signal Processing and Alalysis 2001，266-271頁(yè)的文章“Motion vector integration(MVI)versus frame positionsmoothing(FPS)”也描述了一種類似的方法。
然而，依照本發(fā)明的方法具體包括以下特定的步驟和特征 -使用用于執(zhí)行塊運(yùn)動(dòng)搜索的二值紋理指示器； -通過“絕對(duì)誤差和”(“SAD”)閾值機(jī)制加速并改進(jìn)運(yùn)動(dòng)搜索； -在解方程組前對(duì)BMV進(jìn)行徹底修剪(pruning)； -對(duì)方程組的解應(yīng)用舍棄準(zhǔn)則；以及(旋轉(zhuǎn)+平移)濾波和邊界檢查步驟。
在某些環(huán)境下，不能象這樣應(yīng)用依照本發(fā)明的穩(wěn)定化方法。例如，雖然該方法能夠滿足穩(wěn)定格式(如呈現(xiàn)出所謂“CIF-格式”的數(shù)據(jù)序列)所需的對(duì)存儲(chǔ)器的要求，但由于設(shè)備上運(yùn)行著過多的其他處理程序或由于電池電壓過低而無(wú)法執(zhí)行。
依照另一實(shí)施例，在這種情況下，在第一附加步驟中，首先利用預(yù)定因子k對(duì)原始數(shù)據(jù)序列進(jìn)行下采樣。然后，將下采樣序列饋入執(zhí)行依照本發(fā)明主要實(shí)施例的穩(wěn)定化方法的各級(jí)電路，得到校正平移矢量和校正旋轉(zhuǎn)矢量。只要將校正平移矢量的坐標(biāo)與等于下采樣步驟中使用因子的因子相乘。從而對(duì)原始的寬像幅(wide format)序列進(jìn)行補(bǔ)償。
依照該實(shí)施例，實(shí)現(xiàn)穩(wěn)定化方法的電路只需處理更少量的數(shù)據(jù)，因此即使在計(jì)算機(jī)資源有限的情況下也可以使用該方法。
本發(fā)明還涉及能夠?qū)崿F(xiàn)該穩(wěn)定化方法的系統(tǒng)。
為此，該系統(tǒng)包括 -估計(jì)裝置，用于估計(jì)所述電影攝影機(jī)全局運(yùn)動(dòng)，所述裝置本身包括用于計(jì)算所述圖像(Img)預(yù)定部分的塊運(yùn)動(dòng)矢量的裝置、用于確定各所述部分的宏塊并將當(dāng)前圖像的所述宏塊與前一圖像的宏塊進(jìn)行匹配的裝置、以及用于由所述塊運(yùn)動(dòng)矢量推導(dǎo)出描繪所述攝影機(jī)運(yùn)動(dòng)的平移矢量和旋轉(zhuǎn)角矢量的裝置； -濾波及提取裝置，用于通過分離有意運(yùn)動(dòng)和無(wú)意運(yùn)動(dòng)，濾波并提取出所述抖動(dòng)，所述裝置本身包括用于濾波平移矢量濾波和旋轉(zhuǎn)角的裝置；以及 -補(bǔ)償裝置，用于根據(jù)所述提取出的抖動(dòng)，對(duì)所述原始圖像序列進(jìn)行補(bǔ)償，以獲得所述穩(wěn)定圖像序列。



通過閱讀以下詳細(xì)說(shuō)明，并參考附圖，本發(fā)明的其他目的、特征和優(yōu)勢(shì)將變得更加明顯，附圖中 -圖1示意性地示出了實(shí)現(xiàn)依照本發(fā)明優(yōu)選實(shí)施例的數(shù)字圖像穩(wěn)定化方法的系統(tǒng)的體系結(jié)構(gòu)； -圖2示意性地示出了應(yīng)用于二值圖像的六個(gè)運(yùn)動(dòng)搜索區(qū)的示例； -圖3A至3C示出了圖像邊界檢查的步驟；以及 -圖4示意性地示出了實(shí)現(xiàn)依照本發(fā)明另一優(yōu)選實(shí)施例的數(shù)字圖像穩(wěn)定化方法的系統(tǒng)的體系結(jié)構(gòu)。

具體實(shí)施例方式 在以下說(shuō)明中，由于以不必要的詳細(xì)程度對(duì)所屬領(lǐng)域技術(shù)人員所熟知的功能和結(jié)構(gòu)予以說(shuō)明，將使發(fā)明要點(diǎn)變得不清楚，因此將不對(duì)其進(jìn)行詳細(xì)說(shuō)明。
圖1示意性地示出了實(shí)現(xiàn)依照本發(fā)明的數(shù)字圖像穩(wěn)定化(DIS)方法的系統(tǒng)1的體系結(jié)構(gòu)。這種系統(tǒng)包括對(duì)應(yīng)于該方法三個(gè)主要級(jí)的三個(gè)主要模塊，即運(yùn)動(dòng)估計(jì)級(jí)10、運(yùn)動(dòng)/抖動(dòng)濾波級(jí)11和抖動(dòng)補(bǔ)償級(jí)12。
在第一塊10中，實(shí)現(xiàn)對(duì)攝影機(jī)全局運(yùn)動(dòng)的估計(jì)。在第二塊11中，提取出抖動(dòng)，并將其與有意運(yùn)動(dòng)(如搖攝等)相分離。在第三塊12中，根據(jù)所提取出的抖動(dòng)對(duì)原始數(shù)據(jù)序列進(jìn)行補(bǔ)償，并得到穩(wěn)定序列(塊12的輸出)。下面將詳細(xì)說(shuō)明依照本發(fā)明的DIS方法的上述三個(gè)主要級(jí)。
第一級(jí)10，即運(yùn)動(dòng)估計(jì)部分，可以被劃分為三個(gè)子級(jí) -計(jì)算并產(chǎn)生攝影機(jī)所拍攝的圖像的特定部分(角部、區(qū)域等)的所謂“塊運(yùn)動(dòng)矢量”(此后稱為“BMV”)，所述BMV使當(dāng)前和前一圖像的宏塊相匹配； -修剪用于仿射運(yùn)動(dòng)搜索的BMV； -解方程組并確定舍棄準(zhǔn)則，以便得到由BMV推導(dǎo)出的、描述攝影機(jī)運(yùn)動(dòng)的全局運(yùn)動(dòng)參數(shù)(平移矢量和旋轉(zhuǎn)角)。
產(chǎn)生BMV的第一子級(jí)包括以下步驟 第一步驟涉及二值圖像的產(chǎn)生。
由于“二值圖象”極大地放寬對(duì)存儲(chǔ)器的限制，并且使用二值圖像可以十分高效地計(jì)算參考?jí)K和搜索塊間的失真函數(shù)，因此“二值圖像”被用于運(yùn)動(dòng)估計(jì)。通過使用易于實(shí)現(xiàn)的“XOR”運(yùn)算，計(jì)算失真函數(shù)“絕對(duì)誤差和”(此后稱為“SAD”)。利用“灰度編碼比特平面”對(duì)圖像進(jìn)行分解。按以下方式創(chuàng)建灰度編碼比特平面 將某一位置處像素的亮度表示為 Flum(x，y)＝aN-12N-1+aN-22N-2+...+ak2k+...+a121+a020(1)； 其中x和y是所述平面的坐標(biāo)，ak，0≤k≤N-1，是0或1。例如，為鞏固此概念，在N＝8的情況下，表示使用8比特亮度圖像。
根據(jù)以下公式，計(jì)算第4個(gè)灰度比特碼g4 g4＝a4a5(lbis) 其中符號(hào)表示“異或OR”運(yùn)算，ak是等式(1)給出的“2進(jìn)制”表示的第k位。將與最初由攝影機(jī)拍攝的圖像相對(duì)應(yīng)的第4個(gè)灰度編碼比特平面圖像(或二值圖像)記錄在存儲(chǔ)裝置中。
第二步驟涉及塊定位和紋理指示器。將所述例如描繪風(fēng)景的二值圖像Img劃分為沿如圖2所示的分別位于圖像頂部和底部的兩條平行線規(guī)則分布的六個(gè)區(qū)域，A1至A6。(在被稱為QCIF圖像格式的圖像格式情況下)，A1至A6的每個(gè)區(qū)域包含9個(gè)16×16像素的宏塊(以下稱為“MB”)。
除了對(duì)8比特圖像進(jìn)行二值化，還為二值圖像的二值MB計(jì)算可靠性度量。只需統(tǒng)計(jì)16×16像素塊中的‘1’像素的個(gè)數(shù)，則可以計(jì)算出所述度量。將無(wú)明顯紋理的MB(即，‘1’與‘0’相比比例過低或過高的MB)稱為不可靠的運(yùn)動(dòng)估計(jì)，且不在其上進(jìn)行運(yùn)動(dòng)估計(jì)。例如，某些塊是十分均勻的，這些塊往往導(dǎo)致錯(cuò)誤的估計(jì)運(yùn)動(dòng)矢量。
第三步驟涉及塊匹配搜索策略。所述策略包括以下子步驟 在存在可變數(shù)量塊運(yùn)動(dòng)矢量(BMV)的區(qū)域中，執(zhí)行全搜索塊匹配。
預(yù)測(cè)符和搜索范圍為進(jìn)一步減少各區(qū)域中候選矢量的個(gè)數(shù)，只有各MB行的第一個(gè)矢量具有擴(kuò)展搜索區(qū)。剩余的塊具有以取自先前可靠BMV的預(yù)測(cè)符運(yùn)動(dòng)矢量為中心的縮減的搜索窗。如果選定的相鄰BMV不可靠，則用最后一個(gè)有效MV作為預(yù)測(cè)符(假設(shè)處理順序從左到右，從上到下)。
舍棄可能不可靠的MV根據(jù)本發(fā)明的一個(gè)重要特征，加入了一種用于舍棄某些可能不可靠的運(yùn)動(dòng)矢量的機(jī)制。特別是在光線變換的情況下，運(yùn)動(dòng)搜索會(huì)產(chǎn)生結(jié)果，但該結(jié)果可能是完全錯(cuò)誤的匹配塊差異很大，且結(jié)果矢量指向“差異較小的塊”而不是指向“最相似的塊”。因此，選擇舍棄SAD在某一閾值(此后稱為SAD_threshold以上的MV。
加快塊匹配搜索該閾值還可以用于加快運(yùn)動(dòng)搜索。此前，以下機(jī)制是適當(dāng)?shù)膶?duì)于每個(gè)MB搜索位置，在MB中每隔一行將當(dāng)前SAD與當(dāng)前最小SAD進(jìn)行比較。如果當(dāng)前SAD已大于當(dāng)前最小SAD，則停止該位置的搜索。因此，通過將當(dāng)前最小SAD初始化為SAD_threshold，則可以進(jìn)一步加速匹配過程。
第四步驟涉及子像素運(yùn)動(dòng)估計(jì)。
執(zhí)行子像素搜索的一種方法是內(nèi)插8比特圖像，以產(chǎn)生子像素采樣，并對(duì)此擴(kuò)展圖像進(jìn)行二值化。此時(shí)，對(duì)二值擴(kuò)展圖像進(jìn)行匹配則可以得到子像素精度的運(yùn)動(dòng)矢量。
第一級(jí)10的第二子級(jí)包括對(duì)BMV進(jìn)行修剪，以便進(jìn)行仿射運(yùn)動(dòng)搜索。
由之前的步驟，已得到一組BMV，表示當(dāng)前圖像和前一圖像之間的一組對(duì)應(yīng)點(diǎn)。為了獲得全局仿射運(yùn)動(dòng)參數(shù)，需解此方程組。利用兩幀之間三對(duì)以上的對(duì)應(yīng)點(diǎn)，則可以得到方程的最小平方解，后者給出全局仿射運(yùn)動(dòng)參數(shù)。為了得到可靠的結(jié)果，可以使用更多的矢量(至多54個(gè)矢量)，從而構(gòu)造一個(gè)超定(over-determined)方程組。
然而，最小平方算法對(duì)于野值(outlier)非常敏感，因此適當(dāng)去除野值是運(yùn)動(dòng)估計(jì)過程的一個(gè)關(guān)鍵步驟。這可用以下三個(gè)步驟來(lái)完成 1.根據(jù)其SAD去除更多的BMV舍棄SAD高于某個(gè)閾值(此后稱為SAD_threshold_low)的矢量(當(dāng)然，此閾值低于先前用于“運(yùn)動(dòng)估計(jì)”閾值)。
2.去除局部野值首先局部去除各區(qū)域的野值。存在六個(gè)區(qū)域，每個(gè)區(qū)域至多有9個(gè)矢量。
下面將闡釋處理矢量坐標(biāo)(如x坐標(biāo))的方法。對(duì)于區(qū)域中的每個(gè)矢量k(0≤k≤有效矢量數(shù))，計(jì)算該矢量與區(qū)域中所有其他矢量(i)的絕對(duì)誤差和sum_diff[k] sum_diff[k]＝∑iabs(value[k]-value[i])(2) 然后進(jìn)行以下計(jì)算 average_diff＝(∑ksum_diff[k])/number_of_valid_vectors(2bis)； 其中average_diff是該區(qū)域中絕對(duì)誤差和的平均值。
最后，舍棄準(zhǔn)則sum_diff_[k]如以下所示 sum_diff_[k]＞(number_of_valid_vectors/α)+β*average_diff(2ter) α和β是預(yù)定的閾值。
獨(dú)立于x和y矢量值完成該運(yùn)算。如果任意一個(gè)矢量坐標(biāo)滿足等式(2ter)，則舍棄所述矢量。
3.去除全局野值使用全部運(yùn)動(dòng)矢量，利用和局部去除相同的原理，在圖像層面上執(zhí)行野值舍棄過程。局部步驟是必要的，由于某些矢量可能在全局步驟中形成聚類，因此如果可能首先在局部層面上去除的話，則應(yīng)先在局部層面上去除。由于某些區(qū)域只有很少的矢量或包含未參與全局運(yùn)動(dòng)的運(yùn)動(dòng)物體，因此全局去除可以去除第一級(jí)后剩余的野值。然而，為了避免在例如高度旋轉(zhuǎn)運(yùn)動(dòng)的情況下舍棄過多的矢量，閾值α和β的限制性較弱。
第一級(jí)10的第三子級(jí)涉及解方程組和確定舍棄準(zhǔn)則。
解過定方程組(用Gauss-Jordan法解一次聯(lián)立方程組)。該方程組為 X＝ax+by+e Y＝cx+dy+f， x和y是所述二值圖像的坐標(biāo)。
最小均方法解給出六個(gè)參數(shù)a、b、c、d、e和f。將所述方程組的變換建模成(平移矢量(Tx、Ty))+旋轉(zhuǎn)(旋轉(zhuǎn)角θ)+攝影機(jī)的變焦(縮放因子r)，則上述等式對(duì)應(yīng)于 X＝rcosθx-rsinθy+Tx Y＝rsinθx+rcosθy+Ty， 因此，計(jì)算旋轉(zhuǎn)角θ，同時(shí)檢查由方程組解給出的參數(shù)a、b、c和d的一致性 -執(zhí)行第一次檢查以確定是否近似滿足以下等式 a2+b2＝c2+d2(應(yīng)都等于r2)，當(dāng)滿足以下不等式時(shí)舍棄結(jié)果 (a2+b2)-(c2+d2)＞max_diff_zoom_factor(3)； max_diff_zoom_factor是預(yù)定變焦參數(shù)。
-執(zhí)行第二次檢查以確定是否兩個(gè)方程產(chǎn)生近似相等的旋轉(zhuǎn)角，當(dāng)滿足以下不等式時(shí)舍棄結(jié)果 |θ1-θ2|＞max_angle_difference(4)； 其中max_angle_difference是預(yù)定的旋轉(zhuǎn)角參數(shù)，θ1＝arctan(-b/a)，θ2＝arctan(c/d) 此外，如果另外一個(gè)表示為medium_angle_difference的預(yù)定的旋轉(zhuǎn)角參數(shù)，滿足以下方程 medium_angle_difference＜|θ1-θ2|＜max_angle_difference(4bis) 則將解出的最小旋轉(zhuǎn)角選作θ的值。
如果認(rèn)為結(jié)果一致，則得到了平移矢量(Tx＝c，Ty＝f)和旋轉(zhuǎn)角θ，后者由下式給出 θ＝(θ1+θ2)/2 如果由于等式(3)或等式(4)為真導(dǎo)致無(wú)法解開方程組，則令旋轉(zhuǎn)角為0。對(duì)于平移矢量，(在野值去除過程后)取BMV的中值。
依照本發(fā)明的DIS方法的第二級(jí)11是運(yùn)動(dòng)濾波。
分別對(duì)平移矢量和旋轉(zhuǎn)角進(jìn)行濾波。一旦得到了理想的平移和旋轉(zhuǎn)校正，則進(jìn)行邊界檢查。因此，所述第二級(jí)11包括三個(gè)主要步驟。
第一步是濾波平移。在序列中以一致的方式分離有意運(yùn)動(dòng)與抖動(dòng)是一個(gè)復(fù)雜的問題。對(duì)于實(shí)時(shí)應(yīng)用，主要的約束在于不允許存在任何延遲，即不能將一些幀存儲(chǔ)在存儲(chǔ)裝置中；以及一種運(yùn)動(dòng)更廣為人知。正如已回顧的那樣，平移矢量的濾波方法本身為人們所熟知。因此，不必再進(jìn)一步詳述這種方法。
第二步包括濾波旋轉(zhuǎn)角矢量。由于預(yù)計(jì)旋轉(zhuǎn)角的變化與平移矢量的變化相比規(guī)律性稍強(qiáng)，因此采用一種不同的、更簡(jiǎn)便的方法對(duì)旋轉(zhuǎn)角進(jìn)行濾波。將由運(yùn)動(dòng)估計(jì)得到的角對(duì)于由攝影機(jī)拍攝的圖像序列進(jìn)行累積。該步驟試圖對(duì)它們進(jìn)行補(bǔ)償。通過將所有旋轉(zhuǎn)角在整個(gè)序列上求和以計(jì)算累積角，例如，在幀n (Accθ)[n]＝∑(1≤k≤n)θ[k] 原始累積角定義為(由運(yùn)動(dòng)估計(jì)過程得到的)原始旋轉(zhuǎn)角的和。修正累積角被定義為(如以下所述，在由于邊界檢查步驟導(dǎo)致的修剪之后)修正累積角的和。
通常，由于邊界檢查步驟，不能補(bǔ)償全旋轉(zhuǎn)角，或者在用戶決定主動(dòng)用攝影機(jī)進(jìn)行俯仰拍攝的情況下，甚至不想補(bǔ)償全旋轉(zhuǎn)角。當(dāng)回到初始位置時(shí)，新角“定”位(對(duì)應(yīng)于修正累積角)相對(duì)于原始序列可能稍稍有所傾斜。為避免這種情況，將運(yùn)動(dòng)估計(jì)測(cè)出的原始累積角存儲(chǔ)在存儲(chǔ)裝置中。如果，對(duì)于某一數(shù)量的連續(xù)幀，修正累積角與原始累積角相差過大，則附加一額外校正，使修正序列回到靠近用戶期望位置的位置。
第三步驟包括邊界檢查。在“邊界檢查步驟”中，檢查“旋轉(zhuǎn)+平移校正”(此后稱為“R+T”)，以確定所述校正是否不大于與授權(quán)的額外輸入?yún)^(qū)域相對(duì)應(yīng)的預(yù)定容許閾值。若是，則進(jìn)一步修正“R+T”，使之保持在容許范圍以內(nèi)(為鞏固此概念，舉例來(lái)說(shuō)，±8像素的邊緣)首先側(cè)重于平移校正(仿真額外區(qū)域稍小于實(shí)際額外區(qū)域)，然后修剪旋轉(zhuǎn)角，使之保持在容許圖像的額外邊界以內(nèi)。
以下參考圖3A至3C，說(shuō)明詳細(xì)過程。在所述圖形中，用相同參考符號(hào)標(biāo)識(shí)相同項(xiàng)目。
首先，將圖像幀F(xiàn)(此后稱為“幀”)平移(將幀中心從O移動(dòng)到O’)平移矢量VT(Vx、Vy)。給定新中心O’的位置，只能將幀F(xiàn)旋轉(zhuǎn)(幀F(xiàn)’＝旋轉(zhuǎn)幀)至某一需經(jīng)計(jì)算才能得到的角度。圖3A示出了最終的成幀過程捕捉器，例如一個(gè)攝影機(jī)(未示出)，產(chǎn)生具有一額外區(qū)域輸入Ai(灰色區(qū)域邊界尺寸等于1)的幀F(xiàn)。如圖所示，如果形成穩(wěn)定幀F(xiàn)’的旋轉(zhuǎn)角過大，則會(huì)在旋轉(zhuǎn)幀中出現(xiàn)一個(gè)洞(黑色區(qū)域)。幀F(xiàn)的內(nèi)部矩形ABCD定義了顯示給用戶的圖像的邊界(即最大容許邊界MAB)。
下面，將闡釋邊界檢查步驟如何工作以考慮剪裁圖像的一角(例如A，左上角)，然而該過程對(duì)于其他角是相同的，且必須對(duì)每個(gè)角重復(fù)。邊界檢查的目的是計(jì)算旋轉(zhuǎn)圖像邊界與A相交的限制角，考慮到邊界尺寸為1。
當(dāng)逆時(shí)針或順時(shí)針旋轉(zhuǎn)時(shí)，每個(gè)角部可能存在兩個(gè)限制角。這兩個(gè)限制角之間的任意角度不會(huì)導(dǎo)致產(chǎn)生洞(則角部A而言對(duì)剩余角部必須重新進(jìn)行檢查)。
圖3B示出了根據(jù)以下等式，在點(diǎn)A附近未產(chǎn)生洞的情況(第一種情況)下，計(jì)算第一限制角θ1A的方法。
θ1A＝α1A-ArcCos(O’M/LA) 其中α1A＝ArcCos((nl/2-1+vy))/LA)，LA是移位后的中心O’距角部A的距離(很容易根據(jù)幀大小、邊界尺寸1和平移矢量VT計(jì)算出來(lái))，Vy是矢量VT的y值，O’M＝nl/2(np和nl分別是捕獲幀F(xiàn)的寬和高)。
同樣，圖3C示出了在點(diǎn)A(第二種情況)附近未產(chǎn)生洞的情況下，計(jì)算另一個(gè)限制角θ2A的方法。
θ2A＝α2A-ArcCos(O’N/LA) 其中α2A＝ArcCos((np/2-1+vx))/LA)，vx是矢量VT的x值，O’N＝np/2。按照這種方式，通過遍歷四個(gè)角部A、B、C和D，得到八個(gè)角。然后，計(jì)算出最小正角度和最大負(fù)角度。必要時(shí)，將運(yùn)動(dòng)估計(jì)給出的旋轉(zhuǎn)角修剪成這兩個(gè)最終角中的一個(gè)。
依照本發(fā)明的DIS方法的第三也是最后一個(gè)級(jí)12是抖動(dòng)補(bǔ)償。由平移矢量和旋轉(zhuǎn)角推導(dǎo)出圖像左上和右上點(diǎn)的位移，并將這些坐標(biāo)饋入能夠補(bǔ)償殘留平移和旋轉(zhuǎn)的渲染引擎(未示出)。這種引擎本身為人們所熟知，例如Quynh-Lien Nguyen-Pluc和Carolina Miro Sorolla發(fā)表于“Journal of VLSI Signal Processing 33”(2003，255-265頁(yè))的論文“An MPEG-4 Render for High Quality VideoComposistion and Texture Mapping”描述了這種引擎。因此，不再對(duì)該電路予以說(shuō)明。
然而，正如已回顧的那樣，在某些環(huán)境下，可能不能照這樣應(yīng)用依照本發(fā)明的穩(wěn)定化方法。例如，雖然該方法能夠滿足穩(wěn)定格式(如所謂的“CIF-格式”的序列)所需的對(duì)存儲(chǔ)器的要求，但由于設(shè)備上運(yùn)行著過多的其他處理程序或由于電池電壓過低而無(wú)法執(zhí)行它。
圖4示意性地示出了依照本發(fā)明的數(shù)字圖像穩(wěn)定化的另一實(shí)施例2。
輸入序列20，例如將呈現(xiàn)出CIF格式乃至VGA格式的數(shù)據(jù)(稱為“原始寬幅”序列)饋入下采樣電路21。為了執(zhí)行這個(gè)下采樣步驟，可以使用眾所周知的雙線性內(nèi)插器。將存儲(chǔ)于寄存器26或類似設(shè)備的預(yù)定的下采樣因子k用于電路21。從而，獲得(22)“原始小像幅序列”(關(guān)于QCIF格式)，并將其饋入圖1所示的電路，即實(shí)現(xiàn)依照本發(fā)明主要實(shí)施例的穩(wěn)定化方法的系統(tǒng)1。
所述電路根據(jù)上述方法，提供了校正矢量和校正角，即穩(wěn)定的小像幅序列23。將此穩(wěn)定的小像幅序列23饋入上采樣電路24，后者將校正矢量的坐標(biāo)與和在下采樣過程(電路21)中使用的因子相同的因子k相乘。從而得到用于任意其他用途的穩(wěn)定的寬像幅序列25。
因此，本實(shí)施例可以使穩(wěn)定化系統(tǒng)根據(jù)存儲(chǔ)器需要和能耗進(jìn)行縮放。
正如已回顧的那樣，如果該穩(wěn)定化方法能夠滿足穩(wěn)定CIF-格式序列的存儲(chǔ)器需求，但由于設(shè)備上運(yùn)行著過多的其他處理程序或由于電池電壓過低而無(wú)法執(zhí)行它，它可以自動(dòng)轉(zhuǎn)換到將序列進(jìn)行下采樣并采用消耗更少計(jì)算資源的算法的處理過程。實(shí)際上，這種算法處理的數(shù)據(jù)量較少。
從先前的說(shuō)明可見，顯然，本發(fā)明很好地實(shí)現(xiàn)了其目的。本方法還帶來(lái)了許多優(yōu)勢(shì)，值得一提的是，在保持得以簡(jiǎn)單實(shí)現(xiàn)的同時(shí)，提供了一種成本極低和可靠度極高的解決方案。
當(dāng)應(yīng)用于低檔/中檔數(shù)字視頻攝影機(jī)時(shí)，依照本發(fā)明的DIS方法尤其引人關(guān)注，然而還可以將其安裝于移動(dòng)電話或Key-ring內(nèi)部，以提供低成本的校正旋轉(zhuǎn)抖動(dòng)的視頻穩(wěn)定化應(yīng)用。由于旋轉(zhuǎn)補(bǔ)償序列將極大程度地減少需要編碼的剩余部分，因此本發(fā)明還可用于視頻編碼的目的，從而提高提供給終端用戶的結(jié)果圖像質(zhì)量。
應(yīng)當(dāng)理解的是，本發(fā)明并不局限于上述實(shí)施例和明確說(shuō)明的變體，可以在不背離本方法精神的范圍的前提下對(duì)其進(jìn)行改進(jìn)。假設(shè)一個(gè)硬件或軟件可以實(shí)現(xiàn)多種功能，則存在多種通過硬件或軟件項(xiàng)目或者兩者的結(jié)合實(shí)現(xiàn)依照本發(fā)明的功能的方式。不排除使用硬件或軟件項(xiàng)目的或者兩者的結(jié)合的組裝實(shí)現(xiàn)一種功能，從而在不改變依照本發(fā)明DIS方法的情況下形成單一功能?？梢杂枚喾N方式實(shí)現(xiàn)所述硬件或軟件項(xiàng)目，如通過使用分別進(jìn)行了適當(dāng)程序設(shè)計(jì)的有線電子電路或集成電路。
權(quán)利要求
1.一種用于數(shù)字圖像穩(wěn)定化的方法，用于將在平移和/或旋轉(zhuǎn)中被稱作抖動(dòng)的不希望的攝影機(jī)運(yùn)動(dòng)從由所述攝影機(jī)拍攝的原始圖像序列中去除，并獲得穩(wěn)定圖像序列，其特征在于所述方法包括以下步驟
-第一步驟，估計(jì)所述電影攝影機(jī)的全局運(yùn)動(dòng)，包括子步驟計(jì)算所述圖像(Img)的預(yù)定部分的塊運(yùn)動(dòng)矢量，確定各所述部分的宏塊并將當(dāng)前圖像的所述宏塊與前一圖像的宏塊進(jìn)行匹配，以及由所述塊運(yùn)動(dòng)矢量推導(dǎo)出描繪所述攝影機(jī)運(yùn)動(dòng)的平移矢量和旋轉(zhuǎn)角矢量；
-第二步驟，通過分離有意運(yùn)動(dòng)和無(wú)意運(yùn)動(dòng)，濾波并提取出所述抖動(dòng)，所述第二步驟包括平移矢量濾波和旋轉(zhuǎn)角濾波的子步驟；以及
-抖動(dòng)補(bǔ)償?shù)牡谌襟E，根據(jù)所述提取出的抖動(dòng)，對(duì)所述原始圖像序列進(jìn)行補(bǔ)償，以獲得所述穩(wěn)定圖像序列。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述全局運(yùn)動(dòng)估計(jì)的第一步驟中，產(chǎn)生1比特二值圖像，并將其劃分為預(yù)定數(shù)量的區(qū)域(A1-A6)，各區(qū)域包括預(yù)定數(shù)量的所述宏塊。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法包括子步驟通過對(duì)邏輯電平為‘1’的圖像像素的數(shù)目進(jìn)行計(jì)數(shù)，計(jì)算各所述宏塊的可靠性度量，將邏輯電平‘1’相對(duì)于邏輯電平‘0’的比例過低或過高的所述宏塊標(biāo)記為不可靠，并且不對(duì)所述不可靠宏塊進(jìn)行運(yùn)動(dòng)估計(jì)。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，為了減少各所述區(qū)域(A1-A6)中候選矢量的個(gè)數(shù)，只針對(duì)各所述宏塊行的第一運(yùn)動(dòng)矢量執(zhí)行擴(kuò)展搜索區(qū)，而對(duì)剩余宏塊實(shí)行縮減的搜索區(qū)，所述縮減的搜索區(qū)以取自先前的可靠運(yùn)動(dòng)矢量的預(yù)測(cè)符運(yùn)動(dòng)矢量為中心。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括子步驟舍棄所述絕對(duì)誤差和或“SAD”大于預(yù)定閾值的、可能不可靠的運(yùn)動(dòng)矢量，通過使用二值圖像計(jì)算所述“SAD”。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，為了加快所述塊匹配，所述方法還包括子步驟對(duì)于所述宏塊中各搜索位置，在所述宏塊中每隔一行將當(dāng)前“SAD”與當(dāng)前最小“SAD”進(jìn)行比較，然后確定所述當(dāng)前“SAD”是否已大于所述最小值，如果結(jié)果為真則停止對(duì)此位置的所述搜索。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法包括子步驟修剪所述塊運(yùn)動(dòng)矢量，所述修剪包括去除“SAD”大于預(yù)定閾值的塊運(yùn)動(dòng)矢量，去除各所述搜索區(qū)的局部野值，并在所述圖像的層面上去除全局野值。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，去除所述局部和全局野值包括
-對(duì)于每個(gè)所述搜索區(qū)(A1-A6)和所述區(qū)域中的每個(gè)所述塊運(yùn)動(dòng)矢量k，其中0≤k≤有效矢量數(shù)，計(jì)算所述矢量與所述區(qū)域中所有剩余矢量的絕對(duì)誤差和，記為sum_diff[k]；
-對(duì)于所述區(qū)域計(jì)算所述絕對(duì)誤差和的平均值，記為sum_diff[k]＝∑iabs(value[k]-value[i])，其中average_diff是所述區(qū)域(A1-A6)中絕對(duì)誤差和的平均值；
-將舍棄準(zhǔn)則確定為
sum_diff[k]＞(number_of_valid_vectors/α)+β*average_diff，α和β是預(yù)定閾值；以及
-如果任意矢量坐標(biāo)滿足以上關(guān)系，則舍棄所述矢量。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，為了計(jì)算所述平移矢量和旋轉(zhuǎn)角，所述方法包括子步驟
-定義一個(gè)具有六個(gè)參數(shù)a、b、c、d、e和f的方程組，并利用均方解來(lái)求解所述方程組，該方程組如下所示
X＝ax+by+e
Y＝cx+dy+f
x和y是所述二值圖像的坐標(biāo)；
-將所述方程組的變換建模成滿足下式的坐標(biāo)為Tx和Ty的平移矢量、旋轉(zhuǎn)角θ和所述攝影機(jī)的變焦縮放因子r
X＝rcosθx-rsinθy+Tx
Y＝rsinθx+rcosθy+Ty；
-執(zhí)行檢查，包括確定是否近似滿足等式a2+b2＝c2+d2，以便確定系數(shù)a、b、c和d的一致性；
-如果(a2+b2)-(c2+d2)＞max_diff_zoom_factor，則舍棄結(jié)果，max_diff_zoom_factor是所述變焦縮放因子r的預(yù)定最大值；
-如果|θ1-θ2|＞max_angle_difference，則舍棄結(jié)果，其中max_angle_difference是預(yù)定的旋轉(zhuǎn)角參數(shù)，θ1＝arctan(-b/a)，θ2＝arctan(c/d)；
-確定被記為medium_angle_difference的另一個(gè)預(yù)定旋轉(zhuǎn)角參數(shù)是否滿足以下等式
medium_angle_difference＜|θ1-θ2|＜max_angle_difference，并將解出的最小旋轉(zhuǎn)角選擇為所述旋轉(zhuǎn)角θ的值；
-如果認(rèn)為所述結(jié)果是一致的，則設(shè)所述平移向量的坐標(biāo)Tx＝c，Tx＝f，所述旋轉(zhuǎn)角θ為θ＝(θ1+θ2)/2；以及
-否則，將旋轉(zhuǎn)角θ強(qiáng)制為0，并設(shè)所述平移矢量的值等于所述野值去除子步驟之后所述塊運(yùn)動(dòng)矢量的中值。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述第二步驟中的旋轉(zhuǎn)角濾波包括對(duì)于所述圖像的序列累積由所述運(yùn)動(dòng)估計(jì)得到的角度，嘗試對(duì)所述角度進(jìn)行補(bǔ)償，通過針對(duì)所述序列將所有旋轉(zhuǎn)角相加來(lái)計(jì)算所述累積角度。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述方法還包括子步驟進(jìn)行邊界檢查，以確定待執(zhí)行的旋轉(zhuǎn)和平移校正值是否不大于預(yù)定容許閾值，所述閾值對(duì)應(yīng)于所述圖像中經(jīng)授權(quán)的額外輸入?yún)^(qū)域，如果所述確定結(jié)果為真，則進(jìn)一步校正所述值，使之保持在所述授權(quán)的額外區(qū)域內(nèi)。
12.根據(jù)權(quán)利要求1至11之一所述的方法，其特征在于，所述方法包括第一附加步驟，利用預(yù)定下采樣因子(26)對(duì)被稱為原始寬像幅圖像序列(20)的原始圖像序列進(jìn)行下采樣，以便獲得原始小像幅圖像序列(22)，對(duì)所述小像幅圖像序列(22)執(zhí)行數(shù)字圖像穩(wěn)定化(1)的三個(gè)所述步驟，以便獲得穩(wěn)定的小像幅圖像序列；以及第二附加步驟，利用等于所述下采樣因子的上采樣因子(26)對(duì)所述小像幅圖像序列(23)進(jìn)行上采樣，以便得到穩(wěn)定的寬像幅圖像序列(25)。
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，使用雙線性內(nèi)插器執(zhí)行所述下采樣(21)的第一附加步驟。
14.根據(jù)權(quán)利要求12或13所述的方法，其特征在于，所述方法包括第三附加步驟，檢查預(yù)定條件，并在當(dāng)且僅當(dāng)滿足所述條件時(shí)，自動(dòng)地執(zhí)行所述下采樣附加步驟(21)。
15.根據(jù)權(quán)利要求14所述的方法，其特征在于，所述方法實(shí)現(xiàn)于計(jì)算資源有限的系統(tǒng)中，所述檢查步驟包括確定所述資源是否充足；如果結(jié)果非真，則執(zhí)行所述下采樣附加步驟(21)。
16.根據(jù)權(quán)利要求14所述的方法，其特征在于，所述方法實(shí)現(xiàn)于用電池供電的系統(tǒng)中，所述檢查步驟包括確定所述電池的電平是否過低；如果結(jié)果為真，則執(zhí)行所述下采樣附加步驟(21)。
17.一種數(shù)字圖像穩(wěn)定化的系統(tǒng)，用于將平移和/或旋轉(zhuǎn)中不希望的被稱為抖動(dòng)的攝影機(jī)運(yùn)動(dòng)從由所述攝影機(jī)拍攝的原始圖像序列中去除，并獲得穩(wěn)定的圖像序列，其特征在于所述系統(tǒng)包括
-估計(jì)裝置(10)，用于估計(jì)所述電影攝影機(jī)的全局運(yùn)動(dòng)，所述裝置本身包括用于計(jì)算所述圖像(Img)預(yù)定部分的塊運(yùn)動(dòng)矢量的裝置、用于確定各所述部分的宏塊并將當(dāng)前圖像的所述宏塊與前一圖像的宏塊進(jìn)行匹配的裝置以及用于由所述塊運(yùn)動(dòng)矢量推導(dǎo)出描繪所述攝影機(jī)運(yùn)動(dòng)的平移矢量和旋轉(zhuǎn)角矢量的裝置(10)；
-濾波和提取裝置(11)，用于通過分離有意運(yùn)動(dòng)和無(wú)意運(yùn)動(dòng)，濾波并提取出所述抖動(dòng)，所述裝置本身包括用于濾波平移矢量和旋轉(zhuǎn)角的裝置；以及
-補(bǔ)償裝置(12)，用于根據(jù)所述提取出的抖動(dòng)，對(duì)所述原始圖像序列進(jìn)行補(bǔ)償，以獲得所述穩(wěn)定圖像序列。
全文摘要
本發(fā)明涉及一種用于數(shù)字圖像穩(wěn)定化的方法和系統(tǒng)，用于去除不希望的攝影機(jī)運(yùn)動(dòng)或抖動(dòng)，包括平移和旋轉(zhuǎn)抖動(dòng)。該系統(tǒng)包括以下裝置1)攝影機(jī)全局運(yùn)動(dòng)的運(yùn)動(dòng)估計(jì)級(jí)(10)計(jì)算圖像特定部分的塊運(yùn)動(dòng)矢量，然后推導(dǎo)出描繪攝影機(jī)運(yùn)動(dòng)的參數(shù)。2)運(yùn)動(dòng)/抖動(dòng)濾波級(jí)(11)分別濾波平移矢量和旋轉(zhuǎn)角，然后進(jìn)行邊界檢查以驗(yàn)證所做的校正是否不大于容許閾值。3)抖動(dòng)補(bǔ)償級(jí)(12)根據(jù)提取出的抖動(dòng)對(duì)原始序列進(jìn)行補(bǔ)償，并得到穩(wěn)定序列。
文檔編號(hào)H04N5/232GK101238714SQ200680028961
公開日2008年8月6日 申請(qǐng)日期2006年8月10日 優(yōu)先權(quán)日2005年8月12日
發(fā)明者斯特凡娜·奧貝熱, 卡羅琳娜·米羅, 揚(yáng)·皮卡爾 申請(qǐng)人:Nxp股份有限公司