基于特征匹配的全幀電子穩(wěn)像方法
【專利摘要】本發(fā)明一種基于特征匹配的全幀電子穩(wěn)像方法，屬數(shù)字圖像處理技術(shù)領(lǐng)域，旨在消除相機平移和旋轉(zhuǎn)等抖動對視頻序列造成的影響，生成穩(wěn)定的全幀視頻輸出。該方法首先采用ORB特征描述符提取每一幀內(nèi)的特征點，并運用最小次小漢明距離比判別結(jié)合坐標與方向角差值檢驗的兩級匹配策略對相鄰幀內(nèi)的特征點進行匹配；然后，通過三角形面積相似檢驗和RANSAC結(jié)合的運動參數(shù)估計方法，估計幀間仿射變換參數(shù)并累積；最后，運用圖像拼接技術(shù)得到一幅運動補償?shù)钠唇訄D像，并通過Kalman濾波估計相機的主觀運動參數(shù)，依此在拼接圖像上設(shè)立與視頻幀大小相同的顯示窗口，得到完整的運動補償幀輸出。本發(fā)明可以有效去除原始視頻序列中的平移和旋轉(zhuǎn)抖動，得到穩(wěn)定的全幀輸出。
【專利說明】
基于特征匹配的全順電子穩(wěn)像方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，設(shè)及視頻序列的穩(wěn)定處理，特別設(shè)及一種基于特 征匹配的電子穩(wěn)像方法。
【背景技術(shù)】
[0002] 數(shù)字攝像機在被使用時，由于載體平臺的震動，導致輸出視頻帶有平移和旋轉(zhuǎn)抖 動，運極大影響了視頻的觀測效果，也降低了視頻監(jiān)控和編碼性能。電子穩(wěn)像技術(shù)作為一種 有效的視頻圖像穩(wěn)定方法，具有高精度，低功耗，低成本的特點，已經(jīng)在軍事和民用場合中 得到了廣泛的應用。
[0003] 常用的電子穩(wěn)像方法大體上可W分為基于塊匹配和基于特征匹配兩種?；趬K匹 配的穩(wěn)像方法將圖像分為許多塊區(qū)域，通過相鄰帖間塊區(qū)域的匹配來估計局部運動參數(shù)， 進而得到全局運動參數(shù)。運種方法效果良好，但大量的塊區(qū)域匹配會帶來繁重的數(shù)據(jù)運算。 基于特征匹配的穩(wěn)像方法通過在帖內(nèi)提取特征點，并在相鄰帖間進行匹配來估計運動參 數(shù)。運種方法精度較高，進行運動參數(shù)估計時可W不受捜索區(qū)域的限制，能夠進行大范圍的 運動補償。
[0004] 傳統(tǒng)的基于特征匹配的電子穩(wěn)像方法，主要存在W下問題：一、常用特征描述符如 SIFT和SURF運算較為復雜，難W硬件實時實現(xiàn)；二、運動參數(shù)估計易受誤匹配和前景運動 物體的影響；Ξ、由于運動補償，在輸出帖會出現(xiàn)未定義區(qū)域，影響觀測效果。

【發(fā)明內(nèi)容】
陽〇化]本發(fā)明是為了解決現(xiàn)有基于特征匹配的電子穩(wěn)像方法特征提取過程復雜度較高， 難于硬件實時實現(xiàn)，特征匹配過程容易出現(xiàn)誤匹配，參數(shù)估計過程對誤匹配和前景運動物 體的魯棒性較差，運動補償在輸出帖形成未定義區(qū)域，影響視覺效果的問題，而提出一種基 于特征匹配的全帖電子穩(wěn)像方法。
[0006] 實現(xiàn)本發(fā)明的技術(shù)方案如下：
[0007] 一種基于特征匹配的全帖電子穩(wěn)像方法，具體的過程為：
[0008] 步驟一，利用ORB特征描述符對視頻序列中的每一帖進行特征點提取；
[0009] 步驟二，采用最小與次小漢明距離比值判定和坐標與方向角差值檢驗的兩級匹配 策略，對相鄰帖內(nèi)的特征點進行匹配；
[0010] 步驟Ξ，針對匹配所獲得的匹配點對集合，利用Ξ角形面積相似檢驗與RANSAC結(jié) 合的運動參數(shù)估計方法，估計帖間仿射變換參數(shù)；對帖間仿射變換參數(shù)進行累積，得到當前 帖相對于參考帖的累積仿射變換參數(shù)；
[0011] 步驟四，利用圖像拼接方法創(chuàng)建一幅運動補償?shù)钠唇訄D像，對累積仿射變換參數(shù) 的平移分量進行Kalman濾波估計相機的主觀運動參數(shù)，并將其作為拼接圖像中顯示窗口 的位置，在拼接圖像中設(shè)立與參考帖大小相同的顯示窗口，獲取完整的運動補償帖。
[0012] 進一步地，本發(fā)明所述步驟二的具體過程為：
[0013] 第一級匹配：對于在當前帖內(nèi)檢測到的每一個特征點，依據(jù)漢明距離，在前一帖的 特征點集合中找出漢明距離最小和次小的特征點，將最小與次小漢明距離的比值與預設(shè)闊 值進行比較，如果所述比值小于預設(shè)闊值，則將具有最小漢明距離的特征點對記為候選匹 配點對，進入第二級匹配；
[0014] 第二級匹配：對候選匹配點對的空間坐標化Y)和狂'，Υ')，方向角R和R'，設(shè)立 W下兩種判別條件： 陽01引第一:
[0016] 第二：|R-R' I < Τ'虹eshold2
[0017] 其中，Τ虹esholdl表示坐標闊值，Τ虹eshold2表示角度闊值；
[0018] 若W上兩個條件均滿足，則認為當前的候選匹配點對為正確匹配，否則視為錯誤 匹配予W刪除。
[0019] 進一步地，本發(fā)明步驟Ξ的具體過程為：
[0020] 301，在匹配點對集合中隨機選取Ξ個匹配點對；
[0021] 302,判斷Ξ個匹配點對是否不落在一條直線上，且在相鄰帖上形成的兩個Ξ角形 面積差值小于預設(shè)面積闊值，若條件滿足則進入303,否則回到301 ;
[0022] 303,根據(jù)選取的Ξ個匹配點對，計算帖間仿射變換模型參數(shù)；
[0023] 304,對于根據(jù)所述仿射變換模型參數(shù)得到的仿射變換模型，統(tǒng)計匹配點對集合中 的內(nèi)點數(shù)；
[0024] 305,重復執(zhí)行301-304預設(shè)次數(shù)，選出內(nèi)點數(shù)最多的仿射變換模型所對應參數(shù)作 為最佳帖間運動參數(shù)估計，然后對帖間運動參數(shù)進行累積，得到當前帖相對于參考帖的累 積仿射變換參數(shù)。
[0025] 進一步地，本發(fā)明所述利用圖像拼接方法創(chuàng)建一幅運動補償?shù)钠唇訄D像為：將參 考帖作為基準，根據(jù)計算出的累積仿射變換參數(shù)，將當前帖進行仿射變換與參考帖對齊，并 利用雙線性插值和圖像融合技術(shù)創(chuàng)建一幅運動補償?shù)钠唇訄D像。
[00%] 進一步地，本發(fā)明針對步驟一提取的特征點，根據(jù)特征點鄰域一階矩的大小關(guān)系， 對特征點的方向角進行2 31 /32量化，并建立快速查找表；針對步驟一提取的特征點，根據(jù) 高斯分布在特征點鄰域內(nèi)取定生成二值特征描述所需的點對坐標集合，并計算其對應于每 一個量化方向角的旋轉(zhuǎn)形式，建立快速查找表。
[0027] 本發(fā)明具有如下有益效果：
[0028] 1)特征點匹配過程采用兩級匹配策略，有效地抑制了誤匹配的產(chǎn)生，減少了誤匹 配對后續(xù)參數(shù)估計過程的影響。
[0029] 2)參數(shù)估計過程采用Ξ角形面積相似檢驗結(jié)合RANSAC的方法，增強了算法對誤 匹配和前景運動物體的魯棒性。
[0030] 3)利用圖像拼接方法創(chuàng)建一幅運動補償?shù)钠唇訄D像，能夠同時消除視頻中的平移 和旋轉(zhuǎn)抖動，并通過圖像拼接和Kalman濾波方法得到穩(wěn)定的全帖輸出，提高了觀測效果。
[0031] 4)通過建立查找表簡化ORB算法，降低了特征提取過程的復雜度，便于硬件實時 實現(xiàn)。
【附圖說明】
[0032] 圖1為本發(fā)明電子穩(wěn)像方法的流程圖。
[0033] 圖2為利用圖像拼接和Kalman濾波方法得到穩(wěn)定全帖輸出的示意圖。
【具體實施方式】
[0034] 下面對本發(fā)明做進一步詳細地描述：
[0035] 如圖1所示，本發(fā)明一種基于特征匹配的全帖電子穩(wěn)像方法，主要包括W下四個 流程：特征點提取、特征點匹配、運動參數(shù)估計、穩(wěn)定全帖輸出。
[0036] (1)特征點提取
[0037] 利用 ORB 特征描述符（Rublee, Ethan, et al. "0RB:an efficient alternative to SIFT or SURF. "Computer Vision (ICCV),2011IEEE International Conference on. IE邸，2011.)，對視頻序列中的每一帖進提取特征點。
[0038] 為了使該過程便于硬件實時實現(xiàn)，本發(fā)明根據(jù)特征點鄰域一階矩的大小關(guān)系，對 特征點的方向角進行2 π/32 (11. 25度）量化，并建立快速查找表。同時，依據(jù)高斯分布在 特征點鄰域內(nèi)取定生成二值特征描述所需的點對坐標集合，并計算其對應于每一個量化方 向角的旋轉(zhuǎn)形式，建立快速查找表，W降低算法復雜度。
[0039] 似特征匹配
[0040] 采用最小與次小漢明距離比值判定和坐標與方向角差值檢驗的兩級匹配策略，來 減小誤匹配；具體過程為：
[0041] 第一級匹配：對于在當前帖內(nèi)檢測到的每一個特征點，依據(jù)漢明距離，在前一帖的 特征點集合中找出漢明距離最小和次小的特征點，將最小與次小漢明距離的比值與預設(shè)闊 值進行比較：
[0042]
[0043] 其中，MinimumDistance 表不最小漢明距離，Senond-MinimumDistance 表不次小 漢明距離，T虹eshold表示預設(shè)闊值；
[0044] 如果條件滿足，則認為具有最小漢明距離的特征點對為候選匹配點對，進入下一 級誤匹配刪除過程，如果條件不滿足，則認為具有最小漢明距離的特征點對不為候選匹配 點對，因此不予考慮； W45] 第二級匹配：利用相鄰帖間的空間相關(guān)性信息進行誤匹配刪除；由于相鄰兩帖之 間的時間間隔較短，只可能存在較小的平移和旋轉(zhuǎn)運動，所W正確匹配的特征點對應該具 有相似的空間位置和方向角。假設(shè)化Y)和狂'，r)為候選匹配點對的空間坐標，R和R' 為方向角，設(shè)立W下兩種判別條件：
[0046] 根據(jù)空間位置相似性有：
[0047]
W48] 根據(jù)方向角相似性有：
[0049] |R-R' I < Τ'虹eshold2
[0050] 其中，Τ虹esholdl表示坐標闊值，Τ虹eshold2表示角度闊值；
[0051] 若W上兩個條件均滿足，則認為當前的候選匹配點對為正確匹配，否則視為錯誤 匹配予W刪除。 陽052] (3)運動參數(shù)估計
[0053] 在得到相鄰帖間的匹配點對集合后，本發(fā)明基于六參數(shù)仿射變換模型，利用Ξ角 形面積相似檢驗結(jié)合RANSAC的方法進行帖間運動參數(shù)估計。
[0054] 六參數(shù)仿射變換模型能夠描述兩帖之間的平移，旋轉(zhuǎn)，縮放，錯切等運動變化，需 要Ξ個匹配點對來估計全部參數(shù)值，若其中包含有誤匹配或落在前景運動物體上的特征點 對，則會導致錯誤的運動估計結(jié)果。為了增強算法的魯棒性，本發(fā)明采用Ξ角形面積相似檢 驗結(jié)合RANSAC的方法。
[005引假設(shè)A、B、C和A'、B'、C'為選取的用于參數(shù)估計的Ξ個匹配點對，它們在各自帖 內(nèi)分別形成一個Ξ角形，表示為Δ ABC和ΔΑ' B' C'。如果運Ξ個匹配點對均為正確匹配， 且落在場景背景中，根據(jù)相鄰帖的空間相關(guān)性，兩個Ξ角形應該具有相似的面積即： 陽化6] S Δ ABC > S Δ A' B' C'
[0057] 結(jié)合RANSAC參數(shù)估計方法，有如下步驟：
[0058] 301，在匹配點對集合中隨機選取Ξ個匹配點對；
[0059] 302,判斷Ξ個匹配點對是否不落在一條直線上，且在相鄰帖上形成的兩個Ξ角形 面積差值小于預設(shè)面積闊值，若條件滿足則進入303,否則回到301 ;
[0060] 303,根據(jù)選取的Ξ個匹配點對，計算帖間仿射變換模型參數(shù)；
[0061] 304,對于根據(jù)所述仿射變換模型參數(shù)得到的仿射變換模型，統(tǒng)計匹配點對集合中 的內(nèi)點數(shù)；
[0062] 305,重復執(zhí)行301-304預設(shè)次數(shù)，選出內(nèi)點數(shù)最多的仿射變換模型所對應參數(shù)作 為最佳帖間運動參數(shù)估計，然后對帖間運動參數(shù)進行累積，得到當前帖相對于參考帖的累 積仿射變換參數(shù)。 陽〇6引 （4)穩(wěn)定全帖輸出
[0064] 為得到穩(wěn)定的全帖輸出，本發(fā)明采用圖像拼接技術(shù)結(jié)合Kalman濾波窗口輸出的 方法，如附圖2所示。
[0065] 首先，將參考帖作為基準，根據(jù)計算出的累積仿射變換參數(shù)，將當前帖進行仿射變 換與參考帖對齊，并利用雙線性插值和圖像融合技術(shù)創(chuàng)建一幅運動補償?shù)钠唇訄D像；然后， 在拼接圖像中設(shè)立與參考帖大小相同的顯示窗口獲取完整的運動補償帖。
[0066] 由于在實際應用中，相機的主觀運動一般只包含平移運動。本發(fā)明將累積仿射變 換參數(shù)的平移分量進行Kalman濾波，去除高頻抖動來估計相機的主觀運動參數(shù)，并將其作 為拼接圖像中顯示窗口的位置，運樣便得到了只包含有相機主觀運動的穩(wěn)定全帖輸出。
[0067] 綜上所述，本發(fā)明的基于特征匹配的全帖電子穩(wěn)像方法對誤匹配和前景運動物體 具有一定的魯棒性，可W有效消除視頻序列中的平移和旋轉(zhuǎn)抖動，得到穩(wěn)定的全帖輸出，并 易于硬件實時實現(xiàn)。
【主權(quán)項】
1. 一種基于特征匹配的全幀電子穩(wěn)像方法，其特征在于，具體的過程為： 步驟一，利用ORB特征描述符對視頻序列中的每一幀進行特征點提??； 步驟二，采用最小與次小漢明距離比值判定和坐標與方向角差值檢驗的兩級匹配策 略，對相鄰幀內(nèi)的特征點進行匹配； 步驟三，針對匹配所獲得的匹配點對集合，利用三角形面積相似檢驗與RANSAC結(jié)合的 運動參數(shù)估計方法，估計幀間仿射變換參數(shù)；對幀間仿射變換參數(shù)進行累積，得到當前幀相 對于參考幀的累積仿射變換參數(shù)； 步驟四，利用圖像拼接方法創(chuàng)建一幅運動補償?shù)钠唇訄D像，對累積仿射變換參數(shù)的平 移分量進行Kalman濾波估計相機的主觀運動參數(shù)，并將其作為拼接圖像中顯示窗口的位 置，在拼接圖像中設(shè)立與參考幀大小相同的顯示窗口，獲取完整的運動補償幀。2. 根據(jù)權(quán)利要求1所述基于特征匹配的全幀電子穩(wěn)像方法，其特征在于，所述步驟二 的具體過程為： 第一級匹配：對于在當前幀內(nèi)檢測到的每一個特征點，依據(jù)漢明距離，在前一幀的特征 點集合中找出漢明距離最小和次小的特征點，將最小與次小漢明距離的比值與預設(shè)閾值進 行比較，如果所述比值小于預設(shè)閾值，則將具有最小漢明距離的特征點對記為候選匹配點 對，進入第二級匹配； 第二級匹配：對候選匹配點對的空間坐標（Χ，γ)和（Χ'，γ'），方向角R和R'，設(shè)立以下 兩種判別條件： 第一第二：|R-R' | <Threshold2 其中，Thresholdl表示坐標閾值，Threshold2表示角度閾值； 若以上兩個條件均滿足，則認為當前的候選匹配點對為正確匹配，否則視為錯誤匹配 予以刪除。3. 根據(jù)權(quán)利要求1所述基于特征匹配的全幀電子穩(wěn)像方法，其特征在于，所述步驟三 的具體過程為： 301，在匹配點對集合中隨機選取三個匹配點對； 302, 判斷三個匹配點對是否不落在一條直線上，且在相鄰幀上形成的兩個三角形面積 差值小于預設(shè)面積閾值，若條件滿足則進入303,否則回到301 ; 303, 根據(jù)選取的三個匹配點對，計算幀間仿射變換模型參數(shù)； 304, 對于根據(jù)所述仿射變換模型參數(shù)得到的仿射變換模型，統(tǒng)計匹配點對集合中的內(nèi) 點數(shù)； 305, 重復執(zhí)行301-304預設(shè)次數(shù)，選出內(nèi)點數(shù)最多的仿射變換模型所對應參數(shù)作為最 佳幀間運動參數(shù)估計，然后對幀間運動參數(shù)進行累積，得到當前幀相對于參考幀的累積仿 射變換參數(shù)。4. 根據(jù)權(quán)利要求1所述基于特征匹配的全幀電子穩(wěn)像方法，其特征在于，所述利用圖 像拼接方法創(chuàng)建一幅運動補償?shù)钠唇訄D像為：將參考幀作為基準，根據(jù)計算出的累積仿射 變換參數(shù)，將當前幀進行仿射變換與參考幀對齊，并利用雙線性插值和圖像融合技術(shù)創(chuàng)建 一幅運動補償?shù)钠唇訄D像。5.根據(jù)權(quán)利要求1所述基于特征匹配的全幀電子穩(wěn)像方法，其特征在于，針對步驟一 提取的特征點，根據(jù)特征點鄰域一階矩的大小關(guān)系，對特征點的方向角進行2 π /32量化， 并建立快速查找表；針對步驟一提取的特征點，根據(jù)高斯分布在特征點鄰域內(nèi)取定生成二 值特征描述所需的點對坐標集合，并計算其對應于每一個量化方向角的旋轉(zhuǎn)形式，建立快 速查找表。
【文檔編號】H04N5/232GK105872345SQ201510028265
【公開日】2016年8月17日
【申請日】2015年1月20日
【發(fā)明人】李佳男, 許廷發(fā), 張坤
【申請人】北京理工大學