一種基于投影梯度的穩(wěn)像方法
【技術領域】
[0001] 本發(fā)明屬于圖像處理領域，尤其涉及一種基于投影梯度的穩(wěn)像方法。
【背景技術】
[0002] 灰度投影算法常用于視頻穩(wěn)像以及圖像匹配，相較于其它算法，灰度投影的優(yōu)勢 在于算法簡單、時間復雜度低，具有很好的實時性。以灰度投影為基礎，之后出現了分區(qū)灰 度投影、多方向投影等一系列改進型灰度投影算法，進一步增強了算法的實時性和魯棒性。
[0003] 通常情況下，用于圖像匹配和穩(wěn)像的視頻序列為自然光下拍攝的視頻或低幀頻 (30Hz)的視頻。由于自然光無閃爍，室內照明燈閃爍頻率一般為50-70HZ，因此此時拍攝的 視頻中各幀圖像亮度恒定，或亮度變化很小。然而現實情況中，有時會遇到需要拍攝室內照 明或夜間燈光照明下的高速視頻，這種情況隨著攝影設備的輕型化和高速化越發(fā)普遍，比 如如今市場上的主流手機都具備300Hz以上的高速攝影能力。對于閃爍燈光下的高速攝影， 視頻圖像各幀之間會產生亮度不均的問題，如附圖1所示，并且該問題會隨著拍攝幀頻與照 明閃爍頻率差異變大而更加明顯。此外，視頻幀頻的增加也會導致圖像噪聲增大。
[0004] 傳統(tǒng)的穩(wěn)像與匹配算法均無法解決幀間亮度不均以及噪聲大帶來的配準誤差:基 于灰度投影的算法依賴于圖像灰度，亮度不均會導致參考幀與當前幀的灰度投影存在y方 向（灰度方向）上的位移，如附圖2(a)所示，而亮度歸一化處理也會因為大噪聲的存在效果 受到影響，通常位移矢量誤差在0.5個像素左右，如附圖2(b)所示;基于光流的匹配算法由 于光流方程建立在亮度恒定的基礎上，所以無法處理亮度非恒定的視頻圖像;而基于特征 的匹配算法，盡管對亮度和噪聲不敏感，但相對高昂的時間和計算復雜度限制了算法的實 時性。
[0005] 梯度作為信號的基本特征之一，反應了信號的變化率，具有與信號本身大小無關 的特性，可解決信號幅值平移的匹配問題。對于圖像來說，圖像梯度反映了圖像的邊緣信 息，即高頻信息。但圖像梯度在突出邊緣信息的同時，也丟失了低頻信息，這使得梯度投影 曲線相較于灰度投影曲線波動劇烈，如附圖3所示，因而更易產生匹配誤差。此外，計算圖像 梯度也增加了算法的時間，降低了算法的實時性。

【發(fā)明內容】

[0006] 本發(fā)明的目的是在視頻圖像的匹配和穩(wěn)像中，針對室內拍攝的高幀頻視頻中幀間 亮度不均以及高噪聲圖像，提出一種基于投影梯度的穩(wěn)像方法，利用圖像投影梯度，通過相 對灰度差的判別函數對灰度投影位移函數和梯度位移函數進行加權，獲得加權位移量。
[0007] 本發(fā)明的目的是通過以下技術方案來實現的：一種基于投影梯度的穩(wěn)像方法，該 方法包括以下步驟：
[0008] (1)圖像分塊，具體是：
[0009] (1.1)將參考圖像與當前圖像分為對應的K個大小為N X N的圖像塊。
[0010] (2)計算圖像塊的灰度投影曲線，具體是：
[0011] (2.1)水平方向上的灰度投影為所有行的像素值在列方向上的累積;垂直方向上 的灰度投影為所有列像素值在行方向上的累積；
[0012] (2.2)去除方差小于方差閾值的圖像塊的灰度投影曲線。
[0013] (3)將灰度投影曲線中的第n+1項減第n-1項，得到投影梯度曲線；
[0014] (4)互相關運算，具體是：
[0015] (4.1)利用互相關公式對參考幀與當前幀對應圖像塊的水平灰度投影曲線和垂直 投影曲線分別做互相關計算，得到互相關曲線，根據互相關曲線的谷值確定當前幀相對于 參考幀的灰度位移矢量Mk P;
[0016] (4.2)利用互相關公式對參考幀與當前幀對應圖像塊的水平投影梯度曲線和垂直 投影梯度曲線分別做互相關計算，得到互相關曲線，根據互相關曲線的谷值確定當前幀相 對于參考幀的梯度位移矢量Mk g。
[0017] (5)計算判別函數，具體是：
[0018] (5.1)計算參考幀與當前幀對應圖像塊總灰度的相對灰度差rk;
[0020] 其中，Ikji, j)為當前幀的第k個圖像塊第i行第j列的灰度值，Ikr(i，j)為參考幀 的第k個圖像塊第i行第j列的的灰度值；
[0021] (5.2)將步驟(5.1)中計算所得rk作為判別函數λ(Γ)的輸入：
[0023]其中，α為坡度參數，β為閾值參數。
[0024] (6)計算位移矢量Mk，公式如下：
[0025] Mk= (1-λ(τ) )Mkp+^(r)Mkg (3)
[0026] 去除圖像塊位移矢量Mk中由于步驟2.2中的誤差和局部運動造成的偏差位移矢 量，將剩余位移矢量求平均得到當前幀與參考幀的位移矢量M。
[0028]其中，h為偏差位移矢量的個數，12為步驟2.2中方差小于方差閾值的圖像塊個數。 [0029] (7)將當前幀向參考幀移動-M，實現當前幀的穩(wěn)像。
[0030] 進一步地，步驟1.1中，所述圖像塊大小N為128。
[0031] 進一步地，步驟5.2中，所述α = 250，β=10。
[0032] 本發(fā)明的有益效果:本發(fā)明針對室內拍攝的高幀頻視頻中幀間亮度不均以及高噪 聲的情況，提出了一種基于投影梯度的穩(wěn)像方法。首先，本發(fā)明引入圖像投影梯度用于處理 亮度不等的問題，使用投影梯度而非梯度投影的優(yōu)勢在于投影梯度不需要對二維圖像求梯 度，而只需對一維的灰度投影曲線求梯度，因此不會增加額外的計算量，保證了算法的實時 性。其次，針對梯度曲線波動大、對噪聲敏感的問題，采用分塊處理的方式，從而減少了曲線 波動帶來的相關運算誤差。最后，利用相對灰度差的判別函數來判斷當前幀和參考幀圖像 是否存在亮度不等的問題，判別函數為一平滑函數，并以權重的形式對灰度位移矢量和梯 度位移矢量加權求和，從而降低了位移矢量的絕對誤差。本發(fā)明提出的方法在不增加算法 計算時間的前提下能很好地解決灰度投影在幀間亮度不均以及圖像高噪聲時誤檢問題，從 而得到更好的穩(wěn)像效果。
【附圖說明】
[0033] 圖1 (a)為室內照明條件下的高速視頻參考幀。
[0034] 圖1(b)為室內照明條件下的高速視頻當前幀。
[0035] 圖2(a)為圖1(a)所示圖像垂直方向灰度投影曲線。
[0036] 圖2(b)為圖1(a)所示圖像亮度歸一化后垂直方向灰度投影曲線。
[0037]圖3為圖1(a)所示圖像的垂直梯度投影曲線。
[0038]圖4為本發(fā)明方法流程圖。
[0039]圖5(a)為參考圖像塊。
[0040] 圖5(b)為當前圖像塊。
[0041] 圖6(a)為圖5所示圖像塊垂直方向灰度投影曲線。
[0042] 圖6(b)為圖5所示圖像塊垂直方向投影梯度曲線。
[0043] 圖7(a)為圖5所示圖像塊垂直方向灰度投影曲線的SAD曲線。
[0044] 圖7(b)為圖5所示圖像塊垂直方向投影梯度曲線的SAD曲線。
[0045] 圖8為判別函數。
【具體實施方式】
[0046] 以下結合附圖對本發(fā)明作進一步說明。
[0047] 如圖4所示，本發(fā)明提供的一種基于投影梯度的穩(wěn)像方法，主要包括圖像分塊、計 算投影曲線、互相關運算、閾值計算和位移矢量計算等幾個步驟。
[0048] 步驟1.圖像分塊
[0049] 1-1為了減小互相關運算時投影梯度曲線波動帶來的估計誤差，將參考圖像與當 前圖像分為對應的K個不重疊圖像塊，圖像塊大小為NXN，如附