專利名稱：一種基于矩陣秩最小化的非剛性魯棒批量圖像對齊方法
技術(shù)領域：
本發(fā)明涉及圖像處理領域，特別涉及一種基于矩陣秩最小化的非剛性魯棒批量圖 像對齊方法。
背景技術(shù)：
當前，隨著一些圖像和視頻分享網(wǎng)站的流行，大大增加了在線圖像和視頻數(shù)據(jù)的 數(shù)量。這些圖像和視頻數(shù)據(jù)缺少規(guī)則性，例如，它們的光照條件大相徑庭，圖像中物體被遮 擋，圖像間的位置關系不整齊等。這些因素為接下來對這些圖像的處理和有效地利用這些 圖像帶來了很大的挑戰(zhàn)。在醫(yī)學領域，隨著醫(yī)學圖像成像技術(shù)的發(fā)展，可以通過醫(yī)學成像設 備獲取很多人體組織、骨骼等的醫(yī)學圖像，例如核磁共振圖像(MR圖像)。但在采集過程中， 由于電磁線圈不完美、人體微小的運動等，造成采集圖像的部分損毀和圖像間的不整齊。從 這些有損毀、不整齊的圖像中恢復出高質(zhì)量、對齊的圖像對接下來的醫(yī)學分析和診斷具有 十分重要的意義。其中，對批量圖像進行處理，利用圖像間的相關性，恢復被污染和損毀的圖像，對 齊圖像間的位置關系，即魯棒批量圖像對齊是一項重要的任務。一般而言，采用通過引入不同的相似性的度量來完成批量圖像對齊的任務。 Learned-Miller所提出的Congealing算法，即尋找一種對齊關系，使得對齊后的批量圖像 對應位置上像素的信息熵之和最小。假設把每幅圖像拉成一個列向量，把對齊后的批量圖 像排列為一個大矩陣，那么Congealing算法就相當于盡量使該矩陣的各行接近于常數(shù)。與 之相反，最小二乘Congealing算法尋找對齊關系，從而使得兩兩圖像間的均方誤差最小， 這相當于使大矩陣的各列盡量一樣。在以上兩種方法中，如果滿足了所選定的對齊標準，即 相當于對齊圖像所組成的矩陣是一個低秩矩陣，理想情況下，是一個秩為1的矩陣。然而， 如果不同圖像間有光照的變化等，那么對齊圖像所組成的矩陣可能具有比大于1的秩。這 種情況下，更合理的方法就是最小化對齊圖像組成矩陣的秩。例如，Vedaldi等就考慮了最 小化圖像矩陣的對數(shù)行列式度量，其中，對數(shù)行列式可以看作是秩函數(shù)的光滑替代?；蛘撸?也可以直接對低秩的要求進行限制，比如變換成分分析就使用了期望最大化算法在已知的 某個圖像變化群中，來擬合這個低維的線性模型。真實的圖像數(shù)據(jù)往往既有較大的光照的變化，又有遮擋、大誤差等，例如人臉圖像 中的陰影、帽子、眼鏡等，醫(yī)學圖像中由于電磁線圈不完美、人體微小的運動造成的陰影與 圖像變形。但是以上所述方法一個共同的缺點在于它們不能同時處理圖像中存在的大誤差 和圖像變形。最近提出的一種名為魯棒參數(shù)成分分析的算法也是來擬合一個低秩模型，使 用一個魯棒的擬合函數(shù)來減少大誤差和遮擋的影響。但是，這是一個非凸優(yōu)化的問題，求解 比較困難。從被部分高度損毀的數(shù)據(jù)中擬合一個低秩模型，這個問題本身就是一個很困難 的問題，很久以來一直沒有多項式時間算法求解該問題，這也使得魯棒批量圖像對齊問題 十分難于解決。幸運的是，最近在矩陣秩最小化方面研究的發(fā)展使得有可能精確且高效地 使用凸優(yōu)化的方法從被損毀的數(shù)據(jù)中恢復低秩結(jié)構(gòu)矩陣。
一般而言，批量圖像間不但存在全局的位置差異，而且存在局部形變。批量圖像 間的位置關系難以使用某一種變換群，如平移變換、相似變換、仿射變換、投影變換等，來描 述。要對齊批量圖像，還需要考慮批量圖像間的非剛性變形?？偨Y(jié)而言，非剛性魯棒批量圖像對齊任務存在如下的難點1)需要同時對齊批量圖像，數(shù)據(jù)量大，對齊比較困難；2)單一的圖像變換群難以刻畫圖像間的位置關系，需要處理圖像間的非剛性變 形，這也給非剛性批量圖像對齊帶來挑戰(zhàn)；3)批量圖像間不但存在非剛性變形，而且有部分圖像可能存在部分污染與損毀， 在對齊批量圖像的同時，修復這些具有損毀的圖像，也使得非剛性魯棒批量圖像對齊任務 十分具有挑戰(zhàn)性。

發(fā)明內(nèi)容
本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一，特別針對利用圖像間的相關性， 在對齊圖像的同時，恢復被污染和損毀的圖像，提出了一種基于矩陣秩最小化的非剛性魯 棒批量圖像對齊方法，涉及對非剛性魯棒批量圖像對齊問題進行數(shù)學建模和對優(yōu)化模型進 行求解兩部分內(nèi)容。為實現(xiàn)上述目的，本發(fā)明實施例提出了一種基于矩陣秩最小化的非剛性魯棒批量 圖像對齊方法，包括如下步驟輸入變形的帶損毀的批量圖像；對所述輸入的變形帶損毀的批量圖像建立低秩數(shù)學模型；和對所述低秩數(shù)學模型進行優(yōu)化求解，得到對齊的批量圖像。本發(fā)明利用圖像間的相關性，在對齊圖像的同時，恢復被污染和損毀的圖像，提供 一種高效、魯棒的非剛性批量圖像對齊方法。本發(fā)明的顯著技術(shù)效果體現(xiàn)在以下方面1)對非剛性批量圖像對齊問題進行數(shù)學建模，模型易于理解，且符合實際的物理
眉、 2)利用矩陣秩最小化及壓縮感知方面研究的最新成果，采用高效的凸優(yōu)化方法， 使得該方法實現(xiàn)起來簡單而高效。本發(fā)明附加的方面和優(yōu)點將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實踐了解到。


本發(fā)明上述的和/或附加的方面和優(yōu)點從下面結(jié)合附圖對實施例的描述中將變 得明顯和容易理解，其中圖1為根據(jù)本發(fā)明實施例的非剛性魯棒批量圖像對齊方法的流程框圖；圖2為根據(jù)本發(fā)明實施例的非剛性魯棒批量圖像對齊方法的流程示意圖。
具體實施例方式下面詳細描述本發(fā)明的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實施例是示例性的，僅用于解釋本發(fā)明，而不能解釋為對本發(fā)明的限制。由于對同一物體采集得到的不同圖像，其圖像間往往具有很強的相關性。但是，這 些批量圖像間往往會存在不同程度的變形和部分損毀等，導致圖像位置形狀間的不整齊、 圖像信息的不完整等。針對上述問題，本發(fā)明主要在于提供一種基于矩陣秩最小化的非剛 性魯棒批量圖像對齊方法，在對齊圖像的同時，利用圖像間的相似結(jié)構(gòu)和相關性，恢復被部 分損毀的圖像。為實現(xiàn)本發(fā)明的目的，本發(fā)明實施例提供了一種基于矩陣秩最小化的非剛性魯棒 批量圖像對齊方法。圖1示出了該非剛性魯棒批量圖像對齊方法的流程框圖。如圖1所示， 該方法包括如下步驟SlOl 輸入變形的帶損毀的批量圖像；結(jié)合圖2所示，輸入某一物體的η幅對齊的圖像^i...I: e R^。由于光照條件及
遮擋物等影響，上述圖像存在變形和部分損毀等，導致圖像位置形狀間的不整齊、圖像信息 的不完整等。一般而言，這些圖像間是線性相關的。 設運算符
表示選擇感興趣區(qū)域并將其m個像素拉為一個列向
量，則這些圖像的感興趣區(qū)域組成的矩陣為
該矩陣A為近似低秩的?，F(xiàn)有理論表明，如果圖像1*’0 = 1，···")是一個凸的、表面
為郎伯特屬性的物體的圖像，則這些圖像近似處在一個9維的子空間中。在本實施例中，輸入η = 40幅人臉圖像，上述人臉圖像中含有不同的光照條件，有 的人臉圖像被部分遮擋，例如眼睛、圍巾等造成的遮擋，這些圖像還具有不同的表情變化。 對其中感興趣的人臉圖像部分進行處理，裁取大小為m = 60X80 = 4800像素大小的部分， 即w = 60，h = 80，進行對齊和恢復處理。S102 對輸入的變形帶損毀的批量圖像建立低秩數(shù)學模型；對步驟101中輸入的變形帶損毀的批量圖像建立低秩數(shù)學模型，包括對大的稀疏 誤差進行建模、對批量圖像間的變形進行建模和對批量圖像之間的線性相關性建立低秩模 型。S1021 對噪聲誤差的幅度值超過Amp，且誤差稀疏的圖像建立稀疏誤差數(shù)學模 型。由于在實際中，低維的子空間結(jié)構(gòu)很容易被破壞。例如當圖像中物體存在部分遮 擋或是損毀時，人臉圖像中的陰影、墨镋、帽子、圍巾等就破丨不JT縛些人篇圖像的低 維結(jié)構(gòu)。由此，用戶觀察到的不再是直摻線性相羌的批量圖像 1，12’…了，而是 帶有大的但是稀疏的噪聲誤差圖像 其中，^表示大而稀疏的噪聲誤差。上述誤差^在幅度值上超過Amp，但是只影響 到圖像中某一部分的圖像像素，即誤差是稀疏的，圖像中大部分像素位置上誤差都為0。對 批量圖像觀測到的圖像可以表示如下
其中
為一個低秩矩陣，表示批量圖像間的線性
相關性，
為大的稀疏的誤差矩陣，表示批量圖像中存在的損毀、遮
擋、陰影和高光等產(chǎn)生誤差的因素。S1022:根據(jù)上述稀疏誤差模型，對存在變形的未對齊批量圖像建立變形數(shù)學模 型；步驟1021中的稀疏誤差模型，假設給定的圖像^各像素為精確對齊的。即使是很 小的未對齊也會破壞圖像間的線性結(jié)構(gòu)。因此，即使能夠恢復圖像的誤差E，其矩陣A仍將 為一個滿秩矩陣。為此，本發(fā)明采用非剛性圖像變形li1，...,Tn1來描述實際中的未對齊現(xiàn)象， 認為這些變形作用在二維圖像^1^.1^1，造成了圖像間的未對齊。由此，根據(jù)本發(fā)明實施 例提供的方法觀測到的帶有大的稀疏誤差的未對齊批量圖像，即變形數(shù)學模型為 其中，
TJ為變形因子，表示批量圖像中的未對齊現(xiàn)象。S1023:根據(jù)上述稀疏誤差數(shù)學模型和變形數(shù)學模型，對批量圖像之間的線性相關 性建立低秩數(shù)學模型。根據(jù)步驟1021和1022中在對圖像的大的稀疏誤差問題和未對齊問題都進行了建 模后，為了能夠正確恢復批量圖像間的低秩結(jié)構(gòu)，本發(fā)明必須同時使這些圖像對齊，并矯正 圖像中的誤差。具體的說，以
表示一組線性相關的圖像。觀測到的圖像含有部分
損毀且圖像間未對齊，即
恢復圖；^及變形Τ;1。如果上述圖像是精確對齊好的，當恢復圖像中稀疏的誤差部分后，那么它們處在 一個低秩結(jié)構(gòu)中。為此，尋找一組變形參數(shù)T= [T1,..，τη]，使得經(jīng)過這種變形矯正后的圖 像所組成的矩陣，在除去大的稀疏誤差的影響后，矩陣的秩越小越好。具體的說，以T(D)表示[VecT1(I1)) I··· vec (Tn(In))] e RmXn，建立低秩數(shù)學模型 為 s. t. T (D) = A+E, | E | 0 < k。其中，k為E中非零元素的個數(shù)的最大值。如果k過大，上述優(yōu)化問題可能沒法求 解或其求解的結(jié)果沒有實際意義。 其中，Itl范數(shù)IE I ^表示誤差矩陣E中非零元素的個數(shù)，Csmooth為對變形T的光滑性 約束懲罰因子，參數(shù)β >0為對懲罰因子的加權(quán)。
另一方面，上述問題的拉格朗日形式為 s. t. T(D) = Α+Ε。其中，參數(shù)Y > 0為用來平衡矩陣A的秩與誤差矩陣E的稀疏性的。S103 對上述低秩數(shù)學模型進行優(yōu)化求解，得到對齊的批量圖像。對步驟102中得到的低秩數(shù)學模型進行優(yōu)化求解，包括對變形進行參數(shù)化處理、 對變形問題進行凸函數(shù)替代、逐步線性化逼近和對凸優(yōu)化問題進行求解等四個部分。S1031 對變形數(shù)學模型進行參數(shù)化處理；為了刻畫非剛性變形，需要對該變形進行參數(shù)化處理。在本實施例中，采用B樣條 參數(shù)化處理。假設圖像域為Ω = {(χ，y) |0彡x<X，0<y < y}0令Φ表示一個 父 的 網(wǎng)格，網(wǎng)格由間距為δ均勻分布的控制點Cti,」控制。則非剛性變形可以由一維B樣條的 張量積表示為 其中，=
算。B1表示第1個B樣條基函數(shù)，即
表示下取整運
B0(U) = (1_u3)/6， B1(U) = (3u3-6u2+4)/6, B2(U) = ("3u3+3u2+3U+1)/6, B3(U) = u3/6o
由此，可定義變形T的光滑性約束懲罰因子為 對變形參數(shù)進行這種約束是為了防止變形過于任意，使變形盡量光滑。在本實施例中，對變形采用B樣條進行參數(shù)化處理，控制點水平間隔與豎直間隔 均為S = 5像素，共有11X15 = 165個控制點。在本實施例中，采用B樣條參數(shù)化處理對變形數(shù)學模型進行參數(shù)化處理，但不僅 限于上述方法。通過其他參數(shù)化處理方法獲得變形T的光滑性約束懲罰因子cs_th亦屬于 本發(fā)明的保護范圍。S1032 采用凸函數(shù)代替低秩數(shù)學模型，生成凸優(yōu)化數(shù)學模型；由于步驟1023中的低秩數(shù)學模型中涉及到矩陣的秩和矩陣的Itl范數(shù)，矩陣的秩 和Itl范數(shù)都是組合優(yōu)化函數(shù)，這使得對該低秩數(shù)學模型的優(yōu)化十分困難。在實際求解時， 使用函數(shù)的凸包來近似代替該數(shù)學模型的函數(shù)，即生成凸優(yōu)化數(shù)學模型。具體的說，凸優(yōu)化 數(shù)學模型為
s. t. T (D) = A+E其中，IAI *表示矩陣A的原子范數(shù)，即矩陣A的所有奇異值之和；IE | i表示矩陣E 的I1范數(shù)，即矩陣Ε中所有元素的絕對值之和，參數(shù)λ >o為IEI1W加權(quán)值；cs_th為變形 因子的光滑性約束懲罰因子，β >ο為對懲罰因子cs_th的加權(quán)值。Cs_th*T⑶定義分 別見步驟1031和步驟1023。在本實施例中，采用增廣拉格朗日乘子法求解上述優(yōu)化問題，其中各參數(shù)分別為 S1033 采用一階凸優(yōu)化方法對上述凸優(yōu)化數(shù)學模型進行優(yōu)化求解。采用凸優(yōu)化中的一階優(yōu)化算法對步驟1032中的凸優(yōu)化問題進行求解。其中，在本 實施例中，可以采用一階優(yōu)化方法中的加速固定點近似算法或增廣拉格朗日乘子算法等。此外，對步驟1032中的凸優(yōu)化問題進行求解，不僅限于采用上述凸優(yōu)化中一階優(yōu) 化算法，也可采用內(nèi)點法或半正定規(guī)劃方法等。具體的說，采用上述方法對凸優(yōu)化問題進行求解，輸出求解得到的矩陣A、E和變 形參數(shù)中控制點Φυ的坐標。其中變形參數(shù)中控制點Φυ的坐標描述了圖像間的變形。將矩陣A的每一列4800維的向量重新排列為60X80的圖像，共40幅圖像，上述 圖像即為被對齊和恢復的批量圖像。本發(fā)明實施例提供的基于矩陣秩最小化的非剛性魯棒批量圖像對齊方法，利用圖 像間的相關性，在對齊圖像的同時，恢復被污染和損毀的圖像。本發(fā)明的顯著技術(shù)效果體現(xiàn)在以下方面1)對非剛性批量圖像對齊問題進行數(shù)學建模，模型易于理解，且符合實際的物理
意義；2)利用矩陣秩最小化及壓縮感知方面研究的最新成果，采用高效的凸優(yōu)化方法， 使得該方法實現(xiàn)起來簡單而高效。盡管已經(jīng)示出和描述了本發(fā)明的實施例，對于本領域的普通技術(shù)人員而言，可以 理解在不脫離本發(fā)明的原理和精神的情況下可以對這些實施例進行多種變化、修改、替換 和變型，本發(fā)明的范圍由所附權(quán)利要求及其等同限定。
權(quán)利要求
一種基于矩陣秩最小化的非剛性魯棒批量圖像對齊方法，其特征在于，包括如下步驟輸入變形的帶損毀的批量圖像；根據(jù)所述輸入的變形帶損毀的批量圖像建立低秩數(shù)學模型；和對所述低秩數(shù)學模型進行優(yōu)化求解，得到對齊的批量圖像。
2.如權(quán)利要求1所述的非剛性魯棒批量圖像對齊方法，其特征在于，所述對輸入的變 形帶損毀的批量圖像建立低秩數(shù)學模型進一步包括對噪聲誤差的幅度值超過Amp，且誤差稀疏的圖像建立稀疏誤差數(shù)學模型； 根據(jù)所述稀疏誤差數(shù)學模型，對存在變形的未對齊的批量圖像建立變形數(shù)學模型； 根據(jù)所述稀疏誤差數(shù)學模型和變形數(shù)學模型，對批量圖像之間的線性相關性建立低秩 數(shù)學模型。
3.如權(quán)利要求2所述的非剛性魯棒批量圖像對齊方法，其特征在于，所述稀疏誤差數(shù) 學模型為 其中，A為低秩矩陣，表示所述批量圖像間的線性相關性，其中， 的因素，其中，E =[vec(ei)|...|vec(en)]， ’ 1...Ι二erwxA為所述輸入變形的帶損毀的批量圖像。
4.如權(quán)利要求2或3所述的非剛性魯棒批量圖像對齊方法，其特征在于，所述變形數(shù)學 模型為 子，表示批量圖像中的未對齊現(xiàn)象，T = [T1, . . .，Tn]。
5.如權(quán)利要求4所述的非剛性魯棒批量圖像對齊方法，其特征在于，所述低秩數(shù)學模 型為 其中，IEltlS Itl范數(shù)，表示誤差矩陣E中非零元素的個數(shù)，rank(A)為所述低秩矩陣A 的秩，Csmooth為對變形T的光滑性約束懲罰因子，β > 0為對所述懲罰因子Cs_th的加權(quán)值， k為所述誤差矩陣E中非零元素的個數(shù)的最大值。
6.如權(quán)利要求2所述的非剛性魯棒批量圖像對齊方法，其特征在于，所述對數(shù)學模型 進行優(yōu)化求解進一步包括對所述變形數(shù)學模型進行參數(shù)化處理； 采用凸函數(shù)代替所述低秩數(shù)學模型以生成凸優(yōu)化數(shù)學模型； 對所述凸優(yōu)化數(shù)學模型進行優(yōu)化求解。
7.權(quán)利要求6所述的非剛性魯棒批量圖像對齊方法，其特征在于，所述對變形數(shù)學 模型進行參數(shù)化處理進一步包括采用B樣條參數(shù)化處理，得到所述變形數(shù)學模型中的變形因子的光滑性約束懲罰因子 其中，Tk(χ, y)為一維B樣條的張量積，Tk(X,y) = ZZ仇O)萬其中，
8.如權(quán)利要求7所述的非剛性魯棒批量圖像對齊方法，其特征在于，生成的凸優(yōu)化數(shù) 學模型為 其中，IAI *表示矩陣A的原子范數(shù)，即矩陣A的所有奇異值之和，IE I i表示矩陣E的I1 范數(shù)，即矩陣E中所有元素的絕對值之和，參數(shù)λ >0為IEl1的加權(quán)值；cs_th為變形因子 的光滑性約束懲罰因子，β >0為對所述懲罰因子cs_th的加權(quán)值。
9.如權(quán)利要求6所述的非剛性魯棒批量圖像對齊方法，其特征在于，對所述凸優(yōu)化數(shù) 學模型進行優(yōu)化求解的方法包括一階凸優(yōu)化方法或內(nèi)點法或半正定規(guī)劃方法。
10.如權(quán)利要求9所述的非剛性魯棒批量圖像對齊方法，采用一階凸優(yōu)化方法對所述 凸優(yōu)化數(shù)學模型進行優(yōu)化求解進一步包括采用加速固定近似算法或增廣拉格朗日乘子算法對所述凸優(yōu)化數(shù)學模型進行優(yōu)化求解。
全文摘要
本發(fā)明提出一種基于矩陣秩最小化的非剛性魯棒批量圖像對齊方法，包括如下步驟輸入變形的帶損毀的批量圖像；對輸入的變形帶損毀的批量圖像建立低秩數(shù)學模型；和對低秩數(shù)學模型進行優(yōu)化求解，得到對齊的批量圖像。本發(fā)明一方面對非剛性批量圖像對齊問題進行數(shù)學建模，模型易于理解，且符合實際的物理意義；另一方面利用矩陣秩最小化及壓縮感知方面研究的最新成果，采用高效的凸優(yōu)化方法，使得該方法實現(xiàn)起來簡單而高效。
文檔編號G06T5/00GK101901472SQ20101022737
公開日2010年12月1日 申請日期2010年7月7日 優(yōu)先權(quán)日2010年7月7日
發(fā)明者彭義剛, 戴瓊海 申請人:清華大學