本發(fā)明屬于圖像處理技術領域,特別涉及一種多光譜超分辨成像重構方法,用于從低分辨率圖像中重構出高分辨率圖像。
背景技術:
超分辨成像的重構,是對低分辨率圖像通過特定的方法重構出高分辨率圖像。通常,通過超分辨成像的重構獲得圖像的空間高分辨率和多光譜圖像高可信度。雖然現(xiàn)有的超分辨成像重構方法可獲得比較高的空間分辨率圖像。但是,現(xiàn)有的超分辨成像重構方法重構出的高分辨率灰度圖中出現(xiàn)錯誤的有色塊,如附圖4(a)、4(b)、4(c)所示。并且對于一些要求比較精密的工作,比如材料分析、識別鑒別、精確分類等方面,需要提高空間分辨率和多光譜圖像可信度。
目前,在提高多光譜可信度上沒有很好的解決方法。提高空間分辨率的方法主要有兩種有效的方法。
第一種方法是,在空間域直接進行超分辨圖像重構,以此重構出空間高分辨率圖像。但由于該重構方法忽略了高階的譜間相關性,通過數(shù)學分析可知重構后的解是次優(yōu)解,因此該方法不能有效提高圖像的可信度。
第二種方法是,在圖像重構時先對圖像進行RGB到YUV的變換,然后進行空間超分辨重構,以此重構出空間高分辨率圖像。但這種方法在帶間去相關方面和譜段間結構適應性方面存在不足,因此不能有效提高圖像的可信度,并且,在由RGB到YUV的變換過程中,會使圖像的R、G、B各分量對應的空間位置無法對齊,最終在灰度圖中出現(xiàn)錯誤的有色塊,導致重構后的圖像包含錯誤信息,進而不能準確實現(xiàn)圖像的重構。
技術實現(xiàn)要素:
本發(fā)明的目的是針對上述現(xiàn)有技術的不足,提出一種基于拉普拉斯范數(shù)正則化的超分辨重構方法,以減少現(xiàn)有方法重構后圖像出現(xiàn)的錯誤信息,提高圖像的空間分辨率和可信度。
本發(fā)明的實施方案是這樣完成的:
一種基于拉普拉斯范數(shù)正則化的圖像超分辨重構方法,包括如下步驟:
(1)對低分辨率圖像進行雙三次插值,得到初始的圖像X(0);
(2)設定迭代公式其中L為最大迭代次數(shù),為第次迭代后的圖像,δ為迭代正則參數(shù);
(3)對初始圖像X(0)利用上述設定的迭代公式獲得第一次迭代后的圖X(1);
(4)將第一次迭代后的圖像X(1)分成M塊,并對第i塊利用塊匹配方法獲得Si個相似塊矩陣,記x(i,j)為第i塊第j個相似塊矩陣,再將這Si個相似塊合并成第i個圖像矩陣Xi,其中i=1,2,....,M,j=1,2,…,Si;
(5)對圖像矩陣Xi利用公式[U,Σ′,V]=SVD(Xi)進行奇異值分解,獲得U,Σ′,V三個分解矩陣,其中U是與圖像矩陣Xi相關的左正交矩陣,Σ′是包含圖像矩陣Xi奇異值的奇異矩陣,V是與圖像矩陣Xi相關的右正交矩陣;
(6)根據(jù)步驟(5)獲得的U,Σ′,V這三個矩陣,利用公Xi=USμ(∑′)VT更新圖像矩陣Xi,其中是對奇異矩陣Σ′的軟閾值運算,VT代表對右正交矩陣V的轉置,μl取奇異值矩陣Σ′中第三大特征值,k1為設定第一個正則項的參數(shù),max()表示對其求最大值;
(7)利用基于全變分正則化中的重建方法更新相似塊矩陣x(i,j)獲得更新矩陣
(8)計算更新矩陣秩的最大值γi,j;
(9)利用公式對更新矩陣進行奇異值分解,獲得U1,Σ1,V1三個分解矩陣,其中U1是與更新矩陣相關的左正交矩陣,Σ1是包含更新矩陣的奇異值的奇異矩陣,V1是與更新矩陣相關的右正交矩陣;
(10)設定收縮操作公式對相似塊矩陣x(i,j)進行更新,式中,x為與相似塊矩陣x(i,j)距離最近的收縮矩陣,H(∑1)是使約束Rank(x(i,j))≤ri,j成立的一個硬閾值運算,V1T代表對與相似塊矩陣x(i,j)相關的右正交矩陣V1的轉置,Rank(x(i,j))代表相似塊矩陣x(i,j)的秩;
(11)將第i塊的Si個相似塊矩陣合并,獲得第i個圖像矩陣Xi;
(12)將M個圖像矩陣Xi合并,獲得圖像X(1),返回步驟(2),重復上述步驟,直到經(jīng)過L次迭代后輸出超分辨重構圖像X(L)。
本發(fā)明與現(xiàn)有技術相比具有以下優(yōu)點
第一:提高重構后圖像的空間分辨率和可信度。
本發(fā)明在現(xiàn)有的重構方法如A+、BCSR、NCSR方法基礎上,考慮到空間結構上的相關性,使用迭代收縮方法更新相似塊矩陣,使得本方法在峰值信噪比PSNR以及結構相關性SSIM表現(xiàn)更好,有效提高圖像的空間分辨率和可信度。
第二:有效減少錯誤有色塊。
現(xiàn)有方法重構出的圖像會出現(xiàn)錯誤的有色塊,而本發(fā)明利用二階拉普拉斯空間特性,以及對相似塊矩陣加約束,會有效減少錯誤有色塊。
第三:重構后的圖像更加準確。
現(xiàn)有方法重構出的高分辨圖像與原高分辨圖像的光譜反射率曲線有出入,而本發(fā)明的方法能夠很好地擬合原圖的光譜反射率曲線,因而重構后的圖像更加準確。
附圖說明
圖1是本發(fā)明的實現(xiàn)流程圖;
圖2是仿真使用的原始光譜圖像;
圖3是可視化對比實驗仿真時使用的低分辨率圖像;
圖4分別是用現(xiàn)有的A+方法、BSSC方法、NSCR方法以及本發(fā)明方法對圖3進行重構的仿真結果對比圖;
圖5是可信度驗證實驗仿真時使用的原圖像
圖6是可信度驗證實驗中,用現(xiàn)有的A+方法、BSSC方法、NSCR方法以及本發(fā)明方法對圖5進行重構后繪制的光譜反射率曲線圖。
具體實施方式
下面結合附圖和實例對本發(fā)明進行詳細說明
參照圖1,本發(fā)明的實現(xiàn)步驟如下:
步驟1,初始化。
對圖2所示的原始光譜圖像進行下采樣處理獲得如圖3所示的低分辨率圖像Y;
對低分辨率圖像Y進行雙三次插值,即對低分辨率圖像矩陣隔行隔列抽取壓縮得到抽樣矩陣,對獲得的抽樣矩陣在行方向和列方向分別利用進行三次插值得到初始的圖像X(0),式中,n為插值點個數(shù),Ck是第k個原函數(shù)的值,h(x-xk)是插值基函數(shù),該插值基函數(shù)的最高次冪為三次,且在定義域內基函數(shù)的一階.二階導數(shù)連續(xù)。
步驟2,對初始圖像進行第一次迭代后,依次作分塊、合并處理,獲得圖像矩陣。
(2a)設定迭代公式其中,L為最大迭代次數(shù),為第次迭代后的圖像,δ為迭代正則化系數(shù),其值為0.22;D(x)表示對x作下采樣處理的函數(shù);DT(x)表示D(x)的轉置;
(2b)對步驟1獲得的初始圖像X(0)利用(2a)中設定公式進行迭代,得到第一次迭代后的圖像X(1);
(2c)將第一次迭代后的圖像X(1)分成M塊,利用塊匹配方法計算當前塊與相鄰塊最近的塊,獲得Si個相似塊矩陣,記x(i,j)為第i塊第j個相似塊矩陣,再將這Si個相似塊合并成第i個圖像矩陣Xi,其中,i=1,2,....,M,j=1,2,…,Si。
步驟3,對圖像矩陣Xi進行奇異值分解,并更新該圖像矩陣。
(3a)對圖像矩陣Xi利用公式[U,Σ′,V]=SVD(Xi)進行奇異值分解,獲得U,Σ′,V三個分解矩陣,其中U是與圖像矩陣Xi相關的左正交矩陣,Σ′是包含圖像矩陣Xi奇異值的奇異矩陣,V是與圖像矩陣Xi相關的右正交矩陣;
(3b)根據(jù)步驟3a所獲得的U,Σ′,V這三個矩陣,利用公式Xi=USμ(∑′)VT更新圖像矩陣Xi,其中:
是對奇異矩陣Σ′的軟閾值運算,
k1為設定第一個正則項的參數(shù),取值為0.5,
VT代表對右正交矩陣V的轉置,
μl取奇異值矩陣Σ′中第三大特征值,使得所獲得的圖像矩陣Xi低秩,
max()表示對其求最大值。
步驟4,利用基于全變分正則化的重建方法更新相似塊矩陣x(i,j)。
本步驟的具體實現(xiàn)是根據(jù)全變分正則化的重建方法中的公式:
求解最小值問題,獲得與相似塊矩陣x(i,j)距離最近的更新矩陣式中:
x為自變量;argmin()表示使某個泛函取得最小值的函數(shù);ρl是權重系數(shù),取值為1;k2為設定第二個正則項的參數(shù),取值為0.59;▽2(x)是對x做二階拉普拉斯運算得到的矩陣;||·||1,2代表范數(shù),代表范數(shù)的平方。
步驟5,估算更新矩陣的最大秩。
利用不等式約束估算得到更新矩陣的最大秩γi,j;其中,γk代表相似塊矩陣x(i,j)的第k個奇異值;Γ為給定的閾值,其值為第二大奇異值和第三大奇異值的平均值。
步驟6,對更新矩陣進行奇異值分解,并更新相似塊矩陣x(i,j)。
(6a)利用公式對更新矩陣進行奇異值分解,獲得U1,Σ1,V1三個分解矩陣,其中U1是與更新矩陣相關的左正交矩陣,Σ1是包含更新矩陣的奇異值的奇異矩陣,V1是與更新矩陣的右正交矩陣;
(6b)設定收縮操作公式對相似塊矩陣x(i,j)進行更新,其中:
為與相似塊矩陣x(i,j)距離最近的收縮矩陣,
H(Σ1)是使約束Rank(x(i,j))≤ri,j成立的一個硬閾值運算,
Rank(x(i,j))代表相似塊矩陣x(i,j)的秩,
V1T代表對與相似塊矩陣x(i,j)相關的右正交矩陣V1的轉置。
步驟7,依次合并相似塊x(i,j)、圖像矩陣Xi,迭代L次輸出超分辨重構圖像。
(7a)將步驟2中的圖像X(1)分成M塊,對于第i塊,循環(huán)j次得到Si個相似塊矩陣x(i,j),將其合并后獲得第i個圖像矩陣Xi,將M個圖像矩陣Xi合并后獲得圖像X(1),其中i=1,2,....,M,j=1,2,…,Si;
(7b)將圖像X(1)代入步驟2中設定的迭代公式獲得圖像X(2),對圖像X(2)執(zhí)行步驟2~(7a),獲得新的圖像X(2),再返回步驟2,依次執(zhí)行次迭代,獲得第次迭代后的圖像其中,L取值為200;
(7c)判斷圖像是否迭代了L次,若是,停止迭代,輸出重構后的高分辨圖像X(L),若不是,則繼續(xù)重復執(zhí)行步驟2~(7a),直到
本發(fā)明的效果可通過以下的仿真進一步說明
1.仿真條件
本實驗的硬件測試平臺是:Intel Core i7 CPU,主頻3.40GHz,內存8GB;軟件仿真平臺為:windows 7、64位操作系統(tǒng)和Matlab 2013b。
2.仿真實驗
仿真1:對比實驗,
為了驗證本發(fā)明中方法的有效性,以哥倫比亞公開的前八個光譜圖像作為實驗所需的原始光譜圖像,對其進行下采樣得到八個低分辨率圖像A~H。
用本發(fā)明方法和現(xiàn)有的A+方法、NCSR方法、BSSC方法分別對低分辨率圖像A~H進行重構獲得八個重構后的高分辨率圖像a~h,分別在σ2=0和σ2=25不同水平的噪聲下,比較重構后的高分辨率圖像a~h的信噪比PSNR的大小以及結構相似性SSIM的大小,結果在表1所示。
表1
從表1中可以看出:在不同水平的噪聲下,本發(fā)明方法的信噪比PSNR的大小比A+方法平均能增加0.67dB~1.08dB、比BCSR方法平均增加0.7dB~2.22dB、比NCSR方法平均增加0.24dB~0.96dB,結構相關性SSIM從表中也可以看出,本發(fā)明方法的結構相關性大小均比其他方法要高。
仿真2:可視化對比實驗
為了更加可視化的突出本發(fā)明會有效減少有色塊的優(yōu)點,對圖2進行下采樣處理獲得圖3所示的低分辨率圖像,對圖3通過本發(fā)明方法和現(xiàn)有的A+方法、NCSR方法、BSSC方法進行重構,獲得如圖4表示的重構后的彩色圖像,結果如圖所示,其中:
4(a)是通過A+方法進行重構后彩色圖像,
4(b)是通過BSSC方法進行重構后彩色圖像,
4(c)是通過NCSR方法進行重構后彩色圖像,
4(d)是通過本發(fā)明方法進行重構后彩色圖像。
從圖4(a)~4(d)對比圖2原圖,可以看出,A+、BCSR、NCSR方法重構的高分辨圖像會呈現(xiàn)不同程度的錯誤色塊。而本發(fā)明重構后的高分辨率圖像有效減少了錯誤有色塊。
仿真3:可信度驗證實驗,
為了說明本發(fā)明方法在可信度上的優(yōu)越性,從圖5選取材料相同、光譜特征相同的三點:即第一點1、第二點2、第三點3。
對圖5進行下采樣處理獲得低分辨率圖像Y1,對低分辨率圖像Y1通過本發(fā)明方法和現(xiàn)有的A+方法、NCSR方法、BSSC方法進行重構,獲得重構后的高分辨率圖像。
繪制重構后的高分辨率圖像中點1、點2、點3的光譜反射率曲線圖,同時繪制圖5的光譜反射率曲線圖,結果如圖6所示,其中,
圖6(a)表示第一點1的光譜反射率曲線圖,
圖6(b)表示第二點2的光譜反射率曲線圖,
圖6(c)表示第三點3的光譜反射率曲線圖。
對比圖6所示的三點光譜反射率曲線,可以明顯看出A+、BCSR、NCSR方法重構的高分辨率圖像與原圖像的光譜反射率曲線有較大的出入,而本發(fā)明方法能夠很好擬合原圖的光譜反射率的曲線,實現(xiàn)準確重構,保證了重構的高分辨率圖像的可信度。