一種基于稀疏表示和自適應(yīng)濾波的圖像超分辨率重建方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于可見(jiàn)光圖像處理方法，涉及一種基于稀疏表示和自適應(yīng)濾波的圖像超 分辨率重建方法。
【背景技術(shù)】
[0002] 圖像超分辨率重建技術(shù)最早出現(xiàn)于二十世紀(jì)六十年代，當(dāng)時(shí)的學(xué)者提出將帶限信 號(hào)外推的方法對(duì)偶的運(yùn)用到光學(xué)圖像的超分辨率重建中，奠定了超分辨率重建賴(lài)以存在的 數(shù)學(xué)基礎(chǔ)。直到八十年代后期，人們?cè)趫D像超分辨率重建方法的研究上才取得了突破性進(jìn) 展，不僅在理論上說(shuō)明了超分辨率重建存在的可能性，而且在實(shí)踐中提出了許多較為實(shí)用 的方法。目前，超分辨率重建大致可以分為兩個(gè)方向：基于重建的方法和基于學(xué)習(xí)的方法。
[0003] 基于重建的超分辨率算法是通過(guò)一定程度的模糊處理和下采樣操作對(duì)圖像獲取 過(guò)程進(jìn)行建模，從而假定由高分辨率圖像可以生產(chǎn)低分辨率圖像。然而隨著分辨率提高倍 數(shù)的增加，對(duì)于4倍及以上的放大倍數(shù)，這類(lèi)方法通常不能很好的重建圖像的高頻信息。在 此基礎(chǔ)上，相繼有學(xué)者提出了基于識(shí)別先驗(yàn)知識(shí)的方法，獲得了比傳統(tǒng)的基于重建的超分 辨率重建方法更好的效果。這就是基于學(xué)習(xí)的超分辨率重建方法，此類(lèi)方法不僅克服了基 于重建的方法在分辨率提高倍數(shù)方面的局限性，而且可以實(shí)現(xiàn)單幅圖像的超分辨率重建。
[0004] 近些年來(lái)，隨著稀疏表示理論的發(fā)展和廣泛應(yīng)用，圖像的稀疏表示模型為求解圖 像超分辨率重建問(wèn)題提供了一個(gè)新的思路。其最根本的問(wèn)題是字典的構(gòu)造和選擇，通常有 兩種獲取方法：基于分析的方法和基于學(xué)習(xí)的方法。基于分析的方法，字典是公式化的，通 過(guò)數(shù)學(xué)模型計(jì)算得到，此方法下的字典結(jié)構(gòu)性較好，并且有比較成熟的快速數(shù)值計(jì)算方法， 字典本身由隱式矩陣表示，但由于這類(lèi)字典的結(jié)構(gòu)固定，對(duì)不同類(lèi)型的數(shù)據(jù)自適應(yīng)能力較 差，故有明顯的局限性?；趯W(xué)習(xí)的方法是近幾年的研究熱點(diǎn)，其字典是利用機(jī)器學(xué)習(xí)的方 法，通過(guò)對(duì)樣本（圖像集本身或者圖像集特征空間）的推理、學(xué)習(xí)得到，字典本身通常由顯 示矩陣表示，字典學(xué)習(xí)過(guò)程直觀(guān)，對(duì)數(shù)據(jù)的自適應(yīng)能力較好。然而隨著放大倍數(shù)的提高，傳 統(tǒng)的僅僅基于稀疏表示的圖像超分辨率重建算法得到的稀疏表示字典的適應(yīng)能力有限，并 不能很好的恢復(fù)出清晰的圖像，尤其是圖像的邊緣等細(xì)節(jié)信息，同時(shí)基于在線(xiàn)學(xué)習(xí)的方法 非常耗時(shí)，同樣不利于算法的實(shí)用。在龐雜的圖像數(shù)據(jù)中，如何高效的刻畫(huà)和學(xué)習(xí)出高、低 分辨率圖像之間的關(guān)系（或者知識(shí)），重建出清晰度高，可識(shí)別度好的高分辨率圖像仍然是 一個(gè)亟待解決的問(wèn)題。

【發(fā)明內(nèi)容】

[0005] 要解決的技術(shù)問(wèn)題
[0006] 為了避免現(xiàn)有技術(shù)的不足之處，本發(fā)明提出一種基于稀疏表示和自適應(yīng)濾波的圖 像超分辨率重建方法，可以克服傳統(tǒng)基于學(xué)習(xí)的稀疏表示字典泛化能力有限，當(dāng)放大倍數(shù) 增大（4倍及以上）時(shí)，傳統(tǒng)的方法難以重建出清晰的圖像邊緣等細(xì)節(jié)信息，以及傳統(tǒng)在線(xiàn) 學(xué)習(xí)的方法非常耗時(shí)，不利于算法的實(shí)用等問(wèn)題。
[0007] 技術(shù)方案
[0008] -種基于稀疏表示和自適應(yīng)濾波的圖像超分辨率重建方法，其特征在于步驟如 下：
[0009] 步驟1、構(gòu)造高、低分辨率圖像塊對(duì)集合：選取方差為σ，大小為kXk的高斯核， 對(duì)訓(xùn)練圖像集中的每一幅圖像進(jìn)行高斯卷積、按照采樣因子Ι/s進(jìn)行最近鄰下采樣，然后 對(duì)得到的低分辨率圖像進(jìn)行分割，并且根據(jù)圖像的大小wXh隨機(jī)選取數(shù)量為pxwx/Γ], ke[0· 1,0.5]，其中f>xwx/;]是kXwXh的向上取整部分、
為低分辨率圖像塊集合{Zi|ZieRm，i= 1，2,...，1}，令Z=[Zuz2,. ·.，zjeRmX1，結(jié)合對(duì)應(yīng)的高分辨率圖像塊集合{yi|yieRn,i=1, 2, . . . , 1}，令Y= [y^y2, . . . ,yjeRnX1，其中n=s2m，進(jìn)而構(gòu)成了規(guī)模為 1 的高、低 分辨率圖像塊對(duì)集合{(yi，Ζι) |yieRn，ZieRm，i= 1，2,...，1};所述訓(xùn)練圖像集包含150 幅空間分辨率均高于1024X720的圖像；
[0010] 步驟2、基于K-means聚類(lèi)和主成分分析的字典集訓(xùn)練：
[0011] 對(duì)低分辨率圖像塊集合對(duì)應(yīng)的圖像集矩陣Z= [Zl，z2,. ..，zj按列進(jìn)行中心化和 歸一化得到Z' =[z/，z' 2，...，z/ ]，然后對(duì)Z'進(jìn)行K-means聚類(lèi)，將集合Z'分解 為]1111]1個(gè)不相交的子集{2'」」=1，2，...，11111]1}，11111]1￡1?+，其中2 /;是包含所有屬于第」_ 類(lèi)的低分辨率圖像塊集合的矩陣，每一列代表一個(gè)圖像塊；記錄并存儲(chǔ)聚類(lèi)中心Clusters =[Q，C2, · · ·，CnJeRmX瞧，其中C#Rm，j= 1，2, · ··，num;
[0012] 對(duì)高分辨率圖像塊集合對(duì)應(yīng)的圖像集矩陣Y= [yi，y2,. . .，yj按列進(jìn)行中心化和 歸一化得到t=[y/，y2'，...，y/ ]，對(duì)應(yīng)于Z'分解后得到的num個(gè)不相交的子集， 將t直接分解為{Υ/ |j= 1，2,. . .，num}，其中Yj'是包含所有屬于第j類(lèi)的高分辨率 圖像塊集合的矩陣，每一列代表一個(gè)圖像塊，其中的列向量與{Z',|j=l，2，...，num}中 的列向量一一對(duì)應(yīng)；對(duì)Y/，j=1，2,. ..，num依次進(jìn)行主成分分析：F/If=?/;Σ;<,j= 1，2,. . .，num，得到每一類(lèi)數(shù)據(jù)對(duì)應(yīng)的特征向量集合U,，即該類(lèi)別的稀疏表示字典，記為D, =Uj,j= 1，2,· ··，num;記錄并存儲(chǔ)稀疏表示字典D= {D.j|j= 1，2,· · ·，num};
[0013] 步驟3、基于交叉迭代優(yōu)化的自適應(yīng)濾波器訓(xùn)練：
[0014] 輸入：K-means聚類(lèi)得到的低分辨率圖像塊集合{Z' |j=1，2, ...，num}和高 分辨率圖像塊集合{Y/ |j= 1，2,. . .，num}，稀疏表示字典D={Dj|j= 1，2,. . .，num}， 初始化稀疏表示系數(shù)矩陣A。，初始化高、低分辨率圖像塊映射矩陣Ρ。^RnXm，正則化參數(shù)λ1;λ2εR+，迭代次數(shù)TeR+，重構(gòu)誤差ε= 1X10 5;
[0015] 步驟4、在線(xiàn)低分辨率圖像的高分辨率重建：
[0016] 步驟a:將輸入的低分辨圖像ζ分割成大小
I子圖像塊，然后對(duì)所有的 子圖像塊進(jìn)行中心化和歸一化操作，得到子圖像塊集合2_
[0017]步驟b:根據(jù)聚類(lèi)中心Clusters= [Q,C2,. ..，C_]，通過(guò)最近鄰法判斷每個(gè)子圖 像塊 i= 1，2,· · ·，1 所屬的類(lèi)別je{1，2,· · ·，num}，并從仍，Ρ2,· · ·，P_}中 選擇對(duì)應(yīng)該類(lèi)別的高、低分辨率圖像塊映射關(guān)系矩陣P,，根據(jù)，計(jì)算得到重建后 的高分辨率圖像塊乂eiT',i= 1，2,. . .，1 ;
[0018] 步驟c:對(duì)存在重疊部分的圖像塊像素值進(jìn)行加權(quán)平均，得到最終的高分辨率重 建圖像y，放大倍數(shù)為s。
[0019] 所述σ為〇·1~2。
[0020] 所述kXk為 3Χ3、5Χ5 或 7X7。
[0021] 所述σ為1。
[0022] 有益效果
[0023] 本發(fā)明提出的一種基于稀疏表示和自適應(yīng)濾波的圖像超分辨率重建方法，首先利 用圖像內(nèi)容的結(jié)構(gòu)信息，對(duì)大量圖像進(jìn)行充分的聚類(lèi)，保證每一類(lèi)圖像集合中包含了強(qiáng)一 致性的圖像結(jié)構(gòu)信息，在此基礎(chǔ)上進(jìn)行的逐類(lèi)別主成分分析獲得了各個(gè)類(lèi)別的稀疏表示字 典，自適應(yīng)性強(qiáng)。采用分組最小角回歸法和A-bali上的歐幾里得投影法通過(guò)交叉迭代優(yōu)化 的方式求解出每一類(lèi)別的高、低分辨率圖像塊映射關(guān)系矩陣。最后直接利用訓(xùn)練學(xué)得的映 射關(guān)系矩陣對(duì)低分辨率圖像進(jìn)場(chǎng)處理，快速重建出清晰度較高的高分辨率圖像。
[0024] 本發(fā)明不僅提高了重建算法的自適應(yīng)能力，同時(shí)還大大提升了算法的執(zhí)行速度。 有效避免了稀疏表示字典適應(yīng)能力低，超分辨率重建圖像清晰度不高，且算法耗時(shí)等問(wèn)題。 大量可見(jiàn)光圖像的超分辨率重建實(shí)驗(yàn)，都驗(yàn)證了本發(fā)明的有效性。
【具體實(shí)施方式】
[0025] 現(xiàn)結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述：
[0026] 在大量離線(xiàn)高、低分辨率訓(xùn)練圖像集上，結(jié)合K-means聚類(lèi)和主成分分析兩種數(shù) 據(jù)處理方法，離線(xiàn)獲得適應(yīng)能力較強(qiáng)的稀疏表示字典集合，然后通過(guò)進(jìn)一步的回歸分析獲 得自適應(yīng)的高、低分辨率圖像映射關(guān)系，最后利用離線(xiàn)獲得的映射關(guān)系解決在線(xiàn)圖像的高 分辨率重建問(wèn)題。具體實(shí)施流程如下：
[0027]1.構(gòu)造高、低分辨率圖像塊對(duì)集合。
[0028] 選取方差為σ為1，大小為kXk的高斯核，對(duì)包含150幅高清（空間分辨率均高于 1024X720,且圖像內(nèi)容豐富）訓(xùn)練圖像集中的每一幅圖像進(jìn)行高斯卷積、按照采樣因子1/ s進(jìn)行最近鄰下采樣，然后對(duì)得到的低分辨率圖像進(jìn)行分割，并且按比例在每幅圖像中隨機(jī)
的子圖像塊，總共構(gòu)成1個(gè)大小為
的子圖像塊集 合，即低分辨率圖像塊集合h| #eRmi, =