本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種圖像超分辨率重建方法。
背景技術(shù)：
在獲取高分辨率圖像時，提高成像系統(tǒng)的物理分辨率是最直接有效的手段，然而對成像系統(tǒng)的物理分辨率的升級需要精密的制造技術(shù)和高成本的元器件。因此在大多情況下，會采用圖像處理技術(shù)如圖像超分辨率重建將低分辨率圖像轉(zhuǎn)化為高分辨率圖像。
然而現(xiàn)有的圖像超分辨率重建技術(shù)中，有些技術(shù)保證了高質(zhì)量的高分辨率圖像，但存在計算復(fù)雜耗時耗內(nèi)存的問題；還有些技術(shù)計算簡單快速，但無法保證能夠得到高質(zhì)量的圖像。
技術(shù)實現(xiàn)要素：
本發(fā)明提供一種圖像超分辨率重建方法，以實現(xiàn)將低分辨率圖像快速轉(zhuǎn)化為高質(zhì)量的高分辨率圖像的目的。
為實現(xiàn)上述目的，本發(fā)明提出一種圖像超分辨率重建方法，其包括以下步驟：將低分辨特征空間和高分辨特征空間構(gòu)造成多個成對設(shè)置的低分辨特征子空間和高分辨特征子空間；在成對設(shè)置的低分辨特征子空間和高分辨特征子空間之間建立線性映射關(guān)系；根據(jù)線性映射關(guān)系將低分辨率重構(gòu)圖像重構(gòu)成高分辨率重構(gòu)圖像。
其中，根據(jù)線性映射關(guān)系將低分辨率重構(gòu)圖像重構(gòu)成高分辨率重構(gòu)圖像的步驟包括：從低分辨率重構(gòu)圖像提取出低分辨率重構(gòu)圖像塊的低分辨率重構(gòu)圖像塊特征；確定低分辨率重構(gòu)圖像塊特征所對應(yīng)的低分辨特征子空間；根據(jù)確定低分辨特征子空間的線性映射關(guān)系將低分辨率重構(gòu)圖像塊特征映射成高分辨率重構(gòu)圖像塊特征；將高分辨率重構(gòu)圖像塊特征添加到低分辨率重構(gòu)圖像塊中。
其中，將低分辨特征空間和高分辨特征空間構(gòu)造成多個成對設(shè)置的低分辨特征子空間和高分辨特征子空間的步驟包括：獲取低分辨訓(xùn)練圖像集與高分辨訓(xùn)練圖像集，其中低分辨訓(xùn)練圖像集中包括至少一低分辨訓(xùn)練圖像，高分辨訓(xùn)練圖像集中包括與低分辨訓(xùn)練圖像成對設(shè)置的高分辨訓(xùn)練圖像；從低分辨訓(xùn)練圖像和高分辨訓(xùn)練圖像中提取成對設(shè)置的低分辨訓(xùn)練圖像塊和高分辨訓(xùn)練圖像塊的低分辨訓(xùn)練圖像塊特征和高分辨訓(xùn)練圖像塊特征，進(jìn)而形成低分辨訓(xùn)練圖像塊特征集和高分辨訓(xùn)練圖像塊特征集；將低分辨訓(xùn)練圖像塊特征集聚類成多個低分辨訓(xùn)練圖像塊特征子集；根據(jù)多個低分辨訓(xùn)練圖像塊特征子集將高分辨訓(xùn)練圖像塊特征集對應(yīng)的劃分成多個高分辨訓(xùn)練圖像塊特征子集。
其中，獲取低分辨訓(xùn)練圖像集與高分辨訓(xùn)練圖像集的步驟包括：獲取高分辨訓(xùn)練圖像集；對高分辨訓(xùn)練圖像集中的高分辨率訓(xùn)練圖像進(jìn)行n倍下采樣；通過插值方式對n倍下采樣后的高分辨率訓(xùn)練圖像進(jìn)行n倍上采樣，進(jìn)而形成低分辨訓(xùn)練圖像集中的低分辨訓(xùn)練圖像，其中n為大于或等于2的正整數(shù)。
其中，從低分辨訓(xùn)練圖像和高分辨訓(xùn)練圖像中提取成對設(shè)置的低分辨訓(xùn)練圖像塊和高分辨訓(xùn)練圖像塊的低分辨訓(xùn)練圖像塊特征和高分辨訓(xùn)練圖像塊特征的步驟包括：將高分辨訓(xùn)練圖像與低分辨訓(xùn)練圖像進(jìn)行相減；在相減后的圖像上進(jìn)行提取與低分辨訓(xùn)練圖像塊對應(yīng)的圖像塊并作為高分辨訓(xùn)練圖像塊特征。
其中，將低分辨訓(xùn)練圖像塊特征集聚類成多個低分辨訓(xùn)練圖像塊特征子集的步驟包括：利用主分成分析算法對低分辨訓(xùn)練圖像塊特征集進(jìn)行維數(shù)約簡，再利用k-means聚類算法將約簡后的低分辨訓(xùn)練圖像塊特征集聚類成多個低分辨訓(xùn)練圖像塊特征子集，并獲取每個低分辨訓(xùn)練圖像塊特征子集所對應(yīng)的聚類中心。
其中，在成對設(shè)置的低分辨特征子空間和高分辨特征子空間之間分別建立線性映射關(guān)系的步驟包括：根據(jù)成對設(shè)置的低分辨訓(xùn)練圖像塊特征子集和高分辨圖像塊特征子集形成成對設(shè)置的低分辨子字典和高分辨子字典；利用成對設(shè)置的低分辨子字典和高分辨子字典形成線性映射矩陣。
其中，根據(jù)成對設(shè)置的低分辨訓(xùn)練圖像塊特征子集和高分辨圖像塊特征子集形成成對設(shè)置的低分辨子字典和高分辨子字典的步驟包括：根據(jù)低分辨訓(xùn)練圖像塊特征子集形成低分辨子字典以及對應(yīng)的多個表示系數(shù)；在假定成對設(shè)置的低分辨子字典和高分辨子字典采用相同的表示系數(shù)的情況下，根據(jù)多個表示系數(shù)形成高分辨子字典。
其中，利用成對設(shè)置的低分辨子字典和高分辨子字典形成線性映射矩陣的步驟包括：利用脊回歸算法根據(jù)低分辨子字典和高分辨子字典形成線性映射矩陣。
其中，根據(jù)線性映射關(guān)系將低分辨率重構(gòu)圖像重構(gòu)成高分辨率重構(gòu)圖像的步驟包括：根據(jù)高分辨率重構(gòu)圖像和低分辨率重構(gòu)圖像的分辨率倍數(shù)通過插值方式對低分辨率重構(gòu)圖像進(jìn)行上采樣；從上采樣后的低分辨率重構(gòu)圖像提取低分辨率重構(gòu)圖像塊的低分辨率重構(gòu)圖像塊特征；確定低分辨率重構(gòu)圖像塊特征所對應(yīng)的低分辨訓(xùn)練圖像塊特征子集；根據(jù)低分辨訓(xùn)練圖像塊特征子集的線性映射矩陣將低分辨率重構(gòu)圖像塊特征映射成高分辨率重構(gòu)圖像塊特征；將高分辨率重構(gòu)圖像塊特征添加到低分辨率重構(gòu)圖像塊中；根據(jù)添加后的低分辨率重構(gòu)圖像塊形成高分辨率重構(gòu)圖像。
本發(fā)明圖像超分辨率重建方法包括以下步驟：將低分辨特征空間和高分辨特征空間構(gòu)造成多個成對設(shè)置的低分辨特征子空間和高分辨特征子空間；在成對設(shè)置的低分辨特征子空間和高分辨特征子空間之間建立線性映射關(guān)系；根據(jù)線性映射關(guān)系將低分辨率重構(gòu)圖像重構(gòu)成高分辨率重構(gòu)圖像。本發(fā)明圖像超分辨率重建方法中建立起多對低分辨率特征子空間和高分辨率特征子空間不同的線性映射關(guān)系，然后根據(jù)該多對線性映射關(guān)系將低分辨率重構(gòu)圖像重構(gòu)成高分辨率重構(gòu)圖像，此重構(gòu)過程中采用以特征來區(qū)分的多對線性映射關(guān)系，能夠更準(zhǔn)確的實現(xiàn)高分辨率重構(gòu)圖像的重構(gòu)，以得到高質(zhì)量的高分辨率圖像。
附圖說明
圖1是本發(fā)明圖像超分辨率重建方法一實施方式的流程示意圖。
具體實施方式
為使本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明的技術(shù)方案，下面結(jié)合附圖和具體實施方式對發(fā)明所提供的一種圖像超分辨率重建方法做進(jìn)一步詳細(xì)描述。
請參閱圖1，圖1是本發(fā)明圖像超分辨率重建方法一實施方式的流程示意圖。本實施方式圖像超分辨率重建方法包括以下步驟：
S1：將低分辨特征空間和高分辨特征空間構(gòu)造成多個成對設(shè)置的低分辨特征子空間和高分辨特征子空間。
本步驟中將特征空間劃分為多個特征子空間，并且使低分辨特征子空間與高分辨特征子空間一一對應(yīng)。其中，特征空間也可看作是一個包含多種圖像特征的集合，對該集合中的圖像特征進(jìn)行劃分，得到多個圖像特征的子集即特征子空間。
本步驟S1中將特征空間劃分為一一對應(yīng)的特征子空間后，進(jìn)行步驟S2，以獲得一一對應(yīng)的特征子空間之間的對應(yīng)關(guān)系。
S2：在成對設(shè)置的低分辨特征子空間和高分辨特征子空間之間建立線性映射關(guān)系。
本步驟S2中在多個成對的低分辨特征子空間及高分辨特征子空間之間建立起線性映射關(guān)系，得到多個線性映射關(guān)系。所建立的線性映射關(guān)系即表示低分辨特征子空間可通過該線性映射關(guān)系映射到高分辨特征子空間?；诒静襟E中所建立的線性映射關(guān)系，進(jìn)行步驟S3的操作。
S3：根據(jù)線性映射關(guān)系將低分辨率重構(gòu)圖像重構(gòu)成高分辨率重構(gòu)圖像。
本步驟S3最終得到高分辨率重構(gòu)圖像，實現(xiàn)了本發(fā)明圖像超分辨率重建方法的最終目的，即獲得高質(zhì)量的高分辨率圖像。根據(jù)步驟S2中的多個線性映射關(guān)系，將低分辨率重構(gòu)圖像重構(gòu)成高分辨率重構(gòu)圖像，在此過程中，低分辨率重構(gòu)圖像中有多個圖像特征，找到圖像特征對應(yīng)的特征子空間，即可依據(jù)對應(yīng)的線性映射關(guān)系將低分辨率重構(gòu)圖像重構(gòu)成高分辨率重構(gòu)圖像。
本實施方式首先建立以特征劃分的多個線性映射關(guān)系，即步驟S1和S2，相當(dāng)于機器學(xué)習(xí)過程；然后根據(jù)多個線性映射關(guān)系對低分辨率重構(gòu)圖像進(jìn)行重構(gòu)，即步驟S3，相當(dāng)于圖像處理過程。由于多個線性映射關(guān)系根據(jù)特征進(jìn)行劃分，因此能夠?qū)Φ头直媛手貥?gòu)圖像的各個圖像特征分別進(jìn)行重構(gòu)，得到更為準(zhǔn)確的高質(zhì)量高分辨重構(gòu)圖像。
本實施方式的上述步驟S1-S3為圖像超分辨率重建方法的基本步驟，在其他不同實施方式中，可使用不同的方法來實現(xiàn)上述步驟S1-S3，下面對每個步驟如何實現(xiàn)作進(jìn)一步描述。
一、對于步驟S1：將低分辨特征空間和高分辨特征空間構(gòu)造成多個成對設(shè)置的低分辨特征子空間和高分辨特征子空間。
其具體包括以下步驟S11-S14。
S11：獲取低分辨訓(xùn)練圖像集與高分辨訓(xùn)練圖像集。
所獲取的低分辨訓(xùn)練圖像集可看作步驟S1中的低分辨特征空間，高分辨訓(xùn)練圖像集可看作高分辨特征空間。其中，低分辨訓(xùn)練圖像集包括至少一低分辨訓(xùn)練圖像，高分辨訓(xùn)練圖像集包括與低分辨訓(xùn)練圖像成對設(shè)置的高分辨訓(xùn)練圖像。
具體來說，為了得到成對的高分辨訓(xùn)練圖像和低分辨訓(xùn)練圖像，本實施方式中是通過對高分辨訓(xùn)練圖像進(jìn)行處理得到與其對應(yīng)的低分辨訓(xùn)練圖像，過程如下。
S111：獲取高分辨訓(xùn)練圖像集。
S112：對高分辨訓(xùn)練圖像集中的高分辨訓(xùn)練圖像進(jìn)行n倍下采樣。
本步驟S112中n倍下采樣即將高分辨訓(xùn)練圖像縮小n倍，將其處理得到低分辨圖像。例如將分辨率為100×100的高分辨訓(xùn)練圖像進(jìn)行4倍下采樣，得到分辨率為50×50的低分辨圖像。由于在后面的步驟S2中需要計算得到低分辨特征子空間與高分辨特征子空間之間的線性映射關(guān)系，因此為了方便計算，需對低分辨圖像進(jìn)行處理，得到與高分辨訓(xùn)練圖像同樣緯度的低分辨訓(xùn)練圖像。本實施方式中采用下述步驟S113。
S113：通過插值方式對n倍下采樣后的高分辨訓(xùn)練圖像進(jìn)行n倍上采樣，進(jìn)而形成低分辨訓(xùn)練圖像集中的低分辨訓(xùn)練圖像，
n倍下采樣后的高分辨訓(xùn)練圖像即得到的低分辨圖像，采用插值方式對低分辨圖像進(jìn)行n倍上采樣，即放大n倍。例如對分辨率為50×50的低分辨圖像進(jìn)行n倍上采樣，得到100×100的低分辨訓(xùn)練圖像。上述n為大于或等于2的正整數(shù)。
在上述步驟S112、S113中，對高分辨訓(xùn)練圖像進(jìn)行處理時，可將其看作一個矩陣，例如對分辨率為100×100的高分辨圖像進(jìn)行4倍下采樣，即舍棄100×100的矩陣中的某些數(shù)值，以得到50×50的矩陣，然后采用插值方式對50×50的矩陣進(jìn)行4倍上采樣，即在矩陣中的空白處插入某個值，得到100×100的矩陣。
步驟S111中的高分辨訓(xùn)練圖像與步驟S113所得到的低分辨訓(xùn)練圖像雖然具有相同的分辨率，但經(jīng)過步驟S112和步驟S113的處理，低分辨訓(xùn)練圖像相對高分辨訓(xùn)練圖像已失去了高分辨訓(xùn)練圖像的部分特征。由此獲得成對的低分辨訓(xùn)練圖像和高分辨訓(xùn)練圖像。然后進(jìn)入步驟S12進(jìn)行特征提取。
S12：從低分辨訓(xùn)練圖像和高分辨訓(xùn)練圖像中提取成對設(shè)置的低分辨訓(xùn)練圖像塊和高分辨訓(xùn)練圖像塊的低分辨訓(xùn)練圖像塊特征和高分辨訓(xùn)練圖像塊特征，進(jìn)而形成低分辨訓(xùn)練圖像塊特征集和高分辨訓(xùn)練圖像塊特征集。
步驟S11中已獲取了成對的低分辨訓(xùn)練圖像和高分辨訓(xùn)練圖像，因此在本步驟S12中首先提取低分辨訓(xùn)練圖像塊的低分辨訓(xùn)練圖像塊特征，然后對應(yīng)提取高分辨訓(xùn)練圖像塊的高分辨訓(xùn)練圖像塊特征。
本步驟S12中低分辨訓(xùn)練圖像塊特征的提取過程主要包括劃分圖像塊和提取特征兩個步驟。在進(jìn)行圖像塊劃分前，可過濾掉低分辨訓(xùn)練圖像在步驟S113的n倍上采樣中通過插值方式形成的像素。然后進(jìn)行圖像塊劃分，例如對于100×100的低分辨訓(xùn)練圖像，將其分為10×10的低分辨訓(xùn)練圖像塊，若塊與塊之間不重疊，則可分為100個低分辨訓(xùn)練圖像塊，若塊與塊之間重疊，則可將其分為數(shù)量大于100的低分辨訓(xùn)練圖像塊。本實施方式中采用塊與塊之間部分重疊的劃分方式。
對劃分好的低分辨訓(xùn)練圖像塊進(jìn)行特征提取，可提取其梯度特征。例如定義水平方向一階梯度GX、豎直方向一階梯度GY，水平方向二階梯度LX、豎直方向二階梯度LY的算子，然后將低分辨訓(xùn)練圖像塊分別與水平方向一階梯度、豎直方向一階梯度、水平方向二階梯度、豎直方向二階梯度做卷積運算，得到低分辨訓(xùn)練圖像塊特征。
其中，可定義：
GX＝[1,0,0,0,-1]，GY＝[1,0,0,0,-1]T；
LX＝1/2[1,0,0,0,-2,0,0,0,1]，LY＝1/2[1,0,0,0,-2,0,0,0,1]T；
對所有的低分辨訓(xùn)練圖像塊進(jìn)行特征提取后得到低分辨訓(xùn)練圖像塊特征集。
在完成低分辨訓(xùn)練圖像塊特征的提取后，可采用同樣的方式進(jìn)行高分辨訓(xùn)練圖像塊特征的提取。例如，在同樣的位置對高分辨訓(xùn)練圖像進(jìn)行劃分，得到高分辨訓(xùn)練圖像塊；采用同樣的算子來獲取高分辨訓(xùn)練圖像塊的梯度特征，從而獲得高分辨訓(xùn)練圖像塊特征集。
本實施方式中采取另一種方式提取高分辨訓(xùn)練圖像塊特征：首先將高分辨訓(xùn)練圖像與低分辨訓(xùn)練圖像進(jìn)行相減，該過程是為了剔除高分辨訓(xùn)練圖像中的低分辨特征；然后在相減的圖像上提取與低分辨訓(xùn)練圖像塊對應(yīng)的圖像塊作為高分辨訓(xùn)練圖像塊特征，從而獲得高分辨訓(xùn)練圖像塊特征集。
上述步驟S11中以提到將所獲取的低分辨訓(xùn)練圖像集看作步驟S1中的低分辨特征空間，高分辨訓(xùn)練圖像集看作高分辨特征空間。在對步驟S1進(jìn)行理解時，也可將本步驟S12中的低分辨訓(xùn)練圖像塊特征集看作步驟S1中的低分辨特征空間，低分辨訓(xùn)練圖像塊特征集看作高分辨特征空間。
S13：將低分辨訓(xùn)練圖像塊特征集聚類成多個低分辨訓(xùn)練圖像塊特征子集。
本步驟S13中所得到的低分辨訓(xùn)練圖像塊特征子集即步驟S1中構(gòu)造成的低分辨特征子空間。本實施方式中利用主成分分析算法(PCA)對低分辨訓(xùn)練圖像塊特征集進(jìn)行維數(shù)約簡，再利用k-means聚類算法將約簡后的低分辨訓(xùn)練圖像塊特征集聚類成多個低分辨訓(xùn)練圖像塊特征子集，并獲取每個低分辨訓(xùn)練圖像塊特征子集所對應(yīng)的聚類中心即錨點。
S14：根據(jù)多個低分辨訓(xùn)練圖像塊特征子集將高分辨訓(xùn)練圖像塊特征集對應(yīng)的劃分成多個高分辨訓(xùn)練圖像塊特征子集。
本步驟S14中劃分得到的高分辨訓(xùn)練圖像塊特征子集即步驟S1中構(gòu)造成的高分辨特征子空間。本實施方式中步驟S13與步驟S14具有很大的相關(guān)性，對于這兩個步驟，在實際運算時，首先將高分辨訓(xùn)練圖像塊特征與低分辨訓(xùn)練圖像塊特征串聯(lián)后一起進(jìn)行維數(shù)約簡；然后利用k-means對約簡后的低分辨訓(xùn)練圖像塊特征集聚類成多個低分辨訓(xùn)練圖像塊特征子集，并獲取每個低分辨訓(xùn)練圖像塊特征子集所對應(yīng)的聚類中心；最后根據(jù)聚類中心同樣對維數(shù)約簡后的高分辨訓(xùn)練圖像塊特征進(jìn)行分類，得到多個高分辨訓(xùn)練圖像塊特征子集。
二、對于步驟S2：在成對設(shè)置的低分辨特征子空間和高分辨特征子空間之間建立線性映射關(guān)系。
其主要包括以下步驟S21、S22。
S21：根據(jù)成對設(shè)置的低分辨訓(xùn)練圖像塊特征子集和高分辨圖像塊特征子集形成成對設(shè)置的低分辨子字典和高分辨子字典。
假設(shè)：
低分辨訓(xùn)練圖像塊特征子集為X＝{xi}i∈Ω，其對應(yīng)有一個聚類中心即錨點c，高分辨訓(xùn)練圖像塊特征子集為Y＝{yi}i∈Ω，低分辨子字典為Bl，高分辨子字典為Bh，表示系數(shù)：A＝{ai}i∈Ω。其中，Ω為特征子集的索引集。
低分辨子字典為能夠表示低分辨訓(xùn)練圖像特征子集的特征向量，即低分辨子字典Bl乘以表示系數(shù)A＝{ai}i∈Ω近似于低分辨訓(xùn)練圖像塊特征子集X＝{xi}i∈Ω。
假設(shè)低分辨子字典與高分辨子字典具有相同的表示系數(shù)，因此高分辨子字典能夠表示高分辨訓(xùn)練圖像特征子集的特征向量，即高分辨子字典Bh乘以系數(shù)A＝{ai}i∈Ω近似于高分辨訓(xùn)練圖像塊特征子集Y＝{yi}i∈Ω。
相應(yīng)，獲得最優(yōu)的低分辨子字典和高分辨子字典以及表示系數(shù)的問題可表示為如下最小化問題：
上述最小化問題求解后，得到的最優(yōu)子字典和最優(yōu)表示系數(shù)相乘后最接近于圖像塊特征子集。
該最小化問題為復(fù)雜的雙級優(yōu)化問題，可通過交替迭代的方法近似求解。本實施方式中先求解低分辨子字典，然后根據(jù)低分辨子字典的表示系數(shù)求解高分辨子字典，即首先進(jìn)行步驟S211。
S211：根據(jù)低分辨訓(xùn)練圖像塊特征子集形成低分辨率子字典以及對應(yīng)的多個表示系數(shù)。
本步驟S211即對以下公式(1)進(jìn)行求解。
首先假設(shè)Bl已知，對公式(1)進(jìn)行求解得到：
將公式(2)帶入公式(1)中，得到如下關(guān)于求解Bl的最小化問題：
進(jìn)一步簡化公式(3)，假設(shè)Bl為正交，則可將公式(3)簡化為以下問題：
對于公式(4)的求解，實質(zhì)即求解X的主成分，因此可以通過主成分分析算法對低分辨訓(xùn)練圖像塊特征子集X＝{xi}i∈Ω中的低分辨訓(xùn)練圖像塊特征xi進(jìn)行主成分求解，并將得到的基向量作為低分辨子字典Bl的原子。
然后，將低分辨訓(xùn)練圖像塊特征進(jìn)一步投影至低分辨子字典來獲取表示系數(shù)：
S212：在假定成對設(shè)置的低分辨子字典和高分辨子字典采用相同的表示系數(shù)的情況下，根據(jù)多個表示系數(shù)形成高分辨子字典。
由于低分辨子字典和高分辨子字典具有相同的表示系數(shù)，高分辨子字典為：
通過最小二乘法根據(jù)多個表示系數(shù)形成高分辨子字典，即利用最小二乘法計算公式(6)由，得到：
Bh＝Y(jié)AT(AAT)-1 (7)
在得到低分辨子字典和高分辨子字典后進(jìn)行到步驟S22。
S22：利用成對設(shè)置的低分辨子字典和高分辨子字典形成線性映射矩陣。
首先假設(shè)輸入低分辨特征x，通過聚類中心(錨點)找到與低分辨特征x對應(yīng)的低分辨子字典，乘以該低分辨子字典和高分辨子字典之間的線性映射矩陣F后，輸出高分辨特征y。本步驟S22即利用步驟S21中求得的低分辨子字典和高分辨子字典來形成線性映射矩陣F。
本實施方式中利用脊回歸算法根據(jù)低分辨子字典和高分辨子字典形成線性映射矩陣。
上述公式(8)中為與x最相似的錨點ck對應(yīng)的第k個低分辨子字典，λ表示平衡重構(gòu)誤差的正則項的常數(shù)。對公式(8)進(jìn)行求解得到：
輸出的高分辨特征：
因此可得到第k個成對的低分辨子字典與高分辨子字典之間的線性映射矩陣：
采用同樣的方法得到成對設(shè)置的低分辨子字典和高分辨子字典之間的線性映射矩陣，即獲得低分辨圖像塊特征子集和高分辨圖像塊特征子集之間的線性映射矩陣，該線性映射矩陣即步驟S2中所說的線性映射關(guān)系，由于本實施方式中將圖像塊看作矩陣進(jìn)行計算，因此得到的線性映射關(guān)系為矩陣形式。
三、對于S3：根據(jù)線性映射關(guān)系將低分辨率重構(gòu)圖像重構(gòu)成高分辨率重構(gòu)圖像。
本步驟S3為在步驟S1和S2獲得線性映射關(guān)系后，通過線性映射關(guān)系對低分辨率重構(gòu)圖像進(jìn)行重構(gòu)，得到高分辨率重構(gòu)圖像。本步驟S3相當(dāng)于圖像處理階段，步驟S1、S2相當(dāng)于機器學(xué)習(xí)階段，因此本步驟S3中的對圖像的操作均對應(yīng)于步驟S1和S2中的操作，以保證圖像處理的準(zhǔn)確性。本步驟S3主要包括以下步驟S31-S34。
S31：從低分辨率重構(gòu)圖像提取低分辨率重構(gòu)圖像塊的低分辨率重構(gòu)圖像塊特征。
對應(yīng)于步驟S1中的圖像塊特征的提取過程即步驟S11、S12，首先根據(jù)高分辨率重構(gòu)圖像和低分辨率重構(gòu)圖像的分辨倍數(shù)通過插值方式對低分辨率重構(gòu)圖像進(jìn)行上采樣，使低分辨率重構(gòu)圖像與高分辨率重構(gòu)圖像處于同于緯度。
然后，從上采樣后的低分辨率重構(gòu)圖像提取低分辨率重構(gòu)圖像塊的低分辨率重構(gòu)圖像塊特征?？梢灶愃朴诓襟ES12，在低分辨率重構(gòu)圖像塊特征的提取過程中，過濾掉低分辨率重構(gòu)圖像在上采樣中通過插值方式形成的像素；可采用步驟S12中的算子對低分辨率重構(gòu)圖像塊中的梯度特征進(jìn)行提取。
S32：確定低分辨率重構(gòu)圖像塊特征所對應(yīng)的低分辨特征子空間。
對應(yīng)于步驟S13，首先利用主成分分析法對低分辨率重構(gòu)圖像塊特征進(jìn)行維數(shù)約簡；然后再確定維數(shù)約簡后的低分辨率重構(gòu)圖像塊特征所對應(yīng)的低分辨訓(xùn)練圖像塊特征子集。
在確定對應(yīng)的低分辨訓(xùn)練圖像塊特征子集的過程中，通過計算低分辨率重構(gòu)圖像塊特征與多個低分辨率訓(xùn)練圖像塊特征子集的聚類中心的最鄰近解來確定低分辨率重構(gòu)圖像塊特征所對應(yīng)的低分辨訓(xùn)練圖像塊特征子集。
S33：根據(jù)確定低分辨特征子空間的線性映射關(guān)系將低分辨率重構(gòu)圖像塊特征映射成高分辨率重構(gòu)圖像塊特征。
具體到本實施方式，即根據(jù)低分辨訓(xùn)練圖像塊特征子集的線性映射矩陣將低分辨率重構(gòu)圖像塊特征映射成高分辨率重構(gòu)圖像塊特征。
S34：將高分辨率重構(gòu)圖像塊特征添加到低分辨率重構(gòu)圖像塊中。
S35：根據(jù)添加后的低分辨率重構(gòu)圖像塊形成高分辨率重構(gòu)圖像，即將添加后的低分辨率重構(gòu)圖像塊重新組合形成高分辨率重構(gòu)圖像。
以上即本實施方式圖像超分辨率重建方法的所有步驟。在本實施方式中利用步驟S1和S2進(jìn)行機器學(xué)習(xí)，得到低分辨特征子空間和高分辨特征子空間之間的線性映射關(guān)系，然后在步驟S3中進(jìn)行圖像處理，基于線性映射關(guān)系，將低分辨率重構(gòu)圖像重構(gòu)成高質(zhì)量的高分辨率重構(gòu)圖像。
在使用本實施方式圖像超分辨率重建方法時，可對多種形式的圖像進(jìn)行處理，并不局限于RGB圖像。例如，由于人類視覺系統(tǒng)對亮度更為敏感，因此在對低分辨重構(gòu)圖像進(jìn)行處理時，重點對其亮度進(jìn)行處理。
在步驟S31中，將上采樣后的低分辨率重構(gòu)圖像從RGB顏色空間轉(zhuǎn)化成YCbCr顏色空間下的亮度圖像、藍(lán)色圖像和紅色圖像。然后從亮度圖像中提取低分辨率重構(gòu)圖像塊的低分辨率重構(gòu)圖像塊特征。
相應(yīng)的在步驟S1、S2機器學(xué)習(xí)的過程中，低分辨訓(xùn)練圖像和高分辨訓(xùn)練圖像也分別為YCbCr顏色空間下的亮度圖像。
在經(jīng)過步驟S32-S34得到添加后的低分辨率重構(gòu)圖像塊后，在步驟S35中根據(jù)添加后的低分辨率重構(gòu)圖像塊重構(gòu)亮度圖像，并進(jìn)一步將重構(gòu)后的亮度圖像與藍(lán)色圖像和紅色圖像從YCbCr顏色空間轉(zhuǎn)換回RGB顏色空間，得到處理后的高分辨率重構(gòu)圖像。
以上所述僅為本發(fā)明的實施方式，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。