本發(fā)明涉及圖像處理和質(zhì)量改善技術(shù)領(lǐng)域，尤其涉及一種圖像超分辨率重建方法及系統(tǒng)。
背景技術(shù)：
由于成像系統(tǒng)傳感器陣列排列密度的限制、欠采樣引起的頻譜混疊效應(yīng)、大氣影響及平臺(tái)和景物間的相對運(yùn)動(dòng)等原因，制約了圖像空間分辨率的提升能力。因此，研究一種提高圖像空間分辨率的處理技術(shù)，在不改變觀測系統(tǒng)的硬件條件下提升圖像的成像質(zhì)量與空間分辨率，具有重要的意義。圖像超分辨率重建技術(shù)作為一種提升圖像空間分辨率的有效方法，通過對一幅或具有互補(bǔ)信息的多幅低分辨率觀測圖像進(jìn)行處理，可重構(gòu)一幅或多幅高分辨率的圖像。常用的圖像超分辨率重建主要進(jìn)展包括：基于插值的方法、基于頻率域的方法、基于重建的方法和基于學(xué)習(xí)的方法；目前，利用基于重建的方法，融合多視圖像的互補(bǔ)信息進(jìn)行圖像超分辨率重建的技術(shù)，可以在不改變成像系統(tǒng)的前提下，實(shí)現(xiàn)圖像空間分辨率的有效提高，進(jìn)而改進(jìn)圖像的視覺效果和解譯能力。
已有的多幅圖像超分辨率重建模型已經(jīng)很成熟，對于大部分問題都具有普適性，在超模式情況下，現(xiàn)有的正則化模型已能很好的解決各種問題；在理想條件下，最大后驗(yàn)估計(jì)(map)框架中模型的改進(jìn)已很難對重建效果產(chǎn)生較大影響，因而本發(fā)明嘗試從提升模型相關(guān)參數(shù)求解精度上提高重建的效果。在map超分辨率重建框架中，存在許多參數(shù)的求解，包括模型參數(shù)，如運(yùn)動(dòng)位移矢量、模糊函數(shù)等。參數(shù)的求解精度與重構(gòu)高分辨率圖像密切相關(guān)，因此，如何確定高精度的參數(shù)來獲取最優(yōu)的超分辨率結(jié)果是非常關(guān)鍵的問題。
技術(shù)實(shí)現(xiàn)要素：
本發(fā)明的目的是提供一種圖像超分辨率重建方法及系統(tǒng)，可有效地提高超分辨率重建過程中運(yùn)動(dòng)位移矢量和模糊參數(shù)的精度，從而獲得最優(yōu)的超分辨率重建結(jié)果。
為實(shí)現(xiàn)上述目的，本發(fā)明提供了如下方案：
一種圖像超分辨率重建方法，所述方法包括：
獲取具有互補(bǔ)信息的多幅低分辨率圖像的像素?cái)?shù)據(jù)；
根據(jù)所述像素?cái)?shù)據(jù)構(gòu)建亮度恒定約束與梯度約束選擇性結(jié)合的數(shù)據(jù)一致性項(xiàng)；
對匹配特征點(diǎn)進(jìn)行初始流矢量更新，得到更新后的初始流矢量；
根據(jù)所述數(shù)據(jù)一致性項(xiàng)構(gòu)造運(yùn)動(dòng)估計(jì)變分模型，將所述更新后的初始流矢量代入所述運(yùn)動(dòng)估計(jì)變分模型，計(jì)算得到各像素的最優(yōu)運(yùn)動(dòng)流矢量；
構(gòu)建基于l0范數(shù)的亮度與梯度聯(lián)合約束圖像先驗(yàn)?zāi)Ｐ偷哪：烙?jì)能量函數(shù)，根據(jù)所述模糊估計(jì)能量函數(shù)計(jì)算最優(yōu)模糊核；
根據(jù)所述最優(yōu)運(yùn)動(dòng)流矢量建立幾何運(yùn)動(dòng)位移矩陣，根據(jù)所述最優(yōu)模糊核建立模糊矩陣；
根據(jù)所述幾何運(yùn)動(dòng)矩陣和所述模糊矩陣建立變分模型，采用預(yù)條件共軛梯度法對所述變分模型進(jìn)行迭代計(jì)算，得到重建的高分辨率圖像。
可選的，所述根據(jù)所述像素?cái)?shù)據(jù)構(gòu)建亮度恒定約束與梯度約束選擇性結(jié)合的數(shù)據(jù)一致性項(xiàng)，具體包括：
計(jì)算像素點(diǎn)的亮度恒定約束，所述亮度恒定約束計(jì)算公式為：
di(u,x)＝||i2(x+u)-i1(x)||
其中i1(x)表示參考低分辨率圖在x處的像素值，i2(x+u)表示運(yùn)動(dòng)低分辨率圖在相對應(yīng)的x+u處的像素值；
計(jì)算像素點(diǎn)的梯度約束，所述梯度約束計(jì)算公式為：
其中i1(x)表示參考低分辨率圖在x處的像素值，i2(x+u)表示運(yùn)動(dòng)低分辨率圖在相對應(yīng)的x+u處的像素值，
利用平均場近似的方法整合二值變量α(x)，得到平均變量
根據(jù)所述亮度恒定約束和所述梯度約束構(gòu)建亮度恒定約束與梯度約束選擇性結(jié)合的數(shù)據(jù)一致性項(xiàng)，所述數(shù)據(jù)一致性項(xiàng)表示為：
其中，x表示像素點(diǎn)的二維坐標(biāo)，u表示像素點(diǎn)的位移。
可選的，所述對匹配特征點(diǎn)進(jìn)行初始流矢量更新，得到更新后的初始流矢量，具體包括：
對參考圖和目標(biāo)圖進(jìn)行檢測和匹配，得到多層匹配特征點(diǎn)i；
計(jì)算所述匹配特征點(diǎn)i的相應(yīng)位移值作為其運(yùn)動(dòng)流矢量ui；
計(jì)算以所述匹配特征點(diǎn)i為中心的5×5窗口內(nèi)各像素在上一個(gè)粗尺度流估計(jì)中的流矢量uj；
計(jì)算所述ui與所述uj的歐氏距離dj＝||ui-uj||2；
當(dāng)所述窗口內(nèi)所有像素計(jì)算的所述歐氏距離dj的值大于1時(shí)，將所述匹配特征點(diǎn)i的所述流矢量ui作為所述匹配特征點(diǎn)i所在層的更新流矢量；
對每一層的所述匹配特征點(diǎn)i進(jìn)行初始流矢量更新，得到多層更新后的初始流矢量。
可選的，所述根據(jù)所述數(shù)據(jù)一致性項(xiàng)構(gòu)造運(yùn)動(dòng)估計(jì)變分模型，將所述更新后的初始流矢量代入所述運(yùn)動(dòng)估計(jì)變分模型，計(jì)算得到各像素的最優(yōu)運(yùn)動(dòng)流矢量，具體包括：
根據(jù)所述數(shù)據(jù)一致性項(xiàng)構(gòu)造所述運(yùn)動(dòng)估計(jì)變分模型，所述運(yùn)動(dòng)估計(jì)變分模型表示為：
其中，x表示像素點(diǎn)二維坐標(biāo)，u表示像素點(diǎn)的位移，u(x)表示圖像的正則化先驗(yàn)，γ表示正則化參數(shù)；
將所述更新后的初始流矢量代入所述運(yùn)動(dòng)估計(jì)變分模型，利用變量分割的方法，通過使能量函數(shù)最小化，逐像素的得到各像素的最優(yōu)運(yùn)動(dòng)流矢量。
可選的，所述構(gòu)建基于l0范數(shù)的亮度與梯度聯(lián)合約束圖像先驗(yàn)?zāi)Ｐ偷哪：烙?jì)能量函數(shù)，根據(jù)所述模糊估計(jì)能量函數(shù)計(jì)算最優(yōu)模糊核，具體包括：
構(gòu)建l0范數(shù)的亮度與梯度聯(lián)合約束的圖像先驗(yàn)?zāi)Ｐ?，所述圖像先驗(yàn)?zāi)Ｐ捅磉_(dá)式為：
其中，σ是平衡亮度與梯度約束程度的參數(shù)，y表示干凈圖像，
根據(jù)所述圖像先驗(yàn)?zāi)Ｐ蜆?gòu)建所述模糊估計(jì)能量函數(shù)，所述模糊估計(jì)能量函數(shù)表示為：
其中，g表示模糊圖像中像素點(diǎn)的灰度值，y表示干凈圖像中像素點(diǎn)的灰度值，k表示模糊核，μ是所述圖像先驗(yàn)?zāi)Ｐ蚿(y)的參數(shù)，r是先驗(yàn)約束項(xiàng)
通過變量分割方法對中間圖像和所述模糊核交替迭代求解；
利用雙邊濾波的方法對所述中間圖像去除噪聲并保持圖像邊緣信息；
在迭代收斂后得到使能量函數(shù)最小化的所述最優(yōu)模糊核。
可選的，所述根據(jù)所述幾何運(yùn)動(dòng)矩陣和所述模糊矩陣建立變分模型，采用預(yù)條件共軛梯度法對所述變分模型進(jìn)行迭代計(jì)算，得到重建的高分辨率圖像，具體包括：
建立所述多幅低分辨率圖像的圖像觀測模型，其中第k幅低分辨率圖像的圖像觀測模型為：
gk＝dbmkz+nk
其中，z表示高分辨率圖像，d表示根據(jù)采樣因子確定的亞采樣矩陣，b表示所述高分辨率圖像z的所述模糊矩陣，mk表示第k幅圖像與參考圖像之間的所述幾何運(yùn)動(dòng)矩陣，nk表示第k幅低分辨率圖像的噪聲；
利用最大后驗(yàn)估計(jì)理論框架對所述圖像觀測模型進(jìn)行貝葉斯推導(dǎo)，建立由數(shù)據(jù)一致性約束和圖像先驗(yàn)約束組成的變分模型，所述變分模型表示為：
其中，z表示高分辨率圖像，gk表示所述圖像觀測模型，d表示根據(jù)采樣因子確定的亞采樣矩陣，b表示所述高分辨率圖像z的所述模糊矩陣，mk表示第k幅圖像與參考圖像之間的所述幾何運(yùn)動(dòng)矩陣，λ為正則化參數(shù)，q表示二維拉普拉斯算子；
對所述低分辨率圖像進(jìn)行雙三次內(nèi)插，得到插值圖；
根據(jù)所述變分模型對所述低分辨率圖像的像素值進(jìn)行迭代計(jì)算，將所述插值圖的像素值作為所述迭代計(jì)算過程的初始輸入值，將上一次求解得到的圖像像素值結(jié)果做為下一次的輸入像素值，采用預(yù)條件共軛梯度法進(jìn)行多次迭代求解，得到重建的高分辨率圖像。
本發(fā)明還提供了一種圖像超分辨率重建系統(tǒng)，所述系統(tǒng)包括：
圖像獲取模塊，用于獲取具有互補(bǔ)信息的多幅低分辨率圖像的像素?cái)?shù)據(jù)；
數(shù)據(jù)一致性項(xiàng)構(gòu)建模塊，用于根據(jù)所述像素?cái)?shù)據(jù)構(gòu)建亮度恒定約束與梯度約束選擇性結(jié)合的數(shù)據(jù)一致性項(xiàng)；
流矢量更新模塊，用于對匹配特征點(diǎn)進(jìn)行初始流矢量更新，得到更新后的初始流矢量；
流矢量計(jì)算模塊，用于根據(jù)所述數(shù)據(jù)一致性項(xiàng)構(gòu)造運(yùn)動(dòng)估計(jì)變分模型，將所述更新后的初始流矢量代入所述運(yùn)動(dòng)估計(jì)變分模型，計(jì)算得到各像素的最優(yōu)運(yùn)動(dòng)流矢量；
模糊核計(jì)算模塊，用于構(gòu)建基于l0范數(shù)的亮度與梯度聯(lián)合約束圖像先驗(yàn)?zāi)Ｐ偷哪：烙?jì)能量函數(shù)，根據(jù)所述模糊估計(jì)能量函數(shù)計(jì)算最優(yōu)模糊核；
矩陣建立模塊，用于根據(jù)所述最優(yōu)運(yùn)動(dòng)流矢量建立幾何運(yùn)動(dòng)位移矩陣，根據(jù)所述最優(yōu)模糊核建立模糊矩陣；
圖像重建模塊，用于根據(jù)所述幾何運(yùn)動(dòng)矩陣和所述模糊矩陣建立變分模型，采用預(yù)條件共軛梯度法對所述變分模型進(jìn)行迭代計(jì)算，得到重建的高分辨率圖像。
可選的，所述數(shù)據(jù)一致性項(xiàng)構(gòu)建模塊具體包括：
亮度恒定約束計(jì)算單元，用于計(jì)算像素點(diǎn)的亮度恒定約束，所述亮度恒定約束計(jì)算公式為：
di(u,x)＝||i2(x+u)-i1(x)||
其中i1(x)表示參考低分辨率圖在x處的像素值，i2(x+u)表示運(yùn)動(dòng)低分辨率圖在相對應(yīng)的x+u處的像素值；
梯度約束計(jì)算單元，用于計(jì)算像素點(diǎn)的梯度約束，所述梯度約束計(jì)算公式為：
其中i1(x)表示參考低分辨率圖在x處的像素值，i2(x+u)表示運(yùn)動(dòng)低分辨率圖在相對應(yīng)的x+u處的像素值，
平均變量計(jì)算單元，用于利用平均場近似的方法整合二值變量α(x)，得到平均變量
數(shù)據(jù)一致性項(xiàng)構(gòu)建單元，用于根據(jù)所述亮度恒定約束和所述梯度約束構(gòu)建亮度恒定約束與梯度約束選擇性結(jié)合的數(shù)據(jù)一致性項(xiàng)，所述數(shù)據(jù)一致性項(xiàng)表示為：
其中，x表示像素點(diǎn)的二維坐標(biāo)，u表示像素點(diǎn)的位移。
可選的，所述流矢量更新模塊具體包括：
匹配特征點(diǎn)獲取單元，用于對參考圖和目標(biāo)圖進(jìn)行檢測和匹配，得到多層匹配特征點(diǎn)i；
當(dāng)前運(yùn)動(dòng)流矢量獲取單元，用于計(jì)算所述匹配特征點(diǎn)i的相應(yīng)位移值作為其運(yùn)動(dòng)流矢量ui；
窗口像素運(yùn)動(dòng)流矢量獲取單元，用于計(jì)算以所述匹配特征點(diǎn)i為中心的5×5窗口內(nèi)各像素在上一個(gè)粗尺度流估計(jì)中的流矢量uj；
距離計(jì)算單元，用于計(jì)算所述ui與所述uj的歐氏距離dj＝||ui-uj||2；
流矢量更新單元，用于當(dāng)所述窗口內(nèi)所有像素計(jì)算的所述歐氏距離dj的值大于1時(shí)，將所述匹配特征點(diǎn)i的所述流矢量ui作為所述匹配特征點(diǎn)i所在層的更新流矢量；
多層流矢量更新單元，用于對每一層的所述匹配特征點(diǎn)i進(jìn)行初始流矢量更新，得到多層更新后的初始流矢量。
可選的，所述模糊核計(jì)算模塊具體包括：
圖像先驗(yàn)?zāi)Ｐ蜆?gòu)建單元，用于構(gòu)建l0范數(shù)的亮度與梯度聯(lián)合約束的圖像先驗(yàn)?zāi)Ｐ?，所述圖像先驗(yàn)?zāi)Ｐ捅磉_(dá)式為：
其中，σ是平衡亮度與梯度約束程度的參數(shù)，y表示干凈圖像，
模糊估計(jì)能量函數(shù)構(gòu)建單元，用于根據(jù)所述圖像先驗(yàn)?zāi)Ｐ蜆?gòu)建所述模糊估計(jì)能量函數(shù)，所述模糊估計(jì)能量函數(shù)表示為：
其中，g表示模糊圖像中像素點(diǎn)的灰度值，y表示干凈圖像中像素點(diǎn)的灰度值，k表示模糊核，μ是所述圖像先驗(yàn)?zāi)Ｐ蚿(y)的參數(shù)，r是先驗(yàn)約束項(xiàng)
迭代求解單元，用于通過變量分割方法對中間圖像和所述模糊核交替迭代求解；
保邊去噪單元，用于利用雙邊濾波的方法對所述中間圖像去除噪聲并保持圖像邊緣信息；
最優(yōu)模糊核獲取單元，用于在迭代收斂后得到使能量函數(shù)最小化的所述最優(yōu)模糊核。
根據(jù)本發(fā)明提供的具體實(shí)施例，本發(fā)明公開了以下技術(shù)效果：
1、本發(fā)明通過亮度恒定約束與梯度約束選擇性結(jié)合的光流估計(jì)方法解決了圖像獲取時(shí)光照強(qiáng)度或方向發(fā)生改變引起圖像變化的問題，可以增強(qiáng)對奇異點(diǎn)的檢測剔除，適用性更強(qiáng)且提高了運(yùn)動(dòng)流矢量的計(jì)算精度；構(gòu)建基于l0范數(shù)的亮度與梯度聯(lián)合約束圖像先驗(yàn)?zāi)Ｐ偷哪：烙?jì)能量函數(shù)來對模糊核進(jìn)行求解，可以有效抑制噪聲和偽影等情況，提高模糊核估計(jì)的精度。
2、對匹配特征點(diǎn)進(jìn)行初始流矢量更新的方法，減少了對粗水平流估計(jì)結(jié)果的依賴，可以很好保護(hù)運(yùn)動(dòng)細(xì)節(jié)，有效的改善細(xì)微運(yùn)動(dòng)結(jié)構(gòu)估計(jì)的精確度。
3、在中間圖與模糊核的交替迭代求解過程中，利用雙邊濾波的方法對中間圖像去除噪聲并保持突出的邊緣信息，提高模糊核求解的精度。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明圖像超分辨率重建方法實(shí)施例的流程示意圖；
圖2為本發(fā)明圖像超分辨率重建系統(tǒng)實(shí)施例的結(jié)構(gòu)示意圖。
具體實(shí)施方式
下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
本發(fā)明的目的是提供一種圖像超分辨率重建方法及系統(tǒng)。
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式對本發(fā)明作進(jìn)一步詳細(xì)的說明。
圖1為本發(fā)明一種圖像超分辨率重建方法的流程示意圖，如圖1所示，本發(fā)明方法具體包括以下步驟：
步驟101：獲取具有互補(bǔ)信息的多幅低分辨率圖像的像素?cái)?shù)據(jù)。
圖像超分辨率重建技術(shù)就是利用一組低質(zhì)量、低分辨率的圖像(或運(yùn)動(dòng)序列)來產(chǎn)生單幅高質(zhì)量、高分辨率圖像。本發(fā)明涉及一種亮度-梯度聯(lián)合約束參數(shù)求解的圖像超分辨率重建方法，對于多幅具有亞像素位移的欠采樣圖像，可以把各圖像上由于亞像素位移而存在的互補(bǔ)信息融合到同一幅圖像中，從而達(dá)到提高分辨率的目的。
步驟102：根據(jù)所述像素?cái)?shù)據(jù)構(gòu)建亮度恒定約束與梯度約束選擇性結(jié)合的數(shù)據(jù)一致性項(xiàng)。
在光流運(yùn)動(dòng)估計(jì)變分模型求解中，采用亮度恒定約束與梯度約束選擇性結(jié)合的光流估計(jì)方法獲得模型的運(yùn)動(dòng)參數(shù)。
所述步驟102的具體實(shí)現(xiàn)包括以下子步驟：
計(jì)算像素點(diǎn)的亮度恒定約束，所述亮度恒定約束計(jì)算公式為：
di(u,x)＝||i2(x+u)-i1(x)||(1)
其中i1(x)表示參考低分辨率圖在x處的像素值，i2(x+u)表示運(yùn)動(dòng)低分辨率圖在相對應(yīng)的x+u處的像素值。
計(jì)算像素點(diǎn)的梯度約束，所述梯度約束計(jì)算公式為：
其中i1(x)表示參考低分辨率圖在x處的像素值，i2(x+u)表示運(yùn)動(dòng)低分辨率圖在相對應(yīng)的x+u處的像素值，
構(gòu)建亮度恒定約束與梯度約束選擇性結(jié)合的數(shù)據(jù)一致性項(xiàng)為：
其中，x表示像素點(diǎn)二維坐標(biāo)，u表示像素點(diǎn)的位移，di表示對應(yīng)像素點(diǎn)的亮度約束，
本發(fā)明對于二值變量α(x)，利用平均場近似的方法整合α(x)來消除二值過程，簡化問題，簡化后得到的平均變量
用平均變量
其中，x表示像素點(diǎn)的二維坐標(biāo)，u表示像素點(diǎn)的位移。
變分模型一般包括兩部分：數(shù)據(jù)一致性項(xiàng)+正則化項(xiàng)(先驗(yàn)項(xiàng))，這里構(gòu)建所述亮度恒定約束與梯度約束選擇性結(jié)合的數(shù)據(jù)一致性項(xiàng)的作用是為了構(gòu)造光流運(yùn)動(dòng)估計(jì)變分模型的數(shù)據(jù)一致性項(xiàng)，從而通過模型計(jì)算得到像素位移參數(shù)u，模型不同，參數(shù)u的求解也不同。
本發(fā)明采用的上述亮度恒定約束與梯度約束選擇性結(jié)合的光流估計(jì)方法解決了圖像獲取時(shí)因光照強(qiáng)度或方向發(fā)生改變引起圖像變化的問題，增強(qiáng)了對奇異點(diǎn)的檢測剔除，適用性更強(qiáng)。
步驟103：對匹配特征點(diǎn)進(jìn)行初始流矢量更新，得到更新后的初始流矢量。
為提高運(yùn)動(dòng)流估計(jì)的精度，同時(shí)兼顧大位移和細(xì)微位移的情況，本發(fā)明采用由粗到精的金字塔型多尺度流估計(jì)方法。在多尺度流估計(jì)中，利用sift特征檢測和匹配的方法進(jìn)行多層次初始流更新，有效的抑制粗尺度水平時(shí)流估計(jì)的偶然偏差導(dǎo)致的估計(jì)誤差，減少對粗水平流估計(jì)結(jié)果的依賴，可以很好的保護(hù)運(yùn)動(dòng)細(xì)節(jié)，有效的改善細(xì)微運(yùn)動(dòng)結(jié)構(gòu)估計(jì)的精確度，從而提高求解出的運(yùn)動(dòng)參數(shù)的精度。
為了穩(wěn)健的篩選出重復(fù)的流矢量(在上一個(gè)較粗尺度流估計(jì)時(shí)已經(jīng)存在的流矢量)，本發(fā)明上述步驟103具體由以下步驟實(shí)現(xiàn)：
對參考圖和目標(biāo)圖進(jìn)行檢測和匹配，得到多層匹配特征點(diǎn)i，從而計(jì)算匹配特征點(diǎn)的相應(yīng)位移值作為其運(yùn)動(dòng)參數(shù)。
計(jì)算所述匹配特征點(diǎn)i的相應(yīng)位移值作為其運(yùn)動(dòng)流矢量ui，運(yùn)動(dòng)流矢量就是運(yùn)動(dòng)位移，求運(yùn)動(dòng)位移參數(shù)的作用是為了求解超分辨率重建模型中的幾何運(yùn)動(dòng)矩陣m，進(jìn)而通過重建模型求解超分辨率圖像。
計(jì)算以所述匹配特征點(diǎn)i為中心的5×5窗口內(nèi)各像素在上一個(gè)粗尺度流估計(jì)中的流矢量uj。所述5×5窗口是應(yīng)對特征點(diǎn)匹配可能產(chǎn)生的誤差，篩選出上一層已經(jīng)存在的流估計(jì)，避免在當(dāng)前層產(chǎn)生的重復(fù)。
計(jì)算所述ui與所述uj的歐氏距離：dj＝||ui-uj||2(6)
當(dāng)所述窗口內(nèi)所有像素計(jì)算的所述歐氏距離dj的值大于1時(shí)，將所述匹配特征點(diǎn)i的所述流矢量ui作為所述匹配特征點(diǎn)i所在層的更新流矢量。
對每一層的所述匹配特征點(diǎn)i進(jìn)行初始流矢量更新，得到多層更新后的初始流矢量。
在每一層計(jì)算時(shí)，最初由特征點(diǎn)匹配得到的運(yùn)動(dòng)位移矢量分布在整個(gè)圖像中，但通過局部的窗口比較，計(jì)算歐氏距離后，只有很少的有特色的流矢量保存下來，用于更新當(dāng)前層的初始流矢量。本發(fā)明通過在每一層對特征點(diǎn)流矢量的計(jì)算，解決流矢量初始化的問題，對相應(yīng)的初始流矢量進(jìn)行了更新，減少了運(yùn)動(dòng)位移矢量對粗水平流估計(jì)結(jié)果的依賴，從而提高了后續(xù)求解出的運(yùn)動(dòng)位移參數(shù)的精度。
步驟104：根據(jù)所述數(shù)據(jù)一致性項(xiàng)構(gòu)造運(yùn)動(dòng)估計(jì)變分模型，將所述更新后的初始流矢量代入所述運(yùn)動(dòng)估計(jì)變分模型，計(jì)算得到各像素的最優(yōu)運(yùn)動(dòng)流矢量，具體包括：
根據(jù)所述數(shù)據(jù)一致性項(xiàng)構(gòu)造所述運(yùn)動(dòng)估計(jì)變分模型，所述運(yùn)動(dòng)估計(jì)變分模型表示為：
其中，x表示像素點(diǎn)二維坐標(biāo)，u表示像素點(diǎn)的位移，u(x)表示圖像的正則化先驗(yàn)，γ表示正則化參數(shù)。
在每個(gè)尺度進(jìn)行流估計(jì)時(shí)，將所述更新后的初始流矢量(即像素點(diǎn)的位移u)代入所述運(yùn)動(dòng)估計(jì)變分模型(7)，利用變量分割的方法，通過使能量函數(shù)最小化，逐像素的得到各像素的最優(yōu)運(yùn)動(dòng)流矢量。
步驟105：構(gòu)建基于l0范數(shù)的亮度與梯度聯(lián)合約束圖像先驗(yàn)?zāi)Ｐ偷哪：烙?jì)能量函數(shù)，根據(jù)所述模糊估計(jì)能量函數(shù)計(jì)算最優(yōu)模糊核。
現(xiàn)有技術(shù)中的亮度先驗(yàn)約束基于單獨(dú)的像元，在圖像復(fù)原中會(huì)引入嚴(yán)重的噪聲和偽影。梯度先驗(yàn)約束基于相鄰像素差異，在圖像復(fù)原中會(huì)增強(qiáng)平滑，減少偽影。因此在本發(fā)明的變分模型求解中，構(gòu)建l0范數(shù)的亮度與梯度聯(lián)合約束的圖像先驗(yàn)?zāi)Ｐ?，通過l0范數(shù)的亮度與梯度聯(lián)合約束的盲模糊估計(jì)方法獲得模型的模糊函數(shù)，以增強(qiáng)圖像的先驗(yàn)信息，減少噪聲與偽影效果，抑制梯度約束導(dǎo)致的過度平滑。
所述步驟105具體包括：
構(gòu)建l0范數(shù)的亮度與梯度聯(lián)合約束的圖像先驗(yàn)?zāi)Ｐ停鰣D像先驗(yàn)?zāi)Ｐ捅磉_(dá)式為：
其中，σ是平衡亮度與梯度約束程度的參數(shù)，y表示干凈圖像，
根據(jù)所述圖像先驗(yàn)?zāi)Ｐ蜆?gòu)建所述模糊估計(jì)能量函數(shù)，所述模糊估計(jì)能量函數(shù)表示為：
其中，g表示模糊圖像中像素點(diǎn)的灰度值，y表示干凈圖像中像素點(diǎn)的灰度值，k表示模糊核，μ是所述圖像先驗(yàn)?zāi)Ｐ蚿(y)的參數(shù)，r是先驗(yàn)約束項(xiàng)
本發(fā)明采用的上述亮度與梯度的聯(lián)合約束可以增強(qiáng)圖像的先驗(yàn)信息，減少噪聲與偽影效果，抑制梯度約束會(huì)導(dǎo)致的過度平滑。
上述模糊估計(jì)能量函數(shù)(9)中除參數(shù)外，主要有干凈圖像和模糊核k兩個(gè)需要求解的未知變量。通過使用變量分割方法，即固定一個(gè)變量值，求解另一個(gè)變量值的方法，來對中間圖像y′和模糊核k′進(jìn)行交替迭代求解，獲得使能量函數(shù)最小化的最優(yōu)結(jié)果。同時(shí)，在中間圖與模糊核的交替迭代求解過程中，利用雙邊濾波的方法對所述中間圖像去除噪聲并保持突出的邊緣信息，提高模糊核求解的精度。在迭代收斂后，最終得到的中間圖y′和模糊核k′就是模糊估計(jì)能量函數(shù)(9)中所要求的干凈圖像和模糊核k。
本發(fā)明在模糊核估計(jì)時(shí)采用的上述亮度與梯度聯(lián)合約束的數(shù)據(jù)一致性項(xiàng)可以有效抑制噪聲和偽影等情況，提高模糊核估計(jì)的精度。并且本發(fā)明在交替迭代求解時(shí)，利用雙邊濾波的方法對中間圖像去除噪聲并保持突出的邊緣信息，提高了模糊核求解的精度。
步驟106：根據(jù)所述最優(yōu)運(yùn)動(dòng)流矢量建立幾何運(yùn)動(dòng)位移矩陣，根據(jù)所述最優(yōu)模糊核建立模糊矩陣。
所述幾何運(yùn)動(dòng)位移矩陣m和所述模糊矩陣b用于建立由數(shù)據(jù)一致性約束和圖像先驗(yàn)約束組成的變分模型，從而求解重建的高分辨率圖像。
步驟107：根據(jù)所述幾何運(yùn)動(dòng)矩陣和所述模糊矩陣建立變分模型，采用預(yù)條件共軛梯度法對所述變分模型進(jìn)行迭代計(jì)算，得到重建的高分辨率圖像。
本步驟利用最大后驗(yàn)估計(jì)(map)理論框架對圖像重建的逆問題進(jìn)行貝葉斯推導(dǎo)，得到進(jìn)行圖像重建的變分模型，使得在已知低分辨率觀測圖像序列的前提下，高分辨率圖像出現(xiàn)的后驗(yàn)概率達(dá)到最大。
所述步驟107具體包括：
建立所述多幅低分辨率圖像的圖像觀測模型，其中第k幅低分辨率圖像的圖像觀測模型為：
gk＝dbmkz+nk(10)
其中，z表示高分辨率圖像，d表示根據(jù)采樣因子確定的亞采樣矩陣，b表示所述高分辨率圖像z的所述模糊矩陣，mk表示第k幅圖像與參考圖像之間的所述幾何運(yùn)動(dòng)矩陣，nk表示第k幅低分辨率圖像的噪聲。
利用最大后驗(yàn)估計(jì)理論框架對所述圖像觀測模型進(jìn)行貝葉斯推導(dǎo)，建立由數(shù)據(jù)一致性約束和圖像先驗(yàn)約束組成的變分模型，所述變分模型表示為：
其中，z表示高分辨率圖像，gk表示所述圖像觀測模型，d表示根據(jù)采樣因子確定的亞采樣矩陣，b表示所述高分辨率圖像z的所述模糊矩陣，mk表示第k幅圖像與參考圖像之間的所述幾何運(yùn)動(dòng)矩陣；λ為正則化參數(shù)，控制求解過程中兩項(xiàng)的相對貢獻(xiàn)量；q表示二維拉普拉斯算子。
利用雙三次內(nèi)插進(jìn)行影像初始化：對作為參考圖的所述低分辨率圖像進(jìn)行雙三次內(nèi)插，得到的插值圖作為下面最優(yōu)化求解過程中的初始輸入影像。
根據(jù)已知數(shù)據(jù)，對上述變分模型利用最優(yōu)化方法進(jìn)行求解。在最優(yōu)化求解過程中，根據(jù)所述變分模型對所述低分辨率圖像的像素值進(jìn)行迭代計(jì)算，將所述插值圖的像素值作為所述迭代計(jì)算過程的初始輸入值，將上一次求解得到的圖像像素值結(jié)果做為下一次的輸入像素值，采用預(yù)條件共軛梯度法進(jìn)行多次迭代求解。每次迭代后，判斷是否滿足迭代終止條件，即判斷前后兩次迭代圖像像素值之差的平方和除以當(dāng)前圖像像素值的平方和是否小于預(yù)設(shè)的閾值，若小于所述閾值則終止迭代輸出重建結(jié)果圖像z，否則繼續(xù)進(jìn)行下次迭代，直至滿足迭代終止條件。所述迭代指重復(fù)使用上述預(yù)條件共軛梯度方法求解，對求解的結(jié)果圖像進(jìn)行迭代，上一次的求解結(jié)果做為下一次的輸入影像，最終采用預(yù)條件共軛梯度最優(yōu)化方法得到重建的高分辨率圖像z。
圖2為本發(fā)明一種圖像超分辨率重建系統(tǒng)的結(jié)構(gòu)示意圖，如圖2所示，所述系統(tǒng)包括：
圖像獲取模塊201，用于獲取具有互補(bǔ)信息的多幅低分辨率圖像的像素?cái)?shù)據(jù)。
數(shù)據(jù)一致性項(xiàng)構(gòu)建模塊202，用于根據(jù)所述像素?cái)?shù)據(jù)構(gòu)建亮度恒定約束與梯度約束選擇性結(jié)合的數(shù)據(jù)一致性項(xiàng)。
流矢量更新模塊203，用于對匹配特征點(diǎn)進(jìn)行初始流矢量更新，得到更新后的初始流矢量。
流矢量計(jì)算模塊204，用于根據(jù)所述數(shù)據(jù)一致性項(xiàng)構(gòu)造運(yùn)動(dòng)估計(jì)變分模型，將所述更新后的初始流矢量代入所述運(yùn)動(dòng)估計(jì)變分模型，計(jì)算得到各像素的最優(yōu)運(yùn)動(dòng)流矢量。
模糊核計(jì)算模塊205，用于構(gòu)建基于l0范數(shù)的亮度與梯度聯(lián)合約束圖像先驗(yàn)?zāi)Ｐ偷哪：烙?jì)能量函數(shù)，根據(jù)所述模糊估計(jì)能量函數(shù)計(jì)算最優(yōu)模糊核。
矩陣建立模塊206，用于根據(jù)所述最優(yōu)運(yùn)動(dòng)流矢量建立幾何運(yùn)動(dòng)位移矩陣，根據(jù)所述最優(yōu)模糊核建立模糊矩陣。
圖像重建模塊207，用于根據(jù)所述幾何運(yùn)動(dòng)矩陣和所述模糊矩陣建立變分模型，采用預(yù)條件共軛梯度法對所述變分模型進(jìn)行迭代計(jì)算，得到重建的高分辨率圖像。
其中，所述數(shù)據(jù)一致性項(xiàng)構(gòu)建模塊202具體包括：
亮度恒定約束計(jì)算單元，用于計(jì)算像素點(diǎn)的亮度恒定約束，所述亮度恒定約束計(jì)算公式為：
di(u,x)＝||i2(x+u)-i1(x)||
其中i1(x)表示參考低分辨率圖在x處的像素值，i2(x+u)表示運(yùn)動(dòng)低分辨率圖在相對應(yīng)的x+u處的像素值。
梯度約束計(jì)算單元，用于計(jì)算像素點(diǎn)的梯度約束，所述梯度約束計(jì)算公式為：
其中i1(x)表示參考低分辨率圖在x處的像素值，i2(x+u)表示運(yùn)動(dòng)低分辨率圖在相對應(yīng)的x+u處的像素值，
平均變量計(jì)算單元，用于利用平均場近似的方法整合二值變量α(x)，得到平均變量
數(shù)據(jù)一致性項(xiàng)構(gòu)建單元，用于根據(jù)所述亮度恒定約束和所述梯度約束構(gòu)建亮度恒定約束與梯度約束選擇性結(jié)合的數(shù)據(jù)一致性項(xiàng)，所述數(shù)據(jù)一致性項(xiàng)表示為：
其中，x表示像素點(diǎn)的二維坐標(biāo)，u表示像素點(diǎn)的位移。
所述流矢量更新模塊203具體包括：
匹配特征點(diǎn)獲取單元，用于對參考圖和目標(biāo)圖進(jìn)行檢測和匹配，得到多層匹配特征點(diǎn)i。
當(dāng)前運(yùn)動(dòng)流矢量獲取單元，用于計(jì)算所述匹配特征點(diǎn)i的相應(yīng)位移值作為其運(yùn)動(dòng)流矢量ui。
窗口像素運(yùn)動(dòng)流矢量獲取單元，用于計(jì)算以所述匹配特征點(diǎn)i為中心的5×5窗口內(nèi)各像素在上一個(gè)粗尺度流估計(jì)中的流矢量uj。
距離計(jì)算單元，用于計(jì)算所述ui與所述uj的歐氏距離dj＝||ui-uj||2。
流矢量更新單元，用于當(dāng)所述窗口內(nèi)所有像素計(jì)算的所述歐氏距離dj的值大于1時(shí)，將所述匹配特征點(diǎn)i的所述流矢量ui作為所述匹配特征點(diǎn)i所在層的更新流矢量。
多層流矢量更新單元，用于對每一層的所述匹配特征點(diǎn)i進(jìn)行初始流矢量更新，得到多層更新后的初始流矢量。
所述流矢量計(jì)算模塊204具體包括：
運(yùn)動(dòng)估計(jì)變分模型構(gòu)造單元，用于根據(jù)所述數(shù)據(jù)一致性項(xiàng)構(gòu)造所述運(yùn)動(dòng)估計(jì)變分模型，所述運(yùn)動(dòng)估計(jì)變分模型表示為：
其中，x表示像素點(diǎn)二維坐標(biāo)，u表示像素點(diǎn)的位移，u(x)表示圖像的正則化先驗(yàn)，γ表示正則化參數(shù)。
最優(yōu)運(yùn)動(dòng)流矢量獲取單元，用于將所述更新后的初始流矢量代入所述運(yùn)動(dòng)估計(jì)變分模型，利用變量分割的方法，通過使能量函數(shù)最小化，逐像素的得到各像素的最優(yōu)運(yùn)動(dòng)流矢量。
所述模糊核計(jì)算模塊205具體包括：
圖像先驗(yàn)?zāi)Ｐ蜆?gòu)建單元，用于構(gòu)建l0范數(shù)的亮度與梯度聯(lián)合約束的圖像先驗(yàn)?zāi)Ｐ?，所述圖像先驗(yàn)?zāi)Ｐ捅磉_(dá)式為：
其中，σ是平衡亮度與梯度約束程度的參數(shù)，y表示干凈圖像，
模糊估計(jì)能量函數(shù)構(gòu)建單元，用于根據(jù)所述圖像先驗(yàn)?zāi)Ｐ蜆?gòu)建所述模糊估計(jì)能量函數(shù)，所述模糊估計(jì)能量函數(shù)表示為：
其中，g表示模糊圖像中像素點(diǎn)的灰度值，y表示干凈圖像中像素點(diǎn)的灰度值，k表示模糊核，μ是所述圖像先驗(yàn)?zāi)Ｐ蚿(y)的參數(shù)，r是先驗(yàn)約束項(xiàng)
迭代求解單元，用于通過變量分割方法對中間圖像和所述模糊核交替迭代求解。
保邊去噪單元，用于利用雙邊濾波的方法對所述中間圖像去除噪聲并保持圖像邊緣信息。
最優(yōu)模糊核獲取單元，用于在迭代收斂后得到使能量函數(shù)最小化的所述最優(yōu)模糊核。
所述圖像重建模塊207具體包括：
圖像觀測模型建立單元，用于建立所述多幅低分辨率圖像的圖像觀測模型，其中第k幅低分辨率圖像的圖像觀測模型為：
gk＝dbmkz+nk
其中，z表示高分辨率圖像，d表示根據(jù)采樣因子確定的亞采樣矩陣，b表示所述高分辨率圖像z的所述模糊矩陣，mk表示第k幅圖像與參考圖像之間的所述幾何運(yùn)動(dòng)矩陣，nk表示第k幅低分辨率圖像的噪聲。
聯(lián)合約束變分模型建立單元，用于利用最大后驗(yàn)估計(jì)理論框架對所述圖像觀測模型進(jìn)行貝葉斯推導(dǎo)，建立由數(shù)據(jù)一致性約束和圖像先驗(yàn)約束組成的變分模型，所述變分模型表示為：
其中，z表示高分辨率圖像，gk表示所述圖像觀測模型，d表示根據(jù)采樣因子確定的亞采樣矩陣，b表示所述高分辨率圖像z的所述模糊矩陣，mk表示第k幅圖像與參考圖像之間的所述幾何運(yùn)動(dòng)矩陣，λ為正則化參數(shù)，q表示二維拉普拉斯算子。
差值圖獲取單元，用于對所述低分辨率圖像進(jìn)行雙三次內(nèi)插，得到插值圖。
高分辨率圖像獲取單元，用于根據(jù)所述變分模型對所述低分辨率圖像的像素值進(jìn)行迭代計(jì)算，將所述插值圖的像素值作為所述迭代計(jì)算過程的初始輸入值，將上一次求解得到的圖像像素值結(jié)果做為下一次的輸入像素值，采用預(yù)條件共軛梯度法進(jìn)行多次迭代求解，得到重建的高分辨率圖像。
本發(fā)明一種圖像超分辨率重建系統(tǒng)解決了圖像獲取時(shí)光照強(qiáng)度或方向發(fā)生改變引起圖像變化的問題，可以增強(qiáng)對奇異點(diǎn)的檢測剔除，適用性更強(qiáng)且提高了運(yùn)動(dòng)流矢量的計(jì)算精度。所述模糊核計(jì)算模塊通過構(gòu)建基于l0范數(shù)的亮度與梯度聯(lián)合約束圖像先驗(yàn)?zāi)Ｐ偷哪：烙?jì)能量函數(shù)來對模糊核進(jìn)行求解，可以有效抑制噪聲和偽影等情況，提高模糊核估計(jì)的精度。所述流矢量更新模塊對匹配特征點(diǎn)進(jìn)行初始流矢量更新，減少了對粗水平流估計(jì)結(jié)果的依賴，可以很好保護(hù)運(yùn)動(dòng)細(xì)節(jié)，有效的改善細(xì)微運(yùn)動(dòng)結(jié)構(gòu)估計(jì)的精確度。所述模糊核計(jì)算模塊在中間圖與模糊核的交替迭代求解過程中，還利用雙邊濾波的方法對中間圖像去除噪聲并保持突出的邊緣信息，提高了模糊核求解的精度。
本文中應(yīng)用了具體個(gè)例對本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處。綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。