本發(fā)明涉及圖像恢復(fù)領(lǐng)域，尤其是涉及了一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法。

背景技術(shù)：

圖像恢復(fù)常用于天文觀測、遙感遙測、生物科學、醫(yī)學影象、交通監(jiān)控等領(lǐng)域，消除非理想失真。具體地，在醫(yī)學影象領(lǐng)域內(nèi)，應(yīng)用于x光、ct等成像系統(tǒng)，用來抑制各種醫(yī)學成像系統(tǒng)或圖像獲取系統(tǒng)的噪聲，改善醫(yī)學圖像的分辨率。交通監(jiān)控領(lǐng)域，可以對視頻監(jiān)控中的模糊的駕駛員、車牌、車輛等信息進行鑒定識別，除此之外，圖像恢復(fù)還可用于對圖書館藏書中模糊褪色的文字進行識別，有利于保存文化遺跡。雖然在提高圖像分辨率方面的研究頗多，但是在原圖像細節(jié)不足的情況下，要給圖像去模糊的同時還需要合成合理的細節(jié)，尚且存在一定的挑戰(zhàn)。

本發(fā)明提出了一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法，能為圖像合成逼真的細節(jié)同時還能提升它們的分辨率?；诘头直媛瘦斎?，通過對高分辨率圖像像素的統(tǒng)計相關(guān)性的合理建模來表示一個多模態(tài)條件分布，使用一種pixelcnn架構(gòu)來定義在自然圖像上的強先驗，并使用了一個深度調(diào)節(jié)卷積網(wǎng)絡(luò)來聯(lián)合優(yōu)化這個先驗，最終輸出逼真的高分辨率圖像。本發(fā)明突破了細節(jié)不足的情況下無法恢復(fù)圖像的難題，設(shè)計了一個端到端訓(xùn)練的像素遞歸超分辨率模型，提高分辨率的同時生成合理細節(jié)，可以實現(xiàn)將低分辨率原圖恢復(fù)成高分辨率且細節(jié)逼真的圖像。

技術(shù)實現(xiàn)要素：

針對現(xiàn)有方法在細節(jié)不足的情況下無法恢復(fù)圖像的問題，設(shè)計了一個端到端訓(xùn)練的像素遞歸超分辨率模型，提高分辨率的同時生成合理細節(jié)，可以實現(xiàn)將低分辨率原圖恢復(fù)成高分辨率且細節(jié)逼真的圖像。

為解決上述問題，本發(fā)明提供一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法，其主要內(nèi)容包括：

(一)統(tǒng)計相關(guān)性；

(二)超分辨率網(wǎng)絡(luò)；

(三)條件網(wǎng)絡(luò)；

(四)先驗網(wǎng)絡(luò)；

(五)恢復(fù)圖像。

其中，所述的統(tǒng)計相關(guān)性，令x和y分別表示低分辨率和高分辨率圖像，其中y^*表示真實的高分辨率圖像，為了學習pθ(y|x)的參數(shù)模型，采用低分辨率輸入對應(yīng)真實高分辨率輸出的大數(shù)據(jù)集，表示為先收集一組高分辨率圖像，然后根據(jù)需要降低它們的分辨率，可以簡單地收集一個所需的大數(shù)據(jù)集，為了優(yōu)化條件分布p的參數(shù)θ，最大化條件對數(shù)似然目標，如下定義：

明確p(y|x)的形式，能夠?qū)Ω怕食直媛誓Ｐ瓦M行有效的學習和推斷，同時生成逼真的非模糊輸出。

進一步地，所述的概率超分辨率模型，概率超分辨率模型的最簡單的形式假定輸出像素在給定輸入的情況下是條件獨立的，因此p(y|x)的條件分布被分解成獨立像素預(yù)測的乘積，假設(shè)一個rgb輸出y有m個像素，每個像素具有三個顏色通道，即則有：

像素預(yù)測模型的兩種一般形式：高斯和多項分布，分別用來模擬連續(xù)和離散像素值。

進一步地，所述的高斯分布，

其中ci(x)表示通過卷積神經(jīng)網(wǎng)絡(luò)的x非線性變換的第i個元素，ci(x)是第i個輸出像素yi的估計平均值，σ²表示方差，通過最大化(1)的條件對數(shù)似然，減少最小化整個數(shù)據(jù)集的像素yi和通道ci(x)之間的均方誤差(mse)，基于mse回歸的超分辨率模型落入像素無關(guān)模型的族中，其中神經(jīng)網(wǎng)絡(luò)的輸出參數(shù)化了一組固定帶寬的高斯。

進一步地，所述的項分布，用一個多項分布作為像素預(yù)測模型，輸出維度離散化為k個可能值(例如k＝256)，其中yi∈{1,…,k}，基于多項softmax算子的像素預(yù)測模型表示為：

其中表示不同顏色通道和不同離散值的softmax權(quán)重。

其中，所述的超分辨率網(wǎng)絡(luò)，包括一個條件網(wǎng)絡(luò)和一個先驗網(wǎng)絡(luò)，其中條件網(wǎng)絡(luò)是一個卷積神經(jīng)網(wǎng)絡(luò)(cnn)，其接收低分辨率圖像作為輸入，然后輸出邏輯值——預(yù)測了每個高分辨率(hr)圖像像素的條件對數(shù)概率，而先驗網(wǎng)絡(luò)則是一個pixelcnn(像素卷積神經(jīng)網(wǎng)絡(luò))，其基于之前的隨機預(yù)測進行預(yù)測(用虛線表示)，該模型的概率分布是作為softmax運算符在來自優(yōu)先網(wǎng)絡(luò)和條件網(wǎng)絡(luò)的兩個邏輯集之和上計算而得。

進一步地，所述的模型的概率分布，給定輸入令表示一個條件網(wǎng)絡(luò)，預(yù)測對應(yīng)第i個輸出像素可以取的k個可能值的一個邏輯值向量，概率模型通過簡單地添加兩組邏輯值并對它們應(yīng)用softmax運算符，預(yù)測第i個輸出像素的分布：

p(yi|x,y＜i)＝softmax(ai(x)+bi(y＜i))(6)

為了聯(lián)合優(yōu)化a和b的參數(shù)，我們執(zhí)行隨機梯度上升來最大化(1)中的條件對數(shù)似然，即優(yōu)化了(6)中模型預(yù)測與離散真實標簽之間的交叉熵損失：

其中l(wèi)se(·)是對應(yīng)于softmax分母的對數(shù)的指數(shù)函數(shù)的和的對數(shù)運算符，1[k]表示k維獨熱指示向量，其第k維設(shè)置為1。

其中，所述的條件網(wǎng)絡(luò)，條件網(wǎng)絡(luò)是一個像素獨立預(yù)測模型，將低分辨率圖像映射到高分辨率圖像的概率框架，用(7)訓(xùn)練的模型傾向于忽略條件網(wǎng)絡(luò)，因為像素和先前高分辨率像素之間的統(tǒng)計相關(guān)性比其與低分辨率輸入的相關(guān)性更強，為了減輕這個問題，在目標中引入額外損失，以強制條件網(wǎng)絡(luò)進行優(yōu)化，這個額外損失通過softmax(ai(x))和真實標簽測量條件網(wǎng)絡(luò)的預(yù)測之間的交叉熵，實驗中優(yōu)化后的總損失是兩個交叉熵損失的總和：

一旦網(wǎng)絡(luò)被訓(xùn)練，從模型采樣即變得簡單，使用(6)從i＝1開始，首先對高分辨率像素進行采樣，然后逐像素地將先前采樣的像素值饋送回網(wǎng)絡(luò)，并繪制新的高分辨率像素，每個像素的三個通道依次順序生成；

考慮到貪婪解碼，總是選擇具有最大概率的像素值，并從條件的softmax中進行采樣，通過使用溫度參數(shù)τ>0來調(diào)整分布p的集中度：

為了控制采樣分布p(yi|x,y＜i)的集中度，只要將來自a和b的對數(shù)乘以參數(shù)τ即可，注意，當τ趨近于∞時，分布收斂于模式，并且采樣收斂到貪婪解碼。

其中，所述的先驗網(wǎng)絡(luò)，先驗網(wǎng)絡(luò)是一個pixelcnn，pixelcnn是一類強大的生成模型，它有易處理似然性從而易于進行抽樣，其核心的卷積神經(jīng)網(wǎng)絡(luò)計算在一個像素值上的概率分布，且受左側(cè)和上側(cè)的像素值約束，其基于之前的隨機預(yù)測進行預(yù)測，并定義在自然圖像上的強先驗，對輸出像素之間的統(tǒng)計相關(guān)性進行建模，然后利用一個深度條件卷積網(wǎng)絡(luò)來聯(lián)合優(yōu)化這個先驗，最終通過添加自然的高分辨率細節(jié)以使輸出看起來更逼真。

其中，所述的恢復(fù)圖像，以低分辨率圖像作為輸入，經(jīng)過條件網(wǎng)絡(luò)，通過一系列深度殘差網(wǎng)絡(luò)(resnet)區(qū)塊和轉(zhuǎn)置卷積層獲取8×8的rgb圖像，同時保持32個通道，最后一層使用1×1卷積將通道增加到256×3，并且使用所得到的激活，通過softmax運算符預(yù)測256個可能的子像素值的多項分布，該網(wǎng)絡(luò)提供了在像素的邊緣概率分布中吸收圖像全局結(jié)構(gòu)的能力，獨立地采樣子像素會將分布的分類進行混合；

先驗網(wǎng)絡(luò)提供了一種將子像素分布連接在一起的方式，并且允許取得彼此相關(guān)的樣本，使用20個門控pixelcnn層，每層32個通道，直到網(wǎng)絡(luò)的后面部分，在計算最終的聯(lián)合softmax分布之前添加來自條件網(wǎng)絡(luò)和先驗網(wǎng)絡(luò)的pre-softmax激活，最終輸出圖像，分辨率提高并且還原出原輸入的逼真細節(jié)。

附圖說明

圖1是本發(fā)明一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法的系統(tǒng)流程圖。

圖2是本發(fā)明一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法的數(shù)據(jù)集創(chuàng)建和訓(xùn)練示例。

圖3是本發(fā)明一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法的超分辨率模型網(wǎng)絡(luò)圖。

圖4是本發(fā)明一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法的恢復(fù)流程圖。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本發(fā)明作進一步詳細說明。

圖1是本發(fā)明一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法的系統(tǒng)流程圖。主要包括統(tǒng)計相關(guān)性、超分辨率網(wǎng)絡(luò)、條件網(wǎng)絡(luò)、先驗網(wǎng)絡(luò)、恢復(fù)圖像。

其中，所述的統(tǒng)計相關(guān)性，令x和y分別表示低分辨率和高分辨率圖像，其中y^*表示真實的高分辨率圖像，為了學習pθ(y|x)的參數(shù)模型，采用低分辨率輸入對應(yīng)真實高分辨率輸出的大數(shù)據(jù)集，表示為先收集一組高分辨率圖像，然后根據(jù)需要降低它們的分辨率，可以簡單地收集一個所需的大數(shù)據(jù)集，為了優(yōu)化條件分布p的參數(shù)θ，最大化條件對數(shù)似然目標，如下定義：

明確p(y|x)的形式，能夠?qū)Ω怕食直媛誓Ｐ瓦M行有效的學習和推斷，同時生成逼真的非模糊輸出。概率超分辨率模型的最簡單的形式假定輸出像素在給定輸入的情況下是條件獨立的，因此p(y|x)的條件分布被分解成獨立像素預(yù)測的乘積，假設(shè)一個rgb輸出y有m個像素，每個像素具有三個顏色通道，即則有：

像素預(yù)測模型的兩種一般形式：高斯和多項分布，分別用來模擬連續(xù)和離散像素值。

高斯分布，

其中ci(x)表示通過卷積神經(jīng)網(wǎng)絡(luò)的x非線性變換的第i個元素，ci(x)是第i個輸出像素yi的估計平均值，σ²表示方差，通過最大化(1)的條件對數(shù)似然，減少最小化整個數(shù)據(jù)集的像素yi和通道ci(x)之間的均方誤差(mse)，基于mse回歸的超分辨率模型落入像素無關(guān)模型的族中，其中神經(jīng)網(wǎng)絡(luò)的輸出參數(shù)化了一組固定帶寬的高斯。

多項分布，用一個多項分布作為像素預(yù)測模型，輸出維度離散化為k個可能值(例如k＝256)，其中yi∈{1,…,k}，基于多項softmax算子的像素預(yù)測模型表示為：

其中表示不同顏色通道和不同離散值的softmax權(quán)重。

其中，所述的超分辨率網(wǎng)絡(luò)，包括一個條件網(wǎng)絡(luò)和一個先驗網(wǎng)絡(luò)，其中條件網(wǎng)絡(luò)是一個卷積神經(jīng)網(wǎng)絡(luò)(cnn)，其接收低分辨率圖像作為輸入，然后輸出邏輯值——預(yù)測了每個高分辨率(hr)圖像像素的條件對數(shù)概率，而先驗網(wǎng)絡(luò)則是一個pixelcnn(像素卷積神經(jīng)網(wǎng)絡(luò))，其基于之前的隨機預(yù)測進行預(yù)測(用虛線表示)，該模型的概率分布是作為softmax運算符在來自優(yōu)先網(wǎng)絡(luò)和條件網(wǎng)絡(luò)的兩個邏輯集之和上計算而得。

給定輸入令表示一個條件網(wǎng)絡(luò)，預(yù)測對應(yīng)第i個輸出像素可以取的k個可能值的一個邏輯值向量，概率模型通過簡單地添加兩組邏輯值并對它們應(yīng)用softmax運算符，預(yù)測第i個輸出像素的分布：

p(yi|x,y＜i)＝softmax(ai(x)+bi(y＜i))(6)

為了聯(lián)合優(yōu)化a和b的參數(shù)，我們執(zhí)行隨機梯度上升來最大化(1)中的條件對數(shù)似然，即優(yōu)化了(6)中模型預(yù)測與離散真實標簽之間的交叉熵損失：

其中l(wèi)se(·)是對應(yīng)于softmax分母的對數(shù)的指數(shù)函數(shù)的和的對數(shù)運算符，1[k]表示k維獨熱指示向量，其第k維設(shè)置為1。

其中，所述的條件網(wǎng)絡(luò)，條件網(wǎng)絡(luò)是一個像素獨立預(yù)測模型，將低分辨率圖像映射到高分辨率圖像的概率框架，用(7)訓(xùn)練的模型傾向于忽略條件網(wǎng)絡(luò)，因為像素和先前高分辨率像素之間的統(tǒng)計相關(guān)性比其與低分辨率輸入的相關(guān)性更強，為了減輕這個問題，在目標中引入額外損失，以強制條件網(wǎng)絡(luò)進行優(yōu)化，這個額外損失通過softmax(ai(x))和真實標簽測量條件網(wǎng)絡(luò)的預(yù)測之間的交叉熵，實驗中優(yōu)化后的總損失是兩個交叉熵損失的總和：

一旦網(wǎng)絡(luò)被訓(xùn)練，從模型采樣即變得簡單，使用(6)從i＝1開始，首先對高分辨率像素進行采樣，然后逐像素地將先前采樣的像素值饋送回網(wǎng)絡(luò)，并繪制新的高分辨率像素，每個像素的三個通道依次順序生成；

考慮到貪婪解碼，總是選擇具有最大概率的像素值，并從條件的softmax中進行采樣，通過使用溫度參數(shù)τ>0來調(diào)整分布p的集中度：

為了控制采樣分布p(yi|x,y＜i)的集中度，只要將來自a和b的對數(shù)乘以參數(shù)τ即可，注意，當τ趨近于∞時，分布收斂于模式，并且采樣收斂到貪婪解碼。

其中，所述的先驗網(wǎng)絡(luò)，先驗網(wǎng)絡(luò)是一個pixelcnn，pixelcnn是一類強大的生成模型，它有易處理似然性從而易于進行抽樣，其核心的卷積神經(jīng)網(wǎng)絡(luò)計算在一個像素值上的概率分布，且受左側(cè)和上側(cè)的像素值約束，其基于之前的隨機預(yù)測進行預(yù)測，并定義在自然圖像上的強先驗，對輸出像素之間的統(tǒng)計相關(guān)性進行建模，然后利用一個深度條件卷積網(wǎng)絡(luò)來聯(lián)合優(yōu)化這個先驗，最終通過添加自然的高分辨率細節(jié)以使輸出看起來更逼真。

其中，所述的恢復(fù)圖像，以低分辨率圖像作為輸入，經(jīng)過條件網(wǎng)絡(luò)，通過一系列深度殘差網(wǎng)絡(luò)(resnet)區(qū)塊和轉(zhuǎn)置卷積層獲取8×8的rgb圖像，同時保持32個通道，最后一層使用1×1卷積將通道增加到256×3，并且使用所得到的激活，通過softmax運算符預(yù)測256個可能的子像素值的多項分布，該網(wǎng)絡(luò)提供了在像素的邊緣概率分布中吸收圖像全局結(jié)構(gòu)的能力，獨立地采樣子像素會將分布的分類進行混合。先驗網(wǎng)絡(luò)提供了一種將子像素分布連接在一起的方式，并且允許取得彼此相關(guān)的樣本，使用20個門控pixelcnn層，每層32個通道，直到網(wǎng)絡(luò)的后面部分，在計算最終的聯(lián)合softmax分布之前添加來自條件網(wǎng)絡(luò)和先驗網(wǎng)絡(luò)的pre-softmax激活，最終輸出圖像，分辨率提高并且還原出原輸入的逼真細節(jié)。

圖2是本發(fā)明一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法的數(shù)據(jù)集創(chuàng)建和訓(xùn)練示例。圖中上半部分是試驗數(shù)據(jù)集中輸入輸出對的一種創(chuàng)建方式，下半部分是，在這個數(shù)據(jù)集上訓(xùn)練的幾個算法的預(yù)測示例，像素無關(guān)的l2回歸和交叉熵模型沒有表現(xiàn)出多模態(tài)預(yù)測，pixelcnn輸出是隨機的，且多個樣本時出現(xiàn)在每個角的概率各為50％。

圖3是本發(fā)明一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法的超分辨率模型網(wǎng)絡(luò)圖。超分辨率網(wǎng)絡(luò)包含了一個調(diào)節(jié)網(wǎng)絡(luò)和一個先驗網(wǎng)絡(luò)。其中調(diào)節(jié)網(wǎng)絡(luò)是一個cnn，其接收低分辨率圖像作為輸入，然后輸出邏輯值——預(yù)測了每個高分辨率(hr)圖像像素的條件對數(shù)概率。而先驗網(wǎng)絡(luò)則是一個pixelcnn，其基于之前的隨機預(yù)測進行預(yù)測(用虛線表示)。該模型的概率分布是作為softmax運算符在來自優(yōu)先網(wǎng)絡(luò)和調(diào)節(jié)網(wǎng)絡(luò)的兩個邏輯集之和上計算而得的。

圖4是本發(fā)明一種基于像素遞歸超分辨率模型恢復(fù)圖像的方法的恢復(fù)流程圖?；谝粡埖头直媛瘦斎耄ㄟ^對高分辨率圖像像素的統(tǒng)計相關(guān)性的合理建模來表示一個多模態(tài)條件分布，使用一種pixelcnn架構(gòu)來定義在自然圖像上的強先驗，并使用了一個深度調(diào)節(jié)卷積網(wǎng)絡(luò)來聯(lián)合優(yōu)化這個先驗，最終輸出逼真的高分辨率圖像。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實施例的細節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進和變型也應(yīng)視為本發(fā)明的保護范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。