本公開涉及圖像處理，更具體地涉及一種圖像超分辨率重建模型的訓(xùn)練方法及裝置。

背景技術(shù)：

1、圖像超分辨率重建方法是指通過采用適當(dāng)?shù)闹亟ㄋ惴▉淼玫脚c目標(biāo)圖像所對應(yīng)的更高分辨率圖像?；谏疃葘W(xué)習(xí)的超分辨率方法被相繼提出，然而大多數(shù)方法都存在圖像參數(shù)量過多、網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜的特點，導(dǎo)致將超分辨率重建任務(wù)在邊緣設(shè)備或移動設(shè)備上實現(xiàn)困難。

2、相關(guān)技術(shù)中為解決上述問題，采用了輕量化處理，減少模型參數(shù)量從而實現(xiàn)減少推理時長，雖然降低了模型推理時長，但是重建后的圖像邊緣、紋理不夠豐富，難以達到既可以減少模型推理時長又可以實現(xiàn)重建后圖像視覺效果良好的效果。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，本公開提供了一種圖像超分辨率重建模型的訓(xùn)練方法及裝置。

2、根據(jù)本公開的第一個方面，提供了一種圖像超分辨率重建模型的訓(xùn)練方法，包括：對第一圖像進行退化處理，得到第二圖像，第二圖像的分辨率小于第一圖像的分辨率；利用多卷積分支對第二圖像進行特征提取，得到特征圖像，其中，多卷積分支包括第一多卷積分支和第二多卷積分支，第一多卷積分支包括邊緣提取算子和去噪算子；對特征圖像進行上采樣處理，得到目標(biāo)圖像；根據(jù)第一圖像和目標(biāo)圖像之間的損失值，對初始圖像超分辨率重建模型的參數(shù)進行調(diào)整，得到中間圖像超分辨率重建模型，其中，中間圖像超分辨率重建模型包括多卷積分支；對中間圖像超分辨率重建模型進行重參數(shù)處理，得到目標(biāo)圖像超分辨率重建模型。

3、根據(jù)本公開的實施例，利用多卷積分支對第二圖像進行特征提取，得到特征圖像，包括：利用第一多卷積分支對第二圖像進行特征提取，得到第一特征圖像；利用增強殘差塊對第一特征圖像進行特征提取，得到第二特征圖像，其中，增強殘差塊包括第二多卷積分支；對第一特征圖像和第二特征圖像進行殘差相加處理，得到特征圖像。

4、根據(jù)本公開的實施例，對中間圖像超分辨率重建模型進行重參數(shù)處理，得到目標(biāo)圖像超分辨率重建模型，包括：對中間圖像超分辨率重建模型的第一多卷積分支的每個卷積分支分別進行填充處理，得到目標(biāo)尺寸的第一多卷積分支；對目標(biāo)尺寸的第一多卷積分支進行累加處理，得到第一單卷積；根據(jù)第一單卷積，確定目標(biāo)圖像超分辨率重建模型。

5、根據(jù)本公開的實施例，每個卷積分支包括至少一個子卷積；對中間圖像超分辨率重建模型的第一多卷積分支的每個卷積分支分別進行填充處理，得到目標(biāo)尺寸的第一多卷積分支，包括：在第一多卷積分支的卷積分支包括至少兩個子卷積的情況下，確定通道擴展比例；根據(jù)通道擴展比例，對每個子卷積的卷積核權(quán)重和偏置分別進行線性重新組合，得到第一目標(biāo)卷積核權(quán)重和第一目標(biāo)偏置；根據(jù)第一目標(biāo)卷積核權(quán)重和第一目標(biāo)偏置，確定目標(biāo)尺寸的第一多卷積分支。

6、根據(jù)本公開的實施例，對目標(biāo)尺寸的第一多卷積分支進行累加處理，得到第一單卷積，包括：確定目標(biāo)尺寸的第一多卷積分支中每個卷積分支的卷積核權(quán)重和偏置；對每個卷積核權(quán)重和偏置分別進行相加處理，得到第二目標(biāo)卷積核權(quán)重和第二目標(biāo)偏置；根據(jù)第二目標(biāo)卷積核權(quán)重和第二目標(biāo)偏置，確定第一單卷積。

7、根據(jù)本公開的實施例，增強殘差塊還包括多個初始單卷積；對中間圖像超分辨率重建模型進行重參數(shù)處理，得到目標(biāo)圖像超分辨率重建模型，還包括：對中間圖像超分辨率重建模型的第二多卷積分支的每個卷積分支分別進行填充處理，得到目標(biāo)尺寸的第二多卷積分支；對目標(biāo)尺寸的第二多卷積分支進行累加處理，得到第二單卷積；對第二單卷積和多個初始單卷積進行累加處理，得到第三單卷積；根據(jù)第一單卷積和第三單卷積，確定目標(biāo)圖像超分辨率重建模型。

8、根據(jù)本公開的實施例，對第一圖像進行退化處理，得到第二圖像，包括：對第一圖像進行噪聲添加處理，得到噪聲圖像；對噪聲圖像進行模糊處理，得到模糊圖像；對模糊圖像進行下采樣處理，得到第二圖像。

9、根據(jù)本公開的實施例，對第一圖像進行噪聲添加處理，得到噪聲圖像，包括：對第一圖像進行高斯噪聲處理，得到噪聲圖像，其中，高斯噪聲處理包括第一高斯噪聲處理、第二高斯噪聲處理和第三高斯噪聲處理；噪聲圖像包括三個通道圖像；其中，第一高斯噪聲處理對應(yīng)的噪聲圖像中的每個通道圖像的高斯噪聲不一致；第二高斯噪聲處理對應(yīng)的噪聲圖像中的每個通道圖像的高斯噪聲一致；第三高斯噪聲處理對應(yīng)的噪聲圖像中的每個通道圖像的高斯噪聲不一致，且每個通道圖像的高斯噪聲之間具有依賴性。

10、本公開的第二方面提供了一種圖像超分辨率重建方法，包括：獲取待重建圖像；利用上述圖像超分辨率重建模型對待重建圖像進行處理，得到重建圖像。

11、本公開的第三方面提供了一種圖像超分辨率重建模型的訓(xùn)練裝置，包括：退化模塊，用于對第一圖像進行退化處理，得到第二圖像，第二圖像的分辨率小于第一圖像的分辨率；提取模塊，用于利用多卷積分支對第二圖像進行特征提取，得到特征圖像，其中，多卷積分支包括第一多卷積分支和第二多卷積分支，第一多卷積分支包括邊緣提取算子和去噪算子；采樣模塊，用于對特征圖像進行上采樣處理，得到目標(biāo)圖像；調(diào)整模塊，用于根據(jù)第一圖像和目標(biāo)圖像之間的損失值，對初始圖像超分辨率重建模型的參數(shù)進行調(diào)整，得到中間圖像超分辨率重建模型，其中，中間圖像超分辨率重建模型包括多卷積分支；以及處理模塊，用于對中間圖像超分辨率重建模型進行重參數(shù)處理，得到目標(biāo)圖像超分辨率重建模型。

12、本公開的第四方面提供了一種電子設(shè)備，包括：一個或多個處理器；存儲器，用于存儲一個或多個計算機程序，其中，上述一個或多個處理器執(zhí)行上述一個或多個計算機程序以實現(xiàn)上述方法的步驟。

13、本公開的第五方面還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序或指令，上述計算機程序或指令被處理器執(zhí)行時實現(xiàn)上述方法的步驟。

14、本公開的第六方面還提供了一種計算機程序產(chǎn)品，包括計算機程序或指令，上述計算機程序或指令被處理器執(zhí)行時實現(xiàn)上述方法的步驟。

15、根據(jù)本公開的實施例，利用多卷積分支對第二圖像進行特征提取，得到特征圖像；對特征圖像進行上采樣處理，得到目標(biāo)圖像；根據(jù)第一圖像和目標(biāo)圖像之間的損失值，對初始圖像超分辨率重建模型的參數(shù)進行調(diào)整，得到中間圖像超分辨率重建模型，并進行重參數(shù)處理，得到目標(biāo)圖像超分辨率重建模型。由于采用了利用多卷積分支及其邊緣提取算子和去噪算子對第二圖像進行特征提取，避免了對圖像邊緣、紋理的提取不夠豐富的問題，實現(xiàn)了提高重建后圖像視覺效果的技術(shù)效果，同時，由于對中間圖像超分辨率重建模型進行重參數(shù)處理，從而避免了模型參數(shù)量過大的問題，實現(xiàn)了減少模型推理時長的技術(shù)效果。

技術(shù)特征：

1.一種圖像超分辨率重建模型的訓(xùn)練方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用多卷積分支對所述第二圖像進行特征提取，得到特征圖像，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對所述中間圖像超分辨率重建模型進行重參數(shù)處理，得到目標(biāo)圖像超分辨率重建模型，包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，每個所述卷積分支包括至少一個子卷積；

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對所述目標(biāo)尺寸的所述第一多卷積分支進行累加處理，得到第一單卷積，包括：

6.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述增強殘差塊還包括多個初始單卷積；

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對第一圖像進行退化處理，得到第二圖像，包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述對所述第一圖像進行噪聲添加處理，得到噪聲圖像，包括：

9.一種圖像超分辨率重建方法，其特征在于，所述方法包括：

10.一種圖像超分辨率重建模型的訓(xùn)練裝置，其特征在于，所述裝置包括：

技術(shù)總結(jié)
本公開提供了一種圖像超分辨率重建模型的訓(xùn)練方法及裝置，可以應(yīng)用于圖像處理技術(shù)領(lǐng)域。該方法包括：對第一圖像進行退化處理，得到第二圖像，第二圖像的分辨率小于第一圖像的分辨率；利用多卷積分支對第二圖像進行特征提取，得到特征圖像，其中，多卷積分支包括第一多卷積分支和第二多卷積分支，第一多卷積分支包括邊緣提取算子和去噪算子；對特征圖像進行上采樣處理，得到目標(biāo)圖像；根據(jù)第一圖像和目標(biāo)圖像之間的損失值，對初始圖像超分辨率重建模型的參數(shù)進行調(diào)整，得到中間圖像超分辨率重建模型，其中，中間圖像超分辨率重建模型包括多卷積分支；對中間圖像超分辨率重建模型進行重參數(shù)處理，得到目標(biāo)圖像超分辨率重建模型。

技術(shù)研發(fā)人員：李進華,劉曦予,王樹新,馬志康,趙建廠,潘立志,邢元
受保護的技術(shù)使用者：天津大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/11/14