本發(fā)明涉及圖像處理技術(shù)，尤其涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法及系統(tǒng)。

背景技術(shù)：

當(dāng)今社會，由于手機攝影越發(fā)流行，各種的后期圖像處理的軟件隨著之盛行，軟件所提供的修圖等圖像融合技術(shù)的需求也越發(fā)擴大，一個快速的，有效的，并且?guī)в腥の缎缘膱D像融合技術(shù)成為該類行業(yè)所追求的目標(biāo)，從而進一步的吸引更多的用戶使用自身的產(chǎn)品。

但是現(xiàn)存的圖像融合技術(shù)并非十分完美，算法復(fù)雜度，有效性，耗時都仍然處于一個急需優(yōu)化的水平。極大的用戶需求量需要更完善更豐富的技術(shù)支持才能得以填補，但是當(dāng)前的技術(shù)模型卻無法在短時間內(nèi)完成圖片的融合以及圖片融合的豐富度上給予人群更好的用戶體驗。

因此，在這種情況下，希望有一種技術(shù)，能在短時間內(nèi)解決用戶的圖片融合需求，并同時能夠提供大量的融合風(fēng)格讓用戶自主進行選擇，進而完成相關(guān)產(chǎn)品的適用性和可靠性，從而克服上述的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法及系統(tǒng)，在本發(fā)明實施例中，滿足用戶對圖像融合需求，提高圖像融合速度。

為了解決上述技術(shù)問題，本發(fā)明實施例提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法，所述圖像融合方法包括：

獲取至少一張待融合風(fēng)格圖像信息和至少一張待融合內(nèi)容圖像信息，并將所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息放縮到統(tǒng)一大小；

對統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進行初始化融合處理，獲取初始融合圖像信息；

在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度，獲取總損失梯度；

根據(jù)所述總損失梯度對所述初始融合圖像信息進行更新和對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行參數(shù)保存。

優(yōu)選地，所述對統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進行初始化融合處理，包括：

采用均勻分布對所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進行初始化融合處理，獲取初始融合圖像信息；

所述均勻分布為k＝1,2,…,m，則稱x服從離散的均勻分布，將所述離散均勻分布值加128，獲取所述初始融合圖像信息像素值，所述像素值在0到256之間；

其中，p表示分布概率，x表示所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息的像素值，k＝1,2,…,m。

優(yōu)選地，所述卷積神經(jīng)網(wǎng)絡(luò)模型為21個神經(jīng)網(wǎng)絡(luò)層的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中包括16個卷積層，5降采樣層。

優(yōu)選地，所述在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度，包括：

對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行參數(shù)設(shè)定，所述參數(shù)包括待融合風(fēng)格圖像信息的影響比重、待融合內(nèi)容圖像信息影響比重和循環(huán)次數(shù)；

計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息的損失梯度，獲取第一損失梯度；

計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合內(nèi)容圖像信息的損失梯度，獲取第二損失梯度；

根據(jù)所述第一損失梯度和所述第二損失梯度計算，獲取總損失梯度。

優(yōu)選地，所述待融合風(fēng)格圖像信息的影響比重為0.5、所述待融合內(nèi)容圖像信息影響比重0.5和所述循環(huán)次數(shù)為120。

另外，本發(fā)明實施例還提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合系統(tǒng)，所述圖像融合系統(tǒng)包括：

信息獲取模塊：用于獲取至少一張待融合風(fēng)格圖像信息和至少一張待融合內(nèi)容圖像信息，并將所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息放縮到統(tǒng)一大??；

融合模塊：用于對統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進行初始化融合處理，獲取初始融合圖像信息；

梯度計算模塊：用于在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度，獲取總損失梯度；

信息更新模塊：用于根據(jù)所述總損失梯度對所述初始融合圖像信息進行更新和對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行參數(shù)保存。

優(yōu)選地，所述融合模塊包括：

均勻融合單元：用于采用均勻分布對所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進行初始化融合處理，獲取初始融合圖像信息；

所述均勻分布為k＝1,2,…,m，則稱x服從離散的均勻分布，將所述離散均勻分布值加128，獲取所述初始融合圖像信息像素值，所述像素值在0到256之間；

其中，p表示分布概率，x表示所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息的像素值，k＝1,2,…,m。

優(yōu)選地，所述卷積神經(jīng)網(wǎng)絡(luò)模型為21個神經(jīng)網(wǎng)絡(luò)層的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中包括16個卷積層，5降采樣層。

優(yōu)選地，所述梯度計算模塊包括：

參數(shù)設(shè)定單元：用于對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行參數(shù)設(shè)定，所述參數(shù)包括待融合風(fēng)格圖像信息的影響比重、待融合內(nèi)容圖像信息影響比重和循環(huán)次數(shù)；

第一梯度計算單元：用于計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息的損失梯度，獲取第一損失梯度；

第二梯度計算單元：用于計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合內(nèi)容圖像信息的損失梯度，獲取第二損失梯度；

總梯度計算單元：用于根據(jù)所述第一損失梯度和所述第二損失梯度計算，獲取總損失梯度。

優(yōu)選地，所述待融合風(fēng)格圖像信息的影響比重為0.5、所述待融合內(nèi)容圖像信息影響比重0.5和所述循環(huán)次數(shù)為120。

在發(fā)明實施例中，采用本發(fā)明實施例滿足用戶對圖像融合風(fēng)格的需求，同時該模型的適應(yīng)性強，只需要提供不同的風(fēng)格圖像，就可以得到不同方式的圖像融合處理，極大的豐富了用戶體驗；同時該模型因為是一個自學(xué)習(xí)模型，只需要在模型前期學(xué)習(xí)的過程中投入計算量和運算時間成本，當(dāng)一個模型已經(jīng)完全學(xué)習(xí)完畢并將對應(yīng)的參數(shù)進行保存之后，再進行新的圖像融合時不需要消耗額外的時間，因此比以往的模型都極大的提高了圖像融合的效率，迎合用戶即時圖像融合的需求。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見的，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其它的附圖。

圖1是本發(fā)明實施例中的基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法的流程示意圖；

圖2是本發(fā)明實施例中的基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合系統(tǒng)的系統(tǒng)組成結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。

圖1是本發(fā)明實施例中的基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法的流程示意圖，如圖1所述，所述圖像融合方法包括：

s11：獲取至少一張待融合風(fēng)格圖像信息和至少一張待融合內(nèi)容圖像信息，并將所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息放縮到統(tǒng)一大小；

s12：對統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進行初始化融合處理，獲取初始融合圖像信息；

s13：在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度，獲取總損失梯度；

s14：根據(jù)所述總損失梯度對所述初始融合圖像信息進行更新和對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行參數(shù)保存。

對s11作進一步說明：

獲取至少一張待融合風(fēng)格圖像信息和至少一張待融合內(nèi)容圖像信息，并將所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息放縮到統(tǒng)一大小。

進一步的，用戶選擇需要融合的至少一張風(fēng)格圖像信息和至少一張內(nèi)容圖像信息(可以根據(jù)用戶的需求，選擇多張，在本發(fā)明實施例中僅對個選擇一張進行展開說明)，因為獲取的風(fēng)格圖像信息和內(nèi)容圖像信息的圖片的大小可能存在不一致的，因此，需要對風(fēng)格圖像信息和內(nèi)容圖像信息大小進行統(tǒng)一，即采用圖像放縮方法進行圖像信息放縮處理，將圖像放縮至規(guī)定的大小，如規(guī)定圖像大小為長*寬分別為10*5cm，即將圖像信息放縮至10*5cm大小即可。

對s12作進一步說明：

對統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進行初始化融合處理，獲取初始融合圖像信息。

進一步的，初始化融合時，將兩個圖像的像素值進行初始化，這里采用均勻分布對所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進行初始化融合處理，獲取初始融合圖像信息；所述均勻分布為k＝1,2,…,m，則稱x服從離散的均勻分布，將所述離散均勻分布值加128，獲取所述初始融合圖像信息像素值，所述像素值在0到256之間；其中，p表示分布概率，x表示所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息的像素值，k＝1,2,…,m。

對s13作進一步的說明：

在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度，獲取總損失梯度。

進一步的，所述卷積神經(jīng)網(wǎng)絡(luò)模型為21個神經(jīng)網(wǎng)絡(luò)層的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中包括16個卷積層，5降采樣層。所述卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)分別有待融合風(fēng)格圖像信息的影響比重weight-style、待融合內(nèi)容圖像信息影響比重weight-content和循環(huán)次數(shù)num-iterations，其中在本發(fā)明實施例中，最佳的參數(shù)設(shè)定為待融合風(fēng)格圖像信息的影響比重weight-style為0.5、待融合內(nèi)容圖像信息影響比重weight-content為0.5和循環(huán)次數(shù)num-iterations為120。

對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行參數(shù)設(shè)定，所述參數(shù)包括待融合風(fēng)格圖像信息的影響比重、待融合內(nèi)容圖像信息影響比重和循環(huán)次數(shù)；計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息的損失梯度，獲取第一損失梯度；計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合內(nèi)容圖像信息的損失梯度，獲取第二損失梯度；根據(jù)所述第一損失梯度和所述第二損失梯度計算，獲取總損失梯度。

首先根據(jù)用戶的需求，用戶可以自行設(shè)置待融合風(fēng)格圖像信息的影響比重weight-style、待融合內(nèi)容圖像信息影響比重weight-content和循環(huán)次數(shù)num-iterations的參數(shù)，若不設(shè)置，則按本發(fā)明實施例中認(rèn)為最佳的參數(shù)進行設(shè)置。

在卷積神經(jīng)網(wǎng)絡(luò)模型中每一層的卷積神經(jīng)網(wǎng)絡(luò)相應(yīng)智商，構(gòu)建一個風(fēng)格表示，用于計算不同過濾器響應(yīng)之間的相關(guān)性，其中期望取決于輸入圖像的控件延伸，這些特征相關(guān)性由gram矩陣獲得，其中是層l中的向量特征圖i和j之間的內(nèi)積；公式如下：

為了生成與給定圖像的樣式相匹配的紋理，使用白噪聲圖像的梯度下降來找到與原始圖像的樣式表示相匹配的另一個圖像；這通過最小化來自原始圖像的gram矩陣的條目與要生成的圖像的gram矩陣之間的均方距離來實現(xiàn)；所以讓和是原始圖像和生成的圖像，而al和gl它們在層l中的各自的樣式表示。那么那一層對總損失的貢獻就是下面的公式：

通常，網(wǎng)絡(luò)中的每個層定義了一個非線性濾波器組，其非線性濾波器組的復(fù)雜度隨網(wǎng)絡(luò)中層的位置而增加。因此，通過對該圖像的過濾器響應(yīng)，給定的輸入圖像在卷積神經(jīng)網(wǎng)絡(luò)的每個層中被編碼。具有nl個不同過濾器的層具有每個尺寸m1的n1特征圖，其中m1是高度乘以特征圖的寬度；因此，l層中的響應(yīng)可以存儲在矩陣中；其中是表示在l層位置j處第i個濾波器的激活響應(yīng)；為了可視化在層次結(jié)構(gòu)的不同層次編碼的圖像信息，對白噪聲圖像執(zhí)行漸變下降以找到與原始圖像的特征響應(yīng)匹配的另一圖像所以讓和是原始圖像和生成的圖像，而pl和fl是在層l中的各自的特征表示；定義兩個特征表示之間的平方誤差損失

相對于層l中激活的這種損失的導(dǎo)數(shù)，可以使用標(biāo)準(zhǔn)誤差反向傳播來計算相對于圖像的梯度。因此，我們可以改變最初的隨機混合圖像直到它在卷積神經(jīng)網(wǎng)絡(luò)的一層中產(chǎn)生與原始圖像相同的響應(yīng)。

總體損失梯度如下：

其中w1是每層對總損失的貢獻的權(quán)重因子。從而可以分析計算el相對于層l中激活的導(dǎo)數(shù)即可使用標(biāo)準(zhǔn)誤差反向傳播容易的計算出el相對于網(wǎng)絡(luò)下層激活的梯度值。

對s14作進一步說明：

根據(jù)所述總損失梯度對所述初始融合圖像信息進行更新和對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行參數(shù)保存。

進一步的，根據(jù)上述獲取的到總的損失梯度，然后采用總的損失梯度對初始融合圖像信息進行更新；在模型進行訓(xùn)練學(xué)習(xí)的過程中會消耗一定的時間，并且需要投入不同的風(fēng)格圖像進行得到不同的圖像融合風(fēng)格；模型運行結(jié)束后需要對模型的參數(shù)進行保存，并對不同的參數(shù)進行分類；在以后的使用中，只需要通過當(dāng)前已經(jīng)有的參數(shù)進行圖像的融合，而不需要再進行一次學(xué)習(xí)過程，從而大大的降低了本模型的運算時間長成本，從而滿足了用戶即時圖像融合的需求。

圖2是本發(fā)明實施例中的基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合系統(tǒng)的系統(tǒng)組成結(jié)構(gòu)示意圖，如圖2所示，所述圖像融合系統(tǒng)包括：

信息獲取模塊：用于獲取至少一張待融合風(fēng)格圖像信息和至少一張待融合內(nèi)容圖像信息，并將所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息放縮到統(tǒng)一大?。?/p>

融合模塊：用于對統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進行初始化融合處理，獲取初始融合圖像信息；

梯度計算模塊：用于在卷積神經(jīng)網(wǎng)絡(luò)模型內(nèi)計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息損失梯度，獲取總損失梯度；

信息更新模塊：用于根據(jù)所述總損失梯度對所述初始融合圖像信息進行更新和對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行參數(shù)保存。

優(yōu)選地，所述融合模塊包括：

均勻融合單元：用于采用均勻分布對所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息進行初始化融合處理，獲取初始融合圖像信息；

所述均勻分布為，則稱x服從離散的均勻分布，將所述離散均勻分布值加128，獲取所述初始融合圖像信息像素值，所述像素值在0到256之間；

其中，p表示分布概率，x表示所述待融合風(fēng)格圖像信息和所述待融合內(nèi)容圖像信息的像素值，。

優(yōu)選地，所述卷積神經(jīng)網(wǎng)絡(luò)模型為21個神經(jīng)網(wǎng)絡(luò)層的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，其中包括16個卷積層，5降采樣層。

優(yōu)選地，所述梯度計算模塊包括：

參數(shù)設(shè)定單元：用于對所述卷積神經(jīng)網(wǎng)絡(luò)模型進行參數(shù)設(shè)定，所述參數(shù)包括待融合風(fēng)格圖像信息的影響比重、待融合內(nèi)容圖像信息影響比重和循環(huán)次數(shù)；

第一梯度計算單元：用于計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合風(fēng)格圖像信息的損失梯度，獲取第一損失梯度；

第二梯度計算單元：用于計算所述初始融合圖像信息與統(tǒng)一大小的所述待融合內(nèi)容圖像信息的損失梯度，獲取第二損失梯度；

總梯度計算單元：用于根據(jù)所述第一損失梯度和所述第二損失梯度計算，獲取總損失梯度。

優(yōu)選地，所述待融合風(fēng)格圖像信息的影響比重為0.5、所述待融合內(nèi)容圖像信息影響比重0.5和所述循環(huán)次數(shù)為120。

具體地，本發(fā)明實施例的系統(tǒng)相關(guān)功能模塊的工作原理可參見方法實施例的相關(guān)描述，這里不再贅述。

在發(fā)明實施例中，采用本發(fā)明實施例滿足用戶對圖像融合風(fēng)格的需求，同時該模型的適應(yīng)性強，只需要提供不同的風(fēng)格圖像，就可以得到不同方式的圖像融合處理，極大的豐富了用戶體驗；同時該模型因為是一個自學(xué)習(xí)模型，只需要在模型前期學(xué)習(xí)的過程中投入計算量和運算時間成本，當(dāng)一個模型已經(jīng)完全學(xué)習(xí)完畢并將對應(yīng)的參數(shù)進行保存之后，再進行新的圖像融合時不需要消耗額外的時間，因此比以往的模型都極大的提高了圖像融合的效率，迎合用戶即時圖像融合的需求。

本領(lǐng)域普通技術(shù)人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲于一計算機可讀存儲介質(zhì)中，存儲介質(zhì)可以包括：只讀存儲器(rom，readonlymemory)、隨機存取存儲器(ram，randomaccessmemory)、磁盤或光盤等。

另外，以上對本發(fā)明實施例所提供的一種基于卷積神經(jīng)網(wǎng)絡(luò)模型的圖像融合方法及系統(tǒng)進行了詳細介紹，本文中應(yīng)采用了具體個例對本發(fā)明的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。