本發(fā)明涉及圖像處理，具體涉及一種高分辨率多光譜視頻成像方法及裝置。

背景技術(shù)：

1、多光譜圖像包含豐富的光譜信息，因此在分類、目標(biāo)檢測、環(huán)境監(jiān)測和農(nóng)業(yè)監(jiān)測等領(lǐng)域得到了廣泛應(yīng)用。然而，由于硬件技術(shù)的限制，單一傳感器難以同時實現(xiàn)高光譜和高空間分辨率，因此在多光譜圖像中，為獲取光譜信息，往往需要犧牲空間分辨率?，F(xiàn)有的光譜成像技術(shù)在空間分辨率和光譜分辨率之間存在制約，直接獲取高空間分辨率的多光譜圖像面臨挑戰(zhàn)，這降低了多光譜圖像的實際應(yīng)用價值。為了解決上述問題，一種可行的途徑是通過設(shè)計先進的傳感器，但這涉及到技術(shù)難題和昂貴的成本；另一種可行的途徑是融合不同傳感器獲取的圖像以實現(xiàn)信息互補，從而有效提高檢測效率和改善圖像質(zhì)量，這種融合方法為克服多光譜圖像的局限性提供了一個可行的解決方案，使得在保持光譜信息的同時提高了多光譜圖像的空間分辨率。但是，具體如何實現(xiàn)融合不同傳感器獲取的圖像以實現(xiàn)信息互補，從而有效提高檢測效率和改善圖像質(zhì)量，已成為一項亟待解決的關(guān)鍵技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明要解決的技術(shù)問題：針對現(xiàn)有技術(shù)的上述問題，提供一種高分辨率多光譜視頻成像方法及裝置，本發(fā)明旨在通過融合同一場景的不同傳感器獲得的全色視頻和低空間分辨率的多光譜視頻實現(xiàn)高分辨率多光譜視頻的獲取，提高檢測效率和改善圖像質(zhì)量。

2、為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：

3、一種高分辨率多光譜視頻成像方法，包括將多光譜圖像視頻中的低分辨率多光譜圖像、全色圖像視頻中的高分辨率全色圖像輸入預(yù)先訓(xùn)練好的多光譜圖像融合網(wǎng)絡(luò)以重建出最終的高分辨率多光譜圖像，且多光譜圖像融合網(wǎng)絡(luò)重建出最終的高分辨率多光譜圖像包括下述步驟：

4、s101，將低分辨率多光譜圖像輸入嵌入層得到嵌入的低分辨率多光譜圖像；將高分辨率全色圖像輸入嵌入層得到嵌入的高分辨率全色圖像；

5、s102，將嵌入的高分辨率全色圖像通過結(jié)合低分辨率多光譜圖像進行級分析光譜和空間差異以提取光譜先驗經(jīng)驗和空間先驗經(jīng)驗，且每一級分析光譜和空間差異時將輸出的特征通過下采樣輸出，并由最后一級下采樣得到輸出特征；將嵌入的高分辨率全色圖像通過結(jié)合低分辨率多光譜圖像進行級分析空間和光譜差異以提取光譜先驗經(jīng)驗和空間先驗經(jīng)驗，且每一級分析光譜和空間差異時將輸出的特征通過下采樣輸出，并由最后一級的下采樣得到輸出特征；

6、s103，將特征和特征融合得到初始融合特征；

7、s104，將初始融合特征結(jié)合光譜先驗經(jīng)驗和空間先驗經(jīng)驗利用解碼器解碼重建出最終的高分辨率多光譜圖像。

8、可選地，步驟s102中將嵌入的高分辨率全色圖像通過結(jié)合低分辨率多光譜圖像進行多級分析光譜和空間差異以提取光譜先驗經(jīng)驗和空間先驗經(jīng)驗是通過光譜差異分析模塊實現(xiàn)的；所述光譜差異分析模塊包括依次相連的第一線性歸一化層ln、光譜低秩交叉注意力模塊、第一疊加模塊、第二線性歸一化層ln、前饋網(wǎng)絡(luò)ffn和第二疊加模塊，且第一線性歸一化層ln的輸出還作為第一疊加模塊的輸入，功能層的輸出還作為第二疊加模塊的輸入；所述光譜低秩交叉注意力模塊的功能層的函數(shù)表達式為：

9、，

10、，

11、上式中，為光譜低秩交叉注意力模塊輸出的特征，表示堆疊操作，為注意力頭的數(shù)量，為第j個注意力頭交叉注意的結(jié)果，為可學(xué)習(xí)的參數(shù)，為位置嵌入函數(shù)，位置嵌入函數(shù)由兩個3×3卷積層和gelu激活層組成；為第j個注意力頭的值，為第j個注意力頭的注意力分?jǐn)?shù)，且有：

12、，

13、上式中，為softmax激活函數(shù)，為輸入特征經(jīng)過線性映射得到的鍵，為輸入特征經(jīng)過線性映射得查詢，輸入特征經(jīng)過線性映射得到值為，其中為上一階段嵌入的高分辨率全色圖像，為低分辨率多光譜圖像尺寸改變得到的圖像，為圖像的寬度，為圖像的高度，為圖片的通道數(shù)量，為所處階段數(shù)目，、和為可學(xué)習(xí)的參數(shù)。

14、可選地，步驟s102中將嵌入的高分辨率全色圖像通過結(jié)合低分辨率多光譜圖像進行多級分析空間和光譜差異以提取光譜先驗經(jīng)驗和空間先驗經(jīng)驗是通過空間差異分析模塊實現(xiàn)的；所述空間差異分析模塊包括依次相連的第一線性歸一化層ln、空間低秩交叉注意力模塊、第一疊加模塊、第二線性歸一化層ln、前饋網(wǎng)絡(luò)ffn和第二疊加模塊，且第一線性歸一化層ln的輸出還作為第一疊加模塊的輸入，功能層的輸出還作為第二疊加模塊的輸入；所述空間低秩交叉注意力模塊的函數(shù)表達式為：

15、，

16、上式中，為空間低秩交叉注意力模塊輸出的特征，表示堆疊操作，為第i個通道的和空間交叉注意力輸出的特征，為和空間交叉注意力輸出的特征，為當(dāng)前階段空間差異分析模塊的輸出結(jié)果，為位置嵌入函數(shù)，位置嵌入函數(shù)由兩個3×3卷積層和gelu激活層組成，表示n個編碼階段中的第個編碼階段，表示圖像光譜波段的數(shù)目；且有：

17、

18、

19、上式中，為和空間交叉注意力的輸出，為和空間交叉注意力的輸出，和是可學(xué)習(xí)的參數(shù)，為用于表示子空間基礎(chǔ)數(shù)量的超參數(shù)，為從和中獲得的第j個頭的注意力分?jǐn)?shù)，為和中獲得的第j個頭的注意力分?jǐn)?shù)，為前一個網(wǎng)絡(luò)從低分辨率多光譜圖像中提取出來的特征的子空間，為嵌入的高分辨率全色圖像的特征的子空間，為前一個網(wǎng)絡(luò)從低分辨率多光譜圖像中提取出來的特征的空間系數(shù)，為嵌入的高分辨率全色圖像的特征的空間系數(shù)，其中：

20、，

21、，

22、，

23、，

24、上式中，為前一個網(wǎng)絡(luò)從低分辨率多光譜圖像中提取出來第i個通道的特征，為嵌入的高分辨率全色圖像第i個通道的特征，為前一個階段的模塊輸出結(jié)果，,,是可學(xué)習(xí)的參數(shù)。

25、可選地，步驟s103中將特征和特征融合得到初始融合特征的函數(shù)表達式為：

26、，

27、上式中，表示瓶頸結(jié)構(gòu)模塊，表示堆疊操作。

28、可選地，所述瓶頸結(jié)構(gòu)模塊由一個卷積核大小為1×1的卷積模塊和光譜-空間先驗引導(dǎo)的融合模塊組成，所述光譜-空間先驗引導(dǎo)的融合模塊包括依次相連的第一線性歸一化層ln、光譜-空間先驗引導(dǎo)的自注意力模塊、第一疊加模塊、第二線性歸一化層ln、前饋網(wǎng)絡(luò)ffn和第二疊加模塊，且所述光譜-空間先驗引導(dǎo)的自注意力模塊的函數(shù)表達式為：

29、，

30、上式中，為光譜-空間先驗引導(dǎo)的自注意力模塊的輸出特征，表示堆疊操作，為注意力頭的數(shù)量，為第j個注意力頭交叉注意的結(jié)果，為可學(xué)習(xí)的參數(shù)，為位置嵌入函數(shù)，位置嵌入函數(shù)由兩個3×3卷積層和gelu激活層組成；為空間譜先驗經(jīng)驗，且有：

31、，

32、上式中，為采用注意力機制從第n級光譜-空間先驗引導(dǎo)的融合模塊的輸入特征提取出的值value，和分別表示嵌入的低分辨率多光譜圖像和嵌入的高分辨率全色圖像中提取的光譜先驗經(jīng)驗和空間先驗經(jīng)驗。

33、可選地，步驟s104中將初始融合特征結(jié)合光譜先驗經(jīng)驗和空間先驗經(jīng)驗利用解碼器解碼重建出最終的高分辨率多光譜圖像包括：

34、s201，將初始融合特征通過級光譜-空間先驗引導(dǎo)的融合模塊結(jié)合光譜先驗經(jīng)驗和空間先驗經(jīng)驗解碼得到解碼特征；且每一級光譜-空間先驗引導(dǎo)的融合模塊的輸入端包括一個通道上采樣模塊和堆疊操作，且每一級光譜-空間先驗引導(dǎo)的融合模塊的輸出特征的函數(shù)表達式為：

35、，

36、上式中，為第n級光譜-空間先驗引導(dǎo)的融合模塊的輸出特征，表示第n級光譜-空間先驗引導(dǎo)的融合模塊，為第n級光譜-空間先驗引導(dǎo)的融合模塊的輸入特征，且和分別表示嵌入的低分辨率多光譜圖像和嵌入的高分辨率全色圖像中提取的光譜先驗經(jīng)驗和空間先驗經(jīng)驗，且有：

37、，

38、，

39、上式中，表示堆疊操作，表示第n級通道上采樣模塊的輸出特征，表示第n+1級通道上采樣模塊的輸出特征，表示第n級通道上采樣模塊，為第n-n+1階段模塊的輸出，；

40、s202，根據(jù)下式重建出最終的高分辨率多光譜圖像：

41、，

42、上式中，為最終的高分辨率多光譜圖像，為卷積操作，表示堆疊操作，為初次嵌入的低分辨率多光譜圖像，為初次嵌入的高分辨率全色圖像。

43、此外，本發(fā)明還提供一種高分辨率多光譜視頻成像裝置，包括相互連接的微處理器和存儲器，所述微處理器被編程或配置以執(zhí)行所述高分辨率多光譜視頻成像方法。

44、可選地，所述微處理器還連接有光學(xué)及傳感模塊，所述光學(xué)及傳感模塊包括物鏡、分光棱鏡、目鏡、全色成像傳感器和多光譜編碼傳感器，所述目鏡包括第一目鏡和第二目鏡，外部進入的光線經(jīng)過物鏡后進入分光棱鏡被分為兩束，一束通過第一目鏡進入全色成像傳感器，另一束通過第二目鏡進入多光譜編碼傳感器，所述全色成像傳感器和多光譜編碼傳感器分別與微處理器相連。

45、此外，本發(fā)明還提供一種計算機可讀存儲介質(zhì)，該計算機可讀存儲介質(zhì)中存儲有計算機程序或指令，該計算機程序或指令被編程或配置以通過處理器執(zhí)行所述高分辨率多光譜視頻成像方法。

46、此外，本發(fā)明還提供一種計算機程序產(chǎn)品，包括計算機程序或指令，該計算機程序或指令被編程或配置以通過處理器執(zhí)行所述高分辨率多光譜視頻成像方法。

47、和現(xiàn)有技術(shù)相比，本發(fā)明主要具有下述優(yōu)點：

48、1、本發(fā)明高分辨率多光譜視頻成像方法包括將低分辨率多光譜圖像和高分辨率全色圖像獲取嵌入的低分辨率多光譜圖像和高分辨率全色圖像；將通過結(jié)合進行級分析光譜和空間差異得到輸出特征；將通過結(jié)合進行級分析空間和光譜差異以提取輸出特征；將特征和特征融合得到初始融合特征，再將初始融合特征利用解碼器解碼重建出最終的高分辨率多光譜圖像，本發(fā)明高分辨率多光譜視頻成像方法通過融合同一場景的不同傳感器獲得的全色視頻和低空間分辨率的多光譜視頻實現(xiàn)高分辨率多光譜視頻的獲取，能夠?qū)崿F(xiàn)融合不同傳感器獲取的圖像以實現(xiàn)信息互補，從而有效提高檢測效率和改善圖像質(zhì)量。

49、2、本發(fā)明高分辨率多光譜視頻成像方法適用于各種不同類型的全色圖像和多光譜圖像數(shù)據(jù)融合，具有廣泛的適用范圍。