1.一種高分辨率多光譜視頻成像方法,其特征在于,包括將多光譜圖像視頻中的低分辨率多光譜圖像、全色圖像視頻中的高分辨率全色圖像輸入預(yù)先訓(xùn)練好的多光譜圖像融合網(wǎng)絡(luò)以重建出最終的高分辨率多光譜圖像,且多光譜圖像融合網(wǎng)絡(luò)重建出最終的高分辨率多光譜圖像包括下述步驟:
2.根據(jù)權(quán)利要求1所述的高分辨率多光譜視頻成像方法,其特征在于,步驟s102中將嵌入的高分辨率全色圖像通過結(jié)合低分辨率多光譜圖像進(jìn)行多級分析光譜和空間差異以提取光譜先驗(yàn)經(jīng)驗(yàn)和空間先驗(yàn)經(jīng)驗(yàn)是通過光譜差異分析模塊實(shí)現(xiàn)的;所述光譜差異分析模塊包括依次相連的第一線性歸一化層ln、光譜低秩交叉注意力模塊、第一疊加模塊、第二線性歸一化層ln、前饋網(wǎng)絡(luò)ffn和第二疊加模塊,且第一線性歸一化層ln的輸出還作為第一疊加模塊的輸入,功能層的輸出還作為第二疊加模塊的輸入;所述光譜低秩交叉注意力模塊的功能層的函數(shù)表達(dá)式為:
3.根據(jù)權(quán)利要求1所述的高分辨率多光譜視頻成像方法,其特征在于,步驟s102中將嵌入的高分辨率全色圖像通過結(jié)合低分辨率多光譜圖像進(jìn)行多級分析空間和光譜差異以提取光譜先驗(yàn)經(jīng)驗(yàn)和空間先驗(yàn)經(jīng)驗(yàn)是通過空間差異分析模塊實(shí)現(xiàn)的;所述空間差異分析模塊包括依次相連的第一線性歸一化層ln、空間低秩交叉注意力模塊、第一疊加模塊、第二線性歸一化層ln、前饋網(wǎng)絡(luò)ffn和第二疊加模塊,且第一線性歸一化層ln的輸出還作為第一疊加模塊的輸入,功能層的輸出還作為第二疊加模塊的輸入;所述空間低秩交叉注意力模塊的函數(shù)表達(dá)式為:
4.根據(jù)權(quán)利要求1所述的高分辨率多光譜視頻成像方法,其特征在于,步驟s103中將特征和特征融合得到初始融合特征的函數(shù)表達(dá)式為:
5.根據(jù)權(quán)利要求4所述的高分辨率多光譜視頻成像方法,其特征在于,所述瓶頸結(jié)構(gòu)模塊由一個(gè)卷積核大小為1×1的卷積模塊和光譜-空間先驗(yàn)引導(dǎo)的融合模塊組成,所述光譜-空間先驗(yàn)引導(dǎo)的融合模塊包括依次相連的第一線性歸一化層ln、光譜-空間先驗(yàn)引導(dǎo)的自注意力模塊、第一疊加模塊、第二線性歸一化層ln、前饋網(wǎng)絡(luò)ffn和第二疊加模塊,且所述光譜-空間先驗(yàn)引導(dǎo)的自注意力模塊的函數(shù)表達(dá)式為:
6.根據(jù)權(quán)利要求5所述的高分辨率多光譜視頻成像方法,其特征在于,步驟s104中將初始融合特征結(jié)合光譜先驗(yàn)經(jīng)驗(yàn)和空間先驗(yàn)經(jīng)驗(yàn)利用解碼器解碼重建出最終的高分辨率多光譜圖像包括:
7.一種高分辨率多光譜視頻成像裝置,包括相互連接的微處理器和存儲器,其特征在于,所述微處理器被編程或配置以執(zhí)行權(quán)利要求1~6中任意一項(xiàng)所述高分辨率多光譜視頻成像方法。
8.根據(jù)權(quán)利要求7所述的高分辨率多光譜視頻成像裝置,其特征在于,所述微處理器還連接有光學(xué)及傳感模塊,所述光學(xué)及傳感模塊包括物鏡、分光棱鏡、目鏡、全色成像傳感器和多光譜編碼傳感器,所述目鏡包括第一目鏡和第二目鏡,外部進(jìn)入的光線經(jīng)過物鏡后進(jìn)入分光棱鏡被分為兩束,一束通過第一目鏡進(jìn)入全色成像傳感器,另一束通過第二目鏡進(jìn)入多光譜編碼傳感器,所述全色成像傳感器和多光譜編碼傳感器分別與微處理器相連。
9.一種計(jì)算機(jī)可讀存儲介質(zhì),該計(jì)算機(jī)可讀存儲介質(zhì)中存儲有計(jì)算機(jī)程序或指令,其特征在于,該計(jì)算機(jī)程序或指令被編程或配置以通過處理器執(zhí)行權(quán)利要求1~6中任意一項(xiàng)所述高分辨率多光譜視頻成像方法。
10.一種計(jì)算機(jī)程序產(chǎn)品,包括計(jì)算機(jī)程序或指令,其特征在于,該計(jì)算機(jī)程序或指令被編程或配置以通過處理器執(zhí)行權(quán)利要求1~6中任意一項(xiàng)所述高分辨率多光譜視頻成像方法。