本發(fā)明涉及影像分類領(lǐng)域，尤其是涉及一種生成式自監(jiān)督預(yù)訓(xùn)練分類模型構(gòu)建方法及裝置。

背景技術(shù)：

1、目前，隨著高光譜遙感應(yīng)用的不斷擴(kuò)展，高光譜影像分類任務(wù)變得更加復(fù)雜和具有挑戰(zhàn)性。尤其是在少樣本條件下，有效融合和利用不同類型遙感影像的優(yōu)勢，是提升高光譜影像分類性能的有效途徑。生成式學(xué)習(xí)作為一種強(qiáng)大的自監(jiān)督特征學(xué)習(xí)范式，在高光譜影像處理領(lǐng)域展現(xiàn)出獨特的優(yōu)勢，它通過設(shè)計與高光譜影像特性密切相關(guān)的重構(gòu)代理任務(wù)，驅(qū)使模型學(xué)習(xí)數(shù)據(jù)的深層結(jié)構(gòu)特征，從而挖掘地物的高級特征信息。然而，在高光譜影像分類任務(wù)中，生成式學(xué)習(xí)往往關(guān)注于提取豐富而復(fù)雜的特征表示，可能會忽視不同地物間的判別性差異，這在特征層面可能導(dǎo)致不同地物類型間的可分性不足。此外，由于不同類型遙感影像特點具有顯著差異，面向單一數(shù)據(jù)源的生成式學(xué)習(xí)方法難以有效利用不同類型遙感影像特征的互補(bǔ)性，限制了模型對地物判別特征的提取能力。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供一種生成式自監(jiān)督預(yù)訓(xùn)練分類模型構(gòu)建方法及裝置，可以在少樣本條件下，提升模型從多源遙感影像中學(xué)習(xí)地物深層特征的能力，進(jìn)而提升少樣本條件下的高光譜影像分類性能。

2、為此，本發(fā)明提供如下技術(shù)方案：

3、一種生成式自監(jiān)督預(yù)訓(xùn)練分類模型構(gòu)建方法，所述方法包括：

4、采集對應(yīng)同一目標(biāo)對象的高光譜影像、多光譜影像、以及全色影像；

5、基于所述高光譜影像、多光譜影像、以及全色影像裁切得到對應(yīng)的高光譜影像子集、多光譜影像子集、以及全色影像子集，生成樣本集；

6、使用多尺度掩蔽策略對所述樣本集中的樣本數(shù)據(jù)進(jìn)行掩蔽處理，得到掩蔽影像；

7、對所述掩蔽影像進(jìn)行空間位置編碼，并根據(jù)使用的掩蔽策略嵌入標(biāo)記信息，得到各掩蔽影像對應(yīng)的編碼數(shù)據(jù)；

8、對所述編碼數(shù)據(jù)進(jìn)行特征提取，得到多源特征；

9、對所述多源特征進(jìn)行融合，得到多源深度融合特征；

10、利用解碼器對所述多源深度融合特征進(jìn)行重構(gòu)，并在重構(gòu)損失的基礎(chǔ)上引入光譜一致性約束。

11、可選地，所述基于所述高光譜影像、多光譜影像、以及全色影像裁切得到對應(yīng)的高光譜影像子集、多光譜影像子集、以及全色影像子集，生成樣本數(shù)據(jù)包括：

12、將所述高光譜影像中的任一像素作為目標(biāo)像素，以目標(biāo)像素為中心，裁切出一定鄰域范圍的高光譜鄰域影像，根據(jù)所述高光譜鄰域影像生成高光譜影像子集；

13、裁切出與所述高光譜影像鄰域影像對應(yīng)的多光譜鄰域影像，根據(jù)所述多光譜鄰域影像生成多光譜影像子集；

14、裁切出與所述高光譜影像鄰域影像對應(yīng)的全色鄰域影像，根據(jù)所述全色鄰域影像生成全色影像子集；

15、根據(jù)所述高光譜影像子集、所述多光譜影像子集、以及所述全色影像子集生成樣本集，所述樣本集中的每個樣本包括對應(yīng)一個目標(biāo)像素的高光譜鄰域影像、多光譜鄰域影像、全色鄰域影像。

16、可選地，所述多尺度掩蔽策略包括以下任意一種或多種：小尺寸隨機(jī)掩蔽、大尺寸隨機(jī)掩蔽、小尺寸通道隨機(jī)掩蔽、大尺寸通道隨機(jī)掩蔽、隨機(jī)波段掩蔽、連續(xù)波段掩蔽。

17、可選地，所述使用多尺度掩蔽策略對所述樣本集中的樣本數(shù)據(jù)進(jìn)行掩蔽，得到掩蔽影像包括：針對不同類型影像數(shù)據(jù)集，隨機(jī)選用不同的掩蔽策略對所述樣本集中的樣本數(shù)據(jù)進(jìn)行掩蔽，得到掩蔽影像。

18、可選地，所述方法還包括：

19、利用編碼器對所述掩蔽影像進(jìn)行空間位置編碼之前，將所述編碼數(shù)據(jù)映射到預(yù)定義維度特征空間。

20、可選地，所述對所述編碼數(shù)據(jù)進(jìn)行特征提取，得到多源特征包括：利用基于transformer的非對稱編碼器-解碼器結(jié)構(gòu)，對所述編碼數(shù)據(jù)進(jìn)行特征提取，得到多源特征。

21、可選地，所述對所述多源特征進(jìn)行融合，得到多源深度融合特征包括：對所述多源特征進(jìn)行交叉注意力融合，在融合過程中，以高光譜影像為主體，對全色和多光譜影像特征進(jìn)行融合，得到多源深度融合特征。

22、可選地，所述利用解碼器對所述多源深度融合特征進(jìn)行重構(gòu)包括：

23、基于設(shè)定的掩蔽率對影像塊進(jìn)行隨機(jī)掩蔽，使用線性投影和位置編碼對不同類型的未掩蔽影像區(qū)域進(jìn)行處理后得到對應(yīng)的特征嵌入，并且將編碼器輸出的不同類型影像特征嵌入輸入到交叉注意力融合過程中；

24、利用解碼器根據(jù)編碼器和交叉注意力融合過程提取的多源深度融合特征結(jié)合位置編碼信息，對特定類型的影像進(jìn)行重構(gòu)。

25、可選地，對特定類型的影像進(jìn)行重構(gòu)的過程的優(yōu)化目標(biāo)包括：

26、重構(gòu)損失和光譜損失；

27、所述重構(gòu)損失是指不同任務(wù)解碼器重構(gòu)的影像與該任務(wù)對應(yīng)原始影像之間的逐像素點均方誤差；

28、所述光譜損失采用光譜損失函數(shù)表示，所述光譜損失函數(shù)采用光譜余弦計算重建光譜特征與原始光譜特征之間的相似程度。

29、可選地，所述方法還包括：

30、對所述多源特征進(jìn)行交互對比學(xué)習(xí)，優(yōu)化所述編碼器；

31、多源特征交互對比損失包括：高光譜影像特征到其他影像特征的對比損失loss(zhsi,zimg)，以及其他影像特征到高光譜影像特征的對比損失loss(zimg,zhsi)。

32、一種生成式自監(jiān)督預(yù)訓(xùn)練分類模型構(gòu)建裝置，所述裝置包括：

33、圖像采集模塊，用于采集對應(yīng)同一目標(biāo)對象的高光譜影像、多光譜影像、以及全色影像；

34、樣本集生成模塊，用于基于所述高光譜影像、多光譜影像、以及全色影像裁切得到對應(yīng)的高光譜影像子集、多光譜影像子集、以及全色影像子集，生成樣本集；

35、樣本處理模塊，用于使用多尺度掩蔽策略對所述樣本集中的樣本數(shù)據(jù)進(jìn)行掩蔽，得到掩蔽影像；

36、位置編碼模塊，用于對所述掩蔽影像進(jìn)行空間位置編碼，并根據(jù)使用的掩蔽策略嵌入標(biāo)記信息，得到各掩蔽影像對應(yīng)的編碼數(shù)據(jù)；

37、特征提取模塊，用于對所述編碼數(shù)據(jù)進(jìn)行特征提取，得到多源特征；

38、融合模塊，用于對所述多源特征進(jìn)行融合，得到深度融合特征；

39、解碼模塊，用于利用解碼器對所述深度融合特征進(jìn)行重建，并在重建損失的基礎(chǔ)上引入光譜一致性約束。

40、可選地，所述特征提取模塊利用基于transformer的非對稱編碼器-解碼器結(jié)構(gòu)，對所述編碼數(shù)據(jù)進(jìn)行特征提取，得到多源特征；

41、所述裝置還包括：

42、對比學(xué)習(xí)模塊，用于對所述多源特征進(jìn)行交互對比學(xué)習(xí)，優(yōu)化所述編碼器。

43、一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，所述計算機(jī)程序被處理器運行時執(zhí)行所述生成式自監(jiān)督預(yù)訓(xùn)練分類模型構(gòu)建方法的步驟。

44、一種計算機(jī)程序產(chǎn)品，包括計算機(jī)程序/指令，該計算機(jī)程序/指令被處理器執(zhí)行時實現(xiàn)所述生成式自監(jiān)督預(yù)訓(xùn)練分類模型構(gòu)建方法的步驟。

45、本發(fā)明提供的生成式自監(jiān)督預(yù)訓(xùn)練分類模型構(gòu)建方法及裝置，將生成式學(xué)習(xí)的深層特征挖掘能力與對比學(xué)習(xí)的特征判別性增強(qiáng)作用相結(jié)合，可以提取多源遙感影像中蘊(yùn)含的地物空譜特征，并增強(qiáng)這些特征的可分性，尤其是在少樣本條件下。通過對多源特征進(jìn)行融合，得到多源深度融合特征，利用解碼器對多源深度融合特征進(jìn)行重構(gòu)，并在重構(gòu)損失的基礎(chǔ)上引入光譜一致性約束。

46、進(jìn)一步地，還可以通過對多源特征進(jìn)行交互對比學(xué)習(xí)，實現(xiàn)對編碼器的優(yōu)化。通過雙分支并行優(yōu)化機(jī)制，不僅強(qiáng)化了生成式自監(jiān)督預(yù)訓(xùn)練分類模型從多源遙感影像中學(xué)習(xí)地物深層特征的能力，同時通過交互對比學(xué)習(xí)進(jìn)一步挖掘和對齊不同遙感影像的判別特征，從而大大提升了少樣本條件下的高光譜影像分類性能。

47、利用本發(fā)明方案構(gòu)建的分類模型，通過多源特征對比優(yōu)化和交叉注意力融合，增強(qiáng)了模型對深層判別特征的提取與融合能力，同時，設(shè)計了光譜一致性重構(gòu)損失，通過大量無標(biāo)記多源遙感影像的精準(zhǔn)重構(gòu)完成預(yù)訓(xùn)練，將訓(xùn)練成果作為分類模型的特征提取器，顯著提升了少樣本高光譜影像的分類精度和泛化能力。