本發(fā)明屬于遙感圖像處理，具體涉及一種基于共享特征對(duì)齊的半監(jiān)督多模態(tài)數(shù)據(jù)分類方法。

背景技術(shù)：

1、遙感圖像在環(huán)境保護(hù)、城市規(guī)劃、資源勘探等多個(gè)領(lǐng)域得到了廣泛的應(yīng)用。其中，高光譜圖像能夠捕獲地物在不同波段的光譜響應(yīng)，因其在區(qū)分多種材料地物方面的顯著優(yōu)勢(shì)，已成為遙感分類任務(wù)中的重要數(shù)據(jù)源之一。然而，對(duì)于光譜特征相同但高度不同的地物類型，高光譜圖像的識(shí)別效果較差。激光雷達(dá)是一種主動(dòng)測(cè)繪技術(shù)，能夠提供高精度的地面高程信息，用于區(qū)分不同高度的地物。但對(duì)于相同高度材料不同的物體，其區(qū)分能力較為有限。隨著地物種類的增多和復(fù)雜性的提升，單一遙感數(shù)據(jù)往往難以滿足精確識(shí)別地物類別的需求。

2、近年來(lái)，國(guó)內(nèi)外關(guān)于融合分類的研究主要集中在將高光譜數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)進(jìn)行“聯(lián)合”以實(shí)現(xiàn)數(shù)據(jù)的優(yōu)勢(shì)互補(bǔ)。經(jīng)典的多源數(shù)據(jù)融合方式可分為像素級(jí)融合、特征級(jí)融合和決策級(jí)融合三種。像素級(jí)融合是對(duì)各種傳感器獲取的未經(jīng)處理的原始數(shù)據(jù)進(jìn)行綜合分析；特征級(jí)融合是在原始數(shù)據(jù)上提取特征，并對(duì)這些特征進(jìn)行融合；決策級(jí)融合是對(duì)不同類型的數(shù)據(jù)進(jìn)行處理后，結(jié)合初步判定結(jié)果，通過(guò)進(jìn)一步的關(guān)聯(lián)處理實(shí)現(xiàn)決策級(jí)融合，最終得到聯(lián)合判決結(jié)果。這些經(jīng)典方法通常對(duì)數(shù)據(jù)要求較低，無(wú)需大量的標(biāo)注數(shù)據(jù)，具有計(jì)算資源需求小的優(yōu)點(diǎn)。然而這些方法嚴(yán)重依賴手工設(shè)計(jì)的特征，無(wú)法自適應(yīng)地捕獲數(shù)據(jù)中的完整信息。

3、隨著傳感器硬件的更新迭代，高光譜和激光雷達(dá)數(shù)據(jù)的規(guī)模不斷擴(kuò)大，如何從這些數(shù)據(jù)中提取有效特征信息成為了遙感圖像分類所面臨的問(wèn)題。近年來(lái)，深度學(xué)習(xí)技術(shù)的迅速發(fā)展為這一問(wèn)題提供了新的解決途徑?；诰矸e神經(jīng)網(wǎng)絡(luò)的聯(lián)合分類方法能夠有效捕捉不同遙感圖像的空間特征，從而提高分類精度。transformer網(wǎng)絡(luò)憑借其獨(dú)特且強(qiáng)大的全局建模能力，被引入遙感圖像聯(lián)合分類領(lǐng)域，并取得了顯著的成果。然而，這些方法通常依賴于大量標(biāo)注數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，在標(biāo)注數(shù)據(jù)稀缺時(shí)，它們的性能會(huì)顯著下降。同時(shí)，在遙感領(lǐng)域進(jìn)行像素級(jí)標(biāo)注既昂貴又耗時(shí)，這些挑戰(zhàn)限制了有監(jiān)督方法的廣泛應(yīng)用。

4、鑒于上述分析，現(xiàn)有技術(shù)存在的急需解決的技術(shù)問(wèn)題為：

5、現(xiàn)有方法高度依賴大量標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，但在遙感領(lǐng)域進(jìn)行像素級(jí)數(shù)據(jù)的標(biāo)注是困難的。

6、當(dāng)前方法主要關(guān)注對(duì)標(biāo)簽數(shù)據(jù)的利用，而對(duì)無(wú)標(biāo)簽數(shù)據(jù)的潛力挖掘不足。

技術(shù)實(shí)現(xiàn)思路

1、為了克服上述現(xiàn)有技術(shù)存在的不足，本發(fā)明的目的在于提供一種基于共享特征對(duì)齊的半監(jiān)督多模態(tài)數(shù)據(jù)分類方法，該方法引入域自適應(yīng)思想來(lái)捕獲標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)的共享特征并通過(guò)迭代選取高價(jià)值偽標(biāo)簽來(lái)提升模型的分類精度。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：

3、一種基于共享特征對(duì)齊的半監(jiān)督多模態(tài)數(shù)據(jù)分類方法，包括以下步驟：

4、s101：輸入標(biāo)簽的和無(wú)標(biāo)簽的高光譜圖像與激光雷達(dá)數(shù)據(jù)，構(gòu)建共享-私有特征解耦模塊，分別提取高光譜圖像和激光雷達(dá)數(shù)據(jù)的域共享特征和域私有特征；

5、s102：拼接高光譜圖像和激光雷達(dá)數(shù)據(jù)的域共享特征，生成域共享的融合特征，并設(shè)計(jì)基于vision?transformer的特征增強(qiáng)模塊以補(bǔ)充域共享融合特征中的語(yǔ)義信息；

6、s103：設(shè)計(jì)多級(jí)共享特征對(duì)齊模塊，對(duì)齊標(biāo)簽數(shù)據(jù)與無(wú)標(biāo)簽數(shù)據(jù)的域共享特征的特征分布；

7、s104：設(shè)計(jì)基于圖transformer的樣本獲取模塊，基于對(duì)齊的域共享特征，使用圖transformer網(wǎng)絡(luò)辨別標(biāo)簽數(shù)據(jù)樣本和無(wú)標(biāo)簽數(shù)據(jù)樣本，根據(jù)圖transformer網(wǎng)絡(luò)的輸出結(jié)果選取有價(jià)值的無(wú)標(biāo)簽數(shù)據(jù)樣本；

8、s105：設(shè)計(jì)基于類自適應(yīng)閾值的樣本標(biāo)注模塊，根據(jù)類別的分類難度為每一類設(shè)計(jì)不同的閾值，為選擇的無(wú)標(biāo)簽數(shù)據(jù)樣本生成相應(yīng)的偽標(biāo)簽；

9、s106：使用設(shè)計(jì)的多個(gè)模塊搭建半監(jiān)督聯(lián)合分類網(wǎng)絡(luò)模型，對(duì)搭建的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到合適的網(wǎng)絡(luò)參數(shù)，并實(shí)現(xiàn)數(shù)據(jù)分類。

10、作為本發(fā)明的進(jìn)一步技術(shù)方案，所述步驟s101具體為：

11、受到域自適應(yīng)思想的影響，標(biāo)簽數(shù)據(jù)被視為源域，無(wú)標(biāo)簽數(shù)據(jù)被視為目標(biāo)域，設(shè)計(jì)共享-私有特征解耦模塊來(lái)提取標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)的共享特征，共享-私有特征解耦模塊由共享編碼器、私有編碼器和解碼器構(gòu)成，共享編碼器和私有編碼器分別用于捕獲域共享和域私有特征，解碼器使用共享特征和私有特征重建原始數(shù)據(jù)，確保提取的特征保留原始數(shù)據(jù)中有價(jià)值的信息。

12、為了捕獲高光譜圖像域共享和域私有的空間光譜特征和激光雷達(dá)數(shù)據(jù)域共享和域私有的空間高程信息，針對(duì)每種模態(tài)設(shè)計(jì)了不同的特征提取器；

13、通過(guò)殘差神經(jīng)網(wǎng)絡(luò)來(lái)提取輸入高光譜圖像的域共享和域私有空間光譜特征；

14、對(duì)于激光雷達(dá)數(shù)據(jù)，使用級(jí)聯(lián)網(wǎng)絡(luò)來(lái)提取域共享和域私有的空間高程特征，提取域共享特征和域私有特征的過(guò)程表示為：

15、

16、其中xsh和xth表示源域和目標(biāo)域輸入的高光譜圖像，xsl和xtl表示源域和目標(biāo)域輸入的激光雷達(dá)圖像，和表示域共享特征編碼器，和表示域私有特征編碼器，和通過(guò)權(quán)重共享的方式保持一致，域私有特征編碼器和域共享特征編碼器具有相同的結(jié)構(gòu)，但權(quán)重不同，共享權(quán)重的解碼器使用共享和私有特征來(lái)重建原始數(shù)據(jù)，該過(guò)程表示為：

17、

18、其中xsh(l)和xth(l)表示源域和目標(biāo)域的重建樣本。

19、作為本發(fā)明的進(jìn)一步技術(shù)方案，所述步驟s102具體為：

20、將高光譜圖像的共享空間光譜特征與激光雷達(dá)數(shù)據(jù)的共享空間高程特征進(jìn)行拼接，得到域共享的融合特征，該過(guò)程表述為：

21、

22、其中concat(·)表示拼接操作，和分別表示源域和目標(biāo)域的融合特征；

23、利用vision?transformer(vit)對(duì)深層語(yǔ)義關(guān)系進(jìn)行建模以補(bǔ)充局部信息，vision?transformer具有強(qiáng)大的全局建模能力。

24、首先，位置編碼被添加到中以獲取vit的輸入經(jīng)過(guò)vit的過(guò)程表示為：

25、

26、其中，l＝1,2,...,l，l表示vit的深度，mhsa(·)，ln(·)和ffn(·)分別表示多頭自注意力機(jī)制，層歸一化操作和前饋網(wǎng)絡(luò)，表示第l層transformer塊的輸出特征，vit的輸出被添加到中以補(bǔ)充融合特征中的語(yǔ)義信息。

27、作為本發(fā)明的進(jìn)一步技術(shù)方案，所述步驟s103具體為：

28、對(duì)齊標(biāo)簽數(shù)據(jù)與無(wú)標(biāo)簽數(shù)據(jù)的域共享特征的特征分布，最小化共享融合特征之間的最大均值差異來(lái)減小源域和目標(biāo)域之間的分布差異，使這些共享的融合特征盡可能的相似，最大均值差異定義為：

29、

30、其中φ(·)表示從原始特征空間到再生希爾伯特核空間的映射函數(shù)，|·|h表示再生希爾伯特核空間范數(shù)，和分別表示每個(gè)樣本的融合特征，此外，空間光譜特征、空間高程特征和vit提取的語(yǔ)義信息也使用相同的方式對(duì)齊，通過(guò)在多個(gè)層次施加約束，考慮到了各層次特征分布的差異，確保了語(yǔ)義信息和空間細(xì)節(jié)的高效學(xué)習(xí)。

31、作為本發(fā)明的進(jìn)一步技術(shù)方案，所述步驟s104具體為：

32、首先利用源域和目標(biāo)域的共享融合特征構(gòu)建圖，接著利用圖transformer來(lái)學(xué)習(xí)不同節(jié)點(diǎn)之間的關(guān)系，辨別有標(biāo)簽的和無(wú)標(biāo)簽的樣本，最后根據(jù)圖transformer的輸出結(jié)果選擇位于決策邊界附近的無(wú)標(biāo)簽樣本生成相應(yīng)的偽標(biāo)簽；

33、圖transformer由節(jié)點(diǎn)和邊組成，節(jié)點(diǎn)使用對(duì)應(yīng)樣本的共享融合特征初始化，邊通常用鄰接矩陣表示，鄰接矩陣定義為：

34、

35、其中ni和nj分別表示節(jié)點(diǎn)i和節(jié)點(diǎn)j的鄰居節(jié)點(diǎn)集合，與中心節(jié)點(diǎn)最相似的圖節(jié)點(diǎn)作為中心節(jié)點(diǎn)的鄰居節(jié)點(diǎn)，對(duì)節(jié)點(diǎn)的融合特征使用l2歸一化后，節(jié)點(diǎn)之間的相似性定義為：

36、

37、其中vi和vj分別表示節(jié)點(diǎn)i和節(jié)點(diǎn)j的融合特征，圖transformer被用來(lái)學(xué)習(xí)圖節(jié)點(diǎn)之間的關(guān)系，圖transformer中第l層的節(jié)點(diǎn)更新方程表示為:

38、

39、

40、其中表示節(jié)點(diǎn)i在第l層的特征，l＝0,1，和表示可學(xué)習(xí)的權(quán)重矩陣，norm是正則化操作，relu是激活函數(shù)，義為：

41、

42、

43、其中和是第l層可學(xué)習(xí)的權(quán)重矩陣，和分別表示第h個(gè)自注意力頭的查詢、鍵和值向量，h＝1,2,...,s，s是注意力頭的數(shù)量，最后一層的節(jié)點(diǎn)表示被輸入到全連接層中以獲得長(zhǎng)度為n的預(yù)測(cè)概率q，其值范圍在0到1之間。

44、進(jìn)一步的，當(dāng)q(xu)(指樣本x的預(yù)測(cè)結(jié)果)趨近于1時(shí)，表明該無(wú)標(biāo)簽樣本易于區(qū)分且與標(biāo)簽樣本信息相似，相反，當(dāng)q(xu)趨近0時(shí)，表明該樣本對(duì)分類器來(lái)說(shuō)具有挑戰(zhàn)性，可能有利于提高分類性能，位于決策邊界d附近的無(wú)標(biāo)簽樣本被選擇用來(lái)生成偽標(biāo)簽，因?yàn)檫@些無(wú)標(biāo)簽樣本既易于分辨也有利于提升網(wǎng)絡(luò)的分類精度。

45、無(wú)標(biāo)簽樣本選擇過(guò)程表示為：

46、

47、其中dq表示選擇集。

48、作為本發(fā)明的進(jìn)一步技術(shù)方案，所述步驟s105具體為：

49、獲得選擇集dq之后，選擇高置信度的偽標(biāo)簽重新訓(xùn)練分類模型，首先，根據(jù)dq中無(wú)標(biāo)簽樣本的預(yù)測(cè)結(jié)果構(gòu)建全局置信度閾值，然后根據(jù)每個(gè)類別達(dá)到全局閾值的樣本個(gè)數(shù)為每個(gè)類別設(shè)計(jì)類特定閾值，全局閾值thg表示為:

50、

51、其中|dq|表示dq中的樣本數(shù)，pi表示無(wú)標(biāo)簽樣本的預(yù)測(cè)結(jié)果，由于不同類別的分類難度不同，因此有必要為每個(gè)類別設(shè)計(jì)類特定閾值。一個(gè)高的閾值可以有效濾除有噪聲的偽標(biāo)簽，預(yù)測(cè)屬于一個(gè)類別并且達(dá)到閾值的樣本數(shù)可以表明該類的學(xué)習(xí)效果，因此超過(guò)閾值的樣本數(shù)較少類可以被認(rèn)為對(duì)分類網(wǎng)絡(luò)更具挑戰(zhàn)性。屬于類別c的樣本數(shù)目num(c)定義為：

52、

53、其中i(·)表示當(dāng)滿足條件時(shí)輸出結(jié)果為1，num使用進(jìn)行歸一化，其中表示num的均值，很顯然，樣本較少的類別具有較低的λc值。使用λc調(diào)整全局閾值thg的過(guò)程如下：

54、

55、其中thc表示類別c的閾值，對(duì)于樣本較少的類別，閾值會(huì)降低，而對(duì)于類別較多的類別，閾值會(huì)提高。通過(guò)為不同的類別設(shè)計(jì)不同的閾值，有助于減輕樣本豐富的類別的過(guò)擬合和樣本有限的類別的偏差預(yù)測(cè)，使每個(gè)類別的樣本數(shù)量處于平衡狀態(tài)。

56、作為本發(fā)明的進(jìn)一步技術(shù)方案，所述步驟s106具體為：

57、將高光譜圖像和激光雷達(dá)數(shù)據(jù)載入需要訓(xùn)練的分類網(wǎng)絡(luò)中，輸出預(yù)測(cè)的分類結(jié)果，使用交叉熵?fù)p失計(jì)算分類損失，計(jì)算過(guò)程表示為:

58、

59、其中yi是類別標(biāo)簽，pi是預(yù)測(cè)結(jié)果，在域共享特征和域私有特征之間施加軟空間正交約束來(lái)確保這些特征的獨(dú)立性，該損失的計(jì)算過(guò)程如下所示：

60、

61、其中||·||f表示frobenius范數(shù)，t表示轉(zhuǎn)置操作。在重建數(shù)據(jù)和原始數(shù)據(jù)之間使用尺度不變的均方誤差，使模型專注于再現(xiàn)輸入數(shù)據(jù)整體形狀，計(jì)算過(guò)程如下所示：

62、

63、其中ns和nt表示源域和目標(biāo)域的樣本數(shù)量，表示源域的第i個(gè)樣本，表示目標(biāo)域的第j個(gè)樣本，和分別表示相應(yīng)的重建樣本，∑表示矩陣中所有元素的和，k表示樣本中的元素個(gè)數(shù)，分類模型的整體損失表示為：

64、l＝lcls+αlmmd+βldiff+γlrecon

65、其中α，β，γ是權(quán)重系數(shù)；

66、圖transformer的優(yōu)化目標(biāo)表示為：

67、

68、其中λ是兩項(xiàng)之間的權(quán)重因子，nl和nu分別表示標(biāo)簽樣本和無(wú)標(biāo)簽樣本的數(shù)量。

69、在訓(xùn)練過(guò)程中，首先使用標(biāo)簽數(shù)據(jù)訓(xùn)練分類模型，然后基于圖transformer選擇有價(jià)值的偽標(biāo)簽重新訓(xùn)練模型，提升分類精度。使用adam優(yōu)化器更新網(wǎng)絡(luò)參數(shù)直至網(wǎng)絡(luò)收斂，批次大小設(shè)置為32，分類模型的最大訓(xùn)練輪次設(shè)置為300，從第100個(gè)輪次開(kāi)始選擇偽標(biāo)簽，之后50個(gè)輪次選擇一次偽標(biāo)簽，學(xué)習(xí)率初始化為0.001；圖transformer的最大訓(xùn)練輪次設(shè)置為200，學(xué)習(xí)率初始化為0.005；訓(xùn)練結(jié)束后保存最優(yōu)的網(wǎng)絡(luò)參數(shù)。

70、本發(fā)明的有益效果：

71、第一，本發(fā)明引入了域自適應(yīng)的思想來(lái)對(duì)齊標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)的特征分布，并迭代的選擇有價(jià)值的偽標(biāo)簽來(lái)提高模型在有限標(biāo)簽數(shù)據(jù)下的分類性能。

72、本發(fā)明受到域自適應(yīng)思想的影響，將標(biāo)簽數(shù)據(jù)視為源域，無(wú)標(biāo)簽數(shù)據(jù)視為目標(biāo)域，設(shè)計(jì)了共享-私有特征解耦模塊來(lái)捕獲不同域的共享特征，并提出多級(jí)共享特征對(duì)齊模塊對(duì)語(yǔ)義信息和空間細(xì)節(jié)進(jìn)行對(duì)齊，使基于共享特征訓(xùn)練的分類器能夠更好的擬合目標(biāo)域的特征分布。

73、本發(fā)明設(shè)計(jì)了基于圖transformer的樣本獲取策略來(lái)選擇有價(jià)值的無(wú)標(biāo)簽樣本，提出基于類自適應(yīng)閾值的樣本標(biāo)注策略為每一類設(shè)計(jì)不同的閾值，選擇高置信度的偽標(biāo)簽重新訓(xùn)練模型，從而避免了偽標(biāo)簽樣本提供與標(biāo)簽樣本相似的信息而導(dǎo)致的過(guò)擬合現(xiàn)象。

74、第二，本發(fā)明提出的基于共享特征對(duì)齊的半監(jiān)督多模態(tài)數(shù)據(jù)分類方法，解決了現(xiàn)有方法中因標(biāo)簽數(shù)據(jù)有限導(dǎo)致的模型精度不理想問(wèn)題。本發(fā)明有助于獲取更加精確的地物信息，從而提高相關(guān)決策的科學(xué)性和有效性。可以廣泛應(yīng)用于環(huán)境監(jiān)測(cè)、農(nóng)業(yè)資源管理和軍事偵查等領(lǐng)域，顯著提升各類應(yīng)用的效果和精度；同時(shí)可以有效降低遙感圖像標(biāo)注的成本，帶來(lái)顯著的經(jīng)濟(jì)效益和社會(huì)價(jià)值。

75、本發(fā)明填補(bǔ)了遙感圖像領(lǐng)域標(biāo)簽有限情況下實(shí)現(xiàn)高精度地物分類的技術(shù)空白?，F(xiàn)有方法往往依賴于充足的標(biāo)簽數(shù)據(jù)進(jìn)行訓(xùn)練，忽視了數(shù)據(jù)標(biāo)注的困難。本發(fā)明提取標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)的共享特征，并迭代選取有價(jià)值的偽標(biāo)簽數(shù)據(jù)更新模型，有效提高了模型在有限樣本下的分類精度，為多模態(tài)遙感數(shù)據(jù)融合分類領(lǐng)域帶來(lái)了新的突破，具有重要的科學(xué)研究?jī)r(jià)值和廣泛的應(yīng)用前景。

76、本發(fā)明通過(guò)對(duì)齊標(biāo)簽數(shù)據(jù)和無(wú)標(biāo)簽數(shù)據(jù)的共享特征，迭代選擇高置信度偽標(biāo)簽更新模型實(shí)現(xiàn)有限標(biāo)簽樣本下的地物分類，有效解決了長(zhǎng)期以來(lái)多模態(tài)數(shù)據(jù)融合分類領(lǐng)域的核心難題：模型的精度依賴于充足的標(biāo)簽數(shù)據(jù)?，F(xiàn)有方法大多忽視了遙感圖像標(biāo)注的時(shí)間和人力成本。本發(fā)明通過(guò)引入域自適應(yīng)的對(duì)齊思想，設(shè)計(jì)基于圖transformer的樣本獲取策略，使用基于類自適應(yīng)閾值的樣本標(biāo)注策略有效利用無(wú)標(biāo)簽數(shù)據(jù)蘊(yùn)含的豐富信息，減輕了分類模型對(duì)標(biāo)簽數(shù)據(jù)的依賴，解決了多模態(tài)數(shù)據(jù)融合分類領(lǐng)域存在的技術(shù)難題。

77、本發(fā)明提出的基于共享特征對(duì)齊的半監(jiān)督多模態(tài)數(shù)據(jù)分類方法，打破了現(xiàn)有多模態(tài)數(shù)據(jù)融合分類方法分類精度對(duì)于標(biāo)簽數(shù)據(jù)的嚴(yán)重依賴，克服了現(xiàn)有技術(shù)中的固有偏見(jiàn)?，F(xiàn)有技術(shù)的分類精度往往需要大量標(biāo)簽數(shù)據(jù)的支撐，忽視了遙感圖像數(shù)據(jù)標(biāo)注的時(shí)間和人力成本。本發(fā)明利用域自適應(yīng)的對(duì)齊思想，設(shè)計(jì)基于圖transformer的樣本獲取策略，使用基于類自適應(yīng)閾值的樣本標(biāo)注策略綜合利用無(wú)標(biāo)簽數(shù)據(jù)蘊(yùn)含的豐富信息，顯著提升了有限標(biāo)簽樣本下模型的分類精度。