本發(fā)明屬于高光譜遙感圖像變化檢測(cè),具體涉及一種基于多尺度卷積稀疏編碼的高光譜圖像變化檢測(cè)方法。
背景技術(shù):
1、遙感技術(shù)作為一種檢測(cè)和識(shí)別手段,通過飛機(jī)或衛(wèi)星上的傳感器以非接觸的方式收集地表信息,捕捉各種地表特征。在其中,變化檢測(cè)技術(shù)分析不同時(shí)間獲取的同一地理區(qū)域圖像,以識(shí)別和量化地表特征的變化。該技術(shù)在城市規(guī)劃、自然災(zāi)害評(píng)估和環(huán)境保護(hù)等領(lǐng)域具有廣泛的應(yīng)用價(jià)值。近年來,高光譜圖像因其能夠捕捉比其他遙感圖像更廣泛的光譜范圍,提供更豐富和精細(xì)的空間和光譜信息,成為變化檢測(cè)研究的重要焦點(diǎn)。
2、早期的變化檢測(cè)研究包括圖像代數(shù)、基于變換和基于分類的方法。變化向量分析(cva)是典型的圖像代數(shù)方法,利用像素間的歐幾里得距離識(shí)別變化,但由于忽略空間上下文而對(duì)噪聲敏感?;谧儞Q的方法包括主成分分析(pca)、慢特征分析(sfa)和迭代加權(quán)多元變更檢測(cè)(ir-mad)等。pca將重要信息集中在少數(shù)主成分中,sfa提取時(shí)間不變成分以增強(qiáng)變化檢測(cè),而ir-mad使用基于卡方距離的加權(quán)方法最大化特征差異方差,聚焦于未變化像素。然而,這些方法在降維過程中可能丟失有用信息?;诜诸惖募夹g(shù)包括分類后比較和復(fù)合分類。分類后比較分別對(duì)兩幅圖像進(jìn)行分類并比較結(jié)果,復(fù)合分類則直接對(duì)疊加的雙時(shí)相高光譜圖像進(jìn)行分類,這兩者都嚴(yán)重依賴于分類器設(shè)計(jì),并面臨累計(jì)或遺漏誤差的問題。
3、近年來,深度學(xué)習(xí)在計(jì)算機(jī)視覺和遙感領(lǐng)域得到了廣泛應(yīng)用。在變化檢測(cè)中,基于深度學(xué)習(xí)的方法已經(jīng)占據(jù)主導(dǎo)地位,出現(xiàn)了getnet、recnn、ml-edan等一系列神經(jīng)網(wǎng)絡(luò)模型。盡管這些模型表現(xiàn)出優(yōu)異的檢測(cè)性能,但它們的設(shè)計(jì)是經(jīng)驗(yàn)性的,未考慮高光譜圖像的先驗(yàn)特性,缺乏明確的數(shù)學(xué)理論指導(dǎo),其“黑箱”性質(zhì)限制了模型的改進(jìn)和發(fā)展,難以提取更加本質(zhì)的特征,導(dǎo)致網(wǎng)絡(luò)模型的泛化性能有限。
4、此外,深度學(xué)習(xí)技術(shù)通常需要大量的標(biāo)注數(shù)據(jù),這在處理復(fù)雜的高光譜圖像時(shí)是不現(xiàn)實(shí)的。在標(biāo)注數(shù)據(jù)有限的情況下,如何有效利用未標(biāo)注數(shù)據(jù)進(jìn)行學(xué)習(xí),同時(shí)增強(qiáng)模型對(duì)變化的敏感性,是高光譜圖像變化檢測(cè)任務(wù)面臨的一個(gè)重要挑戰(zhàn)。
5、綜上所述,目前的方法主要存在這些缺陷:(1)傳統(tǒng)的變化檢測(cè)方法依賴于手工制作的特征提取器,僅能提取淺層特征,容易受到噪聲干擾。(2)深度學(xué)習(xí)方法的網(wǎng)絡(luò)架構(gòu)通常通過主觀設(shè)計(jì),缺乏明確的理論指導(dǎo),難以直觀理解其內(nèi)部機(jī)制,泛化性能有限。(3)現(xiàn)有深度學(xué)習(xí)方法高度依賴標(biāo)注數(shù)據(jù),缺乏有效利用大量未標(biāo)注數(shù)據(jù)并增強(qiáng)模型的變化敏感性的解決方案。
技術(shù)實(shí)現(xiàn)思路
1、為了克服上述現(xiàn)有技術(shù)存在的不足,本發(fā)明的目的在于提供一種基于多尺度卷積稀疏編碼的高光譜圖像變化檢測(cè)方法,該方法不僅增強(qiáng)了深度多尺度特征提取的可解釋性,而且減少了網(wǎng)絡(luò)模型的標(biāo)注依賴性,在有效利用大量未標(biāo)注數(shù)據(jù)的同時(shí)增強(qiáng)了對(duì)變化的敏感性。
2、為了實(shí)現(xiàn)上述目的,本發(fā)明采用的技術(shù)方案是:
3、基于多尺度卷積稀疏編碼的高光譜圖像變化檢測(cè)方法,包括以下步驟;
4、s101:輸入少量有標(biāo)注和大量未標(biāo)注的雙時(shí)相高光譜圖像,每個(gè)圖像依次經(jīng)過三次卷積和下采樣,分別得到每次卷積和下采樣對(duì)應(yīng)的不同尺度特征圖x1、x2、x3;
5、s102:構(gòu)建多尺度卷積稀疏編碼模型的迭代優(yōu)化更新算法;
6、s103:基于多尺度卷積稀疏編碼模型的迭代優(yōu)化更新算法構(gòu)建共享稀疏系數(shù)更新模塊和私有稀疏系數(shù)更新模塊,并展開成深度可解釋神經(jīng)網(wǎng)絡(luò),將兩個(gè)結(jié)構(gòu)相同但權(quán)重不同的深度可解釋神經(jīng)網(wǎng)絡(luò)分別作為學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò);
7、s104:輸入三個(gè)不同尺度特征圖x1、x2、x3,在網(wǎng)絡(luò)的前向傳播中反復(fù)交替更新共享稀疏系數(shù)特征ss和私有稀疏系數(shù)特征多次迭代后得到融合稀疏系數(shù)特征sf;
8、s105:將學(xué)生網(wǎng)絡(luò)的稀疏系數(shù)特征輸入分類器,使用少量的標(biāo)注數(shù)據(jù)進(jìn)行第一階段的監(jiān)督訓(xùn)練;
9、s106:將學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò)的時(shí)相特征表示和差值特征表示分別進(jìn)行對(duì)齊,使用少量標(biāo)注數(shù)據(jù)和大量未標(biāo)注數(shù)據(jù)進(jìn)行混合訓(xùn)練;
10、s107:將雙時(shí)相高光譜圖像輸入訓(xùn)練好的學(xué)生網(wǎng)絡(luò),得到最終的變化檢測(cè)結(jié)果。
11、作為本發(fā)明的進(jìn)一步技術(shù)方案,所述步驟s101具體為:
12、為了減少計(jì)算復(fù)雜度,將少量有標(biāo)注和大量未標(biāo)注的雙時(shí)相高光譜圖像分割為重疊的輸入圖像塊,并通過三次卷積和下采樣,生成不同尺度的特征圖x1、x2、x3,以充分考慮變化區(qū)域大小的多樣性和復(fù)雜性,同時(shí),為了緩解下采樣所帶來的信息損失,不同尺度的特征圖間添加了帶有卷積下采樣的殘差連接:
13、x1=relu(relu(conv(x))+conv(x))
14、x2=relu(relu(conv(x1))+conv(x1))
15、x3=relu(relu(conv(x2))+conv(x2))
16、其中,conv(·)表示卷積下采樣操作,relu(·)表示修正線性單元激活函數(shù),為輸入圖像塊,c、h、w分別表示波段數(shù)、高度和寬度,由此得到不同尺度的特征圖作為深度可解釋網(wǎng)絡(luò)的輸入。
17、作為本發(fā)明的進(jìn)一步技術(shù)方案,所述步驟s102具體為:
18、首先,在得到三個(gè)不同尺度的特征x1、x2、x3后,構(gòu)建如下的多尺度稀疏編碼模型來捕獲不同尺度間的共享稀疏系數(shù)和私有稀疏系數(shù):
19、
20、
21、
22、其中,分別表示卷積操作、共享稀疏系數(shù)、私有稀疏系數(shù)、共享稀疏系數(shù)卷積層、私有稀疏系數(shù)卷積層,k為卷積核尺寸,p表示稀疏系數(shù)中的通道數(shù),共享稀疏系數(shù)的空間維度與中間尺度的輸入特征圖一致,以確保其中高級(jí)語義信息和低級(jí)細(xì)節(jié)之間的平衡,在得到共享稀疏系數(shù)和私有稀疏系數(shù)后,將它們?nèi)诤蠟橐粋€(gè)綜合稀疏系數(shù)中,以增強(qiáng)模型的特征表示能力,從而提高模型的魯棒性:
23、
24、其中,分別為融合稀疏系數(shù)、共享稀疏系數(shù)融合卷積層、私有稀疏系數(shù)融合卷積層;為了實(shí)現(xiàn)卷積稀疏編碼并得到融合稀疏系數(shù),目標(biāo)是在優(yōu)化以下稀疏系數(shù)的目標(biāo)函數(shù)時(shí),凍結(jié)卷積層:
25、
26、其中,λ作為正則化參數(shù)用于控制稀疏系數(shù)的稀疏性,為了豐富稀疏系數(shù)中的空間信息,基于相鄰像素之間存在相同稀疏支撐集的假設(shè),對(duì)其施加了結(jié)構(gòu)化行稀疏約束,即l2,1范數(shù),為了克服這種多目標(biāo)優(yōu)化挑戰(zhàn),使用交替方向乘子法(admm)來解決目標(biāo)函數(shù)的優(yōu)化問題,通過引入輔助變量(avs)和對(duì)偶變量(dvs),定義了如下增廣拉格朗日函數(shù):
27、
28、其中,ρ表示控制約束一致性的懲罰參數(shù),和為共享、私有稀疏系數(shù)的輔助變量,和表示共享、私有稀疏系數(shù)的對(duì)偶變量,f表示擴(kuò)展到三階張量的frobenius范數(shù)。
29、為了優(yōu)化該增廣拉格朗日函數(shù),使用admm算法將其分解為六個(gè)可處理的子問題。
30、具體的迭代更新過程如下:
31、更新s:私有稀疏系數(shù)的子問題及其更新過程如下:
32、
33、
34、
35、其中,α是調(diào)整更新幅度的步長(zhǎng)參數(shù),表示轉(zhuǎn)置卷積操作,k表示第k次迭代。
36、同樣地,共享稀疏系數(shù)的子問題及其更新過程如下:
37、
38、
39、
40、其中,同樣表示轉(zhuǎn)置卷積操作。
41、更新z:私有輔助變量的子問題及其更新過程如下:
42、
43、
44、同樣地,共享輔助變量的子問題及其更新過程如下:
45、
46、
47、更新μ:共享和私有對(duì)偶變量的更新過程如下:
48、
49、
50、在經(jīng)過k+1次迭代后,將得到的共享和私有稀疏系數(shù)進(jìn)行結(jié)合得到融合稀疏系數(shù)。
51、作為本發(fā)明的進(jìn)一步技術(shù)方案,所述步驟s103具體為:
52、根據(jù)推導(dǎo)的多尺度卷積稀疏編碼模型迭代更新算法,構(gòu)建共享稀疏系數(shù)更新模塊和私有稀疏系數(shù)更新模塊;這兩個(gè)模塊的信息流和內(nèi)部工作機(jī)制都是透明和可追溯的,每一個(gè)操作都是模型驅(qū)動(dòng)并與迭代算法嚴(yán)格對(duì)齊,確保輸出的共享稀疏系數(shù)特征ss和私有稀疏系數(shù)特征具有直觀的物理意義。根據(jù)推導(dǎo)的迭代優(yōu)化更新算法,將兩個(gè)更新模塊中的卷積算子替代為現(xiàn)有的cnn層,通過交替展開這兩個(gè)更新模塊,構(gòu)建多尺度卷積稀疏編碼引導(dǎo)的深度可解釋網(wǎng)絡(luò);
53、基于此,構(gòu)建兩個(gè)結(jié)構(gòu)相同但權(quán)重不同的網(wǎng)絡(luò)分別作為學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò),用于分別提取學(xué)生的多尺度特征表示和教師的多尺度特征表示。
54、作為本發(fā)明的進(jìn)一步技術(shù)方案,所述步驟s104具體為:
55、首先,將高光譜圖像的三個(gè)不同尺度特征圖輸入私有稀疏系數(shù)更新模塊,提取并更新私有稀疏系數(shù)特征從而不同尺度上捕捉私有結(jié)構(gòu)信息和尺度依賴特征,減少冗余,并準(zhǔn)確表示輸入特征圖中的關(guān)鍵特征。
56、在得到更新后的私有稀疏系數(shù)特征將它們和特征圖x1、x2、x3一同輸入進(jìn)共享稀疏系數(shù)更新模塊,提取并更新共享稀疏系數(shù)特征ss,捕捉跨尺度的一般性紋理和結(jié)構(gòu)模式;
57、經(jīng)過多次迭代后,將共享稀疏系數(shù)特征ss和私有稀疏系數(shù)特征組合得到融合稀疏系數(shù)特征sf作為多尺度卷積稀疏編碼引導(dǎo)的深度可解釋網(wǎng)絡(luò)的輸出。
58、作為本發(fā)明的進(jìn)一步技術(shù)方案,所述步驟s105具體為:
59、在第一階段的訓(xùn)練中,使用少量的標(biāo)注數(shù)據(jù)輸入學(xué)生網(wǎng)絡(luò),并將得到的系數(shù)特征送入全連接分類器中實(shí)現(xiàn)變化與不變的二元分類的監(jiān)督訓(xùn)練,其中,焦點(diǎn)損失用于指導(dǎo)網(wǎng)絡(luò)第一階段的訓(xùn)練:
60、
61、
62、
63、其中,b表示批量大小,yb是第b個(gè)樣本的真實(shí)標(biāo)簽,是處理類別不平衡的權(quán)重因子,pb是預(yù)測(cè)概率。此外,聚焦參數(shù)γf和調(diào)制因子減少了易分類樣本對(duì)損失的貢獻(xiàn)。通過這種方式,學(xué)生網(wǎng)絡(luò)經(jīng)歷了有效的“預(yù)熱”階段,確保了后續(xù)訓(xùn)練階段的穩(wěn)健初始化。
64、作為本發(fā)明的進(jìn)一步技術(shù)方案,所述步驟s106具體為:
65、在第二階段的訓(xùn)練中,學(xué)生網(wǎng)絡(luò)的權(quán)重通過標(biāo)準(zhǔn)的梯度反向傳播進(jìn)行更新,而教師網(wǎng)絡(luò)的權(quán)重則停止其提取反向傳播,轉(zhuǎn)而使用學(xué)生網(wǎng)絡(luò)權(quán)重的指數(shù)滑動(dòng)均值(ema)進(jìn)行更新:
66、θt←βθt+(1-β)θs
67、其中,θt表示教師網(wǎng)絡(luò)的權(quán)重,θs表示學(xué)生網(wǎng)絡(luò)的權(quán)重,β為控制更新速度的平滑因子。通過這種方式,教師網(wǎng)絡(luò)能夠減緩學(xué)生網(wǎng)絡(luò)的隨機(jī)波動(dòng),使訓(xùn)練過程更加穩(wěn)定。
68、通過將大量未標(biāo)注數(shù)據(jù)輸入教師和學(xué)生網(wǎng)絡(luò),并將它們的時(shí)相特征和差值特征分別輸入多層感知機(jī),投影到同一特征空間,結(jié)合l2范數(shù)歸一化和權(quán)重歸一化,確保特征能夠有效對(duì)齊并統(tǒng)一優(yōu)化,從而實(shí)現(xiàn)教師-學(xué)生自蒸餾范式的自監(jiān)督訓(xùn)練。此外,教師網(wǎng)絡(luò)中的中心化操作用于防止網(wǎng)絡(luò)在訓(xùn)練過程中出現(xiàn)崩潰或退化問題,確保訓(xùn)練的穩(wěn)定性。該過程具體的損失函數(shù)如下所示:
69、lssl=ψlu+(1-ψ)ld
70、
71、
72、
73、其中分別表示學(xué)生和教師的時(shí)相特征表示,o為特征表示的維度,和表示學(xué)生和教師的差值特征表示,sim(·,·)表示余弦相似度函數(shù),γ為懲罰因子,通過教師-學(xué)生自蒸餾范式的自監(jiān)督訓(xùn)練,可以從大量未標(biāo)注數(shù)據(jù)中學(xué)習(xí)有用的特征表示,增強(qiáng)網(wǎng)絡(luò)對(duì)變化信息的敏感性,同時(shí)也能學(xué)習(xí)到不變的信息;
74、此外,少量標(biāo)注數(shù)據(jù)被送入學(xué)生網(wǎng)絡(luò)進(jìn)行有監(jiān)督訓(xùn)練。這種混合訓(xùn)練方式確保了教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)的權(quán)重能夠朝著正確的方向更新。
75、作為本發(fā)明的進(jìn)一步技術(shù)方案,所述步驟s107具體為:
76、在經(jīng)過第一階段的初始監(jiān)督訓(xùn)練和第二階段的混合訓(xùn)練后,提取訓(xùn)練好的學(xué)生網(wǎng)絡(luò)和全連接分類器,并凍結(jié)其中的參數(shù),將待檢測(cè)的雙時(shí)相高光譜圖像輸入學(xué)生網(wǎng)絡(luò)得到兩個(gè)時(shí)相的系數(shù)特征,將兩者的差值特征送入分類器后得到最終的變化檢測(cè)結(jié)果:
77、d=g(m(xt1)-m(xt2))
78、其中,xt1和xt2表示輸入的雙時(shí)相高光譜圖像,m(·)表示多尺度卷積稀疏編碼引導(dǎo)的深度可解釋網(wǎng)絡(luò),g(·)表示全連接分類器,d為得到的最終變化圖。
79、本發(fā)明的有益效果:
80、第一,本發(fā)明設(shè)計(jì)了一種多尺度卷積稀疏編碼模型,能夠高效捕獲輸入圖像在不同尺度上的共享稀疏系數(shù)和私有稀疏系數(shù),在提取豐富多尺度信息的同時(shí),顯著減少特征冗余,使特征分布更加緊湊。
81、本發(fā)明將多尺度卷積稀疏編碼模型與深度學(xué)習(xí)相結(jié)合,設(shè)計(jì)了模型引導(dǎo)的深度可解釋網(wǎng)絡(luò),不僅增強(qiáng)了特征提取的可解釋性,并顯著提升了模型的泛化性能和檢測(cè)精度。
82、本發(fā)明設(shè)計(jì)了一種結(jié)合監(jiān)督學(xué)習(xí)和變化敏感教師-學(xué)生自蒸餾學(xué)習(xí)范式的兩階段訓(xùn)練策略,在缺乏標(biāo)注數(shù)據(jù)的情況下通過利用教師網(wǎng)絡(luò)引導(dǎo)學(xué)生網(wǎng)絡(luò)對(duì)變化與不變特征的學(xué)習(xí),顯著降低了模型對(duì)標(biāo)注數(shù)據(jù)的依賴性,充分提升了未標(biāo)注數(shù)據(jù)的利用效率,并有效增強(qiáng)了模型對(duì)變化的敏感性。
83、第二,本發(fā)明提出的基于多尺度卷積稀疏編碼的高光譜圖像變化檢測(cè)方法,不僅在技術(shù)上能夠顯著提高模型的泛化性能和變化檢測(cè)精度,同時(shí)減少對(duì)標(biāo)注數(shù)據(jù)的依賴性,還具有廣泛的商業(yè)應(yīng)用潛力。通過降低對(duì)標(biāo)注數(shù)據(jù)的依賴性,本發(fā)明可以在數(shù)據(jù)匱乏的環(huán)境下依然保持高效的變化檢測(cè)能力,從而減少數(shù)據(jù)標(biāo)注的成本和時(shí)間投入。
84、現(xiàn)有的變化檢測(cè)方法在可解釋性和高效特征提取方面存在諸多局限性,而本發(fā)明創(chuàng)新性地將多尺度卷積稀疏編碼與深度學(xué)習(xí)相結(jié)合,顯著提升了變化檢測(cè)的性能和可解釋性。通過引入多尺度卷積稀疏編碼,本發(fā)明在不同尺度上捕捉圖像特征,使提取的特征更加緊湊且具有豐富的物理含義。相比于傳統(tǒng)的“黑箱”深度學(xué)習(xí)模型,本發(fā)明的模型具備了更高的可解釋性,能夠清晰地解釋特征提取過程中的物理和數(shù)學(xué)原理,幫助用戶更好地理解模型的工作機(jī)制。此外,通過將多尺度卷積稀疏編碼與深度學(xué)習(xí)方法有機(jī)結(jié)合,本發(fā)明不僅保留了稀疏編碼在特征提取中的優(yōu)勢(shì),還利用了深度學(xué)習(xí)的強(qiáng)大表示能力,顯著提高了變化檢測(cè)的精度和泛化能力。
85、基于深度學(xué)習(xí)的高光譜圖像變化檢測(cè)方法在特征提取的準(zhǔn)確性、模型的可解釋性以及泛化性能方面一直存在不足,尤其是難以平衡模型的復(fù)雜性與檢測(cè)精度;此外,現(xiàn)有的方法大多依賴大量標(biāo)注數(shù)據(jù),導(dǎo)致在數(shù)據(jù)不足的情況下性能大幅下降。本發(fā)明通過將多尺度稀疏編碼技術(shù)與深度學(xué)習(xí)相結(jié)合,不僅顯著提高了特征提取的精度,還增強(qiáng)了模型的可解釋性。本發(fā)明能夠在不同尺度上捕捉圖像中的關(guān)鍵特征,并通過稀疏表示有效減少特征冗余,使得模型在復(fù)雜場(chǎng)景下能夠保持高效、精準(zhǔn)的變化檢測(cè)。同時(shí),本發(fā)明還降低了對(duì)標(biāo)注數(shù)據(jù)的依賴性,在缺乏標(biāo)注數(shù)據(jù)的情況下依然能夠表現(xiàn)出卓越的檢測(cè)性能。
86、以往的技術(shù)往往依賴于單一模型或特定算法,在面對(duì)復(fù)雜多變的場(chǎng)景時(shí),容易出現(xiàn)特征提取不全面、模型泛化能力不足等問題。此外,傳統(tǒng)方法中對(duì)數(shù)據(jù)的依賴性較高,尤其是在標(biāo)注數(shù)據(jù)不足的情況下,模型的性能會(huì)大幅下降,這種依賴性和局限性形成了一種技術(shù)上的偏見,限制了變化檢測(cè)方法的應(yīng)用范圍和效果。本發(fā)明通過將多尺度稀疏編碼模型與深度學(xué)習(xí)相結(jié)合,在不同尺度上捕捉圖像中的重要特征,避免了傳統(tǒng)方法中對(duì)某一特定尺度或特征的偏倚,確保了特征提取的全面性和準(zhǔn)確性。此外,稀疏編碼的引入使得特征表示更加緊湊,減少了冗余信息,從而提升了模型的可解釋性和泛化能力。同時(shí),本發(fā)明通過兩階段的半監(jiān)督學(xué)習(xí)策略,降低了對(duì)大量標(biāo)注數(shù)據(jù)的依賴性,使得模型在數(shù)據(jù)有限的情況下依然能夠保持優(yōu)異的檢測(cè)性能。