本發(fā)明涉及圖像處理，具體涉及一種基于改進(jìn)transformer模型的遙感圖像去霧方法及系統(tǒng)。

背景技術(shù)：

1、遙感圖像在實(shí)際應(yīng)用中常常受到大氣散射效應(yīng)的影響，在云霧濃密、霧霾厚重時(shí)可能會(huì)產(chǎn)生邊緣模糊、顏色失真等問(wèn)題，導(dǎo)致圖像質(zhì)量下降，處理速度緩慢，影響信息的獲取和分析。遙感圖像去霧是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，因?yàn)殪F霾等大氣現(xiàn)象會(huì)引起光的散射和吸收，導(dǎo)致遙感圖像中的目標(biāo)物體模糊不清。去除這些效應(yīng)需要準(zhǔn)確的散射模型和去霧算法，這對(duì)計(jì)算和物理模型的要求很高。在實(shí)際應(yīng)用中，深度學(xué)習(xí)模型去霧方法因其優(yōu)異的性能和泛化能力而受到廣泛關(guān)注。transformer模型以其強(qiáng)大的特征提取和建模能力在自然語(yǔ)言處理等領(lǐng)域取得了顯著成果，近年來(lái)也被應(yīng)用于圖像處理任務(wù)，例如，基于transformer模型的遙感圖像去霧方法能夠處理日間、夜間和遙感圖像去霧任務(wù)。

2、transformer模型主要優(yōu)勢(shì)在于其自注意力機(jī)制(self-attention?mechanism)，能夠捕獲序列中任意兩個(gè)元素之間的依賴關(guān)系，從而在圖像去霧中可有效處理全局信息和長(zhǎng)距離依賴關(guān)系。然而，transformer模型在處理有霧遙感圖像時(shí)可能面臨局部信息丟失的問(wèn)題。此外，利用transformer模型處理大規(guī)模的遙感圖像數(shù)據(jù)通常需要大量的計(jì)算資源和內(nèi)存，從而計(jì)算成本高、計(jì)算速度慢。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于改進(jìn)transformer模型的遙感圖像去霧方法及系統(tǒng)。

2、本發(fā)明的技術(shù)方案為：

3、本發(fā)明第一方面提供一種基于改進(jìn)transformer模型的遙感圖像去霧方法，該方法包括如下步驟：

4、步驟1：準(zhǔn)備由多個(gè)圖像對(duì)構(gòu)成的遙感圖像數(shù)據(jù)集，并從該數(shù)據(jù)集中劃分出訓(xùn)練集；所述圖像對(duì)由無(wú)霧遙感圖像及與無(wú)霧遙感圖像對(duì)應(yīng)的有霧遙感圖像構(gòu)成；

5、步驟2：對(duì)現(xiàn)有transformer模型中的特征提取模塊進(jìn)行改進(jìn)并將改進(jìn)后的特征提取模塊命名為去霧模塊，所述改進(jìn)包括引入快速傅里葉卷積ffc模塊；

6、步驟3：利用訓(xùn)練集對(duì)改進(jìn)后的transformer模型進(jìn)行訓(xùn)練，獲得ffcformer去霧模型；

7、步驟4：利用ffcformer去霧模型對(duì)輸入該模型的有霧遙感圖像進(jìn)行去霧處理。

8、所述引入快速傅里葉卷積ffc模塊，具體是在原始特征提取模塊的尺度歸一化操作之前引入ffc模塊。

9、所述步驟2所述的對(duì)現(xiàn)有transformer模型中的特征提取模塊進(jìn)行改進(jìn)，還包括采用基于復(fù)制填充的移位窗口劃分方案代替反射填充的移位窗口劃分方案。

10、在所述步驟4中，將ffcformer去霧模型部署到嵌入式計(jì)算設(shè)備上，對(duì)輸入的有霧遙感圖像進(jìn)行去霧處理。

11、所述步驟4具體包括如下步驟：

12、步驟4.1：將ffcformer去霧模型保存為.pth格式的文件，命名為best.pth；

13、步驟4.2：對(duì)best.pth進(jìn)行剪枝和量化操作，簡(jiǎn)化后的模型命名為dehazeformer.pth；

14、步驟4.3：將dehazeformer.pth轉(zhuǎn)化為onnx格式的文件，并命名為dehazeformer.onnx；

15、步驟4.4：通過(guò)簡(jiǎn)化工具onnxsim對(duì)dehazeformer.onnx進(jìn)行圖變換和常量折疊操作，來(lái)消除模型中的冗余參數(shù)和計(jì)算，得到輕量模型dehazeformer-sim.onnx；

16、步驟4.5：使用深度學(xué)習(xí)推理優(yōu)化器tensorrt將dehazeformer-sim.onnx轉(zhuǎn)換成可調(diào)用的引擎文件dehaze.engine；

17、步驟4.6：在嵌入式計(jì)算設(shè)備上調(diào)用深度學(xué)習(xí)推理優(yōu)化器tensorrt，通過(guò)深度學(xué)習(xí)推理優(yōu)化器tensorrt調(diào)用引擎文件dehaze.engine，經(jīng)過(guò)編譯后生成可執(zhí)行去霧程序；

18、步驟4.7：在可執(zhí)行去霧程序中讀取輸入的有霧遙感圖像，實(shí)現(xiàn)有霧遙感圖像的去霧處理。

19、所述嵌入式計(jì)算設(shè)備為nvidiajetson?xavier?nx。

20、本發(fā)明第二方面提供一種基于改進(jìn)transformer模型的遙感圖像去霧系統(tǒng)，基于所述的方法建立，該系統(tǒng)設(shè)置于嵌入式計(jì)算設(shè)備nvidiajetson?xavier?nx上，該系統(tǒng)包括：

21、圖像存儲(chǔ)模塊，負(fù)責(zé)將收集的需要去霧處理的有霧遙感圖像保存到nvidiajetsonxavier?nx的系統(tǒng)相冊(cè)中；

22、圖像預(yù)處理模塊，負(fù)責(zé)通過(guò)nvidia?jetson?xaviernx具有的圖像選擇器從系統(tǒng)相冊(cè)中選擇1個(gè)或者多個(gè)有霧遙感圖像并對(duì)其進(jìn)行預(yù)處理，包括縮放和歸一化處理；

23、圖像推理模塊，負(fù)責(zé)調(diào)用深度學(xué)習(xí)推理優(yōu)化器tensorrt，通過(guò)深度學(xué)習(xí)推理優(yōu)化器tensorrt調(diào)用所述的引擎文件dehaze.engine，經(jīng)過(guò)編譯后生成可執(zhí)行去霧程序；在可執(zhí)行去霧程序中讀取圖像預(yù)處理模塊處理后的圖像并執(zhí)行推理過(guò)程，實(shí)現(xiàn)圖像去霧得到去霧的遙感圖像；

24、結(jié)果處理和展示模塊，將圖像推理模塊得到的去霧的遙感圖像進(jìn)行反歸一化處理，并將處理后的去霧的遙感圖像在nvidiajetson?xavier?nx上進(jìn)行可視化展示。

25、與現(xiàn)有技術(shù)相比較，本發(fā)明的有益效果是：

26、1、遙感圖像在采集過(guò)程中常受到大氣條件例如霧霾、云層的影響，導(dǎo)致圖像質(zhì)量下降，邊緣模糊，影響后續(xù)的地物識(shí)別和分析，為此，本發(fā)明針對(duì)邊緣像素的保留進(jìn)行了創(chuàng)新設(shè)計(jì)，以基于復(fù)制填充的移位窗口劃分方案替換現(xiàn)有transformer模型的特征提取模塊中的基于反射填充的移位窗口劃分方案，將圖像的邊緣像素復(fù)制到填充區(qū)域，能夠保持圖片的邊緣信息，獲得高質(zhì)量的去霧遙感圖片。

27、2、在現(xiàn)有的transformer模型的特征提取模塊中引入了快速傅里葉卷積(ffc)模塊，ffc模塊具有更高的計(jì)算效率和更好的全局感知能力，在圖像去霧處理中，ffc模塊可以幫助transformer模型更好地理解圖像的全局結(jié)構(gòu)和周期性特征，能夠更有效地捕獲圖像的全局結(jié)構(gòu)和周期性特征，減少去霧過(guò)程中的全局信息丟失，去霧后的圖像在清晰度和色彩一致性方面均有所提升。

28、3、對(duì)改進(jìn)的transformer模型進(jìn)行優(yōu)化，首先進(jìn)行剪枝和量化操作將改進(jìn)的transformer模型轉(zhuǎn)化為onnx格式，再進(jìn)一步利用簡(jiǎn)化工具onnxsim來(lái)消除模型中的冗余參數(shù)和計(jì)算，極大地減少了模型的參數(shù)量與計(jì)算復(fù)雜度。

29、4、本發(fā)明系統(tǒng)是將優(yōu)化后的改進(jìn)transformer模型部署在嵌入式計(jì)算設(shè)備nvidiajetson?xavier?nx上，可以在輸入有霧遙感圖像后即時(shí)進(jìn)行模型推理，大大減少計(jì)算成本，提高系統(tǒng)響應(yīng)速度。這對(duì)于實(shí)時(shí)或近實(shí)時(shí)的遙感圖像去霧具有重要意義。

技術(shù)特征：

1.一種基于改進(jìn)transformer模型的遙感圖像去霧方法，其特征在于，該方法包括如下步驟：

2.如權(quán)利要求1所述的方法，其特征在于，所述引入快速傅里葉卷積ffc模塊，具體是在原始特征提取模塊的尺度歸一化操作之前引入ffc模塊。

3.如權(quán)利要求1所述的方法，其特征在于，所述步驟2所述的對(duì)現(xiàn)有transformer模型中的特征提取模塊進(jìn)行改進(jìn)，還包括采用基于復(fù)制填充的移位窗口劃分方案代替反射填充的移位窗口劃分方案。

4.如權(quán)利要求1所述的方法，其特征在于，在所述步驟4中，將ffcformer去霧模型部署到嵌入式計(jì)算設(shè)備上，對(duì)輸入的有霧遙感圖像進(jìn)行去霧處理。

5.如權(quán)利要求4所述的方法，其特征在于，所述步驟4具體包括如下步驟：

6.如權(quán)利要求5所述的方法，其特征在于，所述嵌入式計(jì)算設(shè)備為nvidia?jetsonxaviernx。

7.一種基于改進(jìn)transformer模型的遙感圖像去霧系統(tǒng)，基于權(quán)利要求5所述的方法建立，該系統(tǒng)設(shè)置于嵌入式計(jì)算設(shè)備nvidiajetson?xavier?nx上，其特征在于，該系統(tǒng)包括：

技術(shù)總結(jié)
本發(fā)明公開了基于改進(jìn)Transformer模型的遙感圖像去霧方法及系統(tǒng)，涉及圖像處理技術(shù)領(lǐng)域。該方法包括：準(zhǔn)備由多個(gè)圖像對(duì)構(gòu)成的遙感圖像數(shù)據(jù)集，并從該數(shù)據(jù)集中劃分出訓(xùn)練集；所述圖像對(duì)由無(wú)霧遙感圖像及與無(wú)霧遙感圖像對(duì)應(yīng)的有霧遙感圖像構(gòu)成；對(duì)現(xiàn)有Transformer模型中的特征提取模塊進(jìn)行改進(jìn)并將改進(jìn)后的特征提取模塊命名為去霧模塊，所述改進(jìn)包括引入快速傅里葉卷積FFC模塊；利用訓(xùn)練集對(duì)改進(jìn)后的Transformer模型進(jìn)行訓(xùn)練，獲得FFCFormer去霧模型；利用FFCFormer去霧模型對(duì)輸入該模型的有霧遙感圖像進(jìn)行去霧處理。本發(fā)明系統(tǒng)是將改進(jìn)Transformer模型移植部署到嵌入式計(jì)算設(shè)備NVIDIA?Jetson?Xavier?NX上，以實(shí)現(xiàn)快速、實(shí)時(shí)與可視化的遙感圖像去霧。

技術(shù)研發(fā)人員：黃煜峰,林志宇,孫同同,鞏學(xué)健,邢巖,李玉峰
受保護(hù)的技術(shù)使用者：沈陽(yáng)航空航天大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19