本發(fā)明涉及波段代償，尤其涉及一種用于激光眩目抑制的波段代償成像方法。

背景技術(shù)：

1、光電成像系統(tǒng)的構(gòu)成主要包括光學(xué)系統(tǒng)、圖像傳感器和圖像處理系統(tǒng)，其中圖像傳感器一般放置于光學(xué)系統(tǒng)的焦平面附近并垂直光學(xué)系統(tǒng)的光軸，工作時(shí)通過調(diào)焦使目標(biāo)景物成像于探測(cè)器平面，以獲得清晰的圖像輸出。較低能量的干擾激光照射該類光電成像系統(tǒng)時(shí)，便可造成圖像傳感器出現(xiàn)較大的飽和區(qū)域，導(dǎo)致圖像信息的丟失，即激光眩目干擾。因此光電成像系統(tǒng)追求優(yōu)良的成像能力的同時(shí)，還需要增強(qiáng)其激光眩目抑制能力。為保證光電成像系統(tǒng)能夠正常發(fā)揮作用，需要采用合理可行的技術(shù)手段抑制激光眩目干擾，減少其信息的丟失，從而提高光電成像設(shè)備在復(fù)雜光電環(huán)境下的工作性能。

2、根據(jù)采用手段不同，光電成像系統(tǒng)的眩目抑制技術(shù)分為兩類：一類是在圖像端進(jìn)行處理，另一類是通過前端光學(xué)系統(tǒng)設(shè)計(jì)并結(jié)合后端圖像處理進(jìn)行處理。圖像處理激光眩目抑制通常要求干擾光斑沒有完全遮蔽目標(biāo)信息，首先確定干擾光斑面積和光斑位置，然后采用例如數(shù)字日冕等技術(shù)對(duì)彌散光斑內(nèi)圖像進(jìn)行恢復(fù)。采用光學(xué)系統(tǒng)設(shè)計(jì)的激光眩目抑制對(duì)干擾光斑大小和位置沒有要求，適用范圍更廣，但是需要改變成像光路，系統(tǒng)復(fù)雜程度增加，其核心思想是利用成像光場(chǎng)與激光光場(chǎng)相干性的差異，通過對(duì)入射光場(chǎng)的頻率調(diào)控，獲得時(shí)空分離的光波譜段圖像，并利用時(shí)空分離的譜段圖像數(shù)據(jù)進(jìn)行相關(guān)融合實(shí)現(xiàn)激光眩目干擾抑制和圖像信息恢復(fù)，由此破解從激光干擾中恢復(fù)出可見光目標(biāo)圖像信息的難題。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)上述技術(shù)問題，本發(fā)明提出一種用于激光眩目抑制的波段代償成像方法。本發(fā)明以可見光彩色成像系統(tǒng)為對(duì)象，開展光學(xué)設(shè)計(jì)和算法研究，設(shè)計(jì)時(shí)間光譜分離的三通道光電成像系統(tǒng)，并開發(fā)基于生成對(duì)抗網(wǎng)絡(luò)的圖像恢復(fù)算法，恢復(fù)出眩目造成的丟失圖像信息，達(dá)到眩目抑制的目的。分析提出的波段代償技術(shù)方案用于抑制激光眩目作用的可行性，并搭建時(shí)間光譜分離的三通道光電成像實(shí)驗(yàn)系統(tǒng)，驗(yàn)證成像系統(tǒng)的彩色成像能力，進(jìn)一步利用成像系統(tǒng)獲取訓(xùn)練集和測(cè)試集圖像，測(cè)試代償處理算法的性能，從而實(shí)驗(yàn)驗(yàn)證波段代償技術(shù)的眩目抑制能力。

2、本發(fā)明公開一種用于激光眩目抑制的波段代償成像方法。所述方法利用時(shí)間/空間光譜分離的三通道光電成像系統(tǒng)和圖像恢復(fù)算法，通過硬件與軟件的聯(lián)合優(yōu)化，恢復(fù)出眩目導(dǎo)致的丟失圖像信息，來實(shí)現(xiàn)激光眩目抑制；其中：

3、對(duì)于所述時(shí)間/空間光譜分離的三通道光電成像系統(tǒng)，將彩色相機(jī)使用的透過波段存在重疊的三色rgb濾光片或者四色cmyk濾光片替換為透過波段相互銜接而不重疊的濾光片，從而將干擾激光對(duì)彩色成像系統(tǒng)的眩目作用局限在一個(gè)波段內(nèi)；

4、所述圖像恢復(fù)算法依據(jù)受眩目干擾前的目標(biāo)場(chǎng)景或區(qū)域場(chǎng)景的參考圖像的顏色統(tǒng)計(jì)屬性，結(jié)合未受眩目干擾的波段的圖像信息，通過機(jī)器學(xué)習(xí)的方式，預(yù)測(cè)受眩目干擾的波段的圖像信息，并經(jīng)過圖像融合還原出未受眩目干擾的條件下的彩色圖像；

5、其中，不存在干擾激光時(shí)，三通道光電成像系統(tǒng)將接收到的單色圖像傳輸至圖像處理系統(tǒng)中進(jìn)行去馬賽克、白平衡和色彩校正處理，以獲得滿足清晰度要求的彩色圖像并輸出顯示；

6、其中，存在干擾激光時(shí)，三通道光電成像系統(tǒng)中某一通道受到激光眩目干擾，造成圖像傳感器出現(xiàn)飽和區(qū)域，導(dǎo)致圖像信息丟失，利用未受眩目干擾的波段的圖像信息和圖像恢復(fù)算法對(duì)眩目干擾造成的丟失圖像信息進(jìn)行恢復(fù)，從而抑制激光眩目干擾。

7、作為一種優(yōu)選實(shí)施方式，在所述方法中，所述時(shí)間/空間光譜分離的三通道光電成像系統(tǒng)采用時(shí)間/空間光譜分離原理；其中：

8、空間光譜分離指利用光場(chǎng)調(diào)控元件將干擾激光與信號(hào)光的混合光場(chǎng)進(jìn)行空間分離并成像到多個(gè)圖像傳感器的結(jié)構(gòu)，空間光譜分離的光場(chǎng)調(diào)控采用棱鏡、二色鏡和濾光片實(shí)現(xiàn)，用于同時(shí)獲取所有通道的譜段圖像，并實(shí)時(shí)進(jìn)行圖像處理和眩目抑制；

9、時(shí)間光譜分離指利用光場(chǎng)調(diào)控元件將干擾激光與信號(hào)光的混合光場(chǎng)進(jìn)行時(shí)間分離并成像到一個(gè)圖像傳感器的結(jié)構(gòu)，時(shí)間光譜分離的光場(chǎng)調(diào)控采用濾光片轉(zhuǎn)輪安裝架、滑動(dòng)濾光片安裝架和濾光片實(shí)現(xiàn)。

10、作為一種優(yōu)選實(shí)施方式，在所述方法中，三通道光電成像系統(tǒng)包括：準(zhǔn)直擴(kuò)束望遠(yuǎn)鏡c，二向色鏡dbs1、dbs2，帶通濾光片組bp1、bp2和bp3，成像透鏡l1、l2和l3，圖像傳感器s1、s2和s3；其中，對(duì)帶通濾光片組bp1、bp2和bp3的帶通波段進(jìn)行選擇，使得圖像傳感器s1、s2和s3相應(yīng)的成像光譜區(qū)間相互獨(dú)立且無交疊；其中：

11、帶通濾光片組bp1、bp2和bp3分別放置在濾光片轉(zhuǎn)輪fw的一個(gè)安裝槽中，通過轉(zhuǎn)動(dòng)濾光片逐步對(duì)第一通道ch.1、第二通道ch.2和第三通道ch.3進(jìn)行成像，通過時(shí)間光譜分離獲取三通道的譜段圖像；

12、帶通濾光片組bp1、bp2和bp3的中心波長(zhǎng)分別為450±5nm、550±5nm和650±5nm，光譜半高寬為50±5nm，且阻帶光密度od≥4。

13、作為一種優(yōu)選實(shí)施方式，在所述方法中：

14、外界存在單一波長(zhǎng)干擾激光時(shí)，干擾激光眩目干擾一個(gè)通道的圖像傳感器，剩下兩個(gè)通道的圖像傳感器正常工作；

15、外界存在雙波長(zhǎng)干擾激光時(shí)，干擾激光眩目干擾兩個(gè)通道的圖像傳感器，另外一個(gè)通道的圖像傳感器正常工作；

16、外界存在三個(gè)或三個(gè)以上的干擾激光時(shí)，未見實(shí)用化干擾激光源，至少一個(gè)通道的圖像傳感器正常工作。

17、作為一種優(yōu)選實(shí)施方式，在所述方法中，所述圖像恢復(fù)算法采用生成對(duì)抗網(wǎng)絡(luò)，包括生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)；生成網(wǎng)絡(luò)采用swin-unet網(wǎng)絡(luò)結(jié)構(gòu)，swin-unet網(wǎng)絡(luò)為融合swintransformer模型和經(jīng)典u-net架構(gòu)的圖像分割網(wǎng)絡(luò)；判別網(wǎng)絡(luò)的基本模塊結(jié)構(gòu)采用超分辨率生成對(duì)抗網(wǎng)絡(luò)的判別結(jié)構(gòu)，并將輸出層替換為卷積層；其中：

18、swin-unet網(wǎng)絡(luò)采用編碼器結(jié)構(gòu)，該結(jié)構(gòu)初步處理輸入圖像，將其轉(zhuǎn)換為序列化的嵌入表示；其中：輸入圖像首先被分割成若干個(gè)4×4像素大小的不重疊塊；通過劃分處理，使得每塊的特征維度變?yōu)?×4×3，應(yīng)用線性嵌入層將特征維度映射至模型定義的維度c；轉(zhuǎn)換后的補(bǔ)丁標(biāo)記經(jīng)過若干個(gè)swin?transformer塊和補(bǔ)丁合并層進(jìn)行特征提?。谎a(bǔ)丁合并層被用于執(zhí)行下采樣操作并增加特征維度，產(chǎn)生分層的特征表示，整合局部特征并減少序列長(zhǎng)度，swin?transformer層提取特征信息；

19、對(duì)于編碼器，c維輸入圖像被送到兩個(gè)連續(xù)的swin?transformer塊中進(jìn)行特征表示學(xué)習(xí)，學(xué)習(xí)過程中特征維度和分辨率保持不變；同時(shí)，補(bǔ)丁合并層通過2倍的下采樣減少標(biāo)記數(shù)量，并將特征維度擴(kuò)展至原始尺寸的兩倍，該操作在編碼器內(nèi)部執(zhí)行三輪；

20、對(duì)于補(bǔ)丁合并層，輸入塊被劃分成4個(gè)子塊，經(jīng)過補(bǔ)丁過程進(jìn)行合并，將特征分辨率下采樣至原來的一半；同時(shí)，由于合并操作使得特征維度擴(kuò)大四倍，在合并后的特征上應(yīng)用一個(gè)線性層，把特征維度重新調(diào)整回原始尺寸的兩倍；

21、對(duì)于解碼器，以swin?transformer塊為基礎(chǔ)構(gòu)建，與編碼器相對(duì)應(yīng)，解碼器采用補(bǔ)丁擴(kuò)展層執(zhí)行特征圖的上采樣工作；補(bǔ)丁擴(kuò)展層通過相鄰特征圖塊的重新排列來恢復(fù)分辨率更高的特征圖，實(shí)現(xiàn)2倍的分辨率上采樣；同時(shí)將特征通道數(shù)量減半，以維持特征維度一致。

22、作為一種優(yōu)選實(shí)施方式，在所述方法中，判別網(wǎng)絡(luò)用于判斷每張圖像是原始數(shù)據(jù)還是生成網(wǎng)絡(luò)產(chǎn)生的合成圖像，判別網(wǎng)絡(luò)的結(jié)構(gòu)包括：

23、輸入層，用于接收尺寸為(c，h，w)的圖像輸入，其中c表示圖像的通道數(shù)，h和w分別代表圖像的高度和寬度；

24、若干基本卷積模塊，每個(gè)模塊依次包括一個(gè)卷積層、一個(gè)批標(biāo)準(zhǔn)化層和leakyrelu激活函數(shù)；卷積層中，輸入的通道數(shù)被轉(zhuǎn)換為指定的輸出通道數(shù)，卷積層使用3×3大小的卷積核，步長(zhǎng)為1，邊緣填充為1；

25、批標(biāo)準(zhǔn)化層；

26、leakyrelu激活函數(shù)；

27、若干卷積層，通道數(shù)保持不變，采用3×3大小的卷積核，步長(zhǎng)為2，邊緣填充為1，每個(gè)卷積層后面均為批標(biāo)準(zhǔn)化層和leakyrelu激活函數(shù)。

28、堆疊的卷積塊的配置如下：

29、第一個(gè)卷積塊：不包含批標(biāo)準(zhǔn)化層，輸入通道數(shù)為c(rgb圖像c＝3)，輸出通道數(shù)為64。

30、第二個(gè)卷積塊：包含兩個(gè)基本卷積模塊，輸入通道數(shù)為64，輸出通道數(shù)為128。

31、第三個(gè)卷積塊：包含兩個(gè)基本卷積模塊，輸入通道數(shù)為128，輸出通道數(shù)為256。

32、第四個(gè)卷積塊：包含兩個(gè)基本卷積模塊，輸入通道數(shù)為256，輸出通道數(shù)為512。

33、最后，輸出層為卷積層，輸入通道數(shù)為512，輸出通道數(shù)為1，采用3×3的卷積核，步長(zhǎng)為1，填充為1。該層生成的輸出尺寸為(1，patch_h，patch_w)，其中patch_h＝h/2^4，patch_w＝w/2^4。

34、作為一種優(yōu)選實(shí)施方式，在所述方法中，使用生成對(duì)抗網(wǎng)絡(luò)進(jìn)行輸入圖像恢復(fù)，損失函數(shù)為：

35、l＝αlgen-mse+lvgg/i,j+lmsssim

36、其中，α＝0.01，lgen-mse、lvgg/i,j和lmsssim分別為生成網(wǎng)絡(luò)損失函數(shù)、基于vgg的感知損失函數(shù)和msssim損失函數(shù)；

37、生成網(wǎng)絡(luò)損失函數(shù)為：

38、

39、其中，g是生成網(wǎng)絡(luò)，d是判別網(wǎng)絡(luò)，mse是均方誤差，n是鑒別器的輸出大小，x為輸入圖像；

40、判別網(wǎng)絡(luò)損失函數(shù)為：

41、

42、其中，y為參考圖像；

43、基于vgg的感知損失函數(shù)為：

44、

45、其中，wi,jhi,j表示特征圖大小，φ()表示vgg網(wǎng)絡(luò)提取圖像的特征，下標(biāo)θg表示生成網(wǎng)絡(luò)權(quán)重參數(shù)；

46、msssim損失函數(shù)為：

47、

48、其中，m表示不同的尺度級(jí)別，μp和μg分別表示預(yù)測(cè)圖像和參考圖像的平均值，σp和σg分別表示預(yù)測(cè)圖像和參考圖像的標(biāo)準(zhǔn)差，σpg表示預(yù)測(cè)圖像和參考圖像之間的協(xié)方差，βm和γm表示兩項(xiàng)之間的相對(duì)重要性，常數(shù)項(xiàng)c1和c2被引入作為平滑項(xiàng)。

49、綜上，本發(fā)明基于波段代償?shù)母拍钤O(shè)計(jì)用于該技術(shù)原理驗(yàn)證的空間和時(shí)間光譜分離的三通道成像系統(tǒng)，開發(fā)基于生成對(duì)抗網(wǎng)絡(luò)的圖像恢復(fù)算法，利用公開數(shù)據(jù)集訓(xùn)練圖像恢復(fù)算法，測(cè)試單通道被激光眩目干擾時(shí)恢復(fù)圖像的平均峰值信噪比psnr和多尺度結(jié)構(gòu)相似性msssim，驗(yàn)證波段代償技術(shù)的信息恢復(fù)能力；搭建基于時(shí)間光譜分離的三通道成像系統(tǒng)，初步開展彩色圖像獲取實(shí)驗(yàn)，實(shí)驗(yàn)測(cè)試不同激光能量下成像系統(tǒng)的眩目情況。進(jìn)一步利用成像系統(tǒng)獲取訓(xùn)練集和測(cè)試集圖像，測(cè)試圖像恢復(fù)算法的性能，結(jié)果顯示恢復(fù)圖像的平均峰值信噪比psnr和多尺度結(jié)構(gòu)相似性msssim分別達(dá)到29.358db和0.958，實(shí)驗(yàn)驗(yàn)證波段代償技術(shù)的眩目抑制能力。

50、本發(fā)明能夠在具有激光眩目抑制功能的同時(shí)保證成像質(zhì)量，抑制激光眩目對(duì)成像系統(tǒng)的干擾，提升成像系統(tǒng)復(fù)雜光電環(huán)境下的工作性能。