本發(fā)明屬于圖像處理，尤其涉及一種基于頻內(nèi)相關(guān)性的紅外光場(chǎng)圖像超分辨率方法及設(shè)備。

背景技術(shù)：

1、由多個(gè)紅外相機(jī)組成的紅外光場(chǎng)（irlf）設(shè)備在一次拍攝中捕獲各子孔徑紅外圖像（sai），這些圖像記錄了從不同位置和沿不同角度發(fā)射的光線(xiàn)的強(qiáng)度。irlf的子孔徑圖像的空間信息（即一個(gè)子孔徑圖像內(nèi)的上下文信息）和角度信息（即子孔徑圖像之間的視差信息）在各種工業(yè)應(yīng)用中具有廣泛前景，包括3d重建、去遮擋和深度估計(jì)。然而，子孔徑圖像的分辨率受到紅外成像傳感器的限制，分辨率不高，阻礙紅外光場(chǎng)設(shè)備及其圖像的應(yīng)用。

2、為了從低分辨率的光場(chǎng)圖像中重建高分辨率光場(chǎng)圖像，通常直觀(guān)方法是單獨(dú)對(duì)每個(gè)sai進(jìn)行超分辨，這是眾所周知的單紅外圖像超分辨（irsr）方法。irsr方法傾向于對(duì)相鄰像素進(jìn)行插值或?qū)W習(xí)端到端映射以恢復(fù)高分辨率圖像，但只能利用每個(gè)sai內(nèi)的空間信息，而忽略sai之間的角度信息。因此，它們?cè)谥亟ㄒ暡罱Y(jié)構(gòu)方面是無(wú)效的。另一種更合理的方法是光場(chǎng)圖像超分辨率（lfsr），同時(shí)超分辨率所有sai?，F(xiàn)有的lfsr方法主要集中在可見(jiàn)波段，簡(jiǎn)稱(chēng)vilf-sr。vilf-sr方法包括傳統(tǒng)方法和基于學(xué)習(xí)的方法，基于學(xué)習(xí)的vilf-sr方法已被證明優(yōu)于傳統(tǒng)方法。在基于學(xué)習(xí)的vilf-sr方法中，采用了sai上的4d卷積、堆疊sai上的級(jí)聯(lián)2d卷積、宏像素上的擴(kuò)展2d卷積以及中心視圖和側(cè)視圖之間的可變形卷積等技術(shù)來(lái)利用空間和角度信息。有的vilf-sr方法只能重建過(guò)平滑的邊緣，有的方法可以重建稍微清晰的邊緣，但在前景和背景之間的過(guò)渡區(qū)域顯示出偽影。然而，vilf-sr方法直接從圖像空間中提取特征，而不分解非均勻噪聲和結(jié)構(gòu)，造成該結(jié)構(gòu)被錯(cuò)誤地視為非均勻噪聲并被抑制，而非均勻噪聲被錯(cuò)誤地識(shí)別為結(jié)構(gòu)并被恢復(fù)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于頻內(nèi)相關(guān)性的紅外光場(chǎng)圖像超分辨率方法及設(shè)備，用以解決現(xiàn)有技術(shù)中非均勻噪聲和結(jié)構(gòu)耦合引起的過(guò)平滑和偽影的缺陷，實(shí)現(xiàn)解耦非均勻噪聲和結(jié)構(gòu)。

2、本發(fā)明提供一種基于頻內(nèi)相關(guān)性的紅外光場(chǎng)圖像超分辨率方法，包括：irlf-fsr網(wǎng)絡(luò)以irlf成像系統(tǒng)的lr圖像為輸入，依次進(jìn)行頻率特征提取、級(jí)聯(lián)頻率內(nèi)和頻率間特征交互和特征重建，以生成輸出；步驟如下：

3、提取頻率特征；對(duì)每個(gè)頻率分量進(jìn)行級(jí)聯(lián)卷積以提取頻率特征；

4、進(jìn)行級(jí)聯(lián)頻率內(nèi)和頻率間特征交互；提取頻率特征后，對(duì)每個(gè)分量?jī)?nèi)相鄰像素的依賴(lài)性進(jìn)行建模，并學(xué)習(xí)兩個(gè)分量之間的內(nèi)容相關(guān)性，獲取頻率分量?jī)?nèi)和頻率分量間的信息，作為結(jié)構(gòu)重建和非均勻噪聲抑制的依據(jù)；

5、進(jìn)行特征重建；使用最后一個(gè)頻率內(nèi)相互作用組的輸出特征進(jìn)行重建，通過(guò)對(duì)sai進(jìn)行雙三次插值上采樣，將重建結(jié)果與雙三次插值結(jié)果相加，生成最終的sr圖像，，其中， r為圖像集， a為lr圖像，為空間分辨率；為紅外圖像陣列的行數(shù)，為紅外圖像陣列每行子孔徑圖像的個(gè)數(shù)， α為像素超分系數(shù)；

6、使用損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，并通過(guò)adam優(yōu)化器對(duì)其進(jìn)行優(yōu)化。

7、根據(jù)本發(fā)明提供的一種基于頻內(nèi)相關(guān)性的紅外光場(chǎng)圖像超分辨率方法，所述對(duì)每個(gè)頻率分量進(jìn)行級(jí)聯(lián)卷積以提取頻率特征包括：

8、1.1.使用5×5卷積核分解sai；

9、對(duì)輸入sai進(jìn)行5×5卷積以獲得低頻分量，用獲得的低頻分量減去輸入sai獲得相應(yīng)的高頻分量；

10、1.2.通過(guò)resblock從每個(gè)頻率分量中捕獲高頻特征和低頻特征，resblock按順序執(zhí)行輸入后3×3卷積、leaky?relu激活和3×3卷積，將結(jié)果與輸入結(jié)合；

11、高頻特征的表達(dá)式：

12、

13、低頻特征的表達(dá)式：

14、

15、其中表示5×5卷積，表示resblock；和的尺寸為，其中，為角度分辨率，為角度空間模型的橫坐標(biāo)，為角度空間模型的縱坐標(biāo)；表示通道維度。

16、根據(jù)本發(fā)明提供的一種基于頻內(nèi)相關(guān)性的紅外光場(chǎng)圖像超分辨率方法，所述進(jìn)行級(jí)聯(lián)頻率內(nèi)和頻率間特征交互包括：

17、2.1.設(shè)一對(duì)頻率內(nèi)和頻率間單元，分別對(duì)相鄰像素的依賴(lài)性和內(nèi)容相關(guān)性進(jìn)行建模；將一對(duì)頻率內(nèi)和頻率間單元打包成一組，即頻率內(nèi)和頻率間特征交互組，以獲取頻率分量?jī)?nèi)和頻率分量間的信息，并級(jí)聯(lián)l個(gè)組，l=5；

18、2.2.輸入的高頻特征和低頻特征由頻率內(nèi)單元進(jìn)行處理；將其輸入到頻率間單元，對(duì)不同頻率分量之間的內(nèi)容相關(guān)性進(jìn)行建模；將頻率間單元的輸出特征發(fā)送到下一組，表達(dá)式如下：

19、

20、其中，和分別表示第l組的輸入和輸出頻率特征；和分別表示頻率內(nèi)單元和頻率間單元的操作；

21、2.3.頻率內(nèi)和頻率間單元均包括轉(zhuǎn)換器basictrans和resblock；添加殘差連接以獲得輸出特征；設(shè) x表示輸入的特征，單元內(nèi)公式為：

22、

23、其中，表示basictrnas，basictrans從輸入特征中挖掘信息，包括irlf的固有空間和角度信息，還包括頻率誘餌位置后的隱含頻率信息；basictrans用三重注意力ta取代mhsa，計(jì)算并融合了包括 hu、 hc和 uc的不同維度的注意力；通過(guò)ta聯(lián)合挖掘空間、角度和頻率信息；

24、2.4.basictrans的結(jié)構(gòu)為：給定輸入特征，應(yīng)用一個(gè)線(xiàn)性層分別生成查詢(xún) q、關(guān)鍵字 k和值 v；再執(zhí)行層范數(shù)以歸一化查詢(xún) q和關(guān)鍵字 k；將值 v、查詢(xún) q和關(guān)鍵字 k輸入ta對(duì)注意力進(jìn)行建模；沿著通道維度進(jìn)行多層感知和層規(guī)范，結(jié)合其相關(guān)性；設(shè) x表示輸入特征，basictrans的過(guò)程表示為：

25、

26、其中，、、和表示線(xiàn)性層操作、層規(guī)范、基于通道維度的多層感知和三重注意力；

27、2.5. ta并行模擬空間角注意力、空間頻率注意力和角頻率注意力；分別沿 hu、 hc和 uc對(duì) saa、 sfa和 afa建模；t?a表示為：

28、

29、其中，表示連接操作；、和分別表示saa、sfa和afa；

30、在 saa、 sfa和 afa中輸入相同的 q， k和 v；輸入 saa的 q， k和 v被重塑為 q′∈ rv?w×hu×c， k′∈ rv?w×c×hu， v′∈rv?w×hu×c；輸入 sfa的 q， k和 v被重塑為 q′∈ rv?w×hu×u， k′∈ rv?w×c×hc， v′∈ rv?w×hc×u；輸入 afa的 q， k和 v被重塑為 q′∈ rv?w×uc×h， k′∈ rv?w×h×uc， v′∈ rv?w×uc×h；

31、通過(guò)矩陣乘法和softmax函數(shù)沿 hu維度的注意力；在 v′上應(yīng)用注意力得分來(lái)獲得輸出特征；對(duì)輸出特征執(zhí)行反向整形操作，以保持與輸入特征相同的形狀；

32、空間角注意力的表達(dá)式如下：

33、

34、空間頻率注意力的表達(dá)式如下：

35、

36、角頻率注意力（afa）的表達(dá)式如下：

37、

38、其中，和表示重塑和softmax函數(shù)；

39、2.5.頻率內(nèi)單元學(xué)習(xí)相鄰像素的依賴(lài)性之后，頻率間單元改為對(duì)內(nèi)容相關(guān)性進(jìn)行建模；頻率間單元使用來(lái)自?xún)蓚€(gè)頻率分量中的特征作為查詢(xún)密鑰對(duì)；頻率間單位的表達(dá)式為，

40、

41、其中， x1表示一個(gè)頻率分量的輸入特征， x2表示另一個(gè)頻率成分的特征；表示頻率間單位中的basictrans，為頻率間單位；

42、沿著 w?v、 w?c和 v?c的維度計(jì)算 ta在頻率間單元中的關(guān)注度；通過(guò)合并頻率內(nèi)單元和頻率間單元，覆蓋所有空間和角度維度。

43、根據(jù)本發(fā)明提供的一種基于頻內(nèi)相關(guān)性的紅外光場(chǎng)圖像超分辨率方法，所述進(jìn)行特征重建包括：

44、特征重建表達(dá)式為，

45、

46、其中表示上采樣塊，表示插值操作；上采樣塊包括順序的1×1卷積、pixelshuffle方法和1×1的卷積；順序的1×1卷積用于將通道增加到，pixelshuffle方法用于將特征從通道重塑到空間維度，即從到；1×1的卷積用于壓縮最終輸出的通道維度。

47、根據(jù)本發(fā)明提供的一種基于頻內(nèi)相關(guān)性的紅外光場(chǎng)圖像超分辨率方法，所述使用損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，并通過(guò)adam優(yōu)化器對(duì)其進(jìn)行優(yōu)化包括：

48、設(shè)，，，用2e-4初始化學(xué)習(xí)率，并在每20個(gè)迭代周期后將其減半；級(jí)聯(lián)組的數(shù)量、批大小和epoch分別設(shè)置為5、8和60；通過(guò)隨機(jī)翻轉(zhuǎn)和旋轉(zhuǎn)來(lái)增強(qiáng)訓(xùn)練數(shù)據(jù)；該模型在pytorch中實(shí)現(xiàn)，并使用nvidia?rtx?4090?gpu進(jìn)行訓(xùn)練。

49、本發(fā)明還提供一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如上述任一種所述基于頻內(nèi)相關(guān)性的紅外光場(chǎng)圖像超分辨率方法。

50、本發(fā)明還提供一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述基于頻內(nèi)相關(guān)性的紅外光場(chǎng)圖像超分辨率方法。

51、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述基于頻內(nèi)相關(guān)性的紅外光場(chǎng)圖像超分辨率方法。

52、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

53、（1）本發(fā)明提出了一種用于irlf的sr方法，旨在學(xué)習(xí)頻率間分量的相關(guān)性，以幫助重建結(jié)構(gòu)并抑制非均勻噪聲，為專(zhuān)注于改進(jìn)irlf?sai的方法。

54、（2）本發(fā)明頻率內(nèi)單元和頻率間單元分別用于學(xué)習(xí)頻率分量?jī)?nèi)和頻率分量間的相關(guān)性。前者旨在學(xué)習(xí)每個(gè)頻率分量?jī)?nèi)相鄰像素的相關(guān)性，而后者旨在對(duì)分量之間內(nèi)容的相關(guān)性進(jìn)行建模。

55、（3）采用三重注意力機(jī)制旨在共同利用空間、角度和頻率信息。通過(guò)自關(guān)注沿著空間角度、空間頻率和角頻率維度對(duì)sai的相關(guān)性進(jìn)行建模。本發(fā)明方法優(yōu)于其他方法，其結(jié)構(gòu)更清晰，偽影更少。