本發(fā)明涉及深度學習和自然圖像處理領(lǐng)域，更具體地，設(shè)計一種基于零次學習的低光照鋼鐵表面缺陷檢測方法。

背景技術(shù)：

1、鋼鐵平面材料廣泛用于汽車制造，橋梁建筑，航空航天和其他支柱產(chǎn)業(yè)，為現(xiàn)代社會發(fā)展和生活改善做出了巨大貢獻。然而，在實際的工業(yè)生產(chǎn)過程中，加工設(shè)備的損壞或惡劣的工業(yè)環(huán)境不可避免地會導致金屬平面材料產(chǎn)品出現(xiàn)某些質(zhì)量問題。在工業(yè)生產(chǎn)過程中，由于現(xiàn)有技術(shù)、工作條件等因素的不足和限制，制造出來的產(chǎn)品質(zhì)量極易受到影響。其中，表面缺陷是產(chǎn)品質(zhì)量受到影響的最直觀表現(xiàn)。因此，為了保證產(chǎn)品的合格率和可靠的質(zhì)量，產(chǎn)品表面缺陷檢測是必要的，近年來亦頗受關(guān)注。

2、目前，各種深度學習網(wǎng)絡(luò)結(jié)構(gòu)被應用于圖像處理中，效果良好。設(shè)計先進、準確的鋼鐵表面缺陷識別算法可以節(jié)省大量的時間和人力成本。因此，利用深度學習技術(shù)實現(xiàn)缺陷識別任務(wù)具有很大的實用價值，有利于保證產(chǎn)品的質(zhì)量以及提升生產(chǎn)效率。雖然鋼鐵表面缺陷圖像識別與目標檢測技術(shù)已逐漸完善，但在圖像目標檢測中仍存在許多問題，如何使該方法適應本身鋼鐵圖像底色暗以及極暗環(huán)境下拍攝的鋼鐵圖像，實現(xiàn)鋼鐵特征的有效識別，并能精準有效地識別檢測鋼鐵的輪廓和結(jié)構(gòu)以更好的滿足工業(yè)生產(chǎn)的需要。

3、一般來說，根據(jù)所使用的數(shù)據(jù)集是否包含標簽信息，鋼鐵表面缺陷識別算法可分為無監(jiān)督學習和有監(jiān)督學習。無監(jiān)督學習的識別原理是利用各種圖像特征之間的內(nèi)在關(guān)系來識別鋼鐵目標,不需要標簽信息，數(shù)據(jù)集很容易獲得，但識別精度和檢測精度通常較低。有監(jiān)督學習將含有標簽信息的標準圖像作為算法學習的先驗信息，將鋼鐵表面缺陷識別視為一個分類問題。根據(jù)特征提取方式的不同，有監(jiān)督學習可以分為兩類：傳統(tǒng)的機器學習算法和基于深度學習的算法。當前自然圖像處理領(lǐng)域深度學習已成為主流方法，它相較于機器學習避免了人工提取特征的過程，使得最終獲取到的識別結(jié)果更加精準客觀。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是為了解決現(xiàn)有技術(shù)在低光圖像上遇到由于黑暗環(huán)境、光照不足和曝光而導致得識別性能嚴重下降，提出一種基于零次學習的低光照鋼鐵表面缺陷檢測方法，首先介紹了一個反射率表示的學習模塊，用于從光照良好的圖像中提取光照不變特征表示。在該模塊中，設(shè)計了反射率解碼分支和特征互對準損失，以在圖像和特征兩個層次上實現(xiàn)光照不變性。其次，我們設(shè)計了一個互換再分解一致性過程，改進了retinex圖像分解過程。我們進行了兩次順序分解，其中后者的輸入是通過交換前者的反射率輸出來獲得的。最后，設(shè)計了一個再分解凝聚損失，以保證兩次分解結(jié)果的一致性，并且在實驗驗證了強大的暗域泛化能力。

2、本發(fā)明的技術(shù)方案：基于零次學習的低光照鋼鐵表面缺陷檢測方法，包括如下步驟：

3、s1、對數(shù)據(jù)集中的鋼鐵表面缺陷圖像進行預處理；

4、s2、構(gòu)建基于零次學習的低光照鋼鐵表面缺陷檢測方法的反射率學習模塊；

5、s3、構(gòu)建基于零次學習的低光照鋼鐵表面缺陷檢測方法的交換分解融合過程；

6、s4、基于零次學習的低光照鋼鐵表面缺陷檢測方法的訓練網(wǎng)絡(luò)；

7、s5、利用訓練好的基于零次學習的低光照鋼鐵表面缺陷檢測模型對測試圖像集進行訓練，最終獲得可視化結(jié)果，并與yolov5和yolov8模型的可視化結(jié)果進行對比實驗；

8、進一步，所述步驟s1中的預處理操作包括去噪，白平衡，顏色空間轉(zhuǎn)換，伽馬校正以及暗條件框架處理的預處理操作。

9、圖像添加量化噪聲的作用是旨在通過去除或減輕量化噪聲來恢復圖像的原始質(zhì)量，幫助模擬圖像在實際捕獲、傳輸和存儲時遇到的真實環(huán)境條件，還增強了網(wǎng)絡(luò)學習模型在處理含噪圖像時的泛化能力，提升模型的魯棒性和準確性。

10、白平衡的作用是糾正由于不同光源色溫差異導致的圖像偏色問題，確保圖像中的白色物體能夠準確呈現(xiàn)為純白色，從而還原出接近人眼實際觀察到的色彩。通過調(diào)整白平衡，可以顯著提升圖像的色彩準確性和真實感，減少后期處理的難度。

11、顏色空間轉(zhuǎn)換的目的是將圖像從一個顏色空間(rgb)轉(zhuǎn)換到另一個顏色空間(raw)，便于直接對圖像的色調(diào)、鮮艷度和明暗程度進行調(diào)整，而不影響其他顏色屬性，使得顏色分離、亮度調(diào)整、對比度增強、色彩校正等操作變得更加直觀和高效。

12、伽馬校正的作用是檢出圖像信號中的深色部分和淺色部分，并增大兩者之間的比例，從而顯著提高圖像的對比度效果，通過調(diào)整gamma值，可以使得圖像的暗部細節(jié)更加清晰，亮部細節(jié)更加豐富，進而改善圖像的視覺效果。

13、暗條件框架處理操作是一種非深度方法，通過由物理學啟發(fā)的弱光退化生成低光對應圖像，并與光照良好的源圖像成對輸入模型中。

14、進一步，所述步驟s2中構(gòu)建基于零次學習的低光照鋼鐵表面缺陷檢測方法的反射率學習模塊，首先圖像i可以分解反射率r和光照l，即i＝r*l。該理論假設(shè)圖像的可見性受光照影響，而反射率保持不變，有時由光照引起的腐蝕也被聯(lián)合建模，為了方便起見，將它們也作為光照的一部分。在基于零次學習的低光照鋼鐵表面缺陷檢測方法中，我們將反射率作為光照不變的對應物，獲取反射率知識有助于實現(xiàn)光照不變的檢測器。為此，我們設(shè)計了一個反射率表示學習模塊，以增強探測器對弱光效應的適應能力。

15、考慮到圖像分解是一個低層次的視覺任務(wù)，所以在第二個卷積層分割檢測器主干，并將主干的前部表示為gf，整個主干表示為gb。而gf的輸出，也就是特征f，對由淺層提取的低層信息進行編碼，適合于對反射率進行解碼。在gf之后設(shè)置反射率解碼器，如圖l中的黃色塊所示。解碼器是由兩個conv+relu層組成的光模塊。由于檢測頭與反射率解碼器共享gf，因此提取的光照不變特征也有利于目標檢測任務(wù)。但是在使用對象檢測動態(tài)學習圖像分解是不穩(wěn)定的，并且在某些情況下可能會失敗。我們利用一個預訓練的retinex分解網(wǎng)絡(luò)以生成反射率和照明偽地面實況從而以更穩(wěn)定的方式監(jiān)督反射率解碼器。

16、我們又引入了一個光照不變性增強方案，從特征層增強檢測器的光照不變性。成對的光照良好的輸入圖像和合成的低光照輸入圖像之間的光照差異可以導致不同的特征分布。但這兩種意象在本質(zhì)上具有相同的語義信息。由于我們的目標是學習光照不變表示，因此我們要求將gf的輸出特征f轉(zhuǎn)發(fā)到反射率解碼器中，以便在光線充足和光線不足的圖像之間緊密對齊，我們設(shè)計相互特征對準損失等式來應用從gf提取的良好照明和低照明特征fnandfl：

17、lmfa＝kl(fn||fl)+kl(fl||fn)，??(1)

18、其中kl(·||·)是指kl-發(fā)散，fl和fn是來自gf的平面化和空間平均特征，分別對應于光線良好的圖像和合成的低光圖像。

19、進一步，所述步驟s3中構(gòu)建基于零次學習的低光照鋼鐵表面缺陷檢測方法中的互換再分解一致性過程。為了進一步增強反射率學習，給定一對低光圖像il和光照良好的圖像in，由典型的基于retinex理論的圖像分解過程將它們分解成對應的反射率和照明，即對于il的低光反射率和照明ll，以及對于in的光照良好的反射率和照明ln。反射率和(它們在理想情況下應該是相同的)兩者應該是彼此可互換的，在與相應的照明圖ln和ll組合時重建in和il。由于這種可擴展性，添加一個約束來加強圖像分解和反射表示學習，一旦它們偏離原始輸入就使用反射率重建的圖像施加懲罰，稱之為普通懲罰損失約束。

20、另外為了充分利用圖像分解中產(chǎn)生的信息，提出了一個互換再分解一致性過程。首先，我們交換光線良好圖像和弱光圖像之間的反射率，并重建圖像為重建后的圖像可以在第二輪被分解。本網(wǎng)絡(luò)重點是學習圖像的光照不變部分(反射率)，就像第一輪那樣使用網(wǎng)絡(luò)中相同的反射率解碼分支從中分解反射率并要求它們與在第一輪中分解的相應反射率相關(guān)。

21、在這引入再分解相干損失：

22、與其他懲罰損失相比，包含了一個再分解過程，充分利用了反射率的可分解性。

23、進一步，所述步驟s4中構(gòu)建基于零次學習的低光照鋼鐵表面缺陷檢測方法的訓練網(wǎng)絡(luò)，首先構(gòu)建retinex分解網(wǎng)絡(luò)分解，網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示，retinex分解網(wǎng)絡(luò)是一個現(xiàn)成的網(wǎng)絡(luò)，該網(wǎng)絡(luò)的作用是計算出弱光圖像的反射分量和照度分量以及普通光的反射分量和照度分量。此網(wǎng)絡(luò)適用于任何圖像分解網(wǎng)絡(luò)，可以使用配對輸入從頭開始訓練這個網(wǎng)絡(luò)，或者直接加載公共可用的預訓練權(quán)重，之后將其凍結(jié)，以便在dai網(wǎng)絡(luò)的學習過程中僅將輸入的反射率和照明推斷為偽地面實況

24、將低照度圖像slow和正常光照圖像snormal分別輸入網(wǎng)絡(luò)進行分解，上層分支的作用是分解snormal圖像的分量，該分支的組成結(jié)構(gòu)為第1層由3×3的conv層組成，負責初步提取圖像特征，第2層至5第層conv層每層都是3×3的含有relu激活函數(shù)的卷積激活層，這些層的作用是過濾掉與特征無關(guān)的圖像區(qū)域，專注于捕獲圖像的高頻特征，第6層由另一個3×3的conv層進一步處理圖像特征，sigmoid模塊是作為網(wǎng)絡(luò)的最后一部分，將反射分量的像素值限制在[0，1]范圍內(nèi)，從而得到最終的反射分量rnormal和照度分量inormal。下層分支的作用是分解slow圖像的分量，該分支的組成結(jié)構(gòu)第1層由3×3的conv層組成，用于提取圖像特征，第2層和第5層都是3×3的帶有relu激活函數(shù)的卷積激活模塊，專注于捕獲圖像的低頻區(qū)域，第6層由另一個3×3的conv層組成，進一步處理圖像特征，最后一個sigmoid模塊用來限制像素值，從而得到照度分量ilow和反射分量rlow，其輸出結(jié)果如圖3所示，其效果圖依次分別是低光照圖像slow，低光照照度分量llow，低光照反射分量rlow，正常光照圖像snomal，正常光照照度分量lnomal，正常光照反射分量rnomal。

25、其次構(gòu)建dai網(wǎng)絡(luò)，dai網(wǎng)絡(luò)由檢測分支和反射解碼分支組成。對于前者，我們利用所選檢測器的檢測損失，用ldet表示。而反射率解碼分支的目標函數(shù)則歸納為三部分。第一部分包括兩個建議的損耗lmfa、lrc。第二部分是反射學習損失，我們通過反射率學習損失來監(jiān)督反射率解碼器輸出r，其中mae是平均絕對誤差，ssim是結(jié)構(gòu)相似性指數(shù)度量。在實踐中，被實現(xiàn)為或第三部分是圖像分解損失，通過圖像分解損失進一步加強反射率學習。我們將代表性的分解損失ldecom應用于和r。具體地，該損失是圖像重構(gòu)損失lrecon、不變反射率損失lir和照明平滑性損失lsmooth的積分。lrecon是讓重建輸入圖像i，更進一步，對于lsmooth和lir在成對的輸入之間計算。lir＝mse(rl,rn)+(1-ssim(rl,rn))以均方誤差和結(jié)構(gòu)相似性指數(shù)測量的組合形式強制預測的良好光照反射率和弱光反射率相同。

26、ldecom＝lrecon+λsmoothlsmooth+λirlir，???(3)

27、其中λsmooth、λir分別表示相應損失的損失權(quán)重。

28、dai-net的總目標函數(shù)可以表示為：

29、l＝ldet+λmfalmfa+λrclrc+lref+ldecom，??(4)

30、其中λmfa是指等式1的相互特征對準損失的損失權(quán)重，而λrc是指等式2中再分解凝聚損失的損失權(quán)重。

31、進一步，所述步驟s5利用訓練好的基于零次學習的低光照鋼鐵表面缺陷檢測模型對測試圖像集進行識別，經(jīng)過非深度方法將測試圖像和對應低光合成圖像成對輸入網(wǎng)絡(luò)，經(jīng)過預處理之后，經(jīng)過將反射率進行解碼，把光照不變性增強，經(jīng)過相應光照度和反射率互換重組為一張圖片，經(jīng)過網(wǎng)絡(luò)訓練后，最終進行得到鋼鐵缺陷的缺陷識別結(jié)果圖，并與yolov8s和yolo5s的識別結(jié)果進行對比。

32、與現(xiàn)有技術(shù)相比，本發(fā)明提供的基于零次學習的低光照鋼鐵表面缺陷檢測方法具有以下有益效果：

33、1、本發(fā)明在一個既定的對象檢測器上引入了一個反射率表示學習模塊以提高其照明不變性，并且改進了照明不變性強化策略的設(shè)計，來加強學習過程。

34、2、提出了一種改進的圖像分解的互換再分解一致性過程，引入再分解相干損失，以保持分解反射率序列之間的一致性，更有利于目標檢測。

35、3、實驗證明本文方法優(yōu)于已有經(jīng)典算法.并可以應用在多種場景下，具有強大的暗域泛化能力。