本發(fā)明涉及計算機視覺、光伏缺陷檢測，具體是一種基于多任務算法的光伏缺陷識別方法與系統(tǒng)。

背景技術(shù)：

1、隨著大型光伏電站的建成，光伏電站的運維問題也日益凸顯。而光伏系統(tǒng)在長期的使用過程中，可能會因為各種缺陷而導致光伏無法正常使用，因此在工業(yè)光伏片檢測中，光伏片的準確的缺陷檢測以及快速的維修工作對于減少生產(chǎn)損耗具有重大意義。

2、采用人工巡檢時對于光伏數(shù)量多，地形比較復雜的區(qū)域無法適用，而采用基于光伏電氣參數(shù)測量的檢測無法判斷缺陷類型。今年來，隨著無人機行業(yè)的發(fā)展以及深度學習的快速發(fā)展，基于無人機巡檢的方式愈加常見。

3、因此，設計一款適用于無人機巡檢的基于多任務算法的光伏缺陷識別方法與系統(tǒng)尤為重要。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于多任務算法的光伏缺陷識別方法與系統(tǒng)，它能滿足多種光伏缺陷的識別，同時構(gòu)建改進yolop算法模型，進一步提高缺陷檢測的準確性。

2、本發(fā)明為實現(xiàn)上述目的，通過以下技術(shù)方案實現(xiàn)：

3、基于多任務算法的光伏缺陷識別方法，包括以下步驟：

4、s1：通過無人機采集光伏的可見光與紅外圖像數(shù)據(jù)，進行預處理后獲取訓練、測試及驗證數(shù)據(jù)集；

5、s2：構(gòu)建改進的yolop算法模型，所述改進yolop算法包括：增加小目標檢測anchor，并將backbone中hardswish激活函數(shù)替換為silu激活函數(shù)，加速模型收斂，在空間金字塔模塊中使用的sppfcscp替換spp結(jié)構(gòu)，同時引入bra注意力機制提升分割與檢測的識別精度；

6、s3：基于改進的yolop算法模型，分別進行可見光以及紅外數(shù)據(jù)的模型訓練，獲取待識別數(shù)據(jù)的光伏區(qū)域的語義分割掩碼圖及各類缺陷的檢測結(jié)果，對光伏區(qū)域分割并進行編號，遍歷缺陷檢測結(jié)果，判斷此結(jié)果位于某塊光伏分割區(qū)域，合并相同編號區(qū)域可見光與紅外的缺陷識別結(jié)果，返回帶有區(qū)域編號的缺陷檢測結(jié)果。

7、優(yōu)選的，所述步驟s1具體包括以下步驟：

8、s11：通過無人機拍攝光伏區(qū)域的可見光與紅外的圖像數(shù)據(jù)，并采用labelme標注工具進行光伏區(qū)域的分割標注，制作分割數(shù)據(jù)集，得到相應的json格式標注文件，并將json格式文件轉(zhuǎn)換至png掩膜格式；

9、s12：采用labelimg標注工具進行可見光與紅外圖像的缺陷類別標注；

10、s13：將標注完成的分割與檢測數(shù)據(jù)集以7：2：1的比例，隨機劃分為訓練集、驗證集以及測試集。

11、優(yōu)選的，所述步驟s2中構(gòu)建改進的yolop算法模型，具體包括以下步驟：

12、s21：基于yolop網(wǎng)絡模型進行改進，將yolop中原始3個anchor框修改為4個anchor框，用于檢測相匹配的小目標；

13、s22：將backbone中hardswish激活函數(shù)替換為silu激活函數(shù)，加速模型收斂，所述silu激活函數(shù)為：

14、s23：在空間金字塔模塊中使用的sppfcscp替換spp網(wǎng)絡層，所述sppfcscp包括：7層卷積層，3層池化層順序處理，獲取不同尺寸的空間特征信息提升模型的識別精度。

15、優(yōu)選的，所述步驟s2中bra注意力機制具體為：

16、將輸入特征數(shù)據(jù)將其劃分為s×s個不同區(qū)域，每個區(qū)域包含hw/s2個特征向量，其中，h、w分別為特征數(shù)據(jù)高、寬，通過線性映射得到三個輸入query(q)、key(k)和value(v)，對q、k求平均值為q、k，通過q、k構(gòu)建區(qū)域相關性的鄰接矩陣向量：a_r＝qkt，式中，a_r為構(gòu)建鄰接矩陣向量，t代表矩陣轉(zhuǎn)置；

17、保留每個區(qū)域的前n個連接的索引i＝topnindex(a_r)，式中，i為索引矩陣，聚集k、v，kg＝gather(k,i)，vg＝gather(v,i)，對聚集后的kg,vg使用注意力操作：att(q,k,v)＝sofmax(q,kgt)×vg+lce(v)，式中，att為注意力函數(shù)，lce(·)使用深度可分離卷積進行參數(shù)化，sofmax為歸一化指數(shù)函數(shù)。

18、優(yōu)選的，所述步驟s3具體為：

19、基于改進yolop算法以及標注完成的可見光、紅外圖像的訓練數(shù)據(jù)集進行分模型訓練，得到可見光、紅外圖像的改進yolop算法的光伏區(qū)域的語義分割及缺陷檢測模型；

20、基于改進yolop算法模型，獲取待識別可見光、紅外圖像光伏區(qū)域的語義分割掩膜圖及缺陷檢測結(jié)果；將光伏區(qū)域的語義分割掩膜圖轉(zhuǎn)換為二值圖，其中，像素值為0的區(qū)域表示背景區(qū)域，像素值為255的區(qū)域表示光伏區(qū)域，獲取各個光伏區(qū)域的最小外接矩形，得到矩形的中心點坐標，基于中心點坐標由左至右、由上至下對光伏區(qū)進行編號，獲取帶有編號的光伏分割區(qū)域掩碼圖；

21、分別將得到的待識別可見光、紅外圖像中，所有檢測目標的類別與位置息統(tǒng)一保存至列表中，所述列表構(gòu)成為：

22、[[x1,y1,x2,y2,confidence,labels],[x1,y1,x2,y2,confidence,labels],...]，

23、其中，(x1,y1)、(x2,y2)分別為該檢測目標框的左上角、右下角坐標，confidence為該檢測目標的置信度，labels為該檢測目標的類別；

24、分別遍歷待識別可見光、紅外圖像的缺陷檢測結(jié)果，判斷此缺陷位于某塊光伏分割區(qū)域，合并相同編號區(qū)域可見光與紅外的缺陷識別結(jié)果，返回帶有區(qū)域編號的缺陷檢測結(jié)果。

25、基于多任務算法的光伏缺陷識別系統(tǒng)，包括：

26、圖像采集模塊：用于通過無人機獲取待識別的可見光與紅外圖像數(shù)據(jù)；

27、圖像識別模塊：用于基于改進的yolop可見光與紅外算法模型，分別對所述待識別可見光與紅外圖像進行識別，獲取缺陷的位置與類別以及光伏區(qū)域的語義分割掩膜圖，并將其轉(zhuǎn)換為二值圖；

28、圖像處理模塊：用于基于圖像識別模塊分別光獲取伏區(qū)域分割結(jié)果及缺陷檢測結(jié)果，分別對光伏分割區(qū)域進行編號，分別遍歷缺陷檢測結(jié)果，判斷此結(jié)果位于某塊光伏分割區(qū)域，合并相同編號區(qū)域可見光與紅外的缺陷識別結(jié)果，返回帶有區(qū)域編號的缺陷檢測結(jié)果。

29、對比現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：

30、針對監(jiān)控無人機拍攝光伏缺陷存在小目標的問題，本發(fā)明基于改進yolop算法對光伏缺陷識別，添加小目標檢測anchor可進一步提高小目標識別精度，將backbone中hardswish激活函數(shù)替換為silu激活函數(shù)，加速模型收斂，同時，sppfcscp替換spp網(wǎng)絡層，可以獲取不同尺寸的空間特征信息，添加bra注意力機制，可以抑制不重要特征信息，進一步提升模型的識別精度；

31、通過一個模型同時獲取光伏分割與缺陷檢測結(jié)果，可進一步提升識別速度，同時分別對可見光、紅外圖像結(jié)果分析，可獲取詳細的位置信息的缺陷類別，提升缺陷目標的互補性。

技術(shù)特征：

1.基于多任務算法的光伏缺陷識別方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于多任務算法的光伏缺陷識別方法，其特征在于，所述步驟s1具體包括以下步驟：

3.根據(jù)權(quán)利要求1所述的基于多任務算法的光伏缺陷識別方法，其特征在于，所述步驟s2中構(gòu)建改進的yolop算法模型，具體包括以下步驟：

4.根據(jù)權(quán)利要求3所述的基于多任務算法的光伏缺陷識別方法，其特征在于，所述步驟s2中bra注意力機制具體為：

5.根據(jù)權(quán)利要求1所述的基于多任務算法的光伏缺陷識別方法，其特征在于，所述步驟s3具體為：

6.基于多任務算法的光伏缺陷識別系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開了基于多任務算法的光伏缺陷識別方法與系統(tǒng)，主要涉及計算機視覺、光伏缺陷檢測技術(shù)領域。包括以下步驟：通過無人機采集光伏的可見光與紅外圖像數(shù)據(jù)，進行預處理后獲取訓練、測試及驗證數(shù)據(jù)集；構(gòu)建改進的YOLOP算法模型；基于改進的YOLOP算法模型，分別進行可見光以及紅外數(shù)據(jù)的模型訓練，獲取待識別數(shù)據(jù)的光伏區(qū)域的語義分割掩碼圖及各類缺陷的檢測結(jié)果。本實發(fā)明的有益效果在于：它能滿足多種光伏缺陷的識別，同時構(gòu)建改進YOLOP算法模型，進一步提高缺陷檢測的準確性。

技術(shù)研發(fā)人員：魯雪麗,李小龍,馬明普,葛玉鑫,周璐
受保護的技術(shù)使用者：智洋創(chuàng)新科技股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10