本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，特別涉及一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法。

背景技術(shù)：

1、基于機(jī)器視覺的電力部件缺陷識(shí)別是利用機(jī)器視覺技術(shù)對(duì)電力設(shè)備中的缺陷進(jìn)行自動(dòng)檢測(cè)和識(shí)別。在電力系統(tǒng)中，各種電力設(shè)備如變壓器、開關(guān)設(shè)備、輸電線路等都可能出現(xiàn)各種不同類型的缺陷，這些缺陷可能會(huì)導(dǎo)致設(shè)備的性能下降、安全隱患以及停機(jī)維修等問題。因此，及早發(fā)現(xiàn)并識(shí)別這些缺陷對(duì)于維護(hù)電力系統(tǒng)的穩(wěn)定運(yùn)行至關(guān)重要。傳統(tǒng)的電力設(shè)備缺陷檢測(cè)通常依賴于人工目視檢查，這種方法存在著識(shí)別效率低、主觀性強(qiáng)、成本高等問題。而機(jī)器視覺技術(shù)的發(fā)展為電力部件缺陷識(shí)別提供了一種自動(dòng)化、高效且精確的解決方案。通過機(jī)器視覺技術(shù)，可以利用攝像頭或其他成像設(shè)備對(duì)電力設(shè)備進(jìn)行實(shí)時(shí)監(jiān)測(cè)和成像，然后利用機(jī)器視覺算法對(duì)圖像進(jìn)行分析和處理，從而實(shí)現(xiàn)對(duì)電力部件缺陷的自動(dòng)檢測(cè)和識(shí)別。

2、使用高光譜圖像代替普通圖像可為機(jī)器視覺帶來更豐富的信息量，因?yàn)楦吖庾V圖像在每個(gè)像素點(diǎn)上收集了大量不同波長的光譜信息。這樣的數(shù)據(jù)提供了更詳細(xì)、更準(zhǔn)確的物體特征，有助于提高物體識(shí)別和分類的準(zhǔn)確性，以及更細(xì)致的表面分析和物體組成的檢測(cè)。此外，高光譜圖像還能夠幫助區(qū)分不同材料和物質(zhì)，提供更全面的場(chǎng)景理解和環(huán)境監(jiān)測(cè)。

3、高光譜圖像常常受到多種來源的噪聲影響，例如傳感器噪聲、大氣噪聲、環(huán)境光線干擾等。這些噪聲在圖像中表現(xiàn)為隨機(jī)或周期性的變化，降低了圖像的質(zhì)量和清晰度。在機(jī)器視覺檢測(cè)中，噪聲會(huì)干擾目標(biāo)的邊界、紋理和細(xì)節(jié)信息，使得目標(biāo)檢測(cè)、分類和分割等任務(wù)變得更加困難和不可靠。因此，去除噪聲對(duì)于高光譜圖像的處理和機(jī)器視覺檢測(cè)至關(guān)重要。去除噪聲可以提高圖像的信噪比，增強(qiáng)目標(biāo)與背景之間的對(duì)比度，使得目標(biāo)更加突出、清晰，從而有助于機(jī)器視覺系統(tǒng)更準(zhǔn)確地檢測(cè)和識(shí)別目標(biāo)。此外，去除噪聲還有助于降低后續(xù)圖像處理和分析的復(fù)雜度，提高機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型的訓(xùn)練效果，增強(qiáng)模型的魯棒性和泛化能力。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法，旨在提出高光譜去噪模塊，應(yīng)用在電力部件缺陷識(shí)別場(chǎng)景，包含譜空間卷積模塊、引導(dǎo)光譜模塊和調(diào)制前反饋網(wǎng)絡(luò)，其中譜空間卷積模塊作為3d卷積的輕量級(jí)替代方案，可提取更多空間譜相關(guān)特征；引導(dǎo)光譜模塊可以進(jìn)行自適應(yīng)處理，在整個(gè)光譜帶上執(zhí)行自注意力，具有識(shí)別全局光譜相關(guān)性的能力，而且保持了線性復(fù)雜性；調(diào)制前反饋網(wǎng)絡(luò)可以加強(qiáng)更多信息區(qū)域的激活，從而進(jìn)一步增強(qiáng)聚合特征。

2、本發(fā)明旨在提出高光譜去噪模塊，提供一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法，包括以下步驟：

3、s1、獲取電力部件缺陷圖像，采集方式為使用高光譜相機(jī)進(jìn)行現(xiàn)場(chǎng)拍攝，拍攝內(nèi)容為電力部件缺陷區(qū)域，所有采集電力部件缺陷圖像均為高光譜圖像，且包含4種缺陷種類，包括絕緣子缺陷、輸電線路缺陷、電力變壓器缺陷和開關(guān)設(shè)備缺陷；

4、s2、制作電力部件缺陷訓(xùn)練數(shù)據(jù)集，對(duì)所有采集電力部件缺陷圖像進(jìn)行標(biāo)注，標(biāo)注種類為4種缺陷種類，將標(biāo)注圖像分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，將訓(xùn)練集和驗(yàn)證集作為電力部件缺陷訓(xùn)練數(shù)據(jù)集；

5、s3、構(gòu)建譜空間卷積模塊ssc，包含空間分支和光譜分支；

6、s4、構(gòu)建引導(dǎo)光譜模塊gs，包含全局平均池化、線性投影和矩陣乘法；

7、s5、構(gòu)建調(diào)制前反饋網(wǎng)絡(luò)mffn，包含線性投影、激活函數(shù)、逐元素相加和逐元素相乘；

8、s6、構(gòu)建變換器塊，包含譜空間卷積模塊ssc、引導(dǎo)光譜模塊gs和調(diào)制前反饋網(wǎng)絡(luò)mffn；

9、s7、構(gòu)建高光譜去噪模塊，包含多個(gè)變換器塊、跳躍連接、殘差連接和3d卷積；

10、s8、構(gòu)建并訓(xùn)練機(jī)器視覺電力部件缺陷識(shí)別模型，包括輸入、高光譜去噪模塊、骨干網(wǎng)絡(luò)、檢測(cè)頭和輸出，使用電力部件缺陷訓(xùn)練數(shù)據(jù)集訓(xùn)練機(jī)器視覺電力部件缺陷識(shí)別模型；

11、s9、電力部件缺陷圖像識(shí)別，通過高光譜拍攝設(shè)備拍攝電力部件缺陷區(qū)域，得到電力部件缺陷圖像，電力部件缺陷圖像均為高光譜圖像，使用機(jī)器視覺電力部件缺陷識(shí)別模型識(shí)別電力部件缺陷圖像，得到識(shí)別結(jié)果。

12、優(yōu)選地，在s1步驟中，對(duì)于4種缺陷種類，絕緣子缺陷包括裂紋、污漬、表面破損和漏涂；輸電線路缺陷包括輸電線斷裂、輸電線腐蝕和桿塔傾斜；電力變壓器缺陷包括接線端子松動(dòng)、冷卻器堵塞和變壓器油泄漏；開關(guān)設(shè)備缺陷包括觸頭磨損、變形和斷裂。

13、優(yōu)選地，在s3步驟中，對(duì)于譜空間卷積模塊ssc，輸入x到兩個(gè)并行分支，分別為空間分支和光譜分支，，在空間維度，空間分支使用多個(gè)空間塊來提取特征，單個(gè)空間塊由2d卷積和leaky?relu組成，在光譜維度，光譜分支應(yīng)用1×1卷積來關(guān)聯(lián)所有空間的光譜信息，通過逐元素相加組合兩個(gè)分支的輸出，并得到ssc的輸出。

14、優(yōu)選地，在s4步驟中，對(duì)于引導(dǎo)光譜模塊gs，輸入，，沿輸入的空間維度進(jìn)行全局平均池化，獲得和，，，對(duì)進(jìn)行線性投影獲得，，將和的轉(zhuǎn)置矩陣進(jìn)行矩陣乘法和softmax歸一化，獲得轉(zhuǎn)置注意力圖?，，將與進(jìn)行矩陣乘法獲得輸出，，將經(jīng)過線性投影，并和輸入逐元素相加得到gs的輸出，，引導(dǎo)光譜模塊gs的計(jì)算公式整體表達(dá)為，，為逐元素相加，為矩陣乘法，，為線性層實(shí)現(xiàn)的線性投影，為softmax函數(shù)。

15、優(yōu)選地，在s5步驟中，對(duì)于調(diào)制前反饋網(wǎng)絡(luò)mffn，輸入，，輸出，，，n為h、w和d的乘積，其中為逐元素相加，，為線性投影，，，n為h、w和d的乘積，為gelu激活函數(shù)，，；其中首先計(jì)算，為線性投影，，，n為h、w和d的乘積，然后將拆分為和，，，，，為逐元素相乘，為sigmoid函數(shù)。

16、優(yōu)選地，在s6步驟中，對(duì)于變換器塊，給定輸入，有，，其中輸入，為逐元素相加，中間輸出，最終輸出，和表示寬度和高度，表示光譜帶的數(shù)量，表示特征圖的數(shù)量，和表示最終輸出的寬度和高度，表示最終輸出的光譜帶的數(shù)量，表示最終輸出的特征圖的數(shù)量，表示批量歸一化，代表譜空間卷積模塊，代表引導(dǎo)光譜模塊，表示調(diào)制前反饋網(wǎng)絡(luò)。

17、優(yōu)選地，在s7步驟中，對(duì)于高光譜去噪模塊，整體架構(gòu)為具有跳躍連接的u形編碼器和解碼器結(jié)構(gòu)，給定輸入高光譜帶噪聲圖像，將高光譜帶噪聲圖像通過多個(gè)變換器塊，在各級(jí)變換器中采用跳躍連接，使用殘差連接將輸入噪聲圖像逐元素相加到最終輸出前，并得到最終輸出。

18、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下技術(shù)效果：

19、本發(fā)明提供的技術(shù)方案提出了高光譜去噪模塊，應(yīng)用在電力部件缺陷識(shí)別場(chǎng)景，高光譜電力部件缺陷圖像有利于電力部件缺陷的精確識(shí)別，高光譜去噪模塊可以進(jìn)一步去除高光譜圖像中的噪聲，從而提高電力部件缺陷識(shí)別效果，高光譜去噪模塊包含譜空間卷積模塊、引導(dǎo)光譜模塊和調(diào)制前反饋網(wǎng)絡(luò)，其中譜空間卷積模塊作為3d卷積的輕量級(jí)替代方案，可提取更多空間譜相關(guān)特征；引導(dǎo)光譜模塊可以進(jìn)行自適應(yīng)處理，在整個(gè)光譜帶上執(zhí)行自注意力，具有識(shí)別全局光譜相關(guān)性的能力，而且保持了線性復(fù)雜性；調(diào)制前反饋網(wǎng)絡(luò)可以加強(qiáng)更多信息區(qū)域的激活，從而進(jìn)一步增強(qiáng)聚合特征。

技術(shù)特征：

1.一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法，其特征在于，在s1步驟中，對(duì)于4種缺陷種類，絕緣子缺陷包括裂紋、污漬、表面破損和漏涂；輸電線路缺陷包括輸電線斷裂、輸電線腐蝕和桿塔傾斜；電力變壓器缺陷包括接線端子松動(dòng)、冷卻器堵塞和變壓器油泄漏；開關(guān)設(shè)備缺陷包括觸頭磨損、變形和斷裂。

3.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法，其特征在于，在s3步驟中，對(duì)于譜空間卷積模塊ssc，輸入x到兩個(gè)并行分支，分別為空間分支和光譜分支，，在空間維度，空間分支使用多個(gè)空間塊來提取特征，單個(gè)空間塊由2d卷積和leaky?relu組成，在光譜維度，光譜分支應(yīng)用1×1卷積來關(guān)聯(lián)所有空間的光譜信息，通過逐元素相加組合兩個(gè)分支的輸出，并得到ssc的輸出。

4.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法，其特征在于，在s4步驟中，對(duì)于引導(dǎo)光譜模塊gs，輸入，，沿輸入的空間維度進(jìn)行全局平均池化，獲得和，，，對(duì)進(jìn)行線性投影獲得，，將和的轉(zhuǎn)置矩陣進(jìn)行矩陣乘法和softmax歸一化，獲得轉(zhuǎn)置注意力圖?，，將與進(jìn)行矩陣乘法獲得輸出，，將經(jīng)過線性投影，并和輸入逐元素相加得到gs的輸出，，引導(dǎo)光譜模塊gs的計(jì)算公式整體表達(dá)為，，為逐元素相加，為矩陣乘法，，為線性層實(shí)現(xiàn)的線性投影，為softmax函數(shù)。

5.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法，其特征在于，在s5步驟中，對(duì)于調(diào)制前反饋網(wǎng)絡(luò)mffn，輸入，，輸出，，，n為h、w和d的乘積，其中為逐元素相加，，為線性投影，，，n為h、w和d的乘積，為gelu激活函數(shù)，，；其中首先計(jì)算，為線性投影，，，n為h、w和d的乘積，然后將拆分為和，，，，，為逐元素相乘，為sigmoid函數(shù)。

6.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法，其特征在于，在s6步驟中，對(duì)于變換器塊，給定輸入，有，，其中輸入，為逐元素相加，中間輸出，最終輸出，和表示寬度和高度，表示光譜帶的數(shù)量，表示特征圖的數(shù)量，和表示最終輸出的寬度和高度，表示最終輸出的光譜帶的數(shù)量，表示最終輸出的特征圖的數(shù)量，表示批量歸一化，代表譜空間卷積模塊，代表引導(dǎo)光譜模塊，表示調(diào)制前反饋網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法，其特征在于，在s7步驟中，對(duì)于高光譜去噪模塊，整體架構(gòu)為具有跳躍連接的u形編碼器和解碼器結(jié)構(gòu)，給定輸入高光譜帶噪聲圖像，將高光譜帶噪聲圖像通過多個(gè)變換器塊，在各級(jí)變換器中采用跳躍連接，使用殘差連接將輸入噪聲圖像逐元素相加到最終輸出前，并得到最終輸出。

技術(shù)總結(jié)
本發(fā)明提出了一種基于機(jī)器視覺的電力部件缺陷識(shí)別方法，涉及計(jì)算機(jī)視覺領(lǐng)域，本發(fā)明提出了電力部件缺陷識(shí)別流程，包括獲取電力部件缺陷圖像、制作電力部件缺陷訓(xùn)練數(shù)據(jù)集、構(gòu)建譜空間卷積模塊SSC、構(gòu)建引導(dǎo)光譜模塊GS、構(gòu)建調(diào)制前反饋網(wǎng)絡(luò)MFFN、構(gòu)建變換器塊、構(gòu)建高光譜去噪模塊、構(gòu)建并訓(xùn)練機(jī)器視覺電力部件缺陷檢測(cè)模型和電力部件缺陷圖像檢測(cè)。本發(fā)明提出了高光譜去噪模塊，包含譜空間卷積模塊、引導(dǎo)光譜模塊和調(diào)制前反饋網(wǎng)絡(luò)，譜空間卷積模塊可提取更多空間譜相關(guān)特征；引導(dǎo)光譜模塊具有識(shí)別全局光譜相關(guān)性的能力，而且保持了線性復(fù)雜性；調(diào)制前反饋網(wǎng)絡(luò)可以加強(qiáng)更多信息區(qū)域的激活，從而進(jìn)一步增強(qiáng)聚合特征。

技術(shù)研發(fā)人員：黃敏,陳亦寒,郭燕娜,梅沁,劉星曄,白晨陽,楊靜泊
受保護(hù)的技術(shù)使用者：無錫廣盈集團(tuán)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9