本發(fā)明涉及電力視覺,具體涉及一種電力視覺知識蒸餾方法及系統(tǒng)。
背景技術(shù):
1、隨著電力行業(yè)的快速發(fā)展和智能化水平的不斷提升,電力視覺技術(shù)在電力系統(tǒng)的監(jiān)控、管理和運維中愈發(fā)重要。電力視覺技術(shù)主要利用圖像處理和計算機視覺算法對電力設(shè)備、線路和環(huán)境進行實時監(jiān)測和識別,以實現(xiàn)故障預(yù)警、狀態(tài)評估和智能控制等功能。
2、然而,當前電力視覺技術(shù)的應(yīng)用面臨著挑戰(zhàn)。首先,電力視覺系統(tǒng)通常需要處理大量的圖像和視頻數(shù)據(jù),對計算資源的需求較大。其次,為了提高識別的準確性和穩(wěn)定性,電力視覺系統(tǒng)通常采用復(fù)雜的深度學(xué)習(xí)模型,但這些模型往往參數(shù)眾多、計算量大,難以在資源受限的環(huán)境中實時運行。
技術(shù)實現(xiàn)思路
1、發(fā)明目的:本發(fā)明的第一目的是提供一種資源消耗減少、效率高、適用場景廣泛的電力視覺知識蒸餾方法,第二目的是提供一種與上述電力視覺知識蒸餾方法相對應(yīng)的電力視覺知識蒸餾系統(tǒng)。
2、技術(shù)方案:一種電力視覺知識蒸餾方法,包括以下步驟:
3、(1)收集電力視覺圖像數(shù)據(jù),建立電力視覺數(shù)據(jù)集;
4、(2)構(gòu)建第一模型,將電力視覺數(shù)據(jù)集輸入第一模型進行訓(xùn)練,直到第一模型對電力視覺數(shù)據(jù)集的識別準確率大于設(shè)定值,得到教師模型;
5、(3)構(gòu)建第二模型,將教師模型的檢測框架與第二模型的骨干網(wǎng)絡(luò)結(jié)合,構(gòu)建學(xué)生模型;
6、(4)將電力視覺數(shù)據(jù)集同時輸入教師模型與學(xué)生模型,得到輸出結(jié)果,利用復(fù)合損失函數(shù)計算教師模型與學(xué)生模型輸出結(jié)果間的差異度;
7、(5)使用反向傳播算法和adam優(yōu)化器根據(jù)差異度更新學(xué)生模型的參數(shù);
8、(6)重復(fù)步驟(4)-(5),通過若干輪迭代使得差異度小于設(shè)定值,輸出學(xué)生模型。
9、具體的,電力視覺圖像數(shù)據(jù)包括帶有標簽標注的電力設(shè)備、電網(wǎng)線路、變電站環(huán)境的圖像數(shù)據(jù)。
10、優(yōu)選的,步驟(1)還包括:對電力視覺圖像數(shù)據(jù)進行預(yù)處理,包括清洗、標注、劃分、增強操作。
11、優(yōu)選的,本方法還包括以下步驟:
12、(7)對步驟(6)輸出的學(xué)生模型進行性能評估,輸出評估指標。
13、具體的,評估指標包括識別精度、計算速度、模型大小、資源消耗。
14、具體的,復(fù)合損失函數(shù)由軟標簽損失函數(shù)與硬標簽損失函數(shù)加權(quán)計算得到。軟標簽損失函數(shù)為相對熵損失函數(shù),計算公式如下:
15、
16、式中:lsoft為軟標簽損失函數(shù),p為教師模型的概率分布,q為學(xué)生模型的概率分布,n為概率分布的類別數(shù);
17、硬標簽損失函數(shù)為交叉熵損失函數(shù),計算公式如下:
18、
19、式中:lhard為硬標簽損失函數(shù),yi為硬標簽的編碼,qi為學(xué)生模型對于類別i的預(yù)測概率,n為概率分布的類別數(shù);
20、復(fù)合損失函數(shù)計算公式如下:
21、l=α·lsoft+(1-α)·lhard
22、式中:α為設(shè)定的權(quán)重系數(shù)。
23、具體的,步驟(5)包括:計算差異度對學(xué)生模型的參數(shù)的梯度,計算梯度的一階矩估計及二階矩估計,利用adam優(yōu)化器自動調(diào)整學(xué)生模型的參數(shù)的學(xué)習(xí)率,利用反向傳播算法沿著梯度反方向更新學(xué)生模型的參數(shù),減小差異度。
24、具體的,第一模型包括yolov5模型、rcnn模型(reagion-based?convolutionalneural?networks,基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)模型);第二模型包括mobilenet模型、yolov4-tiny模型。
25、本發(fā)明還提供一種電力視覺知識蒸餾系統(tǒng),包括:
26、數(shù)據(jù)集生成模塊:用于收集電力視覺圖像數(shù)據(jù),建立電力視覺數(shù)據(jù)集;
27、教師模型訓(xùn)練模塊:用于構(gòu)建第一模型,將電力視覺數(shù)據(jù)集輸入第一模型進行訓(xùn)練,直到第一模型對電力視覺數(shù)據(jù)集的識別準確率大于設(shè)定值,得到教師模型;
28、學(xué)生模型構(gòu)建模塊:用于構(gòu)建第二模型,將教師模型的檢測框架與第二模型的骨干網(wǎng)絡(luò)結(jié)合,構(gòu)建學(xué)生模型;
29、知識蒸餾模塊:用于將電力視覺數(shù)據(jù)集同時輸入教師模型與學(xué)生模型,得到輸出結(jié)果,利用復(fù)合損失函數(shù)計算教師模型與學(xué)生模型輸出結(jié)果間的差異度;
30、優(yōu)化訓(xùn)練模塊:用于使用反向傳播算法和adam優(yōu)化器根據(jù)差異度更新學(xué)生模型的參數(shù);
31、參數(shù)迭代模塊:用于重復(fù)運行知識蒸餾模塊與優(yōu)化訓(xùn)練模塊,通過若干輪迭代使得差異度小于設(shè)定值,輸出學(xué)生模型。
32、有益效果:與現(xiàn)有技術(shù)相比,本發(fā)明的顯著效果是:
33、1、通過構(gòu)建教師-學(xué)生模型進行知識蒸餾,將大型復(fù)雜電力視覺模型的知識有效遷移到小型輕量化模型中,在大大減少計算資源和存儲空間的同時能保持較高的識別精度和計算性能。
34、2、電力系統(tǒng)的實際運行環(huán)境存在資源有限、地區(qū)偏遠等問題,通過模型規(guī)模的壓縮,提高了電力視覺系統(tǒng)在資源受限環(huán)境中的適用性和部署的靈活性。
35、3、通過模型的結(jié)構(gòu)精簡,減少了模型參數(shù)的數(shù)量和計算的復(fù)雜度,提升了處理速度和響應(yīng)時間,滿足了電力系統(tǒng)對于實時監(jiān)控和快速決策的需求。
1.一種電力視覺知識蒸餾方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的電力視覺知識蒸餾方法,其特征在于:所述電力視覺圖像數(shù)據(jù)包括帶有標簽標注的電力設(shè)備、電網(wǎng)線路、變電站環(huán)境的圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的電力視覺知識蒸餾方法,其特征在于:所述步驟(1)還包括:對電力視覺圖像數(shù)據(jù)進行預(yù)處理,包括清洗、標注、劃分、增強操作。
4.根據(jù)權(quán)利要求1所述的電力視覺知識蒸餾方法,其特征在于:還包括以下步驟:
5.根據(jù)權(quán)利要求4所述的電力視覺知識蒸餾方法,其特征在于:所述評估指標包括識別精度、計算速度、模型大小、資源消耗。
6.根據(jù)權(quán)利要求1所述的電力視覺知識蒸餾方法,其特征在于:所述復(fù)合損失函數(shù)由軟標簽損失函數(shù)與硬標簽損失函數(shù)加權(quán)計算得到。
7.根據(jù)權(quán)利要求6所述的電力視覺知識蒸餾方法,其特征在于:所述軟標簽損失函數(shù)為相對熵損失函數(shù),計算公式如下:
8.根據(jù)權(quán)利要求1所述的電力視覺知識蒸餾方法,其特征在于:所述步驟(5)包括:計算差異度對學(xué)生模型的參數(shù)的梯度,計算梯度的一階矩估計及二階矩估計,利用adam優(yōu)化器自動調(diào)整學(xué)生模型的參數(shù)的學(xué)習(xí)率,利用反向傳播算法沿著梯度反方向更新學(xué)生模型的參數(shù),減小差異度。
9.根據(jù)權(quán)利要求1所述的電力視覺知識蒸餾方法,其特征在于:所述第一模型包括yolov5模型、rcnn模型;第二模型包括mobilenet模型、yolov4-tiny模型。
10.一種電力視覺知識蒸餾系統(tǒng),其特征在于,包括: