本發(fā)明屬于機器學習，具體涉及一種基于拓撲變換的元強化學習模型遷移訓練方法及裝置。

背景技術：

1、元強化學習模型的遷移訓練方法在當前數(shù)據(jù)驅動和智能化背景下具有顯著作用，通過從多個任務中學習和遷移知識，使得模型能夠迅速適應新環(huán)境，優(yōu)化決策過程，并在科研、工業(yè)、醫(yī)療和金融等領域可以高效的解決問題和策略優(yōu)化。這種技術為模型的開發(fā)和應用提供了有力的技術支持。

2、專利cn115800272a，本發(fā)明提供了公開的基于拓撲識別的電網(wǎng)故障分析方法、系統(tǒng)、終端及介質；構建電網(wǎng)拓撲模型后，基于異常電氣量的權重分析預測風險值，提取關聯(lián)拓撲節(jié)點并計算其關聯(lián)風險值。疊加關聯(lián)風險值與預測風險值得到累積風險值，選取累積風險值與閾值差最大的節(jié)點為預測故障節(jié)點，并持續(xù)篩選直至累積風險值低于閾值?，F(xiàn)有技術中構建的模型往往針對特定區(qū)域，模型建立后不具備適應能力，導致每個場景都需要重新構建對應的模型，使得消耗的資源增加。

技術實現(xiàn)思路

1、本發(fā)明的目的就在于解決模型建立后不具備適應能力，導致每個場景都需要重新構建對應模型的問題，而提出一種基于拓撲變換的元強化學習模型遷移訓練方法及裝置。

2、在本發(fā)明實施的第一方面，首先提出一種基于拓撲變換的元強化學習模型遷移訓練方法，所述方法包括:

3、獲取多個區(qū)域的電力數(shù)據(jù)，構建區(qū)域數(shù)據(jù)集；所述區(qū)域數(shù)據(jù)集包括：訓練數(shù)據(jù)集，驗證數(shù)據(jù)集，測試數(shù)據(jù)集；所述電力數(shù)據(jù)包括：電網(wǎng)拓撲結構和各種設備的電力數(shù)據(jù)；

4、將所述區(qū)域數(shù)據(jù)集與所述預設訓練模型的模型數(shù)據(jù)集進行數(shù)據(jù)特征對比，根據(jù)所述數(shù)據(jù)特征確定所述預設訓練模型的更新策略；

5、將所述區(qū)域數(shù)據(jù)集中的數(shù)據(jù)遷移至所述模型數(shù)據(jù)集中，根據(jù)所述更新策略執(zhí)行更新操作得到目標模型。

6、可選的，將所述區(qū)域數(shù)據(jù)集與所述預設訓練模型的模型數(shù)據(jù)集進行數(shù)據(jù)特征對比包括：

7、提取所述區(qū)域數(shù)據(jù)集與所述模型數(shù)據(jù)集的關鍵特征；所述關鍵特征包括：電網(wǎng)拓撲結構中的關鍵節(jié)點特征和設備的電力數(shù)據(jù)特征；

8、計算所述區(qū)域數(shù)據(jù)集與所述預設訓練模型關鍵特征的絕對差值，若所述絕對差值小于預設閾值，則判定所述區(qū)域數(shù)據(jù)集與所述預設訓練模型的相似度高；

9、將所述區(qū)域數(shù)據(jù)集的數(shù)據(jù)量與數(shù)據(jù)量閾值進行比對，若所述區(qū)域數(shù)據(jù)集的數(shù)據(jù)量小于數(shù)據(jù)量閾值，則判定所述區(qū)域數(shù)據(jù)集的數(shù)據(jù)量小。

10、可選的，根據(jù)所述數(shù)據(jù)特征確定所述預設訓練模型的更新策略包括：

11、若所述區(qū)域數(shù)據(jù)集的數(shù)據(jù)量小并且相似度高，則確定所述預設訓練模型的更新策略為第一更新模式；

12、凍結所述預設訓練模型卷積層和池化層的模型參數(shù)，解凍所述預設訓練模型全連接層和分類層的模型參數(shù)，將所述區(qū)域數(shù)據(jù)集的數(shù)據(jù)輸入至所述預設訓練模型中進行模型訓練，并針對所述全連接層和所述分類層進行參數(shù)更新，得到目標模型。

13、可選的，根據(jù)所述數(shù)據(jù)特征確定所述預設訓練模型的更新策略包括：

14、若所述區(qū)域數(shù)據(jù)集的數(shù)據(jù)量小并且相似度低，則確定所述預設訓練模型的更新策略為第二更新模式；

15、解凍所述預設模型全連接層的模型參數(shù)，將所述區(qū)域數(shù)據(jù)集輸入至所述預設訓練模型中進行模型訓練，并針對所述全連接層進行參數(shù)更新，得到目標模型。

16、可選的，根據(jù)所述數(shù)據(jù)特征確定所述預設訓練模型的更新策略包括：

17、若所述區(qū)域數(shù)據(jù)集的數(shù)據(jù)量大并且相似度高，則確定所述預設訓練模型的更新策略為第三更新模式；

18、通過逐級遞增的模式解凍所述預設訓練模型中各個層的模型參數(shù)，將所述區(qū)域數(shù)據(jù)集的數(shù)據(jù)輸入至所述預設訓練模型進行遞增訓練，直至所述預設訓練模型中各個層的參數(shù)完成參數(shù)更新，得到目標模型。

19、可選的，根據(jù)所述數(shù)據(jù)特征確定所述預設訓練模型的更新策略包括：

20、若所述區(qū)域數(shù)據(jù)集的數(shù)據(jù)量大并且相似度低，則確定所述預設訓練模型的更新策略為第四更新模式；

21、針對所述預設訓練模型的參數(shù)進行初始化，將所述區(qū)域數(shù)據(jù)集中的數(shù)據(jù)添加至所述預設訓練模型的模型數(shù)據(jù)集中進行模型訓練，更新所述預設訓練模型的模型參數(shù)得到目標模型。

22、在本發(fā)明實施的第二方面，提出一種基于拓撲變換的元強化學習模型遷移訓練裝置，包括：所述裝置包括：數(shù)據(jù)集構建模塊、相似度對比模塊和模型更新模塊：

23、所述數(shù)據(jù)集構建模塊，用于獲取多個區(qū)域的電力數(shù)據(jù)，構建區(qū)域數(shù)據(jù)集；所述區(qū)域數(shù)據(jù)集包括：訓練數(shù)據(jù)集，驗證數(shù)據(jù)集，測試數(shù)據(jù)集；所述電力數(shù)據(jù)包括：電網(wǎng)拓撲結構和各種設備的電力數(shù)據(jù)；

24、所述相似度對比模塊，用于將所述區(qū)域數(shù)據(jù)集與所述預設訓練模型的模型數(shù)據(jù)集進行數(shù)據(jù)特征對比，根據(jù)所述數(shù)據(jù)特征確定所述預設訓練模型的更新策略；

25、所述模型更新模塊，用于將所述區(qū)域數(shù)據(jù)集中的數(shù)據(jù)遷移至所述模型數(shù)據(jù)集中，根據(jù)所述更新策略執(zhí)行更新操作得到目標模型。

26、本發(fā)明的有益效果：

27、本發(fā)明提出了一種基于拓撲變換的元強化學習模型遷移訓練方法，通過獲取多個區(qū)域的電力數(shù)據(jù)，構建區(qū)域數(shù)據(jù)集；將區(qū)域數(shù)據(jù)集與預設訓練模型的模型數(shù)據(jù)集進行數(shù)據(jù)特征對比，根據(jù)數(shù)據(jù)特征確定預設訓練模型的更新策略；將區(qū)域數(shù)據(jù)集中的數(shù)據(jù)遷移至模型數(shù)據(jù)集中，根據(jù)更新策略執(zhí)行更新操作得到目標模型。通過收集多區(qū)域電力數(shù)據(jù)構建區(qū)域數(shù)據(jù)集，并與預設訓練模型的模型數(shù)據(jù)集進行數(shù)據(jù)特征對比，以確定模型更新策略，遷移訓練方法有效的應用在模型更新上。此方法不僅加速了訓練過程，提高了模型性能，還降低了計算資源需求，從而實現(xiàn)了高效且經(jīng)濟的模型更新方式，增強了模型在電力故障定位中的適應性和準確性。

技術特征：

1.一種基于拓撲變換的元強化學習模型遷移訓練方法，其特征在于，獲取預設訓練模型，所述預設訓練模型用于識別目標區(qū)域的電網(wǎng)故障，所述方法包括:

2.根據(jù)權利要求1所述的一種基于拓撲變換的元強化學習模型遷移訓練方法，其特征在于，將所述區(qū)域數(shù)據(jù)集與所述預設訓練模型的模型數(shù)據(jù)集進行數(shù)據(jù)特征對比包括：

3.根據(jù)權利要求2所述的一種基于拓撲變換的元強化學習模型遷移訓練方法，其特征在于，根據(jù)所述數(shù)據(jù)特征確定所述預設訓練模型的更新策略包括：

4.根據(jù)權利要求2所述的一種基于拓撲變換的元強化學習模型遷移訓練方法，其特征在于，根據(jù)所述數(shù)據(jù)特征確定所述預設訓練模型的更新策略包括：

5.根據(jù)權利要求2所述的一種基于拓撲變換的元強化學習模型遷移訓練方法，其特征在于，根據(jù)所述數(shù)據(jù)特征確定所述預設訓練模型的更新策略包括：

6.根據(jù)權利要求2所述的一種基于拓撲變換的元強化學習模型遷移訓練方法，其特征在于，根據(jù)所述數(shù)據(jù)特征確定所述預設訓練模型的更新策略包括：

7.一種基于拓撲變換的元強化學習模型遷移訓練裝置，其特征在于，所述裝置包括：數(shù)據(jù)集構建模塊、相似度對比模塊和模型更新模塊：

技術總結
本發(fā)明公開了一種基于拓撲變換的元強化學習模型遷移訓練方法及裝置，涉及機器學習技術領域；獲取多個區(qū)域的電力數(shù)據(jù)，構建區(qū)域數(shù)據(jù)集；將區(qū)域數(shù)據(jù)集與預設訓練模型的模型數(shù)據(jù)集進行數(shù)據(jù)特征對比，根據(jù)數(shù)據(jù)特征確定預設訓練模型的更新策略；將區(qū)域數(shù)據(jù)集中的數(shù)據(jù)遷移至模型數(shù)據(jù)集中，根據(jù)更新策略執(zhí)行更新操作得到目標模型。通過收集多區(qū)域電力數(shù)據(jù)構建區(qū)域數(shù)據(jù)集，并與預設訓練模型的模型數(shù)據(jù)集進行數(shù)據(jù)特征對比，以確定模型更新策略，遷移訓練方法有效的應用在模型更新上。此方法不僅加速了訓練過程，提高了模型性能，還降低了計算資源需求，從而實現(xiàn)了高效且經(jīng)濟的模型更新方式，增強了模型在電力故障定位中的適應性和準確性。

技術研發(fā)人員：胡康生,張西童,武華茂,董彩棚,丁燁,倪旭東,梁華塵,王倩倩,周智博
受保護的技術使用者：國網(wǎng)安徽省電力有限公司滁州市城郊供電公司
技術研發(fā)日：
技術公布日：2024/12/10