本技術涉及計算機領域，具體而言，涉及一種困難樣本集合的生成方法及裝置、存儲介質(zhì)及電子裝置。

背景技術：

1、隨著全球?qū)夂蜃兓湍茉葱枨蟮某掷m(xù)增長，可再生能源的開發(fā)和利用變得至關重要。風力發(fā)電和光伏發(fā)電作為可再生能源的重要組成部分，其裝機容量和發(fā)電量均呈現(xiàn)快速增長態(tài)勢。然而，在實際運行中，風機和光伏系統(tǒng)不可避免地會遇到各種故障，如風機葉片損傷、光伏組件灰塵遮擋等，這些故障不僅影響發(fā)電效率，還可能對設備造成永久性損害，增加運維成本。因此，如何高效、準確地診斷并解決這些故障，成為當前新能源領域亟需解決的重要問題。

2、傳統(tǒng)的故障診斷方法多依賴于人工巡檢和定期維護，這種方法不僅效率低下，而且難以覆蓋所有潛在故障點。隨著大數(shù)據(jù)、人工智能等技術的快速發(fā)展，基于計算機視覺的方法在故障診斷領域展現(xiàn)出巨大潛力。計算機視覺技術主要通過采集風機或光伏組件的圖像數(shù)據(jù)，利用圖像處理技術提取關鍵特征，并結(jié)合機器學習模型進行故障的自動識別與預警。然而，在基于計算機視覺的故障診斷方法中，面對復雜多變的故障場景時，“困難樣本”問題是一個重要的挑戰(zhàn)。困難樣本是指在模型訓練過程中難以被正確分類或預測的樣本，它們往往包含豐富的故障信息。為了解決這個問題，提出了困難樣本挖掘(hard?sammplemining)等方法。通過困難樣本挖掘方法，可以有效地降低簡單例對模型訓練的影響，使模型更加關注那些真正具有挑戰(zhàn)性的難例(即困難樣本)。

3、傳統(tǒng)的困難樣本挖掘通常依賴于單一分類器的預測結(jié)果或人為設定的規(guī)則來識別困難樣本。這種方法可能受限于分類器的性能或規(guī)則的主觀性，導致識別的困難樣本不夠準確或全面。傳統(tǒng)的困難樣本增強技術通常通過簡單地變換(如旋轉(zhuǎn)、縮放、裁剪等)來生成新的樣本，這些方法雖然能夠增加樣本的數(shù)量，但生成的樣本往往與原始樣本非常相似，缺乏多樣性，難以提升模型的分類效果。

4、針對相關技術中，基于傳統(tǒng)的困難樣本挖掘與生成方法得到的困難樣本集合缺乏多樣性的問題，目前尚未提出有效的解決方案。

5、因此，有必要對相關技術予以改良以克服相關技術中的所述缺陷。

技術實現(xiàn)思路

1、本技術實施例提供了一種困難樣本集合的生成方法及裝置、存儲介質(zhì)及電子裝置，以至少解決相關技術中，基于傳統(tǒng)的困難樣本挖掘與生成方法得到的困難樣本集合缺乏多樣性的問題。

2、根據(jù)本技術實施例的一方面，提供一種困難樣本集合的生成方法，包括：將多個第一圖像樣本通過分類器集合進行分類處理，確定出所述多個第一圖像樣本中的第一困難樣本，其中，所述分類器集合包括不同類型的多個分類器，所述多個分類器均用于對所述多個第一圖像樣本進行故障分類，所述第一困難樣本用于指示分類失敗的圖像樣本；將所述第一困難樣本輸入到樣本增強模型中進行處理，生成多個第二困難樣本，其中，所述多個第二困難樣本包括所述第一困難樣本；根據(jù)所述多個第二困難樣本生成困難樣本集合。

3、在一個示例性的實施例中，將多個第一圖像樣本通過分類器集合進行分類處理，確定出所述多個第一圖像樣本中的第一困難樣本，包括：對所述多個第一圖像樣本進行預處理，得到多個第二圖像樣本；將每一個第二圖像樣本依次通過所述多個分類器進行故障分類，得到多組故障分類結(jié)果，其中，所述多個第二圖像樣本與所述多組故障分類結(jié)果一一對應，每一組故障分類結(jié)果包括多個故障分類結(jié)果，所述多個故障分類結(jié)果與所述多個分類器一一對應，所述故障分類結(jié)果用于指示第二圖像樣本的故障類別；根據(jù)所述多組故障分類結(jié)果從所述多個第二圖像樣本中確定出所述第一困難樣本。

4、在一個示例性的實施例中，根據(jù)所述多組故障分類結(jié)果從所述多個第二圖像樣本中確定出所述第一困難樣本，包括：根據(jù)多個第一故障分類結(jié)果確定第三圖像樣本的最終分類結(jié)果，其中，所述多個第二圖像樣本包括所述第三圖像樣本，所述第三圖像樣本對應的一組故障分類結(jié)果包括所述多個第一故障分類結(jié)果，所述多個第一故障分類結(jié)果包括所述最終分類結(jié)果；統(tǒng)計所述多個第一故障分類結(jié)果中第二故障分類結(jié)果的占比，其中，所述第二故障分類結(jié)果與所述最終分類結(jié)果不同；在確定所述第二故障分類結(jié)果的占比大于預設閾值的情況下，將所述第三圖像樣本確定為所述第一困難樣本。

5、在一個示例性的實施例中，將所述第一困難樣本輸入到樣本增強模型中進行處理，生成多個第二困難樣本之前，所述方法還包括：訓練步驟：根據(jù)第一生成器對第一判別器進行訓練，得到第二判別器，以及，根據(jù)所述第二判別器和分類判別器對所述第一生成器進行訓練，得到第二生成器，其中，所述第一生成器和所述第二生成器用于生成所述第二困難樣本，所述第一判別器和所述第二判別器用于評估所述第二困難樣本是否可用，所述分類判別器基于所述分類器集合得到，所述分類判別器用于確定樣本的分類概率分布，所述分類概率分布用于指示樣本屬于不同故障類別的概率；循環(huán)執(zhí)行預設次數(shù)所述訓練步驟，根據(jù)最終得到的第二判別器和第二生成器生成所述樣本增強模型。

6、在一個示例性的實施例中，根據(jù)第一生成器對第一判別器進行訓練，得到第二判別器，包括：將多個真實樣本輸入到所述第一生成器中，生成多個生成樣本，其中，所述多個真實樣本為困難樣本；通過公式計算所述第一判別器的第一損失，其中，ld為所述第一損失，d(x)為所述第一判別器對所述多個真實樣本的第一判別結(jié)果，g(z)為所述多個生成樣本，d(g(z))為所述第一判別器對所述多個生成樣本的第二判別結(jié)果，ex～pdata(x)為每一個真實樣本的分布概率，為每一個生成樣本的分布概率；根據(jù)所述第一損失對所述第一判別器的參數(shù)進行調(diào)整，得到所述第二判別器。

7、在一個示例性的實施例中，根據(jù)所述第二判別器和分類判別器對所述第一生成器進行訓練，得到第二生成器，包括：通過所述第二判別器計算多個真實樣本的第三判別結(jié)果，以及通過所述第二判別器計算多個生成樣本的第四判別結(jié)果，其中，所述多個生成樣本為所述多個真實樣本通過所述第一生成器生成；通過所述分類判別器計算所述多個真實樣本的第一分類概率分布，以及通過所述分類判別器計算所述多個生成樣本的第二分類概率分布；通過公式計算所述第一生成器的第二損失，其中，lg為所述第二損失，為每一個生成樣本的分布概率，g(z)為所述多個生成樣本，d(g(z))為所述第四判別結(jié)果，ldist(c(g(z))，c(xref)分布差異損失、用于指示所述第二分類概率分布與目標真實樣本的第一分類概率分布之間的差異，所述多個真實樣本包括所述目標真實樣本，xref為所述目標真實樣本，α為所述分布差異損失的權(quán)重；根據(jù)所述第二損失對所述第一生成器進行參數(shù)調(diào)整，得到所述第二生成器。

8、根據(jù)本技術實施例的另一方面，還提供了一種困難樣本集合的生成裝置，包括：處理模塊，用于將多個第一圖像樣本通過分類器集合進行分類處理，確定出所述多個第一圖像樣本中的第一困難樣本，其中，所述分類器集合包括不同類型的多個分類器，所述多個分類器均用于對所述多個第一圖像樣本進行故障分類，所述第一困難樣本用于指示分類失敗的圖像樣本；第一生成模塊，用于將所述第一困難樣本輸入到樣本增強模型中進行處理，生成多個第二困難樣本，其中，所述多個第二困難樣本包括所述第一困難樣本；第二生成模塊，用于根據(jù)所述多個第二困難樣本生成困難樣本集合。

9、根據(jù)本技術實施例的又一方面，還提供了一種計算機可讀的存儲介質(zhì)，該計算機可讀的存儲介質(zhì)中存儲有計算機程序，其中，該計算機程序被設置為運行時執(zhí)行上述困難樣本集合的生成方法。

10、根據(jù)本技術實施例的又一方面，還提供了一種電子裝置，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其中，上述處理器通過計算機程序執(zhí)行上述困難樣本集合的生成方法。

11、根據(jù)本技術實施例的又一方面，還提供了一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)本技術各個實施例中所述方法的步驟。

12、通過本技術，先通過多個分類器對多個第一圖像樣本進行分類，確定出多個第一圖像樣本中的第一困難樣本，其中，這多個分類器的類型不同，均用于對這多個第一圖像樣本進行故障分類，第一困難樣本用于指示分類失敗的圖像樣本；將第一困難樣本輸入到樣本增強模型中進行處理，生成多個第二困難樣本；最后根據(jù)這多個第二困難樣本生成困難樣本集合；采用上述方案，在困難樣本挖掘時采用多個分類器來綜合評估，得到準確地困難樣本，再通過改進的gan模型(即樣本增強模型)生成更逼真的困難樣本，擴充困難樣本集合；從而解決了相關技術中，基于傳統(tǒng)的困難樣本挖掘與生成方法得到的困難樣本集合缺乏多樣性的問題。