本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種基于人工智能的階段性訓(xùn)練制定方法及系統(tǒng)。

背景技術(shù)：

1、在現(xiàn)有的人工智能模型訓(xùn)練過(guò)程中，大多數(shù)方法依賴于單一的學(xué)習(xí)率策略和固定的訓(xùn)練計(jì)劃，這種方法在面對(duì)復(fù)雜的數(shù)據(jù)集和多樣化的應(yīng)用需求時(shí)往往表現(xiàn)出局限性。特別是對(duì)于那些需要進(jìn)行多階段訓(xùn)練的任務(wù)，如預(yù)訓(xùn)練-微調(diào)、特征提取-端到端訓(xùn)練等，傳統(tǒng)的訓(xùn)練方法缺乏足夠的靈活性來(lái)適應(yīng)不同階段的需求變化，這可能導(dǎo)致模型性能不佳或訓(xùn)練效率低下。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供一種基于人工智能的階段性訓(xùn)練制定方法及系統(tǒng)，能夠至少解決現(xiàn)有技術(shù)中傳統(tǒng)的訓(xùn)練方法缺乏足夠的靈活性來(lái)適應(yīng)不同階段的需求變化的技術(shù)問(wèn)題。

2、本發(fā)明實(shí)施例的第一方面，提供了一種基于人工智能的階段性訓(xùn)練制定方法，包括：

3、獲取訓(xùn)練目標(biāo)和數(shù)據(jù)集特性；

4、根據(jù)所述訓(xùn)練目標(biāo)和數(shù)據(jù)集特性，生成訓(xùn)練計(jì)劃草案，所述訓(xùn)練計(jì)劃草案包括階段劃分、各階段的學(xué)習(xí)率策略、數(shù)據(jù)增強(qiáng)策略以及模型評(píng)估標(biāo)準(zhǔn)；

5、基于所述訓(xùn)練計(jì)劃草案，初始化一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)模型，并為每個(gè)階段分配相應(yīng)的訓(xùn)練資源；

6、在每個(gè)階段開始前，根據(jù)上一階段的訓(xùn)練結(jié)果調(diào)整當(dāng)前階段的訓(xùn)練參數(shù)，所述調(diào)整至少包括學(xué)習(xí)率調(diào)整、正則化參數(shù)調(diào)整或數(shù)據(jù)增強(qiáng)策略調(diào)整；

7、在每個(gè)階段結(jié)束時(shí)，評(píng)估模型性能，并根據(jù)評(píng)估結(jié)果決定是否進(jìn)入下一階段或重復(fù)當(dāng)前階段的訓(xùn)練。

8、進(jìn)一步地，所述獲取訓(xùn)練目標(biāo)和數(shù)據(jù)集特性包括：

9、確定訓(xùn)練目標(biāo)，所述訓(xùn)練目標(biāo)至少包括模型的預(yù)期用途、性能指標(biāo)、訓(xùn)練時(shí)間限制等；

10、分析數(shù)據(jù)集特性，所述數(shù)據(jù)集特性至少包括數(shù)據(jù)集規(guī)模、數(shù)據(jù)分布、類別不平衡程度、噪聲水平等。

11、進(jìn)一步地，所述根據(jù)所述訓(xùn)練目標(biāo)和數(shù)據(jù)集特性，生成訓(xùn)練計(jì)劃草案包括：

12、根據(jù)所述訓(xùn)練目標(biāo)和數(shù)據(jù)集特性，確定階段劃分策略，所述階段劃分策略至少包括模型預(yù)訓(xùn)練階段、特征提取階段、端到端訓(xùn)練階段等；

13、針對(duì)每個(gè)階段，設(shè)定相應(yīng)的學(xué)習(xí)率策略、數(shù)據(jù)增強(qiáng)策略、模型優(yōu)化策略等。

14、進(jìn)一步地，所述在每個(gè)階段開始前，根據(jù)上一階段的訓(xùn)練結(jié)果調(diào)整當(dāng)前階段的訓(xùn)練參數(shù)包括：

15、根據(jù)上一階段模型性能評(píng)估結(jié)果，調(diào)整當(dāng)前階段的學(xué)習(xí)率策略，所述學(xué)習(xí)率策略調(diào)整至少包括學(xué)習(xí)率衰減、學(xué)習(xí)率回彈等；

16、根據(jù)上一階段模型性能評(píng)估結(jié)果，調(diào)整當(dāng)前階段的正則化參數(shù)，所述正則化參數(shù)調(diào)整至少包括權(quán)重衰減系數(shù)、dropout比例；

17、根據(jù)上一階段模型性能評(píng)估結(jié)果，調(diào)整當(dāng)前階段的數(shù)據(jù)增強(qiáng)策略，所述數(shù)據(jù)增強(qiáng)策略調(diào)整至少包括旋轉(zhuǎn)角度、縮放比例、剪切比例。

18、進(jìn)一步地，所述在每個(gè)階段結(jié)束時(shí)，評(píng)估模型性能包括：

19、使用驗(yàn)證集對(duì)模型進(jìn)行評(píng)估，所述評(píng)估至少包括準(zhǔn)確率、召回率、f1分?jǐn)?shù)；

20、根據(jù)評(píng)估結(jié)果判斷是否滿足進(jìn)入下一階段的標(biāo)準(zhǔn)，所述標(biāo)準(zhǔn)至少包括性能指標(biāo)閾值、收斂速度。

21、進(jìn)一步地，還包括：

22、在整個(gè)訓(xùn)練過(guò)程中，定期保存模型快照，以便于恢復(fù)訓(xùn)練或進(jìn)行模型融合；

23、訓(xùn)練結(jié)束后，對(duì)最終模型進(jìn)行綜合評(píng)估，并根據(jù)評(píng)估結(jié)果進(jìn)行必要的超參數(shù)微調(diào)。

24、進(jìn)一步地，所述根據(jù)所述訓(xùn)練目標(biāo)和數(shù)據(jù)集特性，生成訓(xùn)練計(jì)劃草案還包括：

25、利用動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略，所述動(dòng)態(tài)學(xué)習(xí)率調(diào)整策略通過(guò)以下公式計(jì)算學(xué)習(xí)率：

26、

27、其中，η(t)表示在時(shí)間t的學(xué)習(xí)率；ηmax是最大學(xué)習(xí)率；lv(t)是第t次訓(xùn)練迭代時(shí)驗(yàn)證集上的損失函數(shù)值；lthreshold是損失函數(shù)閾值；α和β控制損失函數(shù)對(duì)學(xué)習(xí)率的影響程度和速度；γ和δ控制訓(xùn)練進(jìn)度對(duì)學(xué)習(xí)率的影響程度和速度；epoch當(dāng)前訓(xùn)練輪次；e總訓(xùn)練輪次。

28、第二方面，本發(fā)明實(shí)施例還提供了一種基于人工智能的階段性訓(xùn)練制定裝置，包括：

29、獲取模塊，用于獲取訓(xùn)練目標(biāo)和數(shù)據(jù)集特性；

30、生成模塊，用于根據(jù)所述訓(xùn)練目標(biāo)和數(shù)據(jù)集特性，生成訓(xùn)練計(jì)劃草案，所述訓(xùn)練計(jì)劃草案包括階段劃分、各階段的學(xué)習(xí)率策略、數(shù)據(jù)增強(qiáng)策略以及模型評(píng)估標(biāo)準(zhǔn)；

31、初始化模塊，用于基于所述訓(xùn)練計(jì)劃草案，初始化一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)模型，并為每個(gè)階段分配相應(yīng)的訓(xùn)練資源；

32、在學(xué)習(xí)模塊，用于每個(gè)階段開始前，根據(jù)上一階段的訓(xùn)練結(jié)果調(diào)整當(dāng)前階段的訓(xùn)練參數(shù)，所述調(diào)整至少包括學(xué)習(xí)率調(diào)整、正則化參數(shù)調(diào)整或數(shù)據(jù)增強(qiáng)策略調(diào)整；

33、評(píng)估模塊，用于在每個(gè)階段結(jié)束時(shí)，評(píng)估模型性能，并根據(jù)評(píng)估結(jié)果決定是否進(jìn)入下一階段或重復(fù)當(dāng)前階段的訓(xùn)練。

34、第三方面，本發(fā)明實(shí)施例還提供了一種電子裝置，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器被設(shè)置為運(yùn)行所述計(jì)算機(jī)程序以執(zhí)行第以方面任一所述的基于人工智能的階段性訓(xùn)練制定。

35、第四方面，本發(fā)明實(shí)施例還提供了一種可讀存儲(chǔ)介質(zhì)，所述可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括用于控制過(guò)程以執(zhí)行過(guò)程的程序代碼，所述過(guò)程包括第一方面任一所述的基于人工智能的階段性訓(xùn)練制定

36、本發(fā)明實(shí)施例通過(guò)獲取訓(xùn)練目標(biāo)和數(shù)據(jù)集特性；根據(jù)所述訓(xùn)練目標(biāo)和數(shù)據(jù)集特性，生成訓(xùn)練計(jì)劃草案，所述訓(xùn)練計(jì)劃草案包括階段劃分、各階段的學(xué)習(xí)率策略、數(shù)據(jù)增強(qiáng)策略以及模型評(píng)估標(biāo)準(zhǔn)；基于所述訓(xùn)練計(jì)劃草案，初始化一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)模型，并為每個(gè)階段分配相應(yīng)的訓(xùn)練資源；在每個(gè)階段開始前，根據(jù)上一階段的訓(xùn)練結(jié)果調(diào)整當(dāng)前階段的訓(xùn)練參數(shù)，所述調(diào)整至少包括學(xué)習(xí)率調(diào)整、正則化參數(shù)調(diào)整或數(shù)據(jù)增強(qiáng)策略調(diào)整；在每個(gè)階段結(jié)束時(shí)，評(píng)估模型性能，并根據(jù)評(píng)估結(jié)果決定是否進(jìn)入下一階段或重復(fù)當(dāng)前階段的訓(xùn)練可以有效地提高模型訓(xùn)練的效率和質(zhì)量，同時(shí)確保資源的有效利用。這種方法的靈活性和自適應(yīng)性使得它能夠很好地適應(yīng)各種復(fù)雜的訓(xùn)練任務(wù)和數(shù)據(jù)集特性。

37、本發(fā)明實(shí)施例的有益效果可以參考具體實(shí)施方式中技術(shù)特征對(duì)應(yīng)的技術(shù)效果，在此不再贅述。

技術(shù)特征：

1.一種基于人工智能的階段性訓(xùn)練制定方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取訓(xùn)練目標(biāo)和數(shù)據(jù)集特性包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述訓(xùn)練目標(biāo)和數(shù)據(jù)集特性，生成訓(xùn)練計(jì)劃草案包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述在每個(gè)階段開始前，根據(jù)上一階段的訓(xùn)練結(jié)果調(diào)整當(dāng)前階段的訓(xùn)練參數(shù)包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在每個(gè)階段結(jié)束時(shí)，評(píng)估模型性能包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述訓(xùn)練目標(biāo)和數(shù)據(jù)集特性，生成訓(xùn)練計(jì)劃草案還包括：

8.一種基于人工智能的階段性訓(xùn)練制定裝置，其特征在于，包括：

9.一種電子裝置，包括存儲(chǔ)器和處理器，其特征在于，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器被設(shè)置為運(yùn)行所述計(jì)算機(jī)程序以執(zhí)行權(quán)利要求1到7任一所述的基于人工智能的階段性訓(xùn)練制定。

10.一種可讀存儲(chǔ)介質(zhì)，其特征在于，所述可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括用于控制過(guò)程以執(zhí)行過(guò)程的程序代碼，所述過(guò)程包括根據(jù)權(quán)利要求1到7任一所述的基于人工智能的階段性訓(xùn)練制定。

技術(shù)總結(jié)
本發(fā)明提供了一種基于人工智能的階段性訓(xùn)練制定方法及系統(tǒng)，本發(fā)明通過(guò)獲取訓(xùn)練目標(biāo)和數(shù)據(jù)集特性；根據(jù)所述訓(xùn)練目標(biāo)和數(shù)據(jù)集特性，生成訓(xùn)練計(jì)劃草案，所述訓(xùn)練計(jì)劃草案包括階段劃分、各階段的學(xué)習(xí)率策略、數(shù)據(jù)增強(qiáng)策略以及模型評(píng)估標(biāo)準(zhǔn)；基于所述訓(xùn)練計(jì)劃草案，初始化一個(gè)或多個(gè)神經(jīng)網(wǎng)絡(luò)模型，并為每個(gè)階段分配相應(yīng)的訓(xùn)練資源；在每個(gè)階段開始前，根據(jù)上一階段的訓(xùn)練結(jié)果調(diào)整當(dāng)前階段的訓(xùn)練參數(shù)，所述調(diào)整至少包括學(xué)習(xí)率調(diào)整、正則化參數(shù)調(diào)整或數(shù)據(jù)增強(qiáng)策略調(diào)整；在每個(gè)階段結(jié)束時(shí)，評(píng)估模型性能，并根據(jù)評(píng)估結(jié)果決定是否進(jìn)入下一階段或重復(fù)當(dāng)前階段的訓(xùn)練可以有效地提高模型訓(xùn)練的效率和質(zhì)量，同時(shí)確保資源的有效利用。這種方法的靈活性和自適應(yīng)性使得它能夠很好地適應(yīng)各種復(fù)雜的訓(xùn)練任務(wù)和數(shù)據(jù)集特性。

技術(shù)研發(fā)人員：董雄,劉生艷,呂一平,賈娟,付欣怡
受保護(hù)的技術(shù)使用者：山西醫(yī)科大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17