本發(fā)明涉及計算機科學(xué)、人工智能和資源調(diào)度領(lǐng)域，特別是涉及一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法。

背景技術(shù)：

1、隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)模型在圖像識別、語音識別、自然語言處理等多個領(lǐng)域得到了廣泛應(yīng)用。這些深度學(xué)習(xí)模型的訓(xùn)練過程通常需要大量的計算資源和時間。因此，如何高效地調(diào)度和利用計算資源成為一個關(guān)鍵問題。

2、目前，已有的資源調(diào)度策略大多基于啟發(fā)式算法，如fifo(先來先服務(wù))、drf(dominant?resource?fairness)。這些算法雖然在一定程度上提高了資源利用率，但在面對復(fù)雜的任務(wù)依賴關(guān)系和異構(gòu)計算資源時，難以達(dá)到最優(yōu)的調(diào)度效果?，F(xiàn)有的調(diào)度策略通常關(guān)注任務(wù)載入時間和執(zhí)行順序的優(yōu)化，忽視了任務(wù)間的關(guān)聯(lián)性和資源的動態(tài)變化，導(dǎo)致資源利用效率和任務(wù)執(zhí)行性能不理想。

3、為了解決這些問題，學(xué)術(shù)界和工業(yè)界提出了多種優(yōu)化方法，包括min-min算法、max-min算法、基于遺傳算法的優(yōu)化、基于粒子群算法的優(yōu)化等。這些方法在某些特定場景下表現(xiàn)良好，但在復(fù)雜多變的ai訓(xùn)練任務(wù)中，往往缺乏足夠的靈活性和適應(yīng)性。

4、隨著深度學(xué)習(xí)和強化學(xué)習(xí)技術(shù)的發(fā)展，研究人員開始探索基于深度強化學(xué)習(xí)的智能調(diào)度策略，以期在異構(gòu)計算環(huán)境中實現(xiàn)更高效的資源利用和更優(yōu)的任務(wù)調(diào)度效果。通過不斷優(yōu)化調(diào)度策略，能夠顯著提升ai訓(xùn)練任務(wù)的整體性能，減少計算資源的閑置和浪費。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提出了一種基于深度強化學(xué)習(xí)的智能資源調(diào)度策略優(yōu)化方法，用于提升人工智能訓(xùn)練任務(wù)的資源利用效率和訓(xùn)練性能。本發(fā)明的目的是通過引入深度強化學(xué)習(xí)技術(shù)，構(gòu)建智能調(diào)度框架，實現(xiàn)高效、靈活的資源調(diào)度和任務(wù)分配。該方法結(jié)合深度學(xué)習(xí)、強化學(xué)習(xí)和異構(gòu)計算環(huán)境，通過優(yōu)化計算資源的調(diào)度策略，提高ai訓(xùn)練任務(wù)的運行效率和資源利用率，適用于多種深度學(xué)習(xí)模型的訓(xùn)練過程。

2、本發(fā)明為實現(xiàn)上述目的所采用的技術(shù)方案是：一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法，包括以下步驟：

3、1)任務(wù)特征提?。簭腶i訓(xùn)練任務(wù)中提取任務(wù)特征信息，并將所述任務(wù)特征信息轉(zhuǎn)化為特征向量；

4、2)調(diào)度策略建模：將資源調(diào)度問題建模為馬爾可夫決策過程，根據(jù)特征向量構(gòu)建狀態(tài)空間、動作空間和獎勵函數(shù)，其中，狀態(tài)空間包括當(dāng)前任務(wù)隊列和資源利用率，動作空間包括任務(wù)分配到某計算節(jié)點的各種可能動作，獎勵函數(shù)根據(jù)任務(wù)完成時間和資源利用率得到；

5、3)深度強化學(xué)習(xí)訓(xùn)練：采用深度q網(wǎng)絡(luò)算法對調(diào)度策略進(jìn)行訓(xùn)練；

6、4)調(diào)度決策執(zhí)行：根據(jù)當(dāng)前的任務(wù)和資源狀態(tài)，利用訓(xùn)練好的q網(wǎng)絡(luò)選擇最優(yōu)的調(diào)度動作，根據(jù)最優(yōu)的調(diào)度動作將任務(wù)分配到相應(yīng)的計算節(jié)點，實現(xiàn)資源調(diào)度策略優(yōu)化。

7、所述任務(wù)特征信息包括任務(wù)的資源需求、任務(wù)完成時間、依賴關(guān)系。

8、所述任務(wù)特征提取，包括以下步驟：

9、(1)數(shù)據(jù)預(yù)處理：對ai訓(xùn)練任務(wù)數(shù)據(jù)進(jìn)行清洗和標(biāo)準(zhǔn)化處理，去除異常值和噪聲數(shù)據(jù)，采用歸一化將不同尺度的數(shù)據(jù)轉(zhuǎn)換到同一范圍；

10、(2)特征選擇：從預(yù)處理后的數(shù)據(jù)中提取重要特征，所述重要特征包括：任務(wù)完成時間、資源利用率、內(nèi)存使用量和任務(wù)優(yōu)先級；

11、(3)特征向量生成：將提取在重要特征轉(zhuǎn)換為向量形式，得到特征向量。

12、所述調(diào)度策略建模，包括以下步驟：

13、構(gòu)建狀態(tài)空間：狀態(tài)空間s表示當(dāng)前時刻的資源利用狀態(tài)和任務(wù)隊列狀態(tài)，s＝{(u1,u2,...,un),(q1,q2,...,qm)}，其中，ui表示第i個節(jié)點的資源利用率，qj表示第j個任務(wù)的特征向量；

14、構(gòu)建動作空間：動作空間a表示將任務(wù)分配到指定計算節(jié)點的操作，a＝{a1,a2,...,ak}，其中,ai表示將某個任務(wù)分配到第i個節(jié)點；

15、構(gòu)建獎勵函數(shù)：獎勵函數(shù)r＝-(w1*任務(wù)完成時間+w2*資源利用率)，其中w1和w2為權(quán)重系數(shù)。

16、所述深度強化學(xué)習(xí)訓(xùn)練，包括以下步驟：

17、q網(wǎng)絡(luò)初始化：初始化q網(wǎng)絡(luò)和目標(biāo)q網(wǎng)絡(luò)，q網(wǎng)絡(luò)采用多層感知機結(jié)構(gòu)，輸入為狀態(tài)向量，輸出為每個動作的q值；

18、經(jīng)驗回放機制：在訓(xùn)練過程中，存儲狀態(tài)、動作、獎勵、下一狀態(tài)的四元組，經(jīng)驗回放池中的數(shù)據(jù)通過隨機抽樣的方式進(jìn)行訓(xùn)練；

19、訓(xùn)練步驟：在每個時間步，基于當(dāng)前狀態(tài)選擇動作，執(zhí)行動作，觀察下一狀態(tài)和即時獎勵，存儲經(jīng)驗到經(jīng)驗回放池中，從經(jīng)驗回放池中隨機抽取批量經(jīng)驗，更新q網(wǎng)絡(luò)，定期將q網(wǎng)絡(luò)的參數(shù)復(fù)制到目標(biāo)q網(wǎng)絡(luò)。

20、所述調(diào)度決策執(zhí)行，包括以下步驟：

21、狀態(tài)監(jiān)測：實時監(jiān)測資源使用情況和任務(wù)執(zhí)行狀態(tài)，收集狀態(tài)信息；

22、決策執(zhí)行：根據(jù)當(dāng)前狀態(tài)信息和q網(wǎng)絡(luò)的輸出，選擇最優(yōu)調(diào)度動作，并將任務(wù)分配到相應(yīng)節(jié)點；

23、反饋調(diào)整：根據(jù)任務(wù)執(zhí)行結(jié)果和狀態(tài)的變化，實時調(diào)整調(diào)度策略。

24、一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化系統(tǒng)，包括：

25、任務(wù)特征提取模塊，用于從ai訓(xùn)練任務(wù)中提取任務(wù)特征信息，并將所述任務(wù)特征信息轉(zhuǎn)化為特征向量；

26、調(diào)度策略構(gòu)建模塊，用于將資源調(diào)度問題建模為馬爾可夫決策過程，根據(jù)特征向量構(gòu)建狀態(tài)空間、動作空間和獎勵函數(shù)，其中，狀態(tài)空間包括當(dāng)前任務(wù)隊列和資源利用率，動作空間包括任務(wù)分配到某計算節(jié)點的各種可能動作，獎勵函數(shù)根據(jù)任務(wù)完成時間和資源利用率得到；

27、深度強化學(xué)習(xí)訓(xùn)練模塊，用于采用深度q網(wǎng)絡(luò)算法對調(diào)度策略進(jìn)行訓(xùn)練；

28、調(diào)度決策執(zhí)行模塊，用于根據(jù)當(dāng)前的任務(wù)和資源狀態(tài)，利用訓(xùn)練好的q網(wǎng)絡(luò)選擇最優(yōu)的調(diào)度動作，根據(jù)最優(yōu)的調(diào)度動作將任務(wù)分配到相應(yīng)的計算節(jié)點，實現(xiàn)資源調(diào)度策略優(yōu)化。

29、本發(fā)明通過引入深度強化學(xué)習(xí)技術(shù)，實現(xiàn)了對ai訓(xùn)練任務(wù)的智能資源調(diào)度，具有以下優(yōu)點：

30、1、提高資源利用率：通過智能調(diào)度策略優(yōu)化，顯著提高計算資源的利用效率，減少資源閑置和浪費。

31、2、縮短任務(wù)完成時間：優(yōu)化任務(wù)的調(diào)度順序和分配，顯著縮短ai訓(xùn)練任務(wù)的總完成時間。

32、3、適應(yīng)復(fù)雜環(huán)境：能夠在異構(gòu)計算環(huán)境中靈活調(diào)度任務(wù)，適應(yīng)不同的資源配置和任務(wù)需求。

33、4、自適應(yīng)優(yōu)化：通過不斷學(xué)習(xí)和調(diào)整，智能調(diào)度系統(tǒng)能夠根據(jù)實際情況自適應(yīng)優(yōu)化調(diào)度策略，持續(xù)提升性能。

技術(shù)特征：

1.一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法，其特征在于,包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法，其特征在于，所述任務(wù)特征信息包括任務(wù)的資源需求、任務(wù)完成時間、依賴關(guān)系。

3.根據(jù)權(quán)利要求1所述的一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法，其特征在于，所述任務(wù)特征提取，包括以下步驟：

4.根據(jù)權(quán)利要求1所述的一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法，其特征在于，所述調(diào)度策略建模，包括以下步驟：

5.根據(jù)權(quán)利要求1所述的一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法，其特征在于，所述深度強化學(xué)習(xí)訓(xùn)練，包括以下步驟：

6.根據(jù)權(quán)利要求1所述的一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法，其特征在于，所述調(diào)度決策執(zhí)行，包括以下步驟：

7.一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化系統(tǒng)，其特征在于,包括：

8.一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化裝置，其特征在于，包括存儲器和處理器；所述存儲器，用于存儲計算機程序；所述處理器，用于當(dāng)執(zhí)行所述計算機程序時，實現(xiàn)如權(quán)利要求1-6任一項所述的一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法。

9.一種計算機可讀存儲介質(zhì)，其特征在于，所述存儲介質(zhì)上存儲有計算機程序，當(dāng)所述計算機程序被處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1-6任一項所述的一種基于ai訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法。

技術(shù)總結(jié)
本發(fā)明涉及一種基于AI訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法，一種基于AI訓(xùn)練任務(wù)指標(biāo)的資源調(diào)度策略優(yōu)化方法，包括以下步驟：任務(wù)特征提?。簭腁I訓(xùn)練任務(wù)中提取任務(wù)特征信息，并將所述任務(wù)特征信息轉(zhuǎn)化為特征向量；調(diào)度策略建模：將資源調(diào)度問題建模為馬爾可夫決策過程，根據(jù)特征向量構(gòu)建狀態(tài)空間、動作空間和獎勵函數(shù)；深度強化學(xué)習(xí)訓(xùn)練：采用深度Q網(wǎng)絡(luò)算法對調(diào)度策略進(jìn)行訓(xùn)練；調(diào)度決策執(zhí)行：根據(jù)當(dāng)前的任務(wù)和資源狀態(tài)，利用訓(xùn)練好的Q網(wǎng)絡(luò)選擇最優(yōu)的調(diào)度動作，根據(jù)最優(yōu)的調(diào)度動作將任務(wù)分配到相應(yīng)的計算節(jié)點，實現(xiàn)資源調(diào)度策略優(yōu)化。本發(fā)明能夠提高資源利用率，通過智能調(diào)度策略優(yōu)化，顯著提高計算資源的利用效率，減少資源閑置和浪費；縮短任務(wù)完成時間，優(yōu)化任務(wù)的調(diào)度順序和分配，顯著縮短AI訓(xùn)練任務(wù)的總完成時間。

技術(shù)研發(fā)人員：郭銳鋒,王傳晨,王鴻亮,李雪嬈,修鵬飛,許晶
受保護(hù)的技術(shù)使用者：中國科學(xué)院沈陽計算技術(shù)研究所有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10