本發(fā)明涉及資源分配,尤其涉及一種基于大數據的云計算資源調度方法及系統(tǒng)。
背景技術:
1、資源分配技術領域涉及計算資源、網絡帶寬、存儲容量等關鍵資源的優(yōu)化管理和分配策略。從而確保系統(tǒng)的高效運行,適應不同應用和服務的需求。包括從數據中心管理到云計算平臺、多租戶環(huán)境及其它大規(guī)模分布式系統(tǒng)的資源調度。有效的資源分配策略能夠提高資源的利用率,減少能耗,優(yōu)化成本,并改善用戶體驗。
2、其中,云計算資源調度方法通常用于關注如何在云環(huán)境中高效地分配和管理計算資源。方法通過動態(tài)調度算法優(yōu)化資源的分配,以支持不同應用程序的性能需求和成本效率。用途包括確保應用性能的穩(wěn)定性,最大化硬件和軟件資源的利用率,以及在需求變化時自動調整資源分配。這種調度技術特別適用于需處理大量數據和高并發(fā)請求的云服務,例如大數據分析、在線事務處理和互聯(lián)網應用。
3、盡管現有技術在資源分配和管理方面已取得一定進展,但在云環(huán)境的快速變化和高并發(fā)請求面前,往往顯示出其局限性。其在處理大量數據和高并發(fā)請求時,難以充分適應資源需求的動態(tài)變化,導致資源分配不夠及時或過度集中,從而影響系統(tǒng)性能和用戶體驗。此外,現有技術在資源調度時缺乏對資源使用模式的深入分析,導致資源配置不能最優(yōu)化,使得資源有時處于閑置狀態(tài),造成能源和成本的不必要浪費。例如,在數據中心,不精確的資源調度可能導致過度冷卻和電力消耗,進一步引發(fā)運營成本的上升和環(huán)境負擔的加重。
技術實現思路
1、本發(fā)明的目的是解決現有技術中存在的缺點,而提出的一種基于大數據的云計算資源調度方法及系統(tǒng)。
2、為了實現上述目的,本發(fā)明采用了如下技術方案:一種基于大數據的云計算資源調度方法,包括以下步驟,
3、s1:從多類云計算環(huán)境中收集資源使用數據,通過記錄每種資源的訪問頻率和使用時長,得到資源消耗動態(tài)數據;
4、s2:利用所述資源消耗動態(tài)數據,繪制資源節(jié)點圖,通過分析節(jié)點間的數據傳輸記錄和相互作用強度,建立起節(jié)點之間的關系權重,得到資源依賴矩陣;
5、s3:基于所述資源依賴矩陣,分析資源節(jié)點間的交互強度權重,識別關鍵資源路徑,得到關鍵資源分析結果;
6、s4:基于所述關鍵資源分析結果,重新分配分布或負載異常節(jié)點的資源,調整其連接到其余節(jié)點的權重,得到優(yōu)化后的資源配置;
7、s5:根據所述優(yōu)化后的資源配置,判斷每種資源請求的緊迫性和資源處理能力,將資源分配任務按窗口進行調度,每個窗口根據資源需求的優(yōu)先級進行資源分配,得到時間窗資源分配結果;
8、s6:基于所述時間窗資源分配結果,持續(xù)監(jiān)控資源消耗和請求數據,根據實時信息動態(tài)調整時間窗內的資源分配,得到動態(tài)調整資源計劃。
9、本發(fā)明改進有,所述資源消耗動態(tài)數據包括計算資源的平均負載、存儲資源的剩余容量比率、網絡資源的峰值流量,所述資源依賴矩陣包括資源間的依賴度、資源節(jié)點的連通性指數、資源交換的頻繁程度,所述關鍵資源分析結果包括流量密集的資源節(jié)點、連接集中的網絡區(qū)域、響應時間超出標準閾值的節(jié)點,所述優(yōu)化后的資源配置包括調整的資源分配比例、節(jié)點間通信效率和數據傳輸路徑,所述時間窗資源分配結果包括時間窗的資源使用率、資源請求的滿足程度、資源調配的時效性,所述動態(tài)調整資源計劃包括實時更新的資源配置和調整后的優(yōu)先級隊列。
10、本發(fā)明改進有,從云計算環(huán)境中收集資源使用數據,通過記錄每種資源的訪問頻率和使用時長,得到資源消耗動態(tài)數據的具體步驟如下:
11、s101:從多類云計算環(huán)境中收集資源使用數據,包括計算能力、存儲空間和網絡帶寬的使用記錄,得到資源數據集;
12、s102:基于所述資源數據集,分析網絡帶寬的上傳和下載流量數據,記錄每種資源的訪問頻率和使用時長,得到資源使用頻率記錄;
13、s103:基于所述資源使用頻率記錄,通過聚類分析每種資源類型的使用峰值和低谷,構建資源消耗趨勢的模型,獲取資源消耗動態(tài)數據。
14、本發(fā)明改進有,利用所述資源消耗動態(tài)數據,繪制資源節(jié)點圖,通過分析節(jié)點間的數據傳輸記錄和相互作用強度,建立起節(jié)點之間的關系權重,得到資源依賴矩陣的具體步驟如下:
15、s201:基于所述資源消耗動態(tài)數據,標記每個資源的位置和基本狀態(tài),通過記錄節(jié)點間的數據傳輸事件,形成資源節(jié)點交互記錄;
16、s202:基于所述資源節(jié)點交互記錄,通過拉普拉斯矩陣對每對節(jié)點間的數據交換頻次和體積進行統(tǒng)計,并量化節(jié)點間的關系強度指標,生成節(jié)點關系權重;
17、s203:基于所述節(jié)點關系權重,根據節(jié)點間的響應時間和資源請求量,調整節(jié)點之間的權重值,得到資源依賴矩陣。
18、本發(fā)明改進有,所述拉普拉斯矩陣按照公式:
19、
20、對每對節(jié)點間的數據交換頻次和體積進行統(tǒng)計,得到節(jié)點關系權重;
21、其中,l為拉普拉斯矩陣,表示節(jié)點之間的關系權重,β為系數,用于調節(jié)項的影響力,d為節(jié)點間的數據交換頻次矩陣,p為節(jié)點間數據交換的體積矩陣,∥a∥為矩陣a的范數,表示節(jié)點的總交換量,α為系數,用于調節(jié)(a⊙c)項的影響力,a為直接交換信息矩陣,c為連接性矩陣,每個元素cij表示節(jié)點i與節(jié)點j之間的連接強度或質量,⊙為哈達瑪積,表示矩陣a和c對應元素的逐項乘積。
22、本發(fā)明改進有,基于所述資源依賴矩陣,分析資源節(jié)點間的交互強度權重,識別關鍵資源路徑,得到關鍵資源分析結果的具體步驟如下:
23、s301:基于所述資源依賴矩陣,提取節(jié)點對的交互數據,記錄每次數據交換的頻次和體積,生成交互強度記錄表;
24、s302:基于所述交互強度記錄表,通過頻次和強度數據篩選,選定超過設定閾值的節(jié)點為關鍵節(jié)點,并進行標記,生成關鍵節(jié)點列表;
25、s303:基于所述關鍵節(jié)點列表,構建網絡圖,連接關鍵節(jié)點并映射數據流路徑,得到關鍵資源分析結果。
26、本發(fā)明改進有,基于所述關鍵資源分析結果,重新分配分布或負載異常節(jié)點的資源,調整其連接到其余節(jié)點的權重,得到優(yōu)化后的資源配置的具體步驟如下:
27、s401:基于所述關鍵資源分析結果,判斷異常負載節(jié)點的資源使用情況,根據節(jié)點性能參數重新計算資源分配比例,生成負載調整計劃;
28、s402:采用所述負載調整計劃,選擇路徑進行資源重新分配,通過調整路徑優(yōu)化數據傳輸效率,并記錄資源流向調整情況,生成資源再配置記錄;
29、s403:利用所述資源再配置記錄,更新節(jié)點間的權重,重定義節(jié)點間數據傳輸路徑,得到優(yōu)化后的資源配置。
30、本發(fā)明改進有,根據所述優(yōu)化后的資源配置,判斷每種資源請求的緊迫性和資源處理能力,將資源分配任務按窗口進行調度,每個窗口根據資源需求的優(yōu)先級進行資源分配,得到時間窗資源分配結果的具體步驟如下:
31、s501:根據所述優(yōu)化后的資源配置,判斷每種資源請求的緊迫性和資源處理能力,收集和整理每種資源的需求數據,并進行分類,生成資源優(yōu)先級列表;
32、s502:通過所述資源優(yōu)先級列表,為每個時間窗口制定資源分配計劃,調整每類資源按需分配的比例和順序,生成分配策略表;
33、s503:根據所述分配策略表,在每個時間窗口中執(zhí)行資源分配,實時記錄資源分配的執(zhí)行情況和效果,得到時間窗資源分配結果。
34、本發(fā)明改進有,基于所述時間窗資源分配結果,持續(xù)監(jiān)控資源消耗和請求數據,根據實時信息動態(tài)調整時間窗內的資源分配,得到動態(tài)調整資源計劃的具體步驟如下:
35、s601:基于所述時間窗資源分配結果,設置監(jiān)控點追蹤每類資源的消耗速度和請求頻率,生成資源消耗監(jiān)控記錄;
36、s602:利用所述資源消耗監(jiān)控記錄,分析每類資源的使用趨勢和需求變化,識別需要優(yōu)化的資源分配區(qū)域,生成資源調整需求信息;
37、s603:依據所述資源調整需求信息,更新和調整時間窗內資源的分配策略,得到動態(tài)調整資源計劃。
38、一種基于大數據的云計算資源調度系統(tǒng),所述系統(tǒng)包括:
39、數據收集模塊基于多類云計算環(huán)境,收集計算能力、存儲空間和網絡帶寬的使用記錄,生成資源使用數據集;
40、資源依賴分析模塊基于所述資源使用數據集,繪制資源節(jié)點圖,記錄節(jié)點間的數據傳輸事件,對節(jié)點間的交互強度進行量化處理,生成資源依賴矩陣;
41、關鍵資源識別模塊基于所述資源依賴矩陣,通過分析交互數據,識別交互強度超過設定閾值的節(jié)點,標記為關鍵節(jié)點,并構建關鍵資源路徑網絡圖,生成關鍵資源分析結果;
42、資源調度模塊基于所述關鍵資源分析結果,對資源需求的優(yōu)先級進行排序,按需制定資源分配計劃,并在每個時間窗口內執(zhí)行計劃,生成時間窗資源分配結果;
43、動態(tài)調整模塊基于所述時間窗資源分配結果,設置實時監(jiān)控點追蹤資源消耗和請求數據,根據資源使用趨勢動態(tài)調整資源分配策略,生成動態(tài)調整資源計劃。
44、與現有技術相比,本發(fā)明的優(yōu)點和積極效果在于:
45、本發(fā)明中,通過繪制資源節(jié)點圖和分析節(jié)點間數據傳輸記錄,建立資源依賴矩陣的方法,增強了對云環(huán)境中資源流動性的洞察力。依靠資源節(jié)點間的交互強度權重分析,能有效識別關鍵資源路徑,有助于精確判斷資源分布中的瓶頸和高效區(qū)域。通過重新配置負載異常節(jié)點以及優(yōu)化資源分配的方式,提升了資源利用效率和系統(tǒng)響應速度。此外,將資源分配任務按窗口調度,并根據實時信息動態(tài)調整資源分配,使得資源管理更加靈活,能夠適應需求的快速變化,減少了資源浪費。