高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法
【專利摘要】本發(fā)明涉及一種高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其適于降低的占用集群系統(tǒng)的資源，并提高資源的利用率，有效提升服務(wù)器集群的性能，為用戶提供高質(zhì)量的服務(wù)。該方法具體是：根據(jù)服務(wù)器節(jié)點的運行狀態(tài)及其負載、性能參數(shù)，通過計算得到各個節(jié)點的負載權(quán)值，并選取下次分配任務(wù)時備選的節(jié)點集合；根據(jù)負載差值、分配概率計算備選節(jié)點集合中各節(jié)點分配任務(wù)的概率，并使用隨機概率分配的方式，將新的請求分配到選擇的節(jié)點之上，以解決負載分配不均的問題；最后利用負載修正公式對分配任務(wù)的節(jié)點負載進行修正，以提高負載均衡效果，增強集群系統(tǒng)的可靠性和穩(wěn)定性。
【專利說明】高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計算機網(wǎng)絡(luò)負載均衡處理的領(lǐng)域，尤其是高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法。

【背景技術(shù)】
[0002]隨著網(wǎng)絡(luò)應(yīng)用的日益普及和互聯(lián)網(wǎng)業(yè)務(wù)的急劇增長，無論在企業(yè)網(wǎng)、園區(qū)網(wǎng)還是在廣域網(wǎng)，業(yè)務(wù)量的發(fā)展都超出了過去的估計。企業(yè)對網(wǎng)絡(luò)的依賴性越來越強，對具有可擴展性和可靠性的分布式系統(tǒng)的應(yīng)用需求也越來越大。當(dāng)企業(yè)為用戶提供Web服務(wù)時，隨著訪問者數(shù)量的快速增加，網(wǎng)絡(luò)服務(wù)器需要具備提供大量并發(fā)訪問服務(wù)的能力。其數(shù)據(jù)流量和計算強度之大，使得單一設(shè)備根本無法承擔(dān)；另一方面，如何在完成同樣功能的多個網(wǎng)絡(luò)設(shè)備之間實現(xiàn)合理的業(yè)務(wù)量分配，使之不至于出現(xiàn)一臺設(shè)備過忙、而別的設(shè)備卻未充分發(fā)揮處理能力的情況，也是迫切需要解決的問題。負載均衡機制就是在這種情況下產(chǎn)生的。企業(yè)對網(wǎng)絡(luò)系統(tǒng)的響應(yīng)時間及所提供內(nèi)容、服務(wù)的可靠性、即時性等要求也越來越高，使得以單臺服務(wù)器來支撐整個網(wǎng)站的系統(tǒng)已無法滿足客戶需求，取而代之的是一組服務(wù)器群。
[0003]負載均衡(ServerLoadBalance)是由多臺服務(wù)器以對稱方式組成一個服務(wù)器群集，每臺服務(wù)器都具有同等地位，均能單獨對外提供服務(wù)。通過特定的負載均衡技術(shù)，將外部請求根據(jù)服務(wù)器群集中各服務(wù)器上的負載狀況合理分配到某臺服務(wù)器上，籍此大幅提高獲取數(shù)據(jù)的速度，提高服務(wù)器的整體處理能力，解決海量并發(fā)訪問問題，并提高可靠性，可用性，可維護性，最終目的是加快服務(wù)器的響應(yīng)速度，從而提高用戶的體驗度。此種群集技術(shù)可以用最少的投資獲得接近于大型主機的性能。
[0004]一種合理可行的解決方案便是采用服務(wù)器集群加負載均衡技術(shù)。服務(wù)器集群是指將很多服務(wù)器通過局域網(wǎng)連接成一個整體，構(gòu)成機群對外提供服務(wù)，在客戶端看來就像傳統(tǒng)的單個服務(wù)器。集群系統(tǒng)能充分利用現(xiàn)有的各種資源，有效增強網(wǎng)絡(luò)數(shù)據(jù)的處理能力，提高系統(tǒng)的整體服務(wù)性能，使系統(tǒng)更加穩(wěn)定可靠，但解決服務(wù)器集群的負載均衡問題是提高集群性能的關(guān)鍵所在。
[0005]負載均衡技術(shù)主要用來提高服務(wù)器上執(zhí)行關(guān)鍵任務(wù)的服務(wù)程序的可伸縮性和可用性，其按照實現(xiàn)方法的不同通常分為硬件實現(xiàn)和軟件實現(xiàn)兩種。負載均衡硬件實現(xiàn)的系統(tǒng)的處理能力和負載性能較強，但價格昂貴；雖然集成多種負載均衡算法，但是靈活性不強，不支持更優(yōu)化的負載均衡策略和更復(fù)雜的應(yīng)用協(xié)議，此外它只是從網(wǎng)絡(luò)層來判斷數(shù)據(jù)流量，無法有效掌握服務(wù)器及應(yīng)用的狀態(tài)。軟件
實現(xiàn)能夠更好地根據(jù)系統(tǒng)與應(yīng)用的狀況來分配負載，靈活性大，性價比高，并且易于更新最新的、優(yōu)秀的負載均衡策略，但負載均衡算法會對服務(wù)器的性能造成一定的影響，所以對算法的復(fù)雜度要求較高。
[0006]在軟件實現(xiàn)中，實現(xiàn)集群負載均衡的核心部件是負載均衡算法，根據(jù)設(shè)計思想的不同其主要分成靜態(tài)均衡算法與動態(tài)均衡算法兩類。靜態(tài)均衡算法只是利用集群的統(tǒng)計信息以固定的概率分配任務(wù)，而不考慮系統(tǒng)實際的運行情況，負載效果很不理想；動態(tài)均衡算法則通過采集集群的實時運行信息來評估系統(tǒng)的負載狀態(tài)，進而調(diào)整任務(wù)的分配，避免系統(tǒng)長時間運行下發(fā)生傾斜。實驗表明，動態(tài)均衡算法可以取得比靜態(tài)均衡算法更好的性能，即使在極端的情形中，動態(tài)均衡算法仍然能取得比較理想的性能。一般情況下，相對于較靜態(tài)均衡算法而言，動態(tài)算法能獲得309Γ40%的性能改善，隨著對動態(tài)負載均衡算法的研究，動態(tài)均衡技術(shù)必將取代靜態(tài)均衡技術(shù)。
[0007]然而，如何更方便的獲取系統(tǒng)運行信息、盡量減少交互行為的資源消耗以及努力降低動態(tài)均衡算法本身對集群系統(tǒng)產(chǎn)生的影響將成為動態(tài)負載均衡技術(shù)所必須解決的問題，因此有必要尋找一種更優(yōu)化的負載均衡算法，盡可能低的占用集群系統(tǒng)的資源，提高資源的利用率，有效提升服務(wù)器集群的性能，為用戶提供高質(zhì)量的服務(wù)。


【發(fā)明內(nèi)容】

[0008]本發(fā)明首要解決的技術(shù)問題是提供一種高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其適于降低的占用集群系統(tǒng)的資源，并提高資源的利用率，有效提升服務(wù)器集群的性能，為用戶提供高質(zhì)量的服務(wù)。
[0009]為了解決上述技術(shù)問題，本發(fā)明提供的高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其包括:運用服務(wù)器節(jié)點的負載、性能信息，將集群系統(tǒng)的請求均勻分配到各個節(jié)點之上，并使各節(jié)點分擔(dān)的負載與其性能成正比，進而使得系統(tǒng)的資源得到充分利用，最大程度的提高集群的性能。
[0010]具體是:根據(jù)服務(wù)器節(jié)點的運行狀態(tài)及其負載、性能參數(shù)，通過計算得到各個節(jié)點的負載權(quán)值，并選取下次分配任務(wù)時備選的節(jié)點集合；根據(jù)負載差值、分配概率計算備選節(jié)點集合中各節(jié)點分配任務(wù)的概率，并使用隨機概率分配的方式，將新的請求分配到選擇的節(jié)點之上，以解決負載分配不均的問題；最后利用負載修正公式對分配任務(wù)的節(jié)點負載進行修正，以提高負載均衡效果，增強集群系統(tǒng)的可靠性和穩(wěn)定性。
[0011]基于負載權(quán)值的負載均衡算法描述如下:
①設(shè)定一個閾值ε；
②每到來一個新的請求，根據(jù)計時器檢查是否需要更新服務(wù)器節(jié)點的狀態(tài)，若需要則進行更新；
③根據(jù)節(jié)點的運行狀態(tài)計算節(jié)點的性能C(Si)和負載L(Si),并根據(jù)其結(jié)果計算負載權(quán)值W (Si)及負載差值A(chǔ)L(Si)；
④根據(jù)各節(jié)點的負載權(quán)值選取候選分配節(jié)點集合J;首先選取節(jié)點Sm，其滿足條件:W (Sm) =min {ff (Si)}, i=0, I,…，η-1 ；
如果其他任意節(jié)點Si滿足以下條件:W(Si)〈W(Sm)+ ε，i=0, I,…，n_l ；
則將節(jié)點Si加入到集合J中；
⑤計算候選分配節(jié)點集合J中各個節(jié)點負載分配的概率P(Si)；
⑥按照隨機概率分配的方法從集合J中選擇合適的節(jié)點，并將任務(wù)分配到該節(jié)點上；
⑦修正選定節(jié)點的負載，供下次分配請求時使用。
[0012]從服務(wù)器節(jié)點的CPU數(shù)量n、CPU頻率C(Ci)、磁盤I/O速率C(Di)、內(nèi)存大小C(Mi)、網(wǎng)絡(luò)帶寬C(Ni)指標(biāo)來評價節(jié)點Si的性能C(Si)，使用如下公式(8.1)來計算:

【權(quán)利要求】
1.一種高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其特征在于包括: A、根據(jù)服務(wù)器節(jié)點的運行狀態(tài)及其負載、性能參數(shù)，通過計算得到各個節(jié)點的負載權(quán)值，并選取下次分配任務(wù)時備選的節(jié)點集合； B、根據(jù)負載差值、分配概率計算備選節(jié)點集合中各節(jié)點分配任務(wù)的概率，并使用隨機概率分配的方式，將新的請求分配到選擇的節(jié)點之上； C、利用負載修正公式對分配任務(wù)的節(jié)點負載進行修正。
2.根據(jù)權(quán)利要求1所述的高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其特征在于:基于負載權(quán)值的負載均衡算法包括: ①設(shè)定一個閾值ε； ②每到來一個新的請求，根據(jù)計時器檢查是否需要更新服務(wù)器節(jié)點的狀態(tài)，若需要則進行更新； ③根據(jù)節(jié)點的運行狀態(tài)計算節(jié)點的性能C(Si)和負載L(Si)，并根據(jù)其結(jié)果計算負載權(quán)值W(Si)及負載差值A(chǔ)L(Si)； ④根據(jù)各節(jié)點的負載權(quán)值選取候選分配節(jié)點集合J;首先選取節(jié)點Sm，其滿足條件:W (Sm) =min {ff (Si)}, i=0, I,…，n_l ； 如果其他任意節(jié)點Si滿足以下條件:W(Si)〈W(Sm)+ ε，i=0, I,…，n_l ； 則將節(jié)點Si加入到集合J中； ⑤計算候選分配節(jié)點集合J中各個節(jié)點負載分配的概率P(Si)； ⑥按照隨機概率分配的方法從集合J中選擇合適的節(jié)點，并將任務(wù)分配到該節(jié)點上； ⑦修正選定節(jié)點的負載，供下次分配請求時使用。
3.根據(jù)權(quán)利要求2所述的高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其特征在于:從服務(wù)器節(jié)點的CPU數(shù)量n、CPU頻率C(Ci)、磁盤I/O速率C(Di)、內(nèi)存大小C(Mi)、網(wǎng)絡(luò)帶寬C(Ni)指標(biāo)來評價節(jié)點Si的性能C(Si)，使用如下公式(8.1)來計算: CIS1 l-kt*w*a ) 4- k: * Cl M1) O l)J + k4* O i￥;)
,….(8.I)

? =0.1.,.,.μ -L /.= t




;..τ 其中，k是各項指標(biāo)的權(quán)值參數(shù)，反映各個指標(biāo)對服務(wù)器節(jié)點性能的影響程度。
4.根據(jù)權(quán)利要求2所述的高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其特征在于:從CPU使用率L(Ci)、內(nèi)存使用率L(Mi)、磁盤I/O使用率L(Di)、網(wǎng)絡(luò)帶寬使用率L(Ni)指標(biāo)來評價節(jié)點Si的負載L(Si)，并使用如下公式(8.2)來計算: HS I = Tl^sLiC HT,*LiM Kr, ?￡{￡> i^r, 1- ! ^1-1 -Ji ■i? --t'-
; ……(8.2)
i^ri =:



j Λ r是各項指標(biāo)的權(quán)值參數(shù)，反映各個指標(biāo)對不同類型服務(wù)的影響程度。
5.根據(jù)權(quán)利要求2所述的高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其特征在于:節(jié)點的負載權(quán)值W(Si)定義為節(jié)點負載L(Si)與節(jié)點性能C(Si)的比值，采用公式(8.3)來計算；
f.v(s,? = us,f/as,Ij= ο,ι.....?-?......(8.3)。
6.根據(jù)權(quán)利要求5所述的高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其特征在于:所謂節(jié)點的負載差值A(chǔ)L(Si),定義為所有節(jié)點負載權(quán)值的最大值WMAX與該節(jié)點的負載權(quán)值之差乘以該節(jié)點性能，采用公式(8.4)來計算:
AUS,) = (H\l l% ^ W(S1)I* C{%, ).1 =......(8.4)。
7.根據(jù)權(quán)利要求5所述的高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其特征在于:節(jié)點的負載 差值A(chǔ)L(Si)占所有節(jié)點負載差值之和的百分比為節(jié)點的負載分配概率P(Si)，采用公式(8.5)來計算:
8.根據(jù)權(quán)利要求5所述的高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其特征在于:計算集合J中節(jié)點的分配概率，從中選取合適的節(jié)點分配負載；節(jié)點分配概率采用公式(8.6)來計算:
9.根據(jù)權(quán)利要求5所述的高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其特征在于:負載增量S是指某種服務(wù)類型的一個請求分配到某服務(wù)器節(jié)點上，對該節(jié)點增加的負載量，采用公式配到某服務(wù)器節(jié)點上，對該節(jié)點增加的負載量，采用公式配到某服務(wù)器節(jié)點上，對該節(jié)點增加的負載量，采用公式配到某服務(wù)器節(jié)點上，對該節(jié)點增加的負載量，采用公式:δ =L (S)/N……(8.7) 其中，N為該服務(wù)類型在該節(jié)點上的請求數(shù)，L(S)為N個請求對節(jié)點帶來的負載。
10.根據(jù)權(quán)利要求5所述的高性能計算中負載均衡與節(jié)點狀態(tài)監(jiān)控方法，其特征在于:對服務(wù)器節(jié)點負載的修正采用公式(8.8)來計算，其中δ為負載增量值，C(S)為計算負載增量時用到的節(jié)點的性能，L(Si)和C(Si)分別為該節(jié)點的負載和性能；
【文檔編號】H04L12/26GK104168332SQ201410440328
【公開日】2014年11月26日 申請日期:2014年9月1日 優(yōu)先權(quán)日:2014年9月1日
【發(fā)明者】楊漾, 張若曦, 劉文彬, 蘇凱, 董召杰 申請人:廣東電網(wǎng)公司信息中心