專(zhuān)利名稱(chēng)：數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法
技術(shù)領(lǐng)域：
本發(fā)明屬于分布式計(jì)算領(lǐng)域，具體涉及一種數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，用于解決數(shù)據(jù)中心環(huán)境中最小化硬件資源能源消耗問(wèn)題。
背景技術(shù)：
最近幾年，在線(xiàn)視頻、電子郵件和娛樂(lè)資訊等網(wǎng)絡(luò)服務(wù)逐漸普及，網(wǎng)絡(luò)用戶(hù)數(shù)量的不斷攀升促進(jìn)了各種規(guī)模數(shù)據(jù)中心的涌現(xiàn)，數(shù)據(jù)中心的發(fā)展進(jìn)入了鼎盛時(shí)期。數(shù)據(jù)中心運(yùn)營(yíng)服務(wù)器數(shù)量的快速增加，使得運(yùn)營(yíng)這些服務(wù)器的電力消耗成為數(shù)據(jù)中心的主要運(yùn)營(yíng)成本。例如一臺(tái)300W的高性能服務(wù)器，一年運(yùn)營(yíng)將消耗大約2628千瓦時(shí)的能耗，保證其穩(wěn)定運(yùn)行所需要的制冷開(kāi)銷(xiāo)大約748千瓦時(shí)的能耗(請(qǐng)參考R. Bianchini andR. Rajamony. “Power and energy managementfor server systems,，，IEEE computer,37(11)，2004)。美國(guó)環(huán)境保護(hù)署的一份報(bào)告中指出，一年數(shù)據(jù)中心的電力能源消耗已經(jīng)占到美國(guó)全部電力能源消耗的1. 5 約合45億美金(請(qǐng)參考U. S. EnvironmentalProtection Agency. “EPA Report onserver and data center energy efficiency. ”,2007)。如果不采取有效的節(jié)能措施，數(shù)據(jù)中心的能源消耗將嚴(yán)重阻礙數(shù)據(jù)中心的發(fā)展。因此，如何降低數(shù)據(jù)中心能源消耗成為學(xué)術(shù)界和工業(yè)界共同關(guān)注的熱點(diǎn)問(wèn)題。降低數(shù)據(jù)中心的能源消耗主要從兩方面著手。在硬件方面，根據(jù)機(jī)器的負(fù)載動(dòng)態(tài)調(diào)整開(kāi)啟機(jī)器的數(shù)目。當(dāng)一臺(tái)機(jī)器處于空閑或者低負(fù)載時(shí)，就可以選擇關(guān)閉機(jī)器以降低能源消耗。文獻(xiàn)(G. Chen, ff. He, J. Liu, S. Nath, L. Rigas, L. Xiao, and F. Zhao,“Energy-aware server provisioning and load dispatching forconnection-1ntensiveinternet services,，，in Proceedings of the 5th USENIXSymposium on NetworkedSystems Design and Implementation. USENIXAssociation, 2008, pp. 337-350)針對(duì)互聯(lián)網(wǎng)應(yīng)用處理用戶(hù)請(qǐng)求數(shù)量呈現(xiàn)周期性變化的特點(diǎn)，建立應(yīng)用請(qǐng)求數(shù)量評(píng)估模型，動(dòng)態(tài)配置數(shù)據(jù)中心機(jī)器開(kāi)啟的數(shù)量，達(dá)到降低能源消耗的目標(biāo)。文獻(xiàn)(A.Verma，G. Dasgupta,T.Nayak, P. De, and R. Kothari, “Server workload analysis for power minimizationusing consolidation,，，inProceedings of the 2009conference on U SENIX Annualtechnical conference. USENIX Association, 2009, pp. 18-28)針對(duì)單一應(yīng)用請(qǐng)求的數(shù)據(jù)中心環(huán)境，建立數(shù)據(jù)中心能源消耗模型，利用拉格朗日乘數(shù)求解最小化數(shù)據(jù)中心能源消耗的機(jī)器數(shù)量。然而，機(jī)器重啟過(guò)程中需要大量的時(shí)間和接近滿(mǎn)負(fù)荷時(shí)刻的能耗，并且頻繁開(kāi)關(guān)機(jī)對(duì)于整個(gè)系統(tǒng)的可靠性也有巨大影響(Q. Zhu, J. Zhu, and G. Agrawal, “Power-awareconsolidation of scientific workflows in virtualizedenvironments,，，inProceedings of the 2010ACM/IEEE International Conference forHigh PerformanceComputing, Networking, Storage and Analysis.1EEE ComputerSociety,2010, pp. 1-12)。有效避免開(kāi)關(guān)機(jī)劣勢(shì)的技術(shù)是動(dòng)態(tài)電壓和頻率調(diào)整(Dynamic Voltage and FrequencyScaling, DVFS)技術(shù)。DVFS主要通過(guò)降低處理器的供給電壓或者運(yùn)行頻率來(lái)達(dá)到節(jié)能的目的。此方法雖不能像開(kāi)關(guān)機(jī)那樣節(jié)省大量的能耗，但是對(duì)應(yīng)用請(qǐng)求的性能和系統(tǒng)的可靠性基本無(wú)影響。文獻(xiàn)(D.Johnson, “Near optimal bin packing algorithm,，，Ph.D.dissertation, MIT, 1973)對(duì)互聯(lián)網(wǎng)應(yīng)用建立負(fù)載模型，分析滿(mǎn)足應(yīng)用請(qǐng)求服務(wù)等級(jí)協(xié)議的條件下，最小化能源消耗的處理器頻率配置。在軟件方面，虛擬化技術(shù)和硬件隔離技術(shù)使得原本運(yùn)行在大規(guī)模低資源利用率的機(jī)器上的應(yīng)用可以融合到小規(guī)模高資源利用率的機(jī)器上執(zhí)行，彼此之間運(yùn)行相對(duì)獨(dú)立，互不影響。然而高效的融合并不是簡(jiǎn)單地將各維度的資源利用率最大化。文獻(xiàn)(Oh, F.Y.K.and Kim, H.S.and Eom, H.andYeom,Η.Y.“Enabling consolidation and scaling down to provide power managementforcloud computing，，in Proceedings of the 3rd USENIX conference on Hot topicsincloud computing, 2011, pp.14-18)通過(guò)大規(guī)模實(shí)驗(yàn)驗(yàn)證具有相似資源需求的應(yīng)用請(qǐng)求在同一資源上執(zhí)行時(shí)，性能和能耗的損失較大。因此，利用虛擬化技術(shù)設(shè)計(jì)應(yīng)用請(qǐng)求融合調(diào)度和資源配置算法是降低數(shù)據(jù)中心能源消耗的主要手段。

發(fā)明內(nèi)容
本發(fā)明的目的在于解決上述現(xiàn)有技術(shù)中存在的難題，提供一種數(shù)據(jù)中心下能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，降低數(shù)據(jù)中心的能源消耗。本發(fā)明是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的:一種數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，所述方法根據(jù)應(yīng)用請(qǐng)求四個(gè)維度的資源需求進(jìn)行關(guān)系評(píng)估，并結(jié)合應(yīng)用請(qǐng)求負(fù)載的周期性特點(diǎn)，實(shí)現(xiàn)數(shù)據(jù)中心資源的動(dòng)態(tài)配置；所述四個(gè)維度的資源需求是指CPU、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)。所述方法包括以下步驟:步驟1:初始化數(shù)據(jù)中心機(jī)器數(shù)目；步驟2:判斷當(dāng)前時(shí)間周期是否為小周期，如果是，則轉(zhuǎn)到步驟3，如果否，則等待滿(mǎn)足小周期的條件；步驟3:讀入當(dāng)前應(yīng)用請(qǐng)求就緒數(shù)目；步驟4:根據(jù)所述應(yīng)用請(qǐng)求的資源需求計(jì)算歐氏距離，并標(biāo)記應(yīng)用請(qǐng)求的類(lèi)型；步驟5:循環(huán)遍歷當(dāng)前數(shù)據(jù)中心中所有空閑機(jī)器，選擇符合約束條件的空閑機(jī)器，并將應(yīng)用請(qǐng)求加入到空閑機(jī)器的請(qǐng)求隊(duì)列中；步驟6:判斷應(yīng)用請(qǐng)求是否調(diào)度成功，即判斷所述空閑機(jī)器是否能處理當(dāng)前就緒請(qǐng)求，如果是，則返回步驟2，如果否，轉(zhuǎn)入步驟7 ；步驟7:開(kāi)啟新機(jī)器，更新當(dāng)前數(shù)據(jù)中心中的機(jī)器數(shù)目，累加時(shí)間周期；步驟8:判斷當(dāng)前時(shí)間周期是否為大周期，如果是，則執(zhí)行步驟9，如果否，則返回步驟2 ;步驟9:根據(jù)數(shù)據(jù)中心中的應(yīng)用請(qǐng)求的歷史數(shù)據(jù)(歷史數(shù)據(jù)是實(shí)驗(yàn)的輸入數(shù)據(jù))利用d-separation算法構(gòu)建用于應(yīng)用請(qǐng)求規(guī)模評(píng)估的有向無(wú)環(huán)圖；步驟10:利用最大似然估計(jì)方法計(jì)算所述有向無(wú)環(huán)圖中節(jié)點(diǎn)之間的條件概率值，建立貝葉斯網(wǎng)絡(luò)；步驟11:根據(jù)貝葉斯網(wǎng)絡(luò)計(jì)算下一個(gè)大周期內(nèi)的應(yīng)用請(qǐng)求的數(shù)量；步驟12:選取使能源消耗最小化的機(jī)器數(shù)目；步驟13:動(dòng)態(tài)配置數(shù)據(jù)中心中的開(kāi)啟機(jī)器的數(shù)目，然后返回步驟2。
所述步驟2中的小周期為10分鐘；所述步驟8中的大周期為60分鐘；所述步驟7中的累加時(shí)間周期是指對(duì)小周期進(jìn)行累加，當(dāng)小周期的數(shù)量是6的整數(shù)倍時(shí)，就成為大周期。所述步驟4中的歐氏距離為
權(quán)利要求
1.一種數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，其特征在于:所述方法根據(jù)應(yīng)用請(qǐng)求四個(gè)維度的資源需求進(jìn)行關(guān)系評(píng)估，并結(jié)合應(yīng)用請(qǐng)求負(fù)載的周期性特點(diǎn)，實(shí)現(xiàn)數(shù)據(jù)中心資源的動(dòng)態(tài)配置；所述四個(gè)維度的資源需求是指CPU、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，其特征在于:所述方法包括以下步驟: 步驟1:初始化數(shù)據(jù)中心機(jī)器數(shù)目； 步驟2:判斷當(dāng)前時(shí)間周期是否為小周期，如果是，則轉(zhuǎn)到步驟3，如果否，則等待滿(mǎn)足小周期的條件； 步驟3:讀入當(dāng)前應(yīng)用請(qǐng)求就緒數(shù)目； 步驟4:根據(jù)所述應(yīng)用請(qǐng)求的資源需求計(jì)算歐氏距離，并標(biāo)記應(yīng)用請(qǐng)求的類(lèi)型； 步驟5:循環(huán)遍歷當(dāng)前數(shù)據(jù)中心中所有空閑機(jī)器，選擇符合約束條件的空閑機(jī)器，并將應(yīng)用請(qǐng)求加入到空閑機(jī)器的請(qǐng)求隊(duì)列中； 步驟6:判斷應(yīng)用請(qǐng)求是否調(diào)度成功，即判斷所述空閑機(jī)器是否能處理當(dāng)前就緒請(qǐng)求，如果是，則返回步驟2，如果否，轉(zhuǎn)入步驟7 ； 步驟7:開(kāi)啟新機(jī)器，更新當(dāng)前數(shù)據(jù)中心中的機(jī)器數(shù)目，累加時(shí)間周期； 步驟8:判斷當(dāng)前時(shí)間周期是否為大周期，如果是，則執(zhí)行步驟9，如果否，則返回步驟2； 步驟9:根據(jù)數(shù)據(jù)中心中的應(yīng)用請(qǐng)求的歷史數(shù)據(jù)利用d-separation算法構(gòu)建用于應(yīng)用請(qǐng)求規(guī)模評(píng)估的有向無(wú)環(huán)圖； 步驟10:利用最大似然估計(jì)方法計(jì)算所述有向無(wú)環(huán)圖中節(jié)點(diǎn)之間的條件概率值，建立貝葉斯網(wǎng)絡(luò)； 步驟11:根據(jù)貝葉斯網(wǎng)絡(luò)計(jì)算下一個(gè)大周期內(nèi)的應(yīng)用請(qǐng)求的數(shù)量； 步驟12:選取使能源消耗最小化的機(jī)器數(shù)目； 步驟13:動(dòng)態(tài)配置數(shù)據(jù)中心中的開(kāi)啟機(jī)器的數(shù)目，然后返回步驟2。
3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，其特征在于:所述步驟2中的小周期為10分鐘；所述步驟8中的大周期為60分鐘；所述步驟7中的累加時(shí)間周期是指對(duì)小周期進(jìn)行累加，當(dāng)小周期的數(shù)量是6的整數(shù)倍時(shí)，就成為大周期。
4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，其特征在于:所述步驟4中的歐氏距離為
5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，其特征在于:所述步驟4中的應(yīng)用請(qǐng)求的類(lèi)型包括計(jì)算密集型、內(nèi)存密集型、網(wǎng)絡(luò)密集型和I/O密集型。
6.根據(jù)權(quán)利要求5所述的 數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，其特征在于:所述步驟5中符合約束條件是指剩余資源滿(mǎn)足需求和滿(mǎn)足應(yīng)用請(qǐng)求關(guān)系。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，其特征在于:所述步驟7中的更新當(dāng)前數(shù)據(jù)中心中的機(jī)器數(shù)目是這樣實(shí)現(xiàn)的:將當(dāng)前機(jī)器數(shù)目加I。
8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，其特征在于:所述步驟12是這樣實(shí)現(xiàn)的:數(shù)據(jù)中心在時(shí)間間隔T內(nèi)的能源消耗表示為式(I):
9.根據(jù)權(quán)利要求8所述的數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，其特征在于:所述步驟13中的動(dòng)態(tài)配置數(shù)據(jù)中心中的開(kāi)啟機(jī)器的數(shù)目是這樣實(shí)現(xiàn)的: 根據(jù)步驟12得到的機(jī)器數(shù)目，選擇開(kāi)機(jī)或關(guān)機(jī)操作。
全文摘要
本發(fā)明提供了一種數(shù)據(jù)中心中能耗驅(qū)動(dòng)的應(yīng)用融合調(diào)度和資源動(dòng)態(tài)配置方法，屬于分布式計(jì)算領(lǐng)域。所述方法根據(jù)應(yīng)用請(qǐng)求四個(gè)維度的資源需求進(jìn)行關(guān)系評(píng)估，并結(jié)合應(yīng)用請(qǐng)求負(fù)載的周期性特點(diǎn)，實(shí)現(xiàn)數(shù)據(jù)中心資源的動(dòng)態(tài)配置；所述四個(gè)維度的資源需求是指CPU、內(nèi)存、存儲(chǔ)和網(wǎng)絡(luò)。利用本發(fā)明方法能夠降低數(shù)據(jù)中心的能源消耗，并且能夠降低在一段時(shí)間間隔內(nèi)開(kāi)關(guān)機(jī)的數(shù)量。
文檔編號(hào)G06F9/50GK103076870SQ20131000627
公開(kāi)日2013年5月1日 申請(qǐng)日期2013年1月8日 優(yōu)先權(quán)日2013年1月8日
發(fā)明者蘇森, 雙鍇, 李健, 徐鵬, 王玉龍 申請(qǐng)人:北京郵電大學(xué)