專利名稱：一種應(yīng)用于節(jié)能型集群系統(tǒng)的數(shù)據(jù)重新部署方法
技術(shù)領(lǐng)域：
本發(fā)明是一種按數(shù)據(jù)訪問規(guī)律將數(shù)據(jù)、任務(wù)以及節(jié)點進行重新部署，以達到服務(wù)器能夠波態(tài)運行，從而實現(xiàn)節(jié)能型數(shù)據(jù)中心集群系統(tǒng)的新型方法。屬于分布式計算、計算機網(wǎng)絡(luò)、信息系統(tǒng)等信息技術(shù)類應(yīng)用領(lǐng)域。
背景技術(shù)：
集群系統(tǒng)的能耗問題目前引起了廣泛的關(guān)注。Google的集群系統(tǒng)每年消耗的電能為1億千瓦。一個集群系統(tǒng)的運維成本費用中，能耗占了 40%。IDC的統(tǒng)計數(shù)據(jù)顯示，集群系統(tǒng)服務(wù)器電力消耗以每年16%的速度遞增，亞太區(qū)集群系統(tǒng)的電力消耗增長速度為每年 23%。根據(jù)節(jié)能和平組織的報告2010年，由于集群系統(tǒng)和遠程通信網(wǎng)絡(luò)的快速增長，使得用電量激增，從而對氣候變暖產(chǎn)生極大的負面影響；到2020年，集群系統(tǒng)將消耗的電力資源，比法國、德國、加拿大和巴西目前消耗的電力總量還要多。目前集群系統(tǒng)在節(jié)能優(yōu)化、實現(xiàn)節(jié)能計算方面的研究和應(yīng)用取得了一些成果，但仍有所不足。數(shù)據(jù)中心的集群系統(tǒng)的能源主要消耗在以下幾個方面計算、存儲、網(wǎng)絡(luò)設(shè)備、電源系統(tǒng)等在工作過程中消耗的能源，這在集群系統(tǒng)能耗占據(jù)較大的比重；空調(diào)、通風(fēng)等散熱、制冷設(shè)備等在工作過程中消耗的能源，這在集群系統(tǒng)能耗有時占據(jù)的比重甚至超過了第一類，統(tǒng)計數(shù)據(jù)顯示，有些集群系統(tǒng)的冷卻成本竟占了能耗成本的60%到70%左右；其它諸如照明、門禁、辦公設(shè)備等在工作過程中消耗的能源，由于集群系統(tǒng)常常采用先進的、 高度自動化的管理與控制軟件，盡量減少人員的參與，這部分能耗占據(jù)的比重一般比較小。對于集群系統(tǒng)而言，目前的這些解決方案存在著以下一些問題1、粗粒度的能耗管理。目前對于集群系統(tǒng)的能耗管理粒度不夠細致，導(dǎo)致對機房內(nèi)部的溫度調(diào)控由于不具有針對性，制冷系統(tǒng)不能按實際設(shè)備的需要進行分配，以及總體能源浪費高等問題；2、高能耗的任務(wù)調(diào)度與數(shù)據(jù)部署。數(shù)據(jù)部署方面大都關(guān)注效率、可靠性、一致性以及如何降低存儲空間等問題，沒有關(guān)注不同數(shù)據(jù)的訪問規(guī)律，也不考慮能耗問題。事實上，集群系統(tǒng)中，在執(zhí)行任務(wù)和提供服務(wù)時，存在著以下的一些值得關(guān)注的情況1、系統(tǒng)中不同的數(shù)據(jù)訪問的時段和強度具有很大的差異。有些數(shù)據(jù)的訪問集中在每天8:30 17:30之間，而有些數(shù)據(jù)則集中在晚上19:00 21:00 ；有些數(shù)據(jù)平時訪問量很低，但在節(jié)假日訪問量激增。2、處于待機狀態(tài)的服務(wù)器的電力消耗常常達到滿負荷峰值的60%左右；加上集群系統(tǒng)冷卻設(shè)備的能耗，集群系統(tǒng)會無謂增加50% 100%的能耗。

發(fā)明內(nèi)容
技術(shù)問題本發(fā)明提出一種應(yīng)用于節(jié)能型集群系統(tǒng)的數(shù)據(jù)重新部署方法，目標(biāo)是解決節(jié)點上部署的數(shù)據(jù)的不規(guī)律導(dǎo)致訪問熱點的散亂，系統(tǒng)中的大量計算節(jié)點利用率較低，特別是部分節(jié)點甚至長時間處于待機狀態(tài)，不能關(guān)閉，仍然有能耗，并造成環(huán)境的熱負荷，相應(yīng)的制冷系統(tǒng)仍然需要為其降溫而造成能耗浪費問題。技術(shù)方案本發(fā)明提出的數(shù)據(jù)重新部署方法是在環(huán)境、設(shè)備條件允許的情況下，按數(shù)據(jù)訪問規(guī)律將數(shù)據(jù)、任務(wù)以及節(jié)點進行聚集，以達到服務(wù)器能夠波態(tài)運行，與服務(wù)器協(xié)同工作的制冷設(shè)備可以精準(zhǔn)的進行環(huán)境溫度控制。集群系統(tǒng)為了能夠承受尖峰時刻的負載，因此在設(shè)置時，一般留有空閑余量，并采用備份副本冗余設(shè)計策略。傳統(tǒng)集群系統(tǒng)的資源平均利用率僅在20% 30%，服務(wù)器在 80%的時間里是空閑的。處于空閑的節(jié)點如果處于待機狀態(tài)的話，會無謂地浪費能源。特別是集群系統(tǒng)中各個節(jié)點負載時空分布不均，造成溫控難以精準(zhǔn)掌握，熱點與冷點區(qū)域分布是散亂，造成現(xiàn)有集群系統(tǒng)的制冷系統(tǒng)不得不基于熱力學(xué)穩(wěn)態(tài)系統(tǒng)工作，導(dǎo)致有效制冷量不足50%。本發(fā)明的主旨是在環(huán)境、設(shè)備條件允許的情況下，將散亂分布的數(shù)據(jù)與任務(wù)進行聚集，以達到集群系統(tǒng)中的部分服務(wù)器能夠被充分利用，而部分服務(wù)器處于深度休眠狀態(tài)甚至關(guān)閉狀態(tài)，與服務(wù)器關(guān)聯(lián)的制冷設(shè)備也處于待機或關(guān)閉狀態(tài)，從而既保障服務(wù)質(zhì)量，同時達到低能耗的節(jié)能目標(biāo)；方法分為數(shù)據(jù)重新部署、節(jié)點聚集和性能增強三個部分，具體描述如下1)假設(shè)目前具有基本相似訪問規(guī)律的數(shù)據(jù)Di和Dj分別存在于節(jié)點A和B上，系統(tǒng)試圖將數(shù)據(jù)Di和Dj聚集在一個節(jié)點A或者節(jié)點B上；系統(tǒng)首先將所有數(shù)據(jù)歸并入虛擬數(shù)據(jù)資源池中，并對所有數(shù)據(jù)的歷史訪問情況進行審計與比對，并由此按數(shù)據(jù)訪問規(guī)律劃分為若干個子集合，存在于節(jié)點A的Di和存在于節(jié)點B的Dj被歸入一個子集合中；為每個節(jié)點設(shè)置資源訪問量上限為β，節(jié)點A的資源訪問量為VisitsA，節(jié)點B的資源訪問量為VisitsB;為了降低數(shù)據(jù)遷移的開銷，如果在大部分時段內(nèi)，節(jié)點A的訪問量大于節(jié)點B，則系統(tǒng)傾向于將Di和Dj聚集于節(jié)點A，如果Visiti^+Visiti^彡β，則將Dj將遷移至節(jié)點A ；否則如果ViSitSA+ViSitSi ^ β，則將數(shù)據(jù)Di將遷移至節(jié)點B ；如果上述兩種情況均不滿足，則數(shù)據(jù)Di和Dj在當(dāng)前情況下不可聚集；2)系統(tǒng)試圖將在不同的時段訪問量均相同或相似的節(jié)點A和B聚集于集群系統(tǒng)一個區(qū)域內(nèi)；經(jīng)過上述的數(shù)據(jù)重新部署后，重新考察節(jié)點A和B的資源訪問量，如果當(dāng)前節(jié)點A 和B具有基本相似訪問規(guī)律，即在不同的時段訪問量均相同或相似，則將節(jié)點A和B重新設(shè)置于同一個區(qū)域中，以實現(xiàn)集中制冷；這樣，集群系統(tǒng)不同的區(qū)域?qū)⒊尸F(xiàn)出波態(tài)運作情形；3)利用活動規(guī)律相反的節(jié)點進行互補以實現(xiàn)系統(tǒng)性能的進一步增強系統(tǒng)理想的目標(biāo)是利用數(shù)據(jù)的訪問規(guī)律來實現(xiàn)節(jié)點資源在某些時段中的充分利用，而在某些時段內(nèi)能夠?qū)崿F(xiàn)深度休眠狀態(tài)甚至關(guān)閉狀態(tài)，利用活動規(guī)律相反的節(jié)點進行互補以實現(xiàn)系統(tǒng)性能的進一步增強，主要是基于數(shù)據(jù)副本機制假設(shè)節(jié)點A和B是活動規(guī)律基本相反的節(jié)點，假設(shè)將系統(tǒng)運行分為時段Δρ Δ2、Δ3、八4和Δ 5，節(jié)點A在時段Δ ρ Δ 3、Δ 5具有高訪問量，而在時段Δ2、Δ 4具有低訪問量，而節(jié)點B的訪問規(guī)律與之基本相反；系統(tǒng)將節(jié)點A所有數(shù)據(jù)的備用副本存放于節(jié)點B， 節(jié)點B所有數(shù)據(jù)的備用副本存放于節(jié)點A ；這樣在時段Δ2、Δ 4將節(jié)點A調(diào)至關(guān)閉狀態(tài)，并將原本流向節(jié)點A的數(shù)據(jù)訪問請求調(diào)整為流向節(jié)點B ；而在時段Δ ρ Δ 3、Δ 5將節(jié)點B調(diào)至關(guān)閉狀態(tài)，并將原本流向節(jié)點B的數(shù)據(jù)訪問請求調(diào)整為流向節(jié)點Α。有益效果本發(fā)明提出的應(yīng)用于節(jié)能型集群系統(tǒng)的數(shù)據(jù)重新部署方法，可達到以下的有益效果(1)降低能耗。進行了數(shù)據(jù)重新部署和節(jié)點聚集后，系統(tǒng)消除了計算節(jié)點的待機空耗狀態(tài)，即盡量使節(jié)點處于工作和關(guān)機這兩種有效狀態(tài)，部分區(qū)域的節(jié)點工作負荷明顯增加，部分區(qū)域的計算節(jié)點處于關(guān)閉狀態(tài)，對環(huán)境造成的熱負荷很少，相應(yīng)的制冷設(shè)備也無需為之降溫，避免了不必的制冷能耗。(2)硬件設(shè)備穩(wěn)定性提高。集群系統(tǒng)的設(shè)備如果不問斷運行容易造成節(jié)點的損壞與故障。本發(fā)明使得集群系統(tǒng)計算節(jié)點可以波態(tài)運行，處于一種“輪休”的狀態(tài)，這個優(yōu)點是可讓長期運行的設(shè)備本身的系統(tǒng)穩(wěn)定性大大增強，增加設(shè)備的使用壽命。


圖1是應(yīng)用本發(fā)明的系統(tǒng)模型。
具體實施例方式應(yīng)用本發(fā)明所描述的方法的系統(tǒng)模型如圖1所示。計算設(shè)備上包含了主機資源管理模塊、主機控制模塊、數(shù)據(jù)遷移模塊、系統(tǒng)日志管理模塊、主機運行監(jiān)測模塊；制冷系統(tǒng)包含了環(huán)境溫度監(jiān)測模塊、制冷設(shè)備控制模塊。其中制冷系統(tǒng)與計算設(shè)備協(xié)同工作，特別根據(jù)主機運行監(jiān)測模塊和環(huán)境溫度監(jiān)測模塊感知的情況，再利用制冷設(shè)備控制模塊來決定制冷設(shè)備是否開啟制冷設(shè)備以及釋放的制冷量，使得制冷系統(tǒng)可以實現(xiàn)集群系統(tǒng)整體、區(qū)域局部的精準(zhǔn)溫度控制。本發(fā)明的基本思想是在環(huán)境、設(shè)備條件允許的情況下，將散亂分布的數(shù)據(jù)與任務(wù)進行聚集，以達到集群系統(tǒng)中的部分服務(wù)器能夠被充分利用，而部分服務(wù)器處于深度休眠狀態(tài)甚至關(guān)閉狀態(tài)，與服務(wù)器關(guān)聯(lián)的制冷設(shè)備也可以處于待機或關(guān)閉狀態(tài)，從而既能夠保障服務(wù)質(zhì)量，同時達到低能耗的節(jié)能目標(biāo)。整個系統(tǒng)在經(jīng)過一段時間的運行后，已經(jīng)可以基本掌握數(shù)據(jù)在不同時段的訪問規(guī)律。方法分為數(shù)據(jù)重新部署、節(jié)點聚集和性能增強三個部分，具體描述如下(1)假設(shè)目前具有基本相似訪問規(guī)律的數(shù)據(jù)Di和Dj分別存在于節(jié)點A和B上，系統(tǒng)試圖將數(shù)據(jù)Di和聚集在一個節(jié)點(節(jié)點A或者節(jié)點B)上。系統(tǒng)首先將所有數(shù)據(jù)歸并入虛擬數(shù)據(jù)資源池中，并對所有數(shù)據(jù)的歷史訪問情況進行審計與比對，并由此按數(shù)據(jù)訪問規(guī)律劃分為若干個子集合。存在于節(jié)點A的Di和存在于節(jié)點B的Dj被歸入一個子集合中。為每個節(jié)點設(shè)置資源訪問量上限為β。節(jié)點A的資源訪問量為VisitsA，節(jié)點B的資源訪問量為Visits。為了降低數(shù)據(jù)遷移的開銷，如果在大部分時段內(nèi)，節(jié)點A的訪問量大于節(jié)點B，則系統(tǒng)傾向于將Di和Dj聚集于節(jié)點A，如果Visiti^+Visiti^彡β，則將Dj將遷移至節(jié)點Α;否則如果Visit%+Visitsi< β，則將數(shù)據(jù)Di將遷移至節(jié)點B。如果上述兩種情況均不滿足，則數(shù)據(jù)Di和Dj在當(dāng)前情況下不可聚集。(2)系統(tǒng)試圖將在不同的時段訪問量均相同或相似的節(jié)點A和B聚集于集群系統(tǒng)一個區(qū)域內(nèi)。經(jīng)過上述的數(shù)據(jù)重新部署后，重新考察節(jié)點A和B的資源訪問量，如果當(dāng)前節(jié)點A 和B具有基本相似訪問規(guī)律，即在不同的時段訪問量均相同或相似，則將節(jié)點A和B重新設(shè)置于同一個區(qū)域中，以實現(xiàn)集中制冷。這樣，一般情況下，集群系統(tǒng)不同的區(qū)域?qū)⒊尸F(xiàn)出波態(tài)運作情形。(3)利用活動規(guī)律相反的節(jié)點進行互補以實現(xiàn)系統(tǒng)性能的進一步增強。系統(tǒng)理想的目標(biāo)是利用數(shù)據(jù)的訪問規(guī)律來實現(xiàn)節(jié)點資源在某些時段中的充分利用，而在某些時段內(nèi)能夠?qū)崿F(xiàn)深度休眠狀態(tài)甚至關(guān)閉狀態(tài)，但這將造成存在數(shù)據(jù)無法被訪問的狀態(tài)。利用活動規(guī)律相反的節(jié)點進行互補以實現(xiàn)系統(tǒng)性能的進一步增強，主要是基于數(shù)據(jù)副本機制假設(shè)節(jié)點A和B是活動規(guī)律基本相反的節(jié)點，假設(shè)將系統(tǒng)運行分為時段Δρ Δ2、Δ3、八4和Δ 5，節(jié)點A在時段Δ ρ Δ 3、Δ 5具有高訪問量，而在時段Δ2、Δ 4具有低訪問量，而節(jié)點B的訪問規(guī)律與之基本相反；系統(tǒng)將節(jié)點A所有數(shù)據(jù)的備用副本存放于節(jié)點B， 節(jié)點B所有數(shù)據(jù)的備用副本存放于節(jié)點A ；這樣在時段Δ2、Δ 4將節(jié)點A調(diào)至關(guān)閉狀態(tài)，并將原本流向節(jié)點A的數(shù)據(jù)訪問請求調(diào)整為流向節(jié)點B，而在時段Δρ Δ3、Δ 5將節(jié)點B調(diào)至關(guān)閉狀態(tài)，并將原本流向節(jié)點B的數(shù)據(jù)訪問請求調(diào)整為流向節(jié)點Α。
權(quán)利要求
1. 一種應(yīng)用于節(jié)能型集群系統(tǒng)的數(shù)據(jù)重新部署方法，其特征在于將散亂分布的數(shù)據(jù)與任務(wù)進行聚集，以達到集群系統(tǒng)中的部分服務(wù)器能夠被充分利用，而部分服務(wù)器處于深度休眠狀態(tài)甚至關(guān)閉狀態(tài)，與服務(wù)器關(guān)聯(lián)的制冷設(shè)備也處于待機或關(guān)閉狀態(tài)，從而既保障服務(wù)質(zhì)量，同時達到低能耗的節(jié)能目標(biāo)；方法分為數(shù)據(jù)重新部署、 節(jié)點聚集和性能增強三個部分，具體描述如下1)假設(shè)目前具有基本相似訪問規(guī)律的數(shù)據(jù)Di和分別存在于節(jié)點A和B上，系統(tǒng)試圖將數(shù)據(jù)Di和Α聚集在一個節(jié)點A或者節(jié)點B上；系統(tǒng)首先將所有數(shù)據(jù)歸并入虛擬數(shù)據(jù)資源池中，并對所有數(shù)據(jù)的歷史訪問情況進行審計與比對，并由此按數(shù)據(jù)訪問規(guī)律劃分為若干個子集合，存在于節(jié)點A的Di和存在于節(jié)點B 的被歸入一個子集合中；為每個節(jié)點設(shè)置資源訪問量上限為β，節(jié)點A的資源訪問量為VisitsA，節(jié)點B的資源訪問量為VisitsB;為了降低數(shù)據(jù)遷移的開銷，如果在大部分時段內(nèi)，節(jié)點A的訪問量大于節(jié)點B，則系統(tǒng)傾向于將Di和Dj聚集于節(jié)點A，如果Visiti^Visitiij彡β，則將Dj將遷移至節(jié)點A ；否則如果ViSikA+ViSitSi彡β，則將數(shù)據(jù)Di將遷移至節(jié)點B ；如果上述兩種情況均不滿足，則數(shù)據(jù)Di和Dj在當(dāng)前情況下不可聚集；2)系統(tǒng)試圖將在不同的時段訪問量均相同或相似的節(jié)點A和B聚集于集群系統(tǒng)一個區(qū)域內(nèi)；經(jīng)過上述的數(shù)據(jù)重新部署后，重新考察節(jié)點A和B的資源訪問量，如果當(dāng)前節(jié)點A和B 具有基本相似訪問規(guī)律，即在不同的時段訪問量均相同或相似，則將節(jié)點A和B重新設(shè)置于同一個區(qū)域中，以實現(xiàn)集中制冷；這樣，集群系統(tǒng)不同的區(qū)域?qū)⒊尸F(xiàn)出波態(tài)運作情形；3)利用活動規(guī)律相反的節(jié)點進行互補以實現(xiàn)系統(tǒng)性能的進一步增強系統(tǒng)理想的目標(biāo)是利用數(shù)據(jù)的訪問規(guī)律來實現(xiàn)節(jié)點資源在某些時段中的充分利用，而在某些時段內(nèi)能夠?qū)崿F(xiàn)深度休眠狀態(tài)甚至關(guān)閉狀態(tài)，利用活動規(guī)律相反的節(jié)點進行互補以實現(xiàn)系統(tǒng)性能的進一步增強，主要是基于數(shù)據(jù)副本機制假設(shè)節(jié)點A和B是活動規(guī)律基本相反的節(jié)點，假設(shè)將系統(tǒng)運行分為時段Δρ Δ2、 Δ3> A4^P Δ 5，節(jié)點A在時段Δ^ Δ3、Δ 5具有高訪問量，而在時段Δ2、Δ 4具有低訪問量， 而節(jié)點B的訪問規(guī)律與之基本相反；系統(tǒng)將節(jié)點A所有數(shù)據(jù)的備用副本存放于節(jié)點B，節(jié)點 B所有數(shù)據(jù)的備用副本存放于節(jié)點A ；這樣在時段Δ2、Δ 4將節(jié)點A調(diào)至關(guān)閉狀態(tài)，并將原本流向節(jié)點A的數(shù)據(jù)訪問請求調(diào)整為流向節(jié)點B ；而在時段Δ ρ Δ 3、Δ 5將節(jié)點B調(diào)至關(guān)閉狀態(tài)，并將原本流向節(jié)點B的數(shù)據(jù)訪問請求調(diào)整為流向節(jié)點Α。
全文摘要
本發(fā)明提出一種應(yīng)用于節(jié)能型集群系統(tǒng)的數(shù)據(jù)重新部署方法。集群系統(tǒng)的巨大能耗及其帶來的環(huán)境問題引起了廣泛的關(guān)注。目前的集群系統(tǒng)的節(jié)能措施主要依賴自然環(huán)境和硬件設(shè)備改進等方式，而沒有考慮系統(tǒng)中的數(shù)據(jù)部署層面的細粒度節(jié)能技術(shù)，顯然不夠合理且具有較大的局限性。本發(fā)明的方法分為數(shù)據(jù)重新部署、節(jié)點聚集和性能增強三個方面，主旨是在環(huán)境、設(shè)備條件允許的情況下，按數(shù)據(jù)訪問規(guī)律將數(shù)據(jù)、任務(wù)以及節(jié)點進行聚集，以達到服務(wù)器能夠波態(tài)運行，與服務(wù)器協(xié)同工作的制冷設(shè)備可以精準(zhǔn)的、具有較強針對性的環(huán)境溫度控制。
文檔編號H04L29/08GK102299964SQ201110252869
公開日2011年12月28日 申請日期2011年8月30日 優(yōu)先權(quán)日2011年8月30日
發(fā)明者吳家興, 周靜嵐, 徐小龍, 曹玲玲, 楊庚, 耿衛(wèi)健, 魯蔚鋒 申請人:南京郵電大學(xué)