本發(fā)明涉及云資源配置優(yōu)化技術(shù)領(lǐng)域，具體地，涉及一種面向彈性分析流程的云資源配置優(yōu)化方法。

背景技術(shù)：

近年來，云計(jì)算、和移動互聯(lián)網(wǎng)的普及和發(fā)展，促使不同領(lǐng)域的海量數(shù)據(jù)的產(chǎn)生，例如生物信息領(lǐng)域，社交網(wǎng)絡(luò)和智能交通系統(tǒng)等等。這些海量數(shù)據(jù)的分析和處理成為現(xiàn)在的研究熱點(diǎn)。對這些數(shù)據(jù)進(jìn)行有效的分析可以使得決策更加準(zhǔn)確和快速。一般來講，數(shù)據(jù)分析屬于計(jì)算密集型的應(yīng)用。對于連續(xù)到達(dá)的數(shù)據(jù)分析任務(wù)，如果想要及時(shí)處理掉所有的請求，必須分配足夠多資源，即能夠滿足最高負(fù)載。但是，這樣會導(dǎo)致在負(fù)載請求比較低時(shí)，造成資源閑置浪費(fèi)。云計(jì)算平臺通過網(wǎng)絡(luò)實(shí)現(xiàn)計(jì)算資源共享，可以實(shí)現(xiàn)資源的按需供給。因此，越來越多的應(yīng)用被部署在云平臺上。

一般來講，數(shù)據(jù)分析處理應(yīng)用由多個(gè)組件構(gòu)成，每個(gè)組件可以獨(dú)立部署。工作流是一個(gè)用來協(xié)同這些組件的很好的工具。為了動態(tài)擴(kuò)展系統(tǒng)，傳統(tǒng)方式是將整個(gè)流程作為一個(gè)整體擴(kuò)展，依據(jù)整個(gè)流程增加或者減少資源實(shí)例。但是流程中不同的組件具有不同的處理能力。在請求負(fù)載不斷到達(dá)的情形下，一個(gè)資源實(shí)例對于某個(gè)組件是足夠了，但其它組件可能會需要更多的實(shí)例，否則就會成為系統(tǒng)瓶頸。

隨著大數(shù)據(jù)時(shí)代的到來，越來越多的數(shù)據(jù)分析應(yīng)用涌現(xiàn)。可以用工作流來建模一些數(shù)據(jù)分析應(yīng)用。這類應(yīng)用的請求一般是連續(xù)不斷到達(dá)的，并且對這些請求對響應(yīng)時(shí)間具有嚴(yán)格的要求。當(dāng)將這些分析流程部署在云平臺上時(shí)，一個(gè)關(guān)鍵問題就是如何分配云資源，從而使得在滿足響應(yīng)時(shí)間需求的前提下，租用虛擬機(jī)數(shù)量最少。

技術(shù)實(shí)現(xiàn)要素：

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種面向彈性分析流程的云資源配置優(yōu)化方法。

根據(jù)本發(fā)明提供的面向彈性分析流程的云資源配置優(yōu)化方法，包括如下步驟：

步驟1：對彈性分析流程進(jìn)行性能建模，即將整個(gè)分析流程建模為開放式排隊(duì)網(wǎng)絡(luò)，流程中的每個(gè)組件對應(yīng)為排隊(duì)網(wǎng)絡(luò)系統(tǒng)中的M/M/m子隊(duì)列，一個(gè)組件的輸出為另一個(gè)組件的輸入；

步驟2：估計(jì)出整個(gè)開放式排隊(duì)網(wǎng)絡(luò)的平均響應(yīng)時(shí)間，根據(jù)估計(jì)出的平均響應(yīng)時(shí)間，對每個(gè)組件進(jìn)行云資源分配，使得在滿足用戶需求的平均響應(yīng)時(shí)間的前提下，總資源數(shù)最少。

優(yōu)選地，所述步驟1中的彈性分析流程能夠采用帶權(quán)有向無環(huán)圖G表示，G＝(C,E)，C為圖G的節(jié)點(diǎn)集，代表流程中所有組件的集合，E是圖G的邊集，表示組件之間的依賴關(guān)系；其中，節(jié)點(diǎn)上的權(quán)值表示組件執(zhí)行用戶請求的平均服務(wù)時(shí)間；任意兩個(gè)節(jié)點(diǎn)構(gòu)成的邊用于表示兩個(gè)組件之間的數(shù)據(jù)流關(guān)系，令e(c_i,c_j)∈E，e(c_i,c_j)表示節(jié)點(diǎn)c_i與c_j之間具有依賴關(guān)系，代表節(jié)點(diǎn)c_i是c_j的前繼節(jié)點(diǎn)，相應(yīng)地，c_j是c_i的后繼節(jié)點(diǎn)；在處理某請求時(shí)，一個(gè)組件在該組件所有前繼節(jié)點(diǎn)未完成之前不能開始處理；具體地：

用EW表示彈性分析流程，EW＝<G,f(C)>，<G,f(C)>表示對圖G進(jìn)行優(yōu)化運(yùn)算，其中f(C)表示用來決定每個(gè)組件的實(shí)例數(shù)的函數(shù)。

優(yōu)選地，所述步驟2包括：

步驟2.1：在開放式排隊(duì)網(wǎng)絡(luò)中確定關(guān)鍵路徑；

步驟2.2：對關(guān)鍵路徑上的組件進(jìn)行資源優(yōu)化；

步驟2.3：對剩余組件進(jìn)行資源優(yōu)化，所述剩余組件即不在關(guān)鍵路徑上的組件。

優(yōu)選地，所述步驟2.1包括：每隔一個(gè)計(jì)價(jià)時(shí)長更新一次關(guān)鍵路徑，并為關(guān)鍵路徑上的組件分配虛擬機(jī)，其中：所述關(guān)鍵路徑是指：有向無環(huán)圖中從起始節(jié)點(diǎn)到終止節(jié)點(diǎn)的路徑中所有節(jié)點(diǎn)權(quán)值之和最大的路徑；所有節(jié)點(diǎn)權(quán)值之和能夠體現(xiàn)組件的平均服務(wù)時(shí)間。

優(yōu)選地，所述步驟2.2包括：對關(guān)鍵路徑上的組件進(jìn)行資源優(yōu)化。

優(yōu)選地，所述步驟2.3包括：在步驟2.2中求得了關(guān)鍵路徑上所有組件的平均響應(yīng)時(shí)間，并根據(jù)帶權(quán)有向無環(huán)圖的并行塊為剩余組件分配虛擬機(jī)，且令每個(gè)并行塊上的非關(guān)鍵路徑并行分支的平均響應(yīng)時(shí)間小于等于對應(yīng)并行塊關(guān)鍵路徑分支組件的平均響應(yīng)時(shí)間；根據(jù)平均響應(yīng)時(shí)間與服務(wù)器數(shù)量的關(guān)系，計(jì)算虛擬機(jī)個(gè)數(shù)，并分配虛擬機(jī)。

與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：

本發(fā)明可以對于請求連續(xù)到達(dá)的分析流程進(jìn)行資源分配，具體地，將整個(gè)系統(tǒng)以組件為單元進(jìn)行獨(dú)立部署，形成彈性流程；將每個(gè)組件看作排隊(duì)系統(tǒng)，整個(gè)流程看作排隊(duì)網(wǎng)絡(luò)，利用排隊(duì)論對系統(tǒng)的平均響應(yīng)時(shí)間進(jìn)行估計(jì)，比較準(zhǔn)確的估計(jì)響應(yīng)時(shí)間。本發(fā)明還能夠依據(jù)排隊(duì)論估計(jì)每個(gè)組件的可分配服務(wù)器解集，然后利用啟發(fā)式算法得到近似最優(yōu)解。

附圖說明

通過閱讀參照以下附圖對非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會變得更明顯：

圖1為組件性能分析模型示意圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例對本發(fā)明進(jìn)行詳細(xì)說明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變化和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。

針對面向彈性分析流程，本發(fā)明采用基于排隊(duì)網(wǎng)絡(luò)理論的云資源配置優(yōu)化策略。一般來講，分析流程包含多個(gè)組件，每個(gè)組件具有獨(dú)立的功能且可以獨(dú)立部署，組件之間具有相互依賴關(guān)系。目前已經(jīng)存在的針對工作流的云資源配置優(yōu)化方法是將整個(gè)流程看作整體，對其進(jìn)行云資源分配。這樣，當(dāng)某個(gè)組件的性能降低，不足以處理不斷到達(dá)的請求時(shí)，則需要為整個(gè)應(yīng)用增加資源，這樣會造成其它組件的性能過高，從而造成資源浪費(fèi)。換句話講，一個(gè)分析流程中的每個(gè)組件的處理能力是不同的，需要的資源數(shù)量也是不同的，如果將整個(gè)流程作為一個(gè)整體進(jìn)行資源分配，則需要依據(jù)瓶頸組件(即處理能力最低的組件)來進(jìn)行資源分配，其它組件分配的資源則會過剩。本發(fā)明將每個(gè)組件進(jìn)行獨(dú)立的按需資源分配，這樣會更節(jié)省資源和花費(fèi)。但是，這樣問題會比較復(fù)雜，難度會增加。因?yàn)橛脩絷P(guān)心的是每個(gè)請求處理完成的平均響應(yīng)時(shí)間，而不是每個(gè)組件的處理時(shí)間，但是資源配置方案則是針對每個(gè)組件，即單個(gè)組件分配多少資源。顯而易見，這是一個(gè)NP難問題。

首先用開放式排隊(duì)網(wǎng)絡(luò)理論對彈性分析流程進(jìn)行性能建模。將整個(gè)分析流程建模為開放式排隊(duì)網(wǎng)絡(luò)系統(tǒng)，流程中的每個(gè)組件為排隊(duì)網(wǎng)絡(luò)系統(tǒng)中的M/M/m子隊(duì)列，一個(gè)組件的輸出為另一個(gè)組件的輸入。然后通過排隊(duì)理論估計(jì)出整個(gè)系統(tǒng)的平均響應(yīng)時(shí)間。根據(jù)估計(jì)出的平均響應(yīng)時(shí)間，提出兩種啟發(fā)式算法對每個(gè)組件分配云資源，使得在滿足用戶需求的平均響應(yīng)時(shí)間的前提下，總資源數(shù)最少。

彈性分析流程模型：

典型地，分析流程可以用帶權(quán)有向無環(huán)圖(Directed Acyclic Graph,DAG)來表示，G＝(C,E)。其中，節(jié)點(diǎn)表示組件，節(jié)點(diǎn)上的權(quán)值表示組件執(zhí)行用戶請求的平均服務(wù)時(shí)間；邊e(c_i,c_j)表示組件之間的數(shù)據(jù)流關(guān)系，e(c_i,c_j)∈E表示頂點(diǎn)c_i是c_j的前繼節(jié)點(diǎn)，相應(yīng)地，c_j是c_i的后繼節(jié)點(diǎn)。在處理某請求時(shí)，一個(gè)組件在其所有前繼節(jié)點(diǎn)未完成之前，不能開始處理。彈性分析流程中的每個(gè)組件可以根據(jù)負(fù)載部署多個(gè)實(shí)例。

本發(fā)明中用EW表示彈性分析流程，EW＝<G,f(C)>，其中f(C)表示用來決定每個(gè)組件的實(shí)例數(shù)的函數(shù)。

資源模型

云資源通常以虛擬機(jī)的形式對外提供，且包含多種規(guī)格。為了簡化問題，本發(fā)明用虛擬機(jī)單元來標(biāo)準(zhǔn)化虛擬機(jī)。此外，本發(fā)明采用獨(dú)占式資源提供模型，即在某一時(shí)刻，每個(gè)虛擬機(jī)只能分配給一個(gè)組件。虛擬機(jī)的計(jì)價(jià)模型是按需收費(fèi)。

性能分析模型

利用排隊(duì)論來建模分析流程的性能，將整個(gè)彈性分析流程建模為一個(gè)開放式排隊(duì)網(wǎng)絡(luò)，每個(gè)組件建模為M/M/m隊(duì)列。根據(jù)排隊(duì)理論，用λ表示整個(gè)分析流程的平均請求達(dá)到率；用μ表示每個(gè)虛擬機(jī)在組件上的平均服務(wù)率；m表示在組件上分配的虛擬機(jī)個(gè)數(shù)。定義流量強(qiáng)度為ρ，ρ＝λ/(mμ)。每個(gè)組件的平均響應(yīng)時(shí)間其中表示請求在每個(gè)組件的平均排隊(duì)的概率，

本發(fā)明的資源配置優(yōu)化策略分為三個(gè)步驟：第一步，確定關(guān)鍵路徑，第二步為關(guān)鍵路徑上的組件進(jìn)行資源優(yōu)化，第三步是為剩余組件進(jìn)行資源優(yōu)化。程序1是策略的總流程的偽代碼。第一行是根據(jù)計(jì)價(jià)收費(fèi)時(shí)長計(jì)算每個(gè)更新周期。因?yàn)樘摂M機(jī)是按需收費(fèi)，在每個(gè)計(jì)費(fèi)時(shí)長內(nèi)，虛擬機(jī)一旦租賃無論閑置或者忙，都需要付費(fèi)，所有本發(fā)明每隔一個(gè)計(jì)價(jià)時(shí)長主動更新一次。然后在每個(gè)更新周期內(nèi)，確定關(guān)鍵路徑，調(diào)用程序2或者程序3的算法為關(guān)鍵路徑上的組件分配虛擬機(jī)。同時(shí)根據(jù)并行塊，為剩余組件分配虛擬機(jī)，策略是每個(gè)并行塊上的其它并行分支的平均響應(yīng)時(shí)間不大于其關(guān)鍵路徑分支的組件的平均響應(yīng)時(shí)間。

程序1(云資源分配優(yōu)化算法概覽)

關(guān)鍵路徑上的組件是一個(gè)順序流程。根據(jù)排隊(duì)論，整個(gè)關(guān)鍵路徑的平均響應(yīng)時(shí)間是所有組件的響應(yīng)時(shí)間之和R_path。

式中：R_i表示第i個(gè)組件的響應(yīng)時(shí)間，k表示組件的個(gè)數(shù)。

關(guān)鍵路徑上的組件的資源配置優(yōu)化策略有兩種優(yōu)化算法：

基于分組背包的優(yōu)化算法(Group Knapsack-based Algorithm，GKA)

程序2給出了基于分組背包的優(yōu)化算法的偽代碼。給定請求的平均到達(dá)率和組件的平均服務(wù)時(shí)間，根據(jù)組件的性能分析模型，可以計(jì)算出平均響應(yīng)時(shí)間和虛擬機(jī)數(shù)量的關(guān)系。當(dāng)一個(gè)組件中，分配的虛擬機(jī)數(shù)量越多時(shí)，組件的平均響應(yīng)時(shí)間越小。但當(dāng)虛擬機(jī)數(shù)量達(dá)到某個(gè)飽和值時(shí)，即每個(gè)新到達(dá)的請求無需排隊(duì)等待，即來即服務(wù)，則組件的平均響應(yīng)時(shí)間不再變化，將這個(gè)飽和狀態(tài)時(shí)虛擬機(jī)數(shù)量記作m_max_i,t，相應(yīng)的響應(yīng)時(shí)間記作r_max_i,t。根據(jù)系統(tǒng)穩(wěn)態(tài)條件，其中：m_min_i,t表示在t時(shí)刻滿足系統(tǒng)穩(wěn)態(tài)的最少虛擬機(jī)數(shù)量，λ_t表示t時(shí)刻請求的平均到達(dá)率，μ_i,t表示在t時(shí)刻，虛擬機(jī)在組件i上的平均服務(wù)率，定義可行解集為在m_max_i,t和m_min_i,t之間的所有整數(shù)。將關(guān)鍵路徑看作一個(gè)背包，背包的容量是用戶給定的約束條件：平均響應(yīng)時(shí)間R^π。每個(gè)可行解看作物品，每個(gè)物品具有兩個(gè)屬性：花費(fèi)和平均響應(yīng)時(shí)間。所有物品分為k組(即k個(gè)組件)，每組內(nèi)的物品能且只能選擇一個(gè)?，F(xiàn)在將物品裝入背包，使得背包的花費(fèi)和平均響應(yīng)時(shí)間均最小。

程序2中首先計(jì)算每個(gè)組件的可行解的數(shù)量，然后利用基于動態(tài)規(guī)劃的方法執(zhí)行分組背包算法。

程序2(基于分組背包優(yōu)化算法)

自適應(yīng)啟發(fā)式算法(Proportional Adaptive Heuristic Algorithm，PAHA)

程序3給出了自適應(yīng)啟發(fā)式算法的偽代碼。這個(gè)算法的思想很簡單，就是根據(jù)所有組件的服務(wù)時(shí)間按比例分配虛擬機(jī)，服務(wù)時(shí)間高的組件(即服務(wù)慢)被分配越多的虛擬機(jī)。算法第一步是計(jì)算可行解集。因?yàn)槿缓蟾鶕?jù)服務(wù)時(shí)間的比例將R^π劃分到每個(gè)組件之上，使得如果某組件分配的目標(biāo)時(shí)間小于組件的最低配置時(shí)間，則將此組件分配最低配置時(shí)間，然后其它組件重新按比例分配，保證每個(gè)組件都可以正常服務(wù)。然后根據(jù)性能分析模型，計(jì)算每個(gè)組件在滿足需求服務(wù)時(shí)間的前提下，最小虛擬機(jī)數(shù)。

程序3(自適應(yīng)啟發(fā)式算法)

以上對本發(fā)明的具體實(shí)施例進(jìn)行了描述。需要理解的是，本發(fā)明并不局限于上述特定實(shí)施方式，本領(lǐng)域技術(shù)人員可以在權(quán)利要求的范圍內(nèi)做出各種變化或修改，這并不影響本發(fā)明的實(shí)質(zhì)內(nèi)容。在不沖突的情況下，本申請的實(shí)施例和實(shí)施例中的特征可以任意相互組合。