專利名稱:一種服務(wù)器智能管理中二維數(shù)據(jù)與管理策略遷移的方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種計算機(jī)應(yīng)用技術(shù)領(lǐng)域,具體地說是一種服務(wù)器智能管理中二維數(shù)據(jù)與管理策略遷移的方法。
背景技術(shù):
對服務(wù)器運行日志采用機(jī)器學(xué)習(xí)的方法建立一個服務(wù)器運行規(guī)律模型,可得到服務(wù)器的智能管理知識及規(guī)則。但是為了應(yīng)對越來越多的網(wǎng)絡(luò)服務(wù)請求,服務(wù)器系統(tǒng)規(guī)模越來越大,如服務(wù)器集群技術(shù)和刀片服務(wù)器的出現(xiàn),使得需要被監(jiān)管的服務(wù)器數(shù)量越來越多, 要對這些服務(wù)器的健康信息進(jìn)行數(shù)據(jù)分析,訓(xùn)練數(shù)據(jù)的采集成了一大難題
(1)利用有限的監(jiān)控設(shè)備難以對所有服務(wù)器的健康信息進(jìn)行采集。(2)服務(wù)器的運行日志是一個海量數(shù)據(jù)庫,并且隨著時間的推移不斷增大,使得機(jī)器學(xué)習(xí)的任務(wù)加大。(3)雖然已經(jīng)采集了大量的服務(wù)器健康信息,但是假若需要某臺服務(wù)器某一時間的健康信息作為訓(xùn)練數(shù)據(jù),那么數(shù)據(jù)明顯偏少,會造成訓(xùn)練數(shù)據(jù)的不平衡或過度擬合問題。(3)有些機(jī)器學(xué)習(xí)任務(wù)需要人工標(biāo)注數(shù)據(jù)。如果訓(xùn)練數(shù)據(jù)過大,會占用大量的人力及時間資源。如通過機(jī)器學(xué)習(xí)技術(shù)獲取所有服務(wù)器的管理策略或某一服務(wù)器在某一時間的管理策略,可用的數(shù)據(jù)非常少,無法為機(jī)器學(xué)習(xí)提供合格的訓(xùn)練數(shù)據(jù)。但是可以通過遷移學(xué)習(xí)將已有的源服務(wù)器數(shù)據(jù)轉(zhuǎn)為目標(biāo)服務(wù)器的訓(xùn)練數(shù)據(jù)從而獲取所要的知識。使用遷移學(xué)習(xí)最關(guān)鍵的是要解決這兩個數(shù)據(jù)集差別較大的問題。它們往往具有不同的分布特征。如果不做處理直接將源服務(wù)器中的數(shù)據(jù)集放入目標(biāo)服務(wù)器數(shù)據(jù)集中,會影響目標(biāo)服務(wù)器中已標(biāo)記的數(shù)據(jù),從而影響所獲取知識的可信性。綜上所述,需要解決數(shù)據(jù)遷移時目標(biāo)服務(wù)器數(shù)據(jù)的構(gòu)成問題。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種服務(wù)器智能管理中二維數(shù)據(jù)與管理策略遷移的方法。本發(fā)明的目的是按以下方式實現(xiàn)的,步驟如下 1)遷移學(xué)習(xí)方案
先做如下定義在一個學(xué)習(xí)目標(biāo)服務(wù)器規(guī)律的任務(wù)中,有一個源服務(wù)器的訓(xùn)練數(shù)據(jù)集^=Cfejyif=I-U %表示第i個樣例,Λ表示它的類標(biāo)簽,餌是訓(xùn)練數(shù)據(jù)的個數(shù),
B,中的樣例服從一個固定的但未知的分布1 ,還有少量的目標(biāo)服務(wù)器的訓(xùn)練數(shù)據(jù)集服
從另一個固定的但未知的分布Λ,并用馬….私}表示&表示第i個樣例,
Fsi表示它的類標(biāo)簽,巧和錢中的每一個樣例使用的類標(biāo)簽來自同一個類標(biāo)簽集合:r,
權(quán)利要求
1. 一種服務(wù)器智能管理中二維數(shù)據(jù)與管理策略遷移的方法,其特征在于采用KNN均值法分別計算源服務(wù)器健康信息和目標(biāo)服務(wù)器健康信息對應(yīng)項目的平均值,再對源服務(wù)器的數(shù)據(jù)進(jìn)行處理,使它具有與目標(biāo)服務(wù)器數(shù)據(jù)相同的分布特征,實現(xiàn)服務(wù)器健康信息的數(shù)據(jù)遷移,提高依據(jù)數(shù)據(jù)學(xué)習(xí)到知識的可靠性,同時可實現(xiàn)從源服務(wù)器到目標(biāo)服務(wù)器管理知識的遷移,步驟如下 1)遷移學(xué)習(xí)方案先做如下定義在一個學(xué)習(xí)目標(biāo)服務(wù)器規(guī)律的任務(wù)中,有一個源服務(wù)器的訓(xùn)練數(shù)據(jù)集4表示第 個樣例,Jfe表示它的類標(biāo)簽,風(fēng)是訓(xùn)練數(shù)據(jù)的個數(shù),A中的樣例服從一個固定的但未知的分布1 ,還有少量的目標(biāo)服務(wù)器的訓(xùn)練數(shù)據(jù)集服從另一個固定的但未知的分布A,并用…,Ay表示,表示第f個樣例,Jy表示它的類標(biāo)簽,^s和錢中的每一個樣例使用的類標(biāo)簽來自同一個類標(biāo)簽集合y,包括具有I個成員的有限集合,數(shù)據(jù)遷移的任務(wù)就是從錢中提取出有用的信息用在目標(biāo)服務(wù)器知識學(xué)習(xí)的任務(wù)上,并且找到一個對目標(biāo)服務(wù)器數(shù)據(jù)預(yù)測分類精度較高的映射函數(shù)(1)把輯分成不同的子集,每個子集里面的數(shù)據(jù)都是同一類,這些數(shù)據(jù)表示為 1 ," ! ,對于取中的一個特定的子集疼,i是疼中的類標(biāo)簽,隨機(jī)選取《個樣例,計算這些被選樣例的平均值,這個平均值是一個合成數(shù)據(jù),并作為用類標(biāo)號i標(biāo)記的樣本,對于 Af的樣例個數(shù),用同樣的方法生成《個合成樣本,當(dāng)所有的取的子集都處理完,這樣就生成了I個合成數(shù)據(jù)集瓦,…瓦,每一個瓦有凡個平均值作為它的成員,f作為每一個成員的類標(biāo)簽,當(dāng)m趨于無窮大時,這些合成數(shù)據(jù)服從不同的多元正態(tài)分布,并且如果它們之間相互獨立,同一類別的數(shù)據(jù)服從同一個多元正態(tài)分布,例如^的合成數(shù)據(jù)服從多元正態(tài)分布,平均值通過& = (^^/2^計算得出,協(xié)方差是樣例個數(shù)的維度)是一個非對角線協(xié)方差矩陣,通過貞M計算得出,χ非對角線上的數(shù)據(jù)表示特征間的相關(guān)性,假設(shè)特征間是相互獨立的,那么非對角線上的項都為0,忽略掉非對角線上的數(shù)據(jù),只考慮對角線上的數(shù)據(jù),對于從錢和錢中抽取的每一個子集的成員生成各自相應(yīng)的合成數(shù)據(jù),每個合成數(shù)據(jù)有兩個值每一類數(shù)據(jù)中的均值和協(xié)方差矩陣,把以上生成合成數(shù)據(jù)的方法稱為隨機(jī)平均數(shù)法,對于所有的合成數(shù)據(jù)集,用/ ^"./ ^- 表示平均值,ιIJZ, · Σ, -5L. .-Σ,表示協(xié)方差;(2)對數(shù)據(jù)集!^做一些處理,使它具有與^.相同的分布; 對于一個有完整協(xié)方差矩陣的多元正態(tài)分布,概率密度函數(shù)如下所示
全文摘要
本發(fā)明提供一種服務(wù)器智能管理中二維數(shù)據(jù)與管理策略遷移的方法,采用KNN(K最近鄰)均值法分別計算源服務(wù)器健康信息和目標(biāo)服務(wù)器健康信息對應(yīng)項目的平均值,再對源服務(wù)器的數(shù)據(jù)進(jìn)行處理,使它具有與目標(biāo)服務(wù)器數(shù)據(jù)相同的分布特征,實現(xiàn)服務(wù)器健康信息的數(shù)據(jù)遷移,提高依據(jù)數(shù)據(jù)學(xué)習(xí)到知識的可靠性,同時可實現(xiàn)從源服務(wù)器到目標(biāo)服務(wù)器管理知識的遷移。
文檔編號G06F15/18GK102426561SQ20111030562
公開日2012年4月25日 申請日期2011年10月11日 優(yōu)先權(quán)日2011年10月11日
發(fā)明者于治樓 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司