一種分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置方法
【專利摘要】本發(fā)明涉及一種分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置方法，屬于計(jì)算機(jī)數(shù)據(jù)庫管理技術(shù)領(lǐng)域。該方法分為三個(gè)階段：訓(xùn)練階段、使用階段和動(dòng)態(tài)更新階段；用戶先進(jìn)行訓(xùn)練階段得到性能模型，然后在使用階段將性能模型用于解決分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置問題；之后，在動(dòng)態(tài)更新階段，根據(jù)用戶的反饋對(duì)性能模型進(jìn)行動(dòng)態(tài)更新。本方法能夠有效避免了傳統(tǒng)數(shù)據(jù)庫和調(diào)參工具的冷啟動(dòng)問題，在滿足用戶需求的前提下盡可能地節(jié)省硬件成本，提高系統(tǒng)性能，為用戶帶來更高的性價(jià)比。
【專利說明】
-種分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于計(jì)算機(jī)數(shù)據(jù)庫管理技術(shù)領(lǐng)域，特別設(shè)及在大數(shù)據(jù)應(yīng)用開發(fā)過程中一種 分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置方法。
【背景技術(shù)】
[0002] 隨著互聯(lián)網(wǎng)的高速發(fā)展和社會(huì)信息化步伐的加快，各行業(yè)的數(shù)據(jù)迅猛發(fā)展，人類 已經(jīng)步入大數(shù)據(jù)時(shí)代。大數(shù)據(jù)最顯著的特點(diǎn)是"4V"特征:更大的規(guī)模、更高的多樣性、更快 的速度和更低的價(jià)值密度。在運(yùn)四個(gè)特點(diǎn)中，更大的規(guī)模成為人們最為關(guān)注的焦點(diǎn)。因?yàn)榇?數(shù)據(jù)的規(guī)模已經(jīng)超出了傳統(tǒng)的數(shù)據(jù)存儲(chǔ)系統(tǒng)的極限，如傳統(tǒng)的本地文件系統(tǒng)的極限為TB 級(jí)，而PB級(jí)數(shù)據(jù)存儲(chǔ)的需求在大數(shù)據(jù)時(shí)代隨處可見;傳統(tǒng)關(guān)系數(shù)據(jù)庫能夠有效管理的數(shù)據(jù) 量極限為億級(jí)，而早在2012年，F(xiàn)acebook已經(jīng)每天處理高達(dá)25億條數(shù)據(jù)。在運(yùn)種背景下，針 對(duì)大數(shù)據(jù)的存儲(chǔ)與管理已經(jīng)成為了計(jì)算機(jī)領(lǐng)域的前沿性課題。
[0003] 隨著大數(shù)據(jù)技術(shù)的發(fā)展，分布式存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生，分布式存儲(chǔ)系統(tǒng)通過將數(shù)據(jù) 存放到多臺(tái)服務(wù)器上，有效地解決了單臺(tái)服務(wù)器能夠存儲(chǔ)的數(shù)據(jù)量有限的問題，具有良好 的擴(kuò)展性。分布式存儲(chǔ)系統(tǒng)主要包括分布式文件系統(tǒng)，如HDFS、GFS和Lustre;分布式關(guān)系數(shù) 據(jù)庫，如MySQL Cluster;分布式非關(guān)系數(shù)據(jù)庫，如Cassan化a、皿ase、MangoDB等。在利用分 布式存儲(chǔ)系統(tǒng)進(jìn)行大數(shù)據(jù)的存儲(chǔ)時(shí)，首先面臨分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置問題。分布 式存儲(chǔ)系統(tǒng)的初始參數(shù)配置，首先是對(duì)系統(tǒng)的硬件參數(shù)進(jìn)行配置，包括:服務(wù)器個(gè)數(shù)，CPU、 內(nèi)存和硬盤的大小等，然后是對(duì)分布式存儲(chǔ)系統(tǒng)的核屯、軟件參數(shù)進(jìn)行配置，包括副本數(shù)、一 致性級(jí)別等。對(duì)于用戶來說，參數(shù)配置的目的既要保證分布式存儲(chǔ)系統(tǒng)的各方面需求得到 滿足，又要在硬件上的花費(fèi)盡可能少。研究發(fā)現(xiàn)，參數(shù)的配置對(duì)分布式存儲(chǔ)系統(tǒng)性能的影響 具有決定性的效果。糟糕的是，在分布式存儲(chǔ)系統(tǒng)系統(tǒng)中，任何一個(gè)配置參數(shù)的調(diào)整往往不 能立即看到效果，而是需要當(dāng)數(shù)據(jù)量到達(dá)一定規(guī)模的時(shí)候，其作用才能凸現(xiàn)出來。
[0004] 針對(duì)分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置問題，目前業(yè)內(nèi)都是通過人工手動(dòng)配置的方 法解決，工作量較大，鮮有自動(dòng)配置的方法出現(xiàn)。除了初始參數(shù)配置外，對(duì)系統(tǒng)的參數(shù)優(yōu)化 方法的研究成果較多，尤其是關(guān)系數(shù)據(jù)庫系統(tǒng)，都是在系統(tǒng)運(yùn)行一段時(shí)間之后發(fā)現(xiàn)性能問 題和資源瓶頸，通過分析歷史數(shù)據(jù)和日志，得出需要調(diào)整的參數(shù)，如化acle 1 Ig和跨平臺(tái)的 調(diào)優(yōu)工具iTuned。運(yùn)些方法用于參數(shù)配置時(shí)都存在冷啟動(dòng)問題，難W較好地對(duì)系統(tǒng)的初始 參數(shù)進(jìn)行配置。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的是克服已有技術(shù)的不足之處，提出一種分布式存儲(chǔ)系統(tǒng)的初始參數(shù) 配置方法;避免了傳統(tǒng)數(shù)據(jù)庫和調(diào)參工具冷啟動(dòng)的問題，在滿足用戶需求的前提下盡可能 地節(jié)省硬件成本，提高系統(tǒng)性能，為用戶帶來更高的性價(jià)比。
[0006] 本發(fā)明提出一種分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置方法，該方法分為=個(gè)階段：訓(xùn) 練階段、使用階段和動(dòng)態(tài)更新階段。用戶先進(jìn)行訓(xùn)練階段得到性能模型，然后在使用階段將 性能模型用于解決分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置問題;之后，在動(dòng)態(tài)更新階段，根據(jù)用戶 的反饋對(duì)性能模型進(jìn)行動(dòng)態(tài)更新。
[0007] 上述方法具體步驟如下：
[0008] (1)訓(xùn)練階段:對(duì)分布式存儲(chǔ)系統(tǒng)進(jìn)行測(cè)試，構(gòu)建性能模型;具體步驟如下：
[0009] (1-1)選取分布式存儲(chǔ)系統(tǒng)的硬件參數(shù)和核屯、軟件參數(shù)，并確定硬件參數(shù)和核屯、 軟件參數(shù)的取值范圍；
[0010] (1-2)確定需要測(cè)試的步驟(1-1)中各參數(shù)的組合方案；
[0011] (1-3)選定測(cè)試服務(wù)器的硬件配置參數(shù)；
[0012] (1-4)在步驟(1-3)選定的測(cè)試服務(wù)器上安裝虛擬機(jī)平臺(tái)；
[0013] (1-5)選定客戶端服務(wù)器，配置網(wǎng)絡(luò)環(huán)境，保證客戶端服務(wù)器和測(cè)試服務(wù)器在同一 個(gè)網(wǎng)段下，在客戶端服務(wù)器上安裝YCSB測(cè)試程序；
[0014] (1-6)在步驟（1-4)建立的虛擬機(jī)平臺(tái)上創(chuàng)建種子虛擬機(jī)，安裝Linux操作系統(tǒng)W 及必要的軟件，安裝分布式存儲(chǔ)系統(tǒng)；
[0015] (1-7)根據(jù)步驟（1-2)中確定的參數(shù)組合方案，對(duì)每一組合方案分別進(jìn)行測(cè)試，并 記錄性能指標(biāo)的測(cè)試結(jié)果；
[0016] (1-8)對(duì)步驟(1-7)得到的每一個(gè)性能指標(biāo)的測(cè)試結(jié)果，構(gòu)建性能模型并求解；
[0017] (2)使用階段:對(duì)分布式存儲(chǔ)系統(tǒng)進(jìn)行初始參數(shù)配置，計(jì)算其硬件參數(shù)和核屯、軟件 參數(shù)配置;具體步驟如下：
[0018] (2-1)用戶根據(jù)自己的需求分別確定多個(gè)性能指標(biāo)的目標(biāo)值；
[0019] (2-2)根據(jù)步驟(1-1)確定的硬件參數(shù)和核屯、軟件參數(shù)取值范圍，對(duì)所有的性能指 標(biāo)，分別按照按步驟(1)得到的性能模型計(jì)算所有參數(shù)取值組合的結(jié)果，并按照計(jì)算得到的 對(duì)應(yīng)性能指標(biāo)的值從低到高進(jìn)行排序；
[0020] (2-3)對(duì)于所有參數(shù)取值組合的性能指標(biāo)計(jì)算結(jié)果，過濾掉小于步驟(2-1)中設(shè)定 的目標(biāo)值的參數(shù)取值組合；
[0021] (2-4)對(duì)于剩下的參數(shù)取值組合，分別按照事先設(shè)定的價(jià)格函數(shù)依次計(jì)算其價(jià)格；
[0022] (2-5)對(duì)于步驟(2-4)的計(jì)算結(jié)果，選取價(jià)格最小即成本最低的參數(shù)組合作為分布 式存儲(chǔ)系統(tǒng)的參數(shù)配置結(jié)果；
[0023] (3)動(dòng)態(tài)更新階段:動(dòng)態(tài)更新性能模型，具體步驟如下：
[0024] (3-1)收集用戶對(duì)于使用階段得到的分布式存儲(chǔ)系統(tǒng)的硬件參數(shù)和核屯、軟件參數(shù) 配置和對(duì)應(yīng)的性能指標(biāo)的反饋；
[002引（3-2)對(duì)每一個(gè)性能指標(biāo)更新性能模型；
[0026] (3-3)重復(fù)步驟(3-1)至(3-2)，按照用戶需求，對(duì)得到的新的性能模型不斷進(jìn)行更 新。
[0027] 本發(fā)明提出的分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置方法，其優(yōu)點(diǎn)是：
[0028] 1、本發(fā)明方法避免了傳統(tǒng)數(shù)據(jù)庫和調(diào)參工具冷啟動(dòng)的問題，在滿足用戶需求的前 提下盡可能地節(jié)省硬件成本，提高系統(tǒng)性能，為用戶帶來更高的性價(jià)比；
[0029] 2、本發(fā)明方法中的性能模型支持動(dòng)態(tài)更新，可W根據(jù)用戶的反饋進(jìn)行學(xué)習(xí)，不斷 地提高性能模型的準(zhǔn)確度。
【具體實(shí)施方式】
[0030] 本發(fā)明提出的一種分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置方法，下面結(jié)合具體實(shí)施例對(duì) 本發(fā)明進(jìn)一步詳細(xì)說明如下。
[0031] 本發(fā)明提出的一種分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置方法，該方法分為=個(gè)階段： 包括訓(xùn)練階段對(duì)分布式存儲(chǔ)系統(tǒng)進(jìn)行測(cè)試，構(gòu)建性能模型，使用階段對(duì)分布式存儲(chǔ)系統(tǒng)進(jìn) 行初始參數(shù)配置，計(jì)算其硬件參數(shù)和核屯、軟件參數(shù)配置;和動(dòng)態(tài)更新階段按照用戶需求的 反饋，對(duì)得到的新的性能模型不斷進(jìn)行更新。
[0032] 本實(shí)施例采用的分布式存儲(chǔ)系統(tǒng)W化ssan化a為例，具體實(shí)施步驟如下：
[0033] (1)訓(xùn)練階段:對(duì)分布式存儲(chǔ)系統(tǒng)(化ssamlra)進(jìn)行測(cè)試，構(gòu)建性能模型，具體步驟 如下：
[0034] (1-1)選取分布式存儲(chǔ)系統(tǒng)的硬件參數(shù)和核屯、軟件參數(shù)，并確定運(yùn)些硬件參數(shù)和 核屯、軟件參數(shù)的取值范圍;本實(shí)施例中選取的參數(shù)列表和相應(yīng)的取值范圍如表1所示，包括 5個(gè)參數(shù)；
[0035]
[0036]
[0037] 表 1
[0038] (1-2)確定需要測(cè)試的表1中各參數(shù)取值的組合方案，本實(shí)施例中采用的參數(shù)取值 的組合方案如表2所示，共54組；
[0039]
[0040]
[0041] 表 2
[0042] (1-3)選定測(cè)試服務(wù)器，所選服務(wù)器的硬件配置參數(shù)至少為16核CPU, 64GB內(nèi)存， 2TB硬盤；
[0043] (1-4)在步驟（1-3)選定的測(cè)試服務(wù)器上安裝虛擬機(jī)平臺(tái)，如VMware ,^enStack, VbtualBox等商業(yè)程序；
[0044] (1-5)選定客戶端服務(wù)器，配置網(wǎng)絡(luò)環(huán)境，保證客戶端服務(wù)器和測(cè)試服務(wù)器在同一 個(gè)網(wǎng)段下，網(wǎng)絡(luò)帶寬至少1GB，在客戶端服務(wù)器上安裝YCSB開源測(cè)試程序；
[0045] (1-6)在步驟（1-4)建立的虛擬機(jī)平臺(tái)上創(chuàng)建種子虛擬機(jī)，安裝Linux操作系統(tǒng)W 及必要的處理程序如化va等，安裝分布式存儲(chǔ)系統(tǒng)(本實(shí)施例中采用化ssamlra);
[0046] (1-7)根據(jù)表2中的參數(shù)組合方案，對(duì)每一參數(shù)組合方案分別進(jìn)行測(cè)試，并記錄性 能指標(biāo)的測(cè)試結(jié)果;具體步驟如下：
[0047] (1-7-1)通過步驟（1-6)建立的種子虛擬機(jī)分別復(fù)制出若干個(gè)相同虛擬機(jī)作為測(cè) 試虛擬機(jī)，測(cè)試虛擬機(jī)的個(gè)數(shù)等于表2中所需測(cè)試組合中的節(jié)點(diǎn)數(shù)；
[004引（1-7-2)保證所有測(cè)試虛擬機(jī)的每一類硬件配置參數(shù)(如CPU、內(nèi)存、硬盤)相加總 和不大于步驟(1-3)中選定的測(cè)試服務(wù)器相對(duì)應(yīng)的同類硬件配置參數(shù)的總數(shù)；
[0049] (1-7-3)修改所有測(cè)試虛擬機(jī)的IP地址使得它們互不相同，修改所有測(cè)試虛擬機(jī) 上的分布式存儲(chǔ)系統(tǒng)(Cassan化a)的必要參數(shù)(例如:種子IP地址），將所有的測(cè)試虛擬機(jī)組 成集群，啟動(dòng)分布式存儲(chǔ)系統(tǒng)(化ssamlra);
[0050] (1-7-4)打開客戶端服務(wù)器，設(shè)置YCSB測(cè)試程序的IP地址列表為步驟（1-7-3)中設(shè) 置的所有測(cè)試虛擬機(jī)的IP地址，運(yùn)行YCSB測(cè)試程序，記錄性能指標(biāo)的測(cè)試結(jié)果如表3所示；
[0化1 ]
[0052] 表 3
[0053] (1-8)對(duì)步驟（1-7)得到的每一個(gè)性能指標(biāo)(讀吞吐量、寫吞吐量、讀延遲、寫延遲 和最大客戶端并發(fā)數(shù))的測(cè)試結(jié)果，構(gòu)建性能模型并求解，具體步驟如下：
[0054] (1-8-1)構(gòu)建性能模型的目標(biāo)函數(shù);設(shè)目標(biāo)函數(shù)為￥ =。機(jī)(：此1?山，式中，￥為表3 中任一個(gè)性能指標(biāo)，F(xiàn)為關(guān)于參數(shù)N、C、M、R、L的多項(xiàng)式函數(shù)，多項(xiàng)式展開后共有X項(xiàng)，記為X個(gè) 虛擬變量，對(duì)應(yīng)X個(gè)待定系數(shù)；
[0055] (1-8-2)對(duì)表2中的所有參數(shù)組合，將計(jì)算展開后的X個(gè)虛擬變量的值作為自變量， 性能指標(biāo)測(cè)試結(jié)果作為因變量（即Y)，將所有的自變量與因變量組成訓(xùn)練數(shù)據(jù)集，本實(shí)施例 中共有54組數(shù)據(jù)組成的訓(xùn)練數(shù)據(jù)集；
[0056] (1-8-3)利用多元線性回歸方法對(duì)步驟(1-8-2)的訓(xùn)練數(shù)據(jù)集進(jìn)行回歸求解，得到 X個(gè)虛擬變量的待定系數(shù)的回歸值，從而得到Y(jié) = F(N，C，M，R，L)的具體表達(dá)式，即為步驟(1- 8-1)所選定性能指標(biāo)的性能模型的表達(dá)式；
[0057] 本實(shí)施例的步驟(1-8-1)中，選定性能指標(biāo)為寫吞吐量來構(gòu)建性能模型，具體計(jì)算 步驟如下：
[005引構(gòu)建性能模型的目標(biāo)函數(shù)表達(dá)式為：
[0化9]
[0060] 式中，Y代表寫吞吐景，《項(xiàng)式展開后共有12項(xiàng)，記為12個(gè)虛擬變量
對(duì)應(yīng)12個(gè)待定系數(shù)(cr''ci2);
[0061] ( 1-8-2)利用表2中的54組參數(shù)組合，計(jì)算展開后的12個(gè)虛擬變量
3值作為自變量，寫吞吐量性能指標(biāo)測(cè)試結(jié)果作 為因變量(即Y)，將所有的自變量與因變量組成訓(xùn)練數(shù)據(jù)集；
[0062] (1-8-3)利用多元線性回歸方法對(duì)(1-8-2)的訓(xùn)練數(shù)據(jù)集進(jìn)行回歸求解，得到12個(gè) 虛擬變量的待定系數(shù)(cr-ci2)的回歸值，從而得到目標(biāo)函數(shù)的具體表達(dá)式，即為W寫吞吐 量的性能模型。
[0063] (2)使用階段:對(duì)分布式存儲(chǔ)系統(tǒng)進(jìn)行初始參數(shù)配置，計(jì)算其硬件參數(shù)和核屯、軟件 參數(shù)配置;具體步驟如下：
[0064] (2-1)用戶根據(jù)自己的需求分別確定表3中5個(gè)性能指標(biāo)的目標(biāo)值；
[0065] (2-2)根據(jù)表1的硬件參數(shù)和核屯、軟件參數(shù)取值范圍，對(duì)所有的性能指標(biāo)，分別按 照按步驟（1)得到的性能模型計(jì)算所有參數(shù)取值組合(在本實(shí)施例中，一共有10X4X7X5 X3 = 4200個(gè)組合)的結(jié)果，并按照計(jì)算得到的對(duì)應(yīng)性能指標(biāo)的值從低到高進(jìn)行排序；
[0066] (2-3)對(duì)于所有參數(shù)取值組合的性能指標(biāo)計(jì)算結(jié)果，過濾掉小于步驟(2-1)中設(shè)定 的目標(biāo)值的參數(shù)取值組合；
[0067] (2-4)對(duì)于剩下的參數(shù)取值組合，分別按照事先設(shè)定的價(jià)格函數(shù)依次計(jì)算其價(jià)格；
[0068] 本實(shí)施例中，采用的價(jià)格函數(shù)為:Price(N，C，M) = (45C+22M+4(l〇g2M-14))N
[0069] (2-5)對(duì)于步驟(2-4)的計(jì)算結(jié)果，選取價(jià)格最小即成本最低的參數(shù)組合作為分布 式存儲(chǔ)系統(tǒng)的參數(shù)配置結(jié)果；
[0070] (3)動(dòng)態(tài)更新階段:動(dòng)態(tài)更新性能模型，具體步驟如下：
[0071] (3-1)收集用戶對(duì)于使用階段得到的分布式存儲(chǔ)系統(tǒng)(Cassandra)的硬件參數(shù)和 核屯、軟件參數(shù)配置和對(duì)應(yīng)的性能指標(biāo)的反饋；
[0072] (3-2)對(duì)每一個(gè)性能指標(biāo)(讀吞吐量、寫吞吐量、讀延遲、寫延遲和最大客戶端并發(fā) 數(shù)），更新其性能模型，具體步驟如下：
[0073] (3-2-1)按照步驟（1-8-1)中設(shè)定的目標(biāo)函數(shù)表達(dá)式，利用用戶反饋的分布式存儲(chǔ) 系統(tǒng)的硬件參數(shù)和核屯、軟件參數(shù)配置，計(jì)算得到所有自變量的值，用戶反饋的性能指標(biāo)作 為因變量(Y)，得到更新訓(xùn)練數(shù)據(jù)；
[0074] (3-2-2)將更新訓(xùn)練數(shù)據(jù)添加到現(xiàn)有的訓(xùn)練數(shù)據(jù)集中，得到更新后的訓(xùn)練數(shù)據(jù)集；
[0075] (3-2-3)利用更新后訓(xùn)練數(shù)據(jù)集，對(duì)步驟（1-8-1)設(shè)定的目標(biāo)函數(shù)進(jìn)行多元線性回 歸求解，得到和訓(xùn)練階段中步驟(1-8-3)相同數(shù)目的虛擬變量的待定系數(shù)的回歸值，從而得 到目標(biāo)函數(shù)的新的具體表達(dá)式，作為該性能指標(biāo)新的性能模型，并替代原有的性能模型；
[0076] (3-3)重復(fù)步驟(3-1)至(3-5)，按照用戶需求，對(duì)得到的新的性能模型不斷更新； 在后面的使用過程中，步驟(2)使用更新后的性能模型進(jìn)行計(jì)算得到的結(jié)果將更加準(zhǔn)確。
【主權(quán)項(xiàng)】
1. 一種分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置方法，其特征在于，該方法分為三個(gè)階段:訓(xùn)練 階段、使用階段和動(dòng)態(tài)更新階段;用戶先進(jìn)行訓(xùn)練階段得到性能模型，然后在使用階段將性 能模型用于解決分布式存儲(chǔ)系統(tǒng)的初始參數(shù)配置問題;之后，在動(dòng)態(tài)更新階段，根據(jù)用戶的 反饋對(duì)性能模型進(jìn)行動(dòng)態(tài)更新。2. 如權(quán)利要求1所述的方法，其特征在于，該方法具體包括如下步驟： (1) 訓(xùn)練階段:對(duì)分布式存儲(chǔ)系統(tǒng)進(jìn)行測(cè)試，構(gòu)建性能模型;具體步驟如下： (1-1)選取分布式存儲(chǔ)系統(tǒng)的硬件參數(shù)和核心軟件參數(shù)，并確定硬件參數(shù)和核心軟件 參數(shù)的取值范圍； (1-2)確定需要測(cè)試的步驟(1-1)中各參數(shù)的組合方案； (1-3)選定測(cè)試服務(wù)器； (1-4)在步驟(1-3)選定的測(cè)試服務(wù)器上安裝虛擬機(jī)平臺(tái)； (1-5)選定客戶端服務(wù)器，配置網(wǎng)絡(luò)環(huán)境，保證客戶端服務(wù)器和測(cè)試服務(wù)器在同一個(gè)網(wǎng) 段下，在客戶端服務(wù)器上安裝YCSB測(cè)試程序； (1-6)在步驟（1-4)建立的虛擬機(jī)平臺(tái)上創(chuàng)建種子虛擬機(jī)，安裝Linux操作系統(tǒng)以及必 要的軟件，安裝分布式存儲(chǔ)系統(tǒng)； (1-7)根據(jù)步驟（1-2)中確定的參數(shù)組合方案，對(duì)每一組合方案分別進(jìn)行測(cè)試，并記錄 性能指標(biāo)的測(cè)試結(jié)果，性能指標(biāo)共5個(gè)，包括:讀吞吐量、寫吞吐量、讀延遲、寫延遲和最大客 戶端并發(fā)數(shù)； (1-8)對(duì)步驟(1-7)得到的每一個(gè)性能指標(biāo)的測(cè)試結(jié)果，構(gòu)建性能模型并求解； (2) 使用階段:對(duì)分布式存儲(chǔ)系統(tǒng)進(jìn)行初始參數(shù)配置，計(jì)算其硬件參數(shù)和核心軟件參數(shù) 配置;具體步驟如下： (2-1)用戶根據(jù)自己的需求分別確定5個(gè)性能指標(biāo)的目標(biāo)值； (2-2)根據(jù)步驟（1-1)確定的硬件參數(shù)和核心軟件參數(shù)取值范圍，對(duì)所有的性能指標(biāo)， 分別按照按步驟（1)得到的性能模型計(jì)算所有參數(shù)取值組合的結(jié)果，并按照計(jì)算得到的對(duì) 應(yīng)性能指標(biāo)的值從低到高進(jìn)行排序； (2-3)對(duì)于所有參數(shù)取值組合的性能指標(biāo)計(jì)算結(jié)果，過濾掉小于步驟(2-1)中設(shè)定的目 標(biāo)值的參數(shù)取值組合； (2-4)對(duì)于剩下的參數(shù)取值組合，分別按照事先設(shè)定的價(jià)格函數(shù)依次計(jì)算其價(jià)格； (2-5)對(duì)于步驟(2-4)的計(jì)算結(jié)果，選取價(jià)格最小即成本最低的參數(shù)組合作為分布式存 儲(chǔ)系統(tǒng)的參數(shù)配置結(jié)果； (3) 動(dòng)態(tài)更新階段:動(dòng)態(tài)更新性能模型，具體步驟如下： (3-1)收集用戶對(duì)于使用階段得到的分布式存儲(chǔ)系統(tǒng)的硬件參數(shù)和核心軟件參數(shù)配置 和對(duì)應(yīng)的性能指標(biāo)的反饋； (3-2)對(duì)每一個(gè)性能指標(biāo)更新性能模型； (3-3)重復(fù)步驟(3-1)至(3-2)，按照用戶需求，對(duì)得到的新的性能模型不斷進(jìn)行更新。3. 如權(quán)利要求2所述的方法，其特征在于，步驟（1-7)所述對(duì)參數(shù)組合進(jìn)行測(cè)試并記錄 性能指標(biāo)的測(cè)試結(jié)果，具體步驟如下： (1-7-1)通過步驟（1-6)建立的種子虛擬機(jī)分別復(fù)制出若干個(gè)相同虛擬機(jī)作為測(cè)試虛 擬機(jī)，測(cè)試虛擬機(jī)的個(gè)數(shù)等于步驟(1-2)中確定的所需測(cè)試組合中的節(jié)點(diǎn)數(shù)； (1-7-2)保證所有測(cè)試虛擬機(jī)的每一類資源相加總和不大于步驟（1-3)中選定的測(cè)試 服務(wù)器相對(duì)應(yīng)的同類資源的總數(shù)； (1-7-3)修改所有測(cè)試虛擬機(jī)的IP地址使得它們互不相同，修改所有測(cè)試虛擬機(jī)上的 分布式存儲(chǔ)系統(tǒng)的必要參數(shù)，將所有的測(cè)試虛擬機(jī)組成集群，啟動(dòng)分布式存儲(chǔ)系統(tǒng)； (1-7-4)打開客戶端服務(wù)器，設(shè)置YCSB測(cè)試程序的IP地址列表為步驟（1-7-3)中設(shè)置的 所有測(cè)試虛擬機(jī)的IP地址，運(yùn)行YCSB測(cè)試程序，記錄性能指標(biāo)的測(cè)試結(jié)果。4. 如權(quán)利要求2所述的方法，其特征在于，步驟(1-8)所述構(gòu)建性能模型并求解， 具體步驟如下： (1-8-1)構(gòu)建性能模型的目標(biāo)函數(shù);設(shè)目標(biāo)函數(shù)為￥ = ?(叱(^，1?丄），式中，￥為所述5個(gè) 性能指標(biāo)中的任一個(gè)性能指標(biāo)，F(xiàn)為關(guān)于參數(shù)節(jié)點(diǎn)數(shù)N、CPU核心數(shù)C、內(nèi)存大小Μ、副本數(shù)R和 提交日志大小L的多項(xiàng)式函數(shù)，多項(xiàng)式展開后共有X項(xiàng)，記為X個(gè)虛擬變量，對(duì)應(yīng)X個(gè)待定系 數(shù)； (1-8-2)對(duì)步驟（1-2)中確定的所有參數(shù)組合，計(jì)算展開后的X個(gè)虛擬變量的值作為自 變量，性能指標(biāo)測(cè)試結(jié)果作為因變量，將所有的自變量與因變量組成訓(xùn)練數(shù)據(jù)集； (1-8-3)利用多元線性回歸方法對(duì)步驟（1-8-2)得到的訓(xùn)練數(shù)據(jù)集進(jìn)行回歸求解，得到 X個(gè)虛擬變量的待定系數(shù)的回歸值，從而得到Y(jié) = F(N，C，M，R，L)的具體表達(dá)式，即為步驟(1-8-1)所選定性能指標(biāo)的性能模型的表達(dá)式。5. 如權(quán)利要求2所述的方法，其特征在于，步驟(3-2)所述對(duì)每一個(gè)性能指標(biāo)更新性能 模型，具體步驟如下： (3-2-1)按照步驟（1-8)中設(shè)定的目標(biāo)函數(shù)表達(dá)式，利用用戶反饋的分布式存儲(chǔ)系統(tǒng)的 硬件參數(shù)和核心軟件參數(shù)配置，計(jì)算得到所有自變量的值，用戶反饋的性能指標(biāo)作為因變 量，得到更新訓(xùn)練數(shù)據(jù)； (3-2-2)將更新訓(xùn)練數(shù)據(jù)添加到現(xiàn)有的訓(xùn)練數(shù)據(jù)集中，得到更新后的訓(xùn)練數(shù)據(jù)集； (3-2-3)利用更新后訓(xùn)練數(shù)據(jù)集，對(duì)步驟（1-8)設(shè)定的目標(biāo)函數(shù)進(jìn)行多元線性回歸求 解，得到和訓(xùn)練階段中步驟(1-8)相同數(shù)目的虛擬變量的待定系數(shù)的回歸值，從而得到目標(biāo) 函數(shù)的新的具體表達(dá)式，作為該性能指標(biāo)新的性能模型，并替代原有的性能模型。
【文檔編號(hào)】G06F3/06GK106020719SQ201610318767
【公開日】2016年10月12日
【申請(qǐng)日】2016年5月13日
【發(fā)明人】彭澤武, 黃劍文, 王建民, 馮歆堯, 黃向東, 鐘雨, 龍明盛
【申請(qǐng)人】廣東電網(wǎng)有限責(zé)任公司信息中心, 清華大學(xué)