本發(fā)明涉及云平臺領(lǐng)域,具體地說是一種云平臺下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法。
背景技術(shù):
大數(shù)據(jù)(big data),是指無法在可承受的時間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)的4V特點(diǎn):Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)。
從技術(shù)上看,大數(shù)據(jù)與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無法用單臺的計算機(jī)進(jìn)行處理,必須采用分布式計算架構(gòu)。它的特色在于對海量數(shù)據(jù)的挖掘,但它必須依托云計算的分布式處理、分布式數(shù)據(jù)庫、云存儲和虛擬化技術(shù)。
隨著信息化水平的發(fā)展,當(dāng)今社會的數(shù)據(jù)量日益膨脹,云計算與大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生,越來越多的廠商開始構(gòu)建自己的商業(yè)化云平臺,平臺的運(yùn)轉(zhuǎn)依托于Iass層物理資源,如何實(shí)現(xiàn)對這些Iass層物理資源的合理利用成為各大平臺急需解決的問題。
技術(shù)實(shí)現(xiàn)要素:
本發(fā)明的技術(shù)任務(wù)是提供一種云平臺下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法,來解決如何實(shí)現(xiàn)對這些Iass層物理資源的合理利用成為各大平臺的問題。
本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的,一種云平臺下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法,該方法包括如下步驟:
(1)、云平臺通過Iass平臺接口同步獲取對應(yīng)的Iass平臺所有物理資源的元數(shù)據(jù)信息并存儲到平臺端;
(2)、對Iass平臺所有物理資源進(jìn)行分類并打上對應(yīng)的標(biāo)簽,將此標(biāo)簽作為資源調(diào)度的依據(jù),所有通過Iass平臺發(fā)起的資源申請任務(wù),都會經(jīng)過調(diào)度策略進(jìn)行分配,獲取最終的資源;
(3)、通過調(diào)度策略調(diào)度完成后,對平臺端的元數(shù)據(jù)信息進(jìn)行更新,確保平臺端的元數(shù)據(jù)信息與Iass平臺真實(shí)管理的資源數(shù)據(jù)的一致性。
作為優(yōu)選,所述物理資源的元數(shù)據(jù)信息包括平臺物理主機(jī)、主機(jī)掛載的物理存儲和CPU信息。
作為優(yōu)選,所述調(diào)度策略會針對用戶申請的資源進(jìn)行三層評估,分別為:
第一層評估:評估當(dāng)前資源是否可以滿足申請需求,并計算獲得集群中各主機(jī)提供該資源的可用倍數(shù),若可用倍數(shù)均低于1,則平臺資源不足以滿足該申請,調(diào)度結(jié)束;
第二層評估:滿足第一層評估后,算法會根據(jù)調(diào)度策略對用戶申請的資源進(jìn)行分配,默認(rèn)采用資源分散策略,將資源分散到不同的主機(jī);比如申請了6份資源,總共4臺物理主機(jī),則優(yōu)先將4臺主機(jī)各分配一份,剩下的兩份會在這4臺中擇優(yōu)調(diào)度選擇。
第三次評估:根據(jù)申請資源的特性與物理資源的標(biāo)簽做匹配度的對比,優(yōu)先選擇匹配度高的資源進(jìn)行分配。
更優(yōu)地,所述申請資源的特性包括性能型和存儲型。
作為優(yōu)選,所述步驟(3)中平臺端通過啟用定時任務(wù)進(jìn)行元數(shù)據(jù)同步拉取和更新。
本發(fā)明的云平臺下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法具有以下優(yōu)點(diǎn):
1、本發(fā)明能夠最大化的利用云平臺的物理資源,在云平臺的環(huán)境下對集群資源進(jìn)行有效調(diào)度、合理分配,云平臺的資源調(diào)用模塊按照調(diào)度策略來實(shí)現(xiàn),可以解決傳統(tǒng)物理資源利用低下、維護(hù)混亂等問題,實(shí)現(xiàn)對云平臺資源的有效管理、維護(hù)及利用,同時既可保證云平臺運(yùn)行的功能穩(wěn)定性,又實(shí)現(xiàn)了對Iass平臺資源高效合理的利用;
2、本發(fā)明通過調(diào)度策略對Iass平臺的集群資源進(jìn)行合理分配,保證云平臺正常運(yùn)轉(zhuǎn)過程中保持較高的計算性能和資源利用率;云平臺對所有可用集群物理資源進(jìn)行打標(biāo)簽,這些資源包括物理主機(jī)CPU、內(nèi)存以及存儲等,同時存儲并維護(hù)其對應(yīng)的元數(shù)據(jù)到Iass平臺,作為資源調(diào)度策略的依據(jù),每次進(jìn)行資源的申請及使用時實(shí)時更新元數(shù)據(jù)信息,保證平臺調(diào)度的準(zhǔn)確性以及平臺功能的穩(wěn)定性,增強(qiáng)了云平臺的智能型;
3、本發(fā)明可以精準(zhǔn)、智能的對Iass 層物理資源進(jìn)行篩選、分配,保證云平臺運(yùn)行更新穩(wěn)定,資源申請更加合理、智能,保證平臺運(yùn)行的功能穩(wěn)定性,又能實(shí)現(xiàn)對Iass資源高效合理的利用,同時支持多種策略進(jìn)行調(diào)度,可滿足多種類型的資源申請。
故本發(fā)明具有設(shè)計合理、結(jié)構(gòu)簡單、使用方便、一物多用等特點(diǎn),因而,具有很好的推廣使用價值。
附圖說明
下面結(jié)合附圖對本發(fā)明進(jìn)一步說明。
附圖1為云平臺下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法的流程框圖。
具體實(shí)施方式
參照說明書附圖和具體實(shí)施例對本發(fā)明的云平臺下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法作以下詳細(xì)地說明。
實(shí)施例:
如附圖1所示,本發(fā)明的云平臺下有效實(shí)現(xiàn)主機(jī)集群資源調(diào)度的方法, 該方法包括如下步驟:
(1)、云平臺通過Iass平臺接口同步獲取對應(yīng)的Iass平臺所有物理資源的元數(shù)據(jù)信息并存儲到平臺端;物理資源的元數(shù)據(jù)信息包括平臺物理主機(jī)、主機(jī)掛載的物理存儲和CPU信息。
(2)、對Iass平臺所有物理資源進(jìn)行分類并打上對應(yīng)的標(biāo)簽,將此標(biāo)簽作為資源調(diào)度的依據(jù),所有通過Iass平臺發(fā)起的資源申請任務(wù),都會經(jīng)過調(diào)度策略進(jìn)行分配,獲取最終的資源;調(diào)度策略會針對用戶申請的資源進(jìn)行三層評估,分別為:第一層評估:評估當(dāng)前資源是否可以滿足申請需求,并計算獲得集群中各主機(jī)提供該資源的可用倍數(shù),若可用倍數(shù)均低于1,則平臺資源不足以滿足該申請,調(diào)度結(jié)束;第二層評估:滿足第一層評估后,算法會根據(jù)調(diào)度策略對用戶申請的資源進(jìn)行分配,默認(rèn)采用資源分散策略,將資源分散到不同的主機(jī);比如申請了6份資源,總共4臺物理主機(jī),則優(yōu)先將4臺主機(jī)各分配一份,剩下的兩份會在這4臺中擇優(yōu)調(diào)度選擇。第三次評估:根據(jù)申請資源的特性與物理資源的標(biāo)簽做匹配度的對比,優(yōu)先選擇匹配度高的資源進(jìn)行分配。申請資源的特性包括性能型和存儲型。
(3)、通過調(diào)度策略調(diào)度完成后,對平臺端的元數(shù)據(jù)信息進(jìn)行更新,確保平臺端的元數(shù)據(jù)信息與Iass平臺真實(shí)管理的資源數(shù)據(jù)的一致性,平臺端通過啟用定時任務(wù)進(jìn)行元數(shù)據(jù)同步拉取和更新。
通過上面具體實(shí)施方式,所述技術(shù)領(lǐng)域的技術(shù)人員可容易的實(shí)現(xiàn)本發(fā)明。但是應(yīng)當(dāng)理解,本發(fā)明并不限于上述的一種具體實(shí)施方式。在公開的實(shí)施方式的基礎(chǔ)上,所述技術(shù)領(lǐng)域的技術(shù)人員可任意組合不同的技術(shù)特征,從而實(shí)現(xiàn)不同的技術(shù)方案。
除說明書所述的技術(shù)特征外,均為本專業(yè)技術(shù)人員的已知技術(shù)。