一種任務(wù)調(diào)度方法及裝置的制造方法
【專(zhuān)利摘要】本發(fā)明實(shí)施例提供一種任務(wù)調(diào)度方法及裝置，通過(guò)調(diào)度系統(tǒng)獲取最新采集到的監(jiān)控?cái)?shù)據(jù)；并將該最新采集到的監(jiān)控?cái)?shù)據(jù)輸入決策樹(shù)預(yù)測(cè)模型中，由該決策樹(shù)預(yù)測(cè)模型輸出當(dāng)前時(shí)刻集群的繁忙程度；調(diào)度系統(tǒng)根據(jù)集群繁忙程度，對(duì)任務(wù)進(jìn)行調(diào)度。采用本發(fā)明技術(shù)方案，調(diào)度系統(tǒng)對(duì)能夠反映當(dāng)前時(shí)刻管理節(jié)點(diǎn)的狀態(tài)信息的監(jiān)控?cái)?shù)據(jù)進(jìn)行分析，并根據(jù)決策樹(shù)預(yù)測(cè)模型，確定當(dāng)前時(shí)刻集群的繁忙程度，從而能夠根據(jù)集群的繁忙程度進(jìn)行任務(wù)調(diào)度，僅在集群中可分配資源充足的情況下進(jìn)行任務(wù)調(diào)度，提高了數(shù)據(jù)處理效率，有效提高了系統(tǒng)性能。
【專(zhuān)利說(shuō)明】
_種任務(wù)調(diào)度方法及裝置
技術(shù)領(lǐng)域
[0001]本發(fā)明實(shí)施例涉及計(jì)算機(jī)應(yīng)用領(lǐng)域，尤其涉及一種任務(wù)調(diào)度方法及裝置。
【背景技術(shù)】
[0002]Hadoop是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，它能夠以一種可靠、高效、可伸縮的方式進(jìn)行數(shù)據(jù)處理。Hadoop由若干個(gè)元素組成，如MapReduce、HDFS (HadoopDistributed File System ；Hadoop 分布式文件系統(tǒng))等，其中，MapReduce 為 Hadoop 的核心元素，該MapReduce用于大規(guī)模數(shù)據(jù)集(可以大于1TB)的并行運(yùn)算；MapRedUCe引擎包含管理節(jié)點(diǎn)(jobtracker)和任務(wù)節(jié)點(diǎn)(tasktracker)兩類(lèi)節(jié)點(diǎn)，其中，jobtracker為主節(jié)點(diǎn)，用于管理所有MapReduce計(jì)算作業(yè)的運(yùn)行，tasktracker為從節(jié)點(diǎn)。
[0003]在Hadoopl.0應(yīng)用場(chǎng)景中，Hadoopl.0將每個(gè)tasktracker節(jié)點(diǎn)的資源劃分為多個(gè)slot ;針對(duì)任意一 MapReduce作業(yè)，該任意一 MapReduce作業(yè)的數(shù)據(jù)運(yùn)算任務(wù)(以下簡(jiǎn)稱(chēng)任務(wù))會(huì)被分配到節(jié)點(diǎn)中配置的slot上執(zhí)行，所有所述節(jié)點(diǎn)組成一個(gè)集群。目前，調(diào)度系統(tǒng)對(duì)Hadoop中的任務(wù)進(jìn)行調(diào)度時(shí)，僅能夠?qū)⑷蝿?wù)串聯(lián)起來(lái)，使所有任務(wù)按照一定的順序執(zhí)行，并不能對(duì)任務(wù)運(yùn)行環(huán)境進(jìn)行分析，從而無(wú)法獲知當(dāng)前時(shí)刻可分配的資源(如未使用的slot數(shù)目)是否與待處理任務(wù)所需要占用的資源相匹配，使得當(dāng)前時(shí)刻集群中可分配資源不足時(shí)，調(diào)度系統(tǒng)仍會(huì)進(jìn)行任務(wù)分配，此時(shí)，將出現(xiàn)數(shù)據(jù)運(yùn)算任務(wù)運(yùn)行速度慢，數(shù)據(jù)處理效率低的問(wèn)題。
[0004]綜上所述，目前在調(diào)度系統(tǒng)進(jìn)行任務(wù)分配過(guò)程中，存在任務(wù)分配不合理，數(shù)據(jù)處理效率低的問(wèn)題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種任務(wù)調(diào)度方法及裝置，用以解決目前在調(diào)度系統(tǒng)進(jìn)行任務(wù)的分配過(guò)程中，存在任務(wù)分配不合理，數(shù)據(jù)處理效率低的問(wèn)題。
[0006]本發(fā)明實(shí)施例提供的具體技術(shù)方案如下:
[0007]本發(fā)明實(shí)施例提供一種任務(wù)調(diào)度方法，應(yīng)用于調(diào)度系統(tǒng)為集群進(jìn)行任務(wù)調(diào)度的過(guò)程中，包括:
[0008]實(shí)時(shí)采集監(jiān)控?cái)?shù)據(jù)；其中，所述監(jiān)控?cái)?shù)據(jù)用于表征當(dāng)前時(shí)刻所述管理節(jié)點(diǎn)的狀態(tài)信息；
[0009]將采集到的最新監(jiān)控?cái)?shù)據(jù)輸入預(yù)先建立的決策樹(shù)預(yù)測(cè)模型中，獲取所述決策樹(shù)預(yù)測(cè)模型輸出的集群工作狀態(tài)分類(lèi)標(biāo)簽；其中，所述集群工作狀態(tài)分類(lèi)標(biāo)簽用于表征當(dāng)前時(shí)刻集群的繁忙程度；
[0010]根據(jù)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，對(duì)待處理任務(wù)進(jìn)行調(diào)度。
[0011]本發(fā)明實(shí)施例提供一種任務(wù)調(diào)度裝置，應(yīng)用于調(diào)度系統(tǒng)為集群進(jìn)行任務(wù)調(diào)度的過(guò)程中，包括:
[0012]監(jiān)控?cái)?shù)據(jù)獲取單元，用于實(shí)時(shí)采集監(jiān)控?cái)?shù)據(jù)；其中，所述監(jiān)控?cái)?shù)據(jù)用于表征當(dāng)前時(shí)刻所述管理節(jié)點(diǎn)的狀態(tài)信息；
[0013]分類(lèi)標(biāo)簽獲取單元，用于將采集到的最新監(jiān)控?cái)?shù)據(jù)輸入預(yù)先建立的決策樹(shù)預(yù)測(cè)模型中，獲取所述決策樹(shù)預(yù)測(cè)模型輸出的集群工作狀態(tài)分類(lèi)標(biāo)簽；其中，所述集群工作狀態(tài)分類(lèi)標(biāo)簽用于表征當(dāng)前時(shí)刻集群的繁忙程度；
[0014]調(diào)度單元，用于根據(jù)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，對(duì)待處理任務(wù)進(jìn)行調(diào)度。
[0015]本發(fā)明實(shí)施例提供的任務(wù)調(diào)度方法及裝置，通過(guò)調(diào)度系統(tǒng)采集監(jiān)控?cái)?shù)據(jù)；并將采集到的最新監(jiān)控?cái)?shù)據(jù)輸入決策樹(shù)預(yù)測(cè)模型中，由該決策樹(shù)預(yù)測(cè)模型輸出當(dāng)前時(shí)刻集群的繁忙程度；調(diào)度系統(tǒng)根據(jù)集群繁忙程度，對(duì)任務(wù)進(jìn)行調(diào)度。采用本發(fā)明技術(shù)方案，調(diào)度系統(tǒng)對(duì)能夠反映當(dāng)前時(shí)刻jobtracker狀態(tài)信息的監(jiān)控?cái)?shù)據(jù)進(jìn)行分析，并根據(jù)決策樹(shù)預(yù)測(cè)模型，確定當(dāng)前時(shí)刻集群的繁忙程度，從而能夠根據(jù)集群的繁忙程度進(jìn)行任務(wù)調(diào)度，僅在集群中可分配資源充足的情況下進(jìn)行任務(wù)調(diào)度，提高了數(shù)據(jù)處理效率，有效提高了系統(tǒng)性能。
【附圖說(shuō)明】
[0016]圖1為本發(fā)明實(shí)施例中調(diào)度系統(tǒng)結(jié)構(gòu)示意圖；
[0017]圖2為本發(fā)明實(shí)施例中調(diào)度系統(tǒng)對(duì)任務(wù)進(jìn)行調(diào)度流程圖；
[0018]圖3為本發(fā)明實(shí)施例中管理節(jié)點(diǎn)的狀態(tài)信息表；
[0019]圖4為本發(fā)明實(shí)施例中某一時(shí)刻采集到的監(jiān)控?cái)?shù)據(jù)；
[0020]圖5為本發(fā)明實(shí)施例中管理節(jié)點(diǎn)的狀態(tài)信息比例指標(biāo)表；
[0021]圖6為本發(fā)明實(shí)施例中決策樹(shù)預(yù)測(cè)模型示意圖；
[0022]圖7為本發(fā)明實(shí)施例中Iisp文件中的功能文件調(diào)用關(guān)系示意圖；
[0023]圖8為本發(fā)明實(shí)施例中任務(wù)調(diào)度裝置結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0024]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0025]參閱圖1所示，為本發(fā)明實(shí)施例中調(diào)度系統(tǒng)架構(gòu)示意圖，該調(diào)度系統(tǒng)包括采集服務(wù)器，用于采集監(jiān)控?cái)?shù)據(jù)；存儲(chǔ)服務(wù)器，用于存儲(chǔ)監(jiān)控?cái)?shù)據(jù)和歷史記錄；調(diào)度服務(wù)器，用于使用監(jiān)控?cái)?shù)據(jù)建立決策樹(shù)預(yù)測(cè)模型，以及根據(jù)決策樹(shù)預(yù)測(cè)模型輸出的結(jié)果確定是否需要進(jìn)行任務(wù)調(diào)度。
[0026]下面結(jié)合說(shuō)明書(shū)附圖，對(duì)本發(fā)明實(shí)施例作進(jìn)一步詳細(xì)描述。
[0027]參閱圖2所示，本發(fā)明實(shí)施例中，調(diào)度系統(tǒng)對(duì)任務(wù)進(jìn)行調(diào)度的過(guò)程，包括:
[0028]步驟200:調(diào)度系統(tǒng)實(shí)時(shí)采集監(jiān)控?cái)?shù)據(jù)；其中，該監(jiān)控?cái)?shù)據(jù)用于表征當(dāng)前時(shí)刻jobtracker的狀態(tài)信息。
[0029]本發(fā)明實(shí)施例中，采集服務(wù)器按照預(yù)設(shè)周期采集監(jiān)控?cái)?shù)據(jù)，該預(yù)設(shè)周期可以根據(jù)具體應(yīng)用場(chǎng)景預(yù)先設(shè)置；采集服務(wù)器將采集到的監(jiān)控?cái)?shù)據(jù)通過(guò)采集服務(wù)器和存儲(chǔ)服務(wù)器之間的Rest API (Applicat1n Programming Interface ;應(yīng)用程序變成接口)存儲(chǔ)至存儲(chǔ)服務(wù)器中。
[0030]具體的，上述監(jiān)控?cái)?shù)據(jù)中包含當(dāng)前時(shí)刻jobtracker的狀態(tài)信息，其中，該狀態(tài)信息至少包含Map任務(wù)容量(Map Task Capacity), Reduce任務(wù)容量(Reduce TaskCapacity)，在線(xiàn) Map Slot 數(shù)目(Occupied Map Slots)，在線(xiàn) Reduce Slot 數(shù)目(OccupiedReduce Slots)，節(jié)點(diǎn)數(shù)目(Nodes)，黑名單列表/灰名單列表中包含的節(jié)點(diǎn)(Blacklisted/Graylisted Nodes)，處于運(yùn)行態(tài)的任務(wù)數(shù)(Running Jobs)，此外，該狀態(tài)信息還可以包含MapReduce引擎狀態(tài)(State) ,MapReduce引擎是否為安全模式(Safe Mode)，參閱圖3所示為本發(fā)明實(shí)施例中狀態(tài)信息表。
[0031]可選的，采集服務(wù)器可以通過(guò)newlisp監(jiān)控腳本按照預(yù)設(shè)周期采集監(jiān)控?cái)?shù)據(jù)。例如，參閱圖4所示，為本發(fā)明實(shí)施例中某一時(shí)刻采集到的監(jiān)控?cái)?shù)據(jù)。
[0032]由于在任務(wù)在執(zhí)行過(guò)程中，調(diào)度服務(wù)器將生成與該任務(wù)對(duì)應(yīng)的歷史記錄，其中，該歷史記錄用于表征某一個(gè)時(shí)刻任務(wù)運(yùn)行狀況，該運(yùn)行狀況至少包括運(yùn)行時(shí)長(zhǎng)；因此，進(jìn)一步的，調(diào)度服務(wù)器將生成的歷史記錄通過(guò)調(diào)度服務(wù)器與存儲(chǔ)服務(wù)器之間的Rest API接口將歷史記錄存儲(chǔ)至存儲(chǔ)服務(wù)器。
[0033]步驟210:將上述采集到的最新監(jiān)控?cái)?shù)據(jù)輸入預(yù)先建立的決策樹(shù)預(yù)測(cè)模型中，獲取該決策樹(shù)預(yù)測(cè)模型輸出的集群工作狀態(tài)分類(lèi)標(biāo)簽；其中，該集群工作狀態(tài)分類(lèi)標(biāo)簽用于表征當(dāng)前時(shí)刻集群的繁忙程度。
[0034]本發(fā)明實(shí)施例中，調(diào)度系統(tǒng)將采集到的最新監(jiān)控?cái)?shù)據(jù)輸入預(yù)先建立的決策樹(shù)預(yù)測(cè)模型中，其中，該模型用于對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行分析，以獲取該監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽；調(diào)度系統(tǒng)獲取該決策樹(shù)預(yù)測(cè)模型輸出的集群工作狀態(tài)分類(lèi)標(biāo)簽。
[0035]在上述過(guò)程中，由于在調(diào)度系統(tǒng)中，任務(wù)按照預(yù)設(shè)周期執(zhí)行，因此，調(diào)度系統(tǒng)可以選取指定數(shù)目個(gè)任務(wù)，根據(jù)該指定數(shù)目個(gè)任務(wù)的歷史運(yùn)行情況，建立監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽和歷史記錄之間的決策樹(shù)預(yù)測(cè)模型。
[0036]具體的，調(diào)度系統(tǒng)建立該決策樹(shù)預(yù)測(cè)模型的過(guò)程，包括:調(diào)度系統(tǒng)選取指定數(shù)目個(gè)指定任務(wù)；并確定預(yù)設(shè)時(shí)間段；調(diào)度系統(tǒng)從歷史記錄中，選取上述每一個(gè)指定任務(wù)對(duì)應(yīng)的預(yù)設(shè)時(shí)間段內(nèi)的歷史記錄，作為樣本歷史記錄，例如，調(diào)度系統(tǒng)選取20個(gè)指定任務(wù)，選取的預(yù)設(shè)時(shí)間段為自2015年3月I日起的60天，則調(diào)度系統(tǒng)選取該20個(gè)指定任務(wù)分別對(duì)應(yīng)的自2015年3月I日起60天內(nèi)的歷史記錄，將選取的歷史記錄作為樣本歷史記錄；將選取得到的樣本歷史記錄劃分為異常歷史記錄以及正常歷史記錄；根據(jù)該異常歷史記錄和正常歷史記錄，確定相應(yīng)的樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽。
[0037]其中，所述集群工作狀態(tài)分類(lèi)標(biāo)簽可以?xún)H包含空閑和繁忙兩種，所述集群工作狀態(tài)分類(lèi)標(biāo)簽還可以為繁忙程度等級(jí)；根據(jù)該樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，以及樣本監(jiān)控?cái)?shù)據(jù)中包含的jobtracker狀態(tài)信息，計(jì)算預(yù)測(cè)參數(shù)；根據(jù)計(jì)算得到的預(yù)測(cè)參數(shù)，建立決策樹(shù)預(yù)測(cè)模型。
[0038]可選的，調(diào)度系統(tǒng)可以通過(guò)調(diào)度服務(wù)器和存儲(chǔ)服務(wù)器之間的Rest API接口獲取存儲(chǔ)服務(wù)器中保存的歷史記錄。
[0039]可選的，將歷史記錄劃分為異常歷史記錄以及正常歷史記錄的過(guò)程，具體包括:由于在調(diào)度系統(tǒng)中，任務(wù)是按照預(yù)設(shè)周期執(zhí)行，且每一個(gè)任務(wù)的運(yùn)行時(shí)長(zhǎng)較為穩(wěn)定，因此，根據(jù)每一個(gè)任務(wù)對(duì)應(yīng)的每一條歷史記錄所記錄的運(yùn)行時(shí)長(zhǎng)，即可計(jì)算指定時(shí)間段內(nèi)該任務(wù)的平均運(yùn)行時(shí)長(zhǎng)；根據(jù)計(jì)算得到的平均運(yùn)行時(shí)長(zhǎng)，以及預(yù)設(shè)的運(yùn)行時(shí)長(zhǎng)參數(shù)，計(jì)算運(yùn)行時(shí)長(zhǎng)門(mén)限值，如平均運(yùn)行時(shí)長(zhǎng)為a，運(yùn)行時(shí)長(zhǎng)參數(shù)為b，運(yùn)行時(shí)長(zhǎng)門(mén)限值即為(aXb)，其中，該運(yùn)行時(shí)長(zhǎng)參數(shù)為根據(jù)具體應(yīng)用場(chǎng)景預(yù)先設(shè)置的值，如該運(yùn)行時(shí)長(zhǎng)參數(shù)可以選取為30% ;若獲取到的歷史記錄中存在任意一歷史數(shù)據(jù)記錄所記錄的運(yùn)行時(shí)長(zhǎng)大于運(yùn)行時(shí)長(zhǎng)門(mén)限值，則將該任意一歷史數(shù)據(jù)確定為異常歷史記錄；否則，將該任意一歷史記錄確定為正常歷史記錄。
[0040]可選的，調(diào)度系統(tǒng)根據(jù)異常歷史記錄和正常歷史記錄，確定樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽的過(guò)程，具體包括:針對(duì)任意一異常歷史記錄，執(zhí)行如下操作，獲取該任意一異常歷史記錄的運(yùn)行時(shí)間段；從樣本監(jiān)控?cái)?shù)據(jù)中，選取該任意一異常歷史記錄對(duì)應(yīng)的運(yùn)行時(shí)間段內(nèi)的樣本監(jiān)控?cái)?shù)據(jù)，將選取的樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽確定為繁忙；針對(duì)任意一正常歷史記錄，執(zhí)行如下操作，獲取該任意一正常歷史記錄的運(yùn)行時(shí)間段；從樣本監(jiān)控?cái)?shù)據(jù)中，選取該任意一正常歷史記錄對(duì)應(yīng)的運(yùn)行時(shí)間段內(nèi)的樣本監(jiān)控?cái)?shù)據(jù)，將選取的樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽確定為空閑。
[0041]進(jìn)一步的，調(diào)度系統(tǒng)確定相應(yīng)的樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽之后，調(diào)度系統(tǒng)還可以將樣本監(jiān)控?cái)?shù)據(jù)中，集群工作狀態(tài)分類(lèi)標(biāo)簽為空閑的樣本監(jiān)控?cái)?shù)據(jù)平分為第一空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)和第二空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)；將樣本監(jiān)控?cái)?shù)據(jù)中，集群工作狀態(tài)分類(lèi)標(biāo)簽為繁忙的樣本監(jiān)控?cái)?shù)據(jù)平分為第一繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)和第二繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)，以及將第一空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)和第一繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)進(jìn)行組合，作為訓(xùn)練樣本集合，將第二空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)和第二繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)進(jìn)行組合，作為測(cè)試樣本集合。例如，樣本監(jiān)控?cái)?shù)據(jù)的總數(shù)目為1440條，其中，繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)的數(shù)目為134條，空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)的數(shù)目為1266條；從繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)中隨機(jī)選取67條作為第一繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)，將繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)中剩余的67條繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)作為第二繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)，同理，從空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)中隨機(jī)選取633條作為第一空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)，將空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)中剩余的633條空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)作為第二空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)；調(diào)度系統(tǒng)將將第一空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)和第一繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)進(jìn)行組合，作為訓(xùn)練樣本集合，將第二空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)和第二繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)進(jìn)行組合，作為測(cè)試樣本集合。
[0042]可選的，對(duì)測(cè)試樣本集合進(jìn)行訓(xùn)練，生成決策樹(shù)預(yù)測(cè)模型。
[0043]采用上述技術(shù)方案，調(diào)度系統(tǒng)將樣本監(jiān)控?cái)?shù)據(jù)分為測(cè)試樣本集合和訓(xùn)練樣本集合，且測(cè)試樣本集合和訓(xùn)練樣本集合中均包含繁忙態(tài)樣本監(jiān)控?cái)?shù)據(jù)和空閑態(tài)樣本監(jiān)控?cái)?shù)據(jù)，調(diào)度系統(tǒng)根據(jù)訓(xùn)練樣本集合中包含的樣本監(jiān)控?cái)?shù)據(jù)訓(xùn)練得到?jīng)Q策樹(shù)預(yù)測(cè)模型，并采用測(cè)試樣本集合中包含的樣本監(jiān)控?cái)?shù)據(jù)對(duì)決策樹(shù)預(yù)測(cè)模型進(jìn)行測(cè)試，進(jìn)一步確保了建立的決策樹(shù)模型的準(zhǔn)確性。
[0044]可選的，根據(jù)該樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，以及樣本監(jiān)控?cái)?shù)據(jù)中包含的jobtracker狀態(tài)信息，采用C4.5算法計(jì)算預(yù)測(cè)參數(shù)，計(jì)算預(yù)測(cè)參數(shù)。其中，由于jobtracker狀態(tài)信息中包含的Map Task Capacity,Reduce Task Capacity,Occupied MapSlots，Occupied Reduce Slots, Nodes, Blacklisted/Gray listed Nodes 與 Hadoop 的集群規(guī)模有關(guān)，若在某一時(shí)刻增加了 Hadoop中包含的節(jié)點(diǎn)，則上述jobtracker狀態(tài)信息將發(fā)生變化，建立的決策樹(shù)預(yù)測(cè)模型將存在適用性范圍小的問(wèn)題；為了使建立的決策樹(shù)預(yù)測(cè)模型適用于各種集群規(guī)模的Hadoop，可以將jobtracker狀態(tài)信息進(jìn)行轉(zhuǎn)換，轉(zhuǎn)換為比例值狀態(tài)(以下稱(chēng)為狀態(tài)信息比例指標(biāo))，轉(zhuǎn)換后得到的jobtracker狀態(tài)信息比例指標(biāo)參閱圖5所不O
[0045]基于上述訓(xùn)練結(jié)果，可以得到j(luò)obtracker狀態(tài)信息比例指標(biāo)中，僅包含ReduceSlot占用率，map Slots占用率，節(jié)點(diǎn)在線(xiàn)率，jobtracker內(nèi)存使用率四項(xiàng)與監(jiān)控?cái)?shù)據(jù)的繁忙程度相關(guān)；基于此，調(diào)度系統(tǒng)計(jì)算得到的預(yù)測(cè)參數(shù)即為上述四項(xiàng)jobtracker狀態(tài)信息比例指標(biāo)的參數(shù)?；谏鲜龅玫降念A(yù)測(cè)參數(shù)，建立如圖6所示的決策樹(shù)預(yù)測(cè)模型。
[0046]步驟220:根據(jù)上述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，對(duì)待處理任務(wù)進(jìn)行調(diào)度。
[0047]本發(fā)明實(shí)施例中，當(dāng)監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽為繁忙時(shí)，當(dāng)前時(shí)刻調(diào)度系統(tǒng)不對(duì)待處理任務(wù)進(jìn)行調(diào)度；當(dāng)監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽為空閑時(shí)，當(dāng)前時(shí)刻調(diào)度系統(tǒng)調(diào)度待處理任務(wù)。
[0048]可選的，調(diào)度系統(tǒng)中還包含若干通用lisp文件，用于提供基礎(chǔ)功能，其包含Timer，Result，Decis1nTree等；參閱圖1所示，為本發(fā)明實(shí)施例中Iisp文件中的功能文件調(diào)用關(guān)系示意圖，其中，Timer文件提供了時(shí)間格式轉(zhuǎn)換功能，Result提供了對(duì)基礎(chǔ)存儲(chǔ)服務(wù)模塊返回結(jié)果的解析功能，Decis1nTree提供了一個(gè)基于C4.5算法的決策樹(shù)訓(xùn)練、展示、保存、分類(lèi)的功能。
[0049]基于上述技術(shù)方案，參閱圖8所示，本發(fā)明實(shí)施例提供一種任務(wù)調(diào)度裝置，包括監(jiān)控?cái)?shù)據(jù)獲取單元80，集群工作狀態(tài)分類(lèi)標(biāo)簽獲取單元81，以及調(diào)度單元82，其中:
[0050]監(jiān)控?cái)?shù)據(jù)獲取單元80，用于實(shí)時(shí)采集監(jiān)控?cái)?shù)據(jù)；其中，所述監(jiān)控?cái)?shù)據(jù)用于表征當(dāng)前時(shí)刻所述管理節(jié)點(diǎn)的狀態(tài)信息；
[0051]分類(lèi)標(biāo)簽獲取單元81，用于將采集到的最新監(jiān)控?cái)?shù)據(jù)輸入預(yù)先建立的決策樹(shù)預(yù)測(cè)模型中，獲取所述決策樹(shù)預(yù)測(cè)模型輸出的集群工作狀態(tài)分類(lèi)標(biāo)簽；其中，所述集群工作狀態(tài)分類(lèi)標(biāo)簽用于表征當(dāng)前時(shí)刻集群的繁忙程度；
[0052]調(diào)度單元82，用于根據(jù)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，對(duì)待處理任務(wù)進(jìn)行調(diào)度。
[0053]進(jìn)一步的，所述裝置還包括決策樹(shù)預(yù)測(cè)模型建立單元83，用于:獲取預(yù)設(shè)數(shù)目個(gè)任務(wù)；并從歷史記錄中，分別選取每一個(gè)獲取的任務(wù)對(duì)應(yīng)的預(yù)設(shè)時(shí)間段內(nèi)的歷史記錄；其中，所述歷史記錄為所述任務(wù)執(zhí)行過(guò)程中生成的記錄；將選取的所述歷史記錄劃分為異常歷史記錄以及正常歷史記錄；根據(jù)所述異常歷史記錄和所述正常歷史記錄，確定所述歷史記錄對(duì)應(yīng)的樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽；根據(jù)所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，以及所述樣本監(jiān)控?cái)?shù)據(jù)中包含的管理節(jié)點(diǎn)的狀態(tài)信息，計(jì)算預(yù)測(cè)參數(shù)；根據(jù)所述預(yù)測(cè)參數(shù)，建立決策樹(shù)預(yù)測(cè)模型。
[0054]可選的，所述決策樹(shù)預(yù)測(cè)模型建立單元83將選取的所述歷史記錄劃分為異常歷史記錄以及正常歷史記錄，具體包括:針對(duì)任意一獲取的任務(wù)，執(zhí)行如下操作:分別獲取所述任意一獲取的任務(wù)對(duì)應(yīng)的每一條選取得到的歷史記錄所記錄的運(yùn)行時(shí)長(zhǎng)；根據(jù)每一條選取得到的歷史記錄所記錄的運(yùn)行時(shí)長(zhǎng)，計(jì)算所述任意一獲取的任務(wù)的平均運(yùn)行時(shí)長(zhǎng)；根據(jù)計(jì)算得到的平均運(yùn)行時(shí)長(zhǎng)，以及預(yù)設(shè)的運(yùn)行時(shí)長(zhǎng)參數(shù)，計(jì)算運(yùn)行時(shí)長(zhǎng)門(mén)限值；若選取得到的歷史記錄中存在任意一歷史記錄所記錄的運(yùn)行時(shí)長(zhǎng)大于所述運(yùn)行時(shí)長(zhǎng)門(mén)限值，則將所述任意一歷史記錄確定為異常歷史記錄；否則，將所述任意一歷史記錄確定為正常歷史記錄。
[0055]可選的，所述決策樹(shù)預(yù)測(cè)模型建立單元83根據(jù)所述異常歷史記錄和所述正常歷史記錄，確定所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，具體包括:針對(duì)任意一異常歷史記錄，執(zhí)行如下操作:獲取所述任意一異常歷史記錄所記錄的運(yùn)行時(shí)間段；從樣本監(jiān)控?cái)?shù)據(jù)中，選取所述任意一異常歷史記錄所記錄的運(yùn)行時(shí)間段內(nèi)的樣本監(jiān)控?cái)?shù)據(jù)，將選取的所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽確定為繁忙；針對(duì)任意一正常歷史記錄，執(zhí)行如下操作:獲取所述任意一正常歷史記錄所記錄的運(yùn)行時(shí)間段；從樣本監(jiān)控?cái)?shù)據(jù)中，選取所述任意一正常歷史記錄所記錄的運(yùn)行時(shí)間段內(nèi)的樣本監(jiān)控?cái)?shù)據(jù)，將選取的所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽確定為空閑。
[0056]可選的，所述調(diào)度單元82，具體用于:當(dāng)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽為繁忙時(shí)，當(dāng)前時(shí)刻不對(duì)所述待處理任務(wù)進(jìn)行調(diào)度；當(dāng)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽為空閑時(shí)，當(dāng)前時(shí)刻調(diào)度所述待處理任務(wù)。
[0057]綜上所述，本發(fā)明實(shí)施例中，調(diào)度系統(tǒng)獲取最新采集到的監(jiān)控?cái)?shù)據(jù)；該監(jiān)控?cái)?shù)據(jù)用于表征當(dāng)前時(shí)刻jobtracker狀態(tài)信息；將上述最新采集到的監(jiān)控?cái)?shù)據(jù)輸入預(yù)先建立的決策樹(shù)預(yù)測(cè)模型中，獲取該決策樹(shù)預(yù)測(cè)模型輸出的集群狀態(tài)分類(lèi)標(biāo)簽；其中，該分類(lèi)標(biāo)簽用于表征當(dāng)前時(shí)刻所述調(diào)度系統(tǒng)的繁忙程度；根據(jù)上述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群狀態(tài)分類(lèi)標(biāo)簽，對(duì)待處理任務(wù)進(jìn)行調(diào)度。采用本發(fā)明技術(shù)方案，調(diào)度系統(tǒng)根據(jù)能夠反映當(dāng)前時(shí)刻jobtracker狀態(tài)信息的監(jiān)控?cái)?shù)據(jù)，以及決策樹(shù)預(yù)測(cè)模型，確定當(dāng)前時(shí)刻集群的繁忙程度，由于jobtracker用于對(duì)MapReduce計(jì)算作業(yè)的運(yùn)行進(jìn)行管理，因此，通過(guò)jobtracker狀態(tài)信息即能夠?qū)崿F(xiàn)對(duì)MapReduce引擎的分析，從而能夠確定集群的繁忙程度，進(jìn)而僅在調(diào)度系統(tǒng)可分配資源充足的情況下進(jìn)行任務(wù)調(diào)度，提高了數(shù)據(jù)處理效率，有效提高了系統(tǒng)性能。
[0058]以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說(shuō)明的單元可以是或者也可以不是物理上分開(kāi)的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來(lái)實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動(dòng)的情況下，即可以理解并實(shí)施。
[0059]通過(guò)以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺(tái)的方式來(lái)實(shí)現(xiàn)，當(dāng)然也可以通過(guò)硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說(shuō)對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來(lái)，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如R0M/RAM、磁碟、光盤(pán)等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0060]最后應(yīng)說(shuō)明的是:以上實(shí)施例僅用以說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，而非對(duì)其限制；盡管參照前述實(shí)施例對(duì)本發(fā)明實(shí)施例進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明實(shí)施例各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1.一種任務(wù)調(diào)度方法，應(yīng)用于調(diào)度系統(tǒng)為集群進(jìn)行任務(wù)調(diào)度的過(guò)程中，其特征在于，包括: 實(shí)時(shí)采集監(jiān)控?cái)?shù)據(jù)；其中，所述監(jiān)控?cái)?shù)據(jù)用于表征當(dāng)前時(shí)刻所述管理節(jié)點(diǎn)的狀態(tài)信息; 將采集到的最新監(jiān)控?cái)?shù)據(jù)輸入預(yù)先建立的決策樹(shù)預(yù)測(cè)模型中，獲取所述決策樹(shù)預(yù)測(cè)模型輸出的集群工作狀態(tài)分類(lèi)標(biāo)簽；其中，所述集群工作狀態(tài)分類(lèi)標(biāo)簽用于表征當(dāng)前時(shí)刻集群的繁忙程度； 根據(jù)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，對(duì)待處理任務(wù)進(jìn)行調(diào)度。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，建立所述決策樹(shù)預(yù)測(cè)模型，具體包括: 獲取預(yù)設(shè)數(shù)目個(gè)任務(wù)；并 從歷史記錄中，分別選取每一個(gè)獲取的任務(wù)對(duì)應(yīng)的預(yù)設(shè)時(shí)間段內(nèi)的歷史記錄；其中，所述歷史記錄為所述任務(wù)執(zhí)行過(guò)程中生成的記錄； 將選取的所述歷史記錄劃分為異常歷史記錄以及正常歷史記錄； 根據(jù)所述異常歷史記錄和所述正常歷史記錄，確定所述歷史記錄對(duì)應(yīng)的樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽； 根據(jù)所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，以及所述樣本監(jiān)控?cái)?shù)據(jù)中包含的管理節(jié)點(diǎn)的狀態(tài)信息，計(jì)算預(yù)測(cè)參數(shù)； 根據(jù)所述預(yù)測(cè)參數(shù)，建立決策樹(shù)預(yù)測(cè)模型。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，將選取的所述歷史記錄劃分為異常歷史記錄以及正常歷史記錄，具體包括: 針對(duì)任意一獲取的任務(wù)，執(zhí)行如下操作: 分別獲取所述任意一獲取的任務(wù)對(duì)應(yīng)的每一條選取得到的歷史記錄所記錄的運(yùn)行時(shí)長(zhǎng); 根據(jù)每一條選取得到的歷史記錄所記錄的運(yùn)行時(shí)長(zhǎng)，計(jì)算所述任意一獲取的任務(wù)的平均運(yùn)行時(shí)長(zhǎng)； 根據(jù)計(jì)算得到的平均運(yùn)行時(shí)長(zhǎng)，以及預(yù)設(shè)的運(yùn)行時(shí)長(zhǎng)參數(shù)，計(jì)算運(yùn)行時(shí)長(zhǎng)門(mén)限值；若選取得到的歷史記錄中存在任意一歷史記錄所記錄的運(yùn)行時(shí)長(zhǎng)大于所述運(yùn)行時(shí)長(zhǎng)門(mén)限值，則將所述任意一歷史記錄確定為異常歷史記錄；否則，將所述任意一歷史記錄確定為正常歷史記錄。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)所述異常歷史記錄和所述正常歷史記錄，確定所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，具體包括: 針對(duì)任意一異常歷史記錄，執(zhí)行如下操作:獲取所述任意一異常歷史記錄所記錄的運(yùn)行時(shí)間段；從樣本監(jiān)控?cái)?shù)據(jù)中，選取所述任意一異常歷史記錄所記錄的運(yùn)行時(shí)間段內(nèi)的樣本監(jiān)控?cái)?shù)據(jù)，將選取的所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽確定為繁忙； 針對(duì)任意一正常歷史記錄，執(zhí)行如下操作:獲取所述任意一正常歷史記錄所記錄的運(yùn)行時(shí)間段；從樣本監(jiān)控?cái)?shù)據(jù)中，選取所述任意一正常歷史記錄所記錄的運(yùn)行時(shí)間段內(nèi)的樣本監(jiān)控?cái)?shù)據(jù)，將選取的所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽確定為空閑。5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，根據(jù)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，對(duì)待處理任務(wù)進(jìn)行調(diào)度，具體包括: 當(dāng)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽為繁忙時(shí)，當(dāng)前時(shí)刻不對(duì)所述待處理任務(wù)進(jìn)行調(diào)度； 當(dāng)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽為空閑時(shí)，當(dāng)前時(shí)刻調(diào)度所述待處理任務(wù)。6.一種任務(wù)調(diào)度裝置，應(yīng)用于調(diào)度系統(tǒng)為集群進(jìn)行任務(wù)調(diào)度的過(guò)程中，其特征在于，包括: 監(jiān)控?cái)?shù)據(jù)獲取單元，用于實(shí)時(shí)采集監(jiān)控?cái)?shù)據(jù)；其中，所述監(jiān)控?cái)?shù)據(jù)用于表征當(dāng)前時(shí)刻所述管理節(jié)點(diǎn)的狀態(tài)信息； 分類(lèi)標(biāo)簽獲取單元，用于將采集到的最新監(jiān)控?cái)?shù)據(jù)輸入預(yù)先建立的決策樹(shù)預(yù)測(cè)模型中，獲取所述決策樹(shù)預(yù)測(cè)模型輸出的集群工作狀態(tài)分類(lèi)標(biāo)簽；其中，所述集群工作狀態(tài)分類(lèi)標(biāo)簽用于表征當(dāng)前時(shí)刻集群的繁忙程度； 調(diào)度單元，用于根據(jù)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，對(duì)待處理任務(wù)進(jìn)行調(diào)度。7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，還包括決策樹(shù)預(yù)測(cè)模型建立單元，用于: 獲取預(yù)設(shè)數(shù)目個(gè)任務(wù)；并從歷史記錄中，分別選取每一個(gè)獲取的任務(wù)對(duì)應(yīng)的預(yù)設(shè)時(shí)間段內(nèi)的歷史記錄；其中，所述歷史記錄為所述任務(wù)執(zhí)行過(guò)程中生成的記錄； 將選取的所述歷史記錄劃分為異常歷史記錄以及正常歷史記錄； 根據(jù)所述異常歷史記錄和所述正常歷史記錄，確定所述歷史記錄對(duì)應(yīng)的樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽； 根據(jù)所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，以及所述樣本監(jiān)控?cái)?shù)據(jù)中包含的管理節(jié)點(diǎn)的狀態(tài)信息，計(jì)算預(yù)測(cè)參數(shù)； 根據(jù)所述預(yù)測(cè)參數(shù)，建立決策樹(shù)預(yù)測(cè)模型。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述決策樹(shù)預(yù)測(cè)模型建立單元將選取的所述歷史記錄劃分為異常歷史記錄以及正常歷史記錄，具體包括: 針對(duì)任意一獲取的任務(wù)，執(zhí)行如下操作: 分別獲取所述任意一獲取的任務(wù)對(duì)應(yīng)的每一條選取得到的歷史記錄所記錄的運(yùn)行時(shí)長(zhǎng); 根據(jù)每一條選取得到的歷史記錄所記錄的運(yùn)行時(shí)長(zhǎng)，計(jì)算所述任意一獲取的任務(wù)的平均運(yùn)行時(shí)長(zhǎng)； 根據(jù)計(jì)算得到的平均運(yùn)行時(shí)長(zhǎng)，以及預(yù)設(shè)的運(yùn)行時(shí)長(zhǎng)參數(shù)，計(jì)算運(yùn)行時(shí)長(zhǎng)門(mén)限值；若選取得到的歷史記錄中存在任意一歷史記錄所記錄的運(yùn)行時(shí)長(zhǎng)大于所述運(yùn)行時(shí)長(zhǎng)門(mén)限值，則將所述任意一歷史記錄確定為異常歷史記錄；否則，將所述任意一歷史記錄確定為正常歷史記錄。9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述決策樹(shù)預(yù)測(cè)模型建立單元根據(jù)所述異常歷史記錄和所述正常歷史記錄，確定所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽，具體包括: 針對(duì)任意一異常歷史記錄，執(zhí)行如下操作:獲取所述任意一異常歷史記錄所記錄的運(yùn)行時(shí)間段；從樣本監(jiān)控?cái)?shù)據(jù)中，選取所述任意一異常歷史記錄所記錄的運(yùn)行時(shí)間段內(nèi)的樣本監(jiān)控?cái)?shù)據(jù)，將選取的所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽確定為繁忙； 針對(duì)任意一正常歷史記錄，執(zhí)行如下操作:獲取所述任意一正常歷史記錄所記錄的運(yùn)行時(shí)間段；從樣本監(jiān)控?cái)?shù)據(jù)中，選取所述任意一正常歷史記錄所記錄的運(yùn)行時(shí)間段內(nèi)的樣本監(jiān)控?cái)?shù)據(jù)，將選取的所述樣本監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽確定為空閑。10.根據(jù)權(quán)利要求6-9任一項(xiàng)所述的裝置，其特征在于，所述調(diào)度單元，具體用于:當(dāng)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽為繁忙時(shí)，當(dāng)前時(shí)刻不對(duì)所述待處理任務(wù)進(jìn)行調(diào)度； 當(dāng)所述監(jiān)控?cái)?shù)據(jù)對(duì)應(yīng)的集群工作狀態(tài)分類(lèi)標(biāo)簽為空閑時(shí)，當(dāng)前時(shí)刻調(diào)度所述待處理任務(wù)。
【文檔編號(hào)】G06F17/30GK105868222SQ201510595417
【公開(kāi)日】2016年8月17日
【申請(qǐng)日】2015年9月17日
【發(fā)明人】許鷺清, 陳抒
【申請(qǐng)人】樂(lè)視網(wǎng)信息技術(shù)（北京）股份有限公司