確定任務(wù)消耗資源的方法及裝置的制造方法
【專利摘要】本公開實(shí)施例提供了一種確定任務(wù)消耗資源的方法及裝置，所示方法包括：獲取集群任務(wù)的任務(wù)記錄，所述任務(wù)記錄包括：任務(wù)執(zhí)行時(shí)啟動(dòng)的任務(wù)進(jìn)程；計(jì)算每個(gè)任務(wù)進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間；統(tǒng)計(jì)集群任務(wù)啟動(dòng)的多個(gè)任務(wù)進(jìn)程占用的預(yù)設(shè)單位資源的總資源占用時(shí)間；根據(jù)所述總資源占用時(shí)間及預(yù)設(shè)單位資源確定所述集群任務(wù)在執(zhí)行時(shí)消耗的集群資源。本公開能夠確定每個(gè)集群任務(wù)在執(zhí)行時(shí)占用的集群資源，便于追蹤每天在集群中計(jì)算的集群任務(wù)消耗的資源。
【專利說明】
確定任務(wù)消耗資源的方法及裝置
技術(shù)領(lǐng)域
[0001]本公開涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種確定任務(wù)消耗資源的方法及裝置。
【背景技術(shù)】
[0002]Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)(Hadoop Distributed File System)，簡稱HDFS。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力進(jìn)行高速運(yùn)算和存儲(chǔ)。集群中一般包含多個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)上的(PU資源和存儲(chǔ)資源等。
[0003]在實(shí)際應(yīng)用中，一個(gè)企業(yè)中的Hadoop集群在實(shí)際應(yīng)用中可能會(huì)由企業(yè)中很多的研發(fā)人員使用，由于每個(gè)提交到集群中的任務(wù)在執(zhí)行時(shí)均需要消耗一定的資源，例如(PU資源和存儲(chǔ)資源等，對(duì)于一些研發(fā)人員提供的需要消耗很多集群資源的程序，可能會(huì)造成資源的爭搶，可能還會(huì)影響其它集群任務(wù)的運(yùn)行。

【發(fā)明內(nèi)容】

[0004]為克服相關(guān)技術(shù)中存在的問題，本公開提供一種確定任務(wù)消耗資源的方法及裝置。
[0005]根據(jù)本公開實(shí)施例的第一方面，提供一種確定任務(wù)消耗資源的方法，包括:
[0006]獲取集群任務(wù)的任務(wù)記錄，所述任務(wù)記錄包括:任務(wù)執(zhí)行時(shí)啟動(dòng)的任務(wù)進(jìn)程；
[0007]計(jì)算每個(gè)任務(wù)進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間；
[0008]統(tǒng)計(jì)集群任務(wù)啟動(dòng)的多個(gè)任務(wù)進(jìn)程占用的預(yù)設(shè)單位資源的總資源占用時(shí)間；
[0009]根據(jù)所述總資源占用時(shí)間及預(yù)設(shè)單位資源確定所述集群任務(wù)在執(zhí)行時(shí)消耗的集群資源。
[0010]可選地，所述方法還包括:
[0011]統(tǒng)計(jì)集群中每個(gè)節(jié)點(diǎn)上的多維度資源；
[0012]將每個(gè)節(jié)點(diǎn)上的多維度資源劃分成多個(gè)單維度的預(yù)設(shè)單位資源。
[0013]可選地，所述方法還包括:
[0014]獲取預(yù)設(shè)集群資源與任務(wù)優(yōu)先級(jí)的對(duì)應(yīng)關(guān)系；
[0015]將與所述集群任務(wù)消耗的集群資源對(duì)應(yīng)的任務(wù)優(yōu)先級(jí)確定為所述集群任務(wù)的優(yōu)先級(jí)。
[0016]可選地，所述任務(wù)記錄還包括:嘗試進(jìn)程；
[0017]所述計(jì)算每個(gè)任務(wù)進(jìn)程在對(duì)應(yīng)的所述進(jìn)程時(shí)間內(nèi)占用預(yù)設(shè)單位資源的資源占用時(shí)間包括:
[0018]針對(duì)每個(gè)任務(wù)進(jìn)程，獲取每個(gè)任務(wù)進(jìn)程啟動(dòng)的嘗試進(jìn)程；
[0019]當(dāng)存在運(yùn)行成功的嘗試進(jìn)程時(shí)，統(tǒng)計(jì)運(yùn)行成功的嘗試進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間。
[0020]可選地，所述獲取集群任務(wù)的任務(wù)記錄包括:
[0021 ]通過預(yù)設(shè)接口以負(fù)載均衡的方式獲取集群任務(wù)的任務(wù)記錄。
[0022]根據(jù)本公開實(shí)施例的第二方面，提供一種確定任務(wù)消耗資源的裝置，包括:
[0023]第一獲取模塊，用于獲取集群任務(wù)的任務(wù)記錄，所述任務(wù)記錄包括:任務(wù)執(zhí)行時(shí)啟動(dòng)的任務(wù)進(jìn)程；
[0024]計(jì)算模塊，用于計(jì)算每個(gè)任務(wù)進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間；
[0025]第一統(tǒng)計(jì)模塊，用于統(tǒng)計(jì)集群任務(wù)啟動(dòng)的多個(gè)任務(wù)進(jìn)程占用的預(yù)設(shè)單位資源的總資源占用時(shí)間；
[0026]第一確定模塊，用于根據(jù)所述總資源占用時(shí)間及預(yù)設(shè)單位資源確定所述集群任務(wù)在執(zhí)行時(shí)消耗的集群資源。
[0027]可選地，所述裝置還包括:
[0028]第二統(tǒng)計(jì)模塊，用于統(tǒng)計(jì)集群中每個(gè)節(jié)點(diǎn)上的多維度資源；
[0029]劃分模塊，用于將每個(gè)節(jié)點(diǎn)上的多維度資源劃分成多個(gè)單維度的預(yù)設(shè)單位資源。
[0030]可選地，所述裝置還包括:
[0031]第二獲取模塊，用于獲取預(yù)設(shè)集群資源與任務(wù)優(yōu)先級(jí)的對(duì)應(yīng)關(guān)系；
[0032]第二確定模塊，用于將與所述集群任務(wù)消耗的集群資源對(duì)應(yīng)的任務(wù)優(yōu)先級(jí)確定為所述集群任務(wù)的優(yōu)先級(jí)。
[0033]可選地，所述任務(wù)記錄還包括:嘗試進(jìn)程；
[0034]所述計(jì)算模塊包括:
[0035]第一獲取子模塊，用于針對(duì)每個(gè)任務(wù)進(jìn)程，獲取每個(gè)任務(wù)進(jìn)程啟動(dòng)的嘗試進(jìn)程；
[0036]統(tǒng)計(jì)子模塊，用于當(dāng)存在運(yùn)行成功的嘗試進(jìn)程時(shí)，統(tǒng)計(jì)運(yùn)行成功的嘗試進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間。
[0037]可選地，所述第一獲取模塊包括:
[0038]第二獲取子模塊，用于通過預(yù)設(shè)接口以負(fù)載均衡的方式獲取集群任務(wù)的任務(wù)記錄。
[0039]本公開的實(shí)施例提供的技術(shù)方案可以包括以下有益效果:
[0040]本公開通過獲取集群任務(wù)的任務(wù)記錄，所述任務(wù)記錄包括:任務(wù)執(zhí)行時(shí)啟動(dòng)的任務(wù)進(jìn)程;計(jì)算每個(gè)任務(wù)進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間；統(tǒng)計(jì)集群任務(wù)啟動(dòng)的多個(gè)任務(wù)進(jìn)程占用的預(yù)設(shè)單位資源的總資源占用時(shí)間；根據(jù)所述總資源占用時(shí)間及預(yù)設(shè)單位資源確定所述集群任務(wù)在執(zhí)行時(shí)消耗的集群資源。
[0041 ]本公開提供的該方法，能夠確定每個(gè)集群任務(wù)在執(zhí)行時(shí)占用的集群資源，便于追蹤每天在集群中計(jì)算的集群任務(wù)消耗的資源，進(jìn)而便于按照部門、用戶或者業(yè)務(wù)進(jìn)行分析，找出資源占用最低的集群任務(wù)，便于統(tǒng)計(jì)各個(gè)部門或者各個(gè)業(yè)務(wù)線的資源消耗，進(jìn)而便于指導(dǎo)各部門優(yōu)化計(jì)算任務(wù)，有利于控制集群建設(shè)的成本控制。
[0042]應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開。
【附圖說明】
[0043]此處的附圖被并入說明書中并構(gòu)成本說明書的一部分，示出了符合本發(fā)明的實(shí)施例，并與說明書一起用于解釋本發(fā)明的原理。
[0044]圖1是根據(jù)一示例性實(shí)施例示出的一種確定任務(wù)消耗資源的方法的一種流程圖；
[0045]圖2是根據(jù)一示例性實(shí)施例示出的一種確定任務(wù)消耗資源的方法的另一種流程圖；
[0046]圖3是根據(jù)一示例性實(shí)施例示出的一種確定任務(wù)消耗資源的方法的另一種流程圖；
[0047]圖4是根據(jù)一示例性實(shí)施例示出的一種確定任務(wù)消耗資源的裝置的結(jié)構(gòu)圖。
【具體實(shí)施方式】
[0048]這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本發(fā)明相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本發(fā)明的一些方面相一致的裝置和方法的例子。
[0049]如圖1所示，在本公開的又一實(shí)施例中，提供一種確定任務(wù)消耗資源的方法，應(yīng)用于服務(wù)器，包括以下步驟。
[0050]在步驟SlOl中，獲取集群任務(wù)的任務(wù)記錄。
[0051]在本公開實(shí)施例中，所述任務(wù)記錄包括:任務(wù)執(zhí)行時(shí)啟動(dòng)的任務(wù)進(jìn)程，服務(wù)器可以通過預(yù)設(shè)接口以負(fù)載均衡的方式獲取集群任務(wù)的任務(wù)記錄。
[0052]在該步驟中，集群任務(wù)可以為提交到Hadoop集群中的任務(wù)，對(duì)于每一個(gè)運(yùn)行完成的MapReduce任務(wù)，JobTracker都記錄了該任務(wù)的詳細(xì)信息，包括任務(wù)的基本配置信息和該MapReduce任務(wù)具體執(zhí)行情況。這些信息都可以從JobTracker的Web站點(diǎn)以及各個(gè)子頁面里獲取得到;數(shù)據(jù)收集程序是一個(gè)Newlisp腳本，該腳本通過Http Get的方式請(qǐng)求JobTracker站點(diǎn)指定頁面的內(nèi)容，并對(duì)內(nèi)容進(jìn)行解析，獲取到指定的MapReduce任務(wù)的詳細(xì)信息。一般地，收集的信息具體分為三類:
[0053]I)任務(wù)的基本信息；
[0054]包括:任務(wù)Id、用戶名、任務(wù)名稱、Hive執(zhí)行語句、任務(wù)提交機(jī)器、任務(wù)提交機(jī)器ip、任務(wù)提交時(shí)間、任務(wù)Launch時(shí)間、任務(wù)Launch耗時(shí)、任務(wù)結(jié)束時(shí)間、任務(wù)總共耗時(shí)、任務(wù)運(yùn)行結(jié)果、失敗信息。
[0055]2)任務(wù)運(yùn)行的統(tǒng)計(jì)信息；
[0056]包括:各種Task的數(shù)目、成功運(yùn)行的Task數(shù)目、失敗的Task數(shù)目、殺死的Task數(shù)目、各個(gè)階段(Setup、Map、Reduce、Cleanup)的開始時(shí)間、結(jié)束時(shí)間、總耗時(shí)、各個(gè)Counter的統(tǒng)計(jì)值。
[0057]3)每個(gè)Task的每個(gè)Attempt執(zhí)行的詳細(xì)信息；
[0058]包括:Attempt的id、所屬Task id、Attempt開始時(shí)間、Shuff Ie階段結(jié)束時(shí)間、Shuf fie階段耗時(shí)、Sort階段結(jié)束時(shí)間、sort階段耗時(shí)、Attempt結(jié)束時(shí)間、總共耗時(shí)、執(zhí)行機(jī)器、執(zhí)行結(jié)果、錯(cuò)誤信息、Counter數(shù)目。
[0059]對(duì)于每一個(gè)MapReduce任務(wù)，程序都會(huì)收集上述三類信息，匯總成一條任務(wù)記錄，通過Http的方式發(fā)回到服務(wù)器，服務(wù)器通過REST API的方式接收程序發(fā)送過來的數(shù)據(jù)，為了防止單點(diǎn)，采用了LVS+Nginx+雙機(jī)負(fù)載均衡的方案，數(shù)據(jù)庫采用了MongoDB三機(jī)集群，保證數(shù)據(jù)存儲(chǔ)的高性能和無單點(diǎn)。
[0060]在步驟S102中，計(jì)算每個(gè)任務(wù)進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間。[0061 ]在本公開實(shí)施例中，一個(gè)預(yù)設(shè)單位資源可以指一個(gè)Slot，可以針對(duì)每個(gè)任務(wù)進(jìn)程，獲取每個(gè)任務(wù)進(jìn)程啟動(dòng)的嘗試進(jìn)程；當(dāng)存在運(yùn)行成功的嘗試進(jìn)程時(shí)，統(tǒng)計(jì)運(yùn)行成功的嘗試進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間。
[0062]在該步驟中，當(dāng)一個(gè)集群任務(wù)(即MapReduce任務(wù))運(yùn)行的時(shí)候，總是需要運(yùn)行一定數(shù)目的Map Task和Reduce Task。而每一任務(wù)進(jìn)程(即Task)的運(yùn)行總是要占據(jù)一個(gè)Slot—段時(shí)間，也就是占據(jù)著機(jī)器上的一定的資源一段時(shí)間。
[0063]每個(gè)集群任務(wù)(S卩MapReduce任務(wù))都是由若干個(gè)任務(wù)進(jìn)程(S卩Task)組成，而每一任務(wù)進(jìn)程都可能啟動(dòng)多個(gè)嘗試進(jìn)程(即Attempt)組成，每個(gè)嘗試進(jìn)程是對(duì)完成該任務(wù)進(jìn)程的一次嘗試。在執(zhí)行一次嘗試進(jìn)程的時(shí)候，可能由于運(yùn)行節(jié)點(diǎn)異常導(dǎo)致該嘗試進(jìn)程失敗或是執(zhí)行的異常緩慢，這時(shí)候計(jì)算框架就會(huì)再啟動(dòng)一次嘗試進(jìn)程執(zhí)行相同的任務(wù)進(jìn)程。Hadoop集群使用這種機(jī)制來保證每個(gè)任務(wù)進(jìn)程能夠運(yùn)行成功且任務(wù)不會(huì)因?yàn)橐粋€(gè)任務(wù)進(jìn)程的緩慢而執(zhí)行時(shí)間過長。每個(gè)任務(wù)進(jìn)程的若干次嘗試進(jìn)程只有至多一次會(huì)是運(yùn)行成功的狀態(tài)。
[0064]由于每一個(gè)任務(wù)進(jìn)程的多次嘗試進(jìn)程大多數(shù)情況是由于集群計(jì)算節(jié)點(diǎn)的異常導(dǎo)致的，所以多次嘗試進(jìn)程運(yùn)行的成本不應(yīng)該重復(fù)計(jì)算在每一個(gè)任務(wù)上面，即只計(jì)算一個(gè)任務(wù)中所有運(yùn)行狀態(tài)為SUCCESS的嘗試進(jìn)程的執(zhí)行時(shí)間之和，作為該任務(wù)的任務(wù)進(jìn)程運(yùn)行總時(shí)長。
[0065]在步驟S103中，統(tǒng)計(jì)集群任務(wù)啟動(dòng)的多個(gè)任務(wù)進(jìn)程占用的預(yù)設(shè)單位資源的總資源占用時(shí)間。
[0066]在該步驟中，可以將每個(gè)任務(wù)進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間求和，得到總資源占用時(shí)間。
[0067]在步驟S104中，根據(jù)所述總資源占用時(shí)間及預(yù)設(shè)單位資源確定所述集群任務(wù)在執(zhí)行時(shí)消耗的集群資源。
[0068]由于Hadoop集群的機(jī)器數(shù)目是有限的，每個(gè)機(jī)器上能夠配置的Slot數(shù)目也是一定的，所以集群每天總共能夠提供的Map Task和Reduce Task的運(yùn)行時(shí)間也是一定的，所以本公開實(shí)施例提供的該方法，能夠確定每個(gè)集群任務(wù)在執(zhí)行時(shí)占用的集群資源，便于追蹤每天在集群中計(jì)算的集群任務(wù)消耗的資源，按照部門、用戶或者業(yè)務(wù)進(jìn)行分析，找出資源占用最低的集群任務(wù)，便于統(tǒng)計(jì)各個(gè)部門或者各個(gè)業(yè)務(wù)線的資源消耗，進(jìn)而便于指導(dǎo)各部門優(yōu)化計(jì)算任務(wù)，有利于控制集群建設(shè)的成本控制。
[0069]如圖2所示，在本公開的又一實(shí)施例中，所述方法還包括以下步驟。
[0070]在步驟S201中，統(tǒng)計(jì)集群中每個(gè)節(jié)點(diǎn)上的多維度資源。
[0071]在步驟S202中，將每個(gè)節(jié)點(diǎn)上的多維度資源劃分成多個(gè)單維度的預(yù)設(shè)單位資源。
[0072]在該步驟中，可以將Hadoop集群中各個(gè)節(jié)點(diǎn)上的多維度資源(CPU、內(nèi)存、網(wǎng)絡(luò)I/0和磁盤I/o等)等分成多個(gè)一維度Slot，考慮到Map Task和Reduce Task資源使用量不同，可以將Slot進(jìn)一步劃分成Map Slot和Reduce Slot兩種，并規(guī)定Map Task只能使用Map Slot，Reduce Task只能使用Reduce Slot。
[0073]本公開實(shí)施例能夠?qū)⒏鱾€(gè)節(jié)點(diǎn)上的資源進(jìn)行劃分，得到多個(gè)單維度的預(yù)設(shè)單位資源，以便于根據(jù)每個(gè)任務(wù)進(jìn)程占用的預(yù)設(shè)單位資源的時(shí)時(shí)間確定集群任務(wù)的總資源占用時(shí)間。
[0074]如圖3所示，再本公開的有一個(gè)實(shí)施例中，所述方法還包括以下步驟。
[0075]在步驟S301中，獲取預(yù)設(shè)集群資源與任務(wù)優(yōu)先級(jí)的對(duì)應(yīng)關(guān)系。
[0076]在該步驟中，預(yù)設(shè)集群資源與任務(wù)優(yōu)先級(jí)的對(duì)應(yīng)關(guān)系可以為集群資源的閾值范圍與任務(wù)優(yōu)先級(jí)的對(duì)應(yīng)關(guān)系，例如:集群資源的閾值范圍在100至200時(shí)，對(duì)應(yīng)的優(yōu)先級(jí)為2級(jí)等。
[0077]在步驟S302中，將與所述集群任務(wù)消耗的集群資源對(duì)應(yīng)的任務(wù)優(yōu)先級(jí)確定為所述集群任務(wù)的優(yōu)先級(jí)。
[0078]本公開實(shí)施例提供的該方法，能夠根據(jù)集群任務(wù)的資源消耗情況，確定集群任務(wù)的優(yōu)先級(jí)，便于確定根據(jù)任務(wù)的優(yōu)先級(jí)對(duì)集群任務(wù)進(jìn)行調(diào)度控制等。
[0079]如圖4所示，在本公開的又一實(shí)施例中，提供一種確定任務(wù)消耗資源的裝置，包括:第一獲取模塊401、計(jì)算模塊402、第一統(tǒng)計(jì)模塊403和第一確定模塊404。
[0080]第一獲取模塊401，用于獲取集群任務(wù)的任務(wù)記錄，所述任務(wù)記錄包括:任務(wù)執(zhí)行時(shí)啟動(dòng)的任務(wù)進(jìn)程。
[0081 ]在本公開實(shí)施例中，第二獲取子模塊，用于通過預(yù)設(shè)接口以負(fù)載均衡的方式獲取集群任務(wù)的任務(wù)記錄。
[0082]計(jì)算模塊402，用于計(jì)算每個(gè)任務(wù)進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間。
[0083]在本公開實(shí)施例中，所述計(jì)算模塊包括:
[0084]第一獲取子模塊，用于針對(duì)每個(gè)任務(wù)進(jìn)程，獲取每個(gè)任務(wù)進(jìn)程啟動(dòng)的嘗試進(jìn)程；
[0085]統(tǒng)計(jì)子模塊，用于當(dāng)存在運(yùn)行成功的嘗試進(jìn)程時(shí)，統(tǒng)計(jì)運(yùn)行成功的嘗試進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間。
[0086]第一統(tǒng)計(jì)模塊403，用于統(tǒng)計(jì)集群任務(wù)啟動(dòng)的多個(gè)任務(wù)進(jìn)程占用的預(yù)設(shè)單位資源的總資源占用時(shí)間。
[0087]第一確定模塊404，用于根據(jù)所述總資源占用時(shí)間及預(yù)設(shè)單位資源確定所述集群任務(wù)在執(zhí)行時(shí)消耗的集群資源。
[0088]在本公開的又一實(shí)施例中，所述裝置還包括:第二統(tǒng)計(jì)模塊和劃分模塊。
[0089]第二統(tǒng)計(jì)模塊，用于統(tǒng)計(jì)集群中每個(gè)節(jié)點(diǎn)上的多維度資源。
[0090]劃分模塊，用于將每個(gè)節(jié)點(diǎn)上的多維度資源劃分成多個(gè)單維度的預(yù)設(shè)單位資源。
[0091]在本公開的又一實(shí)施例中，所述裝置還包括:第二獲取模塊和第二確定模塊。
[0092]第二獲取模塊，用于獲取預(yù)設(shè)集群資源與任務(wù)優(yōu)先級(jí)的對(duì)應(yīng)關(guān)系。
[0093]第二確定模塊，用于將與所述集群任務(wù)消耗的集群資源對(duì)應(yīng)的任務(wù)優(yōu)先級(jí)確定為所述集群任務(wù)的優(yōu)先級(jí)。
[0094]本領(lǐng)域技術(shù)人員在考慮說明書及實(shí)踐這里公開的發(fā)明后，將容易想到本發(fā)明的其它實(shí)施方案。本申請(qǐng)旨在涵蓋本發(fā)明的任何變型、用途或者適應(yīng)性變化，這些變型、用途或者適應(yīng)性變化遵循本發(fā)明的一般性原理并包括本公開未公開的本技術(shù)領(lǐng)域中的公知常識(shí)或慣用技術(shù)手段。說明書和實(shí)施例僅被視為示例性的，本發(fā)明的真正范圍和精神由所附的權(quán)利要求指出。
[0095]應(yīng)當(dāng)理解的是，本發(fā)明并不局限于上面已經(jīng)描述并在附圖中示出的精確結(jié)構(gòu)，并且可以在不脫離其范圍進(jìn)行各種修改和改變。本發(fā)明的范圍僅由所附的權(quán)利要求來限制。
【主權(quán)項(xiàng)】
1.一種確定任務(wù)消耗資源的方法，其特征在于，包括: 獲取集群任務(wù)的任務(wù)記錄，所述任務(wù)記錄包括:任務(wù)執(zhí)行時(shí)啟動(dòng)的任務(wù)進(jìn)程； 計(jì)算每個(gè)任務(wù)進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間； 統(tǒng)計(jì)集群任務(wù)啟動(dòng)的多個(gè)任務(wù)進(jìn)程占用的預(yù)設(shè)單位資源的總資源占用時(shí)間； 根據(jù)所述總資源占用時(shí)間及預(yù)設(shè)單位資源確定所述集群任務(wù)在執(zhí)行時(shí)消耗的集群資源。2.根據(jù)權(quán)利要求1所述的確定任務(wù)消耗資源的方法，其特征在于，所述方法還包括: 統(tǒng)計(jì)集群中每個(gè)節(jié)點(diǎn)上的多維度資源； 將每個(gè)節(jié)點(diǎn)上的多維度資源劃分成多個(gè)單維度的預(yù)設(shè)單位資源。3.根據(jù)權(quán)利要求1所述的確定任務(wù)消耗資源的方法，其特征在于，所述方法還包括: 獲取預(yù)設(shè)集群資源與任務(wù)優(yōu)先級(jí)的對(duì)應(yīng)關(guān)系； 將與所述集群任務(wù)消耗的集群資源對(duì)應(yīng)的任務(wù)優(yōu)先級(jí)確定為所述集群任務(wù)的優(yōu)先級(jí)。4.根據(jù)權(quán)利要求1至3任意一項(xiàng)所述的確定任務(wù)消耗資源的方法，其特征在于，所述任務(wù)記錄還包括:嘗試進(jìn)程； 所述計(jì)算每個(gè)任務(wù)進(jìn)程在對(duì)應(yīng)的所述進(jìn)程時(shí)間內(nèi)占用預(yù)設(shè)單位資源的資源占用時(shí)間包括: 針對(duì)每個(gè)任務(wù)進(jìn)程，獲取每個(gè)任務(wù)進(jìn)程啟動(dòng)的嘗試進(jìn)程； 當(dāng)存在運(yùn)行成功的嘗試進(jìn)程時(shí)，統(tǒng)計(jì)運(yùn)行成功的嘗試進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間。5.根據(jù)權(quán)利要求4所述的確定任務(wù)消耗資源的方法，其特征在于，所述獲取集群任務(wù)的任務(wù)記錄包括: 通過預(yù)設(shè)接口以負(fù)載均衡的方式獲取集群任務(wù)的任務(wù)記錄。6.一種確定任務(wù)消耗資源的裝置，其特征在于，包括: 第一獲取模塊，用于獲取集群任務(wù)的任務(wù)記錄，所述任務(wù)記錄包括:任務(wù)執(zhí)行時(shí)啟動(dòng)的任務(wù)進(jìn)程； 計(jì)算模塊，用于計(jì)算每個(gè)任務(wù)進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間； 第一統(tǒng)計(jì)模塊，用于統(tǒng)計(jì)集群任務(wù)啟動(dòng)的多個(gè)任務(wù)進(jìn)程占用的預(yù)設(shè)單位資源的總資源占用時(shí)間； 第一確定模塊，用于根據(jù)所述總資源占用時(shí)間及預(yù)設(shè)單位資源確定所述集群任務(wù)在執(zhí)行時(shí)消耗的集群資源。7.根據(jù)權(quán)利要求6所述的確定任務(wù)消耗資源的裝置，其特征在于，所述裝置還包括: 第二統(tǒng)計(jì)模塊，用于統(tǒng)計(jì)集群中每個(gè)節(jié)點(diǎn)上的多維度資源； 劃分模塊，用于將每個(gè)節(jié)點(diǎn)上的多維度資源劃分成多個(gè)單維度的預(yù)設(shè)單位資源。8.根據(jù)權(quán)利要求6所述的確定任務(wù)消耗資源的裝置，其特征在于，所述裝置還包括: 第二獲取模塊，用于獲取預(yù)設(shè)集群資源與任務(wù)優(yōu)先級(jí)的對(duì)應(yīng)關(guān)系； 第二確定模塊，用于將與所述集群任務(wù)消耗的集群資源對(duì)應(yīng)的任務(wù)優(yōu)先級(jí)確定為所述集群任務(wù)的優(yōu)先級(jí)。9.根據(jù)權(quán)利要求6至8任意一項(xiàng)所述的確定任務(wù)消耗資源的裝置，其特征在于，所述任務(wù)記錄還包括:嘗試進(jìn)程； 所述計(jì)算模塊包括: 第一獲取子模塊，用于針對(duì)每個(gè)任務(wù)進(jìn)程，獲取每個(gè)任務(wù)進(jìn)程啟動(dòng)的嘗試進(jìn)程； 統(tǒng)計(jì)子模塊，用于當(dāng)存在運(yùn)行成功的嘗試進(jìn)程時(shí)，統(tǒng)計(jì)運(yùn)行成功的嘗試進(jìn)程占用預(yù)設(shè)單位資源的資源占用時(shí)間。10.根據(jù)權(quán)利要求9所述的確定任務(wù)消耗資源的裝置，其特征在于，所述第一獲取模塊包括: 第二獲取子模塊，用于通過預(yù)設(shè)接口以負(fù)載均衡的方式獲取集群任務(wù)的任務(wù)記錄。
【文檔編號(hào)】G06F11/30GK105868070SQ201510997430
【公開日】2016年8月17日
【申請(qǐng)日】2015年12月25日
【發(fā)明人】許鷺清
【申請(qǐng)人】樂視網(wǎng)信息技術(shù)（北京）股份有限公司