一種針對(duì)海量任務(wù)的資源調(diào)度方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種資源調(diào)度方法和系統(tǒng)，具體涉及一種針對(duì)海量任務(wù)的資源調(diào)度方法和系統(tǒng)。
【背景技術(shù)】
[0002]云計(jì)算系統(tǒng)，其性能指標(biāo)主要取決于其運(yùn)行于其上的應(yīng)用特征(包括應(yīng)用的執(zhí)行花費(fèi)、各任務(wù)間的通信成本等)和平臺(tái)特征(處理器的計(jì)算能力、處理器的數(shù)量等)。為了提升系統(tǒng)的處理性能，有效利用系統(tǒng)的資源，通常需要把一個(gè)任務(wù)進(jìn)行分解，再為每個(gè)子任務(wù)分配并調(diào)度資源。
[0003]基于云計(jì)算平臺(tái)的網(wǎng)絡(luò)安全監(jiān)控系統(tǒng)，如對(duì)安全基礎(chǔ)信息的收集、被黑和仿冒網(wǎng)站檢測(cè)、域名(含服務(wù)器)安全監(jiān)測(cè)等，任務(wù)項(xiàng)非常龐大，一個(gè)任務(wù)可被拆分為大量的子任務(wù)，如對(duì)海量目標(biāo)網(wǎng)站進(jìn)行探測(cè)以收集基本信息，對(duì)產(chǎn)生的結(jié)果中的外鏈還需要進(jìn)行遞歸掃描，涉及到對(duì)海量目標(biāo)集更新狀態(tài)與去重。若云平臺(tái)中的海量任務(wù)不能合理分配資源，會(huì)導(dǎo)致云平臺(tái)系統(tǒng)資源負(fù)擔(dān)增加，出現(xiàn)宕機(jī)的現(xiàn)象，導(dǎo)致整體云平臺(tái)系統(tǒng)無法正常工作。

【發(fā)明內(nèi)容】

[0004]為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種針對(duì)海量任務(wù)的資源調(diào)度方法和系統(tǒng)。本發(fā)明對(duì)云平臺(tái)中海量任務(wù)進(jìn)行合理分配，降低了系統(tǒng)的資源負(fù)擔(dān)。
[0005]為了實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明采取如下技術(shù)方案:
[0006]一種針對(duì)海量任務(wù)的資源調(diào)度方法，所述方法包括如下步驟:
[0007](I)分解海量任務(wù)并對(duì)子任務(wù)的資源占用情況進(jìn)行監(jiān)控；
[0008](2)計(jì)算已完成子任務(wù)資源占用值與預(yù)設(shè)值之間的資源距離參數(shù)；
[0009](3)根據(jù)所述資源距離參數(shù)分配將要執(zhí)行任務(wù)隊(duì)列中子任務(wù)的資源。
[0010]優(yōu)選的，所述步驟⑴包括如下步驟:
[0011]步驟101、建立基礎(chǔ)任務(wù)類型，并設(shè)定各類基礎(chǔ)任務(wù)所需的資源數(shù)量；
[0012]步驟102、接收海量任務(wù)，按照預(yù)設(shè)優(yōu)先級(jí)策略將海量任務(wù)入隊(duì)列；
[0013]步驟103、利用蟻群算法分配資源，并監(jiān)控任務(wù)隊(duì)列內(nèi)子任務(wù)的資源使用情況。
[0014]優(yōu)選的，所述步驟⑵包括如下步驟:
[0015]步驟201、依據(jù)資源監(jiān)控記錄數(shù)據(jù)，計(jì)算已完成任務(wù)隊(duì)列中子任務(wù)各資源類型預(yù)設(shè)值與實(shí)際使用值之間的距離，生成資源距離參數(shù)；
[0016]步驟202、將資源距離參數(shù)反饋到資源調(diào)度程序。
[0017]優(yōu)選的，所述步驟⑶包括如下步驟:
[0018]步驟301、根據(jù)資源距離參數(shù)，調(diào)整預(yù)設(shè)任務(wù)類型所需的資源；
[0019]步驟302、重新計(jì)算云計(jì)算平臺(tái)的資源，得出后續(xù)執(zhí)行的子任務(wù)數(shù)量；
[0020]步驟303、依據(jù)得出的子任務(wù)數(shù)量執(zhí)行任務(wù)隊(duì)列中的子任務(wù)并分配相關(guān)資源。
[0021]優(yōu)選的，一種針對(duì)海量任務(wù)的資源調(diào)度系統(tǒng)，所述系統(tǒng)包括:
[0022]任務(wù)解析模塊，用于分解海量任務(wù)并對(duì)子任務(wù)的資源占用情況進(jìn)行監(jiān)控；
[0023]計(jì)算模塊，用于計(jì)算已完成子任務(wù)資源占用值與預(yù)設(shè)值之間的資源距離參數(shù)；
[0024]資源調(diào)度模塊，用于根據(jù)所述資源距離參數(shù)分配將要執(zhí)行任務(wù)隊(duì)列中子任務(wù)的資源。
[0025]優(yōu)選的，所述任務(wù)解析模塊包括:
[0026]任務(wù)類型管理模塊，用于建立基礎(chǔ)任務(wù)類型，設(shè)定各類基礎(chǔ)任務(wù)所需的資源數(shù)量;
[0027]任務(wù)分發(fā)模塊，用于按照預(yù)設(shè)優(yōu)先級(jí)策略和任務(wù)類型將海量任務(wù)入隊(duì)列；
[0028]任務(wù)監(jiān)控模塊，用于監(jiān)控任務(wù)隊(duì)列內(nèi)子任務(wù)的資源使用情況。
[0029]優(yōu)選的，所述計(jì)算模塊依據(jù)資源監(jiān)控記錄數(shù)據(jù)，計(jì)算已完成任務(wù)隊(duì)列中子任務(wù)各資源類型預(yù)設(shè)與實(shí)際使用間的距離，生成資源距離參數(shù)，并將其反饋到資源調(diào)度模塊。
[0030]優(yōu)選的，所述資源調(diào)度模塊分配任務(wù)隊(duì)列中子任務(wù)資源包括如下步驟:
[0031]接收子任務(wù)的資源距離參數(shù)，調(diào)整預(yù)設(shè)任務(wù)類型所需的資源；
[0032]重新計(jì)算云計(jì)算平臺(tái)的資源，得出后續(xù)執(zhí)行的子任務(wù)數(shù)量；
[0033]依據(jù)得出的子任務(wù)數(shù)量執(zhí)行任務(wù)隊(duì)列中的子任務(wù)并分配相關(guān)資源。
[0034]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果在于:
[0035]本發(fā)明對(duì)云平臺(tái)中海量任務(wù)下的資源進(jìn)行合理的分配、調(diào)整和回收，動(dòng)態(tài)調(diào)整各任務(wù)的分配情況，合理分配系統(tǒng)資源，降低系統(tǒng)的資源負(fù)擔(dān)。
【附圖說明】
[0036]圖1是本發(fā)明提供的一種針對(duì)海量任務(wù)的資源調(diào)度方法流程圖，
[0037]圖2是本發(fā)明提供的一種針對(duì)海量任務(wù)的資源調(diào)度系統(tǒng)架構(gòu)圖。
【具體實(shí)施方式】
[0038]下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0039]如圖1所示，一種針對(duì)海量任務(wù)的資源調(diào)度方法，具體方法如下:
[0040]1、建立基礎(chǔ)任務(wù)類型，并設(shè)定各類基礎(chǔ)任務(wù)所需的資源數(shù)量；
[0041]2、接收海量任務(wù)，按照預(yù)設(shè)優(yōu)先級(jí)策略將海量任務(wù)入隊(duì)列；
[0042]3、利用蟻群算法分配資源，并監(jiān)控任務(wù)隊(duì)列內(nèi)子任務(wù)的資源使用情況
[0043]4、依據(jù)資源監(jiān)控記錄數(shù)據(jù)，計(jì)算已完成任務(wù)隊(duì)列中子任務(wù)各資源類型預(yù)設(shè)與實(shí)際使用間的距離，生成資源距離參數(shù)
[0044]5、觀察任務(wù)隊(duì)列中子任務(wù)的資源使用情況，生成資源監(jiān)控記錄數(shù)據(jù)；
[0045]6、依據(jù)資源監(jiān)控記錄數(shù)據(jù)，計(jì)算已完成任務(wù)隊(duì)列中子任務(wù)各資源類型預(yù)設(shè)與實(shí)際使用間的距離，生成資源距離參數(shù)；
[0046]7、根據(jù)資源距離參數(shù)，調(diào)整預(yù)設(shè)任務(wù)類型所需的資源；
[0047]8、重新計(jì)算云計(jì)算平臺(tái)的資源，得出后續(xù)執(zhí)行的子任務(wù)數(shù)量；
[0048]9、依據(jù)得出的子任務(wù)數(shù)量執(zhí)行任務(wù)隊(duì)列中的子任務(wù)并分配相關(guān)資源。
[0049]如圖2所示，一種針對(duì)海量任務(wù)的資源調(diào)度系統(tǒng)，該系統(tǒng)包括:任務(wù)解析模塊、計(jì)算模塊和資源調(diào)度模塊。
[0050]其中，任務(wù)解析模塊，用于分解海量任務(wù)并對(duì)子任務(wù)的資源占用情況進(jìn)行監(jiān)控；
[0051]計(jì)算模塊，用于計(jì)算已完成子任務(wù)資源占用值與預(yù)設(shè)值之間的資源距離參數(shù)；
[0052]資源調(diào)度模塊，用于根據(jù)所述資源距離參數(shù)分配將要執(zhí)行任務(wù)隊(duì)列中子任務(wù)的資源。
[0053]任務(wù)解析模塊中包括:任務(wù)類型管理模塊、任務(wù)分發(fā)模塊和任務(wù)監(jiān)控模塊。
[0054]其中，任務(wù)類型管理模塊，用于建立基礎(chǔ)任務(wù)類型，設(shè)定各類基礎(chǔ)任務(wù)所需的資源數(shù)量；
[0055]任務(wù)分發(fā)模塊，用于按照預(yù)設(shè)優(yōu)先級(jí)策略和任務(wù)類型將海量任務(wù)入隊(duì)列，如隊(duì)列I和隊(duì)列2 ；
[0056]任務(wù)監(jiān)控模塊，用于監(jiān)控任務(wù)隊(duì)列內(nèi)子任務(wù)的資源使用情況。
[0057]計(jì)算模塊依據(jù)資源監(jiān)控記錄數(shù)據(jù)，計(jì)算已完成任務(wù)隊(duì)列中子任務(wù)各資源類型預(yù)設(shè)與實(shí)際使用間的距離，生成資源距離參數(shù)，并將其反饋到資源調(diào)度模塊。
[0058]其中，監(jiān)控的資源包括云計(jì)算平臺(tái)的CPU、內(nèi)存、磁盤和帶寬等的使用情況。
[0059]資源調(diào)度模塊的處理流程如下:
[0060]資源調(diào)度模塊接收子任務(wù)的資源距離參數(shù)，調(diào)整預(yù)設(shè)任務(wù)類型所需的資源；
[0061]重新計(jì)算云計(jì)算平臺(tái)的資源，得出后續(xù)執(zhí)行的子任務(wù)數(shù)量；
[0062]依據(jù)得出的子任務(wù)數(shù)量執(zhí)行任務(wù)隊(duì)列中的子任務(wù)并分配相關(guān)資源。
[0063]最后應(yīng)當(dāng)說明的是:以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非對(duì)其限制，盡管參照上述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:依然可以對(duì)本發(fā)明的【具體實(shí)施方式】進(jìn)行修改或者等同替換，而未脫離本發(fā)明精神和范圍的任何修改或者等同替換，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。
【主權(quán)項(xiàng)】
1.一種針對(duì)海量任務(wù)的資源調(diào)度方法，其特征在于，所述方法包括如下步驟: (1)分解海量任務(wù)并對(duì)子任務(wù)的資源占用情況進(jìn)行監(jiān)控； (2)計(jì)算已完成子任務(wù)資源占用值與預(yù)設(shè)值之間的資源距離參數(shù)； (3)根據(jù)所述資源距離參數(shù)分配將要執(zhí)行任務(wù)隊(duì)列中子任務(wù)的資源。2.根據(jù)權(quán)利要求1所述資源調(diào)度方法，其特征在于，所述步驟(I)包括如下步驟: 步驟101、建立基礎(chǔ)任務(wù)類型，并設(shè)定各類基礎(chǔ)任務(wù)所需的資源數(shù)量； 步驟102、接收海量任務(wù)，按照預(yù)設(shè)優(yōu)先級(jí)策略將海量任務(wù)入隊(duì)列； 步驟103、利用蟻群算法分配資源，并監(jiān)控任務(wù)隊(duì)列內(nèi)子任務(wù)的資源使用情況。3.根據(jù)權(quán)利要求1所述資源調(diào)度方法，其特征在于，所述步驟(2)包括如下步驟: 步驟201、依據(jù)資源監(jiān)控記錄數(shù)據(jù)，計(jì)算已完成任務(wù)隊(duì)列中子任務(wù)各資源類型預(yù)設(shè)值與實(shí)際使用值之間的距離，生成資源距離參數(shù)； 步驟202、將資源距離參數(shù)反饋到資源調(diào)度程序。4.根據(jù)權(quán)利要求1所述資源調(diào)度方法，其特征在于，所述步驟(3)包括如下步驟: 步驟301、根據(jù)資源距離參數(shù)，調(diào)整預(yù)設(shè)任務(wù)類型所需的資源； 步驟302、重新計(jì)算云計(jì)算平臺(tái)的資源，得出后續(xù)執(zhí)行的子任務(wù)數(shù)量； 步驟303、依據(jù)得出的子任務(wù)數(shù)量執(zhí)行任務(wù)隊(duì)列中的子任務(wù)并分配相關(guān)資源。5.一種針對(duì)海量任務(wù)的資源調(diào)度系統(tǒng)，其特征在于，所述系統(tǒng)包括: 任務(wù)解析模塊，用于分解海量任務(wù)并對(duì)子任務(wù)的資源占用情況進(jìn)行監(jiān)控； 計(jì)算模塊，用于計(jì)算已完成子任務(wù)資源占用值與預(yù)設(shè)值之間的資源距離參數(shù)； 資源調(diào)度模塊，用于根據(jù)所述資源距離參數(shù)分配將要執(zhí)行任務(wù)隊(duì)列中子任務(wù)的資源。6.根據(jù)權(quán)利要求5所述資源調(diào)度系統(tǒng)，其特征在于，所述任務(wù)解析模塊包括: 任務(wù)類型管理模塊，用于建立基礎(chǔ)任務(wù)類型，設(shè)定各類基礎(chǔ)任務(wù)所需的資源數(shù)量； 任務(wù)分發(fā)模塊，用于按照預(yù)設(shè)優(yōu)先級(jí)策略和任務(wù)類型將海量任務(wù)入隊(duì)列； 任務(wù)監(jiān)控模塊，用于監(jiān)控任務(wù)隊(duì)列內(nèi)子任務(wù)的資源使用情況。7.根據(jù)權(quán)利要求5或6所述資源調(diào)度系統(tǒng)，其特征在于，所述計(jì)算模塊依據(jù)資源監(jiān)控記錄數(shù)據(jù)，計(jì)算已完成任務(wù)隊(duì)列中子任務(wù)各資源類型預(yù)設(shè)與實(shí)際使用間的距離，生成資源距離參數(shù)，并將其反饋到資源調(diào)度模塊。8.根據(jù)權(quán)利要求5或6所述資源調(diào)度系統(tǒng)，其特征在于，所述資源調(diào)度模塊分配任務(wù)隊(duì)列中子任務(wù)資源包括如下步驟: 接收子任務(wù)的資源距離參數(shù)，調(diào)整預(yù)設(shè)任務(wù)類型所需的資源； 重新計(jì)算云計(jì)算平臺(tái)的資源，得出后續(xù)執(zhí)行的子任務(wù)數(shù)量； 依據(jù)得出的子任務(wù)數(shù)量執(zhí)行任務(wù)隊(duì)列中的子任務(wù)并分配相關(guān)資源。
【專利摘要】本發(fā)明提供一種針對(duì)海量任務(wù)的資源調(diào)度方法和系統(tǒng)，所述方法包括：(1)分解海量任務(wù)并對(duì)子任務(wù)的資源占用情況進(jìn)行監(jiān)控；(2)計(jì)算已完成子任務(wù)資源占用值與預(yù)設(shè)值之間的資源距離參數(shù)；(3)根據(jù)所述資源距離參數(shù)分配將要執(zhí)行任務(wù)隊(duì)列中子任務(wù)的資源。所述系統(tǒng)包括：任務(wù)解析模塊、計(jì)算模塊和資源調(diào)度模塊。本發(fā)明對(duì)云平臺(tái)中海量任務(wù)下的資源進(jìn)行合理的分配、調(diào)整和回收，動(dòng)態(tài)調(diào)整各任務(wù)的分配情況，合理分配系統(tǒng)資源，降低系統(tǒng)的資源負(fù)擔(dān)。
【IPC分類】G06F9/50
【公開號(hào)】CN105094987
【申請(qǐng)?zhí)枴緾N201510435007
【發(fā)明人】徐原, 胡俊, 何世平, 高勝, 李洪生, 趙慧, 黨向磊, 徐曉燕, 劉婧, 饒毓, 趙宸, 李世淙, 陳陽
【申請(qǐng)人】國家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心
【公開日】2015年11月25日
【申請(qǐng)日】2015年7月22日