大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法和裝置的制造方法
【專利摘要】本發(fā)明公開了一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法和裝置，包括：分析多個(gè)任務(wù)的數(shù)據(jù)處理邏輯；根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系；對(duì)所述數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將所述多個(gè)任務(wù)合并為一個(gè)任務(wù)或者將所述多個(gè)任務(wù)中的一個(gè)任務(wù)拆分成多個(gè)任務(wù)。減少了數(shù)據(jù)倉庫中需要執(zhí)行的計(jì)算任務(wù)數(shù)量，節(jié)約了計(jì)算資源，有助于提高數(shù)據(jù)倉庫的處理效率。
【專利說明】
大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法和裝置
技術(shù)領(lǐng)域
[0001 ]本發(fā)明屬于計(jì)算機(jī)領(lǐng)域，具體地說，涉及一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法和裝置。【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的快速發(fā)展，很多互聯(lián)網(wǎng)公司都已積累了 TB量級(jí)的數(shù)據(jù)。數(shù)據(jù)倉庫每天都在接收來自不同生態(tài)的數(shù)據(jù)，例如來自手機(jī)、智能電視、視頻網(wǎng)站的用戶數(shù)據(jù)記錄等， 做為大數(shù)據(jù)資源的一部分。
[0003]數(shù)據(jù)從數(shù)據(jù)倉庫的入口機(jī)進(jìn)入數(shù)據(jù)倉庫以及在數(shù)據(jù)倉庫內(nèi)部進(jìn)行分層，都需要進(jìn)行數(shù)據(jù)處理，每次數(shù)據(jù)處理過程都是多個(gè)任務(wù)的集合，每個(gè)任務(wù)都具有內(nèi)在的處理邏輯，例如任務(wù)1是將A表中的部分字段的數(shù)據(jù)讀取再寫入到B表。有時(shí)，當(dāng)很多數(shù)據(jù)工程師都需要某些數(shù)據(jù)時(shí)，不同的數(shù)據(jù)工程師利用現(xiàn)有數(shù)據(jù)獲取到所需要數(shù)據(jù)方法路徑可能就會(huì)不同，此時(shí)就會(huì)出現(xiàn)很多重復(fù)的任務(wù)，或者雖然并不重復(fù)，但目的是相同的任務(wù)。有時(shí)，有些任務(wù)對(duì)表的某些字段的更新處理較慢，導(dǎo)致后續(xù)可利用其他字段進(jìn)行處理的任務(wù)也需要等待該表更新完成而無法繼續(xù)向下處理，導(dǎo)致任務(wù)處理的時(shí)間變慢。
[0004]這些問題都是由于對(duì)任務(wù)的內(nèi)在處理邏輯分析不到位而造成的，導(dǎo)致了很多計(jì)算資源的浪費(fèi)，影響數(shù)據(jù)倉庫的處理速度。
【發(fā)明內(nèi)容】

[0005]有鑒于此，本發(fā)明實(shí)施例提供了一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法和裝置，用以解決現(xiàn)有技術(shù)中由于對(duì)任務(wù)的內(nèi)在處理邏輯分析不到位而導(dǎo)致浪費(fèi)計(jì)算資源的技術(shù)問題。
[0006]為了解決上述技術(shù)問題，本發(fā)明公開了一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法，包括: 分析多個(gè)任務(wù)的數(shù)據(jù)處理邏輯;根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系;對(duì)數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將多個(gè)任務(wù)合并為一個(gè)任務(wù)或者將多個(gè)任務(wù)中的一個(gè)任務(wù)拆分成多個(gè)任務(wù)。
[0007]為了解決上述技術(shù)問題，本發(fā)明還公開了一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化裝置，包括:分析模塊，用于分析多個(gè)任務(wù)的數(shù)據(jù)處理邏輯;確定模塊，用于根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系;處理模塊，用于對(duì)所述數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將所述多個(gè)任務(wù)合并為一個(gè)任務(wù)或者將所述多個(gè)任務(wù)中的一個(gè)任務(wù)拆分成多個(gè)任務(wù)。
[0008]與現(xiàn)有技術(shù)相比，本發(fā)明實(shí)施例提供的大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法和裝置，通過對(duì)數(shù)據(jù)倉庫中多個(gè)任務(wù)的數(shù)據(jù)處理邏輯進(jìn)行分析，得到任務(wù)之間的數(shù)據(jù)關(guān)系，根據(jù)該數(shù)據(jù)關(guān)系確定是否對(duì)任務(wù)進(jìn)行合并或者拆分，提高數(shù)據(jù)倉庫的任務(wù)執(zhí)行效率，有助于對(duì)數(shù)據(jù)倉庫計(jì)算資源的合理利用?！靖綀D說明】
[0009]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0010]圖1是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法的流程圖；
[0011]圖2是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法的流程圖；
[0012]圖3是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法的流程圖；
[0013]圖4是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化裝置的框圖?！揪唧w實(shí)施方式】
[0014]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0015]本發(fā)明實(shí)施例中，針對(duì)數(shù)據(jù)倉庫中的計(jì)算任務(wù)進(jìn)行分析，分析每個(gè)任務(wù)的數(shù)據(jù)處理邏輯，通過數(shù)據(jù)處理邏輯來找到各個(gè)任務(wù)之間的邏輯關(guān)系以及數(shù)據(jù)依賴關(guān)系，對(duì)各個(gè)任務(wù)之間產(chǎn)生的中間數(shù)據(jù)以及任務(wù)的執(zhí)行情況進(jìn)行分析，找到可以對(duì)現(xiàn)有任務(wù)進(jìn)行優(yōu)化的點(diǎn)，對(duì)現(xiàn)有任務(wù)進(jìn)行適當(dāng)?shù)暮喜⒑筒鸱?，從而?jié)省數(shù)據(jù)倉庫的計(jì)算資源并提高任務(wù)的執(zhí)行效率。下面分別對(duì)本發(fā)明實(shí)施例提供的多種任務(wù)優(yōu)化方法分別進(jìn)行說明。
[0016]圖1是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法，適用服務(wù)器，該方法包括以下步驟。
[0017]S10,分析多個(gè)任務(wù)的數(shù)據(jù)處理邏輯。
[0018]數(shù)據(jù)處理邏輯包括處理對(duì)象和計(jì)算方法。處理對(duì)象包括源數(shù)據(jù)、目標(biāo)數(shù)據(jù)等，例如任務(wù)T01是從表A讀取三個(gè)字段的數(shù)據(jù)并寫入表B。計(jì)算方法是指利用源數(shù)據(jù)生成目標(biāo)數(shù)據(jù)的方法，如果是直接從表A讀取數(shù)據(jù)并寫入表B則不存在計(jì)算方法，而如果對(duì)從表A讀取的數(shù)據(jù)進(jìn)行計(jì)算之后將結(jié)果寫入表B，在該任務(wù)存在表A與表B之間的計(jì)算方法。
[0019]S11，根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系。
[0020]數(shù)據(jù)關(guān)系包括任務(wù)之間的中間數(shù)據(jù)以及數(shù)據(jù)依賴關(guān)系。例如，任務(wù)TO 1從表A讀取三個(gè)字段的數(shù)據(jù)并寫入表B，任務(wù)T02對(duì)表B中的數(shù)據(jù)進(jìn)行篩選，篩選出滿足預(yù)設(shè)條件的數(shù)據(jù)并寫入表C，那么，表B就被視為任務(wù)T01和任務(wù)T02的中間數(shù)據(jù)。[〇〇21]數(shù)據(jù)依賴關(guān)系是指在后執(zhí)行的任務(wù)需要依賴由在前執(zhí)行的任務(wù)輸出的數(shù)據(jù)。任務(wù) T01從表A讀取第一字段和第二字段的數(shù)據(jù)并直接寫入表B，從表A讀取第三字段和第四字段的數(shù)據(jù)，對(duì)第三字段和第四字段的數(shù)據(jù)進(jìn)行預(yù)測(cè)分析，將預(yù)測(cè)結(jié)果寫入表B;任務(wù)T02從表B 讀取第一字段和第二字段的數(shù)據(jù)進(jìn)行篩選，將篩選結(jié)果寫入表C;任務(wù)T03從表B讀取預(yù)測(cè)結(jié)果，對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)估，將評(píng)估結(jié)果寫入表D。那么，任務(wù)T02和任務(wù)T03就依賴于任務(wù)T01 的輸出數(shù)據(jù)，任務(wù)T02和任務(wù)T03分別與任務(wù)T01具有數(shù)據(jù)依賴關(guān)系。[〇〇22]S12,對(duì)數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將多個(gè)任務(wù)合并為一個(gè)任務(wù)或者將多個(gè)任務(wù)中的一個(gè)任務(wù)拆分成多個(gè)任務(wù)。[〇〇23]分析是否存在不會(huì)被使用的中間數(shù)據(jù)或者多個(gè)任務(wù)中在先執(zhí)行的任務(wù)是否會(huì)影響在后執(zhí)行的任務(wù)的執(zhí)行效率。如果存在不會(huì)被使用的中間數(shù)據(jù)，則可以將多個(gè)任務(wù)進(jìn)行合并，從而減少執(zhí)行任務(wù)的數(shù)量，節(jié)省數(shù)據(jù)倉庫的計(jì)算資源。如果在先執(zhí)行的任務(wù)影響在后執(zhí)行的任務(wù)的執(zhí)行效率，則將該在先執(zhí)行的任務(wù)按照數(shù)據(jù)依賴關(guān)系拆分成多個(gè)任務(wù)，將拆分后的多個(gè)任務(wù)中的一個(gè)任務(wù)的輸出數(shù)據(jù)做為該在后執(zhí)行的的任務(wù)的輸入數(shù)據(jù)，使該在后執(zhí)行的任務(wù)能夠更快的獲得其所依賴的數(shù)據(jù)從而完成執(zhí)行，提高該在后執(zhí)行的任務(wù)的執(zhí)行效率。
[0024]下面首先對(duì)數(shù)據(jù)倉庫中將多個(gè)任務(wù)進(jìn)行合并的情形進(jìn)行說明。圖2是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法，適用服務(wù)器，該方法包括以下步驟。[〇〇25]S20,分析多個(gè)任務(wù)的數(shù)據(jù)處理邏輯。[〇〇26] 數(shù)據(jù)處理邏輯包括處理對(duì)象和計(jì)算方法。處理對(duì)象包括源數(shù)據(jù)、目標(biāo)數(shù)據(jù)等，例如任務(wù)T01是從表A讀取三個(gè)字段的數(shù)據(jù)并寫入表B。計(jì)算方法是指利用源數(shù)據(jù)生成目標(biāo)數(shù)據(jù)的方法，如果是直接從表A讀取數(shù)據(jù)并寫入表B則不存在計(jì)算方法，而如果對(duì)從表A讀取的數(shù)據(jù)進(jìn)行計(jì)算之后將結(jié)果寫入表B，在該任務(wù)存在表A與表B之間的計(jì)算方法。[〇〇27]S21，根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間產(chǎn)生的中間數(shù)據(jù)。[〇〇28]從多個(gè)任務(wù)的數(shù)據(jù)處理邏輯中，找出多個(gè)任務(wù)的之間的邏輯關(guān)系。例如，任務(wù)T01 從表A讀取三個(gè)字段的數(shù)據(jù)并寫入表B，任務(wù)T02對(duì)表B中的三個(gè)字段的數(shù)據(jù)進(jìn)行篩選，篩選出滿足預(yù)設(shè)條件的數(shù)據(jù)并寫入表C，任務(wù)T03讀取表C的數(shù)據(jù)并添加到表D中。可以看出任務(wù) T01至T03是按照彼此之間的邏輯關(guān)系依次進(jìn)行的。找到多個(gè)任務(wù)之間的邏輯關(guān)系后，就可以確定各個(gè)任務(wù)之間都產(chǎn)生了哪些中間數(shù)據(jù)，上例中的表B和表C即可以被確定為中間數(shù)據(jù)。
[0029]不同的數(shù)據(jù)工程師對(duì)得到目標(biāo)數(shù)據(jù)而設(shè)置的計(jì)算方式會(huì)有所不同，有時(shí)還會(huì)根據(jù)其所負(fù)責(zé)的業(yè)務(wù)的實(shí)際需求來得到一些中間數(shù)據(jù)供進(jìn)行其他計(jì)算使用。因此，需要進(jìn)一步判斷這些中間數(shù)據(jù)會(huì)被使用，也就是判斷這些中間數(shù)據(jù)是否有必要進(jìn)行保存。[〇〇3〇] S22,分析中間數(shù)據(jù)的使用狀態(tài)以確定中間數(shù)據(jù)是否需要繼續(xù)被保存。[0031 ]使用狀態(tài)包括該中間數(shù)據(jù)是否會(huì)被用于其它計(jì)算，以及該中間數(shù)據(jù)本身是否是其他任務(wù)鏈的最終結(jié)果。因此，對(duì)于中間數(shù)據(jù)是否需要保存的判定，可以通過多種方式進(jìn)行。 [〇〇32]在一個(gè)實(shí)施例中，該步驟S22可進(jìn)一步被實(shí)施為以下步驟。
[0033]S220,根據(jù)業(yè)務(wù)需求分析中間數(shù)據(jù)是否在業(yè)務(wù)中被使用。
[0034]業(yè)務(wù)需求包括該數(shù)據(jù)是否用于其它業(yè)務(wù)數(shù)據(jù)的計(jì)算以及該中間數(shù)據(jù)在業(yè)務(wù)中是否也是需要利用的最終結(jié)果。例如，中間數(shù)據(jù)B記錄了上海的各門店在2016年1月至3月的智能電視銷量，如果業(yè)務(wù)中還需要進(jìn)一步篩選出銷量排名前五位的門店，則代表該中間數(shù)據(jù)B 還會(huì)被使用;或者，該中間數(shù)據(jù)B本身就是一個(gè)統(tǒng)計(jì)上海市在2016年1月至3月的智能電視銷量的任務(wù)鏈的最終結(jié)果，則代表該中間數(shù)據(jù)也需要被使用。
[0035]S221，當(dāng)中間數(shù)據(jù)在業(yè)務(wù)中不被使用時(shí)，確定中間數(shù)據(jù)不需要繼續(xù)被保存。
[0036]實(shí)現(xiàn)了根據(jù)預(yù)設(shè)的業(yè)務(wù)邏輯中對(duì)數(shù)據(jù)的實(shí)際需求來判定任務(wù)鏈的中間數(shù)據(jù)是否需要被保存。
[0037]在另一實(shí)施例中，該步驟S22還可以進(jìn)一步被實(shí)施為以下步驟。
[0038]S222,統(tǒng)計(jì)中間數(shù)據(jù)的未被使用的累積時(shí)長(zhǎng)，當(dāng)累積時(shí)長(zhǎng)達(dá)到預(yù)設(shè)門限時(shí)，標(biāo)記中間數(shù)據(jù)為不被使用的數(shù)據(jù)。[〇〇39]對(duì)于被判定為任務(wù)鏈中的中間數(shù)據(jù)，會(huì)統(tǒng)計(jì)該中間數(shù)據(jù)未被使用的累積時(shí)長(zhǎng)，例如，只要沒有出現(xiàn)針對(duì)中間數(shù)據(jù)B的讀取操作，就說明該中間數(shù)據(jù)B沒有被使用，當(dāng)中間數(shù)據(jù) B被讀取時(shí)，累積時(shí)長(zhǎng)將被清零并重新開始計(jì)時(shí)，如果在預(yù)設(shè)時(shí)長(zhǎng)(例如12小時(shí))都沒有針對(duì)中間數(shù)據(jù)B的讀取操作，則標(biāo)記該中間數(shù)據(jù)B為不被使用的數(shù)據(jù)。
[0040]為了降低發(fā)生誤判的概率，還會(huì)進(jìn)一步對(duì)該中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)進(jìn)行統(tǒng)計(jì)。如果在接下來的預(yù)設(shè)時(shí)長(zhǎng)該數(shù)據(jù)仍然沒有被使用，則再一次標(biāo)記該中間數(shù)據(jù)為不會(huì)被使用的數(shù)據(jù)。
[0041] S223,當(dāng)中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)大于或等于預(yù)設(shè)門限時(shí)，確定中間數(shù)據(jù)不需要繼續(xù)被保存。[〇〇42]例如，中間數(shù)據(jù)B已連續(xù)10次被標(biāo)記為不被使用的數(shù)據(jù)，則可以認(rèn)為該數(shù)據(jù)不需要被繼續(xù)保存。
[0043]這種不會(huì)被使用的中間數(shù)據(jù)的出現(xiàn)往往都是由于不同的數(shù)據(jù)工程師通過不同的方式獲取目標(biāo)數(shù)據(jù)時(shí)而人為配置的，隨意性會(huì)比較強(qiáng)又不會(huì)被其他其他數(shù)據(jù)工程師所利用。
[0044] S23，當(dāng)中間數(shù)據(jù)不需要被保存時(shí)，根據(jù)數(shù)據(jù)處理邏輯將多個(gè)任務(wù)合并為一個(gè)任務(wù)。[〇〇45]如上例中，如果表B被判定為不需要保存的中間數(shù)據(jù)，則根據(jù)數(shù)據(jù)處理邏輯將任務(wù) T01和T02合并為T12,合并后的任務(wù)T12的處理對(duì)象就是表A和表C，計(jì)算方法也相應(yīng)合并為從表A中讀取三個(gè)字段的數(shù)據(jù)并根據(jù)預(yù)設(shè)條件進(jìn)行篩選，將篩選結(jié)果寫入表B。如果表C被判定為不需要保存的中間數(shù)據(jù)，則根據(jù)數(shù)據(jù)處理邏輯將任務(wù)T02和T03合并為T23，合并后的任務(wù)T23的處理對(duì)象就是表B和表D，計(jì)算方法也相應(yīng)合并為對(duì)表B中三個(gè)字段數(shù)據(jù)進(jìn)行篩選并將篩選結(jié)果添加至表D。如果表B和表C都被判定為不需要保存的中間數(shù)據(jù)，則根據(jù)數(shù)據(jù)處理邏輯將任務(wù)T01、T02和T03合并為T13,合并后的任務(wù)T13的處理對(duì)象就是表A和表D，計(jì)算方法也相應(yīng)合并為從表A中讀取三個(gè)字段的數(shù)據(jù)并按照預(yù)設(shè)條件進(jìn)行篩選，將篩選結(jié)果添加到表D。
[0046]也就是說，如果兩個(gè)任務(wù)之間存在不會(huì)被使用的中間數(shù)據(jù)，則可以這兩個(gè)任務(wù)合并一個(gè)任務(wù)，如果連續(xù)出現(xiàn)多個(gè)不會(huì)被使用的中間數(shù)據(jù)，則可以將多個(gè)任務(wù)合并為一個(gè)任務(wù)，從而減少了數(shù)據(jù)倉庫中需要執(zhí)行的計(jì)算任務(wù)數(shù)量，節(jié)約了計(jì)算資源，有助于提高數(shù)據(jù)倉庫的處理效率。[〇〇47]在一個(gè)實(shí)施例中，上述大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法可進(jìn)一步包括以下步驟。 [〇〇48] S24,根據(jù)數(shù)據(jù)處理邏輯判斷是否同時(shí)存在多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)。
[0049] S25,當(dāng)同時(shí)存在多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)時(shí)，將多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)合并為一個(gè)任務(wù)。
[0050]該多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)來自于不同數(shù)據(jù)工程師的配置。例如，大家都已知存在表A，甲需要提取表A中三個(gè)字段的數(shù)據(jù)并寫入表B，對(duì)表B的數(shù)據(jù)進(jìn)行預(yù)測(cè)分析， 輸出分析結(jié)果至表C;而乙需要提取表A中相同的三個(gè)字段的數(shù)據(jù)并寫入表B，對(duì)表B的數(shù)據(jù)進(jìn)行篩選并將結(jié)果輸出到表D?？梢姶藭r(shí)存在兩個(gè)從表A讀取三個(gè)字段數(shù)據(jù)并寫入表B的任務(wù)，那么將這兩個(gè)任務(wù)合并為一個(gè)，甲乙配置的其他后續(xù)任務(wù)共同利用該合并后的任務(wù)的輸出結(jié)果。
[0051]對(duì)同時(shí)產(chǎn)生相同中間數(shù)據(jù)的多個(gè)任務(wù)進(jìn)行合并，可以進(jìn)一步減少計(jì)算任務(wù)的數(shù)量，節(jié)約計(jì)算資源。
[0052]下面對(duì)數(shù)據(jù)倉庫中將一個(gè)任務(wù)拆分為多個(gè)任務(wù)的情形做進(jìn)一步說明，對(duì)本發(fā)明實(shí)施例還提供了一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法，適用于服務(wù)器，如圖3所示，該方法包括以下步驟。[〇〇53] S30,分析多個(gè)任務(wù)的數(shù)據(jù)處理邏輯。[〇〇54] S31，根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)依賴關(guān)系。
[0055]數(shù)據(jù)依賴關(guān)系是指在后執(zhí)行的任務(wù)需要依賴由在前執(zhí)行的任務(wù)輸出的數(shù)據(jù)。[〇〇56]例如，任務(wù)T01從表A讀取第一字段和第二字段的數(shù)據(jù)并直接寫入表B，從表A讀取第三字段和第四字段的數(shù)據(jù)，對(duì)第三字段和第四字段的數(shù)據(jù)進(jìn)行預(yù)測(cè)分析，將預(yù)測(cè)結(jié)果寫入表B;任務(wù)T02從表B讀取第一字段和第二字段的數(shù)據(jù)進(jìn)行篩選，將篩選結(jié)果寫入表C;任務(wù) T03從表B讀取預(yù)測(cè)結(jié)果，對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)估，將評(píng)估結(jié)果寫入表D。可以看出，任務(wù)T02依賴于T01中的第一字段和第二字段的數(shù)據(jù)，任務(wù)T03依賴于T01中的預(yù)測(cè)結(jié)果數(shù)據(jù)。
[0057] S32,根據(jù)數(shù)據(jù)依賴關(guān)系，判斷在多個(gè)任務(wù)中先執(zhí)行的任務(wù)是否影響到后執(zhí)行的任務(wù)的執(zhí)行效率。[〇〇58]在上例中，任務(wù)T02和任務(wù)T03的執(zhí)行需要等待任務(wù)T01執(zhí)行完成，而由于預(yù)測(cè)分析的過程會(huì)相對(duì)較慢，因此即使第一字段和第二字段的數(shù)據(jù)已經(jīng)被寫入表B，任務(wù)T02也不能開始執(zhí)行，需要等待預(yù)測(cè)結(jié)果被寫入表B，任務(wù)T01執(zhí)行完畢后再開始執(zhí)行任務(wù)T02，而任務(wù) T02對(duì)表B的預(yù)測(cè)結(jié)果不存在依賴關(guān)系，可見，此時(shí)在先執(zhí)行的任務(wù)T01影響到了在后任務(wù) T02的執(zhí)行效率，拖延了任務(wù)T02開始執(zhí)行的時(shí)間。
[0059]這種情況的出現(xiàn)通常是由于數(shù)據(jù)工程師在任務(wù)配置時(shí)考慮不太周全而導(dǎo)致的。
[0060] S33,當(dāng)判斷先執(zhí)行的任務(wù)影響到后執(zhí)行的任務(wù)的執(zhí)行效率時(shí)，根據(jù)數(shù)據(jù)依賴關(guān)系將先執(zhí)行的任務(wù)拆分為多個(gè)任務(wù)，以使后執(zhí)行的任務(wù)能夠更早的獲得所依賴的數(shù)據(jù)并開始執(zhí)行。[0061 ] 在上例中，將任務(wù)T01進(jìn)行拆分，拆分為任務(wù)T011和任務(wù)T012，任務(wù)T011從表A讀取第一字段和第二字段的數(shù)據(jù)并寫入表B，任務(wù)T012從表A讀取第三字段和第四字段的數(shù)據(jù)并進(jìn)行預(yù)測(cè)分析，將預(yù)測(cè)結(jié)果寫入表B。任務(wù)T011的執(zhí)行會(huì)相對(duì)更快，T011執(zhí)行完成后，任務(wù) T02就可以開始執(zhí)行，而不必等待任務(wù)T012執(zhí)行完成，從而提高了在后執(zhí)行的任務(wù)T02的執(zhí)行效率。
[0062]本發(fā)明實(shí)施例中，當(dāng)發(fā)現(xiàn)在前任務(wù)的執(zhí)行過程對(duì)在后任務(wù)的執(zhí)行效率帶來不好的影響時(shí)，根據(jù)數(shù)據(jù)依賴關(guān)系對(duì)在前任務(wù)進(jìn)行拆分，目的是讓拆分后的任務(wù)能夠讓在后任務(wù)更快的獲得其所依賴的數(shù)據(jù)，從而使該在后任務(wù)能夠比拆分之前更快的開始執(zhí)行，提高總體的執(zhí)行效率。
[0063]下面是本發(fā)明的裝置實(shí)施例，用于執(zhí)行本發(fā)明的上述方法實(shí)施例。
[0064]圖4是本發(fā)明實(shí)施例提供的一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化裝置，包括:[〇〇65]分析模塊40,用于分析多個(gè)任務(wù)的數(shù)據(jù)處理邏輯;確定模塊41，用于根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系;處理模塊42,用于對(duì)所述數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將所述多個(gè)任務(wù)合并為一個(gè)任務(wù)或者將所述多個(gè)任務(wù)中的一個(gè)任務(wù)拆分成多個(gè)任務(wù)。
[0066]在一個(gè)實(shí)施例中，該確定模塊41進(jìn)一步包括:第一確定子模塊，用于根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間產(chǎn)生的中間數(shù)據(jù)；
[0067]該處理模塊42進(jìn)一步包括:分析子模塊，用于分析中間數(shù)據(jù)的使用狀態(tài)以確定中間數(shù)據(jù)是否需要繼續(xù)被保存;第一合并子模塊，用于當(dāng)中間數(shù)據(jù)不需要被保存時(shí)，根據(jù)數(shù)據(jù)處理邏輯將多個(gè)任務(wù)合并為一個(gè)任務(wù)。
[0068]在一個(gè)實(shí)施例中，該分析子模塊進(jìn)一步包括:分析單元，根據(jù)業(yè)務(wù)需求分析中間數(shù)據(jù)是否在業(yè)務(wù)中被使用;第一確定單元，當(dāng)中間數(shù)據(jù)在業(yè)務(wù)中不被使用時(shí)，確定中間數(shù)據(jù)不需要繼續(xù)被保存。
[0069]在一個(gè)實(shí)施例中，該分析子模塊進(jìn)一步包括:標(biāo)記單元，統(tǒng)計(jì)中間數(shù)據(jù)的未被使用的累積時(shí)長(zhǎng)，當(dāng)累積時(shí)長(zhǎng)達(dá)到預(yù)設(shè)門限時(shí)，標(biāo)記中間數(shù)據(jù)為不被使用的數(shù)據(jù)；第二確定單元，當(dāng)中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)大于或等于預(yù)設(shè)門限時(shí)，確定中間數(shù)據(jù)不需要繼續(xù)被保存。
[0070]在一個(gè)實(shí)施例中，該處理模塊42還包括:第一判斷子模塊，用于根據(jù)數(shù)據(jù)處理邏輯判斷是否同時(shí)存在多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù);第二合并子模塊，用于當(dāng)同時(shí)存在多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)時(shí)，將多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)合并為一個(gè)任務(wù)。
[0071]在一個(gè)實(shí)施例中，該確定模塊41進(jìn)一步包括:第二確定子模塊，用于根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)依賴關(guān)系；[〇〇72]所述處理模塊42包括:第二判斷子模塊，用于根據(jù)所述數(shù)據(jù)依賴關(guān)系，判斷在多個(gè)任務(wù)中先執(zhí)行的任務(wù)是否影響到后執(zhí)行的任務(wù)的執(zhí)行效率;拆分子模塊，用于當(dāng)判斷先執(zhí)行的任務(wù)影響到后執(zhí)行的任務(wù)的執(zhí)行效率時(shí)，根據(jù)數(shù)據(jù)依賴關(guān)系將先執(zhí)行的任務(wù)拆分為多個(gè)任務(wù)，并將拆分出的多個(gè)任務(wù)中的一個(gè)任務(wù)的輸出數(shù)據(jù)作為后執(zhí)行的任務(wù)的輸入數(shù)據(jù)。
[0073] 此外，本發(fā)明實(shí)施例中可以通過硬件處理器(hardware processor)來實(shí)現(xiàn)上述各個(gè)功能模塊。[〇〇74] 本發(fā)明實(shí)施例還提供了一種服務(wù)器，該服務(wù)器包括:包括處理器；用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器;其中，處理器被配置為:分析多個(gè)任務(wù)的數(shù)據(jù)處理邏輯;根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系;對(duì)所述數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將多個(gè)任務(wù)合并為一個(gè)任務(wù)或者將多個(gè)任務(wù)中的一個(gè)任務(wù)拆分成多個(gè)任務(wù)。
[0075]在一個(gè)實(shí)施例中，所述根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系包括:根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間產(chǎn)生的中間數(shù)據(jù)；
[0076]所述對(duì)所述數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將多個(gè)任務(wù)合并為一個(gè)任務(wù)包括:分析中間數(shù)據(jù)的使用狀態(tài)以確定中間數(shù)據(jù)是否需要繼續(xù)被保存；當(dāng)中間數(shù)據(jù)不需要被保存時(shí)， 根據(jù)數(shù)據(jù)處理邏輯將多個(gè)任務(wù)合并為一個(gè)任務(wù)。
[0077]在一個(gè)實(shí)施例中，所述分析中間數(shù)據(jù)的使用狀態(tài)以確定中間數(shù)據(jù)是否需要繼續(xù)被保存包括:根據(jù)業(yè)務(wù)需求分析中間數(shù)據(jù)是否在業(yè)務(wù)中被使用；當(dāng)中間數(shù)據(jù)在業(yè)務(wù)中不被使用時(shí)，確定中間數(shù)據(jù)不需要繼續(xù)被保存。
[0078]在一個(gè)實(shí)施例中，所述分析中間數(shù)據(jù)的使用狀態(tài)以確定中間數(shù)據(jù)是否需要繼續(xù)被保存包括:統(tǒng)計(jì)中間數(shù)據(jù)的未被使用的累積時(shí)長(zhǎng)，當(dāng)累積時(shí)長(zhǎng)達(dá)到預(yù)設(shè)門限時(shí)，標(biāo)記中間數(shù)據(jù)為不被使用的數(shù)據(jù)；當(dāng)中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)大于或等于預(yù)設(shè)門限時(shí)，確定中間數(shù)據(jù)不需要繼續(xù)被保存。
[0079]在一個(gè)實(shí)施例中，所述對(duì)數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將多個(gè)任務(wù)合并為一個(gè)任務(wù)還包括:根據(jù)數(shù)據(jù)處理邏輯判斷是否同時(shí)存在多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)；當(dāng)同時(shí)存在多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)時(shí)，將多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)合并為一個(gè)任務(wù)。
[0080]在一個(gè)實(shí)施例中，所述根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系包括:根據(jù)多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)依賴關(guān)系；
[0081]所述對(duì)數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將多個(gè)任務(wù)中的一個(gè)任務(wù)拆分成多個(gè)任務(wù)包括:根據(jù)數(shù)據(jù)依賴關(guān)系，判斷在多個(gè)任務(wù)中先執(zhí)行的任務(wù)是否影響到后執(zhí)行的任務(wù)的執(zhí)行效率；當(dāng)判斷先執(zhí)行的任務(wù)影響到后執(zhí)行的任務(wù)的執(zhí)行效率時(shí)，根據(jù)數(shù)據(jù)依賴關(guān)系將先執(zhí)行的任務(wù)拆分為多個(gè)任務(wù)，并將拆分出的多個(gè)任務(wù)中的一個(gè)任務(wù)的輸出數(shù)據(jù)作為后執(zhí)行的任務(wù)的輸入數(shù)據(jù)。
[0082]以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動(dòng)的情況下，即可以理解并實(shí)施。
[0083]通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0084]最后應(yīng)說明的是:以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換； 而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)處理中的任務(wù)優(yōu)化方法，其特征在于，包括:分析多個(gè)任務(wù)的數(shù)據(jù)處理邏輯；根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系；對(duì)所述數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將所述多個(gè)任務(wù)合并為一個(gè)任務(wù)或者將所述多個(gè) 任務(wù)中的一個(gè)任務(wù)拆分成多個(gè)任務(wù)。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確 定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系包括:根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間產(chǎn)生的中間數(shù)據(jù)；所述對(duì)所述數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將所述多個(gè)任務(wù)合并為一個(gè)任務(wù)包括:分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被保存；當(dāng)所述中間數(shù)據(jù)不需要被保存時(shí)，根據(jù)所述數(shù)據(jù)處理邏輯將所述多個(gè)任務(wù)合并為一個(gè) 任務(wù)。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述分析所述中間數(shù)據(jù)的使用狀態(tài)以確定 所述中間數(shù)據(jù)是否需要繼續(xù)被保存包括:根據(jù)業(yè)務(wù)需求分析所述中間數(shù)據(jù)是否在業(yè)務(wù)中被使用；當(dāng)所述中間數(shù)據(jù)在業(yè)務(wù)中不被使用時(shí)，確定所述中間數(shù)據(jù)不需要繼續(xù)被保存。4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述分析所述中間數(shù)據(jù)的使用狀態(tài)以確定 所述中間數(shù)據(jù)是否需要繼續(xù)被保存包括:統(tǒng)計(jì)所述中間數(shù)據(jù)的未被使用的累積時(shí)長(zhǎng)，當(dāng)所述累積時(shí)長(zhǎng)達(dá)到預(yù)設(shè)門限時(shí)，標(biāo)記所 述中間數(shù)據(jù)為不被使用的數(shù)據(jù)；當(dāng)所述中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)大于或等于預(yù)設(shè)門限時(shí)，確定所述中 間數(shù)據(jù)不需要繼續(xù)被保存。5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否 將所述多個(gè)任務(wù)合并為一個(gè)任務(wù)還包括:根據(jù)數(shù)據(jù)處理邏輯判斷是否同時(shí)存在多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)；當(dāng)同時(shí)存在多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)時(shí)，將所述多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù) 的任務(wù)合并為一個(gè)任務(wù)。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確 定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系包括:根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)依賴關(guān)系；所述對(duì)所述數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將所述多個(gè)任務(wù)中的一個(gè)任務(wù)拆分成多個(gè)任 務(wù)包括:根據(jù)所述數(shù)據(jù)依賴關(guān)系，判斷在所述多個(gè)任務(wù)中先執(zhí)行的任務(wù)是否影響到后執(zhí)行的任 務(wù)的執(zhí)行效率；當(dāng)判斷先執(zhí)行的任務(wù)影響到后執(zhí)行的任務(wù)的執(zhí)行效率時(shí)，根據(jù)所述數(shù)據(jù)依賴關(guān)系將所 述先執(zhí)行的任務(wù)拆分為多個(gè)任務(wù)，并將所述拆分出的多個(gè)任務(wù)中的一個(gè)任務(wù)的輸出數(shù)據(jù)作 為所述后執(zhí)行的任務(wù)的輸入數(shù)據(jù)。7.—種大數(shù)據(jù)處理中的任務(wù)優(yōu)化裝置，其特征在于，包括:分析模塊，用于分析多個(gè)任務(wù)的數(shù)據(jù)處理邏輯；確定模塊，用于根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)關(guān)系；處理模塊，用于對(duì)所述數(shù)據(jù)關(guān)系進(jìn)行分析，確定是否將所述多個(gè)任務(wù)合并為一個(gè)任務(wù) 或者將所述多個(gè)任務(wù)中的一個(gè)任務(wù)拆分成多個(gè)任務(wù)。8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述確定模塊包括:第一確定子模塊，用于根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間產(chǎn)生的中 間數(shù)據(jù)；所述處理模塊包括:分析子模塊，用于分析所述中間數(shù)據(jù)的使用狀態(tài)以確定所述中間數(shù)據(jù)是否需要繼續(xù)被 保存；第一合并子模塊，用于當(dāng)所述中間數(shù)據(jù)不需要被保存時(shí)，根據(jù)所述數(shù)據(jù)處理邏輯將所 述多個(gè)任務(wù)合并為一個(gè)任務(wù)。9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述分析子模塊包括:分析單元，根據(jù)業(yè)務(wù)需求分析所述中間數(shù)據(jù)是否在業(yè)務(wù)中被使用；第一確定單元，當(dāng)所述中間數(shù)據(jù)在業(yè)務(wù)中不被使用時(shí)，確定所述中間數(shù)據(jù)不需要繼續(xù) 被保存。10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述分析子模塊包括:標(biāo)記單元，統(tǒng)計(jì)所述中間數(shù)據(jù)的未被使用的累積時(shí)長(zhǎng)，當(dāng)所述累積時(shí)長(zhǎng)達(dá)到預(yù)設(shè)門限 時(shí)，標(biāo)記所述中間數(shù)據(jù)為不被使用的數(shù)據(jù)；第二確定單元，當(dāng)所述中間數(shù)據(jù)被標(biāo)記為不被使用的數(shù)據(jù)的次數(shù)大于或等于預(yù)設(shè)門限 時(shí)，確定所述中間數(shù)據(jù)不需要繼續(xù)被保存。11.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述處理模塊還包括:第一判斷子模塊，用于根據(jù)數(shù)據(jù)處理邏輯判斷是否同時(shí)存在多個(gè)能夠產(chǎn)生相同中間數(shù) 據(jù)的任務(wù)；第二合并子模塊，用于當(dāng)同時(shí)存在多個(gè)能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)時(shí)，將所述多個(gè) 能夠產(chǎn)生相同中間數(shù)據(jù)的任務(wù)合并為一個(gè)任務(wù)。12.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述確定模塊包括:第二確定子模塊，用于根據(jù)所述多個(gè)任務(wù)的數(shù)據(jù)處理邏輯確定多個(gè)任務(wù)之間的數(shù)據(jù)依 賴關(guān)系；所述處理模塊包括:第二判斷子模塊，用于根據(jù)所述數(shù)據(jù)依賴關(guān)系，判斷在所述多個(gè)任務(wù)中先執(zhí)行的任務(wù) 是否影響到后執(zhí)行的任務(wù)的執(zhí)行效率；拆分子模塊，用于當(dāng)判斷先執(zhí)行的任務(wù)影響到后執(zhí)行的任務(wù)的執(zhí)行效率時(shí)，根據(jù)所述 數(shù)據(jù)依賴關(guān)系將所述先執(zhí)行的任務(wù)拆分為多個(gè)任務(wù)，并將所述拆分出的多個(gè)任務(wù)中的一個(gè) 任務(wù)的輸出數(shù)據(jù)作為所述后執(zhí)行的任務(wù)的輸入數(shù)據(jù)。
【文檔編號(hào)】G06F9/50GK105975600SQ201610308355
【公開日】2016年9月28日
【申請(qǐng)日】2016年5月11日
【發(fā)明人】劉宏斌, 國(guó)鐵龍, 向滔
【申請(qǐng)人】樂視控股（北京）有限公司, 樂視網(wǎng)信息技術(shù)（北京）股份有限公司