用于識(shí)別多級(jí)工作流處理中的資源瓶頸的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明總地涉及計(jì)算機(jī)、計(jì)算機(jī)應(yīng)用以及信息處理，并且更具體地涉及識(shí)別多級(jí) 工作流處理的資源瓶頸。
【背景技術(shù)】
[0002] 現(xiàn)代分布式系統(tǒng)中的信息處理的規(guī)模和復(fù)雜度的增大已經(jīng)引起了很多有挑戰(zhàn)性 的問(wèn)題。這種分布式處理系統(tǒng)的示例包括處理復(fù)雜業(yè)務(wù)過(guò)程工作流的系統(tǒng)、信息/數(shù)據(jù)流 處理系統(tǒng)、管理和配置（provisioning)系統(tǒng)。這種系統(tǒng)可預(yù)期應(yīng)對(duì)大量處理請(qǐng)求，因此了 解這一量級(jí)的系統(tǒng)中的可擴(kuò)展性問(wèn)題變得困難。盡管已知的方法在估計(jì)端到端的延遲向在 端到端的流中涉及的不同節(jié)點(diǎn)的分解時(shí)使用端到端的測(cè)量結(jié)果，但是這種方法被限制為了 解應(yīng)用層級(jí)的可擴(kuò)展性，并且可能只能在高層級(jí)上（例如在節(jié)點(diǎn)層級(jí)上）識(shí)別瓶頸。

【發(fā)明內(nèi)容】

[0003] 在一個(gè)方面，一種識(shí)別多級(jí)工作流處理中的資源瓶頸的方法可以包括：識(shí)別邏輯 級(jí)和計(jì)算系統(tǒng)中的物理資源的相關(guān)性，以確定哪個(gè)邏輯級(jí)涉及哪組資源。該方法還可以包 括：對(duì)于每個(gè)所識(shí)別的相關(guān)性，確定物理資源的使用量水平和邏輯級(jí)的并發(fā)水平之間的函 數(shù)關(guān)系。該方法還可以包括：基于對(duì)于每個(gè)邏輯級(jí)確定的函數(shù)關(guān)系，估計(jì)每個(gè)邏輯級(jí)對(duì)物理 資源的消耗。該方法還可以包括：基于所估計(jì)的消耗來(lái)執(zhí)行預(yù)測(cè)建模，以確定所述每個(gè)邏輯 級(jí)將變?yōu)槠款i所在的并發(fā)水平。
[0004] 在一個(gè)方面，一種識(shí)別多級(jí)工作流處理中的資源瓶頸的系統(tǒng)可以包括模塊，該模 塊可操作以在計(jì)算機(jī)處理器上執(zhí)行，并且還可操作以識(shí)別邏輯級(jí)和計(jì)算系統(tǒng)中的物理資源 的相關(guān)性，以確定哪個(gè)邏輯級(jí)涉及哪組資源。對(duì)于每個(gè)所識(shí)別的相關(guān)性，該模塊還可以操作 以確定物理資源的使用量水平和邏輯級(jí)的并發(fā)水平之間的函數(shù)關(guān)系。該模塊還可操作以 基于對(duì)于每個(gè)邏輯級(jí)確定的函數(shù)關(guān)系，估計(jì)每個(gè)邏輯級(jí)對(duì)物理資源的消耗。該模塊還可操 作以基于所估計(jì)的消耗來(lái)執(zhí)行預(yù)測(cè)建模，以確定所述每個(gè)邏輯級(jí)將變?yōu)槠款i所在的并發(fā)水 平。
[0005] 還可以提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)可由機(jī)器運(yùn)行以執(zhí)行在這里描述的 一種或多種方法的指令的程序。
[0006] 下面參照附圖來(lái)詳細(xì)描述其他特征以及各種實(shí)施例的結(jié)構(gòu)和操作。在附圖中，相 同的參考標(biāo)號(hào)表示相同或功能上相似的元件。
【附圖說(shuō)明】
[0007] 圖1是圖示一個(gè)實(shí)施例中的本公開的方法的概述的流程圖。
[0008] 圖2是圖示本公開的一個(gè)實(shí)施例中的工作流級(jí)和系統(tǒng)資源的框圖。
[0009] 圖3圖示可以實(shí)現(xiàn)本公開的一個(gè)實(shí)施例中的瓶頸識(shí)別系統(tǒng)的示例計(jì)算機(jī)或處理 系統(tǒng)的不意圖。
[0010] 圖4示出本公開的一個(gè)實(shí)施例中的用于對(duì)網(wǎng)絡(luò)仿真進(jìn)行排隊(duì)的示例算法。
【具體實(shí)施方式】
[0011] 在一個(gè)方面中，本公開可以提供識(shí)別多級(jí)工作流的資源瓶頸的改進(jìn)的方法。在一 個(gè)方面中，本公開可以提供在邏輯級(jí)層級(jí)而不是作業(yè)層級(jí)上將工作流映射到資源，從而提 供更細(xì)的粒度和瓶頸確定。對(duì)于邏輯級(jí)和物理資源之間的映射，本公開可以提供在邏輯級(jí) 層級(jí)上識(shí)別工作流和物理資源之間的相關(guān)性，然后在資源使用率和不同邏輯級(jí)的并發(fā)水平 之間映射，計(jì)算導(dǎo)致調(diào)度的每一級(jí)的使用率，然后對(duì)使用量和邏輯級(jí)與物理資源之間的交 互進(jìn)行建模。
[0012] 在一個(gè)方面中，本公開研宄了一種系統(tǒng)，該系統(tǒng)被設(shè)計(jì)為以可擴(kuò)展的方式同時(shí)處 理很多作業(yè)請(qǐng)求，以便充分利用其所有資源并且實(shí)現(xiàn)高吞吐量水平。通常，作業(yè)請(qǐng)求在其被 認(rèn)為完成之前可能需要經(jīng)過(guò)多個(gè)邏輯處理級(jí)。邏輯級(jí)可對(duì)應(yīng)于例如所述作業(yè)執(zhí)行的應(yīng)用的 源代碼中的函數(shù)調(diào)用。每個(gè)邏輯處理級(jí)可以由系統(tǒng)中的一個(gè)或多個(gè)節(jié)點(diǎn)處理。這些節(jié)點(diǎn)可 以是物理計(jì)算機(jī)或在共享的物理硬件上運(yùn)行的虛擬機(jī)。作業(yè)的每個(gè)邏輯級(jí)消耗一個(gè)或多個(gè) 節(jié)點(diǎn)上的一個(gè)或多個(gè)不同的物理資源（中央處理單元（CPU)、存儲(chǔ)器、輸入/輸出（1/0)、盤 和/或其他物理資源）。一些邏輯級(jí)可被并行處理，而一些邏輯級(jí)必須被依序處理。系統(tǒng)被 設(shè)計(jì)為以可擴(kuò)展的方式同時(shí)應(yīng)付很多請(qǐng)求，以便充分利用其所有資源并且實(shí)現(xiàn)高吞吐量水 平。
[0013] 這種分布式處理系統(tǒng)的示例包括處理復(fù)雜業(yè)務(wù)過(guò)程工作流的系統(tǒng)、信息/數(shù)據(jù)流 處理系統(tǒng)、管理和配置系統(tǒng)。具體示例可以是用于云或類似的計(jì)算基礎(chǔ)架構(gòu)的虛擬機(jī)配置 系統(tǒng)。在這樣的系統(tǒng)中，用于每個(gè)請(qǐng)求的處理級(jí)的數(shù)量通常在數(shù)百的量級(jí)上。該系統(tǒng)預(yù)期 同時(shí)應(yīng)對(duì)數(shù)千個(gè)請(qǐng)求。系統(tǒng)中存在的作業(yè)請(qǐng)求可以在每個(gè)邏輯級(jí)處根據(jù)并發(fā)水平（即，可 以在這些級(jí)處并行運(yùn)行的作業(yè)的最大數(shù)量）的某個(gè)等級(jí)被并行地處理。具體地，當(dāng)這一并 發(fā)水平等于1時(shí)，則在這些邏輯級(jí)處，必須依序處理所有作業(yè)?？梢栽谲浖酗@式地施加該 并發(fā)限制，或者可以由于對(duì)共享資源的鎖定而進(jìn)行該并發(fā)限制，或者該并發(fā)限制可以是有 限的硬件資源的結(jié)果。
[0014] 在一個(gè)方面中，本公開在系統(tǒng)可擴(kuò)展性由于硬件資源而受到限制時(shí)識(shí)別瓶頸資 源。在一個(gè)方面中，取代在應(yīng)用吞吐量的背景中研宄系統(tǒng)可擴(kuò)展性，本公開可以在作業(yè)中的 不同邏輯級(jí)的可擴(kuò)展性上開展深入研宄。
[0015] 識(shí)別邏輯級(jí)的瓶頸物理資源中的步驟包括：發(fā)現(xiàn)該邏輯級(jí)和在執(zhí)行該特定級(jí)時(shí)涉 及的物理資源之間的映射。由于目前大多數(shù)軟件設(shè)計(jì)涉及使用可自由獲得的、可插入的二 進(jìn)制組件，因此缺乏對(duì)于在作業(yè)請(qǐng)求的端到端流中涉及的所有邏輯級(jí)的清楚了解。在一個(gè) 方面中，本公開識(shí)別作為瓶頸的節(jié)點(diǎn)中的物理資源（例如中央處理單元（CPU)/存儲(chǔ)器/ 盤）層級(jí)上的瓶頸。這種瓶頸識(shí)別在識(shí)別由于對(duì)系統(tǒng)的物理資源的相應(yīng)壓力而限制可擴(kuò)展 性的軟件模式時(shí)可以是有用的。
[0016] 具體地，在一個(gè)公開中，本公開可以解決將多級(jí)工作流中的邏輯級(jí)映射到系統(tǒng)的 物理資源的問(wèn)題。
[0017] 在一個(gè)方面中，在本公開中提供了一種方法，其包括：識(shí)別在工作流的不同邏輯級(jí) 中涉及的物理資源。典型地，工作流經(jīng)過(guò)不同的邏輯（進(jìn)程層級(jí)）級(jí)，每個(gè)邏輯級(jí)消耗一個(gè) 或多個(gè)節(jié)點(diǎn)上的一個(gè)或多個(gè)資源（CPU、存儲(chǔ)器、I/O)。這里，節(jié)點(diǎn)可以是物理服務(wù)器或虛擬 機(jī)。在每一級(jí)中涉及的節(jié)點(diǎn)及其資源不是明確知道的。使用利用諸如nmon的工具收集的 不同節(jié)點(diǎn)的資源使用數(shù)據(jù)，本公開的實(shí)施例中的方法可以識(shí)別在工作流級(jí)中消耗的資源和 (潛在的）瓶頸資源。
[0018] 在一個(gè)方面中，本公開的方法可以不需要網(wǎng)絡(luò)拓?fù)浠蛟谧鳂I(yè)請(qǐng)求的不同級(jí)處涉及 的節(jié)點(diǎn)/資源的任何先驗(yàn)知識(shí)。此外，本公開的方法可以以細(xì)得多的粒度，例如在與應(yīng)用層 級(jí)相對(duì)的邏輯級(jí)層級(jí)上識(shí)別資源瓶頸。
[0019] 圖1是圖示一個(gè)實(shí)施例中的本公開的方法的概況的流程圖。在102,識(shí)別從邏輯級(jí) 到物理資源的映射。對(duì)于每個(gè)邏輯級(jí)，獲得該級(jí)中的請(qǐng)求數(shù)量（并發(fā)水平）1〇4的時(shí)間序列 (隨著時(shí)間的級(jí)中的請(qǐng)