本發(fā)明實(shí)施例涉及大數(shù)據(jù)整合技術(shù)領(lǐng)域，尤其涉及一種etl作業(yè)的監(jiān)控方法和系統(tǒng)。

背景技術(shù)：

在大數(shù)據(jù)時(shí)代，通常通過etl(extracttransformload，抽取轉(zhuǎn)換加載)技術(shù)來整合各種來源的數(shù)據(jù)，以進(jìn)行進(jìn)一步的數(shù)據(jù)挖掘和分析。etl用來描述將數(shù)據(jù)從來源端經(jīng)過抽取、轉(zhuǎn)換、加載至目的端的過程。在整合動(dòng)態(tài)更新的數(shù)據(jù)時(shí)，etl以定時(shí)或者實(shí)時(shí)的方式實(shí)現(xiàn)數(shù)據(jù)的處理。

目前，etl作業(yè)的監(jiān)控方案多關(guān)注于當(dāng)前作業(yè)的狀態(tài)，如正在執(zhí)行、空閑且上次執(zhí)行正常、上次執(zhí)行有警告、上次執(zhí)行發(fā)生了錯(cuò)誤、正在等待下次定時(shí)執(zhí)行的作業(yè)等。對(duì)于正在執(zhí)行的作業(yè)，還可以進(jìn)一步監(jiān)控正在執(zhí)行的具體模塊。當(dāng)作業(yè)執(zhí)行失敗時(shí)，雖然可以采用重跑機(jī)制，但不是所有失敗在重新執(zhí)行時(shí)都能解決，因此，目前的etl作業(yè)的監(jiān)控方案中，常見的處理策略是發(fā)送告警信號(hào)，將etl作業(yè)的錯(cuò)誤信息及時(shí)通知給相關(guān)人員，以便人工及時(shí)進(jìn)行干預(yù)，如發(fā)送錯(cuò)誤通知郵件、推送錯(cuò)誤警告日志等，無法直觀地監(jiān)控etl作業(yè)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例提供了一種etl作業(yè)的監(jiān)控方法和系統(tǒng)，以解決現(xiàn)有的etl作業(yè)的監(jiān)控方案無法直觀地監(jiān)控etl作業(yè)的問題。

根據(jù)本發(fā)明實(shí)施例的一方面，提供了一種etl作業(yè)的監(jiān)控方法，包括：獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)；基于操作請(qǐng)求信息根據(jù)所述執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)；將所述圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種etl作業(yè)的監(jiān)控系統(tǒng)，包括：作業(yè)執(zhí)行模塊，用于獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)；監(jiān)控中心模塊，用于基于操作請(qǐng)求信息根據(jù)所述執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)；界面交互模塊，用于將所述圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。

根據(jù)本發(fā)明實(shí)施例提供的一種etl作業(yè)的監(jiān)控方法和系統(tǒng)，獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)；基于操作請(qǐng)求信息根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)；將圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。本發(fā)明實(shí)施例可以通過圖譜的形式對(duì)etl作業(yè)進(jìn)行監(jiān)控，使得etl作業(yè)的監(jiān)控更加直觀。

附圖說明

圖1是根據(jù)本發(fā)明實(shí)施例一的一種etl作業(yè)的監(jiān)控方法的步驟流程圖；

圖2是根據(jù)本發(fā)明實(shí)施例二的一種etl作業(yè)的監(jiān)控方法的步驟流程圖；

圖3是根據(jù)本發(fā)明實(shí)施例二的一種etl作業(yè)的監(jiān)控方法中的圖譜數(shù)據(jù)展示示意圖；

圖4是根據(jù)本發(fā)明實(shí)施例三的一種etl作業(yè)的監(jiān)控系統(tǒng)的結(jié)構(gòu)框圖；

圖5是根據(jù)本發(fā)明實(shí)施例四的一種etl作業(yè)的監(jiān)控系統(tǒng)的結(jié)構(gòu)框圖。

具體實(shí)施方式

下面結(jié)合附圖(若干附圖中相同的標(biāo)號(hào)表示相同的元素)和實(shí)施例，對(duì)本發(fā)明實(shí)施例的具體實(shí)施方式作進(jìn)一步詳細(xì)說明。以下實(shí)施例用于說明本發(fā)明，但不用來限制本發(fā)明的范圍。

本領(lǐng)域技術(shù)人員可以理解，本發(fā)明實(shí)施例中的“第一”、“第二”等術(shù)語僅用于區(qū)別不同步驟、設(shè)備或模塊等，既不代表任何特定技術(shù)含義，也不表示它們之間的必然邏輯順序。

實(shí)施例一

圖1示出了根據(jù)本發(fā)明實(shí)施例一的一種etl作業(yè)的監(jiān)控方法的步驟流程圖。

本實(shí)施例提供的etl作業(yè)的監(jiān)控方法包括如下步驟。

步驟s100、獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)。

本實(shí)施例中的etl作業(yè)可以為任意etl作業(yè)。本步驟s100可以在在etl作業(yè)執(zhí)行時(shí)，獲取etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)，其中，etl作業(yè)執(zhí)行包括執(zhí)行開始、執(zhí)行過程中和執(zhí)行結(jié)束三個(gè)階段。

本實(shí)施例中的執(zhí)行元數(shù)據(jù)包括但不限于：執(zhí)行開始時(shí)間、執(zhí)行結(jié)束時(shí)間、etl作業(yè)中的各流程處理進(jìn)度、作業(yè)狀態(tài)(正常、警告、錯(cuò)誤等)等結(jié)構(gòu)化的特征數(shù)據(jù)。日志數(shù)據(jù)包括但不限于：etl作業(yè)執(zhí)行過程中各個(gè)階段的文字描述、錯(cuò)誤堆棧等信息。

步驟s102、基于操作請(qǐng)求信息根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)。

本實(shí)施例中的操作請(qǐng)求信息可以來源于監(jiān)控用戶通過鍵盤、鼠標(biāo)或者觸摸屏等輸入設(shè)備輸入的監(jiān)控操作。

本實(shí)施例中，不僅根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)，還可以按照設(shè)定格式對(duì)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)進(jìn)行存儲(chǔ)。

步驟s104、將圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。

本實(shí)施例中的圖譜數(shù)據(jù)可以作為etl作業(yè)的監(jiān)控結(jié)果，具體可以通過交互界面進(jìn)行展示，可選地，以色塊圖譜的方式將圖譜數(shù)據(jù)展示給監(jiān)控用戶，其中，每個(gè)色塊圖譜可以對(duì)應(yīng)一個(gè)時(shí)間片的執(zhí)行區(qū)間，監(jiān)控用戶可以通過預(yù)定的操作形式，如鼠標(biāo)點(diǎn)擊、鍵盤快捷鍵等，獲取指定時(shí)刻的圖譜數(shù)據(jù)，可以包括etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)等。

根據(jù)本發(fā)明實(shí)施例提供的一種etl作業(yè)的監(jiān)控方法，獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)；基于操作請(qǐng)求信息根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)；將圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。本實(shí)施例可以通過圖譜的形式對(duì)etl作業(yè)進(jìn)行監(jiān)控，使得etl作業(yè)的監(jiān)控更加直觀，而且，監(jiān)控用戶通過預(yù)定的操作形式，可以查看etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)。

實(shí)施例二

本實(shí)施例重點(diǎn)在于強(qiáng)調(diào)與上述實(shí)施例的不同之處，相同之處可以參照上述實(shí)施例中的相關(guān)說明，在此不再贅述。

圖2示出了根據(jù)本發(fā)明實(shí)施例二的一種etl作業(yè)的監(jiān)控方法的步驟流程圖。

本實(shí)施例提供的一種etl作業(yè)的監(jiān)控方法包括如下步驟。

步驟s200、獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)。

本步驟s200可以按照etl作業(yè)的執(zhí)行順序劃分為如下部分：

一、在etl作業(yè)執(zhí)行開始時(shí)。

獲取并上報(bào)etl作業(yè)的執(zhí)行批次號(hào)、執(zhí)行開始時(shí)間和作業(yè)標(biāo)識(shí)號(hào)。

本實(shí)施例中，每個(gè)etl作業(yè)具有唯一的作業(yè)標(biāo)識(shí)號(hào)，用于與其他etl作業(yè)相區(qū)分，etl作業(yè)每執(zhí)行一次具有一個(gè)執(zhí)行批次號(hào)，用于與該etl作業(yè)的其他執(zhí)行次數(shù)相區(qū)分。

二、在etl作業(yè)執(zhí)行過程中。

獲取并實(shí)時(shí)/批量上報(bào)作業(yè)標(biāo)識(shí)號(hào)、各階段的文字描述信息和錯(cuò)誤堆棧信息等；獲取并按照預(yù)定的時(shí)間間隔上報(bào)作業(yè)標(biāo)識(shí)號(hào)和各流程處理進(jìn)度，其中，各流程處理進(jìn)度包括以下至少之一：作業(yè)完成的百分比、處理的記錄數(shù)、字節(jié)流大小等。

三、在etl作業(yè)執(zhí)行結(jié)束時(shí)。

獲取并上報(bào)etl作業(yè)的執(zhí)行結(jié)束時(shí)間、作業(yè)狀態(tài)和作業(yè)標(biāo)識(shí)號(hào)。

步驟s202、基于操作請(qǐng)求信息根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)。

可選地，本步驟s202可以包括如下子步驟。

子步驟s2020、基于操作請(qǐng)求信息中的時(shí)間范圍，根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜粒度。

監(jiān)控用戶發(fā)出的操作請(qǐng)求信息中包含請(qǐng)求監(jiān)控etl作業(yè)的時(shí)間范圍，根據(jù)操作請(qǐng)求信息中的時(shí)間范圍，通過執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成得到適合時(shí)間范圍的圖譜粒度，本實(shí)施例中的圖譜粒度可以包括以下至少之一：年、月、日、時(shí)、分、秒等。

子步驟s2022、計(jì)算圖譜粒度下各時(shí)間片的圖譜數(shù)據(jù)。

以圖譜粒度為單位，計(jì)算圖譜粒度下每個(gè)時(shí)間片的圖譜數(shù)據(jù)，具體可以計(jì)算得到各執(zhí)行批次的etl作業(yè)的執(zhí)行開始時(shí)間、執(zhí)行結(jié)束時(shí)間、執(zhí)行狀態(tài)等，可選地，以時(shí)間片為最小統(tǒng)計(jì)單位，將多個(gè)批次的同一etl作業(yè)的圖譜數(shù)據(jù)進(jìn)行合并。而且，還可以根據(jù)etl作業(yè)的批次號(hào)將etl作業(yè)的圖譜數(shù)據(jù)、日志數(shù)據(jù)和執(zhí)行元數(shù)據(jù)進(jìn)行關(guān)聯(lián)。

步驟s204、將圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。

本實(shí)施例中，可以按照時(shí)間順序展示各時(shí)間片的圖譜數(shù)據(jù)，如圖3所示，在一個(gè)時(shí)間片上，可以根據(jù)展示界面的長度計(jì)算每個(gè)時(shí)間單位的像素大小，將圖譜數(shù)據(jù)填充到相應(yīng)的像素置位處，例如，在時(shí)間片“2013.11.12”上，不同的圖譜數(shù)據(jù)以不同長度的長方形表示。可選地，可以利用不同的顏色或圖案區(qū)分etl作業(yè)的不同作業(yè)狀態(tài)，例如，綠色表示執(zhí)行正常，黃色表示存在告警，紅色表示執(zhí)行錯(cuò)誤。可選地，圖譜數(shù)據(jù)的長度可以表示etl作業(yè)的執(zhí)行時(shí)長，圖譜數(shù)據(jù)的長度越長代表etl作業(yè)的執(zhí)行時(shí)長越長；圖譜數(shù)據(jù)的長度越短代表etl作業(yè)的執(zhí)行時(shí)長越短。

本實(shí)施例中，在對(duì)圖譜數(shù)據(jù)進(jìn)行展示的過程中，可以接收監(jiān)控用戶針對(duì)某個(gè)圖譜數(shù)據(jù)所在區(qū)域的查看操作，進(jìn)而展示該圖譜數(shù)據(jù)對(duì)應(yīng)的etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)。對(duì)于正在執(zhí)行的etl作業(yè)，可以實(shí)時(shí)刷新圖譜數(shù)據(jù)，若監(jiān)控用戶正在查看該正在執(zhí)行的etl作業(yè)的圖譜數(shù)據(jù)，可以同步展示該正在執(zhí)行的etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)。

根據(jù)本發(fā)明實(shí)施例提供的一種etl作業(yè)的監(jiān)控方法，獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)；基于操作請(qǐng)求信息根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)；將圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。本實(shí)施例可以通過圖譜的形式對(duì)etl作業(yè)進(jìn)行監(jiān)控，使得etl作業(yè)的監(jiān)控更加直觀，而且，監(jiān)控用戶通過預(yù)定的操作形式，可以查看etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)。

通過本實(shí)施例中的技術(shù)方案，不僅可以監(jiān)控正在執(zhí)行的etl作業(yè)，還可以查看歷史etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)，為etl作業(yè)的監(jiān)控提供回看功能。

本實(shí)施例中按照?qǐng)D譜形式展示etl作業(yè)的圖譜數(shù)據(jù)，可以在圖譜上實(shí)時(shí)監(jiān)控etl作業(yè)的各流程處理進(jìn)度和日志數(shù)據(jù)，進(jìn)而分析etl作業(yè)的性能瓶頸。

通過本實(shí)施例中的技術(shù)方案，通過圖譜數(shù)據(jù)可以總結(jié)出etl作業(yè)的異?；蝈e(cuò)誤規(guī)律，以幫助監(jiān)控用戶或者運(yùn)維人員查找etl作業(yè)的異常原因或者錯(cuò)誤原因，優(yōu)化了etl作業(yè)的監(jiān)控效果。

實(shí)施例三

圖4示出了根據(jù)本發(fā)明實(shí)施例三的一種etl作業(yè)的監(jiān)控系統(tǒng)的結(jié)構(gòu)框圖。

本實(shí)施例提供的一種etl作業(yè)的監(jiān)控系統(tǒng)包括：作業(yè)執(zhí)行模塊40，用于獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)；監(jiān)控中心模塊42，用于基于操作請(qǐng)求信息根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)；界面交互模塊44，用于將圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。

本實(shí)施例中，作業(yè)執(zhí)行模塊40與監(jiān)控中心模塊42交互相關(guān)執(zhí)行數(shù)據(jù)，監(jiān)控中心模塊42在接收到作業(yè)執(zhí)行模塊40發(fā)送的數(shù)據(jù)后，經(jīng)過相關(guān)計(jì)算，轉(zhuǎn)換為圖譜數(shù)據(jù)，并將圖譜數(shù)據(jù)傳遞至界面交互模塊44進(jìn)行展示。

根據(jù)本發(fā)明實(shí)施例提供的一種etl作業(yè)的監(jiān)控系統(tǒng)，獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)；基于操作請(qǐng)求信息根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)；將圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。本實(shí)施例可以通過圖譜的形式對(duì)etl作業(yè)進(jìn)行監(jiān)控，使得etl作業(yè)的監(jiān)控更加直觀，而且，監(jiān)控用戶通過預(yù)定的操作形式，可以查看etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)。

實(shí)施例四

圖5示出了根據(jù)本發(fā)明實(shí)施例四的一種etl作業(yè)的監(jiān)控系統(tǒng)的結(jié)構(gòu)框圖。

本實(shí)施例提供的一種etl作業(yè)的監(jiān)控系統(tǒng)包括：作業(yè)執(zhí)行模塊50，用于獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)；監(jiān)控中心模塊52，用于基于操作請(qǐng)求信息根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)；界面交互模塊54，用于將圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。

本實(shí)施例中，作業(yè)執(zhí)行模塊50與監(jiān)控中心模塊52交互相關(guān)執(zhí)行數(shù)據(jù)，監(jiān)控中心模塊52在接收到作業(yè)執(zhí)行模塊50發(fā)送的數(shù)據(jù)后，經(jīng)過相關(guān)計(jì)算，轉(zhuǎn)換為圖譜數(shù)據(jù)，并將圖譜數(shù)據(jù)傳遞至界面交互模塊54進(jìn)行展示。

可選地，作業(yè)執(zhí)行模塊50，用于在etl作業(yè)執(zhí)行開始時(shí)，獲取并上報(bào)etl作業(yè)的執(zhí)行批次號(hào)、執(zhí)行開始時(shí)間和作業(yè)標(biāo)識(shí)號(hào)；在etl作業(yè)執(zhí)行過程中，獲取并實(shí)時(shí)/批量上報(bào)作業(yè)標(biāo)識(shí)號(hào)、各階段的文字描述信息和錯(cuò)誤堆棧信息，獲取并按照預(yù)定的時(shí)間間隔上報(bào)作業(yè)標(biāo)識(shí)號(hào)和各流程處理進(jìn)度；在etl作業(yè)執(zhí)行結(jié)束時(shí)，獲取并上報(bào)etl作業(yè)的執(zhí)行結(jié)束時(shí)間、作業(yè)狀態(tài)和作業(yè)標(biāo)識(shí)號(hào)；其中，各流程處理進(jìn)度包括以下至少之一：作業(yè)完成的百分比、處理的記錄數(shù)、字節(jié)流大小。也就是說，作業(yè)執(zhí)行模塊50的具體功能可以按照以下四個(gè)階段：在etl作業(yè)執(zhí)行開始時(shí)；在etl作業(yè)執(zhí)行結(jié)束時(shí)；在etl作業(yè)執(zhí)行過程中的實(shí)時(shí)以及在etl作業(yè)執(zhí)行過程中的定時(shí)。

可選地，監(jiān)控中心模塊52包括：生成子模塊520，用于基于操作請(qǐng)求信息中的時(shí)間范圍，根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜粒度，圖譜粒度包括以下至少之一：年、月、日、時(shí)、分、秒；計(jì)算子模塊522，用于計(jì)算圖譜粒度下各時(shí)間片的圖譜數(shù)據(jù)。也就是說，監(jiān)控中心模塊52的具體功能可以劃分為以下三方面：數(shù)據(jù)存儲(chǔ)(包括執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)的存儲(chǔ))、圖譜粒度計(jì)算和圖譜數(shù)據(jù)計(jì)算。

可選地，界面交互模塊54，用于按照時(shí)間順序展示各時(shí)間片的圖譜數(shù)據(jù)；界面交互模塊54包括：查看展示子模塊540，用于接收針對(duì)某圖譜數(shù)據(jù)所在區(qū)域的查看操作，展示該圖譜數(shù)據(jù)對(duì)應(yīng)的etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)；刷新同步子模塊542，用于實(shí)時(shí)刷新正在執(zhí)行的etl作業(yè)的圖譜數(shù)據(jù)，同步展示正在執(zhí)行的etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)。也就是說，界面交互模塊54的具體功能可以劃分為以下兩個(gè)方面：圖譜數(shù)據(jù)展示和圖譜數(shù)據(jù)刷新。

根據(jù)本發(fā)明實(shí)施例提供的一種etl作業(yè)的監(jiān)控系統(tǒng)，獲取并上報(bào)etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)；基于操作請(qǐng)求信息根據(jù)執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)生成圖譜數(shù)據(jù)；將圖譜數(shù)據(jù)按照?qǐng)D譜形式進(jìn)行展示。本實(shí)施例可以通過圖譜的形式對(duì)etl作業(yè)進(jìn)行監(jiān)控，使得etl作業(yè)的監(jiān)控更加直觀，而且，監(jiān)控用戶通過預(yù)定的操作形式，可以查看etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)。

通過本實(shí)施例中的技術(shù)方案，不僅可以監(jiān)控正在執(zhí)行的etl作業(yè)，還可以查看歷史etl作業(yè)的執(zhí)行元數(shù)據(jù)和日志數(shù)據(jù)，為etl作業(yè)的監(jiān)控提供回看功能。

本實(shí)施例中按照?qǐng)D譜形式展示etl作業(yè)的圖譜數(shù)據(jù)，可以在圖譜上實(shí)時(shí)監(jiān)控etl作業(yè)的各流程處理進(jìn)度和日志數(shù)據(jù)，進(jìn)而分析etl作業(yè)的性能瓶頸。

通過本實(shí)施例中的技術(shù)方案，通過圖譜數(shù)據(jù)可以總結(jié)出etl作業(yè)的異?；蝈e(cuò)誤規(guī)律，以幫助監(jiān)控用戶或者運(yùn)維人員查找etl作業(yè)的異常原因或者錯(cuò)誤原因，優(yōu)化了etl作業(yè)的監(jiān)控效果。

本領(lǐng)域普通技術(shù)人員可以意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及方法步驟，能夠以電子硬件、或者計(jì)算機(jī)軟件和電子硬件的結(jié)合來實(shí)現(xiàn)。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明實(shí)施例的范圍。

以上實(shí)施方式僅用于說明本發(fā)明實(shí)施例，而并非對(duì)本發(fā)明實(shí)施例的限制，有關(guān)技術(shù)領(lǐng)域的普通技術(shù)人員，在不脫離本發(fā)明實(shí)施例的精神和范圍的情況下，還可以做出各種變化和變型，因此所有等同的技術(shù)方案也屬于本發(fā)明實(shí)施例的范疇，本發(fā)明實(shí)施例的專利保護(hù)范圍應(yīng)由權(quán)利要求限定。