專利名稱：Etl調(diào)度方法、裝置及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域中業(yè)務(wù)支撐，特別涉及數(shù)據(jù)倉庫技術(shù)領(lǐng)域，具體地，涉及一種 ETL調(diào)度方法、裝置及系統(tǒng)。
背景技術(shù)：
傳統(tǒng)的ETL指在構(gòu)建數(shù)據(jù)倉庫過程中對(duì)數(shù)據(jù)源中數(shù)據(jù)的抽取(Extract)，經(jīng)過數(shù)據(jù)轉(zhuǎn)換(Transform)后加載(Load)到數(shù)據(jù)倉庫的過程。目前的ETL負(fù)責(zé)系統(tǒng)運(yùn)行程序的調(diào)度控制和資源的分配，一般情況下，一個(gè)ETL過程是針對(duì)一個(gè)數(shù)據(jù)倉庫進(jìn)行的。
在涉及到多個(gè)數(shù)據(jù)倉庫(即多個(gè)應(yīng)用系統(tǒng))的情況下，使用以下方式
一、部署中心數(shù)據(jù)倉庫，在中心數(shù)據(jù)倉庫進(jìn)行ETL集中調(diào)度。外圍應(yīng)用系統(tǒng)(數(shù)據(jù)倉庫)從中心數(shù)據(jù)倉庫中抽取數(shù)據(jù)，通過FTP方式傳輸數(shù)據(jù)，以滿足應(yīng)用系統(tǒng)數(shù)據(jù)的需要。
二、部署多套ETL程序，每個(gè)應(yīng)用系統(tǒng)相對(duì)獨(dú)立，各自完成自己的數(shù)據(jù)抽取清理加載和過程調(diào)度，各個(gè)系統(tǒng)間相互獨(dú)立。也有方法設(shè)置獨(dú)立的接口抽取模塊，通過FTP傳遞到本機(jī)上進(jìn)行ETL過程。
在實(shí)現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中多系統(tǒng)下的ETL調(diào)度方式存在如下缺陷
方法一，采用中心數(shù)據(jù)倉庫生成數(shù)據(jù)，外圍系統(tǒng)從中心數(shù)據(jù)倉庫導(dǎo)出數(shù)據(jù)，中心數(shù)據(jù)倉庫負(fù)擔(dān)巨大。在外圍系統(tǒng)數(shù)量多的情況下，中心數(shù)據(jù)倉庫成為整個(gè)系統(tǒng)的瓶頸。同時(shí)， 外圍應(yīng)用系統(tǒng)效率低下，資源浪費(fèi)較多。
方法二，采用多套ETL過程獨(dú)立運(yùn)行，各個(gè)應(yīng)用系統(tǒng)間數(shù)據(jù)復(fù)用程度低，接口抽取，清理和過程調(diào)度等在多個(gè)應(yīng)用系統(tǒng)運(yùn)行，資源浪費(fèi)嚴(yán)重。設(shè)置獨(dú)立的接口抽取模塊情況下，各應(yīng)用系統(tǒng)均包含接口文件，存儲(chǔ)資源浪費(fèi)，且各個(gè)應(yīng)用系統(tǒng)間調(diào)度相對(duì)獨(dú)立，缺乏統(tǒng)一的管理。發(fā)明內(nèi)容
本發(fā)明的第一目的是提出一種ETL調(diào)度方法，實(shí)現(xiàn)在多應(yīng)用系統(tǒng)環(huán)境情況下的高效調(diào)度。
本發(fā)明的第二目的是提出一種ETL調(diào)度裝置，實(shí)現(xiàn)在多應(yīng)用系統(tǒng)環(huán)境情況下的高效調(diào)度。
本發(fā)明的第三目的是提出一種ETL調(diào)度系統(tǒng)，以實(shí)現(xiàn)高效調(diào)度。
為實(shí)現(xiàn)上述第一目的，根據(jù)本發(fā)明的一個(gè)方面，提供了一種ETL調(diào)度裝置，包括
接口抽取單元，用于從數(shù)據(jù)源系統(tǒng)抽取數(shù)據(jù)；
接口處理單元，用于對(duì)接口抽取單元抽取的數(shù)據(jù)進(jìn)行格式處理，生成統(tǒng)一的接口數(shù)據(jù)；
主控調(diào)度單元，用于對(duì)所述接口處理單元處理后的接口數(shù)據(jù)進(jìn)行對(duì)應(yīng)應(yīng)用系統(tǒng)的加載調(diào)度和運(yùn)行調(diào)度分離，控制應(yīng)用系統(tǒng)的數(shù)據(jù)加載和運(yùn)行調(diào)度；
數(shù)據(jù)加載單元，用于根據(jù)所述主控調(diào)度單元的調(diào)度信息，將所述接口數(shù)據(jù)向?qū)?yīng)應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)加載；
接口消息單元，用于接收應(yīng)用系統(tǒng)的運(yùn)行調(diào)度反饋信息，并返回所述主控調(diào)度單兀。
為實(shí)現(xiàn)上述第二目的，根據(jù)本發(fā)明的另一個(gè)方面，提供了一種ETL調(diào)度系統(tǒng)，包括上述第一目的的調(diào)度裝置，還包括一至多個(gè)用于提供接口數(shù)據(jù)源的數(shù)據(jù)源系統(tǒng)，以及一至多個(gè)用于根據(jù)所述ETL調(diào)度裝置提供的數(shù)據(jù)源，運(yùn)行對(duì)應(yīng)的應(yīng)用的應(yīng)用系統(tǒng)。
為實(shí)現(xiàn)上述第三目的，根據(jù)本發(fā)明的另一個(gè)方面，提供了一種ETL調(diào)度方法，包括對(duì)從數(shù)據(jù)源系統(tǒng)抽取的數(shù)據(jù)進(jìn)行格式處理，生成統(tǒng)一的接口數(shù)據(jù)；對(duì)接口數(shù)據(jù)分別進(jìn)行應(yīng)用系統(tǒng)的加載調(diào)度和運(yùn)行調(diào)度分離，分別控制應(yīng)用系統(tǒng)的數(shù)據(jù)加載和運(yùn)行調(diào)度。
本發(fā)明各實(shí)施例的ETL調(diào)度方法、裝置及系統(tǒng)，通過將ETL處理任務(wù)分為集中的 ETL調(diào)度裝置塊和各應(yīng)用系統(tǒng)的子系統(tǒng)單元，承擔(dān)不同的任務(wù)，將原來ETL的加載調(diào)度控制和應(yīng)用運(yùn)行處理剝離，從而實(shí)現(xiàn)一種在多應(yīng)用系統(tǒng)環(huán)境下的ETL調(diào)度，在提高多應(yīng)用系統(tǒng)下的ETL處理調(diào)度效率的同時(shí)，能更好處理多系統(tǒng)環(huán)境下數(shù)據(jù)共享、系統(tǒng)間調(diào)度依賴控制、 接口數(shù)據(jù)源共享、多應(yīng)用系統(tǒng)接口數(shù)據(jù)加載資源分配等問題。
本發(fā)明在設(shè)置了中央的ETL調(diào)度裝置，對(duì)每個(gè)應(yīng)用系統(tǒng)的調(diào)度能夠進(jìn)行控制和調(diào)度，并能對(duì)應(yīng)用系統(tǒng)間調(diào)度依賴進(jìn)行協(xié)調(diào)，并不只是為一個(gè)獨(dú)立系統(tǒng)的調(diào)度服務(wù)。本發(fā)明還可以同步管理多個(gè)應(yīng)用系統(tǒng)的加載權(quán)重和加載過程的管理，可以控制加載數(shù)據(jù)的先后和并發(fā)數(shù)，可以同時(shí)對(duì)多個(gè)系統(tǒng)進(jìn)行加載和調(diào)度，對(duì)于每個(gè)系統(tǒng)可設(shè)置其并發(fā)數(shù)以控制資源消耗。
本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
下面通過附圖和實(shí)施例，對(duì)本發(fā)明的技術(shù)方案做進(jìn)一步的詳細(xì)描述。


附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本發(fā)明的實(shí)施例一起用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的限制。在附圖中
圖1為根據(jù)本發(fā)明ETL調(diào)度裝置及系統(tǒng)實(shí)施例示意圖2為根據(jù)本發(fā)明ETL調(diào)度裝置中主控調(diào)度單元實(shí)施例示意圖3為根據(jù)本發(fā)明ETL調(diào)度方法實(shí)施例一流程圖4為根據(jù)本發(fā)明ETL調(diào)度方法實(shí)施例二流程圖5為根據(jù)本發(fā)明ETL調(diào)度方法實(shí)施例三的示意圖。
具體實(shí)施方式
以下結(jié)合附圖對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行說明，應(yīng)當(dāng)理解，此處所描述的優(yōu)選實(shí)施例僅用于說明和解釋本發(fā)明，并不用于限定本發(fā)明。
圖1為根據(jù)本發(fā)明ETL調(diào)度裝置及系統(tǒng)實(shí)施例示意圖，圖1示出了多系統(tǒng)情況下的ETL處理裝置示意圖，主要涉及ETL調(diào)度裝置和各應(yīng)用系統(tǒng)(以下也稱子系統(tǒng))內(nèi)的配3/10 頁合單元，其中ETL調(diào)度裝置包含接口抽取單元2、接口處理單元4、主控調(diào)度單元6、接口消息單元10、數(shù)據(jù)加載單元8，應(yīng)用系統(tǒng)內(nèi)包含子系統(tǒng)接口消息單元和子系統(tǒng)處理單元。
下面結(jié)合圖1及圖2對(duì)本發(fā)明的系統(tǒng)各組成以及本發(fā)明ETL裝置的各單元進(jìn)行具體說明
一、數(shù)據(jù)源系統(tǒng)
提供接口數(shù)據(jù)源的系統(tǒng)，可以是數(shù)據(jù)倉庫，也可以是文件系統(tǒng)。各應(yīng)用系統(tǒng)也可以作為數(shù)據(jù)源系統(tǒng)為其他應(yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)，達(dá)到應(yīng)用系統(tǒng)間調(diào)度的作用。
二、應(yīng)用系統(tǒng)(子系統(tǒng))
使用接口數(shù)據(jù)源的接口文件，運(yùn)行部署在其系統(tǒng)上的相關(guān)應(yīng)用。應(yīng)用系統(tǒng)間可以相互獨(dú)立，也可以有一定的依賴關(guān)系。
三、ETL調(diào)度裝置，可以位于經(jīng)分系統(tǒng)中的ETL服務(wù)器中，或者新增的位于經(jīng)分系統(tǒng)中，提供多系統(tǒng)的調(diào)度，其內(nèi)部包括如下單元
①接口抽取單元2
按照預(yù)先設(shè)定的接口抽取配置表，按照設(shè)定的接口抽取周期和規(guī)則，從數(shù)據(jù)源系統(tǒng)抽取相關(guān)接口數(shù)據(jù)。其中，抽取配置中的接口抽取周期和抽取規(guī)則可以按日、月或者小時(shí)，也可以按照應(yīng)用系統(tǒng)消息接口層(即圖1中子系統(tǒng)的接口消息單元)的數(shù)據(jù)抽取需求實(shí)時(shí)抽取，下表1為抽取配置表舉例。
表1接口抽取配置表
數(shù)據(jù)源(系統(tǒng))接口位置接口類型接口代碼抽取周期抽取類型211. 135. 11. 22/EXP0RT/XAS. C文本文件31103曰全量CDRDBCDR. SMS—YY麗數(shù)據(jù)庫表10002小時(shí)增量211. 137. 132. 1/EXPORT/FFS. d二進(jìn)制文件13142曰全量
其中，表1中數(shù)據(jù)源表示要抽取的數(shù)據(jù)來源，如數(shù)據(jù)源系統(tǒng)的地址，接口位置為指定抽取的數(shù)據(jù)源系統(tǒng)上存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)位置，如存放目錄。接口類型表示抽取的數(shù)據(jù)源的數(shù)據(jù)類型。接口代碼為ETL調(diào)度裝置抽取數(shù)據(jù)后存放的數(shù)據(jù)標(biāo)識(shí)碼，通過該接口代碼可以知曉存儲(chǔ)的數(shù)據(jù)類型、來源等。抽取類型表示全量抽取還是增量抽取，增量抽取表示只抽取變化的數(shù)據(jù)。
通過配置表抽取后的接口數(shù)據(jù)可以按照文本文件格式固定存放。為保證各個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)庫加載字段的不同需要，接口抽取的數(shù)據(jù)字段需要和數(shù)據(jù)源系統(tǒng)保持一致。
②接口處理單元4
接口數(shù)據(jù)單元用于對(duì)接口數(shù)據(jù)進(jìn)行校驗(yàn)、接口清理、接口轉(zhuǎn)換等。其中接口數(shù)據(jù)校驗(yàn)是根據(jù)配置表對(duì)抽取的數(shù)據(jù)進(jìn)行數(shù)據(jù)判斷，如抽取時(shí)根據(jù)控制命令字段中的字段個(gè)數(shù)判斷抽取的數(shù)據(jù)是否符合，如果不符合，則抽取的數(shù)據(jù)有誤等，以保障抽取的接口數(shù)據(jù)和源系統(tǒng)抽取的數(shù)據(jù)無誤；接口清理和接口轉(zhuǎn)換對(duì)接口中的垃圾數(shù)據(jù)進(jìn)行清理，其中，接口校驗(yàn)、6接口清理和接口轉(zhuǎn)換均可以利用現(xiàn)有技術(shù)中對(duì)ETL的處理實(shí)現(xiàn)，在此不做詳述。
接口處理單元對(duì)抽取的數(shù)據(jù)中部分字段進(jìn)行格式轉(zhuǎn)換，生成統(tǒng)一的接口數(shù)據(jù)文件，如下表2所示
表2接口處理單元生成的統(tǒng)一接口數(shù)據(jù)
權(quán)利要求
1.一種ETL調(diào)度裝置，其特征在于，包括 接口抽取單元，用于從數(shù)據(jù)源系統(tǒng)抽取數(shù)據(jù)；接口處理單元，用于對(duì)接口抽取單元抽取的數(shù)據(jù)進(jìn)行格式處理，生成統(tǒng)一的接口數(shù)據(jù)；主控調(diào)度單元，用于對(duì)所述接口處理單元處理后的接口數(shù)據(jù)進(jìn)行對(duì)應(yīng)應(yīng)用系統(tǒng)的加載調(diào)度和運(yùn)行調(diào)度分離，控制應(yīng)用系統(tǒng)的數(shù)據(jù)加載和運(yùn)行調(diào)度；數(shù)據(jù)加載單元，用于根據(jù)所述主控調(diào)度單元的調(diào)度信息，將所述接口數(shù)據(jù)向?qū)?yīng)應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)加載；接口消息單元，用于接收應(yīng)用系統(tǒng)的運(yùn)行調(diào)度反饋信息，并返回所述主控調(diào)度單元。
2.根據(jù)權(quán)利要求1所述的ETL調(diào)度裝置，其特征在于，所述主控調(diào)度單元包括 加載調(diào)度模塊，用于根據(jù)應(yīng)用系統(tǒng)的加載配置對(duì)應(yīng)用系統(tǒng)進(jìn)行并發(fā)加載控制；運(yùn)行調(diào)度模塊，用于根據(jù)接口消息單元的反饋信息獲得應(yīng)用系統(tǒng)運(yùn)行狀態(tài)信息，根據(jù)應(yīng)用系統(tǒng)的運(yùn)行配置以及應(yīng)用系統(tǒng)運(yùn)行狀態(tài)信息對(duì)應(yīng)用系統(tǒng)進(jìn)行運(yùn)行控制。
3.根據(jù)權(quán)利要求2所述的ETL調(diào)度裝置，其特征在于，所述加載調(diào)度模塊包括加載配置子模塊，用于存儲(chǔ)應(yīng)用系統(tǒng)的加載配置信息，所述加載配置信息包括以下任意組合加載的接口數(shù)據(jù)名稱、加載數(shù)據(jù)的資源消耗權(quán)值、資源優(yōu)先級(jí)、系統(tǒng)優(yōu)先級(jí)；加載控制子模塊，用于根據(jù)應(yīng)用系統(tǒng)的加載配置信息進(jìn)行并發(fā)加載控制，所述加載控制包括以下信息任意組合總加載并發(fā)數(shù)目、單一加載并發(fā)數(shù)目、資源消耗門限。
4.根據(jù)權(quán)利要求2所述的ETL調(diào)度裝置，其特征在于，所述運(yùn)行調(diào)度模塊包括運(yùn)行調(diào)度配置子模塊，用于存儲(chǔ)應(yīng)用系統(tǒng)的運(yùn)行配置信息，包括以下任意組合包括應(yīng)用系統(tǒng)內(nèi)和/或應(yīng)用系統(tǒng)間的運(yùn)行觸發(fā)條件、運(yùn)行優(yōu)先級(jí)、運(yùn)行資源消耗權(quán)值；運(yùn)行調(diào)度控制子模塊，用于根據(jù)接口消息單元的反饋信息獲得應(yīng)用系統(tǒng)運(yùn)行狀態(tài)信息，根據(jù)應(yīng)用系統(tǒng)的運(yùn)行配置信息以及應(yīng)用系統(tǒng)運(yùn)行狀態(tài)信息對(duì)應(yīng)用系統(tǒng)進(jìn)行運(yùn)行調(diào)度控制。
5.一種ETL調(diào)度系統(tǒng)，其特征在于，包括上述權(quán)利要求1-4任一項(xiàng)所述的調(diào)度裝置，還包括一至多個(gè)數(shù)據(jù)源系統(tǒng)，用于提供接口數(shù)據(jù)源；一至多個(gè)應(yīng)用系統(tǒng)，用于根據(jù)所述ETL調(diào)度裝置提供的數(shù)據(jù)源，運(yùn)行對(duì)應(yīng)的應(yīng)用。
6.根據(jù)權(quán)利要求5所述的ETL調(diào)度系統(tǒng)，其特征在于，所述數(shù)據(jù)源系統(tǒng)包括數(shù)據(jù)倉庫、 文件系統(tǒng)、和/或?yàn)槠溆鄳?yīng)用系統(tǒng)提供數(shù)據(jù)服務(wù)的應(yīng)用系統(tǒng)。
7.根據(jù)權(quán)利要求5或6所述的ETL調(diào)度系統(tǒng)，其特征在于，所述應(yīng)用系包括子系統(tǒng)接口消息單元，用于與所述ETL調(diào)度裝置進(jìn)行信息交互，其中，所述信息包括運(yùn)行調(diào)度交互信息、數(shù)據(jù)加載交互信息、數(shù)據(jù)抽取/反饋信息；子系統(tǒng)處理單元，用于系統(tǒng)內(nèi)部的應(yīng)用處理及與所述ETL調(diào)度裝置的信息同步。
8.根據(jù)權(quán)利要求7所述的ETL調(diào)度系統(tǒng)，其特征在于，所述子系統(tǒng)處理單元包括 子系統(tǒng)消息處理模塊，用于進(jìn)行和所述ETL裝置的信息同步；子系統(tǒng)應(yīng)用配置模塊，用存儲(chǔ)運(yùn)行應(yīng)用和應(yīng)用調(diào)度的對(duì)應(yīng)關(guān)系； 子系統(tǒng)運(yùn)行處理模塊，用于接收所述子系統(tǒng)消息處理單元的交互信息，根據(jù)所述應(yīng)用系統(tǒng)應(yīng)用配置模塊運(yùn)行對(duì)應(yīng)應(yīng)用。
9.一種ETL調(diào)度方法，其特征在于，包括對(duì)從數(shù)據(jù)源系統(tǒng)抽取的數(shù)據(jù)進(jìn)行格式處理，生成統(tǒng)一的接口數(shù)據(jù)；對(duì)接口數(shù)據(jù)分別進(jìn)行應(yīng)用系統(tǒng)的加載調(diào)度和運(yùn)行調(diào)度分離，分別控制應(yīng)用系統(tǒng)的數(shù)據(jù)加載和運(yùn)行調(diào)度。
10.根據(jù)權(quán)利要求9所述的ETL調(diào)度方法，其特征在于，對(duì)接口數(shù)據(jù)分別進(jìn)行應(yīng)用系統(tǒng)的加載調(diào)度和運(yùn)行調(diào)度分離包括根據(jù)應(yīng)用系統(tǒng)的加載配置信息對(duì)應(yīng)用系統(tǒng)進(jìn)行并發(fā)加載控制；在加載完成后，根據(jù)應(yīng)用系統(tǒng)的運(yùn)行配置信息以及應(yīng)用系統(tǒng)運(yùn)行狀態(tài)對(duì)應(yīng)用系統(tǒng)進(jìn)行運(yùn)行調(diào)度控制。
11.根據(jù)權(quán)利要求10所述的ETL調(diào)度方法，其特征在于，所述加載配置信息包括以下任意組合加載的接口數(shù)據(jù)名稱、加載數(shù)據(jù)的資源消耗權(quán)值、資源優(yōu)先級(jí)、應(yīng)用系統(tǒng)優(yōu)先級(jí)；所述加載控制包括以下信息任意組合總加載并發(fā)數(shù)目、單一加載并發(fā)數(shù)目、資源消耗門限；所述應(yīng)用系統(tǒng)的運(yùn)行配置信息，包括以下任意組合包括系統(tǒng)內(nèi)和/或系統(tǒng)間的運(yùn)行觸發(fā)條件、運(yùn)行優(yōu)先級(jí)、運(yùn)行資源消耗權(quán)值。
12.根據(jù)權(quán)利要求10或11所述的ETL調(diào)度方法，其特征在于，根據(jù)應(yīng)用系統(tǒng)的運(yùn)行配置信息以及應(yīng)用系統(tǒng)運(yùn)行狀態(tài)對(duì)應(yīng)用系統(tǒng)進(jìn)行運(yùn)行調(diào)度控制包括接收應(yīng)用系統(tǒng)運(yùn)行狀態(tài)情況，生成應(yīng)用系統(tǒng)運(yùn)行調(diào)度信息；根據(jù)應(yīng)用系統(tǒng)運(yùn)行調(diào)度信息以及所述運(yùn)行配置信息，對(duì)滿足運(yùn)行觸發(fā)條件的應(yīng)用系統(tǒng)應(yīng)用發(fā)送運(yùn)行請(qǐng)求；接收應(yīng)用系統(tǒng)對(duì)所述應(yīng)用的運(yùn)行反饋，更新所述應(yīng)用系統(tǒng)的運(yùn)行調(diào)度信息。
13.根據(jù)權(quán)利要求10或11所述的ETL調(diào)度方法，其特征在于，根據(jù)應(yīng)用系統(tǒng)的加載配置信息對(duì)應(yīng)用系統(tǒng)進(jìn)行并發(fā)加載控制；在加載完成后，根據(jù)應(yīng)用系統(tǒng)的運(yùn)行配置信息以及應(yīng)用系統(tǒng)運(yùn)行狀態(tài)對(duì)應(yīng)用系統(tǒng)進(jìn)行運(yùn)行調(diào)度控制包括接收應(yīng)用系統(tǒng)運(yùn)行狀態(tài)情況，生成應(yīng)用系統(tǒng)運(yùn)行調(diào)度信息；當(dāng)應(yīng)用系統(tǒng)的配置信息中的運(yùn)行觸發(fā)條件需要調(diào)用其他應(yīng)用系統(tǒng)時(shí)，對(duì)所述應(yīng)用系統(tǒng)和所述需要調(diào)用的應(yīng)用系統(tǒng)并行加載接口數(shù)據(jù)；在加載完成后，并行對(duì)所述應(yīng)用系統(tǒng)和需要調(diào)用的應(yīng)用系統(tǒng)進(jìn)行運(yùn)行調(diào)度；向所述需要調(diào)用的應(yīng)用系統(tǒng)發(fā)送運(yùn)行結(jié)果請(qǐng)求，接收所述需要調(diào)用的應(yīng)用系統(tǒng)的運(yùn)行結(jié)果；將所述需要調(diào)用的應(yīng)用系統(tǒng)的運(yùn)行結(jié)果加載至所述應(yīng)用系統(tǒng)，并接收所述應(yīng)用系統(tǒng)根據(jù)所述需要調(diào)用的應(yīng)用系統(tǒng)的運(yùn)行結(jié)果的運(yùn)行返回結(jié)果。
全文摘要
本發(fā)明公開了一種ETL調(diào)度方法、裝置及系統(tǒng)，其中，該裝置包括接口抽取單元，用于從數(shù)據(jù)源系統(tǒng)抽取數(shù)據(jù)；接口處理單元，用于數(shù)據(jù)進(jìn)行格式處理，生成統(tǒng)一的接口數(shù)據(jù)；主控調(diào)度單元，用于對(duì)接口數(shù)據(jù)進(jìn)行對(duì)應(yīng)應(yīng)用系統(tǒng)的加載調(diào)度和運(yùn)行調(diào)度分離，控制應(yīng)用系統(tǒng)的數(shù)據(jù)加載和運(yùn)行調(diào)度；數(shù)據(jù)加載單元，用于將接口數(shù)據(jù)向?qū)?yīng)應(yīng)用系統(tǒng)進(jìn)行數(shù)據(jù)加載；接口消息單元，用于接收應(yīng)用系統(tǒng)的運(yùn)行調(diào)度反饋信息，并返回主控調(diào)度單元。本發(fā)明可以實(shí)現(xiàn)多應(yīng)用系統(tǒng)環(huán)境下的ETL高效調(diào)度，解決現(xiàn)有中央調(diào)度性能瓶頸效率低以及多套ETL調(diào)度獨(dú)立的資源浪費(fèi)等問題。
文檔編號(hào)G06F17/30GK102541959SQ201010624228
公開日2012年7月4日 申請(qǐng)日期2010年12月31日 優(yōu)先權(quán)日2010年12月31日
發(fā)明者包葉男 申請(qǐng)人:中國移動(dòng)通信集團(tuán)安徽有限公司