專利名稱:跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng)的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域,特別涉及一種跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng)。
背景技術(shù):
目前,隨著銀行業(yè)的竟?fàn)幵絹?lái)越白熱化,銀行業(yè)對(duì)數(shù)據(jù)的分析需求 越來(lái)越多,總行與分行之間的數(shù)據(jù)交互活動(dòng)越來(lái)越頻繁,例如,有時(shí)總 行需要從分行獲取數(shù)據(jù)后進(jìn)行加工分析,有時(shí)分行需要獲取總行的數(shù)據(jù) 進(jìn)行加工分析。
而數(shù)據(jù)加工處理領(lǐng)域,眾多銀行選用ETL加工工具(凄史據(jù)抽取 (Extract )、轉(zhuǎn)換(Transform )、裝載(Load)的軟件工具)進(jìn)行。目前 IBM公司的DataStage是較為普遍釆用的ETL加工工具,很多銀行都采 用DataStage實(shí)現(xiàn)ETL數(shù)據(jù)加工。
當(dāng)前,總4亍與分行的DataStage Job (即DataStage作業(yè))之間進(jìn)行數(shù) 據(jù)傳輸離不開(kāi)數(shù)據(jù)的落地操作。例如,當(dāng)一個(gè)分行需要總行的加工數(shù)據(jù) 進(jìn)行后續(xù)的加工處理時(shí),總行獲取相關(guān)的數(shù)據(jù)進(jìn)行DataStage Job加工處 理后生成分行需要的落地?cái)?shù)據(jù)文件,然后啟動(dòng)文件傳輸程序把文件傳輸 到分行,分行啟動(dòng)分行DataStage Job處理該文件并生成分行需要的數(shù)據(jù)。 需要說(shuō)明的是,DataStage Job是用戶為實(shí)現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換處理、裝載 功能而用DataStage設(shè)計(jì)的一些作業(yè),每一個(gè)作業(yè)實(shí)現(xiàn)一定數(shù)據(jù)的抽取、 轉(zhuǎn)換處理、裝載功能。
鑒于銀行部門(mén)對(duì)數(shù)據(jù)的安全性要求很高,故數(shù)據(jù)在傳輸過(guò)程中需要 加密;又由于總行和分行之間的傳輸網(wǎng)絡(luò)帶寬有限,故需要對(duì)要傳輸?shù)?數(shù)據(jù)進(jìn)行加壓(即壓縮)以減少傳輸量,減少對(duì)網(wǎng)絡(luò)帶寬的占用,進(jìn)而 提供傳輸效率,并且文件數(shù)據(jù)傳輸?shù)椒中泻笙嚷涞兀俳鈮航饷芎笥忠?落地。
因此,現(xiàn)有總行與分行的DataStage Job之間的凄史據(jù)傳輸才幾制中通常 存在加壓、加密、解壓、解密等落地操作,多次數(shù)據(jù)落地操作需要占用大量的存儲(chǔ)資源以及大量的計(jì)算機(jī)系統(tǒng)處理資源(例如占用CPU資源及
輸入/輸出(Input/Output, I/O)資源去多次讀文件數(shù)據(jù)和寫(xiě)文件數(shù)據(jù)), 并且多次數(shù)據(jù)落地操作會(huì)導(dǎo)致數(shù)據(jù)處理的時(shí)間延長(zhǎng),使總行與分行的 DataStage Job之間數(shù)據(jù)處理時(shí)效性差。
發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系 統(tǒng),用以解決現(xiàn)有總行與分行之間數(shù)據(jù)傳輸過(guò)程中存在多次數(shù)據(jù)落地的 問(wèn)題,提高總行與分行之間數(shù)據(jù)傳輸?shù)男省?br>
為此,本發(fā)明提供了一種跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng),包括第一節(jié) 點(diǎn)和第二節(jié)點(diǎn),所述第一節(jié)點(diǎn)包括加工處理單元,用于對(duì)需要加工的 數(shù)據(jù)流進(jìn)行加工處理;數(shù)據(jù)發(fā)送裝置,用于在線接收加工處理單元所加 工處理后的數(shù)據(jù)流并發(fā)送給第二節(jié)點(diǎn)中的數(shù)據(jù)接收裝置;
所述第二節(jié)點(diǎn)包括數(shù)據(jù)接收裝置,用于在線接收數(shù)據(jù)發(fā)送裝置所 發(fā)送的數(shù)據(jù)流。
優(yōu)選地,所述數(shù)據(jù)發(fā)送裝置和所述數(shù)據(jù)接收裝置嵌入式組件單元。
優(yōu)選地,所述數(shù)據(jù)發(fā)送裝置通過(guò)以組件的方式嵌入到第 一節(jié)點(diǎn)。
優(yōu)選地,所述第一節(jié)點(diǎn)為總行的DataStage Job裝置。
優(yōu)選地,所述數(shù)據(jù)接收裝置通過(guò)以組件的方式嵌入到第二節(jié)點(diǎn)。
優(yōu)選地,所述第二節(jié)點(diǎn)為分行的DataStage Job裝置。
優(yōu)選地,所述數(shù)據(jù)發(fā)送裝置包括
在線數(shù)據(jù)接收單元,用于在線接收加工處理單元所加工處理好的數(shù) 據(jù)流;
在線數(shù)據(jù)傳輸單元,與在線數(shù)據(jù)接收單元相連,用于將在線數(shù)據(jù)接 收單元所接收到的數(shù)據(jù)在線傳輸給第二節(jié)點(diǎn)的數(shù)據(jù)接收裝置的接收數(shù)據(jù)
流單元o
優(yōu)選地,所述數(shù)據(jù)發(fā)送裝置還包括加壓?jiǎn)卧?,用于?duì)在線數(shù)據(jù)接 收單元所接收到的數(shù)據(jù)流進(jìn)行在線加壓;所述數(shù)據(jù)接收裝置還包括解
壓?jiǎn)卧?,用于?duì)接收數(shù)據(jù)流單元所接收的數(shù)據(jù)流進(jìn)行解壓。
優(yōu)選地,所述數(shù)據(jù)發(fā)送裝置還包括加密單元,用于對(duì)在線數(shù)據(jù)接 收單元所接收到的數(shù)據(jù)流進(jìn)行在線加密;所述數(shù)據(jù)接收裝置還包括解 密單元,用于對(duì)接收數(shù)據(jù)流單元所接收的數(shù)據(jù)流進(jìn)行解密。
優(yōu)選地,所述數(shù)據(jù)發(fā)送裝置與所述數(shù)據(jù)接收裝置之間的數(shù)據(jù)傳輸機(jī) 制為Socket數(shù)據(jù)流傳輸機(jī)制。
優(yōu)選地,所述數(shù)據(jù)接收裝置還包括后續(xù)加工處理單元,用于對(duì)接 收數(shù)據(jù)流單元接收到的數(shù)據(jù)流進(jìn)行后續(xù)加工處理,生成數(shù)據(jù)接收裝置所 需要的數(shù)據(jù)。
優(yōu)選地,所述數(shù)據(jù)接收裝置所需要的數(shù)據(jù)為落地文件或數(shù)據(jù)庫(kù)表。 與現(xiàn)有技術(shù)相比,本發(fā)明實(shí)施例具有以下優(yōu)點(diǎn)
本發(fā)明通過(guò)開(kāi)發(fā)嵌入式組件單元,實(shí)現(xiàn)數(shù)據(jù)發(fā)送裝置和數(shù)據(jù)數(shù)據(jù)接 收裝置之間的數(shù)據(jù)高效在線交換。在具體實(shí)現(xiàn)上,通過(guò)在第一節(jié)點(diǎn)(如 總行的DataStage Job裝置)設(shè)置數(shù)據(jù)發(fā)送裝置,由于數(shù)據(jù)發(fā)送裝置以組 件的方式嵌入到第 一 節(jié)點(diǎn)中,且數(shù)據(jù)接收裝置也以組件的方式嵌入到第 二節(jié)點(diǎn)(如分行的DataStage Job裝置)中,因此,本發(fā)明可以實(shí)現(xiàn)將數(shù) 據(jù)流不落地地從第 一 節(jié)點(diǎn)傳輸給第二節(jié)點(diǎn),從而妥善解決了現(xiàn)有總行與 分行之間數(shù)據(jù)傳輸過(guò)程中存在多次數(shù)據(jù)落地的問(wèn)題,提高總行與分行之 間數(shù)據(jù)傳輸?shù)男省?br>
圖1為本發(fā)明提供的一種跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng)的結(jié)構(gòu)框圖; 圖2為本發(fā)明提供的一種跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng)的實(shí)施例一的 結(jié)構(gòu)框圖3為本發(fā)明提供的一種跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng)的實(shí)施例二的 結(jié)構(gòu)框圖4為本發(fā)明提供的一種跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng)的實(shí)施例三的 結(jié)構(gòu)框圖。
具體實(shí)施例方式
本發(fā)明實(shí)施例的核心構(gòu)思之一在于,通過(guò)開(kāi)發(fā)嵌入式組件單元,實(shí) 現(xiàn)數(shù)據(jù)發(fā)送裝置和數(shù)據(jù)接收裝置的數(shù)據(jù)高效在線交換。 '
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂,下面結(jié)合 附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
參見(jiàn)圖1,本發(fā)明提供了一種跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng),包括第一
節(jié)點(diǎn)100和第二節(jié)點(diǎn)200,
其中,第一節(jié)點(diǎn)具體包括以下模塊
加工處理單元101,用于對(duì)需要加工的lt據(jù)流進(jìn)4于加工處理;
數(shù)據(jù)發(fā)送裝置102:該裝置102以嵌入式組件的形式與加工處理單元 101相連4妄,用于在線接收加工處理單元101所加工處理后的it據(jù)流并發(fā) 送給第二節(jié)點(diǎn)200的數(shù)據(jù)接收裝置201。所述數(shù)據(jù)發(fā)送裝置102包括在線 數(shù)據(jù)接收單元1021和在線數(shù)據(jù)傳輸單元1022:
其中,所述在線數(shù)據(jù)接收單元1021,用于在線接收加工處理單元101 所加工處理好的數(shù)據(jù)流;
所述在線數(shù)據(jù)傳輸單元1022,與在線數(shù)據(jù)接收單元1021相連,用于 將在線數(shù)據(jù)接收單元1021所接收到的數(shù)據(jù)在線傳輸給第二節(jié)點(diǎn)200的數(shù) 據(jù)接收裝置201的接收數(shù)據(jù)流單元2011;
需要說(shuō)明的是,包括所述在線數(shù)據(jù)傳輸單元1022和所述在線數(shù)據(jù)接 收單元1021的數(shù)據(jù)發(fā)送裝置102為嵌入式組件單元,其通過(guò)以組件的方 式嵌入到第一節(jié)點(diǎn)100中實(shí)現(xiàn)將在線數(shù)據(jù)接收單元1021所接收到的數(shù)據(jù) 在線傳輸給第二節(jié)點(diǎn)200的數(shù)據(jù)接收裝置201的接收數(shù)據(jù)流單元2011。
在第一節(jié)點(diǎn)100中,所述加工處理單元101所進(jìn)行的加工處理操作 根據(jù)用戶的需要進(jìn)行設(shè)定。
第二節(jié)點(diǎn)200包括數(shù)據(jù)接收裝置201:所述數(shù)據(jù)接收裝置201包括 接收數(shù)據(jù)流單元2011,其與在線數(shù)據(jù)傳輸單元1022相連,用于接收在線 數(shù)據(jù)傳輸單元1022發(fā)送的數(shù)據(jù)流。在具體實(shí)現(xiàn)上,在線數(shù)據(jù)傳輸單元1022 與第二節(jié)點(diǎn)200中的接收數(shù)據(jù)流單元201之間的數(shù)據(jù)傳輸機(jī)制優(yōu)選為 Socket數(shù)據(jù)流傳輸機(jī)制。
同樣地,所述數(shù)據(jù)接收裝置201為嵌入式組件單元,其通過(guò)以組件
的方式嵌入到第二節(jié)點(diǎn)200中,以在線地接收在線數(shù)據(jù)傳輸單元201發(fā) 送的數(shù)據(jù)流。
在本發(fā)明中,所述"在線,,是指數(shù)據(jù)進(jìn)行流水線式的并行處理,數(shù) 據(jù)的交換是在計(jì)算機(jī)的內(nèi)存中完成的,而不是通過(guò)硬盤(pán)完成的,因?yàn)閮?nèi) 存的處理速度比硬盤(pán)要快很多很多,所以在線處理、交換的性能要好的 多。所述"落地"是指數(shù)據(jù)寫(xiě)到計(jì)算機(jī)的硬盤(pán)上,數(shù)據(jù)交換是通過(guò)硬盤(pán) 文件進(jìn)行的。"在線"和"落地"的差別就是數(shù)據(jù)的交換方式,例如模塊 一與模塊二要進(jìn)行數(shù)據(jù)交換,運(yùn)用在線交換方式為模塊一把處理好的
數(shù)據(jù)放在內(nèi)存上,模塊二從給內(nèi)存上讀取數(shù)據(jù)進(jìn)行后續(xù)的處理,模塊二 與模塊一同時(shí)進(jìn)行并行處理,而不是等模塊一把全部數(shù)據(jù)處理完后模塊 二才開(kāi)始處理(流水線式的并行處理)。運(yùn)用落地交換方式為模塊一把 處理好的全部數(shù)據(jù)寫(xiě)到硬盤(pán)上,模塊二從硬盤(pán)上讀取該數(shù)據(jù)后進(jìn)行后續(xù) 的處理,模塊二必須等待模塊一執(zhí)行完畢后才能開(kāi)始執(zhí)行,處理模式是 順序式的。因此,在線數(shù)據(jù)傳輸可以大大提高數(shù)據(jù)發(fā)送裝置與數(shù)據(jù)接收 裝置之間的數(shù)據(jù)傳輸效率。
在具體實(shí)現(xiàn)上,第一節(jié)點(diǎn)優(yōu)選為總行的DataStage Job裝置,第二節(jié) 點(diǎn)優(yōu)選為分4亍的DataStage Job裝置。
需要說(shuō)明的是,現(xiàn)有商業(yè)銀行總行的DataStage Job裝置中僅有加工 處理單元101的功能,只是用于對(duì)需要加工的數(shù)據(jù)流進(jìn)行加工處理,而 不具有包含在線數(shù)據(jù)接收單元1021和在線數(shù)據(jù)傳輸單元1022的數(shù)據(jù)發(fā) 送裝置102;因而本發(fā)明可以擴(kuò)展了現(xiàn)有商業(yè)4艮行總行的DataStage Job 裝置所具有的功能。
在具體實(shí)踐中,本發(fā)明提供的第 一節(jié)點(diǎn)表現(xiàn)為進(jìn)行改進(jìn)優(yōu)化了的總 行的DataStage Job裝置(由于總行的DataStage Job裝置中增加設(shè)置有在 線數(shù)據(jù)接收單元和數(shù)據(jù)傳輸單元),本發(fā)明提供的第二節(jié)點(diǎn)表現(xiàn)為改進(jìn)優(yōu) 化后的分行的DataStage Job裝置(由于分行的DataStage Job裝置中增加 設(shè)置有接收數(shù)據(jù)流單元)。
在本發(fā)明中,為了保證數(shù)據(jù)傳輸?shù)陌踩砸约皽p少數(shù)據(jù)傳輸量,參 見(jiàn)圖2,所述數(shù)據(jù)發(fā)送裝置102中還包括加壓?jiǎn)卧?023和或加密單元 1024:所述加壓?jiǎn)卧?023,其與在線數(shù)據(jù)接收單元1021相連,用于對(duì)在
線數(shù)據(jù)接收單元1021所接收到的數(shù)據(jù)流進(jìn)行在線加壓;所述加密單元 1024,與加壓?jiǎn)卧?023相連,用于對(duì)在線數(shù)據(jù)接收單元1021所接收到 的數(shù)據(jù)流進(jìn)行在線加密;需要說(shuō)明的是,所述加壓?jiǎn)卧?014和加密單元 1015為作為嵌入式組件單元的數(shù)據(jù)發(fā)送裝置102里面所包含的子單元, 因此,數(shù)據(jù)發(fā)送裝置102通過(guò)以組件的方式嵌入到第一節(jié)點(diǎn)(如總行 DataStage Job裝置)中還實(shí)現(xiàn)對(duì)在線數(shù)據(jù)接收單元1012所接收到的數(shù)據(jù) 流進(jìn)行在線加壓、加密。
相應(yīng)地,為了對(duì)加壓和/或加密后的數(shù)據(jù)流進(jìn)行相應(yīng)地解壓或解密, 數(shù)據(jù)接收裝置201中還包括解密單元2012和/或解壓模塊2013,其中, 所述解密單元2012,其與接收數(shù)據(jù)流單元2011相連,用于對(duì)接收數(shù)據(jù)流 單元2011所接收的數(shù)據(jù)流進(jìn)行解密;所述解壓?jiǎn)卧?013,與解密單元 2012相連,用于對(duì)接收數(shù)據(jù)流單元2011所接收的數(shù)據(jù)流進(jìn)行解密。需要 i兌明的是,所述解密單元2012和解壓?jiǎn)卧?013為作為嵌入式組件單元 的數(shù)據(jù)接收裝置201里面所包含的子單元,因此,數(shù)據(jù)接收裝置201通 過(guò)以組件的方式嵌入到第二節(jié)點(diǎn)(如分行的DataStage Job裝置)中還可 以實(shí)現(xiàn)對(duì)接收數(shù)據(jù)流單元2011所接收的數(shù)據(jù)流進(jìn)行在線解壓、解密。
當(dāng)然,在具體實(shí)現(xiàn)上,也可以先加密,再加壓,那么此時(shí)本發(fā)明提 供的系統(tǒng)的框架示意圖如圖3所示。
由于許多時(shí)候,在數(shù)據(jù)接收裝置201在接收到數(shù)據(jù)發(fā)送裝置102發(fā) 送的數(shù)據(jù)流后,第二節(jié)點(diǎn)200還需要進(jìn)行后續(xù)的數(shù)據(jù)加工處理。因此, 本發(fā)明在第二節(jié)點(diǎn)200中還包括后續(xù)加工處理單元202,參見(jiàn)圖4,所述 后續(xù)加工處理單元202用于對(duì)接收數(shù)據(jù)流單元2011接收到的數(shù)據(jù)流進(jìn)行 后續(xù)加工處理,生成數(shù)據(jù)接收裝置所需要的數(shù)據(jù)(落地文件或數(shù)據(jù)庫(kù)表)。
下面對(duì)DataStage Job作一介紹。
DataStage Job就是通過(guò)托、^立、連接DataStage組件(絕大部分 DataStage組件是DataStage自帶的,用戶自己開(kāi)發(fā)的組件集成到DataStage 組件庫(kù)的我們稱為自開(kāi)發(fā)DataStage組件,嵌入到開(kāi)發(fā)的DataStage Job 的自開(kāi)發(fā)DataStage組件稱為"嵌入式組件")而形成的一個(gè)圖形化的數(shù) 據(jù)處理流作業(yè)。
DataStage自帶的組件包括Input—File (輸入文件),Transformer (轉(zhuǎn)
換),Sort(排序),OutPut—File(輸出文件)等DataStage組件,由于DataStage 自帶的組件功能有限,不能滿足所有的客戶業(yè)務(wù)需求,這時(shí)為了實(shí)現(xiàn)特 殊的業(yè)務(wù)處理需求就需要自定義DataStage組件,目前的DataStage軟件 提供了三種自定義的DataStage組件技術(shù),即wrap、 buildop、 custom等 三種組件技術(shù),其中,wrap、 buildop技術(shù)相對(duì)比較簡(jiǎn)單,但實(shí)現(xiàn)的功能 有限,不能通用;而custom技術(shù)難度最大,屬于封閉式的技術(shù),生產(chǎn)廠 商一般不對(duì)外公開(kāi)這種技術(shù),雖然它可以實(shí)現(xiàn)非常強(qiáng)大復(fù)雜的功能。
在本發(fā)明中,所說(shuō)的"嵌入式組件單元"就是指運(yùn)用了 custom組件 技術(shù)(嵌入式組件技術(shù))而實(shí)現(xiàn)嵌入到第一節(jié)點(diǎn)(如總行的DataStage Job 裝置)或第二節(jié)點(diǎn)(如分行DataStage Job裝置)中,從而可以進(jìn)行在線 數(shù)據(jù)操作(傳輸、加壓、加密等多種操作)的單元。本發(fā)明通過(guò)研究 DataStage組件的實(shí)現(xiàn)原理,總結(jié)出實(shí)現(xiàn)的規(guī)則,然后通過(guò)自編程(例如 C++編程)實(shí)現(xiàn)custom組件單元的生成及設(shè)置的。
在本發(fā)明中,需要運(yùn)用的"嵌入式組件技術(shù)"就是實(shí)現(xiàn)自開(kāi)發(fā) DataStage組件,嵌入到開(kāi)發(fā)的DataStage Job實(shí)現(xiàn)自定義的特殊業(yè)務(wù)處理 邏輯的技術(shù)。
下面說(shuō)明就第一節(jié)點(diǎn)為改進(jìn)后的總行的DataStage Job裝置,第二節(jié) 點(diǎn)為改進(jìn)后的分行的DataStage Job裝置來(lái)舉例說(shuō)明本發(fā)明提供的跨節(jié)點(diǎn) 業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng)的完整運(yùn)行流程。
首先,總行的DataStage Job裝置中的加工處理單元101完成的數(shù)據(jù) 獲取并加工。數(shù)據(jù)發(fā)送裝置102中的在線數(shù)據(jù)接收單元1021在線接收加 工處理單元101加工生成的數(shù)據(jù)流,然后在線lt據(jù)傳輸單元1022將在線 數(shù)據(jù)接收單元1021所接收到的數(shù)據(jù)在線傳輸給分行的DataStage Job裝置 200中的接收數(shù)據(jù)流單元2011。具體實(shí)現(xiàn)上,總行的DataStage Job裝置 中在線數(shù)據(jù)傳輸單元1022與分行的DataStage Job裝置中接收數(shù)據(jù)流單元 2011之間的數(shù)據(jù)傳輸才幾制優(yōu)選為Socket凄t據(jù)流傳輸才幾制。
如果總行的DataStage Job裝置中還包括加壓、加密單元,那么分行 的DataStage Job裝置中也相應(yīng)地包括解壓、解密單元,從而實(shí)現(xiàn)跨節(jié)點(diǎn) 業(yè)務(wù)tt據(jù)在總行的DataStage Job裝置和分行的DataStage Job裝置之間的 加壓加密傳輸。
為了獲知總行的DataStage Job裝置中是否包括加壓加密單元,從而 不讓分行的DataStage Job裝置200中的解壓、解密單元在數(shù)據(jù)流未被加 壓、加密時(shí)仍被調(diào)用,本發(fā)明的在線數(shù)據(jù)傳輸單元1022在連接有加壓?jiǎn)?元1023、加密單元1024時(shí),將數(shù)據(jù)流加壓、加密標(biāo)志發(fā)送給分行的 DataStage Job裝置中的接收數(shù)據(jù)流單元2011,從而使接收數(shù)據(jù)流單元 2011在接收到數(shù)據(jù)流加壓、加密標(biāo)志后調(diào)用解壓?jiǎn)卧?013、解密單元 2012。
以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想; 同時(shí),對(duì)于本領(lǐng)域的一般技術(shù)人員,依據(jù)本發(fā)明的思想,在具體實(shí)施方 式及應(yīng)用范圍上均會(huì)有改變之處,綜上所述,本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為 對(duì)本發(fā)明的限制。
權(quán)利要求
1、一種跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng),包括第一節(jié)點(diǎn)和第二節(jié)點(diǎn),其特征在于,所述第一節(jié)點(diǎn)包括加工處理單元,用于對(duì)需要加工的數(shù)據(jù)流進(jìn)行加工處理;數(shù)據(jù)發(fā)送裝置,用于在線接收加工處理單元所加工處理后的數(shù)據(jù)流并發(fā)送給第二節(jié)點(diǎn)中的數(shù)據(jù)接收裝置;所述第二節(jié)點(diǎn)包括數(shù)據(jù)接收裝置,用于在線接收數(shù)據(jù)發(fā)送裝置所發(fā)送的數(shù)據(jù)流。
2、 如權(quán)利要求l所述的系統(tǒng),其特征在于,所述數(shù)據(jù)發(fā)送裝置和所 述數(shù)據(jù)接收裝置嵌入式組件單元。
3、 如權(quán)利要求2所述的系統(tǒng),其特征在于,所述數(shù)據(jù)發(fā)送裝置通過(guò) 以組件的方式嵌入到第 一 節(jié)點(diǎn)。
4、 如權(quán)利要求1或3所述的系統(tǒng),其特征在于,所述第一節(jié)點(diǎn)為總 行的DataStage Job裝置。
5、 如權(quán)利要求2所述的系統(tǒng),其特征在于,所述數(shù)據(jù)接收裝置通過(guò) 以組件的方式嵌入到第二節(jié)點(diǎn)。
6、 如權(quán)利要求1或5所述的系統(tǒng),其特征在于,所述第二節(jié)點(diǎn)為分 行的DataStage Job裝置。
7、 如權(quán)利要求2所述的系統(tǒng),其特征在于,所述數(shù)據(jù)發(fā)送裝置包括 在線數(shù)據(jù)接收單元,用于在線接收加工處理單元所加工處理好的數(shù)據(jù)流;在線數(shù)據(jù)傳輸單元,與在線數(shù)據(jù)接收單元相連,用于將在線數(shù)據(jù)接 收單元所接收到的數(shù)據(jù)在線傳輸給第二節(jié)點(diǎn)的數(shù)據(jù)接收裝置的接收數(shù)據(jù) 流單元。
8、 如權(quán)利要求7所述的系統(tǒng),其特征在于,所述數(shù)據(jù)發(fā)送裝置還包 括加壓?jiǎn)卧?,用于?duì)在線數(shù)據(jù)接收單元所接收到的數(shù)據(jù)流進(jìn)行在線加 壓;所述數(shù)據(jù)接收裝置還包括解壓?jiǎn)卧糜趯?duì)接收數(shù)據(jù)流單元所接 收的數(shù)據(jù)流進(jìn)行解壓。
9、 如權(quán)利要求2或8所述的系統(tǒng),其特征在于,所述數(shù)據(jù)發(fā)送裝置 還包括加密單元,用于對(duì)在線數(shù)據(jù)接收單元所接收到的數(shù)據(jù)流進(jìn)行在 線加密;所述數(shù)據(jù)接收裝置還包括解密單元,用于對(duì)接收教據(jù)流單元 所接收的數(shù)據(jù)流進(jìn)行解密。
10、 如權(quán)利要求1所述的系統(tǒng),其特征在于,所述數(shù)據(jù)發(fā)送裝置與 所述數(shù)據(jù)接收裝置之間的數(shù)據(jù)傳輸機(jī)制為Socket數(shù)據(jù)流傳輸機(jī)制。
11、 如權(quán)利要求1所述的系統(tǒng),其特征在于,所述數(shù)據(jù)接收裝置還 包括后續(xù)加工處理單元,用于對(duì)接收數(shù)據(jù)流單元接收到的數(shù)據(jù)流進(jìn)行 后續(xù)加工處理,生成數(shù)據(jù)接收裝置所需要的數(shù)據(jù)。
12、 如權(quán)利要求11所述的系統(tǒng),其特征在于,所述數(shù)據(jù)接收裝置所 需要的數(shù)據(jù)為落地文件或數(shù)據(jù)庫(kù)表。
全文摘要
本發(fā)明公開(kāi)了一種跨節(jié)點(diǎn)業(yè)務(wù)數(shù)據(jù)的傳輸系統(tǒng),包括第一節(jié)點(diǎn)和第二節(jié)點(diǎn),所述第一節(jié)點(diǎn)包括加工處理單元,用于對(duì)需要加工的數(shù)據(jù)流進(jìn)行加工處理;數(shù)據(jù)發(fā)送裝置,用于在線接收加工處理單元所加工處理后的數(shù)據(jù)流并發(fā)送給第二節(jié)點(diǎn)中的數(shù)據(jù)接收裝置;所述第二節(jié)點(diǎn)包括數(shù)據(jù)接收裝置,用于在線接收數(shù)據(jù)發(fā)送裝置所發(fā)送的數(shù)據(jù)流。通過(guò)實(shí)施本發(fā)明,可以解決解決現(xiàn)有總行與分行之間數(shù)據(jù)傳輸過(guò)程中存在多次數(shù)據(jù)落地的問(wèn)題,提高總行與分行之間數(shù)據(jù)傳輸?shù)男省?br>
文檔編號(hào)H04L29/06GK101188619SQ200710308380
公開(kāi)日2008年5月28日 申請(qǐng)日期2007年12月29日 優(yōu)先權(quán)日2007年12月29日
發(fā)明者劉慶文, 崔榮曉, 志 朱, 彬 王, 翁世清, 瑜 董, 許長(zhǎng)山, 波 鄧, 陳銘新, 駿 馬 申請(qǐng)人:中國(guó)建設(shè)銀行股份有限公司