專利名稱：對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型涉及計(jì)算機(jī)數(shù)據(jù)文件處理技術(shù)領(lǐng)域，尤其是涉及一種對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置。
背景技術(shù)：
對(duì)于大型金融機(jī)構(gòu)或企業(yè)來(lái)說(shuō)，其計(jì)算機(jī)系統(tǒng)一般都需要對(duì)海量數(shù)據(jù)(又稱為代 理數(shù)據(jù))文件進(jìn)行批量處理，如代收費(fèi)、代發(fā)工資等數(shù)據(jù)文件，這些海量數(shù)據(jù)的傳輸大都采 用批量文件方式上傳到核心處理系統(tǒng)?？紤]到計(jì)算機(jī)系統(tǒng)的處理效率和性能等因素，大型金融機(jī)構(gòu)或企業(yè)一般規(guī)定了每 天大批量文件傳輸?shù)膱?chǎng)次和時(shí)間，如一天分若干場(chǎng)次運(yùn)行代理批量，代理數(shù)據(jù)文件按既定 的場(chǎng)次時(shí)間提交到主機(jī)核心系統(tǒng)，再由主機(jī)運(yùn)行人員啟動(dòng)相應(yīng)批量處理模塊。這種傳統(tǒng)處理方法其技術(shù)特點(diǎn)是批量交易數(shù)據(jù)量大，占用系統(tǒng)的資源較少，但交 易處理完成時(shí)間比客戶提交的時(shí)間延后較多?？梢?jiàn)，傳統(tǒng)的處理方式存在以下的缺點(diǎn)傳統(tǒng)代理業(yè)務(wù)的海量數(shù)據(jù)文件批量場(chǎng)次 要求固定，且必須人工參與處理，系統(tǒng)處理效率低，不夠靈活。

實(shí)用新型內(nèi)容(一)要解決的技術(shù)問(wèn)題有鑒于此，本實(shí)用新型的主要目的在于提供一種對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的 裝置，以解決目前對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理時(shí)效率低的問(wèn)題，形成一種聯(lián)機(jī)發(fā)起交易 處理請(qǐng)求、批量執(zhí)行數(shù)據(jù)處理的交易模式，以批量方式完成對(duì)各類外圍平臺(tái)系統(tǒng)提供的較 大數(shù)據(jù)量業(yè)務(wù)數(shù)據(jù)文件的處理。( 二 )技術(shù)方案為達(dá)到上述目的，本實(shí)用新型采用的技術(shù)方案如下一種對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，該裝置包括代理客戶端01、代理服務(wù) 器02、核心主機(jī)03和內(nèi)部網(wǎng)絡(luò)04，且代理客戶端01、代理服務(wù)器02和核心主機(jī)03三者均 連接于內(nèi)部網(wǎng)絡(luò)04，通過(guò)內(nèi)部網(wǎng)絡(luò)04進(jìn)行數(shù)據(jù)傳輸；其中代理客戶端01，通過(guò)內(nèi)部網(wǎng)絡(luò)連接于代理服務(wù)器02和核心主機(jī)03，收集海量數(shù)據(jù) 文件，并將業(yè)務(wù)處理請(qǐng)求和收集的海量數(shù)據(jù)文件傳輸給代理服務(wù)器02 ；代理服務(wù)器02，通過(guò)內(nèi)部網(wǎng)絡(luò)連接于代理客戶端01和核心主機(jī)03，接收代理客戶 端01發(fā)送過(guò)來(lái)的業(yè)務(wù)處理請(qǐng)求和海量數(shù)據(jù)文件，對(duì)客戶端發(fā)送的業(yè)務(wù)請(qǐng)求進(jìn)行分類和解 析，向核心主機(jī)03發(fā)起海量數(shù)據(jù)文件處理請(qǐng)求，并且接收處理結(jié)果，將結(jié)果反饋給代理客 戶端01 ；核心主機(jī)03，通過(guò)內(nèi)部網(wǎng)絡(luò)連接于代理客戶端01和代理服務(wù)器02，接收代理服務(wù) 器02發(fā)起的海量數(shù)據(jù)文件處理請(qǐng)求，對(duì)接收的海量數(shù)據(jù)文件進(jìn)行批量處理，然后將處理結(jié) 果返回給代理服務(wù)器02;[0014]內(nèi)部網(wǎng)絡(luò)04，連接代理客戶端01、代理服務(wù)器02和核心主機(jī)03，實(shí)現(xiàn)代理客戶端 01、代理服務(wù)器02與核心主機(jī)03之間的數(shù)據(jù)交互。上述方案中，所述代理服務(wù)器02包括通訊處理單元20、數(shù)據(jù)處理單元21和數(shù)據(jù)存 儲(chǔ)單元22，且通訊處理單元20、數(shù)據(jù)處理單元21和數(shù)據(jù)存儲(chǔ)單元22三者相互連接，其中通訊處理單元20將接收的代理客戶端01發(fā)送過(guò)來(lái)的業(yè)務(wù)處理請(qǐng)求和海量數(shù)據(jù)文 件轉(zhuǎn)發(fā)給數(shù)據(jù)處理單元21進(jìn)行處理；數(shù)據(jù)處理單元21接收到通訊處理單元20發(fā)送的業(yè)務(wù)處理請(qǐng)求和海量數(shù)據(jù)文件 后，向核心主機(jī)03發(fā)起海量數(shù)據(jù)文件處理請(qǐng)求，接收處理結(jié)果，將處理結(jié)果反饋給代理客 戶端01，以及將處理結(jié)果存儲(chǔ)到數(shù)據(jù)存儲(chǔ)單元22中；數(shù)據(jù)存儲(chǔ)單元22存儲(chǔ)代理數(shù)據(jù)處理過(guò)程中的控制參數(shù)，至少包括聯(lián)機(jī)批量處理 控制表和對(duì)照聯(lián)機(jī)批量處理參數(shù)表。上述方案中，所述通訊處理單元20包括數(shù)據(jù)接收模塊201和數(shù)據(jù)轉(zhuǎn)發(fā)模塊202，其 中數(shù)據(jù)接收模塊201，接收代理客戶端01發(fā)送過(guò)來(lái)的業(yè)務(wù)處理請(qǐng)求和海量數(shù)據(jù)文 件，并轉(zhuǎn)發(fā)給數(shù)據(jù)處理單元21進(jìn)行處理；數(shù)據(jù)轉(zhuǎn)發(fā)模塊202，利用序號(hào)發(fā)生器生成序號(hào)，該序號(hào)中利用兩位交易序號(hào)用于區(qū) 分應(yīng)用來(lái)源，并發(fā)起聯(lián)機(jī)交易請(qǐng)求，上送交易信息到數(shù)據(jù)處理單元21 ；同時(shí)將數(shù)據(jù)處理單 元21返回的處理結(jié)果，再返傳到代理客戶端01。上述方案中，所述數(shù)據(jù)處理單元21包括數(shù)據(jù)識(shí)別模塊203、數(shù)據(jù)守候模塊204、數(shù) 據(jù)自檢模塊205和數(shù)據(jù)異常處理模塊206，其中數(shù)據(jù)識(shí)別模塊203，用于檢查海量數(shù)據(jù)文件格式是否符合要求，并根據(jù)在服務(wù)器側(cè) 登記的聯(lián)機(jī)批量處理參數(shù)檢驗(yàn)是否在允許交易的時(shí)間段；數(shù)據(jù)守候模塊204，用于監(jiān)測(cè)核心主機(jī)03返回的狀態(tài)文件，并把核心主機(jī)03返回 狀態(tài)登記在服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制表；數(shù)據(jù)自檢模塊205，用于通過(guò)對(duì)照在服務(wù)器側(cè)的聯(lián)機(jī)批量處理參數(shù)表，檢查在聯(lián)機(jī) 批量處理控制表內(nèi)登記的各個(gè)交易是否超過(guò)單位時(shí)間，批量處理仍未達(dá)到整體成功狀態(tài)；數(shù)據(jù)異常處理模塊206，用于對(duì)數(shù)據(jù)自檢模塊205檢查出來(lái)的異常狀態(tài)交易進(jìn)行 后續(xù)處理，根據(jù)不同狀況，選擇不同的后續(xù)處理方式，至少包括繼續(xù)觸發(fā)和報(bào)錯(cuò)。上述方案中，所述核心主機(jī)03包括交易請(qǐng)求處理單元31、調(diào)度作業(yè)處理單元32、代理數(shù)據(jù)處理單元33和數(shù)據(jù)存儲(chǔ)單元34，數(shù)據(jù)存儲(chǔ)單元34分別連接于交易請(qǐng)求處理單元 31、調(diào)度作業(yè)處理單元32和代理數(shù)據(jù)處理單元33，調(diào)度作業(yè)處理單元32進(jìn)一步連接于代理 數(shù)據(jù)處理單元33，其中交易請(qǐng)求處理單元31接收代理服務(wù)器02上送的交易請(qǐng)求，將交易請(qǐng)求中包含的 交易序號(hào)信息登記在數(shù)據(jù)存儲(chǔ)單元34，并將登記成功標(biāo)志返回給代理服務(wù)器02 ；調(diào)度作業(yè)處理單元32訪問(wèn)數(shù)據(jù)存儲(chǔ)單元34，根據(jù)登記的交易請(qǐng)求控制信息，生成 并運(yùn)行批量指令集，并觸發(fā)代理數(shù)據(jù)處理單元33 ；代理數(shù)據(jù)處理單元33負(fù)責(zé)對(duì)代理數(shù)據(jù)文件進(jìn)行業(yè)務(wù)處理，并將處理結(jié)果返回給 代理服務(wù)器02 ；數(shù)據(jù)存儲(chǔ)單元34用于存儲(chǔ)代理數(shù)據(jù)處理過(guò)程中的控制參數(shù)，至少包括聯(lián)機(jī)批量處理控制表和對(duì)照聯(lián)機(jī)批量處理參數(shù)表。上述方案中，所述調(diào)度作業(yè)處理單元32包括調(diào)度作業(yè)守候模塊303，該模塊采用輪循監(jiān)測(cè)手段，檢查數(shù)據(jù)存儲(chǔ)單元34中主機(jī)側(cè)的聯(lián)機(jī)批量處理控制表，對(duì)聯(lián)機(jī)已登記的待處理的記錄或處理異常中斷需要繼續(xù)處理的 記錄逐筆進(jìn)行處理；調(diào)度作業(yè)生成模塊304，讀取數(shù)據(jù)存儲(chǔ)單元34中的聯(lián)機(jī)批量處理參數(shù)定制表，根 據(jù)從該聯(lián)機(jī)批量處理參數(shù)定制表中取得的設(shè)置數(shù)據(jù)生成批量GET和PUT指令集；該聯(lián)機(jī)批 量處理參數(shù)定制表在主機(jī)側(cè)，包括FTP地址和文件長(zhǎng)度；調(diào)度作業(yè)觸發(fā)模塊305，用于根據(jù)調(diào)度作業(yè)生成模塊304生成的批量指令集，觸發(fā) 代理數(shù)據(jù)處理單元33進(jìn)行業(yè)務(wù)功能處理。上述方案中，所述代理數(shù)據(jù)處理單元33包括代理數(shù)據(jù)上傳模塊306、代理數(shù)據(jù)處 理模塊307和代理數(shù)據(jù)返傳模塊308，其中，代理數(shù)據(jù)上傳模塊306在接收到數(shù)據(jù)后，觸發(fā)代 理數(shù)據(jù)處理模塊307完成該數(shù)據(jù)業(yè)務(wù)處理，代理數(shù)據(jù)處理模塊307再觸發(fā)代理數(shù)據(jù)返傳模 塊308將處理后的數(shù)據(jù)返傳到代理服務(wù)器。上述方案中，所述代理數(shù)據(jù)上傳模塊306運(yùn)行GET指令集到服務(wù)器獲取數(shù)據(jù)文件， 并將GET調(diào)用成功標(biāo)志通過(guò)文件同步傳回服務(wù)器，登記到服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制 表；所述代理數(shù)據(jù)處理模塊307運(yùn)行批量業(yè)務(wù)處理模塊，完成批量業(yè)務(wù)功能，同時(shí)將 運(yùn)行結(jié)果生成返傳文件；所述代理數(shù)據(jù)返傳模塊308啟動(dòng)PUT指令集，將代理數(shù)據(jù)處理模塊307生成的返 傳文件放入服務(wù)器，同時(shí)PUT調(diào)用成功標(biāo)志以小文件的形式隨同返回，將PUT調(diào)用成功標(biāo)志 寫(xiě)入主機(jī)側(cè)的聯(lián)機(jī)批量處理控制表，整體成功標(biāo)志置為成功，將整體成功標(biāo)志送回服務(wù)器， 代理服務(wù)器將成功標(biāo)準(zhǔn)返回給代理客戶端，整個(gè)處理過(guò)程結(jié)束。上述方案中，所述內(nèi)部網(wǎng)絡(luò)04是企業(yè)的局域網(wǎng)，或者是以太網(wǎng)。(三)有益效果從上述技術(shù)方案可以看出，本實(shí)用新型具有以下有益效果1、利用本實(shí)用新型，可以解決大數(shù)據(jù)量的數(shù)據(jù)文件的處理效率問(wèn)題，形成一種完 整的聯(lián)機(jī)發(fā)起交易請(qǐng)求、批量運(yùn)行的處理模式，為各類開(kāi)放平臺(tái)應(yīng)用的較大數(shù)據(jù)量的業(yè)務(wù) 數(shù)據(jù)進(jìn)行普遍、靈活的支持。2、利用本實(shí)用新型，既可以代替以前聯(lián)機(jī)交易“機(jī)關(guān)槍”的觸發(fā)機(jī)制，即一筆聯(lián)機(jī) 交易完成一筆數(shù)據(jù)處理，也減少以往批量處理在時(shí)間和批次上的限制，做到一筆觸發(fā)，多筆 執(zhí)行，從而節(jié)約系統(tǒng)資源，避免表過(guò)熱，系統(tǒng)資源分配不均衡的問(wèn)題。3、本實(shí)用新型可以應(yīng)用在代理業(yè)務(wù)中，以及聯(lián)機(jī)觸發(fā)批量代扣水電費(fèi)、電話費(fèi)，代 發(fā)工資等領(lǐng)域。在服務(wù)器、主機(jī)事先定義代扣水電費(fèi)、電話費(fèi)、代發(fā)工作的不同工作模塊，按 照固定的數(shù)據(jù)結(jié)構(gòu)上送數(shù)據(jù)至服務(wù)器，由代理客戶端發(fā)起聯(lián)機(jī)，經(jīng)服務(wù)器調(diào)用主機(jī)模塊，自 動(dòng)將文件取到主機(jī)進(jìn)行批量模塊的處理，再將處理的結(jié)果通過(guò)服務(wù)器，返回到代理客戶端。

圖1是本實(shí)用新型提供的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置的結(jié)構(gòu)示意圖；[0047]圖2是本實(shí)用新型提供的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置中各組成部分的 結(jié)構(gòu)示意圖；圖3是本實(shí)用新型提供的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法流程圖；圖4是依照本實(shí)用新型實(shí)施例對(duì)業(yè)務(wù)處理請(qǐng)求進(jìn)行傳輸處理的方法流程圖；圖5是依照本實(shí)用新型實(shí)施例對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法流程圖。
具體實(shí)施方式
為使本實(shí)用新型的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本實(shí)用新型進(jìn)一步詳細(xì)說(shuō)明。如圖1所示，圖1是本實(shí)用新型提供的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置的結(jié) 構(gòu)示意圖，該裝置包括代理客戶端01、代理服務(wù)器02和核心主機(jī)03，其中代理客戶端01，用于收集海量數(shù)據(jù)文件，并將業(yè)務(wù)處理請(qǐng)求和收集的海量數(shù)據(jù)文 件傳輸給代理服務(wù)器02。代理客戶端01是網(wǎng)絡(luò)系統(tǒng)的客戶端，也可以是一臺(tái)個(gè)人PC，它有 顯示裝置和輸入裝置，輸入裝置可以是鍵盤(pán)和鼠標(biāo)。其運(yùn)行于各類開(kāi)放平臺(tái)應(yīng)用系統(tǒng)機(jī)器 上。代理服務(wù)器02，用于接收代理客戶端01發(fā)送過(guò)來(lái)的業(yè)務(wù)處理請(qǐng)求和海量數(shù)據(jù)文 件，對(duì)客戶端發(fā)送的業(yè)務(wù)請(qǐng)求進(jìn)行分類和解析，向核心主機(jī)03發(fā)起海量數(shù)據(jù)文件處理請(qǐng) 求，并且接收處理結(jié)果，將結(jié)果反饋給代理客戶端01。核心主機(jī)03，用于接收代理服務(wù)器02發(fā)起的海量數(shù)據(jù)文件處理請(qǐng)求，對(duì)接收的海 量數(shù)據(jù)文件進(jìn)行批量處理，然后將處理結(jié)果返回給代理服務(wù)器02。該裝置還包括一內(nèi)部網(wǎng)絡(luò)04，用于連接代理客戶端01、代理服務(wù)器02和核心主機(jī) 03，實(shí)現(xiàn)代理客戶端01、代理服務(wù)器02與核心主機(jī)03之間的數(shù)據(jù)交互。該內(nèi)部網(wǎng)絡(luò)04是 企業(yè)的局域網(wǎng)，可以是以太網(wǎng)(Ethernet)，也可以是其它局域網(wǎng)絡(luò)。請(qǐng)參照?qǐng)D2，圖2是本實(shí)用新型提供的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置中各 組成部分的結(jié)構(gòu)示意圖。代理服務(wù)器02進(jìn)一步包括通訊處理單元20、數(shù)據(jù)處理單元21和數(shù)據(jù)存儲(chǔ)單元 22。通訊處理單元20負(fù)責(zé)接收數(shù)據(jù)，根據(jù)必要條件觸發(fā)數(shù)據(jù)處理單元21，數(shù)據(jù)處理單 元根據(jù)必要條件滿足情況，調(diào)度數(shù)據(jù)存儲(chǔ)單元22的數(shù)據(jù)。通訊處理單元20 通訊處理單元20進(jìn)一步包括以下模塊數(shù)據(jù)接收模塊201和數(shù) 據(jù)轉(zhuǎn)發(fā)模塊202。數(shù)據(jù)接收模塊201，接收代理客戶端01上送的數(shù)據(jù)文件；并轉(zhuǎn)發(fā)給數(shù)據(jù)處 理單元21的數(shù)據(jù)識(shí)別模塊203進(jìn)行處理。數(shù)據(jù)轉(zhuǎn)發(fā)模塊202，利用序號(hào)發(fā)生器，生成序號(hào) (序號(hào)中利用兩位交易序號(hào)區(qū)分應(yīng)用來(lái)源)，發(fā)起聯(lián)機(jī)交易請(qǐng)求，上送交易信息(包含交易 序號(hào)、文件名等信息)到核心主機(jī)；同時(shí)將主機(jī)返回到代理服務(wù)器02的處理結(jié)果，再返傳到 代理客戶端01。數(shù)據(jù)接收模塊201在接收數(shù)據(jù)后，觸發(fā)數(shù)據(jù)轉(zhuǎn)發(fā)模塊202。數(shù)據(jù)處理單元21 數(shù)據(jù)處理單元21進(jìn)一步包括以下模塊數(shù)據(jù)識(shí)別模塊203、數(shù) 據(jù)守候模塊204、數(shù)據(jù)自檢模塊205和數(shù)據(jù)異常處理模塊206。數(shù)據(jù)識(shí)別模塊203 檢查數(shù) 據(jù)文件格式是否符合要求，并根據(jù)代理服務(wù)器登記的聯(lián)機(jī)批量處理參數(shù)(服務(wù)器側(cè))檢驗(yàn) 是否在允許交易的時(shí)間段。數(shù)據(jù)守候模塊204 負(fù)責(zé)監(jiān)測(cè)主機(jī)返回的狀態(tài)文件，并把主機(jī)返回狀態(tài)登記聯(lián)機(jī)批量處理控制表(服務(wù)器側(cè))。數(shù)據(jù)自檢模塊205 通過(guò)對(duì)照聯(lián)機(jī)批量處理參數(shù)表(服務(wù)器側(cè))，檢查在聯(lián)機(jī)批量處理控制表(服務(wù)器側(cè))內(nèi)登記的各個(gè)交易是否超 時(shí)(主要是指超過(guò)單位時(shí)間，批量處理仍未達(dá)到整體成功狀態(tài))。數(shù)據(jù)異常處理模塊206: 對(duì)于數(shù)據(jù)自檢模塊中檢查出來(lái)的異常狀態(tài)交易進(jìn)行后續(xù)處理，根據(jù)不同狀況，選擇不同的 后續(xù)處理方式(繼續(xù)觸發(fā)和報(bào)錯(cuò)等)；數(shù)據(jù)存儲(chǔ)單元22 負(fù)責(zé)存儲(chǔ)代理數(shù)據(jù)處理過(guò)程中的控制參數(shù)，如聯(lián)機(jī)批量處理控 制表、對(duì)照聯(lián)機(jī)批量處理參數(shù)表等。核心主機(jī)03由以下部分組成交易請(qǐng)求處理單元31、調(diào)度作業(yè)處理單元32、代理 數(shù)據(jù)處理單元33和數(shù)據(jù)存儲(chǔ)單元34。交易請(qǐng)求處理單元31接收代理服務(wù)器上送的交易請(qǐng)求，將交易序號(hào)等交易信息 登記在數(shù)據(jù)存儲(chǔ)單元34，并將登記成功標(biāo)志返回給代理服務(wù)器；調(diào)度作業(yè)處理單元32訪問(wèn) 數(shù)據(jù)存儲(chǔ)單元34，根據(jù)登記的交易請(qǐng)求控制信息，生成并運(yùn)行批量指令集，并觸發(fā)代理數(shù)據(jù) 處理單元33 ；代理數(shù)據(jù)處理單元33負(fù)責(zé)對(duì)代理數(shù)據(jù)文件進(jìn)行業(yè)務(wù)處理，如代發(fā)工資、代收 水電費(fèi)等，并將處理結(jié)果返回給代理服務(wù)器。調(diào)度作業(yè)處理單元32進(jìn)一步包括調(diào)度作業(yè)守候模塊303、調(diào)度作業(yè)生成模塊304 和調(diào)度作業(yè)觸發(fā)模塊305。調(diào)度作業(yè)守候模塊303 該模塊采用輪循監(jiān)測(cè)手段，檢查數(shù)據(jù)存 儲(chǔ)單元34中的聯(lián)機(jī)批量處理控制表(主機(jī)側(cè))，對(duì)聯(lián)機(jī)已登記的待處理(或處理異常中斷 需要繼續(xù)處理)記錄進(jìn)行逐筆處理。調(diào)度作業(yè)生成模塊304 讀取數(shù)據(jù)存儲(chǔ)單元34中的聯(lián) 機(jī)批量處理參數(shù)定制表(主機(jī)側(cè)，包括了 FTP地址、文件長(zhǎng)度等)，根據(jù)從定制表中取得的設(shè) 置數(shù)據(jù)，自動(dòng)生成批量GET、PUT等指令集。調(diào)度作業(yè)觸發(fā)模塊305 根據(jù)調(diào)度作業(yè)生成模塊 304生成的批量指令集，觸發(fā)代理數(shù)據(jù)處理單元33進(jìn)行業(yè)務(wù)功能處理。代理數(shù)據(jù)處理單元33進(jìn)一步包括代理數(shù)據(jù)上傳模塊306、代理數(shù)據(jù)處理模塊 307、代理數(shù)據(jù)返傳模塊308。代理數(shù)據(jù)上傳模塊306接收數(shù)據(jù)后，觸發(fā)代理數(shù)據(jù)處理模塊 307完成該數(shù)據(jù)業(yè)務(wù)處理，理數(shù)據(jù)處理模塊307再觸發(fā)代理數(shù)據(jù)返傳模塊308，將處理后的 數(shù)據(jù)返傳到代理服務(wù)器。代理數(shù)據(jù)上傳模塊306 運(yùn)行GET指令集到服務(wù)器獲取數(shù)據(jù)文件， 并將GET調(diào)用成功標(biāo)志通過(guò)文件同步傳回服務(wù)器，登記聯(lián)機(jī)批量處理控制表(服務(wù)器側(cè))。 代理數(shù)據(jù)處理模塊307 運(yùn)行批量業(yè)務(wù)處理模塊，完成批量業(yè)務(wù)功能，同時(shí)將運(yùn)行結(jié)果生成 返傳文件。代理數(shù)據(jù)返傳模塊308 啟動(dòng)PUT指令集，將生成的返傳文件放入服務(wù)器，同時(shí) PUT調(diào)用成功標(biāo)志以小文件的形式隨同返回；將PUT調(diào)用成功標(biāo)志寫(xiě)入聯(lián)機(jī)批量處理控制 表(主機(jī)側(cè))，整體成功標(biāo)志置為成功，將整體成功標(biāo)志送回服務(wù)器，代理服務(wù)器將成功標(biāo) 準(zhǔn)返回給代理客戶端，交易結(jié)束。數(shù)據(jù)存儲(chǔ)單元34 負(fù)責(zé)存儲(chǔ)代理數(shù)據(jù)處理過(guò)程中的控制參數(shù)，如聯(lián)機(jī)批量處理控 制表、對(duì)照聯(lián)機(jī)批量處理參數(shù)表等?；谏鲜鰣D1和圖2所示的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，圖3示出了本 實(shí)用新型提供的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的方法流程圖，該方法包括步驟301 代理客戶端01收集海量數(shù)據(jù)文件，并將業(yè)務(wù)處理請(qǐng)求和收集的海量數(shù) 據(jù)文件傳輸給代理服務(wù)器02 ；步驟302 代理服務(wù)器02接收代理客戶端01發(fā)送過(guò)來(lái)的業(yè)務(wù)處理請(qǐng)求和海量數(shù) 據(jù)文件，對(duì)客戶端發(fā)送的業(yè)務(wù)請(qǐng)求進(jìn)行分類和解析，向核心主機(jī)03發(fā)起海量數(shù)據(jù)文件處理請(qǐng)求；步驟303 核心主機(jī)03接收代理服務(wù)器02發(fā)起的海量數(shù)據(jù)文件處理請(qǐng)求，對(duì)接收的海量數(shù)據(jù)文件進(jìn)行批量處理，然后將處理結(jié)果返回給代理服務(wù)器02 ；步驟304 代理服務(wù)器02接收核心主機(jī)03返回的處理結(jié)果，將處理結(jié)果反饋給代 理客戶端01。如圖4所示，代理數(shù)據(jù)交易請(qǐng)求主要包括以下處理步驟上述方案中，在傳輸業(yè)務(wù)處理請(qǐng)求時(shí)，該方法具體包括以下步驟步驟401 代理客戶端01發(fā)起聯(lián)機(jī)觸發(fā)指令；步驟402 代理服務(wù)器02接收代理客戶端01發(fā)起的聯(lián)機(jī)觸發(fā)指令，并接收代理客 戶端01發(fā)送過(guò)來(lái)的海量數(shù)據(jù)文件；步驟403 代理服務(wù)器02調(diào)用通訊處理單元20，發(fā)送交易請(qǐng)求指令到核心主機(jī) 03 ；步驟404 核心主機(jī)03接收交易指令；步驟405 核心主機(jī)03登記主機(jī)登記控制表；步驟406 核心主機(jī)03登記控制表后返回登記狀態(tài)指令到代理服務(wù)器02 ；步驟407 代理服務(wù)器02接收主機(jī)登記的處理結(jié)果；步驟408 代理服務(wù)器02判斷主機(jī)登記結(jié)果，如果登記成功，代理服務(wù)器將該狀態(tài) 指令返回給代理客戶端01，再執(zhí)行步驟401 ；若登記不成功，則執(zhí)行步驟409 ；步驟409 代理服務(wù)器02啟動(dòng)數(shù)據(jù)異常處理模塊206，將處理信息返傳到數(shù)據(jù)通訊 單元20，再次執(zhí)行步驟403。如圖5所示，在傳輸海量數(shù)據(jù)文件時(shí)，該方法具體包括以下步驟步驟501 調(diào)度作業(yè)守候模塊303檢查主機(jī)聯(lián)機(jī)批量處理控制表，對(duì)聯(lián)機(jī)已登記的 待處理的記錄或處理異常中斷需要繼續(xù)處理的記錄進(jìn)行處理；步驟502 調(diào)度作業(yè)守候模塊303根據(jù)處理業(yè)務(wù)類型，讀取聯(lián)機(jī)批量處理參數(shù)定制 表設(shè)置的數(shù)據(jù)信息，啟動(dòng)調(diào)度作業(yè)生成模塊304生成批量GET和PUT機(jī)器處理命令，該聯(lián)機(jī) 批量處理參數(shù)定制表在主機(jī)側(cè)，包括FTP地址和文件長(zhǎng)度；步驟503 調(diào)度作用觸發(fā)模塊305啟動(dòng)代理數(shù)據(jù)上傳模塊306，通過(guò)運(yùn)行GET命令 集，從代理服務(wù)器02獲取代理大數(shù)據(jù)文件，并將GET調(diào)用成功標(biāo)志傳回代理服務(wù)器02，登記 服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制表；步驟504 調(diào)度作業(yè)觸發(fā)模塊304啟動(dòng)代理數(shù)據(jù)處理模塊307，代理數(shù)據(jù)處理模塊 307逐筆讀取代理大數(shù)據(jù)文件的數(shù)據(jù)記錄，完成相應(yīng)的業(yè)務(wù)功能處理，同時(shí)將處理結(jié)果生成 返傳文件；步驟505 調(diào)度作業(yè)觸發(fā)模塊304啟動(dòng)代理數(shù)據(jù)返傳模塊308運(yùn)行PUT指令，將生 成的返傳文件放入代理服務(wù)器02，同時(shí)PUT調(diào)用成功標(biāo)志以小文件的形式隨同返回，然后 將PUT調(diào)用成功標(biāo)志寫(xiě)入主機(jī)控制表；步驟506 代理數(shù)據(jù)返傳模塊308將返傳處理成功標(biāo)志送回代理服務(wù)器02 ；步驟507 代理服務(wù)器02將成功處理標(biāo)志返回給代理客戶端01，整個(gè)處理過(guò)程結(jié)
束ο以上所述的具體實(shí)施例，對(duì)本實(shí)用新型的目的、技術(shù)方案和有益效果進(jìn)行了進(jìn)一步詳細(xì)說(shuō)明，所應(yīng)理解的是，以上所述僅為本實(shí)用新型的具體實(shí)施例而已，并不用于限制本實(shí)用新型，凡在本實(shí)用新型的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包 含在本實(shí)用新型的保護(hù)范圍之內(nèi)。
權(quán)利要求一種對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，其特征在于，該裝置包括代理客戶端(01)、代理服務(wù)器(02)、核心主機(jī)(03)和內(nèi)部網(wǎng)絡(luò)(04)，且代理客戶端(01)、代理服務(wù)器(02)和核心主機(jī)(03)三者均連接于內(nèi)部網(wǎng)絡(luò)(04)，通過(guò)內(nèi)部網(wǎng)絡(luò)(04)進(jìn)行數(shù)據(jù)傳輸；其中代理客戶端(01)，通過(guò)內(nèi)部網(wǎng)絡(luò)連接于代理服務(wù)器(02)和核心主機(jī)(03)，收集海量數(shù)據(jù)文件，并將業(yè)務(wù)處理請(qǐng)求和收集的海量數(shù)據(jù)文件傳輸給代理服務(wù)器(02)；代理服務(wù)器(02)，通過(guò)內(nèi)部網(wǎng)絡(luò)連接于代理客戶端(01)和核心主機(jī)(03)，接收代理客戶端(01)發(fā)送過(guò)來(lái)的業(yè)務(wù)處理請(qǐng)求和海量數(shù)據(jù)文件，對(duì)客戶端發(fā)送的業(yè)務(wù)請(qǐng)求進(jìn)行分類和解析，向核心主機(jī)(03)發(fā)起海量數(shù)據(jù)文件處理請(qǐng)求，并且接收處理結(jié)果，將結(jié)果反饋給代理客戶端(01)；核心主機(jī)(03)，通過(guò)內(nèi)部網(wǎng)絡(luò)連接于代理客戶端(01)和代理服務(wù)器(02)，接收代理服務(wù)器(02)發(fā)起的海量數(shù)據(jù)文件處理請(qǐng)求，對(duì)接收的海量數(shù)據(jù)文件進(jìn)行批量處理，然后將處理結(jié)果返回給代理服務(wù)器(02)；內(nèi)部網(wǎng)絡(luò)(04)，連接代理客戶端(01)、代理服務(wù)器(02)和核心主機(jī)(03)，實(shí)現(xiàn)代理客戶端(01)、代理服務(wù)器(02)與核心主機(jī)(03)之間的數(shù)據(jù)交互。
2.根據(jù)權(quán)利要求1所述的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，其特征在于，所述代 理服務(wù)器(02)包括通訊處理單元(20)、數(shù)據(jù)處理單元(21)和數(shù)據(jù)存儲(chǔ)單元(22)，且通訊 處理單元(20)、數(shù)據(jù)處理單元(21)和數(shù)據(jù)存儲(chǔ)單元(22)三者相互連接，其中通訊處理單元(20)將接收的代理客戶端(01)發(fā)送過(guò)來(lái)的業(yè)務(wù)處理請(qǐng)求和海量數(shù)據(jù)文 件轉(zhuǎn)發(fā)給數(shù)據(jù)處理單元(21)進(jìn)行處理；數(shù)據(jù)處理單元(21)接收到通訊處理單元(20)發(fā)送的業(yè)務(wù)處理請(qǐng)求和海量數(shù)據(jù)文件 后，向核心主機(jī)(03)發(fā)起海量數(shù)據(jù)文件處理請(qǐng)求，接收處理結(jié)果，將處理結(jié)果反饋給代理 客戶端(01)，以及將處理結(jié)果存儲(chǔ)到數(shù)據(jù)存儲(chǔ)單元(22)中；數(shù)據(jù)存儲(chǔ)單元(22)存儲(chǔ)代理數(shù)據(jù)處理過(guò)程中的控制參數(shù)，至少包括聯(lián)機(jī)批量處理控 制表和對(duì)照聯(lián)機(jī)批量處理參數(shù)表。
3.根據(jù)權(quán)利要求2所述的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，其特征在于，所述通 訊處理單元(20)包括數(shù)據(jù)接收模塊(201)和數(shù)據(jù)轉(zhuǎn)發(fā)模塊(202)，其中數(shù)據(jù)接收模塊(201)，接收代理客戶端(01)發(fā)送過(guò)來(lái)的業(yè)務(wù)處理請(qǐng)求和海量數(shù)據(jù)文 件，并轉(zhuǎn)發(fā)給數(shù)據(jù)處理單元(21)進(jìn)行處理；數(shù)據(jù)轉(zhuǎn)發(fā)模塊(202)，利用序號(hào)發(fā)生器生成序號(hào)，該序號(hào)中利用兩位交易序號(hào)用于區(qū)分 應(yīng)用來(lái)源，并發(fā)起聯(lián)機(jī)交易請(qǐng)求，上送交易信息到數(shù)據(jù)處理單元(21)；同時(shí)將數(shù)據(jù)處理單 元(21)返回的處理結(jié)果，再返傳到代理客戶端(01)。
4.根據(jù)權(quán)利要求2所述的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，其特征在于，所述數(shù) 據(jù)處理單元(21)包括數(shù)據(jù)識(shí)別模塊(203)、數(shù)據(jù)守候模塊(204)、數(shù)據(jù)自檢模塊(205)和數(shù) 據(jù)異常處理模塊(206)，其中數(shù)據(jù)識(shí)別模塊(203)，用于檢查海量數(shù)據(jù)文件格式是否符合要求，并根據(jù)在服務(wù)器側(cè)登 記的聯(lián)機(jī)批量處理參數(shù)檢驗(yàn)是否在允許交易的時(shí)間段；數(shù)據(jù)守候模塊(204)，用于監(jiān)測(cè)核心主機(jī)(03)返回的狀態(tài)文件，并把核心主機(jī)(03)返 回狀態(tài)登記在服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制表；數(shù)據(jù)自檢模塊(205)，用于通過(guò)對(duì)照在服務(wù)器側(cè)的聯(lián)機(jī)批量處理參數(shù)表，檢查在聯(lián)機(jī)批 量處理控制表內(nèi)登記的各個(gè)交易是否超過(guò)單位時(shí)間，批量處理仍未達(dá)到整體成功狀態(tài)；數(shù)據(jù)異常處理模塊(206)，用于對(duì)數(shù)據(jù)自檢模塊(205)檢查出來(lái)的異常狀態(tài)交易進(jìn)行 后續(xù)處理，根據(jù)不同狀況，選擇不同的后續(xù)處理方式，至少包括繼續(xù)觸發(fā)和報(bào)錯(cuò)。
5.根據(jù)權(quán)利要求1所述的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，其特征在于，所述核 心主機(jī)(03)包括交易請(qǐng)求處理單元(31)、調(diào)度作業(yè)處理單元(32)、代理數(shù)據(jù)處理單元(33) 和數(shù)據(jù)存儲(chǔ)單元(34)，數(shù)據(jù)存儲(chǔ)單元(34)分別連接于交易請(qǐng)求處理單元(31)、調(diào)度作業(yè)處 理單元(32)和代理數(shù)據(jù)處理單元(33)，調(diào)度作業(yè)處理單元(32)進(jìn)一步連接于代理數(shù)據(jù)處 理單元(33)，其中交易請(qǐng)求處理單元(31)接收代理服務(wù)器(02)上送的交易請(qǐng)求，將交易請(qǐng)求中包含的 交易序號(hào)信息登記在數(shù)據(jù)存儲(chǔ)單元(34)，并將登記成功標(biāo)志返回給代理服務(wù)器(02)；調(diào)度作業(yè)處理單元(32)訪問(wèn)數(shù)據(jù)存儲(chǔ)單元(34)，根據(jù)登記的交易請(qǐng)求控制信息，生成 并運(yùn)行批量指令集，并觸發(fā)代理數(shù)據(jù)處理單元(33)；代理數(shù)據(jù)處理單元(33)負(fù)責(zé)對(duì)代理數(shù)據(jù)文件進(jìn)行業(yè)務(wù)處理，并將處理結(jié)果返回給代 理服務(wù)器(02)；數(shù)據(jù)存儲(chǔ)單元(34)用于存儲(chǔ)代理數(shù)據(jù)處理過(guò)程中的控制參數(shù)，至少包括聯(lián)機(jī)批量處 理控制表和對(duì)照聯(lián)機(jī)批量處理參數(shù)表。
6.根據(jù)權(quán)利要求5所述的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，其特征在于，所述調(diào) 度作業(yè)處理單元(32)包括調(diào)度作業(yè)守候模塊(303)，該模塊采用輪循監(jiān)測(cè)手段，檢查數(shù)據(jù)存儲(chǔ)單元(34)中主機(jī) 側(cè)的聯(lián)機(jī)批量處理控制表，對(duì)聯(lián)機(jī)已登記的待處理的記錄或處理異常中斷需要繼續(xù)處理的 記錄逐筆進(jìn)行處理；調(diào)度作業(yè)生成模塊(304)，讀取數(shù)據(jù)存儲(chǔ)單元(34)中的聯(lián)機(jī)批量處理參數(shù)定制表，根 據(jù)從該聯(lián)機(jī)批量處理參數(shù)定制表中取得的設(shè)置數(shù)據(jù)生成批量GET和PUT指令集；該聯(lián)機(jī)批 量處理參數(shù)定制表在主機(jī)側(cè)，包括FTP地址和文件長(zhǎng)度；調(diào)度作業(yè)觸發(fā)模塊(305)，用于根據(jù)調(diào)度作業(yè)生成模塊(304)生成的批量指令集，觸發(fā) 代理數(shù)據(jù)處理單元(33)進(jìn)行業(yè)務(wù)功能處理。
7.根據(jù)權(quán)利要求5所述的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，其特征在于，所述代 理數(shù)據(jù)處理單元(33)包括代理數(shù)據(jù)上傳模塊(306)、代理數(shù)據(jù)處理模塊(307)和代理數(shù)據(jù) 返傳模塊(308)，其中，代理數(shù)據(jù)上傳模塊(306)在接收到數(shù)據(jù)后，觸發(fā)代理數(shù)據(jù)處理模塊 (307)完成該數(shù)據(jù)業(yè)務(wù)處理，代理數(shù)據(jù)處理模塊(307)再觸發(fā)代理數(shù)據(jù)返傳模塊(308)將處 理后的數(shù)據(jù)返傳到代理服務(wù)器。
8.根據(jù)權(quán)利要求5所述的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，其特征在于，所述代 理數(shù)據(jù)上傳模塊(306)運(yùn)行GET指令集到服務(wù)器獲取數(shù)據(jù)文件，并將GET調(diào)用成功標(biāo)志通 過(guò)文件同步傳回服務(wù)器，登記到服務(wù)器側(cè)的聯(lián)機(jī)批量處理控制表；所述代理數(shù)據(jù)處理模塊(307)運(yùn)行批量業(yè)務(wù)處理模塊，完成批量業(yè)務(wù)功能，同時(shí)將運(yùn) 行結(jié)果生成返傳文件；所述代理數(shù)據(jù)返傳模塊(308)啟動(dòng)PUT指令集，將代理數(shù)據(jù)處理模塊(307)生成的返 傳文件放入服務(wù)器，同時(shí)PUT調(diào)用成功標(biāo)志以小文件的形式隨同返回，將PUT調(diào)用成功標(biāo)志寫(xiě)入主機(jī)側(cè)的聯(lián)機(jī)批量處理控制表，整體成功標(biāo)志置為成功，將整體成功標(biāo)志送回服務(wù)器， 代理服務(wù)器將成功標(biāo)準(zhǔn)返回給代理客戶端，整個(gè)處理過(guò)程結(jié)束。
9.根據(jù)權(quán)利要求1所述的對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，其特征在于，所述內(nèi) 部網(wǎng)絡(luò)(04)是企業(yè)的局域網(wǎng)，或者是以太網(wǎng)。
專利摘要本實(shí)用新型公開(kāi)了一種對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理的裝置，包括代理客戶端、代理服務(wù)器和核心主機(jī)，其中代理客戶端用于收集海量數(shù)據(jù)文件，并將業(yè)務(wù)處理請(qǐng)求和收集的海量數(shù)據(jù)文件傳輸給代理服務(wù)器；代理服務(wù)器用于接收代理客戶端發(fā)送過(guò)來(lái)的業(yè)務(wù)處理請(qǐng)求和海量數(shù)據(jù)文件，對(duì)客戶端發(fā)送的業(yè)務(wù)請(qǐng)求進(jìn)行分類和解析，向核心主機(jī)發(fā)起海量數(shù)據(jù)文件處理請(qǐng)求，并且接收處理結(jié)果，將結(jié)果反饋給代理客戶端；核心主機(jī)用于接收代理服務(wù)器發(fā)起的海量數(shù)據(jù)文件處理請(qǐng)求，對(duì)接收的海量數(shù)據(jù)文件進(jìn)行批量處理，然后將處理結(jié)果返回給代理服務(wù)器。利用本實(shí)用新型，解決了目前對(duì)海量數(shù)據(jù)文件進(jìn)行傳輸處理時(shí)效率低的問(wèn)題。
文檔編號(hào)H04L29/08GK201590836SQ20092027778
公開(kāi)日2010年9月22日 申請(qǐng)日期2009年12月9日 優(yōu)先權(quán)日2009年12月9日
發(fā)明者佘俊勝, 吳綿順, 孫雨辰, 王濤, 錢(qián)鋒 申請(qǐng)人:中國(guó)工商銀行股份有限公司