一種大數(shù)據(jù)的傳輸系統(tǒng)、傳輸方法及其業(yè)務(wù)系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種大數(shù)據(jù)的傳輸系統(tǒng)，包括：消息服務(wù)器，管理控制臺，傳輸代理；其中，傳輸代理，包括發(fā)送代理和接收代理，所述發(fā)送代理，用于掃描源業(yè)務(wù)系統(tǒng)的數(shù)據(jù)文件并生成傳輸文件，并將該傳輸文件傳送給接收代理；所述接收代理，用于接收發(fā)送代理傳送的數(shù)據(jù)文件，并還原數(shù)據(jù)文件，提交給目標(biāo)業(yè)務(wù)系統(tǒng)；消息服務(wù)器，用于為系統(tǒng)的模塊提供消息服務(wù)，所述傳輸代理與管理控制臺之間通過該消息服務(wù)器進(jìn)行通訊。管理控制臺，提供管理界面，供用戶監(jiān)控和管理傳輸任務(wù)和傳輸代理。本發(fā)明還提供一種大數(shù)據(jù)的傳輸及其業(yè)務(wù)系統(tǒng)。通過本發(fā)明的技術(shù)方案，可以解決在不穩(wěn)定的網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)可靠的大數(shù)據(jù)傳輸服務(wù)，且可對數(shù)據(jù)傳輸?shù)娜踢M(jìn)行管理和監(jiān)控。
【專利說明】一種大數(shù)據(jù)的傳輸系統(tǒng)、傳輸方法及其業(yè)務(wù)系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，特別是涉及一種大數(shù)據(jù)的傳輸系統(tǒng)、傳輸方法及其業(yè)務(wù)系統(tǒng)。
【背景技術(shù)】
[0002]隨著企業(yè)信息化建設(shè)的不斷發(fā)展，不同IT系統(tǒng)間的數(shù)據(jù)交互越來越頻繁，常規(guī)的解決方案包括:基于服務(wù)接口、基于數(shù)據(jù)庫同步、基于數(shù)據(jù)傳輸?shù)取?br> [0003]基于服務(wù)接口是指在應(yīng)用層面提供數(shù)據(jù)訪問接口，接口有固定的訪問協(xié)議、接口名稱、參數(shù)規(guī)格、返回值規(guī)格，需要數(shù)據(jù)交互的源和目標(biāo)的應(yīng)用系統(tǒng)均提供相應(yīng)接口的支持；
[0004]基于數(shù)據(jù)庫同步是針對存儲于數(shù)據(jù)庫中的數(shù)據(jù)，通過第三方工具(如ETL工具)在源和目標(biāo)間傳輸；
[0005]基于數(shù)據(jù)傳輸主要是面向直接存儲于文件系統(tǒng)中的非結(jié)構(gòu)化數(shù)據(jù)(如圖片、視頻、文檔等)的傳輸，一般情況下需要數(shù)據(jù)交互的源和目標(biāo)業(yè)務(wù)系統(tǒng)與第三方傳輸工具相結(jié)合，但常常會由于網(wǎng)絡(luò)環(huán)境、系統(tǒng)異常、服務(wù)器宕機(jī)等問題造成傳輸失敗，主要體現(xiàn)在通訊客戶端不穩(wěn)定、傳輸文件丟失或損壞、缺少傳輸監(jiān)控、業(yè)務(wù)流程不連續(xù)等方面:
[0006]客戶端不穩(wěn)定:客戶端出現(xiàn)宕機(jī)現(xiàn)象，可能原因有系統(tǒng)高負(fù)荷、文件量過大、網(wǎng)絡(luò)中斷、單一文件過大等；
[0007]傳輸文件丟失或損壞:由于傳輸系統(tǒng)自身的異常導(dǎo)致傳輸失敗，或由于數(shù)據(jù)在傳輸過程中被桌改；
[0008]缺少傳輸監(jiān)控:缺少統(tǒng)一的機(jī)制對傳輸節(jié)點(diǎn)以及傳輸過程進(jìn)行監(jiān)控和管理；
[0009]業(yè)務(wù)流程不連續(xù):整個(gè)業(yè)務(wù)流程被源和目標(biāo)的數(shù)據(jù)接口斷開。這不僅造成業(yè)務(wù)流程的不可控，也降低了業(yè)務(wù)處理的時(shí)效性，增加了業(yè)務(wù)處理的風(fēng)險(xiǎn)。
[0010]所以，有必要提供一種新的數(shù)據(jù)傳輸?shù)南到y(tǒng)及方法，以解決在不穩(wěn)定的網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)可靠的大數(shù)據(jù)傳輸服務(wù)。

【發(fā)明內(nèi)容】

[0011]本發(fā)明的目的在于提供一種大數(shù)據(jù)的傳輸系統(tǒng)、傳輸方法及其業(yè)務(wù)系統(tǒng)，可以解決在不穩(wěn)定的網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)可靠的大數(shù)據(jù)傳輸服務(wù)，且可對數(shù)據(jù)傳輸?shù)娜踢M(jìn)行管理和監(jiān)控，同時(shí)，傳輸服務(wù)可以與現(xiàn)有的業(yè)務(wù)系統(tǒng)集成，實(shí)現(xiàn)業(yè)務(wù)流程與數(shù)據(jù)傳輸?shù)臒o縫銜接。
[0012]為解決以上技術(shù)問題，本發(fā)明提供一種大數(shù)據(jù)的傳輸系統(tǒng)，包括:消息服務(wù)器，管理控制臺，傳輸代理，其中，
[0013]所述傳輸代理，包括發(fā)送代理和接收代理，所述發(fā)送代理，用于掃描源業(yè)務(wù)系統(tǒng)的數(shù)據(jù)文件并生成傳輸文件，并將該傳輸文件傳送給接收代理；所述接收代理，用于接收發(fā)送代理傳送的數(shù)據(jù)文件，并還原數(shù)據(jù)文件，提交給目標(biāo)業(yè)務(wù)系統(tǒng)；
[0014]所述消息服務(wù)器，用于為系統(tǒng)的模塊提供消息服務(wù)，所述傳輸代理與管理控制臺之間通過該消息服務(wù)器進(jìn)行通訊。
[0015]所述管理控制臺，提供管理界面，供用戶監(jiān)控和管理傳輸任務(wù)和傳輸代理。
[0016]進(jìn)一步地，所述發(fā)送代理，包括:發(fā)送前業(yè)務(wù)處理模塊，發(fā)送隊(duì)列，發(fā)送前數(shù)據(jù)處理模塊，和發(fā)送模塊；其中:
[0017]所述發(fā)送前業(yè)務(wù)處理模塊，用于源業(yè)務(wù)數(shù)據(jù)掃描和數(shù)據(jù)壓縮，并將壓縮包文件保存到發(fā)送目錄中，并生成待發(fā)送的傳輸任務(wù)信息；
[0018]所述發(fā)送隊(duì)列是一個(gè)先進(jìn)先出隊(duì)列，用于在內(nèi)存中存儲待發(fā)送的傳輸任務(wù)信息；
[0019]所述發(fā)送前數(shù)據(jù)處理模塊，用于消費(fèi)從所述發(fā)送隊(duì)列中的傳輸任務(wù)，并進(jìn)行數(shù)據(jù)處理，數(shù)據(jù)處理完成后生成發(fā)送線程，觸發(fā)所述發(fā)送模塊傳輸數(shù)據(jù)；
[0020]所述發(fā)送模塊，用于將發(fā)送目錄中的壓縮包文件，發(fā)送至接收代理。
[0021]進(jìn)一步地，所述發(fā)送前業(yè)務(wù)處理模塊用于源業(yè)務(wù)數(shù)據(jù)掃描和數(shù)據(jù)壓縮，具體包括:
[0022]源業(yè)務(wù)數(shù)據(jù)掃描:根據(jù)源業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存放方式發(fā)現(xiàn)數(shù)據(jù)，并將數(shù)據(jù)復(fù)制到自身的源業(yè)務(wù)數(shù)據(jù)目錄中；
[0023]數(shù)據(jù)壓縮:將源業(yè)務(wù)數(shù)據(jù)目錄中的數(shù)據(jù)壓縮成一個(gè)壓縮包，并將壓縮包復(fù)制到自身的發(fā)送目錄中，數(shù)據(jù)壓縮成功并復(fù)制后，將數(shù)據(jù)的元信息持久化到本地的發(fā)送任務(wù)信息中，生成待發(fā)送傳輸任務(wù)信息，并將該傳輸任務(wù)信息插入到所述發(fā)送隊(duì)列中。
[0024]進(jìn)一步地，所述發(fā)送前數(shù)據(jù)處理模塊至少進(jìn)行以下之一的數(shù)據(jù)處理:
[0025]數(shù)據(jù)加密:如果在配置文件中指定傳輸前需要加密，則將發(fā)送目錄中的壓縮包文件進(jìn)行加密，得到加密后的壓縮包，同時(shí)，更新本地的發(fā)送任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已加密；
[0026]計(jì)算MD5:防止傳輸過程中數(shù)據(jù)損壞，對壓縮包的二進(jìn)制數(shù)據(jù)流進(jìn)行MD5運(yùn)算，得到壓縮包的MD5字符串，同時(shí)，更新本地的發(fā)送任務(wù)信息，記錄傳輸任務(wù)的MD5值，并將傳輸任務(wù)的狀態(tài)修改為已計(jì)算MD5。
[0027]進(jìn)一步地，所述發(fā)送模塊開始發(fā)送目錄中的壓縮包文件給至接收代理時(shí)，更新本地的發(fā)送任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為發(fā)送中；發(fā)送過程中，異步的更新本地的發(fā)送任務(wù)信息，包括發(fā)送線程數(shù)、每個(gè)線程傳輸?shù)钠鹗甲止?jié)數(shù)、每個(gè)線程已傳輸?shù)淖止?jié)數(shù)；發(fā)送完成后，刪除本地的發(fā)送任務(wù)信息中的當(dāng)前傳輸任務(wù)。
[0028]進(jìn)一步地，所述發(fā)送代理還包括系統(tǒng)管理模塊，用于初始化系統(tǒng)、異常管理、任務(wù)重試、通訊管理。
[0029]進(jìn)一步地，所述接收代理包括:接收模塊，接收隊(duì)列，接收后數(shù)據(jù)處理模塊，接收后業(yè)務(wù)處理模塊；其中:
[0030]所述接收模塊，用于接收發(fā)送代理發(fā)送過來的數(shù)據(jù)文件，并存放于接收目錄中，接收完畢后，將傳輸任務(wù)信息持久化到本地的接收任務(wù)信息，并生成已接收的傳輸任務(wù)信息，并將該傳輸任務(wù)信息插入到接收隊(duì)列中；
[0031]所述接收隊(duì)列是一個(gè)先進(jìn)先出隊(duì)列，用于在內(nèi)存中存儲已接收的傳輸任務(wù)信息；
[0032]所述接收后數(shù)據(jù)處理模塊，用于消費(fèi)從接收隊(duì)列中的傳輸任務(wù)，并進(jìn)行數(shù)據(jù)處理，在數(shù)據(jù)處理完成后觸發(fā)所述接收后業(yè)務(wù)處理模塊進(jìn)行業(yè)務(wù)處理；
[0033]所述接收后業(yè)務(wù)處理模塊，用于數(shù)據(jù)解壓和目標(biāo)數(shù)據(jù)提交。[0034]進(jìn)一步地，所述接收后數(shù)據(jù)處理模塊至少進(jìn)行以下之一的數(shù)據(jù)處理:
[0035]校驗(yàn)MD5:對壓縮包的二進(jìn)制數(shù)據(jù)流進(jìn)行MD5運(yùn)算，得到壓縮包的MD5字符串，將該MD5字符串與傳輸任務(wù)中的MD5字符串進(jìn)行比較，相同校驗(yàn)通過，更新本地的接收任務(wù)信息，將傳輸狀態(tài)修改為已校驗(yàn)，并觸發(fā)業(yè)務(wù)處理；不同校驗(yàn)失敗，更新本地的接收任務(wù)信息，將傳輸狀態(tài)修改為校驗(yàn)失敗，并發(fā)出相關(guān)的告警消息到管理控制臺，同時(shí)中斷處理進(jìn)程；
[0036]數(shù)據(jù)解密:如果在配置文件中得知傳輸是加密的，則將接收目錄中已加密的壓縮包文件進(jìn)行解密運(yùn)算，得到解密后的壓縮包。
[0037]進(jìn)一步地，該接收后業(yè)務(wù)處理模塊，具體用于:
[0038]數(shù)據(jù)解壓:將接收目錄中的壓縮包解壓到目標(biāo)數(shù)據(jù)目錄，還原為源業(yè)務(wù)數(shù)據(jù)，成功解壓數(shù)據(jù)后，觸發(fā)目標(biāo)數(shù)據(jù)提交；
[0039]目標(biāo)數(shù)據(jù)提交:將目標(biāo)數(shù)據(jù)目錄中的數(shù)據(jù)文件提交到目標(biāo)業(yè)務(wù)系統(tǒng)。
[0040]進(jìn)一步地，所述接收代理還包括系統(tǒng)管理模塊，用于初始化系統(tǒng)、異常管理、任務(wù)重試、通訊管理。
[0041]進(jìn)一步地，所述消息服務(wù)器提供消息隊(duì)列的服務(wù)，供所述傳輸系統(tǒng)中的其他模塊訂閱其中指定隊(duì)列的消息并消費(fèi)。
[0042]進(jìn)一步地，所述消息服務(wù)器包括發(fā)送消息隊(duì)列和接收消息隊(duì)列兩個(gè)消息隊(duì)列。
[0043]進(jìn)一步地，所述消息隊(duì)列提供消息持久化能力，當(dāng)某個(gè)消息進(jìn)入消息隊(duì)列后，在被正確消費(fèi)前一直存在于隊(duì)列中而不會丟失。
[0044]進(jìn)一步地，所述管理控制臺提供基于Web的管理界面，包括:任務(wù)管理模塊，監(jiān)控管理模塊，節(jié)點(diǎn)管理模塊；其中:
[0045]所述任務(wù)管理模塊，用于管理數(shù)據(jù)的傳輸過程，管理命令通過消息發(fā)送給傳輸代理；
[0046]所述監(jiān)控管理模塊，用于監(jiān)控?cái)?shù)據(jù)傳輸過程及所述傳輸代理狀態(tài)；
[0047]所述節(jié)點(diǎn)管理模塊，用于管理所述傳輸代理的配置信息。
[0048]為解決以上技術(shù)問題，本發(fā)明提供一種大數(shù)據(jù)傳輸?shù)臉I(yè)務(wù)系統(tǒng)，包括:源業(yè)務(wù)系統(tǒng)，目標(biāo)業(yè)務(wù)系統(tǒng)，發(fā)送節(jié)點(diǎn)服務(wù)器，接收節(jié)點(diǎn)服務(wù)器，消息節(jié)點(diǎn)服務(wù)器，管理節(jié)點(diǎn)服務(wù)器，以及傳輸系統(tǒng)，其中:
[0049]所述傳輸系統(tǒng)，用于將數(shù)據(jù)文件從源業(yè)務(wù)系統(tǒng)傳輸給目標(biāo)業(yè)務(wù)系統(tǒng)，包括:發(fā)送代理，接收代理，消息服務(wù)器和管理控制臺；其中，所述發(fā)送代理部署在所述發(fā)送節(jié)點(diǎn)服務(wù)器，所述接收代理部署在所述接收節(jié)點(diǎn)服務(wù)器；所述消息服務(wù)器部署在所述消息節(jié)點(diǎn)服務(wù)器；所述管理控制臺部署在所述管理節(jié)點(diǎn)服務(wù)器。
[0050]為解決以上技術(shù)問題，本發(fā)明提供一種大數(shù)據(jù)的傳輸方法，包括:
[0051]步驟1、發(fā)送代理掃描源業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)文件，并進(jìn)行數(shù)據(jù)壓縮；
[0052]步驟2、發(fā)送代理對壓縮包進(jìn)行發(fā)送前的數(shù)據(jù)處理；
[0053]步驟3、發(fā)送代理傳輸經(jīng)過數(shù)據(jù)處理后的壓縮包文件給接收代理；
[0054]步驟4、接收代理對接收到的壓縮包文件進(jìn)行接收后的數(shù)據(jù)處理；
[0055]步驟5、接收代理將原始壓縮包進(jìn)行解壓，生成原始數(shù)據(jù)文件；
[0056]步驟6、接收代理將解壓后的原始數(shù)據(jù)文件提交到目標(biāo)業(yè)務(wù)系統(tǒng)。
[0057]進(jìn)一步地,所述步驟I,具體包括:[0058]步驟1.1、發(fā)送代理掃描源業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)，生成本地?cái)?shù)據(jù)文件，并將數(shù)據(jù)文件存放在發(fā)送代理的源目錄中；
[0059]步驟1.2、發(fā)送代理將本地?cái)?shù)據(jù)文件壓縮為壓縮包，并將壓縮包文件存放在發(fā)送代理的發(fā)送目錄中。
[0060]進(jìn)一步地,所述步驟1.2,具體包括:
[0061]步驟1.2.1、發(fā)送代理將本地?cái)?shù)據(jù)文件壓縮為壓縮包，并將壓縮包文件存放在發(fā)送代理的發(fā)送目錄中；
[0062]步驟1.2.2、發(fā)送代理將待發(fā)送壓縮包的元數(shù)據(jù)信息存入發(fā)送隊(duì)列；
[0063]步驟1.2.3、發(fā)送代理將待發(fā)送壓縮包的信息持久化到本地的發(fā)送任務(wù)信息中，持久化的信息包括傳輸任務(wù)編碼、傳輸任務(wù)狀態(tài)、壓縮包名稱、壓縮包路徑，其中，傳輸任務(wù)狀態(tài)為待發(fā)送。
[0064]進(jìn)一步地,所述步驟2,具體包括:
[0065]步驟2.1、如果在配置文件中指定傳輸前需要加密，則發(fā)送代理對發(fā)送目錄中的壓縮包加密，生成加密壓縮包，并將加密壓縮包文件存放在發(fā)送代理的發(fā)送目錄中；否則，不執(zhí)行該加密步驟；
[0066]步驟2.2、發(fā)送代理對壓縮包計(jì)算MD5值，得到的MD5值會作為發(fā)送文件的頭信息，一并發(fā)送給接收代理。
[0067]進(jìn)一步地,所述步驟3,具體包括:
[0068]步驟3.1、發(fā)送代理傳輸壓縮包文件給接收代理，同時(shí)，發(fā)送代理異步地更新本地的發(fā)送任務(wù)信息；
[0069]步驟3.2、發(fā)送完成后，發(fā)送代理刪除本地的發(fā)送任務(wù)信息中的當(dāng)前傳輸任務(wù)。
[0070]進(jìn)一步地,所述步驟4,具體包括:
[0071]步驟4.1、傳輸完成后，接收代理對收到的加密壓縮包文件計(jì)算MD5值，并校驗(yàn)MD5，此時(shí)接收到的壓縮包文件存放于接收代理的接收目錄中；
[0072]步驟4.2、接收完畢后，接收代理將傳輸任務(wù)信息持久化到本地的接收任務(wù)信息中，同時(shí)，將傳輸任務(wù)信息插入到接收隊(duì)列中，此時(shí)傳輸任務(wù)狀態(tài)為已接收；
[0073]步驟4.3、校驗(yàn)MD5通過后，接收代理更新本地的接收任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已校驗(yàn)MD5 ；
[0074]步驟4.4、如果在配置文件中得知傳輸是加密的，則接收代理將加密壓縮包進(jìn)行解密，生成原始壓縮包；同時(shí)，接收代理更新本地的接收任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已解密；否則，不執(zhí)行此步驟解密。
[0075]進(jìn)一步地,所述步驟5,具體包括:
[0076]步驟5.1、接收代理將原始壓縮包進(jìn)行解壓縮，生成原始數(shù)據(jù)文件，存放于接收代理的目標(biāo)目錄中；
[0077]步驟5.2、接收代理更新本地的接收任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已解壓。
[0078]進(jìn)一步地,所述步驟6,具體包括:
[0079]步驟6.1、接收代理將解壓后的原始數(shù)據(jù)文件提交到目標(biāo)業(yè)務(wù)系統(tǒng)中；
[0080]步驟6.2、提交成功后，刪除本地的接收任務(wù)信息中的當(dāng)前傳輸任務(wù)。
[0081]與現(xiàn)有技術(shù)相比，本發(fā)明提供的一種支持大數(shù)據(jù)的傳輸系統(tǒng)，包含消息服務(wù)器、傳輸代理、管理控制臺三個(gè)模塊。消息服務(wù)器為其他模塊提供消息服務(wù)，傳輸代理與管理控制臺之間通過消息服務(wù)器進(jìn)行通訊；傳輸代理分為發(fā)送代理和接收代理，分別部署在發(fā)送節(jié)點(diǎn)服務(wù)器和接收節(jié)點(diǎn)服務(wù)器上，發(fā)送代理負(fù)責(zé)掃描原始數(shù)據(jù)并生成待傳輸?shù)奈募?，然后將文件通過指定的傳輸協(xié)議傳送給接收代理，接收代理收到文件后將文件還原成原始數(shù)據(jù)并執(zhí)行后續(xù)動作。傳輸代理會將傳輸過程以及自身狀態(tài)實(shí)時(shí)發(fā)送給管理控制臺；管理控制臺負(fù)責(zé)管理和監(jiān)控所有的傳輸代理以及傳輸任務(wù)。當(dāng)出現(xiàn)硬件或網(wǎng)絡(luò)故障時(shí)，系統(tǒng)本身的提供的任務(wù)信息、消息持久化能力可保證傳輸任務(wù)、數(shù)據(jù)不丟失，具體體現(xiàn)為:當(dāng)消息服務(wù)器宕機(jī)或不可連接時(shí)，傳輸代理與管理控制臺所發(fā)出的消息會緩存于本地，待消息服務(wù)器故障恢復(fù)后，裝置自動重新發(fā)送緩存的消息；當(dāng)發(fā)送/接收代理在數(shù)據(jù)傳輸完成前宕機(jī)或不可連接時(shí)，信息持久化在發(fā)送代理中，待發(fā)送/接收代理故障恢復(fù)后，按發(fā)送代理的本地持久化信息恢復(fù)傳輸任務(wù)；當(dāng)發(fā)送/接收代理在數(shù)據(jù)傳輸完成后宕機(jī)或不可連接時(shí)，信息持久化在接收代理中，待發(fā)送/接收代理故障恢復(fù)后，接收代理按本地持久化信息恢復(fù)傳輸后的處理操作；當(dāng)管理控制臺宕機(jī)或不可連接時(shí)，不影響數(shù)據(jù)傳輸，傳輸代理發(fā)出的心跳消息和任務(wù)信息消息會暫時(shí)緩存在本地，待管理控制臺恢復(fù)后，裝置自動重新發(fā)送緩存的消息。本發(fā)明通過以上的技術(shù)方案，可以解決在不穩(wěn)定的網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)可靠的大數(shù)據(jù)傳輸服務(wù)，且可對數(shù)據(jù)傳輸?shù)娜踢M(jìn)行管理和監(jiān)控，同時(shí)，傳輸服務(wù)可以與現(xiàn)有的業(yè)務(wù)系統(tǒng)集成，實(shí)現(xiàn)業(yè)務(wù)流程與數(shù)據(jù)傳輸?shù)臒o縫銜接。
【專利附圖】

【附圖說明】
[0082]此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本發(fā)明的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
[0083]圖1是本發(fā)明提供的一種大數(shù)據(jù)的傳輸系統(tǒng)的結(jié)構(gòu)示意圖。
[0084]圖2是本發(fā)明提供的一種將本發(fā)明的大數(shù)據(jù)的傳輸系統(tǒng)應(yīng)用到具體業(yè)務(wù)系統(tǒng)的結(jié)構(gòu)示意圖。
[0085]圖3是本發(fā)明提供的一種大數(shù)據(jù)的傳輸方法的流程圖。
【具體實(shí)施方式】
[0086]為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚、明白，以下結(jié)合附圖和實(shí)施例，對本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0087]如圖1所示，本發(fā)明提供一種大數(shù)據(jù)的傳輸系統(tǒng)，包括:消息服務(wù)器300，管理控制臺400，傳輸代理500，其中，
[0088]所述傳輸代理500，用于將數(shù)據(jù)文件從源業(yè)務(wù)系統(tǒng)傳輸給目標(biāo)業(yè)務(wù)系統(tǒng)，以及將數(shù)據(jù)傳輸過程及自身狀態(tài)實(shí)時(shí)發(fā)送給管理控制臺400 ;傳輸代理500同時(shí)具備發(fā)送和接收數(shù)據(jù)的能力，即任何一個(gè)傳輸代理既可以作為發(fā)送代理也可以作為接收代理。同時(shí)，傳輸代理500定時(shí)向管理控制臺發(fā)送心跳消息，以便管理控制臺400可以監(jiān)控到傳輸代理的存活情況。
[0089]所述傳輸代理500包括發(fā)送代理100和接收代理200。其中:
[0090]所述發(fā)送代理100，用于掃描源業(yè)務(wù)數(shù)據(jù)并生成傳輸文件，并將該傳輸文件通過指定的傳輸協(xié)議傳送給接收代理200。其包括:發(fā)送前業(yè)務(wù)處理模塊101，發(fā)送隊(duì)列102，發(fā)送前數(shù)據(jù)處理模塊103，發(fā)送模塊104和系統(tǒng)管理模塊105。
[0091]所述發(fā)送前業(yè)務(wù)處理模塊101，用于源業(yè)務(wù)數(shù)據(jù)掃描和數(shù)據(jù)壓縮，并將壓縮包文件保存到發(fā)送目錄中，并生成待發(fā)送的傳輸任務(wù)信息；
[0092]源業(yè)務(wù)數(shù)據(jù)掃描是根據(jù)源業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存放方式發(fā)現(xiàn)數(shù)據(jù)，并將數(shù)據(jù)復(fù)制到自身的源業(yè)務(wù)數(shù)據(jù)目錄中，成功掃描并復(fù)制數(shù)據(jù)后，進(jìn)入數(shù)據(jù)壓縮。
[0093]數(shù)據(jù)壓縮是將源業(yè)務(wù)數(shù)據(jù)目錄中的數(shù)據(jù)壓縮成一個(gè)壓縮包，并將壓縮包復(fù)制到自身的發(fā)送目錄中，成功壓縮并復(fù)制數(shù)據(jù)后，將數(shù)據(jù)的元信息(傳輸任務(wù)編碼、壓縮包名稱、壓縮包路徑等)持久化到本地的發(fā)送任務(wù)信息中，生成待發(fā)送傳輸任務(wù)信息，并將該傳輸任務(wù)信息插入到發(fā)送隊(duì)列102中，此時(shí)傳輸任務(wù)狀態(tài)為待發(fā)送。
[0094]如果源業(yè)務(wù)數(shù)據(jù)掃描或數(shù)據(jù)壓縮失敗，則不會持久化任何信息到本地，發(fā)送前業(yè)務(wù)處理模塊101會重試相關(guān)操作。發(fā)送前業(yè)務(wù)處理模塊101的實(shí)現(xiàn)方式可根據(jù)源業(yè)務(wù)需求進(jìn)行定制開發(fā)。
[0095]該發(fā)送隊(duì)列102是一個(gè)先進(jìn)先出隊(duì)列，用于在內(nèi)存中存儲待發(fā)送的傳輸任務(wù)信息，傳輸任務(wù)信息由發(fā)送前業(yè)務(wù)處理模塊101生產(chǎn)、由發(fā)送前數(shù)據(jù)處理模塊103消費(fèi)。
[0096]該發(fā)送前數(shù)據(jù)處理模塊103，用于消費(fèi)從發(fā)送隊(duì)列102中的傳輸任務(wù)，并進(jìn)行包括數(shù)據(jù)加密、計(jì)算MD5等相關(guān)的數(shù)據(jù)處理，在數(shù)據(jù)處理完成后生成發(fā)送線程，并在線程上觸發(fā)發(fā)送模塊104，開始傳輸數(shù)據(jù)。其中:
[0097]數(shù)據(jù)加密是指將發(fā)送目錄中的壓縮包文件按一定的加密算法進(jìn)行加密運(yùn)算，運(yùn)算后得到加密后的壓縮包，同時(shí)，更新本地的發(fā)送任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已加密。數(shù)據(jù)加密是可選步驟，如果在配置文件中指定傳輸前需要加密，則執(zhí)行數(shù)據(jù)加密。
[0098]計(jì)算MD5是防止傳輸過程中數(shù)據(jù)損壞，是對壓縮包的二進(jìn)制數(shù)據(jù)流進(jìn)行MD5運(yùn)算，運(yùn)算后得到壓縮包的MD5字符串，同時(shí)，更新本地的發(fā)送任務(wù)信息，記錄傳輸任務(wù)的MD5值，并將傳輸任務(wù)的狀態(tài)修改為已計(jì)算MD5。
[0099]該發(fā)送模塊104，用于將發(fā)送目錄中的壓縮包文件，以多線程的方式按指定的傳輸協(xié)議發(fā)送至接收代理200中。
[0100]發(fā)送模塊104發(fā)送開始時(shí)，更新本地的發(fā)送任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為發(fā)送中；發(fā)送過程中，異步的更新本地的發(fā)送任務(wù)信息，包括發(fā)送線程數(shù)、每個(gè)線程傳輸?shù)钠鹗甲止?jié)數(shù)、每個(gè)線程已傳輸?shù)淖止?jié)數(shù)；發(fā)送完成后，刪除本地的發(fā)送任務(wù)信息中的當(dāng)前傳輸任務(wù)。
[0101]該系統(tǒng)管理模塊105，用于初始化系統(tǒng)、異常管理、任務(wù)重試、通訊管理。其中:
[0102]初始化系統(tǒng):包括加載各個(gè)模塊、加載配置信息、初始化環(huán)境變量、初始化線程池
坐寸ο
[0103]異常管理:統(tǒng)一處理各個(gè)模塊在傳輸過程中的所有異常信息。
[0104]任務(wù)重試:當(dāng)傳輸任務(wù)出現(xiàn)異常時(shí)導(dǎo)致中斷時(shí)，提供統(tǒng)一的重試機(jī)制，重試時(shí)從本地持久化的信息中獲取傳輸任務(wù)，并根據(jù)任務(wù)狀態(tài)決定分配給某個(gè)模塊繼續(xù)處理。
[0105]通訊管理:提供與消息服務(wù)器通訊的接口。當(dāng)消息發(fā)送失敗時(shí)(如消息服務(wù)器宕機(jī)、網(wǎng)絡(luò)中斷)，相關(guān)消息被緩存至本地，并按一定時(shí)間間隔重試發(fā)送，發(fā)送成功后刪除本地緩存的消息。[0106]所述接收代理200，用于接收發(fā)送代理傳送的文件，并將接收到的文件還原成源業(yè)務(wù)數(shù)據(jù)，并執(zhí)行后續(xù)動作。包括:接收模塊201，接收隊(duì)列202，接收后數(shù)據(jù)處理模塊203，接收后業(yè)務(wù)處理模塊204和系統(tǒng)管理模塊205。
[0107]該接收模塊201采用與發(fā)送模塊104相同的傳輸協(xié)議、傳輸線程數(shù)，接收發(fā)送代理發(fā)送過來的數(shù)據(jù)，接收到的文件存放于接收目錄中，接收完畢后，將傳輸任務(wù)信息持久化到本地的接收任務(wù)信息，并生成已接收的傳輸任務(wù)信息，并將該傳輸任務(wù)信息插入到接收隊(duì)列中，此時(shí)傳輸任務(wù)狀態(tài)為已接收。
[0108]該接收隊(duì)列202是一個(gè)先進(jìn)先出隊(duì)列，用于在內(nèi)存中存儲已接收的傳輸任務(wù)信息，傳輸任務(wù)信息由接收模塊201生產(chǎn)、由接收后數(shù)據(jù)處理模塊203消費(fèi)；
[0109]該接收后數(shù)據(jù)處理模塊203，用于消費(fèi)從接收隊(duì)列中的傳輸任務(wù)，并進(jìn)行包括校驗(yàn)MD5、數(shù)據(jù)解密等相關(guān)的數(shù)據(jù)處理，在數(shù)據(jù)處理完成后觸發(fā)業(yè)務(wù)處理；其中，
[0110]校驗(yàn)MD5主要是對壓縮包的二進(jìn)制數(shù)據(jù)流進(jìn)行MD5運(yùn)算，運(yùn)算后得到壓縮包的MD5字符串，同時(shí)，將此MD5字符串與傳輸任務(wù)中的MD5字符串進(jìn)行比較，相同則校驗(yàn)通過，不同則校驗(yàn)失敗。如果MD5校驗(yàn)通過，則更新本地的接收任務(wù)信息，將傳輸狀態(tài)修改為已校驗(yàn)，并觸發(fā)業(yè)務(wù)處理；如果MD5校驗(yàn)失敗，則更新本地的接收任務(wù)信息，將傳輸狀態(tài)修改為校驗(yàn)失敗，并發(fā)出相關(guān)的告警消息到管理控制臺，同時(shí)中斷處理進(jìn)程。
[0111]數(shù)據(jù)解密是將接收目錄中已加密的壓縮包文件按一定的解密算法進(jìn)行解密運(yùn)算，運(yùn)算后得到解密后的壓縮包，同時(shí)，更新本地的接收任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已解密。數(shù)據(jù)解密是可選步驟，與是否加密相對應(yīng)。
[0112]該接收后業(yè)務(wù)處理模塊204，用于數(shù)據(jù)解壓和目標(biāo)數(shù)據(jù)提交。
[0113]數(shù)據(jù)解壓是將接收目錄中的壓縮包解壓到目標(biāo)數(shù)據(jù)目錄，還原為源業(yè)務(wù)數(shù)據(jù)，成功解壓數(shù)據(jù)后，觸發(fā)目標(biāo)數(shù)據(jù)提交。
[0114]目標(biāo)數(shù)據(jù)提交是將目標(biāo)數(shù)據(jù)目錄中的數(shù)據(jù)文件按目標(biāo)業(yè)務(wù)系統(tǒng)的規(guī)則，提交到系統(tǒng)所需的相關(guān)位置，并通知到目標(biāo)業(yè)務(wù)系統(tǒng)。提交成功后，刪除本地的接收任務(wù)信息中的當(dāng)前傳輸任務(wù)。
[0115]該系統(tǒng)管理模塊205,功能與系統(tǒng)管理模塊105相同,用于初始化系統(tǒng)、異常管理、任務(wù)重試、通訊管理。其中:
[0116]初始化系統(tǒng):包括加載各個(gè)模塊、加載配置信息、初始化環(huán)境變量、初始化線程池
坐寸ο
[0117]異常管理:統(tǒng)一處理各個(gè)模塊在傳輸過程中的所有異常信息。
[0118]任務(wù)重試:當(dāng)傳輸任務(wù)出現(xiàn)異常時(shí)導(dǎo)致中斷時(shí)，提供統(tǒng)一的重試機(jī)制，重試時(shí)從本地持久化的信息中獲取傳輸任務(wù)，并根據(jù)任務(wù)狀態(tài)決定分配給某個(gè)模塊繼續(xù)處理。
[0119]通訊管理:提供與消息服務(wù)器通訊的接口。當(dāng)消息發(fā)送失敗時(shí)(如消息服務(wù)器宕機(jī)、網(wǎng)絡(luò)中斷)，相關(guān)消息被緩存至本地，并按一定時(shí)間間隔重試發(fā)送，發(fā)送成功后刪除本地緩存的消息。
[0120]所述消息服務(wù)器300，用于為系統(tǒng)的其他模塊提供消息服務(wù)，所述傳輸代理500與管理控制臺300之間通過該消息服務(wù)器300進(jìn)行通訊。
[0121]消息服務(wù)器提供消息隊(duì)列的服務(wù)，其他模塊可訂閱指定隊(duì)列的消息，并根據(jù)指定的主題消費(fèi)消息。消息服務(wù)器包括發(fā)送消息隊(duì)列和接收消息隊(duì)列兩個(gè)消息隊(duì)列。[0122]消息隊(duì)列提供了可靠的消息持久化能力，當(dāng)某個(gè)消息進(jìn)入消息隊(duì)列后，在被正確消費(fèi)前一直存在于隊(duì)列中，不會丟失。
[0123]所述管理控制臺400提供了基于Web的管理界面，用戶可以通過管理控制臺400監(jiān)控和管理傳輸任務(wù)和傳輸代理500 (包括發(fā)送代理100和接收代理200)，其包括:任務(wù)管理模塊401、監(jiān)控管理模塊402、節(jié)點(diǎn)管理模塊403。其中:
[0124]該任務(wù)管理模塊401，用于管理數(shù)據(jù)的傳輸過程，包括:暫停、繼續(xù)、重傳等；管理命令通過消息發(fā)送給傳輸代理(發(fā)送代理)，傳輸代理根據(jù)命令內(nèi)容決定實(shí)際操作。
[0125]該監(jiān)控管理模塊402,用于監(jiān)控?cái)?shù)據(jù)傳輸過程及傳輸代理狀態(tài)；傳輸代理在傳輸任務(wù)狀態(tài)變更時(shí)會將信息以消息的方式上報(bào)給管理控制臺，因此可以在管理控制臺中準(zhǔn)實(shí)時(shí)的查詢到傳輸任務(wù)信息。
[0126]該節(jié)點(diǎn)管理模塊403，用于管理傳輸代理的配置信息。傳輸代理在啟動時(shí)，向管理控制臺申請配置信息，管理控制臺將相應(yīng)的配置信息封裝為消息，下發(fā)給傳輸代理，傳輸代理按此配置信息初始化自身。
[0127]此外，本發(fā)明提供的一種大數(shù)據(jù)的傳輸系統(tǒng)中的每個(gè)模塊均有將過程信息在本地持久化的能力，信息記錄在發(fā)送任務(wù)信息、接收任務(wù)信息兩種記錄中，這些記錄可采用數(shù)據(jù)庫或文件方式存儲。持久化的傳輸任務(wù)信息每次狀態(tài)變更時(shí)，傳輸代理500都會向管理控制臺400發(fā)送消息，以便管理控制臺400可以監(jiān)控到傳輸過程。
[0128]傳輸代理500同時(shí)具備發(fā)送和接收數(shù)據(jù)的能力，即任何一個(gè)傳輸代理既可以作為發(fā)送代理也可以作為接收代理，可以將其中的發(fā)送代理部署在發(fā)送節(jié)點(diǎn)服務(wù)器中，接收代理部署在接收節(jié)點(diǎn)服務(wù)器中；同時(shí)，傳輸代理500定時(shí)向管理控制臺發(fā)送心跳消息，以便管理控制臺400可以監(jiān)控到傳輸代理的存活情況。
[0129]如圖2所示，本發(fā)明提供的一種將本發(fā)明的大數(shù)據(jù)傳輸?shù)南到y(tǒng)應(yīng)用到具體業(yè)務(wù)系統(tǒng)的結(jié)構(gòu)示意圖。
[0130]該業(yè)務(wù)系統(tǒng)，包括:源業(yè)務(wù)系統(tǒng)，目標(biāo)業(yè)務(wù)系統(tǒng)，發(fā)送節(jié)點(diǎn)服務(wù)器，接收節(jié)點(diǎn)服務(wù)器，消息節(jié)點(diǎn)服務(wù)器，管理節(jié)點(diǎn)服務(wù)器，以及本發(fā)明的傳輸系統(tǒng)，其中:
[0131]本發(fā)明的大數(shù)據(jù)的傳輸系統(tǒng)的發(fā)送代理100部署在發(fā)送節(jié)點(diǎn)服務(wù)器，接收代理200部署在接收節(jié)點(diǎn)服務(wù)器，消息服務(wù)器300部署在消息節(jié)點(diǎn)服務(wù)器，管理控制臺400部署在管理節(jié)點(diǎn)服務(wù)器。
[0132]該發(fā)送代理100，部署在發(fā)送節(jié)點(diǎn)服務(wù)器中，用于掃描源業(yè)務(wù)系統(tǒng)A獲取待發(fā)送的業(yè)務(wù)數(shù)據(jù)，轉(zhuǎn)為自身可管理的數(shù)據(jù)文件X，數(shù)據(jù)文件X經(jīng)過壓縮、加密、計(jì)算MD5等系列處理，再將數(shù)據(jù)文件X傳輸給接收代理200。包括:發(fā)送前業(yè)務(wù)處理模塊101、發(fā)送隊(duì)列102、發(fā)送前數(shù)據(jù)處理模塊103、發(fā)送模塊104、系統(tǒng)管理模塊105。
[0133]該發(fā)送前業(yè)務(wù)處理模塊101，掃描源業(yè)務(wù)系統(tǒng)A獲取源業(yè)務(wù)數(shù)據(jù)，并對獲取到的業(yè)務(wù)數(shù)據(jù)進(jìn)行數(shù)據(jù)壓縮成壓縮包，并將壓縮包復(fù)制到自身的發(fā)送目錄中，成功壓縮并復(fù)制數(shù)據(jù)后，將數(shù)據(jù)的元信息(傳輸任務(wù)編碼、壓縮包名稱、壓縮包路徑等)持久化到本地的發(fā)送任務(wù)信息中，生成待發(fā)送傳輸任務(wù)信息，并將該傳輸任務(wù)信息插入到發(fā)送隊(duì)列102中。
[0134]該發(fā)送隊(duì)列102是一個(gè)先進(jìn)先出隊(duì)列，用于在內(nèi)存中存儲待發(fā)送的傳輸任務(wù)信息；
[0135]該發(fā)送前數(shù)據(jù)處理模塊103，從發(fā)送隊(duì)列102中的消費(fèi)傳輸任務(wù)，并進(jìn)行包括數(shù)據(jù)加密、計(jì)算MD5等相關(guān)的數(shù)據(jù)處理，在數(shù)據(jù)處理完成后生成發(fā)送線程，并在線程上觸發(fā)發(fā)送模塊104，開始傳輸數(shù)據(jù)。
[0136]該發(fā)送模塊104，用于將發(fā)送目錄中的壓縮包文件，以多線程的方式按指定的傳輸協(xié)議發(fā)送至接收代理200中；
[0137]該系統(tǒng)管理模塊150，用于初始化系統(tǒng)、異常管理、任務(wù)重試、通訊管理。
[0138]所述接收代理200，部署在接收節(jié)點(diǎn)服務(wù)器中，用于與發(fā)送代理100連接并接收數(shù)據(jù)文件X，經(jīng)過校驗(yàn)MD5、解密、解壓等一系列處理，將數(shù)據(jù)文件X提交到目標(biāo)業(yè)務(wù)系統(tǒng)B中。包括:接收模塊201、接收隊(duì)列202、接收后數(shù)據(jù)處理模塊203、接收后業(yè)務(wù)處理模塊204、系統(tǒng)管理模塊205。
[0139]該接收模塊201采用與發(fā)送模塊104相同的傳輸協(xié)議、傳輸線程數(shù)，接收發(fā)送代理發(fā)送過來的數(shù)據(jù)，接收到的文件存放于接收目錄中，接收完畢后，將傳輸任務(wù)信息持久化到本地的接收任務(wù)信息，并生成已接收的傳輸任務(wù)信息，并將該傳輸任務(wù)信息插入到接收隊(duì)列中，此時(shí)傳輸任務(wù)狀態(tài)為已接收。
[0140]該接收隊(duì)列202是一個(gè)先進(jìn)先出隊(duì)列，用于在內(nèi)存中存儲已接收的傳輸任務(wù)信息；
[0141]該接收后數(shù)據(jù)處理模塊203，從接收隊(duì)列中的消費(fèi)傳輸任務(wù)，并進(jìn)行包括校驗(yàn)MD5、數(shù)據(jù)解密等相關(guān)的數(shù)據(jù)處理，在數(shù)據(jù)處理完成后觸發(fā)業(yè)務(wù)處理；
[0142]該接收后業(yè)務(wù)處理模塊204，用于數(shù)據(jù)解壓，并將解壓后的目標(biāo)數(shù)據(jù)提交目標(biāo)業(yè)務(wù)系統(tǒng)B中。
[0143]該系統(tǒng)管理模塊205，用于初始化系統(tǒng)、異常管理、任務(wù)重試、通訊管理。
[0144]所述消息服務(wù)器300消息服務(wù)器300部署在消息節(jié)點(diǎn)服務(wù)器中，為其他模塊提供消息服務(wù)，傳輸代理與管理控制臺之間通過消息服務(wù)器進(jìn)行通訊。
[0145]所述管理控制臺400部署在管理節(jié)點(diǎn)服務(wù)器，提供了基于Web的管理界面，用戶可以通過管理控制臺400監(jiān)控和管理傳輸任務(wù)和傳輸代理500 (包括發(fā)送代理100和接收代理200)，其包括:任務(wù)管理模塊401、監(jiān)控管理模塊402、節(jié)點(diǎn)管理模塊403。其中，
[0146]該任務(wù)管理模塊401，用于管理數(shù)據(jù)的傳輸過程，包括:暫停、繼續(xù)、重傳等；管理命令通過消息發(fā)送給傳輸代理(發(fā)送代理)，傳輸代理根據(jù)命令內(nèi)容決定實(shí)際操作。
[0147]該監(jiān)控管理模塊402,用于監(jiān)控?cái)?shù)據(jù)傳輸過程及傳輸代理狀態(tài)；傳輸代理在傳輸任務(wù)狀態(tài)變更時(shí)會將信息以消息的方式上報(bào)給管理控制臺，因此可以在管理控制臺中準(zhǔn)實(shí)時(shí)的查詢到傳輸任務(wù)信息。
[0148]該節(jié)點(diǎn)管理模塊403，用于管理傳輸代理的配置信息。傳輸代理在啟動時(shí)，向管理控制臺申請配置信息，管理控制臺將相應(yīng)的配置信息封裝為消息，下發(fā)給傳輸代理，傳輸代理按此配置信息初始化自身。
[0149]如圖3所示，本發(fā)明提供一種大數(shù)據(jù)的傳輸方法，包括:
[0150]步驟1、發(fā)送代理掃描源業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)，并進(jìn)行數(shù)據(jù)壓縮；具體包括:
[0151]步驟1.1、發(fā)送代理掃描源業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)，生成本地?cái)?shù)據(jù)文件，并將數(shù)據(jù)文件存放在發(fā)送代理的源目錄中；
[0152]步驟1.2、發(fā)送代理將本地?cái)?shù)據(jù)文件壓縮為壓縮包，并將壓縮包文件存放在發(fā)送代理的發(fā)送目錄中；具體包括:[0153]步驟1.2.1、發(fā)送代理將本地?cái)?shù)據(jù)文件壓縮為壓縮包，并將壓縮包文件存放在發(fā)送代理的發(fā)送目錄中；
[0154]步驟1.2.2、發(fā)送代理將待發(fā)送文件(壓縮包)的元數(shù)據(jù)信息存入發(fā)送隊(duì)列，成功入隊(duì)后，發(fā)送代理開始下一次的掃描源業(yè)務(wù)系統(tǒng)數(shù)據(jù)任務(wù)；
[0155]步驟1.2.3、發(fā)送代理將待發(fā)送文件(壓縮包)的信息持久化到本地的發(fā)送任務(wù)信息中，持久化的信息包括傳輸任務(wù)編碼、傳輸任務(wù)狀態(tài)、壓縮包名稱、壓縮包路徑等，此時(shí)傳輸任務(wù)狀態(tài)為待發(fā)送。
[0156]步驟2、發(fā)送代理對壓縮包進(jìn)行發(fā)送前的數(shù)據(jù)處理；具體包括:
[0157]步驟2.1、發(fā)送代理對發(fā)送目錄中的壓縮包加密，生成加密壓縮包，并將加密壓縮包文件存放在發(fā)送代理的發(fā)送目錄中。此步驟是可選步驟，可通過配置文件指定傳輸前是否需要加密；如果需要加密，則發(fā)送代理更新本地的發(fā)送任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已加S ;如果不需要加S，該步驟可餐略。
[0158]步驟2.2、發(fā)送代理對壓縮包計(jì)算MD5值，得到的MD5值會作為發(fā)送文件的頭信息，一并發(fā)送給接收代理；發(fā)送代理更新本地的發(fā)送任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已計(jì)算 MD5。
[0159]步驟3、發(fā)送代理傳輸壓縮包文件給接收代理；具體包括:
[0160]步驟3.1、發(fā)送代理傳輸壓縮包文件給接收代理，同時(shí)，發(fā)送代理異步地更新本地的發(fā)送任務(wù)信息，包括發(fā)送線程數(shù)、每個(gè)線程傳輸?shù)钠鹗甲止?jié)數(shù)、每個(gè)線程已傳輸?shù)淖止?jié)數(shù)。任何異常導(dǎo)致的傳輸中斷，當(dāng)異?；謴?fù)后，發(fā)送代理會從本地的發(fā)送任務(wù)信息中獲取相關(guān)信息并開始斷點(diǎn)續(xù)傳。
[0161]步驟3.2、發(fā)送完成后，發(fā)送代理刪除本地的發(fā)送任務(wù)信息中的當(dāng)前傳輸任務(wù)。此時(shí)，當(dāng)前傳輸任務(wù)中，發(fā)送代理的工作已完成，發(fā)送代理繼續(xù)消費(fèi)發(fā)送隊(duì)列中的下一個(gè)任務(wù)并進(jìn)行傳輸。
[0162]步驟4、接收代理對接收到的加密壓縮包文件進(jìn)行接收后的數(shù)據(jù)處理；具體包括:
[0163]步驟4.1、傳輸完成后，接收代理對收到的加密壓縮包文件計(jì)算MD5值，并對比校驗(yàn)發(fā)送代理的計(jì)算結(jié)果。此時(shí)接收到的壓縮包文件存放于接收代理的接收目錄中；
[0164]步驟4.2、接收完畢后，接收代理將傳輸任務(wù)信息持久化到本地的接收任務(wù)信息中，同時(shí)，將傳輸任務(wù)信息插入到接收隊(duì)列中，此時(shí)傳輸任務(wù)狀態(tài)為已接收；
[0165]步驟4.3、校驗(yàn)MD5通過后，接收代理更新本地的接收任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已校驗(yàn)MD5 ；
[0166]步驟4.4、校驗(yàn)通過后，如果在配置文件中得知傳輸是加密的，則接收代理將加密壓縮包進(jìn)行解密，生成原始壓縮包。此步驟是可選步驟，如果已在配置文件中指定傳輸前需要加密，才會執(zhí)行此步驟解密；
[0167]步驟4.5、接收代理更新本地的接收任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已解密。
[0168]步驟5、接收代理將原始壓縮包進(jìn)行解壓，生成原始數(shù)據(jù)文件；具體包括:
[0169]步驟5.1、接收代理將原始壓縮包進(jìn)行解壓縮，生成原始數(shù)據(jù)文件。此時(shí)數(shù)據(jù)文件存放于接收代理的目標(biāo)目錄中；
[0170]步驟5.2、接收代理更新本地的接收任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已解壓。
[0171]步驟6、接收代理將解壓后的原始數(shù)據(jù)文件提交到目標(biāo)業(yè)務(wù)系統(tǒng)；具體包括:[0172]步驟6.1、接收代理將解壓后的原始數(shù)據(jù)文件提交到目標(biāo)業(yè)務(wù)系統(tǒng)中；
[0173]步驟6.2、提交成功后，刪除本地的接收任務(wù)信息中的當(dāng)前傳輸任務(wù)，整個(gè)傳輸任務(wù)完成。
[0174]本發(fā)明提供的一種大數(shù)據(jù)的傳輸系統(tǒng)，包含消息服務(wù)器、傳輸代理、管理控制臺三個(gè)模塊。消息服務(wù)器為其他模塊提供消息服務(wù)，傳輸代理與管理控制臺之間通過消息服務(wù)器進(jìn)行通訊；傳輸代理分為發(fā)送代理和接收代理，分別部署在發(fā)送節(jié)點(diǎn)服務(wù)器和接收節(jié)點(diǎn)服務(wù)器上，發(fā)送代理負(fù)責(zé)掃描原始數(shù)據(jù)并生成待傳輸?shù)奈募缓髮⑽募ㄟ^指定的傳輸協(xié)議傳送給接收代理，接收代理收到文件后將文件還原成原始數(shù)據(jù)并執(zhí)行后續(xù)動作。傳輸代理會將傳輸過程以及自身狀態(tài)實(shí)時(shí)發(fā)送給管理控制臺；管理控制臺負(fù)責(zé)管理和監(jiān)控所有的傳輸代理以及傳輸任務(wù)。本發(fā)明通過以上的技術(shù)方案，可以解決在不穩(wěn)定的網(wǎng)絡(luò)環(huán)境中實(shí)現(xiàn)可靠的大數(shù)據(jù)傳輸服務(wù)，且可對數(shù)據(jù)傳輸?shù)娜踢M(jìn)行管理和監(jiān)控，同時(shí)，傳輸服務(wù)可以與現(xiàn)有的業(yè)務(wù)系統(tǒng)集成，實(shí)現(xiàn)業(yè)務(wù)流程與數(shù)據(jù)傳輸?shù)臒o縫銜接。
[0175]上述說明示出并描述了本發(fā)明的一個(gè)優(yōu)選實(shí)施例，但如前所述，應(yīng)當(dāng)理解本發(fā)明并非局限于本文所披露的形式，不應(yīng)看作是對其他實(shí)施例的排除，而可用于各種其他組合、修改和環(huán)境，并能夠在本文所述發(fā)明構(gòu)想范圍內(nèi)，通過上述教導(dǎo)或相關(guān)領(lǐng)域的技術(shù)或知識進(jìn)行改動。而本領(lǐng)域人員所進(jìn)行的改動和變化不脫離本發(fā)明的精神和范圍，則都應(yīng)在本發(fā)明所附權(quán)利要求的保護(hù)范圍內(nèi)。
【權(quán)利要求】
1.一種大數(shù)據(jù)的傳輸系統(tǒng)，其特征在于，包括:消息服務(wù)器，管理控制臺，傳輸代理，其中， 所述傳輸代理，包括發(fā)送代理和接收代理，所述發(fā)送代理，用于掃描源業(yè)務(wù)系統(tǒng)的數(shù)據(jù)文件并生成傳輸文件，并將該傳輸文件傳送給接收代理；所述接收代理，用于接收發(fā)送代理傳送的數(shù)據(jù)文件，并還原數(shù)據(jù)文件，提交給目標(biāo)業(yè)務(wù)系統(tǒng)； 所述消息服務(wù)器，用于為系統(tǒng)的模塊提供消息服務(wù)，所述傳輸代理與管理控制臺之間通過該消息服務(wù)器進(jìn)行通訊； 所述管理控制臺，提供管理界面，供用戶監(jiān)控和管理傳輸任務(wù)和傳輸代理。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述發(fā)送代理，包括:發(fā)送前業(yè)務(wù)處理模塊，發(fā)送隊(duì)列，發(fā)送前數(shù)據(jù)處理模塊，和發(fā)送模塊；其中: 所述發(fā)送前業(yè)務(wù)處理模塊，用于源業(yè)務(wù)數(shù)據(jù)掃描和數(shù)據(jù)壓縮，并將壓縮包文件保存到發(fā)送目錄中，并生成待發(fā)送的傳輸任務(wù)信息； 所述發(fā)送隊(duì)列是一個(gè)先進(jìn)先出隊(duì)列，用于在內(nèi)存中存儲待發(fā)送的傳輸任務(wù)信息； 所述發(fā)送前數(shù)據(jù)處理模塊，用于消費(fèi)從所述發(fā)送隊(duì)列中的傳輸任務(wù)，并進(jìn)行數(shù)據(jù)處理，數(shù)據(jù)處理完成后生成發(fā)送線程，觸發(fā)所述發(fā)送模塊傳輸數(shù)據(jù)； 所述發(fā)送模塊，用于將發(fā)送目錄中的壓縮包文件，發(fā)送至接收代理。
3.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述發(fā)送前業(yè)務(wù)處理模塊用于源業(yè)務(wù)數(shù)據(jù)掃描和數(shù)據(jù)壓縮，具體包括: 源業(yè)務(wù)數(shù)據(jù)掃描:根據(jù)源業(yè)務(wù)系統(tǒng)的數(shù)據(jù)存放方式發(fā)現(xiàn)數(shù)據(jù)，并將數(shù)據(jù)復(fù)制到自身的源業(yè)務(wù)數(shù)據(jù)目錄中； 數(shù)據(jù)壓縮:將源業(yè)務(wù)數(shù)據(jù)目錄中的數(shù)據(jù)壓縮成一個(gè)壓縮包，并將壓縮包復(fù)制到自身的發(fā)送目錄中，數(shù)據(jù)壓縮成功并復(fù)制后，將數(shù)據(jù)的元信息持久化到本地的發(fā)送任務(wù)信息中，生成待發(fā)送傳輸任務(wù)信息，并將該傳輸任務(wù)信息插入到所述發(fā)送隊(duì)列中。
4.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述發(fā)送前數(shù)據(jù)處理模塊至少進(jìn)行以下之一的數(shù)據(jù)處理: 數(shù)據(jù)加密:如果在配置文件中指定傳輸前需要加密，則將發(fā)送目錄中的壓縮包文件進(jìn)行加密，得到加密后的壓縮包，同時(shí)，更新本地的發(fā)送任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已加密； 計(jì)算MD5:防止傳輸過程中數(shù)據(jù)損壞，對壓縮包的二進(jìn)制數(shù)據(jù)流進(jìn)行MD5運(yùn)算，得到壓縮包的MD5字符串，同時(shí)，更新本地的發(fā)送任務(wù)信息，記錄傳輸任務(wù)的MD5值，并將傳輸任務(wù)的狀態(tài)修改為已計(jì)算MD5。
5.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述發(fā)送模塊開始發(fā)送目錄中的壓縮包文件給至接收代理時(shí)，更新本地的發(fā)送任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為發(fā)送中；發(fā)送過程中，異步的更新本地的發(fā)送任務(wù)信息，包括發(fā)送線程數(shù)、每個(gè)線程傳輸?shù)钠鹗甲止?jié)數(shù)、每個(gè)線程已傳輸?shù)淖止?jié)數(shù)；發(fā)送完成后，刪除本地的發(fā)送任務(wù)信息中的當(dāng)前傳輸任務(wù)。
6.如權(quán)利要求2所述的系統(tǒng)，其特征在于，所述發(fā)送代理還包括系統(tǒng)管理模塊，用于初始化系統(tǒng)、異常管理、任務(wù)重試、通訊管理。
7.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述接收代理包括:接收模塊，接收隊(duì)列，接收后數(shù)據(jù)處理模塊，接收后業(yè)務(wù)處理模塊；其中:所述接收模塊，用于接收發(fā)送代理發(fā)送過來的數(shù)據(jù)文件，并存放于接收目錄中，接收完畢后，將傳輸任務(wù)信息持久化到本地的接收任務(wù)信息，并生成已接收的傳輸任務(wù)信息，并將該傳輸任務(wù)信息插入到接收隊(duì)列中； 所述接收隊(duì)列是一個(gè)先進(jìn)先出隊(duì)列，用于在內(nèi)存中存儲已接收的傳輸任務(wù)信息；所述接收后數(shù)據(jù)處理模塊，用于消費(fèi)從接收隊(duì)列中的傳輸任務(wù)，并進(jìn)行數(shù)據(jù)處理，在數(shù)據(jù)處理完成后觸發(fā)所述接收后業(yè)務(wù)處理模塊進(jìn)行業(yè)務(wù)處理； 所述接收后業(yè)務(wù)處理模塊，用于數(shù)據(jù)解壓和目標(biāo)數(shù)據(jù)提交。
8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述接收后數(shù)據(jù)處理模塊至少進(jìn)行以下之一的數(shù)據(jù)處理: 校驗(yàn)MD5:對壓縮包的二進(jìn)制數(shù)據(jù)流進(jìn)行MD5運(yùn)算，得到壓縮包的MD5字符串，將該MD5字符串與傳輸任務(wù)中的MD5字符串進(jìn)行比較，相同校驗(yàn)通過，更新本地的接收任務(wù)信息，將傳輸狀態(tài)修改為已校驗(yàn)，并觸發(fā)業(yè)務(wù)處理；不同校驗(yàn)失敗，更新本地的接收任務(wù)信息，將傳輸狀態(tài)修改為校驗(yàn)失敗，并發(fā)出相關(guān)的告警消息到管理控制臺，同時(shí)中斷處理進(jìn)程； 數(shù)據(jù)解密:如果在配置文件中得知傳輸是加密的，則將接收目錄中已加密的壓縮包文件進(jìn)行解密運(yùn)算，得到解密后的壓縮包。
9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，該接收后業(yè)務(wù)處理模塊，具體用于: 數(shù)據(jù)解壓:將接收目錄中的壓縮包解壓到目標(biāo)數(shù)據(jù)目錄，還原為源業(yè)務(wù)數(shù)據(jù)，成功解壓數(shù)據(jù)后，觸發(fā)目標(biāo)數(shù)據(jù)提交； 目標(biāo)數(shù)據(jù)提交:將目標(biāo)數(shù)據(jù)目錄中的數(shù)據(jù)文件提交到目標(biāo)業(yè)務(wù)系統(tǒng)。
10.如權(quán)利要求7所述的·系統(tǒng)，其特征在于，所述接收代理還包括系統(tǒng)管理模塊，用于初始化系統(tǒng)、異常管理、任務(wù)重試、通訊管理。
11.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述消息服務(wù)器提供消息隊(duì)列的服務(wù)，供所述傳輸系統(tǒng)中的其他模塊訂閱其中指定隊(duì)列的消息并消費(fèi)。
12.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述消息服務(wù)器包括發(fā)送消息隊(duì)列和接收消息隊(duì)列兩個(gè)消息隊(duì)列。
13.如權(quán)利要求11所述的系統(tǒng)，其特征在于，所述消息隊(duì)列提供消息持久化能力，當(dāng)某個(gè)消息進(jìn)入消息隊(duì)列后，在被正確消費(fèi)前一直存在于隊(duì)列中而不會丟失。
14.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述管理控制臺提供基于Web的管理界面，包括:任務(wù)管理模塊，監(jiān)控管理模塊，節(jié)點(diǎn)管理模塊；其中: 所述任務(wù)管理模塊，用于管理數(shù)據(jù)的傳輸過程，管理命令通過消息發(fā)送給傳輸代理； 所述監(jiān)控管理模塊，用于監(jiān)控?cái)?shù)據(jù)傳輸過程及所述傳輸代理狀態(tài)； 所述節(jié)點(diǎn)管理模塊，用于管理所述傳輸代理的配置信息。
15.一種大數(shù)據(jù)傳輸?shù)臉I(yè)務(wù)系統(tǒng)，其特征在于，包括:源業(yè)務(wù)系統(tǒng)，目標(biāo)業(yè)務(wù)系統(tǒng)，發(fā)送節(jié)點(diǎn)服務(wù)器，接收節(jié)點(diǎn)服務(wù)器，消息節(jié)點(diǎn)服務(wù)器，管理節(jié)點(diǎn)服務(wù)器，以及如權(quán)利要求1至14之一的所述傳輸系統(tǒng)，其中: 所述傳輸系統(tǒng)，用于將數(shù)據(jù)文件從源業(yè)務(wù)系統(tǒng)傳輸給目標(biāo)業(yè)務(wù)系統(tǒng)，包括:發(fā)送代理，接收代理，消息服務(wù)器和管理控制臺；其中，所述發(fā)送代理部署在所述發(fā)送節(jié)點(diǎn)服務(wù)器，所述接收代理部署在所述接收節(jié)點(diǎn)服務(wù)器；所述消息服務(wù)器部署在所述消息節(jié)點(diǎn)服務(wù)器；所述管理控制臺部署在所述管理節(jié)點(diǎn)服務(wù)器。
16.一種大數(shù)據(jù)的傳輸方法，其特征在于，包括: 步驟1、發(fā)送代理掃描源業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)文件，并進(jìn)行數(shù)據(jù)壓縮； 步驟2、發(fā)送代理對壓縮包進(jìn)行發(fā)送前的數(shù)據(jù)處理； 步驟3、發(fā)送代理傳輸經(jīng)過數(shù)據(jù)處理后的壓縮包文件給接收代理； 步驟4、接收代理對接收到的壓縮包文件進(jìn)行接收后的數(shù)據(jù)處理； 步驟5、接收代理將原始壓縮包進(jìn)行解壓，生成原始數(shù)據(jù)文件； 步驟6、接收代理將解壓后的原始數(shù)據(jù)文件提交到目標(biāo)業(yè)務(wù)系統(tǒng)。
17.如權(quán)利要求16所述的方法，其特征在于，所述步驟1，具體包括: 步驟1.1、發(fā)送代理掃描源業(yè)務(wù)系統(tǒng)的原始數(shù)據(jù)，生成本地?cái)?shù)據(jù)文件，并將數(shù)據(jù)文件存放在發(fā)送代理的源目錄中； 步驟1.2、發(fā)送代理將本地?cái)?shù)據(jù)文件壓縮為壓縮包，并將壓縮包文件存放在發(fā)送代理的發(fā)送目錄中。
18.如權(quán)利要求17所述的方法，其特征在于，所述步驟1.2，具體包括: 步驟1.2.1、發(fā)送代理將本地?cái)?shù)據(jù)文件壓縮為壓縮包，并將壓縮包文件存放在發(fā)送代理的發(fā)送目錄中； 步驟1.2.2、發(fā)送代理將待發(fā)送壓縮包的元數(shù)據(jù)信息存入發(fā)送隊(duì)列； 步驟1.2.3、發(fā)送代理將待發(fā)送`壓縮包的信息持久化到本地的發(fā)送任務(wù)信息中，持久化的信息包括傳輸任務(wù)編碼、傳輸任務(wù)狀態(tài)、壓縮包名稱、壓縮包路徑，其中，傳輸任務(wù)狀態(tài)為待發(fā)送。
19.如權(quán)利要求17所述的方法，其特征在于，所述步驟2，具體包括: 步驟2.1、如果在配置文件中指定傳輸前需要加密，則發(fā)送代理對發(fā)送目錄中的壓縮包加密，生成加密壓縮包，并將加密壓縮包文件存放在發(fā)送代理的發(fā)送目錄中；否則，不執(zhí)行該加密步驟； 步驟2.2、發(fā)送代理對壓縮包計(jì)算MD5值，得到的MD5值會作為發(fā)送文件的頭信息，一并發(fā)送給接收代理。
20.如權(quán)利要求19所述的方法，其特征在于，所述步驟3，具體包括: 步驟3.1、發(fā)送代理傳輸壓縮包文件給接收代理，同時(shí)，發(fā)送代理異步地更新本地的發(fā)送任務(wù)信息； 步驟3.2、發(fā)送完成后，發(fā)送代理刪除本地的發(fā)送任務(wù)信息中的當(dāng)前傳輸任務(wù)。
21.如權(quán)利要求19所述的方法，其特征在于，所述步驟4，具體包括: 步驟4.1、傳輸完成后，接收代理對收到的加密壓縮包文件計(jì)算MD5值，并校驗(yàn)MD5，此時(shí)接收到的壓縮包文件存放于接收代理的接收目錄中； 步驟4.2、接收完畢后，接收代理將傳輸任務(wù)信息持久化到本地的接收任務(wù)信息中，同時(shí)，將傳輸任務(wù)信息插入到接收隊(duì)列中，此時(shí)傳輸任務(wù)狀態(tài)為已接收； 步驟4.3、校驗(yàn)MD5通過后，接收代理更新本地的接收任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已校驗(yàn)MD5 ； 步驟4.4、如果在配置文件中得知傳輸是加密的，則接收代理將加密壓縮包進(jìn)行解密，生成原始壓縮包；同時(shí)，接收代理更新本地的接收任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已解密；否則，不執(zhí)行此步驟解密。
22.如權(quán)利要求21所述的方法，其特征在于，所述步驟5，具體包括: 步驟5.1、接收代理將原始壓縮包進(jìn)行解壓縮，生成原始數(shù)據(jù)文件，存放于接收代理的目標(biāo)目錄中； 步驟5.2、接收代理更新本地的接收任務(wù)信息，將傳輸任務(wù)的狀態(tài)修改為已解壓。
23.如權(quán)利要求22所述的方法，其特征在于，所述步驟6，具體包括: 步驟6.1、接收代理將解壓后的原始數(shù)據(jù)文件提交到目標(biāo)業(yè)務(wù)系統(tǒng)中； 步驟6.2、提交成功后，刪 除本地的接收任務(wù)信息中的當(dāng)前傳輸任務(wù)。
【文檔編號】H04L12/24GK103595559SQ201310542665
【公開日】2014年2月19日 申請日期:2013年11月5日 優(yōu)先權(quán)日:2013年11月5日
【發(fā)明者】高正 申請人:深圳市遠(yuǎn)行科技有限公司