本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種基于etl(extract-transform-load，抽取-轉(zhuǎn)換-加載)技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換方法及裝置。

背景技術(shù)：

目前隨著大數(shù)據(jù)時(shí)代的到來(lái)，政府、企業(yè)都通過(guò)構(gòu)建數(shù)據(jù)交換平臺(tái)，整合現(xiàn)有數(shù)據(jù)資源，目的在于為跨部門(mén)和跨單位的業(yè)務(wù)系統(tǒng)等提供數(shù)據(jù)支撐。建立統(tǒng)一的數(shù)據(jù)中心旨在打破信息孤島，滿(mǎn)足各業(yè)務(wù)部門(mén)和單位對(duì)于信息互聯(lián)互通和共享交換的需求，并且能夠?yàn)檎⑵髽I(yè)和社會(huì)提供全方位、實(shí)時(shí)的基礎(chǔ)信息服務(wù)。

但是現(xiàn)有的數(shù)據(jù)交換平臺(tái)，絕大多數(shù)實(shí)現(xiàn)技術(shù)方案都是針對(duì)單一通訊協(xié)議的，只能進(jìn)行簡(jiǎn)單的數(shù)據(jù)表到數(shù)據(jù)表的傳輸，且在實(shí)現(xiàn)過(guò)程中是不可復(fù)用的，不對(duì)數(shù)據(jù)進(jìn)行加工處理的。這就無(wú)法滿(mǎn)足用戶(hù)對(duì)于交換平臺(tái)的多樣化需求，極大降低了用戶(hù)體驗(yàn)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明實(shí)施例公開(kāi)了一種基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換方法及裝置，能夠支持多種通訊協(xié)議，實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行靈活、高效地格式轉(zhuǎn)換和處理，且所有數(shù)據(jù)處理操作都是獨(dú)立可復(fù)用的，能夠滿(mǎn)足用戶(hù)對(duì)于交換平臺(tái)的多樣化需求，提升了用戶(hù)體驗(yàn)度。

本發(fā)明實(shí)施例第一方面公開(kāi)了一種基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換方法，包括：接收用戶(hù)的攜帶數(shù)據(jù)類(lèi)型的數(shù)據(jù)交換請(qǐng)求，所述數(shù)據(jù)交換請(qǐng)求用于請(qǐng)求將源端數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理并交換到目的端，所述數(shù)據(jù)類(lèi)型包括：源端數(shù)據(jù)的第一數(shù)據(jù)類(lèi)型、目的端數(shù)據(jù)的第二數(shù)據(jù)類(lèi)型；從至少兩種通訊協(xié)議中確定出支持所述第一數(shù)據(jù)類(lèi)型的第一通訊協(xié)議，通過(guò)所述第一通訊協(xié)議連接所述源端，從所述源端獲取數(shù)據(jù)；根據(jù)所述數(shù)據(jù)交換請(qǐng)求將所述第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換為所述第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)；從至少兩種通訊協(xié)議中確定出支持所述第二數(shù)據(jù)類(lèi)型的第二通訊協(xié)議，并通過(guò)所述第二通訊協(xié)議連接所述目的端，將所述數(shù)據(jù)發(fā)送至所述目的端。

在一種可選方案中，在第一方面提供的方法中，所述方法在根據(jù)所述數(shù)據(jù)交換請(qǐng)求將所述第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換為所述第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)之前，還包括：對(duì)所述數(shù)據(jù)進(jìn)行清洗處理，所述清洗處理包括：合并字段、剪切字符串、去除重復(fù)記錄、拆分字段、排序記錄、替換空值、合并結(jié)果集。

在一種可選方案中，在第一方面提供的方法中，所述第一通訊協(xié)議包括至少兩個(gè)通訊協(xié)議，所述通過(guò)所述第一通訊協(xié)議連接所述源端包括：從所述至少兩個(gè)通訊協(xié)議中選擇一個(gè)通訊協(xié)議，并通過(guò)選擇的通訊協(xié)議連接所述源端。

在一種可選方案中，在第一方面提供的方法中，所述第一數(shù)據(jù)類(lèi)型包括：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，所述第二數(shù)據(jù)類(lèi)型包括：所述結(jié)構(gòu)化數(shù)據(jù)、所述非結(jié)構(gòu)化數(shù)據(jù)，所述根據(jù)所述數(shù)據(jù)交換請(qǐng)求將所述第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換為所述第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)具體包括：根據(jù)所述數(shù)據(jù)交換請(qǐng)求將所述結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為所述非結(jié)構(gòu)化數(shù)據(jù)；或者，根據(jù)所述數(shù)據(jù)交換請(qǐng)求將所述非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。

在一種可選方案中，在第一方面提供的方法中，將所述轉(zhuǎn)換之后的數(shù)據(jù)發(fā)布為數(shù)據(jù)服務(wù)，所述數(shù)據(jù)服務(wù)用于為本地或者外部用戶(hù)提供訪(fǎng)問(wèn)。

本發(fā)明實(shí)施例第二方面公開(kāi)了一種基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換裝置，包括：接收單元，用于接收用戶(hù)的攜帶數(shù)據(jù)類(lèi)型的數(shù)據(jù)交換請(qǐng)求，所述數(shù)據(jù)交換請(qǐng)求用于請(qǐng)求將源端數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理并交換到目的端，所述數(shù)據(jù)類(lèi)型包括：源端數(shù)據(jù)的第一數(shù)據(jù)類(lèi)型、目的端數(shù)據(jù)的第二數(shù)據(jù)類(lèi)型；數(shù)據(jù)獲取單元，用于從至少兩種通訊協(xié)議中確定出支持所述第一數(shù)據(jù)類(lèi)型的第一通訊協(xié)議，通過(guò)所述第一通訊協(xié)議連接所述源端，從所述源端獲取數(shù)據(jù)；數(shù)據(jù)轉(zhuǎn)換單元，用于根據(jù)所述接收單元中的數(shù)據(jù)交換請(qǐng)求將所述數(shù)據(jù)獲取單元中的第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換為所述第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)；發(fā)送單元，用于從至少兩種通訊協(xié)議中確定出支持所述第二數(shù)據(jù)類(lèi)型的第二通訊協(xié)議，并通過(guò)所述第二通訊協(xié)議連接所述目的端，將所述數(shù)據(jù)發(fā)送至所述目的端。

在一種可選方案中，在第一方面提供的裝置中，還包括：數(shù)據(jù)清洗單元，用于對(duì)所述數(shù)據(jù)進(jìn)行清洗處理，所述清洗處理包括：合并字段、剪切字符串、去除重復(fù)記錄、拆分字段、排序記錄、替換空值、合并結(jié)果集。

在一種可選方案中，在第一方面提供的裝置中，所述第一通訊協(xié)議包括至少兩個(gè)通訊協(xié)議，所述數(shù)據(jù)獲取單元具體包括：從所述至少兩個(gè)通訊協(xié)議中選擇一個(gè)通訊協(xié)議，并通過(guò)選擇的通訊協(xié)議連接所述源端。

在一種可選方案中，在第一方面提供的裝置中，所述第一數(shù)據(jù)類(lèi)型包括：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，所述第二數(shù)據(jù)類(lèi)型包括：所述結(jié)構(gòu)化數(shù)據(jù)、所述非結(jié)構(gòu)化數(shù)據(jù)，所述數(shù)據(jù)轉(zhuǎn)換單元具體包括：根據(jù)所述數(shù)據(jù)交換請(qǐng)求將所述結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為所述非結(jié)構(gòu)化數(shù)據(jù)；或者，根據(jù)所述數(shù)據(jù)交換請(qǐng)求將所述非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。

在一種可選方案中，在第一方面提供的裝置中，還包括：服務(wù)單元，用于將所述轉(zhuǎn)換之后的數(shù)據(jù)發(fā)布為數(shù)據(jù)服務(wù)，所述數(shù)據(jù)服務(wù)用于為本地或者外部用戶(hù)提供訪(fǎng)問(wèn)。

本發(fā)明實(shí)施例中，通過(guò)接收用戶(hù)的攜帶數(shù)據(jù)類(lèi)型的數(shù)據(jù)交換請(qǐng)求，從多種通訊協(xié)議中確定出支持第一數(shù)據(jù)類(lèi)型的第一通訊協(xié)議，通過(guò)第一通訊協(xié)議連接源端，從源端獲取數(shù)據(jù)；根據(jù)數(shù)據(jù)交換請(qǐng)求將第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換為第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)；然后，從多種通訊協(xié)議中確定出支持第二數(shù)據(jù)類(lèi)型的第二通訊協(xié)議，并通過(guò)第二通訊協(xié)議連接目的端，將數(shù)據(jù)傳輸至目的端；將轉(zhuǎn)換之后的數(shù)據(jù)發(fā)布為對(duì)外的數(shù)據(jù)服務(wù)供外部訪(fǎng)問(wèn)。可以看出，本發(fā)明實(shí)施例公開(kāi)的基于etl技術(shù)的數(shù)據(jù)交換方法，能夠支持多種通訊協(xié)議，實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行靈活、高效地格式轉(zhuǎn)換和處理，且所有數(shù)據(jù)處理操作都是獨(dú)立可復(fù)用的，能夠滿(mǎn)足用戶(hù)對(duì)于交換平臺(tái)的多樣化需求，提升了用戶(hù)體驗(yàn)度。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實(shí)施例公開(kāi)的一種基于etl技術(shù)的數(shù)據(jù)交換鏈路的示意圖；

圖2是本發(fā)明實(shí)施例公開(kāi)的另一種基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換方法的流程示意圖；

圖3是本發(fā)明實(shí)施例公開(kāi)的一種數(shù)據(jù)轉(zhuǎn)換的方法的流程示意圖；

圖4是本發(fā)明實(shí)施例公開(kāi)的一種基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明實(shí)施例公開(kāi)了一種基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換方法及裝置，能夠支持多種通訊協(xié)議，實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行靈活、高效地格式轉(zhuǎn)換和處理，且所有數(shù)據(jù)處理操作都是獨(dú)立可復(fù)用的，能夠滿(mǎn)足用戶(hù)對(duì)于交換平臺(tái)的多樣化需求，提升了用戶(hù)體驗(yàn)度。以下分別進(jìn)行詳細(xì)說(shuō)明。

請(qǐng)參閱圖1，圖1是本發(fā)明實(shí)施例公開(kāi)的一種基于etl技術(shù)的數(shù)據(jù)交換鏈路的示意圖?？蛇x的，在本發(fā)明實(shí)施例中該基于etl技術(shù)的數(shù)據(jù)傳輸鏈路可以應(yīng)用于政府、企業(yè)的數(shù)據(jù)中心或者云服務(wù)中心，實(shí)現(xiàn)數(shù)據(jù)從源端到目的端的傳輸過(guò)程。如圖1所示，該基于etl技術(shù)的數(shù)據(jù)交換鏈路包括：輸入節(jié)點(diǎn)、轉(zhuǎn)換節(jié)點(diǎn)、流程節(jié)點(diǎn)、輸出節(jié)點(diǎn)，服務(wù)節(jié)點(diǎn)。其中數(shù)據(jù)的傳輸流程是：輸入節(jié)點(diǎn)獲取數(shù)據(jù)，通過(guò)轉(zhuǎn)換節(jié)點(diǎn)、流程節(jié)點(diǎn)實(shí)現(xiàn)數(shù)據(jù)清洗轉(zhuǎn)換，然后輸出節(jié)點(diǎn)將該數(shù)據(jù)交換至目的端，服務(wù)節(jié)點(diǎn)將目的端的數(shù)據(jù)發(fā)布為數(shù)據(jù)服務(wù)。

其中輸入節(jié)點(diǎn)用于從源端獲取數(shù)據(jù)，該數(shù)據(jù)可以是數(shù)據(jù)庫(kù)表等結(jié)構(gòu)化數(shù)據(jù)，也可以是文本文件或二進(jìn)制文件類(lèi)的非結(jié)構(gòu)化數(shù)據(jù)。其中源端即可以是外部服務(wù)器或者終端,也可以是本地的數(shù)據(jù)庫(kù)或者其他存儲(chǔ)器。可選的，針對(duì)結(jié)構(gòu)化數(shù)據(jù)，本發(fā)明實(shí)施例可以使用tcp/ip、socket、http協(xié)議連接源端的數(shù)據(jù)庫(kù)獲取數(shù)據(jù)；對(duì)于非結(jié)構(gòu)化數(shù)據(jù)，本發(fā)明實(shí)施例可以使用ftp、socket、http協(xié)議去連接源端，獲取數(shù)據(jù)流。其中各個(gè)數(shù)據(jù)類(lèi)型對(duì)應(yīng)能夠支持該數(shù)據(jù)類(lèi)型進(jìn)行傳輸?shù)囊粋€(gè)或者多個(gè)通訊協(xié)議。輸入節(jié)點(diǎn)可以將獲取的數(shù)據(jù)直接傳遞給輸出節(jié)點(diǎn)或者轉(zhuǎn)換節(jié)點(diǎn)。

轉(zhuǎn)換節(jié)點(diǎn)，用于輸入節(jié)點(diǎn)傳送的數(shù)據(jù)進(jìn)行處理，如圖4中處理流程1、處理流程2、處理流程3和處理流程4，其中處理流程主要包括：合并字段、剪切字符、去除重復(fù)記錄、排序記錄、替換空null值、合并結(jié)果集，能夠?qū)崿F(xiàn)根據(jù)用戶(hù)需求對(duì)數(shù)據(jù)進(jìn)行清洗或者類(lèi)型轉(zhuǎn)換。

輸出節(jié)點(diǎn)，用于對(duì)輸入節(jié)點(diǎn)或轉(zhuǎn)換節(jié)點(diǎn)傳送的數(shù)據(jù)，確定使用tcp/ip、socket、http、ftp等協(xié)議之一，將數(shù)據(jù)交換到目的端。其中目的端可以是外部終端或者服務(wù)器，也可以是本地的另一個(gè)目標(biāo)數(shù)據(jù)庫(kù)或者存儲(chǔ)地址等，此處不做具體限定。

流程節(jié)點(diǎn)，用于連接至少兩個(gè)以上交換流程，流程節(jié)點(diǎn)可以與轉(zhuǎn)換節(jié)點(diǎn)相結(jié)合。如圖4中通過(guò)流程節(jié)點(diǎn)連接處理流程1和處理流程2。

服務(wù)節(jié)點(diǎn)，用于將目的端的數(shù)據(jù)對(duì)外發(fā)布為服務(wù)，具體可以使用ftp、socket、http、ws協(xié)議等發(fā)布為對(duì)外的服務(wù)供外部訪(fǎng)問(wèn)，也可以發(fā)布為本地服務(wù)。

在圖1中，該數(shù)據(jù)鏈路是基于etl技術(shù)的，etl用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取(extract)、轉(zhuǎn)換(transform)、加載(load)至目的端的過(guò)程，其中輸入節(jié)點(diǎn)用于抽取數(shù)據(jù)，轉(zhuǎn)換節(jié)點(diǎn)可結(jié)合流程節(jié)點(diǎn)用于數(shù)據(jù)轉(zhuǎn)換，輸出節(jié)點(diǎn)用于將轉(zhuǎn)換之后的數(shù)據(jù)加載至目的端。

請(qǐng)參閱圖2，圖2是本發(fā)明實(shí)施例公開(kāi)的一種基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換方法的流程示意圖。如圖2所示，該基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換方法可以包括以下步驟：

s201、接收用戶(hù)的攜帶數(shù)據(jù)類(lèi)型的數(shù)據(jù)交換請(qǐng)求。

可選的，上述步驟s201中數(shù)據(jù)交換請(qǐng)求用于請(qǐng)求將源端數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理并交換到目的端，可以具體用于請(qǐng)求將源端數(shù)據(jù)的第一數(shù)據(jù)類(lèi)型轉(zhuǎn)換為第二數(shù)據(jù)類(lèi)型，在轉(zhuǎn)換過(guò)程中可以進(jìn)行數(shù)據(jù)清洗處理；該數(shù)據(jù)交換請(qǐng)求還可以只用于請(qǐng)求將數(shù)據(jù)進(jìn)行清洗處理，并不進(jìn)行數(shù)據(jù)類(lèi)型轉(zhuǎn)換。該數(shù)據(jù)交換請(qǐng)求具體是根據(jù)用戶(hù)需求確定。例如：請(qǐng)求將源端的數(shù)據(jù)表數(shù)據(jù)轉(zhuǎn)換為文本文件數(shù)據(jù)，并傳送至目的端。

需要說(shuō)明的是，源端和目的端不受限于單向數(shù)據(jù)傳輸關(guān)系，此處只是為了便于對(duì)數(shù)據(jù)交換的流程進(jìn)行說(shuō)明，將數(shù)據(jù)來(lái)源端命名為“源端”，將數(shù)據(jù)交換的目標(biāo)端命名為“目的端”。在可允許的情況下，源端可以目的端，目的端可以是源端。

需要說(shuō)明的是，第一數(shù)據(jù)類(lèi)型可以是結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)或者其他數(shù)據(jù)類(lèi)型中的任意一種；第二數(shù)據(jù)類(lèi)型是結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)或者其他數(shù)據(jù)類(lèi)型中與第一數(shù)據(jù)類(lèi)型不相同的任意一種。在雖然在本發(fā)明實(shí)施例中，可能使用了術(shù)語(yǔ)“第一”、“第二”和“第三”等等來(lái)描述各個(gè)數(shù)據(jù)類(lèi)型，但是這些數(shù)據(jù)類(lèi)型不應(yīng)當(dāng)受這些術(shù)語(yǔ)限制，使用這些術(shù)語(yǔ)僅僅是為了只是為了將一個(gè)數(shù)據(jù)類(lèi)型與另一個(gè)數(shù)據(jù)類(lèi)型進(jìn)行區(qū)分。舉例來(lái)說(shuō)，在不背離示例性實(shí)施例的范圍的情況下，第一數(shù)據(jù)類(lèi)型可以是目的端的數(shù)據(jù)類(lèi)型，同時(shí)第二數(shù)據(jù)類(lèi)型也可以是源端的數(shù)據(jù)類(lèi)型。另外，第一數(shù)據(jù)類(lèi)型與第二數(shù)據(jù)類(lèi)型可以分別包含多個(gè)類(lèi)型對(duì)象，“第一”和“第二”不做具體數(shù)量的限定。

可選的，數(shù)據(jù)類(lèi)型包括：源端數(shù)據(jù)的第一數(shù)據(jù)類(lèi)型、目的端數(shù)據(jù)的第二數(shù)據(jù)類(lèi)型，其中第一數(shù)據(jù)類(lèi)型是源端數(shù)據(jù)的至少一種數(shù)據(jù)類(lèi)型中的任意一種，第二數(shù)據(jù)類(lèi)型是目的端數(shù)據(jù)的至少一種數(shù)據(jù)類(lèi)型中的任意一種。

s202、從至少兩種通訊協(xié)議中確定出支持第一數(shù)據(jù)類(lèi)型的第一通訊協(xié)議，通過(guò)第一通訊協(xié)議連接源端，從源端獲取數(shù)據(jù)。

可選的，各個(gè)數(shù)據(jù)類(lèi)型對(duì)應(yīng)支持?jǐn)?shù)據(jù)傳輸?shù)囊粋€(gè)或者多個(gè)通訊協(xié)議，在本發(fā)明實(shí)施例的方法中可以支持多個(gè)通訊協(xié)議，所以本發(fā)明實(shí)施例從至少兩種通訊協(xié)議中確定出支持第一數(shù)據(jù)類(lèi)型的第一通訊協(xié)議，通過(guò)第一通訊協(xié)議連接源端，從源端獲取數(shù)據(jù)。例如：針對(duì)結(jié)構(gòu)化數(shù)據(jù)，可以使用tcp/ip、socket、http協(xié)議任意一種連接源端的數(shù)據(jù)庫(kù)獲取數(shù)據(jù)；針對(duì)非結(jié)構(gòu)化數(shù)據(jù)，可以使用ftp、socket、http協(xié)議任意一種去連接源端，獲取數(shù)據(jù)流。

作為一種可選的實(shí)施方式，該第一通訊協(xié)議包括至少兩個(gè)通訊協(xié)議，則上述通過(guò)第一通訊協(xié)議連接源端包括：從該至少兩個(gè)通訊協(xié)議中選擇一個(gè)通訊協(xié)議，并通過(guò)選擇的通訊協(xié)議連接所述源端。其原理是本申請(qǐng)中基于etl技術(shù)的數(shù)據(jù)交換方法，是能夠支持多通訊協(xié)議的，一種數(shù)據(jù)類(lèi)型可以通過(guò)一種或者多種通訊協(xié)議進(jìn)行數(shù)據(jù)交換，多通訊協(xié)議具有傳輸靈活、穩(wěn)定性高的優(yōu)點(diǎn)。若是多種通訊協(xié)議則需要從中選擇一種實(shí)現(xiàn)單次的任務(wù)，其中具體選擇通訊協(xié)議的原則，可以根據(jù)應(yīng)用場(chǎng)景如數(shù)據(jù)交換中心或者云服務(wù)中心的具體配置來(lái)確定，也可以根據(jù)用戶(hù)需求或者其他方式來(lái)確定。

s203、根據(jù)數(shù)據(jù)交換請(qǐng)求將第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換為第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)。

作為一種可選的實(shí)施方式，該第一數(shù)據(jù)類(lèi)型包括：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，第二數(shù)據(jù)類(lèi)型包括：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，上述根據(jù)數(shù)據(jù)交換請(qǐng)求將第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換為第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)具體包括：

根據(jù)該數(shù)據(jù)交換請(qǐng)求將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為非結(jié)構(gòu)化數(shù)據(jù)；或者，根據(jù)該數(shù)據(jù)交換請(qǐng)求將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。其具體實(shí)現(xiàn)方式可以參考圖3至圖4中所描述的數(shù)據(jù)交換方法。

作為一種可選的實(shí)施方式，上述方法在根據(jù)數(shù)據(jù)交換請(qǐng)求將第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換為第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)之前，還包括：

對(duì)數(shù)據(jù)進(jìn)行清洗處理，該清洗處理包括：合并字段、剪切字符串、去除重復(fù)記錄、拆分字段、排序記錄、替換空值、合并結(jié)果集。需要說(shuō)明的是，所有的處理操作都是獨(dú)立可復(fù)用。其具體實(shí)現(xiàn)方式可以參考圖3中所描述的數(shù)據(jù)清洗的處理方法。

s204、從至少兩種通訊協(xié)議中確定出支持第二數(shù)據(jù)類(lèi)型的第二通訊協(xié)議，并通過(guò)第二通訊協(xié)議連接目的端，將數(shù)據(jù)傳輸至目的端。

可選的，各個(gè)數(shù)據(jù)類(lèi)型對(duì)應(yīng)支持?jǐn)?shù)據(jù)傳輸?shù)囊粋€(gè)或者多個(gè)通訊協(xié)議，在本發(fā)明實(shí)施例的方法中可以支持多個(gè)通訊協(xié)議，所以本發(fā)明實(shí)施例根據(jù)第二數(shù)據(jù)類(lèi)型，從至少兩種通訊協(xié)議中確定出支持第二數(shù)據(jù)類(lèi)型的第一通訊協(xié)議，通過(guò)第一通訊協(xié)議連接源端，從源端獲取數(shù)據(jù)。

作為一種可選的實(shí)施方式，該第二通訊協(xié)議包括至少兩個(gè)通訊協(xié)議，則上述通過(guò)第二通訊協(xié)議連接目的端包括：從該至少兩個(gè)通訊協(xié)議中選擇一個(gè)通訊協(xié)議，并通過(guò)選擇的通訊協(xié)議連接所述源端。

s205、將所述轉(zhuǎn)換之后的數(shù)據(jù)發(fā)布為數(shù)據(jù)服務(wù)，所述數(shù)據(jù)服務(wù)用于為本地或者外部用戶(hù)提供訪(fǎng)問(wèn)。

作為一種可選的實(shí)施方式，當(dāng)該種基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換方法應(yīng)用與企業(yè)、政府的數(shù)據(jù)中心時(shí)，所述方法在將數(shù)據(jù)傳輸至目的端之后，還包括：將轉(zhuǎn)換之后的數(shù)據(jù)發(fā)布為數(shù)據(jù)服務(wù)，該數(shù)據(jù)服務(wù)用于提供訪(fǎng)問(wèn)，具體實(shí)現(xiàn)方式可以是：通過(guò)服務(wù)節(jié)點(diǎn)使用ftp、socket、http、ws協(xié)議等，將轉(zhuǎn)換之后的數(shù)據(jù)發(fā)布為對(duì)外的服務(wù)供外部訪(fǎng)問(wèn)，也可以發(fā)布為本地服務(wù)。本發(fā)明實(shí)施例能夠?qū)崿F(xiàn)各業(yè)務(wù)部門(mén)和單位的信息互聯(lián)互通和共享交換數(shù)據(jù)的功能，通過(guò)提供數(shù)據(jù)服務(wù)，用戶(hù)就能夠利用數(shù)據(jù)中心的網(wǎng)站鏈接、軟件應(yīng)用平臺(tái)或者其他應(yīng)用方式，訪(fǎng)問(wèn)數(shù)據(jù)中心的數(shù)據(jù)。

在圖2所描述的方法中，通過(guò)接收用戶(hù)的攜帶數(shù)據(jù)類(lèi)型的數(shù)據(jù)交換請(qǐng)求，從多種通訊協(xié)議中確定出支持第一數(shù)據(jù)類(lèi)型的第一通訊協(xié)議，通過(guò)第一通訊協(xié)議連接源端，從源端獲取數(shù)據(jù)；根據(jù)數(shù)據(jù)交換請(qǐng)求將第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換為第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)；然后，從多種通訊協(xié)議中確定出支持第二數(shù)據(jù)類(lèi)型的第二通訊協(xié)議，并通過(guò)第二通訊協(xié)議連接目的端，將數(shù)據(jù)傳輸至目的端；將轉(zhuǎn)換之后的數(shù)據(jù)發(fā)布為對(duì)外的數(shù)據(jù)服務(wù)供外部訪(fǎng)問(wèn)?？梢钥闯?，本發(fā)明實(shí)施例公開(kāi)的基于etl技術(shù)的數(shù)據(jù)交換方法，能夠支持多種通訊協(xié)議，實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行靈活、高效地格式轉(zhuǎn)換和處理，且所有數(shù)據(jù)處理操作都是獨(dú)立可復(fù)用的，能夠滿(mǎn)足用戶(hù)對(duì)于交換平臺(tái)的多樣化需求，提升了用戶(hù)體驗(yàn)度。

請(qǐng)參閱圖3，圖3是本發(fā)明實(shí)施例公開(kāi)的一種數(shù)據(jù)轉(zhuǎn)換的方法，該數(shù)據(jù)轉(zhuǎn)換方法能夠通過(guò)圖1中的轉(zhuǎn)換節(jié)點(diǎn)進(jìn)行實(shí)現(xiàn)，能夠進(jìn)行第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)至第二數(shù)據(jù)類(lèi)型的轉(zhuǎn)換，該方法具體包括但不僅限于以下步驟：

s301、第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)輸入，具體可以結(jié)構(gòu)化數(shù)據(jù)輸入。

上述步驟s301中第一數(shù)據(jù)類(lèi)型可以是結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)或者其他數(shù)據(jù)類(lèi)型中的任意一種。

s302、合并字段，將輸入的數(shù)據(jù)表的數(shù)據(jù)字段進(jìn)行合并。

s303、剪切字符串，剪切掉不需要的字符串。

s304、去除重復(fù)記錄，去除重復(fù)的記錄。

s305、拆分字段，將生成的字段按照規(guī)則進(jìn)行拆分。

s306、排序記錄，將拆分的字段進(jìn)行排序、記錄。

s307、替換空(null)值，替換掉字符串中的null值。

s308、合并結(jié)果集，將結(jié)果集合并。

s309、第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)輸出，具體可以是非結(jié)構(gòu)化數(shù)據(jù)輸出，如：文本文件數(shù)據(jù)。

上述步驟s309中第二數(shù)據(jù)類(lèi)型可以是結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)或者其他數(shù)據(jù)類(lèi)型中與第一數(shù)據(jù)類(lèi)型不相同的任意一種。

需要說(shuō)明的是，上述步驟s302至s308沒(méi)有特定的前后順序之分，在實(shí)際應(yīng)用場(chǎng)景中，可以根據(jù)用戶(hù)需求只進(jìn)行其中一個(gè)或者多個(gè)步驟。

需要說(shuō)明的是，本發(fā)明實(shí)施例以實(shí)現(xiàn)第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)至第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)的轉(zhuǎn)換進(jìn)行數(shù)據(jù)轉(zhuǎn)換的示范性說(shuō)明，在實(shí)際應(yīng)用中，該方法也可以根據(jù)用戶(hù)需求在數(shù)據(jù)輸入之后，實(shí)現(xiàn)步驟s302至s308，然后s309直接輸出處理之后的第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)，即只進(jìn)行數(shù)據(jù)清洗而不進(jìn)行數(shù)據(jù)類(lèi)型轉(zhuǎn)換。

需要說(shuō)明的是，該方法還可以實(shí)現(xiàn)多個(gè)并行的數(shù)據(jù)轉(zhuǎn)換任務(wù)，且可以通過(guò)流程節(jié)點(diǎn)連接至少兩個(gè)以上的數(shù)據(jù)交換過(guò)程，具體應(yīng)用場(chǎng)景可以由用戶(hù)需求確定，此處不做具體限定。

可以看出，在圖3所描述的方法，能夠?qū)崿F(xiàn)數(shù)據(jù)從第一數(shù)據(jù)類(lèi)型至第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換，滿(mǎn)足用戶(hù)的多樣化的數(shù)據(jù)需求，且能夠?qū)崿F(xiàn)在轉(zhuǎn)換過(guò)程中先進(jìn)行數(shù)據(jù)清洗，過(guò)濾無(wú)用的數(shù)據(jù)，從而保證數(shù)據(jù)的有效性，提高了數(shù)據(jù)交換的速度。

請(qǐng)參閱圖4，圖4是本發(fā)明實(shí)施例公開(kāi)的一種基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換裝置，該裝置400用于實(shí)現(xiàn)圖2或者圖3中的部分或者全部的方法步驟，該裝置400包括但不僅限于以下部分：

接收單元401，用于接收用戶(hù)的攜帶數(shù)據(jù)類(lèi)型的數(shù)據(jù)交換請(qǐng)求，該數(shù)據(jù)交換請(qǐng)求用于請(qǐng)求將源端數(shù)據(jù)進(jìn)行轉(zhuǎn)換處理并交換到目的端，數(shù)據(jù)類(lèi)型包括：源端數(shù)據(jù)的第一數(shù)據(jù)類(lèi)型、目的端數(shù)據(jù)的第二數(shù)據(jù)類(lèi)型。

數(shù)據(jù)獲取單元402，用于從至少兩種通訊協(xié)議中確定出支持第一數(shù)據(jù)類(lèi)型的第一通訊協(xié)議，通過(guò)第一通訊協(xié)議連接源端，從源端獲取數(shù)據(jù)。

數(shù)據(jù)轉(zhuǎn)換單元403，用于根據(jù)接收單元中的數(shù)據(jù)交換請(qǐng)求將數(shù)據(jù)獲取單元中的第一數(shù)據(jù)類(lèi)型的數(shù)據(jù)轉(zhuǎn)換為第二數(shù)據(jù)類(lèi)型的數(shù)據(jù)。

發(fā)送單元404，用于從至少兩種通訊協(xié)議中確定出支持第二數(shù)據(jù)類(lèi)型的第二通訊協(xié)議，并通過(guò)第二通訊協(xié)議連接目的端，將數(shù)據(jù)發(fā)送至目的端。

可選的，上述裝置還包括：

數(shù)據(jù)清洗單元405，用于對(duì)數(shù)據(jù)進(jìn)行清洗處理，該清洗處理包括：合并字段、剪切字符串、去除重復(fù)記錄、拆分字段、排序記錄、替換空值、合并結(jié)果集。

可選的，第一通訊協(xié)議包括至少兩個(gè)通訊協(xié)議，上述數(shù)據(jù)獲取單元402具體包括：從該至少兩個(gè)通訊協(xié)議中選擇一個(gè)通訊協(xié)議，并通過(guò)選擇的通訊協(xié)議連接源端。

可選的，上述第一數(shù)據(jù)類(lèi)型包括：結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，上述第二數(shù)據(jù)類(lèi)型包括：所述結(jié)構(gòu)化數(shù)據(jù)、所述非結(jié)構(gòu)化數(shù)據(jù)，上述數(shù)據(jù)轉(zhuǎn)換單元403具體包括：

根據(jù)數(shù)據(jù)交換請(qǐng)求將結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為所述非結(jié)構(gòu)化數(shù)據(jù)；或者，根據(jù)所數(shù)據(jù)交換請(qǐng)求將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)。

可選的，上述裝置還包括：

服務(wù)單元406，用于將所述轉(zhuǎn)換之后的數(shù)據(jù)發(fā)布為數(shù)據(jù)服務(wù)，所述數(shù)據(jù)服務(wù)用于為本地或者外部用戶(hù)提供訪(fǎng)問(wèn)。

具體地，本發(fā)明實(shí)施例中介紹的裝置可以實(shí)施本發(fā)明結(jié)合圖1、圖2或圖3介紹的一種基于etl技術(shù)協(xié)同的數(shù)據(jù)交換方法實(shí)施例中的部分或全部流程。

本發(fā)明所有實(shí)施例中的模塊或子模塊，可以通過(guò)通用集成電路，例如cpu，或通過(guò)asic(applicationspecificintegratedcircuit，專(zhuān)用集成電路)來(lái)實(shí)現(xiàn)。

需要說(shuō)明的是，對(duì)于前述的各個(gè)方法實(shí)施例，為了簡(jiǎn)單描述，故將其都表述為一系列的動(dòng)作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本發(fā)明并不受所描述的動(dòng)作順序的限制，因?yàn)橐罁?jù)本申請(qǐng)，某一些步驟可以采用其他順序或者同時(shí)進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說(shuō)明書(shū)中所描述的實(shí)施例均屬于優(yōu)選實(shí)施例，所涉及的動(dòng)作和模塊并不一定是本申請(qǐng)所必須的。

在上述實(shí)施例中，對(duì)各個(gè)實(shí)施例的描述都各有側(cè)重，某個(gè)實(shí)施例中沒(méi)有詳細(xì)描述的部分，可以參見(jiàn)其他實(shí)施例的相關(guān)描述。

本發(fā)明實(shí)施例方法中的步驟可以根據(jù)實(shí)際需要進(jìn)行順序調(diào)整、合并和刪減。

本發(fā)明實(shí)施例用戶(hù)終端中的單元可以根據(jù)實(shí)際需要進(jìn)行合并、劃分和刪減。

本領(lǐng)域普通技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施例方法中的全部或部分流程，是可以通過(guò)計(jì)算機(jī)程序來(lái)指令相關(guān)的硬件來(lái)完成，所述的程序可存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中，該程序在執(zhí)行時(shí)，可包括如上述各方法的實(shí)施例的流程。其中，所述的存儲(chǔ)介質(zhì)可為磁碟、光盤(pán)、只讀存儲(chǔ)記憶體(read-onlymemory，rom)或隨機(jī)存取存儲(chǔ)器(randomaccessmemory，簡(jiǎn)稱(chēng)ram)等。

以上對(duì)本發(fā)明實(shí)施例公開(kāi)的一種基于etl技術(shù)協(xié)同多通訊協(xié)議的數(shù)據(jù)交換方法及裝置進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說(shuō)明只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實(shí)施方式及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說(shuō)明書(shū)內(nèi)容不應(yīng)理解為對(duì)本發(fā)明的限制。