本技術(shù)涉及數(shù)據(jù)庫，特別是涉及一種數(shù)據(jù)集成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、隨著企業(yè)不斷發(fā)展和運(yùn)營，信息系統(tǒng)不斷增多，企業(yè)的數(shù)據(jù)會(huì)分布在各種異構(gòu)數(shù)據(jù)源中，數(shù)據(jù)共享難度非常高。因此，需要建立數(shù)據(jù)中臺(tái)實(shí)現(xiàn)數(shù)據(jù)共享，而建立數(shù)據(jù)中臺(tái)需要先進(jìn)行數(shù)據(jù)集成。由于數(shù)據(jù)集成時(shí)異構(gòu)數(shù)據(jù)源本身存在各種各樣的數(shù)據(jù)結(jié)構(gòu)，與目的端數(shù)據(jù)源會(huì)存在顯著差異，且數(shù)據(jù)集成的過程中數(shù)據(jù)模式還會(huì)動(dòng)態(tài)演變，從而如何在采集異構(gòu)數(shù)據(jù)源的數(shù)據(jù)時(shí)，同時(shí)針對動(dòng)態(tài)演變的數(shù)據(jù)模式進(jìn)行自動(dòng)化同步，降低對數(shù)據(jù)采集任務(wù)進(jìn)行維護(hù)的工作量是個(gè)很大的挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、基于此，有必要針對上述技術(shù)問題，提供一種能夠降低數(shù)據(jù)集成工作量的數(shù)據(jù)集成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。

2、第一方面，本技術(shù)提供了一種數(shù)據(jù)集成方法，包括：

3、創(chuàng)建數(shù)據(jù)集成任務(wù)，數(shù)據(jù)集成任務(wù)中包括源端與目的端各自的鏈接信息；

4、在執(zhí)行數(shù)據(jù)集成任務(wù)的過程中，按照鏈接信息從源端中進(jìn)行數(shù)據(jù)抽取，得到目標(biāo)數(shù)據(jù)；

5、調(diào)用源模式生成服務(wù)，對目標(biāo)數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到源模式數(shù)據(jù)；

6、通過自動(dòng)化轉(zhuǎn)換器，對源模式數(shù)據(jù)進(jìn)行源端到目的端的結(jié)構(gòu)映射和轉(zhuǎn)換，得到中間數(shù)據(jù)；

7、調(diào)用表模式生成服務(wù)，對中間數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到表模式數(shù)據(jù)；

8、按照鏈接信息將表模式數(shù)據(jù)寫入至目的端。

9、在其中一個(gè)實(shí)施例中，調(diào)用源模式生成服務(wù)，對目標(biāo)數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到源模式數(shù)據(jù)，包括：

10、根據(jù)目標(biāo)數(shù)據(jù)的數(shù)據(jù)源，生成源端數(shù)據(jù)模式；

11、根據(jù)源端數(shù)據(jù)模式，將目標(biāo)數(shù)據(jù)轉(zhuǎn)化為源模式數(shù)據(jù)，源模式數(shù)據(jù)包括數(shù)據(jù)內(nèi)容、數(shù)據(jù)模式和源端的元數(shù)據(jù)信息。

12、在其中一個(gè)實(shí)施例中，根據(jù)目標(biāo)數(shù)據(jù)的數(shù)據(jù)源，生成源端數(shù)據(jù)模式，包括：

13、在目標(biāo)數(shù)據(jù)的數(shù)據(jù)源為結(jié)構(gòu)化數(shù)據(jù)源的情況下，對數(shù)據(jù)源進(jìn)行模式抽取，得到數(shù)據(jù)源的數(shù)據(jù)模式，并作為源端數(shù)據(jù)模式；

14、在目標(biāo)數(shù)據(jù)的數(shù)據(jù)源為非結(jié)構(gòu)化數(shù)據(jù)源的情況下，按照數(shù)據(jù)源中的數(shù)據(jù)格式，生成源端數(shù)據(jù)模式。

15、在其中一個(gè)實(shí)施例中，通過自動(dòng)化轉(zhuǎn)換器，對源模式數(shù)據(jù)進(jìn)行源端到目的端的結(jié)構(gòu)映射和轉(zhuǎn)換，得到中間數(shù)據(jù)，包括：

16、按照數(shù)據(jù)中臺(tái)的命名規(guī)范，將源模式數(shù)據(jù)中的表名和數(shù)據(jù)字段名進(jìn)行映射和轉(zhuǎn)換；

17、按照數(shù)據(jù)中臺(tái)的數(shù)據(jù)建模規(guī)范，將源模式數(shù)據(jù)中的數(shù)據(jù)類型與數(shù)據(jù)中臺(tái)中的數(shù)據(jù)類型建立映射，并按照映射關(guān)系進(jìn)行轉(zhuǎn)換；

18、對源模式數(shù)據(jù)中的數(shù)據(jù)字段進(jìn)行增強(qiáng)，得到中間數(shù)據(jù)。

19、在其中一個(gè)實(shí)施例中，調(diào)用表模式生成服務(wù)，對中間數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到表模式數(shù)據(jù)，包括：

20、根據(jù)目的端的已有表結(jié)構(gòu)，生成目的端數(shù)據(jù)模式；

21、根據(jù)源端數(shù)據(jù)模式，將中間數(shù)據(jù)轉(zhuǎn)化為表模式數(shù)據(jù)，表模式數(shù)據(jù)包括數(shù)據(jù)內(nèi)容、數(shù)據(jù)模式和目的端的元數(shù)據(jù)信息和表結(jié)構(gòu)演進(jìn)信息。

22、在其中一個(gè)實(shí)施例中，該方法還包括：

23、通過任務(wù)執(zhí)行引擎的管理接口，對數(shù)據(jù)集成任務(wù)進(jìn)行控制。

24、第二方面，本技術(shù)還提供了一種數(shù)據(jù)集成裝置，包括：

25、創(chuàng)建模塊，用于創(chuàng)建數(shù)據(jù)集成任務(wù)，數(shù)據(jù)集成任務(wù)中包括源端與目的端各自的鏈接信息；

26、抽取模塊，用于在執(zhí)行數(shù)據(jù)集成任務(wù)的過程中，按照鏈接信息從源端中進(jìn)行數(shù)據(jù)抽取，得到目標(biāo)數(shù)據(jù)；

27、第一調(diào)用模塊，用于調(diào)用源模式生成服務(wù)，對目標(biāo)數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到源模式數(shù)據(jù)；

28、轉(zhuǎn)換模塊，用于通過自動(dòng)化轉(zhuǎn)換器，對源模式數(shù)據(jù)進(jìn)行源端到目的端的結(jié)構(gòu)映射和轉(zhuǎn)換，得到中間數(shù)據(jù)；

29、第二調(diào)用模塊，用于調(diào)用表模式生成服務(wù)，對中間數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到表模式數(shù)據(jù)；

30、寫入模塊，用于按照鏈接信息將表模式數(shù)據(jù)寫入至目的端。

31、第三方面，本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)以下步驟：

32、創(chuàng)建數(shù)據(jù)集成任務(wù)，數(shù)據(jù)集成任務(wù)中包括源端與目的端各自的鏈接信息；

33、在執(zhí)行數(shù)據(jù)集成任務(wù)的過程中，按照鏈接信息從源端中進(jìn)行數(shù)據(jù)抽取，得到目標(biāo)數(shù)據(jù)；

34、調(diào)用源模式生成服務(wù)，對目標(biāo)數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到源模式數(shù)據(jù)；

35、通過自動(dòng)化轉(zhuǎn)換器，對源模式數(shù)據(jù)進(jìn)行源端到目的端的結(jié)構(gòu)映射和轉(zhuǎn)換，得到中間數(shù)據(jù)；

36、調(diào)用表模式生成服務(wù)，對中間數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到表模式數(shù)據(jù)；

37、按照鏈接信息將表模式數(shù)據(jù)寫入至目的端。

38、第四方面，本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

39、創(chuàng)建數(shù)據(jù)集成任務(wù)，數(shù)據(jù)集成任務(wù)中包括源端與目的端各自的鏈接信息；

40、在執(zhí)行數(shù)據(jù)集成任務(wù)的過程中，按照鏈接信息從源端中進(jìn)行數(shù)據(jù)抽取，得到目標(biāo)數(shù)據(jù)；

41、調(diào)用源模式生成服務(wù)，對目標(biāo)數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到源模式數(shù)據(jù)；

42、通過自動(dòng)化轉(zhuǎn)換器，對源模式數(shù)據(jù)進(jìn)行源端到目的端的結(jié)構(gòu)映射和轉(zhuǎn)換，得到中間數(shù)據(jù)；

43、調(diào)用表模式生成服務(wù)，對中間數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到表模式數(shù)據(jù)；

44、按照鏈接信息將表模式數(shù)據(jù)寫入至目的端。

45、第五方面，本技術(shù)還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

46、創(chuàng)建數(shù)據(jù)集成任務(wù)，數(shù)據(jù)集成任務(wù)中包括源端與目的端各自的鏈接信息；

47、在執(zhí)行數(shù)據(jù)集成任務(wù)的過程中，按照鏈接信息從源端中進(jìn)行數(shù)據(jù)抽取，得到目標(biāo)數(shù)據(jù)；

48、調(diào)用源模式生成服務(wù)，對目標(biāo)數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到源模式數(shù)據(jù)；

49、通過自動(dòng)化轉(zhuǎn)換器，對源模式數(shù)據(jù)進(jìn)行源端到目的端的結(jié)構(gòu)映射和轉(zhuǎn)換，得到中間數(shù)據(jù)；

50、調(diào)用表模式生成服務(wù)，對中間數(shù)據(jù)進(jìn)行模式增強(qiáng)，得到表模式數(shù)據(jù)；

51、按照鏈接信息將表模式數(shù)據(jù)寫入至目的端。

52、上述數(shù)據(jù)集成方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，通過調(diào)用源模式生成服務(wù)和表模式生成服務(wù)，以對源端和目的端的數(shù)據(jù)進(jìn)行模式增強(qiáng)，從而為后續(xù)自動(dòng)化處理數(shù)據(jù)集成任務(wù)中數(shù)據(jù)模式的適配和演變提供了基礎(chǔ)。由此，在實(shí)現(xiàn)數(shù)據(jù)變更同步的同時(shí)，可以自動(dòng)化處理數(shù)據(jù)模式的變更，從而可以實(shí)現(xiàn)模式自動(dòng)化的數(shù)據(jù)集成。同時(shí)，因不需要進(jìn)行表和字段的映射，也不需要配置數(shù)據(jù)處理規(guī)則，表結(jié)構(gòu)的演進(jìn)也不需要修改配置文件，從而實(shí)現(xiàn)了數(shù)據(jù)集成任務(wù)的極簡化配置。另外，通過自動(dòng)化轉(zhuǎn)換器，可以基于數(shù)據(jù)中臺(tái)規(guī)范，對各種異構(gòu)數(shù)據(jù)源進(jìn)行自動(dòng)化轉(zhuǎn)換。因此，整體上可以提高數(shù)據(jù)集成任務(wù)的開發(fā)效率，降低數(shù)據(jù)集成的失敗率，并且降低維護(hù)工作量。最后，各種不同異構(gòu)數(shù)據(jù)源需要統(tǒng)一集成到統(tǒng)一數(shù)據(jù)倉庫，各種源之間的數(shù)據(jù)和模式存在顯著差異，且和目標(biāo)數(shù)據(jù)倉庫數(shù)據(jù)源的數(shù)據(jù)和模式之間也存在顯著差異，而通過源模式和表模式對數(shù)據(jù)進(jìn)行統(tǒng)一描述，可以解決異構(gòu)數(shù)據(jù)集成的通用處理難和自動(dòng)化難的問題。