本發(fā)明涉及數(shù)據(jù)同步，尤其涉及一種數(shù)據(jù)同步系統(tǒng)、方法及設備。

背景技術：

1、隨著信息技術的不斷發(fā)展，各種應用系統(tǒng)和數(shù)據(jù)庫系統(tǒng)大量涌現(xiàn)，且這些系統(tǒng)和數(shù)據(jù)庫中產生并存儲了海量的數(shù)據(jù)，多設備、多系統(tǒng)及多節(jié)點之間的數(shù)據(jù)同步，互相傳輸?shù)男枨笤絹碓蕉?。同時隨著同步數(shù)據(jù)量的增加，所需同步數(shù)據(jù)面向的場景也越來越豐富，如可包括數(shù)據(jù)庫同步場景、離線數(shù)據(jù)源-離線數(shù)據(jù)源同步場景、實時數(shù)據(jù)源-離線數(shù)據(jù)源同步場景及實時數(shù)據(jù)源-實時數(shù)據(jù)源同步場景等。

2、當前市場中存在多種多樣支持數(shù)據(jù)同步的工具，但大多工具只主要支持一種場景的數(shù)據(jù)同步，且存在如部分數(shù)據(jù)同步工具僅支持離線數(shù)據(jù)源同步，支持實時數(shù)據(jù)源同步的工具對數(shù)據(jù)源的表結構有限制，在同步后存在難以保持原有表結構，在同步后難以轉變?yōu)樗柰奖淼臄?shù)據(jù)結構，在同步過程中可能出現(xiàn)數(shù)據(jù)丟失等問題。且由于不同數(shù)據(jù)源之間的數(shù)據(jù)結構和格式差異巨大，往往沒有統(tǒng)一規(guī)范，增加了不同數(shù)據(jù)源間數(shù)據(jù)同步的復雜性，使得數(shù)據(jù)同步工具在進行異構數(shù)據(jù)源間數(shù)據(jù)同步時限制較多，難以滿足當前數(shù)據(jù)同步的需求。

技術實現(xiàn)思路

1、本發(fā)明提供了一種數(shù)據(jù)同步系統(tǒng)、方法及設備，通過一個數(shù)據(jù)同步系統(tǒng)實現(xiàn)多數(shù)據(jù)同步場景下不同數(shù)據(jù)源間的數(shù)據(jù)同步，提升了數(shù)據(jù)同步的便捷性。

2、第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)同步系統(tǒng)，包括：任務生成模塊和基礎同步模塊；

3、任務生成模塊，用于接收數(shù)據(jù)同步需求，并在數(shù)據(jù)同步需求中的需求類型為基礎同步類型時，將根據(jù)數(shù)據(jù)同步需求創(chuàng)建的基礎同步任務發(fā)送至基礎同步模塊；

4、基礎同步模塊，用于根據(jù)基礎同步任務確定數(shù)據(jù)接收源和數(shù)據(jù)去向源，并將由數(shù)據(jù)接收源獲取的待同步數(shù)據(jù)進行處理后同步至數(shù)據(jù)去向源；

5、其中，數(shù)據(jù)接收源為實時數(shù)據(jù)源和/或離線數(shù)據(jù)源。

6、第二方面，本發(fā)明實施例還提供了一種數(shù)據(jù)同步方法，應用于本發(fā)明任意實施例提供的數(shù)據(jù)同步系統(tǒng)中，數(shù)據(jù)同步系統(tǒng)包括：任務生成模塊和基礎同步模塊；

7、任務生成模塊接收數(shù)據(jù)同步需求，并在數(shù)據(jù)同步需求中的需求類型為基礎同步類型時，將根據(jù)數(shù)據(jù)同步需求創(chuàng)建的基礎同步任務發(fā)送至基礎同步模塊；

8、基礎同步模塊根據(jù)基礎同步任務確定數(shù)據(jù)接收源和數(shù)據(jù)去向源，并將由數(shù)據(jù)接收源獲取的待同步數(shù)據(jù)進行處理后同步至數(shù)據(jù)去向源；

9、其中，數(shù)據(jù)接收源為實時數(shù)據(jù)源和/或離線數(shù)據(jù)源。

10、第三方面，本發(fā)明實施例還提供了一種數(shù)據(jù)同步設備，包括：

11、至少一個處理器；以及與至少一個處理器通信連接的存儲器；

12、其中，存儲器存儲有可被至少一個處理器執(zhí)行的計算機程序，計算機程序被至少一個處理器執(zhí)行，以使至少一個處理器能夠執(zhí)行本發(fā)明任一實施例提供的數(shù)據(jù)同步方法。

13、本發(fā)明實施例提供的一種數(shù)據(jù)同步系統(tǒng)、方法及設備，該數(shù)據(jù)同步系統(tǒng)包括：任務生成模塊和基礎同步模塊；任務生成模塊，用于接收數(shù)據(jù)同步需求，并在數(shù)據(jù)同步需求中的需求類型為基礎同步類型時，將根據(jù)數(shù)據(jù)同步需求創(chuàng)建的基礎同步任務發(fā)送至基礎同步模塊；基礎同步模塊，用于根據(jù)基礎同步任務確定數(shù)據(jù)接收源和數(shù)據(jù)去向源，并將由數(shù)據(jù)接收源獲取的待同步數(shù)據(jù)進行處理后同步至數(shù)據(jù)去向源；其中，數(shù)據(jù)接收源為實時數(shù)據(jù)源和/或離線數(shù)據(jù)源。通過采用上述技術方案，為實現(xiàn)不同數(shù)據(jù)同步場景下的數(shù)據(jù)同步，在所需同步的不同數(shù)據(jù)源間構建了一個作為中轉的數(shù)據(jù)同步系統(tǒng)，并在數(shù)據(jù)同步系統(tǒng)中設置獨立的用以針對所有基礎同步任務的基礎同步模塊，由于該基礎同步模塊可同時支持實時數(shù)據(jù)和離線數(shù)據(jù)作為數(shù)據(jù)來源進行數(shù)據(jù)同步，使得不同數(shù)據(jù)來源的數(shù)據(jù)可直接接入數(shù)據(jù)同步系統(tǒng)中，也即通過一個基礎同步模塊實現(xiàn)了離線數(shù)據(jù)源-離線數(shù)據(jù)源同步場景、實時數(shù)據(jù)源-離線數(shù)據(jù)源同步場景及實時數(shù)據(jù)源-實時數(shù)據(jù)源同步場景下的數(shù)據(jù)同步，提升了數(shù)據(jù)同步的便捷性。

14、應當理解，本部分所描述的內容并非旨在標識本發(fā)明的實施例的關鍵或重要特征，也不用于限制本發(fā)明的范圍。本發(fā)明的其它特征將通過以下的說明書而變得容易理解。

技術特征：

1.一種數(shù)據(jù)同步系統(tǒng)，其特征在于，包括：任務生成模塊和基礎同步模塊；

2.根據(jù)權利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述基礎同步模塊，包括：參數(shù)解析單元、數(shù)據(jù)來源單元、數(shù)據(jù)處理單元和數(shù)據(jù)去向單元；其中，所述數(shù)據(jù)來源單元中同時包括離線源接收插件和實時源接收插件；

3.根據(jù)權利要求2所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述基礎同步模塊，還包括：指標統(tǒng)計單元和安全檢測單元；

4.根據(jù)權利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述任務生成模塊，具體用于：

5.根據(jù)權利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，還包括：實時同步模塊；相應的，

6.根據(jù)權利要求5所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，所述任務生成模塊，具體用于：

7.根據(jù)權利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，還包括：實時處理模塊；相應的，

8.根據(jù)權利要求1所述的數(shù)據(jù)同步系統(tǒng)，其特征在于，還包括：網(wǎng)關模塊；相應的，

9.一種數(shù)據(jù)同步方法，其特征在于，應用于如權利要求1-8任一所述的數(shù)據(jù)同步系統(tǒng)中，所述數(shù)據(jù)同步系統(tǒng)包括：任務生成模塊和基礎同步模塊；所述方法包括：

10.一種數(shù)據(jù)同步設備，其特征在于，包括：

技術總結
本發(fā)明實施例公開了一種數(shù)據(jù)同步系統(tǒng)、方法及設備，包括：任務生成模塊，用于接收數(shù)據(jù)同步需求，并在數(shù)據(jù)同步需求中的需求類型為基礎同步類型時，將根據(jù)數(shù)據(jù)同步需求創(chuàng)建的基礎同步任務發(fā)送至基礎同步模塊；基礎同步模塊，用于根據(jù)基礎同步任務確定數(shù)據(jù)接收源和數(shù)據(jù)去向源，并將由數(shù)據(jù)接收源獲取的待同步數(shù)據(jù)進行處理后同步至數(shù)據(jù)去向源；其中，數(shù)據(jù)接收源為實時數(shù)據(jù)源和/或離線數(shù)據(jù)源。由于該基礎同步模塊可同時支持實時數(shù)據(jù)和離線數(shù)據(jù)作為數(shù)據(jù)來源進行數(shù)據(jù)同步，使得不同數(shù)據(jù)來源的數(shù)據(jù)可直接接入數(shù)據(jù)同步系統(tǒng)中，也即通過一個基礎同步模塊實現(xiàn)了離線?離線、實時?離線和實時?實時數(shù)據(jù)源同步場景下的數(shù)據(jù)同步，提升了數(shù)據(jù)同步的便捷性。

技術研發(fā)人員：朱斌,謝經(jīng)超,楊明華
受保護的技術使用者：睿視（蘇州）視頻科技有限公司
技術研發(fā)日：
技術公布日：2024/9/9