本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種數(shù)據(jù)融合匯聚方法、裝置及計算機可讀存儲介質(zhì)。

背景技術(shù)：

1、在當今數(shù)字化時代，大量的數(shù)據(jù)不斷被生成和積累，這些數(shù)據(jù)分散在各種不同的數(shù)據(jù)源中，如數(shù)據(jù)庫、文件系統(tǒng)、云存儲等。這些數(shù)據(jù)可能來自于不同的組織、部門或個人，且存在著多樣化的數(shù)據(jù)格式和結(jié)構(gòu)。為了更好地利用這些數(shù)據(jù)，我們需要將它們進行融合和關(guān)聯(lián)，以獲取更全面、準確的信息。

2、然而，由于數(shù)據(jù)源的異構(gòu)性和數(shù)據(jù)結(jié)構(gòu)的差異性，數(shù)據(jù)融合和關(guān)聯(lián)變得復雜而耗時。傳統(tǒng)的手動方法需要人工處理和匹配不同源的數(shù)據(jù)，這不僅費時費力，還容易出錯。因此，迫切需要一種自動化的融合技術(shù)，能夠高效、準確地實現(xiàn)數(shù)據(jù)的關(guān)聯(lián)和融合。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種數(shù)據(jù)融合匯聚方法、裝置及計算機可讀存儲介質(zhì)，能夠解決現(xiàn)有技術(shù)中的問題。

2、本發(fā)明提供了一種數(shù)據(jù)融合匯聚方法，其中，該方法包括：

3、接入多源數(shù)據(jù)，對接入的多源數(shù)據(jù)進行數(shù)據(jù)歸集，并將歸集后的數(shù)據(jù)存入原始數(shù)據(jù)庫中；

4、加載唯一索引規(guī)則庫，唯一索引規(guī)則庫中包括唯一索引規(guī)則表；

5、加載原始數(shù)據(jù)庫中的待識別數(shù)據(jù)；

6、對待識別數(shù)據(jù)進行類型分類；

7、根據(jù)唯一索引規(guī)則表對分類后的數(shù)據(jù)進行匹配識別，并在匹配的情況下生成唯一索引確認清單表；

8、根據(jù)接入的多源數(shù)據(jù)對匹配的唯一性進行驗證；

9、在驗證成功的情況下，將唯一索引確認清單表存入唯一索引規(guī)則庫并記錄每個唯一索引在唯一索引確認清單表所在位置以及每個唯一索引對應的數(shù)據(jù)內(nèi)容；

10、根據(jù)唯一索引確認清單表索引對原始數(shù)據(jù)庫中已識別的數(shù)據(jù)執(zhí)行融合操作，并將融合后的數(shù)據(jù)存儲至融合數(shù)據(jù)庫中。

11、優(yōu)選地，唯一索引規(guī)則表包括數(shù)據(jù)唯一標識和與唯一標識對應的相關(guān)信息。

12、優(yōu)選地，唯一索引確認清單表包括已識別數(shù)據(jù)類型和已識別數(shù)據(jù)來源。

13、優(yōu)選地，對待識別數(shù)據(jù)按照數(shù)據(jù)的屬性字段進行類型分類。

14、本發(fā)明還提供了一種數(shù)據(jù)融合匯聚裝置，其中，該裝置包括：

15、數(shù)據(jù)接引模塊，用于接入多源數(shù)據(jù)，對接入的多源數(shù)據(jù)進行數(shù)據(jù)歸集，并將歸集后的數(shù)據(jù)存入原始數(shù)據(jù)庫中；

16、第一加載模塊，用于加載唯一索引規(guī)則庫，唯一索引規(guī)則庫中包括唯一索引規(guī)則表；

17、第二加載模塊，用于加載原始數(shù)據(jù)庫中的待識別數(shù)據(jù)；

18、分類模塊，用于對待識別數(shù)據(jù)進行類型分類；

19、匹配識別模塊，用于根據(jù)唯一索引規(guī)則表對分類后的數(shù)據(jù)進行匹配識別，并在匹配的情況下生成唯一索引確認清單表；

20、驗證模塊，用于根據(jù)接入的多源數(shù)據(jù)對匹配的唯一性進行驗證；

21、第一存儲模塊，用于在驗證成功的情況下，將唯一索引確認清單表存入唯一索引規(guī)則庫并記錄每個唯一索引在唯一索引確認清單表所在位置以及每個唯一索引對應的數(shù)據(jù)內(nèi)容；

22、第二存儲模塊，用于根據(jù)唯一索引確認清單表索引對原始數(shù)據(jù)庫中已識別的數(shù)據(jù)執(zhí)行融合操作，并將融合后的數(shù)據(jù)存儲至融合數(shù)據(jù)庫中。

23、本發(fā)明還提供了一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)中存儲有至少一條指令，其中，所述至少一條指令由處理器加載并執(zhí)行以實現(xiàn)上述的數(shù)據(jù)融合匯聚方法。

24、通過上述技術(shù)方案，可以采用預先構(gòu)建索引唯一索引的方式進行自動關(guān)聯(lián)，彌補了傳統(tǒng)手動方法的不足，提高了數(shù)據(jù)融合和關(guān)聯(lián)的效率和準確性。本發(fā)明在數(shù)據(jù)管理、數(shù)據(jù)分析和決策支持等領(lǐng)域具有廣泛的應用前景，將為數(shù)據(jù)驅(qū)動的業(yè)務和科研活動帶來更多的便利和價值。

技術(shù)特征：

1.一種數(shù)據(jù)融合匯聚方法，其特征在于，該方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，唯一索引規(guī)則表包括數(shù)據(jù)唯一標識和與唯一標識對應的相關(guān)信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，唯一索引確認清單表包括已識別數(shù)據(jù)類型和已識別數(shù)據(jù)來源。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，對待識別數(shù)據(jù)按照數(shù)據(jù)的屬性字段進行類型分類。

5.一種數(shù)據(jù)融合匯聚裝置，其特征在于，該裝置包括：

6.一種計算機可讀存儲介質(zhì)，所述存儲介質(zhì)中存儲有至少一條指令，其特征在于，所述至少一條指令由處理器加載并執(zhí)行以實現(xiàn)如權(quán)利要求1-4任一項所述的數(shù)據(jù)融合匯聚方法。

技術(shù)總結(jié)
本發(fā)明公開一種數(shù)據(jù)融合匯聚方法、裝置及計算機可讀存儲介質(zhì)。其中，該方法包括：接入多源數(shù)據(jù)，對接入的多源數(shù)據(jù)進行數(shù)據(jù)歸集，并將歸集后的數(shù)據(jù)存入原始數(shù)據(jù)庫中；加載唯一索引規(guī)則庫；加載原始數(shù)據(jù)庫中的待識別數(shù)據(jù)；對待識別數(shù)據(jù)進行類型分類；根據(jù)唯一索引規(guī)則表對分類后的數(shù)據(jù)進行匹配識別，在匹配的情況下生成唯一索引確認清單表；根據(jù)接入的多源數(shù)據(jù)對匹配的唯一性進行驗證；在驗證成功的情況下，將唯一索引確認清單表存入唯一索引規(guī)則庫并記錄每個唯一索引在唯一索引確認清單表所在位置以及每個唯一索引對應的數(shù)據(jù)內(nèi)容；根據(jù)唯一索引確認清單表索引對原始數(shù)據(jù)庫中已識別的數(shù)據(jù)執(zhí)行融合操作，并將融合后的數(shù)據(jù)存儲至融合數(shù)據(jù)庫中。

技術(shù)研發(fā)人員：劉超,劉同林,常衢通,余金龍,佘青,徐言俊,黃鑫,王勝
受保護的技術(shù)使用者：北京機電工程研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/5/29