本發(fā)明涉及數(shù)據(jù)檢索，尤其是涉及一種數(shù)據(jù)查重方法、裝置及電子設(shè)備。

背景技術(shù)：

1、現(xiàn)有的客戶關(guān)系管理系統(tǒng)往往都采用elasticsearch引擎進(jìn)行查重，在通過elasticsearch引擎進(jìn)行查重的前提是需要在新增和更新數(shù)據(jù)的同時并將數(shù)據(jù)同步到elasticsearch引擎中。但是，在同步過程中可能會存在失敗延遲等問題，這樣使得數(shù)據(jù)在某些場景下并不能進(jìn)行有效的同步，也就可能會導(dǎo)致查重結(jié)果的不準(zhǔn)確。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明的目的在于提供一種數(shù)據(jù)查重方法、裝置及電子設(shè)備，在利用數(shù)據(jù)引擎查重后增加了數(shù)據(jù)落庫前的查重，數(shù)據(jù)引擎查不到的情況下可以通過查數(shù)據(jù)庫確認(rèn)數(shù)據(jù)是否唯一，可以有效改善數(shù)據(jù)重復(fù)的問題。

2、第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)查重方法，方法應(yīng)用于數(shù)據(jù)信息管理系統(tǒng)，數(shù)據(jù)信息管理系統(tǒng)內(nèi)置有預(yù)設(shè)的數(shù)據(jù)引擎和數(shù)據(jù)庫；方法包括：獲取系統(tǒng)中的新增用戶數(shù)據(jù)，并將新增用戶數(shù)據(jù)進(jìn)行分割，識別得到不同的數(shù)據(jù)字段對應(yīng)的數(shù)據(jù)內(nèi)容；將數(shù)據(jù)內(nèi)容同步到預(yù)設(shè)的數(shù)據(jù)引擎，調(diào)用數(shù)據(jù)引擎預(yù)設(shè)的查詢語法對數(shù)據(jù)引擎中的歷史文檔進(jìn)行搜索；若在數(shù)據(jù)引擎的歷史文檔中沒有搜索到相同的數(shù)據(jù)內(nèi)容，則調(diào)用結(jié)構(gòu)化查詢語言對數(shù)據(jù)庫進(jìn)行搜索；若數(shù)據(jù)庫中沒有與數(shù)據(jù)內(nèi)容相同的數(shù)據(jù)，則將數(shù)據(jù)內(nèi)容對應(yīng)的新增用戶數(shù)據(jù)保存至數(shù)據(jù)庫中。

3、進(jìn)一步地，在獲取系統(tǒng)中的新增用戶數(shù)據(jù)之前，方法還包括：判斷系統(tǒng)是否開啟查重功能；如果是，則獲取系統(tǒng)中的新增用戶數(shù)據(jù)。

4、進(jìn)一步地，方法還包括：如果系統(tǒng)未開啟查重功能，則將新增用戶數(shù)據(jù)保存至數(shù)據(jù)庫中。

5、進(jìn)一步地，數(shù)據(jù)引擎為分布式搜索和分析引擎；調(diào)用數(shù)據(jù)引擎預(yù)設(shè)的查詢語法對數(shù)據(jù)引擎中的歷史文檔進(jìn)行搜索，包括：獲取所要搜索的數(shù)據(jù)內(nèi)容，確定數(shù)據(jù)內(nèi)容的數(shù)據(jù)類型；基于數(shù)據(jù)類型確定與數(shù)據(jù)字段對應(yīng)的查詢語法；調(diào)用查詢語法對在數(shù)據(jù)引擎中的歷史文檔進(jìn)行全局搜索。

6、進(jìn)一步地，調(diào)用查詢語法對在數(shù)據(jù)引擎中的歷史文檔進(jìn)行全局搜索方法包括：獲取歷史文檔的標(biāo)識符，其中，標(biāo)識符對應(yīng)有不同的歷史字段；基于查詢語法對標(biāo)識符與數(shù)據(jù)內(nèi)容一一比對，確定標(biāo)識符中是否存在與數(shù)據(jù)內(nèi)容相同的歷史內(nèi)容；如果是，則終止搜索，并將搜索結(jié)果輸出至數(shù)據(jù)信息管理系統(tǒng)的交互界面，以提示存在重復(fù)的數(shù)據(jù)內(nèi)容。

7、進(jìn)一步地，方法還包括：如果標(biāo)識符中不存在與數(shù)據(jù)字段相同的歷史內(nèi)容，則調(diào)用結(jié)構(gòu)化查詢語言對數(shù)據(jù)庫進(jìn)行搜索。

8、進(jìn)一步地，調(diào)用結(jié)構(gòu)化查詢語言對數(shù)據(jù)庫進(jìn)行搜索，包括：獲取所要搜索的數(shù)據(jù)內(nèi)容，確定數(shù)據(jù)內(nèi)容的數(shù)據(jù)關(guān)系；基于數(shù)據(jù)關(guān)系，搜索數(shù)據(jù)庫中數(shù)據(jù)關(guān)系下存儲的全部數(shù)據(jù)庫內(nèi)容；將數(shù)據(jù)庫內(nèi)容與數(shù)據(jù)字段一一比對，確定數(shù)據(jù)庫中是否存在與數(shù)據(jù)內(nèi)容相同的數(shù)據(jù)庫內(nèi)容。

9、第二方面本發(fā)明實施例還提供了一種數(shù)據(jù)查重裝置，裝置應(yīng)用于數(shù)據(jù)信息管理系統(tǒng)，用于實現(xiàn)上述任一項的方法，包括：獲取模塊，用于獲取系統(tǒng)中的新增用戶數(shù)據(jù)，并將新增用戶數(shù)據(jù)進(jìn)行分割，識別得到不同的數(shù)據(jù)字段；第一搜索模塊，用于將數(shù)據(jù)字段同步到預(yù)設(shè)的數(shù)據(jù)引擎，調(diào)用數(shù)據(jù)引擎預(yù)設(shè)的查詢語法對數(shù)據(jù)引擎中的歷史文檔進(jìn)行搜索；第二搜索模塊，若在數(shù)據(jù)引擎的歷史文檔中沒有搜索到相同的數(shù)據(jù)字段，則調(diào)用結(jié)構(gòu)化查詢語言對數(shù)據(jù)庫進(jìn)行搜索；存儲模塊，用于若數(shù)據(jù)庫中沒有與數(shù)據(jù)字段相同的字段，則將數(shù)據(jù)字段對應(yīng)的新增用戶數(shù)據(jù)保存至數(shù)據(jù)庫中。

10、第三方面，本發(fā)明實施例還提供了一種電子設(shè)備，包括存儲器、處理器，存儲器上存儲有可在處理器上運行的計算機程序，處理器執(zhí)行計算機程序時實現(xiàn)上述任一項的方法。

11、第四方面，本發(fā)明實施例還提供了一種計算機可讀介質(zhì)，計算機可讀介質(zhì)中存儲有程序代碼，程序代碼述處理器執(zhí)行時用于實現(xiàn)權(quán)利要求1-7任一項的方法。

12、本發(fā)明實施例帶來了以下有益效果：

13、本發(fā)明實施例提供了一種數(shù)據(jù)查重方法，該方法應(yīng)用于數(shù)據(jù)信息管理系統(tǒng)，數(shù)據(jù)信息管理系統(tǒng)內(nèi)置有預(yù)設(shè)的數(shù)據(jù)引擎和數(shù)據(jù)庫；包括：獲取系統(tǒng)中的新增用戶數(shù)據(jù)，并將新增用戶數(shù)據(jù)進(jìn)行分割，識別得到不同的數(shù)據(jù)字段對應(yīng)的數(shù)據(jù)內(nèi)容；將數(shù)據(jù)內(nèi)容同步到預(yù)設(shè)的數(shù)據(jù)引擎，調(diào)用數(shù)據(jù)引擎預(yù)設(shè)的查詢語法對數(shù)據(jù)引擎中的歷史文檔進(jìn)行搜索；若在數(shù)據(jù)引擎的歷史文檔中沒有搜索到相同的數(shù)據(jù)內(nèi)容，則調(diào)用結(jié)構(gòu)化查詢語言對數(shù)據(jù)庫進(jìn)行搜索；若數(shù)據(jù)庫中沒有與數(shù)據(jù)內(nèi)容相同的數(shù)據(jù)，則將數(shù)據(jù)內(nèi)容對應(yīng)的新增用戶數(shù)據(jù)保存至數(shù)據(jù)庫中，在利用數(shù)據(jù)引擎查重后增加了數(shù)據(jù)落庫前的查重，數(shù)據(jù)引擎查不到的情況下可以通過查數(shù)據(jù)庫確認(rèn)數(shù)據(jù)是否唯一，可以有效改善數(shù)據(jù)重復(fù)的問題。

技術(shù)特征：

1.一種數(shù)據(jù)查重方法，其特征在于，所述方法應(yīng)用于數(shù)據(jù)信息管理系統(tǒng)，所述數(shù)據(jù)信息管理系統(tǒng)內(nèi)置有預(yù)設(shè)的數(shù)據(jù)引擎和數(shù)據(jù)庫；所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述獲取系統(tǒng)中的新增用戶數(shù)據(jù)之前，所述方法還包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)引擎為分布式搜索和分析引擎；所述調(diào)用所述數(shù)據(jù)引擎預(yù)設(shè)的查詢語法對所述數(shù)據(jù)引擎中的歷史文檔進(jìn)行搜索，包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述調(diào)用所述查詢語法對在所述數(shù)據(jù)引擎中的歷史文檔進(jìn)行全局搜索方法包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述調(diào)用結(jié)構(gòu)化查詢語言對所述數(shù)據(jù)庫進(jìn)行搜索，包括：

8.一種數(shù)據(jù)查重裝置，其特征在于，所述裝置應(yīng)用于數(shù)據(jù)信息管理系統(tǒng)，用于實現(xiàn)上述權(quán)利要求1-7任一項所述的方法，包括：

9.一種電子設(shè)備，包括存儲器、處理器，所述存儲器上存儲有可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序時實現(xiàn)上述權(quán)利要求1-7任一項所述的方法。

10.一種計算機可讀介質(zhì)，其特征在于，所述計算機可讀介質(zhì)中存儲有程序代碼，所述程序代碼述處理器執(zhí)行時用于實現(xiàn)所述權(quán)利要求1-7任一項所述的方法。

技術(shù)總結(jié)
本發(fā)明實施例提供了一種數(shù)據(jù)查重方法、裝置及電子設(shè)備，該方法應(yīng)用于數(shù)據(jù)信息管理系統(tǒng)，數(shù)據(jù)信息管理系統(tǒng)內(nèi)置有預(yù)設(shè)的數(shù)據(jù)引擎和數(shù)據(jù)庫；包括：獲取系統(tǒng)中的新增用戶數(shù)據(jù)，并將新增用戶數(shù)據(jù)進(jìn)行分割，識別得到不同的數(shù)據(jù)字段對應(yīng)的數(shù)據(jù)內(nèi)容；將數(shù)據(jù)內(nèi)容同步到預(yù)設(shè)的數(shù)據(jù)引擎，調(diào)用數(shù)據(jù)引擎預(yù)設(shè)的查詢語法對數(shù)據(jù)引擎中的歷史文檔進(jìn)行搜索；若在數(shù)據(jù)引擎的歷史文檔中沒有搜索到相同的數(shù)據(jù)內(nèi)容，則調(diào)用結(jié)構(gòu)化查詢語言對數(shù)據(jù)庫進(jìn)行搜索；若數(shù)據(jù)庫中沒有與數(shù)據(jù)內(nèi)容相同的數(shù)據(jù)，則將數(shù)據(jù)內(nèi)容對應(yīng)的新增用戶數(shù)據(jù)保存至數(shù)據(jù)庫中，在利用數(shù)據(jù)引擎查重后增加了數(shù)據(jù)落庫前的查重，數(shù)據(jù)引擎查不到的情況下可以通過查數(shù)據(jù)庫確認(rèn)數(shù)據(jù)是否唯一，可以有效改善數(shù)據(jù)重復(fù)的問題。

技術(shù)研發(fā)人員：徐國榮,余珍平,曹勇
受保護(hù)的技術(shù)使用者：上海微問家信息技術(shù)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30