本申請涉及數(shù)據(jù)處理，尤其涉及數(shù)據(jù)質檢方法、設備、存儲介質及計算機程序產品。

背景技術：

1、數(shù)據(jù)質檢是確保數(shù)據(jù)準確性和可靠性的關鍵步驟。隨著企業(yè)數(shù)據(jù)量的不斷增長以及數(shù)據(jù)應用場景的復雜化，對數(shù)據(jù)質量的要求日益提高，目前的數(shù)據(jù)質檢方法主要基于執(zhí)行與每列待質檢數(shù)據(jù)對應質檢規(guī)則生成的各質檢任務，得到各列待質檢數(shù)據(jù)的質檢結果。但該數(shù)據(jù)質檢方法支持的規(guī)則維度單一、數(shù)據(jù)質量全貌分析不完整、數(shù)據(jù)集類型單一導致該方法并不能滿足現(xiàn)代企業(yè)的需求。

2、因此，如何在多維場景化質檢中對不同類型的數(shù)據(jù)進行質檢，得到全面且完善的質檢結果，是目前亟須解決的一個問題。

3、上述內容僅用于輔助理解本申請的技術方案，并不代表承認上述內容是現(xiàn)有技術。

技術實現(xiàn)思路

1、本申請的主要目的在于提供一種數(shù)據(jù)質檢方法、設備、存儲介質及計算機程序產品，旨在解決如何在多維場景化質檢中對不同類型的數(shù)據(jù)進行質檢，得到全面且完善的質檢結果。

2、為實現(xiàn)上述目的，本申請?zhí)岢鲆环N數(shù)據(jù)質檢方法，所述方法包括：

3、獲取待質檢數(shù)據(jù)；

4、基于預設配置規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)賬戶和數(shù)據(jù)質檢規(guī)則；

5、根據(jù)所述數(shù)據(jù)賬戶和所述數(shù)據(jù)質檢規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務；

6、將所述數(shù)據(jù)質檢任務分發(fā)至預設處理引擎進行處理，得到數(shù)據(jù)質檢結果。

7、在一實施例中，所述基于預設配置規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)賬戶和數(shù)據(jù)質檢規(guī)則的步驟之前包括：

8、根據(jù)所述待質檢數(shù)據(jù)確定數(shù)據(jù)質量特性要求和數(shù)據(jù)存儲方式；

9、基于所述數(shù)據(jù)質量特性要求和所述數(shù)據(jù)存儲方式確定配置規(guī)則。

10、在一實施例中，所述基于預設配置規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)賬戶和數(shù)據(jù)質檢規(guī)則的步驟包括：

11、根據(jù)預設配置規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)賬戶；

12、根據(jù)所述數(shù)據(jù)質量特性要求和所述數(shù)據(jù)存儲方式設計數(shù)據(jù)質檢規(guī)則類型，并將所述數(shù)據(jù)質檢規(guī)則類型進行存儲得到數(shù)據(jù)質檢規(guī)則庫；

13、基于所述預設配置規(guī)則在所述數(shù)據(jù)質檢規(guī)則庫中進行檢索，得到數(shù)據(jù)質檢規(guī)則檢索結果；

14、根據(jù)所述數(shù)據(jù)質檢規(guī)則檢索結果為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢規(guī)則。

15、在一實施例中，所述根據(jù)所述數(shù)據(jù)賬戶和所述數(shù)據(jù)質檢規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務的步驟包括：

16、判斷所述數(shù)據(jù)賬戶是否有效；

17、若是，則基于所述數(shù)據(jù)質檢規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務；

18、若否，則創(chuàng)建有效的數(shù)據(jù)賬戶，并基于所述數(shù)據(jù)質檢規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務。

19、在一實施例中，所述若是，則基于所述數(shù)據(jù)質檢規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務的步驟包括：

20、判斷所述數(shù)據(jù)質檢規(guī)則是否適用于所述數(shù)據(jù)賬戶；

21、若是，則將所述數(shù)據(jù)質檢規(guī)則與所述數(shù)據(jù)賬戶相關聯(lián)，確認質檢任務信息，并根據(jù)所述質檢任務信息為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務；

22、若否，則創(chuàng)建適用于所述數(shù)據(jù)賬戶的質檢規(guī)則，并將適用于所述數(shù)據(jù)賬戶的質檢規(guī)則與所述數(shù)據(jù)賬戶相關聯(lián)，為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務。

23、在一實施例中，所述基于預設處理引擎自動執(zhí)行所述數(shù)據(jù)質檢任務，得到數(shù)據(jù)質檢結果的步驟之前包括：

24、獲取實時數(shù)據(jù)處理框架；

25、根據(jù)所述實時數(shù)據(jù)處理框架建立解析引擎和質檢統(tǒng)計分發(fā)引擎；

26、基于所述解析引擎和所述質檢統(tǒng)計分發(fā)引擎建立質檢引擎和統(tǒng)計引擎；

27、將所述解析引擎、所述質檢統(tǒng)計分發(fā)引擎、所述質檢引擎和所述統(tǒng)計引擎進行組合得到處理引擎。

28、在一實施例中，所述將所述數(shù)據(jù)質檢任務分發(fā)至預設處理引擎進行處理，得到數(shù)據(jù)質檢結果的步驟包括：

29、將所述數(shù)據(jù)質檢任務分發(fā)至所述解析引擎，得到包含統(tǒng)一數(shù)據(jù)格式的數(shù)據(jù)質檢任務；

30、基于所述質檢統(tǒng)計分發(fā)引擎將包含統(tǒng)一數(shù)據(jù)格式的數(shù)據(jù)質檢任務分發(fā)至所述質檢引擎和所述統(tǒng)計引擎；

31、基于所述質檢引擎和所述統(tǒng)計引擎對包含統(tǒng)一數(shù)據(jù)格式的數(shù)據(jù)質檢任務進行處理，得到數(shù)據(jù)質檢結果。

32、此外，為實現(xiàn)上述目的，本申請還提出一種數(shù)據(jù)質檢設備，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現(xiàn)如上文所述的數(shù)據(jù)質檢方法的步驟。

33、此外，為實現(xiàn)上述目的，本申請還提出一種存儲介質，所述存儲介質為計算機可讀存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上文所述的數(shù)據(jù)質檢方法的步驟。

34、此外，為實現(xiàn)上述目的，本申請還提供一種計算機程序產品，所述計算機程序產品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上文所述的數(shù)據(jù)質檢方法的步驟。

35、本申請?zhí)岢龅囊粋€或多個技術方案，至少具有以下技術效果：

36、通過為待質檢數(shù)據(jù)配置數(shù)據(jù)賬戶和數(shù)據(jù)質檢規(guī)則，通過設置多維度的數(shù)據(jù)質檢規(guī)則支持更多維度的場景化質檢設置；根據(jù)數(shù)據(jù)賬戶和數(shù)據(jù)質檢規(guī)則為待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務，利用預設的處理引擎自動執(zhí)行數(shù)據(jù)質檢任務，得到數(shù)據(jù)質檢結果。處理引擎自動執(zhí)行數(shù)據(jù)質檢任務，不僅提高數(shù)據(jù)質檢效率和準確性，還能針對離線數(shù)據(jù)和流式實時數(shù)據(jù)進行質檢，增加數(shù)據(jù)的統(tǒng)計分析功能，豐富和完善質檢結果的觀測維度，實現(xiàn)在多維場景化質檢中對不同類型的數(shù)據(jù)進行質檢，得到全面且完善的質檢結果。

技術特征：

1.一種數(shù)據(jù)質檢方法，其特征在于，所述方法包括：

2.如權利要求1所述的方法，其特征在于，所述基于預設配置規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)賬戶和數(shù)據(jù)質檢規(guī)則的步驟之前還包括：

3.如權利要求2所述的方法，其特征在于，所述基于預設配置規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)賬戶和數(shù)據(jù)質檢規(guī)則的步驟包括：

4.如權利要求1所述的方法，其特征在于，所述根據(jù)所述數(shù)據(jù)賬戶和所述數(shù)據(jù)質檢規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務的步驟包括：

5.如權利要求4所述的方法，其特征在于，所述若是，則基于所述數(shù)據(jù)質檢規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務的步驟包括：

6.如權利要求1所述的方法，其特征在于，所述將所述數(shù)據(jù)質檢任務分發(fā)至預設處理引擎進行處理，得到數(shù)據(jù)質檢結果的步驟之前包括：

7.如權利要求6所述的方法，其特征在于，所述將所述數(shù)據(jù)質檢任務分發(fā)至預設處理引擎進行處理，得到數(shù)據(jù)質檢結果的步驟包括：

8.一種數(shù)據(jù)質檢設備，其特征在于，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現(xiàn)如權利要求1至7中任一項所述的數(shù)據(jù)質檢方法的步驟。

9.一種存儲介質，其特征在于，所述存儲介質為計算機可讀存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1至7中任一項所述的數(shù)據(jù)質檢方法的步驟。

10.一種計算機程序產品，其特征在于，所述計算機程序產品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1至7中任一項所述的數(shù)據(jù)質檢方法的步驟。

技術總結
本申請公開了一種數(shù)據(jù)質檢方法、設備、存儲介質及計算機程序產品，涉及數(shù)據(jù)處理技術領域，所述方法包括：獲取待質檢數(shù)據(jù)；基于預設配置規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)賬戶和數(shù)據(jù)質檢規(guī)則；根據(jù)所述數(shù)據(jù)賬戶和所述數(shù)據(jù)質檢規(guī)則為所述待質檢數(shù)據(jù)配置數(shù)據(jù)質檢任務；將所述數(shù)據(jù)質檢任務分發(fā)至預設處理引擎進行處理，得到數(shù)據(jù)質檢結果。多維度的數(shù)據(jù)質檢規(guī)則支持更多維度的場景化質檢設置，具有統(tǒng)計分析功能的處理引擎自動執(zhí)行數(shù)據(jù)質檢任務，對離線數(shù)據(jù)和流式實時數(shù)據(jù)進行質檢，實現(xiàn)在多維場景化質檢中對不同類型的數(shù)據(jù)進行質檢，得到全面且完善的質檢結果。

技術研發(fā)人員：紀克丁,鄔俊偉,戚家華,張乾
受保護的技術使用者：招商銀行股份有限公司
技術研發(fā)日：
技術公布日：2024/11/18