本發(fā)明涉及數(shù)據(jù)安全，特別涉及一種數(shù)據(jù)實時脫敏系統(tǒng)。

背景技術(shù)：

1、在前，大數(shù)據(jù)和云計算技術(shù)的飛速發(fā)展極大地推動了社會的進步。然而，隨之而來的數(shù)據(jù)安全問題也日益成為人們關(guān)注的焦點。尤其是敏感數(shù)據(jù)，如個人隱私信息，在傳輸過程中若未經(jīng)妥善處理，極易遭受泄露風(fēng)險。這種風(fēng)險不僅可能導(dǎo)致個人隱私的泄露，還可能引發(fā)一系列嚴(yán)重的社會問題。

2、傳統(tǒng)的靜態(tài)數(shù)據(jù)脫敏方法雖然在一定程度上可以保護數(shù)據(jù)的安全，但在面對實時數(shù)據(jù)流的處理需求時，卻顯得力不從心。這是因為傳統(tǒng)的脫敏方法往往只能在數(shù)據(jù)靜止的狀態(tài)下進行處理，而無法對實時流動的數(shù)據(jù)進行有效的脫敏。這無疑增加了數(shù)據(jù)在傳輸過程中的風(fēng)險。

3、尤其是在多源異構(gòu)數(shù)據(jù)環(huán)境中，如何高效、準(zhǔn)確地對敏感數(shù)據(jù)進行實時脫敏處理，成為了亟待解決的技術(shù)難題。多源異構(gòu)數(shù)據(jù)環(huán)境意味著數(shù)據(jù)的格式、結(jié)構(gòu)、來源都可能不同，這就對數(shù)據(jù)脫敏技術(shù)提出了更高的要求。它需要能夠在各種復(fù)雜的數(shù)據(jù)環(huán)境中，快速、準(zhǔn)確地識別出敏感數(shù)據(jù)，并進行有效的脫敏處理。

4、為了適應(yīng)大數(shù)據(jù)和云計算時代的數(shù)據(jù)處理需求，解決多源異構(gòu)數(shù)據(jù)環(huán)境下實時數(shù)據(jù)流中敏感信息的動態(tài)脫敏處理問題，確保數(shù)據(jù)傳輸過程中的安全性與合規(guī)性，本發(fā)明提出了一種數(shù)據(jù)實時脫敏系統(tǒng)。

技術(shù)實現(xiàn)思路

1、本發(fā)明為了彌補現(xiàn)有技術(shù)的缺陷，提供了一種簡單高效的數(shù)據(jù)實時脫敏系統(tǒng)。

2、本發(fā)明是通過如下技術(shù)方案實現(xiàn)的：

3、一種數(shù)據(jù)實時脫敏系統(tǒng)，采用java?web技術(shù)棧，基于springboot框架進行項目開發(fā)；包括數(shù)據(jù)脫敏模組，任務(wù)調(diào)度模組，數(shù)據(jù)傳輸模組和日志監(jiān)測模組；

4、所述任務(wù)調(diào)度模組基于xxl-job組件，負(fù)責(zé)創(chuàng)建實時脫敏任務(wù)至任務(wù)注冊中心，提供任務(wù)調(diào)度與執(zhí)行功能，并設(shè)置定時周期啟動，通過定時任務(wù)調(diào)用數(shù)據(jù)傳輸模組；

5、所述數(shù)據(jù)脫敏模組負(fù)責(zé)根據(jù)實時脫敏任務(wù)中配置的算法類型，使用脫敏算法模型對原始數(shù)據(jù)進行脫敏處理；

6、所述數(shù)據(jù)傳輸模組基于datax組件，負(fù)責(zé)在實時脫敏任務(wù)啟動后，根據(jù)實時脫敏任務(wù)中配置的源端數(shù)據(jù)庫信息，使用閱讀器reader工具抽取原始數(shù)據(jù)，并將抽取的原始數(shù)據(jù)發(fā)送給數(shù)據(jù)脫敏模組；調(diào)用數(shù)據(jù)脫敏模組對原始數(shù)據(jù)進行脫敏后，將脫敏數(shù)據(jù)寫入目標(biāo)端數(shù)據(jù)庫中，實現(xiàn)實時的數(shù)據(jù)脫敏處理；

7、所述日志監(jiān)測模組負(fù)責(zé)利用apisix網(wǎng)關(guān)對實時脫敏任務(wù)從創(chuàng)建到完成的全生命周期進行實時監(jiān)控和記錄，以確保每一個環(huán)節(jié)都能得到精確的追蹤和管理。

8、所述數(shù)據(jù)脫敏模組提供應(yīng)用接口api或sdk工具包，基于sm2加密算法與sm4加密算法在數(shù)據(jù)傳輸過程中對敏感信息進行遮掩、轉(zhuǎn)換或加密。

9、所述數(shù)據(jù)脫敏模組根據(jù)實時脫敏任務(wù)中配置的算法類型選擇脫敏算法模型：

10、若實時脫敏任務(wù)中的原始數(shù)據(jù)為證件號碼或手機號，脫敏算法模型采用自定義的字符替換技術(shù)，將自定義的部分?jǐn)?shù)字進行遮蔽，同時自定義保留必要的信息以供系統(tǒng)內(nèi)部識別使用；

11、若實時脫敏任務(wù)中的原始數(shù)據(jù)為地址信息，脫敏算法模型通過地理編碼轉(zhuǎn)換，將區(qū)域信息轉(zhuǎn)換為地理區(qū)域標(biāo)識，將具體的街道與門牌號信息進行遮蔽；

12、若實時脫敏任務(wù)中的原始數(shù)據(jù)為涉密數(shù)據(jù)，脫敏算法模型運用aes(高級加密標(biāo)準(zhǔn))或rsa非對稱加密技術(shù)對涉密數(shù)據(jù)進行加密，以確保數(shù)據(jù)在傳輸過程中的安全性。

13、所述任務(wù)調(diào)度模組部署任務(wù)注冊中心，并配置任務(wù)執(zhí)行器，任務(wù)執(zhí)行器實時向任務(wù)注冊中心發(fā)送注冊請求，保證脫敏任務(wù)的實時處理；

14、創(chuàng)建實時脫敏任務(wù)時，設(shè)置任務(wù)的執(zhí)行周期和任務(wù)參數(shù)并啟動；定義定時任務(wù)時，添加@xxljob注解，完成實時脫敏任務(wù)注冊；實時脫敏任務(wù)將根據(jù)設(shè)置好的定時任務(wù)時間參數(shù)周期性執(zhí)行任務(wù)。

15、所述數(shù)據(jù)傳輸模組基于datax組件，實現(xiàn)閱讀器reader和寫入器writer的精準(zhǔn)對接開發(fā)，以確保數(shù)據(jù)的流暢傳輸；

16、將脫敏后的數(shù)據(jù)輸入到框架framework，根據(jù)目標(biāo)端數(shù)據(jù)庫類型完成數(shù)據(jù)的格式轉(zhuǎn)換；將轉(zhuǎn)換后的數(shù)據(jù)輸出至寫入器writer中，寫入器writer根據(jù)任務(wù)中配置的目標(biāo)端數(shù)據(jù)庫信息，將脫敏數(shù)據(jù)寫入目標(biāo)端數(shù)據(jù)庫。

17、所述源端數(shù)據(jù)庫與目標(biāo)端數(shù)據(jù)庫支持文件數(shù)據(jù)源、關(guān)系數(shù)據(jù)庫和大數(shù)據(jù)存儲組件，所述關(guān)系數(shù)據(jù)庫包括但不限于mysql數(shù)據(jù)庫、oracle數(shù)據(jù)庫與sqlserver數(shù)據(jù)庫；

18、大數(shù)據(jù)存儲組件包括但不限于hadoop分布式文件系統(tǒng)、hbase非關(guān)系型數(shù)據(jù)庫和hive數(shù)據(jù)倉庫。

19、此外，所述數(shù)據(jù)傳輸模組支持與elasticsearch搜索引擎的對接。

20、所述日志監(jiān)測模組記錄整個過程中每個節(jié)點的轉(zhuǎn)換、抽取與傳輸過程。

21、所述日志監(jiān)測模組捕捉任務(wù)執(zhí)行過程中的關(guān)鍵性能指標(biāo)，包括但不限于請求響應(yīng)時間、錯誤率與流量模式；

22、所述日志監(jiān)測模組還提供了一個可視化日志頁面，通過直觀的圖表和統(tǒng)計數(shù)據(jù)對記錄的數(shù)據(jù)進行展示；

23、此外，所述日志監(jiān)測模組還支持日志文件的下載功能。

24、基于本發(fā)明數(shù)據(jù)實時脫敏系統(tǒng)的實時脫敏方法，包括以下步驟：

25、步驟s1、配置源端數(shù)據(jù)源和目標(biāo)端數(shù)據(jù)源；

26、配置過程自動完成異構(gòu)數(shù)據(jù)源的適配和轉(zhuǎn)換，支持關(guān)系數(shù)據(jù)庫之間的數(shù)據(jù)庫適配轉(zhuǎn)換、文件數(shù)據(jù)源和關(guān)系數(shù)據(jù)庫間的適配轉(zhuǎn)換、大數(shù)據(jù)存儲組件和關(guān)系數(shù)據(jù)庫間的適配轉(zhuǎn)換、以及文件數(shù)據(jù)源和大數(shù)據(jù)存儲組件間的適配轉(zhuǎn)換，修正源端數(shù)據(jù)庫和目標(biāo)端數(shù)據(jù)庫的字段映射關(guān)系，完成源端數(shù)據(jù)庫和目標(biāo)端數(shù)據(jù)庫的前要配置；

27、步驟s2、建立實時脫敏任務(wù)；

28、任務(wù)調(diào)度模組基于xxl-job組件，創(chuàng)建實時脫敏任務(wù)，注冊至任務(wù)注冊中心，并設(shè)置定時周期啟動，通過定時任務(wù)調(diào)用數(shù)據(jù)傳輸模組；

29、步驟s3、抽取原始數(shù)據(jù)；

30、在實時脫敏任務(wù)啟動后，數(shù)據(jù)傳輸模組根據(jù)實時脫敏任務(wù)中配置的源端數(shù)據(jù)庫信息，使用閱讀器reader工具抽取原始數(shù)據(jù)，并將抽取的原始數(shù)據(jù)發(fā)送給數(shù)據(jù)脫敏模組；

31、步驟s4、脫敏處理；

32、數(shù)據(jù)脫敏模組負(fù)責(zé)根據(jù)實時脫敏任務(wù)中配置的算法類型，使用脫敏算法模型對原始數(shù)據(jù)進行脫敏處理；

33、步驟s5、寫入目標(biāo)端數(shù)據(jù)庫；

34、調(diào)用數(shù)據(jù)脫敏模組對原始數(shù)據(jù)進行脫敏后，數(shù)據(jù)傳輸模組根據(jù)目標(biāo)端數(shù)據(jù)庫類型完成數(shù)據(jù)的格式轉(zhuǎn)換后，將脫敏數(shù)據(jù)寫入目標(biāo)端數(shù)據(jù)庫中；

35、步驟s6、全周期實時監(jiān)控和日志記錄；

36、日志監(jiān)測模組利用apisix網(wǎng)關(guān)對實時脫敏任務(wù)從創(chuàng)建到完成的全生命周期進行實時監(jiān)控和記錄，以確保每一個環(huán)節(jié)都能得到精確的追蹤和管理；

37、步驟s7、自動關(guān)閉連接；

38、實時脫敏任務(wù)完成后，自動關(guān)閉對源端數(shù)據(jù)庫和目標(biāo)端數(shù)據(jù)庫的連接，有效控制訪問量，以保障系統(tǒng)的穩(wěn)定運行和數(shù)據(jù)的安全。

39、一種實現(xiàn)數(shù)據(jù)實時脫敏的設(shè)備，其特征在于：包括存儲器和處理器；所述存儲器用于存儲計算機程序，所述處理器用于執(zhí)行所述計算機程序時實現(xiàn)上述的方法步驟。

40、一種可讀存儲介質(zhì)，其特征在于：所述可讀存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)上述的方法步驟。

41、本發(fā)明的有益效果是：該數(shù)據(jù)實時脫敏系統(tǒng)，實現(xiàn)了多數(shù)據(jù)源的實時脫敏處理，并支持異構(gòu)數(shù)據(jù)源之間的無縫轉(zhuǎn)換，優(yōu)化了數(shù)據(jù)庫安全管理流程，使得對敏感數(shù)據(jù)的監(jiān)管更加便捷高效，進一步保障了信息安全。