本發(fā)明屬于通信網絡,具體涉及一種數據查詢管理方法、系統(tǒng)、設備及可讀存儲介質。
背景技術:
1、如今隨著移動互聯網的普及和5g等網絡技術的發(fā)展,各個領域對信息、數據進行交換、調用、匯總、查詢的場景越來越多。為了保證在系統(tǒng)崩潰或斷電等異常情況下,數據不會丟失或損壞,能夠在系統(tǒng)恢復后仍然可以正常使用?,F有技術通常通過文件系統(tǒng)、數據庫或其他數據存儲技術來實現。
2、為滿足數據持久性的要求,現有技術常采用全自動或半自動的orm框架,例如mybatis或hibernate等。但是現有技術不可避免的存在需要頻繁修改配置文件和sql映射文件,重新部署的時間成本和人力成本較大,且無法較好地適配一對多關聯查詢的業(yè)務,缺乏保密措施,安全性差的問題。
3、因此,針對上述技術問題,有必要提供一種改良的數據管理以及數據查詢的方法。
4、公開于該背景技術部分的信息僅僅旨在增加對本發(fā)明的總體背景的理解,而不應當被視為承認或以任何形式暗示該信息構成已為本領域一般技術人員所公知的現有技術。
技術實現思路
1、本發(fā)明的目的在于提供一種數據查詢管理方法、系統(tǒng)、設備及可讀存儲介質,其能夠快速響應用戶的請求,在多源數據中實現安全可靠的數據管理和查詢。
2、為了實現上述目的,本發(fā)明一具體實施例提供的技術方案如下:
3、第一方面,本發(fā)明提供了一種數據查詢管理方法,其包括:
4、基于所述源數據庫中記錄原始數據的表數據及對應的表結構,配置對所述原始數據的處理策略,基于所述處理策略對原始數據進行處理,并將處理后的數據寫入搜索引擎庫;所述處理策略包括:字典編碼轉換策略、時間格式標準化策略以及字段脫敏策略;
5、設置可編輯的功能項以及所述功能項應用的字段范圍,基于所述功能項的開關狀態(tài),將所述功能項渲染至用戶終端界面;
6、響應于用戶的請求,將匹配的數據信息反饋至所述用戶終端界面。
7、在本發(fā)明的一個或多個實施方式中,所述基于所述處理策略對原始數據進行處理,并將處理后的數據寫入搜索引擎庫,包括:
8、基于源數據庫中的表數據與表結構,建立所述原始數據與所述搜索引擎庫中各預設表項的映射關系;
9、基于時間格式標準化策略對原始數據的時間數據進行格式同步,基于字典編碼轉換策略,對原始數據的數據標簽及碼值進行轉換;
10、基于原始數據的表結構,將轉換后原始數據存入預設的標準數據庫;
11、提取標準數據庫中的數據,基于字段脫敏策略進行數據脫敏,基于所述字典編碼轉換策略,生成脫敏后數據的描述值,將所述脫敏后數據的描述值及碼值分別寫入所述搜索引擎庫對應的表項中。
12、在本發(fā)明的一個或多個實施方式中,所述提取標準數據庫中的數據,基于脫敏策略進行數據脫敏,將脫敏后的數據寫入所述搜索引擎庫對應的表項中,包括:
13、獲取標準信息庫中對應的數據;
14、基于原始數據與所述搜索引擎庫中各預設表項的映射關系,確定標準信息庫中對應的數據在搜索引擎庫中的寫入位置;
15、將所述標準信息庫中對應的數據進行脫敏,基于預設的實體模型,將脫敏后的數據封裝并寫入所述搜索引擎庫對應的表項。
16、在本發(fā)明的一個或多個實施方式中,所述基于字典編碼轉換,對原始數據的碼值進行轉換,包括:
17、將所述原始數據的各碼值與字典中的字段相匹配;
18、若所述原始數據的碼值不符合字典中的碼值,則將該碼值設置為空值;
19、若所述原始數據的碼值符合字典中的碼值,則基于該碼值的映射關系進行轉換。
20、在本發(fā)明的一個或多個實施方式中,所述方法還包括:
21、設置可編輯的篩選項、排序項,并定義各所述篩選項、排序項應用于搜索引擎庫中的數據范圍;
22、基于處于開啟狀態(tài)的篩選項和/或排序項,對所述搜索引擎庫中相應應用范圍內的數據進行預篩選/預排序。
23、在本發(fā)明的一個或多個實施方式中,所述方法還包括:
24、對所述搜索引擎庫中數據的描述值進行拆分;
25、建立拆分后的各個詞組與拆分前描述值的映射關系,形成檢索表。
26、在本發(fā)明的一個或多個實施方式中,響應于用戶的請求,將匹配的數據信息反饋至用戶終端界面,包括:
27、在用戶終端界面,生成可編輯的篩選項以及排序項;
28、基于用戶輸入的字段,遍歷所述檢索表,獲取一個或多個與所述輸入字段相關聯的描述值;
29、基于用戶對篩選項以及排序項的選擇,在對應預處理和/或預排序的數據中調取所述相關聯的描述值,并依據其預處理后的先后順序在所述用戶終端界面展示。
30、在本發(fā)明的一個或多個實施方式中,所述方法還包括:
31、若用戶在所述用戶終端界面選中顯示的描述值,則基于所述描述值對應的數據信息,索引所述標準數據庫或原始數據庫;
32、基于字典編碼轉換策略、時間格式標準化策略以及字段脫敏策略,將對應索引到的數據進行轉換,將轉換后的碼值轉譯為描述值并展示在用戶終端界面上。
33、第二方面,本發(fā)明提供了一種數據查詢管理系統(tǒng),其包括:
34、配置模塊,用于基于所述源數據庫的表數據及表結構,配置對所述原始數據的處理策略,所述處理策略包括:字典編碼轉換策略、時間格式標準化策略以及字段脫敏策略;
35、寫入模塊,用于基于所述處理策略對原始數據進行處理,并將處理后的數據寫入搜索引擎庫;
36、預處理模塊,用于設置可編輯的功能項以及所述功能項應用的字段范圍,基于所述功能項的開關狀態(tài),將所述功能項渲染至用戶終端界面;
37、交互模塊,用于響應于用戶的請求,將匹配的數據信息反饋至用戶終端界面。
38、第三方面,本發(fā)明提供了一種計算機設備,其包括:存儲器和處理器,所述存儲器和所述處理器之間互相通信連接,所述存儲器中存儲有計算機指令,所述處理器通過執(zhí)行所述計算機指令,從而執(zhí)行所述的數據查詢管理方法。
39、第四方面,本發(fā)明提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有計算機指令,所述計算機指令用于使計算機執(zhí)行所述的數據查詢管理方法。
40、與現有技術相比,本發(fā)明提供的數據查詢管理方法,基于標準化接口可以在不同環(huán)境下對不同數據源的高效適配,使得數據集成過程更加靈活,減少了手動配置的復雜度,加速了數據接入的速度。基于源數據庫的表結構進行策略配置,可以保證高效的處理過程中數據的一致性及準確性,同時簡化了數據映射配置的過程。各種處理策略確保了敏感信息的安全性的同時,實現了數據清洗、時間格式標準化和字典轉換,進一步提升了數據的可用性??删庉嫷墓δ茼椏梢詫崿F對功能的實時修改和重編輯,在進行功能項糾錯、修改配置時無需同時修改后端業(yè)務代碼。對數據的預處理,使得系統(tǒng)能更快的相應用戶的請求,給出相應的反饋。
1.一種數據查詢管理方法,其特征在于,包括:
2.根據權利要求1所述的數據查詢管理方法,其特征在于,所述基于所述處理策略對原始數據進行處理,并將處理后的數據寫入搜索引擎庫,包括:
3.根據權利要求2所述的數據查詢管理方法,其特征在于,所述提取標準數據庫中的數據,基于脫敏策略進行數據脫敏,將脫敏后的數據寫入所述搜索引擎庫對應的表項中,包括:
4.根據權利要求2所述的數據查詢管理方法,其特征在于,所述基于字典編碼轉換,對原始數據的碼值進行轉換,包括:
5.根據權利要求1所述的數據查詢管理方法,其特征在于,所述方法還包括:
6.根據權利要求5所述的數據查詢管理方法,其特征在于,所述方法還包括:
7.根據權利要求6所述的數據查詢管理方法,其特征在于,響應于用戶的請求,將匹配的數據信息反饋至用戶終端界面,包括:
8.根據權利要求7所述的數據查詢管理方法,其特征在于,所述方法還包括:
9.一種數據查詢管理系統(tǒng),其特征在于,包括:
10.一種計算機設備,其特征在于,包括:存儲器和處理器,所述存儲器和所述處理器之間互相通信連接,所述存儲器中存儲有計算機指令,所述處理器通過執(zhí)行所述計算機指令,從而執(zhí)行權利要求1-8中任一項所述的數據查詢管理方法。
11.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質存儲有計算機指令,所述計算機指令用于使計算機執(zhí)行權利要求1-8中任一項所述的數據查詢管理方法。