本發(fā)明涉及數(shù)據(jù)管理，尤其涉及一種氣密性檢測儀用的氣密性數(shù)據(jù)管理方法及系統(tǒng)。

背景技術(shù)：

1、隨著工業(yè)自動化和智能制造的發(fā)展，氣密性檢測作為產(chǎn)品質(zhì)量控制的關(guān)鍵環(huán)節(jié)，其數(shù)據(jù)量呈現(xiàn)爆炸性增長，由于檢測的設(shè)備多樣性和時間跨度，氣密性數(shù)據(jù)管理面臨諸多挑戰(zhàn)；重復(fù)檢測相同或相似產(chǎn)品可能導(dǎo)致大量冗余數(shù)據(jù)的產(chǎn)生，這不僅增加了存儲負擔(dān)，也降低了數(shù)據(jù)處理的效率。

2、在傳統(tǒng)的數(shù)據(jù)處理流程中，如果采用的數(shù)據(jù)清洗方法過于簡化，可能會錯誤地將重要數(shù)據(jù)識別為冗余或錯誤數(shù)據(jù)并將其刪除，從而導(dǎo)致有價值的信息丟失；或清除了屬于不同設(shè)備間的相似數(shù)據(jù)，造成數(shù)據(jù)缺失。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在提供一種氣密性檢測儀用的氣密性數(shù)據(jù)管理方法及系統(tǒng)，對氣密性數(shù)據(jù)進行有效管理，提高氣密性數(shù)據(jù)管理的效率和準(zhǔn)確性。

2、一種氣密性檢測儀用的氣密性數(shù)據(jù)管理方法，包括：

3、s1.獲取目標(biāo)氣密性數(shù)據(jù)集，對目標(biāo)氣密性數(shù)據(jù)集執(zhí)行分塊處理，得到多個目標(biāo)氣密性數(shù)據(jù)塊sn，n=1，2，…，n，n為目標(biāo)氣密性數(shù)據(jù)塊的數(shù)量；對每一個目標(biāo)氣密性數(shù)據(jù)塊sn進行特征提取，得到目標(biāo)氣密性數(shù)據(jù)塊特征tn；

4、s2.基于所有目標(biāo)氣密性數(shù)據(jù)塊特征tn和氣密性數(shù)據(jù)塊重要度評估模型進行重要度標(biāo)簽劃分，得到目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn；根據(jù)所有目標(biāo)氣密性數(shù)據(jù)塊特征tn進行數(shù)據(jù)冗余檢測，得到目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn；基于目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn和目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn對目標(biāo)氣密性數(shù)據(jù)塊sn進行數(shù)據(jù)分類，得到目標(biāo)氣密性冗余數(shù)據(jù)塊集、目標(biāo)氣密性非冗余數(shù)據(jù)塊集和目標(biāo)氣密性特殊數(shù)據(jù)塊集；

5、s3.針對目標(biāo)氣密性冗余數(shù)據(jù)塊集中的目標(biāo)氣密性數(shù)據(jù)塊進行相似度分類，得到高重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集和低重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集；根據(jù)氣密性數(shù)據(jù)壓縮策略執(zhí)行壓縮操作，完成對目標(biāo)氣密性數(shù)據(jù)集的數(shù)據(jù)管理，氣密性數(shù)據(jù)壓縮策略中包含有針對不同的數(shù)據(jù)塊集執(zhí)行對應(yīng)的數(shù)據(jù)壓縮操作。

6、作為本發(fā)明的一種優(yōu)選技術(shù)方案，步驟s1的具體步驟，包括：

7、s11.獲取目標(biāo)氣密性數(shù)據(jù)集；根據(jù)類別分塊標(biāo)準(zhǔn)對目標(biāo)氣密性數(shù)據(jù)集進行第一次劃分，得到第一目標(biāo)氣密性數(shù)據(jù)集分塊結(jié)果；根據(jù)時間序列滑動窗口分塊法對第一目標(biāo)氣密性數(shù)據(jù)集分塊結(jié)果進行第二次劃分，得到第二目標(biāo)氣密性數(shù)據(jù)集分塊結(jié)果；根據(jù)k均值聚類算法對第二目標(biāo)氣密性數(shù)據(jù)集分塊結(jié)果進行第三次劃分，得到多個目標(biāo)氣密性數(shù)據(jù)塊sn；

8、s12.對每一個目標(biāo)氣密性數(shù)據(jù)塊sn進行特征提取，得到目標(biāo)氣密性數(shù)據(jù)塊特征tn。

9、作為本發(fā)明的一種優(yōu)選技術(shù)方案，步驟s2中的氣密性數(shù)據(jù)塊重要度評估模型包括有數(shù)據(jù)預(yù)處理層、特征匹配層和結(jié)構(gòu)輸出層；

10、數(shù)據(jù)預(yù)處理層用于對目標(biāo)氣密性數(shù)據(jù)塊特征tn進行預(yù)處理，得到預(yù)處理目標(biāo)氣密性數(shù)據(jù)塊特征un；

11、特征匹配層用于對預(yù)處理目標(biāo)氣密性數(shù)據(jù)塊特征un進行重要度匹配，得到目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn；

12、結(jié)果輸出層用于輸出目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn；

13、訓(xùn)練氣密性數(shù)據(jù)塊重要度評估模型中特征匹配層的具體步驟為：

14、收集若干組氣密性數(shù)據(jù)塊訓(xùn)練樣本，每組氣密性數(shù)據(jù)塊訓(xùn)練樣本中包含有一個預(yù)處理氣密性數(shù)據(jù)塊特征和對應(yīng)的重要度標(biāo)簽；將若干組氣密性數(shù)據(jù)塊訓(xùn)練樣本組合，得到氣密性數(shù)據(jù)塊訓(xùn)練集；

15、利用氣密性數(shù)據(jù)塊訓(xùn)練集對特征匹配層以重要度標(biāo)簽為目標(biāo)進行訓(xùn)練，得到初始特征匹配層；對初始特征匹配層進行評估，得到初始特征匹配層模型評估結(jié)果；若初始特征匹配層模型評估結(jié)果為通過，則將初始特征匹配層作為氣密性數(shù)據(jù)塊重要度評估模型中的特征匹配層；否則，利用氣密性數(shù)據(jù)塊訓(xùn)練集繼續(xù)進行模型訓(xùn)練。

16、作為本發(fā)明的一種優(yōu)選技術(shù)方案，根據(jù)所有目標(biāo)氣密性數(shù)據(jù)塊特征tn進行數(shù)據(jù)冗余檢測的具體步驟，包括：

17、針對目標(biāo)氣密性數(shù)據(jù)塊特征tn計算近似特征子集熵，得到目標(biāo)氣密性數(shù)據(jù)塊子集熵hn；對所有目標(biāo)氣密性數(shù)據(jù)塊子集熵hn計算均值，得到目標(biāo)氣密性數(shù)據(jù)塊子集熵均值jn；根據(jù)目標(biāo)氣密性數(shù)據(jù)塊子集熵均值jn計算信息增益，得到目標(biāo)氣密性數(shù)據(jù)塊子集熵均值信息增益值jn’；

18、對目標(biāo)氣密性數(shù)據(jù)塊sn計算在目標(biāo)氣密性數(shù)據(jù)集中的熵值，得到目標(biāo)氣密性數(shù)據(jù)塊熵值dn；根據(jù)目標(biāo)氣密性數(shù)據(jù)塊熵值dn計算信息增益，得到目標(biāo)氣密性數(shù)據(jù)塊信息增益值yn；

19、針對目標(biāo)氣密性數(shù)據(jù)塊sn利用公式計算對應(yīng)信息增益率，得到目標(biāo)氣密性數(shù)據(jù)塊信息增益率數(shù)值pn，γ為平衡度系數(shù)；

20、若目標(biāo)氣密性數(shù)據(jù)塊信息增益率數(shù)值pn大于等于目標(biāo)氣密性數(shù)據(jù)塊信息增益閾值，標(biāo)注目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn為1；若目標(biāo)氣密性數(shù)據(jù)塊信息增益率數(shù)值pn小于信息增益閾值，標(biāo)注目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn為0；

21、遍歷所有目標(biāo)氣密性數(shù)據(jù)塊sn和對應(yīng)的目標(biāo)氣密性數(shù)據(jù)塊特征tn，對所有目標(biāo)氣密性數(shù)據(jù)塊特征tn進行數(shù)據(jù)冗余檢測。

22、作為本發(fā)明的一種優(yōu)選技術(shù)方案，基于目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn和目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn對目標(biāo)氣密性數(shù)據(jù)塊sn進行數(shù)據(jù)分類的具體步驟，包括：

23、針對目標(biāo)氣密性數(shù)據(jù)塊sn，利用公式gn=rn*bn*f，計算目標(biāo)氣密性數(shù)據(jù)塊評價函數(shù)值gn，f為權(quán)重系數(shù)；

24、若目標(biāo)氣密性數(shù)據(jù)塊評價函數(shù)值gn處于第一冗余范圍內(nèi)，則將目標(biāo)氣密性數(shù)據(jù)塊sn劃分為目標(biāo)氣密性非冗余數(shù)據(jù)塊集；

25、若目標(biāo)氣密性數(shù)據(jù)塊評價函數(shù)值gn處于第二冗余范圍內(nèi)，則將目標(biāo)氣密性數(shù)據(jù)塊sn劃分為目標(biāo)氣密性冗余數(shù)據(jù)塊集；

26、若目標(biāo)氣密性數(shù)據(jù)塊評價函數(shù)值gn處于第三冗余范圍內(nèi)，則將目標(biāo)氣密性數(shù)據(jù)塊sn劃分為目標(biāo)氣密性特殊數(shù)據(jù)塊集。

27、作為本發(fā)明的一種優(yōu)選技術(shù)方案，步驟s3中針對目標(biāo)氣密性冗余數(shù)據(jù)塊集中的目標(biāo)氣密性數(shù)據(jù)塊進行相似度分類的具體步驟，包括：

28、規(guī)定目標(biāo)氣密性冗余數(shù)據(jù)塊集中含有i個數(shù)據(jù)塊，表示為目標(biāo)氣密性數(shù)據(jù)塊si，i=1，2，…，i；

29、針對目標(biāo)氣密性數(shù)據(jù)塊si，將目標(biāo)氣密性數(shù)據(jù)塊si和目標(biāo)氣密性冗余數(shù)據(jù)塊集中其余目標(biāo)氣密性數(shù)據(jù)塊進行相似度比較，記錄與目標(biāo)氣密性數(shù)據(jù)塊si相似度最大對應(yīng)的目標(biāo)氣密性數(shù)據(jù)塊相似度值vi，將目標(biāo)氣密性數(shù)據(jù)塊相似度值vi和相似度閾值進行比較，若目標(biāo)氣密性數(shù)據(jù)塊相似度值vi大于相似度閾值，則將目標(biāo)氣密性數(shù)據(jù)塊si劃分為高重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集；否則，將目標(biāo)氣密性數(shù)據(jù)塊si劃分為低重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集；

30、遍歷所有目標(biāo)氣密性數(shù)據(jù)塊si，直到將目標(biāo)氣密性冗余數(shù)據(jù)塊集劃分為高重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集和低重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集。

31、作為本發(fā)明的一種優(yōu)選技術(shù)方案，步驟s3中根據(jù)氣密性數(shù)據(jù)壓縮策略執(zhí)行壓縮操作的具體步驟，包括：

32、針對高重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集執(zhí)行去重增量壓縮操作，針對低重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集執(zhí)行增量壓縮操作，針對目標(biāo)氣密性數(shù)據(jù)非冗余數(shù)據(jù)塊集執(zhí)行通用壓縮操作，針對目標(biāo)氣密性特殊數(shù)據(jù)塊集進行直接存儲操作，完成對目標(biāo)氣密性數(shù)據(jù)集的數(shù)據(jù)管理。

33、一種氣密性檢測儀用的氣密性數(shù)據(jù)管理系統(tǒng)，包括：

34、氣密性數(shù)據(jù)分塊模塊，用于獲取目標(biāo)氣密性數(shù)據(jù)集，對目標(biāo)氣密性數(shù)據(jù)集執(zhí)行分塊處理，得到多個目標(biāo)氣密性數(shù)據(jù)塊sn，n=1，2，…，n，n為目標(biāo)氣密性數(shù)據(jù)塊的數(shù)量；對每一個目標(biāo)氣密性數(shù)據(jù)塊sn進行特征提取，得到目標(biāo)氣密性數(shù)據(jù)塊特征tn；

35、氣密性數(shù)據(jù)冗余檢測模塊，用于部署氣密性數(shù)據(jù)塊重要度評估模型，基于所有目標(biāo)氣密性數(shù)據(jù)塊特征tn和氣密性數(shù)據(jù)塊重要度評估模型進行重要度標(biāo)簽劃分，得到目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn；根據(jù)所有目標(biāo)氣密性數(shù)據(jù)塊特征tn進行數(shù)據(jù)冗余檢測，得到目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn；基于目標(biāo)氣密性數(shù)據(jù)塊重要度標(biāo)簽bn和目標(biāo)氣密性數(shù)據(jù)塊冗余度標(biāo)簽rn對目標(biāo)氣密性數(shù)據(jù)塊sn進行數(shù)據(jù)分類，得到目標(biāo)氣密性冗余數(shù)據(jù)塊集、目標(biāo)氣密性非冗余數(shù)據(jù)塊集和目標(biāo)氣密性特殊數(shù)據(jù)塊集；

36、氣密性數(shù)據(jù)壓縮管理模塊，用于針對目標(biāo)氣密性冗余數(shù)據(jù)塊集中的目標(biāo)氣密性數(shù)據(jù)塊進行相似度分類，得到高重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集和低重復(fù)目標(biāo)氣密性數(shù)據(jù)冗余數(shù)據(jù)塊集；根據(jù)氣密性數(shù)據(jù)壓縮策略執(zhí)行壓縮操作，完成對目標(biāo)氣密性數(shù)據(jù)集的數(shù)據(jù)管理，氣密性數(shù)據(jù)壓縮策略中包含有針對不同的數(shù)據(jù)塊集執(zhí)行對應(yīng)的數(shù)據(jù)壓縮操作。

37、本發(fā)明具有以下優(yōu)點：

38、1、本發(fā)明通過對目標(biāo)氣密性數(shù)據(jù)集執(zhí)行分塊處理，提高了數(shù)據(jù)處理和分析的效率；通過為每個數(shù)據(jù)塊提供了關(guān)鍵信息的摘要，有助于快速識別數(shù)據(jù)的基通過識別并標(biāo)記出冗余數(shù)據(jù)，為數(shù)據(jù)去重和壓縮提供了依據(jù)本屬性和關(guān)鍵特征；通過對數(shù)據(jù)塊進行重要度標(biāo)簽劃分，確保了關(guān)鍵數(shù)據(jù)得到保留和優(yōu)先處理，有助于根據(jù)數(shù)據(jù)塊的不同特點，應(yīng)用定制化的壓縮策略，提升了數(shù)據(jù)壓縮的針對性和效果。

39、2、本發(fā)明通過實施氣密性數(shù)據(jù)冗余檢測流程，能夠精確量化數(shù)據(jù)的不確定性和復(fù)雜性，有效評估和區(qū)分數(shù)據(jù)塊的冗余度，有助于優(yōu)化數(shù)據(jù)存儲效率，節(jié)省存儲空間，且顯著提升了數(shù)據(jù)處理速度，確保了數(shù)據(jù)集的精簡和高質(zhì)量，增強了數(shù)據(jù)的安全性，減少了泄露風(fēng)險，并通過自動化方法提高了數(shù)據(jù)處理的一致性和準(zhǔn)確性。