一種保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法
【專利摘要】本發(fā)明提供一種保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法，包括以下步驟：生成一維頻繁項目集；從第二步開始循環(huán)處理直到未能再產(chǎn)生維數(shù)更高的頻繁項目集；對每個數(shù)據(jù)庫中的頻繁項求和，完成每個頻繁項目集個數(shù)的統(tǒng)計。本發(fā)明提供一種保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法，不僅能夠提高挖掘的效率，并且能夠有效地用于保護各方參與者的隱私，這樣在不泄露自身的隱私數(shù)據(jù)的同時，還能高效地聯(lián)合挖掘大數(shù)據(jù)中的有用信息。
【專利說明】一種保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及屬于數(shù)據(jù)信息【技術(shù)領(lǐng)域】，具體涉及一種保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān) 聯(lián)規(guī)則挖掘方法。

【背景技術(shù)】
[0002] 在電力行業(yè)中，業(yè)務(wù)應(yīng)用的發(fā)展促使大數(shù)據(jù)技術(shù)近年來得到廣泛的關(guān)注，各系統(tǒng) 每天采集和實時記錄的電網(wǎng)信息量呈爆炸式增長，許多大型電網(wǎng)系統(tǒng)單日數(shù)據(jù)量已達到幾 十GB，甚至幾百GB左右。在充分挖掘這些數(shù)據(jù)信息資源時，考慮參與方的私有信息不泄露 已經(jīng)成為大數(shù)據(jù)分析挖掘發(fā)展的重要支撐技術(shù)。
[0003] 隨著計算機處理能力的提升、存儲技術(shù)的發(fā)展、互聯(lián)網(wǎng)技術(shù)的快速進步，各行各業(yè) 的數(shù)據(jù)量不斷增長。人們希望對積累的數(shù)據(jù)進行高層次的分析，找出潛在的一些數(shù)據(jù)關(guān)系 和規(guī)則。將"未知"的海量數(shù)據(jù)變成"已知"的有用數(shù)據(jù)，將"不起眼"的數(shù)據(jù)變成真正的財 富。在巨大利益的驅(qū)動下，這種海量數(shù)據(jù)的挖掘研宄工作成為統(tǒng)計學(xué)、人工智能等領(lǐng)域研宄 的熱點之一。
[0004] 數(shù)據(jù)挖掘是從大量數(shù)據(jù)中挖掘出有用的數(shù)據(jù)。但是，很多情況下，這種數(shù)據(jù)可能是 分布在不同的地點，屬于不同的組織。傳統(tǒng)的數(shù)據(jù)倉庫技術(shù)要求是將分布式的數(shù)據(jù)集中到 某個中心點，雖然這樣有利于數(shù)據(jù)的部署應(yīng)用，但是很多參與方出于對自己的隱私保護不 愿意共享他們自己的數(shù)據(jù)。安全挖掘，即保護隱私的數(shù)據(jù)挖掘，就為了研宄、解決此類問題 應(yīng)運而生。這種安全挖掘的目標是在建立某種關(guān)聯(lián)，將數(shù)據(jù)的挖掘工作和數(shù)據(jù)隱私的保護 有機地集合起來。其基本思想在于對原始數(shù)據(jù)或者挖掘方法進行某種改進，在不向非數(shù)據(jù) 所有者泄露敏感數(shù)據(jù)取值的同時，發(fā)現(xiàn)原始數(shù)據(jù)的某些統(tǒng)計規(guī)律或者隱含的知識和規(guī)則。


【發(fā)明內(nèi)容】

[0005] 為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供一種保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián) 規(guī)則挖掘方法，不僅能夠提高挖掘的效率，并且能夠有效地用于保護各方參與者的隱私，這 樣在不泄露自身的隱私數(shù)據(jù)的同時，還能高效地聯(lián)合挖掘大數(shù)據(jù)中的有用信息。
[0006] 為了實現(xiàn)上述發(fā)明目的，本發(fā)明采取如下技術(shù)方案：
[0007] 本發(fā)明提供一種保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法，所述方法包括以 下步驟：
[0008] 步驟1 :生成一維頻繁項目集；
[0009] 步驟2 :從第二步開始循環(huán)處理直到未能再產(chǎn)生維數(shù)更高的頻繁項目集；
[0010] 步驟3 :對每個數(shù)據(jù)庫中的頻繁項求和，完成每個頻繁項目集個數(shù)的統(tǒng)計。
[0011] 所述步驟1中，統(tǒng)計所有僅含一個元素的項目出現(xiàn)的頻率，從中找出大于或等于 最小支持度的項目集，進而生成一階頻繁集L t。
[0012] 所述步驟2具體包括以下步驟：
[0013] 步驟2-1 :在第k步中，根據(jù)k-Ι步生成的k-Ι階頻繁集來產(chǎn)生k階候選集；
[0014] 步驟2-2 :根據(jù)Apriori算法統(tǒng)計k階頻繁集中每個元素出現(xiàn)的次數(shù)，若某個元素 出現(xiàn)的次數(shù)小于k，則將k階頻繁集中包含該元素的項目集刪掉，得到簡化的k階頻繁集； 再根據(jù)k階頻繁集，掃描數(shù)據(jù)庫D中的每個事務(wù)，得到k+Ι階候選集；
[0015] 步驟2-3 :循環(huán)執(zhí)行步驟2-1和步驟2-2,整個數(shù)據(jù)掃描完畢后產(chǎn)生事務(wù)數(shù)據(jù)庫 Dr 〇
[0016] 所述步驟3包括以下步驟：
[0017] 步驟3-1 :確定第i個參與者p#自擁有數(shù)據(jù)集{X i，X2，…，X1J，即每個參與者Pi 擁有的私有數(shù)據(jù)為Xi，其中m彡3, i = 1，2,…，m ; m
[0018] 步驟3-2 :輸出數(shù)據(jù)集的和值，并保證參與者仏無法獲知xk，其中k = 1，2,…，m，且 k 辛 i ;
[0019] 步驟3-3 :合作執(zhí)行協(xié)議的每位參與者將自身擁有的私有數(shù)據(jù)隨機分成m份，除了 自身保留一份外，將其他的m-Ι份傳到其他參與者，以此來求參與者擁有私有信息的總和。
[0020] 所述步驟3-3包括以下步驟：
[0021] 步驟3-3-1 :參與者？1隨機生成m-Ι個輔助值Xi，p其中j = 1，2，···，πι-1，參與者 m-l 機產(chǎn)生m-l個數(shù)，分別為{x i i，Xi 2，…，Xi m_J，并計算得到夂-Σ氣/，將參與者Pi ' ' ' M 擁有的私有數(shù)據(jù)Xi分成m份，即X i= X u+Xi』+…+χ^+χ^;
[0022] 步驟3-3-2 :Pi保留任意一份數(shù)據(jù)X u，將Xiij發(fā)送給其他m-l個參與者p」，即除了 Xu外，將其他的m-l分數(shù)傳送給其他的參與者，其中j辛i ;
[0023] 步驟3-3-3 :其他參與者Pj對自己私有的數(shù)據(jù)進行處理，并發(fā)送給其他的參與者；
[0024] 步驟3-3-4 :參與者Pi在接收到其他m-l個參與者發(fā)來的數(shù)據(jù)后，將接收到的m-l 個數(shù)據(jù)與自己保留的Xiii進行求和計算，得到尤；于是m個參與者分別計算得到m個數(shù)據(jù) {尤,毛,···,之)；
[0025] 步驟3-3-5 :將沐,毛,···,之）求和，得到m個參與者擁有私有數(shù)據(jù)的總和 Luuzoj 與;％

【權(quán)利要求】
1. 一種保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法，其特征在于：所述方法包括以 下步驟： 步驟1:生成一維頻繁項目集； 步驟2 :從第二步開始循環(huán)處理直到未能再產(chǎn)生維數(shù)更高的頻繁項目集； 步驟3 :對每個數(shù)據(jù)庫中的頻繁項求和，完成每個頻繁項目集個數(shù)的統(tǒng)計。
2. 根據(jù)權(quán)利要求1所述的保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法，其特征在 于：所述步驟1中，統(tǒng)計所有僅含一個元素的項目出現(xiàn)的頻率，從中找出大于或等于最小支 持度的項目集，進而生成一階頻繁集Lt。
3. 根據(jù)權(quán)利要求1所述的保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法，其特征在 于：所述步驟2具體包括以下步驟： 步驟2-1 :在第k步中，根據(jù)k-Ι步生成的k-Ι階頻繁集來產(chǎn)生k階候選集； 步驟2-2 :根據(jù)Apriori算法統(tǒng)計k階頻繁集中每個元素出現(xiàn)的次數(shù)，若某個元素出現(xiàn) 的次數(shù)小于k，則將k階頻繁集中包含該元素的項目集刪掉，得到簡化的k階頻繁集；再根 據(jù)k階頻繁集，掃描數(shù)據(jù)庫D中的每個事務(wù)，得到k+Ι階候選集； 步驟2-3 :循環(huán)執(zhí)行步驟2-1和步驟2-2,整個數(shù)據(jù)掃描完畢后產(chǎn)生事務(wù)數(shù)據(jù)庫D'。
4. 根據(jù)權(quán)利要求1所述的保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法，其特征在 于：所述步驟3包括以下步驟： 步驟3-1 :確定第i個參與者pJA自擁有數(shù)據(jù)集{Xi，X2，…，XJ，即每個參與者Pi擁有 的私有數(shù)據(jù)為Xi，其中m彡3,i= 1，2,…，m; m 步驟3-2 :輸出數(shù)據(jù)集的和值Σ冬，并保證參與者Pi無法獲知Xk，其中k= /=1 1，2,…，m，且k辛i; 步驟3-3 :合作執(zhí)行協(xié)議的每位參與者將自身擁有的私有數(shù)據(jù)隨機分成m份，除了自身 保留一份外，將其他的m-Ι份傳到其他參與者，以此來求參與者擁有私有信息的總和。
5. 根據(jù)權(quán)利要求1所述的保護私有信息的電網(wǎng)大數(shù)據(jù)關(guān)聯(lián)規(guī)則挖掘方法，其特征在 于：所述步驟3-3包括以下步驟： 步驟3-3-1 :參與者？1隨機生成m-Ι個輔助值Xi，j，其中j= 1，2, 一,Iii-I,參與者？1隨 機產(chǎn)生m-1個數(shù)，分別為Ixii，Xi2，…，Xim_J，并計算得到-Σ&，將參與者 有的私有數(shù)據(jù)Xi分成m份，即Xi=Xu+x^+…+χ^μ+χ^; 步驟3-3-2 :Pi保留任意一份數(shù)據(jù)X^將Xi，j發(fā)送給其他m-1個參與者p」，即除了Xi，i夕卜，將其他的m-1分數(shù)傳送給其他的參與者，其中j辛i; 步驟3-3-3 :其他參與者Pj對自己私有的數(shù)據(jù)進行處理，并發(fā)送給其他的參與者； 步驟3-3-4 :參與者Pi在接收到其他m-Ι個參與者發(fā)來的數(shù)據(jù)后，將接收到的m-Ι個 數(shù)據(jù)與自己保留的Xiii進行求和計算，得到七；于是m個參與者分別計算得到m個數(shù)據(jù) !K，…龍)； 步驟3-3-5 :將成，尤,…,之）求和，得到m個參與者擁有私有數(shù)據(jù)的總和
【文檔編號】G06Q50/06GK104462415SQ201410768891
【公開日】2015年3月25日 申請日期:2014年12月12日 優(yōu)先權(quán)日:2014年12月12日
【發(fā)明者】葉云, 任環(huán), 余勇, 石聰聰, 高鵬, 曹宛恬 申請人:國家電網(wǎng)公司, 中國電力科學(xué)研究院