專利名稱：一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法
技術領域：
本發(fā)明涉及一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法，能夠有效的解決智
能電網(wǎng)數(shù)據(jù)流挖掘的實時性問題。
背景技術：
近年來，美、歐等不少國家都相繼開展了智能電網(wǎng)的相關研究。 一時間，智能電網(wǎng) 一詞成為國際上一個關于未來電網(wǎng)發(fā)展趨勢的熱門名詞。智能電網(wǎng)是將電力與通信和計算 機控制連接在一起，以獲取在供電可靠性、傳輸容量和客戶服務等方面的巨大效益。與傳統(tǒng) 電網(wǎng)相比，智能電網(wǎng)將進一步優(yōu)化各級電網(wǎng)控制，構建結構扁平化、功能模塊化、系統(tǒng)組態(tài) 化的柔性體系架構，通過集中與分散相結合，靈活變換網(wǎng)絡結構、智能重組系統(tǒng)架構、最佳 配置系統(tǒng)效能、優(yōu)化電網(wǎng)服務質(zhì)量，實現(xiàn)與傳統(tǒng)電網(wǎng)截然不同的電網(wǎng)構成理念和體系。
在這個完全自動化的供電網(wǎng)絡中，每一個用戶和節(jié)點都得到了實時的監(jiān)控，并保 證了從發(fā)電廠到用戶端電器之間的每一點上的電流和信息的雙向流動，將為電力系統(tǒng)的運 行和管理提供空前海量的實時數(shù)據(jù)流，它們隱含著與故障及系統(tǒng)穩(wěn)定有關的有用信息。雖 然現(xiàn)代信息處理技術在電力系統(tǒng)得到了廣泛應用，但系統(tǒng)多針對歷史數(shù)據(jù)，對精度重視較 多，而對響應時間關注較少，無法滿足智能電網(wǎng)中信息快速實時處理的需求。因此對智能電 網(wǎng)中數(shù)據(jù)挖掘系統(tǒng)的實時性提出了更為嚴格的要求。而通過對智能電網(wǎng)中的海量數(shù)據(jù)流進 行分布式挖掘處理，能夠為智能電網(wǎng)的實時運行與管理提供有效的決策支持。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術問題是，提供一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘 方法，利用這種方法進行數(shù)據(jù)流挖掘時，能夠避免由于數(shù)據(jù)流量巨大而降低整個系統(tǒng)的性 能，提高運行效率，滿足智能電網(wǎng)實時性的要求。 解決其問題所采用的技術方案是，一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方 法，其特征是，所述的方法包含有將海量數(shù)據(jù)流按信息窗大小按序分割成不同的數(shù)據(jù)子 流；發(fā)送各數(shù)據(jù)子流至各數(shù)據(jù)預處理器；將各數(shù)據(jù)預處理結果分別進行數(shù)據(jù)流挖掘；將挖 掘得出的各個模式進行整合；輸出整合后的模式結果。其中所述信息窗大小由具體的數(shù)據(jù) 預處理以及數(shù)據(jù)挖掘算法確定。其中所述模式整合，將各模式按所述序列進行排序整合。
—種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法所涉及的系統(tǒng)包含有用以將海 量數(shù)據(jù)流分割成各數(shù)據(jù)子流的一數(shù)據(jù)分流器；對數(shù)據(jù)子流分別進行數(shù)據(jù)預處理的若干個數(shù) 據(jù)預處理器；對預處理后的數(shù)據(jù)進行數(shù)據(jù)流挖掘的若干個數(shù)據(jù)挖掘器；對挖掘后的模式進 行整合的一模式整合器。 其中所述數(shù)據(jù)分流器，數(shù)據(jù)子流的個數(shù)由數(shù)據(jù)流單位時間到達速率與信息窗大小 的比值確定。 其中所述若干個數(shù)據(jù)預處理器，可采用相關的數(shù)據(jù)預處理算法，在其運行完成后 需立即將結果傳送至對應的數(shù)據(jù)挖掘器。
其中所述若干個數(shù)據(jù)挖掘器，可采用相關的數(shù)據(jù)挖掘算法，在其全部運行完成后 將結果發(fā)送至模式整合器。 本發(fā)明的一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法首先通過數(shù)據(jù)分流器 將實時到來的智能電網(wǎng)海量數(shù)據(jù)流分割成各數(shù)據(jù)子流，使用多臺數(shù)據(jù)預處理器進行并行處 理，然后并行進行數(shù)據(jù)流挖掘，最后將各個模式重新整合輸出，由于數(shù)據(jù)預處理與數(shù)據(jù)挖掘 的并行處理，大大提高了海量數(shù)據(jù)流挖掘的效率，可有效滿足智能電網(wǎng)中海量數(shù)據(jù)流挖掘 的實時性要求。


圖1為本發(fā)明的框架圖； 圖2為本發(fā)明中分流器的原理圖； 圖3為本發(fā)明中整合器的原理具體實施例方式
下面利用附圖所示的實施例對本發(fā)明作進一步描述。 參照圖l，本發(fā)明一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法，它包含有將 海量數(shù)據(jù)流按信息窗大小，采用一數(shù)據(jù)分流器按序分割成各數(shù)據(jù)子流；將各數(shù)據(jù)子流分別 發(fā)送至各數(shù)據(jù)預處理器；各數(shù)據(jù)預處理器分別進行數(shù)據(jù)預處理；對預處理后的數(shù)據(jù)采用若 干個數(shù)據(jù)挖掘器進行數(shù)據(jù)流挖掘；將若干個數(shù)據(jù)挖掘器挖掘得出的各個模式，采用一模式 整合器按所述序列進行整合；輸出整合后的模式結果。
所述信息窗大小由具體的數(shù)據(jù)預處理以及數(shù)據(jù)挖掘算法確定。 所述數(shù)據(jù)分流器，數(shù)據(jù)子流的個數(shù)由數(shù)據(jù)流單位時間到達速率與信息窗大小的比 值確定。 所述若干個數(shù)據(jù)預處理器采用數(shù)據(jù)預處理算法，在其運行完成后將結果傳送至對 應的數(shù)據(jù)挖掘器。 所述若干個數(shù)據(jù)挖掘器采用數(shù)據(jù)挖掘算法，在其全部運行完成后將結果發(fā)送至模 式整合器。 參照圖2和3，智能電網(wǎng)中海量數(shù)據(jù)流到來時，首先通過數(shù)據(jù)分流器分割成若干個 數(shù)據(jù)包，假定智能電網(wǎng)數(shù)據(jù)流到來的速率為v(M/s)，所選取的數(shù)據(jù)流預處理與數(shù)據(jù)流挖掘 的信息窗大小為d(M/s)，則數(shù)據(jù)分流器將到來的數(shù)據(jù)流平均分割成n = v/d個，并將這若干 個數(shù)據(jù)子流分別發(fā)送至若干個數(shù)據(jù)預處理器。 第i (i = 1. . . n)個數(shù)據(jù)預處理器在接收到第i個數(shù)據(jù)子流后采用有關的數(shù)據(jù)流 預處理算法進行處理，并將結果發(fā)送至第i個數(shù)據(jù)流挖掘器。然后，等待下一時間第i個數(shù) 據(jù)子流的到來。 第i (i = 1. . . n)個數(shù)據(jù)挖掘器在接收到第i個數(shù)據(jù)子流后采用有關的數(shù)據(jù)流挖 掘算法進行數(shù)據(jù)流挖掘，并將挖掘所得出的模式發(fā)送至模式整合器。然后，等待下一時間第 i個數(shù)據(jù)子流的到來。 模式整合器將接收到的各模式按序號重新排列，等待所有模式均挖掘完畢后再統(tǒng) 一輸出，此結果即是本時間段數(shù)據(jù)流挖掘的模式集合。
本發(fā)明的一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法所涉及的系統(tǒng)包含用 以將海量數(shù)據(jù)流分割成各數(shù)據(jù)子流的一數(shù)據(jù)分流器、對數(shù)據(jù)子流分別進行數(shù)據(jù)預處理的若 干個數(shù)據(jù)預處理器、對預處理后的數(shù)據(jù)進行數(shù)據(jù)流挖掘的若干個數(shù)據(jù)挖掘器、對挖掘后的 模式進行整合的一模式整合器。其中本發(fā)明實施例采用的數(shù)據(jù)分流器為浪潮英信若干 F5280服務器；數(shù)據(jù)預處理器為浪潮英信若干F5120服務器；數(shù)據(jù)挖掘器為浪潮英信若干 F5120服務器；模式整合器為浪潮英信若干F5280服務器，均為市售產(chǎn)品。但分流器、數(shù)據(jù) 預處理器、數(shù)據(jù)挖掘器和模式整合器并非唯一型號。數(shù)據(jù)分流器、數(shù)據(jù)預處理器、數(shù)據(jù)挖掘 器和模式整合器的各軟件程序依據(jù)各自的功能和用途，采用信息自動化、計算機處理等技 術編制，其軟件程序的編制是本領域技術人員所熟悉的技術。
權利要求
一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法，其特征是它包含有(1)將海量數(shù)據(jù)流按信息窗大小，采用一數(shù)據(jù)分流器按序分割成各數(shù)據(jù)子流；(2)將各數(shù)據(jù)子流分別發(fā)送至各數(shù)據(jù)預處理器；各數(shù)據(jù)預處理器分別進行數(shù)據(jù)預處理；(3)對預處理后的數(shù)據(jù)采用若干個數(shù)據(jù)挖掘器進行數(shù)據(jù)流挖掘；(4)將若干個數(shù)據(jù)挖掘器挖掘得出的各個模式，采用一模式整合器按所述序列進行整合；輸出整合后的模式結果。
2. 根據(jù)權利要求1所述的一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法，其特征 是所述信息窗大小由具體的數(shù)據(jù)預處理以及數(shù)據(jù)挖掘算法確定。
3. 根據(jù)權利要求1所述的一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法，其特征 是所述數(shù)據(jù)分流器，數(shù)據(jù)子流的個數(shù)由數(shù)據(jù)流單位時間到達速率與信息窗大小的比值確 定。
4. 根據(jù)權利要求1所述的一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法，其特征是所述若干個數(shù)據(jù)預處理器采用數(shù)據(jù)預處理算法，在其運行完成后將結果傳送至對應的 數(shù)據(jù)挖掘器。
5. 根據(jù)權利要求1所述的一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法，其特征 是所述若干個數(shù)據(jù)挖掘器采用數(shù)據(jù)挖掘算法，在其全部運行完成后將結果發(fā)送至模式整合為。
全文摘要
本發(fā)明一種智能電網(wǎng)海量數(shù)據(jù)流的分布式數(shù)據(jù)挖掘方法，其特點是它包含有將海量數(shù)據(jù)流按信息窗大小，采用一數(shù)據(jù)分流器按序分割成各數(shù)據(jù)子流；將各數(shù)據(jù)子流分別發(fā)送至各數(shù)據(jù)預處理器；各數(shù)據(jù)預處理器分別進行數(shù)據(jù)預處理；對預處理后的數(shù)據(jù)采用若干個數(shù)據(jù)挖掘器進行數(shù)據(jù)流挖掘；將若干個數(shù)據(jù)挖掘器挖掘得出的各個模式，采用一模式整合器按所述序列進行整合；輸出整合后的模式結果。由于數(shù)據(jù)預處理與數(shù)據(jù)挖掘的并行處理，大大提高了海量數(shù)據(jù)流挖掘的效率，能有效滿足智能電網(wǎng)中海量數(shù)據(jù)流挖掘的實時性要求。
文檔編號G06F17/30GK101694667SQ200910217750
公開日2010年4月14日 申請日期2009年10月19日 優(yōu)先權日2009年10月19日
發(fā)明者劉俊洲, 張亮, 曲朝陽, 李鵬, 王敬東, 程成, 董如意 申請人:東北電力大學;