專利名稱：電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及電力系統(tǒng)領(lǐng)域，特別是涉及一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法以及一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取系統(tǒng)。
背景技術(shù)：
電網(wǎng)模型是電力企業(yè)的各類信息化、自動(dòng)化系統(tǒng)進(jìn)行電網(wǎng)相關(guān)信息管理和交互的基礎(chǔ)。隨著電力系統(tǒng)信息化的不斷發(fā)展，電網(wǎng)模型數(shù)據(jù)在不同電力信息化系統(tǒng)間的交互越來越頻繁，數(shù)據(jù)量也日益增大。實(shí)際中，基于CIM(Common Information Model,公共信息模型)的XML (Extensible Markup Language,可擴(kuò)展標(biāo)記語言)文件在電力信息化系統(tǒng)間的數(shù)據(jù)交互與互操作中已被廣泛使用，大部分系統(tǒng)都支持將電網(wǎng)模型數(shù)據(jù)導(dǎo)出為基于CM的XML文件。由于各個(gè)數(shù)據(jù)源系統(tǒng)的多樣性及數(shù)據(jù)存儲(chǔ)的復(fù)雜性，在導(dǎo)出電網(wǎng)模型數(shù)據(jù)時(shí)，往往只提供包含電網(wǎng)模型全數(shù)據(jù)的單一 XML文件，或是根據(jù)源系統(tǒng)的自身特點(diǎn)提供的多個(gè)XML文件。但是對(duì)于電網(wǎng)模型數(shù)據(jù)的接收方即使用者來說，一般需要將電網(wǎng)模型數(shù)據(jù)以小分塊的形式管理，以滿足以分塊數(shù)據(jù)進(jìn)行統(tǒng)計(jì)、分析等方面的需求。在實(shí)際中，對(duì)電網(wǎng)模型數(shù)據(jù)的分塊管理，基本上是以變電站、線路作為分塊的單位進(jìn)行的。因此，模型數(shù)據(jù)使用者(即接收方系統(tǒng))接收到電網(wǎng)模型后，需要進(jìn)行全面的解析梳理,從全電網(wǎng)模型數(shù)據(jù)中抽取得到分塊的模型數(shù)據(jù)。傳統(tǒng)的電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法，主要是基于內(nèi)存或者數(shù)據(jù)庫，先將數(shù)據(jù)全部解析加載到內(nèi)存或數(shù)據(jù)庫中進(jìn)行分類存儲(chǔ)，并建立數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，然后再分類、分塊導(dǎo)出所需要的數(shù)據(jù)。但傳統(tǒng)方法存在以下缺點(diǎn):(I)全部采用內(nèi)存的處理方式，對(duì)系統(tǒng)硬件資源要求較高，當(dāng)面臨大數(shù)據(jù)量的處理時(shí)，會(huì)受制于硬件系統(tǒng)的性能，處理的數(shù)據(jù)量有限；(2)全部采用數(shù)據(jù)庫或結(jié)合采用數(shù)據(jù)庫的處理方式，將數(shù)據(jù)全部導(dǎo)入數(shù)據(jù)庫的過程將極大降低數(shù)據(jù)的整體處理速度，且需要依賴數(shù)據(jù)庫系統(tǒng)，適用范圍較小。

發(fā)明內(nèi)容
基于此，本發(fā)明提供一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法及系統(tǒng)，能夠快速的對(duì)大數(shù)據(jù)量電網(wǎng)模型數(shù)據(jù)進(jìn)行分類、分塊抽取。為解決上述問題，本發(fā)明采用如下的技術(shù)方案:—種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法，包括以下步驟:順序解析源CIM XML文件中的對(duì)象，判斷每個(gè)對(duì)象所對(duì)應(yīng)的分類文件是否存在，若否則創(chuàng)建該類型的分類文件，若是則追加此對(duì)象的數(shù)據(jù)到該分類文件中，并最終形成全部分類文件；解析所述分類文件中對(duì)象類型為變電站的根類型文件，針對(duì)每個(gè)變電站對(duì)象創(chuàng)建一個(gè)CIM XML的分塊文件，并將每個(gè)變電站對(duì)象寫入其對(duì)應(yīng)的變電站文件中；創(chuàng)建對(duì)象編碼與分塊文件的映射表，記錄變電站對(duì)象編碼與輸出的分塊文件之間的映射關(guān)系；根據(jù)預(yù)先制定的類型處理順序解析所有分類文件中的每個(gè)對(duì)象，并根據(jù)對(duì)象類型以及預(yù)先制定的每個(gè)類型對(duì)象在電網(wǎng)模型層次中所采用的關(guān)聯(lián)，查找到當(dāng)前對(duì)象所對(duì)應(yīng)的上層對(duì)象的編碼，通過所述上層對(duì)象的編碼及所述映射表查找到所述上層對(duì)象所對(duì)應(yīng)的分塊文件，然后將當(dāng)前對(duì)象追加寫入到所述上層對(duì)象所對(duì)應(yīng)的分塊文件中。一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取系統(tǒng)，包括:分類模塊，用于順序解析源CIM XML文件中的對(duì)象，判斷每個(gè)對(duì)象所對(duì)應(yīng)的分類文件是否存在，若否則創(chuàng)建該類型的分類文件，若是則追加此對(duì)象的數(shù)據(jù)到該分類文件中，并最終形成全部分類文件；分塊文件創(chuàng)建模塊，用于解析所述分類文件中對(duì)象類型為變電站的根類型文件，針對(duì)每個(gè)變電站對(duì)象創(chuàng)建一個(gè)CIM XML的分塊文件，并將每個(gè)變電站對(duì)象寫入其對(duì)應(yīng)的變電站文件中；映射表創(chuàng)建模塊，用于創(chuàng)建對(duì)象編碼與分塊文件的映射表，記錄變電站對(duì)象編碼與輸出的分塊文件之間的映射關(guān)系；分塊模塊，用于根據(jù)預(yù)先制定的類型處理順序解析所有分類文件中的每個(gè)對(duì)象，并根據(jù)對(duì)象類型以及預(yù)先制定的每個(gè)類型對(duì)象在電網(wǎng)模型層次中所采用的關(guān)聯(lián)，查找到當(dāng)前對(duì)象所對(duì)應(yīng)的上層對(duì)象的編碼，通過所述上層對(duì)象的編碼及所述映射表查找到所述上層對(duì)象所對(duì)應(yīng)的分塊文件，然后將當(dāng)前對(duì)象追加寫入到所述上層對(duì)象所對(duì)應(yīng)的分塊文件中。由以上方案可以看出，本發(fā)明的一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法及系統(tǒng)，首先解析源文件輸出分類文件，然后依賴該分類文件并結(jié)合制定的類型處理順序以及對(duì)象類型所采用的關(guān)聯(lián)進(jìn)行分塊處理，從而將電網(wǎng)模型全數(shù)據(jù)的XML文件快速分類、分塊輸出到多個(gè)基于CIM的XML文件中。本發(fā)明采用內(nèi)存結(jié)合CIM XML文件的方式處理數(shù)據(jù)，解決了基于內(nèi)存或者數(shù)據(jù)庫的傳統(tǒng)方法所存在的問題，僅需要在依賴內(nèi)存存儲(chǔ)對(duì)象的唯一標(biāo)識(shí)信息，代替了在內(nèi)存中建立完整的數(shù)據(jù)對(duì)象關(guān)聯(lián)關(guān)系網(wǎng)，這樣極大減少了內(nèi)存的使用，加快了數(shù)據(jù)的處理速度，也消除了對(duì)數(shù)據(jù)庫的依賴，擴(kuò)大了的程序的適用范圍。


圖1為本發(fā)明實(shí)施例中一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法的流程示意圖；圖2為本發(fā)明實(shí)施例中一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取系統(tǒng)的結(jié)構(gòu)示意圖。
具體實(shí)施例方式下面結(jié)合附圖以及具體的實(shí)施例，對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步的描述。參見圖1所示，一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法，包括以下步驟:步驟S101，順序解析源CIM XML文件中的對(duì)象，判斷每個(gè)對(duì)象所對(duì)應(yīng)的分類文件是否存在，若否則創(chuàng)建該類型的分類文件，若是則追加此對(duì)象的數(shù)據(jù)到該分類文件中，并最終形成全部分類文件，完成分類處理，然后進(jìn)入步驟S102。解析源XML文件，最終形成全部分類文件，如Substation, xml、VoltageLevel.xml> Bay.xml> Breaker, xml>Asset, xml> AssetModelFeature.xml> BreakerTest.xml 等(如下表I所示，需要說明的是，表中還有很多如Breaker類的設(shè)備類型在表中未全部列出)，這些分類文件中分別包含的內(nèi)容是相應(yīng)類的對(duì)象，如Substation類(變電站)、VoltageLevel類(電壓等級(jí)區(qū))、Bay類(間隔)、Breaker類(開關(guān))、Asset類(資產(chǎn))、AssetModelFeature類(技術(shù)參數(shù))、BreakerTest類(試驗(yàn))等。表I分類CM XML文件
權(quán)利要求
1.一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法，其特征在于，包括以下步驟: 順序解析源CIM XML文件中的對(duì)象，判斷每個(gè)對(duì)象所對(duì)應(yīng)的分類文件是否存在，若否則創(chuàng)建該類型的分類文件，若是則追加此對(duì)象的數(shù)據(jù)到該分類文件中，并最終形成全部分類文件； 解析所述分類文件中對(duì)象類型為變電站的根類型文件，針對(duì)每個(gè)變電站對(duì)象創(chuàng)建一個(gè)CIM XML的分塊文件，并將每個(gè)變電站對(duì)象寫入其對(duì)應(yīng)的變電站文件中； 創(chuàng)建對(duì)象編碼與分塊文件的映射表，記錄變電站對(duì)象編碼與輸出的分塊文件之間的映身寸關(guān)系； 根據(jù)預(yù)先制定的類型處理順序解析所有分類文件中的每個(gè)對(duì)象，并根據(jù)對(duì)象類型以及預(yù)先制定的每個(gè)類型對(duì)象在電網(wǎng)模型層次中所采用的關(guān)聯(lián)，查找到當(dāng)前對(duì)象所對(duì)應(yīng)的上層對(duì)象的編碼，通過所述上層對(duì)象的編碼及所述映射表查找到所述上層對(duì)象所對(duì)應(yīng)的分塊文件，然后將當(dāng)前對(duì)象追加寫入到所述上層對(duì)象所對(duì)應(yīng)的分塊文件中。
2.根據(jù)權(quán)利要求1所述的電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法，其特征在于，在所述將當(dāng)前對(duì)象追加寫入到所述上層對(duì)象所對(duì)應(yīng)的分塊文件中之后，還包括步驟:增加當(dāng)前對(duì)象編碼與其寫入的分塊文件的映射，并記錄到所述映射表中。
3.根據(jù)權(quán)利要求2所述的電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法，其特征在于，在所述增加當(dāng)前對(duì)象編碼與其寫入的分塊文件的映射并記錄到所述映射表中之后，還包括步驟:將未能找到對(duì)應(yīng)的分塊文件并寫入的孤立數(shù)據(jù)對(duì)象進(jìn)行分類統(tǒng)計(jì)輸出，且該輸出為CM XML文件。
4.根據(jù)權(quán)利要求1-3任意 一項(xiàng)所述的電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法，其特征在于，所述預(yù)先制定的類型處理順序如下:變電站-電壓等級(jí)區(qū)-間隔-開關(guān)-設(shè)備資產(chǎn)-試驗(yàn)。
5.一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取系統(tǒng)，其特征在于，包括: 分類模塊，用于順序解析源CIM XML文件中的對(duì)象，判斷每個(gè)對(duì)象所對(duì)應(yīng)的分類文件是否存在，若否則創(chuàng)建該類型的分類文件，若是則追加此對(duì)象的數(shù)據(jù)到該分類文件中，并最終形成全部分類文件； 分塊文件創(chuàng)建模塊，用于解析所述分類文件中對(duì)象類型為變電站的根類型文件，針對(duì)每個(gè)變電站對(duì)象創(chuàng)建一個(gè)CIM XML的分塊文件，并將每個(gè)變電站對(duì)象寫入其對(duì)應(yīng)的變電站文件中； 映射表創(chuàng)建模塊，用于創(chuàng)建對(duì)象編碼與分塊文件的映射表，記錄變電站對(duì)象編碼與輸出的分塊文件之間的映射關(guān)系； 分塊模塊，用于根據(jù)預(yù)先制定的類型處理順序解析所有分類文件中的每個(gè)對(duì)象，并根據(jù)對(duì)象類型以及預(yù)先制定的每個(gè)類型對(duì)象在電網(wǎng)模型層次中所采用的關(guān)聯(lián)，查找到當(dāng)前對(duì)象所對(duì)應(yīng)的上層對(duì)象的編碼，通過所述上層對(duì)象的編碼及所述映射表查找到所述上層對(duì)象所對(duì)應(yīng)的分塊文件，然后將當(dāng)前對(duì)象追加寫入到所述上層對(duì)象所對(duì)應(yīng)的分塊文件中。
6.根據(jù)權(quán)利要求5所述的電網(wǎng)模型數(shù)據(jù)的分類分塊抽取系統(tǒng)，其特征在于，所述分塊模塊還用于在所述將當(dāng)前對(duì)象追加寫入到所述上層對(duì)象所對(duì)應(yīng)的分塊文件中之后，增加當(dāng)前對(duì)象編碼與其寫入的分塊文件的映射，并記錄到所述映射表中。
7.根據(jù)權(quán)利要求6所述的電網(wǎng)模型數(shù)據(jù)的分類分塊抽取系統(tǒng)，其特征在于，還包括:孤立數(shù)據(jù)對(duì)象輸出模塊，用于在所述增加當(dāng)前對(duì)象編碼與其寫入的分塊文件的映射并記錄到所述映射表中之后，將未能找到對(duì)應(yīng)的分塊文件并寫入的孤立數(shù)據(jù)對(duì)象進(jìn)行分類統(tǒng)計(jì)輸出，且該輸出為CM XML文件。
8.根據(jù)權(quán)利要求5-7任意一項(xiàng)所述的電網(wǎng)模型數(shù)據(jù)的分類分塊抽取系統(tǒng)，其特征在于，所述預(yù)先制定的類型處理順序如下:變電站-電壓等級(jí)區(qū)-間隔-開關(guān)-設(shè)備資產(chǎn)-試驗(yàn)。`
全文摘要
本發(fā)明提供一種電網(wǎng)模型數(shù)據(jù)的分類分塊抽取方法及系統(tǒng)，所述方法包括以下步驟順序解析源CIM XML文件中的對(duì)象，判斷每個(gè)對(duì)象所對(duì)應(yīng)的分類文件是否存在，若否則創(chuàng)建該類型的分類文件，若是則追加此對(duì)象的數(shù)據(jù)到該分類文件中；解析所述分類文件中對(duì)象類型為變電站的根類型文件，針對(duì)每個(gè)變電站對(duì)象創(chuàng)建一個(gè)CIM XML的分塊文件，將每個(gè)變電站對(duì)象寫入其對(duì)應(yīng)的變電站文件中；創(chuàng)建對(duì)象編碼與分塊文件的映射表；根據(jù)類型處理順序解析所有分類文件中的每個(gè)對(duì)象，并查找當(dāng)前對(duì)象所對(duì)應(yīng)的上層對(duì)象的編碼，然后將當(dāng)前對(duì)象追加寫入到上層對(duì)象所對(duì)應(yīng)的分塊文件中。本發(fā)明的方法及系統(tǒng)能夠快速的對(duì)大數(shù)據(jù)量電網(wǎng)模型數(shù)據(jù)進(jìn)行分類、分塊抽取。
文檔編號(hào)G06F17/30GK103164532SQ20131011870
公開日2013年6月19日 申請(qǐng)日期2013年4月7日 優(yōu)先權(quán)日2013年4月7日
發(fā)明者謝善益, 楊強(qiáng), 王紅斌, 杜雙育, 黃勇, 梁成輝, 馬金寶 申請(qǐng)人:廣東電網(wǎng)公司電力科學(xué)研究院, 威海欣智信息科技有限公司