一種輸變電設備狀態(tài)檢修數(shù)據(jù)跨平臺數(shù)據(jù)獲取與轉換方法
【技術領域】
[0001]本發(fā)明涉及一種輸變電設備狀態(tài)檢修數(shù)據(jù)跨平臺數(shù)據(jù)獲取與轉換方法，屬于智能電網狀態(tài)檢修技術領域。
【背景技術】
[0002]輸變電狀態(tài)檢修基礎數(shù)據(jù)源來自于生產管理系統(tǒng)、狀態(tài)監(jiān)測系統(tǒng)、SCADA系統(tǒng)、能量管理系統(tǒng)等多個業(yè)務系統(tǒng)。如何方便地復用這些應用系統(tǒng)的信息成為輸變電設備狀態(tài)檢修系統(tǒng)設計中的一項關鍵。
[0003]在電力系統(tǒng)內部各業(yè)務系統(tǒng)之間往往是相互獨立的分布各地，而各個子節(jié)點之間從底層的硬件平臺、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、網絡協(xié)議到應用系統(tǒng)的開發(fā)語言和設計模式，甚至在語義方面都是完全不同的。同時，各系統(tǒng)之間的數(shù)據(jù)類型多樣化，有結構化、非結構化等多種數(shù)據(jù)類型，每類數(shù)據(jù)的采集頻率和生命周期各不相同。因此輸變電設備狀態(tài)檢修數(shù)據(jù)源之間的異構程度大，數(shù)據(jù)交互難度大。

【發(fā)明內容】

[0004]為了屏蔽不同業(yè)務系統(tǒng)在數(shù)據(jù)模式和接口方式上的差異，本發(fā)明的目的在于提供一種輸變電設備狀態(tài)檢修數(shù)據(jù)跨平臺數(shù)據(jù)獲取與轉換方法，以保持輸變電設備狀態(tài)檢修系統(tǒng)數(shù)據(jù)的標準化、規(guī)劃化、方便更新擴展。
[0005]為了實現(xiàn)上述目的，本發(fā)明采用的技術方案如下:
[0006]—種輸變電設備狀態(tài)檢修數(shù)據(jù)跨平臺數(shù)據(jù)獲取與轉換方法，包括如下步驟:
[0007]S1、從元數(shù)據(jù)庫中讀取數(shù)據(jù)源的元數(shù)據(jù)，將源表的真實數(shù)據(jù)載入到臨時數(shù)據(jù)庫中(中間數(shù)據(jù)庫)；
[0008]S2、讀取各轉換節(jié)點的元數(shù)據(jù)信息，獲取配置信息和轉換規(guī)則，生成對應的SQL腳本，等待執(zhí)行；
[0009]S3、讀取調度控制流程的元數(shù)據(jù)信息，通過運算后得到調度順序，根據(jù)調度順序執(zhí)行各個轉換節(jié)點；
[0010]S4、全部轉換完畢后將數(shù)據(jù)從臨時數(shù)據(jù)庫載入到目標數(shù)據(jù)庫中。
[0011]具體地，所述步驟S1中，數(shù)據(jù)源為異構數(shù)據(jù)源或分布數(shù)據(jù)源，元數(shù)據(jù)包括源定義、源字段定義。
[0012]進一步地，所述步驟S1的實現(xiàn)方法為:
[0013]S11、元數(shù)據(jù)獲取組件訪問并獲取數(shù)據(jù)源的元數(shù)據(jù)；
[0014]S12、數(shù)據(jù)庫讀寫組件讀取數(shù)據(jù)源表的真實數(shù)據(jù)，數(shù)據(jù)類型轉換組件將真實數(shù)據(jù)的數(shù)據(jù)類型轉換為裝置支持的數(shù)據(jù)類型；
[0015]S13、數(shù)據(jù)傳輸模塊將真實數(shù)據(jù)壓縮，并通過數(shù)據(jù)處理模塊處理，然后載入到臨時數(shù)據(jù)庫中。
[0016]在執(zhí)行步驟S2之前，數(shù)據(jù)轉換模塊定義各個轉換節(jié)點，創(chuàng)建任務的工作流，構建從源到目標的字段映射，并將映射規(guī)則存儲在元數(shù)據(jù)管理模塊中；轉換節(jié)點的元數(shù)據(jù)、配置信息和轉換規(guī)則即從元數(shù)據(jù)管理模塊中獲取。
[0017]再進一步地，所述步驟S3中，數(shù)據(jù)轉換模塊將大量細粒度的轉換組件拓撲連接起來，根據(jù)業(yè)務邏輯的需要來確定各個組件的前驅后序關系，使數(shù)據(jù)每流經一個組件時發(fā)生相應的源到目標的轉換。
[0018]再進一步地，所述步驟S4中，數(shù)據(jù)加載模塊將轉換完畢的數(shù)據(jù)插入或更新到目標數(shù)據(jù)庫中。
[0019]再進一步地，轉換完畢的數(shù)據(jù)載入到目標數(shù)據(jù)庫后，還清理轉換環(huán)節(jié)的中間臨時數(shù)據(jù)。
[0020]—種輸變電設備狀態(tài)檢修數(shù)據(jù)跨平臺數(shù)據(jù)獲取與轉換系統(tǒng)，主要由數(shù)據(jù)抽取模塊、數(shù)據(jù)傳輸模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)轉換模塊、數(shù)據(jù)加載模塊以及元數(shù)據(jù)管理模塊組成。
[0021]數(shù)據(jù)抽取模塊提供數(shù)據(jù)類型轉換、元數(shù)據(jù)獲取以及數(shù)據(jù)庫讀寫等組件。數(shù)據(jù)類型轉換組件完成異構數(shù)據(jù)源的數(shù)據(jù)類型到裝置支持的數(shù)據(jù)類型的轉換；元數(shù)據(jù)獲取組件訪問并獲取數(shù)據(jù)源的元數(shù)據(jù)，記錄數(shù)據(jù)源定義和數(shù)據(jù)源字段定義；數(shù)據(jù)庫讀寫組件在讀取真實數(shù)據(jù)過程中優(yōu)化提高獲取數(shù)據(jù)的效率，解決海量數(shù)據(jù)訪問引起的性能問題。
[0022]數(shù)據(jù)傳輸模塊通過數(shù)據(jù)壓縮有效減少網絡數(shù)據(jù)傳輸量，提高存儲效率。
[0023]數(shù)據(jù)處理模塊利用數(shù)理統(tǒng)計、數(shù)據(jù)挖掘或預定義的數(shù)據(jù)智能處理規(guī)則將原始數(shù)據(jù)轉化成滿足數(shù)據(jù)質量要求的數(shù)據(jù)，包括空缺值處理、噪聲數(shù)據(jù)處理、數(shù)據(jù)一致化等。
[0024]數(shù)據(jù)轉換模塊定義各轉換節(jié)點，創(chuàng)建任務的工作流，構建從源到目標的字段映射，將這些映射規(guī)則存儲在元數(shù)據(jù)管理模塊中。數(shù)據(jù)轉換模塊將通過大量特定功能的細粒度的轉換組件拓撲連接起來，根據(jù)業(yè)務邏輯的需要來確定各個組件的前驅后序關系，使數(shù)據(jù)每流經一個組件時發(fā)生特定的轉換，完成復雜的數(shù)據(jù)轉換業(yè)務功能。
[0025]數(shù)據(jù)加載模塊將轉換完畢的數(shù)據(jù)插入或更新到目標數(shù)據(jù)庫。提供全表對比、刪除插入、增量更新插入等加載策略。同時通過直接SQL載入、連接池、緩沖池、批量更新和提交等方式，盡可能利用數(shù)據(jù)庫本身的特性來減少對數(shù)據(jù)庫I/O操作，提高執(zhí)行的效率，提升讀寫數(shù)據(jù)庫的性能。
[0026]元數(shù)據(jù)管理模塊將數(shù)據(jù)源定義信息、源字段定義信息和連接信息、源表的數(shù)據(jù)字典信息、目標表的數(shù)據(jù)字典的信息、各類轉換組件的定義信息和轉換規(guī)則、各類轉換組件的拓撲連接信息等以元數(shù)據(jù)的形式記錄下來，支持數(shù)據(jù)抽取、傳輸、處理、轉換及加載的整個過程。
[0027]與現(xiàn)有技術相比，本發(fā)明具有以下有益效果:
[0028]本發(fā)明跨平臺數(shù)據(jù)獲取與轉換方法將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到相應存儲設備中。這樣狀態(tài)檢修系統(tǒng)與基礎數(shù)據(jù)服務平臺之間只需要使用標準的接口來獲取數(shù)據(jù)，包括從控制系統(tǒng)獲取實時數(shù)據(jù)、事件和報警信息，從運行數(shù)據(jù)歷史庫獲取歷史數(shù)據(jù)，從運行預報、規(guī)劃以及安排系統(tǒng)獲取未來的計劃數(shù)據(jù)，以及從相應的系統(tǒng)中獲得在線監(jiān)測、帶電檢測等狀態(tài)檢修基礎數(shù)據(jù)。
【附圖說明】
[0029]圖1為本發(fā)明數(shù)據(jù)流圖。
[0030]圖2為本發(fā)明數(shù)據(jù)獲取與轉換系統(tǒng)架構圖。
[0031]圖3為本發(fā)明的數(shù)據(jù)獲取與轉換流程圖。
【具體實施方式】
[0032]下面結合實施例和附圖對本發(fā)明作進一步說明，本發(fā)明的實施方式包括但不限于下列實施例。
[0033]實施例
[0034]如圖1-3所示，一種輸變電設備狀態(tài)檢修數(shù)據(jù)跨平臺數(shù)據(jù)獲取與轉換系統(tǒng)，主要由數(shù)據(jù)抽取模塊、數(shù)據(jù)傳輸模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)轉換模塊、數(shù)據(jù)加載模塊以及元數(shù)據(jù)管理模塊組成。
[0035]數(shù)據(jù)抽取模塊提供數(shù)據(jù)類型轉換、元數(shù)據(jù)獲取以及數(shù)據(jù)庫讀寫等組件。數(shù)據(jù)類型轉換組件完成異構數(shù)據(jù)源的數(shù)據(jù)類型到裝置支持的數(shù)據(jù)類型的轉換；元數(shù)據(jù)獲取組件訪問并獲取數(shù)據(jù)源的元數(shù)據(jù)，記錄數(shù)據(jù)源定義和數(shù)據(jù)源字段定義；數(shù)據(jù)庫讀寫