企業(yè)級數據中心的元數據質量稽核系統(tǒng)、方法及平臺的制作方法
【專利摘要】本發(fā)明公開了一種企業(yè)級數據中心元數據質量稽核系統(tǒng)、稽核方法以及稽核平臺，稽核系統(tǒng)包括：任務定義模塊，配置稽核的數據對象來源，或利用已有的稽核模板，綁定稽核數據對象和模板規(guī)則；運行監(jiān)控模塊，設置實時或者定時的調度方式，任務執(zhí)行后在稽核結果視圖中查看不同層面的稽核結果；質量分析模塊，查看針對數據中心及分析體系應用的從各稽核任務執(zhí)行結果所產生的質量分析報告。
【專利說明】企業(yè)級數據中心的元數據質量稽核系統(tǒng)、方法及平臺
【技術領域】
[0001]本發(fā)明屬于數據校驗應用領域，涉及對稽核的數據資源統(tǒng)一管理，具體涉及一種企業(yè)級數據中心的元數據質量稽核系統(tǒng)、稽核方法及稽核平臺。
【背景技術】
[0002]為提高數據資產的管理應用水平，發(fā)揮數據資產的潛在價值，在數據中心建設和企業(yè)數據模型建設的基礎上，必須通過制定一套元數據管理控制規(guī)范，并進行不斷優(yōu)化，從初步構建元數據管理控制規(guī)范和平臺開始，向元數據管理自動化推進，最終實現數據資產管理和使用標準化，最大限度的發(fā)揮數據資產的價值。
[0003]由于國內信息化起步晚，加之數據質量管控也是近些年才越來越多地得到企業(yè)的關注，總體上看產品的成熟度不足，國內案例較少。但擁有數據質量管控的強大優(yōu)勢卻是不容忽視的。

【發(fā)明內容】

[0004]本發(fā)明公開了一種企業(yè)級數據中心元數據質量稽核系統(tǒng)，包括:
任務定義模塊，配置稽核的數據對象來源，或利用已有的稽核模板，綁定稽核數據對象和模板規(guī)則；
運行監(jiān)控模塊，設置實時或者定時的調度方式，任務執(zhí)行后在稽核結果視圖中查看不同層面的稽核結果；
質量分析模塊，查看針對數據中心及分析體系應用的從各稽核任務執(zhí)行結果所產生的質量分析報告。
[0005]其中，任務定義模塊對數據對象來源數據庫的連接進行配置和管理，實現手工文件的導入和數據讀取，支持瀏覽并選擇數據庫中的數據表及導入的手工數據表作為稽核對象，提供各種類型的稽核模板，通過選擇已有模板實現某類型稽核任務的建立，根據配置的規(guī)則將規(guī)則應用于稽核任務中設置的稽核對象，通過在界面定義一系列新的稽核任務流程實現任務的生成。
[0006]其中，運行監(jiān)控模塊能夠按照使用者的視角對已有稽核任務進行分類管理和集中瀏覽，以實時或定時的方式執(zhí)行數據質量稽核任務，匯總查看稽核任務的執(zhí)行結果，并查看執(zhí)行結果的明細信息，能夠查看稽核任務執(zhí)行的日志信息，輔助確定數據質量問題產生的原因。
[0007]其中，質量分析模塊實現多種總體數據質量報告，洞察信息中心的全局性數據質量，實現所有稽核任務的結果詳細報告和分類匯總報告，了解該類問題的質量狀況，實現質量報告按照時間維度、校驗對象等進行篩選及查看。
[0008]本發(fā)明還公開了采用上述企業(yè)級數據中心元數據質量稽核系統(tǒng)進行元數據質量稽核的方法，包括如下步驟:
I)從任務定義模塊配置好稽核的數據對象來源，或利用已有的稽核模板，綁定稽核數據對象和模板規(guī)則；
2)從運行監(jiān)控模塊啟動稽核，設置實時或者定時的調度方式，任務執(zhí)行后在稽核結果視圖中查看不同層面的稽核結果；
3)質量分析模塊查看針對數據中心及分析體系應用的從各稽核任務執(zhí)行結果所產生的質量分析報告。
[0009]其中，步驟I)中任務定義模塊實現連接管理、稽核模板、新建稽核、修改稽核四個功能，為運行監(jiān)控模塊提供任務定義、修改的功能；運行監(jiān)控模塊提供稽核時間配置、運行任務和查看結果功能；質量分析模塊提供查看稽核實例報告、稽核維度匯總報告、質量健康狀況總體報告和數據對象匯總報告這四種質量分析報告。
[0010]本發(fā)明還公開了一種基于企業(yè)級數據中心元數據質量稽核平臺，包括展現層、應用層、數據層和源系統(tǒng)層，其中展現層主要描述各類用戶訪問數據質量稽核平臺的方式方法；應用層主要描述各類用戶使用數據質量稽核平臺的功能界面和輸入輸出；數據層涵蓋了平臺所涉及的所有數據；源系統(tǒng)層對應納入平臺管理的各類數據源。
[0011]其中，應用層功能涵蓋任務定義、運行監(jiān)控和質量分析三大核心模塊，以及平臺基礎輔助功能(用戶管理、搜索功能)；稽核的基本流程貫通了三大核心模塊的功能:先從任務定義模塊配置好稽核的數據對象來源，或利用已有的稽核模板，綁定稽核數據對象和模板規(guī)則；從運行監(jiān)控模塊啟動稽核，最后查看稽核結果；質量分析模塊可查看各類匯總報告。
[0012]其中，數據層涵蓋了平臺所涉及的所有數據，包括元數據庫、對源系統(tǒng)進行數據質量稽核時的數據緩存區(qū)、系統(tǒng)配置信息庫、平臺的校驗規(guī)則庫、質量稽核執(zhí)行腳本庫、各類質量稽核結果數據以及平臺稽核能力所對應的質量報告模板庫。
[0013]其中，源系統(tǒng)層對應納入平臺管理的各類數據源，主要包括:業(yè)務操作系統(tǒng)，如交易系統(tǒng)、營銷系統(tǒng)等；數據中心相關系統(tǒng)，如數據抽取平臺、數據倉庫等；分析應用系統(tǒng)，如三大分析體系等的基礎數據或者業(yè)務指標數據。
[0014]本發(fā)明的應用對于提升數據中心在企業(yè)中的作用有著重要的意義。
【專利附圖】

【附圖說明】
[0015]圖1為數據質量稽核平臺功能架構圖。
【具體實施方式】
[0016]企業(yè)級數據中心元數據質量稽核方法，其核心是元數據質量稽核規(guī)則體系，包括以下兩方面共11項。
[0017]一、基礎數據質量方面
1、數據完整性:實體的每個屬性都有明確的值，不存在“空”或“未知”的屬性；
2、數據相關性:對于數據庫中的某些實體，它們的存在可能要依賴于其它的實體，對這樣的實體要滿足外鍵參照完整性；
3、數據唯一性:滿足主鍵唯一性約束，即一個表中的一組屬性的值是唯一的；
4、數據有效性:數據要滿足值域和數據有效范圍定義，或滿足數據格式及相關約束，即保證實體屬性的值要在用戶定義的有效范圍之內；
5、數據及時性:數據的提交或獲取滿足業(yè)務應用對數據的時間要求； 6、非重復記錄:是否存在多個記錄表現同一個實體的現象。
二、業(yè)務指標質量方面
7、指標邏輯合規(guī)性:業(yè)務指標的計算規(guī)則或結果符合業(yè)務校驗規(guī)則；
8、指標計算邏輯準確性:指標的計算邏輯正確，在數據的計算和轉換過程中沒有存在
偏差;
9、指標口徑一致性:在分析體系之間或內部指標的口徑保持一致；
10、指標交叉驗證:通過抽象數據與匯總數據的交叉驗證，或者現有數據與引用數據的交叉驗證，評判數據質量的狀況；
11、指標的異常及波動性檢查。
[0018]稽核的基本流程貫通了三大核心模塊的功能:
1)先從任務定義模塊配置好稽核的數據對象來源，或利用已有的稽核模板，綁定稽核數據對象和模板規(guī)則；
2)從運行監(jiān)控模塊啟動稽核，設置實時或者定時的調度方式，任務執(zhí)行后可以在稽核結果視圖中查看不同層面的稽核結果；
3)質量分析模塊可查看針對數據中心及分析體系應用的從各稽核任務執(zhí)行結果所產生的質量分析報告。
[0019]其中任務定義模塊實現連接管理、稽核模板、新建稽核、修改稽核四個功能，為運行監(jiān)控模塊提供了任務定義、修改的功能。運行監(jiān)控模塊提供了稽核時間配置、運行任務和查看結果的功能。質量分析模塊提供查看稽核實例報告、稽核維度匯總報告、質量健康狀況總體報告和數據對象匯總報告這四種質量分析報告。
[0020]下面根據附圖及具體實施案例對本發(fā)明再作進一步詳細說明。
[0021]附圖1為基于企業(yè)級數據中心元數據質量稽核方法所開發(fā)的數據質量稽核平臺的功能架構，包括了展現層、應用層、數據層、源系統(tǒng)層。
[0022]1、展現層:主要描述各類用戶訪問數據質量稽核平臺的方式方法。根據華北電網信息化建設要求，各類用戶將通過華北電網門戶提供的單點登錄功能進入數據質量稽核平臺，訪問平臺提供給用戶的富客戶端應用模塊。
[0023]2、應用層:主要描述各類用戶使用數據質量稽核平臺的功能界面和輸入輸出。本層功能涵蓋任務定義、運行監(jiān)控和質量分析三大核心模塊，以及平臺基礎輔助功能(用戶管理、搜索功能)?；说幕玖鞒特炌巳蠛诵哪K的功能:先從任務定義模塊配置好稽核的數據對象來源，或利用已有的稽核模板，綁定稽核數據對象和模板規(guī)則；從運行監(jiān)控模塊啟動稽核，最后查看稽核結果；質量分析模塊可查看各類匯總報告。
[0024]3、數據層:涵蓋了平臺所涉及的所有數據，包括元數據庫、對源系統(tǒng)進行數據質量稽核時的數據緩存區(qū)、系統(tǒng)配置信息庫、平臺的校驗規(guī)則庫、質量稽核執(zhí)行腳本庫、各類質量稽核結果數據以及平臺稽核能力所對應的質量報告模板庫。
[0025]4、源系統(tǒng)層:對應納入平臺管理的各類數據源，主要包括:業(yè)務操作系統(tǒng)，如交易系統(tǒng)、營銷系統(tǒng)等；數據中心相關系統(tǒng)，如數據抽取平臺、數據倉庫等；分析應用系統(tǒng)，如三大分析體系等的基礎數據或者業(yè)務指標數據。
[0026]本項目通過實現以下工作內容來完成數據質量稽核平臺建設的實施:
定義數據質量稽核模型，收集數據質量校驗規(guī)則 在平臺實施之前首先需要對基于數據中心的數據質量現狀進行調研和分析，然后基于調研情況定義數據質量稽核模型，基于這些模型收集和整理數據質量稽核的校驗規(guī)則。
[0027]數據質量稽核模型定義:針對平臺應用的數據范圍內的數據分類情況及數據質量稽核需求定義稽核數據模型，滿足所有應用對數據質量稽核的需要。
[0028]數據質量校驗規(guī)則整理:基于數據模型，收集和整理模型中各項的具體數據質量稽核的數據和規(guī)則，建立數據質量稽核規(guī)則庫，滿足開發(fā)人員對數據稽核需求進行分析、實現和管理的參考需要。
[0029]數據質量稽核平臺實現
基于數據質量稽核需求，進行數據質量稽核平臺的開發(fā)與建設，本期需要實現的功能如下:
任務定義模塊:能夠對數據對象來源數據庫的連接進行配置和管理，實現手工文件的導入和數據讀取，支持瀏覽并選擇數據庫中的數據表及導入的手工數據表作為稽核對象。提供各種類型的稽核模板，通過選擇已有模板實現某類型稽核任務的建立，根據配置的規(guī)則將規(guī)則應用于稽核任務中設置的稽核對象，通過在界面定義一系列新的稽核任務的流程實現任務的生成。
[0030]運行監(jiān)控模塊:能夠實現按照使用者的視角對已有稽核任務進行分類管理和集中瀏覽，能夠實現以實時或定時的方式執(zhí)行數據質量稽核任務，能夠實現匯總查看稽核任務的執(zhí)行結果，并查看執(zhí)行結果的明細信息，能夠實現查看稽核任務執(zhí)行的日志信息，輔助確定數據質量問題產生的原因。
[0031]質量分析模塊:能實現多種總體數據質量報告，洞察信息中心的全局性數據質量，能夠實現所有稽核任務的結果詳細報告和分類匯總報告，了解該類問題的質量狀況，實現質量報告按照時間維度、校驗對象等進行篩選及查看。
[0032]實現與元數據管理平臺集成，實現數據質量報告的統(tǒng)一展現
本期實施內容還計劃實現數據質量稽核平臺與元數據管理平臺的集成，使用戶可以通過元數據管理平臺查看數據質量稽核平臺的主要內容和質量報告。
【權利要求】
1.一種企業(yè)級數據中心元數據質量稽核系統(tǒng)，其特征在于，包括: 任務定義模塊，配置稽核的數據對象來源，或利用已有的稽核模板，綁定稽核數據對象和模板規(guī)則； 運行監(jiān)控模塊，設置實時或者定時的調度方式，任務執(zhí)行后在稽核結果視圖中查看不同層面的稽核結果； 質量分析模塊，查看針對數據中心及分析體系應用的從各稽核任務執(zhí)行結果所產生的質量分析報告。
2.根據權利要求1所述的企業(yè)級數據中心元數據質量稽核系統(tǒng)，其特征在于:任務定義模塊對數據對象來源數據庫的連接進行配置和管理，實現手工文件的導入和數據讀取，支持瀏覽并選擇數據庫中的數據表及導入的手工數據表作為稽核對象，提供各種類型的稽核模板，通過選擇已有模板實現某類型稽核任務的建立，根據配置的規(guī)則將規(guī)則應用于稽核任務中設置的稽核對象，通過在界面定義一系列新的稽核任務流程實現任務的生成。
3.根據權利要求1或2所述的企業(yè)級數據中心元數據質量稽核系統(tǒng)，其特征在于:運行監(jiān)控模塊能夠按照使用者的視角對已有稽核任務進行分類管理和集中瀏覽，以實時或定時的方式執(zhí)行數據質量稽核任務，匯總查看稽核任務的執(zhí)行結果，并查看執(zhí)行結果的明細信息，能夠查看稽核任務執(zhí)行的日志信息，輔助確定數據質量問題產生的原因。
4.根據權利要求1-3任一項所述的企業(yè)級數據中心元數據質量稽核系統(tǒng)，其特征在于:質量分析模塊實現多種總體數據質量報告，洞察信息中心的全局性數據質量，實現所有稽核任務的結果詳細報告和分類匯總報告，了解該類問題的質量狀況，實現質量報告按照時間維度、校驗對象等進行篩選及查看。
5.采用權利要求1-4任一項所述的企業(yè)級數據中心元數據質量稽核系統(tǒng)進行元數據質量稽核的方法，其特征.在于，包括如下步驟: 1)從任務定義模塊配置好稽核的數據對象來源，或利用已有的稽核模板，綁定稽核數據對象和模板規(guī)則； 2)從運行監(jiān)控模塊啟動稽核，設置實時或者定時的調度方式，任務執(zhí)行后在稽核結果視圖中查看不同層面的稽核結果； 3)質量分析模塊查看針對數據中心及分析體系應用的從各稽核任務執(zhí)行結果所產生的質量分析報告。
6.采用權利要求5所述的方法，其特征在于，步驟I)中任務定義模塊實現連接管理、稽核模板、新建稽核、修改稽核四個功能，為運行監(jiān)控模塊提供任務定義、修改的功能；運行監(jiān)控模塊提供稽核時間配置、運行任務和查看結果功能；質量分析模塊提供查看稽核實例報告、稽核維度匯總報告、質量健康狀況總體報告和數據對象匯總報告這四種質量分析報告。
7.一種基于企業(yè)級數據中心元數據質量稽核平臺，其特征在于:包括展現層、應用層、數據層和源系統(tǒng)層，其中展現層主要描述各類用戶訪問數據質量稽核平臺的方式方法；應用層主要描述各類用戶使用數據質量稽核平臺的功能界面和輸入輸出；數據層涵蓋了平臺所涉及的所有數據；源系統(tǒng)層對應納入平臺管理的各類數據源。
8.根據權利要求7所述的基于企業(yè)級數據中心元數據質量稽核平臺，其特征在于:應用層功能涵蓋任務定義、運行監(jiān)控和質量分析三大核心模塊，以及平臺基礎輔助功能(用戶管理、搜索功能)；稽核的基本流程貫通了三大核心模塊的功能:先從任務定義模塊配置好稽核的數據對象來源，或利用已有的稽核模板，綁定稽核數據對象和模板規(guī)則；從運行監(jiān)控模塊啟動稽核，最后查看稽核結果；質量分析模塊可查看各類匯總報告。
9.根據權利要求7或8所述的基于企業(yè)級數據中心元數據質量稽核平臺，其特征在于:數據層涵蓋了平臺所涉及的所有數據，包括元數據庫、對源系統(tǒng)進行數據質量稽核時的數據緩存區(qū)、系統(tǒng)配置信息庫、平臺的校驗規(guī)則庫、質量稽核執(zhí)行腳本庫、各類質量稽核結果數據以及平臺稽核能力所對應的質量報告模板庫。
10.根據權利要求7或8或9所述的基于企業(yè)級數據中心元數據質量稽核平臺，其特征在于:源系統(tǒng)層對應納入平臺管理的各類數據源，主要包括:業(yè)務操作系統(tǒng)，如交易系統(tǒng)、營銷系統(tǒng)等；數據中心相關系統(tǒng)，如數據抽取平臺、數據倉庫等；分析應用系統(tǒng)，如三大分析體系等的基礎數 據或者業(yè)務指標數據。
【文檔編號】G06Q10/10GK103473672SQ201310457400
【公開日】2013年12月25日 申請日期:2013年9月30日 優(yōu)先權日:2013年9月30日
【發(fā)明者】李坤, 吳舜, 吳佳, 蘇丹, 高崧, 聶正璞, 許大衛(wèi), 杜劍雯, 劉昀, 來驥, 李賢 , 李曉東, 李超, 劉志偉, 楊帆, 李雪梅, 那瓊瀾 申請人:國家電網公司, 國網冀北電力有限公司信通分公司, 北京博望華科科技有限公司