一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法
【專利說明】一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法
[0001]
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及網(wǎng)絡(luò)通信數(shù)據(jù)交換領(lǐng)域，具體地，涉及一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法。
【背景技術(shù)】
[0003]目前的企業(yè)單位均存在著大大小小不同時(shí)期建設(shè)的專業(yè)性業(yè)務(wù)系統(tǒng)，系統(tǒng)間的部署主要以網(wǎng)狀結(jié)構(gòu)存在。而現(xiàn)有的各個(gè)部分使用各自的系統(tǒng)，各系統(tǒng)之間的信息不能互享，形成“信息孤島”。隨著企業(yè)單位研究業(yè)務(wù)的變化、經(jīng)濟(jì)社會(huì)的轉(zhuǎn)型和信息技術(shù)的發(fā)展，數(shù)據(jù)庫之間的數(shù)據(jù)交換越來越頻繁。在業(yè)務(wù)應(yīng)用中，經(jīng)常需要進(jìn)行復(fù)雜的數(shù)據(jù)交換，尤其是不同系統(tǒng)和業(yè)務(wù)之間，這些數(shù)據(jù)交換要求跨平臺(tái)、跨系統(tǒng)的，同時(shí)要實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)的變化和多業(yè)務(wù)的交互。輕量級(jí)數(shù)據(jù)交換方法，用戶可以通過簡(jiǎn)單的配置之間，根據(jù)自己的需要，定義好數(shù)據(jù)的抽取時(shí)間，即可實(shí)現(xiàn)數(shù)據(jù)的交換。各部門、各系統(tǒng)之間的數(shù)據(jù)龐大，其數(shù)據(jù)在交換過程中，數(shù)據(jù)的安全性十分被重視。

【發(fā)明內(nèi)容】

[0004]本發(fā)明所要解決的技術(shù)問題是提供一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法，其提高了數(shù)據(jù)處理的安全性。
[0005]本發(fā)明解決上述問題所采用的技術(shù)方案是:
一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法，包括以下步驟:
A、對(duì)源數(shù)據(jù)進(jìn)行集成、抽取；
B、去除臟數(shù)據(jù)，并對(duì)臟數(shù)據(jù)進(jìn)行記錄，去除臟數(shù)據(jù)，保證數(shù)據(jù)處理的安全性；
C、對(duì)數(shù)據(jù)進(jìn)行整合；
D、對(duì)主數(shù)據(jù)進(jìn)行交換并對(duì)應(yīng)用歷史進(jìn)行記錄，對(duì)應(yīng)用歷史進(jìn)行記錄，有效的簡(jiǎn)化后續(xù)的數(shù)據(jù)的繁瑣度。
[0006]作為優(yōu)選，在步驟A中，主數(shù)據(jù)管理平臺(tái)通過服務(wù)總線調(diào)度數(shù)據(jù)交換規(guī)則、主數(shù)據(jù)管理平臺(tái)錄入和導(dǎo)入的方式將異地分布的主數(shù)據(jù)集成到主數(shù)據(jù)管理平臺(tái)接口層數(shù)據(jù)模型中。
[0007]進(jìn)一步的，在步驟A中，為了保證數(shù)據(jù)處理的安全性，在數(shù)據(jù)集成的過程中完成數(shù)據(jù)異常處理、主數(shù)據(jù)的質(zhì)量檢查和校驗(yàn)，記錄主數(shù)據(jù)集成過程的日志，對(duì)異常數(shù)據(jù)進(jìn)行處理，可有效的提高數(shù)據(jù)的安全性，并對(duì)異常數(shù)據(jù)進(jìn)行記錄，簡(jiǎn)化后續(xù)的數(shù)據(jù)的繁瑣度。
[0008]作為優(yōu)選，在步驟C中，對(duì)主數(shù)據(jù)進(jìn)行清洗和整合，根據(jù)預(yù)制的規(guī)則將有效主數(shù)據(jù)的最新數(shù)據(jù)整合到標(biāo)準(zhǔn)層主數(shù)據(jù)模型中，將主數(shù)據(jù)的變化軌跡記錄到主數(shù)據(jù)歷史數(shù)據(jù)模型中，保證數(shù)據(jù)的完整性和準(zhǔn)確性。
[0009]作為優(yōu)選，在步驟C中，還包括對(duì)異常過程處理、數(shù)據(jù)的質(zhì)量控制和完整的處理日志記錄。
[0010]綜上，本發(fā)明的有益效果是:
本發(fā)明的方法，其對(duì)臟數(shù)據(jù)和異常數(shù)據(jù)去除、記錄等，有效的提高了數(shù)據(jù)處理的安全性且簡(jiǎn)化了后續(xù)的數(shù)據(jù)的繁瑣度。
【具體實(shí)施方式】
[0011]下面結(jié)合實(shí)施例，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0012]實(shí)施例1:
一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法，其特征在于，包括以下步驟:
A、對(duì)源數(shù)據(jù)進(jìn)行集成、抽??；
B、去除臟數(shù)據(jù)，并對(duì)臟數(shù)據(jù)進(jìn)行記錄；
C、對(duì)數(shù)據(jù)進(jìn)行整合；
D、對(duì)主數(shù)據(jù)進(jìn)行交換并對(duì)應(yīng)用歷史進(jìn)行記錄。
[0013]實(shí)施例2:
為了進(jìn)一步的提高數(shù)據(jù)處理的安全性，本實(shí)施例在上述實(shí)施例的基礎(chǔ)上做了優(yōu)化，
即:
在步驟A中，主數(shù)據(jù)管理平臺(tái)通過服務(wù)總線調(diào)度數(shù)據(jù)交換規(guī)則、主數(shù)據(jù)管理平臺(tái)錄入和導(dǎo)入的方式將異地分布的主數(shù)據(jù)集成到主數(shù)據(jù)管理平臺(tái)接口層數(shù)據(jù)模型中。
[0014]在步驟A中，在數(shù)據(jù)集成的過程中完成數(shù)據(jù)異常處理、主數(shù)據(jù)的質(zhì)量檢查和校驗(yàn)，記錄主數(shù)據(jù)集成過程的日志。
[0015]實(shí)施例3:
為了進(jìn)一步的提高數(shù)據(jù)處理的安全性，本實(shí)施例在上述實(shí)施例的基礎(chǔ)上做了優(yōu)化，
即:
在步驟C中，對(duì)主數(shù)據(jù)進(jìn)行清洗和整合，根據(jù)預(yù)制的規(guī)則將有效主數(shù)據(jù)的最新數(shù)據(jù)整合到標(biāo)準(zhǔn)層主數(shù)據(jù)模型中，將主數(shù)據(jù)的變化軌跡記錄到主數(shù)據(jù)歷史數(shù)據(jù)模型中。
[0016]在步驟C中，還包括對(duì)異常過程處理、數(shù)據(jù)的質(zhì)量控制和完整的處理日志記錄。
[0017]在對(duì)數(shù)據(jù)進(jìn)行交換時(shí)，其過程主要通過兩種模式來完成:
1、業(yè)務(wù)系統(tǒng)通過建立系統(tǒng)接口，通過系統(tǒng)用戶訪問，自動(dòng)完成數(shù)據(jù)更新。
[0018]2、通過數(shù)據(jù)用戶登錄主數(shù)據(jù)管理平臺(tái)查詢數(shù)據(jù)，手動(dòng)更新業(yè)務(wù)系統(tǒng)。
[0019]如上所述，可較好的實(shí)現(xiàn)本發(fā)明。
【主權(quán)項(xiàng)】
1.一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法，其特征在于，包括以下步驟: 對(duì)源數(shù)據(jù)進(jìn)行集成、抽??； 去除臟數(shù)據(jù)，并對(duì)臟數(shù)據(jù)進(jìn)行記錄； 對(duì)數(shù)據(jù)進(jìn)行整合； 對(duì)主數(shù)據(jù)進(jìn)行交換并對(duì)應(yīng)用歷史進(jìn)行記錄。
2.根據(jù)權(quán)利要求1所述的一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法，其特征在于:在步驟A中，主數(shù)據(jù)管理平臺(tái)通過服務(wù)總線調(diào)度數(shù)據(jù)交換規(guī)則、主數(shù)據(jù)管理平臺(tái)錄入和導(dǎo)入的方式將異地分布的主數(shù)據(jù)集成到主數(shù)據(jù)管理平臺(tái)接口層數(shù)據(jù)模型中。
3.根據(jù)權(quán)利要求1或2所述的一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法，其特征在于:在步驟A中，在數(shù)據(jù)集成的過程中完成數(shù)據(jù)異常處理、主數(shù)據(jù)的質(zhì)量檢查和校驗(yàn)，記錄主數(shù)據(jù)集成過程的日志。
4.根據(jù)權(quán)利要求1所述的一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法，其特征在于:在步驟C中，對(duì)主數(shù)據(jù)進(jìn)行清洗和整合，根據(jù)預(yù)制的規(guī)則將有效主數(shù)據(jù)的最新數(shù)據(jù)整合到標(biāo)準(zhǔn)層主數(shù)據(jù)模型中，將主數(shù)據(jù)的變化軌跡記錄到主數(shù)據(jù)歷史數(shù)據(jù)模型中。
5.根據(jù)權(quán)利要求1所述的一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法，其特征在于:在步驟C中，還包括對(duì)異常過程處理、數(shù)據(jù)的質(zhì)量控制和完整的處理日志記錄。
【專利摘要】本發(fā)明公開了一種主數(shù)據(jù)中心的數(shù)據(jù)處理方法，包括以下步驟:對(duì)源數(shù)據(jù)進(jìn)行集成、抽取；去除臟數(shù)據(jù)，并對(duì)臟數(shù)據(jù)進(jìn)行記錄，去除臟數(shù)據(jù)，保證數(shù)據(jù)處理的安全性；對(duì)數(shù)據(jù)進(jìn)行整合；對(duì)主數(shù)據(jù)進(jìn)行交換并對(duì)應(yīng)用歷史進(jìn)行記錄，有效的簡(jiǎn)化后續(xù)的數(shù)據(jù)的繁瑣度，其提高了數(shù)據(jù)處理的安全性。
【IPC分類】G06F17-30
【公開號(hào)】CN104699861
【申請(qǐng)?zhí)枴緾N201510163477
【發(fā)明人】朱焰冰
【申請(qǐng)人】成都卡萊博爾信息技術(shù)有限公司
【公開日】2015年6月10日
【申請(qǐng)日】2015年4月9日