般來說，在運營商數(shù)據(jù)生命周期管理中，常以表中數(shù)據(jù)產(chǎn)生的時間(以表中的時間字段記錄)作為數(shù)據(jù)生命周期管理的依據(jù)，總體的技術架構如圖2所示，為了實現(xiàn)自動化的數(shù)據(jù)迀移、清理過程，本發(fā)明充分利用oracle 12C新特性結合數(shù)據(jù)生命周期管理的思路，整理出通過Oracle 12C進行數(shù)據(jù)生命周期管理方法，大致包括四個步驟:策略定義、作業(yè)定義、作業(yè)自動化調(diào)度和監(jiān)控與報告。本發(fā)明提供的基于Oracle的數(shù)據(jù)處理方法具體包括如下步驟:
[0030]步驟S1:針對Oracle數(shù)據(jù)庫中的不同數(shù)據(jù)表實體，分別設定各表數(shù)據(jù)的保存方式、迀移方式和清理方式。
[0031]表數(shù)據(jù)的保存方式用于設定表數(shù)據(jù)按照什么原則進行數(shù)據(jù)保留，保存原則可以通過表中的時間字段與當前時間作比較，如保留時間在最近3個月的數(shù)據(jù)；也可以通過一些特殊規(guī)則保存，如已經(jīng)銷戶的數(shù)據(jù)等。
[0032]表數(shù)據(jù)的迀移方式用于設定保留策略以外的數(shù)據(jù)是將按什么樣的規(guī)則迀移和備份到數(shù)據(jù)庫或數(shù)據(jù)文件中，或者在線迀移到相同數(shù)據(jù)庫的備份表空間中；包括data pump方式和在線移動歷史表空間方式。
[0033]表數(shù)據(jù)的清理方式是指在數(shù)據(jù)迀移或備份完成后，數(shù)據(jù)表如何按保存原則從當前生產(chǎn)表中被清理的方式和方法，包括按表數(shù)據(jù)分區(qū)清理方式、按分表清理方式和按特定SQL清理方式等。
[0034]步驟S2:將所述Oracle數(shù)據(jù)庫內(nèi)至少一個已設定的表數(shù)據(jù)的清理方式進行組合形成數(shù)據(jù)清理作業(yè)。
[0035]步驟S3:針對所述數(shù)據(jù)清理作業(yè)分配具體的執(zhí)行時間窗口，并在預設時間窗口內(nèi)調(diào)度作業(yè)執(zhí)行。
[0036]步驟S4:根據(jù)自動化作業(yè)的調(diào)度執(zhí)行結果，匯總數(shù)據(jù)迀移和清理的監(jiān)控信息。在完成系統(tǒng)平臺清理策略和清理作業(yè)定義完成后，最終將會實現(xiàn)平臺在定義的時間窗口內(nèi)執(zhí)行自動化的數(shù)據(jù)自動迀移、壓縮、備份、清理等一系列復雜的工作，減少歷史數(shù)據(jù)清理的對人的依賴。具體實現(xiàn)過程:讀取多個數(shù)據(jù)清理作業(yè)配置，創(chuàng)建并行子進程，每個子進程處理一個數(shù)據(jù)清理作業(yè)；同一數(shù)據(jù)清理作業(yè)中的表數(shù)據(jù)的清理方式按照先后關系串行執(zhí)行。如果表數(shù)據(jù)的迀移方式為data pump方式，則使用Oracle提供data pump API將數(shù)據(jù)從歷史數(shù)據(jù)表中按單個分區(qū)或者單個分表倒出；如果表數(shù)據(jù)的迀移方式為在線移動歷史表空間方式，則使用Oracle中的在線移動分區(qū)特性，采用在線移動方式將表的歷史分區(qū)數(shù)據(jù)迀移到指定表空間。Truncate目標數(shù)據(jù)庫中的單個數(shù)據(jù)分區(qū)，啟用oracle 12C分區(qū)增強特性，在線異步維護全局索引，減少到在線系統(tǒng)的影響。在數(shù)據(jù)迀移和清理過程中，充分使用Oracle 12C中分區(qū)表和索引的新特性partit1ning Improvements分區(qū)特性增強，實現(xiàn)數(shù)據(jù)的在線迀移，迀移和清理過程對應用系統(tǒng)透明，并且不影響業(yè)務系統(tǒng)的正常運行。實現(xiàn)歷史數(shù)據(jù)清理和迀移“O”停機時間。
[0037]此外，根據(jù)需要，本發(fā)明還將倒出文件通過FTP或SCP方式傳輸?shù)絺浞菹到y(tǒng)或者備份數(shù)據(jù)庫，以及使用Oracle提供data pump API方式將備份歷史數(shù)據(jù)倒入指定備份數(shù)據(jù)庫中。
[0038]綜上所述，本發(fā)明提供的基于Oracle的數(shù)據(jù)處理方法，通過對Oracle數(shù)據(jù)庫中的不同數(shù)據(jù)表實體分別設定保存方式、迀移方式和清理方式，自動化調(diào)度數(shù)據(jù)清理作業(yè)實現(xiàn)數(shù)據(jù)迀移、清理過程的周期化、自動化，具體優(yōu)點如下:1.配置化歷史數(shù)據(jù)備份、迀移和清理策略，平臺自身智能判斷歷史數(shù)據(jù)所在分區(qū)和所在分表，無需要人工編寫腳本；2.迀移、清理過程實現(xiàn)周期化、自動化，無需人工干預，減少數(shù)據(jù)操作的工作量；3.迀移、清理過程通過Oracle 12c的新技術實現(xiàn)支撐，實現(xiàn)在線的數(shù)據(jù)清理和迀移，并且實現(xiàn)迀移、清理過程零停機時間以及對應用的零影響。
[0039]雖然本發(fā)明已以較佳實施例揭示如上，然其并非用以限定本發(fā)明，任何本領域技術人員，在不脫離本發(fā)明的精神和范圍內(nèi)，當可作些許的修改和完善，因此本發(fā)明的保護范圍當以權利要求書所界定的為準。
【主權項】
1.一種基于Oracle的數(shù)據(jù)處理方法，其特征在于，包括如下步驟: a)針對Oracle數(shù)據(jù)庫中的不同數(shù)據(jù)表實體，分別設定各表數(shù)據(jù)的保存方式、迀移方式和清理方式； b)將所述Oracle數(shù)據(jù)庫內(nèi)至少一個已設定的表數(shù)據(jù)的清理方式進行組合形成數(shù)據(jù)清理作業(yè)； c)針對所述數(shù)據(jù)清理作業(yè)分配具體的執(zhí)行時間窗口，并在預設時間窗口內(nèi)調(diào)度作業(yè)執(zhí)行； d)根據(jù)自動化作業(yè)的調(diào)度執(zhí)行結果，匯總數(shù)據(jù)迀移和清理的監(jiān)控信息。
2.如權利要求1所述的基于Oracle的數(shù)據(jù)處理方法，其特征在于，所述步驟a)中的表數(shù)據(jù)的保存方式如下:通過比較表中的時間字段與當前時間，定期保存表數(shù)據(jù)。
3.如權利要求1所述的基于Oracle的數(shù)據(jù)處理方法，其特征在于，所述步驟a)中的表數(shù)據(jù)的迀移方式包括data pump方式和在線移動歷史表空間方式。
4.如權利要求3所述的基于Oracle的數(shù)據(jù)處理方法，其特征在于，所述步驟a)中的表數(shù)據(jù)的清理方式包括按表數(shù)據(jù)分區(qū)清理方式、按分表清理方式和按特定SQL清理方式。
5.如權利要求4所述的基于Oracle的數(shù)據(jù)處理方法，其特征在于，所述步驟c)包括如下過程:讀取多個數(shù)據(jù)清理作業(yè)配置，創(chuàng)建并行子進程，每個子進程處理一個數(shù)據(jù)清理作業(yè)；同一數(shù)據(jù)清理作業(yè)中的表數(shù)據(jù)的清理方式按照先后關系串行執(zhí)行。
6.如權利要求5所述的基于Oracle的數(shù)據(jù)處理方法，其特征在于，如果表數(shù)據(jù)的迀移方式為data pump方式，則使用Oracle提供data pump API將數(shù)據(jù)從歷史數(shù)據(jù)表中按單個分區(qū)或者單個分表倒出；如果表數(shù)據(jù)的迀移方式為在線移動歷史表空間方式，則使用Oracle中的在線移動分區(qū)特性，采用在線移動方式將表的歷史分區(qū)數(shù)據(jù)迀移到指定表空間。
7.如權利要求6所述的基于Oracle的數(shù)據(jù)處理方法，其特征在于，還包括啟用Oracle分區(qū)增強特性，在線異步維護全局索引。
8.如權利要求6所述的基于Oracle的數(shù)據(jù)處理方法，其特征在于，還包括將倒出文件通過FTP或SCP方式傳輸?shù)絺浞菹到y(tǒng)或者備份數(shù)據(jù)庫，以及使用Oracle提供data pump API方式將備份歷史數(shù)據(jù)倒入指定備份數(shù)據(jù)庫中。
【專利摘要】本發(fā)明公開了一種基于Oracle的數(shù)據(jù)處理方法，包括如下步驟：a)針對Oracle數(shù)據(jù)庫中的不同數(shù)據(jù)表實體，分別設定各表數(shù)據(jù)的保存方式、遷移方式和清理方式；b)將所述Oracle數(shù)據(jù)庫內(nèi)至少一個已設定的表數(shù)據(jù)的清理方式進行組合形成數(shù)據(jù)清理作業(yè)；c)針對所述數(shù)據(jù)清理作業(yè)分配具體的執(zhí)行時間窗口，并在預設時間窗口內(nèi)調(diào)度作業(yè)執(zhí)行；d)根據(jù)自動化作業(yè)的調(diào)度執(zhí)行結果，匯總數(shù)據(jù)遷移和清理的監(jiān)控信息。本發(fā)明通過對不同數(shù)據(jù)表實體分別設定保存方式、遷移方式和清理方式，調(diào)度數(shù)據(jù)清理作業(yè)實現(xiàn)數(shù)據(jù)遷移、清理過程的周期化、自動化，減少數(shù)據(jù)操作的工作量，并且實現(xiàn)遷移、清理過程零停機時間以及對應用的零影響。
【IPC分類】G06F17-30
【公開號】CN104572867
【申請?zhí)枴緾N201410799734
【發(fā)明人】程永新, 宋輝, 梁銘圖
【申請人】上海新炬網(wǎng)絡信息技術有限公司
【公開日】2015年4月29日
【申請日】2014年12月18日