一種基于Oracle的數(shù)據(jù)處理方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)處理方法，尤其涉及一種基于Oracle的數(shù)據(jù)處理方法。
【背景技術(shù)】
[0002]由于多數(shù)IT系統(tǒng)是7*24小時(shí)不間斷運(yùn)轉(zhuǎn)的生產(chǎn)系統(tǒng)，生產(chǎn)運(yùn)行的過程中不斷產(chǎn)生大量數(shù)據(jù)。這些產(chǎn)生的數(shù)據(jù)來自于了用戶新增，訂單，工單，用戶帳清單信息等。通常地，這些數(shù)據(jù)由系統(tǒng)應(yīng)用不斷產(chǎn)生，但是系統(tǒng)應(yīng)用本身對產(chǎn)生的數(shù)據(jù)通常并不會作出有效的處理。歷史數(shù)據(jù)在得不到有效的清理的情況下，造成數(shù)據(jù)只進(jìn)不出的情況；同時(shí)，盡管在系統(tǒng)上線規(guī)劃時(shí)規(guī)劃了足夠的冗余容量，但由于系統(tǒng)新業(yè)務(wù)不斷增加和上線，數(shù)據(jù)增長的速度還是遠(yuǎn)遠(yuǎn)超過了規(guī)劃。
[0003]數(shù)據(jù)迅速增長，往往會帶來各種問題和壓力:
[0004]1、存儲方面影響:在只進(jìn)不出的情況下，再多的存儲也會被沉積的歷史數(shù)據(jù)所吞噬。由于歷史數(shù)據(jù)無法從當(dāng)前業(yè)務(wù)表中分離，無法使用數(shù)據(jù)庫壓縮，分層次存儲等技術(shù)，降低存儲方面的消耗。
[0005]2、系統(tǒng)性能影響:盡管數(shù)據(jù)的訪問一般都集中于近期數(shù)據(jù)，但數(shù)據(jù)庫仍然要掃描整個(gè)表的數(shù)據(jù)或者索引，單個(gè)表的數(shù)據(jù)量龐大，造成整體數(shù)據(jù)查詢的效率大幅度降低。特別是在數(shù)據(jù)模型設(shè)計(jì)不合理的情況下，這種變更特別明顯。
[0006]3、維護(hù)和安全:表數(shù)據(jù)量過大，造成常見數(shù)據(jù)庫維護(hù)變得困難，包括索引創(chuàng)建、數(shù)據(jù)迀移和數(shù)據(jù)維護(hù)等。數(shù)據(jù)安全受到影響，數(shù)據(jù)備份時(shí)間變長。同時(shí)，需要進(jìn)行整體數(shù)據(jù)恢復(fù)時(shí)，關(guān)鍵的業(yè)務(wù)數(shù)據(jù)恢復(fù)時(shí)間變長。
[0007]由上可見，有必要對Oracle的數(shù)據(jù)處理方法進(jìn)行改進(jìn)，在對系統(tǒng)應(yīng)用影響最少的情況下，解決數(shù)據(jù)不斷增長的問題。數(shù)據(jù)生命周期管理(DLM)是針對不同類型的業(yè)務(wù)數(shù)據(jù)進(jìn)行貫穿其整個(gè)生命周期的管理，通過完整的數(shù)據(jù)生命周期管理解決方案，可以讓不同類型的數(shù)據(jù)存放在最適合的存儲設(shè)備上，利用適當(dāng)?shù)募夹g(shù)手段對這些數(shù)據(jù)進(jìn)行快速處理和分析。
[0008]數(shù)據(jù)生命周期管理，是將生產(chǎn)數(shù)據(jù)按一定的規(guī)則和特征，將劃分為不同生命周期:一般來說，可劃分為產(chǎn)生期、成長期、衰退期和消亡期四類。按數(shù)據(jù)生命周期的特點(diǎn)，對數(shù)據(jù)分而治之，進(jìn)行數(shù)據(jù)的有效組織和快速的迀移。數(shù)據(jù)生命周期管理的目的和作用在于:
[0009]通過對歷史和消亡數(shù)據(jù)的迀移和管理，有效地減少系統(tǒng)數(shù)據(jù)庫中在線數(shù)據(jù)量，可以有效提升系統(tǒng)性能；
[0010]通過對歷史和消亡數(shù)據(jù)的迀移和管理，減少系統(tǒng)在線數(shù)據(jù)量和復(fù)雜，降低系統(tǒng)備份、恢復(fù)以及索引創(chuàng)建等重要數(shù)據(jù)維護(hù)的難度，全面提升系統(tǒng)可維護(hù)性；
[0011]數(shù)據(jù)生命周期管理按照規(guī)范進(jìn)行設(shè)計(jì)和部署，同時(shí)又充分考慮到系統(tǒng)應(yīng)用設(shè)計(jì)特點(diǎn)，提供充分的靈活性和擴(kuò)展性；
[0012]通過對歷史和消亡數(shù)據(jù)的迀移和管理，在保障數(shù)據(jù)庫安全和性能的情況下，使用較低端的存儲，較低的存儲數(shù)據(jù)保護(hù)級別，以及運(yùn)用數(shù)據(jù)壓縮等技術(shù)用于歷史和消亡數(shù)據(jù)的存儲，大幅提尚現(xiàn)有存儲設(shè)計(jì)利用率。
[0013]由于數(shù)據(jù)生命周期管理大幅提高現(xiàn)有存儲利用率，從另一方面也降低單位存儲，例如每TB數(shù)據(jù)的平均存儲成本，節(jié)省大量用于存儲擴(kuò)容的資金。數(shù)據(jù)生命周期管理一般應(yīng)用于核心系統(tǒng)的數(shù)據(jù)管理，如電信運(yùn)營商的核心系統(tǒng)一般為7*24小時(shí)不間斷工作的系統(tǒng)，應(yīng)用系統(tǒng)牽涉到電信運(yùn)營商日常業(yè)務(wù)的開展，系統(tǒng)維護(hù)操作對企業(yè)影響非常大。同時(shí)，由于電信運(yùn)營商IT系統(tǒng)的特性，其核心業(yè)務(wù)數(shù)據(jù)庫不斷產(chǎn)生大量數(shù)據(jù)，存儲擴(kuò)容速度遠(yuǎn)不能達(dá)到其增長需求，需要不定期進(jìn)行數(shù)據(jù)生命周期管理迀移工作才能保證其工作正常開展。
[0014]但是目前應(yīng)用技術(shù)方案的缺點(diǎn)在于以下問題:1.數(shù)據(jù)迀移效率過低，迀移時(shí)間過長；2.數(shù)據(jù)清理的過程中對業(yè)務(wù)系統(tǒng)產(chǎn)生影響，需要在停機(jī)維護(hù)窗口實(shí)施。例如，對分區(qū)方式清理數(shù)據(jù)時(shí)，一般使用truncate partit1n或drop partit1n操作，此時(shí)如果表存在全局索引或者主鍵，需要對索引進(jìn)行自動(dòng)維護(hù)或者手工重建，都會對正在運(yùn)行的系統(tǒng)應(yīng)用產(chǎn)生影響。3.對人的依賴性高，自動(dòng)化程度低。

【發(fā)明內(nèi)容】

[0015]本發(fā)明所要解決的技術(shù)問題是提供一種基于Oracle的數(shù)據(jù)處理方法，能夠?qū)崿F(xiàn)數(shù)據(jù)迀移、清理過程的周期化、自動(dòng)化，無需人工干預(yù)，減少數(shù)據(jù)操作的工作量，并且實(shí)現(xiàn)迀移、清理過程零停機(jī)時(shí)間以及對應(yīng)用的零影響。
[0016]本發(fā)明為解決上述技術(shù)問題而采用的技術(shù)方案是提供一種基于Oracle的數(shù)據(jù)處理方法，包括如下步驟:a)針對Oracle數(shù)據(jù)庫中的不同數(shù)據(jù)表實(shí)體，分別設(shè)定各表數(shù)據(jù)的保存方式、迀移方式和清理方式山)將所述Oracle數(shù)據(jù)庫內(nèi)至少一個(gè)已設(shè)定的表數(shù)據(jù)的清理方式進(jìn)行組合形成數(shù)據(jù)清理作業(yè)；c)針對所述數(shù)據(jù)清理作業(yè)分配具體的執(zhí)行時(shí)間窗口，并在預(yù)設(shè)時(shí)間窗口內(nèi)調(diào)度作業(yè)執(zhí)行；d)根據(jù)自動(dòng)化作業(yè)的調(diào)度執(zhí)行結(jié)果，匯總數(shù)據(jù)迀移和清理的監(jiān)控信息。
[0017]上述的基于Oracle的數(shù)據(jù)處理方法，其中，所述步驟a)中的表數(shù)據(jù)的保存方式如下:通過比較表中的時(shí)間字段與當(dāng)前時(shí)間，定期保存表數(shù)據(jù)。
[0018]上述的基于Oracle的數(shù)據(jù)處理方法，其中，所述步驟a)中的表數(shù)據(jù)的迀移方式包括data pump方式和在線移動(dòng)歷史表空間方式。
[0019]上述的基于Oracle的數(shù)據(jù)處理方法，其中，所述步驟a)中的表數(shù)據(jù)的清理方式包括按表數(shù)據(jù)分區(qū)清理方式、按分表清理方式和按特定SQL清理方式。
[0020]上述的基于Oracle的數(shù)據(jù)處理方法，其中，所述步驟c)包括如下過程:讀取多個(gè)數(shù)據(jù)清理作業(yè)配置，創(chuàng)建并行子進(jìn)程，每個(gè)子進(jìn)程處理一個(gè)數(shù)據(jù)清理作業(yè)；同一數(shù)據(jù)清理作業(yè)中的表數(shù)據(jù)的清理方式按照先后關(guān)系串行執(zhí)行。
[0021]上述的基于Oracle的數(shù)據(jù)處理方法，其中，如果表數(shù)據(jù)的迀移方式為data pump方式，則使用Oracle提供data pump API將數(shù)據(jù)從歷史數(shù)據(jù)表中按單個(gè)分區(qū)或者單個(gè)分表倒出；如果表數(shù)據(jù)的迀移方式為在線移動(dòng)歷史表空間方式，則使用Oracle中的在線移動(dòng)分區(qū)特性，采用在線移動(dòng)方式將表的歷史分區(qū)數(shù)據(jù)迀移到指定表空間。
[0022]上述的基于Oracle的數(shù)據(jù)處理方法，其中，還包括啟用Oracle分區(qū)增強(qiáng)特性，在線異步維護(hù)全局索引。
[0023]上述的基于Oracle的數(shù)據(jù)處理方法，其中，還包括將倒出文件通過FTP或SCP方式傳輸?shù)絺浞菹到y(tǒng)或者備份數(shù)據(jù)庫，以及使用Oracle提供data pump API方式將備份歷史數(shù)據(jù)倒入指定備份數(shù)據(jù)庫中。
[0024]本發(fā)明對比現(xiàn)有技術(shù)有如下的有益效果:本發(fā)明提供的基于Oracle的數(shù)據(jù)處理方法，通過對Oracle數(shù)據(jù)庫中的不同數(shù)據(jù)表實(shí)體分別設(shè)定保存方式、迀移方式和清理方式，自動(dòng)化調(diào)度數(shù)據(jù)清理作業(yè)實(shí)現(xiàn)數(shù)據(jù)迀移、清理過程的周期化、自動(dòng)化，無需人工干預(yù)，減少數(shù)據(jù)操作的工作量，并且實(shí)現(xiàn)迀移、清理過程零停機(jī)時(shí)間以及對應(yīng)用的零影響。
【附圖說明】
[0025]圖1為本發(fā)明基于Oracle的數(shù)據(jù)處理流程示意圖；
[0026]圖2為本發(fā)明使用的數(shù)據(jù)生命周期管理架構(gòu)示意圖。
【具體實(shí)施方式】
[0027]下面結(jié)合附圖和實(shí)施例對本發(fā)明作進(jìn)一步的描述。
[0028]圖1為本發(fā)明基于Oracle的數(shù)據(jù)處理流程示意圖；圖2為本發(fā)明使用的數(shù)據(jù)生命周期管理架構(gòu)示意圖。
[0029]請參見圖1和圖2，一