專利名稱：一種在線數(shù)據(jù)生命周期管理方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，尤其涉及一種在線數(shù)據(jù)生命周期管理方法和裝置。
背景技術(shù)：
在目前的業(yè)務(wù)系統(tǒng)中，隨著融合，割接，集中等等項(xiàng)目的實(shí)施，業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)變得日益龐大。尤其是營(yíng)帳系統(tǒng)，計(jì)費(fèi)系統(tǒng)，經(jīng)分系統(tǒng)等，隨著時(shí)間的推移以及業(yè)務(wù)量的增長(zhǎng)，數(shù)據(jù)量日漸臃腫；同時(shí)，數(shù)據(jù)的時(shí)效性問(wèn)題越來(lái)越被關(guān)注，需要針對(duì)不同系統(tǒng)，制定合適的數(shù)據(jù)生命周期管理機(jī)制，否則如果任由其發(fā)展，數(shù)據(jù)庫(kù)將最終不堪重負(fù)。因此，如何對(duì)過(guò)期歷史數(shù)據(jù)進(jìn)行有效處理，成為一個(gè)尤為重要問(wèn)題。絕大部分現(xiàn)有的系統(tǒng)中，在對(duì)過(guò)期歷史數(shù)據(jù)的處理方式上，主要有以下幾種方式第一種，以時(shí)間維度為衡量標(biāo)準(zhǔn)，按照一定的時(shí)間間隔(日，周，月等)，制定數(shù)據(jù)生命周期規(guī)則，對(duì)符合條件的過(guò)期歷史數(shù)據(jù)進(jìn)行刪除(DELETE)操作，從而保證數(shù)據(jù)庫(kù)總體數(shù)據(jù)量的基本穩(wěn)定。第二種，使用分區(qū)表模式，按照一定的時(shí)間維度進(jìn)行分區(qū)(日，周，月等)，制定數(shù)據(jù)生命周期規(guī)則，對(duì)符合條件的過(guò)期數(shù)據(jù)分區(qū)進(jìn)行截短(TRUNCATE)操作。第三者，使用歷史表，對(duì)當(dāng)前表中過(guò)期數(shù)據(jù)，通過(guò)插入(INSERT)操作遷移到歷史表中，然后在當(dāng)前表中使用DELETE或TRUNCATE等手段清理過(guò)期數(shù)據(jù)。上述方式中的DELETE、INSERT和TRUNCATE都是結(jié)構(gòu)化查詢語(yǔ)言(SQL)中的基本語(yǔ)句，其中，DELETE語(yǔ)句執(zhí)行刪除的過(guò)程是每次從表中刪除一行，并且同時(shí)將該行的的刪除操作作為事務(wù)記錄在日志中保存以便進(jìn)行進(jìn)行回滾操作，其執(zhí)行速度較慢；TRUNCATE語(yǔ)句則一次性地從表中刪除所有的數(shù)據(jù)頁(yè)而并不把單獨(dú)的刪除操作記錄記入日志保存，刪除行是不能恢復(fù)的，其執(zhí)行速度快；INSERT語(yǔ)句用來(lái)在數(shù)據(jù)表或視圖中插入一行數(shù)據(jù)。當(dāng)前數(shù)據(jù)庫(kù)系統(tǒng)，需要處理的數(shù)據(jù)量，信息量越來(lái)越龐大，應(yīng)用系統(tǒng)的結(jié)構(gòu)設(shè)計(jì)越來(lái)越復(fù)雜，數(shù)據(jù)庫(kù)規(guī)模也隨之與日俱增，現(xiàn)有技術(shù)方案逐漸顯露出多種欠缺和不足。第一種技術(shù)，使用DELETE方式，適用于所有業(yè)務(wù)類型的數(shù)據(jù)對(duì)象，包括分區(qū)表，非分區(qū)表等等。但是，該作業(yè)方式對(duì)數(shù)據(jù)庫(kù)的資源消耗很大，當(dāng)需要處理的數(shù)據(jù)量較大時(shí)，數(shù)據(jù)庫(kù)因?yàn)檫^(guò)期數(shù)據(jù)處理需要承擔(dān)的負(fù)載量將無(wú)法承受。第二種技術(shù)，基于分區(qū)表技術(shù)，使用TRUNCATE技術(shù)，該技術(shù)手段比DELETE方式簡(jiǎn)單高效。但是，首先在實(shí)際生產(chǎn)中，數(shù)據(jù)的區(qū)隔度往往不止時(shí)間維度，例如賬單數(shù)據(jù)，存在動(dòng)態(tài)的已結(jié)清和未結(jié)清數(shù)據(jù)，不能僅僅依靠時(shí)間維度，對(duì)其進(jìn)行TRUNCATE，其次，在高并發(fā)訪問(wèn)的系統(tǒng)中，對(duì)頻繁訪問(wèn)的表表進(jìn)行TRUNCATE操作，容易產(chǎn)生閉鎖，造成業(yè)務(wù)中止，影響業(yè)務(wù)系統(tǒng)的連貫性。第三種技術(shù)，從本質(zhì)上說(shuō)沒有脫離第一與第二種技術(shù)的范疇，存在與第一、二種技術(shù)手段相同的問(wèn)題?？梢?，現(xiàn)有的管理數(shù)據(jù)生命周期的技術(shù)手段均沒有真正解決在線數(shù)據(jù)生命周期管理問(wèn)題，在實(shí)際生產(chǎn)環(huán)境中使用均存在著大量的不適應(yīng)性，同時(shí)對(duì)生產(chǎn)系統(tǒng)的影響也處于較高的風(fēng)險(xiǎn)水平。

發(fā)明內(nèi)容
本發(fā)明提供了一種在線數(shù)據(jù)生命周期管理方法，能夠高效低耗地管理數(shù)據(jù)生命周期，從而保證數(shù)據(jù)庫(kù)的資源高效性。本發(fā)明還提供了一種在線數(shù)據(jù)生命周期管理裝置，能夠高效低耗地管理數(shù)據(jù)生命周期，從而保證數(shù)據(jù)庫(kù)的資源高效性。本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的一種在線數(shù)據(jù)生命周期管理方法，包括預(yù)先設(shè)置多個(gè)主表分區(qū)，并為每個(gè)主表分區(qū)分別設(shè)置一個(gè)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)和一個(gè)對(duì)應(yīng)的歷史子表；將數(shù)據(jù)按照時(shí)間維度進(jìn)行劃分，將劃分后的數(shù)據(jù)分別保存在各個(gè)主表分區(qū)中；當(dāng)一個(gè)主表分區(qū)中的數(shù)據(jù)到達(dá)生命周期末端時(shí)，將所述數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離，將分離出的動(dòng)態(tài)數(shù)據(jù)復(fù)制并保存入所述主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)，并將所述主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至所述主表分區(qū)對(duì)應(yīng)的歷史子表中，對(duì)所述歷史子表中的數(shù)據(jù)進(jìn)行刪除操作。一種在線數(shù)據(jù)生命周期管理裝置，包括分區(qū)模塊，用于預(yù)先設(shè)置多個(gè)主表分區(qū)，并為每個(gè)主表分區(qū)分別設(shè)置一個(gè)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)和一個(gè)對(duì)應(yīng)的歷史子表；劃分模塊，用于將數(shù)據(jù)按照時(shí)間維度進(jìn)行劃分，將劃分后的數(shù)據(jù)分別保存在各個(gè)主表分區(qū)中；靜動(dòng)態(tài)分離模塊，用于當(dāng)一個(gè)主表分區(qū)中的數(shù)據(jù)到達(dá)生命周期末端時(shí)，將所述數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離，將分離出的動(dòng)態(tài)數(shù)據(jù)復(fù)制并保存入所述主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)；轉(zhuǎn)移模塊，用于當(dāng)對(duì)主表分區(qū)中的數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)分離之后，將所述主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至所述主表分區(qū)對(duì)應(yīng)的歷史子表中；刪除模塊，用于對(duì)所述歷史子表中的數(shù)據(jù)進(jìn)行刪除操作?？梢?，本發(fā)明提出的方法和裝置，通過(guò)多元化數(shù)據(jù)結(jié)構(gòu)，引入主表分區(qū)、歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)和歷史子表的概念，融入了業(yè)務(wù)數(shù)據(jù)過(guò)濾分離技術(shù)，通過(guò)分區(qū)轉(zhuǎn)換等手段，實(shí)現(xiàn)了實(shí)時(shí)在線的高效低耗地管理數(shù)據(jù)生命周期。


圖1為本發(fā)明提出的在線數(shù)據(jù)生命周期管理方法示意圖；圖2本發(fā)明實(shí)施例中業(yè)務(wù)主表的結(jié)構(gòu)示意圖；圖3為本發(fā)明實(shí)施例中歷史動(dòng)態(tài)數(shù)據(jù)分表的結(jié)構(gòu)示意圖；圖4為本發(fā)明實(shí)施例中歷史子表的結(jié)構(gòu)示意圖；圖5為本發(fā)明實(shí)施例中實(shí)現(xiàn)靜動(dòng)態(tài)數(shù)據(jù)分離的示意圖；圖6為本發(fā)明實(shí)施例中對(duì)主表分區(qū)與歷史子表進(jìn)行EXCHANGE操作的示意圖。
具體實(shí)施例方式在現(xiàn)有的數(shù)據(jù)庫(kù)系統(tǒng)中，靜動(dòng)態(tài)數(shù)據(jù)可分為幾類，第一類是單純以時(shí)間維度評(píng)估的記錄類數(shù)據(jù)，該部分?jǐn)?shù)據(jù)從進(jìn)入數(shù)據(jù)庫(kù)開始，就已經(jīng)是靜態(tài)數(shù)據(jù)，供查詢使用，如非特殊情況，對(duì)該類數(shù)據(jù)的訪問(wèn)基本上以查詢?yōu)橹鳎擃悢?shù)據(jù)的數(shù)據(jù)量較大，同時(shí)訪問(wèn)量也較大； 第二類數(shù)據(jù)，除了時(shí)間維度外，還要考慮應(yīng)用維度(如賬單數(shù)據(jù)等)，該部分?jǐn)?shù)據(jù)在進(jìn)入數(shù)據(jù)庫(kù)后會(huì)隨著業(yè)務(wù)的變化而變化的(如未結(jié)清賬單轉(zhuǎn)變?yōu)橐呀Y(jié)清賬單)，該類數(shù)據(jù)的數(shù)據(jù)量和訪問(wèn)量同樣較大，并且，對(duì)其的訪問(wèn)除了查詢外，還會(huì)有大量的更新操作，在同一時(shí)間維度內(nèi)，隨著時(shí)間維度的延伸，在接近數(shù)據(jù)生命周期末端時(shí)，動(dòng)態(tài)數(shù)據(jù)所占的比例將越來(lái)越小，通常不超過(guò)5% ；第三類數(shù)據(jù)，可以被稱為持續(xù)動(dòng)態(tài)數(shù)據(jù)(如用戶信息數(shù)據(jù))，該部分?jǐn)?shù)據(jù)、在數(shù)據(jù)庫(kù)中所占比重極小，通常不會(huì)發(fā)生劇烈變化，并且數(shù)據(jù)的特性是持續(xù)動(dòng)態(tài)的，無(wú)需進(jìn)行生命周期管理。本發(fā)明就是以此為出發(fā)點(diǎn)，針對(duì)第一類和第二類數(shù)據(jù)，引入主表分區(qū)、、歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)和歷史子表的概念，設(shè)計(jì)出符合這兩類數(shù)據(jù)特性的多元化底層數(shù)據(jù)結(jié)構(gòu)，并根據(jù)此結(jié)構(gòu)，融入業(yè)務(wù)數(shù)據(jù)過(guò)濾分離技術(shù)，通過(guò)EXCHANGE等技術(shù)手段，進(jìn)而建立起一套高效低耗的在線數(shù)據(jù)生命周期管理方法。本發(fā)明提出的在線數(shù)據(jù)生命周期管理方法包括預(yù)先設(shè)置多個(gè)主表分區(qū)，每個(gè)主表分區(qū)分別對(duì)應(yīng)一個(gè)歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)和一個(gè)歷史子表；將數(shù)據(jù)按照時(shí)間維度進(jìn)行劃分，將劃分后的數(shù)據(jù)分別保存在各個(gè)主表分區(qū)中；當(dāng)一個(gè)主表分區(qū)中的數(shù)據(jù)到達(dá)生命周期末端時(shí)，將所述數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離，將分離出的動(dòng)態(tài)數(shù)據(jù)復(fù)制并保存入所述主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)，并將所述主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至所述主表分區(qū)對(duì)應(yīng)的歷史子表中，對(duì)所述歷史子表中的數(shù)據(jù)進(jìn)行刪除操作。如圖1為本發(fā)明提出的在線數(shù)據(jù)生命周期管理方法示意圖。在圖1中，將業(yè)務(wù)主表包括η個(gè)主表分區(qū)，每個(gè)主表分區(qū)分別對(duì)應(yīng)1個(gè)歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)和1個(gè)歷史子表，η個(gè)歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)構(gòu)成歷史動(dòng)態(tài)分表。數(shù)據(jù)按照時(shí)間維度進(jìn)行劃分，劃分后的數(shù)據(jù)分別保存在各個(gè)主表分區(qū)中；當(dāng)一個(gè)主表分區(qū)中的數(shù)據(jù)到達(dá)生命周期末端是時(shí)，執(zhí)行靜動(dòng)態(tài)數(shù)據(jù)分離，將分離出的動(dòng)態(tài)數(shù)據(jù)保存入該主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)，這樣，該主表分區(qū)中數(shù)據(jù)就全部為靜態(tài)數(shù)據(jù)，該主表分區(qū)也就成為靜態(tài)分區(qū)；之后，將該主表分區(qū)(此時(shí)已經(jīng)是靜態(tài)分區(qū))與其對(duì)應(yīng)的歷史子表進(jìn)行EXCHANGE操作，原先的主表分區(qū)變成空分區(qū)，而原本為空的歷史子表則包含了原來(lái)主表分區(qū)中的數(shù)據(jù)，這樣就可以對(duì)歷史子表中的數(shù)據(jù)進(jìn)行刪除操作。以下舉具體的實(shí)施例詳細(xì)介紹。實(shí)施例一業(yè)務(wù)主表的結(jié)構(gòu)設(shè)計(jì)業(yè)務(wù)主表的結(jié)構(gòu)設(shè)計(jì)以時(shí)間維度為主，保存前述第一類數(shù)據(jù)及第二類數(shù)據(jù)，根據(jù)業(yè)務(wù)數(shù)據(jù)的生命周期規(guī)律，以時(shí)間維度進(jìn)行分區(qū)，業(yè)務(wù)主表包括多個(gè)主表分區(qū)。如圖2本發(fā)明實(shí)施例中業(yè)務(wù)主表的結(jié)構(gòu)示意圖，以賬單數(shù)據(jù)為例，其時(shí)間維度單位是月，因此，對(duì)其賬單日期字段提取月份信息，構(gòu)造分區(qū)字段，并形成按月排放的主表分區(qū)結(jié)構(gòu)，分區(qū)數(shù)目取決于數(shù)據(jù)有效生命時(shí)間，假設(shè)有效生命時(shí)間為12個(gè)月，則賬單業(yè)務(wù)主表一共建12個(gè)主表分區(qū)，即1月分區(qū)至12月分區(qū)，循環(huán)使用。實(shí)施例二 歷史動(dòng)態(tài)數(shù)據(jù)分表的結(jié)構(gòu)設(shè)計(jì)歷史動(dòng)態(tài)數(shù)據(jù)分表用于存放那些在業(yè)務(wù)主表中到達(dá)時(shí)間維度定義的生命周期、但根據(jù)業(yè)務(wù)維度仍處于激活狀態(tài)的數(shù)據(jù)。歷史動(dòng)態(tài)數(shù)據(jù)分表包括多個(gè)歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)，每個(gè)歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)對(duì)應(yīng)一個(gè)主表分區(qū)。當(dāng)主表分區(qū)的時(shí)間維度窗口到達(dá)后，通過(guò)靜動(dòng)態(tài)數(shù)據(jù)分離層，將這部分歷史動(dòng)態(tài)數(shù)據(jù)分離至歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)。如圖3為本發(fā)明實(shí)施例中歷史動(dòng)態(tài)數(shù)據(jù)分表的結(jié)構(gòu)示意圖，其結(jié)構(gòu)設(shè)計(jì)與業(yè)務(wù)主表完全一致。通常來(lái)說(shuō)，這部分?jǐn)?shù)據(jù)只占總數(shù)據(jù)1% 5%。實(shí)施例三歷史子表結(jié)構(gòu)設(shè)計(jì)歷史子表的結(jié)構(gòu)設(shè)計(jì)與業(yè)務(wù)主表邏輯結(jié)構(gòu)完全一致，采取單表結(jié)構(gòu)，歷史子表數(shù)量與業(yè)務(wù)主表的主表分區(qū)數(shù)對(duì)應(yīng)。沿用上面的例子，在此需要建立與12個(gè)主表分區(qū)對(duì)應(yīng)的 12個(gè)歷史子表，在初始創(chuàng)建時(shí)，歷史子表均為空表，通過(guò)后續(xù)的EXCHANGE語(yǔ)句進(jìn)行數(shù)據(jù)轉(zhuǎn)換，如圖4為本發(fā)明實(shí)施例中歷史子表的結(jié)構(gòu)示意圖。實(shí)施例四靜動(dòng)態(tài)數(shù)據(jù)分離根據(jù)實(shí)際研究計(jì)算，業(yè)務(wù)主表中到達(dá)時(shí)間維度定義的生命周期、但根據(jù)業(yè)務(wù)維度仍處于激活狀態(tài)的數(shù)據(jù)通常只占總數(shù)據(jù)量的 5%，并且，正常情況下靜動(dòng)態(tài)數(shù)據(jù)轉(zhuǎn)化是單向的。以賬單數(shù)據(jù)為例，只可能從未結(jié)清狀態(tài)轉(zhuǎn)變?yōu)橐呀Y(jié)清狀態(tài)，而不會(huì)從已結(jié)清狀態(tài)轉(zhuǎn)變?yōu)槲唇Y(jié)清狀態(tài)(除非應(yīng)用異常)。因此，為了實(shí)現(xiàn)高效的靜動(dòng)態(tài)數(shù)據(jù)分離，本實(shí)施例主要從動(dòng)態(tài)數(shù)據(jù)入手，S卩，將數(shù)據(jù)中的動(dòng)態(tài)數(shù)據(jù)從所有數(shù)據(jù)中分離出來(lái)。當(dāng)數(shù)據(jù)在主表分區(qū)中達(dá)到時(shí)間維度定義的生命周期末端時(shí)，對(duì)該主表分區(qū)中的數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離，依然沿用賬單表的例子，假設(shè)現(xiàn)在是12月，在業(yè)務(wù)主表中，1月主表分區(qū)中的數(shù)據(jù)已經(jīng)接近生命周期末端，需要對(duì)其進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離。如圖5為本發(fā)明實(shí)施例中實(shí)現(xiàn)靜動(dòng)態(tài)數(shù)據(jù)分離的示意圖。在主表分區(qū)1中，動(dòng)態(tài)數(shù)據(jù)所占比重大約在左右，并且訪問(wèn)可能性極低，因此在計(jì)劃安排的時(shí)間窗口內(nèi)，對(duì)這
的動(dòng)態(tài)數(shù)據(jù)，采取INSERT等同步手段，同步至歷史動(dòng)態(tài)數(shù)據(jù)分表的對(duì)應(yīng)分區(qū)中，形成歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)1，同時(shí)，原主表分區(qū)1中的數(shù)據(jù)全部轉(zhuǎn)化為靜態(tài)數(shù)據(jù)，則主表分區(qū)1也就變成了靜態(tài)分區(qū)1。實(shí)施例五主表分區(qū)與歷史子表進(jìn)行EXCHANGE經(jīng)過(guò)上述實(shí)施例四中的靜動(dòng)態(tài)數(shù)據(jù)分離后，業(yè)務(wù)主表的生命周期末端分區(qū)(此處為主表分區(qū)1，也就是靜態(tài)分區(qū)1)中，全部是靜態(tài)可清理數(shù)據(jù)。對(duì)于實(shí)時(shí)在線系統(tǒng)，業(yè)務(wù)主表除了包括主表分區(qū)1的數(shù)據(jù)外，還包括其他主表分區(qū)的數(shù)據(jù)，因此，生產(chǎn)系統(tǒng)對(duì)業(yè)務(wù)主表的訪問(wèn)頻率依舊較高，此時(shí)，對(duì)該業(yè)務(wù)主表的主表分區(qū)1的在線清理必須采用最小影響的方式。在本實(shí)施例中，使用表分區(qū)與單表EXCHANGE技術(shù)。如圖6為本發(fā)明實(shí)施例中對(duì)主表分區(qū)與歷史子表進(jìn)行EXCHANGE操作的示意圖。表分區(qū)與單表EXCHANGE技術(shù)是通過(guò)更新數(shù)據(jù)字典來(lái)實(shí)現(xiàn)分區(qū)與普通表的置換， 對(duì)物理對(duì)象無(wú)任何操作，不會(huì)引起任何IO爭(zhēng)用以及對(duì)象爭(zhēng)用風(fēng)險(xiǎn)。通過(guò)EXCHANGE操作后， 原業(yè)務(wù)主表的主表分區(qū)1變成空分區(qū)，而原本為空表的歷史子表1此時(shí)則包含了全部原來(lái)主表分區(qū)1的數(shù)據(jù)，操作完成時(shí)間為秒級(jí)。
EXCHANGE操作完成后，原主表分區(qū)1中的數(shù)據(jù)與原業(yè)務(wù)主表完全脫離關(guān)系，實(shí)現(xiàn)了完全安全高效的靜態(tài)數(shù)據(jù)剝離。此時(shí)，對(duì)歷史過(guò)期數(shù)據(jù)的處理，只需要對(duì)歷史子表操作即可，對(duì)當(dāng)前生產(chǎn)應(yīng)用無(wú)任何影響。同時(shí)，由于歷史子表中的數(shù)據(jù)是已經(jīng)經(jīng)過(guò)靜動(dòng)態(tài)分離的，所以，對(duì)該歷史子表可以進(jìn)行全表的DDL操作，如采用TRUNCATE語(yǔ)句或下降(DROP)語(yǔ)句等對(duì)歷史子表中的數(shù)據(jù)進(jìn)行刪除。因此，在數(shù)據(jù)清理策略選擇上，直接采用TRUNCATE子表的方式，達(dá)到了高效安全無(wú)
縫的清理。另外，如果存在歷史數(shù)據(jù)遷移需求，則可以對(duì)歷史子表進(jìn)行查詢、遷移等操作，這對(duì)系統(tǒng)的業(yè)務(wù)主表不會(huì)產(chǎn)生影響。從而全面保障了數(shù)據(jù)庫(kù)系統(tǒng)數(shù)據(jù)生命周期管理的高效性、低耗性、安全性以及高度的業(yè)務(wù)契合性。以上即為本發(fā)明提出的在線數(shù)據(jù)生命周期管理方法，相應(yīng)地，本發(fā)明還提出一種在線數(shù)據(jù)生命周期管理裝置，包括分區(qū)模塊，用于預(yù)先設(shè)置多個(gè)主表分區(qū)，并為每個(gè)主表分區(qū)分別設(shè)置一個(gè)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)和一個(gè)對(duì)應(yīng)的歷史子表；劃分模塊，用于將數(shù)據(jù)按照時(shí)間維度進(jìn)行劃分，將劃分后的數(shù)據(jù)分別保存在各個(gè)主表分區(qū)中；靜動(dòng)態(tài)分離模塊，用于當(dāng)一個(gè)主表分區(qū)中的數(shù)據(jù)到達(dá)生命周期末端時(shí)，將所述數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離，將分離出的動(dòng)態(tài)數(shù)據(jù)復(fù)制并保存入所述主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)；轉(zhuǎn)移模塊，用于當(dāng)對(duì)主表分區(qū)中的數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)分離之后，將所述主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至所述主表分區(qū)對(duì)應(yīng)的歷史子表中；刪除模塊，用于對(duì)所述歷史子表中的數(shù)據(jù)進(jìn)行刪除操作。上述靜動(dòng)態(tài)分離模塊將數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離的方式可以為將所述數(shù)據(jù)中的動(dòng)態(tài)數(shù)據(jù)從所述數(shù)據(jù)中分離出來(lái)。上述靜動(dòng)態(tài)分離模塊將分離出的動(dòng)態(tài)數(shù)據(jù)保存入主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)的方式可以為采用INSERT語(yǔ)句進(jìn)行保存。上述轉(zhuǎn)移模塊用于采用EXCHANGE語(yǔ)句，對(duì)所述主表分區(qū)和該主表分區(qū)對(duì)應(yīng)的歷史子表進(jìn)行置換，將所述主表分區(qū)轉(zhuǎn)換成空分區(qū)，將所述主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至所述歷史子表。上述刪除模塊用于采用TRUNCATE語(yǔ)句或DROP語(yǔ)句對(duì)所述歷史子表中的數(shù)據(jù)進(jìn)行刪除。綜上可見，本發(fā)明提出的在線數(shù)據(jù)生命周期管理方法和裝置，引入業(yè)務(wù)主表，歷史子表及歷史動(dòng)態(tài)數(shù)據(jù)分表等方式的多元化數(shù)據(jù)結(jié)構(gòu)，解決了維護(hù)性與業(yè)務(wù)性的沖突，同時(shí)， 該多元化數(shù)據(jù)結(jié)構(gòu)模型具有廣泛的適用性。通過(guò)業(yè)務(wù)規(guī)則的靜動(dòng)態(tài)數(shù)據(jù)分離，量化了業(yè)務(wù)特征，也融合了業(yè)務(wù)數(shù)據(jù)的特性和共性，實(shí)現(xiàn)了最小化的生產(chǎn)數(shù)據(jù)處理，大大提高了生產(chǎn)業(yè)務(wù)數(shù)據(jù)表的安全性。使用靜動(dòng)態(tài)數(shù)據(jù)分離技術(shù)，以及分區(qū)exchange partition技術(shù)，高效實(shí)現(xiàn)了靜態(tài)歷史數(shù)據(jù)與生產(chǎn)對(duì)象的完全剝離，具備充分的擴(kuò)展性與通用性，后續(xù)對(duì)歷史過(guò)期數(shù)據(jù)的任何處理均沒有任何系統(tǒng)風(fēng)險(xiǎn)性。以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。
權(quán)利要求
1.一種在線數(shù)據(jù)生命周期管理方法，其特征在于，所述方法包括預(yù)先設(shè)置多個(gè)主表分區(qū)，并為每個(gè)主表分區(qū)分別設(shè)置一個(gè)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)和一個(gè)對(duì)應(yīng)的歷史子表；將數(shù)據(jù)按照時(shí)間維度進(jìn)行劃分，將劃分后的數(shù)據(jù)分別保存在各個(gè)主表分區(qū)中；當(dāng)一個(gè)主表分區(qū)中的數(shù)據(jù)到達(dá)生命周期末端時(shí)，將所述數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離，將分離出的動(dòng)態(tài)數(shù)據(jù)復(fù)制并保存入所述主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)，并將所述主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至所述主表分區(qū)對(duì)應(yīng)的歷史子表中，對(duì)所述歷史子表中的數(shù)據(jù)進(jìn)行刪除操作。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離的方式為將所述數(shù)據(jù)中的動(dòng)態(tài)數(shù)據(jù)從所述數(shù)據(jù)中分離出來(lái)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將分離出的動(dòng)態(tài)數(shù)據(jù)保存入主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)的方式為采用插入INSERT語(yǔ)句進(jìn)行保存。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至該主表分區(qū)對(duì)應(yīng)的歷史子表的方式為采用交換EXCHANGE語(yǔ)句，對(duì)所述主表分區(qū)和該主表分區(qū)對(duì)應(yīng)的歷史子表進(jìn)行置換，將所述主表分區(qū)轉(zhuǎn)換成空分區(qū)，將所述主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至所述歷史子表。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)歷史子表中的數(shù)據(jù)進(jìn)行刪除操作的方式為采用截短TRUNCATE語(yǔ)句或下降DROP語(yǔ)句對(duì)所述數(shù)據(jù)進(jìn)行刪除。
6.一種在線數(shù)據(jù)生命周期管理裝置，其特征在于，所述裝置包括分區(qū)模塊，用于預(yù)先設(shè)置多個(gè)主表分區(qū)，并為每個(gè)主表分區(qū)分別設(shè)置一個(gè)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)和一個(gè)對(duì)應(yīng)的歷史子表；劃分模塊，用于將數(shù)據(jù)按照時(shí)間維度進(jìn)行劃分，將劃分后的數(shù)據(jù)分別保存在各個(gè)主表分區(qū)中；靜動(dòng)態(tài)分離模塊，用于當(dāng)一個(gè)主表分區(qū)中的數(shù)據(jù)到達(dá)生命周期末端時(shí)，將所述數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離，將分離出的動(dòng)態(tài)數(shù)據(jù)復(fù)制并保存入所述主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)；轉(zhuǎn)移模塊，用于當(dāng)對(duì)主表分區(qū)中的數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)分離之后，將所述主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至所述主表分區(qū)對(duì)應(yīng)的歷史子表中；刪除模塊，用于對(duì)所述歷史子表中的數(shù)據(jù)進(jìn)行刪除操作。
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述靜動(dòng)態(tài)分離模塊將數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離的方式為將所述數(shù)據(jù)中的動(dòng)態(tài)數(shù)據(jù)從所述數(shù)據(jù)中分離出來(lái)。
8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述靜動(dòng)態(tài)分離模塊將分離出的動(dòng)態(tài)數(shù)據(jù)保存入主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)的方式為采用插入INSERT語(yǔ)句進(jìn)行保存。
9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述轉(zhuǎn)移模塊用于采用交換EXCHANGE語(yǔ)句，對(duì)所述主表分區(qū)和該主表分區(qū)對(duì)應(yīng)的歷史子表進(jìn)行置換，將所述主表分區(qū)轉(zhuǎn)換成空分區(qū)，將所述主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至所述歷史子表。
10.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述刪除模塊用于采用截短TRUNCATE語(yǔ)句或下降DROP語(yǔ)句對(duì)所述歷史子表中的數(shù)據(jù)進(jìn)行刪除。
全文摘要
本發(fā)明提出一種在線數(shù)據(jù)生命周期管理方法和裝置，其中方法包括預(yù)先設(shè)置多個(gè)主表分區(qū)，并為每個(gè)主表分區(qū)分別設(shè)置一個(gè)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)和一個(gè)對(duì)應(yīng)的歷史子表；將數(shù)據(jù)按照時(shí)間維度進(jìn)行劃分，將劃分后的數(shù)據(jù)分別保存在各個(gè)主表分區(qū)中；當(dāng)一個(gè)主表分區(qū)中的數(shù)據(jù)到達(dá)生命周期末端時(shí)，將所述數(shù)據(jù)進(jìn)行靜動(dòng)態(tài)數(shù)據(jù)分離，將分離出的動(dòng)態(tài)數(shù)據(jù)復(fù)制并保存入所述主表分區(qū)對(duì)應(yīng)的歷史動(dòng)態(tài)數(shù)據(jù)分區(qū)，并將所述主表分區(qū)中的數(shù)據(jù)轉(zhuǎn)移至所述主表分區(qū)對(duì)應(yīng)的歷史子表中，對(duì)所述歷史子表中的數(shù)據(jù)進(jìn)行刪除操作。本發(fā)明能夠高效低耗地管理數(shù)據(jù)生命周期，從而保證數(shù)據(jù)庫(kù)的資源高效性。
文檔編號(hào)G06F17/30GK102567428SQ201010623629
公開日2012年7月11日 申請(qǐng)日期2010年12月30日 優(yōu)先權(quán)日2010年12月30日
發(fā)明者李杰毅, 王曉征, 肖愛元 申請(qǐng)人:中國(guó)移動(dòng)通信集團(tuán)浙江有限公司