專利名稱：：一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及海量數(shù)據(jù)存儲空間占用和歷史數(shù)據(jù)備份和恢復(fù)領(lǐng)域，具體提供一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法。
背景技術(shù)：
：當(dāng)今社會已進入快速發(fā)展的信息時代，每天都會產(chǎn)生大量的信息數(shù)據(jù)，尤其以通信行業(yè)為主的網(wǎng)絡(luò)。移動通信網(wǎng)絡(luò)隨著業(yè)務(wù)日益發(fā)展壯大，數(shù)據(jù)量也與日俱增，海量的數(shù)據(jù)處理己成為影響應(yīng)用系統(tǒng)性能越來越重要的因素。對海量數(shù)據(jù)的處理需滿足以下幾點要求數(shù)據(jù)盡可能較小占用存儲空間、減少不合理的數(shù)據(jù)的存儲、歷史數(shù)據(jù)信息盡可能完整等。目前對海量數(shù)據(jù)的處理的應(yīng)對措施包括購買大型商業(yè)數(shù)據(jù)庫并聘請專業(yè)的數(shù)據(jù)庫技術(shù)人員對數(shù)據(jù)庫進行優(yōu)化和維護；購買高性能的服務(wù)器并聘請專業(yè)的維護人員進行維護和管理。然而這些措施都需要巨大的成本投入，并且隨著數(shù)據(jù)日益劇增對軟硬件的投入也日益提高，同時需提高開發(fā)人員的要求，因為開發(fā)人員就必須掌握數(shù)據(jù)庫操作的優(yōu)化技巧。綜上所述，對海量數(shù)據(jù)存儲的改造己迫在眉睫，基于日志快照的數(shù)據(jù)恢復(fù)/同步技術(shù)的發(fā)明可以很好地節(jié)省存儲空間和歷史數(shù)據(jù)信息保存，同時對于軟硬件的要求也大大降低了。
發(fā)明內(nèi)容本發(fā)明所要解決的問題是提供一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法，其采用將歷史數(shù)據(jù)通過日志文件的方式來存儲，日志文件存儲歷史數(shù)據(jù)的方式不僅能夠節(jié)省存儲空間，而且能夠大大降低數(shù)據(jù)庫系統(tǒng)的負(fù)擔(dān)，提高了整個應(yīng)用系統(tǒng)的效率。本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是A、應(yīng)用系統(tǒng)對數(shù)據(jù)庫進行增刪改操作時并發(fā)將變更的數(shù)據(jù)信息寫入特定格式的日志文件。B、用戶給出一個指定表在指定時間的數(shù)據(jù)恢復(fù)或同步的請求，應(yīng)用程序開始讀取日志文件，采用自主創(chuàng)新的取近算法從日志文件取出符合條件的數(shù)據(jù)。c、將獲取的數(shù)據(jù)按照一定的組織格式生成抽象存在的數(shù)據(jù)快照。D、利用生成的數(shù)據(jù)快照實現(xiàn)指定表在指定時間的數(shù)據(jù)恢復(fù)或同步。步驟A中的日志文件的命名由表名和生成日志文件的時間組成，這樣的命名方式有利于讀取日志文件程序篩選符合條件的日志文件，提高程序讀取效率；日志文件的格式是每一行記錄著每一條變更信息，每一條變更信息由數(shù)據(jù)的變更時間(TimeStamp)、數(shù)據(jù)唯一標(biāo)識(Id)、數(shù)據(jù)變更類型(Type)、數(shù)據(jù)變更后的值(Value)四部分順序組成，其數(shù)據(jù)結(jié)構(gòu)如下-<table>tableseeoriginaldocumentpage5</column></row><table>便于程序截取字段值，提高程序執(zhí)行性能；每個日志文件的行數(shù)相等的，個日志寫滿就生成新的日志文件，生成多個日志文件可以使程序采用多線程的方式來解析，大大提高解析的速度。步驟B中的取近算法的概述是:指定表和指定時間作為兩個參數(shù)傳給解析程序，解析程序通過獲得的兩個參數(shù)與日志文件名進行匹配，過濾掉不在合適范圍內(nèi)的文件，減少程序的負(fù)擔(dān)加快執(zhí)行速度；根據(jù)命中的日志文件個數(shù)初始化線程的個數(shù)，每個線程解析一個文件；程序解析文件前，建立一個臨時表記錄數(shù)據(jù)，并對變更時間和唯一標(biāo)識建立索引；程序采用逐行讀取的方式，首先截取變更時間與時間參數(shù)進行比對，再截取唯一標(biāo)識加上變更時間與臨時表中的唯一標(biāo)識和變更時間進行比對，然后將符合條件的數(shù)據(jù)寫進臨時表，程序執(zhí)行結(jié)束時刪餘臨時表。取近算法的表達式描述如下表達式l:if(〃變更時間不晚于時間參數(shù)")r'執(zhí)行表達式2"elser'停止讀取文件"}表達式2:if(〃唯一標(biāo)識存在于臨時表中")r'執(zhí)行表達式3"elsd"記錄插入臨時表中〃}表達式3:if("變更時間晚于臨時表中的變更時間記錄〃)r'更新臨時表記錄"else{〃跳出表達式1〃}步驟C中的數(shù)據(jù)快照是基于臨時表抽象存在的，相對于快照存儲在數(shù)據(jù)庫或文件中大大節(jié)省了存儲空間。步驟D中利用快照可以指定將數(shù)據(jù)恢復(fù)或同步到數(shù)據(jù)庫或文件系統(tǒng)中。本發(fā)明通過結(jié)構(gòu)設(shè)計合理的日志文件，優(yōu)良的文件解析算法以實現(xiàn)了對歷史數(shù)據(jù)保存和備份。在現(xiàn)有的資源和需求下，實現(xiàn)的功能有(1):歷史數(shù)據(jù)存入特定格式的日志文件相對于存入數(shù)據(jù)庫節(jié)省了存儲開銷，節(jié)省了系統(tǒng)成本。(2):歷史數(shù)據(jù)由于不存入數(shù)據(jù)庫，數(shù)據(jù)庫的性能有了提高，上層應(yīng)用系統(tǒng)的效率和硬件性能能夠得到最大應(yīng)用。(3):歷史數(shù)據(jù)采用日志文件存儲，由于文件的移植操作簡單，所以對于數(shù)據(jù)的恢復(fù)和同步也更加簡單化且不需專業(yè)人員參與，并且能夠在不影響現(xiàn)有生產(chǎn)系統(tǒng)的生產(chǎn)效率情況下實現(xiàn)數(shù)據(jù)恢復(fù)和同步。下面結(jié)合附圖和實施例對本發(fā)明進一步說明。圖1為本發(fā)明的一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法的流程實現(xiàn)圖；圖2為本發(fā)明的一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法的取近算法的流程圖。具體實施例方式下面結(jié)合附圖和具體實施例對本發(fā)明的一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法作進一步的描述。'如附圖l所示，本發(fā)明的一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法包括以下步驟A、應(yīng)用系統(tǒng)對數(shù)據(jù)庫進行增刪改操作時并發(fā)將變更的數(shù)據(jù)信息寫入特定格式的日志文件。B、用戶給出一個指定表在指定時間的數(shù)據(jù)恢復(fù)或同步的請求，應(yīng)用程序開始讀取日志文件，采用自主創(chuàng)新的取近算法從日志文件取出符合條件的數(shù)據(jù)。C、將獲取的數(shù)據(jù)按照一定的組織格式生成抽象存在的數(shù)據(jù)快照。D、利用生成的數(shù)據(jù)快照實現(xiàn)指定表在指定時間的數(shù)據(jù)恢復(fù)或同步。步驟A中的日志文件的命名由表名和生成日志文件的時間組成，這樣的命名方式有利于讀取日志文件程序篩選符合條件的日志文件，提高程序讀取效率；日志文件的格式是每一行記錄著每一條變更信息，每一條變更信息由數(shù)據(jù)的變更時間(TimeStamp)、數(shù)據(jù)唯一標(biāo)識(Id)、數(shù)據(jù)變更類型(Type)、數(shù)據(jù)變更后的值(Value)四部分順序組成，其數(shù)據(jù)結(jié)構(gòu)如下<table>tableseeoriginaldocumentpage7</column></row><table>便于程序截取字段值，提高程序執(zhí)行性能；每個日志文件的行數(shù)相等的，個日志寫滿就生成新的日志文件，生成多個日志文件可以使程序采用多線程的方式來解析，大大提高解析的速度。如附圖2所示，步驟B中的取近算法的概述是指定表和指定時間作為兩個參數(shù)傳給解析程序，解析程序通過獲得的兩個參數(shù)與日志文件名進行匹配，過濾掉不在合適范圍內(nèi)的文件，減少程序的負(fù)擔(dān)加快執(zhí)行速度；根據(jù)命中的日志文件個數(shù)初始化線程的個數(shù)，每個線程解析一個文件；程序解析文件前，建立一個臨時表記錄數(shù)據(jù)，并對變更時間和唯一標(biāo)識建立索引；程序采用逐行讀取的方式，首先截取變更時間與時間參數(shù)進行比對，再截取唯一標(biāo)識加上變更時間與臨時表中的唯一標(biāo)識和變更時間進行比對，然后將符合條件的數(shù)據(jù)寫進臨時表，程序執(zhí)行結(jié)束時刪除臨時表。取近算法的表達式描述如下-表達式l:if(〃變更時間不晚于時間參數(shù)")T'執(zhí)行表達式2〃)elser'停止讀取文件"}表達式2:if("唯一標(biāo)識存在于臨時表中")r'執(zhí)行表達式3'"elser'記錄插入臨時表中"}表達式3:if(〃變更時間晚于臨時表中的變更時間記錄")r'更新臨時表記錄")else{"跳出表達式1"}步驟C中的數(shù)據(jù)快照是基于臨時表抽象存在的，相對于快照存儲在數(shù)據(jù)庫或文件中大大節(jié)省了存儲空間。步驟D中利用快照可以指定將數(shù)據(jù)恢復(fù)或同步到數(shù)據(jù)庫或文件系統(tǒng)中。以上所述的實施例，只是本發(fā)明較優(yōu)選的具體實施方式的一種，本領(lǐng)域的技術(shù)人員在本發(fā)明技術(shù)方案范圍內(nèi)進行的通常變化和替換都應(yīng)包含在本發(fā)明的保護范圍內(nèi)。權(quán)利要求1、一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法，其特征在于，包括以下步驟A、應(yīng)用系統(tǒng)對數(shù)據(jù)庫進行增、刪、改操作時并發(fā)將變更的數(shù)據(jù)信息寫入特定格式的日志文件；B、用戶給出一個指定表在指定時間的數(shù)據(jù)恢復(fù)或同步的請求，指定表和指定時間作為請求的兩個參數(shù)傳給應(yīng)用程序，應(yīng)用程序獲得兩個參數(shù)后開始讀取日志文件，采用取近算法從日志文件取出符合條件的數(shù)據(jù)，；C、將獲取的數(shù)據(jù)按照數(shù)據(jù)庫表格式生成抽象存在的數(shù)據(jù)快照；D、利用生成的數(shù)據(jù)快照實現(xiàn)所述指定表在指定時間的數(shù)據(jù)恢復(fù)或同步。2、根據(jù)權(quán)利要求l所述的一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法，其特征在于,所述特定格式的日志文件是指日志文件每一行記錄著每一條變更信息，每一條變更信息由數(shù)據(jù)的變更時間(TimeStamp)、數(shù)據(jù)唯一標(biāo)識(Id)、數(shù)據(jù)變更類型(Type)、數(shù)據(jù)變更后的值(Value)四部分順序組成，其數(shù)據(jù)結(jié)構(gòu)如下表<table>tableseeoriginaldocumentpage2</column></row><table>3、根據(jù)權(quán)利要求l所述的一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法，其特征在于，所述取近算法具體如下指定表和指定時間作為兩個參數(shù)傳給解析程序，解析程序通過獲得的兩個參數(shù)與日志文件名進行匹配，過濾掉不在合適范圍內(nèi)的文件，減少程序的負(fù)擔(dān)加快執(zhí)行速度；根據(jù)命中的日志文件個數(shù)初始化線程的個數(shù)，每個線程解析一個文件；程序解析文件前，建立一個臨時表記錄數(shù)據(jù)，并對變更時間和唯一標(biāo)識建立索引；程序采用逐行讀取的方式，首先截取變更時間與時間參數(shù)進行比對，再截取唯一標(biāo)識加上變更時間與臨時表中的唯一標(biāo)識和變更時間進行比對，然后將符合條件的數(shù)據(jù)寫進臨時表，程序執(zhí)行結(jié)束時刪除臨時表。4、根據(jù)權(quán)利要求l所述的一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法，其特征在于，所述步驟D中利用快照可以指定將數(shù)據(jù)恢復(fù)或同步到數(shù)據(jù)庫或文件系統(tǒng)中。全文摘要本發(fā)明涉及海量數(shù)據(jù)存儲空間占用和歷史數(shù)據(jù)備份和恢復(fù)領(lǐng)域，具體提供一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法。本發(fā)明的一種基于日志快照的數(shù)據(jù)恢復(fù)和同步方法在現(xiàn)有資源和需求的情況下，采用特定格式的日志文件記錄數(shù)據(jù)庫數(shù)據(jù)每次變更的信息，變更信息經(jīng)過格式化后定位存進日志文件中，解析程序通過多線程的方式調(diào)用取近算法獲取指定時間點的有效數(shù)據(jù)，數(shù)據(jù)暫存于臨時表中，依據(jù)臨時表生成抽象存在的數(shù)據(jù)快照，利用快照實現(xiàn)數(shù)據(jù)的恢復(fù)和同步。采用本發(fā)明能夠大大減輕數(shù)據(jù)庫系統(tǒng)的負(fù)擔(dān)，對數(shù)據(jù)庫系統(tǒng)和應(yīng)用系統(tǒng)的效率有顯著提高，并且能夠節(jié)省大量的存儲空間，降低系統(tǒng)的運營成本。文檔編號G06F17/30GK101436207SQ20081023842公開日2009年5月20日申請日期2008年12月16日優(yōu)先權(quán)日2008年12月16日發(fā)明者偉張,張熹微申請人:浪潮通信信息系統(tǒng)有限公司