一種基于重復(fù)數(shù)據(jù)刪除的備份與遠程復(fù)制方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉屬于計算機數(shù)據(jù)保護技術(shù)領(lǐng)域，涉及數(shù)據(jù)備份、重復(fù)數(shù)據(jù)刪除及遠程復(fù)制技術(shù)，尤其是涉及一種基于重復(fù)數(shù)據(jù)刪除的備份與遠程復(fù)制方法。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)爆發(fā)式增長，數(shù)據(jù)量越來越大，企業(yè)對數(shù)據(jù)的依賴也越來越強，沒有了數(shù)據(jù)，許多企業(yè)的業(yè)務(wù)就無法進行。如何有效的保護數(shù)據(jù)，成為企業(yè)關(guān)注的重要議題。
[0003]對數(shù)據(jù)進行保護，最直接的辦法就是本地備份，但是面對越來越大數(shù)據(jù)，備份時帶寬的壓力、備份時間、存儲空間等問題，如何才能有效的解決?且本地備份，在天災(zāi)等不可抗力因素下，數(shù)據(jù)依然有丟失的風險，所以，將備份的數(shù)據(jù)復(fù)制到異地保存，能極大的降低數(shù)據(jù)丟失的風險。越來越多的大企業(yè)，總部都要求將各地分公司的備份數(shù)據(jù)復(fù)制到總部統(tǒng)一管理，這種情況下，存儲空間、帶寬限制、遠程復(fù)制時間等問題就更加明顯了，大量的備份數(shù)據(jù)，有限的帶寬，對遠程復(fù)制是一種挑戰(zhàn)。
[0004]研究發(fā)現(xiàn)，應(yīng)用系統(tǒng)所保存的數(shù)據(jù)中高達60%是冗余的，因此，將重復(fù)數(shù)據(jù)刪除技術(shù)應(yīng)用到備份及遠程復(fù)制，能大量的減少備份與遠程復(fù)制的數(shù)據(jù)，解決備份與遠程復(fù)制的存儲空間問題、帶寬問題及備份時間、遠程復(fù)制時間等問題。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于重復(fù)數(shù)據(jù)刪除的備份與遠程復(fù)制方法，以達到快速對本地的數(shù)據(jù)進行備份與遠程復(fù)制，節(jié)省本地、異地存儲空間、減少本地網(wǎng)絡(luò)傳輸數(shù)據(jù)量、降低遠程帶寬需求以及加快備份與遠程復(fù)制速度的效果，降低數(shù)據(jù)丟失的風險。
[0006]本發(fā)明的目的可以通過以下技術(shù)方案來實現(xiàn):
[0007]—種基于重復(fù)數(shù)據(jù)刪除的備份與遠程復(fù)制方法，其特征在于，包括以下步驟:
[0008]A)利用源端塊級重刪技術(shù)做備份；
[0009]B)直接利用備份后的數(shù)據(jù)和指紋，繼續(xù)利用源端塊級重刪技術(shù)做遠程復(fù)制，將數(shù)據(jù)復(fù)制到異地，達到快速備份與遠程復(fù)制的目的。
[0010]所述的利用源端塊級重刪技術(shù)做備份具體為:
[0011]A1)讀取要備份的數(shù)據(jù)；
[0012]A2)對讀取的數(shù)據(jù)進行變長或者定長的分塊；
[0013]A3)計算數(shù)據(jù)塊的指紋；
[0014]A4)在本地緩存中查詢是否存在此指紋信息，如果此指紋信息存在，此數(shù)據(jù)塊為重復(fù)的數(shù)據(jù)，直接執(zhí)行步驟A6)，如果此指紋信息不存在，繼續(xù)到備份服務(wù)器上去查詢，如果存在，將指紋信息保存到本地緩存后執(zhí)行步驟A6)，如果不存在，此數(shù)據(jù)不是重復(fù)的數(shù)據(jù)，執(zhí)行步驟A5);
[0015]A5)將數(shù)據(jù)塊和指紋一起發(fā)送到備份服務(wù)器，備份服務(wù)器將數(shù)據(jù)塊的指紋信息記錄到指紋庫中，之后在本地將指紋信息保存到本地指紋緩存中，并執(zhí)行步驟A6)；
[0016]A6)將數(shù)據(jù)塊的索引信息發(fā)送到備份服務(wù)器，至此，一個數(shù)據(jù)塊處理完成，繼續(xù)按相同的方式處理其它數(shù)據(jù)塊，以及還未讀取的數(shù)據(jù)，直至所有要備份的數(shù)據(jù)處理完成。
[0017]對于定長切塊重復(fù)率高的數(shù)據(jù)采用定長分塊方式，對于變長分塊重復(fù)率高的數(shù)據(jù)米用變長分塊方式。
[0018]所述的利用源端塊級重刪技術(shù)做遠程復(fù)制具體為:
[0019]B1)讀取數(shù)據(jù)庫及其指紋信息；
[0020]B2)在本地緩存中查詢是否存在此指紋信息，如果此指紋信息存在，此數(shù)據(jù)塊為重復(fù)的數(shù)據(jù)，直接執(zhí)行步驟B4)，如果此指紋信息不存在，繼續(xù)到備份服務(wù)器上去查詢，如果存在，將指紋信息保存到本地緩存后執(zhí)行步驟B4)，如果不存在，此數(shù)據(jù)不是重復(fù)的數(shù)據(jù)，執(zhí)行步驟B3);
[0021]B3)將數(shù)據(jù)塊和指紋一起發(fā)送到備份服務(wù)器，備份服務(wù)器將數(shù)據(jù)塊的指紋信息記錄到指紋庫中，之后在本地將指紋信息保存到本地指紋緩存中，并執(zhí)行步驟B4)；
[0022]B4)將數(shù)據(jù)塊的索引信息發(fā)送到備份服務(wù)器，至此，一個數(shù)據(jù)塊處理完成，繼續(xù)按相同的方式處理其它數(shù)據(jù)塊，以及還未讀取的數(shù)據(jù)，直至所有數(shù)據(jù)處理完成。
[0023]在備份的基礎(chǔ)上，對數(shù)據(jù)進行遠程復(fù)制，由于備份之后數(shù)據(jù)已經(jīng)是數(shù)據(jù)塊了，不用再進行數(shù)據(jù)分塊，而指紋信息也已經(jīng)保存在指紋庫中，指紋也不需要再計算。
[0024]與現(xiàn)有技術(shù)相比，本發(fā)明巧妙的將重復(fù)數(shù)據(jù)刪除技術(shù)、備份與遠程復(fù)制結(jié)合起來，避免了在遠程復(fù)制過程中的數(shù)據(jù)切塊與指紋計算，減少了CPU資源消耗，網(wǎng)絡(luò)資源消耗，大幅提升備份與遠程復(fù)制的性能。
【附圖說明】
[0025]圖1為本發(fā)明源端塊級重刪的備份流程圖；
[0026]圖2為本發(fā)明源端塊級重刪的遠程復(fù)制流程圖；
[0027]圖3為本發(fā)明實施方案部署圖。
【具體實施方式】
[0028]下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例是本發(fā)明的一部分實施例，而不是全部實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都應(yīng)屬于本發(fā)明保護的范圍。
[0029]重復(fù)數(shù)據(jù)刪除，簡稱重刪，按數(shù)據(jù)處理的粒度，可分為文件級重刪與塊級重刪，按分塊的方法，可分為定長分塊重刪和變長分塊重刪，按照數(shù)據(jù)處理位置，可分為源端重刪和目的端重刪。對于備份與遠程復(fù)制，適合源端重刪，可以減少網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，節(jié)省帶寬，從重刪比來看，塊級重刪效果更好。
[0030]該發(fā)明是在源端塊級重刪的基礎(chǔ)上，將備份與遠程復(fù)制有效的結(jié)合起來，先利用源端塊級重刪技術(shù)做備份，之后直接利用備份后的數(shù)據(jù)和指紋，繼續(xù)利用源端塊級重刪技術(shù)做遠程復(fù)制，將數(shù)據(jù)復(fù)制到異地，達到快速備份與遠程復(fù)制的目的。
[0031]為了更清楚的描述此發(fā)明，先解釋下利用源端塊級重刪的備份，備份流程圖見圖1，步驟如下:
[0032]1)讀取要備份的數(shù)據(jù)。
[0033]2)對讀取的數(shù)據(jù)進行變長或者定長的分塊，有些數(shù)據(jù)定長切塊重復(fù)率高，有的數(shù)據(jù)變長分塊重復(fù)率高，視具體情況選擇定長或變長分塊。
[0034]3)計算數(shù)據(jù)塊的指紋，指紋及數(shù)據(jù)塊的hash值。
[0035]4)在本地緩存中查詢是否存在此指紋信息，如果此指紋信息存在，此數(shù)據(jù)塊就是重復(fù)的數(shù)據(jù)，如果此指紋信息不存在，暫時還不能判斷夠否重復(fù)，需要繼續(xù)到備份服務(wù)器上去查詢，如果存在，此數(shù)據(jù)塊是重復(fù)的數(shù)據(jù)，如果不存在，此數(shù)據(jù)不是重復(fù)的數(shù)據(jù)。
[0036]5)如果不重復(fù)，需要將數(shù)據(jù)塊和指紋一起發(fā)送到備份服務(wù)器，備份服務(wù)器將數(shù)據(jù)塊的指紋信息記錄到指紋庫中，之后在本地將指紋信息保存到本地指紋緩存中。
[0037]6)將數(shù)據(jù)塊的索引信息發(fā)送到備份服務(wù)器，至此，一個數(shù)據(jù)塊處理完成，繼續(xù)按相同的方式處理其它數(shù)據(jù)塊，以及還未讀取的數(shù)據(jù)，直至所有要備份的數(shù)據(jù)處理完成。
[0038]在此備份的基礎(chǔ)上，對數(shù)據(jù)進行遠程復(fù)制，遠程復(fù)制流程圖見圖2，由于備份之后數(shù)據(jù)已經(jīng)是數(shù)據(jù)塊了，所以不用再進行數(shù)據(jù)分塊，而指紋信息也已經(jīng)保存在指紋庫中，指紋也不需要再計算，這樣就大量的減少了備份服務(wù)器上計算資源的消耗，而后面的步驟和備份是一樣，可以直接重用。
[0039]實施方案舉例
[0040]A、B兩地有數(shù)據(jù)需要備份，并且需要復(fù)制到C統(tǒng)一管理。實施方案部署圖見圖3:A、B兩地在局域網(wǎng)內(nèi)分別部署一臺備份服務(wù)器，將應(yīng)用服務(wù)器的數(shù)據(jù)利用源端塊級重刪備份到備份服務(wù)器上，在C地再部署一臺備份服務(wù)器，將A、B備份服務(wù)器上的備份數(shù)據(jù)再次利用源端塊級重刪，去掉A、B兩地的重復(fù)數(shù)據(jù)后，遠程復(fù)制到C地的備份服務(wù)器上。
[0041]以上所述，僅為本發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到各種等效的修改或替換，這些修改或替換都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以權(quán)利要求的保護范圍為準。
【主權(quán)項】
1.一種基于重復(fù)數(shù)據(jù)刪除的備份與遠程復(fù)制方法，其特征在于，包括以下步驟: A)利用源端塊級重刪技術(shù)做備份； B)直接利用備份后的數(shù)據(jù)和指紋，繼續(xù)利用源端塊級重刪技術(shù)做遠程復(fù)制，將數(shù)據(jù)復(fù)制到異地，達到快速備份與遠程復(fù)制的目的。2.根據(jù)權(quán)利要求1所述的備份與遠程復(fù)制方法，其特征在于，所述的利用源端塊級重刪技術(shù)做備份具體為: A1)讀取要備份的數(shù)據(jù)； A2)對讀取的數(shù)據(jù)進行變長或者定長的分塊； A3)計算數(shù)據(jù)塊的指紋； A4)在本地緩存中查詢是否存在此指紋信息，如果此指紋信息存在，此數(shù)據(jù)塊為重復(fù)的數(shù)據(jù)，直接執(zhí)行步驟A6)，如果此指紋信息不存在，繼續(xù)到備份服務(wù)器上去查詢，如果存在，將指紋信息保存到本地緩存后執(zhí)行步驟A6)，如果不存在，此數(shù)據(jù)不是重復(fù)的數(shù)據(jù)，執(zhí)行步驟 A5); A5)將數(shù)據(jù)塊和指紋一起發(fā)送到備份服務(wù)器，備份服務(wù)器將數(shù)據(jù)塊的指紋信息記錄到指紋庫中，之后在本地將指紋信息保存到本地指紋緩存中，并執(zhí)行步驟A6)； A6)將數(shù)據(jù)塊的索引信息發(fā)送到備份服務(wù)器，至此，一個數(shù)據(jù)塊處理完成，繼續(xù)按相同的方式處理其它數(shù)據(jù)塊，以及還未讀取的數(shù)據(jù)，直至所有要備份的數(shù)據(jù)處理完成。3.根據(jù)權(quán)利要求2所述的備份與遠程復(fù)制方法，其特征在于，對于定長切塊重復(fù)率高的數(shù)據(jù)采用定長分塊方式，對于變長分塊重復(fù)率高的數(shù)據(jù)采用變長分塊方式。4.根據(jù)權(quán)利要求1所述的備份與遠程復(fù)制方法，其特征在于，所述的利用源端塊級重刪技術(shù)做遠程復(fù)制具體為: B1)讀取數(shù)據(jù)庫及其指紋信息； B2)在本地緩存中查詢是否存在此指紋信息，如果此指紋信息存在，此數(shù)據(jù)塊為重復(fù)的數(shù)據(jù)，直接執(zhí)行步驟B4)，如果此指紋信息不存在，繼續(xù)到備份服務(wù)器上去查詢，如果存在，將指紋信息保存到本地緩存后執(zhí)行步驟B4)，如果不存在，此數(shù)據(jù)不是重復(fù)的數(shù)據(jù)，執(zhí)行步驟 B3); B3)將數(shù)據(jù)塊和指紋一起發(fā)送到備份服務(wù)器，備份服務(wù)器將數(shù)據(jù)塊的指紋信息記錄到指紋庫中，之后在本地將指紋信息保存到本地指紋緩存中，并執(zhí)行步驟B4)； B4)將數(shù)據(jù)塊的索引信息發(fā)送到備份服務(wù)器，至此，一個數(shù)據(jù)塊處理完成，繼續(xù)按相同的方式處理其它數(shù)據(jù)塊，以及還未讀取的數(shù)據(jù)，直至所有數(shù)據(jù)處理完成。5.根據(jù)權(quán)利要求1或4所述的備份與遠程復(fù)制方法，其特征在于，在備份的基礎(chǔ)上，對數(shù)據(jù)進行遠程復(fù)制，由于備份之后數(shù)據(jù)已經(jīng)是數(shù)據(jù)塊了，不用再進行數(shù)據(jù)分塊，而指紋信息也已經(jīng)保存在指紋庫中，指紋也不需要再計算。
【專利摘要】本發(fā)明涉及一種基于重復(fù)數(shù)據(jù)刪除的備份與遠程復(fù)制方法，包括以下步驟：A)利用源端塊級重刪技術(shù)做備份；B)直接利用備份后的數(shù)據(jù)和指紋，繼續(xù)利用源端塊級重刪技術(shù)做遠程復(fù)制，將數(shù)據(jù)復(fù)制到異地。與現(xiàn)有技術(shù)相比，本發(fā)明具有達到快速對本地的數(shù)據(jù)進行備份與遠程復(fù)制，節(jié)省本地、異地存儲空間、減少本地網(wǎng)絡(luò)傳輸數(shù)據(jù)量、降低遠程帶寬需求以及加快備份與遠程復(fù)制速度的效果，降低數(shù)據(jù)丟失的風險。
【IPC分類】G06F11/14, G06F17/30
【公開號】CN105487942
【申請?zhí)枴緾N201510856874
【發(fā)明人】周豐
【申請人】上海愛數(shù)信息技術(shù)股份有限公司
【公開日】2016年4月13日
【申請日】2015年11月30日