本發(fā)明涉及分布式文件存儲領(lǐng)域，尤其涉及一種元數(shù)據(jù)管理方法及裝置、分布式文件系統(tǒng)。

背景技術(shù)：

目前包括彩鈴、MS、WAP網(wǎng)關(guān)等產(chǎn)品中都用到了網(wǎng)絡(luò)存儲設(shè)備，為了達到大容量、高吞吐量和高可靠性的要求，隨著對這些產(chǎn)品可靠性等要求的提高，往往價格也是呈現(xiàn)指數(shù)級上升，這些設(shè)備在整個系統(tǒng)的中的成本往往都超過了50％，在廉價的通用硬件平臺上構(gòu)建分布式文件系統(tǒng)已經(jīng)是各種存儲類業(yè)務(wù)發(fā)展的必然趨勢。

分布式文件系統(tǒng)是一個通用存儲軟件平臺，運行在通用硬件之上，為需要存儲服務(wù)的產(chǎn)品提供存儲平臺支撐，提供存儲、查詢檢索和管理產(chǎn)品所產(chǎn)生的海量數(shù)據(jù)服務(wù)，如多媒體內(nèi)容存儲、業(yè)務(wù)數(shù)據(jù)存儲等。單域支持10PB(10億文件數(shù))存儲能力，系統(tǒng)整體可達EB級(千億文件數(shù))海量存儲能力，系統(tǒng)整體性能隨存儲規(guī)模同步線性增長。海量的文件產(chǎn)生上百G的元數(shù)據(jù)，系統(tǒng)升級和備份過程都需要上百G的磁盤空間來備份，而且需要1-2h時間的備份；隨著系統(tǒng)容量不斷增加，系統(tǒng)元數(shù)據(jù)也不斷增加，備份和還原系統(tǒng)元數(shù)據(jù)成為系統(tǒng)升級或日常備份時的瓶頸，大量占用系統(tǒng)cpu和磁盤使用。

因此，如何提供一種可快速進行元數(shù)據(jù)備份及恢復(fù)的元數(shù)據(jù)管理方法，是本領(lǐng)域技術(shù)人員亟待解決的技術(shù)問題。

技術(shù)實現(xiàn)要素：

本發(fā)明提供了一種元數(shù)據(jù)管理方法及裝置、分布式文件系統(tǒng)，以實現(xiàn)對元數(shù)據(jù)的快速備份及恢復(fù)。

本發(fā)明提供了一種元數(shù)據(jù)管理方法，其包括：在元數(shù)據(jù)備份時，采用差分算法計算當(dāng)前元數(shù)據(jù)與已備份元數(shù)據(jù)的差分?jǐn)?shù)據(jù)；在元數(shù)據(jù)恢復(fù)時，利用差分?jǐn)?shù)據(jù)及已備份元數(shù)據(jù)恢復(fù)當(dāng)前元數(shù)據(jù)。

進一步的，已備份元數(shù)據(jù)包括最近一次全量備份的元數(shù)據(jù)。

進一步的，差分?jǐn)?shù)據(jù)包括已備份元數(shù)據(jù)的標(biāo)識、差異數(shù)據(jù)偏移量及差異數(shù)據(jù)。

進一步的，利用差分?jǐn)?shù)據(jù)及已備份元數(shù)據(jù)恢復(fù)當(dāng)前元數(shù)據(jù)包括：確定差分?jǐn)?shù)據(jù)對應(yīng)的已備份元數(shù)據(jù)，根據(jù)差異數(shù)據(jù)偏移量確定已備份元數(shù)據(jù)內(nèi)的待替換數(shù)據(jù)，將待替換數(shù)據(jù)替換為差異數(shù)據(jù)，生成當(dāng)前元數(shù)據(jù)。

進一步的，差分?jǐn)?shù)據(jù)還包括已備份元數(shù)據(jù)內(nèi)的原始差異數(shù)據(jù)。

進一步的，還包括：采用多線程并行進行元數(shù)據(jù)備份及元數(shù)據(jù)恢復(fù)。

進一步的，在元數(shù)據(jù)備份后，還包括：根據(jù)差分?jǐn)?shù)據(jù)的大小確定下一次數(shù)據(jù)備份時的備份方式，備份方式包括：全量備份和差分備份。

本發(fā)明提供了一種元數(shù)據(jù)管理裝置，其包括：備份模塊，用于在元數(shù)據(jù)備份時，采用差分算法計算當(dāng)前元數(shù)據(jù)與已備份元數(shù)據(jù)的差分?jǐn)?shù)據(jù)；恢復(fù)模塊，用于在元數(shù)據(jù)恢復(fù)時，利用差分?jǐn)?shù)據(jù)及已備份元數(shù)據(jù)恢復(fù)當(dāng)前元數(shù)據(jù)。

進一步的，已備份元數(shù)據(jù)包括最近一次全量備份的元數(shù)據(jù)。

進一步的，差分?jǐn)?shù)據(jù)包括已備份元數(shù)據(jù)的標(biāo)識、差異數(shù)據(jù)偏移量及差異數(shù)據(jù)。

進一步的，恢復(fù)模塊用于確定差分?jǐn)?shù)據(jù)對應(yīng)的已備份元數(shù)據(jù)，根據(jù)差異數(shù)據(jù)偏移量確定已備份元數(shù)據(jù)內(nèi)的待替換數(shù)據(jù)，將待替換數(shù)據(jù)替換為差異數(shù)據(jù)，生成當(dāng)前元數(shù)據(jù)。

進一步的，差分?jǐn)?shù)據(jù)還包括已備份元數(shù)據(jù)內(nèi)的原始差異數(shù)據(jù)。

進一步的，備份模塊還用于采用多線程并行進行元數(shù)據(jù)備份，恢復(fù)模塊還用于采用多線程并行進行元數(shù)據(jù)恢復(fù)。

進一步的，在元數(shù)據(jù)備份后，備份模塊還用于根據(jù)差分?jǐn)?shù)據(jù)的大小確定下一次數(shù)據(jù)備份時的備份方式，備份方式包括：全量備份和差分備份。

本發(fā)明提供了一種分布式文件系統(tǒng)，其包括本發(fā)明提供的元數(shù)據(jù)管理裝置。

本發(fā)明的有益效果：

本發(fā)明提供了一種新的元數(shù)據(jù)管理方法，通過快速差分算法和差分還原算法快速進行元數(shù)據(jù)備份和恢復(fù)，原來的備份磁盤空間使用由GB降低到MB的量級，實現(xiàn)了元數(shù)據(jù)的快速備份及恢復(fù)，可以使分布式文件系統(tǒng)海量元數(shù)據(jù)備份時長由原來的幾小時縮短為幾分鐘。

附圖說明

圖1為本發(fā)明第一實施例提供的元數(shù)據(jù)管理裝置的結(jié)構(gòu)示意圖；

圖2為本發(fā)明第二實施例提供的元數(shù)據(jù)管理方法的流程圖；

圖3為本發(fā)明第三實施例提供的元數(shù)據(jù)管理方法的流程圖；

圖4為本發(fā)明第三實施例中元數(shù)據(jù)的對比示意圖。

具體實施方式

現(xiàn)通過具體實施方式結(jié)合附圖的方式對本發(fā)明做出進一步的詮釋說明。

第一實施例：

圖1為本發(fā)明第一實施例提供的元數(shù)據(jù)管理裝置的結(jié)構(gòu)示意圖，由圖1可知，在本實施例中，本發(fā)明提供的元數(shù)據(jù)管理裝置1包括：

備份模塊11，用于在元數(shù)據(jù)備份時，采用差分算法計算當(dāng)前元數(shù)據(jù)與已備份元數(shù)據(jù)的差分?jǐn)?shù)據(jù)；

恢復(fù)模塊12，用于在元數(shù)據(jù)恢復(fù)時，利用差分?jǐn)?shù)據(jù)及已備份元數(shù)據(jù)恢復(fù)當(dāng)前元數(shù)據(jù)。

在一些實施例中，上述實施例中的已備份元數(shù)據(jù)包括最近一次全量備份的元數(shù)據(jù)。在實際使用中，元數(shù)據(jù)的變化是漸變的，差分算法以最近一次的元數(shù)據(jù)作為計算基礎(chǔ)，可以大大減少差分?jǐn)?shù)據(jù)的數(shù)據(jù)量，當(dāng)然，本領(lǐng)域技術(shù)人員可以根據(jù)需要設(shè)置特定時間點進行全量備份的元數(shù)據(jù)作為差分計算的基礎(chǔ)。

在一些實施例中，上述實施例中的差分?jǐn)?shù)據(jù)包括已備份元數(shù)據(jù)的標(biāo)識、差異數(shù)據(jù)偏移量及差異數(shù)據(jù)。這樣在恢復(fù)時，就可以快速的確定差異數(shù)據(jù)的位置，進行差分逆計算得到當(dāng)前元數(shù)據(jù)。

在一些實施例中，上述實施例中的恢復(fù)模塊12用于確定差分?jǐn)?shù)據(jù)對應(yīng)的已備份元數(shù)據(jù)，根據(jù)差異數(shù)據(jù)偏移量確定已備份元數(shù)據(jù)內(nèi)的待替換數(shù)據(jù)，將待替換數(shù)據(jù)替換為差異數(shù)據(jù)，生成當(dāng)前元數(shù)據(jù)。

在一些實施例中，上述實施例中的差分?jǐn)?shù)據(jù)還包括已備份元數(shù)據(jù)內(nèi)的原始差異數(shù)據(jù)。這個在進行恢復(fù)時，就可以進行對比，當(dāng)待替換數(shù)據(jù)與原始差異數(shù)據(jù)相同時，說明沒有錯誤，可以直接進行恢復(fù)，若不相同，則說明差分?jǐn)?shù)據(jù)/已備份元數(shù)據(jù)存在錯誤，需要根據(jù)實際情況判斷是否需要恢復(fù)，以及如何恢復(fù)。

在一些實施例中，上述實施例中的備份模塊11還用于采用多線程并行進行元數(shù)據(jù)備份，恢復(fù)模塊12還用于采用多線程并行進行元數(shù)據(jù)恢復(fù)。多線程并行方式可以進一步加強元數(shù)據(jù)的備份及恢復(fù)速度。

在一些實施例中，在元數(shù)據(jù)備份后，上述實施例中的備份模塊11還用于根據(jù)差分?jǐn)?shù)據(jù)的大小確定下一次數(shù)據(jù)備份時的備份方式，備份方式包括：全量備份和差分備份。具體的，可以設(shè)置一個閾值，當(dāng)某一次進行差分備份時的差分?jǐn)?shù)據(jù)大于閾值，就說明當(dāng)前元數(shù)據(jù)與已備份元數(shù)據(jù)的差異較大，這往往代表了用戶對分布式文件系統(tǒng)的存儲數(shù)據(jù)進行了較大的修改，如更換硬件設(shè)備等，僅進行差分備份容易造成差異數(shù)據(jù)的漏計算，因此設(shè)置下一次備份時，采用全量備份的方式進行原數(shù)據(jù)的全量備份，作為后續(xù)差分備份的基礎(chǔ)。

對應(yīng)的，本發(fā)明提供了一種分布式文件系統(tǒng)，其包括本發(fā)明提供的元數(shù)據(jù)管理裝置1。

第二實施例：

圖2為本發(fā)明第二實施例提供的元數(shù)據(jù)管理方法的流程圖，由圖2可知，在本實施例中，本發(fā)明提供的元數(shù)據(jù)管理方法包括以下步驟：

S201：在元數(shù)據(jù)備份時，采用差分算法計算當(dāng)前元數(shù)據(jù)與已備份元數(shù)據(jù)的差分?jǐn)?shù)據(jù)；

S202：在元數(shù)據(jù)恢復(fù)時，利用差分?jǐn)?shù)據(jù)及已備份元數(shù)據(jù)恢復(fù)當(dāng)前元數(shù)據(jù)。

在一些實施例中，上述實施例中的已備份元數(shù)據(jù)包括最近一次全量備份的元數(shù)據(jù)。

在一些實施例中，上述實施例中的差分?jǐn)?shù)據(jù)包括已備份元數(shù)據(jù)的標(biāo)識、差異數(shù)據(jù)偏移量及差異數(shù)據(jù)。

在一些實施例中，上述實施例中的利用差分?jǐn)?shù)據(jù)及已備份元數(shù)據(jù)恢復(fù)當(dāng)前元數(shù)據(jù)包括：確定差分?jǐn)?shù)據(jù)對應(yīng)的已備份元數(shù)據(jù)，根據(jù)差異數(shù)據(jù)偏移量確定已備份元數(shù)據(jù)內(nèi)的待替換數(shù)據(jù)，將待替換數(shù)據(jù)替換為差異數(shù)據(jù)，生成當(dāng)前元數(shù)據(jù)。

在一些實施例中，上述實施例中的差分?jǐn)?shù)據(jù)還包括已備份元數(shù)據(jù)內(nèi)的原始差異數(shù)據(jù)。

在一些實施例中，上述實施例中的方法還包括：采用多線程并行進行元數(shù)據(jù)備份及元數(shù)據(jù)恢復(fù)。

在一些實施例中，上述實施例中的方法在元數(shù)據(jù)備份后，還包括：根據(jù)差分?jǐn)?shù)據(jù)的大小確定下一次數(shù)據(jù)備份時的備份方式，備份方式包括：全量備份和差分備份。

現(xiàn)結(jié)合具體應(yīng)用場景對本發(fā)明做進一步的詮釋說明。

第三實施例：

圖3為本發(fā)明第三實施例提供的元數(shù)據(jù)管理方法的流程圖，由圖3可知，在本實施例中，本發(fā)明提供的元數(shù)據(jù)管理方法包括以下步驟：

S301：設(shè)置備份周期及全量備份閾值。

系統(tǒng)初始時，配置備份方式、備份周期為3小時、全量備份閾值為1G。

S302：第一次備份時間到，進行全量備份。

備份周期到后，確定為第一次備份時間，進行一次元數(shù)據(jù)全量備份，并配置下次備份方式為差分備份。生成的備份文件以當(dāng)前系統(tǒng)版本和時間戳作為備份ID。

S303：第二次備份時間到，進行差分備份。

下一個備份周期到時，檢查備份數(shù)據(jù)ID和備份方式，根據(jù)備份ID和備份方式進行本次備份。如果是全量備份備份完成后生成備份數(shù)據(jù)ID。如果是差分備份生成備份數(shù)據(jù)ID和備份生成的delta文件。備份時采用多線程，同時對不同的元數(shù)據(jù)文件進行差分，生成對應(yīng)的差分?jǐn)?shù)據(jù)文件。

S304：比較差分?jǐn)?shù)據(jù)與全量備份閾值，確定下一次備份方式。

在步驟S303備份完成后判斷本次備份的備份文件大小是否在設(shè)定的門限內(nèi)，如果小于設(shè)置門限1G設(shè)定下次備份方式為差分備份，如果大于門限設(shè)定下次備份方式為全量備份。

S305：利用差分?jǐn)?shù)據(jù)進行元數(shù)據(jù)恢復(fù)。

備份文件的恢復(fù)還原，如果需要還原原始數(shù)據(jù)，根據(jù)備份數(shù)據(jù)ID，備份方式和原始數(shù)據(jù)進行還原。同樣的，差分還原的時候，采用多線程的方式根據(jù)對應(yīng)的差分?jǐn)?shù)據(jù)，當(dāng)前元數(shù)據(jù)由差分還原算法生成對應(yīng)的原始數(shù)據(jù)來實現(xiàn)元數(shù)據(jù)還原。

本實施例通過特定的差分算法來針對分布式文件系統(tǒng)的海量元數(shù)據(jù)文件進行差分，生成對應(yīng)的差分文件來進行快速備份和快速還原，采用元數(shù)據(jù)文件差分算法和逆向還原算法，有效的對原始文件和目標(biāo)文件進行差分生成差分文件，如果需要還原數(shù)據(jù)可以根據(jù)差分文件和目標(biāo)文件還原成原始文件。

在實際生產(chǎn)過程中，分布式文件系統(tǒng)的海量文件其中大部分是不做修改的，也就是說大部分文件產(chǎn)生的元數(shù)據(jù)是不變的，由此差分備份和還原是對不變的 海量元數(shù)據(jù)最佳的備份和還原方式。

如圖4所示，兩份不同時期元數(shù)據(jù)二級制比較，若按照現(xiàn)有元數(shù)據(jù)備份方法，需要對所有元數(shù)據(jù)進行全量備份，若依據(jù)本發(fā)明，只有從140-1423個字節(jié)是不同的，通過字節(jié)流的差分算法比較差異文件生成差分文件，差分文件只會記錄不同數(shù)據(jù)的偏移量以及3個字節(jié)的數(shù)據(jù)(用于數(shù)據(jù)備份)和原始的3個字節(jié)數(shù)據(jù)(用于數(shù)據(jù)還原)，以上的處理過程即是差分文件生成算法；通常的，元數(shù)據(jù)改變只會是幾十個甚至幾個字節(jié)的不同，以此算法處理可以節(jié)約大量存儲空間，并且加快元數(shù)據(jù)備份速度。

元數(shù)據(jù)恢復(fù)是差分備份的逆向過程，通過差分文件我們可以很容易的根據(jù)當(dāng)前文件與差分文件中的偏移量和差異字節(jié)生成原始文件，如上則實現(xiàn)了逆向還原算法。

綜上可知，通過本發(fā)明的實施，至少存在以下有益效果：

本發(fā)明提供了一種新的元數(shù)據(jù)管理方法，通過快速差分算法和差分還原算法快速進行元數(shù)據(jù)備份和恢復(fù)，實現(xiàn)了元數(shù)據(jù)的快速備份及恢復(fù)，規(guī)范了系統(tǒng)升級的協(xié)作流程，可以使分布式文件系統(tǒng)海量元數(shù)據(jù)備份時長由原來的幾小時縮短為幾分鐘，原來的備份磁盤空間使用由GB降低到MB的量級，隨著元數(shù)據(jù)的增多其性能將更加明顯。

以上僅是本發(fā)明的具體實施方式而已，并非對本發(fā)明做任何形式上的限制，凡是依據(jù)本發(fā)明的技術(shù)實質(zhì)對以上實施方式所做的任意簡單修改、等同變化、結(jié)合或修飾，均仍屬于本發(fā)明技術(shù)方案的保護范圍。