去重復數(shù)據(jù)的恢復方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種去重復數(shù)據(jù)的恢復方法及裝置。
【背景技術(shù)】
[0002]目前現(xiàn)有的存儲技術(shù)在去除重復數(shù)據(jù)時只能在本服務器內(nèi)去除重復，不能利用高效的網(wǎng)絡(luò)進行整個系統(tǒng)內(nèi)的重復數(shù)據(jù)去除；另外當已經(jīng)去除重復的數(shù)據(jù)庫在訪問量過大時，只是簡單的進行回復數(shù)據(jù)來應對訪問量過大引起的訪問性能下降問題，這樣仍然不能有效解決上述問題。
[0003]并且，在去重復數(shù)據(jù)的恢復方案中，往外會造成對同一對數(shù)據(jù)塊(chunk)的訪問過度密集，導致訪問效率下降，影響分布式文件系統(tǒng)的運行效率。
[0004]針對相關(guān)技術(shù)中的上述問題，目如尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0005]針對相關(guān)技術(shù)中，對同一數(shù)據(jù)塊的訪問過度密集等問題，本發(fā)明提供了一種去重復數(shù)據(jù)的恢復方法及裝置，以至少解決上述問題。
[0006]根據(jù)本發(fā)明的一個方面，提供了一種去重復數(shù)據(jù)的恢復方法，包括:獲取第一數(shù)據(jù)塊所對應文件的第一訪問次數(shù)，其中，所述第一訪問數(shù)表示當前同時訪問所述文件的訪問者數(shù)量；將所述第一訪問次數(shù)分別和第一閾值以及第二閾值進行比較，其中，所述第一閾值小于第二閾值；根據(jù)比較結(jié)果，將所述第一數(shù)據(jù)塊恢復到第一存儲媒介或第二存儲媒介，其中，在所述第一訪問數(shù)大于第一閾值且小于第二閾值時，將所述第一數(shù)據(jù)塊恢復到第一存儲媒介；在所述第一訪問數(shù)大于所述第二閾值時，將所述第一數(shù)據(jù)塊恢復到第二存儲媒介；所述第二存儲媒介的訪問效率高于所述第一存儲媒介的訪問效率。
[0007]獲取第一數(shù)據(jù)塊所對應文件的第一訪問次數(shù)之前，包括:獲取所述第一數(shù)據(jù)塊的第二訪問次數(shù)，其中，第二訪問數(shù)表示當前同時訪問該第一數(shù)據(jù)塊的訪問者數(shù)量；在所述第二訪問次數(shù)大于第三閾值時，查找所述第一數(shù)據(jù)塊所對應的文件。
[0008]獲取所述第一數(shù)據(jù)塊的第二訪問次數(shù)之前，包括:獲取所述第一數(shù)據(jù)塊的特征信息，其中，所述特征信息用于表示僅所述第一數(shù)據(jù)塊具有的內(nèi)容；將所述特征信息通知給當前分布式文件系統(tǒng)以及與所述當前分布式文件系統(tǒng)相連的其它分布式文件系統(tǒng)，其中，所述特征信息用于對所述當前分布式文件系統(tǒng)以及所述其它分布式文件系統(tǒng)進行消重處理。
[0009]將所述特征信息通知給當前分布式文件系統(tǒng)包括:將所述特征信息通知給所述當前分布式系統(tǒng)中的節(jié)點服務器。
[0010]將所述第一數(shù)據(jù)塊恢復到第一存儲媒介或第二存儲媒介，包括:對所述第一數(shù)據(jù)塊進行復制，得到第二數(shù)據(jù)塊；將所述第二數(shù)據(jù)塊復制到所述第一存儲媒介或第二存儲媒介。
[0011]將所述第二數(shù)據(jù)塊復制到所述第一存儲媒介或第二存儲媒介之后，還包括:將所述第二訪問次數(shù)減去所述第一訪問次數(shù)，得到所述第一數(shù)據(jù)塊的最新訪問次數(shù)，以及將所述第一數(shù)據(jù)塊的被引用計數(shù)減I。
[0012]根據(jù)本發(fā)明的另一個方面，提供一種去重復數(shù)據(jù)的恢復裝置，包括:第一獲取模塊，用于獲取第一數(shù)據(jù)塊所對應文件的第一訪問次數(shù)，其中，所述第一訪問數(shù)表示當前同時訪問所述文件的訪問者數(shù)量；比較模塊，用于將所述第一訪問次數(shù)分別和第一閾值以及第二閾值進行比較，其中，所述第一閾值小于第二閾值；恢復模塊，用于根據(jù)比較結(jié)果，將所述第一數(shù)據(jù)塊恢復到第一存儲媒介或第二存儲媒介，其中，在所述第一訪問數(shù)大于第一閾值且小于第二閾值時，將所述第一數(shù)據(jù)塊恢復到第一存儲媒介；在所述第一訪問數(shù)大于所述第二閾值時，將所述第一數(shù)據(jù)塊恢復到第二存儲媒介；其中，所述第二存儲媒介的訪問效率高于所述第一存儲媒介的訪問效率。
[0013]上述裝置還包括:第二獲取模塊，用于獲取所述第一數(shù)據(jù)塊的第二訪問次數(shù)，其中，第二訪問數(shù)表示當前同時訪問該第一數(shù)據(jù)塊的訪問者數(shù)量；查詢模塊，用于在所述第二訪問次數(shù)大于第三閾值時,查找所述第一數(shù)據(jù)塊所對應的文件。
[0014]上述裝置還包括:第三獲取模塊，用于獲取所述第一數(shù)據(jù)塊的特征信息，其中，所述特征信息用于表示僅所述第一數(shù)據(jù)塊具有的內(nèi)容；通知模塊，用于將所述特征信息通知給當前分布式文件系統(tǒng)以及與所述當前分布式文件系統(tǒng)相連的其它分布式文件系統(tǒng)，其中，所述特征信息用于對所述當前分布式文件系統(tǒng)以及所述其它分布式文件系統(tǒng)進行消重處理。
[0015]上述裝置還包括:計數(shù)模塊，用于在將所述第二數(shù)據(jù)塊復制到所述第一存儲媒介或第二存儲媒介之后，將所述第二訪問次數(shù)減去所述第一訪問次數(shù)，得到所述第一數(shù)據(jù)塊的最新訪問次數(shù)，以及將所述第一數(shù)據(jù)塊的被引用計數(shù)減I。
[0016]通過本發(fā)明，采用根據(jù)對第一數(shù)據(jù)塊所對應文件的訪問次數(shù)分別與第一閾值和第二閾值進行比較，根據(jù)比較結(jié)果確定將第一數(shù)據(jù)塊恢復到第一存儲媒體或第二存儲媒介的技術(shù)手段，解決了相關(guān)技術(shù)中，對同一數(shù)據(jù)塊的訪問過度密集等問題，從而提高了對文件的訪問效率。
【附圖說明】
[0017]此處所說明的附圖用來提供對本發(fā)明的進一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當限定。在附圖中:
[0018]圖1為根據(jù)本發(fā)明實施例的去重復數(shù)據(jù)的恢復方法的流程圖；
[0019]圖2為根據(jù)本發(fā)明實施例的去重復數(shù)據(jù)的恢復裝置的結(jié)構(gòu)框圖；
[0020]圖3為根據(jù)本發(fā)明實施例的去重復數(shù)據(jù)的恢復裝置的另一結(jié)構(gòu)框圖；
[0021]圖4為根據(jù)本發(fā)明優(yōu)選實施例的分布式文件系統(tǒng)的結(jié)構(gòu)框圖；
[0022]圖5為根據(jù)本發(fā)明優(yōu)選實施例的數(shù)據(jù)塊的消重流程示意圖；
[0023]圖6為根據(jù)本發(fā)明優(yōu)選實施例的數(shù)據(jù)塊的恢復流程示意圖；
[0024]圖7為根據(jù)本發(fā)明優(yōu)選實施例的去重復數(shù)據(jù)的恢復方法的流程圖；
[0025]圖8為根據(jù)本發(fā)明優(yōu)選實施例的去重復數(shù)據(jù)的恢復方法的另一流程圖。
【具體實施方式】
[0026]下文中將參考附圖并結(jié)合實施例來詳細說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互組合。
[0027]以下實施例可以應用到計算機中，例如應用到PC中。也可以應用到目前采用了智能操作系統(tǒng)中的移動終端中，并且并不限于此。對于計算機或移動終端的操作系統(tǒng)并沒有特殊要求，只要支持應用程序的運行即可。例如，以下實施例可以應用到Windows操作系統(tǒng)中。
[0028]圖1為根據(jù)本發(fā)明實施例的去重復數(shù)據(jù)的恢復方法的流程圖。如圖1所示，該方法包括:
[0029]步驟S102，獲取第一數(shù)據(jù)塊所對應文件的第一訪問次數(shù)，其中，該第一訪問數(shù)表示當前同時訪問上述文件的訪問者數(shù)量；
[0030]在本實施例中，為了進一步提高對數(shù)據(jù)塊的訪問效率，在步驟S102之前，還需要考慮第一數(shù)據(jù)塊的訪問次數(shù)，具體地:獲取第一數(shù)據(jù)塊的第二訪問次數(shù)，其中，第二訪問數(shù)表示當前同時訪問該第一數(shù)據(jù)塊的訪問者數(shù)量；在第二訪問次數(shù)大于第三閾值時，查找第一數(shù)據(jù)塊所對應的文件；獲取文件的第一訪問次數(shù)。
[0031]為了實現(xiàn)跨系統(tǒng)以及跨服務器的消重處理，還需要執(zhí)行以下處理過程:獲取上述第一數(shù)據(jù)塊的特征信息，其中，上述特征信息用于表示僅上述第一數(shù)據(jù)塊具有的內(nèi)容；將上述特征信息通知給當前分布式文件系統(tǒng)以及與上述當前分布式文件系統(tǒng)相連的其它分布式文件系統(tǒng)，其中，上述特征信息用于對上述其它分布式文件系統(tǒng)進行消重處理。其中，對于跨服務器進行消重之前，需要將上述特征信息通知給當前分布式系統(tǒng)中的節(jié)點服務器。
[0032]步驟S104，將第一訪問次數(shù)分別和第一閾值以及第二閾值進行比較，其中，第一閾值小于第二閾值；
[0033]步驟S106，根據(jù)比較結(jié)果，將第一數(shù)據(jù)塊恢復到第一存儲媒介或第二存儲媒介，其中，在第一訪問數(shù)大于第一閾值且小于第二閾值時，將第一數(shù)據(jù)塊恢復到第一存儲媒介；在第一訪問數(shù)大于第二閾值時，將第一數(shù)據(jù)塊恢復到第二存儲媒介；上述第二存儲媒介的訪問效率高于上述第一存儲媒介的訪問效率。
[0034]將第一數(shù)據(jù)塊恢復到第一存儲媒介或第二存儲媒介可以表現(xiàn)為以下處理過程:對第一數(shù)據(jù)塊進行復制，得到第二數(shù)據(jù)塊；將第二數(shù)據(jù)塊復制到第一存儲媒介或第二存儲媒介。
[0035]在將第二數(shù)據(jù)塊復制到上述第一存儲媒介或第二存儲媒介之后，將上述第二訪問次數(shù)減去上述第一訪問次數(shù)，得到上述第一數(shù)據(jù)塊的最新訪問次數(shù)，以及將上述第一數(shù)據(jù)塊的被引用計數(shù)減I。
[0036]在本實施例中還提供了一種去重復數(shù)據(jù)的恢復裝置，用于實現(xiàn)上述實施例及優(yōu)選實施方式，已經(jīng)進行過說明的不再贅述，下面對該裝置中涉及到的模塊進行說明。如以下所使用的，術(shù)語“模塊”可以實現(xiàn)預定功能的軟件和/或硬件的組合。盡管以下實施例所描述的裝置較佳地以軟件來實現(xiàn)，但是硬件，或者軟件和硬件的組合的實現(xiàn)也是可能并被構(gòu)想的。圖2為根據(jù)本發(fā)明實施例的去重復數(shù)據(jù)的恢復裝置的結(jié)構(gòu)框圖。如圖2所示，該裝置包括:
[0037]第一獲取模塊20，用于獲取第一數(shù)據(jù)塊所對應文件的第一訪問次數(shù)，其中，第一訪問數(shù)表示當前同時訪問上述文件的訪問者數(shù)量；
[0038]比較模塊22，連接至第一獲取模塊20，用于將第一訪問次數(shù)分別和第一閾值以及第二閾值進行比較，其中，第一閾值小于第二閾值；
[0039]恢復模塊24，連接至比較模塊22，用于根據(jù)比較結(jié)果，將第一數(shù)據(jù)塊恢復到第一存儲媒介或第二存儲媒介，其中，在第一訪問數(shù)大于第一閾值且小于第二閾值時，將第一數(shù)據(jù)塊恢復到第一存儲媒介；在第一訪問數(shù)大于第二閾值時，將第一數(shù)據(jù)塊恢復到第二存儲媒介；其中，第二存儲媒介的訪問效率高于第一存儲媒介的訪問效率。
[0040]在本實施例中，如圖3所示，上述裝置還包括:第二獲取模塊26，用