国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)及其處理方法

      文檔序號(hào):7704696閱讀:280來(lái)源:國(guó)知局

      專利名稱::分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)及其處理方法
      技術(shù)領(lǐng)域
      :本發(fā)明涉及一種重復(fù)數(shù)據(jù)刪除系統(tǒng)及其方法,特別涉及一種分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)及其處理方法。
      背景技術(shù)
      :隨著因特網(wǎng)的興起的緣故,因此許多網(wǎng)絡(luò)供應(yīng)者為能有效保存使用者的文件,進(jìn)而在網(wǎng)絡(luò)上提供許多存放的空間。以往是由單一服務(wù)端提供網(wǎng)絡(luò)空間的存儲(chǔ)服務(wù)。然而,單一服務(wù)器的運(yùn)算能力有限,因此演進(jìn)為多服務(wù)器以平行處理的方式來(lái)提供存儲(chǔ)服務(wù)。這種存儲(chǔ)方式被稱為分布式存儲(chǔ)系統(tǒng)。請(qǐng)參考圖I所示,其為現(xiàn)有技術(shù)的存儲(chǔ)數(shù)據(jù)示意圖。一般而言,分布式存儲(chǔ)系統(tǒng)為能完整備份使用者的文件數(shù)據(jù)。所以會(huì)在不同服務(wù)端121中存儲(chǔ)相同的數(shù)據(jù)。舉例來(lái)說,分布式存儲(chǔ)系統(tǒng)是具有三個(gè)存儲(chǔ)服務(wù)端121。當(dāng)客戶端111欲將IOOMbytes的數(shù)據(jù)存儲(chǔ)至網(wǎng)絡(luò)空間中,則分布式存儲(chǔ)系統(tǒng)會(huì)將這IOOMbytes分別存儲(chǔ)至這三臺(tái)存儲(chǔ)服務(wù)端121中。如此一來(lái),所有的存儲(chǔ)服務(wù)端121就會(huì)占用掉300Mbytes的空間。若是每一個(gè)客戶端111的文件均要備份在每一臺(tái)存儲(chǔ)服務(wù)端121上,這對(duì)于網(wǎng)絡(luò)供應(yīng)者而言不啻為一種沉重的負(fù)擔(dān)。
      發(fā)明內(nèi)容鑒于以上的問題,本發(fā)明的目的在于提供一種分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng),用以存儲(chǔ)客戶端所產(chǎn)生的至少一切分?jǐn)?shù)據(jù)塊。本發(fā)明所揭露的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)包括客戶端、派發(fā)服務(wù)器、重復(fù)數(shù)據(jù)處理裝置(De-dupEngine)與存儲(chǔ)服務(wù)端??蛻舳藢?duì)輸入文件進(jìn)行重復(fù)數(shù)據(jù)刪除程序(de-duplication),并生成切分?jǐn)?shù)據(jù)塊與相應(yīng)的指紋特征值(Fingerprint)。派發(fā)服務(wù)器(DispatchServer)紀(jì)錄輸入文件的切分?jǐn)?shù)據(jù)塊的儲(chǔ)存位置;派發(fā)服務(wù)器根據(jù)指紋特征值將查詢要求轉(zhuǎn)發(fā)至相應(yīng)的重復(fù)數(shù)據(jù)處理裝置;重復(fù)數(shù)據(jù)處理裝置(Dedup.Engine)從指紋特征查找表(hashtable)中查找指紋特征值是否已經(jīng)存在;若指紋特征查找表中未存儲(chǔ)指紋特征值,則重復(fù)數(shù)據(jù)處理裝置根據(jù)指紋特征值將相應(yīng)的切分?jǐn)?shù)據(jù)塊指派到存儲(chǔ)服務(wù)端,并向客戶端發(fā)送包含所指派的存儲(chǔ)服務(wù)端的存儲(chǔ)節(jié)點(diǎn)信息。指紋特征值是由SHA-1、哈希程序(Hash)或單向算法所產(chǎn)生,使得每一切分?jǐn)?shù)據(jù)塊只能對(duì)應(yīng)到唯一的指紋特征值。并且在存儲(chǔ)服務(wù)端存儲(chǔ)新的切分?jǐn)?shù)據(jù)塊后,重復(fù)數(shù)據(jù)處理裝置會(huì)運(yùn)行指紋特征查找表的同步處理,用以更新其它重復(fù)數(shù)據(jù)處理裝置的指紋特征查找表。本發(fā)明還提出一種重復(fù)數(shù)據(jù)刪除的分布式處理方法,包括步驟客戶端接收輸入文件后產(chǎn)生切分?jǐn)?shù)據(jù)塊,并向派發(fā)服務(wù)器發(fā)送具有指紋特征值的查詢要求;派發(fā)服務(wù)器根據(jù)指紋特征值將查詢要求轉(zhuǎn)發(fā)至相應(yīng)的重復(fù)數(shù)據(jù)處理裝置;重復(fù)數(shù)據(jù)處理裝置判斷指紋特征值是否已經(jīng)存在于指紋特征查找表中;若指紋特征查找表中未存儲(chǔ)指紋特征值,則重復(fù)數(shù)據(jù)處理裝置根據(jù)指紋特征值將相應(yīng)的切分?jǐn)?shù)據(jù)塊指派到存儲(chǔ)服務(wù)端,并向客戶端發(fā)送包含所指派的存儲(chǔ)服務(wù)端的存儲(chǔ)節(jié)點(diǎn)信息;客戶端根據(jù)存儲(chǔ)節(jié)點(diǎn)信息將切分?jǐn)?shù)據(jù)塊傳送至存儲(chǔ)服務(wù)端。本發(fā)明所提出的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)及其方法通過分層指派與重復(fù)數(shù)據(jù)對(duì)比的處理,使得每一臺(tái)數(shù)據(jù)存儲(chǔ)服務(wù)器的數(shù)據(jù)量可以有效的降低,進(jìn)而提高整體數(shù)據(jù)量的存儲(chǔ)空間。以下結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)描述,但不作為對(duì)本發(fā)明的限定。圖I為現(xiàn)有技術(shù)的存儲(chǔ)數(shù)據(jù)示意圖;圖2為本發(fā)明的架構(gòu)示意圖;圖3為本發(fā)明的運(yùn)作流程示意圖。其中,附圖標(biāo)記客戶端111服務(wù)端121客戶端211派發(fā)服務(wù)器212重復(fù)數(shù)據(jù)處理裝置213存儲(chǔ)服務(wù)端21具體實(shí)施例方式下面結(jié)合附圖對(duì)本發(fā)明的結(jié)構(gòu)原理和工作原理作具體的描述請(qǐng)參考圖2所示,其為本發(fā)明的架構(gòu)示意圖。本發(fā)明分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)可以應(yīng)用于局域網(wǎng)絡(luò)或因特網(wǎng)之中,而本發(fā)明的分布式重復(fù)數(shù)據(jù)刪除系統(tǒng)包括客戶端211、派發(fā)服務(wù)器212(DispatchServer)、重復(fù)數(shù)據(jù)處理裝置213(De-dupEngine)與存儲(chǔ)服務(wù)端214??蛻舳?11用以接收輸入文件,并對(duì)輸入文件執(zhí)行切分處理,用以進(jìn)行重復(fù)數(shù)據(jù)刪除的判斷。重復(fù)數(shù)據(jù)刪除是一種數(shù)據(jù)縮減技術(shù),通常用于基于磁盤的備份系統(tǒng),主要目的在于減少存儲(chǔ)系統(tǒng)中使用的存儲(chǔ)容量。它的工作方式是在某個(gè)時(shí)間周期內(nèi)查找不同文件中不同位置的重復(fù)可變大小數(shù)據(jù)塊(文中將其定義為切分?jǐn)?shù)據(jù)塊)。重復(fù)的數(shù)據(jù)塊用指示符(token)取代。采用“重復(fù)數(shù)據(jù)刪除”技術(shù)可以讓出更多的備份空間,不僅可以使存儲(chǔ)服務(wù)端214上的備份數(shù)據(jù)保存更長(zhǎng)的時(shí)間,而且還可以節(jié)約離線存儲(chǔ)時(shí)所需的大量的帶寬。在進(jìn)行重復(fù)數(shù)據(jù)刪除的過程中,客戶端211會(huì)對(duì)輸入文件進(jìn)行切分的處理。輸入文件在經(jīng)過切分處理后會(huì)產(chǎn)生多個(gè)切分?jǐn)?shù)據(jù)塊。隨后,客戶端211會(huì)對(duì)數(shù)據(jù)區(qū)塊進(jìn)行哈希處理,并產(chǎn)生相應(yīng)各數(shù)據(jù)區(qū)塊的一哈希值??蛻舳?11將所得到的哈希值與儲(chǔ)存于存儲(chǔ)服務(wù)端21中的哈希值進(jìn)行對(duì)比,并判斷有無(wú)相同的哈希值。若是存在相同的哈希值時(shí),則代表此一數(shù)據(jù)區(qū)塊曾經(jīng)被存放于存儲(chǔ)服務(wù)端21中。在本發(fā)明的客戶端211在完成數(shù)據(jù)切分的處理后,會(huì)產(chǎn)生對(duì)應(yīng)輸入文件的多筆切分?jǐn)?shù)據(jù)塊與其指紋特征值(Fingerprint)。指紋特征值是由SHA-I程序、哈希程序(Hash)或單向算法(Onewayfunction)所產(chǎn)生,使得每一切分?jǐn)?shù)據(jù)塊只能對(duì)應(yīng)到唯一的指紋特征值??蛻舳?11發(fā)送將具有指紋特征值的查詢要求傳送至派發(fā)服務(wù)器212。派發(fā)服務(wù)器212除了根據(jù)指紋特征值將該查詢要求轉(zhuǎn)發(fā)至相應(yīng)的重復(fù)數(shù)據(jù)刪除處理裝置,派發(fā)服務(wù)器212還可用以紀(jì)錄輸入文件的切分?jǐn)?shù)據(jù)塊的儲(chǔ)存位置。重復(fù)數(shù)據(jù)刪除處理裝置的數(shù)量是由客戶端211的數(shù)量所決定。每一臺(tái)重復(fù)數(shù)據(jù)處理裝置213還包括指紋特征查找表,指紋特征查找表用以記錄每一個(gè)切分?jǐn)?shù)據(jù)塊所相應(yīng)的指紋特征值。重復(fù)數(shù)據(jù)處理裝置213接收到指紋特征值后會(huì)進(jìn)行判斷該指紋特征值是否已經(jīng)存在。當(dāng)指紋特征查找表中不存在欲查詢的指紋特征值時(shí),重復(fù)數(shù)據(jù)刪除處理裝置會(huì)選取任一存儲(chǔ)服務(wù)端214用以存放相應(yīng)的切分?jǐn)?shù)據(jù)塊。為能清楚說明本案的運(yùn)作過程,還請(qǐng)參考圖3所示,其為本發(fā)明的運(yùn)作流程示意圖,本發(fā)明包括以下步驟步驟S310:客戶端接收輸入文件后產(chǎn)生切分?jǐn)?shù)據(jù)塊,并向派發(fā)服務(wù)器發(fā)送具有指紋特征值的查詢要求;步驟S320:派發(fā)服務(wù)器根據(jù)指紋特征值將查詢要求轉(zhuǎn)發(fā)至相應(yīng)的重復(fù)數(shù)據(jù)處理裝置;步驟S330:重復(fù)數(shù)據(jù)處理裝置判斷指紋特征值是否已經(jīng)存在于指紋特征值查找表中;步驟S340:若指紋特征值查找表中已存儲(chǔ)指紋特征值,則重復(fù)數(shù)據(jù)處理裝置是通過派發(fā)服務(wù)器向客戶端響應(yīng)該筆切分?jǐn)?shù)據(jù)塊已存在;步驟S350:若指紋特征值查找表中未存儲(chǔ)指紋特征值,則重復(fù)數(shù)據(jù)處理裝置根據(jù)指紋特征值將相應(yīng)的切分?jǐn)?shù)據(jù)塊指派到存儲(chǔ)服務(wù)端,并向客戶端發(fā)送包含所指派的存儲(chǔ)服務(wù)端的存儲(chǔ)節(jié)點(diǎn)信息;以及步驟S360:客戶端根據(jù)存儲(chǔ)節(jié)點(diǎn)信息將切分?jǐn)?shù)據(jù)塊傳送至存儲(chǔ)服務(wù)端??蛻舳?11接收輸入文件并執(zhí)行切分處理,用以產(chǎn)生切分?jǐn)?shù)據(jù)塊??蛻舳?11將具有指紋特征值的查詢要求傳送至派發(fā)服務(wù)器212發(fā)送。派發(fā)服務(wù)器212根據(jù)指紋特征值將查詢要求轉(zhuǎn)發(fā)至相應(yīng)的重復(fù)數(shù)據(jù)處理裝置213。而重復(fù)數(shù)據(jù)處理裝置213可以根據(jù)指紋特征值進(jìn)行取余數(shù)處理,并根據(jù)取余數(shù)處理后的結(jié)果將查詢要求轉(zhuǎn)發(fā)至派發(fā)服務(wù)器212。舉例來(lái)說,客戶端211將輸入文件切分為1024筆切分?jǐn)?shù)據(jù)塊,并通過SHA-I對(duì)切分?jǐn)?shù)據(jù)塊產(chǎn)生相應(yīng)的指紋特征值(也是1024筆)。另假設(shè)派發(fā)服務(wù)器212的數(shù)量為3臺(tái),則分別對(duì)這1024筆指紋特征值進(jìn)行取余數(shù)(意即取3的余數(shù))。在實(shí)際運(yùn)作時(shí),可以根據(jù)派發(fā)服務(wù)器212的數(shù)量決定取余數(shù)的參數(shù)。接著,根據(jù)取余的結(jié)果將查詢要求轉(zhuǎn)發(fā)至相應(yīng)的重復(fù)數(shù)據(jù)處理裝置213。例如余數(shù)為“O”的指紋特征值的查詢要求轉(zhuǎn)發(fā)至第一臺(tái)重復(fù)數(shù)據(jù)處理裝置213、余數(shù)為“I”的指紋特征值的查詢要求轉(zhuǎn)發(fā)至第二臺(tái)重復(fù)數(shù)據(jù)處理裝置213、余數(shù)為“2”的指紋特征值的查詢要求轉(zhuǎn)發(fā)至第三臺(tái)重復(fù)數(shù)據(jù)處理裝置213。接下來(lái),重復(fù)數(shù)據(jù)處理裝置213接獲查詢要求后,重復(fù)數(shù)據(jù)處理裝置213會(huì)查找指紋特征值查找表中是否存在指紋特征值。若指紋特征值查找表中已存儲(chǔ)指紋特征值,則重復(fù)數(shù)據(jù)處理裝置213是通過派發(fā)服務(wù)器212向客戶端211響應(yīng)該筆切分?jǐn)?shù)據(jù)塊已存在。反之,則重復(fù)數(shù)據(jù)處理裝置213根據(jù)指紋特征值將相應(yīng)的切分?jǐn)?shù)據(jù)塊指派到存儲(chǔ)服務(wù)端214,并向客戶端211發(fā)送包含所指派的存儲(chǔ)服務(wù)端214的存儲(chǔ)節(jié)點(diǎn)信息。而通知客戶端211的方式有派發(fā)服務(wù)器212將查詢要求轉(zhuǎn)發(fā)至相應(yīng)的重復(fù)數(shù)據(jù)處理裝置213后,并發(fā)送存儲(chǔ)節(jié)點(diǎn)信息至客戶端211?;蛘呤牵砂l(fā)服務(wù)器212將查詢要求轉(zhuǎn)發(fā)至相應(yīng)的重復(fù)數(shù)據(jù)處理裝置213后,并通過重復(fù)數(shù)據(jù)處理裝置213發(fā)送存儲(chǔ)節(jié)點(diǎn)信息至客戶端211。此外,重復(fù)數(shù)據(jù)處理裝置213還記錄切分?jǐn)?shù)據(jù)塊的元數(shù)據(jù)信息(Metadata)。元數(shù)據(jù)信息用以維護(hù)切分?jǐn)?shù)據(jù)塊所存儲(chǔ)服務(wù)端、在相應(yīng)存儲(chǔ)服務(wù)端上的存儲(chǔ)位置及長(zhǎng)度。當(dāng)客戶端211需要讀取切分?jǐn)?shù)據(jù)塊時(shí),重復(fù)數(shù)據(jù)處理裝置213可通過元數(shù)據(jù)信息進(jìn)而找到相應(yīng)的切分?jǐn)?shù)據(jù)塊的位置并讀取,同時(shí)也可以通過指紋特征值來(lái)確認(rèn)切分?jǐn)?shù)據(jù)塊的正確性。最后,當(dāng)客戶端211收到指定存儲(chǔ)位置的存儲(chǔ)節(jié)點(diǎn)信息,客戶端211根據(jù)存儲(chǔ)節(jié)點(diǎn)信息將切分?jǐn)?shù)據(jù)塊傳送至存儲(chǔ)服務(wù)端214。于此同時(shí),重復(fù)數(shù)據(jù)處理裝置213會(huì)執(zhí)行指紋特征查找表(hashtable)的同步處理,用以更新其它重復(fù)數(shù)據(jù)處理裝置213中的指紋特征查找表所記錄的指紋特征值與相應(yīng)的切分?jǐn)?shù)據(jù)塊所儲(chǔ)存的位置。當(dāng)其它重復(fù)數(shù)據(jù)處理裝置213在接收到已存儲(chǔ)過的切分?jǐn)?shù)據(jù)塊的查詢要求時(shí),重復(fù)數(shù)據(jù)處理裝置213可以實(shí)時(shí)的判斷該筆切分?jǐn)?shù)據(jù)塊是否已經(jīng)存在。本發(fā)明所提出的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)及其方法是通過分層指派與重復(fù)數(shù)據(jù)對(duì)比的處理,使得每一臺(tái)數(shù)據(jù)存儲(chǔ)服務(wù)器的數(shù)據(jù)量可以有效的降低,進(jìn)而提高整體數(shù)據(jù)量的存儲(chǔ)空間。當(dāng)然,本發(fā)明還可有其它多種實(shí)施例,在不背離本發(fā)明精神及其實(shí)質(zhì)的情況下,熟悉本領(lǐng)域的技術(shù)人員當(dāng)可根據(jù)本發(fā)明作出各種相應(yīng)的改變和變形,但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。權(quán)利要求1.ー種分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng),用以存儲(chǔ)客戶端的所產(chǎn)生至少一切分?jǐn)?shù)據(jù)塊,其特征在干,該重復(fù)數(shù)據(jù)刪除系統(tǒng)包括至少一存儲(chǔ)服務(wù)端,用以存儲(chǔ)該些切分?jǐn)?shù)據(jù)塊;ー客戶端,將ー輸入文件運(yùn)行一重復(fù)數(shù)據(jù)刪除程序,生成該些切分?jǐn)?shù)據(jù)塊與相應(yīng)的ー指紋特征值,該客戶端發(fā)送具有該指紋特征值的ー查詢要求,并根據(jù)一存儲(chǔ)節(jié)點(diǎn)信息將該切分?jǐn)?shù)據(jù)塊傳送至該存儲(chǔ)服務(wù)端;一重復(fù)數(shù)據(jù)處理裝置,用以判斷該指紋特征值是否已經(jīng)存在,并根據(jù)新的該指紋特征值將新的該切分?jǐn)?shù)據(jù)塊指派到該存儲(chǔ)服務(wù)端;以及一派發(fā)服務(wù)器,其紀(jì)錄該輸入文件的該些切分?jǐn)?shù)據(jù)塊的儲(chǔ)存位置,該派發(fā)服務(wù)器根據(jù)該指紋特征值將該查詢要求轉(zhuǎn)發(fā)至相應(yīng)的該重復(fù)數(shù)據(jù)處理裝置2.根據(jù)權(quán)利要求I所述的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng),其特征在干,該重復(fù)數(shù)據(jù)處理裝置將該指紋特征值進(jìn)行取余數(shù)處理,井根據(jù)取余數(shù)處理后的結(jié)果將該查詢要求轉(zhuǎn)發(fā)至該派發(fā)服務(wù)器。3.根據(jù)權(quán)利要求I所述的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng),其特征在干,該派發(fā)服務(wù)器將該查詢要求轉(zhuǎn)發(fā)至相應(yīng)的該重復(fù)數(shù)據(jù)處理裝置后,井向發(fā)送該存儲(chǔ)節(jié)點(diǎn)信息至該客戶端。4.根據(jù)權(quán)利要求I所述的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng),其特征在干,該派發(fā)服務(wù)器將該查詢要求轉(zhuǎn)發(fā)至相應(yīng)的該重復(fù)數(shù)據(jù)處理裝置后,并通過該重復(fù)數(shù)據(jù)處理裝置發(fā)送該存儲(chǔ)節(jié)點(diǎn)信息至該客戶端。5.根據(jù)權(quán)利要求I所述的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng),其特征在干,該重復(fù)數(shù)據(jù)處理裝置還記錄該切分?jǐn)?shù)據(jù)塊的一元數(shù)據(jù)信息。6.根據(jù)權(quán)利要求I所述的分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng),其特征在干,該存儲(chǔ)服務(wù)端存儲(chǔ)該些切分?jǐn)?shù)據(jù)塊后,該些重復(fù)數(shù)據(jù)處理裝置運(yùn)行一指紋特征查找表的一同步處理,用以更新其它該些重復(fù)數(shù)據(jù)處理裝置的該指紋特征查找表。7.一種重復(fù)數(shù)據(jù)刪除的分布式處理方法,用以存儲(chǔ)ー客戶端的所產(chǎn)生至少一切分?jǐn)?shù)據(jù)塊,其特征在干,該處理方法包括該客戶端接收ー輸入文件后產(chǎn)生該些切分?jǐn)?shù)據(jù)塊,井向一派發(fā)服務(wù)器發(fā)送具有一指紋特征值的ー查詢要求;該派發(fā)服務(wù)器根據(jù)該指紋特征值將該查詢要求轉(zhuǎn)發(fā)至相應(yīng)的一重復(fù)數(shù)據(jù)處理裝置;該重復(fù)數(shù)據(jù)處理裝置判斷該指紋特征值是否已經(jīng)存在于一指紋特征查找表中;若該指紋特征查找表中未存儲(chǔ)該指紋特征值,則該重復(fù)數(shù)據(jù)處理裝置根據(jù)該指紋特征值將相應(yīng)的該切分?jǐn)?shù)據(jù)塊指派到該存儲(chǔ)服務(wù)端,并向該客戶端發(fā)送包含所指派的該存儲(chǔ)服務(wù)端的一存儲(chǔ)節(jié)點(diǎn)信息;以及該客戶端根據(jù)該存儲(chǔ)節(jié)點(diǎn)信息將該切分?jǐn)?shù)據(jù)塊傳送至該存儲(chǔ)服務(wù)端。8.根據(jù)權(quán)利要求7所述的重復(fù)數(shù)據(jù)刪除的分布式處理方法,其特征在于,該重復(fù)數(shù)據(jù)處理裝置將該指紋特征值進(jìn)行取余數(shù)處理,井根據(jù)取余數(shù)處理后的結(jié)果將該查詢要求轉(zhuǎn)發(fā)至該派發(fā)服務(wù)器。9.根據(jù)權(quán)利要求7所述的重復(fù)數(shù)據(jù)刪除的分布式處理方法,其特征在于,該重復(fù)數(shù)據(jù)處理裝置還記錄該切分?jǐn)?shù)據(jù)塊的一元數(shù)據(jù)信息。全文摘要一種分布式的重復(fù)數(shù)據(jù)刪除系統(tǒng)及其處理方法,客戶端對(duì)輸入文件運(yùn)行重復(fù)數(shù)據(jù)刪除程序,用以生成切分?jǐn)?shù)據(jù)塊與相應(yīng)的指紋特征值;客戶端向派發(fā)服務(wù)器發(fā)送具有指紋特征值的查詢要求;派發(fā)服務(wù)器紀(jì)錄切分?jǐn)?shù)據(jù)塊的儲(chǔ)存位置;派發(fā)服務(wù)器根據(jù)指紋特征值將查詢要求轉(zhuǎn)發(fā)至相應(yīng)的重復(fù)數(shù)據(jù)處理裝置;重復(fù)數(shù)據(jù)處理裝置判斷指紋特征值是否已經(jīng)存在;若不存在該筆指紋特征值,則重復(fù)數(shù)據(jù)處理裝置根據(jù)新的指紋特征值將新的切分?jǐn)?shù)據(jù)塊存儲(chǔ)至存儲(chǔ)服務(wù)端。文檔編號(hào)H04L29/08GK102833298SQ20111017253公開日2012年12月19日申請(qǐng)日期2011年6月17日優(yōu)先權(quán)日2011年6月17日發(fā)明者朱明勝,王輝,陳志豐申請(qǐng)人:英業(yè)達(dá)集團(tuán)(天津)電子技術(shù)有限公司,英業(yè)達(dá)股份有限公司
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
      1