基于去重復(fù)存儲系統(tǒng)中用于可擴展引用管理的系統(tǒng)和方法
【專利說明】
[0001] 分案說明
[0002] 本申請屬于申請日為2011年8月31日的中國發(fā)明專利申請201180050077.4的分案 申請。
技術(shù)領(lǐng)域
[0003] 本發(fā)明總體上設(shè)及備份存儲系統(tǒng)，尤其是設(shè)及用于協(xié)助基于去重復(fù)的存儲系統(tǒng)中 的資源回收的引用列表。
【背景技術(shù)】
[0004] 各種組織機構(gòu)正在積累并存儲大量電子數(shù)據(jù)。因此，備份存儲系統(tǒng)正在增加尺寸 并消耗大量資源。為了應(yīng)對數(shù)量不斷增加的數(shù)據(jù)的存儲，去重復(fù)技術(shù)已經(jīng)成為在備份存儲 系統(tǒng)中使存儲利用率最大化的一個重要特征。在典型的去重復(fù)系統(tǒng)中，將文件分塊為數(shù)據(jù) 段并且將冗余數(shù)據(jù)段從系統(tǒng)中刪除。然后，在備份存儲介質(zhì)中將唯一的數(shù)據(jù)段存儲為段對 象。隨著所存儲的段對象數(shù)量的增加，段對象的管理要求提高系統(tǒng)資源的共享，運可能影響 去重復(fù)系統(tǒng)的整體效率和性能。
[0005] 基于去重復(fù)系統(tǒng)的目的是減少需要存儲大量數(shù)據(jù)的大量存儲容量。去重復(fù)技術(shù)已 經(jīng)成熟到它們可W在數(shù)量上實現(xiàn)所存儲數(shù)據(jù)的顯著減少。然而，盡管運些技術(shù)可W減少所 需要的存儲空間，但系統(tǒng)中存儲的段對象的數(shù)量仍然繼續(xù)增加。當(dāng)去重復(fù)系統(tǒng)按比例增加 W處理更多的數(shù)據(jù)負(fù)載時，段對象的管理和標(biāo)引就成為影響系統(tǒng)性能的重要因素。
[0006] 典型地，段對象尺寸小，在一些系統(tǒng)中僅有4千字節(jié)化B)。對于存儲400兆兆字節(jié) (TB)數(shù)據(jù)的系統(tǒng)(所有段對象大小為4KB)，要維護(hù)1000億個段對象。隨著存儲需求的增長， 段對象數(shù)量上的增加可能產(chǎn)生無法接受的管理開銷。因此，需要高可擴展性管理系統(tǒng)來有 效地存儲和管理大量段對象。
[0007] 特別具有挑戰(zhàn)性的問題包括在從系統(tǒng)刪除文件后恢復(fù)資源。當(dāng)刪除一個文件時， 不能簡單地刪除組成該文件的段對象，因為系統(tǒng)所存儲的一些其他文件有可能引用了那些 相同段對象的一個或多個。只要沒有其他文件使用那些段對象，就可W將它們刪除。某種管 理形式需要持續(xù)跟蹤段對象W及使用運些段對象的所有文件。存在用于管理段對象W及指 向它們的文件的各種技術(shù)，當(dāng)小規(guī)模操作時運些技術(shù)中的大部分可W工作良好。然而，在應(yīng) 對大量段對象時運些方法中的很多可能不會有效。
[000引協(xié)助資源回收的一個技術(shù)是對段對象進(jìn)行引用計數(shù)。引用數(shù)存儲了一個值，該值 表示有多少文件指向或使用該段。每當(dāng)一個文件使用段對象時它的引用數(shù)就遞增，并且當(dāng) 刪除使用該段的文件時遞減，最終當(dāng)該數(shù)降為零時可W回收該段。
[0009] 引用計數(shù)具有不適合于去重復(fù)的一些限制。一個限制是任何丟失或重復(fù)更新會不 適當(dāng)?shù)馗淖冊撚嫈?shù)。如果該數(shù)偶然減少，當(dāng)段仍由至少一個文件使用時可能被刪除。如果該 數(shù)偶然增加，那么甚至在使用該段的所有文件都從系統(tǒng)中刪除后可能永遠(yuǎn)不會刪除該段。
[0010] 引用計數(shù)的另一個缺點是它不允許識別哪些文件使用一個給定段對象。如果段對 象遭到破壞，備份系統(tǒng)需要知道哪些文件正在使用它，運樣可W要求該文件恢復(fù)破壞的數(shù) 據(jù)。然而，引用計數(shù)并不維護(hù)哪些文件正使用每個特定段對象的列表，運使得破壞數(shù)據(jù)的恢 復(fù)更為困難。
[0011] 可用于協(xié)助資源回收的另一個工具是引用列表。維護(hù)引用列表不會受到引用計數(shù) 的內(nèi)在缺點的影響。引用列表對錯誤更新具有更強的免疫力，因為可W捜索該列表W查看 是否已經(jīng)執(zhí)行了添加或移除操作。另外，引用列表具有識別哪些文件正使用每個段對象的 能力。然而，引用列表不易于擴展W便處理大量段對像。傳統(tǒng)上，根據(jù)所存儲的每個段對象 在一個細(xì)等級上來管理引用列表。隨著段對象數(shù)量的增加，更新引用列表耗費更長的時段， 運可能降低系統(tǒng)性能。需要一種新方法，W維護(hù)可W有效管理大量段對象的引用列表。
[0012] 鑒于W上問題，維護(hù)去重復(fù)系統(tǒng)中的引用列表的改進(jìn)方法和機制是需要的。

【發(fā)明內(nèi)容】

[0013] 設(shè)想了有效管理基于去重復(fù)的存儲系統(tǒng)中的引用列表的方法和機制的各種實施 例。在一個實施例中，引用列表可W包括在備份存儲介質(zhì)中存儲的每個容器的粗等級條項 組成。由在特定容器內(nèi)存儲的至少一個段對象組成的每個文件可W在該特定容器的引用列 表中具有一個條項。當(dāng)文件添加到基于去重復(fù)的存儲系統(tǒng)中或從其刪除時，條項可W添加 到引用列表或從其刪除。在另一個實施例中，引用列表可W包括用于容器的粗等級條項W 及用于在容器中存儲的段對象的細(xì)等級條項。引用列表可W在粗等級上進(jìn)行管理，運樣存 儲系統(tǒng)的文件的刪除可W產(chǎn)生更新的容器條項，無需更新段對象條項。當(dāng)用于一個特定容 器的粗等級條項的數(shù)量減少時，最終該數(shù)量將降至一個闊值W下，在該闊值點上服務(wù)器可 W切換回在細(xì)等級上管理該特定容器的列表。在細(xì)等級上管理引用列表可W包括每次從系 統(tǒng)中刪除一個文件時就更新段對象條項。
[0014] 在又一個實施例中，引用列表可W將每個條項與一個備份事務(wù)相關(guān)聯(lián)，而不是將 每個條項與一個文件相關(guān)聯(lián)。備份事務(wù)可W包括由一個單一客戶端向基于去重復(fù)的存儲系 統(tǒng)發(fā)送的所有文件W進(jìn)行一次單一備份操作。引用列表可W包括在備份存儲介質(zhì)中存儲的 每個容器的粗等級條項。由一個特定容器中存儲的至少一個段對象組成的每個備份事務(wù)可 W在該特定容器的引用列表中具有一個條項。在又一個實施例中，引用列表可W具有一個 備份事務(wù)所引用的每個容器的粗等級條項W及一個備份事務(wù)所引用的每個段對象的細(xì)等 級條項。引用列表可W僅在粗等級上進(jìn)行更新，直到一個特定容器的粗等級條項的數(shù)量降 至一個闊值W下，在該闊值點上服務(wù)器可W切換回在細(xì)等級上管理該特定容器的列表。根 據(jù)備份事務(wù)組織該引用列表可W進(jìn)一步減少列表中條項的數(shù)量，并且響應(yīng)于備份事務(wù)添加 到系統(tǒng)中或從其中刪除而減少需要處理列表的處理時間。
[0015] 鑒于W下本文提出方法的詳細(xì)描述，運些W及其他特征和優(yōu)點對本領(lǐng)域的普通技 術(shù)人員將變得顯而易見。
【附圖說明】
[0016] 通過參考W下描述并結(jié)合附圖，本方法和機制的上述和進(jìn)一步的優(yōu)點可W得到更 好的理解，在附圖中：
[0017] 圖1展示了一種基于去重復(fù)的存儲系統(tǒng)的一個實施例。
[0018]圖2展示了一個備份事務(wù)的一個實施例，該備份事務(wù)作為段對象存儲在備份存儲 中的一個容器內(nèi)。
[0019 ]圖3展示了文件及其相關(guān)段對象引用的一個實施例。
[0020] 圖4展示了一個存儲段對象的容器和一個容器引用列表的兩個實施例。
[0021] 圖5展示了具有粗和細(xì)等級條項的一個面向文件的引用列表的一個實施例。
[0022] 圖6展示了一種用于維護(hù)存儲容器引用列表的方法的一個實施例。
[0023] 圖7展示了在第一刪除操作之后的一個引用列表的一個實施例。
[0024] 圖8展示了在第二刪除操作之后的一個引用列表的一個實施例。
[0025] 圖9展示了一個面向備份的引用列表的一個實施例，該列表具有用于備份事務(wù)的 條項。
[0026] 圖10是一個總體流程圖，該流程圖展示了一種用于在文件添加或刪除操作之后更 新引用列表的方法的一個實施例。
[0027] 圖11是一個總體流程圖，該流程圖展示了一種用于更新引用列表的方法的一個實 施例。
【具體實施方式】
[0028] 在W下描述中，給出了很多具體細(xì)節(jié)W透徹理解本文提出的方法和機制。然而，本 領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)認(rèn)識到?jīng)]有運些具體細(xì)節(jié)也可W實施各種實施例。在一些示例中， 并未詳細(xì)示出眾所周知的結(jié)構(gòu)、部件、信號、計算機程序指令W及技術(shù)，W避免混淆本文所 述的方法。
[0029] 應(yīng)當(dāng)認(rèn)識到為了進(jìn)行簡單而清晰的解釋，圖中所示的元素不一定按照比例繪出。 例如，可W相對于其他元素而放大一些元素的尺寸。另外，在認(rèn)為適當(dāng)?shù)臅r候，參考號在圖 例之間重復(fù)W表示相應(yīng)的元素。
[0030] 圖1展示了一種基于去重復(fù)的存儲系統(tǒng)100的一個實施例。該基于去重復(fù)的存儲系 統(tǒng)100包括客戶端110、120和130,運些客戶端代表任意數(shù)量的移動或靜態(tài)客戶端。盡管該圖 例將兩個桌上計算機和一個膝上計算機的示例展示為客戶端，但包括個人數(shù)字助理、蜂窩 電話、智能電話