(預(yù)留帶寬）和彈性部分154 (彈 性帶寬）。在一些實現(xiàn)方式中，彈性帶寬是任何未使用的預(yù)留帶寬152。
[0056] 默認(rèn)情況下，每個客戶端120可以從存儲器主機110接收帶寬150的同等共享。存 儲器主機110可以通過將任何未使用的帶寬150分布在可以使用其的客戶端120之間而連 續(xù)工作。在一些實現(xiàn)方式中，未相等地分布帶寬150。第一，存儲器主機110將預(yù)留帶寬152 分配給每個客戶端120,并且任何未使用的帶寬152被放置在彈性池中作為彈性帶寬154。 除不需要彈性帶寬154的客戶端120不將其從池取出，而是作為替代使其相同地在可以利 用額外帶寬150的客戶端120之間劃分外，存儲器主機110可以將彈性池或者彈性帶寬154 相等地劃分在客戶端120之間。如果可用于客戶端120的帶寬數(shù)量150不是足夠的，或者 客戶端120要求帶寬保證（例如，因為同等共享帶寬150可以隨時間變化），則客戶端120 可以請求將預(yù)留帶寬152分配到隔離等級160。
[0057] 隔離等級160允許與客戶端120相同運行的請求122接收分化的服務(wù)?？蛻舳?120可以具有多個相關(guān)聯(lián)的隔離等級160。存儲器主機110可以使用標(biāo)識符來定義隔離等 級160,諸如客戶端名稱加上任意的字符串?？蛻舳?20可以執(zhí)行具有一個或多個客戶端請 求122的應(yīng)用124。每個客戶端120可以具有一個或多個相關(guān)聯(lián)的隔離等級160,并且每個 隔離等級160可以包含一個或多個客戶端請求122?？蛻舳藰?biāo)記可以確定請求122應(yīng)當(dāng)使 用哪個隔離等級160。備選地，可以由在每請求基礎(chǔ)上的客戶端120指定隔離等級160,因 此單個客戶端120可以使用多個隔離等級160。運行為不同客戶端120的請求122可以不 共享相同隔離等級160,這是因為隔離等級160是客戶端120的子代。備選實現(xiàn)方式可以具 有跨多個客戶端120的隔離等級160?？梢詫Ω綦x等級160分配彈性帶寬154加上預(yù)留帶 寬 152。
[0058] 在一些實現(xiàn)方式中，客戶端120、隔離等級160和客戶端請求122形成層次關(guān)系。 每個客戶端120可以具有一個或多個相關(guān)聯(lián)的隔離等級160,并且每個隔離等級160可以具 有一個或多個相關(guān)聯(lián)的客戶端請求122。存儲器主機110可以首先將其帶寬150劃分在客 戶端120之間。然后，對于每個客戶端120,存儲器主機110將針對相應(yīng)的客戶端120的所 分配的帶寬155劃分在其相關(guān)聯(lián)的隔離等級160之間。然后，對于每個隔離等級160,存儲 器主機110將對應(yīng)的所分配的帶寬155劃分在相關(guān)聯(lián)的客戶端請求122之間。
[0059] 在每秒字節(jié)方面，每個單元200具有額定容量。原則上，單元200的額定容量是客 戶端120每秒可以從單元200讀取和寫到單元200的數(shù)據(jù)量312。實際上，單元200的額 定容量可以均勻地劃分在單元200中的存儲器主機之上并且實施在每存儲器主機基礎(chǔ)上。 例如，具有1000個存儲器主機110和額定容量為1TB/S的單元200可能需要至少提供單元 200中的每個存儲器上的lGB/s的負載，以便服務(wù)lTB/s的數(shù)據(jù)312。存儲器主機110的額 定帶寬容量206可以小于存儲器主機110的網(wǎng)絡(luò)接口控制器帶寬，但是其不大于網(wǎng)絡(luò)接口 控制器帶寬。
[0060] 存儲器主機110根據(jù)單元隔離配置204 (例如，被存儲為文件）來訪問和計算帶寬 150的共享。單元隔離配置204包括以兆字節(jié)每秒為單元的每個存儲器主機110的額定帶 寬容量206和帶寬預(yù)留208a-n的列表208。每個帶寬預(yù)留208a-n包括客戶端名稱、隔離等 級160和以兆字節(jié)每秒為單元所指定的帶寬150。在一些示例中，隔離配置204不提供彈性 帶寬154,其可以是任何未使用的預(yù)留帶寬152。
[0061] 在一些實現(xiàn)方式中，如由單元隔離配置204所闡述的隔離策略僅應(yīng)用于有超過其 額定帶寬容量206的危險的存儲器主機110。一旦被接合，則隔離策略旨在將存儲器主機 110的帶寬150公平地分布在活躍地訪問該存儲器主機110的客戶端120之間。隔離策略 可以試圖將帶寬150均勻地分布到活躍的客戶端120直到客戶端120的所提供的負載。例 如，具有l(wèi)GB/s額定帶寬容量206和具有.1、. 2、. 4和.8GB/s所提供的負載的四個活動客 戶端120的存儲器主機110,那么公平帶寬分布可以相應(yīng)地是.1、. 2、. 35和.35GB/s。
[0062] 在一些示例中，客戶端120可以訪問來自數(shù)據(jù)中心內(nèi)的多個過程的過載的存儲器 主機110。在這種情況下，隔離策略將客戶端120的帶寬150的公平共享均勻地分布在客 戶端120的隔離等級160和活躍地訪問存儲器主機110的任務(wù)之間。換句話說，對每個客 戶端120分配存儲器主機110的帶寬150,然后與該客戶端120相關(guān)聯(lián)的每個隔離等級160 分割所分配的帶寬150,并且然后隔離等級160內(nèi)的每個客戶端請求122分割隔離等級帶寬 165〇
[0063] 需要超過其單元200的帶寬150的公平共享的客戶端120可以預(yù)留帶寬150。帶 寬預(yù)留208a-n針對整個單元200根據(jù)每秒字節(jié)數(shù)。帶寬預(yù)留208η均勻地分布在單元200 中的所有存儲器主機110之上。例如，如果單元200具有1000個存儲器主機110并且客戶 端120預(yù)留500GB/S單元帶寬150,那么保證客戶端120從單元200中的每個存儲器主機 110接收至少.5GB/s的帶寬150。如果客戶端120不使用其預(yù)留帶寬152,則存儲器主機 110可以將該客戶端120的預(yù)留帶寬152分布到可以使用帶寬150的其他客戶端120。
[0064] 帶寬預(yù)留208a_n可以影響其他客戶端120的公平共享帶寬150。使用之前的示例， 其中具有l(wèi)GB/s額定帶寬容量206和具有.1、. 2、. 4和.8GB/s的所提供的負載的四個活動 客戶端120的存儲器主機110,如果具有.8GB/s所提供的負載的客戶端120預(yù)留.2GB/s的 存儲器主機110的帶寬150,那么存儲器主機110的可用的彈性帶寬154的池僅是.8GB/s。 考慮到該帶寬預(yù)留208η，隔離策略可以將.1、. 2、. 25和.45 (. 2預(yù)留+. 25彈性）GB/s的帶 寬150相應(yīng)地分布到客戶端120。
[0065] 當(dāng)存儲器主機110檢測到其在其額定帶寬容量206之上時，存儲器主機110節(jié)流 使用超過其存儲器主機帶寬150的共享的客戶端120。每個客戶端120可以使用漏桶方案 節(jié)流其對特定存儲器主機110的訪問。存儲器主機110通過周期性地重新計算帶寬共享 和更新客戶端的漏桶填充率來控制客戶端的漏桶的填充率。在一些示例中，每個客戶端數(shù) 據(jù)通道具有擁有128kb的最大容量的漏桶，但是其他容量也是可能的并且可以依賴實現(xiàn)方 式。漏桶的容量確定客戶端120可以實現(xiàn)的最大突發(fā)速率。這允許其瞬時數(shù)據(jù)速率315暫 時超過其節(jié)流率317。在發(fā)起RDMA操作之前，客戶端120請求來自適當(dāng)?shù)穆┩暗牧钆?。?請求的令牌的數(shù)目等于RDMA操作的有效載荷大小。如果存在可用的足夠的令牌，則操作進 行，如果不存在的話，則數(shù)據(jù)通道指示暫時誤差已經(jīng)發(fā)生，并且稍后應(yīng)當(dāng)重試操作?？蛻舳?120可以使邏輯在適當(dāng)?shù)奈恢靡杂糜谔幹闷渌R時數(shù)據(jù)通道錯誤。漏桶的填充速率設(shè)定到 由存儲器主機110所分配的當(dāng)前節(jié)流率317。
[0066] 存儲器主機110還可以驗證客戶端120將遵守節(jié)流請求并且將不遵守節(jié)流請求的 行為不當(dāng)?shù)目蛻舳?20列入黑名單?？梢酝ㄟ^拆除存儲器主機110與列入黑名單的客戶端 120之間的所有RDMA連接250來完成列入黑名單。
[0067] 存儲器主機110向客戶端120分配其預(yù)留帶寬152和其存儲器主機110的彈性帶 寬154的公平共享作為所分配的帶寬155。如果客戶端120的所提供的負載小于所分配的 帶寬155,則將預(yù)留帶寬152的未使用的部分分布到其他客戶端120。因此，所分配的帶寬 155(即，存儲器主機的帶寬150的客戶端的共享）基于其客戶端120的帶寬使用而動態(tài)地 改變。所分配的帶寬共享155可以針對粗略地100ms是有效的，并且存儲器主機110可以 在另一100ms內(nèi)重新計算客戶端120的所分配的帶寬共享155。
[0068] 在一些實現(xiàn)方式中，計算針對存儲器主機110的客戶端120的所分配的帶寬共享 155的算法是：
[0069]
[0071] 在一些實現(xiàn)方式中，對于隔離等級160和客戶端進程128,存儲器主機110計算如 由存儲器主機110的額定帶寬206所約束的每個客戶端120的所分配的帶寬155、如由針對 配給到客戶端120的所分配的帶寬155所約束的每個隔離等級160的帶寬165、以及如由配 給到其為成員的隔離等級160的帶寬165所約束的每個客戶端進程128的帶寬155。在一 些示例中，單獨的客戶端請求122可以具有或者可以不具有預(yù)留帶寬152。
[0072] 計算存儲器主機110的客戶端120的所分配的帶寬共享155的算法可以包括：
[0073]
[0075] 在計算針對每個客戶端請求122的所分配的帶寬155之后，存儲器主機110調(diào)整 針對每個客戶端請求122的當(dāng)前節(jié)流率317以接近所分配的帶寬共享155。由于應(yīng)用突發(fā) 可以保持來自曾經(jīng)實現(xiàn)其目標(biāo)帶寬共享155的應(yīng)用124,因而存儲器主機110可以調(diào)整節(jié)流 率317以解釋該突發(fā)并且更高效地使用存儲器主機帶寬150。
[0076] 在計算客戶端帶寬共享155之后，存儲器主機110可以在客戶端120的所測量的 數(shù)據(jù)速率315小于其所分配的帶寬155的情況下執(zhí)行客戶端節(jié)流率317的加法增加，或在 客戶端請求122的所測量的數(shù)據(jù)速率315大于其目標(biāo)帶寬共享155的情況下將客戶端節(jié)流 率317削減到所分配的帶寬155。
[0077] 調(diào)整節(jié)流率317的示例性算法包括：
[0078]
[0079] 存儲器主機110可以通過將節(jié)流率317寫入到本地RDMA可訪問的存儲器區(qū)域 114m來將節(jié)流率317傳遞給客戶端120。例如，當(dāng)客戶端120將其所傳送的字節(jié)313寫入 到存儲器主機110時（即，在每隔128KB的所傳送的字節(jié)之后），客戶端RDM從存儲器區(qū) 域114m讀取其節(jié)流率317。此外，這使得將使用更多帶寬150和更可能要求節(jié)流的客戶端 120更頻繁地更新其數(shù)據(jù)速率315。當(dāng)其由于節(jié)流而不能讀取或者寫入時，客戶端120還可 以RDMA讀取節(jié)流率317。該讀取可以額定限于每100ms-次。
[0080] (-個或多個）管理器210可以將存儲器主機節(jié)流信息合并到其負載平衡策略中， 例如以歸因于將該客戶端120的太多數(shù)據(jù)塊320叫放置在單個存儲器主機110上而最小化 節(jié)流客戶端120。管理器210可以接收來自包括節(jié)流信息的每個存儲器主機110的狀態(tài)，例 如，存儲器主機110是否超過其額定帶寬206并且將哪些客戶端120節(jié)流。如果在跨越單 元200的許多存儲器主機110上節(jié)流客戶端120,則單元200可以警報客戶端120其將使用 太多帶寬150。如果在單個存儲器主機110 (或者小數(shù)目的存儲器主機100)上節(jié)流客戶端 120,則（一個或多個）管理器210可以將過載的（一個或多個）存儲器主機110上的該客 戶端120的數(shù)據(jù)塊320nk迀移到單元200中的其他存儲器主機110。如果該條件持續(xù)，則可 以由熱數(shù)據(jù)塊320叫引起節(jié)流?？梢员O(jiān)視節(jié)流信息以檢測何時單元200過載并且是否需要 更多存儲器主機100和帶寬150添加到單元200。
[0081] 再次參考圖2A和2C，在一些實現(xiàn)方式中，管理器210可以創(chuàng)建、復(fù)制、調(diào)整大小和 刪除文件310。其他操作也是可能的。為了服務(wù)來自客戶端120的復(fù)制請求122cr，管理器 210創(chuàng)建具有初始地設(shè)定到C0PY_PENDING狀態(tài)的新文件描述符300。管理器210可以設(shè)定 /初始化以下字段中的一個或多個：大小、所有者、組、許可和/或備份文件。管理器210利 用空條紋320η來填充文件描述符300的條紋陣列325 (圖3B)，并且然后將文件描述符300 提交給其文件映射214。將該信息提交給文件映射214允許在管理器210崩潰或者包含文 件系統(tǒng)元數(shù)據(jù)212的平板電腦迀移到另一管理器210的情況下管理器210重新開始調(diào)整大 小操作。一旦管理器210將文件描述符300提交給文件映射214,則管理器210通過通知已 經(jīng)發(fā)起復(fù)制操作的客戶端120對客戶端復(fù)制請求122cr做出響應(yīng)。管理器210發(fā)起存儲器 主機拉數(shù)據(jù)塊操作，其指示存儲器主機110分配新數(shù)據(jù)塊320nk并且將備份文件的數(shù)據(jù)塊 320nk讀取到存儲器主機110的存儲器114中。當(dāng)拉數(shù)據(jù)塊操作成功地返回時，管理器210 將新數(shù)據(jù)塊320nk添加到文件描述符300中的適當(dāng)?shù)臈l紋320η。管理器210將具有新數(shù)據(jù) 塊320nk的條紋320η提交給文件映射214。
[0082] 在崩潰或者迀移的情況下，增量地更新文件描述符300允許新管理器210重新開 始來自先前管理器210停止的位置的拷貝操作。這還允許客戶端120通過檢索文件描述符 300 (例如，經(jīng)由查找方法）和檢查利用數(shù)據(jù)塊320nk填充的文件描述符300中的條紋320η 的數(shù)目來檢查復(fù)制操作的狀態(tài)。一旦所有數(shù)據(jù)塊320叫已經(jīng)復(fù)制到存儲器主機110,管理器 210就將文件描述符的狀態(tài)轉(zhuǎn)換到READ并且將其提交給文件映射214。
[0083] 管理器210可以維持作為單元200的一部分的所有存儲器主機110的狀態(tài)信息。 狀態(tài)信息可以包括容量、自由空間、存儲器主機110上的負載、來自客戶端的視點的存儲器 主機110的延遲和當(dāng)前狀態(tài)。管理器210可以通過直接詢問單元200中的存儲器主機100 和/或通過詢問客戶端120來獲得該信息，以從客戶端的視點采集延遲統(tǒng)計。在一些示例 中，管理器210使用存儲器主機狀態(tài)信息來做出重新平衡、耗盡、恢復(fù)決策和分配決策。
[0084] (一個或多個）管理器210可以分配數(shù)據(jù)塊320nk以便處置用于文件310中的更 多存儲空間和用于重新平衡和恢復(fù)的客戶端請求122。管理器210可以維持存儲器主機負 載和活躍的負載映射216。在一些實現(xiàn)方式中，管理器210通過生成候選存儲器主機110的 列表來分配數(shù)據(jù)塊320nk并且將分配數(shù)據(jù)塊請求發(fā)送給候選存儲器主機110中的每個。如 果存儲器主機110過載或者不具有可用的空間，存儲器主機110可以拒絕請求。在這種情 況中，管理器210選擇不同的存儲器主機110。每個管理器210可以連續(xù)地掃描其文件命 名空間的所指派的部分，大約每分鐘檢查所有元數(shù)據(jù)212。管理器21