一種節(jié)能的虛擬存儲服務器系統(tǒng)及其調度方法
【技術領域】
[0001] 本發(fā)明屬于大數(shù)據(jù)技術領域，更具體地，涉及一種節(jié)能的虛擬存儲服務器及其調 度方法。
【背景技術】
[0002] 大數(shù)據(jù)計算需要大量的存儲服務器用于處理和保存數(shù)據(jù)。典型的單個存儲服務 器包括一個或者多個服務器級的處理器，數(shù)十個GB級內存，高性能主板，這些可以稱之為 計算子系統(tǒng)，同時服務器需要配置8-16個磁盤，通過磁盤陣列形式構成存儲子系統(tǒng)。這 種配置的核心思想是單個服務器就近處理本地存儲中的數(shù)據(jù)。不幸的是，現(xiàn)實數(shù)據(jù)中心 負載呈現(xiàn)非常大的波動?，F(xiàn)實應用表明，絕大部分時候，存儲服務器及其中計算與存儲 部件很少處于峰值工作狀態(tài)，而是面臨中低強度負載。但是即使中低負載強度都需要計 算子系統(tǒng)和存儲子系統(tǒng)的參與，且當前處理器采用DVFS具有較好的負載能耗正比特性 (power-proportionality)，但是就整個計算子系統(tǒng)而言，內存和主板還不能達到較好的負 載能耗正比型，越是高性能計算子系統(tǒng)，其空閑能耗越大。計算子系統(tǒng)一般具有50-200瓦 的功耗范圍，其實際功率隨著負載的變化而變化。而存儲子系統(tǒng)基本不具備負載能耗正比 特性，存儲子系統(tǒng)只要工作就處于相對穩(wěn)定的功耗范圍，即使是少量負載也會讓存儲子系 統(tǒng)消耗接近峰值的能耗。例如典型16個硬盤的能耗基本為100瓦，而存儲控制器為50-100 瓦，存儲子系統(tǒng)的整體功耗為150-250瓦，幾乎不隨負載變化為變化。
[0003] 就目前針對計算和存儲的能耗調度粒度而言，計算子系統(tǒng)能耗調度對于負載強度 變化的響應速度是微秒級，具有較大的調度范圍；而存儲子系統(tǒng)能耗調度對于I/O負載強 度的響應速度是分鐘級，僅具有較小調度范圍?，F(xiàn)有的存儲服務器系統(tǒng)沒能對計算資源和 存儲資源進行更合理的分配及使用，這就造成了不必要的能耗浪費。

【發(fā)明內容】

[0004] 本發(fā)明的目的在于提供一種節(jié)能的虛擬存儲服務器及其調度方法，其目的在于， 解決現(xiàn)有數(shù)據(jù)中心存在的高能耗的技術問題，減小電費開銷，降低全球碳污染。
[0005] 為了實現(xiàn)上述目的，按照本發(fā)明的一個方面，提供了一種虛擬存儲服務器系統(tǒng)，所 述系統(tǒng)包括一個計算節(jié)點和若干個存儲節(jié)點，其中：
[0006] 所述計算節(jié)點包含CPU、內存、主板以及存儲部件，所述存儲部件由若干固態(tài)盤構 成；所述存儲節(jié)點包含一個低能耗存儲控制器和一組磁盤；所述計算結點和存儲結點之間 通過網(wǎng)絡互聯(lián)，計算結點的存儲空間和存儲結點的存儲空間共同構成一個虛擬存儲空間；
[0007] 在任何時間點，計算結點和存儲結點中存在一個作為主存儲控制器，整體管理整 個虛擬存儲空間，對外提供一個存取本虛擬存儲空間數(shù)據(jù)的入口；
[0008] 計算型任務運行在計算結點上，如果一段時間沒有計算型任務，則關閉計算結點， 把數(shù)據(jù)存取型任務放到存儲結點上執(zhí)行；一旦有計算任務到達本虛擬存儲服務器，則啟動 計算結點。
[0009] 在本發(fā)明的一個實施例中，所述低能耗存儲控制器為ARM或ATOM處理器。
[0010] 在本發(fā)明的一個實施例中，連接所述計算結點和存儲結點的網(wǎng)絡為千兆或者萬兆 以太網(wǎng)、Inifiniband網(wǎng)絡、光纖通道，或者PCIe網(wǎng)絡。
[0011] 按照本發(fā)明的另一方面，還提供了一種基于上述虛擬存儲服務器系統(tǒng)的主存儲管 理器，所述主存儲管理器由若干個控制器和核心全局數(shù)據(jù)結構構成，其中：
[0012] 所述控制器包括I/O選擇器、域文件分配器、負載監(jiān)控和能耗調度器、數(shù)據(jù)預取 器和一致性控制器，其中所述I/O選擇器用于根據(jù)請求文件名通過域文件分配表（Domain FileAllocationTable，DFAT)查詢該文件相應的物理位置；所述域文件分配器用于在寫 過程中根據(jù)文件大小和存儲結點上的負載選擇分配的存儲結點；所述負載監(jiān)控和能耗調度 器用于監(jiān)測每次文件操作，維護熱文件表（HotFilesTable，HFT);所述數(shù)據(jù)預取器用于負 責對SSD中數(shù)據(jù)的預??；所述一致性控制器用于保證計算結點和存儲結點數(shù)據(jù)上的一致；
[0013] 所述核心全局數(shù)據(jù)結構包括域文件分配表、熱文件表、緩存文件表，其中DFAT表 以條目的方式記錄全局文件GFileID和物理子文件SCID之間的映射關系，SCID包含存儲結 點和內部文件ID兩個部分；其中DFAT表中至少包括L字段、S字段、S#字段、Ver字段、B 字段；其中L表示該文件是否在計算結點上；S表示是否是分條文件；S#表示分配編號，Ver 表示版本域，B表示文件最新版本是否已經(jīng)同步；所述熱文件表，用于記錄每個文件的最后 存取時間、創(chuàng)建時間、上一個統(tǒng)計段存取次數(shù)以及記錄數(shù)據(jù)處理程序處理的文件集合，以方 便文件預取到計算結點中；所述緩存文件表（BufferedFilesTable，BFT)，用于記錄緩存 在SSD中的文件。
[0014] 按照本發(fā)明的另一方面，還提供了一種基于上述主存儲管理器的節(jié)能調度方法， 所述方法包括：
[0015] (1)當計算結點為活動狀態(tài)的時候，處理流程如下：
[0016] (I. 1)主實例運行在計算結點上，判斷在處理任務完成之后的一個閥值T。時間內 是否有數(shù)據(jù)處理任務，如果有則進入步驟（1.2)，如果沒有，進入步驟（1.3);
[0017] (1. 2)完成對數(shù)據(jù)任務的處理，返回步驟（I. 1);
[0018] (1. 3)主實例把計算結點上的最新元數(shù)據(jù)和數(shù)據(jù)更新到存儲結點，選擇一個熱點 文件最多的存儲結點作為下一個主實例，然后關閉計算結點，結束。
[0019] (2)當存儲結點為活動狀態(tài)的時候，處理流程如下：
[0020] (2. 1)判斷主實例是否在存儲結點上，若不在則進入步驟（2. 2)，若在則進入步驟 (2. 5)；
[0021] (2. 2)判斷在預設閾值時間Ts之內是否有I/O訪問，若沒有則進入步驟（2. 3)，若 有則進入步驟（2. 4);
[0022] (2. 3)關閉該節(jié)點或將該節(jié)點置為休眠狀態(tài)，結束；
[0023] (2. 4)對存儲結點節(jié)點進行數(shù)據(jù)操作，返回步驟（2. 2);
[0024] (2. 5)判斷預設時間Tsd之內存儲結點每個磁盤是否有數(shù)據(jù)存取訪問，若有則進入 步驟（2. 6)，若沒有則進入步驟（2. 7);
[0025] (2. 6)對存儲結點節(jié)點進行數(shù)據(jù)存取操作，返回步驟（2. 5);
[0026](2. 7)將該磁盤關閉，或者根據(jù)處理器的節(jié)能策略把處理器處于低能耗狀態(tài)，結 束。
[0027] 在本發(fā)明的一個實施例中，所述方法還包括：
[0028] 讀操作：對于讀文件的情況，I/O選擇器根據(jù)請求文件名通過DFAT查詢該文件相 應的物理位置，如果計算結點處于活動狀態(tài)，并且文件在計算結點上，則從計算結點上讀 ??；否則，I/O選擇器通過查詢DFAT表找到相應文件所處的存儲結點，并讀出相應文件；
[0029] 寫操作：針對寫過程，域文件分配器根據(jù)文件大小和存儲結點上的負載選擇分配 存儲結點，如果文件大小大于閾值，則分條到多個存儲結點上；如果文件大小小于閾值，則 無需分條并保存到一個存儲結點上；
[0030] 更新操作：在更新文件情況下，保留文件名，更新文件內容；為了減少對于DFAT的 操作次數(shù)，采用創(chuàng)建新文件，然后修改DFAT表形式，按照寫操作先進行更新文件的分配寫， 然后刪除舊的文件分配項，增加新的文件分配項；
[0031] 數(shù)據(jù)處理操作：計算結點上能夠安裝多個數(shù)據(jù)處理應用的運行環(huán)境，當數(shù)據(jù)處理 請求到達時，提取該請求中的運行參數(shù)和處理文件列表，如果相應的文件不在計算結點的 SSD中，則查詢DFAT表從存儲結點中讀取相應文件，之后按照要求啟動相應的應用程序，對 這些數(shù)據(jù)集進行處理；之后如果僅需要結果數(shù)據(jù)，則返還給外部調用程序；如果需要創(chuàng)建 新文件則在本地計算結點中存放，并盡快更新到存儲結點，同時同步DFAT。
[0032] 總體而言，通過本發(fā)明所構思的基本方案，能夠取得如下收益效果：
[0033] (1)虛擬存儲服務器結點分離的設計，能夠明顯減少計算和存儲弱相關依賴所產 生的能耗浪費。
[0034] (2)虛擬存儲服務器在計算結點端安裝SSD硬盤，僅僅從IOPS(Input/Output OperationsPerSecond，每秒進行讀寫I/O操作的次數(shù)）角度來看，如果工作數(shù)據(jù)集在SSD 中，SSD比硬盤的IOPS有數(shù)量級上的提升。
[0035] (3)對性能影響主要體現(xiàn)在能夠盡早精確的獲取工作數(shù)據(jù)集。獲取工作數(shù)據(jù)集的 方法有很多種，對于大型任務，可以在分配任務時把工作數(shù)據(jù)集迀移到計算結點中的SSD 上。對于工作數(shù)據(jù)集缺失的情況，由于多個存儲結點通過并行的方法把工作數(shù)據(jù)集快速迀 移到SSD上。對于少量數(shù)據(jù)缺失，存儲結點會增加一點響應時間。對于僅需要傳輸數(shù)據(jù)的 任務，存儲控制器能夠自行完成，無需計算結點參與。
[0036] (4)本方法帶來的額外好處是，多個存儲結點可以協(xié)同完成并行數(shù)據(jù)傳輸任務，提 供數(shù)據(jù)存取的帶寬。另一個方面，但一個計算結點關閉時，存儲結點依然可以提供數(shù)據(jù)服 務。
【附圖說明】
[0037] 圖1是本發(fā)明中虛擬存儲服務器物理結構示意圖；
[0038] 圖2是本發(fā)明中虛擬存儲服務管理器結構示意圖；
[0039] 圖3是本發(fā)明中計算結點為活動狀態(tài)時調度策略流程圖；
[0040] 圖4是本發(fā)明中存儲結點為活動狀態(tài)時調度策略流程圖。
【具體實施方式】
[0041] 為了使本發(fā)明的目的、技術方案及優(yōu)點更加清楚明白，以下結合附圖及實施例，對 本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術特征只要 彼此之間未構成沖突就可以相互組合。
[0042] 本發(fā)明的整體設計思路如