一種存儲系統(tǒng)分層管理的方法與系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種存儲系統(tǒng)分層管理的方法與系統(tǒng)。其中，所述方法包括以下步驟：根據(jù)存儲系統(tǒng)中各存儲介質(zhì)的介質(zhì)類型，將各存儲介質(zhì)分成至少二存儲層；根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型，將所述數(shù)據(jù)對象存儲在相應的存儲層。采用上述方案，本發(fā)明采用分層數(shù)據(jù)存儲，應用于分布式文件系統(tǒng)中，支持自動分層存儲數(shù)據(jù)和自動遷移數(shù)據(jù)，可以大大的減少數(shù)據(jù)存儲的成本，提高存儲的效率；同時，也能更加合理的管理數(shù)據(jù)，具有可控性強和可擴展性強的特性。
【專利說明】一種存儲系統(tǒng)分層管理的方法與系統(tǒng)
【技術(shù)領域】
[0001]本發(fā)明涉及分布式文件的存儲管理，尤其涉及的是，一種存儲系統(tǒng)分層管理的方法與系統(tǒng)。
【背景技術(shù)】
[0002]如今，非結(jié)構(gòu)化數(shù)據(jù)增長的速度越來越快，隨著時間的推移，這種趨勢也越來越明顯。根據(jù)市場調(diào)查和分析，非結(jié)構(gòu)化數(shù)據(jù)增長的速度已經(jīng)超過了所有其他類型的數(shù)據(jù)。
[0003]結(jié)構(gòu)化數(shù)據(jù)，比如CRM、ERP、financial等以一種平滑的方式增長。而非結(jié)構(gòu)化數(shù)據(jù)，比如Emails、電子數(shù)據(jù)表、文件及其文件夾等，占了一個企業(yè)數(shù)據(jù)增長的50% -100%。
[0004]考慮到在現(xiàn)今行業(yè)的預算沒有增長甚至減少的情況下，智能管理數(shù)據(jù)的存儲方案的需求也越來越急迫。分析存儲系統(tǒng)中的一個數(shù)據(jù)對象，在它剛進入系統(tǒng)那段時間中可能會出現(xiàn)訪問頻率很高的現(xiàn)象，但當數(shù)據(jù)老舊或不再更新之后，幾乎不會再訪問它。
[0005]根據(jù)這種數(shù)據(jù)現(xiàn)象可以分析出在上面這種情形中當數(shù)據(jù)的體積越來越大時其訪問的頻率越來越小。所以，在數(shù)據(jù)的生命周期中，由于成本原因，不能一直放在高性能的存儲介質(zhì)(SAS RAID或SSD)中，應該依據(jù)不同時期的訪問頻率來移動到不同的物理介質(zhì)當中。這就需要在存儲軟件中用到合適的分層方法來管理數(shù)據(jù)的遷移和存儲。
[0006]不論什么自動分層方法都需要結(jié)合不同的存儲介質(zhì)來完成，下面是現(xiàn)有存儲介質(zhì)的概述:
[0007]SSD (Solid State Disk，固態(tài)硬盤，簡稱固盤)，是用固態(tài)電子存儲芯片陣列而制成的硬盤，高性能也伴隨著高成本，通常在分層存儲中存放活躍數(shù)據(jù)。
[0008]SAS(Serial Attached SCSI,串行連接 SCSI) / FC(Fibre Channel，光纖通道接口)Disks,由SAN或FC盤組成的獨立硬盤冗余陣列(RAID, Redundant Array ofIndependent Disks)的性能雖然沒有SSD的好,但屬于現(xiàn)在主流的存儲介質(zhì),不過成本依舊很高。
[0009]SATA (Serial Advanced Technology Attachment,串行高級技術(shù)附件)Disks,相比于SAS / FC Disks, SATA Disk的性能低一些，但是性價比很高。
[0010]LTO (Linear Tape Open,線性磁帶開放協(xié)議)Tape (磁帶)，其在TB級的存儲上擁有最高的性價比，但是它沒有提供隨機存儲的能力使其無法成為主要的存儲介質(zhì)，一般用作拷貝和歸檔。

【發(fā)明內(nèi)容】

[0011]本發(fā)明所要解決的技術(shù)問題是提供一種新的存儲系統(tǒng)分層管理的方法與系統(tǒng)。
[0012]本發(fā)明的技術(shù)方案如下:一種存儲系統(tǒng)分層管理的方法，其包括以下步驟:根據(jù)存儲系統(tǒng)中各存儲介質(zhì)的介質(zhì)類型，將各存儲介質(zhì)分成至少二存儲層；根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型，將所述數(shù)據(jù)對象存儲在相應的存儲層。
[0013]優(yōu)選的，所述方法還根據(jù)數(shù)據(jù)對象的訪問頻率，將所述數(shù)據(jù)對象在各存儲層中遷移。
[0014]優(yōu)選的，所述方法中，將各存儲介質(zhì)分成N存儲層，其中，N為自然數(shù)且N ≥ 2 ;預設置N-1個訪問頻率的閾值；周期對某一數(shù)據(jù)對象作遷移判斷:判斷其訪問頻率大于第M閾值時，將其從第M存儲層遷移至第M+1存儲層，否則，判斷其訪問頻率小于第M閾值時，將其從第M+1存儲層遷移至第M存儲層，其中，M為自然數(shù)且M≤N-1。
[0015]優(yōu)選的，所述方法中，根據(jù)所述存儲系統(tǒng)中所有數(shù)據(jù)對象的訪問總頻率調(diào)整各閾值。
[0016]優(yōu)選的，所述方法中，在所述遷移判斷時，采用所述數(shù)據(jù)對象在一預設時間段內(nèi)的平均訪問頻率作為判斷時采用的訪問頻率。
[0017]優(yōu)選的，所述方法中，所述數(shù)據(jù)對象在遷移后，還在原存儲層中保留一預設時間。
[0018]優(yōu)選的，所述方法還包括步驟:根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型設置若干對應相異存儲層的數(shù)據(jù)對象級別；當數(shù)據(jù)對象進入存儲系統(tǒng)時，根據(jù)所述數(shù)據(jù)對象的數(shù)據(jù)類型，獲取所述數(shù)據(jù)對象的數(shù)據(jù)對象級別，根據(jù)所述數(shù)據(jù)對象級別將其存儲到對應的存儲層。
[0019]優(yōu)選的，所述方法中，所述數(shù)據(jù)對象在遷移到第I層時，選擇是否分配一預設的租期；對于具有所述租期的所述數(shù)據(jù)對象，判斷其在所述租期內(nèi)未被訪問，則在所述租期到期后，將所述數(shù)據(jù)對象刪除。
[0020]優(yōu)選的，所述方法還包括步驟:根據(jù)各存儲層的負載情況，對于負載程度超過預設百分比值的第X存儲層，根據(jù)各數(shù)據(jù)對象的平均訪問頻率，將平均訪問頻率最高的數(shù)據(jù)對象遷移至第X+1存儲層，繼續(xù)判斷第X存儲層的負載程度是否超過預設百分比值，是則將平均訪問頻率最低的數(shù)據(jù)對象遷移至第X-1存儲層，直至第X存儲層的負載程度低于所述預設百分比值。
[0021 ] 優(yōu)選的，所述方法中，所述存儲系統(tǒng)中的某一數(shù)據(jù)對象被訪問時，在所述存儲系統(tǒng)的元數(shù)據(jù)中進行記錄，以計算其訪問頻率。
[0022]本發(fā)明的又一技術(shù)方案如下:一種存儲系統(tǒng)分層管理的系統(tǒng)，其包括若干存儲介質(zhì)以及至少二存儲層；各所述存儲介質(zhì)分別設置于一存儲層；各存儲層分別用于根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型，存儲所述數(shù)據(jù)對象。
[0023]采用上述方案，本發(fā)明采用分層數(shù)據(jù)存儲，應用于分布式文件系統(tǒng)中，支持自動分層存儲數(shù)據(jù)和自動遷移數(shù)據(jù)，可以大大的減少數(shù)據(jù)存儲的成本，提高存儲的效率；同時，也能更加合理的管理數(shù)據(jù)，具有可控性強和可擴展性強的特性。
【專利附圖】

【附圖說明】
[0024]圖1為本發(fā)明的流程示意圖；
[0025]圖2為本發(fā)明存儲介質(zhì)層次分配圖。
【具體實施方式】
[0026]為了便于理解本發(fā)明，下面結(jié)合附圖和具體實施例，對本發(fā)明進行更詳細的說明。附圖中給出了本發(fā)明的較佳的實施例。但是，本發(fā)明可以以許多不同的形式來實現(xiàn)，并不限于本說明書所描述的實施例。相反地，提供這些實施例的目的是使對本發(fā)明的公開內(nèi)容的理解更加透徹全面。[0027]需要說明的是，當元件被稱為“固定于”另一個元件，它可以直接在另一個元件上或者也可以存在居中的元件。當一個元件被認為是“連接”另一個元件，它可以是直接連接到另一個元件或者可能同時存在居中元件。本說明書所使用的術(shù)語“垂直的”、“水平的”、“左”、“右”以及類似的表述只是為了說明的目的。
[0028]除非另有定義，本說明書所使用的所有的技術(shù)和科學術(shù)語與屬于本發(fā)明的【技術(shù)領域】的技術(shù)人員通常理解的含義相同。本說明書中在本發(fā)明的說明書中所使用的術(shù)語只是為了描述具體的實施例的目的，不是用于限制本發(fā)明。本說明書所使用的術(shù)語“和/或”包括一個或多個相關的所列項目的任意的和所有的組合。
[0029]下面將結(jié)合附圖和實例對本發(fā)明技術(shù)方案做進一步的說明。本發(fā)明的一個例子是:一種存儲系統(tǒng)分層管理的方法，其包括以下步驟:根據(jù)存儲系統(tǒng)中各存儲介質(zhì)的介質(zhì)類型，將各存儲介質(zhì)分成至少二存儲層；根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型，將所述數(shù)據(jù)對象存儲在相應的存儲層。這樣，基于在不同價格不同性能的存儲設備，在數(shù)據(jù)對象的不同時期改變其存儲的位置，從而減少硬件存儲成本，提高數(shù)據(jù)的訪問速度。例如，所述方法還包括步驟:調(diào)整存儲介質(zhì)及所述介質(zhì)類型；例如，增加新的硬盤，移除某一硬盤，或者暫時屏蔽某一類型存儲介質(zhì)等；又如，增加閃存作為臨時的介質(zhì)類型；又如，增加SSD等新的介質(zhì)類型等。又如，根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型，動態(tài)將所述數(shù)據(jù)對象存儲在相應的存儲層。例如，新進入某一 AVI等格式的視頻數(shù)據(jù)對象，則將其存儲于更注重容量的存儲層中的某一存儲介質(zhì)中。又如，還根據(jù)某一存儲層中的各存儲介質(zhì)的負載情況，在同一存儲層中動態(tài)調(diào)整各數(shù)據(jù)對象的位置，使得各存儲介質(zhì)負載均衡。
[0030]例如，所述方法中，預先建立數(shù)據(jù)分類，根據(jù)不同情形定義不同的數(shù)據(jù)級別。數(shù)據(jù)分類，需要了解每一個文件或文件類型的相對價值，通常的，預設數(shù)據(jù)分類，例如，視頻格式的數(shù)據(jù)對象為一類，office相關軟件的數(shù)據(jù)對象為一類等，依此類推；優(yōu)選的，還調(diào)整所述數(shù)據(jù)分類，因為在實際應用中，不同的公司對數(shù)據(jù)有自己不同的實際價值，所以數(shù)據(jù)分類往往涉及一個人工的過程，需要了解多個部門的具體情況，比如人力資源部，財務部等，一旦確定好每個數(shù)據(jù)的相應的價值并制定好數(shù)據(jù)分類的具體策略，數(shù)據(jù)分類模塊就能自己找到數(shù)據(jù)，給其定上初始的數(shù)據(jù)等級，應用元數(shù)據(jù)并執(zhí)行指定好的留存策略。
[0031]又如，建立存儲介質(zhì)分類，將不同性能的存儲介質(zhì)分類，設置于不同的存儲層中，用來存儲數(shù)據(jù)；隨著存儲需求呈螺旋狀上升，將所有的數(shù)據(jù)放在高性能的存儲介質(zhì)中顯然是不切實際的，分層存儲是將關鍵的數(shù)據(jù)保存在高性能的介質(zhì)中。分層存儲的最終目的是為了節(jié)約資金，根據(jù)訪問頻率的高低將數(shù)據(jù)在不同的時期放在不同的存儲介質(zhì)，不同的存儲層次，避免硬件空間和性能的浪費。同時將數(shù)據(jù)分布在多層中，可以避免用戶和應用程序在訪問存儲時可能出現(xiàn)的沖突，避免損傷存儲系統(tǒng)的性能。
[0032]這樣，就實現(xiàn)集群文件系統(tǒng)數(shù)據(jù)自動分層存儲的方法，提高了存儲需求的靈活性，優(yōu)化了數(shù)據(jù)管理，并降低了數(shù)據(jù)的總擁有成本；尤其適用于分布式集群文件存儲系統(tǒng)中。從而可在第一時間內(nèi)將數(shù)據(jù)自動地轉(zhuǎn)移到相匹配的存儲介質(zhì)中，實現(xiàn)快速存儲層和性能較低的低速存儲層之間的數(shù)據(jù)移動；例如，其中快速存儲層為閃存驅(qū)動，低速存儲層為SAS和/或SATA磁盤。本方法實現(xiàn)的主要幾個模塊為:數(shù)據(jù)分類、存儲介質(zhì)分類和數(shù)據(jù)遷移，例如，系統(tǒng)中包括數(shù)據(jù)分類模塊、存儲介質(zhì)分類模塊和數(shù)據(jù)遷移模塊等。
[0033]優(yōu)選的，所述存儲系統(tǒng)根據(jù)預設分層規(guī)則，自動根據(jù)不同的存儲介質(zhì)進行自動分層，當有新存儲介質(zhì)加入到存儲系統(tǒng)中時將其自動加入現(xiàn)有的存儲層中或者新設一存儲層，然后根據(jù)同一層的負載情況以及預設負載均衡條件，將該現(xiàn)有存儲層的部分數(shù)據(jù)遷移到其中。優(yōu)選的，所述方法還根據(jù)數(shù)據(jù)對象的訪問頻率，將所述數(shù)據(jù)對象在各存儲層中遷移。數(shù)據(jù)遷移就是移動數(shù)據(jù)，從文件夾、分割區(qū)、硬盤或磁盤子系統(tǒng)提取數(shù)據(jù)，放入其他的存儲介質(zhì)，或稱為物理站點。例如，當數(shù)據(jù)的訪問頻率達到預設的閾值時，則自動遷移到上層或下層的存儲介質(zhì)中去。如果數(shù)據(jù)的遷移的頻率太大或數(shù)據(jù)量太大，會給存儲系統(tǒng)帶來很大的負荷，嚴重影響系統(tǒng)的性能，所以在所述方法中，優(yōu)選的，數(shù)據(jù)遷移操作的優(yōu)先級要比數(shù)據(jù)存取操作的優(yōu)先級低。每個數(shù)據(jù)對象在剛進入存儲或剛遷移到其他存儲介質(zhì)上時都會有一個數(shù)據(jù)保留期，在這段時間內(nèi)，系統(tǒng)根據(jù)數(shù)據(jù)的訪問頻率以及數(shù)據(jù)的級別來判斷保留期結(jié)束后是否遷移到其他的存儲介質(zhì)和具體的哪一層介質(zhì)。
[0034]優(yōu)選的，所述方法中，將各存儲介質(zhì)分成N存儲層，其中，N為自然數(shù)且N ^ 2 ;預設置N-1個訪問頻率的閾值；周期對某一數(shù)據(jù)對象作遷移判斷:判斷其訪問頻率大于第M閾值時，將其從第M存儲層遷移至第M+1存儲層，否則，判斷其訪問頻率小于第M閾值時，將其從第M+1存儲層遷移至第M存儲層，其中，M為自然數(shù)且M < N-1。例如，N=3，將各存儲介質(zhì)分成3個存儲層，預設置2個訪問頻率的閾值；每間隔一個預設周期時長，對某一數(shù)據(jù)對象作遷移判斷:判斷其訪問頻率大于第I閾值時，將其從第I存儲層遷移至第2存儲層，然后中止后續(xù)判斷；如果其訪問頻率不大于第I閾值時，則判斷其訪問頻率是否小于第I閾值，是則將其從第2存儲層遷移至第I存儲層；優(yōu)選的，對于該數(shù)據(jù)對象，先判斷其所處的存儲層，然后進行所述遷移判斷；例如，某一數(shù)據(jù)對象處于第L存儲層，L為自然數(shù)且L ( N，判斷當L小于N時，則判斷其訪問頻率大于第L閾值時，將其從第L存儲層遷移至第L+1存儲層，否則，判斷其訪問頻率小于第L閾值時，將其從第L存儲層遷移至第L-1存儲層；當L等于N時，只需判斷其訪問頻率小于第L-1閾值時，將其從第L存儲層遷移至第L-1存儲層。
[0035]如圖1所示，本發(fā)明的一個實施例是，對數(shù)據(jù)對象，周期根據(jù)其訪問頻率進行更換存儲層判斷，訪問頻率大于晉級預設值時，向上級存儲層進行數(shù)據(jù)遷移；訪問頻率小于晉級預設值時，判斷是否小于降級預設值，是則向下級存儲層進行數(shù)據(jù)遷移；對于已過數(shù)據(jù)保存期(即租期)的數(shù)據(jù)對象，根據(jù)其訪問頻率確定是否刪除。
[0036]優(yōu)選的，所述方法中，根據(jù)所述存儲系統(tǒng)中所有數(shù)據(jù)對象的訪問總頻率調(diào)整各閾值。例如，數(shù)據(jù)遷移的閾值，根據(jù)整個系統(tǒng)數(shù)據(jù)訪問的頻率的變化而變化，根據(jù)系統(tǒng)數(shù)據(jù)訪問的總頻率來設置新的閾值，但是已經(jīng)在系統(tǒng)中的數(shù)據(jù)會依然按照之前的閾值來遷移，只有遷移過一次后或新進系統(tǒng)的數(shù)據(jù)才會按照最新的閾值來遷移數(shù)據(jù)。
[0037] 優(yōu)選的，所述方法還包括步驟:根據(jù)各存儲層的負載情況，對于負載程度超過預設百分比值的第X存儲層，根據(jù)各數(shù)據(jù)對象的平均訪問頻率，將平均訪問頻率最高的數(shù)據(jù)對象遷移至第X+1存儲層，繼續(xù)判斷第X存儲層的負載程度是否超過預設百分比值，是則將平均訪問頻率最低的數(shù)據(jù)對象遷移至第X-1存儲層，直至第X存儲層的負載程度低于所述預設百分比值。優(yōu)選的，對于負載程度超過預設百分比值的第X存儲層，先分別判斷第X+1存儲層、第X-1存儲層的負載情況，在兩者負載程度均不超過預設百分比值時，則根據(jù)第X存儲層各數(shù)據(jù)對象的平均訪問頻率，將平均訪問頻率最高的數(shù)據(jù)對象遷移至第X+1存儲層，繼續(xù)判斷第X存儲層的負載程度是否超過預設百分比值，是則將平均訪問頻率最低的數(shù)據(jù)對象遷移至第X-1存儲層，直至第X存儲層的負載程度低于所述預設百分比值；當其一負載程度超過預設百分比值時，則根據(jù)第X存儲層各數(shù)據(jù)對象的平均訪問頻率，將相應平均訪問頻率的數(shù)據(jù)對象遷移至另一存儲層；例如，當?shù)赬+1存儲層負載程度超過預設百分比值時，則根據(jù)第X存儲層各數(shù)據(jù)對象的平均訪問頻率，將平均訪問頻率最低的數(shù)據(jù)對象遷移至第X-1存儲層，直至第X存儲層的負載程度低于所述預設百分比值。
[0038]優(yōu)選的，輪詢各存儲層的負載情況；例如，從最高存儲層開始評判各存儲層的負載情況，例如有3個存儲層，則從第3存儲層開始評判各存儲層的負載情況。例如，設置4個存儲層，對于第3存儲層的數(shù)據(jù)，如果判斷第3存儲層的負載程度超過90%或者95%或者其他預設百分比值時，根據(jù)第3存儲層的各數(shù)據(jù)對象的平均訪問頻率，將平均訪問頻率最高的數(shù)據(jù)對象遷移至第4層，然后繼續(xù)判斷第3存儲層的負載程度，如果仍對應超過90%或者95%或者其他預設百分比值時，將平均訪問頻率最低的數(shù)據(jù)對象遷移至第2存儲層；依此類推，直至第3存儲層的負載程度低于所述預設百分比值。優(yōu)選的，然后繼續(xù)判斷其他存儲層的負載情況。又如，按從高到低的順序輪詢各存儲層的負載情況，根據(jù)各存儲層的負載情況，對于負載程度超過預設百分比值的第X存儲層，根據(jù)各數(shù)據(jù)對象的平均訪問頻率，將平均訪問頻率最低的數(shù)據(jù)對象遷移至第X-1存儲層，直至第X存儲層的負載程度低于所述預設百分比值。
[0039]優(yōu)選的，所述方法中，在所述遷移判斷時，采用所述數(shù)據(jù)對象在一預設時間段內(nèi)的平均訪問頻率作為判斷時采用的訪問頻率。這樣，可以避免極值而影響判斷依據(jù)，例如，曾經(jīng)頻繁調(diào)用的數(shù)據(jù)對象在某一時間段內(nèi)沒有被訪問，從而獲得更好的數(shù)據(jù)管理效果。
[0040]優(yōu)選的，所述方法中，所述數(shù)據(jù)對象在遷移后，還在原存儲層中保留一預設時間。這樣，數(shù)據(jù)在進入存儲系統(tǒng)后，不會根據(jù)數(shù)據(jù)訪問的頻率來經(jīng)常或者實時遷移數(shù)據(jù)，這樣過于消耗系統(tǒng)資源，影響系統(tǒng)效率，會給數(shù)據(jù)在每一層存儲空間中留一段數(shù)據(jù)保留期，計算在其期限中的平均訪問量，更新到其元數(shù)據(jù)，判定是否需要遷移數(shù)據(jù)。預設時間即數(shù)據(jù)保留期格局實際應用設置和調(diào)整，本發(fā)明各實施例對此不作額外限制。
[0041]優(yōu)選的，所述方法還包括步驟:根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型設置若干對應相異存儲層的數(shù)據(jù)對象級別；當數(shù)據(jù)對象進入存儲系統(tǒng)時，根據(jù)所述數(shù)據(jù)對象的數(shù)據(jù)類型，獲取所述數(shù)據(jù)對象的數(shù)據(jù)對象級別，根據(jù)所述數(shù)據(jù)對象級別將其存儲到對應的存儲層。又如，根據(jù)不同公司的實際情況來定義不同的數(shù)據(jù)級別，當數(shù)據(jù)對象進入存儲系統(tǒng)時，會根據(jù)定義的數(shù)據(jù)級別來對這個數(shù)據(jù)對象給一個初始級別，然后將其存儲放到對應的層中去。
[0042]優(yōu)選的，所述方法中，所述數(shù)據(jù)對象在遷移到第I層時，選擇是否分配一預設的租期；對于具有所述租期的所述數(shù)據(jù)對象，判斷其在所述租期內(nèi)未被訪問，則在所述租期到期后，將所述數(shù)據(jù)對象刪除。這樣，可以自行選擇需不需要租期，更方便系統(tǒng)靈活的存儲數(shù)據(jù)。例如，當數(shù)據(jù)遷移到最底層(即第I層)的存儲介質(zhì)中時，可以選擇給數(shù)據(jù)分配一個租期，當在租期的時間內(nèi)數(shù)據(jù)沒有被訪問時，租期到后數(shù)據(jù)會被自動刪除，達到釋放資源節(jié)約成本的目的。優(yōu)選的，所述數(shù)據(jù)對象在遷移到第I層時，還選擇是否壓縮數(shù)據(jù)，以增加存儲系統(tǒng)的可用空間；或者，所述數(shù)據(jù)對象在遷移到第I層時，還自動壓縮數(shù)據(jù)。
[0043]優(yōu)選的，所述方法中，所述存儲系統(tǒng)中的某一數(shù)據(jù)對象被訪問時，在所述存儲系統(tǒng)的元數(shù)據(jù)中進行記錄，以計算其訪問頻率。例如，將各預設參數(shù)設置于所述存儲系統(tǒng)的配置文件，所述存儲系統(tǒng)在初始化時讀取所述配置文件；新的存儲介質(zhì)進入存儲系統(tǒng)，通過存儲系統(tǒng)校驗后生成其元數(shù)據(jù)信息；又如，當在系統(tǒng)中的一個數(shù)據(jù)對象被訪問一次時，其元數(shù)據(jù)中的記錄訪問頻率的信息會重新計算并更新，當?shù)竭_預設閾值時會根據(jù)元數(shù)據(jù)的信息自動遷移。
[0044]采用上述各例，可以自動判斷數(shù)據(jù)活躍度并將其自動遷移到對應的存儲層。
[0045]結(jié)合應用上述任一實施例所述方法，本發(fā)明的又一實施例如下:一種存儲系統(tǒng)分層管理的系統(tǒng)，其包括若干存儲介質(zhì)以及至少二存儲層；各所述存儲介質(zhì)分別設置于一存儲層；各存儲層分別用于根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型，存儲所述數(shù)據(jù)對象。優(yōu)選的，所述系統(tǒng)還包括各實施例所述方法中涉及的各功能模塊或者執(zhí)行單元。例如，所述系統(tǒng)設置自動分層單元，根據(jù)存儲系統(tǒng)中各存儲介質(zhì)的介質(zhì)類型，將各存儲介質(zhì)分成至少二存儲層；又如，所述系統(tǒng)設置預設單元，預設各參數(shù)，包括數(shù)據(jù)分類、存儲介質(zhì)分類、介質(zhì)類型、各訪問頻率的閾值、百分比值等；又如，所述系統(tǒng)設置計算單元，其根據(jù)訪問總頻率自動調(diào)整各閾值
[0046]例如，對于不同的存儲介質(zhì)，根據(jù)其不同的存儲特性，將其自動劃分為以下三種不同的存儲層次。
[0047]Tierl 性能層；Tierl提供聞性能,具有最聞的性能，由價格最昂貴的存儲介質(zhì)組成，比如:ssd, RAID磁盤陣列。
[0048]Tier2——容量層；Tier2第二層提供大的容量并且確保能夠一直訪問，第二層由性價比較高的存儲介質(zhì)構(gòu)成，主要是sata盤，提供高容量低性能的存儲環(huán)境。當?shù)谝粚拥臄?shù)據(jù)訪問的頻率降低到一個預設閾值時會自動遷移到這一層來。反之，當這層的數(shù)據(jù)訪問的頻率升高到一個預設閾值時會遷移到第一層。
[0049]Tierf—檔案層，第三層容納長期的檔案并能提供額外的性能，支持在特定的要求中歸檔兼容。Tierf具有最大的存儲容量，用來存儲活躍度最低的數(shù)據(jù)或需要長時間存放的歸檔數(shù)據(jù)。存儲在內(nèi)容可尋址存儲歸檔系統(tǒng)，虛擬磁帶庫或磁帶庫上。
[0050]例如，在系統(tǒng)中設置分層方法存儲單元與方法池存儲單元，方法池存儲單元即方法池；預先在方法池內(nèi)存儲分層方法及其相關參數(shù)信息，并對方法池內(nèi)的分層方法及其相關參數(shù)信息實時更新。
[0051]系統(tǒng)接收外部寫入的數(shù)據(jù)分類信息時，解析該分類信息并將其存入系統(tǒng)之中；
[0052]系統(tǒng)接收外部存入的數(shù)據(jù)時，依據(jù)數(shù)據(jù)分類信息將數(shù)據(jù)分類，并將分類信息和寫入其元數(shù)據(jù)當中。
[0053]方法池讀取數(shù)據(jù)元數(shù)據(jù)中的數(shù)據(jù)分類的參數(shù)信息，匹配對應的數(shù)據(jù)等級，根據(jù)數(shù)據(jù)等級將其放入對應的存儲層，或稱為數(shù)據(jù)存儲層；
[0054]優(yōu)選的，根據(jù)預先設定的周期計算整個系統(tǒng)的數(shù)據(jù)的平均訪問頻率，計算出各個存儲層的預設閾值；優(yōu)選的，對于最高級的存儲層，無需計算其預設閾值。
[0055]當已存入系統(tǒng)的數(shù)據(jù)過了數(shù)據(jù)的保存期后根據(jù)方法會計算出在數(shù)據(jù)保留期間數(shù)據(jù)的平均訪問頻率，并寫入期元數(shù)據(jù)。將數(shù)據(jù)的平均訪問速率與系統(tǒng)各存儲層中的預設閾值作對比，將其遷入對應的數(shù)據(jù)層。
[0056]例如，遷移到系統(tǒng)最底層的數(shù)據(jù)可以設置其是否有租期，當設置了租期后，數(shù)據(jù)在其時間內(nèi)沒有被訪問過就會被自動刪除。
[0057]又如，對一些確定不活動的卻又不能刪除的數(shù)據(jù)，可以將其的原始數(shù)據(jù)壓縮為近線歸檔數(shù)據(jù),這樣可以節(jié)省大量的空間和成本。
[0058]又如，元數(shù)據(jù)中的數(shù)據(jù)訪問頻率每當數(shù)據(jù)過了數(shù)據(jù)保留期時都會重置，然后根據(jù)各存儲層中的閾值來判斷是否遷移數(shù)據(jù)。
[0059]又如，存儲介質(zhì)加入系統(tǒng)中時，系統(tǒng)自動識別其硬件并根據(jù)預設的分層表將其自動加入到對應的存儲層中去。
[0060]又如，數(shù)據(jù)遷移時會被放入數(shù)據(jù)遷移的隊列排隊遷移，當有大量新數(shù)據(jù)正進入系統(tǒng)時數(shù)據(jù)遷移會根據(jù)優(yōu)先級先暫時中斷，等待數(shù)據(jù)進入系統(tǒng)的壓力減少到一定值時再繼續(xù)遷移，避免數(shù)據(jù)遷移給系統(tǒng)帶來過多的性能負荷。
[0061]優(yōu)選的，還設置添加數(shù)據(jù)分類信息和修改數(shù)據(jù)類別對應的數(shù)據(jù)存儲級別。優(yōu)選的，還設置添加硬件介質(zhì)，根據(jù)其存儲性能來編輯其在系統(tǒng)中的具體存儲層次優(yōu)選的，還設置租期功能和壓縮功能，可以手動將不活動的數(shù)據(jù)打包壓縮，減少占用的系統(tǒng)空間，節(jié)省硬件成本。
[0062]優(yōu)選的，所述的預設參數(shù)都將存儲于配置文件；系統(tǒng)在初始化的過程中會讀取配置文件中的參數(shù)來預置硬件介質(zhì)層次和確定數(shù)據(jù)類型；
[0063]例如，如圖2所示，默認的數(shù)據(jù)等級和對應的存儲層次為:
[0064]數(shù)據(jù)等級為I的數(shù)據(jù)是最為活躍的、訪問的頻率最高的數(shù)據(jù)，存儲在性能最高的硬件介質(zhì)中，對應的存儲層次為Tierl ；
[0065]數(shù)據(jù)等級為2的數(shù)據(jù)是訪問頻率一般的數(shù)據(jù)，存儲在性能一般但是容量較大的硬件介質(zhì)中，對應的存儲層次為Tier2 ；
[0066]數(shù)據(jù)等級為3的數(shù)據(jù)是訪問頻率最低或基本不訪問的數(shù)據(jù)，存儲在性能最低但是容量最大的硬件介質(zhì)中，對應的存儲層次為Tier3。
[0067]例如，未知類型的數(shù)據(jù)默認為等級2中，剛進入系統(tǒng)時分配到Tier2中，經(jīng)過數(shù)據(jù)保留期后根據(jù)其訪問頻率來判斷是否需要遷移到其他層。
[0068]又如，用戶沒有配置數(shù)據(jù)分類時系統(tǒng)會采用默認的數(shù)據(jù)分類，可以對其進行增刪和修改。
[0069]又一個例子是，一系統(tǒng)其還包括上述方法的各例所涉及的硬件設備。
[0070]綜上，本發(fā)明的技術(shù)方案應用于分布式文件系統(tǒng)中，支持自動分層存儲數(shù)據(jù)和自動遷移數(shù)據(jù)，可以大大的減少數(shù)據(jù)存儲的成本，提高存儲的效率。同時，也能更加合理的管理數(shù)據(jù)。
[0071]又一個例子是，設定好數(shù)據(jù)分類參數(shù)或采用默認的數(shù)據(jù)分類。
[0072]存儲對象進入系統(tǒng)時，通過系統(tǒng)校驗生成其元數(shù)據(jù)信息，并將數(shù)據(jù)的分類信息也寫入其中。
[0073]通過匹配其數(shù)據(jù)類型位找到其對應的存儲等級。
[0074]讀取默認的配置文件，讀取其最新的數(shù)據(jù)級別與存儲層次的對照表，將數(shù)據(jù)存放入對應的存儲層次中。
[0075]讀取配置文件，獲取各個層次的數(shù)據(jù)保留期，通過元數(shù)據(jù)篩選出已過數(shù)據(jù)保留期的數(shù)據(jù)并計算出這段時間的訪問頻率，寫入一張臨時表。
[0076]從閾值表中獲取最新的各存儲層次的頻率閾值，通過上步生成的臨時表將需要上遷、下遷和不變的數(shù)據(jù)分組列出來，寫入三張臨時表中。
[0077]通過上步生成的三張臨時表將數(shù)據(jù)進行遷移。
[0078]讀取配置文件，當監(jiān)控整個系統(tǒng)的計時器和配置文件中的系統(tǒng)周期一直時，系統(tǒng)計算其整體的訪問頻率f=訪問次數(shù)/系統(tǒng)周期。將f設定為Tierl和Tier2新的遷移閾值，而O為Tier2和Tier3的遷移閾值。系統(tǒng)監(jiān)控計時器歸O。
[0079]數(shù)據(jù)遷移到新的存儲介質(zhì)中后，記錄其進來時的時間，將其寫入元數(shù)據(jù)中。再次通過元數(shù)據(jù)對比選出超過保留期的數(shù)據(jù)，計算訪問頻率和遷移閾值對比，判定是否需要遷移。
[0080]當數(shù)據(jù)遷入Tierf后并過了其數(shù)據(jù)保留期，可以根據(jù)配置文件來控制是否將其打包為線性歸檔數(shù)據(jù)方便存儲?；蛘哌x擇數(shù)據(jù)類型，給其制定租約，如果在租約時間內(nèi)沒有訪問就將其刪除。
[0081]當存儲層間的閾值改變時會將其改變時間記錄下來，對比數(shù)據(jù)進入系統(tǒng)或遷入其他層次的時間。將早于此時間的數(shù)據(jù)還是采用原來的遷移閾值，避免造成系統(tǒng)的混亂。而新進入系統(tǒng)或遷移的數(shù)據(jù)則采用新的閾值，同層的閾值最多存在2個。
[0082]進一步地，本發(fā)明的實施例還包括，上述各實施例的各技術(shù)特征，相互組合形成的存儲系統(tǒng)自動分層的方法與系統(tǒng)，通過綜合考慮存儲介質(zhì)的性能和成本，合理的將不同數(shù)據(jù)類型的數(shù)據(jù)在其生命周期的不同時期存放至不同的介質(zhì)中，以達到節(jié)約存儲成本，提高存儲效率的目的；從而能夠支持實時的根據(jù)實際情況變換存儲層次的閾值，當某段時期系統(tǒng)數(shù)據(jù)訪問頻率過于頻繁時，能實時的提高存儲層次中的閾值，將一些臨界點旁的數(shù)據(jù)向下層存儲層遷移，緩解系統(tǒng)的整體壓力，防止硬件的損傷。這樣，通過在分布式文件存儲系統(tǒng)中加入了自動分層方法，使得存儲集群在數(shù)據(jù)分配和資源利用上面都有很好的表現(xiàn)。
[0083]綜上所述，該存儲系統(tǒng)分層管理的方法與系統(tǒng)是根據(jù)存儲系統(tǒng)中各存儲介質(zhì)的介質(zhì)類型以及數(shù)據(jù)對象的數(shù)據(jù)類型，將所述數(shù)據(jù)對象存儲在相應的存儲層，解決的是提高存儲效率、降低數(shù)據(jù)存儲成本的技術(shù)問題，該方法通過執(zhí)行計算機程序?qū)崿F(xiàn)對計算機系統(tǒng)內(nèi)部運行性能的改進，反映的是自動分層存儲數(shù)據(jù)和自動遷移數(shù)據(jù)，利用的是遵循自然規(guī)律的技術(shù)手段，獲得了存儲效率提高、數(shù)據(jù)存儲成本降低的技術(shù)效果。因此，本發(fā)明專利存儲系統(tǒng)分層管理的方法與系統(tǒng)是一種通過執(zhí)行計算機程序?qū)崿F(xiàn)計算機系統(tǒng)內(nèi)部、外部性能改進的解決方案，屬于專利法第二條第二款規(guī)定的技術(shù)方案，屬于專利保護的客體。
[0084]需要說明的是，上述各技術(shù)特征繼續(xù)相互組合，形成未在上面列舉的各種實施例，均視為本發(fā)明說明書記載的范圍；并且，對本領域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進或變換，而所有這些改進和變換都應屬于本發(fā)明所附權(quán)利要求的保護范圍。
【權(quán)利要求】
1.一種存儲系統(tǒng)分層管理的方法，其特征在于，包括以下步驟: 根據(jù)存儲系統(tǒng)中各存儲介質(zhì)的介質(zhì)類型，將各存儲介質(zhì)分成至少二存儲層； 根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型，將所述數(shù)據(jù)對象存儲在相應的存儲層。
2.根據(jù)權(quán)利要求1所述方法，其特征在于，還根據(jù)數(shù)據(jù)對象的訪問頻率，將所述數(shù)據(jù)對象在各存儲層中遷移。
3.根據(jù)權(quán)利要求2所述方法，其特征在于，將各存儲介質(zhì)分成N存儲層，其中，N為自然數(shù)且N≥2 ; 預設置N-1個訪問頻率的閾值； 周期對某一數(shù)據(jù)對象作遷移判斷:判斷其訪問頻率大于第M閾值時，將其從第M存儲層遷移至第M+1存儲層，否則，判斷其訪問頻率小于第M閾值時，將其從第M+1存儲層遷移至第M存儲層，其中，M為自然數(shù)且MS N-1。
4.根據(jù)權(quán)利要求3所述方法，其特征在于，在所述遷移判斷時，采用所述數(shù)據(jù)對象在一預設時間段內(nèi)的平均訪問頻率作為判斷時采用的訪問頻率。
5.根據(jù)權(quán)利要求4所述方法，其特征在于，所述數(shù)據(jù)對象在遷移后，還在原存儲層中保留一預設時間。
6.根據(jù)權(quán)利要求5所述方法，其特征在于，還包括步驟: 根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型設置若干對應相異存儲層的數(shù)據(jù)對象級別； 當數(shù)據(jù)對象進入存儲系統(tǒng)時，根據(jù)所述數(shù)據(jù)對象的數(shù)據(jù)類型，獲取所述數(shù)據(jù)對象的數(shù)據(jù)對象級別，根據(jù)所述數(shù)據(jù)對象級別將其存儲到對應的存儲層。
7.根據(jù)權(quán)利要求6所述方法，其特征在于子，所述數(shù)據(jù)對象在遷移到第I層時，選擇是否分配一預設的租期； 對于具有所述租期的所述數(shù)據(jù)對象，判斷其在所述租期內(nèi)未被訪問，則在所述租期到期后，將所述數(shù)據(jù)對象刪除。
8.根據(jù)權(quán)利要求7所述方法，其特征在于，還包括步驟:根據(jù)各存儲層的負載情況，對于負載程度超過預設百分比值的第X存儲層，根據(jù)各數(shù)據(jù)對象的平均訪問頻率，將平均訪問頻率最高的數(shù)據(jù)對象遷移至第X+1存儲層，繼續(xù)判斷第X存儲層的負載程度是否超過預設百分比值，是則將平均訪問頻率最低的數(shù)據(jù)對象遷移至第X-1存儲層，直至第X存儲層的負載程度低于所述預設百分比值。
9.根據(jù)權(quán)利要求1至8任一所述方法，其特征在于，所述存儲系統(tǒng)中的某一數(shù)據(jù)對象被訪問時，在所述存儲系統(tǒng)的元數(shù)據(jù)中進行記錄，以計算其訪問頻率。
10.一種存儲系統(tǒng)分層管理的系統(tǒng)，其特征在于，包括若干存儲介質(zhì)以及至少二存儲層； 各所述存儲介質(zhì)分別設置于一存儲層； 各存儲層分別用于根據(jù)數(shù)據(jù)對象的數(shù)據(jù)類型，存儲所述數(shù)據(jù)對象。
【文檔編號】G06F17/30GK103914516SQ201410064357
【公開日】2014年7月9日 申請日期:2014年2月25日 優(yōu)先權(quán)日:2014年2月25日
【發(fā)明者】張勤 申請人:深圳市中博科創(chuàng)信息技術(shù)有限公司