Nas集群系統(tǒng)的文件數(shù)據(jù)的處理方法及nas集群系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法及NAS集群系統(tǒng)，其中方法包括：在客戶機需要執(zhí)行創(chuàng)建文件之前，利用HASH算法確定對應(yīng)的存儲設(shè)備；分析客戶機對應(yīng)的多個存儲設(shè)備的存儲信息，在確定文件存儲空間需求得到滿足的條件下，按照優(yōu)先存儲設(shè)備順序為客戶機對應(yīng)的本地存儲設(shè)備、文件HASH值確定對應(yīng)的存儲設(shè)備、集群存儲設(shè)備列表中存儲設(shè)備，將文件創(chuàng)建在相應(yīng)的存儲設(shè)備上。通過使用這種存儲設(shè)備的選取策略，因盡量使用本地存儲的方式，避免了讀寫時網(wǎng)絡(luò)資源的占用，同時更便于文件的查找。本發(fā)明提供的NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法及NAS集群系統(tǒng)，減少了通過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)流量，減輕了網(wǎng)絡(luò)負載，提高了NAS集群系統(tǒng)I/O處理效率。
【專利說明】 NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法及NAS集群系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲【技術(shù)領(lǐng)域】，特別是涉及一種NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法及NAS集群系統(tǒng)。
【背景技術(shù)】
[0002]隨著企業(yè)數(shù)據(jù)急劇膨脹，海量存儲也愈加嚴峻，對于各類行業(yè)的用戶而言，爆炸性增長的海量數(shù)據(jù)正如潮水般地沖擊著用戶的存儲系統(tǒng)。面對不斷增長的數(shù)據(jù)，傳統(tǒng)的存儲架構(gòu)由于擴展性較差，當用戶容量及性能需求增加時，只能一味地添加高端存儲設(shè)備。長此以往，存儲環(huán)境就會變得日益復雜，管理和運營成本更高，并造成了過高的能源消耗。
[0003]現(xiàn)在，云存儲作為一種新興的技術(shù)理念，正在改變著傳統(tǒng)存儲的提供與使用方式，也對存儲行業(yè)帶來了深遠影響。從目前的一些統(tǒng)計與預(yù)測分析數(shù)據(jù)來看，云存儲市場與應(yīng)用發(fā)展非常迅速，有一部分企業(yè)或個人已經(jīng)認可這種模式，但更多人的用戶仍持懷疑和觀望態(tài)度。經(jīng)過一些調(diào)研分析，我們認為如下兩個主要原因?qū)⒂绊懺拼鎯ζ占皯?yīng)用。
[0004]第一，云存儲以互聯(lián)網(wǎng)為基礎(chǔ)提供存儲服務(wù)，私有云存儲可以基于LAN，公有云則需要通過廣域網(wǎng)WAN來承載。由于帶寬的限制以及網(wǎng)絡(luò)復雜性，造成較大的數(shù)據(jù)訪問延遲，尤其是對WAN來說，數(shù)據(jù)訪問性能和實時性是個巨大的瓶頸。LAN目前的網(wǎng)絡(luò)帶寬可以達到IGbps和lOGpbs，WAN要差很多，諸如ADSL的寬帶網(wǎng)絡(luò)帶寬通常為512K/lM/2Mbps。移動互聯(lián)網(wǎng)帶寬則更差一些，3G網(wǎng)絡(luò)還沒有大規(guī)模普及，GPRS用戶仍然眾多。中國目前大概有3.8億網(wǎng)民，主要集中在城市，網(wǎng)絡(luò)情況稍好。近年來，中國農(nóng)村計算機和網(wǎng)絡(luò)市場發(fā)展較快，然而與農(nóng)村巨大的潛在市場相對，有線和無線通信網(wǎng)絡(luò)帶寬都非常有限。網(wǎng)絡(luò)帶寬問題如果不能解決，則性能將是云存儲的關(guān)鍵瓶頸。這樣的話，對性能和實時性要求高的應(yīng)用則無法使用云存儲，TB/PB級以上的海量數(shù)據(jù)存儲更是可望而不可及。用戶需要存儲數(shù)據(jù)時，數(shù)據(jù)卻無法及時進行存儲，云存儲也就失去了意義。
[0005]第二，數(shù)據(jù)的查找速度也是用戶最為關(guān)心的，尤其是數(shù)據(jù)量巨大時。當云存儲規(guī)模逐漸增大，文件數(shù)量不斷攀升，要在數(shù)以億記的文件中找到所需要的那一個是相當耗費時間的。因此，如果數(shù)據(jù)快速查找問題得不到有效解決，它也將成為云存儲的絆腳石。
[0006]因此對于現(xiàn)有技術(shù)，如何在集群文件系統(tǒng)中進行文件數(shù)據(jù)讀寫時，減少網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)流量，提高NAS集群系統(tǒng)文件數(shù)據(jù)I/O處理效率并提供文件的快速查找是個亟待解決的問題。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供了一種NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法及NAS集群系統(tǒng)，最大程度避免了網(wǎng)絡(luò)傳輸?shù)姆绞?，減輕了網(wǎng)絡(luò)傳輸?shù)呢撦d壓力并實現(xiàn)高效的I/O處理。
[0008]基于上述問題，本發(fā)明提供的一種NAS集群系統(tǒng)，包括多個客戶機，每個客戶機上通過接口連接有對應(yīng)的多個NAS網(wǎng)絡(luò)存儲器并構(gòu)成了 NAS主機，NAS主機用于對NAS集群系統(tǒng)中每個客戶機的文件數(shù)據(jù)存儲和查找操作；[0009]所述NAS主機包括檢測模塊、HASH定位模塊、存儲處理模塊和鏈接定位模塊，其中:
[0010]所述檢測模塊，用于實時檢測NAS集群系統(tǒng)中的每個客戶機對應(yīng)的多個存儲設(shè)備的存儲信息并保存為本地存儲設(shè)備列表及集群存儲設(shè)備列表；
[0011 ] 所述HASH定位模塊，用于在客戶機執(zhí)行創(chuàng)建文件之前，利用HASH算法并根據(jù)文件名和集群存儲設(shè)備列表確定所述文件的文件HASH值，根據(jù)文件HASH值確定對應(yīng)的存儲設(shè)備;
[0012]所述存儲處理模塊，用于分析所述客戶機對應(yīng)的多個存儲設(shè)備的存儲信息，在確定文件存儲空間需求得到滿足的條件下，按照優(yōu)先存儲設(shè)備順序為所述客戶機對應(yīng)的本地存儲設(shè)備、文件HASH值確定對應(yīng)的存儲設(shè)備、集群存儲設(shè)備列表中的存儲設(shè)備，將所述文件創(chuàng)建在相應(yīng)的存儲設(shè)備上；
[0013]所述鏈接定位模塊，用于在每個創(chuàng)建文件結(jié)束后，判斷所述文件最終的存儲設(shè)備是否為文件HASH值對應(yīng)的存儲設(shè)備；若否，則在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接。
[0014]較佳地，作為一種可實施方式，所述存儲處理模塊包括判斷子模塊，其中:
[0015]所述判斷子模塊，用于檢查所述客戶機對應(yīng)的本地存儲設(shè)備列表中是否有至少一個本地存儲設(shè)備滿足存儲所述文件的存儲空間需求，若判斷結(jié)果為是，則確定在所述本地存儲設(shè)備列表中當前剩余存儲空間最大的本地存儲設(shè)備上創(chuàng)建文件；
[0016]若判斷結(jié)果為否，則查找文件HASH值對應(yīng)的集群存儲設(shè)備列表中的存儲設(shè)備，重新判斷所述文件HASH值對應(yīng)的存儲設(shè)備是否滿足存儲所述文件的存儲空間需求，若是，則在所述文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建文件；若否，則在NAS集群系統(tǒng)的包含所有客戶機存儲設(shè)備的集群存儲設(shè)備列表中查找剩余存儲空間最大的存儲設(shè)備，并在所述集群存儲設(shè)備列表中的剩余存儲空間最大的存儲設(shè)備滿足存儲所述文件的存儲空間需求條件下，在所述剩余存儲空間最大的存儲設(shè)備上創(chuàng)建文件。
[0017]較佳地，作為一種可實施方式，所述存儲信息包括存儲設(shè)備編號、存儲設(shè)備的剩余存儲空間；
[0018]所述本地存儲設(shè)備列表記錄包括連接在客戶機的多個本地存儲設(shè)備及存儲設(shè)備編號數(shù)據(jù)；
[0019]所述集群存儲設(shè)備列表記錄包括NAS集群系統(tǒng)中對每一個存儲設(shè)備及存儲設(shè)備編號數(shù)據(jù)。
[0020]較佳地，作為一種可實施方式，所述HASH定位模塊包括運算子模塊；
[0021]所述運算子模塊，用于通過HASH函數(shù)對文件的文件名進行HASH運算后得到HASH結(jié)果值；通過I=(A mod N)進行取模運算，計算得到小于存儲設(shè)備數(shù)的值I，值I對應(yīng)于集群存儲設(shè)備列表中編號為I的存儲設(shè)備；
[0022]其中:A為HASH結(jié)果值；
[0023]N為集群存儲設(shè)備列表中存儲設(shè)備總數(shù)值。
[0024]較佳地，作為一種可實施方式，所述鏈接定位模塊包括鏈接子模塊，其中:
[0025]所述鏈接子模塊，用于在HASH定位算法所對應(yīng)的編號為I的存儲設(shè)備上創(chuàng)建指向創(chuàng)建所述文件的鏈接。[0026]較佳地，作為一種可實施方式，所述NAS主機還包括查找處理模塊，其中:
[0027]所述查找處理模塊，用于在執(zhí)行文件查找操作時，查找文件HASH值對應(yīng)的存儲設(shè)備；若所述文件不在文件HASH值對應(yīng)的存儲設(shè)備上，則通過在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建的指向所述文件真實存儲位置的鏈接，定位查找所述文件。
[0028]相應(yīng)地，本發(fā)明還提供了一種NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法，包括以下步驟:
[0029]實時檢測NAS集群系統(tǒng)中的每個客戶機對應(yīng)的多個存儲設(shè)備的存儲信息并保存為本地存儲設(shè)備列表及集群存儲設(shè)備列表；
[0030]在客戶機執(zhí)行創(chuàng)建文件之前，利用HASH算法并根據(jù)文件名和集群存儲設(shè)備列表確定所述文件的文件HASH值，根據(jù)文件HASH值確定對應(yīng)的存儲設(shè)備；
[0031]分析所述客戶機對應(yīng)的多個存儲設(shè)備的存儲信息，在確定文件存儲空間需求得到滿足的條件下，按照優(yōu)先存儲設(shè)備順序為所述客戶機對應(yīng)的本地存儲設(shè)備、文件HASH值確定對應(yīng)的存儲設(shè)備、集群存儲設(shè)備列表中的存儲設(shè)備，將所述文件創(chuàng)建在相應(yīng)的存儲設(shè)備上；
[0032]在每個創(chuàng)建文件結(jié)束后，判斷所述文件最終的存儲設(shè)備是否為文件HASH值對應(yīng)的存儲設(shè)備；若否，則在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接。
[0033]較佳地，作為一種可實施方式，所述利用HASH算法并根據(jù)文件名和集群存儲設(shè)備列表確定所述文件的文件HASH值，根據(jù)文件HASH值確定對應(yīng)的存儲設(shè)備包括如下步驟:
[0034]通過HASH函數(shù)對文件的文件名進行HASH運算后得到一個HASH結(jié)果值，計為A ；
[0035]通過I=(A mod N)進行取模運算，計算得到小于存儲設(shè)備數(shù)的值I，值I對應(yīng)于集群存儲設(shè)備列表中編號為I的存儲設(shè)備；
[0036]其中，N為集群存儲設(shè)備列表中存儲設(shè)備總數(shù)值。
[0037]較佳地，作為一種可實施方式，所述在確定文件存儲空間需求得到滿足的條件下，按照優(yōu)先存儲設(shè)備順序，將所述文件創(chuàng)建在相應(yīng)的存儲設(shè)備上，包括如下步驟:
[0038]檢查所述客戶機對應(yīng)的本地存儲設(shè)備列表中是否有至少一個本地存儲設(shè)備滿足存儲所述文件的存儲空間需求，若判斷結(jié)果為是，則確定在所述本地存儲設(shè)備列表中當前剩余存儲空間最大的本地存儲設(shè)備上創(chuàng)建文件；
[0039]若判斷結(jié)果為否，則查找文件HASH值對應(yīng)的集群存儲設(shè)備列表中的存儲設(shè)備，重新判斷所述文件HASH值對應(yīng)的存儲設(shè)備是否滿足存儲所述文件的存儲空間需求，若是，則在所述文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建文件；若否，則在NAS集群系統(tǒng)的包含所有客戶機存儲設(shè)備的集群存儲設(shè)備列表中查找剩余存儲空間最大的存儲設(shè)備，并在所述集群存儲設(shè)備列表中的剩余存儲空間最大的存儲設(shè)備滿足存儲所述文件的存儲空間需求條件下，在所述剩余存儲空間最大的存儲設(shè)備上創(chuàng)建文件。
[0040]較佳地，作為一種可實施方式，所述在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接，包括如下步驟:
[0041]在HASH定位算法所對應(yīng)的編號為I的存儲設(shè)備上創(chuàng)建指向創(chuàng)建所述文件的鏈接。
[0042]較佳地，作為一種可實施方式，所述處理方法還包括執(zhí)行查找所述文件的步驟:
[0043]在執(zhí)行文件查找操作時，查找文件HASH值對應(yīng)的存儲設(shè)備，若所述文件不在文件HASH值對應(yīng)的存儲設(shè)備上，則通過在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建的指向所述文件真實存儲位置的鏈接，定位查找所述文件。
[0044]本發(fā)明的有益效果包括:
[0045]本發(fā)明提供的NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法及NAS集群系統(tǒng)，由于在存儲時盡量避免文件數(shù)據(jù)I/o通過網(wǎng)絡(luò)傳輸，其存儲和讀取速率將大大提高，同時減少了網(wǎng)絡(luò)負載。同時則在HASH定位算法查找對應(yīng)的存儲設(shè)備上創(chuàng)建指向該文件的鏈接，為集群中其他NAS訪問該文件提供了高效的查找方法。這樣，將有利于提高NAS集群系統(tǒng)I/O處理效率。
【專利附圖】

【附圖說明】
[0046]圖1為本發(fā)明NAS集群系統(tǒng)的一個實施例的系統(tǒng)結(jié)構(gòu)示意圖；
[0047]圖2為圖1中本發(fā)明NAS集群系統(tǒng)的實施例的NAS主機的結(jié)構(gòu)示意圖；
[0048]圖3為本發(fā)明NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法的一個實施例的流程示意圖；
[0049]圖4為本發(fā)明NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法的另一個實施例的文件存儲流程不意圖；
[0050]圖5為圖4中本發(fā)明NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法的實施例的文件查找流程不意圖。
【具體實施方式】
[0051]下面結(jié)合說明書附圖，對本發(fā)明實施例中的NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法及NAS集群系統(tǒng)的【具體實施方式】進行說明。
[0052]本發(fā)明實施例提供的NAS (Network Attached Storage,網(wǎng)絡(luò)存儲)集群系統(tǒng)I,如圖1所示，包括多個客戶機20，每個客戶機20上通過接口連接有多個NAS網(wǎng)絡(luò)存儲器21并構(gòu)成了 NAS主機2，NAS主機2用于對NAS集群系統(tǒng)I中每個客戶機的文件數(shù)據(jù)存儲和查找操作，所述NAS主機2包括檢測模塊22、HASH定位模塊23、存儲處理模塊24和鏈接定位模塊25，如圖2所示，其中:
[0053]所述檢測模塊22，用于實時檢測NAS集群系統(tǒng)中的每個客戶機對應(yīng)的多個存儲設(shè)備的存儲信息并保存為本地存儲設(shè)備列表及集群存儲設(shè)備列表；
[0054]所述HASH定位模塊23，用于在客戶機執(zhí)行創(chuàng)建文件之前，利用HASH算法并根據(jù)文件名和集群存儲設(shè)備列表確定所述文件的文件HASH值，根據(jù)文件HASH值確定對應(yīng)的存儲設(shè)備；
[0055]所述存儲處理模塊24，用于分析所述客戶機對應(yīng)的多個存儲設(shè)備的存儲信息，在確定文件存儲空間需求得到滿足的條件下，按照優(yōu)先存儲設(shè)備順序為所述客戶機對應(yīng)的本地存儲設(shè)備、文件HASH值確定對應(yīng)的存儲設(shè)備、集群存儲設(shè)備列表中的存儲設(shè)備，將所述文件創(chuàng)建在相應(yīng)的存儲設(shè)備上；
[0056]所述鏈接定位模塊25，用于在每個創(chuàng)建文件結(jié)束后，判斷所述文件最終的存儲設(shè)備是否為文件HASH值對應(yīng)的存儲設(shè)備；若否，則在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接。
[0057]較佳地，作為一種可實施方式，所述存儲處理模塊24包括判斷子模塊，其中:[0058]所述判斷子模塊，用于檢查所述客戶機對應(yīng)的本地存儲設(shè)備列表中是否有至少一個本地存儲設(shè)備滿足存儲所述文件的存儲空間需求，若判斷結(jié)果為是，則確定在所述本地存儲設(shè)備列表中當前剩余存儲空間最大的本地存儲設(shè)備上創(chuàng)建文件；
[0059]若判斷結(jié)果為否，則查找文件HASH值對應(yīng)的集群存儲設(shè)備列表中的存儲設(shè)備，重新判斷所述文件HASH值對應(yīng)的存儲設(shè)備是否滿足存儲所述文件的存儲空間需求，若是，則在所述文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建文件；若否，則在NAS集群系統(tǒng)的包含所有客戶機存儲設(shè)備的集群存儲設(shè)備列表中查找剩余存儲空間最大的存儲設(shè)備，并在所述集群存儲設(shè)備列表中的剩余存儲空間最大的存儲設(shè)備滿足存儲所述文件的存儲空間需求條件下，在所述剩余存儲空間最大的存儲設(shè)備上創(chuàng)建文件。
[0060]較佳地，作為一種可實施方式，所述存儲信息包括存儲設(shè)備編號、存儲設(shè)備的剩余存儲空間；
[0061]所述本地存儲設(shè)備列表記錄包括連接在客戶機的多個本地存儲設(shè)備及存儲設(shè)備編號數(shù)據(jù)；
[0062]所述集群存儲設(shè)備列表記錄包括NAS集群系統(tǒng)中對每一個存儲設(shè)備及存儲設(shè)備編號數(shù)據(jù)。
[0063]較佳地，作為一種可實施方式，所述HASH定位模塊23包括運算子模塊；
[0064]所述運算子模塊，用于通過HASH函數(shù)對文件的文件名進行HASH運算后得到HASH結(jié)果值；通過I=(A mod N)進行取模運算，計算得到小于存儲設(shè)備數(shù)的值I，值I對應(yīng)于集群存儲設(shè)備列表中編號為I的存儲設(shè)備；
[0065]其中:A為HASH結(jié)果值；
[0066]N為集群存儲設(shè)備列表中存儲設(shè)備總數(shù)值。
[0067]較佳地，作為一種可實施方式，所述鏈接定位模塊25包括鏈接子模塊，其中:
[0068]所述鏈接子模塊，用于在HASH定位算法所對應(yīng)的編號為I的存儲設(shè)備上創(chuàng)建指向創(chuàng)建所述文件的鏈接。
[0069]在本發(fā)明實施例中，利用HASH定位算法可以快速在第I臺存儲設(shè)備上找到該文件的鏈接，進而定位該文件。(如SHA或MD5等，每個文件都可以md5-hash的算法設(shè)置，這使得該文件獨一無二，并且在整個網(wǎng)絡(luò)上都可以追蹤得到。)
[0070]較佳地，作為一種可實施方式，所述NAS主機2還包括查找處理模塊26，其中:
[0071]所述查找處理模塊26，用于在執(zhí)行文件查找操作時，首先查找文件HASH值對應(yīng)的存儲設(shè)備；若所述文件不在文件HASH值對應(yīng)的存儲設(shè)備上，則通過在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建的指向所述文件真實存儲位置的鏈接，定位查找所述文件。
[0072]在本發(fā)明實施例中，MD5-Hash_文件通過Hash函數(shù)計算得到。不管文件長度如何，它的Hash函數(shù)計算結(jié)果是一個固定長度的數(shù)字。與加密算法不同，這一個Hash算法是一個不可逆的單向函數(shù)。采用安全性高的Hash算法，如MD5、SHA時，兩個不同的文件幾乎不可能得到相同的Hash結(jié)果。文件Hash值是固定的，也是唯一的，在本發(fā)明實施例正是利用這一點,通過文件的Hash值來查找文件的。
[0073]本領(lǐng)域技術(shù)人員應(yīng)該可以理解，本發(fā)明實施例所提供的NAS集群系統(tǒng)的實質(zhì)是將一臺存儲設(shè)備同時用作NAS主機，通過該NAS主機創(chuàng)建文件時將優(yōu)先在本地創(chuàng)建，減少了流經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)量，由于本地數(shù)據(jù)I/O效率大大高于網(wǎng)絡(luò)，因此既減輕了網(wǎng)絡(luò)負載又提高了數(shù)據(jù)輸入/輸出(Input/Output, I/O)的速率。通過在記錄每個NAS主機各自對應(yīng)的本地存儲設(shè)備，將數(shù)據(jù)優(yōu)先存放到NAS主機本地存儲設(shè)備上，當一個NAS主機對應(yīng)多個本地存儲設(shè)備時根據(jù)設(shè)定的策略選取其中最符合要求的，當所有本地設(shè)備都不符合策略要求時，再通過設(shè)定的策略選取符合要求的遠程存儲設(shè)備。通過使用這種存儲設(shè)備的選取策略，減少了通過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)流量，減輕了網(wǎng)絡(luò)負載，并能提高集群I/O性能10%以上。
[0074]基于同一發(fā)明構(gòu)思，本發(fā)明實施例還提供了一種NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法，由于此方法解決問題的原理通過前述一種NAS集群系統(tǒng)實現(xiàn)，因此該方法的實施可以參見前述系統(tǒng)功能的實施，重復之處不再贅述。
[0075]本發(fā)明實施例提供的一種NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法，如圖3所示，包括以下步驟:
[0076]步驟S100、實時檢測NAS集群系統(tǒng)中的每個客戶機對應(yīng)的多個存儲設(shè)備的存儲信息并保存為本地存儲設(shè)備列表及集群存儲設(shè)備列表；
[0077]步驟S200、在客戶機執(zhí)行創(chuàng)建文件之前，利用HASH算法并根據(jù)文件名和集群存儲設(shè)備列表確定所述文件的文件HASH值，根據(jù)文件HASH值確定對應(yīng)的存儲設(shè)備；
[0078]步驟S300、分析所述客戶機對應(yīng)的多個存儲設(shè)備的存儲信息，在確定文件存儲空間需求得到滿足的條件下，按照優(yōu)先存儲設(shè)備順序為所述客戶機對應(yīng)的本地存儲設(shè)備、文件HASH值確定對應(yīng)的存儲設(shè)備、集群存儲設(shè)備列表中的存儲設(shè)備，將所述文件創(chuàng)建在相應(yīng)的存儲設(shè)備上；
[0079]步驟S400、在每個創(chuàng)建文件結(jié)束后，判斷所述文件最終的存儲設(shè)備是否為文件HASH值對應(yīng)的存儲設(shè)備；若否，則在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接。
[0080]較佳地，作為一種可實施方式，所述利用HASH算法并根據(jù)文件名和集群存儲設(shè)備列表確定所述文件的文件HASH值，根據(jù)文件HASH值確定對應(yīng)的存儲設(shè)備包括如下步驟:
[0081]通過HASH函數(shù)對文件的文件名進行HASH運算后得到一個HASH結(jié)果值，計為A ；
[0082]通過I=(A mod N)進行取模運算，計算得到小于存儲設(shè)備數(shù)的值I，值I對應(yīng)于集群存儲設(shè)備列表中編號為I的存儲設(shè)備；
[0083]其中，N為集群存儲設(shè)備列表中存儲設(shè)備總數(shù)值。
[0084]較佳地，作為一種可實施方式，在所述步驟S300中，所述在確定文件存儲空間需求得到滿足的條件下，按照優(yōu)先存儲設(shè)備順序，將所述文件創(chuàng)建在相應(yīng)的存儲設(shè)備上，包括如下步驟:
[0085]檢查所述客戶機對應(yīng)的本地存儲設(shè)備列表中是否有至少一個本地存儲設(shè)備滿足存儲所述文件的存儲空間需求，若判斷結(jié)果為是，則確定在所述本地存儲設(shè)備列表中當前剩余存儲空間最大的本地存儲設(shè)備上創(chuàng)建文件；
[0086]若判斷結(jié)果為否，則查找文件HASH值對應(yīng)的集群存儲設(shè)備列表中的存儲設(shè)備，重新判斷所述文件HASH值對應(yīng)的存儲設(shè)備是否滿足存儲所述文件的存儲空間需求，若是，則在所述文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建文件；若否，則在NAS集群系統(tǒng)的包含所有客戶機存儲設(shè)備的集群存儲設(shè)備列表中查找剩余存儲空間最大的存儲設(shè)備，并在所述集群存儲設(shè)備列表中的剩余存儲空間最大的存儲設(shè)備滿足存儲所述文件的存儲空間需求條件下，在所述剩余存儲空間最大的存儲設(shè)備上創(chuàng)建文件。[0087]較佳地，作為一種可實施方式，所述在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接，包括如下步驟:
[0088]在HASH定位算法所對應(yīng)的編號為I的存儲設(shè)備上創(chuàng)建指向創(chuàng)建所述文件的鏈接。
[0089]較佳地，作為一種可實施方式，所述處理方法還包括執(zhí)行查找所述文件的步驟:
[0090]步驟S500、在執(zhí)行文件查找操作時，首先查找文件HASH值對應(yīng)的存儲設(shè)備，若所述文件不在文件HASH值對應(yīng)的存儲設(shè)備上，則通過在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建的指向所述文件真實存儲位置的鏈接，定位查找所述文件。
[0091]為了更好地說明本發(fā)明實施例提供的NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法，舉例加以說明。
[0092]在本發(fā)明實施例中，NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法主要包括存儲處理和查找處理步驟，其中所述存儲處理步驟，如圖4所示，:
[0093]數(shù)據(jù)的本地優(yōu)先存儲方法分如下步驟進行:
[0094]步驟SI 1、在集群文件系統(tǒng)初始化時，每個NAS主機記錄下各自對應(yīng)的本地存儲設(shè)備到本地存儲設(shè)備列表及集群存儲設(shè)備列表中；在客戶機需要執(zhí)行創(chuàng)建文件之前，利用HASH算法并根據(jù)文件名和集群存儲設(shè)備列表確定所述文件的文件HASH值，根據(jù)文件HASH值確定對應(yīng)的存儲設(shè)備；
[0095]步驟S12、當用戶通過當前NAS主機執(zhí)行create或mknod時,所述NAS主機首先檢查客戶機對應(yīng)的本地存儲設(shè)備列表中是否有至少一個本地存儲設(shè)備滿足存儲所述文件的存儲空間需求。若是，則執(zhí)行步驟S13，若否，則跳轉(zhuǎn)執(zhí)行步驟S14 ；
[0096]步驟S13、確定在本地存儲設(shè)備列表中當前剩余存儲空間最大的本地存儲設(shè)備上創(chuàng)建文件；
[0097]步驟S14、查找文件HASH值對應(yīng)的集群存儲設(shè)備列表中的存儲設(shè)備，重新判斷HASH值對應(yīng)的存儲設(shè)備是否滿足存儲所述文件的存儲空間需求；如果滿足，則執(zhí)行步驟S15 ;如果不滿足，則跳轉(zhuǎn)執(zhí)行步驟S16 ；
[0098]步驟S15、選取HASH值對應(yīng)的存儲設(shè)備，創(chuàng)建文件；
[0099]步驟S16、判斷查詢集群存儲設(shè)備列表中所有存儲設(shè)備是否滿足存儲所述文件的存儲空間需求，若有，則執(zhí)行步驟S17 ;若無，則跳轉(zhuǎn)執(zhí)行步驟S18 ；
[0100]步驟S17 ;選取其中剩余容量最大的存儲設(shè)備，創(chuàng)建文件；
[0101]步驟S18、確定操作失?。?br> [0102]步驟S19、在每個創(chuàng)建文件結(jié)束后，判斷所述文件最終的存儲設(shè)備是否為HASH值對應(yīng)的存儲設(shè)備，若是，則執(zhí)行步驟S20 ;確定操作成功；若否，則跳轉(zhuǎn)執(zhí)行步驟S21 ;在HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接；
[0103]步驟S20 ;確定操作成功；
[0104]步驟S21 ;在HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接。
[0105]如圖4所示,執(zhí)行create或mknod時分成如下三種情況:
[0106]情況一、找到至少一個本地設(shè)備滿足要求，則直接在該本地設(shè)備上執(zhí)行create或mknod操作,選取其中剩余容量最大的執(zhí)行create或mknod操作，并在文件HASH定位算法所對應(yīng)的存儲設(shè)備上創(chuàng)建指向該文件的鏈接；
[0107]情況二、所有本地設(shè)備都不滿足要求，則查找文件HASH值對應(yīng)的集群存儲設(shè)備列表中的存儲設(shè)備；并在文件HASH定位算法所對應(yīng)的存儲設(shè)備上創(chuàng)建指向該文件的鏈接；
[0108]情況三、如果文件HASH值對應(yīng)的集群存儲設(shè)備列表中的存儲設(shè)備也不能滿足文件數(shù)據(jù)存儲要求，則查詢集群中所有存儲設(shè)備，選取容量最大的執(zhí)行create或mknod操作，如果不存在滿足要求的存儲設(shè)備，則返回操作失敗。
[0109]如圖5所示，(圖5所示意查找步驟在即圖4示意的存儲步驟之后執(zhí)行)文件查找過程，按如下步驟實現(xiàn):
[0110]步驟S22、在執(zhí)行文件查找操作時，首先判斷查找文件在不在HASH值對應(yīng)的存儲設(shè)備上存儲，若是，則執(zhí)行步驟S23 ;若否，則跳轉(zhuǎn)執(zhí)行步驟S24 ；
[0111]步驟S23、確定查找成功；
[0112]步驟S24、通過在HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建的指向所述文件真實存儲位置的鏈接，定位查找所述文件，并判斷文件是否在鏈接指向的存儲位置；若判斷結(jié)果為是，則返回執(zhí)行步驟S23 ;若判斷結(jié)果為否，則執(zhí)行步驟S25 ；
[0113]步驟S25、確定查找失敗。
[0114]其中，需要說明的是:HASH定位算法，即通過特定的HASH函數(shù)對文件名進行HASH后得到一個HASH結(jié)果值，計為A，集群中存儲設(shè)備總數(shù)值為N，通過簡單的計算I=(A modN)得到一個小于存儲設(shè)備數(shù)的值I，值I對應(yīng)于集群存儲設(shè)備列表中第I臺存儲設(shè)備，并在所述HASH值對應(yīng)的存儲設(shè)備上查找文件；
[0115]如果在對應(yīng)的存儲設(shè)備I上找到目標文件，則返回查找成功。
[0116]如果在對應(yīng)的存儲設(shè)備I上找到指向文件的鏈接，則接著查找鏈接指向的存儲設(shè)備S，如果在S上找到目標文件，則返回查找成功。如果沒找到目標文件，則查找集群中所有設(shè)備，如果還是沒找到目標文件，則返回查找失敗，如果找到目標文件，則返回第一個查找成功的結(jié)果。
[0117]如果在對應(yīng)的存儲設(shè)備I上什么都沒找到，則查找集群中所有設(shè)備，如果還是沒找到目標文件，則返回查找失敗，如果找到目標文件，則返回第一個查找成功的結(jié)果。
[0118]本發(fā)明提供一種NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法及NAS集群系統(tǒng)，其中方法包括:在客戶機需要執(zhí)行創(chuàng)建文件之前，利用HASH算法確定對應(yīng)的存儲設(shè)備；分析所述客戶機對應(yīng)的多個存儲設(shè)備的存儲信息，將數(shù)據(jù)優(yōu)先存放到NAS主機本地存儲設(shè)備上，當一個NAS主機對應(yīng)多個本地存儲設(shè)備時根據(jù)設(shè)定的策略選取其中最符合要求的，當所有本地設(shè)備都不符合策略要求時，再判斷通過HASH算法確定對應(yīng)的存儲設(shè)備是否符合要求。通過使用這種存儲設(shè)備的選取策略，更便于文件的查找。
[0119]其中，由于在存儲時盡量避免文件數(shù)據(jù)I/O通過網(wǎng)絡(luò)傳輸，其存儲和讀取速率將大大提高，同時減少了網(wǎng)絡(luò)負載。同時則在HASH定位算法查找對應(yīng)的存儲設(shè)備上創(chuàng)建指向該文件的鏈接，為集群中其他NAS訪問該文件提供了高效的查找方法。這樣，將有利于提高NAS集群系統(tǒng)I/O處理效率。
[0120]以上所述實施例僅表達了本發(fā)明的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對本發(fā)明專利范圍的限制。應(yīng)當指出的是，對于本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進，這些都屬于本發(fā)明的保護范圍。因此，本發(fā)明專利的保護范圍應(yīng)以所附權(quán)利要求為準。
【權(quán)利要求】
1.一種NAS集群系統(tǒng)，包括多個客戶機，其特征在于，每個客戶機上通過接口連接有對應(yīng)的多個NAS網(wǎng)絡(luò)存儲器并構(gòu)成了 NAS主機，NAS主機用于對NAS集群系統(tǒng)中每個客戶機的文件數(shù)據(jù)存儲和查找操作； 所述NAS主機包括檢測模塊、HASH定位模塊、存儲處理模塊和鏈接定位模塊，其中:所述檢測模塊，用于實時檢測NAS集群系統(tǒng)中的每個客戶機對應(yīng)的多個存儲設(shè)備的存儲信息并保存為本地存儲設(shè)備列表及集群存儲設(shè)備列表； 所述HASH定位模塊，用于在客戶機執(zhí)行創(chuàng)建文件之前，利用HASH算法并根據(jù)文件名和集群存儲設(shè)備列表確定所述文件的文件HASH值，根據(jù)文件HASH值確定對應(yīng)的存儲設(shè)備；所述存儲處理模塊，用于分析所述客戶機對應(yīng)的多個存儲設(shè)備的存儲信息，在確定文件存儲空間需求得到滿足的條件下，按照優(yōu)先存儲設(shè)備順序為所述客戶機對應(yīng)的本地存儲設(shè)備、文件HASH值確定對應(yīng)的存儲設(shè)備、集群存儲設(shè)備列表中的存儲設(shè)備，將所述文件創(chuàng)建在相應(yīng)的存儲設(shè)備上； 所述鏈接定位模塊，用于在每個創(chuàng)建文件結(jié)束后，判斷所述文件最終的存儲設(shè)備是否為文件HASH值對應(yīng)的存儲設(shè)備；若否，則在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接。
2.根據(jù)權(quán)利要求1所述的NAS集群系統(tǒng)，其特征在于，所述存儲處理模塊包括判斷子模塊，其中: 所述判斷子模塊，用于檢查所述客戶機對應(yīng)的本地存儲設(shè)備列表中是否有至少一個本地存儲設(shè)備滿足存儲所述文件的存儲空間需求，若判斷結(jié)果為是，則確定在所述本地存儲設(shè)備列表中當前剩余存儲空間最大的本地存儲設(shè)備上創(chuàng)建文件； 若判斷結(jié)果為否，則查找文件HASH值對應(yīng)的集群存儲設(shè)備列表中的存儲設(shè)備，重新判斷所述文件HASH值對應(yīng)的存儲設(shè)備是否滿足存儲所述文件的存儲空間需求，若是，則在所述文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建 文件；若否，則在NAS集群系統(tǒng)的包含所有客戶機存儲設(shè)備的集群存儲設(shè)備列表中查找剩余存儲空間最大的存儲設(shè)備，并在所述集群存儲設(shè)備列表中的剩余存儲空間最大的存儲設(shè)備滿足存儲所述文件的存儲空間需求條件下，在所述剩余存儲空間最大的存儲設(shè)備上創(chuàng)建文件。
3.根據(jù)權(quán)利要求2所述的NAS集群系統(tǒng)，其特征在于，所述存儲信息包括存儲設(shè)備編號、存儲設(shè)備的剩余存儲空間； 所述本地存儲設(shè)備列表記錄包括連接在客戶機的多個本地存儲設(shè)備及存儲設(shè)備編號數(shù)據(jù)； 所述集群存儲設(shè)備列表記錄包括NAS集群系統(tǒng)中對每一個存儲設(shè)備及存儲設(shè)備編號數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的NAS集群系統(tǒng)，其特征在于，所述HASH定位模塊包括運算子模塊； 所述運算子模塊，用于通過HASH函數(shù)對文件的文件名進行HASH運算后得到HASH結(jié)果值；通過I=(A mod N)進行取模運算，計算得到小于存儲設(shè)備數(shù)的值I，值I對應(yīng)于集群存儲設(shè)備列表中編號為I的存儲設(shè)備； 其中:A為HASH結(jié)果值； N為集群存儲設(shè)備列表中存儲設(shè)備總數(shù)值。
5.根據(jù)權(quán)利要求1或4所述的NAS集群系統(tǒng)，其特征在于，所述鏈接定位模塊包括鏈接子模塊，其中: 所述鏈接子模塊，用于在HASH定位算法所對應(yīng)的編號為I的存儲設(shè)備上創(chuàng)建指向創(chuàng)建所述文件的鏈接。
6.根據(jù)權(quán)利要求4所述的NAS集群系統(tǒng)，其特征在于，所述NAS主機還包括查找處理模塊，其中: 所述查找處理模塊，用于在執(zhí)行文件查找操作時，查找文件HASH值對應(yīng)的存儲設(shè)備；若所述文件不在文件HASH值對應(yīng)的存儲設(shè)備上，則通過在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建的指向所述文件真實存儲位置的鏈接，定位查找所述文件。
7.—種NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法，其特征在于，包括以下步驟: 實時檢測NAS集群系統(tǒng)中的每個客戶機對應(yīng)的多個存儲設(shè)備的存儲信息并保存為本地存儲設(shè)備列表及集群存儲設(shè)備列表； 在客戶機執(zhí)行創(chuàng)建文件之前，利用HASH算法并根據(jù)文件名和集群存儲設(shè)備列表確定所述文件的文件HASH值，根據(jù)文件HASH值確定對應(yīng)的存儲設(shè)備； 分析所述客戶機對應(yīng)的多個存儲設(shè)備的存儲信息，在確定文件存儲空間需求得到滿足的條件下，按照優(yōu)先存儲設(shè)備順序為所述客戶機對應(yīng)的本地存儲設(shè)備、文件HASH值確定對應(yīng)的存儲設(shè)備、集群存儲設(shè)備列表中的存儲設(shè)備，將所述文件創(chuàng)建在相應(yīng)的存儲設(shè)備上； 在每個創(chuàng)建文件結(jié)束后，判斷所述文件最終的存儲設(shè)備是否為文件HASH值對應(yīng)的存儲設(shè)備；若否，則在 文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接。
8.根據(jù)權(quán)利要求7所述的NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法，其特征在于，所述利用HASH算法并根據(jù)文件名和集群存儲設(shè)備列表確定所述文件的文件HASH值，根據(jù)文件HASH值確定對應(yīng)的存儲設(shè)備包括如下步驟: 通過HASH函數(shù)對文件的文件名進行HASH運算后得到一個HASH結(jié)果值，計為A ； 通過I=(A mod N)進行取模運算，計算得到小于存儲設(shè)備數(shù)的值I，值I對應(yīng)于集群存儲設(shè)備列表中編號為I的存儲設(shè)備； 其中，N為集群存儲設(shè)備列表中存儲設(shè)備總數(shù)值。
9.根據(jù)權(quán)利要求7所述的NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法，其特征在于，所述在確定文件存儲空間需求得到滿足的條件下，按照優(yōu)先存儲設(shè)備順序，將所述文件創(chuàng)建在相應(yīng)的存儲設(shè)備上，包括如下步驟: 檢查所述客戶機對應(yīng)的本地存儲設(shè)備列表中是否有至少一個本地存儲設(shè)備滿足存儲所述文件的存儲空間需求，若判斷結(jié)果為是，則確定在所述本地存儲設(shè)備列表中當前剩余存儲空間最大的本地存儲設(shè)備上創(chuàng)建文件； 若判斷結(jié)果為否，則查找文件HASH值對應(yīng)的集群存儲設(shè)備列表中的存儲設(shè)備，重新判斷所述文件HASH值對應(yīng)的存儲設(shè)備是否滿足存儲所述文件的存儲空間需求，若是，則在所述文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建文件；若否，則在NAS集群系統(tǒng)的包含所有客戶機存儲設(shè)備的集群存儲設(shè)備列表中查找剩余存儲空間最大的存儲設(shè)備，并在所述集群存儲設(shè)備列表中的剩余存儲空間最大的存儲設(shè)備滿足存儲所述文件的存儲空間需求條件下，在所述剩余存儲空間最大的存儲設(shè)備上創(chuàng)建文件。
10.根據(jù)權(quán)利要求7、8或9所述的NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法，其特征在于，所述在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建指向所述文件真實存儲位置的鏈接，包括如下步驟: 在HASH定位算法所對應(yīng)的編號為I的存儲設(shè)備上創(chuàng)建指向創(chuàng)建所述文件的鏈接。
11.根據(jù)權(quán)利要求10所述的NAS集群系統(tǒng)的文件數(shù)據(jù)的處理方法，其特征在于，還包括執(zhí)行查找所述文件的步驟: 在執(zhí)行文件查找操作時，查找文件HASH值對應(yīng)的存儲設(shè)備，若所述文件不在文件HASH值對應(yīng)的存儲設(shè)備上，則通過在文件HASH值對應(yīng)的存儲設(shè)備上創(chuàng)建的指向所述文件真實存儲位置的鏈接，定位查找·所述文件。
【文檔編號】H04L29/08GK103856503SQ201210501184
【公開日】2014年6月11日 申請日期:2012年11月29日 優(yōu)先權(quán)日:2012年11月29日
【發(fā)明者】高杰, 胡聯(lián)奎, 王雪山, 劉兆喜, 邵文韜, 趙前, 杜軍, 李迪, 羅毅 申請人:北京華勝天成科技股份有限公司, 北京鯨鯊軟件科技有限公司