一種Lustre存儲(chǔ)系統(tǒng)數(shù)據(jù)共享方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算系統(tǒng)網(wǎng)絡(luò)傳輸領(lǐng)域，具體涉及一種Lustre存儲(chǔ)系統(tǒng)數(shù)據(jù)共享方法，可用于高能物理試驗(yàn)大批量數(shù)據(jù)的傳輸系統(tǒng)及傳輸方法。
【背景技術(shù)】
[0002]Lustre是由Peter Braam博士于1999年發(fā)起的開(kāi)源項(xiàng)目，其目的是設(shè)id 個(gè)面向下一代的高性能、高擴(kuò)展、高可用的基于對(duì)象存儲(chǔ)的集群文件系統(tǒng)。Lustre同樣采用了元數(shù)據(jù)和存儲(chǔ)數(shù)據(jù)相分離的技術(shù)，可以充分分離計(jì)算和存儲(chǔ)資源，使得客戶端計(jì)算機(jī)可以專注于用戶和應(yīng)用程序的請(qǐng)求；存儲(chǔ)服務(wù)器和元數(shù)據(jù)服務(wù)器專注于讀、傳輸和寫(xiě)數(shù)據(jù)。Lustre使用了 Sandia開(kāi)放的Portals網(wǎng)絡(luò)傳輸協(xié)議，支持多種網(wǎng)絡(luò)，如GigE, QSffElan, Myrinet, InfiniBand, TCP/IP等。它實(shí)現(xiàn)了分布式鎖管理器，為文件訪問(wèn)提供細(xì)粒度的并發(fā)控制?；诜植际芥i管理器，它還實(shí)現(xiàn)了客戶端數(shù)據(jù)寫(xiě)回緩沖。Lustre通過(guò)failover機(jī)制以及自身的恢復(fù)協(xié)議，采用雙服務(wù)器共享存儲(chǔ)設(shè)備方式的容錯(cuò)機(jī)制來(lái)消除單點(diǎn)失效，并進(jìn)行透明恢復(fù)，提高了系統(tǒng)的可用性。在Lustre文件系統(tǒng)中，客戶端和服務(wù)器通過(guò)Lustre提供mount命令即可加入存儲(chǔ)集群，可以方便的對(duì)Lustre集群進(jìn)行快速配置部署，同時(shí)新增的存儲(chǔ)容量可以自動(dòng)合并到存儲(chǔ)系統(tǒng)中，還提供數(shù)據(jù)存儲(chǔ)服務(wù)器的對(duì)象分配的自動(dòng)均衡技術(shù)和靜態(tài)的數(shù)據(jù)迀移功能，具有很好的擴(kuò)展性和易管理性。
[0003]dCache是由DESY IT (德國(guó)電子同步加速器計(jì)算中心)和FERMI (美國(guó)費(fèi)米實(shí)驗(yàn)室)共同開(kāi)發(fā)的一個(gè)分布式的存儲(chǔ)系統(tǒng)。主要用于高能物理海量數(shù)據(jù)的傳輸和存儲(chǔ)。dCache提供廣域網(wǎng)訪問(wèn)的協(xié)議，支持Gridftp、http、xrootd、srm等數(shù)據(jù)傳輸協(xié)議。
[0004]高能物理實(shí)驗(yàn)的海量數(shù)據(jù)都存儲(chǔ)在本地的數(shù)據(jù)中心，這些數(shù)據(jù)存儲(chǔ)在Lustre并行文件系統(tǒng)上。隨著高能物理實(shí)驗(yàn)設(shè)備的升級(jí)，加速器能量和亮度的增加，所產(chǎn)生的數(shù)據(jù)成爆炸式增長(zhǎng)，本地的計(jì)算中心已經(jīng)無(wú)法滿足數(shù)據(jù)處理的需求，分布式計(jì)算已經(jīng)廣泛應(yīng)用于高能物理實(shí)驗(yàn)數(shù)據(jù)的處理。但是Lustre存儲(chǔ)系統(tǒng)只適合局域網(wǎng)內(nèi)訪問(wèn)，由于lustre的文件傳輸協(xié)議對(duì)網(wǎng)絡(luò)的穩(wěn)定性和性能要求很高所以在廣域網(wǎng)直接使用lustre不現(xiàn)實(shí)。原始的使用方法是把存儲(chǔ)在Lustre上的數(shù)據(jù)人工手動(dòng)傳輸?shù)絛Cache系統(tǒng)然后共享給異地用戶使用，這種方式需要額外的存儲(chǔ)資源，和大量人力資源。因此研究一種可以使Lustre直接提供廣域網(wǎng)訪問(wèn)的方法實(shí)現(xiàn)數(shù)據(jù)的異地傳輸來(lái)滿足高能物理實(shí)驗(yàn)數(shù)據(jù)的分布式計(jì)算和處理。

【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)中Lustre存儲(chǔ)系統(tǒng)無(wú)法提供廣域網(wǎng)訪問(wèn)的問(wèn)題，本發(fā)明提供了一種Lustre和dCache之間的訪問(wèn)接口，dCache系統(tǒng)可以實(shí)現(xiàn)廣域網(wǎng)的數(shù)據(jù)傳輸，通過(guò)dCache實(shí)現(xiàn)Lustre數(shù)據(jù)的遠(yuǎn)程異地共享，從而使得廣域網(wǎng)的用戶可以通過(guò)dCache系統(tǒng)訪問(wèn)本地Lustre的文件系統(tǒng)，本地Lustre系統(tǒng)上存儲(chǔ)的海量數(shù)據(jù)可以通過(guò)本發(fā)明共享到dCache系統(tǒng)，提供給廣域網(wǎng)用戶使用。
[0006]此方案的原理是通過(guò)擴(kuò)展Lustre和dCache存儲(chǔ)系統(tǒng)的底層元數(shù)據(jù)結(jié)構(gòu)，建立兩種元數(shù)據(jù)的對(duì)應(yīng)關(guān)系，通過(guò)這種對(duì)應(yīng)關(guān)系把Lustre元數(shù)據(jù)轉(zhuǎn)換為dCache可以識(shí)別的元數(shù)據(jù)結(jié)構(gòu)，并存入dCache的元數(shù)據(jù)數(shù)據(jù)庫(kù)，使得dCache系統(tǒng)可以識(shí)別存儲(chǔ)在Lustre上的數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行讀寫(xiě)操作。
[0007]本發(fā)明的技術(shù)方案為:
[0008]—種Lustre存儲(chǔ)系統(tǒng)數(shù)據(jù)共享方法，其步驟為:
[0009]I)在lustre系統(tǒng)所在的服務(wù)器上增加一 dCache系統(tǒng)，然后根據(jù)dCache系統(tǒng)與lustre系統(tǒng)的區(qū)別，擴(kuò)展該dcache系統(tǒng)的元數(shù)據(jù)庫(kù)；
[0010]2)服務(wù)器讀取該Lustre系統(tǒng)的元數(shù)據(jù)，并將其轉(zhuǎn)換為dCache可識(shí)別的元數(shù)據(jù)結(jié)構(gòu)，然后存入dCache系統(tǒng)的元數(shù)據(jù)庫(kù)對(duì)應(yīng)的擴(kuò)展字段中；
[0011]3)當(dāng)dCache系統(tǒng)接收到廣域網(wǎng)上的用戶數(shù)據(jù)傳輸請(qǐng)求后，根據(jù)該數(shù)據(jù)傳輸請(qǐng)求從dCache系統(tǒng)的元數(shù)據(jù)庫(kù)中查詢匹配的元數(shù)據(jù)信息，然后根據(jù)匹配的元數(shù)據(jù)信息從lustre系統(tǒng)讀取數(shù)據(jù)并緩存到dCache系統(tǒng)，返回查詢結(jié)果給該用戶。
[0012]進(jìn)一步的，擴(kuò)展該dcache系統(tǒng)的元數(shù)據(jù)庫(kù)的方法為:對(duì)該dcache系統(tǒng)的元數(shù)據(jù)庫(kù)中每個(gè)文件的條目添加屬性用來(lái)存儲(chǔ)lustre系統(tǒng)中文件的目錄信息和校驗(yàn)信息。
[0013]進(jìn)一步的，對(duì)該dcache系統(tǒng)的元數(shù)據(jù)庫(kù)中每個(gè)文件的條目添加一文件標(biāo)示記號(hào)用于識(shí)別文件的緩存狀態(tài)。
[0014]進(jìn)一步的，當(dāng)dCache系統(tǒng)接收到廣域網(wǎng)上的用戶數(shù)據(jù)傳輸請(qǐng)求后，首先讀取dcache元數(shù)據(jù)的文件標(biāo)識(shí)信息，判斷請(qǐng)求的文件的緩存狀態(tài)，如果沒(méi)有緩存則從lustre系統(tǒng)讀取該文件并緩存到dcache系統(tǒng)中。
[0015]進(jìn)一步的，所述將其轉(zhuǎn)換為dCache可識(shí)別的元數(shù)據(jù)結(jié)構(gòu)的方法為:首先根據(jù)存儲(chǔ)在lustre系統(tǒng)上的元數(shù)據(jù)信息讀取lustre系統(tǒng)上的文件信息，生成一文件信息列表；然后把文件信息列表中的信息逐條轉(zhuǎn)換成dcache數(shù)據(jù)的元數(shù)據(jù)信息。
[0016]進(jìn)一步的，所述把文件信息列表中的信息逐條轉(zhuǎn)換成dcache數(shù)據(jù)的元數(shù)據(jù)信息的方法為:首先在dcache系統(tǒng)中創(chuàng)建一個(gè)目錄對(duì)應(yīng)lustre系統(tǒng)的根目錄；然后根據(jù)文件信息列表在該目錄下為每一文件創(chuàng)建一文件唯一識(shí)別號(hào)pnfsid并在dcache系統(tǒng)元數(shù)據(jù)庫(kù)中對(duì)應(yīng)生成一 pnfsid記錄；然后根據(jù)文件信息列表為dcache系統(tǒng)元數(shù)據(jù)庫(kù)中每一 pnfsid記錄相應(yīng)的字段賦值，存入dcache系統(tǒng)的元數(shù)據(jù)庫(kù)中。
[0017]進(jìn)一步的，所述根據(jù)該數(shù)據(jù)傳輸請(qǐng)求從dCache系統(tǒng)的元數(shù)據(jù)庫(kù)中查詢匹配的元數(shù)據(jù)信息，然后根據(jù)匹配的元數(shù)據(jù)信息從lustre系統(tǒng)讀取數(shù)據(jù)并緩存到dCache系統(tǒng)的方法為:首先根據(jù)該數(shù)據(jù)傳輸請(qǐng)求從dCache系統(tǒng)的元數(shù)據(jù)庫(kù)中獲取到所請(qǐng)求lustre文件的原始地址和該lustre文件的pnfsid記錄，然后從lustre系統(tǒng)將該文件拷貝到dCache系統(tǒng)的緩存池中，并將文件名修改為該lustre文件的pnfsid。
[0018]進(jìn)一步的，所述pnfsid記錄的字段包括:權(quán)限信息、用戶屬性、組屬性、改動(dòng)時(shí)間、訪問(wèn)時(shí)間、修改時(shí)間、校驗(yàn)碼、lustre目錄信息、文件標(biāo)識(shí)。
[0019]進(jìn)一步的，所述文件信息列表包括-lustre目錄信息、文件的改動(dòng)時(shí)間、訪問(wèn)時(shí)間、修改時(shí)間、文件大小和文件屬性。
[0020]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點(diǎn):
[0021]1、本發(fā)明不需要將真實(shí)的數(shù)據(jù)再存入dCache系統(tǒng)，即只對(duì)元數(shù)據(jù)進(jìn)行操作，不用讀寫(xiě)真實(shí)數(shù)據(jù)，用戶通過(guò)dCache的協(xié)議直接訪問(wèn)存儲(chǔ)在Lustre上的數(shù)據(jù)，提高了數(shù)據(jù)的安全性和可靠性。
[0022]2、本發(fā)明省去了內(nèi)部數(shù)據(jù)的傳輸，可以顯著的節(jié)省時(shí)間，網(wǎng)絡(luò)帶寬和電力消耗。
[0023]3、本發(fā)明對(duì)原系統(tǒng)的改動(dòng)小，對(duì)建立在原系統(tǒng)的應(yīng)用不會(huì)造成任何影響。
[0024]4、本發(fā)明可拓展性強(qiáng)，只需要對(duì)現(xiàn)有的系統(tǒng)的前端模塊進(jìn)行修改就可以實(shí)現(xiàn)其它本地存儲(chǔ)系統(tǒng)的遠(yuǎn)程共享。
【附圖說(shuō)明】
[0025]圖1為lustre元數(shù)據(jù)和dcache元數(shù)據(jù)差別展示圖。
[0026]圖2為元數(shù)據(jù)轉(zhuǎn)換存儲(chǔ)方法流程圖。
[0027]圖3為數(shù)據(jù)的訪問(wèn)方法流程圖。
【具體實(shí)施方式】
[0028]本發(fā)明所述的具體實(shí)施方案如下:
[0029]步驟1，根據(jù)dCache和lustre兩種文件系統(tǒng)區(qū)別，擴(kuò)展dcache的元數(shù)據(jù)庫(kù)。
[0030]如圖1所示本發(fā)明的關(guān)鍵在于找到兩種存儲(chǔ)系統(tǒng)的元數(shù)據(jù)的不同之處，并設(shè)計(jì)好擴(kuò)展的元數(shù)據(jù)使之相互兼容，這樣可以通過(guò)dcache直接訪問(wèn)lustre數(shù)據(jù)。
[0031]dCache和lustre兩種文件系統(tǒng)都有存儲(chǔ)文件創(chuàng)建時(shí)間、修改時(shí)間、訪問(wèn)時(shí)間、文件大小、文件屬性等元數(shù)據(jù)信息。不同之處是dCache的元數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)庫(kù)中，數(shù)據(jù)庫(kù)中每條文件記錄都有一個(gè)pnfsid (文件唯一識(shí)別號(hào))與之相對(duì)應(yīng)，而且每個(gè)pnfsid都有父文件pnfsid，通過(guò)這種形式來(lái)定義文件目錄結(jié)構(gòu)。Lustre的元數(shù)據(jù)屬于posix文件形式，通過(guò)文件inode來(lái)確定文件目錄結(jié)構(gòu)。本發(fā)明擴(kuò)展了 dcache的元數(shù)據(jù)庫(kù)，對(duì)該元數(shù)據(jù)庫(kù)中每個(gè)文件的條目添加屬性用來(lái)存儲(chǔ)lustre文件的目錄信息和校驗(yàn)信息，并添加文件標(biāo)示記號(hào)用于識(shí)別文件的緩存狀態(tài)；擴(kuò)展后的dcache系統(tǒng)把lustre的元數(shù)據(jù)信息注冊(cè)到dcache的系統(tǒng)中，dcache系統(tǒng)的元數(shù)據(jù)展示的是lustre的元數(shù)據(jù)。
[0032]步驟2，讀取Lustre元數(shù)據(jù)，并將其轉(zhuǎn)換為dCache可以識(shí)別的元數(shù)據(jù)結(jié)構(gòu)，并存入dCache的元數(shù)據(jù)數(shù)據(jù)庫(kù)對(duì)應(yīng)的擴(kuò)展字段中。
[0033]圖2所示是數(shù)據(jù)共享方法的核心模塊，dcache-lustre之間數(shù)據(jù)共享通過(guò)同步元數(shù)據(jù)的形式實(shí)現(xiàn)。
[0034]首先需要讀取存儲(chǔ)在lustre系統(tǒng)上的元數(shù)據(jù)信息。生成文件信息列表，包括lustre目錄信息、以及文件的改動(dòng)時(shí)間ctime、訪問(wèn)時(shí)間atime、修改時(shí)間mtime、文件大小size、文件屬性(owner、mask)，文件路徑信息。
[0035]然后把lustre元數(shù)據(jù)中每一個(gè)文件的元數(shù)據(jù)的信息，逐條轉(zhuǎn)換成dcache數(shù)據(jù)的元數(shù)據(jù)信息:
[0036]首先在dcache系統(tǒng)中創(chuàng)建一個(gè)目錄對(duì)應(yīng)lustre文件系統(tǒng)的根目錄，凡是在這個(gè)目錄下進(jìn)行的讀寫(xiě)操作都對(duì)應(yīng)到lustre文