專利名稱：基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種數(shù)據(jù)中心架構(gòu)，具體涉及一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)。
背景技術(shù)：
云計算是網(wǎng)格計算、分布式計算、并行計算、效用計算、網(wǎng)絡(luò)存儲、虛擬化、負(fù)載均衡等傳統(tǒng)計算機和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物。事實上，許多云計算部署依賴于計算機集群(但與網(wǎng)格的組成、體系機構(gòu)、目的、工作方式大相徑庭)，也吸收了自主計算和效用計算的特點。通過使計算分布在大量的分布式計算機上，而非本地計算機或遠程服務(wù)器中，企業(yè)數(shù)據(jù)中心的運行與互聯(lián)網(wǎng)更相似。這使得企業(yè)能夠?qū)①Y源切換到需要的應(yīng)用上，根據(jù)需求訪問計算機和存儲系統(tǒng)。目前,云計算在中國的實現(xiàn)通常分三步走,首先是IDCXInternet Data Center,互聯(lián)網(wǎng)數(shù)據(jù)中心)服務(wù)器托管，然后是服務(wù)虛擬化，在操作客戶端安裝虛擬機來遠程登錄托管中心的服務(wù)器，最后用后端云計算實現(xiàn)云服務(wù)。其中，作為實現(xiàn)云計算的第一步，IDC服務(wù)器托管是非常重要的一個環(huán)節(jié)。IDC服務(wù)器托管中，由于用戶的需求不斷提高，使得IDC機房機柜不斷增加并擴容，目前全國IDC機房機柜數(shù)量超過百萬，僅上海一市，IDC機柜就超過3萬個，托管服務(wù)器超過30萬臺?，F(xiàn)有IDC服務(wù)器托管的方式中，一般采用的是存儲陣列統(tǒng)一放在一個機柜上，該機柜上還設(shè)有存儲網(wǎng)絡(luò)交換機，該存儲網(wǎng)絡(luò)交換機與每一個存儲陣列通過有線的方式連接；服務(wù)器放在另外的機柜上，所有的服務(wù)器均通過有線的方式連接到存儲網(wǎng)絡(luò)交換機。上述方式中，如果是小流量的數(shù)據(jù)，其布線相對較為容易，如圖1所示。但是對于大流量的數(shù)據(jù)，一般采用如2所示的布線，其麻花式的布線非常復(fù)雜，除了給施工和維護人員帶來極大的不方便意外，也給大流量數(shù)據(jù)的讀取和存儲也帶來了速度方面的困擾，如果服務(wù)器I需要服務(wù)器2上的數(shù)據(jù)，其數(shù)據(jù)流向如圖2所示，服務(wù)器I先通過存儲網(wǎng)絡(luò)交換機連接到服務(wù)器2，然后服務(wù)器2通過存儲網(wǎng)絡(luò)交換機找到相應(yīng)的存儲陣列，然后再將該存儲陣列上存儲的信息通過存儲網(wǎng)絡(luò)交換機發(fā)送至服務(wù)器I。上述過程需要經(jīng)過三級的過程才能實現(xiàn)數(shù)據(jù)的傳輸，當(dāng)傳輸?shù)臄?shù)據(jù)量大時，在現(xiàn)有的帶寬條件下，其傳輸速度非常受到影響。另外，現(xiàn)有的存儲陣列上一般使用非對稱式文件系統(tǒng)。其架構(gòu)如圖3所示，非對稱式文件系統(tǒng)的一般包括計算節(jié)點client、獨立的集中式元數(shù)據(jù)服務(wù)模塊MDS以及至少兩個對象存儲節(jié)點。使用非對稱式文件系統(tǒng)時，計算節(jié)點client首先詢問元數(shù)據(jù)服務(wù)模塊MDS所需要的數(shù)據(jù)在哪個對象存儲節(jié)點上，元數(shù)據(jù)服務(wù)模塊MDS查詢后進行回復(fù)，例如回復(fù)該數(shù)據(jù)在對象存儲節(jié)點I上，然后計算節(jié)點client訪問對象存儲節(jié)點I并獲得數(shù)據(jù)。上述過程需要元數(shù)據(jù)服務(wù)模塊MDS的應(yīng)答和回復(fù)，給元數(shù)據(jù)服務(wù)模塊MDS帶來一定的負(fù)擔(dān)，且限制了存儲陣列的可靠性。另外，由于非對稱式文件系統(tǒng)的性質(zhì)，使得擴展對象存儲節(jié)點時，必須成對的擴展，而不能任意擴展。

發(fā)明內(nèi)容
本發(fā)明所要解決的技術(shù)問題是，提供一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)，對現(xiàn)有托管服務(wù)器的架構(gòu)進行改進，采用小流量布線方法實現(xiàn)大流量服務(wù)，去除了麻花布線，提高服務(wù)器之間的數(shù)據(jù)傳輸速度。為了解決上述技術(shù)問題，本發(fā)明所采用的技術(shù)方案是，一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)，其包括若干組服務(wù)節(jié)點，服務(wù)節(jié)點包括設(shè)有分布式元數(shù)據(jù)服務(wù)模塊DMDS的云存儲陣列組、作為計算節(jié)點的服務(wù)器組、用于通訊的存儲網(wǎng)絡(luò)交換機，所述云存儲陣列組、服務(wù)器組連接至存儲網(wǎng)絡(luò)交換機；若干組服務(wù)節(jié)點的存儲網(wǎng)絡(luò)交換機之間依次連接；所述云存儲陣列組包括至少一個云存儲陣列，所述服務(wù)器組包括至少一臺服務(wù)器。其中，其通訊過程如下:
過程1:服務(wù)器向任一云存儲陣列發(fā)送文件讀寫請求(基于NFS，CIFS，F(xiàn)TP等協(xié)議)，將該云存儲陣列記為第一云存儲陣列；所述數(shù)據(jù)操作請求包括文件目錄、文件名稱和具體操作；
過程2:第一云存儲陣列的分布式元數(shù)據(jù)服務(wù)模塊DMDS接收所述文件操作請求，根據(jù)文件目錄和文件名稱計算出該文件所在的目標(biāo)云存儲陣列地址；
過程3:第一云存儲陣列查詢本地緩存，如果本地緩存中已有該文件，則對該緩存進行操作后將結(jié)果返回給服務(wù)器，同時緩存模塊異步將數(shù)據(jù)與目標(biāo)存儲陣列進行同步；如果第一云存儲陣列沒有該文件的本地緩存，則第一云存儲陣列將所述文件操作請求通過標(biāo)準(zhǔn)網(wǎng)絡(luò)協(xié)議(如RPC / TCP / IP)轉(zhuǎn)發(fā)至目標(biāo)云存儲陣列；
過程4:目標(biāo)云存儲陣列對本地存儲進行操作后向第一云存儲陣列發(fā)送所需要的結(jié)果，并由第一云存儲陣列將結(jié)果返回給服務(wù)器。進一步的，所述過程2中，具體是采用HASH算法根據(jù)文件目錄和文件名稱的字符碼計算出該文件的數(shù)碼特征值，并用該數(shù)碼特征值對存儲服務(wù)器數(shù)量取模，得到所在的目標(biāo)云存儲陣列地址；同時記錄其計算出來的HASH值。更進一步的，過程3中，第一云存儲陣列用過程2中計算的HASH值查詢本地緩存，該緩存用過程2中計算的HASH值做分類，并用目錄名和文件名做標(biāo)記。更進一步的，過程3中，緩存模塊異步將數(shù)據(jù)與目標(biāo)存儲陣列進行同步時，首先緩存模塊將被同步文件分塊鎖定，并對其進行標(biāo)識；然后分塊對比被同步文件是否有更改；如果有更改，則將最新的更改發(fā)到目標(biāo)存儲陣列，目標(biāo)存儲陣列確認(rèn)操作完成后將被同步文件解鎖；如果沒有更改，則目標(biāo)存儲陣列直接將被同步文件解鎖。上述架構(gòu)中，為了方便使用，對應(yīng)連接的一云存儲陣列組、一服務(wù)器組以及一存儲網(wǎng)絡(luò)交換機放置于同一個機架上，相鄰機架之間通過存儲網(wǎng)絡(luò)交換機進行通訊。本發(fā)明通過上述架構(gòu)，采用了基于分布式對稱文件系統(tǒng)的云存儲陣列，實現(xiàn)采用小流量布線方法即可實現(xiàn)大流量服務(wù)，從而去除了麻花布線；同時，分布式元數(shù)據(jù)服務(wù)模塊DMDS根據(jù)文件目錄和文件名稱采用HASH算法自動計算出服務(wù)器所操作的目標(biāo)云存儲陣列，在第一次操作時自動將服務(wù)轉(zhuǎn)接給該目標(biāo)云存儲陣列并建立本地緩存，從而實現(xiàn)了文件透明分布式存放和服務(wù)器就近訪問的統(tǒng)一，不僅大大提高了服務(wù)器與存儲陣列之間的數(shù)據(jù)傳輸速度，還實現(xiàn)了數(shù)據(jù)流向的分散化，進而提供最大限度的聚合數(shù)據(jù)帶寬。還有，緩存模塊異步將數(shù)據(jù)與目標(biāo)存儲陣列進行同步時，首先緩存模塊將被同步文件分塊鎖定，并對其進行標(biāo)識，然后分塊對比被同步文件是否有更改，如果有更改則進行同步操作，沒有更改則不需要再進行同步操作，上述操作不僅大大節(jié)約了數(shù)據(jù)帶寬，還節(jié)約了操作時間。另夕卜，由于采用了分布式對稱文件系統(tǒng)，在擴展存儲容量時，不再需要進行成對的擴展，而可以任意數(shù)量的擴展。


圖1是現(xiàn)有技術(shù)的服務(wù)器托管中的小流量的數(shù)據(jù)中心架構(gòu)；
圖2是現(xiàn)有技術(shù)的服務(wù)器托管中的大流量的數(shù)據(jù)中心架構(gòu)；
圖3是非對稱式文件系統(tǒng)的架構(gòu)示意 圖4是本發(fā)明的服務(wù)器托管的數(shù)據(jù)中心架構(gòu)。
具體實施例方式現(xiàn)結(jié)合附圖和具體實施方式
對本發(fā)明進一步說明。本發(fā)明的一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)，其包括若干組服務(wù)節(jié)點，服務(wù)節(jié)點包括設(shè)有分布式元數(shù)據(jù)服務(wù)模塊DMDS的云存儲陣列組、作為計算節(jié)點的服務(wù)器組、用于通訊的存儲網(wǎng)絡(luò)交換機，所述云存儲陣列組、服務(wù)器組連接至存儲網(wǎng)絡(luò)交換機；若干組服務(wù)節(jié)點的存儲網(wǎng)絡(luò)交換機之間依次連接；所述云存儲陣列組包括至少一個云存儲陣列，所述服務(wù)器組包括至少一臺服務(wù)器。通常，每個服務(wù)節(jié)點設(shè)于一個機架上。其通訊過程如下:
過程1:服務(wù)器向任一云存儲陣列發(fā)送文件讀寫請求(基于NFS，CIFS，F(xiàn)TP等協(xié)議)，將該云存儲陣列記為第一云存儲陣列；所述數(shù)據(jù)操作請求包括文件目錄、文件名稱和具體操作；
過程2:第一云存儲陣列的分布式元數(shù)據(jù)服務(wù)模塊DMDS接收所述文件操作請求，采用HASH算法根據(jù)文件目錄和文件名稱的字符碼計算出該文件的數(shù)碼特征值，并用該數(shù)碼特征值對存儲服務(wù)器數(shù)量取模，得到所在的目標(biāo)云存儲陣列地址；同時記錄其計算出來的HASH值；
過程3:第一云存儲陣列用過程2中計算的HASH值查詢本地緩存(該緩存用過程2中計算的HASH值做分類，并用目錄名和文件名做標(biāo)記)。如果本地緩存中已存在該文件，則對該緩存進行操作后將結(jié)果返回給服務(wù)器.同時緩存模塊異步將數(shù)據(jù)與目標(biāo)存儲陣列進行同步。具體的，緩存模塊異步將數(shù)據(jù)與目標(biāo)存儲陣列進行同步時，首先緩存模塊將被同步文件分塊鎖定，并對其進行標(biāo)識；然后分塊對比被同步文件是否有更改；如果有更改，則將最新的更改發(fā)到目標(biāo)存儲陣列，目標(biāo)存儲陣列確認(rèn)操作完成后將被同步文件解鎖；如果沒有更改，則目標(biāo)存儲陣列直接將被同步文件解鎖。如果第一云存儲陣列沒有該文件的本地緩存，則第一云存儲陣列將所述文件操作請求通過標(biāo)準(zhǔn)網(wǎng)絡(luò)協(xié)議(如RPC / TCP / IP)轉(zhuǎn)發(fā)至目標(biāo)云存儲陣列；
過程4:目標(biāo)云存儲陣列對本地存儲進行操作后向第一云存儲陣列發(fā)送所需要的結(jié)果，并由第一云存儲陣列將結(jié)果返回給服務(wù)器。如圖4所示，本實施例中，一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)，包括3個機架:第一機架1、第二機架2和第三機架3。第一機架I上設(shè)有存儲網(wǎng)絡(luò)交換機11、云存儲陣列12、服務(wù)器13、原系統(tǒng)存儲器14 (服務(wù)器自帶的存儲硬盤)和高可用電源15，所述云存儲陣列12、服務(wù)器13和原系統(tǒng)存儲器14均連接至存儲網(wǎng)絡(luò)交換機11，高可用電源15為該機柜的上述設(shè)備進行供電。第二機架2上設(shè)有存儲網(wǎng)絡(luò)交換機21、云存儲陣列22、月艮務(wù)器23、原系統(tǒng)存儲器24和高可用電源25，所述云存儲陣列22、服務(wù)器23和原系統(tǒng)存儲器24均連接至存儲網(wǎng)絡(luò)交換機21，高可用電源25為該機柜的上述設(shè)備進行供電。第三機架3上設(shè)有存儲網(wǎng)絡(luò)交換機31、云存儲陣列32、服務(wù)器33、原系統(tǒng)存儲器34和高可用電源35，所述云存儲陣列32、服務(wù)器33和原系統(tǒng)存儲器34均連接至存儲網(wǎng)絡(luò)交換機31，高可用電源35為該機柜的上述設(shè)備進行供電。存儲網(wǎng)絡(luò)交換機11、存儲網(wǎng)絡(luò)交換機21和存儲網(wǎng)絡(luò)交換機31依次連接。如果服務(wù)器I需要服務(wù)器2上的數(shù)據(jù)，其數(shù)據(jù)流向如下，服務(wù)器I先通過存儲網(wǎng)絡(luò)交換機31和存儲網(wǎng)絡(luò)交換機21找到服務(wù)器2，然后服務(wù)器2從本地的云存儲陣列32找到服務(wù)器I所需要的數(shù)據(jù)，直接發(fā)送給服務(wù)器I。上述方式中，將計算服務(wù)器和存儲服務(wù)器連接到同一個交換機上，簡化了數(shù)據(jù)的傳輸和查找過程，大大提高了傳輸速度。另外，從原系統(tǒng)存儲器到新的云存儲陣列的遷移，大部分在機柜內(nèi)發(fā)生，最大限度減少數(shù)據(jù)中心內(nèi)的網(wǎng)絡(luò)使用。本發(fā)明采用小流量布線方法實現(xiàn)了大流量服務(wù)，去除了麻花布線，機柜間距離可以達到500米，同時實現(xiàn)近距離容滅。其中，本發(fā)明使用的分布式對稱文件系統(tǒng)優(yōu)選采用賽凡信息科技(廈門)有限公司開發(fā)的分布式對稱文件系統(tǒng)。當(dāng)然，也可以采用實現(xiàn)同樣功能的其他分布式對稱文件系統(tǒng)。盡管結(jié)合優(yōu)選實施方案具體展示和介紹了本發(fā)明，但所屬領(lǐng)域的技術(shù)人員應(yīng)該明白，在不脫離所附權(quán)利要求書所限定的本發(fā)明的精神和范圍內(nèi)，在形式上和細(xì)節(jié)上可以對本發(fā)明做出各種變化，均為本發(fā)明的保護范圍。
權(quán)利要求
1.一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)，其特征在于: 其包括若干組服務(wù)節(jié)點，服務(wù)節(jié)點包括設(shè)有分布式元數(shù)據(jù)服務(wù)模塊DMDS的云存儲陣列組、作為計算節(jié)點的服務(wù)器組、用于通訊的存儲網(wǎng)絡(luò)交換機，所述云存儲陣列組、服務(wù)器組連接至存儲網(wǎng)絡(luò)交換機； 若干組服務(wù)節(jié)點的存儲網(wǎng)絡(luò)交換機之間依次連接； 所述云存儲陣列組包括至少一個云存儲陣列，所述服務(wù)器組包括至少一臺服務(wù)器； 其通訊過程如下: 過程1:服務(wù)器向任一云存儲陣列發(fā)送文件讀寫請求，將該云存儲陣列記為第一云存儲陣列；所述數(shù)據(jù)操作請求包括文件目錄、文件名稱和具體操作； 過程2:第一云存儲陣列的分布式元數(shù)據(jù)服務(wù)模塊DMDS接收所述文件操作請求，根據(jù)文件目錄和文件名稱計算出該文件所在的目標(biāo)云存儲陣列地址； 過程3:第一云存儲陣列查詢本地緩存，如果本地緩存中已有該文件，則將結(jié)果返回給服務(wù)器，同時緩存模塊異步將數(shù)據(jù)與目標(biāo)存儲陣列進行同步；如果第一云存儲陣列沒有該文件的本地緩存，則第一云存儲陣列將所述文件操作請求通過標(biāo)準(zhǔn)網(wǎng)絡(luò)協(xié)議轉(zhuǎn)發(fā)至目標(biāo)云存儲陣列； 過程4:目標(biāo)云存儲陣列對本地存儲進行操作后向第一云存儲陣列發(fā)送所需要的結(jié)果，并由第一云存儲陣列將結(jié)果返回給服務(wù)器。
2.根據(jù)權(quán)利要求1所述的一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)，其特征在于:過程2中，是采用HASH算法根據(jù)文件目錄和文件名稱的字符碼計算出該文件的數(shù)碼特征值，并用該數(shù)碼特征值對存儲服務(wù)器數(shù)量取模，得到所在的目標(biāo)云存儲陣列地址；同時記錄其計算出來的HASH值。
3.根據(jù)權(quán)利要求2所述的一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)，其特征在于:過程3中，第一云存儲陣列用過程2中計算的HASH值查詢本地緩存，該緩存用過程2中計算的HASH值做分類，并用目錄名和文件名做標(biāo)記。
4.根據(jù)權(quán)利要求1所述的一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)，其特征在于:過程3中，緩存模塊異步將數(shù)據(jù)與目標(biāo)存儲陣列進行同步時，首先緩存模塊將被同步文件分塊鎖定，并對其進行標(biāo)識；然后分塊對比被同步文件是否有更改；如果有更改，則將最新的更改發(fā)到目標(biāo)存儲陣列，目標(biāo)存儲陣列確認(rèn)操作完成后將被同步文件解鎖；如果沒有更改，則目標(biāo)存儲陣列直接將被同步文件解鎖。
5.根據(jù)權(quán)利要求1所述的一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)，其特征在于:過程I中，服務(wù)器向任一云存儲陣列發(fā)送文件讀寫請求，所述文件讀寫請求是基于NFS、CIFS或者FTP協(xié)議。
全文摘要
本發(fā)明涉及一種數(shù)據(jù)中心架構(gòu)。本發(fā)明的一種基于分布式對稱文件系統(tǒng)的數(shù)據(jù)中心架構(gòu)，包括若干組服務(wù)節(jié)點，服務(wù)節(jié)點包括云存儲陣列組、服務(wù)器組、存儲網(wǎng)絡(luò)交換機，云存儲陣列組、服務(wù)器組連接至存儲網(wǎng)絡(luò)交換機；若干組服務(wù)節(jié)點的存儲網(wǎng)絡(luò)交換機之間依次連接。其通訊過程如下過程1服務(wù)器向任一云存儲陣列發(fā)送文件讀寫請求；過程2第一云存儲陣列接收該請求，并計算該文件所在的目標(biāo)云存儲陣列地址；過程3第一云存儲陣列查詢本地緩存，如果已有該文件,則將結(jié)果返回給服務(wù)器；如果沒有該文件,則將所述文件操作請求轉(zhuǎn)發(fā)至目標(biāo)云存儲陣列；過程4目標(biāo)云存儲陣列向第一云存儲陣列發(fā)送所需要的結(jié)果,并由第一云存儲陣列將結(jié)果返回給服務(wù)器。
文檔編號H04L29/08GK103078944SQ20131000474
公開日2013年5月1日 申請日期2013年1月8日 優(yōu)先權(quán)日2013年1月8日
發(fā)明者黃劍, 吳江 申請人:賽凡信息科技(廈門)有限公司