以根據(jù)后續(xù)應(yīng)用特點(diǎn)的變化和需求的增強(qiáng)，做到在線擴(kuò)展元數(shù)據(jù)服務(wù)器，并且達(dá)到即插即用的效果。
[0026]同時(shí)，本實(shí)施例所述用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)采用多級(jí)智能數(shù)據(jù)緩存技術(shù)實(shí)現(xiàn)高效緩存。首先，通過應(yīng)用服務(wù)器上自主研發(fā)客戶端內(nèi)核模塊，分析應(yīng)用訪問數(shù)據(jù)的特點(diǎn)，采用特定的緩存算法在應(yīng)用服務(wù)器上有效緩存應(yīng)用的訪問數(shù)據(jù);其次，將所有存儲(chǔ)服務(wù)器的內(nèi)存集合起來形成一個(gè)大的緩存池，通過存儲(chǔ)服務(wù)器上獨(dú)特地緩存算法緩存不同應(yīng)用訪問的數(shù)據(jù);最后，將所有元數(shù)據(jù)服務(wù)器的內(nèi)存集合起來形成一個(gè)高效的元數(shù)據(jù)緩存池，通過復(fù)雜的元數(shù)據(jù)淘汰算法來緩存元數(shù)據(jù)信息。通過這樣多級(jí)數(shù)據(jù)的緩存技術(shù)，會(huì)使得整個(gè)存儲(chǔ)系統(tǒng)的性能能夠得到大幅提尚。
[0027]同時(shí)，本實(shí)施例所述用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)提供增強(qiáng)型權(quán)限管理技術(shù)，除了兼容原有基于操作系統(tǒng)用戶的權(quán)限管理之外，還增加了自身所特有的增強(qiáng)型權(quán)限管理技術(shù)，通過存儲(chǔ)系統(tǒng)的后端管理平臺(tái)直接為某個(gè)目錄指定哪些用戶、或者哪些應(yīng)用服務(wù)器能夠訪問，哪些目錄禁止用戶刪除、修改等。
[0028]同時(shí)，本實(shí)施例所述用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)無論是存儲(chǔ)服務(wù)器還是元數(shù)據(jù)服務(wù)器都采用了集群化技術(shù);并且，存儲(chǔ)系統(tǒng)軟件層采用多副本技術(shù)、文件動(dòng)態(tài)分片技術(shù)、文件級(jí)raid技術(shù)以及支持不同目錄設(shè)置不同冗余度技術(shù)來保證整個(gè)系統(tǒng)的高可用。最終，通過這些高效的全系統(tǒng)規(guī)模數(shù)據(jù)高可用技術(shù)，徹底消除存儲(chǔ)系統(tǒng)中的單點(diǎn)故障。另外，存儲(chǔ)系統(tǒng)內(nèi)置了自動(dòng)故障探測(cè)機(jī)制，可以動(dòng)態(tài)探測(cè)不同的故障，并自動(dòng)啟動(dòng)數(shù)據(jù)的恢復(fù)流程確保數(shù)據(jù)完整性，數(shù)據(jù)恢復(fù)完全在存儲(chǔ)后端進(jìn)行，不對(duì)前端應(yīng)用造成任何影響，在保證數(shù)據(jù)安全的同時(shí)確保用戶的應(yīng)用持續(xù)穩(wěn)定的運(yùn)行，單臺(tái)存儲(chǔ)服務(wù)器或者元數(shù)據(jù)服務(wù)器發(fā)生損壞都不會(huì)對(duì)應(yīng)用數(shù)據(jù)讀寫造成任何影響，且隨著存儲(chǔ)服務(wù)器的不斷增加，數(shù)據(jù)恢復(fù)的速度成倍增長，即服務(wù)集群規(guī)模越大數(shù)據(jù)的安全性越高。
[0029]同時(shí)，本實(shí)施例所述用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)采用對(duì)象存儲(chǔ)技術(shù)，能夠做到以磁盤為粒度的在線實(shí)時(shí)訪問流量調(diào)控技術(shù)，當(dāng)整個(gè)存儲(chǔ)系統(tǒng)通過實(shí)時(shí)監(jiān)控發(fā)現(xiàn)某些設(shè)備或者磁盤處于高負(fù)載的情況時(shí)，一方面，存儲(chǔ)系統(tǒng)可以通過禁止某些設(shè)備寫入數(shù)據(jù)，從而降低某些設(shè)備的負(fù)載;另一方面，可以啟動(dòng)系統(tǒng)負(fù)載調(diào)控功能，存儲(chǔ)系統(tǒng)根據(jù)自身智能負(fù)載機(jī)制將系統(tǒng)的熱點(diǎn)數(shù)據(jù)進(jìn)行迀移，使得存儲(chǔ)系統(tǒng)中的各個(gè)存儲(chǔ)節(jié)點(diǎn)負(fù)載均衡。
[0030]同時(shí)，本實(shí)施例所述用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)采用文件切片技術(shù)，將文件均勻分布在整個(gè)存儲(chǔ)服務(wù)器集群中，以保證應(yīng)用無論是對(duì)單個(gè)文件還是多個(gè)文件的訪問模式，都能有效利用整個(gè)存儲(chǔ)服務(wù)器集群提供的性能；另一方面應(yīng)用服務(wù)器端通過高速網(wǎng)絡(luò)直接與存儲(chǔ)服務(wù)器通信，高效地利用了高速網(wǎng)絡(luò)提供的帶寬，消除了通行過程中的網(wǎng)絡(luò)瓶頸。采用這樣的技術(shù)之后，當(dāng)整個(gè)計(jì)算平臺(tái)的上千個(gè)應(yīng)用節(jié)點(diǎn)同時(shí)訪問數(shù)據(jù)的時(shí)，能夠確保整個(gè)存儲(chǔ)系統(tǒng)的每個(gè)設(shè)備都能發(fā)揮出自身的硬件能力，為前端應(yīng)用提供最大的聚合帶寬。
[0031]建立本實(shí)施例所述用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)的具體步驟為:
1、安裝元數(shù)據(jù)服務(wù)器
(I)準(zhǔn)備元數(shù)據(jù)服務(wù)器操作系統(tǒng)。
[0032](2)安裝元數(shù)據(jù)服務(wù)器軟件。
[0033](3)啟動(dòng)元數(shù)據(jù)服務(wù)。
[0034]2、安裝存儲(chǔ)服務(wù)器，并與元數(shù)據(jù)服務(wù)器進(jìn)行關(guān)聯(lián)，從而實(shí)現(xiàn)對(duì)各存儲(chǔ)服務(wù)器節(jié)點(diǎn)的統(tǒng)一管理和空間分配
(I)準(zhǔn)備存儲(chǔ)服務(wù)器操作系統(tǒng)。
[0035](2)安裝存儲(chǔ)服務(wù)器軟件。
[0036](3)啟動(dòng)存儲(chǔ)數(shù)據(jù)服務(wù)。
[0037]3、安裝配置應(yīng)用服務(wù)器客戶端，實(shí)現(xiàn)客戶端的文件前端切片功能
(I)安裝應(yīng)用服務(wù)器客戶端。
[0038](2)配置應(yīng)用服務(wù)器客戶端。
[0039]本發(fā)明的技術(shù)方案，用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)采用分布式架構(gòu)，存儲(chǔ)服務(wù)器同時(shí)支持文件和塊協(xié)議，所有存儲(chǔ)服務(wù)器同時(shí)進(jìn)行數(shù)據(jù)存儲(chǔ)，存儲(chǔ)在存儲(chǔ)服務(wù)器上的數(shù)據(jù)均采用副本機(jī)制進(jìn)行數(shù)據(jù)保護(hù)，且各副本數(shù)據(jù)均存儲(chǔ)在與母本數(shù)據(jù)不同的存儲(chǔ)服務(wù)器，所有數(shù)據(jù)采用前端數(shù)據(jù)切片、后端分布的方式進(jìn)行存儲(chǔ)。從而使該存儲(chǔ)系統(tǒng)具有擴(kuò)容簡單、成本第、安全性高、兼容性好的優(yōu)點(diǎn)。
[0040]注意，上述僅為本發(fā)明的較佳實(shí)施例及所運(yùn)用技術(shù)原理。本領(lǐng)域技術(shù)人員會(huì)理解，本發(fā)明不限于這里所述的特定實(shí)施例，對(duì)本領(lǐng)域技術(shù)人員來說能夠進(jìn)行各種明顯的變化、重新調(diào)整和替代而不會(huì)脫離本發(fā)明的保護(hù)范圍。因此，雖然通過以上實(shí)施例對(duì)本發(fā)明進(jìn)行了較為詳細(xì)的說明，但是本發(fā)明不僅僅限于以上實(shí)施例，在不脫離本發(fā)明構(gòu)思的情況下，還可以包括更多其他等效實(shí)施例，而本發(fā)明的范圍由所附的權(quán)利要求范圍決定。
【主權(quán)項(xiàng)】
1.一種用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)，其特征在于，包括:若干臺(tái)應(yīng)用服務(wù)器組成的應(yīng)用服務(wù)器集群、若干臺(tái)存儲(chǔ)服務(wù)器組成的存儲(chǔ)服務(wù)器集群和若干臺(tái)元數(shù)據(jù)服務(wù)器組成的元數(shù)據(jù)服務(wù)器集群，所述應(yīng)用服務(wù)器、存儲(chǔ)服務(wù)器和元數(shù)據(jù)服務(wù)器通過通訊網(wǎng)絡(luò)互連進(jìn)行數(shù)據(jù)交換;所述應(yīng)用服務(wù)器集群用于產(chǎn)生和接收生產(chǎn)數(shù)據(jù)，所述存儲(chǔ)服務(wù)器集群用于提供存儲(chǔ)空間，所述元數(shù)據(jù)服務(wù)器集群用于管理存儲(chǔ)空間。2.根據(jù)權(quán)利要求1所述的用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)，其特征在于，所述存儲(chǔ)服務(wù)器、元數(shù)據(jù)服務(wù)器均采用X86架構(gòu)服務(wù)器，同時(shí)支持文件和塊協(xié)議。3.根據(jù)權(quán)利要求1所述的用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)，其特征在于，所述存儲(chǔ)在各個(gè)應(yīng)用服務(wù)器、存儲(chǔ)服務(wù)器和元數(shù)據(jù)服務(wù)器的數(shù)據(jù)均采用副本機(jī)制進(jìn)行數(shù)據(jù)保護(hù)，且各副本數(shù)據(jù)均存儲(chǔ)在與母本數(shù)據(jù)不同的服務(wù)器上。4.根據(jù)權(quán)利要求1所述的用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)，其特征在于，所述應(yīng)用服務(wù)器、存儲(chǔ)服務(wù)器和元數(shù)據(jù)服務(wù)器通過全線速Infiniband網(wǎng)絡(luò)進(jìn)行互連。
【專利摘要】本發(fā)明公開了一種用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)，包括若干臺(tái)應(yīng)用服務(wù)器組成的應(yīng)用服務(wù)器集群、若干臺(tái)存儲(chǔ)服務(wù)器組成的存儲(chǔ)服務(wù)器集群和若干臺(tái)元數(shù)據(jù)服務(wù)器組成的元數(shù)據(jù)服務(wù)器集群，所述應(yīng)用服務(wù)器、存儲(chǔ)服務(wù)器和元數(shù)據(jù)服務(wù)器通過通訊網(wǎng)絡(luò)互連進(jìn)行數(shù)據(jù)交換；所述應(yīng)用服務(wù)器集群用于產(chǎn)生和接收生產(chǎn)數(shù)據(jù)，所述存儲(chǔ)服務(wù)器集群用于提供存儲(chǔ)空間，所述元數(shù)據(jù)服務(wù)器集群用于管理存儲(chǔ)空間。本發(fā)明提供的用于大數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)具有擴(kuò)容簡單、成本第、安全性高、兼容性好的優(yōu)點(diǎn)。
【IPC分類】H04L29/08
【公開號(hào)】CN105516313
【申請(qǐng)?zhí)枴緾N201510910421
【發(fā)明人】龔艷, 母繼元, 常健
【申請(qǐng)人】國網(wǎng)四川省電力公司信息通信公司, 國家電網(wǎng)公司
【公開日】2016年4月20日
【申請(qǐng)日】2015年12月10日