一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)及方法，其中，基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)包括分布式文件系統(tǒng)，所述分布式文件系統(tǒng)包括元數(shù)據(jù)服務(wù)器、存儲(chǔ)服務(wù)器集群、訪問客戶端及日志服務(wù)器；所述元數(shù)據(jù)服務(wù)器對分布式文件系統(tǒng)中的元數(shù)據(jù)信息及對所述存儲(chǔ)服務(wù)器集群進(jìn)行管理監(jiān)控；所述存儲(chǔ)服務(wù)器集群將元數(shù)據(jù)信息中包含的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)；所述日志服務(wù)器對所述元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息進(jìn)行備份并實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器的操作日志；所述訪問客戶端用于根據(jù)元數(shù)據(jù)服務(wù)器的連接狀態(tài)，選擇通過元數(shù)據(jù)服務(wù)器或日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪問存儲(chǔ)服務(wù)器集群。
【專利說明】一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)存儲(chǔ)訪問【技術(shù)領(lǐng)域】，具體涉及一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)及方法。

【背景技術(shù)】
[0002]基于hadoop的Namenode (即管理節(jié)點(diǎn))用于生產(chǎn)環(huán)境時(shí)，存儲(chǔ)單點(diǎn)問題。目前解決這一問題的方案主要是J^Namenode的元數(shù)據(jù)信息存儲(chǔ)在NFS (Network File System,網(wǎng)絡(luò)文件系統(tǒng))上，Namenode的主、備進(jìn)程所在的主機(jī)都作為NFS的客戶端，分別能夠訪問NFS上存儲(chǔ)的元數(shù)據(jù)信息。當(dāng)Namenode的主節(jié)點(diǎn)進(jìn)程退出后，主進(jìn)程所維護(hù)的元數(shù)據(jù)存儲(chǔ)在NFS上,Namenode的備節(jié)點(diǎn)進(jìn)程依然可以正常訪問NFS上的元數(shù)據(jù),這樣Namenode的備節(jié)點(diǎn)進(jìn)程就完全接管了 Namenode的主節(jié)點(diǎn)進(jìn)程的工作了。
[0003]采用NFS管理文件存儲(chǔ)，管理節(jié)點(diǎn)服務(wù)端容易遇到磁盤瓶頸、帶寬瓶頸，影響業(yè)務(wù)響應(yīng)速度；管理節(jié)點(diǎn)服務(wù)端存儲(chǔ)空間不能動(dòng)態(tài)擴(kuò)展等問題。
[0004]第一，管理節(jié)點(diǎn)服務(wù)端磁盤易遇到瓶頸:數(shù)據(jù)統(tǒng)一存儲(chǔ)在管理節(jié)點(diǎn)服務(wù)端磁盤上，多個(gè)不同的訪問客戶端同時(shí)發(fā)起數(shù)據(jù)訪問請求，管理節(jié)點(diǎn)服務(wù)端磁盤容易遇到瓶頸，影響性能。
[0005]第二，管理節(jié)點(diǎn)服務(wù)端帶寬易遇到瓶頸:數(shù)據(jù)是統(tǒng)一存儲(chǔ)在管理節(jié)點(diǎn)服務(wù)端磁盤上的，多個(gè)不同訪問客戶端同時(shí)發(fā)起數(shù)據(jù)訪問請求時(shí)，流向不同訪問客戶端的數(shù)據(jù)都要從管理節(jié)點(diǎn)服務(wù)端網(wǎng)卡流出，管理節(jié)點(diǎn)服務(wù)端帶寬容易容易達(dá)到瓶頸，影響性能。
[0006]第三，管理節(jié)點(diǎn)服務(wù)端存儲(chǔ)空間不能動(dòng)態(tài)擴(kuò)展:數(shù)據(jù)只能存儲(chǔ)在管理節(jié)點(diǎn)服務(wù)端某目錄下，當(dāng)管理節(jié)點(diǎn)服務(wù)端存儲(chǔ)空間不夠進(jìn)行擴(kuò)展時(shí)需停止共享服務(wù)。擴(kuò)展存儲(chǔ)空間后，再次啟動(dòng)存儲(chǔ)空間，擴(kuò)展的過程需要停止上層應(yīng)用系統(tǒng)。
[0007]第四，管理節(jié)點(diǎn)服務(wù)端單點(diǎn)問題:數(shù)據(jù)存儲(chǔ)在管理節(jié)點(diǎn)服務(wù)端，服務(wù)端發(fā)生斷網(wǎng)、宕機(jī)，所有訪問客戶端都不能再訪問服務(wù)端上的數(shù)據(jù)，應(yīng)用業(yè)務(wù)會(huì)隨著服務(wù)端故障而發(fā)生故障，業(yè)務(wù)會(huì)停止服務(wù)。


【發(fā)明內(nèi)容】

[0008]本發(fā)明所要解決的技術(shù)問題是提供一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)及方法，能夠解決大數(shù)據(jù)存儲(chǔ)訪問過程中管理服務(wù)器單點(diǎn)問題。
[0009]依據(jù)本發(fā)明的一個(gè)方面，提供了一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)，包括分布式文件系統(tǒng)，所述分布式文件系統(tǒng)包括元數(shù)據(jù)服務(wù)器、存儲(chǔ)服務(wù)器集群、訪問客戶端及日志服務(wù)器；
[0010]所述元數(shù)據(jù)服務(wù)器用于對分布式文件系統(tǒng)中的元數(shù)據(jù)信息進(jìn)行管理及對所述存儲(chǔ)服務(wù)器集群進(jìn)行管理監(jiān)控；
[0011]所述存儲(chǔ)服務(wù)器集群用于按照預(yù)定規(guī)則將元數(shù)據(jù)信息中包含的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)；
[0012]所述日志服務(wù)器用于對所述元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息按照預(yù)定時(shí)間間隔進(jìn)行備份并實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器的操作日志；
[0013]所述訪問客戶端用于根據(jù)元數(shù)據(jù)服務(wù)器的連接狀態(tài)，選擇通過元數(shù)據(jù)服務(wù)器或日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪問存儲(chǔ)服務(wù)器集群。
[0014]依據(jù)本發(fā)明的另一個(gè)方面，提供了一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問方法，包括:
[0015]按照預(yù)定規(guī)則將元數(shù)據(jù)中包含的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)存儲(chǔ)節(jié)點(diǎn)，并由元數(shù)據(jù)服務(wù)器對元數(shù)據(jù)信息及所述存儲(chǔ)服務(wù)器集群進(jìn)行管理監(jiān)控；
[0016]日志服務(wù)器按照預(yù)定時(shí)間間隔對元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息進(jìn)行備份，并實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器的操作日志；
[0017]訪問客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)訪問請求；
[0018]根據(jù)元數(shù)據(jù)服務(wù)器的連接狀態(tài)，所述訪問客戶端選擇通過元數(shù)據(jù)服務(wù)器或日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪問存儲(chǔ)服務(wù)器集群。
[0019]本發(fā)明提供的一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)及方法，將數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)存儲(chǔ)節(jié)點(diǎn)上，解決了現(xiàn)有技術(shù)的服務(wù)端磁盤瓶頸及帶寬瓶頸，且服務(wù)端的存儲(chǔ)空間很容易動(dòng)態(tài)擴(kuò)展；元數(shù)據(jù)服務(wù)器對存儲(chǔ)服務(wù)器集群進(jìn)行監(jiān)控管理，日志服務(wù)器對元數(shù)據(jù)服務(wù)器的元數(shù)據(jù)進(jìn)行備份并同步其操作日志，當(dāng)元數(shù)據(jù)服務(wù)器處于異常狀態(tài)時(shí)，訪問客戶端可以通過日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程對存儲(chǔ)服務(wù)器集群進(jìn)行訪問，解決了現(xiàn)有技術(shù)中的管理節(jié)點(diǎn)服務(wù)端單點(diǎn)問題。

【專利附圖】

【附圖說明】
[0020]圖1為本發(fā)明實(shí)施例一的一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)示意圖；
[0021]圖2為本發(fā)明實(shí)施例二的一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問方法流程圖。

【具體實(shí)施方式】
[0022]以下結(jié)合附圖對本發(fā)明的原理和特征進(jìn)行描述，所舉實(shí)例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。
[0023]實(shí)施例一、一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)。下面結(jié)合圖1對本實(shí)施例提供的系統(tǒng)進(jìn)行詳細(xì)說明。
[0024]圖1中，本實(shí)施例提供的一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)包括分布式文件系統(tǒng)，其中，分布式文件系統(tǒng)包括元數(shù)據(jù)服務(wù)器101、存儲(chǔ)服務(wù)器集群102、訪問客戶端103和日志服務(wù)器104。
[0025]其中，元數(shù)據(jù)服務(wù)器101主要用于對分布式文件系統(tǒng)中的元數(shù)據(jù)信息進(jìn)行管理及對存儲(chǔ)服務(wù)器集群102進(jìn)行管理監(jiān)控。
[0026]存儲(chǔ)服務(wù)器集群102主要用于按照預(yù)定規(guī)則將元數(shù)據(jù)信息中包含的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)。
[0027]具體的，在本實(shí)施例中，存儲(chǔ)服務(wù)器集群102有若干個(gè)管理節(jié)點(diǎn)服務(wù)器，每個(gè)管理節(jié)點(diǎn)服務(wù)器均管理若個(gè)存儲(chǔ)服務(wù)器節(jié)點(diǎn)，形成存儲(chǔ)服務(wù)器集群102，對大數(shù)據(jù)進(jìn)行分布式存儲(chǔ)。
[0028]具體實(shí)施時(shí)，元數(shù)據(jù)服務(wù)器101對分布式文件系統(tǒng)中的元數(shù)據(jù)信息進(jìn)行管理，并對存儲(chǔ)服務(wù)器集群102進(jìn)行監(jiān)控管理。元數(shù)據(jù)服務(wù)器101按照預(yù)定規(guī)則對元數(shù)據(jù)信息中包含的數(shù)據(jù)進(jìn)行切分，將數(shù)據(jù)切分成若干塊，并按照一定的策略將切分后的若干塊數(shù)據(jù)存儲(chǔ)在不同的存儲(chǔ)服務(wù)器節(jié)點(diǎn)上，比如，可以按照當(dāng)前存儲(chǔ)服務(wù)器的剩余存儲(chǔ)空間來進(jìn)行分配，將數(shù)據(jù)盡量存儲(chǔ)在剩余空間比較大的存儲(chǔ)服務(wù)器節(jié)點(diǎn)上。
[0029]元數(shù)據(jù)服務(wù)器101還對存儲(chǔ)服務(wù)器集群102進(jìn)行管理監(jiān)控，比如對各個(gè)存儲(chǔ)服務(wù)器上的數(shù)據(jù)存儲(chǔ)量進(jìn)行監(jiān)控，以免存儲(chǔ)服務(wù)器上存儲(chǔ)的數(shù)據(jù)量過大使存儲(chǔ)服務(wù)器崩潰；再比如，對各個(gè)存儲(chǔ)服務(wù)器的連接狀態(tài)進(jìn)行監(jiān)控，以便隨時(shí)了解存儲(chǔ)服務(wù)器的連接狀態(tài)。
[0030]另外，分布式文件系統(tǒng)中的虛擬IP配置模塊還對元數(shù)據(jù)服務(wù)器101配置虛擬IP，訪問客戶端103可以通過虛擬IP登陸元數(shù)據(jù)服務(wù)器101對存儲(chǔ)服務(wù)器集群102進(jìn)行數(shù)據(jù)的訪問。其中，元數(shù)據(jù)服務(wù)器管理進(jìn)程與虛擬IP功能綁定，兩者同時(shí)存儲(chǔ)，同時(shí)遷移。
[0031]日志服務(wù)器104主要用于對元數(shù)據(jù)服務(wù)器101中的元數(shù)據(jù)信息按照預(yù)定時(shí)間間隔進(jìn)行備份并實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器101的操作日志。
[0032]具體的，存儲(chǔ)服務(wù)器集群102對大數(shù)據(jù)進(jìn)行了分布式的存儲(chǔ)，并由元數(shù)據(jù)服務(wù)器101對存儲(chǔ)服務(wù)器集群102進(jìn)行管理監(jiān)控，日志服務(wù)器104對元數(shù)據(jù)服務(wù)器101中的元數(shù)據(jù)信息進(jìn)行備份。
[0033]訪問客戶端103主要用于向元數(shù)據(jù)服務(wù)器101發(fā)送數(shù)據(jù)訪問請求并根據(jù)元數(shù)據(jù)服務(wù)器101的連接狀態(tài)，選擇通過元數(shù)據(jù)服務(wù)器101或日志服務(wù)器104中備用的元數(shù)據(jù)服務(wù)進(jìn)程訪問存儲(chǔ)服務(wù)器集群。
[0034]具體的，若訪問客戶端103希望對存儲(chǔ)服務(wù)器集群102中的數(shù)據(jù)進(jìn)行訪問時(shí)，訪問客戶端103會(huì)向元數(shù)據(jù)服務(wù)器101發(fā)送數(shù)據(jù)訪問請求。
[0035]當(dāng)元數(shù)據(jù)服務(wù)器101處于在線狀態(tài)時(shí)，訪問客戶端103通過虛擬IP配置模塊配置的虛擬IP登陸元數(shù)據(jù)服務(wù)器101，進(jìn)而通過元數(shù)據(jù)服務(wù)器101對存儲(chǔ)服務(wù)器集群102進(jìn)行數(shù)據(jù)的訪問。
[0036]當(dāng)元數(shù)據(jù)服務(wù)器101處于離線狀態(tài)時(shí)(比如斷網(wǎng)、宕機(jī)或發(fā)生故障)，將元數(shù)據(jù)服務(wù)器服務(wù)進(jìn)程及配置的虛擬IP切換至日志服務(wù)器104啟動(dòng)，由日志服務(wù)器104中備用的元數(shù)據(jù)服務(wù)進(jìn)程接管元數(shù)據(jù)服務(wù)器101的功能，即此時(shí)由日志服務(wù)器104中備用的元數(shù)據(jù)服務(wù)進(jìn)程來對存儲(chǔ)服務(wù)器集群102進(jìn)行管理，訪問客戶端103依然可以通過虛擬IP配置模塊給元數(shù)據(jù)服務(wù)器101配置的虛擬IP登陸日志服務(wù)器104，進(jìn)而通過日志服務(wù)器104中備用的元數(shù)據(jù)服務(wù)進(jìn)程對存儲(chǔ)服務(wù)器集群102進(jìn)行數(shù)據(jù)的訪問。
[0037]如前所述，日志服務(wù)器104會(huì)按照預(yù)定時(shí)間間隔對元數(shù)據(jù)服務(wù)器101中的元數(shù)據(jù)信息進(jìn)行備份，并且會(huì)實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器101的操作日志。當(dāng)元數(shù)據(jù)服務(wù)器101處于離線狀態(tài)時(shí)，將元數(shù)據(jù)服務(wù)器服務(wù)進(jìn)程及配置的虛擬IP切換至日志服務(wù)器104啟動(dòng)。此時(shí)，日志服務(wù)器104中備用的元數(shù)據(jù)服務(wù)進(jìn)程會(huì)根據(jù)日志服務(wù)器104從元數(shù)據(jù)服務(wù)器101備份的元數(shù)據(jù)信息以及同步的操作日志恢復(fù)出最新的元數(shù)據(jù)信息，供訪問客戶端進(jìn)行訪問。日志服務(wù)器104中備用的元數(shù)據(jù)服務(wù)進(jìn)程根據(jù)恢復(fù)出的最新的元數(shù)據(jù)信息，加載該恢復(fù)出的元數(shù)據(jù)信息中的數(shù)據(jù)，啟動(dòng)管理進(jìn)程，對整個(gè)分布式文件系統(tǒng)進(jìn)行管理，訪問客戶端103此時(shí)可以通過原虛擬IP登陸日志服務(wù)器104，通過日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程對存儲(chǔ)服務(wù)器集群102進(jìn)行數(shù)據(jù)的訪問。
[0038]實(shí)施例二、一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問方法。下面結(jié)合圖2對本實(shí)施提供的方法進(jìn)行詳細(xì)說明。
[0039]圖2中，S201、按照預(yù)定規(guī)則將元數(shù)據(jù)信息中包含的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)存儲(chǔ)節(jié)點(diǎn)，并由元數(shù)據(jù)服務(wù)器對存儲(chǔ)服務(wù)器集群進(jìn)行管理監(jiān)控。
[0040]具體的，現(xiàn)有技術(shù)中存儲(chǔ)服務(wù)器集群只有一個(gè)管理節(jié)點(diǎn)服務(wù)器，將數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群中，訪問客戶端對存儲(chǔ)服務(wù)器集群中的數(shù)據(jù)進(jìn)行訪問時(shí)，均需要通過管理節(jié)點(diǎn)服務(wù)器網(wǎng)卡進(jìn)行數(shù)據(jù)流出，因此會(huì)存在管理節(jié)點(diǎn)服務(wù)器的存儲(chǔ)空間以及帶寬瓶頸。在本實(shí)施例中，存儲(chǔ)服務(wù)器集群有若干個(gè)管理節(jié)點(diǎn)服務(wù)器，每個(gè)管理節(jié)點(diǎn)服務(wù)器均管理若個(gè)存儲(chǔ)服務(wù)器節(jié)點(diǎn)，形成存儲(chǔ)服務(wù)器集群，對大數(shù)據(jù)進(jìn)行分布式存儲(chǔ)。
[0041]具體實(shí)施時(shí)，元數(shù)據(jù)服務(wù)器對分布式文件系統(tǒng)中的元數(shù)據(jù)信息進(jìn)行管理，并對存儲(chǔ)服務(wù)器集群進(jìn)行監(jiān)控管理。比如，元數(shù)據(jù)服務(wù)器管理分布式文件系統(tǒng)中的元數(shù)據(jù)信息(包括文件目錄樹組織、屬性維護(hù)、文件操作日志的記錄、訪問客戶端的授權(quán)訪問等)，管理整個(gè)存儲(chǔ)系統(tǒng)的命名空間，協(xié)調(diào)訪問客戶端與存儲(chǔ)服務(wù)器集集群的數(shù)據(jù)存儲(chǔ)和訪問，提供對名稱空間、訪問控制信息、文件與存儲(chǔ)塊映射信息、塊位置等信息的管理。元數(shù)據(jù)服務(wù)器按照預(yù)定規(guī)則對元數(shù)據(jù)信息中包含的數(shù)據(jù)進(jìn)行切分，將數(shù)據(jù)切分成若干塊，并按照一定的策略將切分后的若干塊數(shù)據(jù)存儲(chǔ)在不同的存儲(chǔ)服務(wù)器節(jié)點(diǎn)上，比如，可以按照當(dāng)前存儲(chǔ)服務(wù)器的剩余存儲(chǔ)空間來進(jìn)行分配，將數(shù)據(jù)盡量存儲(chǔ)在剩余空間比較大的存儲(chǔ)服務(wù)器節(jié)點(diǎn)上。
[0042]元數(shù)據(jù)服務(wù)器還對存儲(chǔ)服務(wù)器集群進(jìn)行管理監(jiān)控，比如對各個(gè)存儲(chǔ)服務(wù)器上的數(shù)據(jù)存儲(chǔ)量進(jìn)行監(jiān)控，以免存儲(chǔ)服務(wù)器上存儲(chǔ)的數(shù)據(jù)量過大使存儲(chǔ)服務(wù)器崩潰；再比如，對各個(gè)存儲(chǔ)服務(wù)器的連接狀態(tài)進(jìn)行監(jiān)控，以便隨時(shí)了解存儲(chǔ)服務(wù)器的連接狀態(tài)。
[0043]另外，分布式文件系統(tǒng)還對元數(shù)據(jù)服務(wù)器配置虛擬IP，訪問客戶端可以通過虛擬IP登陸元數(shù)據(jù)服務(wù)器，進(jìn)而通過元數(shù)據(jù)服務(wù)器對存儲(chǔ)服務(wù)器集群進(jìn)行數(shù)據(jù)的訪問。其中，元數(shù)據(jù)服務(wù)器管理進(jìn)程與虛擬IP功能綁定，兩者同時(shí)存儲(chǔ)，同時(shí)遷移。
[0044]S202、日志服務(wù)器按照預(yù)定時(shí)間間隔對元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息進(jìn)行備份，并實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器的操作日志。
[0045]具體的，上述步驟對大數(shù)據(jù)進(jìn)行了分布式的存儲(chǔ)，并由元數(shù)據(jù)服務(wù)器對存儲(chǔ)服務(wù)器集群進(jìn)行管理監(jiān)控，此步驟日志服務(wù)器對元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息進(jìn)行備份。具體實(shí)施時(shí)，日志服務(wù)器按照預(yù)定時(shí)間間隔對元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息進(jìn)行備份，比如，可以每隔一小時(shí)對元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息進(jìn)行備份。日志服務(wù)器對元數(shù)據(jù)服務(wù)器的操作日志也實(shí)時(shí)同步，比如，訪問客戶端通過元數(shù)據(jù)服務(wù)器對存儲(chǔ)服務(wù)器集群進(jìn)行了更新操作，在元數(shù)據(jù)服務(wù)器中會(huì)形成操作日志，日志服務(wù)器會(huì)實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器的這些操作日志。
[0046]S203、訪問客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)訪問請求。
[0047]具體的，將數(shù)據(jù)按照預(yù)定規(guī)則存儲(chǔ)在存儲(chǔ)服務(wù)器集群中以后，如果訪問客戶端希望對存儲(chǔ)服務(wù)器集群中的數(shù)據(jù)進(jìn)行訪問時(shí)，訪問客戶端會(huì)向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)訪問請求。
[0048]S204、根據(jù)元數(shù)據(jù)服務(wù)器的連接狀態(tài)，訪問客戶端選擇通過元數(shù)據(jù)服務(wù)器或日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程訪問存儲(chǔ)服務(wù)器集群。
[0049]具體的，分布式文件系統(tǒng)會(huì)對元數(shù)據(jù)服務(wù)器實(shí)時(shí)進(jìn)行心跳檢測，即對元數(shù)據(jù)服務(wù)器的連接狀態(tài)進(jìn)行實(shí)時(shí)的監(jiān)測。當(dāng)元數(shù)據(jù)服務(wù)器處于在線狀態(tài)時(shí)，訪問客戶端通過分布式文件系統(tǒng)配置的虛擬IP登陸元數(shù)據(jù)服務(wù)器，進(jìn)而通過元數(shù)據(jù)服務(wù)器對存儲(chǔ)服務(wù)器集群進(jìn)行數(shù)據(jù)的訪問。具體實(shí)施時(shí)，當(dāng)元數(shù)據(jù)服務(wù)器接收到訪問客戶端的數(shù)據(jù)訪問請求時(shí)，元數(shù)據(jù)服務(wù)器首先會(huì)對訪問客戶端的訪問權(quán)限進(jìn)行驗(yàn)證，若訪問客戶端的訪問權(quán)限驗(yàn)證通過時(shí)，元數(shù)據(jù)服務(wù)器會(huì)按照預(yù)定的路由規(guī)則匹配出供訪問客戶端訪問的存儲(chǔ)服務(wù)器。比如，若干個(gè)訪問客戶端同時(shí)向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)訪問請求，元數(shù)據(jù)服務(wù)器會(huì)進(jìn)行均衡負(fù)載，將數(shù)據(jù)訪問壓力非常均衡的分布在存儲(chǔ)服務(wù)器集群之間，以免造成存儲(chǔ)服務(wù)器集群崩潰。
[0050]當(dāng)元數(shù)據(jù)服務(wù)器處于離線狀態(tài)時(shí)(比如斷網(wǎng)、宕機(jī)或發(fā)生故障)，將元數(shù)據(jù)服務(wù)器服務(wù)進(jìn)程及配置的虛擬IP切換至日志服務(wù)器啟動(dòng)，由日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程接管元數(shù)據(jù)服務(wù)器的功能，即此時(shí)由日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程來對存儲(chǔ)服務(wù)器集群進(jìn)行管理，訪問客戶端依然可以通過分布式文件系統(tǒng)給元數(shù)據(jù)服務(wù)器配置的虛擬IP登陸日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程，進(jìn)而通過備用的元數(shù)據(jù)服務(wù)進(jìn)程對存儲(chǔ)服務(wù)器集群進(jìn)行數(shù)據(jù)的訪問。
[0051]如前所述，日志服務(wù)器會(huì)按照預(yù)定時(shí)間間隔對元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)進(jìn)行備份，并且會(huì)實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器的操作日志。當(dāng)訪問客戶端通過元數(shù)據(jù)服務(wù)器對存儲(chǔ)服務(wù)器集群進(jìn)行訪問后，會(huì)在元數(shù)據(jù)服務(wù)器中形成操作日志，比如對存儲(chǔ)服務(wù)器集群中的數(shù)據(jù)進(jìn)行了更新，會(huì)在元數(shù)據(jù)服務(wù)器中形成更新操作日志。
[0052]當(dāng)元數(shù)據(jù)服務(wù)器處于離線狀態(tài)時(shí)，將元數(shù)據(jù)服務(wù)器服務(wù)進(jìn)程及配置的虛擬IP切換至日志服務(wù)器啟動(dòng)。此時(shí)，日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程會(huì)根據(jù)日志服務(wù)器從元數(shù)據(jù)服務(wù)器備份的元數(shù)據(jù)信息以及同步的操作日志恢復(fù)出最新的元數(shù)據(jù)信息，加載恢復(fù)出的最新的元數(shù)據(jù)信息，供訪問客戶端進(jìn)行訪問。比如，日志服務(wù)器每隔I小時(shí)對元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息進(jìn)行備份，并實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器中的操作日志，若此時(shí)元數(shù)據(jù)服務(wù)器處于離線狀態(tài)，則日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程根據(jù)備份的元數(shù)據(jù)服務(wù)器離線前的I小時(shí)內(nèi)的元數(shù)據(jù)信息以及在這I小時(shí)內(nèi)的操作日志，恢復(fù)出在這I小時(shí)內(nèi)的元數(shù)據(jù)信肩、O
[0053]日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程根據(jù)恢復(fù)出的最新的元數(shù)據(jù)信息，加載該恢復(fù)出的元數(shù)據(jù)信息，啟動(dòng)管理進(jìn)程，對整個(gè)分布式文件系統(tǒng)進(jìn)行管理，訪問客戶端此時(shí)可以通過日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程對存儲(chǔ)服務(wù)器集群進(jìn)行數(shù)據(jù)的訪問。
[0054]本發(fā)明提供的一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)及方法，將大數(shù)據(jù)按照預(yù)定的規(guī)則切分后存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)存儲(chǔ)節(jié)點(diǎn)，利用分布式文件系統(tǒng)分布式存儲(chǔ)數(shù)據(jù)的特點(diǎn)，數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的不同存儲(chǔ)節(jié)點(diǎn)上，解決了現(xiàn)有技術(shù)的服務(wù)器磁盤的存儲(chǔ)空間問題；當(dāng)訪問客戶端進(jìn)行數(shù)據(jù)訪問時(shí)，數(shù)據(jù)流從不同的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)流出，解決了數(shù)據(jù)節(jié)點(diǎn)的帶寬瓶頸，也加快了數(shù)據(jù)的訪問速度；存儲(chǔ)服務(wù)器集群中的存儲(chǔ)節(jié)點(diǎn)數(shù)目可以根據(jù)具體的需要?jiǎng)討B(tài)的增加或刪除，在不影響當(dāng)前服務(wù)的前提下，存儲(chǔ)服務(wù)器集群的存儲(chǔ)空間可以動(dòng)態(tài)伸縮。
[0055]在現(xiàn)有的分布式文件系統(tǒng)中增加了日志服務(wù)器，實(shí)時(shí)同步分布式文件系統(tǒng)中管理節(jié)點(diǎn)(也可以說元數(shù)據(jù)服務(wù)器)的元數(shù)據(jù)信息及操作日志，分布式文件系統(tǒng)擁有使用HA(High Availability，高可用)做管理進(jìn)程的切換。當(dāng)元數(shù)據(jù)服務(wù)器發(fā)生故障、斷網(wǎng)或宕機(jī)時(shí)，HA做管理進(jìn)程的切換，將元數(shù)據(jù)服務(wù)器的服務(wù)進(jìn)程切換到日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程，日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程接管元數(shù)據(jù)服務(wù)器的功能，管理分布式文件系統(tǒng)，訪問客戶端可以通過日志服務(wù)器中備用的元數(shù)據(jù)服務(wù)進(jìn)程訪問存儲(chǔ)服務(wù)器集群。
[0056]以上所述僅為本發(fā)明的較佳實(shí)施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)，其特征在于，包括分布式文件系統(tǒng)，所述分布式文件系統(tǒng)包括元數(shù)據(jù)服務(wù)器、存儲(chǔ)服務(wù)器集群、訪問客戶端及日志服務(wù)器； 所述元數(shù)據(jù)服務(wù)器用于對分布式文件系統(tǒng)中的元數(shù)據(jù)信息進(jìn)行管理及對所述存儲(chǔ)服務(wù)器集群進(jìn)行管理監(jiān)控； 所述存儲(chǔ)服務(wù)器集群用于按照預(yù)定規(guī)則將元數(shù)據(jù)信息中包含的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)； 所述日志服務(wù)器用于對所述元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息按照預(yù)定時(shí)間間隔進(jìn)行備份并實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器的操作日志； 所述訪問客戶端用于根據(jù)元數(shù)據(jù)服務(wù)器的連接狀態(tài)，選擇通過元數(shù)據(jù)服務(wù)器或日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪問存儲(chǔ)服務(wù)器集群。
2.如權(quán)利要求1所述的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)，其特征在于，所述分布式文件系統(tǒng)還包括: 虛擬IP配置模塊，用于對所述元數(shù)據(jù)服務(wù)器配置虛擬IP ； 訪問客戶端通過所述虛擬IP登陸元數(shù)據(jù)服務(wù)器訪問存儲(chǔ)服務(wù)器集群。
3.如權(quán)利要求2所述的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)，其特征在于，所述分布式文件系統(tǒng)還包括: 切換模塊，用于當(dāng)元數(shù)據(jù)服務(wù)器處于離線狀態(tài)時(shí)，將元數(shù)據(jù)服務(wù)器服務(wù)進(jìn)程及虛擬IP切換至日志服務(wù)器啟動(dòng)。
4.如權(quán)利要求1所述的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)，其特征在于，所述日志服務(wù)器還包括: 數(shù)據(jù)恢復(fù)模塊，用于當(dāng)元數(shù)據(jù)服務(wù)器處于離線狀態(tài)時(shí)，根據(jù)所述日志服務(wù)器從元數(shù)據(jù)服務(wù)器備份的元數(shù)據(jù)信息及同步的操作日志，恢復(fù)出最新的元數(shù)據(jù)信息。
5.一種基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問方法，其特征在于，其采用權(quán)利要求1至4任一所述的基于分布式文件系統(tǒng)的大數(shù)據(jù)存儲(chǔ)訪問系統(tǒng)，包括: 步驟S201、按照預(yù)定規(guī)則將元數(shù)據(jù)信息中包含的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)存儲(chǔ)節(jié)點(diǎn)，并由元數(shù)據(jù)服務(wù)器對所述元數(shù)據(jù)信息及存儲(chǔ)服務(wù)器集群進(jìn)行管理監(jiān)控； 步驟S202、日志服務(wù)器按照預(yù)定時(shí)間間隔對元數(shù)據(jù)服務(wù)器中的元數(shù)據(jù)信息進(jìn)行備份，并實(shí)時(shí)同步元數(shù)據(jù)服務(wù)器的操作日志； 步驟S203、訪問客戶端向元數(shù)據(jù)服務(wù)器發(fā)送數(shù)據(jù)訪問請求； 步驟S204、根據(jù)元數(shù)據(jù)服務(wù)器的連接狀態(tài)，所述訪問客戶端選擇通過元數(shù)據(jù)服務(wù)器或日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪問存儲(chǔ)服務(wù)器集群。
6.如權(quán)利要求5所述的大數(shù)據(jù)存儲(chǔ)訪問方法，其特征在于，所述步驟S201包括: 按照預(yù)定規(guī)則將元數(shù)據(jù)信息中包含的數(shù)據(jù)進(jìn)行切分，將所述切分后的數(shù)據(jù)存儲(chǔ)在存儲(chǔ)服務(wù)器集群的若干個(gè)存儲(chǔ)節(jié)點(diǎn)，并由元數(shù)據(jù)服務(wù)器對所述存儲(chǔ)服務(wù)器集群的各個(gè)存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)存儲(chǔ)量及在線狀態(tài)進(jìn)行管理監(jiān)控。
7.如權(quán)利要求5所述的大數(shù)據(jù)存儲(chǔ)訪問方法，其特征在于，還包括: 為元數(shù)據(jù)服務(wù)器配置虛擬IP，訪問客戶端通過虛擬IP登陸所述元數(shù)據(jù)服務(wù)器訪問所述存儲(chǔ)服務(wù)器集群。
8.如權(quán)利要求7所述的大數(shù)據(jù)存儲(chǔ)訪問方法，其特征在于，執(zhí)行步驟S204之前還包括: 對元數(shù)據(jù)服務(wù)器進(jìn)行心跳檢測； 所述步驟S204包括: 當(dāng)元數(shù)據(jù)服務(wù)器處于在線狀態(tài)時(shí)，訪問客戶端通過虛擬IP登陸元數(shù)據(jù)服務(wù)器訪問存儲(chǔ)服務(wù)器集群；當(dāng)元數(shù)據(jù)服務(wù)器處于離線狀態(tài)時(shí)，訪問客戶端通過虛擬IP登陸日志服務(wù)器，通過日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪問存儲(chǔ)服務(wù)器集群。
9.如權(quán)利要求8所述的大數(shù)據(jù)存儲(chǔ)訪問方法，其特征在于，還包括: 當(dāng)所述元數(shù)據(jù)服務(wù)器處于離線狀態(tài)時(shí)，將元數(shù)據(jù)服務(wù)器服務(wù)進(jìn)程及虛擬IP切換至日志服務(wù)器啟動(dòng)，訪問客戶端通過虛擬IP登陸日志服務(wù)器，通過日志服務(wù)器中的備用元數(shù)據(jù)服務(wù)進(jìn)程訪問存儲(chǔ)服務(wù)器集群。
10.如權(quán)利要求8所述的大數(shù)據(jù)存儲(chǔ)訪問方法，其特征在于，所述步驟S204還包括: 當(dāng)元數(shù)據(jù)服務(wù)器處于離線狀態(tài)時(shí)，日志服務(wù)器根據(jù)從元數(shù)據(jù)服務(wù)器備份的元數(shù)據(jù)信息及同步的操作日志，恢復(fù)出最新的元數(shù)據(jù)信息，訪問客戶端通過日志服務(wù)器訪問最新的元數(shù)據(jù)信息。
【文檔編號(hào)】H04L29/08GK104320401SQ201410602562
【公開日】2015年1月28日 申請日期:2014年10月31日 優(yōu)先權(quán)日:2014年10月31日
【發(fā)明者】王少華 申請人:北京思特奇信息技術(shù)股份有限公司