分布式數(shù)據(jù)存儲方法、裝置及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種分布式數(shù)據(jù)存儲方法、裝置及系統(tǒng)。其中，該方法包括：對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定基礎(chǔ)數(shù)據(jù)的類型，其中，類型至少包括：結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型；將基礎(chǔ)數(shù)據(jù)按照類型存儲至第一子存儲集群和/或第二子存儲集群。本發(fā)明解決了現(xiàn)有分布式數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)訪問延遲高的技術(shù)問題。
【專利說明】
分布式數(shù)據(jù)存儲方法、裝置及系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及互聯(lián)網(wǎng)領(lǐng)域，具體而言，涉及一種分布式數(shù)據(jù)存儲方法、裝置及系統(tǒng)。
【背景技術(shù)】
[0002]Apache Nutch是Hadoop的源頭，Hadoop技術(shù)已經(jīng)在互聯(lián)網(wǎng)領(lǐng)域得以廣泛的應(yīng)用，同時也得到研究界的普遍關(guān)注。如Yahool使用4000節(jié)點(diǎn)的機(jī)群運(yùn)行Hadoop，支持廣告系統(tǒng)和Web搜索的研究;Facebook使用1000節(jié)點(diǎn)的機(jī)群運(yùn)行Hadoop，存儲日志數(shù)據(jù)，支持其上的數(shù)據(jù)分析和機(jī)器學(xué)習(xí)；百度用Hadoop處理每周200TB的數(shù)據(jù)，進(jìn)行搜索日志分析和網(wǎng)頁數(shù)據(jù)挖掘工作；中移動研究院基于Hadoop開發(fā)了 “大云”(BigCloud)系統(tǒng)，不但用于相關(guān)數(shù)據(jù)分析，還對外提供服務(wù);淘寶的Hadoop系統(tǒng)用于存儲并處理電子商務(wù)的交易相關(guān)數(shù)據(jù)。
[0003]并且，國內(nèi)的高校和科研院所也基于Hadoop在數(shù)據(jù)存儲、資源管理、作業(yè)調(diào)度、性能優(yōu)化、系統(tǒng)高可用性和安全性方面進(jìn)行研究。
[0004]但是，現(xiàn)有的Hadoop技術(shù)中，存在如下問題:
[0005]1、數(shù)據(jù)訪問延遲高，不適合低延遲的數(shù)據(jù)訪問操作。
[0006]2、數(shù)據(jù)訪問延遲高，導(dǎo)致無法高效存儲大量的小文件。
[0007]3、不支持多用戶管理，無法實(shí)現(xiàn)多用戶寫入和修改。
[0008]針對上述現(xiàn)有分布式數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)訪問延遲高的問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0009]本發(fā)明實(shí)施例提供了一種分布式數(shù)據(jù)存儲方法、裝置及系統(tǒng)，以至少解決現(xiàn)有分布式數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)訪問延遲高的技術(shù)問題。
[0010]根據(jù)本發(fā)明實(shí)施例的一個方面，提供了一種分布式數(shù)據(jù)存儲系統(tǒng)，包括:數(shù)據(jù)采集服務(wù)器，用于對基礎(chǔ)數(shù)據(jù)進(jìn)行采集;數(shù)據(jù)處理服務(wù)器，與數(shù)據(jù)采集服務(wù)器連接，用于對基礎(chǔ)數(shù)據(jù)進(jìn)行分類，確定基礎(chǔ)數(shù)據(jù)的類型，其中，類型至少包括:結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型;分布式存儲集群，與數(shù)據(jù)處理服務(wù)器連接，用于將結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群，將非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第二子存儲集群。
[0011 ]進(jìn)一步地，上述分布式存儲集群還包括:索引服務(wù)器，與第一子存儲集群連接，用于根據(jù)結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)生成數(shù)據(jù)索引信息。
[0012]進(jìn)一步地，上述系統(tǒng)還包括:緩存存儲服務(wù)器，與數(shù)據(jù)處理服務(wù)器連接，用于將數(shù)據(jù)采集服務(wù)器采集到的基礎(chǔ)數(shù)據(jù)進(jìn)行緩存。
[0013]進(jìn)一步地，第二子存儲集群采用HadoopHDFS分布式文件存儲構(gòu)架。
[0014]進(jìn)一步地，上述系統(tǒng)還包括:應(yīng)用服務(wù)器，與分布式存儲集群連接，用于提供對分布式存儲集群中存儲的基礎(chǔ)數(shù)據(jù)進(jìn)行訪問的數(shù)據(jù)接口。
[0015]根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種分布式數(shù)據(jù)存儲方法，包括:對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定基礎(chǔ)數(shù)據(jù)的類型，其中，類型至少包括:結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型;將基礎(chǔ)數(shù)據(jù)按照類型存儲至第一子存儲集群和/或第二子存儲集群。
[0016]進(jìn)一步地，在對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定基礎(chǔ)數(shù)據(jù)的類型之后，方法還包括:根據(jù)非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)，生成與基礎(chǔ)數(shù)據(jù)對應(yīng)的元數(shù)據(jù);將元數(shù)據(jù)作為結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群。
[0017]進(jìn)一步地，在將基礎(chǔ)數(shù)據(jù)按照類型存儲至第一子存儲集群和/或第二子存儲集群之后，方法還包括:根據(jù)基礎(chǔ)數(shù)據(jù)生成數(shù)據(jù)索引信息，其中，數(shù)據(jù)索引信息至少包括:基礎(chǔ)數(shù)據(jù)的描述信息和存儲位置信息;將數(shù)據(jù)索引信息存儲至索引服務(wù)器。
[0018]進(jìn)一步地，將基礎(chǔ)數(shù)據(jù)按照類型存儲至第一子存儲集群和/或第二子存儲集群，包括:按照類型將基礎(chǔ)數(shù)據(jù)存儲至緩存服務(wù)器;根據(jù)預(yù)先設(shè)置的存儲策略，將結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群，將非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲值第二子存儲集群。
[0019]根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種分布式數(shù)據(jù)存儲方法，包括:篩選模塊，用于對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定基礎(chǔ)數(shù)據(jù)的類型，其中，類型至少包括:結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型;第一存儲模塊，用于將基礎(chǔ)數(shù)據(jù)按照類型存儲至第一子存儲集群和/或第二子存儲集群。
[0020]進(jìn)一步地，上述裝置還包括:第一生成模塊，用于根據(jù)非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)，生成與基礎(chǔ)數(shù)據(jù)對應(yīng)的元數(shù)據(jù);第二存儲模塊，用于將元數(shù)據(jù)作為結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群。
[0021 ]進(jìn)一步地，上述裝置還包括:第二生成模塊，用于根據(jù)結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)生成數(shù)據(jù)索引信息，其中，數(shù)據(jù)索引信息至少包括:基礎(chǔ)數(shù)據(jù)的描述信息和存儲位置信息;第三存儲模塊，用于將數(shù)據(jù)索引信息存儲至索引服務(wù)器。
[0022]在本發(fā)明實(shí)施例中，采用對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定基礎(chǔ)數(shù)據(jù)的類型，其中，類型至少包括:結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型;將基礎(chǔ)數(shù)據(jù)按照類型存儲至第一子存儲集群和/或第二子存儲集群的方式，從而達(dá)到提高分布式存儲集群整體存儲效率的目的，實(shí)現(xiàn)了降低分布式存儲集群的延遲時間的技術(shù)效果，解決了現(xiàn)有分布式數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)訪問延遲高的技術(shù)問題。
【附圖說明】
[0023]此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
[0024]圖1是根據(jù)本發(fā)明實(shí)施例的分布式數(shù)據(jù)存儲系統(tǒng)的系統(tǒng)框架圖；
[0025]圖2是根據(jù)本發(fā)明實(shí)施例的一種可選的分布式數(shù)據(jù)存儲系統(tǒng)的系統(tǒng)框架圖；
[0026]圖3是根據(jù)本發(fā)明實(shí)施例的一種可選的分布式數(shù)據(jù)存儲系統(tǒng)的系統(tǒng)框架圖；
[0027]圖4是根據(jù)本發(fā)明實(shí)施例的一種可選的分布式數(shù)據(jù)存儲系統(tǒng)的系統(tǒng)框架圖；
[0028]圖5是根據(jù)本發(fā)明實(shí)施例的分布式數(shù)據(jù)存儲方法的流程圖；
[0029]圖6是根據(jù)本發(fā)明實(shí)施例的一種可選的分布式數(shù)據(jù)存儲裝置的示意圖；
[0030]圖7是根據(jù)本發(fā)明實(shí)施例的一種可選的分布式數(shù)據(jù)存儲裝置的示意圖；以及[0031 ]圖8是根據(jù)本發(fā)明實(shí)施例的一種可選的分布式數(shù)據(jù)存儲裝置的示意圖。
【具體實(shí)施方式】
[0032]為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分的實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本發(fā)明保護(hù)的范圍。
[0033]需要說明的是，本發(fā)明的說明書和權(quán)利要求書及上述附圖中的術(shù)語“第一”、“第二”等是用于區(qū)別類似的對象，而不必用于描述特定的順序或先后次序。應(yīng)該理解這樣使用的數(shù)據(jù)在適當(dāng)情況下可以互換，以便這里描述的本發(fā)明的實(shí)施例能夠以除了在這里圖示或描述的那些以外的順序?qū)嵤４送?，術(shù)語“包括”和“具有”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統(tǒng)、產(chǎn)品或設(shè)備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或?qū)τ谶@些過程、方法、產(chǎn)品或設(shè)備固有的其它步驟或單元。
[0034]根據(jù)本發(fā)明實(shí)施例，提供了一種分布式數(shù)據(jù)存儲系統(tǒng)的系統(tǒng)實(shí)施例，圖1是根據(jù)本發(fā)明實(shí)施例的分布式數(shù)據(jù)存儲系統(tǒng)的系統(tǒng)框架圖，如圖1所示，該系統(tǒng)包括:數(shù)據(jù)采集服務(wù)器21、數(shù)據(jù)處理服務(wù)器23和分布式存儲集群25。
[0035]其中，數(shù)據(jù)采集服務(wù)器21，用于對基礎(chǔ)數(shù)據(jù)進(jìn)行采集;數(shù)據(jù)處理服務(wù)器23，與數(shù)據(jù)采集服務(wù)器21連接，用于對基礎(chǔ)數(shù)據(jù)進(jìn)行分類，確定基礎(chǔ)數(shù)據(jù)的類型，其中，類型至少包括:結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型;分布式存儲集群25，與數(shù)據(jù)處理服務(wù)器23連接，用于將結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群251，將非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第二子存儲集群253。
[0036]具體的，通過上述數(shù)據(jù)采集服務(wù)器21、數(shù)據(jù)處理服務(wù)器23和分布式存儲集群25，在對基礎(chǔ)數(shù)據(jù)進(jìn)行分布式存儲之前，通過數(shù)據(jù)處理服務(wù)器23對采集到的基礎(chǔ)數(shù)據(jù)的類型進(jìn)行分類處理，并根據(jù)基礎(chǔ)數(shù)據(jù)的類型，將基礎(chǔ)數(shù)據(jù)存入分布式存儲集群中的不同子存儲集群中。根據(jù)基礎(chǔ)數(shù)據(jù)的類型，將不同類型的基礎(chǔ)數(shù)據(jù)存儲至采用與其適應(yīng)的存儲形式的子存儲集群當(dāng)中。
[0037]基礎(chǔ)數(shù)據(jù)的類型至少可以被分為結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型，其中，結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)即為行數(shù)據(jù)，可以直接存儲在數(shù)據(jù)庫中，以二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)。非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)相對于結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)而言，不便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)，其包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等。
[0038]作為一種可選的實(shí)施方式，數(shù)據(jù)處理服務(wù)器23在對基礎(chǔ)數(shù)據(jù)進(jìn)行分類之后，還可以進(jìn)一步的對類型為非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)進(jìn)行進(jìn)一步篩查，將用于記錄文字信息的文件中的內(nèi)容進(jìn)行提取，以及對圖片格式中的內(nèi)容通過光學(xué)字符識別OCR技術(shù)進(jìn)行識別，提取與其對應(yīng)的元數(shù)據(jù)，將元數(shù)據(jù)作為結(jié)構(gòu)化類型的數(shù)據(jù)存儲至第一子存儲集群當(dāng)中。
[0039]通過上述數(shù)據(jù)采集服務(wù)器21、數(shù)據(jù)處理服務(wù)器23和分布式存儲集群25，可以根據(jù)類型將基礎(chǔ)數(shù)據(jù)，以與其適應(yīng)的存儲方式進(jìn)行存儲，從而達(dá)到提高分布式存儲集群整體存儲效率的目的，實(shí)現(xiàn)了降低分布式存儲集群的延遲時間的技術(shù)效果，解決了現(xiàn)有分布式數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)訪問延遲高的技術(shù)問題。
[0040]作為一種可選的實(shí)施方式，如圖2所示，上述分布式存儲集群25，還可以包括:索引服務(wù)器255。
[0041]其中，索引服務(wù)器255，與第一子存儲集群251連接，用于根據(jù)結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)生成數(shù)據(jù)索引信息。
[0042]其中，通過索引服務(wù)器255，可以根據(jù)結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)的存儲位置生成索引數(shù)據(jù)，還可以根據(jù)非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)的存儲位置和與其對應(yīng)的元數(shù)據(jù)的存儲位置，生成索引數(shù)據(jù)。通過索引服務(wù)器255，在原有的精確索引查詢、元數(shù)據(jù)查詢、結(jié)構(gòu)化數(shù)據(jù)查詢的基礎(chǔ)上，實(shí)現(xiàn)通過多種索引組合對非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行高速檢索的查詢方式。
[0043]作為一種可選的實(shí)施方式，如圖3所示，系統(tǒng)還包括:緩存存儲服務(wù)器27。
[0044]其中，緩存存儲服務(wù)器27，與數(shù)據(jù)處理服務(wù)器21連接，用于將數(shù)據(jù)采集服務(wù)器采集到的基礎(chǔ)數(shù)據(jù)進(jìn)行緩存。
[0045]具體的，通過緩存存儲服務(wù)器27，可以將數(shù)據(jù)處理服務(wù)器21采集到的基礎(chǔ)數(shù)據(jù)進(jìn)行臨時性的存儲，并按照預(yù)先設(shè)置的存儲策略，將基礎(chǔ)數(shù)據(jù)集中上傳至分布式存儲集群25當(dāng)中。
[0046]作為一種可選的實(shí)施方式，緩存存儲服務(wù)器可以根據(jù)數(shù)據(jù)規(guī)模，進(jìn)行分層設(shè)置。通過逐層獲取基礎(chǔ)數(shù)據(jù)，并按照預(yù)先設(shè)置的存儲策略逐層匯總上傳的形式，對基礎(chǔ)數(shù)據(jù)進(jìn)行采集和整理。
[0047]在實(shí)際應(yīng)用當(dāng)中，在緩存存儲服務(wù)器27中至少可以設(shè)置:省前置緩存服務(wù)器(一級緩存服務(wù)器)、全國中心前置緩存服務(wù)器(二級緩存服務(wù)器)、以及與系統(tǒng)交互的后臺處理服務(wù)器(三級緩存服務(wù)器)。
[0048]其中，可以通過插件將掃描、上傳的非結(jié)構(gòu)類型的基礎(chǔ)數(shù)據(jù)，利用緩存存儲服務(wù)器逐層上傳至用于存儲非結(jié)構(gòu)類型的第二子存儲集群。第二子存儲集群中的非結(jié)構(gòu)化數(shù)據(jù)管理平臺以基本存儲單位的結(jié)構(gòu)將非結(jié)構(gòu)化數(shù)據(jù)存儲起來，并對相應(yīng)的業(yè)務(wù)系統(tǒng)反饋關(guān)聯(lián)信息。其中，在第二子存儲集群中的基本存儲單位可以根據(jù)業(yè)務(wù)系統(tǒng)的要求或者預(yù)先設(shè)置的存儲策略對文件塊大小切割。
[0049]在對基礎(chǔ)數(shù)據(jù)進(jìn)行調(diào)閱時，可以通過前端應(yīng)用服務(wù)直接請求和發(fā)送調(diào)閱報(bào)文至第二子存儲集群中的非結(jié)構(gòu)化數(shù)據(jù)管理平臺，非結(jié)構(gòu)化數(shù)據(jù)管理平臺解析請求報(bào)文，并利用調(diào)閱引擎分離出業(yè)務(wù)系統(tǒng)所需的非結(jié)構(gòu)化數(shù)據(jù)，及時反饋給調(diào)閱前端服務(wù)器，在業(yè)務(wù)系統(tǒng)中集成顯示出來。
[0050]作為一種可選的實(shí)施方式，第二子存儲集群253采用HadoopHDFS分布式文件存儲構(gòu)架。
[0051 ]在實(shí)際應(yīng)用當(dāng)中，以Hadoop HDFS分布式文件存儲構(gòu)架的來替換現(xiàn)有的存儲架構(gòu)，主要考慮到Hadoop HDFS的特點(diǎn)，以便更好的對基礎(chǔ)數(shù)據(jù)進(jìn)行管理和對業(yè)務(wù)系統(tǒng)提供基礎(chǔ)數(shù)據(jù)的支撐。
[0052]Hadoop HDFS可以支持線性擴(kuò)展以及多副本備份，該優(yōu)勢可以充分滿足非結(jié)構(gòu)化數(shù)據(jù)管理平臺對全國中心數(shù)據(jù)存儲水平擴(kuò)容、安全性以及節(jié)點(diǎn)數(shù)據(jù)的存儲動態(tài)均衡的要求;Hadoop可以構(gòu)建高可用的HA Namenode。業(yè)內(nèi)對Hadoop HA的高可用性已有很多成熟且可靠的解決方案，為全國中心的Master HA部署模式提供了指導(dǎo);利用Hadoop提供的豐富的功能，來存儲及管理海量的非結(jié)構(gòu)化數(shù)據(jù)、以及結(jié)構(gòu)化數(shù)據(jù)，并且數(shù)據(jù)類型可以是多樣的。該特點(diǎn)可以為非結(jié)構(gòu)化數(shù)據(jù)管理平臺實(shí)現(xiàn)非結(jié)構(gòu)化數(shù)據(jù)分類存儲提供了基礎(chǔ)；利用Hadoop，可以使用map reduce靈活的實(shí)現(xiàn)云計(jì)算。以滿足未來使用分布式存儲基礎(chǔ)上，提供云計(jì)算構(gòu)建擴(kuò)充基礎(chǔ)；利用Hadoop，可以更容易集成第三方的工具或組件，比如hbase、hive、zookeeper等，從而實(shí)現(xiàn)更強(qiáng)大的統(tǒng)籌分析功能，自身管理能力，也為下一步提供大數(shù)據(jù)統(tǒng)計(jì)提供了一個環(huán)境條件。
[0053]作為一種可選的實(shí)施方式，第二子存儲集群253可以進(jìn)一步采用MasterHA存儲構(gòu)架。
[0054]在實(shí)際應(yīng)用當(dāng)中，用于管理非結(jié)構(gòu)化類型的非結(jié)構(gòu)化數(shù)據(jù)管理平臺的分布式存儲采用的可以是Master-Sal ve模式實(shí)現(xiàn)對存儲節(jié)點(diǎn)做節(jié)點(diǎn)分析、數(shù)據(jù)管理等工作。從而使得Master服務(wù)成為平臺的處理核心。進(jìn)一步的，可以利用現(xiàn)有的Hadoop HA的成熟方案并結(jié)合應(yīng)用實(shí)際進(jìn)行部署，從而使Master的雙機(jī)具有高可用性，且保證在意外情況下平臺的健壯和穩(wěn)定。
[0055]作為一種可選的實(shí)施方式，如圖4所示，在上述分布式數(shù)據(jù)存儲系統(tǒng)中，還可以包括:應(yīng)用服務(wù)器29。
[0056]其中，應(yīng)用服務(wù)器29，與分布式存儲集群25連接，用于提供對分布式存儲集群中存儲的基礎(chǔ)數(shù)據(jù)進(jìn)行訪問的數(shù)據(jù)接口。
[0057]在實(shí)際應(yīng)用當(dāng)中，為保證全面、高效的完成業(yè)務(wù)系統(tǒng)接入，通過規(guī)范接口服務(wù)和系統(tǒng)接入標(biāo)準(zhǔn)。統(tǒng)一接口服務(wù)通過應(yīng)用服務(wù)器29提供給外系統(tǒng)多種協(xié)議訪問支持，通過一系列接入實(shí)現(xiàn)對非結(jié)構(gòu)化數(shù)據(jù)管理平臺基礎(chǔ)服務(wù)框架內(nèi)各種服務(wù)元組的使用。根據(jù)不同系統(tǒng)的業(yè)務(wù)邏輯和需求定制化訪問接口服務(wù)組合，實(shí)現(xiàn)快速簡潔的系統(tǒng)接入模式，以達(dá)到節(jié)省時間、投資等成本。
[0058]由上可知，上述分布式數(shù)據(jù)存儲系統(tǒng)較現(xiàn)有技術(shù)，具有如下特點(diǎn):
[0059]采用開源的分布式系統(tǒng)創(chuàng)建統(tǒng)一的分布式數(shù)據(jù)存儲系統(tǒng)，實(shí)現(xiàn)海量數(shù)據(jù)存儲和管理。由于銀行類企業(yè)的非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)量巨大，每天產(chǎn)生各類憑證和檔案數(shù)據(jù)高達(dá)到2TB，存儲和管理的數(shù)據(jù)量高達(dá)到PB級。在這種情況下，Hadoop作為Apache組織采納Google存儲和管理海量數(shù)據(jù)的思想推出的開源項(xiàng)目框架正適合于設(shè)計(jì)要求。分布式數(shù)據(jù)存儲系統(tǒng)采用Hadoop框架搭建分布式環(huán)境，對海量小文件進(jìn)行文件合并存儲，使用ZooKeeper管理構(gòu)建的集群。
[0060]采用大量廉價PCServer集群和低端陣列代替?zhèn)鹘y(tǒng)高端存儲解決方案的系統(tǒng)硬件架構(gòu)?；趆adoop開源技術(shù)的分布式數(shù)據(jù)存儲系統(tǒng)采用開源的技術(shù)架構(gòu)不僅滿足了銀行海量數(shù)據(jù)全國集中存儲管理、為業(yè)務(wù)系統(tǒng)接入提供松耦合服務(wù)等自身特色的要求，也為未來進(jìn)一步深度挖掘非結(jié)構(gòu)化和半結(jié)構(gòu)化基礎(chǔ)數(shù)據(jù)使用價值打下架構(gòu)基礎(chǔ)，更是實(shí)現(xiàn)了采用大量廉價PC Server集群和低端陣列代替?zhèn)鹘y(tǒng)高端存儲解決方案的系統(tǒng)硬件架構(gòu)。這不但為企業(yè)節(jié)約大量資金投入、降低數(shù)據(jù)基礎(chǔ)設(shè)施的成本，還絲毫不遜色于專業(yè)高端存儲的訪問效率，在海量非結(jié)構(gòu)化數(shù)據(jù)存儲的情況下甚至更高，更是提高了大數(shù)據(jù)環(huán)境下非結(jié)構(gòu)化數(shù)據(jù)的價值。
[0061 ]基于hadoop開源技術(shù)的分布式數(shù)據(jù)存儲系統(tǒng)具有非常好的擴(kuò)展性和穩(wěn)定性。分布式存儲架構(gòu)不僅解決了擴(kuò)展帶來的性能壓力，還十分易于設(shè)備擴(kuò)充以及調(diào)試和部署，能夠?yàn)槠髽I(yè)節(jié)省升級改造帶來的大量人力、物力成本，降低系統(tǒng)升級帶來的潛在風(fēng)險、維持平臺長期穩(wěn)定生產(chǎn)運(yùn)行。
[0062]基于hadoop開源技術(shù)的分布式數(shù)據(jù)存儲系統(tǒng)以大數(shù)據(jù)管理為基礎(chǔ)，可以在為銀行類企業(yè)的海量非結(jié)構(gòu)化數(shù)據(jù)存儲與共享提供了解決方案的同時，還提供對于非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)完整生命周期的管理，擁有完善的安全認(rèn)證機(jī)制，能夠?yàn)殂y行類企業(yè)以內(nèi)容為驅(qū)動的業(yè)務(wù)提供完整的流程實(shí)現(xiàn)。
[0063]分布式全文索引技術(shù)能夠與關(guān)系型數(shù)據(jù)庫查詢互補(bǔ)，滿足高效數(shù)據(jù)檢索要求?；陉P(guān)系數(shù)據(jù)庫存儲的元數(shù)據(jù)，面臨存儲數(shù)據(jù)量巨大，檢索效率不高等問題。利用分布式全文索引解決關(guān)系型數(shù)據(jù)庫無法模糊檢索問題，而批量精確檢索利用傳統(tǒng)數(shù)據(jù)庫優(yōu)勢實(shí)現(xiàn)。如此形成文件檢索模式的互補(bǔ)，能夠滿足銀行對于非結(jié)構(gòu)化數(shù)據(jù)使用的要求。
[0064]基于hadoop開源技術(shù)的分布式數(shù)據(jù)存儲系統(tǒng)實(shí)現(xiàn)了非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)的采集、管理及在各個業(yè)務(wù)系統(tǒng)中共享;實(shí)現(xiàn)業(yè)務(wù)流程的優(yōu)化和再造，使檔案等非結(jié)構(gòu)化數(shù)據(jù)管理更加科學(xué)、合理。為銀行類企業(yè)未來各類業(yè)務(wù)發(fā)展提供圖像檔案、數(shù)據(jù)文件集中控制和規(guī)范化管理的有力基礎(chǔ)平臺支撐。實(shí)現(xiàn)內(nèi)控制度流程化，實(shí)現(xiàn)規(guī)章制度植入業(yè)務(wù)流程，最終實(shí)現(xiàn)業(yè)務(wù)流程優(yōu)化和再造，為從傳統(tǒng)的部門銀行向流程銀行邁進(jìn)奠定良好的基礎(chǔ)。
[0065]根據(jù)本發(fā)明實(shí)施例，提供了一種分布式數(shù)據(jù)存儲方法的方法實(shí)施例，需要說明的是，在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行，并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
[0066]圖5是根據(jù)本發(fā)明實(shí)施例的分布式數(shù)據(jù)存儲方法的流程圖，如圖5所示，該方法包括如下步驟:
[0067]步驟S21，對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定基礎(chǔ)數(shù)據(jù)的類型，其中，類型至少包括:結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型。
[0068]步驟S23，將基礎(chǔ)數(shù)據(jù)按照類型存儲至第一子存儲集群和/或第二子存儲集群。
[0069]具體的，在上述步驟S21至步驟S23中，通過數(shù)據(jù)篩選確定獲取到的基礎(chǔ)數(shù)據(jù)的類型，并根據(jù)類型將基礎(chǔ)數(shù)據(jù)以相應(yīng)的存儲形式存儲至預(yù)定存儲集群當(dāng)中。從而達(dá)到提高分布式存儲集群整體存儲效率的目的，實(shí)現(xiàn)了降低分布式存儲集群的延遲時間的技術(shù)效果，解決了現(xiàn)有分布式數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)訪問延遲高的技術(shù)問題。
[0070]作為一種可選的實(shí)施方式，在步驟S21對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定基礎(chǔ)數(shù)據(jù)的類型之后，該方法還包括:
[0071]步驟S221，根據(jù)非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)，生成與基礎(chǔ)數(shù)據(jù)對應(yīng)的元數(shù)據(jù)。
[0072]步驟S223，將元數(shù)據(jù)作為結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群。
[0073]具體的，通過步驟S221至步驟S223，在對基礎(chǔ)數(shù)據(jù)進(jìn)行分類后，再對類型為非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)中的內(nèi)容進(jìn)行提取，獲取到用于描述非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)的元數(shù)據(jù)。進(jìn)一步，將元數(shù)據(jù)作為結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群當(dāng)中，以提高讀寫效率。
[0074]作為一種可選的實(shí)施方式，在步驟S23將基礎(chǔ)數(shù)據(jù)按照類型存儲至第一子存儲集群和/或第二子存儲集群之后，該方法還包括:
[0075]步驟S25，根據(jù)基礎(chǔ)數(shù)據(jù)生成數(shù)據(jù)索引信息，其中，數(shù)據(jù)索引信息至少包括:基礎(chǔ)數(shù)據(jù)的描述信息和存儲位置信息。
[0076]步驟S27，將數(shù)據(jù)索引信息存儲至索引服務(wù)器。
[0077]具體的，通過步驟S25至步驟S27，根據(jù)基礎(chǔ)數(shù)據(jù)的內(nèi)容描述信息、存儲位置和/或關(guān)聯(lián)關(guān)系生成數(shù)據(jù)索引信息，并將數(shù)據(jù)索引信息存儲至索引服務(wù)器當(dāng)中。從而降低分布式存儲集群的負(fù)載，并提高整體分布式存儲系統(tǒng)的系統(tǒng)效率。
[0078]作為一種可選的實(shí)施方式，在步驟S23將基礎(chǔ)數(shù)據(jù)按照類型存儲至第一子存儲集群和/或第二子存儲集群中，該步驟包括:
[0079]步驟S231，按照類型將基礎(chǔ)數(shù)據(jù)存儲至緩存服務(wù)器。
[0080]步驟S233，根據(jù)預(yù)先設(shè)置的存儲策略，將結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群，將非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲值第二子存儲集群。
[0081]具體的，可以在分布式數(shù)據(jù)存儲系統(tǒng)中設(shè)置緩存服務(wù)器，并且這些緩存服務(wù)器可以分級設(shè)置。緩存服務(wù)器可以用戶臨時存儲數(shù)據(jù)采集服務(wù)器采集到的基礎(chǔ)數(shù)據(jù)。按照預(yù)先設(shè)置的存儲策略，將基礎(chǔ)數(shù)據(jù)按照類型集逐層上傳至第一子存儲集群和第二子存儲集群當(dāng)中。
[0082]根據(jù)本發(fā)明實(shí)施例，還提供了一種分布式數(shù)據(jù)存儲裝置的裝置實(shí)施例，如圖6所示，上述分布式數(shù)據(jù)存儲裝置包括:篩選模塊31和第一存儲模塊33。
[0083]其中，篩選模塊31，用于對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定基礎(chǔ)數(shù)據(jù)的類型，其中，類型至少包括:結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型；第一存儲模塊33，用于將基礎(chǔ)數(shù)據(jù)按照類型存儲至第一子存儲集群和/或第二子存儲集群。
[0084]具體的，在上述篩選模塊31和第一存儲模塊33中，通過數(shù)據(jù)篩選確定獲取到的基礎(chǔ)數(shù)據(jù)的類型，并根據(jù)類型將基礎(chǔ)數(shù)據(jù)以相應(yīng)的存儲形式存儲至預(yù)定存儲集群當(dāng)中。從而達(dá)到提高分布式存儲集群整體存儲效率的目的，實(shí)現(xiàn)了降低分布式存儲集群的延遲時間的技術(shù)效果，解決了現(xiàn)有分布式數(shù)據(jù)存儲系統(tǒng)的數(shù)據(jù)訪問延遲高的技術(shù)問題。
[0085]作為一種可選的實(shí)施方式，如圖7所示，上述裝置還可以包括:第一生成模塊321和第二存儲模塊323。
[0086]其中，第一生成模塊321，用于根據(jù)非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)，生成與基礎(chǔ)數(shù)據(jù)對應(yīng)的元數(shù)據(jù);第二存儲模塊323，用于將元數(shù)據(jù)作為結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群。
[0087]具體的，通過上述第一生成模塊321和第二存儲模塊323，在對基礎(chǔ)數(shù)據(jù)進(jìn)行分類后，再對類型為非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)中的內(nèi)容進(jìn)行提取，獲取到用于描述非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)的元數(shù)據(jù)。進(jìn)一步，將元數(shù)據(jù)作為結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群當(dāng)中，以提尚讀與效率。
[0088]作為一種可選的實(shí)施方式，如圖8所示，上述裝置還可以包括:第二生成模塊35和第三存儲模塊37。
[0089]第二生成模塊35，用于根據(jù)結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)生成數(shù)據(jù)索引信息，其中，數(shù)據(jù)索引信息至少包括:基礎(chǔ)數(shù)據(jù)的描述信息和存儲位置信息;第三存儲模塊37，用于將數(shù)據(jù)索引信息存儲至索引服務(wù)器。
[0090]具體的，通過上述第二生成模塊35和第三存儲模塊37，根據(jù)基礎(chǔ)數(shù)據(jù)的內(nèi)容描述信息、存儲位置和/或關(guān)聯(lián)關(guān)系生成數(shù)據(jù)索引信息，并將數(shù)據(jù)索引信息存儲至索引服務(wù)器當(dāng)中。從而降低分布式存儲集群的負(fù)載，并提高整體分布式存儲系統(tǒng)的系統(tǒng)效率。
[0091]進(jìn)一步的，作為一種可選的實(shí)施方式，在上述第一存儲模塊33中，可以執(zhí)行如下步驟:
[0092]按照類型將基礎(chǔ)數(shù)據(jù)存儲至緩存服務(wù)器。并根據(jù)預(yù)先設(shè)置的存儲策略，將結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群，將非結(jié)構(gòu)化類型的基礎(chǔ)數(shù)據(jù)存儲值第二子存儲集群。
[0093]具體的，可以在分布式數(shù)據(jù)存儲系統(tǒng)中設(shè)置緩存服務(wù)器，并且這些緩存服務(wù)器可以分級設(shè)置。緩存服務(wù)器可以用戶臨時存儲數(shù)據(jù)采集服務(wù)器采集到的基礎(chǔ)數(shù)據(jù)。按照預(yù)先設(shè)置的存儲策略，將基礎(chǔ)數(shù)據(jù)按照類型集逐層上傳至第一子存儲集群和第二子存儲集群當(dāng)中。
[0094]上述本發(fā)明實(shí)施例序號僅僅為了描述，不代表實(shí)施例的優(yōu)劣。
[0095]在本發(fā)明的上述實(shí)施例中，對各個實(shí)施例的描述都各有側(cè)重，某個實(shí)施例中沒有詳述的部分，可以參見其他實(shí)施例的相關(guān)描述。
[0096]在本申請所提供的幾個實(shí)施例中，應(yīng)該理解到，所揭露的技術(shù)內(nèi)容，可通過其它的方式實(shí)現(xiàn)。其中，以上所描述的裝置實(shí)施例僅僅是示意性的，例如所述單元的劃分，可以為一種邏輯功能劃分，實(shí)際實(shí)現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點(diǎn)，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，單元或模塊的間接耦合或通信連接，可以是電性或其它的形式。
[0097]所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個單元上?？梢愿鶕?jù)實(shí)際的需要選擇其中的部分或者全部單元來實(shí)現(xiàn)本實(shí)施例方案的目的。
[0098]另外，在本發(fā)明各個實(shí)施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨(dú)物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實(shí)現(xiàn)，也可以采用軟件功能單元的形式實(shí)現(xiàn)。
[0099]所述集成的單元如果以軟件功能單元的形式實(shí)現(xiàn)并作為獨(dú)立的產(chǎn)品銷售或使用時，可以存儲在一個計(jì)算機(jī)可讀取存儲介質(zhì)中。基于這樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分或者該技術(shù)方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計(jì)算機(jī)設(shè)備(可為個人計(jì)算機(jī)、服務(wù)器或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實(shí)施例所述方法的全部或部分步驟。而前述的存儲介質(zhì)包括:U盤、只讀存儲器(R0M，Read-0nly Memory)、隨機(jī)存取存儲器(RAM，Random Access Memory)、移動硬盤、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
[0100]以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也應(yīng)視為本發(fā)明的保護(hù)范圍。
【主權(quán)項(xiàng)】
1.一種分布式數(shù)據(jù)存儲系統(tǒng)，其特征在于，包括: 數(shù)據(jù)采集服務(wù)器，用于對基礎(chǔ)數(shù)據(jù)進(jìn)行采集； 數(shù)據(jù)處理服務(wù)器，與所述數(shù)據(jù)采集服務(wù)器連接，用于對所述基礎(chǔ)數(shù)據(jù)進(jìn)行分類，確定所述基礎(chǔ)數(shù)據(jù)的類型，其中，所述類型至少包括:結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型； 分布式存儲集群，與所述數(shù)據(jù)處理服務(wù)器連接，用于將所述結(jié)構(gòu)化類型的所述基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群，將所述非結(jié)構(gòu)化類型的所述基礎(chǔ)數(shù)據(jù)存儲至第二子存儲集群。2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述分布式存儲集群包括: 索引服務(wù)器，與所述第一子存儲集群連接，用于根據(jù)所述結(jié)構(gòu)化類型的所述基礎(chǔ)數(shù)據(jù)生成數(shù)據(jù)索引信息。3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括: 緩存存儲服務(wù)器，與所述數(shù)據(jù)處理服務(wù)器連接，用于將所述數(shù)據(jù)采集服務(wù)器采集到的所述基礎(chǔ)數(shù)據(jù)進(jìn)行緩存。4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其特征在于，所述第二子存儲集群采用HadoopHDFS分布式文件存儲構(gòu)架。5.根據(jù)權(quán)利要求1至4中任意一項(xiàng)所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括: 應(yīng)用服務(wù)器，與所述分布式存儲集群連接，用于提供對所述分布式存儲集群中存儲的所述基礎(chǔ)數(shù)據(jù)進(jìn)行訪問的數(shù)據(jù)接口。6.—種應(yīng)用于權(quán)利要求1至5中任意一項(xiàng)所述的系統(tǒng)的分布式數(shù)據(jù)存儲方法，其特征在于，包括: 對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定所述基礎(chǔ)數(shù)據(jù)的類型，其中，所述類型至少包括:結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型； 將所述基礎(chǔ)數(shù)據(jù)按照所述類型存儲至第一子存儲集群和/或第二子存儲集群。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定所述基礎(chǔ)數(shù)據(jù)的類型之后，所述方法還包括: 根據(jù)所述非結(jié)構(gòu)化類型的所述基礎(chǔ)數(shù)據(jù)，生成與所述基礎(chǔ)數(shù)據(jù)對應(yīng)的元數(shù)據(jù)； 將所述元數(shù)據(jù)作為所述結(jié)構(gòu)化類型的所述基礎(chǔ)數(shù)據(jù)存儲至所述第一子存儲集群。8.根據(jù)權(quán)利要求7所述的方法，其特征在于，在將所述基礎(chǔ)數(shù)據(jù)按照所述類型存儲至第一子存儲集群和/或第二子存儲集群之后，所述方法還包括: 根據(jù)所述基礎(chǔ)數(shù)據(jù)生成數(shù)據(jù)索引信息，其中，所述數(shù)據(jù)索引信息至少包括:所述基礎(chǔ)數(shù)據(jù)的描述信息和存儲位置信息； 將所述數(shù)據(jù)索引信息存儲至索引服務(wù)器。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，將所述基礎(chǔ)數(shù)據(jù)按照所述類型存儲至所述第一子存儲集群和/或所述第二子存儲集群，包括: 按照所述類型將所述基礎(chǔ)數(shù)據(jù)存儲至緩存服務(wù)器； 根據(jù)預(yù)先設(shè)置的存儲策略，將所述結(jié)構(gòu)化類型的所述基礎(chǔ)數(shù)據(jù)存儲至第一子存儲集群，將所述非結(jié)構(gòu)化類型的所述基礎(chǔ)數(shù)據(jù)存儲值第二子存儲集群。10.一種分布式數(shù)據(jù)存儲裝置，其特征在于，包括: 篩選模塊，用于對獲取到的基礎(chǔ)數(shù)據(jù)進(jìn)行篩選，確定所述基礎(chǔ)數(shù)據(jù)的類型，其中，所述類型至少包括:結(jié)構(gòu)化類型和非結(jié)構(gòu)化類型； 第一存儲模塊，用于將所述基礎(chǔ)數(shù)據(jù)按照所述類型存儲至第一子存儲集群和/或第二子存儲集群。
【文檔編號】G06F17/30GK106095796SQ201610371832
【公開日】2016年11月9日
【申請日】2016年5月30日
【發(fā)明人】呂家進(jìn), 徐朝輝, 胡軍鋒, 段永政, 張振山, 戚翯, 劉博聞, 崔金虎, 瞿紅來, 鐘亮
【申請人】中國郵政儲蓄銀行股份有限公司