一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)的制作方法
【專利摘要】本實(shí)用新型涉及一種存儲系統(tǒng)，屬于大數(shù)據(jù)挖掘設(shè)備領(lǐng)域，具體涉及一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)。包括：客戶端，以及與客戶端相連的數(shù)據(jù)中心；數(shù)據(jù)中心為兩個，每個數(shù)據(jù)中心包括：服務(wù)器，以及通過網(wǎng)絡(luò)與服務(wù)器相連的光纖交換機(jī)，其中，每個光纖交換機(jī)與多個磁盤存儲陣列相連，并且每兩個磁盤存儲陣列構(gòu)成一個HA雙機(jī)集群系統(tǒng)；并且，第一個數(shù)據(jù)中心的光纖交換機(jī)通過波分鏈路與第二個數(shù)據(jù)中心的光纖交換機(jī)相連。因此，本實(shí)用新型具有如下優(yōu)點(diǎn)：1.設(shè)計(jì)合理，結(jié)構(gòu)簡單，成本低且完全實(shí)用；2.管理簡單，存儲資源利用效率高，數(shù)據(jù)安全；3.部署容易，借助云儲存管理平臺的TPM技術(shù)，云存儲管理平臺的接入在線進(jìn)行，無需停機(jī)。
【專利說明】
一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)
技術(shù)領(lǐng)域
[0001]本實(shí)用新型涉及一種存儲系統(tǒng)，屬于大數(shù)據(jù)挖掘設(shè)備領(lǐng)域，具體涉及一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)?！颈尘凹夹g(shù)】
[0002]近年來，由于信息技術(shù)的發(fā)展，科學(xué)計(jì)算和商業(yè)計(jì)算等眾多應(yīng)用領(lǐng)域會產(chǎn)生了規(guī)模相當(dāng)巨大的數(shù)據(jù)，并且數(shù)據(jù)量仍在快速增加，呈海量形式發(fā)展。大數(shù)據(jù)在生活中無處不在，大數(shù)據(jù)不僅僅是數(shù)據(jù)的“大量化”，而是包含“快速化”、“多樣化”和“價(jià)值化”等多重屬性。預(yù)計(jì)到2020年，全球電子設(shè)備存儲的數(shù)據(jù)將暴增至35ZB。每秒鐘，人們會發(fā)送290萬封電子郵件;每分鐘，人們會向Youtube上傳60個小時(shí)的視頻;每一天，人們會在Twitter上發(fā)1.9 億條微博消息以及在Fzcebook發(fā)出40億條信息。面對海量的數(shù)據(jù)，大數(shù)據(jù)存儲與處理面臨巨大的挑戰(zhàn)，包括如何彈性地應(yīng)對數(shù)據(jù)和負(fù)載的動態(tài)變化、如何有效存儲和海量的數(shù)據(jù)以及支持大數(shù)據(jù)上的智能分析和事務(wù)處理。
[0003]在科學(xué)計(jì)算方面，如物理學(xué)、天文學(xué)、生物學(xué)等領(lǐng)域都會產(chǎn)生規(guī)模龐大的數(shù)據(jù)，而且每年的數(shù)據(jù)規(guī)模達(dá)到若干PB。而在商業(yè)計(jì)算方面，Web搜索、社會網(wǎng)絡(luò)等需要處理的數(shù)據(jù)規(guī)模也非常龐大，例如，Google和Facebook等應(yīng)用產(chǎn)生的數(shù)據(jù)達(dá)到PB甚至EB級。
[0004]按照摩爾定律，處理器的速度每18個月就會翻一番，光纖技術(shù)的發(fā)展也大大加快了數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸速度。但是，數(shù)據(jù)存取受限于存儲介質(zhì)的機(jī)械運(yùn)動，使得數(shù)據(jù)存取成為制約信息技術(shù)發(fā)展的主要瓶頸.面對數(shù)據(jù)存儲的急劇膨脹，企業(yè)需要不斷購置大量的存儲設(shè)備來應(yīng)對不斷增長的存儲需求。
[0005]但是，現(xiàn)有技術(shù)中的大數(shù)據(jù)挖掘設(shè)備不僅存儲設(shè)備的采購預(yù)算越來越高，大多數(shù)企業(yè)難以承受如此巨大的開支，并且大量的異構(gòu)物理存儲資源大大增加了存儲管理的復(fù)雜性，容易造成存儲資源浪費(fèi)和利用效率不高，此外，現(xiàn)有技術(shù)中的大數(shù)據(jù)存儲的安全性較低。【實(shí)用新型內(nèi)容】
[0006]本實(shí)用新型主要是解決現(xiàn)有技術(shù)所存在的大數(shù)據(jù)挖掘設(shè)備成本高，管理復(fù)雜，存儲資源浪費(fèi)，利用效率不高，數(shù)據(jù)存儲安全性較低的技術(shù)問題，提供了一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)。該大數(shù)據(jù)挖掘分布式存儲系統(tǒng)設(shè)計(jì)合理，結(jié)構(gòu)簡單，成本低且完全實(shí)用，并且， 管理簡單，存儲資源利用效率高，數(shù)據(jù)安全;此外，部署容易，借助云儲存管理平臺的TPM技術(shù)，云存儲管理平臺的接入在線進(jìn)行，無需停機(jī)。
[0007]本實(shí)用新型的上述技術(shù)問題主要是通過下述技術(shù)方案得以解決的:
[0008]—種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)，包括:客戶端，以及與客戶端相連的數(shù)據(jù)中心；
[0009]所述數(shù)據(jù)中心為兩個，每個數(shù)據(jù)中心包括:服務(wù)器，以及通過網(wǎng)絡(luò)與服務(wù)器相連的光纖交換機(jī)，其中，每個光纖交換機(jī)與多個磁盤存儲陣列相連，并且每兩個磁盤存儲陣列構(gòu)成一個HA雙機(jī)集群系統(tǒng)；
[0010]并且，第一個數(shù)據(jù)中心的光纖交換機(jī)通過波分鏈路與第二個數(shù)據(jù)中心的光纖交換機(jī)相連。
[0011]優(yōu)化的，上述的一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)，還包括用于整合不同存儲系統(tǒng)并向外提供統(tǒng)一存儲操作接口的虛擬化存儲網(wǎng)關(guān)，并且每個光纖交換機(jī)與兩個虛擬化存儲網(wǎng)關(guān)相連，每兩個虛擬化存儲網(wǎng)關(guān)之間構(gòu)成一個HA雙機(jī)集群系統(tǒng)。
[0012]優(yōu)化的，上述的一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)，所述服務(wù)器包括用于進(jìn)行數(shù)據(jù)交換的物理服務(wù)器，以及用于提供存儲服務(wù)接口的虛擬服務(wù)器。
[0013]優(yōu)化的，上述的一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)，所述磁盤存儲陣列包括:用于存儲采集的流媒體資源的流媒體采集資源池、用于存儲對流媒體采集資源池中存儲的數(shù)據(jù)進(jìn)行圖像壓縮和分片結(jié)果的流媒體分片壓縮池，用于存儲對流媒體分片壓縮池中的數(shù)據(jù)進(jìn)行分析得到的結(jié)果的流媒體分析結(jié)果池。
[0014]因此，本實(shí)用新型具有如下優(yōu)點(diǎn):1.設(shè)計(jì)合理，結(jié)構(gòu)簡單，成本低且完全實(shí)用；2.管理簡單，存儲資源利用效率高，數(shù)據(jù)安全;3.部署容易，借助云儲存管理平臺的TPM技術(shù)，云存儲管理平臺的接入在線進(jìn)行，無需停機(jī)?！靖綀D說明】[0〇15]圖1為本實(shí)用新型的結(jié)構(gòu)不意圖?！揪唧w實(shí)施方式】
[0016]下面通過實(shí)施例，并結(jié)合附圖，對本實(shí)用新型的技術(shù)方案作進(jìn)一步具體的說明。 [〇〇17] 實(shí)施例:
[0018]如圖1所示，一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)，包括:客戶端，以及與客戶端相連的數(shù)據(jù)中心；
[0019]數(shù)據(jù)中心為兩個，每個數(shù)據(jù)中心包括:服務(wù)器，以及通過網(wǎng)絡(luò)與服務(wù)器相連的光纖交換機(jī)，其中，每個光纖交換機(jī)與多個磁盤存儲陣列相連，并且每兩個磁盤存儲陣列構(gòu)成一個HA雙機(jī)集群系統(tǒng)；
[0020]并且，第一個數(shù)據(jù)中心的光纖交換機(jī)通過波分鏈路與第二個數(shù)據(jù)中心的光纖交換機(jī)相連。
[0021]還包括用于整合不同存儲系統(tǒng)并向外提供統(tǒng)一存儲操作接口的虛擬化存儲網(wǎng)關(guān)， 并且每個光纖交換機(jī)與兩個虛擬化存儲網(wǎng)關(guān)相連，每兩個虛擬化存儲網(wǎng)關(guān)之間構(gòu)成一個HA 雙機(jī)集群系統(tǒng)。服務(wù)器包括用于進(jìn)行數(shù)據(jù)交換的物理服務(wù)器，以及用于提供存儲服務(wù)接口的虛擬服務(wù)器。
[0022]本實(shí)施例的磁盤存儲陣列包括:用于存儲采集的流媒體資源的流媒體采集資源池、用于存儲對流媒體采集資源池中存儲的數(shù)據(jù)進(jìn)行圖像壓縮和分片結(jié)果的流媒體分片壓縮池，用于存儲對流媒體分片壓縮池中的數(shù)據(jù)進(jìn)行分析得到的結(jié)果的流媒體分析結(jié)果池。 [〇〇23]本實(shí)施例采用兩個數(shù)據(jù)中心構(gòu)成了雙活數(shù)據(jù)中心結(jié)構(gòu)。兩個數(shù)據(jù)中心共享存儲、 網(wǎng)絡(luò)以及服務(wù)器資源，兩個數(shù)據(jù)中心同時(shí)對外提供服務(wù)，整個系統(tǒng)具有業(yè)務(wù)負(fù)載均衡、自動故障切換、業(yè)務(wù)接管等功能。
[0024]雙活數(shù)據(jù)中心作為整個系統(tǒng)的核心基礎(chǔ)架構(gòu)平臺，主要解決以下兩個核心問題。一是如何在兩個數(shù)據(jù)中心間實(shí)現(xiàn)數(shù)據(jù)實(shí)時(shí)同步，從而保證異常情況下，零數(shù)據(jù)丟失(RP〇 = 0)。二是如何實(shí)現(xiàn)存儲資源的虛擬化，提供可同時(shí)被兩個數(shù)據(jù)中心主機(jī)訪問的存儲共享卷， 從而實(shí)現(xiàn)主機(jī)應(yīng)用集群的跨站點(diǎn)部署，保證異常情況下，應(yīng)用的自動切換(RTO?0)。[〇〇25]此方案中，云存儲管理平臺在線接管現(xiàn)有磁盤陣列，進(jìn)行虛擬化集中管理，借助云儲存管理平臺的TPM技術(shù)，云存儲管理平臺的接入在線進(jìn)行，無需停機(jī)。云儲存管理平臺接管現(xiàn)有存儲后不改變以后數(shù)據(jù)內(nèi)容和格式，繼續(xù)使用。這一功能極大的簡化了方案部署。
[0026]本文中所描述的具體實(shí)施例僅僅是對本實(shí)用新型精神作舉例說明。本實(shí)用新型所屬技術(shù)領(lǐng)域的技術(shù)人員可以對所描述的具體實(shí)施例做各種各樣的修改或補(bǔ)充或采用類似的方式替代，但并不會偏離本實(shí)用新型的精神或者超越所附權(quán)利要求書所定義的范圍。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)，其特征在于，包括:客戶端，以及與客戶端相連的數(shù)據(jù)中心； 所述數(shù)據(jù)中心為兩個，每個數(shù)據(jù)中心包括:服務(wù)器，以及通過網(wǎng)絡(luò)與服務(wù)器相連的光纖交換機(jī)，其中，每個光纖交換機(jī)與多個磁盤存儲陣列相連，并且每兩個磁盤存儲陣列構(gòu)成一個HA雙機(jī)集群系統(tǒng)； 并且，第一個數(shù)據(jù)中心的光纖交換機(jī)通過波分鏈路與第二個數(shù)據(jù)中心的光纖交換機(jī)相連。2.根據(jù)權(quán)利要求1所述的一種大數(shù)據(jù)挖掘分布式存儲系統(tǒng)，其特征在于，所述服務(wù)器包括用于進(jìn)行數(shù)據(jù)交換的物理服務(wù)器，以及用于提供存儲服務(wù)接口的虛擬服務(wù)器。
【文檔編號】H04L29/08GK205610685SQ201620157029
【公開日】2016年9月28日
【申請日】2016年3月2日
【發(fā)明人】孫劉欣
【申請人】湖北郵電規(guī)劃設(shè)計(jì)有限公司