一種基于分布式內(nèi)存中計(jì)算的大數(shù)據(jù)一體機(jī)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于數(shù)據(jù)存儲(chǔ)和計(jì)算技術(shù)領(lǐng)域，涉及一種基于分布式內(nèi)存中計(jì)算的大數(shù)據(jù)一體機(jī)。
【背景技術(shù)】
[0002]目前在數(shù)據(jù)存儲(chǔ)和計(jì)算技術(shù)領(lǐng)域，海量數(shù)據(jù)的分布存儲(chǔ)和分析計(jì)算需要有高度集成、可靠、高性能的軟硬件一體化平臺(tái)支撐。而提供類似平臺(tái)的大多數(shù)設(shè)備，使用的是源于Google的MapReduce/Hadoop大數(shù)據(jù)技術(shù)，主要存在數(shù)據(jù)和計(jì)算相分離且計(jì)算速度慢的問題。

【發(fā)明內(nèi)容】

[0003]為了解決上述問題，本發(fā)明提供一種基于分布式內(nèi)存中計(jì)算的大數(shù)據(jù)一體機(jī)。該體系采用在內(nèi)存中計(jì)算(in-memory computat1n)技術(shù)，處理速度是Hadoop的數(shù)十倍，并且使得數(shù)據(jù)和計(jì)算緊耦合。一體機(jī)內(nèi)的大多數(shù)節(jié)點(diǎn)都可以對(duì)其存儲(chǔ)的數(shù)據(jù)進(jìn)行計(jì)算，并且在計(jì)算時(shí)充分利用內(nèi)存。
[0004]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:將若干臺(tái)PC服務(wù)器通過網(wǎng)絡(luò)交換機(jī)互聯(lián)，形成一個(gè)小型的計(jì)算機(jī)集群。在每臺(tái)服務(wù)器上安裝分布式系統(tǒng)軟件。核心服務(wù)運(yùn)行在性能最優(yōu)的服務(wù)器(也稱主服務(wù)器)上，并由主服務(wù)器統(tǒng)一調(diào)配，將數(shù)據(jù)分布存儲(chǔ)在各服務(wù)器節(jié)點(diǎn)，將計(jì)算任務(wù)根據(jù)內(nèi)存大小等硬件性能合理分配到各節(jié)點(diǎn)。該體系還具有內(nèi)存外自動(dòng)轉(zhuǎn)換和優(yōu)化的功能，通過大容量二級(jí)存儲(chǔ)可以快速地將數(shù)據(jù)讀入內(nèi)存，以充分利用各節(jié)點(diǎn)的內(nèi)存對(duì)存儲(chǔ)的數(shù)據(jù)進(jìn)行高度并行計(jì)算。若干臺(tái)一體機(jī)之間可協(xié)同工作、線性擴(kuò)展性能。
[0005]本發(fā)明的有益效果是，提供了數(shù)據(jù)和計(jì)算緊耦合的軟硬件一體化平臺(tái)，充分發(fā)揮了硬件性能。
[0006]下面結(jié)合附圖和實(shí)施例對(duì)本實(shí)用新型進(jìn)一步說明。
[0007]圖1是大數(shù)據(jù)一體機(jī)的接口示意圖圖2是大數(shù)據(jù)一體機(jī)的內(nèi)部結(jié)構(gòu)圖
圖3是大數(shù)據(jù)一體機(jī)之間的連接示意圖在具體實(shí)施過程中，如圖1所示，一臺(tái)大數(shù)據(jù)一體機(jī)外表面上有多個(gè)接口。VGA視頻接口用于連接主服務(wù)器的圖形圖像輸出；若干個(gè)USB接口用于鼠標(biāo)、鍵盤等外設(shè)連接主服務(wù)器Ethernet網(wǎng)口可將一體機(jī)內(nèi)充當(dāng)路由的某臺(tái)服務(wù)器與機(jī)外路由或交換機(jī)相連，使得機(jī)內(nèi)各服務(wù)器與機(jī)外網(wǎng)絡(luò)相通。
[0008]如圖2所示，在一體機(jī)內(nèi)，將各服務(wù)器的某塊網(wǎng)卡與交換機(jī)(Switch)相連，并均設(shè)置為在同一內(nèi)網(wǎng)網(wǎng)段，借此使服務(wù)器之間連通。服務(wù)器電源線接入PDU各插孔，以獲得供電。各服務(wù)器均配備大容量硬盤和高速內(nèi)存，且安裝有分布式系統(tǒng)軟件。其中的某臺(tái)性能最佳的服務(wù)器，比如serverl，作為整個(gè)一體機(jī)集群的主節(jié)點(diǎn)，應(yīng)用于分布式系統(tǒng)軟件的配置。
[0009]如圖3所示，多臺(tái)一體機(jī)通過Ethernet網(wǎng)口連接到同一個(gè)網(wǎng)絡(luò)設(shè)備，比如交換機(jī)(Switch)，可擴(kuò)展成更大的計(jì)算集群，再由一體機(jī)內(nèi)的分布式系統(tǒng)軟件統(tǒng)一調(diào)配集群內(nèi)所有資源，達(dá)到線性擴(kuò)展性能的目的。
【主權(quán)項(xiàng)】
1.一種基于分布式內(nèi)存中計(jì)算的大數(shù)據(jù)一體機(jī)，其內(nèi)部使用網(wǎng)絡(luò)設(shè)備連接各服務(wù)器節(jié)點(diǎn)，在外部為外圍設(shè)備提供各種接口，其特征在于:采用存儲(chǔ)計(jì)算耦合的分布式架構(gòu)并運(yùn)用內(nèi)存中計(jì)算(in-memory computat1n)技術(shù)。2.如權(quán)利要求1所述基于分布式內(nèi)存中計(jì)算的大數(shù)據(jù)一體機(jī)，其特征在于:所述基于分布式內(nèi)存中計(jì)算的大數(shù)據(jù)一體機(jī)內(nèi)部的全部或相當(dāng)部分服務(wù)器具有存儲(chǔ)數(shù)據(jù)和對(duì)所存數(shù)據(jù)進(jìn)行計(jì)算的功能，并可運(yùn)用分布式計(jì)算軟件在多個(gè)服務(wù)器節(jié)點(diǎn)上進(jìn)行數(shù)據(jù)處理和相關(guān)計(jì)算，在計(jì)算過程中全部或部分?jǐn)?shù)據(jù)在內(nèi)存中駐留。
【專利摘要】本發(fā)明公開了一種基于分布式內(nèi)存中計(jì)算的大數(shù)據(jù)一體機(jī)。它利用先進(jìn)的分布式系統(tǒng)軟件，提供存儲(chǔ)計(jì)算相結(jié)合、高效利用內(nèi)存進(jìn)行計(jì)算的平臺(tái)，主要用于企業(yè)進(jìn)行大數(shù)據(jù)系統(tǒng)基礎(chǔ)設(shè)施建設(shè)。
【IPC分類】G06F17/30
【公開號(hào)】CN105069068
【申請(qǐng)?zhí)枴緾N201510457252
【發(fā)明人】陳文濤, 王麒羽, 呂王俊, 馬志強(qiáng), 顧磷
【申請(qǐng)人】寧波數(shù)方信息技術(shù)有限公司, 湖圖塔科技有限公司
【公開日】2015年11月18日
【申請(qǐng)日】2015年7月30日