大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)的制作方法
【技術(shù)領(lǐng)域】
[0001]本實(shí)用新型涉及大數(shù)據(jù)處理平臺(tái)，尤其涉及一種大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)。
【背景技術(shù)】
[0002]近年來，大數(shù)據(jù)如浪潮般席卷全球，深刻改變了人們的生活、工作和思維方式。世界上越來越多的國家開始從戰(zhàn)略層面認(rèn)識(shí)大數(shù)據(jù)，在政府治理領(lǐng)域融入大數(shù)據(jù)思維和技術(shù)。我國各政府也應(yīng)順應(yīng)時(shí)代發(fā)展趨勢(shì)，充分利用大數(shù)據(jù)提升國家治理能力，以契合推進(jìn)國家治理能力現(xiàn)代化的時(shí)代要求?？梢哉f大數(shù)據(jù)為政府治理能力的提升帶來了發(fā)展機(jī)遇。首先，大數(shù)據(jù)能推動(dòng)政府治理理念和模式的變化。在政府治理領(lǐng)域，通過讓海量、動(dòng)態(tài)、多樣的數(shù)據(jù)有效集成為有價(jià)值的信息資源，推動(dòng)政府轉(zhuǎn)變管理理念和治理模式，進(jìn)而加快治理體系和治理能力現(xiàn)代化。其次，大數(shù)據(jù)能推動(dòng)政府治理決策精細(xì)化和科學(xué)化。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的價(jià)值隨著海量積累而產(chǎn)生質(zhì)變，能夠?qū)?jīng)濟(jì)社會(huì)運(yùn)行規(guī)律進(jìn)行直觀呈現(xiàn)，從而降低政府治理偏差概率，提高政府治理的精細(xì)化和科學(xué)化。最后，大數(shù)據(jù)能推動(dòng)政府治理提高效率和節(jié)約成本。利用大數(shù)據(jù)，可以使政府治理所依據(jù)的數(shù)據(jù)資料更加全面，不同部門和機(jī)構(gòu)之間的協(xié)調(diào)更加順暢，進(jìn)而有效提高工作效率，節(jié)約治理成本。
[0003]政府的大數(shù)據(jù)處理平臺(tái)可能存儲(chǔ)了各個(gè)區(qū)、街道的人口、法人、房屋、證件等多種類型的數(shù)據(jù)。僅一個(gè)區(qū)的數(shù)據(jù)量，目前記錄總數(shù)就可能達(dá)到I億條左右，未來數(shù)據(jù)量會(huì)不斷增加，并且會(huì)引入大量非結(jié)構(gòu)化數(shù)據(jù)。為了處理快速增加的數(shù)據(jù)，需要配套的硬件環(huán)境滿足大數(shù)據(jù)處理的需要。
【實(shí)用新型內(nèi)容】
[0004]本實(shí)用新型的目的在于通過提供一種大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，滿足處理大數(shù)據(jù)所需要的硬件環(huán)境。
[0005]為實(shí)現(xiàn)上述目的，本實(shí)用新型提供了一種大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，包括:核心層交換機(jī)，至少一應(yīng)用服務(wù)器，數(shù)據(jù)庫集群，存儲(chǔ)陣列，備份服務(wù)器以及至少一交換機(jī)；所述應(yīng)用服務(wù)器，數(shù)據(jù)庫集群，存儲(chǔ)陣列以及備份服務(wù)器分別連接所述核心層交換機(jī)，所述存儲(chǔ)陣列連接所述交換機(jī)，所述交換機(jī)分別連接所述應(yīng)用服務(wù)器和數(shù)據(jù)庫集群。
[0006]其中，還包括Hadoop集群，所述Hadoop集群連接所述核心層交換機(jī)。
[0007]其中，所述至少一交換機(jī)包括第一光纖交換機(jī)和第二光纖交換機(jī)。
[0008]其中，所述存儲(chǔ)陣列為SAN光纖存儲(chǔ)陣列。
[0009]其中，所述存儲(chǔ)陣列為NAS光纖存儲(chǔ)陣列。
[0010]其中，所述核心層交換機(jī)由配置為按照VRRP協(xié)議工作的兩核心交換機(jī)組成。
[0011]其中，所述數(shù)據(jù)庫集群為Oracle RAC集群。
[0012]其中，所述Hadoop集群包括萬兆交換機(jī)和多個(gè)節(jié)點(diǎn)計(jì)算機(jī)，所述節(jié)點(diǎn)計(jì)算機(jī)分別連接所述萬兆交換機(jī)。
[0013]其中，所述至少一應(yīng)用服務(wù)器包括第一應(yīng)用服務(wù)器和第二應(yīng)用服務(wù)器。
[0014]綜上所述，本實(shí)用新型的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，滿足了處理大數(shù)據(jù)所需要的硬件環(huán)境；而且具有開放性、擴(kuò)展性。
【附圖說明】
[0015]圖1為本實(shí)用新型大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)一較佳實(shí)施例的方框圖；
[0016]圖2為本實(shí)用新型大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)又一較佳實(shí)施例的方框圖。
【具體實(shí)施方式】
[0017]下面結(jié)合附圖，通過對(duì)本實(shí)用新型的【具體實(shí)施方式】詳細(xì)描述，將使本實(shí)用新型的技術(shù)方案及其有益效果顯而易見。
[0018]參見圖1，其為本實(shí)用新型大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)一較佳實(shí)施例的方框圖。在此較佳實(shí)施例中，大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)包括:核心層交換機(jī)10，至少一應(yīng)用服務(wù)器20，數(shù)據(jù)庫集群30，存儲(chǔ)陣列40，備份服務(wù)器50以及至少一交換機(jī)60 ;所述應(yīng)用服務(wù)器20，數(shù)據(jù)庫集群30，存儲(chǔ)陣列40以及備份服務(wù)器50分別連接所述核心層交換機(jī)10，所述存儲(chǔ)陣列40連接所述交換機(jī)60，所述交換機(jī)60分別連接所述應(yīng)用服務(wù)器20和數(shù)據(jù)庫集群30。還包括Hadoop集群70，所述Hadoop集群70連接所述核心層交換機(jī)10。
[0019]核心層交換機(jī)10可以為單獨(dú)的核心交換機(jī)，核心層交換機(jī)10也可以由配置為按照VRRP(Virtual Router Redundancy Protocol，虛擬路由冗余協(xié)議)協(xié)議工作的兩核心交換機(jī)組成，既分擔(dān)了設(shè)備負(fù)載和網(wǎng)絡(luò)流量，又提高了網(wǎng)絡(luò)可靠性。
[0020]Hadoop集群70可以由萬兆交換機(jī)和多個(gè)節(jié)點(diǎn)計(jì)算機(jī)組成，節(jié)點(diǎn)計(jì)算機(jī)分別連接萬兆交換機(jī)，萬兆交換機(jī)連接核心層交換機(jī)10。利用Hadoop的并行計(jì)算框架，可以對(duì)海量數(shù)據(jù)進(jìn)行快速分析。挖掘潛在有價(jià)值的數(shù)據(jù)，為海量數(shù)據(jù)分析提供更多的應(yīng)用。存儲(chǔ)陣列40可以為SAN(存儲(chǔ)區(qū)域網(wǎng)絡(luò))光纖存儲(chǔ)陣列，也可以為NAS (網(wǎng)絡(luò)接入存儲(chǔ))光纖存儲(chǔ)陣列。數(shù)據(jù)庫集群30可以為Oracle RAC(實(shí)時(shí)應(yīng)用集群)集群。通過采用各種集群或陣列，使得本實(shí)用新型大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)具有開放性、擴(kuò)展性。
[0021]應(yīng)用服務(wù)器20可以用于部署ETL(抽取、轉(zhuǎn)換、加載)和調(diào)度軟件，通過自定義調(diào)度策略和抽取模式，將數(shù)據(jù)從其他數(shù)據(jù)來源導(dǎo)入到大數(shù)據(jù)處理平臺(tái)中。應(yīng)用服務(wù)器20也可以用于部署數(shù)據(jù)質(zhì)量管理系統(tǒng)，對(duì)抽取的數(shù)據(jù)做數(shù)據(jù)質(zhì)量剖析，通過抽樣和掃描數(shù)據(jù)發(fā)現(xiàn)數(shù)據(jù)存在的質(zhì)量問題，生成數(shù)據(jù)質(zhì)量報(bào)告。大數(shù)據(jù)處理平臺(tái)需要對(duì)外提供統(tǒng)資源接口，應(yīng)用服務(wù)器20還可以用于部署webservice。
[0022]參見圖2，其為本實(shí)用新型大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)又一較佳實(shí)施例的方框圖。在此較佳實(shí)施例中，大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)包括:核心層交換機(jī)10，第一應(yīng)用服務(wù)器21，第二應(yīng)用服務(wù)器22，數(shù)據(jù)庫集群30，存儲(chǔ)陣列40，備份服務(wù)器50以及第一光纖交換機(jī)61和第二光纖交換機(jī)62 ;所述第一應(yīng)用服務(wù)器21，第二應(yīng)用服務(wù)器22，數(shù)據(jù)庫集群30，存儲(chǔ)陣列40以及備份服務(wù)器50分別連接所述核心層交換機(jī)10，所述存儲(chǔ)陣列40連接所述第一光纖交換機(jī)61和第二光纖交換機(jī)62，所述第一光纖交換機(jī)61和第二光纖交換機(jī)62分別連接所述第一應(yīng)用服務(wù)器21，第二應(yīng)用服務(wù)器22和數(shù)據(jù)庫集群30。還包括Hadoop集群70，所述Hadoop集群70連接所述核心層交換機(jī)10。第一應(yīng)用服務(wù)器可以用于部署ETL和調(diào)度軟件，第二應(yīng)用服務(wù)器22可以用于部署webservice，本實(shí)用新型還可以包括用于部署數(shù)據(jù)質(zhì)量管理系統(tǒng)的其他應(yīng)用服務(wù)器。
[0023]在本實(shí)用新型中，Hadoop集群70可以包括采用DELL R620的2個(gè)主節(jié)點(diǎn)，以及采用DELL R720xd的20個(gè)數(shù)據(jù)節(jié)點(diǎn)。第一應(yīng)用服務(wù)器21和第二應(yīng)用服務(wù)器22可以采用IBM X3850X5。數(shù)據(jù)庫集群30可以采用IBM X3850X5作為節(jié)點(diǎn)組成。存儲(chǔ)陣列40可以采用NetApp FAS2240A—體化存儲(chǔ)系統(tǒng)。備份服務(wù)器50可以采用火星艙MSA-SSA-A8。第一光纖交換機(jī)61和第二光纖交換機(jī)62可以米用博科300光纖交換機(jī)。
[0024]綜上所述，本實(shí)用新型的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，滿足了處理大數(shù)據(jù)所需要的硬件環(huán)境；而且具有開放性、擴(kuò)展性。
[0025]以上所述僅為本實(shí)用新型的較佳實(shí)施例，并不用以限制本實(shí)用新型，凡在本實(shí)用新型的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本實(shí)用新型的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，其特征在于，包括:核心層交換機(jī)，至少一應(yīng)用服務(wù)器，數(shù)據(jù)庫集群，存儲(chǔ)陣列，備份服務(wù)器以及至少一交換機(jī)；所述應(yīng)用服務(wù)器，數(shù)據(jù)庫集群，存儲(chǔ)陣列以及備份服務(wù)器分別連接所述核心層交換機(jī)，所述存儲(chǔ)陣列連接所述交換機(jī)，所述交換機(jī)分別連接所述應(yīng)用服務(wù)器和數(shù)據(jù)庫集群。2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，其特征在于，還包括Hadoop集群，所述Hadoop集群連接所述核心層交換機(jī)。3.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，其特征在于，所述至少一交換機(jī)包括第一光纖交換機(jī)和第二光纖交換機(jī)。4.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，其特征在于，所述存儲(chǔ)陣列為SAN光纖存儲(chǔ)陣列。5.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，其特征在于，所述存儲(chǔ)陣列為NAS光纖存儲(chǔ)陣列。6.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，其特征在于，所述核心層交換機(jī)由配置為按照VRRP協(xié)議工作的兩核心交換機(jī)組成。7.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，其特征在于，所述數(shù)據(jù)庫集群為Oracle RAC 集群。8.根據(jù)權(quán)利要求2所述的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，其特征在于，所述Hadoop集群包括萬兆交換機(jī)和多個(gè)節(jié)點(diǎn)計(jì)算機(jī)，所述節(jié)點(diǎn)計(jì)算機(jī)分別連接所述萬兆交換機(jī)。9.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，其特征在于，所述至少一應(yīng)用服務(wù)器包括第一應(yīng)用服務(wù)器和第二應(yīng)用服務(wù)器。
【專利摘要】本實(shí)用新型涉及一種大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)。該大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)包括：核心層交換機(jī)，至少一應(yīng)用服務(wù)器，數(shù)據(jù)庫集群，存儲(chǔ)陣列，備份服務(wù)器以及至少一交換機(jī)；所述應(yīng)用服務(wù)器，數(shù)據(jù)庫集群，存儲(chǔ)陣列以及備份服務(wù)器分別連接所述核心層交換機(jī)，所述存儲(chǔ)陣列連接所述交換機(jī)，所述交換機(jī)分別連接所述應(yīng)用服務(wù)器和數(shù)據(jù)庫集群。本實(shí)用新型的大數(shù)據(jù)處理平臺(tái)網(wǎng)絡(luò)架構(gòu)，滿足了處理大數(shù)據(jù)所需要的硬件環(huán)境；而且具有開放性、擴(kuò)展性。
【IPC分類】H04L29/08
【公開號(hào)】CN204887018
【申請(qǐng)?zhí)枴緾N201520554126
【發(fā)明人】劉航, 卜立忠, 賈西貝
【申請(qǐng)人】深圳市華傲數(shù)據(jù)技術(shù)有限公司
【公開日】2015年12月16日
【申請(qǐng)日】2015年7月28日