本發(fā)明涉及計(jì)算機(jī)通信及互聯(lián)網(wǎng)、軟件管理后臺(tái)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展方法、系統(tǒng)及電子設(shè)備。

背景技術(shù)：

近幾年來，隨著計(jì)算機(jī)和信息技術(shù)的迅猛發(fā)展和普及應(yīng)用，行業(yè)應(yīng)用系統(tǒng)的規(guī)模迅速擴(kuò)大，行業(yè)應(yīng)用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長，動(dòng)輒數(shù)百TB甚至數(shù)十至數(shù)百PB規(guī)模的行業(yè)/企業(yè)大數(shù)據(jù)已遠(yuǎn)遠(yuǎn)超出了現(xiàn)有傳統(tǒng)的計(jì)算技術(shù)和信息系統(tǒng)的處理能力，因此，尋求有效的大數(shù)據(jù)處理技術(shù)、方法和手段已經(jīng)成為現(xiàn)實(shí)世界的迫切需求。

鑒于大數(shù)據(jù)處理需求的迫切性和重要性，近年來大數(shù)據(jù)技術(shù)已經(jīng)在全球?qū)W術(shù)界、工業(yè)界和各國政府得到高度關(guān)注和重視，全球掀起了一個(gè)可與20世紀(jì)90年代的信息高速公路相提并論的研究熱潮。美國和歐洲一些發(fā)達(dá)國家政府都從國家科技戰(zhàn)略層面提出了一系列的大數(shù)據(jù)技術(shù)研發(fā)計(jì)劃，以推動(dòng)政府機(jī)構(gòu)、重大行業(yè)、學(xué)術(shù)界和工業(yè)界對(duì)大數(shù)據(jù)技術(shù)的探索研究和應(yīng)用。

大數(shù)據(jù)的處理需要大量的硬件支撐，沒有硬件支撐就沒有大數(shù)據(jù)的各種數(shù)據(jù)分析管理。當(dāng)數(shù)據(jù)量呈現(xiàn)幾何量級(jí)的增長，如果硬件不能快速的部署變?yōu)榇髷?shù)據(jù)的節(jié)點(diǎn)，就無法滿足日常系統(tǒng)的使用情況。如何快速部署大數(shù)據(jù)系統(tǒng)，方便地增加大數(shù)據(jù)服務(wù)器的節(jié)點(diǎn)數(shù)量，是亟待解決的一重要課題。

技術(shù)實(shí)現(xiàn)要素：

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供一種數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展方法、系統(tǒng)及電子設(shè)備，用于快速地將硬件設(shè)備部署為大數(shù)據(jù)處理系統(tǒng)中的計(jì)算節(jié)點(diǎn)，從而為大數(shù)據(jù)的分析和管理提供硬件支撐。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展方法，應(yīng)用于所述數(shù)據(jù)平臺(tái)系統(tǒng)，其中，所述數(shù)據(jù)平臺(tái)系統(tǒng)包括：所述管理節(jié)點(diǎn)、及與所述管理節(jié)點(diǎn)通信連接的至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)，所述方法包括：所述管理節(jié)點(diǎn)向待添加數(shù)據(jù)節(jié)點(diǎn)發(fā)送用于配置系統(tǒng)環(huán)境的腳本文件，以供所述待添加數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述腳本文件后完成相應(yīng)的系統(tǒng)環(huán)境設(shè)置；所述管理節(jié)點(diǎn)為所述待添加數(shù)據(jù)節(jié)點(diǎn)安裝相關(guān)應(yīng)用，從而完成所述待添加數(shù)據(jù)節(jié)點(diǎn)向所述數(shù)據(jù)平臺(tái)系統(tǒng)的添加。

于本發(fā)明一實(shí)施例中，所述數(shù)據(jù)平臺(tái)系統(tǒng)的類型包括：CDH系統(tǒng)。

于本發(fā)明一實(shí)施例中，所述腳本文件的內(nèi)容包括：安裝執(zhí)行所述腳本文件的命令的工具編譯包、編輯所述待添加數(shù)據(jù)節(jié)點(diǎn)的名稱、關(guān)閉安全設(shè)置、安裝常用軟件包、開啟ntp時(shí)間服務(wù)并加入自動(dòng)啟動(dòng)項(xiàng)、修改swappiness以降低對(duì)swap緩存的使用、安裝CDH系統(tǒng)運(yùn)行環(huán)境及語言環(huán)境、強(qiáng)制刷新、及重啟所述待添加數(shù)據(jù)節(jié)點(diǎn)中的一種或多種組合。

于本發(fā)明一實(shí)施例中，所述為待添加數(shù)據(jù)節(jié)點(diǎn)安裝相關(guān)應(yīng)用，包括：添加CDH管理員賬號(hào)、開啟CDH客戶端服務(wù)、進(jìn)行所述待添加數(shù)據(jù)節(jié)點(diǎn)的功能安裝、及開啟所述待添加數(shù)據(jù)節(jié)點(diǎn)的計(jì)算功能中的一種或多種組合。

于本發(fā)明一實(shí)施例中，所述至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)分別關(guān)聯(lián)有與其一一對(duì)應(yīng)的至少一個(gè)預(yù)設(shè)負(fù)荷值，在所述向待添加的數(shù)據(jù)節(jié)點(diǎn)發(fā)送腳本文件之前，所述方法還包括：獲取所述至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)的實(shí)際負(fù)荷值，并分別與對(duì)應(yīng)的預(yù)設(shè)負(fù)荷值比對(duì)；若檢測到存在實(shí)際負(fù)荷值不小于預(yù)設(shè)負(fù)荷值的數(shù)據(jù)節(jié)點(diǎn)，則開始擴(kuò)展所述數(shù)據(jù)平臺(tái)系統(tǒng)。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展系統(tǒng)，應(yīng)用于所述數(shù)據(jù)平臺(tái)系統(tǒng)，其中，所述數(shù)據(jù)平臺(tái)系統(tǒng)包括：所述管理節(jié)點(diǎn)、及與所述管理節(jié)點(diǎn)通信連接的至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)，所述系統(tǒng)包括：腳本發(fā)送模塊，用于所述管理節(jié)點(diǎn)向待添加數(shù)據(jù)節(jié)點(diǎn)發(fā)送用于配置系統(tǒng)環(huán)境的腳本文件，以供所述待添加數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述腳本文件后完成相應(yīng)的系統(tǒng)環(huán)境設(shè)置；應(yīng)用安裝模塊，用于所述管理節(jié)點(diǎn)為所述待添加數(shù)據(jù)節(jié)點(diǎn)安裝相關(guān)應(yīng)用，從而完成所述待添加數(shù)據(jù)節(jié)點(diǎn)向所述數(shù)據(jù)平臺(tái)系統(tǒng)的添加。

于本發(fā)明一實(shí)施例中，所述數(shù)據(jù)平臺(tái)系統(tǒng)的類型包括：CDH系統(tǒng)。

于本發(fā)明一實(shí)施例中，所述腳本文件的內(nèi)容包括：安裝執(zhí)行所述腳本文件的命令的工具編譯包、編輯所述待添加數(shù)據(jù)節(jié)點(diǎn)的名稱、關(guān)閉安全設(shè)置、安裝常用軟件包、開啟ntp時(shí)間服務(wù)并加入自動(dòng)啟動(dòng)項(xiàng)、修改swappiness以降低對(duì)swap緩存的使用、安裝CDH系統(tǒng)運(yùn)行環(huán)境及語言環(huán)境、強(qiáng)制刷新、及重啟所述待添加數(shù)據(jù)節(jié)點(diǎn)中的一種或多種組合。

于本發(fā)明一實(shí)施例中，所述為待添加數(shù)據(jù)節(jié)點(diǎn)安裝相關(guān)應(yīng)用，包括：添加CDH管理員賬號(hào)、開啟CDH客戶端服務(wù)、進(jìn)行所述待添加數(shù)據(jù)節(jié)點(diǎn)的功能安裝、及開啟所述待添加數(shù)據(jù)節(jié)點(diǎn)的計(jì)算功能中的一種或多種組合。

于本發(fā)明一實(shí)施例中，所述至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)分別關(guān)聯(lián)有與其一一對(duì)應(yīng)的至少一個(gè)預(yù)設(shè)負(fù)荷值，所述系統(tǒng)還包括：比對(duì)模塊，用于在所述向待添加的數(shù)據(jù)節(jié)點(diǎn)發(fā)送腳本文件之前：獲取所述至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)的實(shí)際負(fù)荷值，并分別與對(duì)應(yīng)的預(yù)設(shè)負(fù)荷值比對(duì)；若檢測到存在實(shí)際負(fù)荷值不小于預(yù)設(shè)負(fù)荷值的數(shù)據(jù)節(jié)點(diǎn)，則向所述腳本發(fā)送模塊發(fā)送開始擴(kuò)展所述數(shù)據(jù)平臺(tái)系統(tǒng)的指令。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種電子設(shè)備，包括如上任一所述的數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展系統(tǒng)。

如上所述，本發(fā)明的數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展方法、系統(tǒng)及電子設(shè)備，具有以下有益效果：

1)節(jié)省時(shí)間：傳統(tǒng)的節(jié)點(diǎn)服務(wù)器添加需要在圖形界面添加，步驟繁瑣，安裝等待時(shí)間長，報(bào)錯(cuò)信息少，如果一旦遇到錯(cuò)誤，此節(jié)點(diǎn)需要重新安裝系統(tǒng)才能被再次添加；本發(fā)明采用腳本方式快速擴(kuò)充節(jié)點(diǎn)計(jì)算服務(wù)器，節(jié)約時(shí)間和成本，滿足日益龐大的海量數(shù)據(jù)處理需求；

2)數(shù)據(jù)可靠：使用命令行添加節(jié)點(diǎn)服務(wù)器，經(jīng)驗(yàn)證，幾乎可以排除所有人為錯(cuò)誤，添加上去的節(jié)點(diǎn)穩(wěn)定，能夠快速并入CDH系統(tǒng)提供計(jì)算；

3)系統(tǒng)故障率低：成熟命令行腳本，添加節(jié)點(diǎn)服務(wù)器，提前定義好系統(tǒng)的基礎(chǔ)環(huán)境，變量，規(guī)避了圖形化界面添加未考慮到的方面，使計(jì)算節(jié)點(diǎn)發(fā)生系統(tǒng)故障的幾率大大降低。

附圖說明

圖1顯示為本發(fā)明一實(shí)施例的CDH系統(tǒng)結(jié)構(gòu)示意圖。

圖2顯示為本發(fā)明一實(shí)施例的數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展方法流程圖。

圖3顯示為本發(fā)明一實(shí)施例的腳本內(nèi)容示意圖。

圖4顯示為本發(fā)明一實(shí)施例的數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展系統(tǒng)模塊圖。

圖5顯示為本發(fā)明一實(shí)施例的包括擴(kuò)展系統(tǒng)的電子設(shè)備示意圖。

元件標(biāo)號(hào)說明

4 數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展系統(tǒng)

400 比對(duì)模塊

401 腳本發(fā)送模塊

402 應(yīng)用安裝模塊

5 電子設(shè)備

S201～S202 步驟

具體實(shí)施方式

以下通過特定的具體實(shí)例說明本發(fā)明的實(shí)施方式，本領(lǐng)域技術(shù)人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點(diǎn)與功效。本發(fā)明還可以通過另外不同的具體實(shí)施方式加以實(shí)施或應(yīng)用，本說明書中的各項(xiàng)細(xì)節(jié)也可以基于不同觀點(diǎn)與應(yīng)用，在沒有背離本發(fā)明的精神下進(jìn)行各種修飾或改變。需說明的是，在不沖突的情況下，以下實(shí)施例及實(shí)施例中的特征可以相互組合。

需要說明的是，以下實(shí)施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構(gòu)想，遂圖式中僅顯示與本發(fā)明中有關(guān)的組件而非按照實(shí)際實(shí)施時(shí)的組件數(shù)目、形狀及尺寸繪制，其實(shí)際實(shí)施時(shí)各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復(fù)雜。

本發(fā)明提供一種數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展方法，該數(shù)據(jù)平臺(tái)系統(tǒng)包括管理節(jié)點(diǎn)及與其通信連接的數(shù)據(jù)節(jié)點(diǎn)。例如，該數(shù)據(jù)平臺(tái)系統(tǒng)為圖1所示的CDH(Cloudera’s Distribution Including Apache Hadoop)系統(tǒng)，該CDH系統(tǒng)基于Apache協(xié)議，基于Apache Hadoop和相關(guān)project開發(fā)，100％開源，可以做批量處理，交互式SQL查詢和及時(shí)查詢，基于角色的權(quán)限控制等，是企業(yè)中使用最廣的Hadoop分發(fā)版本。在該CDH系統(tǒng)中，NameNode為管理節(jié)點(diǎn)，用于接收HDFS Client的數(shù)據(jù)處理需求，并將該數(shù)據(jù)處理任務(wù)分配至各個(gè)DataNode數(shù)據(jù)節(jié)點(diǎn)，各個(gè)DataNode數(shù)據(jù)節(jié)點(diǎn)并行計(jì)算，并把計(jì)算結(jié)果從寫入的Disk磁盤反饋至HDFS Client。此外，該CDH系統(tǒng)還可以包括與NameNode管理節(jié)點(diǎn)通信連接的Secondary NameNode，該Secondary NameNode主要用于定時(shí)地對(duì)NameNode管理節(jié)點(diǎn)中的數(shù)據(jù)進(jìn)行備份，以防NameNode管理節(jié)點(diǎn)崩潰后會(huì)發(fā)生數(shù)據(jù)丟失。以下將詳細(xì)介紹該CDH系統(tǒng)中的幾個(gè)重要功能模塊：

1)HDFS：CDH應(yīng)用程序中主要的分布式儲(chǔ)存系統(tǒng)，HDFS集群包含了一個(gè)NameNode(管理主節(jié)點(diǎn))，這個(gè)節(jié)點(diǎn)負(fù)責(zé)管理所有文件系統(tǒng)的元數(shù)據(jù)及存儲(chǔ)了真實(shí)數(shù)據(jù)的DataNode(數(shù)據(jù)節(jié)點(diǎn)，可以有很多)。HDFS針對(duì)海量數(shù)據(jù)設(shè)計(jì)，傳統(tǒng)文件系統(tǒng)實(shí)現(xiàn)對(duì)大批量小文件的優(yōu)化，HDFS則實(shí)現(xiàn)對(duì)小批量大型文件的訪問和存儲(chǔ)的優(yōu)化。

2)Hive：Apache Hive是Hadoop的一個(gè)數(shù)據(jù)倉庫系統(tǒng)，促進(jìn)了數(shù)據(jù)的綜述(將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表)、即席查詢以及存儲(chǔ)在Hadoop兼容系統(tǒng)中的大型數(shù)據(jù)集分析。Hive提供完整的SQL查詢功能——HiveQL語言，同時(shí)，當(dāng)使用這個(gè)語言表達(dá)一個(gè)邏輯變得低效和繁瑣時(shí)，HiveQL還允許傳統(tǒng)的Map/Reduce程序員使用自己定制的Mapper和Reducer進(jìn)行表達(dá)。Hive類似CloudBase，基于hadoop分布式計(jì)算平臺(tái)上的提供data warehouse的SQL功能的一套軟件，使得存儲(chǔ)在hadoop里面的海量數(shù)據(jù)的匯總、即席查詢簡單化。

3)Zookeeper：Google中Chubby的一個(gè)開源實(shí)現(xiàn)，是一個(gè)針對(duì)大型分布式系統(tǒng)的可靠協(xié)調(diào)系統(tǒng)，提供的功能包括：配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。ZooKeeper的目標(biāo)就是封裝好復(fù)雜易出錯(cuò)的關(guān)鍵服務(wù)，將簡單易用的接口和性能高效、功能穩(wěn)定的系統(tǒng)提供給用戶。

4)CDH主機(jī)項(xiàng)：即圖1中的每個(gè)數(shù)據(jù)計(jì)算節(jié)點(diǎn)。主機(jī)的多少、配置、質(zhì)量決定著此套CDH系統(tǒng)的優(yōu)劣，質(zhì)量越高，處理數(shù)據(jù)的能力越強(qiáng)。在1主3從的CDH架構(gòu)中，包括了一個(gè)管理節(jié)點(diǎn)、3個(gè)被管理的數(shù)據(jù)節(jié)點(diǎn)，所有的日志分析、數(shù)據(jù)處理都會(huì)通過主節(jié)點(diǎn)分配給這3個(gè)數(shù)據(jù)節(jié)點(diǎn)。

以下將以CDH系統(tǒng)為例，詳細(xì)闡述本發(fā)明的實(shí)現(xiàn)過程。優(yōu)選的，該CDH系統(tǒng)中的管理節(jié)點(diǎn)采用linux服務(wù)器，由于linux為開源的，不僅能兼容市場上幾乎所有的系統(tǒng)，還不會(huì)產(chǎn)生任何系統(tǒng)上的花費(fèi)，相比于系統(tǒng)費(fèi)高昂的windows等服務(wù)器，大大降低了開銷成本。此外，該CDH系統(tǒng)采用HDFS分布式文件系統(tǒng)進(jìn)行海量數(shù)據(jù)存儲(chǔ)，能夠提供高吞吐量的數(shù)據(jù)訪問，使用1/6的成本就可以是實(shí)現(xiàn)原來6倍的性能，以滿足每天進(jìn)行千萬級(jí)的海量用戶的日常運(yùn)營數(shù)據(jù)分析和用戶行為挖掘。再有，該CDH系統(tǒng)采用完全互聯(lián)網(wǎng)化的關(guān)聯(lián)系統(tǒng)技術(shù)，即系統(tǒng)完全基于C/S技術(shù)架構(gòu)，CDH系統(tǒng)分為Server與Agent兩部分及數(shù)據(jù)庫，Agent為客戶端負(fù)責(zé)執(zhí)行服務(wù)端發(fā)來的命令，執(zhí)行方式一般為使用python調(diào)用相應(yīng)的服務(wù)shell腳本，有利于實(shí)現(xiàn)：管理監(jiān)控集群主機(jī)、統(tǒng)一管理配置、管理維護(hù)Hadoop平臺(tái)系統(tǒng)等操作。如圖2所示，本發(fā)明的擴(kuò)展方法應(yīng)用于該CDH系統(tǒng)，主要包括以下步驟：

步驟S201：所述管理節(jié)點(diǎn)向待添加數(shù)據(jù)節(jié)點(diǎn)發(fā)送用于配置系統(tǒng)環(huán)境的腳本文件，以供所述待添加數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述腳本文件后完成相應(yīng)的系統(tǒng)環(huán)境設(shè)置。如圖3所示，該腳本文件的內(nèi)容可以包括：安裝執(zhí)行所述腳本文件的命令的工具編譯包、編輯所述待添加數(shù)據(jù)節(jié)點(diǎn)的名稱、關(guān)閉安全設(shè)置、安裝常用軟件包、開啟ntp時(shí)間服務(wù)并加入自動(dòng)啟動(dòng)項(xiàng)、修改swappiness以降低對(duì)swap緩存的使用、安裝CDH系統(tǒng)運(yùn)行環(huán)境及語言環(huán)境、強(qiáng)制刷新、重啟所述待添加數(shù)據(jù)節(jié)點(diǎn)等等，其具體內(nèi)容可以根據(jù)實(shí)際功能需要預(yù)先編寫、添加。

需要說明的是，所述待添加數(shù)據(jù)節(jié)點(diǎn)的服務(wù)器硬件是適合于CDH系統(tǒng)使用的，并且，所述待添加數(shù)據(jù)節(jié)點(diǎn)安裝有Linux服務(wù)器操作系統(tǒng)。由于操作系統(tǒng)安裝完成后，系統(tǒng)處于空白狀態(tài)，基本上無法使用，一般需要手動(dòng)安裝基礎(chǔ)軟件環(huán)境來支持CDH的快速部署。相比于常規(guī)的在安裝環(huán)境下一條一條執(zhí)行命令，本發(fā)明采用腳本(如shell腳本)的方式，只需要通過執(zhí)行此腳本就能自動(dòng)實(shí)現(xiàn)需要的全部功能，從而實(shí)現(xiàn)系統(tǒng)基礎(chǔ)環(huán)境的快速設(shè)置。

步驟S202：所述管理節(jié)點(diǎn)為所述待添加數(shù)據(jù)節(jié)點(diǎn)安裝相關(guān)應(yīng)用，從而完成所述待添加數(shù)據(jù)節(jié)點(diǎn)向所述數(shù)據(jù)平臺(tái)系統(tǒng)的添加。也就是說，具體的，服務(wù)器基礎(chǔ)環(huán)境通過腳本執(zhí)行安裝完成后，就要開始對(duì)CDH節(jié)點(diǎn)進(jìn)行添加的操作，以下將以步驟a)～d)為例，詳細(xì)說明在新添加的數(shù)據(jù)節(jié)點(diǎn)服務(wù)器上安裝相關(guān)應(yīng)用的詳細(xì)內(nèi)容：

步驟a)：useradd--system--home＝/opt/cm-5.5.1/run/cloudera-scm-server/--no-create-home--shell＝/bin/false--comment"Cloudera SCM User"cloudera-scm#添加cdh管理員賬號(hào)；

步驟b)：/opt/cm-5.5.1/etc/init.d/cloudera-scm-agent start#打開cdh客戶端服務(wù)；

步驟c)：./hdfs dfsadmin-refreshNodes#執(zhí)行命令進(jìn)行新節(jié)點(diǎn)服務(wù)器功能安裝；

步驟d)：./hadoop-daemon.sh start datanode#新節(jié)點(diǎn)安裝完畢開啟節(jié)點(diǎn)計(jì)算功能。

至此，在hadoop CDH大數(shù)據(jù)系統(tǒng)中快速添加計(jì)算節(jié)點(diǎn)服務(wù)器的過程結(jié)束。

特別的，在一實(shí)施例中，在保證CDH系統(tǒng)不宕機(jī)、讓數(shù)據(jù)能夠正常、安全地運(yùn)行的基礎(chǔ)上，還考慮到資源成本的開銷，本發(fā)明的方法還包括：在步驟S201執(zhí)行之前，對(duì)CDH系統(tǒng)中已有的數(shù)據(jù)節(jié)點(diǎn)分別設(shè)置預(yù)設(shè)負(fù)荷值，并對(duì)其實(shí)際負(fù)荷值進(jìn)行監(jiān)控。這里，負(fù)荷的內(nèi)容可以包括：負(fù)載情況、磁盤使用情況、物理內(nèi)存使用情況等。例如，負(fù)荷為磁盤使用情況，則對(duì)應(yīng)的負(fù)荷值可以包括：磁盤IO利用率、磁盤等待時(shí)間、磁盤平均隊(duì)列長度、磁盤服務(wù)時(shí)間、磁盤等待讀取/等待寫入時(shí)間、磁盤讀取/寫入吞吐量等具體數(shù)值。當(dāng)檢測到有數(shù)據(jù)節(jié)點(diǎn)的實(shí)際負(fù)荷值超過或等于相應(yīng)的預(yù)設(shè)負(fù)荷值時(shí)，開始執(zhí)行步驟S201，即開始向CDH系統(tǒng)中添加新的數(shù)據(jù)節(jié)點(diǎn)，從而滿足實(shí)際數(shù)據(jù)處理的需要。

請(qǐng)參閱圖4，與上述方法實(shí)施例原理相似的是，本發(fā)明提供一種數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展系統(tǒng)4，作為一套軟件實(shí)現(xiàn)，搭載于包括管理節(jié)點(diǎn)、及與其通信連接的至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)平臺(tái)系統(tǒng)，例如：CDH系統(tǒng)，從而實(shí)現(xiàn)在該數(shù)據(jù)平臺(tái)系統(tǒng)中添加數(shù)據(jù)節(jié)點(diǎn)的擴(kuò)展功能。由于前述實(shí)施例中的技術(shù)特征可以應(yīng)用于本系統(tǒng)實(shí)施例，因而不再重復(fù)贅述。

所述系統(tǒng)4包括：腳本發(fā)送模塊401、應(yīng)用安裝模塊402。

腳本發(fā)送模塊401的功能在于令所述管理節(jié)點(diǎn)向待添加數(shù)據(jù)節(jié)點(diǎn)發(fā)送用于配置系統(tǒng)環(huán)境的腳本文件，以供所述待添加數(shù)據(jù)節(jié)點(diǎn)執(zhí)行所述腳本文件后完成相應(yīng)的系統(tǒng)環(huán)境設(shè)置，其中，所述腳本文件的內(nèi)容可以包括：安裝執(zhí)行所述腳本文件的命令的工具編譯包、編輯所述待添加數(shù)據(jù)節(jié)點(diǎn)的名稱、關(guān)閉安全設(shè)置、安裝常用軟件包、開啟ntp時(shí)間服務(wù)并加入自動(dòng)啟動(dòng)項(xiàng)、修改swappiness以降低對(duì)swap緩存的使用、安裝CDH系統(tǒng)運(yùn)行環(huán)境及語言環(huán)境、強(qiáng)制刷新、及重啟所述待添加數(shù)據(jù)節(jié)點(diǎn)中的一種或多種組合。

應(yīng)用安裝模塊402的功能在于令所述管理節(jié)點(diǎn)為所述待添加數(shù)據(jù)節(jié)點(diǎn)安裝相關(guān)應(yīng)用，詳細(xì)的，可以包括：添加CDH管理員賬號(hào)、開啟CDH客戶端服務(wù)、進(jìn)行所述待添加數(shù)據(jù)節(jié)點(diǎn)的功能安裝、開啟所述待添加數(shù)據(jù)節(jié)點(diǎn)的計(jì)算功能中的一種或多種組合，從而完成所述待添加數(shù)據(jù)節(jié)點(diǎn)向所述數(shù)據(jù)平臺(tái)系統(tǒng)的添加。

在一實(shí)施例中，所述系統(tǒng)4還包括：比對(duì)模塊400，所述至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)分別關(guān)聯(lián)有與其一一對(duì)應(yīng)的至少一個(gè)預(yù)設(shè)負(fù)荷值，在所述腳本發(fā)送模塊向待添加的數(shù)據(jù)節(jié)點(diǎn)發(fā)送腳本文件之前，所述比對(duì)模塊獲取所述至少一個(gè)數(shù)據(jù)節(jié)點(diǎn)的實(shí)際負(fù)荷值，并分別與對(duì)應(yīng)的預(yù)設(shè)負(fù)荷值比對(duì)；若檢測到存在實(shí)際負(fù)荷值不小于預(yù)設(shè)負(fù)荷值的數(shù)據(jù)節(jié)點(diǎn)，則向所述腳本發(fā)送模塊401發(fā)送開始擴(kuò)展所述數(shù)據(jù)平臺(tái)系統(tǒng)的指令。

請(qǐng)參閱圖5，與上述方法、系統(tǒng)實(shí)施例原理相似的是，本發(fā)明提供一種包括如上任一所述的數(shù)據(jù)平臺(tái)系統(tǒng)的擴(kuò)展系統(tǒng)4的電子設(shè)備5，例如，包括通信單元(無線通信模塊、有線通信模塊等)、處理單元(CPU芯片等)等部件的服務(wù)器，由于前述實(shí)施例中的技術(shù)特征可以應(yīng)用于本系統(tǒng)實(shí)施例，因而不再重復(fù)贅述。

綜上，本發(fā)明使用命令行腳本方式在數(shù)據(jù)平臺(tái)系統(tǒng)中快速添加數(shù)據(jù)節(jié)點(diǎn)，能比傳統(tǒng)圖形化添加節(jié)點(diǎn)的方式節(jié)省三分之二以上的時(shí)間，且錯(cuò)誤率可以降低99％，不論要將多少臺(tái)服務(wù)器添加為CDH系統(tǒng)的計(jì)算節(jié)點(diǎn)，只需要統(tǒng)一執(zhí)行一個(gè)腳本就能完成，從而快速支持大數(shù)據(jù)的并行計(jì)算能力，且不耽誤團(tuán)隊(duì)其它人員使用該CDH系統(tǒng)，有效克服了現(xiàn)有技術(shù)中的種種缺點(diǎn)而具高度產(chǎn)業(yè)利用價(jià)值。

上述實(shí)施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟悉此技術(shù)的人士皆可在不違背本發(fā)明的精神及范疇下，對(duì)上述實(shí)施例進(jìn)行修飾或改變。因此，舉凡所屬技術(shù)領(lǐng)域中具有通常知識(shí)者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變，仍應(yīng)由本發(fā)明的權(quán)利要求所涵蓋。