一種高效的Hadoop集群部署方法
【專利摘要】本發(fā)明公開一種高效的Hadoop集群部署方法，屬于集群管理技術(shù)領(lǐng)域；對集群節(jié)點進(jìn)行無密碼訪問配置，在其中一個節(jié)點上將Hadoop環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動利用相關(guān)腳本配置遠(yuǎn)程命令，遠(yuǎn)程執(zhí)行環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動的相關(guān)操作，將Hadoop文件打包自動分發(fā)到集群的其他節(jié)點上；實現(xiàn)了自動化設(shè)置環(huán)境變量，自動化配置無密碼訪問，自動化修改配置文件，自動化啟動服務(wù)和驗證等功能，只需要手動進(jìn)行JDK的安裝即可，部署簡單快速，且大大降低了出錯的概率，特別適合與在大機(jī)群上進(jìn)行Hadoop的部署。
【專利說明】
一種高效的Hadoop集群部署方法
技術(shù)領(lǐng)域
[0001]本發(fā)明公開一種高效的Hadoop集群部署方法，屬于集群管理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]Hadoop是一個分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進(jìn)行高速運算和存儲。Hadoop的框架最核心的設(shè)計是HDFS和MapReduce ADFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計算。HDFS有高容錯性的特點，并且設(shè)計用來部署在低廉的硬件上；而且它提供高吞吐量high throughput來訪問應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集large data set的應(yīng)用程序。
[0003]Hadoop作為分布式計算平臺，雖然可以很容易的處理海量數(shù)據(jù)，但是部署步驟較為繁瑣。官方上的部署文檔一般是配置無密碼訪問、配置JDK、修改相關(guān)配置文件，在分發(fā)到幾臺節(jié)點服務(wù)器上。幾個節(jié)點的集群從系統(tǒng)安裝好到集群部署完成需要幾個小時，相關(guān)服務(wù)無法啟動的話還需要慢慢排錯，因此，在大量節(jié)點上部署Hadoop環(huán)境時，由于需要進(jìn)行的設(shè)置和修改的配置文件較多，手工進(jìn)行操作，容易出錯，且效率較低。
[0004]本發(fā)明公開一種高效的Hadoop集群部署方法，實現(xiàn)了自動化設(shè)置環(huán)境變量，自動化配置無密碼訪問，自動化修改配置文件，自動化啟動服務(wù)和驗證等功能，只需要手動進(jìn)行JDK的安裝即可，部署簡單快速，且大大降低了出錯的概率，特別適合與在大機(jī)群上進(jìn)行Hadoop的部署。

【發(fā)明內(nèi)容】

[0005]本發(fā)明針對現(xiàn)有技術(shù)中的問題，提供一種高效的Hadoop集群部署方法，實現(xiàn)了自動化設(shè)置環(huán)境變量，自動化配置無密碼訪問，自動化修改配置文件，自動化啟動服務(wù)和驗證等功能。整個Hadoop配置及服務(wù)啟動過程，用時較短。大大簡化了配置步驟，減少了配置時間。
[0006]本發(fā)明提出的具體方案是:
一種高效的Hadoop集群部署方法，對集群節(jié)點進(jìn)行無密碼訪問配置，在其中一個節(jié)點上將Hadoop環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動利用相關(guān)腳本配置遠(yuǎn)程命令，遠(yuǎn)程執(zhí)行環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動的相關(guān)操作，將Hadoop文件打包自動分發(fā)到集群的其他節(jié)點上。
[0007]所述對集群節(jié)點進(jìn)行無密碼訪問配置:在節(jié)點間使用公鑰，將公鑰遠(yuǎn)程生成拷貝及合并操作存放到同一腳本，執(zhí)行此腳本，使任意節(jié)點間進(jìn)行無密碼訪問。
[0008]Hadoop環(huán)境變量設(shè)置:將環(huán)境變量的值，預(yù)先存放在固定的hadoop.sh文件里，利用腳本配置遠(yuǎn)程命令，將hadoop.sh遠(yuǎn)程拷貝并遠(yuǎn)程執(zhí)行相關(guān)操作使環(huán)境變量生效。
[0009]對Hadoop配置文件進(jìn)行配置，將配置參數(shù)統(tǒng)一存放在一個文件中，使用腳本將需要修改的參數(shù)，修改到預(yù)先準(zhǔn)備的原始參數(shù)文件當(dāng)中，生成目標(biāo)參數(shù)文件，再將這些參數(shù)文件及其它的hadoop文件進(jìn)行遠(yuǎn)程拷貝。
[0010]本發(fā)明的有益之處是:
本發(fā)明提供一種高效的Hadoop集群部署方法，對集群節(jié)點進(jìn)行無密碼訪問配置，在其中一個節(jié)點上將Hadoop環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動利用相關(guān)腳本配置遠(yuǎn)程命令，遠(yuǎn)程執(zhí)行環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動的相關(guān)操作，將Hadoop文件打包自動分發(fā)到集群的其他節(jié)點上;實現(xiàn)了自動化設(shè)置環(huán)境變量，自動化配置無密碼訪問，自動化修改配置文件，自動化啟動服務(wù)和驗證等功能，只需要手動進(jìn)行JDK的安裝即可，部署簡單快速，且大大降低了出錯的概率，特別適合與在大機(jī)群上進(jìn)行Hadoop的部署。
【附圖說明】
[0011 ]圖1本發(fā)明方法設(shè)置腳本流程示意圖。
【具體實施方式】
[0012]一種高效的Hadoop集群部署方法，對集群節(jié)點進(jìn)行無密碼訪問配置，在其中一個節(jié)點上將Hadoop環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動利用相關(guān)腳本配置遠(yuǎn)程命令，遠(yuǎn)程執(zhí)行環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動的相關(guān)操作，將Hadoop文件打包自動分發(fā)到集群的其他節(jié)點上。
[0013]根據(jù)上述方法及
【發(fā)明內(nèi)容】
，結(jié)合附圖對本發(fā)明做進(jìn)一步說明。
[0014]利用本發(fā)明方法進(jìn)行Hadoop集群部署時，系統(tǒng)環(huán)境已經(jīng)安裝完畢，網(wǎng)絡(luò)配置正常，防火墻和selinux已關(guān)閉，本發(fā)明具體實施中主要包括以下幾個腳本文件:設(shè)置無密碼訪問的setssh.sh，設(shè)置環(huán)境變量的setprofile.sh，修改hadoop配置文件的deploy.sh，啟動并檢查hadoop相關(guān)服務(wù)的run_check.sh。
[0015]以hadoop2.5.2為例，一種高效的Hadoop集群部署方法:
對集群節(jié)點進(jìn)行無密碼訪問配置，在其中一個節(jié)點上將Hadoop環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動利用相關(guān)腳本配置遠(yuǎn)程命令，遠(yuǎn)程執(zhí)行環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動的相關(guān)操作，將Hadoop文件打包自動分發(fā)到集群的其他節(jié)點上。
[0016]其中所述對集群節(jié)點進(jìn)行無密碼訪問配置:設(shè)置無密碼訪問的setssh.sh，在節(jié)點間使用公鑰，將公鑰遠(yuǎn)程生成拷貝及合并操作存放到同一腳本setssh.sh，執(zhí)行此腳本，使任意節(jié)點間進(jìn)行無密碼訪問。例如兩個節(jié)點間的無密碼訪問，比如A節(jié)點訪問為B節(jié)點，將B節(jié)點的公鑰放在A節(jié)點上，A節(jié)點便可無密碼訪問B節(jié)點。同理將A節(jié)點的公鑰放在B節(jié)點上，B節(jié)點即可無密碼訪問A節(jié)點。如此在其他節(jié)點上執(zhí)行同樣操作，便可使A、B節(jié)點和更多的節(jié)點之間進(jìn)行無密碼訪問。
[0017]Hadoop環(huán)境變量設(shè)置:設(shè)置環(huán)境變量的setprofile.sh，配置Hadoop時，一般需要設(shè)置如下環(huán)境變量:JAVA_H0ME，HAD00P_H0ME，HAD00P_C0NF，CLASSPATH，PATH。將環(huán)境變量的值，預(yù)先存放在固定的hadoop.sh文件里，利用腳本setprof iIe.sh配置遠(yuǎn)程命令，將hadoop.sh遠(yuǎn)程拷貝到目標(biāo)機(jī)器的/etc/prof iIe.d目錄下，并遠(yuǎn)程執(zhí)行source /etc/profile, d使環(huán)境變量生效。[ΟΟ? 8] 對Hadoop配置文件進(jìn)行配置:涉及修改hadoop配置文件的deploy.sh，配置hadoop時一般需要修改如下幾個文件:core-site.xml，hdfs_site.xml ,mapred-site.xml,master, slave。將配置參數(shù)統(tǒng)一存放在一個文件alter.txt中，使用deploy.sh腳本將需要修改的參數(shù)，修改到預(yù)先準(zhǔn)備的原始參數(shù)文件當(dāng)中，生成目標(biāo)參數(shù)文件，再將這些參數(shù)文件及其它的hadoop文件進(jìn)行遠(yuǎn)程拷貝。后續(xù)用戶可以通過alter, txt查看進(jìn)行了哪些修改，方便了問題的追查?；蛘邔@個文件進(jìn)行增刪操作，增加或刪除參數(shù)改動，重復(fù)利用率高。[ΟΟ?9]啟動hadoop相關(guān)服務(wù)的run_check.sh:用戶在啟動hadoop服務(wù)的時候，最好檢查服務(wù)是否啟動成功。run_check.sh腳本中配置了遠(yuǎn)程操作命令，幫助用戶遠(yuǎn)程啟動服務(wù)并且遠(yuǎn)程檢查服務(wù)是否啟動成功，并將服務(wù)啟動失敗的節(jié)點返回。
[0020]利用本發(fā)明方法整個hadoop配置及服務(wù)啟動過程，用時較短。大大簡化了配置步驟，減少了配置時間。
【主權(quán)項】
1.一種高效的Hadoop集群部署方法，其特征是對集群節(jié)點進(jìn)行無密碼訪問配置，在其中一個節(jié)點上將Hadoop環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動利用相關(guān)腳本配置遠(yuǎn)程命令，遠(yuǎn)程執(zhí)行環(huán)境變量設(shè)置、Hadoop配置文件、及Hadoop相關(guān)服務(wù)的啟動的相關(guān)操作，將Hadoop文件打包自動分發(fā)到集群的其他節(jié)點上。2.根據(jù)權(quán)利要求1所述的方法，其特征是所述對集群節(jié)點進(jìn)行無密碼訪問配置:在節(jié)點間使用公鑰，將公鑰遠(yuǎn)程生成拷貝及合并操作存放到同一腳本，執(zhí)行此腳本，使任意節(jié)點間進(jìn)行無密碼訪問。3.根據(jù)權(quán)利要求1或2所述的方法，其特征是Hadoop環(huán)境變量設(shè)置:將環(huán)境變量的值，預(yù)先存放在固定的hadoop.sh文件里，利用腳本配置遠(yuǎn)程命令，將hadoop.sh遠(yuǎn)程拷貝并遠(yuǎn)程執(zhí)行相關(guān)操作使環(huán)境變量生效。4.根據(jù)權(quán)利要求1或2所述的方法，其特征是對Hadoop配置文件進(jìn)行配置，將配置參數(shù)統(tǒng)一存放在一個文件中，使用腳本將需要修改的參數(shù)，修改到預(yù)先準(zhǔn)備的原始參數(shù)文件當(dāng)中，生成目標(biāo)參數(shù)文件，再將這些參數(shù)文件及其它的hadoop文件進(jìn)行遠(yuǎn)程拷貝。
【文檔編號】G06F17/30GK105893545SQ201610198156
【公開日】2016年8月24日
【申請日】2016年4月1日
【發(fā)明人】辛永欣
【申請人】浪潮電子信息產(chǎn)業(yè)股份有限公司