本發(fā)明涉及計(jì)算機(jī)軟件應(yīng)用開發(fā)技術(shù)領(lǐng)域，特別涉及一種利用Docker容器自動(dòng)化部署與管理大數(shù)據(jù)集群的方法。

背景技術(shù)：

Docker是一個(gè)開源的應(yīng)用容器引擎，讓開發(fā)者可以打包他們的應(yīng)用以及依賴包到一個(gè)可移植的容器中，然后發(fā)布到任何流行的Linux機(jī)器上，也可以實(shí)現(xiàn)虛擬化。容器是完全使用沙箱機(jī)制，相互之間不會(huì)有任何接口。幾乎沒有性能開銷，可以很容易地在機(jī)器和數(shù)據(jù)中心中運(yùn)行。最重要的是，它們不依賴于任何語(yǔ)言、框架包括系統(tǒng)。

Dockerfile是由一系列命令和參數(shù)構(gòu)成的腳本，這些命令應(yīng)用于基礎(chǔ)鏡像并最終創(chuàng)建一個(gè)新的鏡像，它們簡(jiǎn)化了從頭到尾的流程并極大的簡(jiǎn)化了部署工作。Dockerfile從FROM命令開始，緊接著各種方法、命令和參數(shù)，其產(chǎn)出為一個(gè)新的可以用于創(chuàng)建容器的鏡像。

Ember.js是一個(gè)用于創(chuàng)建web應(yīng)用的JavaScript MVC框架，采用基于字符串的Handlebars模板，支持雙向綁定、觀察者模式、計(jì)算屬性（依賴其他屬性動(dòng)態(tài)變化）、自動(dòng)更新模板、路由控制、狀態(tài)機(jī)等。Ember使用自身擴(kuò)展的類來創(chuàng)建Ember對(duì)象、數(shù)組、字符串、函數(shù)，提供大量方法與屬性用于操作。Ember采用可嵌套的視圖層，使視圖變得有層次。

基于上述情況，同時(shí)為了解決大數(shù)據(jù)集群資源使用率高、安裝管理復(fù)雜，以及使用過程中參數(shù)調(diào)整繁瑣、性能監(jiān)控不便的缺點(diǎn)，減輕運(yùn)維人員的工作量，快速高效地在生產(chǎn)環(huán)境下完成大數(shù)據(jù)集群的部署和管理工作。本發(fā)明設(shè)計(jì)了一種利用Docker容器自動(dòng)化部署與管理大數(shù)據(jù)集群的方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了彌補(bǔ)現(xiàn)有技術(shù)的缺陷，提供了一種簡(jiǎn)單高效的利用Docker容器自動(dòng)化部署與管理大數(shù)據(jù)集群的方法。

本發(fā)明是通過如下技術(shù)方案實(shí)現(xiàn)的：

一種利用Docker容器自動(dòng)化部署與管理大數(shù)據(jù)集群的方法，其特征在于：通過編寫Dockerfile文件構(gòu)建Hadoop大數(shù)據(jù)集群自動(dòng)化部署相關(guān)的Docker鏡像，包括Server端鏡像和Agent端鏡像；利用Server端鏡像啟動(dòng)一個(gè)Server容器，利用Agent端鏡像啟動(dòng)多個(gè)Agent端，由Server端對(duì)多個(gè)Agent端進(jìn)行統(tǒng)一管理，同時(shí)在Server容器中啟動(dòng)Web應(yīng)用；建立一個(gè)由Server端、多Agent端和Web端組成的分布式架構(gòu)，自動(dòng)化啟動(dòng)部署Hadoop相關(guān)大數(shù)據(jù)集群的服務(wù)。

所述Web端基于Ember JS框架，負(fù)責(zé)引導(dǎo)用戶進(jìn)行大數(shù)據(jù)組件安裝，安裝完成后對(duì)集群、主機(jī)和組件進(jìn)行可視化監(jiān)控，同時(shí)支持各個(gè)組件的啟停等操作與配置的調(diào)優(yōu)；

所述Server端負(fù)責(zé)與Web端和Agent端進(jìn)行交互，開放兩大類API，其中一類API為Web端提供監(jiān)控管理服務(wù)，實(shí)現(xiàn)應(yīng)用的安裝部署與管理監(jiān)控可視化；另一類API用于與Agent端進(jìn)行交互，分發(fā)任務(wù)到指定的Agent，同時(shí)接受Agent向Server發(fā)送心跳請(qǐng)求，實(shí)時(shí)監(jiān)控Agent的狀態(tài)；

所述Agent端負(fù)責(zé)調(diào)用Python腳本進(jìn)行應(yīng)用的自動(dòng)化安裝以及主機(jī)狀態(tài)的監(jiān)控，同時(shí)支持主機(jī)數(shù)量的擴(kuò)展，對(duì)Metrics進(jìn)行封裝，實(shí)現(xiàn)對(duì)集群、主機(jī)和應(yīng)用的監(jiān)控，結(jié)合Grafana更好地實(shí)現(xiàn)監(jiān)控信息的可視化。

所述Web端引導(dǎo)用戶進(jìn)行大數(shù)據(jù)組件安裝，包括添加主機(jī)、選擇應(yīng)用、主機(jī)分配、修改配置。

本發(fā)明的有益效果是：該利用Docker容器自動(dòng)化部署與管理大數(shù)據(jù)集群的方法，通過Web頁(yè)面實(shí)現(xiàn)了集群的管理與配置調(diào)優(yōu)，減少了運(yùn)維人員的工作量，同時(shí)通過可視化監(jiān)控能夠直觀地獲取集群、主機(jī)和組件的運(yùn)行狀態(tài)，提高運(yùn)維人員的工作效率，進(jìn)而顯著提高了大數(shù)據(jù)集群部署的速度，簡(jiǎn)化了部署流程，同時(shí)降低了硬件資源使用率。

附圖說明

附圖1為本發(fā)明利用Docker容器自動(dòng)化部署與管理大數(shù)據(jù)集群的方法示意圖。

具體實(shí)施方式

為了使本發(fā)明所要解決的技術(shù)問題、技術(shù)方案及有益效果更加清楚明白，以下結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明進(jìn)行詳細(xì)的說明。應(yīng)當(dāng)說明的是，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。

該利用Docker容器自動(dòng)化部署與管理大數(shù)據(jù)集群的方法，通過編寫Dockerfile文件構(gòu)建Hadoop大數(shù)據(jù)集群自動(dòng)化部署相關(guān)的Docker鏡像，包括Server端鏡像和Agent端鏡像；利用Server端鏡像啟動(dòng)一個(gè)Server容器，利用Agent端鏡像啟動(dòng)多個(gè)Agent端，由Server端對(duì)多個(gè)Agent端進(jìn)行統(tǒng)一管理，同時(shí)在Server容器中啟動(dòng)Web應(yīng)用；建立一個(gè)由Server端、多Agent端和Web端組成的分布式架構(gòu)，自動(dòng)化啟動(dòng)部署Hadoop相關(guān)大數(shù)據(jù)集群的服務(wù)。

所述Web端基于Ember JS框架，負(fù)責(zé)引導(dǎo)用戶進(jìn)行大數(shù)據(jù)組件安裝，安裝完成后對(duì)集群、主機(jī)和組件進(jìn)行可視化監(jiān)控，同時(shí)支持各個(gè)組件的啟停等操作與配置的調(diào)優(yōu)；

所述Server端負(fù)責(zé)與Web端和Agent端進(jìn)行交互，開放兩大類API，其中一類API為Web端提供監(jiān)控管理服務(wù)，實(shí)現(xiàn)應(yīng)用的安裝部署與管理監(jiān)控可視化；另一類API用于與Agent端進(jìn)行交互，分發(fā)任務(wù)到指定的Agent，同時(shí)接受Agent向Server發(fā)送心跳請(qǐng)求，實(shí)時(shí)監(jiān)控Agent的狀態(tài)；

所述Agent端負(fù)責(zé)調(diào)用Python腳本進(jìn)行應(yīng)用的自動(dòng)化安裝以及主機(jī)狀態(tài)的監(jiān)控，同時(shí)支持主機(jī)數(shù)量的擴(kuò)展，對(duì)Metrics進(jìn)行封裝，實(shí)現(xiàn)對(duì)集群、主機(jī)和應(yīng)用的監(jiān)控，結(jié)合Grafana更好地實(shí)現(xiàn)監(jiān)控信息的可視化。

所述Web端引導(dǎo)用戶進(jìn)行大數(shù)據(jù)組件安裝，包括添加主機(jī)、選擇應(yīng)用、主機(jī)分配、修改配置。

該利用Docker容器自動(dòng)化部署與管理大數(shù)據(jù)集群的方法，主要解決了以下問題：

（1）Hadoop大數(shù)據(jù)集群自動(dòng)化部署相關(guān)Docker鏡像的制作方法；

（2）利用自定義Docker鏡像啟動(dòng)的容器部署Hadoop相關(guān)大數(shù)據(jù)集群安裝復(fù)雜、配置繁瑣、管理不便的問題。

該利用Docker容器自動(dòng)化部署與管理大數(shù)據(jù)集群的方法，完成了Hadoop相關(guān)大數(shù)據(jù)組件的安裝、配置、參加調(diào)整，將手動(dòng)安裝、配置、管理全部實(shí)現(xiàn)自動(dòng)化，提供了Web管理界面，便于可視化操作。具體來說，通過Web頁(yè)面實(shí)現(xiàn)了集群的管理與配置調(diào)優(yōu)，減少了運(yùn)維人員的工作量，同時(shí)通過可視化監(jiān)控能夠直觀地獲取集群、主機(jī)和組件的運(yùn)行狀態(tài)，提高運(yùn)維人員的工作效率，進(jìn)而顯著提高了大數(shù)據(jù)集群部署的速度，簡(jiǎn)化了部署流程，同時(shí)降低了硬件資源使用率。