本發(fā)明涉及集群管理領(lǐng)域，尤其涉及一種大數(shù)據(jù)集群資源分配方法及裝置。
背景技術(shù)：
：：大數(shù)據(jù)時(shí)代帶給社會(huì)各個(gè)層面的變革是深入持久的，在新的形勢(shì)下資源分配將會(huì)發(fā)生怎樣的變化，大數(shù)據(jù)又在這一變化中發(fā)揮怎樣作用，如何利用好大數(shù)據(jù)讓資源分配更優(yōu)化是中國(guó)乃至整個(gè)人類(lèi)社會(huì)必須當(dāng)前面臨的問(wèn)題。目前，搭建hadoop的大數(shù)據(jù)集群組件如hdfs、yarn、hive、hbase等，本身有自己的權(quán)限管控方法，難以統(tǒng)一管理和進(jìn)行資源分配。故如何整合大數(shù)據(jù)集群組件的認(rèn)證和授權(quán)方法，使用統(tǒng)一的策略進(jìn)行資源分配是目前亟需解決的技術(shù)問(wèn)題。技術(shù)實(shí)現(xiàn)要素：本發(fā)明針對(duì)目前需求以及現(xiàn)有技術(shù)發(fā)展的不足之處，提供一種大數(shù)據(jù)集群資源分配方法及裝置，本發(fā)明通過(guò)整合大數(shù)據(jù)集群資源組件的認(rèn)證和授權(quán)，使用統(tǒng)一的策略進(jìn)行資源分配，實(shí)現(xiàn)不同的用戶訂閱大數(shù)據(jù)集群資源，達(dá)到了分配大數(shù)據(jù)集群資源的目的。為了實(shí)現(xiàn)上述目的，本發(fā)明采用以下的技術(shù)方案：一種大數(shù)據(jù)集群資源分配方法，包括以下步驟：管理員通過(guò)kerberos統(tǒng)一管理大數(shù)據(jù)集群資源組件的認(rèn)證登錄；管理員通過(guò)apacheranger實(shí)現(xiàn)對(duì)大數(shù)據(jù)集群資源的權(quán)限管控；用戶對(duì)大數(shù)據(jù)集群資源進(jìn)行訂閱；用戶獲得對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理的權(quán)限；用戶對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理。優(yōu)選地，所述集群為多個(gè)搭建hadoop的服務(wù)器。優(yōu)選地，所述大數(shù)據(jù)集群資源組件包括hdfs、yarn、hive及hbase。優(yōu)選地，在管理員通過(guò)kerberos統(tǒng)一管理大數(shù)據(jù)集群資源組件的認(rèn)證登錄之前，還包括：為集群搭建kerberos。優(yōu)選地，在管理員通過(guò)apacheranger實(shí)現(xiàn)對(duì)大數(shù)據(jù)集群資源的權(quán)限管控之前，還包括：為集群安裝apacheranger。優(yōu)選地，在用戶對(duì)大數(shù)據(jù)集群資源進(jìn)行訂閱之前，還包括：創(chuàng)建不同用戶；將不同用戶的信息同步到apacheranger；創(chuàng)建不同用戶對(duì)應(yīng)的大數(shù)據(jù)集群資源組件。優(yōu)選地，用戶對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理，包括：用戶對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行讀、寫(xiě)和分享管理；其他用戶對(duì)該用戶分享的大數(shù)據(jù)集群資源進(jìn)行讀管理。本發(fā)明還提供了基于上述的一種大數(shù)據(jù)集群資源分配方法的一種大數(shù)據(jù)集群資源分配裝置，包括：認(rèn)證登錄模塊，用于管理員通過(guò)kerberos統(tǒng)一管理大數(shù)據(jù)集群資源組件的認(rèn)證登錄；權(quán)限管控模塊，用于管理員通過(guò)apacheranger實(shí)現(xiàn)對(duì)大數(shù)據(jù)集群資源的權(quán)限管控；訂閱模塊，用于用戶對(duì)大數(shù)據(jù)集群資源進(jìn)行訂閱；獲得管理權(quán)限模塊，用于用戶獲得對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理的權(quán)限；管理模塊，用于用戶對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理。優(yōu)選地，還包括：搭建模塊，用于為集群搭建kerberos。優(yōu)選地，還包括：安裝模塊，用于為集群安裝apacheranger。優(yōu)選地，還包括：第一創(chuàng)建模塊，用于創(chuàng)建不同用戶。優(yōu)選地，還包括：同步模塊，用于將不同用戶的信息同步到apacheranger。優(yōu)選地，還包括：第二創(chuàng)建模塊，用于創(chuàng)建不同用戶對(duì)應(yīng)的大數(shù)據(jù)集群資源組件。優(yōu)選地，所述管理模塊進(jìn)一步包括：管理子模塊，用于用戶對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行讀、寫(xiě)和分享管理；讀管理模塊，用于其他用戶對(duì)該用戶分享的大數(shù)據(jù)集群資源進(jìn)行讀管理。本發(fā)明的有益效果：本發(fā)明提供一種大數(shù)據(jù)集群資源分配方法及裝置，通過(guò)kerberos統(tǒng)一管理大數(shù)據(jù)集群資源組件的認(rèn)證登錄，并通過(guò)apacheranger授權(quán)實(shí)現(xiàn)對(duì)大數(shù)據(jù)集群資源的權(quán)限管控，實(shí)現(xiàn)不同的用戶訂閱大數(shù)據(jù)集群資源，并對(duì)訂閱的大數(shù)據(jù)資源進(jìn)行管理，達(dá)到分配大數(shù)據(jù)集群資源的目的。用戶可以根據(jù)自己的喜好選擇訂閱的大數(shù)據(jù)集群資源，用戶可以對(duì)自己訂閱的資源進(jìn)行讀、寫(xiě)和分享管理，其他用戶可以對(duì)被分享的大數(shù)據(jù)集群資源進(jìn)行讀管理。附圖說(shuō)明圖1為本發(fā)明一種大數(shù)據(jù)集群資源分配方法的流程示意圖之一。圖2為本發(fā)明一種大數(shù)據(jù)集群資源分配裝置的結(jié)構(gòu)示意圖之一。圖3為本發(fā)明一種大數(shù)據(jù)集群資源分配方法的流程示意圖之二。圖4為本發(fā)明一種大數(shù)據(jù)集群資源分配裝置的結(jié)構(gòu)示意圖之二。具體實(shí)施方式為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒(méi)有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。為了便于理解，對(duì)本發(fā)明中出現(xiàn)的部分名詞作以下解釋說(shuō)明：apacheranger：提供一個(gè)集中式安全管理框架,并解決授權(quán)和審計(jì)。它可以對(duì)hadoop生態(tài)的組件如hdfs、yarn、hive、hbase等進(jìn)行細(xì)粒度的數(shù)據(jù)訪問(wèn)控制。通過(guò)操作ranger控制臺(tái),管理員可以輕松的通過(guò)配置策略來(lái)控制用戶訪問(wèn)權(quán)限。kerberos：是一種網(wǎng)絡(luò)認(rèn)證協(xié)議，其設(shè)計(jì)目標(biāo)是通過(guò)密鑰系統(tǒng)為客戶機(jī)/服務(wù)器應(yīng)用程序提供強(qiáng)大的認(rèn)證服務(wù)。使用kerberos時(shí)，一個(gè)客戶端需要經(jīng)過(guò)三個(gè)步驟來(lái)獲取服務(wù)：認(rèn)證：客戶端向認(rèn)證服務(wù)器發(fā)送一條報(bào)文，并獲取一個(gè)含時(shí)間戳的ticket-grantingticket（tgt）；授權(quán)：客戶端使用tgt向ticket-grantingserver（tgs）請(qǐng)求一個(gè)服務(wù)ticket；服務(wù)請(qǐng)求：客戶端向服務(wù)器出示服務(wù)ticket，以證實(shí)自己的合法性。該服務(wù)器提供客戶端所需服務(wù)，在hadoop應(yīng)用中，服務(wù)器可以是namenode或jobtracker。為此，kerberos需要thekeydistributioncenters（kdc）來(lái)進(jìn)行認(rèn)證。kdc只有一個(gè)master，可以帶多個(gè)slaves機(jī)器。slaves機(jī)器僅進(jìn)行普通驗(yàn)證。mater上做的修改需要自動(dòng)同步到slaves。另外，kdc需要一個(gè)admin，來(lái)進(jìn)行日常的管理操作。這個(gè)admin可以通過(guò)遠(yuǎn)程或者本地方式登錄。hdfs：hadoopdistributedfilesystem的縮寫(xiě)，是hadoop分布式文件系統(tǒng)，被設(shè)計(jì)成適合運(yùn)行在通用硬件上的分布式文件系統(tǒng)。它和現(xiàn)有的分布式文件系統(tǒng)有很多共同點(diǎn)。但同時(shí)，它和其他的分布式文件系統(tǒng)的區(qū)別也是很明顯的。hdfs是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上。hdfs能提供高吞吐量的數(shù)據(jù)訪問(wèn)，適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，放寬了一部分posix約束，來(lái)實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。一個(gè)hdfs集群是由一個(gè)namenode和一定數(shù)目的datanode組成。namenode是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的namespace和客戶端對(duì)文件的訪問(wèn)。datanode在集群中一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理節(jié)點(diǎn)上它們附帶的存儲(chǔ)。在內(nèi)部，一個(gè)文件其實(shí)分成一個(gè)或多個(gè)block，這些block存儲(chǔ)在datanode集合里。namenode執(zhí)行文件系統(tǒng)的namespace操作，例如打開(kāi)、關(guān)閉、重命名文件和目錄，同時(shí)決定block到具體datanode節(jié)點(diǎn)的映射。datanode在namenode的指揮下進(jìn)行block的創(chuàng)建、刪除和復(fù)制。namenode和datanode都是設(shè)計(jì)成可以跑在普通的廉價(jià)的運(yùn)行l(wèi)inux的機(jī)器上。yarn：yetanotherresourcenegotiator的縮寫(xiě)，是一種新的hadoop資源管理器，yarn是一個(gè)通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來(lái)了巨大好處。hive：是基于hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，并提供簡(jiǎn)單的sql查詢功能，可以將sql語(yǔ)句轉(zhuǎn)換為mapreduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過(guò)類(lèi)sql語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的mapreduce統(tǒng)計(jì)，不必開(kāi)發(fā)專(zhuān)門(mén)的mapreduce應(yīng)用，十分適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析。mapreduce：是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。方便編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)map函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的reduce函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。hbase：是一個(gè)分布式的、面向列的開(kāi)源數(shù)據(jù)庫(kù)，hbase在hadoop之上提供了類(lèi)似于bigtable的能力。hbase不同于一般的關(guān)系數(shù)據(jù)庫(kù)，它是一個(gè)適合非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù)，并且采用基于列的而不是基于行的模式。下面結(jié)合附圖和實(shí)施例，對(duì)本發(fā)明的具體實(shí)施方式作進(jìn)一步詳細(xì)描述：實(shí)施例一：如圖1所示，本發(fā)明的一種大數(shù)據(jù)集群資源分配方法，包括以下步驟：步驟s101：為集群搭建kerberos。步驟s102：管理員通過(guò)kerberos統(tǒng)一管理大數(shù)據(jù)集群資源組件的認(rèn)證登錄。步驟s103：為集群安裝apacheranger。步驟s104：管理員通過(guò)apacheranger實(shí)現(xiàn)對(duì)大數(shù)據(jù)集群資源的權(quán)限管控。步驟s105：創(chuàng)建不同用戶。步驟s106：將不同用戶的信息同步到apacheranger。步驟s107：創(chuàng)建不同用戶對(duì)應(yīng)的大數(shù)據(jù)集群資源組件。步驟s108：用戶對(duì)大數(shù)據(jù)集群資源進(jìn)行訂閱。步驟s109：用戶獲得對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理的權(quán)限。步驟s110：用戶對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行讀、寫(xiě)和分享管理。步驟s111：其他用戶對(duì)該用戶分享的大數(shù)據(jù)集群資源進(jìn)行讀管理。作為一種可實(shí)施的方式，選取同一局域網(wǎng)內(nèi)的5臺(tái)搭建了hadoop的服務(wù)器作為本實(shí)施例中的集群。值得說(shuō)明的是，大數(shù)據(jù)集群資源組件包括hdfs、yarn、hive及hbase。實(shí)施例二：如圖2所示，本發(fā)明的一種大數(shù)據(jù)集群資源分配裝置，包括：搭建模塊201、認(rèn)證登錄模塊202、安裝模塊203、權(quán)限管控模塊204、第一創(chuàng)建模塊205、同步模塊206、第二創(chuàng)建模塊207、訂閱模塊208、獲得管理權(quán)限模塊209、管理模塊中的管理子模塊210和管理模塊中的讀管理模塊211，搭建模塊201依次連接認(rèn)證登錄模塊202、安裝模塊203、權(quán)限管控模塊204、第一創(chuàng)建模塊205、同步模塊206、第二創(chuàng)建模塊207、訂閱模塊208、獲得管理權(quán)限模塊209、管理模塊中的管理子模塊210和管理模塊中的讀管理模塊211。搭建模塊201，用于為集群搭建kerberos；認(rèn)證登錄模塊202，用于管理員通過(guò)kerberos統(tǒng)一管理大數(shù)據(jù)集群資源組件的認(rèn)證登錄；安裝模塊203，用于為集群安裝apacheranger；權(quán)限管控模塊204，用于管理員通過(guò)apacheranger實(shí)現(xiàn)對(duì)大數(shù)據(jù)集群資源的權(quán)限管控；第一創(chuàng)建模塊205，用于創(chuàng)建不同用戶；同步模塊206，用于將不同用戶的信息同步到apacheranger；第二創(chuàng)建模塊207，用于創(chuàng)建不同用戶對(duì)應(yīng)的大數(shù)據(jù)集群資源組件；訂閱模塊208，用于用戶對(duì)大數(shù)據(jù)集群資源進(jìn)行訂閱；獲得管理權(quán)限模塊209，用于用戶獲得對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理的權(quán)限；管理模塊中的管理子模塊210，用于用戶對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行讀、寫(xiě)和分享管理；管理模塊中的讀管理模塊211，用于其他用戶對(duì)該用戶分享的大數(shù)據(jù)集群資源進(jìn)行讀管理。實(shí)施例三：如圖3所示，本發(fā)明的另一種大數(shù)據(jù)集群資源分配方法，包括以下步驟：步驟s301：管理員通過(guò)kerberos統(tǒng)一管理大數(shù)據(jù)集群資源組件的認(rèn)證登錄。步驟s302：管理員通過(guò)apacheranger實(shí)現(xiàn)對(duì)大數(shù)據(jù)集群資源的權(quán)限管控。步驟s303：用戶對(duì)大數(shù)據(jù)集群資源進(jìn)行訂閱。步驟s304：用戶獲得對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理的權(quán)限。步驟s305：用戶對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理。作為一種可實(shí)施的方式，選取同一局域網(wǎng)內(nèi)的5臺(tái)搭建了hadoop的服務(wù)器作為本實(shí)施例中的集群。值得說(shuō)明的是，大數(shù)據(jù)集群資源組件包括hdfs、yarn、hive及hbase。實(shí)施例四：如圖4所示，本發(fā)明的另一種大數(shù)據(jù)集群資源分配裝置，包括：認(rèn)證登錄模塊401、權(quán)限管控模塊402、訂閱模塊403、獲得管理權(quán)限模塊404和管理模塊405，認(rèn)證登錄模塊401依次連接權(quán)限管控模塊402、訂閱模塊403、獲得管理權(quán)限模塊404和管理模塊405。認(rèn)證登錄模塊401，用于管理員通過(guò)kerberos統(tǒng)一管理大數(shù)據(jù)集群資源組件的認(rèn)證登錄；權(quán)限管控模塊402，用于管理員通過(guò)apacheranger實(shí)現(xiàn)對(duì)大數(shù)據(jù)集群資源的權(quán)限管控；訂閱模塊403，用于用戶對(duì)大數(shù)據(jù)集群資源進(jìn)行訂閱；獲得管理權(quán)限模塊404，用于用戶獲得對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理的權(quán)限；管理模塊405，用于用戶對(duì)訂閱的大數(shù)據(jù)集群資源進(jìn)行管理。專(zhuān)業(yè)人員還可以進(jìn)一步意識(shí)到，結(jié)合本文中所公開(kāi)的實(shí)施例描述的各示例的算法步驟及模塊，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來(lái)實(shí)現(xiàn)，為了清楚地說(shuō)明硬件和軟件的可互換性，在上述說(shuō)明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。而這些功能究竟以硬件還是軟件方式來(lái)執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專(zhuān)業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來(lái)使用不同方法來(lái)實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。以上所示僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本
技術(shù)領(lǐng)域：
：的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。當(dāng)前第1頁(yè)12當(dāng)前第1頁(yè)12