專(zhuān)利名稱(chēng)：一種云計(jì)算開(kāi)放平臺(tái)的調(diào)度方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)信息分析與數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及ー種云計(jì)算開(kāi)放平臺(tái)的調(diào)度方法。
背景技術(shù)：
云計(jì)算是當(dāng)前國(guó)內(nèi)外商業(yè)和科研機(jī)構(gòu)研究的熱點(diǎn)之一，是網(wǎng)格計(jì)算、并行計(jì)算、分布式計(jì)算的發(fā)展，是ー種新興的商業(yè)計(jì)算模式。它采用了成熟的虛擬化技術(shù)將數(shù)據(jù)中心的資源打包為互聯(lián)網(wǎng)上的用戶提供按需服務(wù)。作業(yè)調(diào)度與資源分配是云計(jì)算的兩個(gè)關(guān)鍵技術(shù)，云計(jì)算的商業(yè)性使其關(guān)注對(duì)用戶的服務(wù)質(zhì)量，其虛擬化技術(shù)使得資源分配和作業(yè)調(diào)度不同于以往的并行分布式計(jì)算。在網(wǎng)格計(jì)算，分布式計(jì)算、并行計(jì)算中，作業(yè)調(diào)度和資源分配是廣泛研究的內(nèi)容。傳統(tǒng)的作業(yè)調(diào)度、資源分配研究注重效率，而資源分配的公平性也是
關(guān)系到用戶服務(wù)質(zhì)量、系統(tǒng)的負(fù)載均衡性、任務(wù)完成效率的ー個(gè)重要方面。尤其是云計(jì)算是ー種商業(yè)實(shí)現(xiàn)，目的在于為不同的用戶提供服務(wù)、計(jì)算能力、存儲(chǔ)等，需要更加注重用戶需求的滿足度。與云計(jì)算一同發(fā)展的還有Web開(kāi)放平臺(tái)。作為ー種新的網(wǎng)絡(luò)服務(wù)模式，Web開(kāi)放平臺(tái)首先提供ー個(gè)基本的服務(wù)，然后通過(guò)開(kāi)放自身的接ロ，幫助第三方開(kāi)發(fā)者通過(guò)運(yùn)用和組裝其接ロ以及其他第三方服務(wù)接ロ產(chǎn)生新的應(yīng)用，保證該應(yīng)用能夠統(tǒng)ー運(yùn)行在這個(gè)開(kāi)放平臺(tái)之上；用戶使用開(kāi)放平臺(tái)時(shí)，能夠更多更密集的完成多種網(wǎng)絡(luò)活動(dòng)，平臺(tái)為用戶提供各種服務(wù)及相關(guān)保障。開(kāi)放平臺(tái)的基本的服務(wù)可以是已有的，例如門(mén)戶、博客，也可以是新興的，例如用戶關(guān)系。I.多線程并行與互斥技術(shù)每個(gè)正在系統(tǒng)上運(yùn)行的程序都是ー個(gè)進(jìn)程。每個(gè)進(jìn)程包含ー個(gè)或多個(gè)線程。進(jìn)程也可能是整個(gè)程序或者是部分程序的動(dòng)態(tài)執(zhí)行。線程是ー組指令的集合，或者是程序的特殊段，它可以在程序里獨(dú)立執(zhí)行，也可以把它理解為代碼運(yùn)行的上下文，所以線程基本上是輕量級(jí)的進(jìn)程，它負(fù)責(zé)在單個(gè)程序里執(zhí)行多任務(wù)，通常由操作系統(tǒng)負(fù)責(zé)多個(gè)線程的調(diào)度和執(zhí)行。當(dāng)有多個(gè)線程并行運(yùn)行吋，采用線程池對(duì)多線程進(jìn)行管理。線程池是ー種多線程處理形式，處理過(guò)程中將任務(wù)添加到隊(duì)列，然后在創(chuàng)建線程后自動(dòng)啟動(dòng)這些任務(wù)，線程池線程都是后臺(tái)線程。每個(gè)線程都使用默認(rèn)的堆棧大小，以默認(rèn)的優(yōu)先級(jí)運(yùn)行，并處于多線程單元中。如果某個(gè)線程在托管代碼中空閑(如正在等待某個(gè)事件)，則線程池將插入另ー個(gè)輔助線程來(lái)使所有處理器保持繁忙。如果所有線程池線程都始終保持繁忙，但隊(duì)列中包含掛起的工作，則線程池將在一段時(shí)間后創(chuàng)建另ー個(gè)輔助線程，但線程的數(shù)目永遠(yuǎn)不會(huì)超過(guò)最大值。超過(guò)最大值的線程可以排隊(duì)，但它們要等到其它線程完成后才啟動(dòng)。在多線程環(huán)境下，采用信號(hào)量完成線程間的互斥和同歩。信號(hào)量是在多線程環(huán)境下使用的ー種全局共有數(shù)據(jù)結(jié)構(gòu)，是可以用來(lái)保證兩個(gè)或多個(gè)關(guān)鍵代碼段不被并發(fā)調(diào)用。在進(jìn)入ー個(gè)關(guān)鍵代碼段之前，線程必須獲取ー個(gè)信號(hào)量；一旦該關(guān)鍵代碼段完成了，那么該線程必須釋放信號(hào)量，其它想進(jìn)入該關(guān)鍵代碼段的線程必須等待直到第一個(gè)線程釋放信號(hào)量。為了完成這個(gè)過(guò)程，需要?jiǎng)?chuàng)建ー個(gè)信號(hào)量，然后將獲取信號(hào)量(Acquire Semaphore)以及釋放信號(hào)量(Release Semaphore)分別放置在每個(gè)關(guān)鍵代碼段的首末端，確認(rèn)這些信號(hào)量引用的是初始創(chuàng)建的信號(hào)量。2.多處理器分配和負(fù)載均衡技術(shù)多處理器任務(wù)分配和負(fù)載均衡是在多處理器核心的環(huán)境下，對(duì)處理任務(wù)進(jìn)行動(dòng)態(tài)分配和調(diào)試，從而提高處理器利用率，實(shí)現(xiàn)多線程并行的調(diào)度響應(yīng)。多處理器系統(tǒng)的調(diào)度模型主要包括處理器模型、任務(wù)模型及調(diào)度算法三部分。處理器模型描述處理器結(jié)構(gòu)和處理能力等信息，任務(wù)模型描述調(diào)度等待處理的任務(wù)所需要的相關(guān)信息。設(shè)ー個(gè)多處理器系統(tǒng)由m個(gè)處理器(P1, P2,…，Pffl)及K個(gè)資源(Res = r1；r2,…，rk),處理能力Ci (i = 1,2, ---,m)表示處理器Pi在單位時(shí)間內(nèi)處理任務(wù)的能力，多處理器系統(tǒng)的處理能力TPC定義為:
權(quán)利要求
1.一種云計(jì)算開(kāi)放平臺(tái)的調(diào)度方法，其特征在于，包括如下步驟 第一歩、中央服務(wù)器構(gòu)造若干并行的多線程，并構(gòu)造進(jìn)程池，之后把構(gòu)造的進(jìn)程放入進(jìn)程池； 第二步、注冊(cè)中央服務(wù)器創(chuàng)建并啟動(dòng)守護(hù)進(jìn)程，由主線程初始化全局變量，全局變量至少應(yīng)該包括信號(hào)量，子線程狀態(tài)集以及結(jié)果集，用于進(jìn)行子線程同步及記錄查詢(xún)記錄； 第三步、運(yùn)行在中央服務(wù)器中的負(fù)載均衡器初始化通信端ロ后等待前端Web代理服務(wù)器進(jìn)程的連接，當(dāng)有服務(wù)器連接請(qǐng)求到來(lái)吋，負(fù)載均衡器生成一個(gè)線程與該服務(wù)器通信，負(fù)載均衡器繼續(xù)等待其它服務(wù)器的連接請(qǐng)求，當(dāng)一個(gè)新的客戶請(qǐng)求服務(wù)時(shí)，負(fù)載均衡器從信息表中選擇ー個(gè)負(fù)載最低的即負(fù)載權(quán)值最大的服務(wù)器為其服務(wù)； 第四步、中央服務(wù)器處理線程池中的請(qǐng)求，并調(diào)用應(yīng)用服務(wù)器的服務(wù)，根據(jù)用戶權(quán)限調(diào)用應(yīng)用服務(wù)器集群的多核并行處理器，完成進(jìn)程和線程到處理器節(jié)點(diǎn)的分配； 第五步、中央服務(wù)器收集數(shù)據(jù)庫(kù)服務(wù)器的數(shù)據(jù)，處理分布式數(shù)據(jù)； 第六步、中央服務(wù)器調(diào)用集群服務(wù)，并整合海量數(shù)據(jù)返回給web代理服務(wù)器調(diào)用，同時(shí)歸還當(dāng)前請(qǐng)求的線程到線程池，繼續(xù)監(jiān)聽(tīng)用戶的請(qǐng)求并從線程池中調(diào)用空閑的線程。
2.根據(jù)權(quán)利要求I所述的云計(jì)算開(kāi)放平臺(tái)的調(diào)度方法，其特征在于，第一歩具體包括如下分步驟 .1)以FORK-JOIN結(jié)構(gòu)為模型創(chuàng)建并發(fā)線程模型； .2)將守護(hù)線程FORK出來(lái)的線程放入線程池，由線程池負(fù)責(zé)線程的生命周期管理； .3)在多線程并行處理環(huán)境下，采用變量mutex為互斥信號(hào)量，用于實(shí)現(xiàn)多線程環(huán)境下的資源訪問(wèn)的同步和互斥；該互斥信號(hào)量的工作過(guò)程如下當(dāng)請(qǐng)求ー個(gè)使用mutex來(lái)表示的資源時(shí)，進(jìn)程先讀取mutex的值，以判斷相應(yīng)的資源是否可用；當(dāng)mutex的值大于O時(shí),表明有資源可以請(qǐng)求；等于O時(shí)，表明無(wú)可用資源，進(jìn)程進(jìn)入睡眠狀態(tài)直至有可用資源時(shí)；當(dāng)進(jìn)程不再使用ー個(gè)信號(hào)量控制的共享資源吋，mutex的值增I。
3.根據(jù)權(quán)利要求I所述的云計(jì)算開(kāi)放平臺(tái)的調(diào)度方法，其特征在于，第三步所述的負(fù)載均衡器具體的負(fù)載均衡策略為當(dāng)云計(jì)算開(kāi)放平臺(tái)的結(jié)點(diǎn)初次投入使用時(shí)，設(shè)定ー個(gè)初始的權(quán)值SW(Ni)，隨著結(jié)點(diǎn)負(fù)載的變化，均衡器對(duì)權(quán)值進(jìn)行調(diào)整，權(quán)值由結(jié)點(diǎn)運(yùn)行時(shí)各方面的參數(shù)動(dòng)態(tài)計(jì)算得出，結(jié)點(diǎn)Ni的權(quán)值用如下式子進(jìn)行描述Sff (Ni) = Kq*L_CPU (Ni) +K^L.Memory (Ni) +K2*L_Process (Ni) +K3*L_I0 (Ni) +K4*L_Response (Ni) 其中，Ktl、K1、K2、K3和K4表示常數(shù)系數(shù)，L_CPU(Ni)為結(jié)點(diǎn)Ni的CPU使用率，L_Memory (Ni)為結(jié)點(diǎn)Ni的內(nèi)存使用率，I^PiOcess(Ni)為結(jié)點(diǎn)Ni的訪問(wèn)率，LJO(Ni)為結(jié)點(diǎn)Ni的磁盤(pán)I/O的占有率、I^Response(Ni)為結(jié)點(diǎn)Ni的進(jìn)程響應(yīng)時(shí)間，LJPU(Ni) = 1_P_CPU(Ni)，其中，P_CPU(Ni)表示當(dāng)前CPU的利用率。
4.根據(jù)權(quán)利要求I所述的云計(jì)算開(kāi)放平臺(tái)的調(diào)度方法，其特征在于，第四步具體包括如下分步驟 .1)任務(wù)分配模型的建立 設(shè)應(yīng)用服務(wù)器集群包含Nn_個(gè)處理節(jié)點(diǎn)Dtl, D1,…，Dn^1，待分配的并行程序有Npm。個(gè)進(jìn)程Pc^P1,…，pNproc-I，進(jìn)程Pi包含Mi個(gè)線程Ttl, T1,…，TM「X，并行程序的總線程個(gè)數(shù)Nproc~[Nthread = Yj Mk ' た=O 將待分配的并行程序表示為ー個(gè)任務(wù)關(guān)系圖，具體為ー個(gè)無(wú)向圖G = (V，E)，其中V是應(yīng)用服務(wù)器集群中各個(gè)應(yīng)用服務(wù)器節(jié)點(diǎn)的集合IVJ，節(jié)點(diǎn)Vi對(duì)應(yīng)ー個(gè)ニ元組〈1\，Pi) ；E是無(wú)向邊的集合{Eu};連接節(jié)點(diǎn)Vi和 ' 的e E，表示線程Ti和Tj間的通信或共享數(shù)據(jù)，邊的權(quán)值Wu表示兩個(gè)線程通信或共享數(shù)據(jù)的頻繁程度； 2)進(jìn)行兩輪操作，第一輪操作完成中央服務(wù)器響應(yīng)進(jìn)程到集 群服務(wù)器的分配；第ニ輪操作完成處理服務(wù)器節(jié)點(diǎn)內(nèi)線程到處理器核的分配；每ー輪操作包含多次迭代，具體處理過(guò)程如下從輸入的初始任務(wù)關(guān)系圖開(kāi)始，毎次選擇具有最大權(quán)值的邊，合并這條邊的兩個(gè)頂點(diǎn)，新生成的節(jié)點(diǎn)中所包含的線程個(gè)數(shù)必須小于等于ー個(gè)閾值；重復(fù)該過(guò)程，直到任務(wù)關(guān)系圖中節(jié)點(diǎn)的個(gè)數(shù)等于中央服務(wù)器當(dāng)前線程池中未分配的線程個(gè)數(shù)；第一、ニ輪操作使用的閾值分別按以下公式計(jì)算 ΓΓτν I 〕Thresholdfirst mund =Max,Μ· χ(1 + ), 0< <1 vL Proc J ノ T1 77 ,, \ Threasholdfirst round Threshnoldsecond round = -^ ^ _core_ 其中，ThreshoIdfirst round表示第一輪操作的處理節(jié)點(diǎn)個(gè)數(shù)的閾值，ThreshhoIdsecond round表示第二輪操作的復(fù)合節(jié)點(diǎn)個(gè)數(shù)的閾值，[]表示上取整運(yùn)算，Mmax為進(jìn)程擁有的最多線程數(shù)，N。，為現(xiàn)有的進(jìn)程數(shù)、Max O表示比較傳入的參數(shù)并取最大值，α是ー個(gè)百分比值，表示在均衡負(fù)載和減少通訊之間進(jìn)行權(quán)衡；具體分為如下分步驟 2a)對(duì)第一輪操作，初始的任務(wù)關(guān)系圖以各服務(wù)器個(gè)體為單位進(jìn)行初步的劃分，即圖中的復(fù)合節(jié)點(diǎn)數(shù)=進(jìn)程個(gè)數(shù)，每個(gè)復(fù)合節(jié)點(diǎn)對(duì)應(yīng)ー個(gè)進(jìn)程，包含在復(fù)合節(jié)點(diǎn)內(nèi)的線程均屬于該進(jìn)程；第一輪操作的結(jié)束條件是圖中復(fù)合節(jié)點(diǎn)個(gè)數(shù)< ThreSholdfirSt Mund，結(jié)束時(shí)圖中每個(gè)復(fù)合節(jié)點(diǎn)為一個(gè)子圖，對(duì)應(yīng)ー個(gè)處理節(jié)點(diǎn)，包含在子圖中的線程應(yīng)分配給該處理節(jié)點(diǎn)；2b)對(duì)第一輪操作劃分出的每個(gè)子圖都進(jìn)行第二輪操作，即第二輪操作的初始任務(wù)關(guān)系圖為第一輪操作得到的子圖，第二輪操作的結(jié)束條件是圖中資源池中被調(diào)度的進(jìn)程數(shù)^ Threshholdsecond round,結(jié)束時(shí)圖中每個(gè)復(fù)合節(jié)點(diǎn)對(duì)應(yīng)ー個(gè)進(jìn)程，包含在中央服務(wù)器中的線程池的線程應(yīng)分配給該處理器核； 2c)分析請(qǐng)求報(bào)文的目標(biāo)IP地址并據(jù)此負(fù)載均衡，在服務(wù)器的負(fù)載平衡情況下將相同目標(biāo)IP地址的請(qǐng)求調(diào)度到同一個(gè)節(jié)點(diǎn)，具體為首先找出目標(biāo)IP地址最近使用的節(jié)點(diǎn)，若該服務(wù)節(jié)點(diǎn)是可用的且沒(méi)有超載，則由負(fù)載均衡服務(wù)器將用戶請(qǐng)求發(fā)送到該服務(wù)節(jié)點(diǎn)；若服務(wù)節(jié)點(diǎn)不存在，或該服務(wù)節(jié)點(diǎn)超載且有服務(wù)節(jié)點(diǎn)處于其一半的工作負(fù)載，則輪詢(xún)各服務(wù)節(jié)點(diǎn)選出鏈接最少的服務(wù)節(jié)點(diǎn)，并將請(qǐng)求發(fā)送到該服務(wù)節(jié)點(diǎn)。
全文摘要
本發(fā)明公開(kāi)了一種云計(jì)算開(kāi)放平臺(tái)的調(diào)度方法，具體通過(guò)維護(hù)中央服務(wù)器來(lái)監(jiān)聽(tīng)海量用戶的調(diào)用請(qǐng)求，動(dòng)態(tài)調(diào)度集群服務(wù)器的業(yè)務(wù)服務(wù)和數(shù)據(jù)服務(wù)，同時(shí)根據(jù)用戶的使用級(jí)別調(diào)用可裝卸的服務(wù)組件并調(diào)度分配多核處理器的多線程能力。本發(fā)明的方法能有效克服傳統(tǒng)開(kāi)放平臺(tái)缺乏可擴(kuò)展性和伸縮性的缺陷，建立了快速搭建部署應(yīng)用運(yùn)行環(huán)境和動(dòng)態(tài)調(diào)整應(yīng)用運(yùn)行時(shí)環(huán)境這兩個(gè)目標(biāo)，做到最大效率地利用現(xiàn)有設(shè)備并組建服務(wù)；同時(shí)通過(guò)多核計(jì)算和多線程技術(shù)，提高系統(tǒng)服務(wù)的調(diào)度速度和響應(yīng)能力。
文檔編號(hào)G06F9/50GK102681889SQ20121012862
公開(kāi)日2012年9月19日 申請(qǐng)日期2012年4月27日 優(yōu)先權(quán)日2012年4月27日
發(fā)明者唐雪飛, 王威, 陳科 申請(qǐng)人:電子科技大學(xué)