一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于高性能科學計算領(lǐng)域，具體涉及一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法。
【背景技術(shù)】
[0002]隨著信息化社會的飛速發(fā)展，人類對信息處理能力的要求越來越高，越來越多的領(lǐng)域?qū)Ω咝阅苡嬎愕男枨笱该驮鲩L。高性能計算(High performance computing，縮寫HPC)指通常使用很多處理器(作為單個機器的一部分)或者某一集群中組織的幾臺計算機(作為單個計算資源操作)的計算系統(tǒng)和環(huán)境。有許多類型的HPC系統(tǒng)，其范圍從標準計算機的大型集群，到高度專用的硬件。大多數(shù)基于集群的HPC系統(tǒng)使用高性能網(wǎng)絡(luò)互連，比如基于InfiniBand(40GB或56GB帶寬)的網(wǎng)絡(luò)互連?；镜木W(wǎng)絡(luò)拓撲和組織可以使用一個簡單的總線拓撲，在性能很高的環(huán)境中，網(wǎng)狀網(wǎng)絡(luò)系統(tǒng)在主機之間提供較短的潛伏期，所以可改善總體網(wǎng)絡(luò)性能和傳輸速率。
[0003]高性能計算集群，英文原文為High Performance Computing Cluster,簡稱HPC集群，是指以提高科學計算能力為目的計算機集群技術(shù)。HPC集群上的軟件安裝和配置是一個比較復(fù)雜的工作，特別是集群規(guī)模達到100個以上的時候。隨著操作系統(tǒng)的不斷升級和工具軟件的優(yōu)化，如何在保持持續(xù)服務(wù)的狀態(tài)下對集群進行升級改造，讓升級對上層的實際用戶透明化，是現(xiàn)有HPC集群操作系統(tǒng)升級中HPC管理員所面臨的挑戰(zhàn)，本發(fā)明正是針對該問題而提供的一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法。

【發(fā)明內(nèi)容】

[0004]針對現(xiàn)有技術(shù)中存在的缺陷，本發(fā)明的目的在于提供一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法，該方法可在保持持續(xù)服務(wù)的狀態(tài)下對集群進行升級改造。
[0005]為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案如下:
[0006]—種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法，包括以下步驟:
[0007](I)將待升級的高性能集群系統(tǒng)的計算節(jié)點進行分批，確定一批當前的待升級計算節(jié)點；
[0008](2)高性能集群系統(tǒng)的作業(yè)調(diào)度和資源管理系統(tǒng)控制用戶通過第一提交節(jié)點向高性能集群系統(tǒng)提交作業(yè)請求，并由管理節(jié)點將用戶提交的作業(yè)請求分配到所述待升級計算節(jié)點之外的計算節(jié)點上；
[0009](3)所述待升級計算節(jié)點處理完其節(jié)點上的作業(yè)請求后，隔離所述待升級計算節(jié)點，由高性能集群系統(tǒng)的集群裝機系統(tǒng)進行所述待升級計算節(jié)點的操作系統(tǒng)的升級；
[0010](4)完成所述待升級計算節(jié)點的操作系統(tǒng)的升級后，作業(yè)調(diào)度和資源管理系統(tǒng)控制部分用戶通過第二提交節(jié)點向高性能集群系統(tǒng)提交作業(yè)請求，并由管理節(jié)點將該部分用戶提交的作業(yè)請求分配到完成升級后的計算節(jié)點上；
[0011](5)確定新的一批待升級計算節(jié)點，作業(yè)調(diào)度和資源管理系統(tǒng)的管理節(jié)點將用戶提交的作業(yè)請求分配到所述待升級計算節(jié)點之外的計算節(jié)點上，重復(fù)步驟三和步驟四直至完成所有高性能集群系統(tǒng)中所有計算節(jié)點的操作系統(tǒng)的升級。
[0012]進一步，如上所述的一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法，步驟(2)中，所述第一提交節(jié)點為與升級前的計算節(jié)點的操作系統(tǒng)相匹配的提交節(jié)點；步驟四中，所述第二提交節(jié)點為與升級后的計算節(jié)點的操作系統(tǒng)相匹配的提交節(jié)點。
[0013]進一步，如上所述的一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法，步驟(2)中，管理節(jié)點分配給計算節(jié)點的作業(yè)請求存儲在高性能集群系統(tǒng)的并行文件系統(tǒng)中，計算節(jié)點與并行文件系統(tǒng)通過兩者之間的I/O端口通信。
[0014]進一步，如上所述的一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法，步驟(3)中，隔離所述待升級計算節(jié)點包括隔離待升級計算節(jié)點與所述并行文件系統(tǒng)的I/O端口。
[0015]進一步，如上所述的一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法，步驟(4)中，完成所述待升級計算節(jié)點的操作系統(tǒng)的升級后，在完成升級后的計算節(jié)點中重新安裝所述并行文件系統(tǒng)，重啟完成升級后的計算節(jié)點與所述并行文件系統(tǒng)的I/O端口，并將完成升級后的計算節(jié)點加入到作業(yè)調(diào)度和資源管理系統(tǒng)所管理的計算節(jié)點列表中，作業(yè)調(diào)度和資源管理系統(tǒng)控制部分用戶通過第二提交節(jié)點向高性能集群系統(tǒng)提交作業(yè)請求。
[0016]進一步，如上所述的一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法，步驟(4)中，作業(yè)調(diào)度和資源管理系統(tǒng)控制部分用戶通過第二提交節(jié)點向高性能集群系統(tǒng)提交作業(yè)請求時，根據(jù)已升級的計算節(jié)點的數(shù)量以及用戶作業(yè)請求的優(yōu)先級別確定哪些用戶通過第二提交節(jié)點向高性能集群系統(tǒng)提交作業(yè)請求。
[0017]再進一步，如上所述的一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法，步驟
(5)中，完成所有計算節(jié)點的操作系統(tǒng)升級后，所有用戶都通過第二提交節(jié)點向高性能集群系統(tǒng)提交作業(yè)請求。
[0018]更進一步，如上所述的一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法，當升級后的計算節(jié)點發(fā)生故障時，將升級后的計算節(jié)點的操作系統(tǒng)回退到升級前的操作系統(tǒng)。
[0019]本發(fā)明的有益效果在于:
[0020]I)本發(fā)明所述的在線升級方法，不需要集群停機，可在保持持續(xù)服務(wù)的狀態(tài)下對集群進行升級改造，對提高HPC集群的連續(xù)服務(wù)能力有很好的效果；
[0021]2)集群承載的用戶任務(wù)(作業(yè)請求)基本不受影響，用戶基本感受不到升級所造成的影響，提高了集群用戶的滿意度；
[0022]3)采用分批次漸進的升級方式，能夠有效減輕管理員的勞動強度，升級風險較?。?br>[0023]4)在升級后的系發(fā)生不可預(yù)測的問題時，還可平穩(wěn)的會退到原有的操作系統(tǒng)。
【附圖說明】
[0024]圖1為本發(fā)明【具體實施方式】中提供的一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法的流程圖；
[0025]圖2為實施例中的待升級的高性能集群系統(tǒng)的示意圖。
【具體實施方式】
[0026]下面結(jié)合說明書附圖與【具體實施方式】對本發(fā)明做進一步的詳細說明。
[0027]本實施方式中的高性能集群系統(tǒng)即HPC系統(tǒng)主要包括了以下幾個部分:
[0028]作業(yè)調(diào)度和資源管理系統(tǒng)，如LSF (Load Sharing Facility)系統(tǒng)，用于集群系統(tǒng)的作業(yè)調(diào)度、管理及負載均衡等，包括提交節(jié)點和管理節(jié)點，集群用戶通過作業(yè)調(diào)度和資源管理系統(tǒng)的提交節(jié)點(即用戶登錄節(jié)點)向集群系統(tǒng)提交作業(yè)請求(即計算節(jié)點需要處理的任務(wù))，提交節(jié)點將接收到的作業(yè)請求提交給管理節(jié)點，管理節(jié)點對集群的資源進行統(tǒng)一的監(jiān)控和合理調(diào)度后，將作業(yè)請求分發(fā)到各計算節(jié)點上；
[0029]計算節(jié)點，用于接收并處理作業(yè)調(diào)度和資源管理系統(tǒng)的管理節(jié)點分配的作業(yè)請求；
[0030]并行文件系統(tǒng)，如GPFS(General Parallel File System)存儲資源池，主要用于存儲計算節(jié)點的待處理的作業(yè)任務(wù)，其下可以連接一些異構(gòu)的不同廠家的磁盤陣列或存儲系統(tǒng)，計算節(jié)點通過I/O接口與并行文件系統(tǒng)通信；
[0031]集群裝機系統(tǒng)，如XCAT (Extreme Cloud Administrat1n Toolkit)，用于集群中計算節(jié)點的操作系統(tǒng)的升級。
[0032]圖1示出了本發(fā)明【具體實施方式】中提供的一種持續(xù)服務(wù)的高性能集群操作系統(tǒng)在線升級方法的流程圖，由圖中可以看出，該方法可以包括以下幾個步驟:
[0033]步驟S100:確定高性能集群系統(tǒng)中的一批待升級計算節(jié)點；
[0034]由于高性能集群系統(tǒng)中計算節(jié)點很多，為了降低集群操作系統(tǒng)的升過程中對用戶造成的影響，在高性能集群系統(tǒng)正常運行狀態(tài)下，將待升級的高性能集群系統(tǒng)的計算節(jié)點進行分批，對計算節(jié)點進行分批次升級，在分批完成后，確定一批當前的待升級計算節(jié)點。例如，計算中的計算節(jié)點數(shù)量在100左右，可以將計算節(jié)點的升級窗口設(shè)置為10，即每次升級10個計算節(jié)點。<