一種在大規(guī)模集群中調(diào)度Materials Studio并行計(jì)算的方法
【專利摘要】本發(fā)明特別涉及一種在大規(guī)模集群中調(diào)度MaterialsStudio并行計(jì)算的方法。該在大規(guī)模集群中調(diào)度MaterialsStudio并行計(jì)算的方法通過openPBS作業(yè)調(diào)度軟件，openmpi等工具使MaterialsStudio在Linux集群中實(shí)現(xiàn)作業(yè)的并行計(jì)算。本發(fā)明通過相關(guān)配置，使用openPBS作業(yè)調(diào)度軟件能實(shí)現(xiàn)在大規(guī)模Linux集群中對MaterialsStudio作業(yè)進(jìn)行統(tǒng)一調(diào)度；對用戶來說，只需要用qsub命令提交作業(yè)，計(jì)算和存儲都在集群中，方便；對集群管理員，能夠達(dá)到對使用該軟件用戶可見可管可控的目的，省心。
【專利說明】—種在大規(guī)模集群中調(diào)度Mater ial s Stud iο并行計(jì)算的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)【技術(shù)領(lǐng)域】，特別涉及一種在大規(guī)模集群中調(diào)度MaterialsStud1并行計(jì)算的方法。

【背景技術(shù)】
[0002]隨著信息化社會的飛速發(fā)展，人類對信息處理能力的要求越來越高，不僅石油勘探、氣象預(yù)報、航天國防、科學(xué)研究等需求高性能計(jì)算機(jī)，而金融、政府信息化、教育、企業(yè)、網(wǎng)絡(luò)游戲等更廣泛的領(lǐng)域?qū)Ω咝阅苡?jì)算的需求迅猛增長。當(dāng)然，要進(jìn)行高性能計(jì)算除了更高速的網(wǎng)絡(luò)以及更高性能的服務(wù)器，應(yīng)用軟件與高性能集群的有效搭配也是必須的。
[0003]Materials Stud1是專門為材料科學(xué)領(lǐng)域研究者開發(fā)的一款可運(yùn)行在PC上的模擬軟件。可以解決當(dāng)今化學(xué)、材料工業(yè)中的一系列重要問題。它的跨平臺性使化學(xué)及材料科學(xué)的研究者們能更方便地建立三維結(jié)構(gòu)模型，并對各種晶體、無定型以及高分子材料的性質(zhì)及相關(guān)過程進(jìn)行深入的研究。
[0004]雖然Materials Stud1有支持多種操作平臺的優(yōu)點(diǎn),然而其大多時候還是被用在Windows系統(tǒng)或者小型的工作站上，這其中除了用戶對Linux系統(tǒng)的不熟悉外，主要是因?yàn)樵诖笠?guī)模集群中目前并沒有一種統(tǒng)一的行之有效又靈活的調(diào)度方式讓用戶能夠輕松的提交管理作業(yè)。而且對于集群的管理人員，由于Materials Stud1安裝方式的特殊性，也不能很好的對不同用戶提交的作業(yè)進(jìn)行管理，監(jiān)控及記賬。隨著科技的日新發(fā)展，人們對高性能計(jì)算的要求也逐步提高，Materials Stud1作為材料科學(xué)領(lǐng)域不可或缺的軟件,實(shí)現(xiàn)其在大規(guī)模計(jì)算集群上的部署及應(yīng)用是必然的。
[0005]對于Materials Stud1軟件，當(dāng)前大多數(shù)用戶主要有以下兩種使用方式。
[0006]1、單機(jī)使用，只安裝在獨(dú)立PC機(jī)上，直接單機(jī)計(jì)算。優(yōu)點(diǎn)是安全性高，操作簡單，缺點(diǎn)是單機(jī)性能較低，運(yùn)算時間長，運(yùn)算結(jié)果占用空間大，而且運(yùn)算時用戶不能關(guān)機(jī)也影響用戶在該P(yáng)C機(jī)上的其他操作。
[0007]2、使用Materials Stud1 Windows客戶端提交作業(yè),通過選擇合適的遠(yuǎn)程服務(wù)器提交作業(yè)計(jì)算。優(yōu)點(diǎn)是計(jì)算速度快，缺點(diǎn)是作業(yè)狀態(tài)對客戶不可見，用戶只能通過Web界面對作業(yè)進(jìn)行管理，如果是大規(guī)模集群，用戶數(shù)量多，都用一個公用ip的話肯定會有性能上的影響。而且對于集群管理員來說，對Materials Stud1用戶的管理工作也成了一份十分傷神的負(fù)擔(dān)。


【發(fā)明內(nèi)容】

[0008]本發(fā)明為了彌補(bǔ)現(xiàn)有技術(shù)的缺陷，提供了一種方便實(shí)用的在大規(guī)模集群中調(diào)度Materials Stud1并行計(jì)算的方法。
[0009]本發(fā)明是通過如下技術(shù)方案實(shí)現(xiàn)的:
一種在大規(guī)模集群中調(diào)度Materials Stud1并行計(jì)算的方法,其特征在于包括以下步驟:
a)在電腦終端上新建用戶I，并設(shè)置該用戶的ssh無密碼訪問及環(huán)境變量；
b)配置好NFS服務(wù)以及nis服務(wù)實(shí)現(xiàn)對集群用戶的統(tǒng)一管理；
c)編譯安裝openmpi并在/etc/bashrc里指定其環(huán)境變量；
d)安裝Torque+maui作業(yè)調(diào)度軟件；
e)切換為用戶I完成對MaterialsStud1 6.1軟件的安裝；
f)開啟Gateway并將其設(shè)直為開機(jī)啟動；
g)將如下用戶1.sh文件放入用戶I的家目錄下的Accelrys下,此目錄為MaterialsStud1的默認(rèn)安裝目錄；
h)編輯pbs腳本，并為每個需要使用MS軟件的用戶建立賬戶配置好并行環(huán)境，并將其加入到用戶I的組內(nèi)，最后使用test測試。
[0010]所述電腦終端操作系統(tǒng)為Windows,軟件工具包括Materials Stud1 6.1,Xmanager Enterprise 4。
[0011]本發(fā)明的有益效果是:本發(fā)明通過相關(guān)配置，使用OpenPBS作業(yè)調(diào)度軟件能實(shí)現(xiàn)在大規(guī)模Linux集群中對Materials Stud1作業(yè)進(jìn)行統(tǒng)一調(diào)度；對用戶來說，只需要用qsub命令提交作業(yè)，計(jì)算和存儲都在集群中，方便；對集群管理員，能夠達(dá)到對使用該軟件用戶可見可管可控的目的，省心。

【專利附圖】

【附圖說明】
[0012]下面結(jié)合附圖對本發(fā)明作進(jìn)一步的說明。
[0013]附圖1為本發(fā)明方法流程示意圖。

【具體實(shí)施方式】
[0014]附圖為本發(fā)明的一種具體實(shí)施例。該在大規(guī)模集群中調(diào)度Materials Stud1并行計(jì)算的方法，物理環(huán)境為:
硬件架構(gòu):1臺電腦終端操作系統(tǒng):Windows
軟件工具:Materials Stud1 6.1, Xmanager Enterprise 4
Linux集群
操作系統(tǒng):Redhat Iinux 文件系統(tǒng):NFS
工具:PBS, MPI, ssh 等，安裝了 Linux 版的 Materials Stud1 6.1。
[0015]該在大規(guī)模集群中調(diào)度Materials Stud1并行計(jì)算的方法,包括以下步驟:
1、新建用戶ms61，并按照以下步驟設(shè)置好該用戶的ssh無密碼訪問及環(huán)境變量。
[0016]設(shè)置集群間無需密碼的ssh登陸，方法原理如下:
假設(shè)A，B，C服務(wù)器，現(xiàn)在需要在A機(jī)上用root登陸B(tài)機(jī)C機(jī)，而不需要輸入密碼，那我們可按照下面的步驟來做。
[0017](I)在A機(jī)上以root用戶登錄，生成鑰匙對，執(zhí)行以下命令:
[rootilinuxA # ssh-keygen _t dsa 目的是簡單的在/root下創(chuàng)建目錄.ssh,當(dāng)提示輸入passphase時打入兩次回車。這將生成 /root/, ssh/id—dsa 和 /root/, ssh/id—dsa.pub。其中 id—rsa 是密鑰，id—rsa.pub是公鑰。
[0018](2)在B機(jī)上以root登錄，運(yùn)行ssh-keygen - t dsa，然后將A機(jī)上的id—rsa.pub 文件復(fù)制到 B 機(jī)的 /root/.ssh/authorized_keys2 中，在 B 機(jī)的 /root/, ssh/ 目錄下運(yùn)行 cat id—dsa.pub〉〉authorized—keys2，再將 B 機(jī)的 authorized—keys2 文件復(fù)制到 C機(jī)的/root/, ssh/文件夾下。
[0019](3)重復(fù)以上步驟在后面結(jié)點(diǎn)上，在最后的計(jì)算節(jié)點(diǎn)上將生成一個完整的authorized—keys2文件，然后把a(bǔ)uthorized—keys2文件用scp命令拷貝到其余所有節(jié)點(diǎn)的/root/, ssh/目錄下，ssh配置完成。
[0020](4)測試
在A機(jī)上以root帳號登錄，嘗試ssh登錄B機(jī)。命令:
[rootilinuxA # ssh root@LinuxB 看看是不是需要密碼。
[0021]說明，通過此配置方法可以在新集群中以達(dá)到所有節(jié)點(diǎn)間實(shí)現(xiàn)ssh無密碼訪問；
2、配置好NFS服務(wù)以及nis服務(wù)實(shí)現(xiàn)對集群用戶的統(tǒng)一管理；
3、編譯安裝openmpi并在/etc/bashrc里指定其環(huán)境變量；
4、安裝Torque+maui作業(yè)調(diào)度軟件；
5、切換為用戶ms61完成對MaterialsStud1 6.1軟件的安裝;
#su ms61
#cd /media/UNIX/Materials Stud1 6.1/
#_/Install
6、開啟Gateway并將其設(shè)直為開機(jī)啟動。
[0022]#cp msgateway—control—18888 /etc/rc.d/init.d
#/sbin/chkconfig - add msgateway_control_18888
#/sbin/chkconfig msgateway_control_18888 on
7、設(shè)置環(huán)境變量，可以將環(huán)境變量寫到一個ms61.sh文件中，放入用戶ms61的家目錄下的Accelrys下，此目錄為Materials Stud1的默認(rèn)安裝目錄。
[0023]此時MS已經(jīng)安裝完成，如果用MS的Windows客戶端提交作業(yè)的話，集群管理人員只能發(fā)現(xiàn)是ms61這個用戶在提交作業(yè)，如果需要控制用戶，只能通過MS軟件本身的用戶管理功能，這對于大型集群管理顯然是非常的不方便；
8、編輯pbs作業(yè)腳本時，只要將環(huán)境變量的路徑指定一下就行了。
[0024]#pbs 腳本
source /home/ms61/Accelrys/ms61.sh
使用ms61用戶提交作業(yè)測試。
[0025]#qsub ms61.pbs
查看作業(yè)狀態(tài)。
[0026]#qstat -a - n
等待最終計(jì)算結(jié)果；
9、為每個需要使用MS軟件的用戶建立賬戶配置好并行環(huán)境，并將其加入到ms61用戶的組內(nèi)。
[0027]#useradd test #usermod -G ms61 test #gpasswd -a test ms61
10、使用test測試。
[0028]#qsub ms61.pbs
#qstat查看作業(yè)狀態(tài)
如此，用戶只需要利用Xmanager等工具連接到集群上傳作業(yè)進(jìn)行計(jì)算，無需一直打開本地MS終端，作業(yè)計(jì)算完成就保存在自己所有賬戶的家目錄下，不用擔(dān)心MS計(jì)算結(jié)果過大而造成的本地存儲資源吃緊的現(xiàn)象。
[0029]對于集群管理員，使用qstat命令即可查看MS作業(yè)的所有者是test而不只是MS軟件的安裝用戶ms61。既方便了管理也可以對使用者進(jìn)行流量控制以及記賬。
【權(quán)利要求】
1.一種在大規(guī)模集群中調(diào)度Materials Stud1并行計(jì)算的方法,其特征在于包括以下步驟: a)在電腦終端上新建用戶I，并設(shè)置該用戶的ssh無密碼訪問及環(huán)境變量； b)配置好NFS服務(wù)以及nis服務(wù)實(shí)現(xiàn)對集群用戶的統(tǒng)一管理； c)編譯安裝openmpi并在/etc/bashrc里指定其環(huán)境變量； d)安裝Torque+maui作業(yè)調(diào)度軟件； e)切換為用戶I完成對MaterialsStud1 6.1軟件的安裝； f)開啟Gateway并將其設(shè)直為開機(jī)啟動； g)將如下用戶1.sh文件放入用戶I的家目錄下的Accelrys下,此目錄為MaterialsStud1的默認(rèn)安裝目錄； h)編輯pbs腳本，并為每個需要使用MS軟件的用戶建立賬戶配置好并行環(huán)境，并將其加入到用戶I的組內(nèi)，最后使用test測試。
2.根據(jù)權(quán)利要求1所述的在大規(guī)模集群中調(diào)度MaterialsStud1并行計(jì)算的方法，其特征在于:所述電腦終端操作系統(tǒng)為Windows,軟件工具包括Materials Stud1 6.1,Xmanager Enterprise 4。
【文檔編號】G06F9/48GK104166595SQ201410411469
【公開日】2014年11月26日 申請日期:2014年8月20日 優(yōu)先權(quán)日:2014年8月20日
【發(fā)明者】李征 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司