本發(fā)明涉及一種基于可擴展和高性能計算的分布式管理架構(gòu)及方法。

背景技術(shù)：

目前，業(yè)界對于高性能計算系統(tǒng)大都是采用基于集中式管理架構(gòu)，即將所有的高性能計算卡集中在一起進(jìn)行運算管理，這種架構(gòu)存在很多問題。

資源不能快速部署，進(jìn)而不能靈活提高其運算的能力。

資源利用率不高，當(dāng)分布式計算機不在工作時，大量空閑計算資源未被利用。

傳統(tǒng)架構(gòu)其高昂的硬件成本也限定了其擴展能力。

針對目前主流的集中式管理架構(gòu)，顯然不能滿足其未來更大數(shù)據(jù)的計算要求。

本發(fā)明的目的在于提供一種基于可擴展、高性能計算的分布式管理架構(gòu),有效解決了其存在的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明目的是針對現(xiàn)有技術(shù)存在的缺陷提供一種基于可擴展和高性能計算的分布式管理架構(gòu)及方法。

本發(fā)明為實現(xiàn)上述目的，采用如下技術(shù)方案：一種基于可擴展和高性能計算的分布式管理架構(gòu)，其主要由集成管理系統(tǒng)、集中式管理系統(tǒng)和分布式管理系統(tǒng)構(gòu)成，所述集成管理系統(tǒng)與所述集中式管理系統(tǒng)通過局域網(wǎng)網(wǎng)絡(luò)連接，所述集成管理系統(tǒng)與所述分布式管理系統(tǒng)通過局域網(wǎng)網(wǎng)絡(luò)連接；其中，所述集中式管理系統(tǒng)主要由多個設(shè)置有高性能的科學(xué)計算卡的服務(wù)器構(gòu)成，由服務(wù)器集中管理所有的科學(xué)計算卡，并統(tǒng)一運算；所述分布式管理系統(tǒng)由多個設(shè)置有高性能的科學(xué)計算卡的普通計算機構(gòu)成，通過服務(wù)器集中管理所有的科學(xué)計算卡，并統(tǒng)一運算。

進(jìn)一步的，所述集成管理系統(tǒng)、集中式管理系統(tǒng)和分布式管理系統(tǒng)中均設(shè)置有cpu處理器單元、存儲單元、電源單元和網(wǎng)絡(luò)通信單元。

進(jìn)一步的，所述科學(xué)計算卡為GPU高性能計算卡和/或FPGA高性能計算卡和/或混合架構(gòu)高性能計算卡。

進(jìn)一步的，所述科學(xué)計算卡包括六個子系統(tǒng)，分別為外接口通信系統(tǒng)、擬態(tài)計算系統(tǒng)、擬態(tài)管理系統(tǒng)、存儲管理系統(tǒng)、供電系統(tǒng)和散熱系統(tǒng)；所述外接口通信系統(tǒng)與所述擬態(tài)計算系統(tǒng)通訊連接，所述擬態(tài)計算系統(tǒng)與所述擬態(tài)管理系統(tǒng)通訊連接，所述擬態(tài)管理系統(tǒng)與所述存儲管理系統(tǒng)通訊連接；其中，所述外接口通信系統(tǒng)用于將外接口及時序轉(zhuǎn)化為通用的局部總線接口及時序；所述擬態(tài)計算系統(tǒng)將需要運算的數(shù)據(jù)通過相對應(yīng)的算法轉(zhuǎn)化為數(shù)據(jù)結(jié)果，并進(jìn)行處理；所述擬態(tài)管理系統(tǒng)有多片功能完全相同的計算節(jié)點；所述存儲管理系統(tǒng)采用多片計算資源及高性能存儲器，每片計算節(jié)點連接多片IO獨立的存儲芯片，芯片中可存放海量數(shù)據(jù)；所述供電系統(tǒng)對科學(xué)計算卡上所有子系統(tǒng)進(jìn)行供電；所述散熱系統(tǒng)對科學(xué)計算卡上所有子系統(tǒng)進(jìn)行散熱，減少熱量，防止板卡過熱導(dǎo)致科學(xué)計算卡功能異常。

進(jìn)一步的，所述外接口通信系統(tǒng)連接計算機的PCI-e插槽、RJ45網(wǎng)口、PCI插槽、ATCA、RS232或RS485串口總線。

一種基于可擴展和高性能計算的分布式管理方法，包括如下步驟：

步驟一、得到用戶下發(fā)的任務(wù)；

步驟二、通過主控器對并發(fā)業(yè)務(wù)進(jìn)行性能評估、功能評估和優(yōu)先級評估；

步驟三、經(jīng)步驟二評估后即生成優(yōu)化資源配置，將任務(wù)拆分以達(dá)到各節(jié)點負(fù)載均衡；

步驟四、服務(wù)系統(tǒng)通過網(wǎng)絡(luò)通信接口下發(fā)到相應(yīng)的分布運算節(jié)點進(jìn)行處理。

本發(fā)明的有益效果：

1)、相較于安裝難度較大的專用服務(wù)器，本發(fā)明分布式管理架構(gòu)，各節(jié)點就是日常使用的普通電腦，無需專業(yè)人員，可實現(xiàn)靈活部署。

2)、對比成本動輒幾十萬的專用服務(wù)器，本發(fā)明分布式管理架構(gòu)成本更低，且在更低成本的條件下運算能力優(yōu)于專用服務(wù)器。

3)、專用服務(wù)器超過10臺以上，考慮到性能和散熱，需要配置專業(yè)制冷設(shè)備，無形中增加了成本，本發(fā)明分布式架構(gòu)則無需考慮散熱問題。

4)、本發(fā)明分布式運維及管理方式更為簡單，單個運算節(jié)點的宕機不會造成整個系統(tǒng)的癱瘓，有效規(guī)避了單點失效問題，通過負(fù)載均衡以保證整個系統(tǒng)的穩(wěn)定性。

5)本發(fā)明分布式管理對單個運算節(jié)點的硬件要求很低，可以有效利用各種空閑的資源，大大提高了普通電腦的利用率。

附圖說明

圖1為本發(fā)明的系統(tǒng)整體結(jié)構(gòu)示意圖。

圖2為本發(fā)明的系統(tǒng)具體結(jié)構(gòu)示意圖。

圖3為本發(fā)明的系統(tǒng)架構(gòu)原理圖。

圖4為本發(fā)明的系統(tǒng)中科學(xué)計算卡結(jié)構(gòu)示意圖。

圖5為本發(fā)明的系統(tǒng)中管理端程序單元結(jié)構(gòu)圖。

圖6為本發(fā)明的系統(tǒng)中為設(shè)備節(jié)點程序結(jié)構(gòu)圖。

具體實施方式

圖1至圖2所示，涉及一種基于可擴展和高性能計算的分布式管理架構(gòu)，其主要由集成管理系統(tǒng)、集中式管理系統(tǒng)和分布式管理系統(tǒng)構(gòu)成，所述集成管理系統(tǒng)與所述集中式管理系統(tǒng)通過局域網(wǎng)網(wǎng)絡(luò)連接，所述集成管理系統(tǒng)與所述分布式管理系統(tǒng)通過局域網(wǎng)網(wǎng)絡(luò)連接；其中，所述集中式管理系統(tǒng)主要由多個設(shè)置有高性能的科學(xué)計算卡的服務(wù)器構(gòu)成，由服務(wù)器集中管理所有的科學(xué)計算卡，并統(tǒng)一運算；所述分布式管理系統(tǒng)由多個設(shè)置有高性能的科學(xué)計算卡的普通計算機構(gòu)成，通過服務(wù)器集中管理所有的科學(xué)計算卡，并統(tǒng)一運算。

工作原理:集成式管理系統(tǒng)在接收了用戶提交的任務(wù)之后，根據(jù)各個節(jié)點的科學(xué)計算資源，將任務(wù)分配到集中式管理系統(tǒng)和分布式管理系統(tǒng)中的運算節(jié)點上進(jìn)行運算；對于集中式管理系統(tǒng)，集成管理系統(tǒng)按照算法特征分析算法，找到最匹配最合適的科學(xué)計算資源，直接分配到指定的設(shè)備上進(jìn)行運算；對于分布式管理系統(tǒng)，集成管理系統(tǒng)將原始任務(wù)分為多個子任務(wù)，系統(tǒng)中每個分布式運算節(jié)點通過網(wǎng)絡(luò)與管理系統(tǒng)相互通信，集成管理系統(tǒng)通過每個分布式運算節(jié)點反饋的任務(wù)狀態(tài)來協(xié)調(diào)整個系統(tǒng)以達(dá)到最高的效率；最后某個節(jié)點得到結(jié)果反饋給集成管理系統(tǒng)，得到結(jié)果。

圖3中集成管理系統(tǒng)主要由cpu處理器單元，存儲單元，電源單元，和網(wǎng)絡(luò)通信單元構(gòu)成，系統(tǒng)通過管理端程序?qū)λ惴üπП群湍苄П冗M(jìn)行分析，得到任務(wù)分片規(guī)則，通過網(wǎng)絡(luò)通信單元下發(fā)任務(wù)到交換機上，交換機發(fā)送任務(wù)到指定的設(shè)備節(jié)點。

集中式管理系統(tǒng)中設(shè)置有集中式管理架構(gòu)設(shè)備節(jié)點，分布式管理系統(tǒng)中設(shè)置有分布式管理架構(gòu)設(shè)備節(jié)點，上述設(shè)備節(jié)點中均設(shè)置有cpu處理器單元，存儲單元，電源單元，網(wǎng)絡(luò)通信單元和科學(xué)計算卡。設(shè)備節(jié)點中的網(wǎng)絡(luò)單元和交換機連接，得到分配得到的任務(wù)。設(shè)備節(jié)點中的cpu處理器單元和科學(xué)計算單元混合異構(gòu)實現(xiàn)科學(xué)高性能運算。設(shè)備節(jié)點中的科學(xué)計算卡分為fpga科學(xué)計算卡和/或gpu科學(xué)計算卡和/或dsp科學(xué)計算卡。

圖4為科學(xué)計算卡的具體結(jié)構(gòu)示意圖。具體的，所述科學(xué)計算卡包括六個子系統(tǒng)，分別為外接口通信系統(tǒng)、擬態(tài)計算系統(tǒng)、擬態(tài)管理系統(tǒng)、存儲管理系統(tǒng)、供電系統(tǒng)和散熱系統(tǒng)；所述外接口通信系統(tǒng)與所述擬態(tài)計算系統(tǒng)通訊連接，所述擬態(tài)計算系統(tǒng)與所述擬態(tài)管理系統(tǒng)通訊連接，所述擬態(tài)管理系統(tǒng)與所述存儲管理系統(tǒng)通訊連接；其中，所述外接口通信系統(tǒng)用于將外接口及時序轉(zhuǎn)化為通用的局部總線接口及時序；所述擬態(tài)計算系統(tǒng)將需要運算的數(shù)據(jù)通過相對應(yīng)的算法轉(zhuǎn)化為數(shù)據(jù)結(jié)果，并進(jìn)行處理；所述擬態(tài)管理系統(tǒng)有多片功能完全相同的計算節(jié)點；所述存儲管理系統(tǒng)采用多片計算資源及高性能存儲器，每片計算節(jié)點連接多片IO獨立的存儲芯片，芯片中可存放海量數(shù)據(jù)；所述供電系統(tǒng)對科學(xué)計算卡上所有子系統(tǒng)進(jìn)行供電；所述散熱系統(tǒng)對科學(xué)計算卡上所有子系統(tǒng)進(jìn)行散熱，減少熱量，防止板卡過熱導(dǎo)致科學(xué)計算卡功能異常。

其中，所述外接口通信系統(tǒng)連接計算機的PCI-e插槽、RJ45網(wǎng)口、PCI插槽、ATCA、RS232或RS485等串口總線。

本發(fā)明系統(tǒng)的科學(xué)計算卡具有高度安全性能、可靈活性的、可執(zhí)行高密度運算且高效。作為基于服務(wù)器的數(shù)據(jù)處理設(shè)備，該科學(xué)計算卡可以實現(xiàn)數(shù)據(jù)的海量數(shù)據(jù)處理。強大的計算節(jié)點處理性能，可以實現(xiàn)億門級的硬件加速，方便用戶進(jìn)行復(fù)雜的邏輯處理與算法運算。

并發(fā)業(yè)務(wù)中的圖像、計算和通信業(yè)務(wù)經(jīng)過后臺下載放入上控點，上控點中的業(yè)務(wù)由主控器和執(zhí)行通過通訊總線(PCIE/PCI)將并發(fā)業(yè)務(wù)分配到相應(yīng)合適的擬態(tài)計算板卡進(jìn)行處理。

該科學(xué)計算卡的計算節(jié)點資源種類包括(1)CPU、(2)嵌入式CPU、(3)DSP、(4)GPU、(5)嵌入式GPU、(6)FPGA、(7)CPLD和(8)ASCI chip，并支持行業(yè)標(biāo)準(zhǔn)的外圍設(shè)備、連接器以及豐富的接口，滿足需要海量計算和通信的需求。

圖5所示為集成管理系統(tǒng)中管理端程序單元結(jié)構(gòu)圖。其中，管理端服務(wù)器根據(jù)業(yè)務(wù)特點的不同從硬件和軟件層面自動或半自動的配置成高性效比模式。

具體的，本發(fā)明的分布式管理方法的流程如下：

步驟一、得到用戶下發(fā)的任務(wù)；

步驟二、通過主控器對并發(fā)業(yè)務(wù)進(jìn)行性能評估、功能評估和優(yōu)先級評估；

步驟三、經(jīng)步驟二評估后即生成優(yōu)化資源配置，將任務(wù)拆分以達(dá)到各節(jié)點負(fù)載均衡；

步驟四、服務(wù)系統(tǒng)通過網(wǎng)絡(luò)通信接口下發(fā)到相應(yīng)的分布運算節(jié)點進(jìn)行處理。

具體的，所述的優(yōu)化資源配置為通過能效比和供銷比最佳來自動選擇設(shè)備資源數(shù)據(jù)運算；

圖6為設(shè)備節(jié)點程序結(jié)構(gòu)圖。

實例1：任務(wù)一的算法2個基礎(chǔ)算核組成，分別為sha1算核和aes128算核。

步驟1：用戶上傳任務(wù)到管理端，管理端分析任務(wù)一，通過計算各運算節(jié)點的運算資源，得到在節(jié)點一運行總?cè)蝿?wù)的30％，節(jié)點二運行總?cè)蝿?wù)的70％的情況下，可以達(dá)到負(fù)載均衡。

步驟2：通過任務(wù)下發(fā)單元，將任務(wù)的30％通過網(wǎng)絡(luò)端口下發(fā)到運算節(jié)點一，將任務(wù)的70％通過網(wǎng)絡(luò)端口下發(fā)到運算節(jié)點二。

步驟3：設(shè)備節(jié)點接收到數(shù)據(jù)后，將任務(wù)交由科學(xué)計算卡運算?？茖W(xué)計算卡得到運算結(jié)果，將結(jié)果通過網(wǎng)絡(luò)數(shù)據(jù)端口上傳到管理端。

步驟4：管理端得到各設(shè)備節(jié)點上報的數(shù)據(jù)，得到任務(wù)一的數(shù)據(jù)結(jié)果。

實例2：任務(wù)二的算法由3個基礎(chǔ)算核組成，分別為des算核，md4算核和sha1算核。

步驟1：用戶上傳任務(wù)到管理端，管理端分析任務(wù)二，通過計算各運算節(jié)點的運算資源，得到在節(jié)點一運行總?cè)蝿?wù)的30％，節(jié)點二運行總?cè)蝿?wù)的30％的情況下，節(jié)點三運行總?cè)蝿?wù)的40％的情況下，可以達(dá)到負(fù)載均衡。

步驟2：通過任務(wù)下發(fā)單元，將總?cè)蝿?wù)的30％通過網(wǎng)絡(luò)端口下發(fā)到運算節(jié)點一，將總?cè)蝿?wù)的30％通過網(wǎng)絡(luò)端口下發(fā)到運算節(jié)點二，將總?cè)蝿?wù)的40％通過網(wǎng)絡(luò)端口下發(fā)到運算節(jié)點三，。

步驟3：設(shè)備節(jié)點接收到數(shù)據(jù)后，將任務(wù)交由科學(xué)計算卡運算。科學(xué)計算卡得到運算結(jié)果，將結(jié)果通過網(wǎng)絡(luò)數(shù)據(jù)端口上傳到管理端。

步驟4：管理端得到各設(shè)備節(jié)點上報的數(shù)據(jù)，得到任務(wù)三的數(shù)據(jù)結(jié)果。

以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。