一種通用多機并行計算方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及異構(gòu)環(huán)境下的通信技術(shù)領(lǐng)域，特別涉及一種通用多機并行計算方法及 系統(tǒng)。
【背景技術(shù)】
[0002] 隨著物探技術(shù)裝備的進步和發(fā)展，國內(nèi)外地震采集軟件也面臨著大數(shù)據(jù)量處理、 高效高性能計算的需求變化，如三維照明，層析靜校正，波動方程正演等，計算量大，耗時 長，傳統(tǒng)單機處理模式已遠不能滿足高性能計算需要，支持大數(shù)據(jù)量處理、高性能、高效計 算是大勢所趨。目前地震采集系統(tǒng)卻面臨著復雜的、異構(gòu)的、性能差異巨大的計算環(huán)境，而 不是傳統(tǒng)的并行計算所需要的基于昂貴的同構(gòu)的集群系統(tǒng)。要解決這個問題，需要有一種 適應于異構(gòu)差異網(wǎng)絡(luò)計算環(huán)境下的多機并行計算框架，對并行任務(wù)的進行智能化分解、調(diào) 度、管理與控制，適應不同的并行任務(wù)。
[0003] 傳統(tǒng)的物探并行計算已經(jīng)有很多成熟解決方案，但對于異構(gòu)差異計算環(huán)境，往往 基于不同的并行應用的特點進行有針對性的并行處理，滿足特定的應用需要，目前尚沒有 一個通行的適用于異構(gòu)差異計算環(huán)境的通用多機并行計算解決模式與方案。
[0004] 對于地震采集應用系統(tǒng)來說，計算任務(wù)大多具有內(nèi)在的可并行性，計算任務(wù)可以 分解成相互基本獨立的計算子任務(wù)，從而相對獨立地運行于不同的計算資源上。在地震采 集野外生產(chǎn)中，由不同的計算資源組成的網(wǎng)絡(luò)計算環(huán)境中，設(shè)備硬件（包括CPU多核，CPU眾 核，GPU，網(wǎng)絡(luò)路由與結(jié)構(gòu)等）、軟件環(huán)境差異巨大，計算能力也相差甚遠，同時，不同的計算 任務(wù)其數(shù)據(jù)處理方式，計算控制過程、計算精度、效率差異也很大，要適合于不同的計算任 務(wù)，其核心是用一種通用的計算架構(gòu)去固化并行計算中的關(guān)鍵環(huán)節(jié)，同時又要靈活地解決 每個環(huán)節(jié)中不同并行計算任務(wù)的差異性。這也是異構(gòu)環(huán)境并行計算框架的關(guān)鍵技術(shù)，也是 提高地震采集應用軟件計算效率的關(guān)鍵因素。

【發(fā)明內(nèi)容】

[0005] 為解決現(xiàn)有技術(shù)中的問題，本申請?zhí)岢鲆环N通用多機并行計算方法及系統(tǒng)，通過 底層通信協(xié)議對計算任務(wù)進行格式轉(zhuǎn)換，以適應異構(gòu)計算環(huán)境中各個計算點，從而實現(xiàn)適 應物探采集應用特點、且能夠適應異構(gòu)環(huán)境的通用多機并行計算。
[0006] 為達到上述目的，本申請?zhí)峁┝艘环N通用多機并行計算方法，包括：
[0007] 獲取計算任務(wù)；
[0008] 獲取計算資源的各計算節(jié)點的硬件信息和軟件信息，并根據(jù)該硬件信息和軟件信 息計算各計算節(jié)點的處理能力；
[0009] 根據(jù)所述計算任務(wù)的內(nèi)在可并行性，將該計算任務(wù)分解為多個計算子任務(wù)；
[0010] 根據(jù)所述各計算節(jié)點的處理能力，將所述多個計算子任務(wù)與所述各節(jié)點相匹配；
[0011] 通過底層通信協(xié)議，將所述多個計算子任務(wù)的數(shù)據(jù)格式轉(zhuǎn)換為協(xié)議格式，并根據(jù) 匹配關(guān)系，分發(fā)給各計算節(jié)點；
[0012] 通過所述底層通信協(xié)議，獲取所述各計算節(jié)點返回的協(xié)議格式的計算結(jié)果；
[0013] 將所述計算結(jié)果的數(shù)據(jù)格式由協(xié)議格式轉(zhuǎn)換為原計算任務(wù)的格式并返回。
[0014] 可選的，所述根據(jù)匹配關(guān)系，分發(fā)給各計算節(jié)點之后，還包括：
[0015] 將所述協(xié)議格式的多個計算子任務(wù)，分別轉(zhuǎn)換為與之相匹配的計算節(jié)點需要的格 式；
[0016] 所述各計算節(jié)點分別執(zhí)行計算任務(wù)，并得到計算結(jié)果；
[0017] 將該計算結(jié)果轉(zhuǎn)換為協(xié)議格式并返回。
[0018] 其中，所述根據(jù)所述各計算節(jié)點的處理能力，將所述多個計算子任務(wù)與所述各節(jié) 點相匹配包括 ：
[0019] 根據(jù)所述各計算節(jié)點的處理能力進行篩選，得到符合條件的計算節(jié)點參與計算；
[0020] 將所述多個計算子與所述符合條件的計算節(jié)點相匹配，所述計算子任務(wù)和計算節(jié) 點之間的匹配包括一對一或多對多；
[0021] 釋放不符合條件的計算節(jié)點。
[0022] 可選的，所述各個計算節(jié)點為異構(gòu)節(jié)點。
[0023] 可選的，該方法還包括：計算節(jié)點執(zhí)行計算任務(wù)期間，當某計算節(jié)點率先完成分配 的技術(shù)任務(wù)后，重新為其分配計算任務(wù)；
[0024] 可選的，該方法還包括：計算節(jié)點執(zhí)行計算任務(wù)期間，監(jiān)測所述各計算節(jié)點的狀 態(tài)，當某節(jié)點出現(xiàn)異常時，將該節(jié)點負責的計算任務(wù)重新分配給其它節(jié)點。
[0025] 本發(fā)明另外提供了一種通用多機并行計算系統(tǒng)，包括：
[0026] 任務(wù)獲取單元，用于獲取計算任務(wù)；
[0027] 計算能力信息獲取單元，用于獲取計算資源的各計算節(jié)點的硬件信息和軟件信 息，并根據(jù)該硬件信息和軟件信息計算各計算節(jié)點的處理能力；
[0028] 任務(wù)分解單元，用于根據(jù)所述計算任務(wù)的內(nèi)在可并行性，將該計算任務(wù)分解為多 個計算子任務(wù)；
[0029] 任務(wù)匹配單元，用于根據(jù)所述各計算節(jié)點的處理能力，將所述多個計算子任務(wù)與 所述各節(jié)點相匹配；
[0030] 任務(wù)分發(fā)單元，用于通過底層通信協(xié)議，將所述多個計算子任務(wù)的數(shù)據(jù)格式轉(zhuǎn)換 為協(xié)議格式，并根據(jù)匹配關(guān)系，分發(fā)給各計算節(jié)點；
[0031] 結(jié)果回收單元，用于通過所述底層通信協(xié)議，獲取所述各計算節(jié)點返回的協(xié)議格 式的計算結(jié)果；
[0032] 格式轉(zhuǎn)換單元，用于將所述計算結(jié)果的數(shù)據(jù)格式由協(xié)議格式轉(zhuǎn)換為原計算任務(wù)的 格式并返回。
[0033] 可選的，還包括運算服務(wù)器，具體包括：
[0034]第二格式轉(zhuǎn)換單元，用于將所述協(xié)議格式的多個計算子任務(wù)，分別轉(zhuǎn)換為與之相 匹配的計算節(jié)點需要的格式；
[0035]多個計算節(jié)點，用于執(zhí)行計算任務(wù)，并得到計算結(jié)果；
[0036] 反饋單元，用于將該計算結(jié)果轉(zhuǎn)換為協(xié)議格式并返回。
[0037] 其中，任務(wù)匹配單元包括：
[0038] 計算節(jié)點篩選子單元，用于根據(jù)所述各計算節(jié)點的處理能力進行篩選，得到符合 條件的計算節(jié)點參與計算；
[0039] 匹配子單元，用于將所述多個計算子與所述符合條件的計算節(jié)點相匹配，所述計 算子任務(wù)和計算節(jié)點之間的匹配包括一對一或多對多；
[0040] 釋放子單元，用于釋放不符合條件的計算節(jié)點。
[0041] 可選的，所述各個計算節(jié)點為異構(gòu)節(jié)點。
[0042] 可選的，還包括：
[0043] 二次分配單元，用于計算節(jié)點執(zhí)行計算任務(wù)期間，當某計算節(jié)點率先完成分配的 技術(shù)任務(wù)后，重新為其分配計算任務(wù)。
[0044] 異常處理單元：用于監(jiān)測所述各節(jié)點的狀態(tài)，當某節(jié)點出現(xiàn)異常時，將該節(jié)點負 責的計算任務(wù)重新分配給其它節(jié)點。
[0045] 本發(fā)明能夠達到以下有益效果：通過獲取計算任務(wù)；獲取計算資源的各計算節(jié)點 的硬件信息和軟件信息，并根據(jù)該硬件信息和軟件信息計算各計算節(jié)點的處理能力；根據(jù) 所述計算任務(wù)的內(nèi)在可并行性，將該計算任務(wù)分解為多個計算子任務(wù)；根據(jù)所述各計算節(jié) 點的處理能力，將所述多個計算子任務(wù)與所述各節(jié)點相匹配；通過底層通信協(xié)議，將所述多 個計算子任務(wù)的數(shù)據(jù)格式轉(zhuǎn)換為協(xié)議格式，并根據(jù)匹配關(guān)系，分發(fā)給各計算節(jié)點；通過所述 底層通信協(xié)議，獲取所述各計算節(jié)點返回的協(xié)議格式的計算結(jié)果；將所述計算結(jié)果的數(shù)據(jù) 格式由協(xié)議格式轉(zhuǎn)換為原計算任務(wù)的格式并返回，實現(xiàn)了異構(gòu)環(huán)境下的多機并行計算，支 持異常狀態(tài)的處理，確保在單個設(shè)備出現(xiàn)異常時，不影響整個計算任務(wù)的完成。
【附圖說明】
[0046] 圖1為本發(fā)明一種通用多機并行計算方法的流程圖；
[0047] 圖2為本發(fā)明一種通用多機并行計算系統(tǒng)的結(jié)構(gòu)圖。
【具體實施方式】
[0048] 以下通過具體實施例進行說明：
[0049] 實施例一：
[0050] 如圖1所示，為本實施例一種通用多機并行計算方法的流程圖，包括以下步驟：
[0051] 步驟101，獲取計算任務(wù)；
[0052] 步驟102,獲取計算資源的各計算節(jié)點的能力參數(shù)，并根據(jù)該能力參數(shù)計算各計算 節(jié)點的處理能力；
[0053] 物探采集并行計算通常具有大計算量，輸入數(shù)據(jù)小，結(jié)果數(shù)據(jù)巨大的特點，不同類 型的應用也存在一定差異，因此定義一個應用類型因子&，用于表征在某種類型的應用中 輸入數(shù)據(jù)大小屯、計算量C a、結(jié)果數(shù)據(jù)d。大小的相互關(guān)系，在并行任務(wù)調(diào)度過程中是一個重 要的參考項。初始的應用類型因子計算采用如下方法：
[0054] fa=Fa (ca, d。，(Ii) =CaM* P JdtZdi ;其中，P a 是系數(shù)。
[0055] 在得到計算資源列表和計算任務(wù)列表后，管理節(jié)點就可以進行任務(wù)調(diào)度和管理， 根據(jù)計算任務(wù)的計算量大小以及計算節(jié)點的運算能力，進行任務(wù)分配。
[0056] 在并行系統(tǒng)中，計算任務(wù)的計算量、輸入數(shù)據(jù)多少和結(jié)果數(shù)據(jù)的大小都