一種多星遙感數(shù)據(jù)處理系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及遙感數(shù)據(jù)處理領(lǐng)域，特別是涉及一種多星遙感數(shù)據(jù)處理系統(tǒng)。
【背景技術(shù)】
[0002] 傳統(tǒng)遙感地面站數(shù)據(jù)處理系統(tǒng)，針對多顆衛(wèi)星需要建立多套處理系統(tǒng)，使得傳統(tǒng) 遙感地面站的硬件設(shè)備的大幅增加，并且由于不同設(shè)備只處理不同衛(wèi)星的數(shù)據(jù)，導(dǎo)致這些 硬件設(shè)備的資源使用率也相對較低的。因此，隨著我國擁有的遙感衛(wèi)星數(shù)量快速增加，傳統(tǒng) 遙感地面站數(shù)據(jù)處理系統(tǒng)已不能滿足應(yīng)用的需要。
[0003] 而隨著集群負(fù)載調(diào)度算法和負(fù)載均衡技術(shù)的不斷發(fā)展，在利用超級計算機或高可 用性集群處理數(shù)據(jù)的過程中，越來越多的技術(shù)人員都在考慮利用負(fù)載均衡。但是部分負(fù)載 均衡靜態(tài)調(diào)度算法，比如傳統(tǒng)的有輪轉(zhuǎn)算法、加權(quán)輪轉(zhuǎn)算法，適用于小規(guī)模訪問量的系統(tǒng)， 但對于有大規(guī)模訪問量的集群，顯然效率低，且穩(wěn)定性差。而還有部分負(fù)載均衡動態(tài)調(diào)度算 法，比如最小連接、加權(quán)最小連接等，都是以連接為粒度，沒有實現(xiàn)真正的動態(tài)調(diào)度，負(fù)載均 衡效果并不理想。
[0004] 本發(fā)明即是考慮到負(fù)載均衡技術(shù)，對現(xiàn)有負(fù)載均衡算法進行改進，使其適用于多 星遙感數(shù)據(jù)處理過程。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明所要解決的技術(shù)問題是提供一種多星遙感數(shù)據(jù)處理系統(tǒng)，用于解決傳統(tǒng)遙 感地面站數(shù)據(jù)處理系統(tǒng)不適用于多星遙感數(shù)據(jù)處理的問題。
[0006] 本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種多星遙感數(shù)據(jù)處理系統(tǒng)，包括：
[0007] 系統(tǒng)層，用于提供軟件支撐環(huán)境；
[0008] 數(shù)據(jù)服務(wù)層，用于存儲遙感數(shù)據(jù)和配置信息；
[0009] 基礎(chǔ)服務(wù)層，用于通過負(fù)載均衡調(diào)度器根據(jù)調(diào)度算法控制不同的資源節(jié)點處理不 同衛(wèi)星的遙感數(shù)據(jù)；
[0010] 應(yīng)用服務(wù)層，用于通過業(yè)務(wù)組件和所述基礎(chǔ)服務(wù)層的負(fù)載均衡調(diào)度器，進行多星 遙感數(shù)據(jù)的任務(wù)調(diào)度與流程控制本發(fā)明的有益效果是：本發(fā)明解決了傳統(tǒng)模式下針對多顆 衛(wèi)星建立多套處理系統(tǒng)的問題，通過配置即可實現(xiàn)簡單流程的任務(wù)調(diào)度，且提供簡便的二 次開發(fā)接口以實現(xiàn)復(fù)雜流程的任務(wù)調(diào)度，實現(xiàn)了多星數(shù)據(jù)在一個系統(tǒng)中使用的目的；同時 提供了多種任務(wù)調(diào)度的負(fù)載均衡機制，提高了硬件資源的使用效率。
[0011] 在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進。
[0012] 進一步，所述負(fù)載均衡調(diào)度器用于探測所述資源節(jié)點是否在線、確認(rèn)所述資源節(jié) 點上的軟件系統(tǒng)是否運行正常、收集所述節(jié)點上的參數(shù)信息、根據(jù)所述資源節(jié)點的故障情 況進行報警以及動態(tài)添加、修改或刪除所述資源節(jié)點。
[0013] 采用上述進一步方案的有益效果是：使多星遙感數(shù)據(jù)處理系統(tǒng)具備完善的系統(tǒng)監(jiān) 控能力和強大的集群管理能力，能夠動態(tài)添加，修改，刪除處理節(jié)點，能夠?qū)崟r顯示每個處 理節(jié)點的資源狀態(tài)、任務(wù)運行狀態(tài)，具備故障設(shè)備自動報警能力，具備在節(jié)點故障時系統(tǒng)正 常運行的能力。
[0014] 進一步，所述調(diào)度算法包括優(yōu)化的加權(quán)最小連接調(diào)度算法、優(yōu)化的負(fù)載最小優(yōu)先 算法、任務(wù)級并行計算算法、算法級并行計算算法和數(shù)據(jù)級并行計算算法中的一種或多種。
[0015] 采用上述進一步方案的有益效果是：設(shè)定了多種負(fù)載均衡算法，便于負(fù)載均衡調(diào) 度器進行資源節(jié)點的分配。
[0016] 進一步，所述優(yōu)化的負(fù)載最小優(yōu)先算法包括：利用動態(tài)反饋機制，通過周期性的負(fù) 載信息查詢來修正所述負(fù)載均衡調(diào)度器上的負(fù)載表，所述負(fù)載表中記錄了各個所述資源節(jié) 點的負(fù)載情況；當(dāng)下一個更新周期到來前，將請求分配到當(dāng)前綜合負(fù)載最小的所述資源節(jié) 點，并按照預(yù)設(shè)經(jīng)驗算法修正該所述資源節(jié)點的負(fù)載信息，所述預(yù)設(shè)經(jīng)驗算法的修正因子 包括遙感數(shù)據(jù)量和單位算法處理時間。進一步，
[0017] 采用優(yōu)化的負(fù)載最小優(yōu)先算法分配相應(yīng)的資源節(jié)點處理不同衛(wèi)星的遙感數(shù)據(jù)包 括以下步驟：
[0018] 初始化負(fù)載表，將遙感數(shù)據(jù)量和單位算法處理時間作為計算因子計算負(fù)載信息；
[0019] 接收一個客戶機的新請求，如果負(fù)載表為空，依次將請求分配到集群的各資源節(jié) 點上，直到負(fù)載表的各項都不為空；
[0020] 如果負(fù)載表的各項都不為空，從負(fù)載表中選取負(fù)載數(shù)最小的節(jié)點，將新請求轉(zhuǎn)發(fā) 到該所述資源節(jié)點上，并根據(jù)預(yù)設(shè)經(jīng)驗算法修正負(fù)載表中該所述資源節(jié)點的負(fù)載信息；
[0021] 循環(huán)上述相應(yīng)步驟，直到更新周期到達；
[0022] 若更新周期到達，則刷新負(fù)載表；
[0023] 若在更新周期內(nèi)存在未向負(fù)載均衡調(diào)度器發(fā)送節(jié)點信息的所述資源節(jié)點，則在負(fù) 載表中，將該所述資源節(jié)點設(shè)置為不可達節(jié)點；
[0024] 若在下一更新周期收到不可達節(jié)點發(fā)送的節(jié)點信息，則更新該不可達節(jié)點的表 項，將其重置為可達的資源節(jié)點。進一步，
[0025] 所述將遙感數(shù)據(jù)量和單位算法處理時間作為計算因子計算負(fù)載信息包括：
[0026]
[0027] 其中，Xl為遙感數(shù)據(jù)量，x2為單位算法處理時間，Ti為負(fù)載信息，kl表示負(fù)載信 息對遙感數(shù)據(jù)量的依賴程度，k2表示負(fù)載信息對單位算法時間的依賴程度。
[0028] 采用上述進一步方案的有益效果是：給出了一種全新優(yōu)化的負(fù)載均衡算法，能夠 使最大限度使用系統(tǒng)資源，并以此來改善各個服務(wù)器負(fù)載的平衡性。進一步，
[0029] 所述應(yīng)用服務(wù)層的業(yè)務(wù)組件包括：
[0030] 第一外部接口適配組件，用于實現(xiàn)多星遙感數(shù)據(jù)處理系統(tǒng)與外部系統(tǒng)的交互；
[0031] 調(diào)度擴展策略組件，用于結(jié)合所述第一外部接口適配組件，生成分別用于存儲遙 感數(shù)據(jù)中的訂單和任務(wù)的訂單/任務(wù)管理池；
[0032] 節(jié)點管理組件，用于提供資源節(jié)點的節(jié)點信息；
[0033] 流程配置管理組件，用于提供與訂單對應(yīng)的流程信息；
[0034] 流程控制與調(diào)度組件，用于提取訂單/任務(wù)管理池中未處理的訂單，并根據(jù)所述 流程配置管理組件提供的所述與訂單對應(yīng)的流程信息，將所述訂單分配到所述任務(wù)，再根 據(jù)所述節(jié)點管理組件提供的所述節(jié)點信息，將所述任務(wù)分配到不同的所述資源節(jié)點上用于 進行處理。
[0035] 進一步，所述應(yīng)用服務(wù)層的業(yè)務(wù)組件還包括第一數(shù)據(jù)庫管理組件，用于保存流程 執(zhí)行過程中的訂單/任務(wù)信息和日志信息。
[0036] 進一步，所述應(yīng)用服務(wù)層，還設(shè)置有用于統(tǒng)計訂單的訂單統(tǒng)計模塊、用于配置參數(shù) 的參數(shù)配置模塊和用于收集錯誤信息的錯誤信息收集模塊。
[0037] 進一步，
[0038] 所述流程控制與調(diào)度組件將將所述任務(wù)分配到不同的所述資源節(jié)點上后，相應(yīng)的 用于進行處理的所述資源節(jié)點是通過所述應(yīng)用服務(wù)層的業(yè)務(wù)組件進行任務(wù)處理，該進行任 務(wù)處理的業(yè)務(wù)組件包括第二外部接口適配組件、任務(wù)擴展組件、隊列配置管理組件、工作隊 列處理組件和第二數(shù)據(jù)庫管理組件；
[0039] 所述第二外部接口適配組件，用于實現(xiàn)與所述流程控制與調(diào)度組件的交互；
[0040] 所述任務(wù)擴展組件，用于結(jié)合所述第二外部接口適配組件，生成用于存儲任務(wù)的 任務(wù)管理池；
[