本發(fā)明涉及計算機，具體來說，涉及一種基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法。

背景技術：

1、系統(tǒng)運維監(jiān)視的一個重要環(huán)節(jié)是it平臺基礎運行特征收集，傳統(tǒng)的it平臺運維監(jiān)視大多通過定時程序從各服務器上收集一些基礎的負載指標，如cpu使用率、內存使用率、swap使用情況等。這些監(jiān)視信息可以在一定程度上反映單臺服務器的負載使用情況，但是針對風云三號衛(wèi)星應用集群式的運行模式，單個服務器負載指標不能反映應用整體集群資源使用情況。為了能準確反映各應用集群的整體負載情況，需要實時采集風云三號衛(wèi)星各應用運行集群的計算、存儲、網(wǎng)絡以及相關應用的關鍵屬性監(jiān)視信息，制定集群各類指標采集策略和采集頻率，實現(xiàn)應用集群it平臺各項指標的整體使用率和應用關鍵特征運行情況等多維度的融合監(jiān)視

技術實現(xiàn)思路

1、本發(fā)明要解決的技術問題是提供一種基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法及系統(tǒng)，對各應用集群整體情況和應用運行關鍵指標進行全方位數(shù)據(jù)采集，獲取集群各類指標采集策略和采集頻率，實現(xiàn)應用集群it平臺各項指標的整體使用率和應用關鍵特征運行情況多維度的融合監(jiān)視。

2、為解決上述技術問題，本發(fā)明的技術方案如下：

3、第一方面，一種基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法，所述方法包括：

4、獲取各應用集群it平臺運行指標；

5、對運行指標進行提取，以得到特征指標；

6、對特征指標進行采集，以得到采集指標；

7、根據(jù)采集指標，確定采集頻率和采集狀態(tài)，以得到運行指標的狀態(tài)信息；

8、根據(jù)狀態(tài)信息，收集原始數(shù)據(jù)，并對原始數(shù)據(jù)進行數(shù)據(jù)封裝整合處理，以得到封裝整合的數(shù)據(jù)；

9、將封裝整合的數(shù)據(jù)進行匯總，以得到匯總數(shù)據(jù)。

10、進一步的，獲取各應用集群it平臺運行指標，包括：

11、通過對多集群內所有節(jié)點的計算、存儲和網(wǎng)絡指標進行匯總，獲取應用集群的各項整體運行指標。

12、進一步的，對運行指標進行提取，以得到特征指標，包括：

13、通過配置采集插件來捕獲關鍵特征指標，包括中間件信息、中間件服務狀態(tài)、應用數(shù)據(jù)庫信息、數(shù)據(jù)庫高可用節(jié)點間網(wǎng)絡通信、應用關鍵端口狀態(tài)、資源調度各作業(yè)隊列狀態(tài)、資源調度服務狀態(tài)、資源調度數(shù)據(jù)庫狀態(tài)和監(jiān)視數(shù)據(jù)匯聚組件狀態(tài)。

14、進一步的，對特征指標進行采集，以得到采集指標，包括：

15、通過對特征指標進行應用，獲取不同指標的應用運行特征；

16、根據(jù)不同指標的應用運行特征，采取對應的采集策略進行采集，以得到采集指標。

17、進一步的，根據(jù)采集指標，確定采集頻率和采集狀態(tài)，以得到運行指標的狀態(tài)信息，包括：

18、根據(jù)采集指標，以獲取采集指標頻率和采集狀態(tài)，其中，cpu、內存、網(wǎng)絡、存儲和應用關鍵特征的采集指標頻率為30秒；

19、根據(jù)指標頻率和采集狀態(tài)，采用并發(fā)策略讀取各運行指標的狀態(tài)信息，以獲取每個指標的狀態(tài)信息。

20、進一步的，根據(jù)狀態(tài)信息，收集原始數(shù)據(jù)，并對原始數(shù)據(jù)進行數(shù)據(jù)封裝整合處理，以得到封裝整合處理的數(shù)據(jù)，包括：

21、根據(jù)狀態(tài)信息，收集各類原始數(shù)據(jù)，并對原始數(shù)據(jù)進行預處理，以得到預處理數(shù)據(jù)；

22、對預處理數(shù)據(jù)進行封裝和核查，以得到核查后數(shù)據(jù)；

23、對核查后數(shù)據(jù)進行轉換和整合，以得到封裝整合的數(shù)據(jù)。

24、進一步的，將封裝整合的數(shù)據(jù)進行匯總，以得到匯總數(shù)據(jù)，包括：

25、對封裝整合的數(shù)據(jù)進行過濾、轉換和計算處理，以得到處理數(shù)據(jù)；

26、對處理數(shù)據(jù)進行聚合匯總，以得到匯總數(shù)據(jù)。

27、第二方面，一種基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集系統(tǒng)，包括：

28、獲取模塊，用于獲取各應用集群it平臺運行指標；對運行指標進行提取，以得到特征指標；對特征指標進行采集，以得到采集指標。

29、處理模塊，用于根據(jù)采集指標，確定采集頻率和采集狀態(tài)，以得到運行指標的狀態(tài)信息；根據(jù)狀態(tài)信息，收集原始數(shù)據(jù)，并對原始數(shù)據(jù)進行數(shù)據(jù)封裝整合處理，以得到封裝整合的數(shù)據(jù)；將封裝整合的數(shù)據(jù)進行匯總，以得到匯總數(shù)據(jù)。

30、第三方面，一種計算設備，包括：

31、一個或多個處理器；

32、存儲裝置，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)所述的方法。

33、第四方面，一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有程序，該程序被處理器執(zhí)行時實現(xiàn)所述的方法。

34、本發(fā)明的上述方案至少包括以下有益效果：

35、對多集群內所有節(jié)點的計算、存儲和網(wǎng)絡指標進行匯總，確保了數(shù)據(jù)的全面性，通過配置采集插件來捕獲關鍵特征指標，包括中間件信息、數(shù)據(jù)庫狀態(tài)、資源調度狀態(tài)，提高數(shù)據(jù)采集的準確性；根據(jù)不同的采集指標，采取對應的采集策略，并設定合理的采集頻率，確保數(shù)據(jù)采集的高效性和實時性，采用并發(fā)策略讀取各運行指標的狀態(tài)信息，提高了數(shù)據(jù)采集的效率；根據(jù)不同的應用運行特征采取對應的采集策略，體現(xiàn)良好的靈活性，通過封裝整合處理原始數(shù)據(jù)，并支持對數(shù)據(jù)的過濾、轉換和計算處理，能夠適應不同規(guī)模和復雜度的應用集群監(jiān)視需求；通過全方位數(shù)據(jù)采集和指標整合，能夠進行全面的應用集群運行狀態(tài)分析。

技術特征：

1.一種基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，所述方法包括：

2.根據(jù)權利要求1所述的基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，獲取各應用集群it平臺運行指標，包括：

3.根據(jù)權利要求2所述的基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，對運行指標進行提取，以得到特征指標，包括：

4.根據(jù)權利要求3所述的基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，對特征指標進行采集，以得到采集指標，包括：

5.根據(jù)權利要求4所述的基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，根據(jù)采集指標，確定采集頻率和采集狀態(tài)，以得到運行指標的狀態(tài)信息，包括：

6.根據(jù)權利要求5所述的基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，根據(jù)狀態(tài)信息，收集原始數(shù)據(jù)，并對原始數(shù)據(jù)進行數(shù)據(jù)封裝整合處理，以得到封裝整合處理的數(shù)據(jù)，包括：

7.根據(jù)權利要求6所述的基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法，其特征在于，將封裝整合的數(shù)據(jù)進行匯總，以得到匯總數(shù)據(jù)，包括：

8.一種基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集系統(tǒng)，其特征在于，包括：

9.一種計算設備，其特征在于，包括：

10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有程序，該程序被處理器執(zhí)行時實現(xiàn)如權利要求1至7中任一項所述的方法。

技術總結
本發(fā)明提供一種基于多維度融合的應用集群監(jiān)視數(shù)據(jù)采集方法及系統(tǒng)，涉及計算機技術領域，所述方法包括：獲取各應用集群IT平臺運行指標；對運行指標進行提取，以得到特征指標；對特征指標進行采集，以得到采集指標；根據(jù)采集指標，確定采集頻率和采集狀態(tài)，以得到運行指標的狀態(tài)信息；根據(jù)狀態(tài)信息，收集原始數(shù)據(jù)，并對原始數(shù)據(jù)進行數(shù)據(jù)封裝整合處理，以得到封裝整合的數(shù)據(jù)；將封裝整合的數(shù)據(jù)進行匯總，以得到匯總數(shù)據(jù)。本發(fā)明對各應用集群整體情況和應用運行關鍵指標進行全方位數(shù)據(jù)采集，獲取集群各類指標采集策略和采集頻率，實現(xiàn)應用集群IT平臺各項指標的整體使用率和應用關鍵特征運行情況多維度的融合監(jiān)視。

技術研發(fā)人員：張璽,林曼筠,趙現(xiàn)綱,范存群,國鵬,張戰(zhàn)云,衛(wèi)蘭,薛依琪,常翔宇
受保護的技術使用者：國家衛(wèi)星氣象中心（國家空間天氣監(jiān)測預警中心）
技術研發(fā)日：
技術公布日：2024/12/19