本發(fā)明屬于可視化運(yùn)維監(jiān)控，具體為一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法及系統(tǒng)。

背景技術(shù)：

1、隨著信息技術(shù)系統(tǒng)規(guī)模及復(fù)雜性的不斷提升，對(duì)系統(tǒng)運(yùn)行狀況的實(shí)時(shí)監(jiān)控、故障預(yù)警與性能優(yōu)化提出了更為嚴(yán)苛的要求。目前主流的運(yùn)維監(jiān)控方案普遍采用靜態(tài)數(shù)據(jù)展示方式，依賴于人工進(jìn)行數(shù)據(jù)分析與處理，存在以下局限性：

2、實(shí)時(shí)性不足，系統(tǒng)狀態(tài)的展示通常存在延遲，無(wú)法即時(shí)反映最新的變化，這可能導(dǎo)致潛在問題的忽視；

3、數(shù)據(jù)處理能力有限，在應(yīng)對(duì)復(fù)雜系統(tǒng)及多維度監(jiān)控?cái)?shù)據(jù)時(shí)，現(xiàn)有方案難以高效地進(jìn)行數(shù)據(jù)處理，并呈現(xiàn)直觀、可操作的信息；

4、運(yùn)維成本較高，系統(tǒng)的部署與維護(hù)需要較高的資源投入，尤其在處理高并發(fā)和大規(guī)模環(huán)境時(shí)，運(yùn)維成本尤為顯著。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在提供一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法及系統(tǒng)，用于解決現(xiàn)有技術(shù)中監(jiān)控實(shí)時(shí)性不足、維度不全面、數(shù)據(jù)處理不夠高效和穩(wěn)定的問題。

2、本發(fā)明通過下述技術(shù)方案解決上述問題：

3、一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法，包括：

4、步驟s1，根據(jù)實(shí)際的業(yè)務(wù)需求和場(chǎng)景，識(shí)別業(yè)務(wù)流程中的關(guān)鍵路徑（例如企業(yè)登錄、融資處理、審核流程等），通過對(duì)api調(diào)用、數(shù)據(jù)庫(kù)訪問和第三方服務(wù)響應(yīng)等關(guān)鍵操作點(diǎn)進(jìn)行動(dòng)態(tài)埋點(diǎn)；

5、步驟s2，agent進(jìn)行數(shù)據(jù)采集與傳輸：

6、步驟s21，根據(jù)預(yù)先配置的埋點(diǎn)規(guī)則來(lái)采集相關(guān)數(shù)據(jù)；

7、步驟s22，將采集到的數(shù)據(jù)封裝成特定格式；

8、步驟s23，采用加密和驗(yàn)證機(jī)制進(jìn)行與skywalking-oap之間的數(shù)據(jù)傳輸；

9、步驟s3，skywalking-oap收集來(lái)自不同agent的數(shù)據(jù)，接收數(shù)據(jù)后立即執(zhí)行數(shù)據(jù)聚合、清洗和轉(zhuǎn)換等初步處理；

10、步驟s4，skywalking-oap將處理后的數(shù)據(jù)消息發(fā)送至消息隊(duì)列系統(tǒng)中；

11、步驟s5，數(shù)據(jù)消息到達(dá)度量平臺(tái)，度量平臺(tái)執(zhí)行接收操作，隨后進(jìn)行數(shù)據(jù)解析、執(zhí)行業(yè)務(wù)邏輯、調(diào)用相關(guān)服務(wù)等處理；

12、步驟s6，處理完畢后，度量平臺(tái)生成相應(yīng)的響應(yīng)消息，通過消息隊(duì)列將響應(yīng)消息傳回請(qǐng)求方或相關(guān)服務(wù)。

13、進(jìn)一步地，所述步驟s1中，對(duì)異常處理和錯(cuò)誤日志也進(jìn)行埋點(diǎn)，以便快速定位問題的原因，及時(shí)進(jìn)行修復(fù)和優(yōu)化。

14、進(jìn)一步地，所述步驟s2中，對(duì)于對(duì)實(shí)時(shí)性要求較高的數(shù)據(jù)，agent采用實(shí)時(shí)傳輸，立即將數(shù)據(jù)傳輸?shù)給ap；對(duì)于數(shù)據(jù)量較大或?qū)崟r(shí)性要求不高的數(shù)據(jù)，agent采用批量傳輸，提高整體傳輸效率。

15、進(jìn)一步地，所述步驟s3中，可根據(jù)特定業(yè)務(wù)需求定制數(shù)據(jù)處理和過濾規(guī)則，保留對(duì)業(yè)務(wù)分析至關(guān)重要的數(shù)據(jù)，提升數(shù)據(jù)處理的效率和精確度。

16、進(jìn)一步地，所述步驟s4中，消息隊(duì)列可充當(dāng)數(shù)據(jù)緩沖區(qū)，暫時(shí)存儲(chǔ)無(wú)法即時(shí)處理的數(shù)據(jù)，有效緩解skywalking-oap處理壓力。

17、進(jìn)一步地，所述步驟s4中，消息隊(duì)列采用負(fù)載均衡機(jī)制，確保消息能夠均勻分配給多個(gè)處理節(jié)點(diǎn)，避免處理節(jié)點(diǎn)單點(diǎn)過載問題。

18、進(jìn)一步的，所述步驟s5中，針對(duì)不同類型的事件，度量服務(wù)會(huì)執(zhí)行特定的處理邏輯，包括數(shù)據(jù)清洗、事件匹配、格式轉(zhuǎn)換等。處理完成后，數(shù)據(jù)將被存儲(chǔ)到redis、mysql數(shù)據(jù)庫(kù)中。

19、一種運(yùn)維大屏監(jiān)控系統(tǒng)，包括：

20、業(yè)務(wù)數(shù)據(jù)監(jiān)控模塊、業(yè)務(wù)心跳監(jiān)控模塊、服務(wù)接口監(jiān)控模塊、系統(tǒng)狀態(tài)監(jiān)控模塊、數(shù)據(jù)庫(kù)連接池監(jiān)控模塊、第三方交互監(jiān)控模塊、異常預(yù)警數(shù)據(jù)監(jiān)控模塊、運(yùn)維工作監(jiān)控模塊。

21、本發(fā)明與現(xiàn)有技術(shù)相比，具有以下優(yōu)點(diǎn)及有益效果：

22、本發(fā)明通過skywalking-oap、消息隊(duì)列等處理方式，實(shí)現(xiàn)了對(duì)系統(tǒng)資源運(yùn)行數(shù)據(jù)的實(shí)時(shí)、準(zhǔn)確獲?。徊捎昧讼冗M(jìn)的數(shù)據(jù)處理算法和優(yōu)化技術(shù)，能夠高效地對(duì)海量數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和聚合，確保數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性；通過與skywalking-oap和prometheus的實(shí)時(shí)監(jiān)控功能相結(jié)合，能夠有效地追蹤和分析系統(tǒng)性能，確保系統(tǒng)的穩(wěn)定運(yùn)行；通過將數(shù)據(jù)計(jì)算與查詢過程分離，進(jìn)一步優(yōu)化了系統(tǒng)性能，降低了運(yùn)維成本，并增強(qiáng)了系統(tǒng)的可擴(kuò)展性和靈活性。

技術(shù)特征：

1.一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法，其特征在于，所述步驟s2具體包括：

3.根據(jù)權(quán)利要求1所述的一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法，其特征在于，所述步驟s1中，對(duì)異常處理和錯(cuò)誤日志也進(jìn)行動(dòng)態(tài)埋點(diǎn)，可快速定位問題原因。

4.根據(jù)權(quán)利要求2所述的一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法，其特征在于，所述步驟s2中，對(duì)實(shí)時(shí)性要求較高的數(shù)據(jù)，所述agent采用實(shí)時(shí)傳輸；對(duì)實(shí)時(shí)性要求不高的數(shù)據(jù)及數(shù)據(jù)量較大的數(shù)據(jù)，所述agent采用批量傳輸。

5.根據(jù)權(quán)利要求1所述的一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法，其特征在于，所述步驟s3中，所述skywalking-oap可根據(jù)業(yè)務(wù)需求定制數(shù)據(jù)處理和過濾規(guī)則，保留對(duì)業(yè)務(wù)分析重要的數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法，其特征在于，所述步驟s4中，所述消息隊(duì)列可暫時(shí)存儲(chǔ)無(wú)法即時(shí)處理的數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法，其特征在于，所述步驟s4中，所述消息隊(duì)列采用負(fù)載均衡機(jī)制，將消息均勻分配至多個(gè)處理節(jié)點(diǎn)。

8.根據(jù)權(quán)利要求1所述的一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法，其特征在于，所述步驟s5中，針對(duì)不同類型的事件，所述度量服務(wù)對(duì)所述數(shù)據(jù)進(jìn)行的處理包括數(shù)據(jù)清洗、事件匹配、格式轉(zhuǎn)換，所述處理完成后，所述數(shù)據(jù)將被存儲(chǔ)到數(shù)據(jù)庫(kù)中。

9.一種運(yùn)維大屏監(jiān)控系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明公開了一種運(yùn)維大屏實(shí)時(shí)監(jiān)控方法，包括：根據(jù)實(shí)際的業(yè)務(wù)需求和場(chǎng)景，識(shí)別業(yè)務(wù)流程中的關(guān)鍵路徑，進(jìn)行動(dòng)態(tài)埋點(diǎn)；Agent進(jìn)行數(shù)據(jù)采集與傳輸；Skywalking?OAP收集數(shù)據(jù)執(zhí)行初步處理，發(fā)送至消息隊(duì)列系統(tǒng)中；度量平臺(tái)接收后進(jìn)行數(shù)據(jù)處理，生成相應(yīng)響應(yīng)消息，通過消息隊(duì)列傳回請(qǐng)求方。一種運(yùn)維大屏監(jiān)控系統(tǒng)，包括：業(yè)務(wù)數(shù)據(jù)監(jiān)控模塊、業(yè)務(wù)心跳監(jiān)控模塊、服務(wù)接口監(jiān)控模塊、系統(tǒng)狀態(tài)監(jiān)控模塊、數(shù)據(jù)庫(kù)連接池監(jiān)控模塊、第三方交互監(jiān)控模塊、異常預(yù)警數(shù)據(jù)監(jiān)控模塊、運(yùn)維工作監(jiān)控模塊。本發(fā)明實(shí)現(xiàn)了對(duì)系統(tǒng)資源運(yùn)行數(shù)據(jù)的實(shí)時(shí)、準(zhǔn)確獲取，增強(qiáng)了系統(tǒng)的可擴(kuò)展性和靈活性。

技術(shù)研發(fā)人員：張敏敏,禹靜靜
受保護(hù)的技術(shù)使用者：中企云鏈股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19