分布式服務(wù)的監(jiān)控方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種分布式服務(wù)的監(jiān)控方法及裝置。
【背景技術(shù)】
[0002] 目前，互聯(lián)網(wǎng)應(yīng)用大多為分布式在線服務(wù)系統(tǒng)，每個請求需要經(jīng)過幾十甚至幾百 臺計(jì)算機(jī)上的不同模塊完成，并且隨著業(yè)務(wù)的快速發(fā)展，模塊的數(shù)量也在不斷增加，模塊間 的交互關(guān)系變得異常復(fù)雜。相應(yīng)地，如何實(shí)現(xiàn)對分布式服務(wù)的監(jiān)控，以及時分析出分布式服 務(wù)異常的原因也變得復(fù)雜起來。
[0003] 現(xiàn)有的監(jiān)控系統(tǒng)通常針對分布式服務(wù)中的單個模塊或單臺計(jì)算機(jī)進(jìn)行監(jiān)控。具體 地，監(jiān)控系統(tǒng)定期采樣關(guān)心的信息進(jìn)行統(tǒng)計(jì)并分析，如果發(fā)現(xiàn)業(yè)務(wù)請求的處理結(jié)果異常，啟 動監(jiān)控系統(tǒng)的報警功能。
[0004] 由于上述監(jiān)控系統(tǒng)在業(yè)務(wù)請求異常時，僅提供相應(yīng)的報警服務(wù)。所以在收到報警 信息后，需人工確定相應(yīng)業(yè)務(wù)請求的各模塊之間的調(diào)用關(guān)系，再根據(jù)調(diào)用關(guān)系具體分析業(yè) 務(wù)請求異常的原因，效率較低，不利于分布式服務(wù)中異常業(yè)務(wù)請求的快速止損。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于提供一種分布式服務(wù)的監(jiān)控方法及裝置，以自動生成異常業(yè)務(wù) 請求的請求調(diào)用關(guān)系拓?fù)鋱D，實(shí)現(xiàn)異常業(yè)務(wù)請求的快速止損。
[0006] 根據(jù)本發(fā)明的一方面，本發(fā)明提供一種分布式服務(wù)的監(jiān)控方法，所述方法包括：日 志獲取步驟：獲取從分布式服務(wù)的多個模塊采集的業(yè)務(wù)請求處理日志，其中，在所述從所述 多個模塊采集的業(yè)務(wù)請求處理日志的日志記錄當(dāng)中被記錄的同一業(yè)務(wù)請求具有相同的業(yè) 務(wù)請求標(biāo)識，并且所述日志記錄包括當(dāng)前模塊的第一模塊標(biāo)識和調(diào)用所述當(dāng)前模塊的調(diào)用 模塊的第二模塊標(biāo)識；日志聚合步驟：將具有相同的業(yè)務(wù)請求標(biāo)識的日志記錄分別聚合為 日志記錄集合；日志分析步驟：對聚合得到的日志記錄集合分別進(jìn)行分析，其中，對處理結(jié) 果發(fā)生異常的業(yè)務(wù)請求，根據(jù)所述業(yè)務(wù)請求在模塊之間的調(diào)用關(guān)系生成所述業(yè)務(wù)請求的請 求調(diào)用關(guān)系拓?fù)鋱D。
[0007] 可選地，所述方法還包括日志結(jié)構(gòu)化步驟：從所述日志記錄分別提取業(yè)務(wù)請求標(biāo) 識、第一模塊標(biāo)識、第二模塊標(biāo)識以及關(guān)于處理結(jié)果狀態(tài)的數(shù)據(jù)，生成相應(yīng)的日志記錄索 引。
[0008] 可選地，在所述日志聚合步驟，將具有相同的業(yè)務(wù)請求標(biāo)識的日志記錄索引分別 聚合為日志記錄索引集合；在所述日志分析步驟，對聚合得到的日志記錄索引集合分別進(jìn) 行分析，其中，對處理結(jié)果發(fā)生異常的業(yè)務(wù)請求，根據(jù)所述業(yè)務(wù)請求在模塊之間的調(diào)用關(guān)系 生成異常模塊被標(biāo)注的所述業(yè)務(wù)請求的請求調(diào)用關(guān)系拓?fù)鋱D。
[0009] 可選地，所述方法還包括報警信息生成步驟：根據(jù)所述請求調(diào)用關(guān)系拓?fù)鋱D和相 應(yīng)的日志記錄索引集合生成所述業(yè)務(wù)請求的報警信息。
[0010] 可選地，所述方法還包括報警信息提供步驟：發(fā)送或展示所述報警信息。
[0011] 根據(jù)本發(fā)明的另一方面，本發(fā)明還提供一種分布式服務(wù)的監(jiān)控裝置，所述裝置包 括：日志獲取單元，用于獲取從分布式服務(wù)的多個模塊采集的業(yè)務(wù)請求處理日志，其中，在 所述從所述多個模塊采集的業(yè)務(wù)請求處理日志的日志記錄當(dāng)中被記錄的同一業(yè)務(wù)請求具 有相同的業(yè)務(wù)請求標(biāo)識，并且所述日志記錄包括當(dāng)前模塊的第一模塊標(biāo)識和調(diào)用所述當(dāng)前 模塊的調(diào)用模塊的第二模塊標(biāo)識；日志記錄聚合單元，用于將具有相同的業(yè)務(wù)請求標(biāo)識的 日志記錄分別聚合為日志記錄集合；日志記錄集合分析單元，用于對聚合得到的日志記錄 集合分別進(jìn)行分析，其中，對處理結(jié)果發(fā)生異常的業(yè)務(wù)請求，根據(jù)所述業(yè)務(wù)請求在模塊之間 的調(diào)用關(guān)系生成所述業(yè)務(wù)請求的請求調(diào)用關(guān)系拓?fù)鋱D。
[0012] 可選地，所述裝置還包括日志記錄索引生成單元，用于從所述日志記錄分別提取 業(yè)務(wù)請求標(biāo)識、第一模塊標(biāo)識、第二模塊標(biāo)識以及關(guān)于處理結(jié)果狀態(tài)的數(shù)據(jù)，生成相應(yīng)的日 志記錄索引。
[0013] 可選地，所述日志記錄聚合單元用于將具有相同的業(yè)務(wù)請求標(biāo)識的日志記錄索引 分別聚合為日志記錄索引集合；所述日志記錄集合分析單元用于對聚合得到的日志記錄索 引集合分別進(jìn)行分析，其中，對處理結(jié)果發(fā)生異常的業(yè)務(wù)請求，根據(jù)所述業(yè)務(wù)請求在模塊之 間的調(diào)用關(guān)系生成異常模塊被標(biāo)注的所述業(yè)務(wù)請求的請求調(diào)用關(guān)系拓?fù)鋱D。
[0014] 可選地，所述裝置還包括報警信息生成單元，用于根據(jù)所述請求調(diào)用關(guān)系拓?fù)鋱D 和相應(yīng)的日志記錄索引集合生成所述業(yè)務(wù)請求的報警信息。
[0015] 可選地，所述裝置還包括報警信息提供單元，用于發(fā)送或展示所述報警信息。
[0016] 本發(fā)明實(shí)施例所提供的分布式服務(wù)的監(jiān)控方法及裝置，對同一業(yè)務(wù)請求的多個處 理模塊配置相同的業(yè)務(wù)請求標(biāo)識，并記錄在包括業(yè)務(wù)請求標(biāo)識、當(dāng)前模塊的第一模塊標(biāo)識 和調(diào)用當(dāng)前模塊的調(diào)用模塊的第二模塊標(biāo)識的日志記錄中，然后分析具有相同的業(yè)務(wù)請求 標(biāo)識的日志記錄聚合得到的日志記錄集合。當(dāng)某一業(yè)務(wù)請求的處理結(jié)果發(fā)生異常時，根據(jù) 日志記錄集合中記錄的該業(yè)務(wù)請求的模塊之間的調(diào)用關(guān)系自動生成相應(yīng)的請求調(diào)用關(guān)系 拓?fù)鋱D，以方便異常業(yè)務(wù)請求的快速止損。
【附圖說明】
[0017] 圖1是示出本發(fā)明示例性實(shí)施例分布式服務(wù)的監(jiān)控方法的流程示意圖；
[0018] 圖2是示出本發(fā)明具體實(shí)施例的業(yè)務(wù)請求處理日志的日志記錄的示意圖；
[0019] 圖3是示出本發(fā)明具體實(shí)施例的請求調(diào)用關(guān)系拓?fù)鋱D的示意圖；
[0020] 圖4是示出本發(fā)明示例性實(shí)施例分布式服務(wù)的監(jiān)控裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0021] 本發(fā)明的基本構(gòu)思是，提供一種分布式服務(wù)的監(jiān)控方法以及實(shí)現(xiàn)所述方法的裝 置。針對同一業(yè)務(wù)請求，在其各模塊的業(yè)務(wù)請求處理日志中采用相同的業(yè)務(wù)請求標(biāo)識，且在 各日志記錄中，錄入有當(dāng)前模塊的第一模塊標(biāo)識和調(diào)用所述當(dāng)前模塊的調(diào)用模塊的第二模 塊標(biāo)識。由此，當(dāng)某一業(yè)務(wù)請求的處理結(jié)果發(fā)生異常時，可根據(jù)該業(yè)務(wù)請求在模塊之間的調(diào) 用關(guān)系自動生成相應(yīng)的請求調(diào)用關(guān)系拓?fù)鋱D，實(shí)現(xiàn)異常業(yè)務(wù)請求的快速止損。
[0022] 下面結(jié)合附圖對本發(fā)明示例性實(shí)施例的分布式服務(wù)的監(jiān)控方法及裝置進(jìn)行詳細(xì) 描述。
[0023] 實(shí)施例一
[0024] 圖1是示出本發(fā)明示例性實(shí)施例分布式服務(wù)的監(jiān)控方法的流程示意圖。
[0025] 參照圖1，在步驟S110,獲取從分布式服務(wù)的多個模塊采集的業(yè)務(wù)請求處理日志。
[0026] 其中，在從多個模塊采集的業(yè)務(wù)請求處理日志的日志記錄當(dāng)中被記錄的同一業(yè)務(wù) 請求具有相同的業(yè)務(wù)請求標(biāo)識，并且日志記錄包括當(dāng)前模塊的第一模塊標(biāo)識和調(diào)用所述當(dāng) 前模塊的調(diào)用模塊的第二模塊標(biāo)識。除此之外，日志記錄中還可包括第一模塊的IP地址、 第二模塊的IP地址、到達(dá)當(dāng)前模塊的時間、業(yè)務(wù)請求在當(dāng)前模塊的耗時及處理結(jié)果等信 息。其中，處理同一業(yè)務(wù)請求的各模塊的業(yè)務(wù)請求標(biāo)識通過以下方式獲得：將處理該業(yè)務(wù)請 求的第一個模塊配置一個相應(yīng)的業(yè)務(wù)請求標(biāo)識，之后處理該業(yè)務(wù)請求的各模塊均配置與第 一個模塊相同的業(yè)務(wù)請求標(biāo)識，并記錄在各模塊的業(yè)務(wù)請求處理日志的日志記錄中。
[0027] 在步驟S120,將具有相同的業(yè)務(wù)請求標(biāo)識的日志記錄分別聚合為日志記錄集合。
[0028] 具體地，根據(jù)業(yè)務(wù)請求標(biāo)識對所有的日志記錄進(jìn)行分組，將業(yè)務(wù)請求標(biāo)識相同的 所有的日志記錄劃分為一組，生成一個或多個日志記錄集合，方便后續(xù)處理。
[0029] 在步驟S130,對聚合得到的日志記錄集合分別進(jìn)行分析，其中，對處理結(jié)果發(fā)生 異常的業(yè)務(wù)請求，根據(jù)業(yè)務(wù)請求在模塊之間的調(diào)用關(guān)系生成業(yè)務(wù)請求的請求調(diào)用關(guān)系拓?fù)?圖。
[0030] 具體地，將步驟S120中得到的日志記錄集合進(jìn)行分析。分析過程如下：檢測任一 日志記錄集合中的每一日志記錄的標(biāo)識處理結(jié)果狀態(tài)的數(shù)據(jù)是否正常，若上述標(biāo)識處理結(jié) 果狀態(tài)的數(shù)據(jù)有一個或多個異常，則認(rèn)為相應(yīng)的業(yè)務(wù)請求的處理結(jié)果發(fā)生異常。此后，根據(jù) 該業(yè)務(wù)請求在模塊之間的調(diào)用關(guān)系生成該業(yè)務(wù)請求的請求調(diào)用關(guān)系拓?fù)鋱D。其中，可從該 業(yè)務(wù)請求對應(yīng)的日志記錄集合中獲取處理業(yè)務(wù)請求的模塊之間的調(diào)用關(guān)系的數(shù)據(jù)，即日志 記錄中的第一模塊標(biāo)識和第二模塊標(biāo)識。
[0031] 這里所說的請求調(diào)用關(guān)系拓?fù)鋱D可以是實(shí)際繪制的請求調(diào)用關(guān)系拓?fù)鋱D，也可以 是從邏輯上反映各個模塊之間調(diào)用關(guān)系的數(shù)據(jù)，以基于所述數(shù)據(jù)構(gòu)建所述請求調(diào)用關(guān)系拓 撲圖。
[0032] 在此，為快速定位發(fā)生異常的模塊，可將上述請求調(diào)用關(guān)系拓?fù)鋱D中的異常模塊 做標(biāo)注。
[0033] 本發(fā)明實(shí)施例所提供的分布式服務(wù)的監(jiān)控方法對同一業(yè)務(wù)請求的多個處理模塊 配置相同的業(yè)務(wù)請求標(biāo)識，并記錄在包括業(yè)務(wù)請求標(biāo)識、當(dāng)前模塊的第一模塊標(biāo)識和調(diào)用 當(dāng)前模塊的調(diào)用模塊的第二模塊標(biāo)識的日志記錄中，然后分析具有相同的業(yè)務(wù)請求標(biāo)識的 日志記錄聚合得到的日志記錄集合。當(dāng)某一業(yè)務(wù)請求的處理結(jié)果發(fā)生異常時，根據(jù)日志記 錄集合中記錄的該業(yè)務(wù)請求的模塊之間的調(diào)用關(guān)系自動生成相應(yīng)的請求調(diào)用關(guān)系拓?fù)鋱D， 以方便異常業(yè)務(wù)請求的快速止損。
[0034] 通常由于各個模塊執(zhí)行的功能不同，其記錄的業(yè)務(wù)請求處理日志包含的數(shù)據(jù)大多 不同。為了提高數(shù)據(jù)處理效率，可將從各個模塊采集的業(yè)務(wù)請求處理日志的日志記錄處理 為統(tǒng)一的結(jié)構(gòu)格式。
[0035] 因此，可選地，上述實(shí)施例中的分布式服務(wù)的監(jiān)控方法還可包括日志結(jié)構(gòu)化步驟： 從日志記錄分別提取業(yè)務(wù)請求標(biāo)識、第一模塊標(biāo)識、第二模塊標(biāo)識以及關(guān)于處理結(jié)果狀態(tài) 的數(shù)據(jù)，生成相應(yīng)的日志記錄索引。此外，日志記錄索引中還可包括第一模塊的IP地址、第 二模塊的IP地址等信息，以獲取關(guān)于模塊更為確切、豐富的信息。
[0036] 進(jìn)一步地，步驟S120的處理可包括：將具有相同的業(yè)務(wù)請求標(biāo)識的日志記錄索引 分別聚合為日志記錄索引集合。
[0037] 相應(yīng)地，步驟S130的處理可包括：對聚合得到的日志記錄索引集合分別進(jìn)行分 析，其中，對處理結(jié)果發(fā)生異常的業(yè)務(wù)請求，根據(jù)業(yè)務(wù)請求在模塊之間的調(diào)用關(guān)系生成異常 模塊被標(biāo)注的業(yè)務(wù)請求的請求調(diào)用關(guān)系拓?fù)鋱D。
[0038] 上述分布式服務(wù)的監(jiān)控方法，對聚合得到的業(yè)務(wù)請求的日志記錄索引集合進(jìn)行分 析，當(dāng)分析出某一業(yè)務(wù)請求的處理結(jié)果發(fā)生異常時，根據(jù)該業(yè)務(wù)請求的模塊之間的調(diào)用關(guān) 系構(gòu)建出請求調(diào)用關(guān)系拓?fù)鋱D。由于日志記錄索引集合的數(shù)據(jù)量比日志記錄集合的數(shù)據(jù)量 小得多，所以分析日志記錄索引集合和從日志記錄索引集合獲知業(yè)務(wù)請求的模塊之間的調(diào) 用關(guān)系的計(jì)算量也要小得多，這提高了生成請求調(diào)用關(guān)系拓?fù)鋱D的效率，更有利于異常業(yè) 務(wù)請求的快速止損。
[0039]