數(shù)據(jù)處理方法及裝置的制造方法
【專利摘要】本發(fā)明實施例公開了一種數(shù)據(jù)處理方法及裝置;方法包括:獲取服務(wù)節(jié)點之間進行訪問的監(jiān)控數(shù)據(jù),所述監(jiān)控數(shù)據(jù)從至少一個維度表征所述服務(wù)節(jié)點之間、以及所述服務(wù)節(jié)點的服務(wù)之間進行訪問的特征信息;基于所述監(jiān)控數(shù)據(jù)的上報時間將所述監(jiān)控數(shù)據(jù)進行分片處理,得到分片監(jiān)控數(shù)據(jù),分片處理時所使用的時間片的大小基于監(jiān)控的實時性要求確定;確定目標維度,所述目標維度包括所述維度至少之一;基于所述目標維度對所述分片監(jiān)控數(shù)據(jù)進行歸并處理,得到所述目標維度的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果。采用本發(fā)明,能夠?qū)A康谋O(jiān)控數(shù)據(jù)進行高效歸并處理,以便能夠基于歸并結(jié)果進行告警分析或確定網(wǎng)絡(luò)故障。
【專利說明】
數(shù)據(jù)處理方法及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及大數(shù)據(jù)技術(shù),尤其涉及一種數(shù)據(jù)處理方法及裝置。
【背景技術(shù)】
[0002] 基于互聯(lián)網(wǎng)的社交網(wǎng)絡(luò)日益壯大,社交應(yīng)用如QQ、微信的用戶群相當龐大,龐大的 用戶群使用社交應(yīng)用對在后臺支撐社交網(wǎng)絡(luò)的服務(wù)器集群的穩(wěn)定性和健壯性提出了更高 的要求。
[0003] 目前,社交應(yīng)用的功能需要服務(wù)節(jié)點(可以由一個或多個服務(wù)器的網(wǎng)絡(luò)資源、運 算資源映射而成,每個服務(wù)節(jié)點支持運行一個或多個服務(wù))交互實現(xiàn),社交應(yīng)用的功能越 來越多、且用戶的基數(shù)龐大,這就需要對海量的服務(wù)節(jié)點的監(jiān)控數(shù)據(jù)進行分析,并且需要及 時分析出故障所在;當基于監(jiān)控數(shù)據(jù)進行分析時,由于監(jiān)控數(shù)據(jù)的數(shù)據(jù)往往是海量,導(dǎo)致難 以及時對監(jiān)控數(shù)據(jù)進行告警分析處理或定位故障。
【發(fā)明內(nèi)容】
[0004] 本發(fā)明實施例提供一種數(shù)據(jù)處理方法及裝置,能夠?qū)A康谋O(jiān)控數(shù)據(jù)進行高效歸 并處理,以便能夠基于歸并結(jié)果進行告警分析或確定網(wǎng)絡(luò)故障。
[0005] 本發(fā)明實施例的技術(shù)方案是這樣實現(xiàn)的:
[0006] 本發(fā)明實施例提供一種數(shù)據(jù)處理方法,所述方法包括:
[0007] 獲取服務(wù)節(jié)點之間進行訪問的監(jiān)控數(shù)據(jù),所述監(jiān)控數(shù)據(jù)從至少一個維度表征所述 服務(wù)節(jié)點之間、以及所述服務(wù)節(jié)點的服務(wù)之間進行訪問的特征信息;
[0008] 基于所述監(jiān)控數(shù)據(jù)的上報時間將所述監(jiān)控數(shù)據(jù)進行分片處理,得到分片監(jiān)控數(shù) 據(jù),分片處理時所使用的時間片的大小基于監(jiān)控的實時性要求確定;
[0009] 確定目標維度,所述目標維度包括所述維度至少之一;
[0010] 基于所述目標維度對所述分片監(jiān)控數(shù)據(jù)進行歸并處理,得到所述目標維度的分片 監(jiān)控數(shù)據(jù)的歸并處理結(jié)果。
[0011] 本發(fā)明實施例還提供一種數(shù)據(jù)處理裝置,所述裝置包括:
[0012] 接收單元,用于獲取服務(wù)節(jié)點之間進行訪問的監(jiān)控數(shù)據(jù),所述監(jiān)控數(shù)據(jù)從至少一 個維度表征所述服務(wù)節(jié)點之間、以及所述服務(wù)節(jié)點的服務(wù)之間進行訪問的特征信息;
[0013] 格式化單元,用于基于所述監(jiān)控數(shù)據(jù)的上報時間將所述監(jiān)控數(shù)據(jù)進行分片處理, 得到分片監(jiān)控數(shù)據(jù),分片處理時所使用的時間片的大小基于監(jiān)控的實時性要求確定;
[0014] 歸并單元,用于確定目標維度,所述目標維度包括所述維度至少之一;
[0015] 所述歸并單元,還用于基于所述目標維度對所述分片監(jiān)控數(shù)據(jù)進行歸并處理,得 到所述目標維度的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果。
[0016] 本發(fā)明實施例中,采集承載社交應(yīng)用的網(wǎng)絡(luò)上報的監(jiān)控數(shù)據(jù)包括服務(wù)節(jié)點維度 (包括主調(diào)服務(wù)節(jié)點維度和被調(diào)服務(wù)節(jié)點維度)、服務(wù)維度(包括主調(diào)服務(wù)維度和被調(diào)服務(wù) 維度)、被調(diào)服務(wù)接口維度;基于上述維度確定不同的目標維度,進而基于不同的目標維度 對分片監(jiān)控數(shù)據(jù)進行歸并處理,由于采用了基于時間片對監(jiān)控處理進行分片處理后進行不 同目標維度的歸并處理,實現(xiàn)了數(shù)據(jù)的實時處理,相較于相關(guān)技術(shù)提升了處理效率;并且, 不同目標維度的歸并處理結(jié)果能夠從不同的角度表征網(wǎng)絡(luò)在不同時間片的狀態(tài)信息,從而 便于基于不同目標維度的數(shù)據(jù)歸并處理結(jié)果進行告警分析,進而實現(xiàn)故障的精確定位。
【附圖說明】
[0017] 圖1是本發(fā)明實施例中部署Storm集群系統(tǒng)承載數(shù)據(jù)處理裝置的示意圖;
[0018] 圖2是本發(fā)明實施例中承載數(shù)據(jù)處理裝置的Storm集群處理數(shù)據(jù)流的示意圖;
[0019] 圖3發(fā)是本發(fā)明實施例中承載數(shù)據(jù)處理裝置的Storm集群的計算拓撲的示意圖;
[0020] 圖4是本發(fā)明實施例中承載社交應(yīng)用的網(wǎng)絡(luò)的拓撲示意圖一;
[0021] 圖5是本發(fā)明實施例中承載社交應(yīng)用的網(wǎng)絡(luò)的拓撲示意圖二;
[0022] 圖6是本發(fā)明實施例中承載社交應(yīng)用的網(wǎng)絡(luò)的拓撲示意圖三;
[0023] 圖7是本發(fā)明實施例中承載社交應(yīng)用的網(wǎng)絡(luò)的拓撲示意圖四;
[0024] 圖8是本發(fā)明實施例中承載社交應(yīng)用的網(wǎng)絡(luò)的拓撲示意圖五;
[0025] 圖9是本發(fā)明實施例中承載社交應(yīng)用的網(wǎng)絡(luò)的拓撲示意圖六;
[0026] 圖10是本發(fā)明實施例中數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖;
[0027] 圖11是本發(fā)明實施例中Storm集群系統(tǒng)承載數(shù)據(jù)處理裝置的拓撲示意圖。
【具體實施方式】
[0028] 以微信應(yīng)用為例,為了能夠?qū)τ脩粲|發(fā)的功能及時響應(yīng),保證用戶體驗,往往需要 部署的大量的服務(wù)節(jié)點實現(xiàn)微信應(yīng)用中的不同功能(如查看朋友圈、添加好友等),社交應(yīng) 用中的可以由至少一個業(yè)務(wù)模塊不僅限于一個,業(yè)務(wù)模塊為多個服務(wù)節(jié)點組成)與其他業(yè) 務(wù)模塊之間進行訪問(也可以稱為模塊調(diào)用)實現(xiàn),相應(yīng)地產(chǎn)生海量針對服務(wù)節(jié)點的監(jiān)控 數(shù)據(jù);發(fā)明人發(fā)現(xiàn),由此導(dǎo)致的問題在于:
[0029] 1)監(jiān)控數(shù)據(jù)本身的信息量少,往往只涵蓋對應(yīng)主調(diào)服務(wù)節(jié)點(可以采用主調(diào)IP表 示)、以及被調(diào)服務(wù)節(jié)點(采用被調(diào)服務(wù)IP標識)通過特定接口提供被調(diào)服務(wù)的特定接口 (采用接口 ID)兩個維度對應(yīng)的信息,例如成功次數(shù)、延時等;當微信的某一功能出現(xiàn)問題 時,無法準確定位故障所在,如圖1所示,基于上述的監(jiān)控數(shù)據(jù)只能確定故障是位于哪個主 調(diào)服務(wù)節(jié)點或被調(diào)服務(wù)節(jié)點的接口,而無法將故障定位到業(yè)務(wù)模塊、主調(diào)服務(wù)節(jié)點、主調(diào)服 務(wù)節(jié)點中的服務(wù),或被調(diào)服務(wù)節(jié)點。
[0030] 2)監(jiān)控數(shù)據(jù)量大,導(dǎo)致難以及時分析,從而進行告警處理或定位故障
[0031] 承載社交應(yīng)用的服務(wù)節(jié)點產(chǎn)生的監(jiān)控數(shù)據(jù)往往是海量,如果逐個分析監(jiān)控數(shù)據(jù), 需要耗費相當?shù)倪\算資源,并且難以保證后續(xù)告警處理或定位故障的實時性。
[0032] 發(fā)明人在實施本發(fā)明的過程中發(fā)現(xiàn),如果能夠?qū)⒎?wù)節(jié)點的監(jiān)控數(shù)據(jù)擴展到相較 于現(xiàn)有技術(shù)更多的維度,也就是從多個維度采集對應(yīng)服務(wù)節(jié)點的監(jiān)控數(shù)據(jù),并基于監(jiān)控數(shù) 據(jù)的上報時間對監(jiān)控數(shù)據(jù)進行分片處理得到分片監(jiān)控數(shù)據(jù),對于分片監(jiān)控數(shù)據(jù)進行目標維 度的歸并,得到目標維度的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果,這種基于時間片(可以單個時 間片或一段時間對應(yīng)的時間片)對應(yīng)分片監(jiān)控數(shù)據(jù)進行歸并的處理方式相較于能夠明顯 提升監(jiān)控數(shù)據(jù)的處理效率并且,監(jiān)控數(shù)據(jù)是基于多個維度采集得到的,能夠?qū)Ψ?wù)節(jié)點的 運行情況進行全面的描述,這就便于基于分片監(jiān)控數(shù)據(jù)的歸并結(jié)果進行告警分析或定位故 障。
[0033] 以下結(jié)合附圖及實施例,對本發(fā)明進行進一步詳細說明。應(yīng)當理解,此處所描述的 具體實施例僅僅用以解釋本發(fā)明,并不用于限定本發(fā)明。
[0034] 實施例一
[0035] 本實施例記載一種數(shù)據(jù)處理方法,可以由數(shù)據(jù)處理裝置來實現(xiàn),這里的數(shù)據(jù)處理 裝置在拓撲上可以采用Storm集群系統(tǒng)架構(gòu)實現(xiàn),數(shù)據(jù)處理裝置對數(shù)據(jù)進行處理的不同功 能單元或步驟可以映射到Storm集群系統(tǒng)中的工作節(jié)點中,由不同的工作節(jié)點完成數(shù)據(jù)處 理;Storm系統(tǒng)的一個示意圖如圖1所示,Storm系統(tǒng)主要是由一個主節(jié)點(Master node) 和工作節(jié)點(Worker node)組成,通過Zookeeper進行協(xié)調(diào);其中,主節(jié)點運行一個后臺程 序Nimbus,用于在Storm系統(tǒng)中的資源分配和任務(wù)調(diào)度,并且監(jiān)控系統(tǒng)狀態(tài);工作節(jié)點(主 節(jié)點和多個工作節(jié)點由服務(wù)器的集群即Storm集群實現(xiàn))運行一個后臺程序Supervisor, 用于接收分配的任務(wù),根據(jù)需要管理(啟動或關(guān)閉Worker進程;Zookeeper,用于存放公有 數(shù)據(jù)(如心跳信息、Storm系統(tǒng)的狀態(tài)和配置信息);Nimbus、Supervisor和Worker都把心 跳信息保存在Zookeeper ;以使Nimbus根據(jù)Zookeeper上的心跳信息和系統(tǒng)狀態(tài),進行資 源分配和任務(wù)調(diào)度。
[0036] 每個節(jié)點都是拓撲(Topology)中一個子集的實現(xiàn),Topology為Storm系統(tǒng)中運 行的一個實時應(yīng)用程序,可以表征作為數(shù)據(jù)源的發(fā)射節(jié)點(Spout)和數(shù)據(jù)處理節(jié)點(Bolt) 間的消息流(Stream,簡稱為流)的傳遞形成的邏輯上的一個拓撲結(jié)構(gòu),如圖2所示,Storm 系統(tǒng)中的數(shù)據(jù)以流的形式傳遞,流的基本單位為元組(Tuple),Storm中的流可以視為由元 組組成的有向無界(在時間上無界)的序列;
[0037] -個Topology的示意圖如圖3所示,Topology可以視為由Bolt和Spout組成 的計算拓撲,Bolt和Spout通過Worker進程中的線程運行,線程也可以稱為任務(wù)(Task); Spout為Storm系統(tǒng)中流的源頭,用于從外部數(shù)據(jù)源(如消息隊列或數(shù)據(jù)庫)獲取流并發(fā)送 至Storm ;Bolt為Storm系統(tǒng)中的計算單元,它可以只傳輸流,也可以根據(jù)自身的消息處理 邏輯處理來自上游(Bolt或Spout)的流,進行過濾,聚合,查詢等操作,并根據(jù)處理邏輯向 下游的Bolt發(fā)送處理后的流或?qū)⑻幚砗蟮玫降慕Y(jié)果入庫存儲。
[0038] Topology中每一個計算組件(Spout和Bolt)都有一個并行執(zhí)行度,在創(chuàng)建 Topology時可以進行指定,Zookeeper會在集群內(nèi)分配對應(yīng)并行度個數(shù)的線程(也即 Task)來同時運行組件;如圖4所示,Topology中使用流(也即消息流)分組(Streaming Grouping)來指定組件之間的流的發(fā)送,即Bolt/上游Spout發(fā)送(也可以稱為發(fā)射)流的 目標下游Bolt、以及目標下游Blot中用于處理流的目標Task;在如圖3的示出的流分組一 個示意圖中,Spout將流發(fā)送至下游的Bolt a和Bolt b中Task處理,Bolt b將處理后的 結(jié)果發(fā)送至Bolt c中的Task。
[0039] 如圖4所示,本實施例記載的數(shù)據(jù)處理方法可以包括以下步驟:
[0040] 步驟101,獲取服務(wù)節(jié)點之間進行訪問的監(jiān)控數(shù)據(jù)。
[0041] 發(fā)明人發(fā)現(xiàn)承載社交應(yīng)用的網(wǎng)絡(luò)拓撲具有金字塔式的結(jié)構(gòu)特點,這樣可以基于該 結(jié)構(gòu)特點將采集監(jiān)控數(shù)據(jù)的維度與網(wǎng)絡(luò)拓撲的結(jié)構(gòu)對應(yīng)起來,例如網(wǎng)絡(luò)拓撲的每一次結(jié)構(gòu) 對應(yīng)一個采集監(jiān)控數(shù)據(jù)的維度;承載社交應(yīng)用的網(wǎng)絡(luò)拓撲自上而下的結(jié)構(gòu)為:業(yè)務(wù)模塊_> 服務(wù)節(jié)點(包括主調(diào)服務(wù)節(jié)點和被調(diào)服務(wù)節(jié)點)-> 服務(wù)(服務(wù)節(jié)點中運行的服務(wù))-> 被調(diào) 服務(wù)接口(被調(diào)服務(wù)響應(yīng)主調(diào)服務(wù)的服務(wù)調(diào)用請求的接口);
[0042] 下面結(jié)合圖5進行說明,在圖5所示的社交應(yīng)用的承載網(wǎng)絡(luò)拓撲結(jié)構(gòu)如圖5所示, 多個服務(wù)節(jié)點承載相同的一個業(yè)務(wù)而在拓撲上構(gòu)成一個業(yè)務(wù)模塊,在業(yè)務(wù)模塊這一層拓撲 中,社交應(yīng)用中的功能(如圖5所示的添加好友)是由業(yè)務(wù)模塊之間的訪問(具體通過調(diào) 用實現(xiàn)),具體為主調(diào)業(yè)務(wù)模塊(可以采用主調(diào)模塊ID標識)訪問被調(diào)業(yè)務(wù)模塊(可以采 用被調(diào)業(yè)務(wù)模塊ID標識)實現(xiàn);業(yè)務(wù)模塊是多個服務(wù)節(jié)點構(gòu)成以支撐實現(xiàn)社交應(yīng)用的一 個功能,那么在服務(wù)節(jié)點這一層拓撲中,業(yè)務(wù)模塊之間的訪問是服務(wù)節(jié)點之間通過服務(wù)調(diào) 用實現(xiàn)的,其中主動發(fā)起服務(wù)調(diào)用請求的服務(wù)節(jié)點稱為主調(diào)服務(wù)節(jié)點(可以采用主調(diào)IP標 識),主調(diào)服務(wù)節(jié)點針對用戶側(cè)觸發(fā)的社交應(yīng)用的一個功能向被調(diào)服務(wù)節(jié)點發(fā)起調(diào)用請求, 被調(diào)服務(wù)節(jié)點(可以采用被調(diào)IP標識)提供的被調(diào)服務(wù)(采用被調(diào)服務(wù)ID標識)通過被 調(diào)服務(wù)的特定接口(采用接口 ID)來響應(yīng)主調(diào)服務(wù)的服務(wù)調(diào)用請求;服務(wù)節(jié)點(包括主調(diào) 服務(wù)節(jié)點和被調(diào)服務(wù)節(jié)點)中運行有多個服務(wù),那么在服務(wù)這一層拓撲結(jié)構(gòu)中,業(yè)務(wù)模塊 之間的訪問是通過服務(wù)之間的調(diào)用實現(xiàn)的,其中主調(diào)服務(wù)節(jié)點運行的發(fā)起調(diào)用請求的服務(wù) 為主調(diào)服務(wù)(采用主調(diào)服務(wù)ID標識)。
[0043] 結(jié)合上述分析,本實施例中基于以下維度來采集監(jiān)控數(shù)據(jù):服務(wù)節(jié)點(包括主調(diào) 服務(wù)節(jié)點和被調(diào)服務(wù)節(jié)點);服務(wù)(服務(wù)節(jié)點中運行的服務(wù));被調(diào)服務(wù)接口(被調(diào)服務(wù)響 應(yīng)主調(diào)服務(wù)的服務(wù)調(diào)用請求的接口);這樣,當社交應(yīng)用的功能出現(xiàn)問題時,能夠基于監(jiān)控 數(shù)據(jù)確定故障出現(xiàn)在網(wǎng)絡(luò)的哪一層,例如是服務(wù)節(jié)點故障導(dǎo)致社交應(yīng)用的功能出現(xiàn)問題, 還是某一個被調(diào)服務(wù)的接口出現(xiàn)問題導(dǎo)致社交應(yīng)用的功能不可用,從而能夠及時排除故 障;再例如可以基于不同維度(如業(yè)務(wù)模塊維度、服務(wù)節(jié)點維度)采集監(jiān)控數(shù)據(jù),包括不同 維度的調(diào)用成功次數(shù)、調(diào)用失敗次數(shù)、調(diào)用延時信息。
[0044] 步驟102,基于監(jiān)控數(shù)據(jù)的上報時間將監(jiān)控數(shù)據(jù)進行分片處理,得到分片監(jiān)控數(shù) 據(jù)。
[0045] 分片處理時所使用的時間片的大小基于監(jiān)控的實時性要求確定,由于監(jiān)控數(shù)據(jù)的 數(shù)量很大,可以采用1分鐘為時間片長度,將一天采集(上報)的監(jiān)控數(shù)據(jù)基于上報時間分 為1440個分片監(jiān)控數(shù)據(jù);當然,這里的時間片長度僅為示例,時間片長度可以基于數(shù)據(jù)處 理裝置的運算能力和數(shù)據(jù)處理的實時性要求確定。
[0046] 結(jié)合在步驟101中的分析,每個分片數(shù)據(jù)可以包括以下維度對應(yīng)的調(diào)用成功次 數(shù)、調(diào)用失敗次數(shù)、調(diào)用延時:
[0047] 服務(wù)節(jié)點維度,如圖6所示,主調(diào)業(yè)務(wù)模塊1調(diào)用被調(diào)業(yè)務(wù)模塊3的處理在服務(wù)節(jié) 點維度,是由主調(diào)服務(wù)節(jié)點1運行的主調(diào)服務(wù)1訪問被調(diào)服務(wù)節(jié)點運行的被調(diào)服務(wù)1以及 被調(diào)服務(wù)2實現(xiàn)的;
[0048] 服務(wù)維度,如圖6所示,主調(diào)業(yè)務(wù)模塊1調(diào)用被調(diào)業(yè)務(wù)模塊3的處理在服務(wù)節(jié)點維 度,是由主調(diào)服務(wù)1被調(diào)服務(wù)1以及被調(diào)服務(wù)2實現(xiàn)的;
[0049] 被調(diào)服務(wù)接口維度,如圖7所示,主調(diào)業(yè)務(wù)模塊1調(diào)用被調(diào)業(yè)務(wù)模塊3的處理在被 調(diào)服務(wù)接口維度,是由主調(diào)服務(wù)1調(diào)用被調(diào)服務(wù)1的接口 1以及被調(diào)服務(wù)2的接口 3實現(xiàn) 的。
[0050] 步驟103,確定目標維度。
[0051] 目標維度可以為業(yè)務(wù)模塊維度、服務(wù)節(jié)點維度、服務(wù)維度、被調(diào)服務(wù)接口維度)的 任意組合,下面結(jié)合部分組合得到的目標維度舉例說明:
[0052] 第一目標維度:主調(diào)業(yè)務(wù)模塊ID (對應(yīng)主調(diào)業(yè)務(wù)模塊維度)、被調(diào)業(yè)務(wù)模塊ID (對 應(yīng)被調(diào)業(yè)務(wù)模塊維度);第一維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息,表征 主調(diào)業(yè)務(wù)模塊和被調(diào)業(yè)務(wù)模塊的訪問是否正常;結(jié)合圖8,當?shù)谝荒繕司S度為主調(diào)業(yè)務(wù)模 塊1、被調(diào)業(yè)務(wù)模塊2時,該第一目標維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息 表征主調(diào)業(yè)務(wù)模塊1、被調(diào)業(yè)務(wù)模塊2之間的調(diào)用情況(如調(diào)用是否正常)。
[0053] 第二目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID (對應(yīng)主調(diào)服務(wù)維 度);第二維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息,能反應(yīng)出主調(diào)業(yè)務(wù)模塊 運行的主調(diào)服務(wù)調(diào)用被調(diào)業(yè)務(wù)模塊(也即調(diào)用被調(diào)業(yè)務(wù)模塊運行的服務(wù))的情況;結(jié)合圖 7,當?shù)诙繕司S度為主調(diào)業(yè)務(wù)模塊1、被調(diào)業(yè)務(wù)模塊2、主調(diào)服務(wù)1時,該第二目標維度的調(diào) 用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息表征主調(diào)業(yè)務(wù)模塊1運行的主調(diào)服務(wù)1調(diào)用被 調(diào)業(yè)務(wù)模塊2 (也即調(diào)用被調(diào)業(yè)務(wù)模塊2運行的被調(diào)服務(wù)1、以及被調(diào)服務(wù)2)的情況。
[0054] 第三目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID ;第三維度的調(diào)用成功次數(shù),調(diào)用失敗次 數(shù)、調(diào)用延時等信息,能反應(yīng)出主調(diào)服務(wù)調(diào)用被調(diào)服務(wù)的情況;結(jié)合圖7,當?shù)谌繕司S度 為主調(diào)服務(wù)1、被調(diào)服務(wù)1時,該第三目標維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等 信息表征主調(diào)服務(wù)1調(diào)用被調(diào)服務(wù)1的情況,類似的,當?shù)谌繕司S度為主調(diào)服務(wù)1、被調(diào) 服務(wù)2時,該第三目標維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息表征主調(diào)服務(wù) 1調(diào)用被調(diào)服務(wù)2的情況。
[0055] 第四目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID(對應(yīng)被調(diào)服務(wù)接口維 度);第四維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息,能反應(yīng)出主調(diào)服務(wù)通過 被調(diào)服務(wù)的特定接口調(diào)用被調(diào)服務(wù)的情況;結(jié)合圖7,當?shù)谒哪繕司S度為主調(diào)服務(wù)1、被調(diào) 服務(wù)1、接口 1時,該第四目標維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息表征主 調(diào)服務(wù)1通過接口 1調(diào)用被調(diào)服務(wù)1的情況;當?shù)谒哪繕司S度為主調(diào)服務(wù)1、被調(diào)服務(wù)1、接 口 2時,該第四目標維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息表征主調(diào)服務(wù)1 通過接口 2調(diào)用被調(diào)服務(wù)1的情況;當?shù)谒哪繕司S度為主調(diào)服務(wù)1、被調(diào)服務(wù)2、接口 3時,該 第四目標維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息表征主調(diào)服務(wù)1通過接口 3 調(diào)用被調(diào)服務(wù)2的情況;當?shù)谒哪繕司S度為主調(diào)服務(wù)1、被調(diào)服務(wù)2、接口 4時,該第四目標 維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息表征主調(diào)服務(wù)1通過接口 4調(diào)用被調(diào) 服務(wù)2的情況。
[0056] 第五目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被 調(diào)服務(wù)接口 ID ;第五維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息,能反應(yīng)出主調(diào) 服務(wù)通過被調(diào)服務(wù)的特定接口調(diào)用被調(diào)服務(wù)的情況;結(jié)合圖7,當?shù)谖迥繕司S度為主調(diào)業(yè) 務(wù)模塊1、主調(diào)服務(wù)1、被調(diào)業(yè)務(wù)模塊3、被調(diào)服務(wù)1、接口 1時,該第五目標維度的調(diào)用成功 次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息表征主調(diào)業(yè)務(wù)模塊1運行的主調(diào)服務(wù)1通過接口 1調(diào) 用被調(diào)業(yè)務(wù)模塊3運行的被調(diào)服務(wù)1的情況;當?shù)谖迥繕司S度為主調(diào)業(yè)務(wù)模塊1、主調(diào)服務(wù) 1、被調(diào)業(yè)務(wù)模塊3、被調(diào)服務(wù)1、接口 2時,該第五目標維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、 調(diào)用延時等信息表征主調(diào)業(yè)務(wù)模塊1運行的主調(diào)服務(wù)1通過接口 2調(diào)用被調(diào)業(yè)務(wù)模塊3運 行的被調(diào)服務(wù)1的情況;
[0057] 當?shù)谖迥繕司S度為主調(diào)業(yè)務(wù)模塊1、主調(diào)服務(wù)1、被調(diào)業(yè)務(wù)模塊3、被調(diào)服務(wù)2、接口 3時,該第五目標維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息表征主調(diào)業(yè)務(wù)模塊 1運行的主調(diào)服務(wù)1通過接口 3調(diào)用被調(diào)業(yè)務(wù)模塊3運行的被調(diào)服務(wù)2的情況;
[0058] 當?shù)谖迥繕司S度為主調(diào)業(yè)務(wù)模塊1、主調(diào)服務(wù)1、被調(diào)業(yè)務(wù)模塊3、被調(diào)服務(wù)2、接口 4時,該第四目標維度的調(diào)用成功次數(shù),調(diào)用失敗次數(shù)、調(diào)用延時等信息表征主調(diào)業(yè)務(wù)模塊 1運行的主調(diào)服務(wù)1通過接口 4調(diào)用被調(diào)業(yè)務(wù)模塊3運行的被調(diào)服務(wù)2的情況。
[0059] 步驟104,基于目標維度對分片監(jiān)控數(shù)據(jù)進行歸并處理,得到目標維度的分片監(jiān)控 數(shù)據(jù)的歸并處理結(jié)果。
[0060] 步驟101獲取服務(wù)節(jié)點之間進行訪問的監(jiān)控數(shù)據(jù)。從服務(wù)節(jié)點維度、服務(wù)維度、被 調(diào)服務(wù)接口維度表征了調(diào)用成功次數(shù)、失敗次數(shù)以及調(diào)用延時信息,相應(yīng)地,在對監(jiān)控數(shù)據(jù) 分片得到的分片監(jiān)控數(shù)據(jù),也從模塊維度、服務(wù)節(jié)點維度、服務(wù)維度、被調(diào)服務(wù)接口維度表 征了調(diào)用成功次數(shù)、失敗次數(shù)以及調(diào)用延時信息;在步驟104中進行歸并處理的目標分片 監(jiān)控數(shù)據(jù),可以為任意時間段上報的監(jiān)控數(shù)據(jù)得到的分片監(jiān)控數(shù)據(jù)(如一天、一周或一月 上報的監(jiān)控數(shù)據(jù)得到的分片監(jiān)控數(shù)據(jù)),從而得到不同時間段的歸并處理結(jié)果;下面結(jié)合 圖9對得到不同目標維度的歸并處理結(jié)果的實施過程進行說明。
[0061] 圖9示出承載社交應(yīng)用的一個功能的拓撲結(jié)構(gòu)圖,該社交應(yīng)用的功能可以社交應(yīng) 用(如微信、QQ)中的任意功能(如微信的朋友圈、QQ的好友空間);在業(yè)務(wù)模塊維度,該功 能由主調(diào)業(yè)務(wù)模塊1訪問被調(diào)業(yè)務(wù)模塊2實現(xiàn);在服務(wù)節(jié)點維度,該功能由主調(diào)服務(wù)節(jié)點1 調(diào)用被調(diào)服務(wù)節(jié)點3實現(xiàn);在服務(wù)維度,該功能由主調(diào)服務(wù)1調(diào)用被調(diào)服務(wù)1、以及被調(diào)服 務(wù)2實現(xiàn),并由主調(diào)服務(wù)2調(diào)用被調(diào)服務(wù)1、以及被調(diào)服務(wù)2實現(xiàn);在被調(diào)服務(wù)接口維度,該 服務(wù)由主調(diào)服務(wù)1通過被調(diào)服務(wù)1的接口 1、接口 2調(diào)用被調(diào)服務(wù)2實現(xiàn),并由主調(diào)服務(wù)1 通過被調(diào)服務(wù)2的接口 3、接口 4調(diào)用被調(diào)服務(wù)2實現(xiàn),該服務(wù)還由主調(diào)服務(wù)2通過被調(diào)服 務(wù)1的接口 1、接口 2調(diào)用被調(diào)服務(wù)2實現(xiàn),并由主調(diào)服務(wù)2通過被調(diào)服務(wù)2的接口 3、接口 4調(diào)用被調(diào)服務(wù)2實現(xiàn)。
[0062] 如前所述,分片監(jiān)控數(shù)據(jù)在業(yè)務(wù)模塊維度、服務(wù)節(jié)點維度、服務(wù)維度、被調(diào)服務(wù)接 口維度表征了調(diào)用成功次數(shù)、失敗次數(shù)以及調(diào)用延時信息;結(jié)合圖9,在主調(diào)服務(wù)節(jié)點1、主 調(diào)服務(wù)1、被調(diào)服務(wù)節(jié)點3、被調(diào)服務(wù)1、接口 1維度對應(yīng)的分片監(jiān)控數(shù)據(jù)的一個示例如表1 所示(為表示方便,使用XXX代表具體數(shù)值,其中每個表項的XXX可以代表不同的數(shù)值,成 功表示調(diào)用成功次數(shù),失敗表示調(diào)用失敗次數(shù),延時表示調(diào)用延時):
[0064]表 1
[0065] 結(jié)合圖9,在主調(diào)服務(wù)節(jié)點1、主調(diào)服務(wù)1、被調(diào)服務(wù)節(jié)點3、被調(diào)服務(wù)1、接口 2維度 對應(yīng)的分片監(jiān)控數(shù)據(jù)的一個示例如下表2所示(為表示方便,使用XXX代表具體數(shù)值,其中 每個表項的XXX可以代表不同的數(shù)值,成功表示調(diào)用成功次數(shù),失敗表示調(diào)用失敗次數(shù),延 時表示調(diào)用延時):
[0067]表 2
[0068] 結(jié)合圖9,在主調(diào)服務(wù)節(jié)點1、主調(diào)服務(wù)1、被調(diào)服務(wù)節(jié)點3、被調(diào)服務(wù)2、接口 3維度 對應(yīng)的分片監(jiān)控數(shù)據(jù)的一個示例如下表3所示(為表示方便,使用XXX代表具體數(shù)值,其中 每個表項的XXX可以代表不同的數(shù)值,成功表示調(diào)用成功次數(shù),失敗表示調(diào)用失敗次數(shù),延 時表示調(diào)用延時):
[0070] 表 3
[0071] 結(jié)合圖9,在主調(diào)服務(wù)節(jié)點1、主調(diào)服務(wù)1、被調(diào)服務(wù)節(jié)點3、被調(diào)服務(wù)2、接口 4維度 對應(yīng)的分片監(jiān)控數(shù)據(jù)的一個示例如下表4所示(為表示方便,使用XXX代表具體數(shù)值,其中 每個表項的XXX可以代表不同的數(shù)值,成功表示調(diào)用成功次數(shù),失敗表示調(diào)用失敗次數(shù),延 時表示調(diào)用延時):
[0073] 表 4
[0074] 結(jié)合圖9,在主調(diào)服務(wù)節(jié)點1、主調(diào)服務(wù)2、被調(diào)服務(wù)節(jié)點3、被調(diào)服務(wù)1、接口 1維度 對應(yīng)的分片監(jiān)控數(shù)據(jù)的一個示例如下表5所示(為表示方便,使用XXX代表具體數(shù)值,其中 每個表項的XXX可以代表不同的數(shù)值,成功表示調(diào)用成功次數(shù),失敗表示調(diào)用失敗次數(shù),延 時表示調(diào)用延時):
[0076] 表 5
[0077] 結(jié)合圖9,在主調(diào)服務(wù)節(jié)點1、主調(diào)服務(wù)2、被調(diào)服務(wù)節(jié)點3、被調(diào)服務(wù)1、接口 2維度 對應(yīng)的分片監(jiān)控數(shù)據(jù)的一個示例如下表6所示(為表示方便,使用XXX代表具體數(shù)值,其中 每個表項的XXX可以代表不同的數(shù)值,成功表示調(diào)用成功次數(shù),失敗表示調(diào)用失敗次數(shù),延 時表示調(diào)用延時):
[0079]表 6
[0080] 結(jié)合圖9,在主調(diào)服務(wù)節(jié)點1、主調(diào)服務(wù)2、被調(diào)服務(wù)節(jié)點3、被調(diào)服務(wù)2、接口 3維度 對應(yīng)的分片監(jiān)控數(shù)據(jù)的一個示例如下表6所示(為表示方便,使用XXX代表具體數(shù)值,其中 每個表項的XXX可以代表不同的數(shù)值,成功表示調(diào)用成功次數(shù),失敗表示調(diào)用失敗次數(shù),延 時表示調(diào)用延時):
[0082] 表 7
[0083] 結(jié)合圖9,在主調(diào)服務(wù)節(jié)點1、主調(diào)服務(wù)2、被調(diào)服務(wù)節(jié)點3、被調(diào)服務(wù)2、接口 4維度 對應(yīng)的分片監(jiān)控數(shù)據(jù)的一個示例如下表8所示(為表示方便,使用XXX代表具體數(shù)值,其中 每個表項的XXX可以代表不同的數(shù)值,成功表示調(diào)用成功次數(shù),失敗表示調(diào)用失敗次數(shù),延 時表示調(diào)用延時):
[0084]
[0085] 表 8
[0086] 下面對利用上述的分片監(jiān)控數(shù)據(jù)對獲得不同維度的歸并處理結(jié)果進行說明:
[0087] 1)第一目標維度歸并處理結(jié)果
[0088] 第一目標維度包括主調(diào)業(yè)務(wù)模塊ID和被調(diào)業(yè)務(wù)模塊ID ;
[0089] 由于第一目標維度包括主調(diào)業(yè)務(wù)模塊ID,且監(jiān)控數(shù)據(jù)表征特征信息(包括調(diào)用成 功次數(shù)、調(diào)用失敗次數(shù)、調(diào)用延時)的維度至少包括主調(diào)服務(wù)節(jié)點標識ID,且如圖9所示,主 調(diào)業(yè)務(wù)模塊包括至少一個主調(diào)服務(wù)節(jié)點,因此可以基于主調(diào)服務(wù)節(jié)點ID和主調(diào)業(yè)務(wù)模塊 ID的對應(yīng)關(guān)系,將上述各表所示的分片監(jiān)控數(shù)據(jù)中的主調(diào)服務(wù)節(jié)點維度轉(zhuǎn)換為主調(diào)業(yè)務(wù)模 塊ID維度;
[0090] 同時由于第一目標維度包括被調(diào)業(yè)務(wù)模塊ID,分片監(jiān)控數(shù)據(jù)表征特征信息(包括 調(diào)用成功次數(shù)、調(diào)用失敗次數(shù)、調(diào)用延時)的維度至少包括被調(diào)服務(wù)節(jié)點ID,且如圖9所示, 被調(diào)業(yè)務(wù)模塊包括至少一個被調(diào)服務(wù)節(jié)點,基于被調(diào)服務(wù)節(jié)點ID和被調(diào)業(yè)務(wù)模塊ID的對 應(yīng)關(guān)系,將所述分片監(jiān)控數(shù)據(jù)中的被調(diào)服務(wù)節(jié)點維度轉(zhuǎn)換為被調(diào)業(yè)務(wù)模塊ID維度;
[0091] 在圖9中,由于主調(diào)服務(wù)節(jié)點1與主調(diào)業(yè)務(wù)模塊1存在對應(yīng)關(guān)系,被調(diào)服務(wù)節(jié)點3 與被調(diào)業(yè)務(wù)模塊2存在對應(yīng)關(guān)系,對表1所示的分片監(jiān)控數(shù)據(jù)進行維度轉(zhuǎn)換后的處理結(jié)果 如下表9所示: L0096」
L0115J 衣丄?
[0116] 結(jié)合表9至表16所所示出的分片監(jiān)控數(shù)據(jù),將分片監(jiān)控數(shù)據(jù)中對應(yīng)特定主調(diào)業(yè)務(wù) 模塊ID和被調(diào)業(yè)務(wù)模塊ID (以主調(diào)業(yè)務(wù)模塊1和被調(diào)業(yè)務(wù)模塊2為例)對應(yīng)的特征信息 (包括調(diào)用成功次數(shù)、調(diào)用失敗次數(shù)、調(diào)用延時)進行收斂,直至收斂至主調(diào)業(yè)務(wù)模塊ID維 度和/或被調(diào)業(yè)務(wù)模塊ID維度(以主調(diào)業(yè)務(wù)模塊1和被調(diào)業(yè)務(wù)模塊2為例時,第一目標維 度對應(yīng)收斂至主調(diào)業(yè)務(wù)模塊1維度和被調(diào)業(yè)務(wù)模塊2維度);例如表9至表16示出的分片 監(jiān)控數(shù)據(jù)的調(diào)用成功次數(shù)、以及調(diào)用失敗次數(shù)可以對應(yīng)累加,而調(diào)用延時可以取累加值或 平均值;得到表征主調(diào)業(yè)務(wù)模塊1與被調(diào)業(yè)務(wù)模塊2 (對應(yīng)第一目標維度)之間的特征信息 的歸并處理結(jié)果的一個示例如表17所示: L0118J 衣 IY
[0119] 為表示方便,使用yyy代表具體數(shù)值,其中每個表項的yyy可以代表不同的數(shù)值, 成功表示調(diào)用成功次數(shù),失敗表示調(diào)用失敗次數(shù),延時表示調(diào)用延時):
[0120] 表17中的成功率為主調(diào)業(yè)務(wù)模塊1調(diào)用被調(diào)業(yè)務(wù)模塊2的成功率,延時可以為每 次調(diào)用的平均延時(也可以采用延時的加和);延時抖動表示每次調(diào)用延時相對平均調(diào)用 延時的抖動。
[0121 ] 2)第二目標維度歸并處理結(jié)果
[0122] 由于第二目標維度包括主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID ;與得到 第一目標維度的歸并處理結(jié)果類似,首先將表1至表8所示的分片監(jiān)控數(shù)據(jù)轉(zhuǎn)換至主調(diào)業(yè) 務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID維度,得到表9至表16所示的分片監(jiān)控數(shù)據(jù);
[0123] 結(jié)合表9至表16所所示出的分片監(jiān)控數(shù)據(jù),將特定主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模 塊ID、主調(diào)服務(wù)ID對應(yīng)的特征信息(包括調(diào)用成功次數(shù)、調(diào)用失敗次數(shù)、調(diào)用延時)進行 收斂,直至收斂至主調(diào)業(yè)務(wù)模塊ID維度、被調(diào)業(yè)務(wù)模塊ID維度以及主調(diào)服務(wù)ID維度;例如 表9至表16示出的分片監(jiān)控數(shù)據(jù)的調(diào)用成功次數(shù)、以及調(diào)用失敗次數(shù)可以對應(yīng)累加,而調(diào) 用延時可以取累加值或平均值;得到表征主調(diào)業(yè)務(wù)模塊1、被調(diào)業(yè)務(wù)模塊2、主調(diào)服務(wù)1 (對 應(yīng)第二目標維度)之間的調(diào)用的特征信息的歸并處理結(jié)果的一個示例如表18所示: L0125J 表 18
[0126] 3)第三目標維度歸并處理結(jié)果
[0127] 第三目標維度包括主調(diào)服務(wù)ID、被調(diào)服務(wù)ID,可以直接將表1至表8所示的分片 監(jiān)控數(shù)據(jù)進行收斂,直至收斂至主調(diào)服務(wù)ID、被調(diào)服務(wù)ID維度;
[0128] 結(jié)合表1至表8所所示出的分片監(jiān)控數(shù)據(jù),將相同的主調(diào)服務(wù)ID、被調(diào)服務(wù)ID (如 主調(diào)服務(wù)1、被調(diào)服務(wù)2 ;或主調(diào)服務(wù)2、被調(diào)服務(wù)2)對應(yīng)的特征信息(包括調(diào)用成功次數(shù)、 調(diào)用失敗次數(shù)、調(diào)用延時)進行收斂,直至收斂至主調(diào)服務(wù)ID維度以及被調(diào)服務(wù)ID維度; 例如表1至表8示出的分片監(jiān)控數(shù)據(jù)的調(diào)用成功次數(shù)、以及調(diào)用失敗次數(shù)可以對應(yīng)累加,而 調(diào)用延時可以取累加值或平均值;得到表征主調(diào)服務(wù)1、被調(diào)服務(wù)1 (對應(yīng)第三目標維度) 之間的調(diào)用的特征信息的歸并處理結(jié)果的一個示例如表19所示:
[0130] 表 19
[0131] 4)第四目標維度歸并處理結(jié)果
[0132] 由于第四目標維度包括主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID ;可以直接將 表1至表8所示的分片監(jiān)控數(shù)據(jù)進行收斂,直至收斂至主調(diào)服務(wù)ID、被調(diào)服務(wù)ID維度;
[0133] 結(jié)合表1至表8所所示出的分片監(jiān)控數(shù)據(jù)中具有相同的主調(diào)服務(wù)ID、被調(diào)服務(wù) ID、被調(diào)服務(wù)接口 ID(如主調(diào)服務(wù)1、被調(diào)服務(wù)2、被調(diào)服務(wù)接口 1)對應(yīng)的特征信息(包括 調(diào)用成功次數(shù)、調(diào)用失敗次數(shù)、調(diào)用延時)進行收斂,直至收斂至主調(diào)服務(wù)ID維度、被調(diào)服 務(wù)ID維度、被調(diào)服務(wù)接口 ID維度;例如表1至表8示出的分片監(jiān)控數(shù)據(jù)中主調(diào)服務(wù)1、被 調(diào)服務(wù)1、被調(diào)服務(wù)接口 1對應(yīng)的特征信息如調(diào)用成功次數(shù)、以及調(diào)用失敗次數(shù)可以對應(yīng)累 加,而調(diào)用延時可以取累加值或平均值;得到表征主調(diào)服務(wù)1通過被調(diào)服務(wù)接口 1調(diào)用被調(diào) 服務(wù)2 (對應(yīng)第四目標維度)之間的調(diào)用的特征信息的歸并處理結(jié)果的一個示例如表20所 示:
[0136] 表 20
[0137] 5)第五目標維度歸并處理結(jié)果
[0138] 由于第五目標維度包括主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào)服 務(wù)ID、被調(diào)服務(wù)接口 ID ;首先將表1至表8所示的分片監(jiān)控數(shù)據(jù)轉(zhuǎn)換至主調(diào)業(yè)務(wù)模塊ID、 被調(diào)業(yè)務(wù)模塊ID維度,得到表9至表16所示的分片監(jiān)控數(shù)據(jù);基于表9至表16所示的分 片監(jiān)控數(shù)據(jù)基于相同的主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào) 服務(wù)接口 ID進行收斂,直至收斂至主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào)服 務(wù)ID、被調(diào)服務(wù)接口 ID維度;
[0139] 結(jié)合表9至表16所所示出的分片監(jiān)控數(shù)據(jù),將相同的主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù) 模塊ID、主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID對應(yīng)的特征信息(包括調(diào)用成功次數(shù)、 調(diào)用失敗次數(shù)、調(diào)用延時)進行收斂,直至收斂至主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào) 服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID維度;例如基于相同的主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù) 模塊ID、主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID將表9至表16示出的主調(diào)服務(wù)1以及 被調(diào)服務(wù)1的分片監(jiān)控數(shù)據(jù)的調(diào)用成功次數(shù)、以及調(diào)用失敗次數(shù)可以對應(yīng)累加,而調(diào)用延 時可以取累加值或平均值;得到表征主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào) 服務(wù)ID、被調(diào)服務(wù)接口 ID(對應(yīng)第五目標維度)之間的調(diào)用的特征信息的歸并處理結(jié)果的 一個示例如表21所示:
[0140]
[0141] 表 21
[0142] 本實施例中,采集承載社交應(yīng)用的網(wǎng)絡(luò)上報的監(jiān)控數(shù)據(jù)包括服務(wù)節(jié)點維度(包 括主調(diào)服務(wù)節(jié)點維度和被調(diào)服務(wù)節(jié)點維度)、服務(wù)維度(包括主調(diào)服務(wù)維度和被調(diào)服務(wù)維 度)、被調(diào)服務(wù)接口維度;基于上述維度確定不同的目標維度,進而基于不同的目標維度對 分片監(jiān)控數(shù)據(jù)進行歸并處理,由于采用了基于時間片對監(jiān)控處理進行分片處理后進行不同 目標維度的歸并處理,實現(xiàn)了數(shù)據(jù)的實時處理,相較于相關(guān)技術(shù)提升了處理效率;并且,不 同目標維度的歸并處理結(jié)果能夠從不同的角度表征網(wǎng)絡(luò)在不同時間片的狀態(tài)信息,從而便 于基于不同目標維度的數(shù)據(jù)歸并處理結(jié)果進行告警分析,進而實現(xiàn)故障的精確定位。
[0143] 實施例二
[0144] 本實施例基于實施例一,實際應(yīng)用中,當?shù)玫椒制O(jiān)控數(shù)據(jù)的歸并處理結(jié)果時,可 以對基于不同目標維度(包括實施例一中所述的第一目標維度至第二目標維度)對應(yīng)的告 警策略對所得到的歸并處理結(jié)果進行告警分析;
[0145] 不同的目標維度對應(yīng)有相應(yīng)的告警策略,下面結(jié)合不同的目標維度進行說明:
[0146] 1)第一目標維度
[0147] 第一告警策略用于設(shè)定主調(diào)業(yè)務(wù)模塊與被調(diào)業(yè)務(wù)模塊的成功率(與成功次數(shù)、失 敗次數(shù)對應(yīng))、延時對應(yīng)的閾值(最大值)、延時抖動;在實施例中,可以基于特定時間段 (如一天、一周或一月)對應(yīng)的監(jiān)控數(shù)據(jù)進行分片得到分片數(shù)據(jù),并基于分片監(jiān)控數(shù)據(jù)進行 歸并處理得到第一目標維度的歸并處理結(jié)果,包括主調(diào)業(yè)務(wù)模塊調(diào)用被調(diào)業(yè)務(wù)模塊的成功 率、延時、延時抖動等信息,當歸并處理結(jié)果滿足第一告警策略時,表征監(jiān)控數(shù)據(jù)滿足告警 策略,從而發(fā)出告警;
[0148] 以圖9為例,結(jié)合表17基于分片監(jiān)控數(shù)據(jù)進行歸并處理的歸并處理結(jié)果也即主調(diào) 業(yè)務(wù)模塊1與被調(diào)業(yè)務(wù)模塊2之間的特征信息的歸并處理結(jié)果,包括主調(diào)業(yè)務(wù)模塊1調(diào)用 被調(diào)業(yè)務(wù)模塊2的成功率、延時、延時抖動,當主調(diào)業(yè)務(wù)模塊1調(diào)用被調(diào)業(yè)務(wù)模塊2的成功 率、延時、延時抖動超均出第一告警策略中約定的對應(yīng)的閾值時,表明主調(diào)業(yè)務(wù)模塊1與被 調(diào)業(yè)務(wù)模塊2之間的調(diào)用出現(xiàn)問題,可以發(fā)出告警。
[0149] 2)第二目標維度
[0150] 第二告警策略用于設(shè)定主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID維度的成 功率(與成功次數(shù)、失敗次數(shù)對應(yīng))、延時對應(yīng)的閾值(最大值)、延時抖動;在實施例中,可 以基于特定時間段(如一天、一周或一月)對應(yīng)的監(jiān)控數(shù)據(jù)進行分片得到分片數(shù)據(jù),并基于 分片監(jiān)控數(shù)據(jù)進行歸并處理得到第二目標維度的歸并處理結(jié)果,包括主調(diào)業(yè)務(wù)模塊中的主 調(diào)服務(wù)調(diào)用被調(diào)業(yè)務(wù)模塊的成功率、延時、延時抖動等信息,當歸并處理結(jié)果滿足第二告警 策略時,表征監(jiān)控數(shù)據(jù)滿足告警策略,從而發(fā)出告警;
[0151] 以圖9為例,結(jié)合表18基于分片監(jiān)控數(shù)據(jù)進行歸并處理的歸并處理結(jié)果也即主調(diào) 業(yè)務(wù)模塊1中的主調(diào)服務(wù)1與被調(diào)業(yè)務(wù)模塊2之間的特征信息的歸并處理結(jié)果,包括主調(diào) 業(yè)務(wù)模塊1調(diào)用被調(diào)業(yè)務(wù)模塊2的成功率、延時、延時抖動,當主調(diào)業(yè)務(wù)模塊1中運行的主 調(diào)服務(wù)1調(diào)用被調(diào)業(yè)務(wù)模塊2的成功率、延時、延時抖動超均出第二告警策略中設(shè)定的對應(yīng) 的閾值時,表明主調(diào)業(yè)務(wù)模塊1中的主調(diào)服務(wù)1與被調(diào)業(yè)務(wù)模塊2之間的調(diào)用出現(xiàn)問題,可 以發(fā)出告警。
[0152] 3)第三目標維度
[0153] 第三告警策略用于設(shè)定主調(diào)服務(wù)ID、被調(diào)服務(wù)ID維度的成功率(與成功次數(shù)、 失敗次數(shù)對應(yīng))、延時對應(yīng)的閾值(最大值)、延時抖動;在實施例中,可以基于特定時間段 (如一天、一周或一月)對應(yīng)的監(jiān)控數(shù)據(jù)進行分片得到分片數(shù)據(jù),并基于分片監(jiān)控數(shù)據(jù)進行 歸并處理得到第三目標維度的歸并處理結(jié)果,包括主調(diào)服務(wù)調(diào)用被調(diào)服務(wù)的成功率、延時、 延時抖動等信息,當歸并處理結(jié)果滿足第三告警策略時,表征監(jiān)控數(shù)據(jù)滿足告警策略,從而 發(fā)出告警;
[0154] 以圖9為例,結(jié)合表19基于分片監(jiān)控數(shù)據(jù)進行歸并處理的歸并處理結(jié)果也即主調(diào) 服務(wù)1與被調(diào)服務(wù)2之間的特征信息的歸并處理結(jié)果,包括主調(diào)服務(wù)1調(diào)用被調(diào)服務(wù)2的 成功率、延時、延時抖動,當主調(diào)服務(wù)1調(diào)用被調(diào)服務(wù)2的成功率、延時、延時抖動超均出第 三告警策略中設(shè)定的對應(yīng)的閾值時,表明主調(diào)服務(wù)1與被調(diào)服務(wù)2之間的調(diào)用出現(xiàn)問題,可 以發(fā)出告警。
[0155] 4)第四目標維度
[0156] 第四告警策略用于設(shè)定主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID維度的成功率 (與成功次數(shù)、失敗次數(shù)對應(yīng))、延時對應(yīng)的閾值(最大值)、延時抖動;在實施例中,可以基 于特定時間段(如一天、一周或一月)對應(yīng)的監(jiān)控數(shù)據(jù)進行分片得到分片數(shù)據(jù),并基于分片 監(jiān)控數(shù)據(jù)進行歸并處理得到第四目標維度的歸并處理結(jié)果,包括主調(diào)服務(wù)通過特定被調(diào)服 務(wù)接口(以被調(diào)服務(wù)接口 ID標識)調(diào)用被調(diào)服務(wù)的成功率、延時、延時抖動等信息,當歸并 處理結(jié)果滿足第四告警策略時,表征監(jiān)控數(shù)據(jù)滿足告警策略,從而發(fā)出告警;
[0157] 以圖9為例,結(jié)合表20基于分片監(jiān)控數(shù)據(jù)進行歸并處理的歸并處理結(jié)果也即主調(diào) 業(yè)務(wù)模塊1、被調(diào)業(yè)務(wù)模塊2、被調(diào)服務(wù)接口 1維度的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果,包括主 調(diào)服務(wù)1通過被調(diào)服務(wù)接口 1調(diào)用被調(diào)服務(wù)2的成功率、延時、延時抖動,當主調(diào)服務(wù)1通 過被調(diào)服務(wù)接口 1調(diào)用被調(diào)服務(wù)2的成功率、延時、延時抖動超均出第四告警策略中設(shè)定的 對應(yīng)的閾值時,表明主調(diào)業(yè)務(wù)1通過被調(diào)服務(wù)接口 1調(diào)用被調(diào)服務(wù)2出現(xiàn)問題,可以發(fā)出告 警。
[0158] 5)第五目標維度
[0159] 第四告警策略用于設(shè)定主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào)服 務(wù)ID、被調(diào)服務(wù)接口 ID的成功率(與成功次數(shù)、失敗次數(shù)對應(yīng))、延時對應(yīng)的閾值(最大 值)、延時抖動;在實施例中,可以基于特定時間段(如一天、一周或一月)對應(yīng)的監(jiān)控數(shù)據(jù) 進行分片得到分片數(shù)據(jù),并基于分片監(jiān)控數(shù)據(jù)進行歸并處理得到第五目標維度的歸并處理 結(jié)果,包括主調(diào)業(yè)務(wù)模塊中的主調(diào)服務(wù)通過特定被調(diào)服務(wù)接口(以被調(diào)服務(wù)接口 ID標識) 調(diào)用特定被調(diào)業(yè)務(wù)模塊中的特定被調(diào)服務(wù)的成功率、延時、延時抖動等信息,當歸并處理結(jié) 果滿足第五告警策略時,表征監(jiān)控數(shù)據(jù)滿足告警策略,從而發(fā)出告警;
[0160] 以圖9為例,結(jié)合表21基于分片監(jiān)控數(shù)據(jù)進行歸并處理的歸并處理結(jié)果也即主調(diào) 業(yè)務(wù)模塊1、主調(diào)服務(wù)1、被調(diào)業(yè)務(wù)模塊2、被調(diào)服務(wù)1、被調(diào)服務(wù)接口 1維度的分片監(jiān)控數(shù)據(jù) 的歸并處理結(jié)果,包括主調(diào)業(yè)務(wù)模塊1中的主調(diào)服務(wù)1通過被調(diào)服務(wù)接口 1調(diào)用被調(diào)業(yè)務(wù) 模塊1中的被調(diào)服務(wù)1的成功率、延時、延時抖動,當主調(diào)業(yè)務(wù)模塊1中的主調(diào)服務(wù)1通過 被調(diào)服務(wù)接口1調(diào)用被調(diào)業(yè)務(wù)模塊1中的被調(diào)服務(wù)1的成功率、延時、延時抖動超均出第五 告警策略中設(shè)定的對應(yīng)的閾值時,表明主調(diào)業(yè)務(wù)模塊1中的主調(diào)服務(wù)1通過被調(diào)服務(wù)接口 1調(diào)用被調(diào)業(yè)務(wù)模塊1中的被調(diào)服務(wù)1出現(xiàn)問題,可以發(fā)出告警。
[0161] 本實施例中基于不同目標維度的告警策略對分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果進行 告警分析,能夠使運維人員準確確定承載社交應(yīng)用的網(wǎng)絡(luò)中的哪一層拓撲結(jié)構(gòu)發(fā)生問題, 例如是業(yè)務(wù)模塊拓撲層面發(fā)生問題,還是某一個服務(wù)的接口出現(xiàn)問題,便于及時排除故障, 確保承載社交應(yīng)用的網(wǎng)絡(luò)的穩(wěn)定性。
[0162] 實施例三
[0163] 本實施例基于實施例二,對承載社交應(yīng)用的功能的網(wǎng)絡(luò)中的故障定位進行說明。
[0164] 以圖9為例,在第二目標維度,當主調(diào)業(yè)務(wù)模塊1中的主調(diào)服務(wù)1與被調(diào)業(yè)務(wù)模塊 2之間的特征信息的歸并處理結(jié)果,包括主調(diào)業(yè)務(wù)模塊1調(diào)用被調(diào)業(yè)務(wù)模塊2的成功率、延 時、延時抖動,均超出第二告警策略中設(shè)定的對應(yīng)的閾值時,可能會導(dǎo)致在第一目標維度, 主調(diào)業(yè)務(wù)模塊1與被調(diào)業(yè)務(wù)模塊2之間的特征信息的歸并處理結(jié)果,包括主調(diào)業(yè)務(wù)模塊1 調(diào)用被調(diào)業(yè)務(wù)模塊2的成功率、延時、延時抖動,當主調(diào)業(yè)務(wù)模塊1調(diào)用被調(diào)業(yè)務(wù)模塊2的 成功率、延時、延時抖動超均出第一告警策略中約定的對應(yīng)的閾值;也就是說,在實施例二 中第一目標維度的告警具體是由第二目標維度的調(diào)用出現(xiàn)問題(故障)導(dǎo)致,因此,實際應(yīng) 用中可以只針對第二目標維度進行告警,以指示故障出現(xiàn)在第二目標維度。
[0165] 例如,當基于第N目標維度確定特定時間(如一天、一周或一月)的對應(yīng)的分片監(jiān) 控數(shù)據(jù)的歸并處理結(jié)果超出第N目標維度對應(yīng)的告警策略設(shè)定的告警閾值時,基于預(yù)設(shè)的 目標維度的優(yōu)先級排序,按照N+l、N+2 · · · N+m維度的順序開始定位故障所在的維度(也 就是說,m依次從首項為1、公差為1的正整數(shù)等差序列中取值),直至第N+m目標維度對應(yīng) 的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果未超出所述第N+m目標維度對應(yīng)的告警閾值,第N+m+1目 標維度對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果超出第N+m+1目標維度對應(yīng)的告警閾值,那么 N+m+1維度為發(fā)生故障的最底層維度;其中,N取值為正整數(shù),m依次從首項為1、公差為1的 正整數(shù)等差序列中取值。
[0166] 目標維度的優(yōu)先級排序采用前述的第一目標維度至第五目標維度的排序,發(fā)明人 在實施本發(fā)明的過程中發(fā)現(xiàn),采用下述的目標維度優(yōu)先級排序可以快速定位故障:
[0167] 第一目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID ;
[0168] 第二目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID ;
[0169] 第三目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID ;
[0170] 第四目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID ;
[0171] 第五目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被 調(diào)服務(wù)接口 ID。
[0172] 結(jié)合圖9,當利用第一告警策略分析第一目標維度的歸并處理結(jié)果確定第一目標 維度的歸并處理結(jié)果滿足告警條件(也即主調(diào)業(yè)務(wù)模塊1和被調(diào)業(yè)務(wù)模塊2之間的調(diào)用出 現(xiàn)問題)時,繼續(xù)利用第二目標告警策略分析第二目標維度的歸并處理結(jié)果,以確定是主 調(diào)服務(wù)節(jié)點中的哪個主調(diào)服務(wù)調(diào)用與被調(diào)業(yè)務(wù)模塊之間的調(diào)用出現(xiàn)問題(圖9中示出了主 調(diào)業(yè)務(wù)模塊1中的主調(diào)服務(wù)1和主調(diào)服務(wù)2調(diào)用被調(diào)業(yè)務(wù)模塊2);
[0173] 這里,設(shè)基于第二目標維度的歸并處理結(jié)果,確定主調(diào)服務(wù)節(jié)點1中的主調(diào)和被 調(diào)服務(wù)節(jié)點3之間的調(diào)用告警條件(也即主調(diào)業(yè)務(wù)模塊1中的主調(diào)服務(wù)1與被調(diào)業(yè)務(wù)模塊 2之間的特征信息的歸并處理結(jié)果,包括主調(diào)業(yè)務(wù)模塊1調(diào)用被調(diào)業(yè)務(wù)模塊2的成功率、延 時、延時抖動,均超出第二告警策略中設(shè)定的對應(yīng)的閾值);
[0174] 那么,在第三目標維度,基于第三告警策略以及第三目標維度的歸并處理結(jié)果 (包括主調(diào)服務(wù)1與被調(diào)服務(wù)1、2的調(diào)用的特征信息的歸并處理結(jié)果,以及主調(diào)服務(wù)2與被 調(diào)服務(wù)1、2之間的特征信息歸并處理結(jié)果),分析主調(diào)服務(wù)節(jié)點1的哪個主調(diào)服務(wù)1和被 調(diào)服務(wù)節(jié)點3的哪個被調(diào)服務(wù)之間的調(diào)用出現(xiàn)問題,例如當主調(diào)服務(wù)1與被調(diào)服務(wù)1、2之 間的調(diào)用均出現(xiàn)問題(調(diào)用的特征信息的歸并處理結(jié)果滿足第三告警策略設(shè)定的告警條 件),則確定主調(diào)服務(wù)1自身出現(xiàn)問題;
[0175] 如果主調(diào)服務(wù)1與被調(diào)服務(wù)1之間的調(diào)用未出現(xiàn)問題,而主調(diào)服務(wù)1與被調(diào)服務(wù)2 之間的調(diào)用出現(xiàn)問題,則需要在第四目標維度利用主調(diào)服務(wù)1通過接口 3、4調(diào)用被調(diào)服務(wù) 2的特征信息的歸并處理結(jié)果(也即第四目標維度的歸并處理結(jié)果),判斷被調(diào)服務(wù)2的哪 個接口出現(xiàn)問題;當主調(diào)服務(wù)1通過接口 3調(diào)用被調(diào)服務(wù)2的特征信息的歸并處理結(jié)果滿 足第四告警策略設(shè)定的告警條件時,表明被調(diào)服務(wù)2的接口 3出現(xiàn)故障;
[0176] 由于被調(diào)服務(wù)2可能運行于多個被調(diào)業(yè)務(wù)模塊中,因此當被調(diào)服務(wù)2的接口 3出 現(xiàn)故障時,還可以基于第五目標維度的歸并處理結(jié)果,判斷僅僅是被調(diào)業(yè)務(wù)模塊2的被調(diào) 服務(wù)2的接口 3出現(xiàn)故障,還是所有被調(diào)業(yè)務(wù)模塊的被調(diào)服務(wù)2的接口 3出現(xiàn)故障,從而實 現(xiàn)故障準確定位。
[0177] 實施例四
[0178] 本實施例記載一種計算機可讀介質(zhì),可以為ROM(例如,只讀存儲器、FLASH存儲 器、轉(zhuǎn)移裝置等)、磁存儲介質(zhì)(例如,磁帶、磁盤驅(qū)動器等)、光學(xué)存儲介質(zhì)(例如,CD-ROM、 DVD-ROM、紙卡、紙帶等)以及其他熟知類型的程序存儲器;所述計算機可讀介質(zhì)中存儲有 計算機可執(zhí)行指令,當執(zhí)行所述指令時,引起至少一個處理器執(zhí)行包括以下的操作:
[0179] 獲取服務(wù)節(jié)點之間進行訪問的監(jiān)控數(shù)據(jù),所述監(jiān)控數(shù)據(jù)從至少一個維度表征所述 服務(wù)節(jié)點之間、以及所述服務(wù)節(jié)點的服務(wù)之間進行訪問的特征信息;
[0180] 基于所述監(jiān)控數(shù)據(jù)的上報時間將所述監(jiān)控數(shù)據(jù)進行分片處理,得到分片監(jiān)控數(shù) 據(jù),分片處理時所使用的時間片的大小基于監(jiān)控的實時性要求確定;
[0181] 確定目標維度,所述目標維度包括所述維度至少之一;
[0182] 基于所述目標維度對所述分片監(jiān)控數(shù)據(jù)進行歸并處理,得到所述目標維度的分片 監(jiān)控數(shù)據(jù)的歸并處理結(jié)果。
[0183] 作為一個實施方式,當執(zhí)行所述指令時,還引起至少一個處理器執(zhí)行包括以下的 操作:
[0184] 所述目標維度包括主調(diào)業(yè)務(wù)模塊ID,基于主調(diào)服務(wù)節(jié)點ID和主調(diào)業(yè)務(wù)模塊ID的 對應(yīng)關(guān)系,將所述分片監(jiān)控數(shù)據(jù)中的主調(diào)服務(wù)節(jié)點維度轉(zhuǎn)換為主調(diào)業(yè)務(wù)模塊ID維度,所述 監(jiān)控數(shù)據(jù)表征所述特征信息的維度至少包括主調(diào)服務(wù)節(jié)點標識ID,所述主調(diào)業(yè)務(wù)模塊包括 至少一個主調(diào)服務(wù)節(jié)點。
[0185] 作為一個實施方式,當執(zhí)行所述指令時,還引起至少一個處理器執(zhí)行包括以下的 操作:
[0186] 所述目標維度包括被調(diào)業(yè)務(wù)模塊ID,基于被調(diào)服務(wù)節(jié)點ID和被調(diào)業(yè)務(wù)模塊ID的 對應(yīng)關(guān)系,將所述分片監(jiān)控數(shù)據(jù)中的被調(diào)服務(wù)節(jié)點維度轉(zhuǎn)換為被調(diào)業(yè)務(wù)模塊ID維度,所述 監(jiān)控數(shù)據(jù)表征所述特征信息的維度至少包括被調(diào)服務(wù)節(jié)點ID,所述被調(diào)業(yè)務(wù)模塊包括至少 一個被調(diào)服務(wù)節(jié)點。
[0187] 作為一個實施方式,當執(zhí)行所述指令時,還引起至少一個處理器執(zhí)行包括以下的 操作:
[0188] 基于目標維度對所述分片監(jiān)控數(shù)據(jù)進行歸并處理,得到所述目標維度的監(jiān)控數(shù)據(jù) 的歸并處理結(jié)果,包括:
[0189] 至少基于主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù)模塊ID維度,對特定時間對應(yīng)的 分片監(jiān)控數(shù)據(jù)進行收斂,直至,
[0190] 所述特定時間對應(yīng)的分片監(jiān)控數(shù)據(jù)收斂至主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù) 模塊ID維度,對應(yīng)得到主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù)模塊ID維度對應(yīng)的歸并處理 結(jié)果,所述歸并處理結(jié)果包括成功率、延時和延時抖動至少之一,所述特征信息包括成功次 數(shù)、失敗次數(shù)和延時至少之一。
[0191] 作為一個實施方式,當執(zhí)行所述指令時,還引起至少一個處理器執(zhí)行包括以下的 操作:
[0192] 基于所述目標維度對應(yīng)的告警策略對所得到的歸并處理結(jié)果進行告警分析;
[0193] 當分析結(jié)果表征歸并處理結(jié)果超出對應(yīng)的閾值時發(fā)出告警信息。
[0194] 作為一個實施方式,當執(zhí)行所述指令時,還引起至少一個處理器執(zhí)行包括以下的 操作:
[0195] 當基于第N目標維度確定特定時間的對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果超出 所述第N目標維度對應(yīng)的告警閾值時,基于預(yù)設(shè)的目標維度的優(yōu)先級排序,確定第N+m目標 維度;
[0196] 其中,所述第N+m目標維度對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果未超出所述第 N+m目標維度對應(yīng)的告警閾值,第N+m+1目標維度對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果超 出第N+m+1目標維度對應(yīng)的告警閾值,N取值為正整數(shù),m依次從首項為1、公差為1的正整 數(shù)等差序列中取值。
[0197] 作為一個實施方式,所述預(yù)設(shè)的目標維度的優(yōu)先級排序為:
[0198] 第一目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID ;
[0199] 第二目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID ;
[0200] 第三目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID ;
[0201] 第四目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID ;
[0202] 第五目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被 調(diào)服務(wù)接口 ID。
[0203] 實施例五
[0204] 本實施例記載一種數(shù)據(jù)處理裝置,如圖10所示,包括:
[0205] 接收單元10,用于獲取服務(wù)節(jié)點之間進行訪問的監(jiān)控數(shù)據(jù),所述監(jiān)控數(shù)據(jù)從至少 一個維度表征所述服務(wù)節(jié)點之間、以及所述服務(wù)節(jié)點的服務(wù)之間進行訪問的特征信息;
[0206] 格式化單元20,用于基于所述監(jiān)控數(shù)據(jù)的上報時間將所述監(jiān)控數(shù)據(jù)進行分片處 理,得到分片監(jiān)控數(shù)據(jù),分片處理時所使用的時間片的大小基于監(jiān)控的實時性要求確定;
[0207] 歸并單元30,用于確定目標維度,所述目標維度包括所述維度至少之一;
[0208] 歸并單元30,還用于基于所述目標維度對所述分片監(jiān)控數(shù)據(jù)進行歸并處理,得到 所述目標維度的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果。
[0209] 作為一個實施方式,所述裝置還包括:
[0210] 第一翻譯單元40,用于基于主調(diào)服務(wù)節(jié)點ID和主調(diào)業(yè)務(wù)模塊ID的對應(yīng)關(guān)系將所 述分片監(jiān)控數(shù)據(jù)中的主調(diào)服務(wù)節(jié)點維度轉(zhuǎn)換為主調(diào)業(yè)務(wù)模塊ID維度,所述監(jiān)控數(shù)據(jù)表征 所述特征信息的維度至少包括主調(diào)服務(wù)節(jié)點標識ID,所述主調(diào)業(yè)務(wù)模塊包括至少一個主調(diào) 服務(wù)節(jié)點,所述目標維度包括主調(diào)業(yè)務(wù)模塊ID,。
[0211] 作為一個實施方式,所述裝置還包括:
[0212] 第二翻譯單元50,用于基于被調(diào)服務(wù)節(jié)點ID和被調(diào)業(yè)務(wù)模塊ID的對應(yīng)關(guān)系,將所 述分片監(jiān)控數(shù)據(jù)中的被調(diào)服務(wù)節(jié)點維度轉(zhuǎn)換為被調(diào)業(yè)務(wù)模塊ID維度,所述監(jiān)控數(shù)據(jù)表征 所述特征信息的維度至少包括被調(diào)服務(wù)節(jié)點ID,所述被調(diào)業(yè)務(wù)模塊包括至少一個被調(diào)服務(wù) 節(jié)點,所述目標維度包括被調(diào)業(yè)務(wù)模塊ID。
[0213] 作為一個實施方式,所述歸并單元30,用于至少基于主調(diào)業(yè)務(wù)模塊ID維度和/或 被調(diào)業(yè)務(wù)模塊ID維度,對特定時間對應(yīng)的分片監(jiān)控數(shù)據(jù)進行收斂,直至,
[0214] 所述特定時間對應(yīng)的分片監(jiān)控數(shù)據(jù)收斂至主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù) 模塊ID維度,對應(yīng)得到主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù)模塊ID維度對應(yīng)的歸并處理 結(jié)果,所述歸并處理結(jié)果包括成功率、延時和延時抖動至少之一,所述特征信息包括成功次 數(shù)、失敗次數(shù)和延時至少之一。
[0215] 作為一個實施方式,所述裝置還包括:
[0216] 分析單元60,用于基于所述目標維度對應(yīng)的告警策略對所得到的歸并處理結(jié)果進 行告警分析;
[0217] 告警單元70,用于當所述分析單元得到的分析結(jié)果表征歸并處理結(jié)果超出對應(yīng)的 閾值時發(fā)出告警信息。
[0218] 作為一個實施方式,所述歸并單元30,還用于當基于第N目標維度確定特定時間 的對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果超出所述第N目標維度對應(yīng)的告警閾值時,基于預(yù) 設(shè)的目標維度的優(yōu)先級排序,確定第N+m目標維度;
[0219] 其中,所述第N+m目標維度對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果未超出所述第 N+m目標維度對應(yīng)的告警閾值,N取值為正整數(shù),m依次從首項為1、公差為1的正整數(shù)等差 序列中取值。
[0220] 作為一個實施方式,所述預(yù)設(shè)的目標維度的優(yōu)先級排序為:
[0221] 第一目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID ;
[0222] 第二目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID ;
[0223] 第三目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID ;
[0224] 第四目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID ;
[0225] 第五目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被 調(diào)服務(wù)接口 ID。
[0226] 實際應(yīng)用中上述單元可以服務(wù)器集群的計算資源和網(wǎng)絡(luò)資源實現(xiàn),服務(wù)器集群可 以使用Storm集群技術(shù)部署,一個示例如圖11所示,接收單元10可以由Storm集群中的接 收機實現(xiàn),格式化單元20可由Storm集群中的發(fā)射節(jié)點(Spout)實現(xiàn),翻譯單元(包括第 一翻譯單元40和第二翻譯單元50)可與Storm集群中的由Bolt實現(xiàn)的接入節(jié)點對應(yīng),歸 并單元30可與Storm集群中的由Bolt實現(xiàn)的翻譯節(jié)點對應(yīng),分析單元60可與Storm集群 中的由Bolt實現(xiàn)的統(tǒng)計節(jié)點對應(yīng),告警單元70可與Storm集群中的由Bolt實現(xiàn)的告警節(jié) 點對應(yīng),圖11中Storm每個節(jié)點的線程樹僅為示例,實際應(yīng)用中基于數(shù)據(jù)處理量確定。
[0227] 本實施例中,采集承載社交應(yīng)用的網(wǎng)絡(luò)上報的監(jiān)控數(shù)據(jù)包括服務(wù)節(jié)點維度(包 括主調(diào)服務(wù)節(jié)點維度和被調(diào)服務(wù)節(jié)點維度)、服務(wù)維度(包括主調(diào)服務(wù)維度和被調(diào)服務(wù)維 度)、被調(diào)服務(wù)接口維度;基于上述維度確定不同的目標維度,進而基于不同的目標維度對 分片監(jiān)控數(shù)據(jù)進行歸并處理,由于采用了基于時間片對監(jiān)控處理進行分片處理后進行不同 目標維度的歸并處理,實現(xiàn)了數(shù)據(jù)的實時處理,相較于相關(guān)技術(shù)提升了處理效率;并且,不 同目標維度的歸并處理結(jié)果能夠從不同的角度表征網(wǎng)絡(luò)在不同時間片的狀態(tài)信息,從而便 于基于不同目標維度的數(shù)據(jù)歸并處理結(jié)果進行告警分析,進而實現(xiàn)故障的精確定位。
[0228] 本領(lǐng)域普通技術(shù)人員可以理解:實現(xiàn)上述方法實施例的全部或部分步驟可以通過 程序指令相關(guān)的硬件來完成,前述的程序可以存儲于一計算機可讀取存儲介質(zhì)中,該程序 在執(zhí)行時,執(zhí)行包括上述方法實施例的步驟;而前述的存儲介質(zhì)包括:移動存儲設(shè)備、隨機 存取存儲器(RAM,Random Access Memory)、只讀存儲器(ROM,Read-Only Memory)、磁碟或 者光盤等各種可以存儲程序代碼的介質(zhì)。
[0229] 或者,本發(fā)明上述集成的單元如果以軟件功能模塊的形式實現(xiàn)并作為獨立的產(chǎn)品 銷售或使用時,也可以存儲在一個計算機可讀取存儲介質(zhì)中。基于這樣的理解,本發(fā)明實施 例的技術(shù)方案本質(zhì)上或者說對相關(guān)技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來, 該計算機軟件產(chǎn)品存儲在一個存儲介質(zhì)中,包括若干指令用以使得一臺計算機設(shè)備(可以 是個人計算機、服務(wù)器、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分。 而前述的存儲介質(zhì)包括:移動存儲設(shè)備、RAM、R0M、磁碟或者光盤等各種可以存儲程序代碼 的介質(zhì)。
[0230] 以上所述,僅為本發(fā)明的【具體實施方式】,但本發(fā)明的保護范圍并不局限于此,任何 熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi),可輕易想到變化或替換,都應(yīng)涵 蓋在本發(fā)明的保護范圍之內(nèi)。因此,本發(fā)明的保護范圍應(yīng)以所述權(quán)利要求的保護范圍為準。
【主權(quán)項】
1. 一種數(shù)據(jù)處理方法,其特征在于,所述方法包括: 獲取服務(wù)節(jié)點之間進行訪問的監(jiān)控數(shù)據(jù),所述監(jiān)控數(shù)據(jù)從至少一個維度表征所述服務(wù) 節(jié)點之間、以及所述服務(wù)節(jié)點的服務(wù)之間進行訪問的特征信息; 基于所述監(jiān)控數(shù)據(jù)的上報時間將所述監(jiān)控數(shù)據(jù)進行分片處理,得到分片監(jiān)控數(shù)據(jù),分 片處理時所使用的時間片的大小基于監(jiān)控的實時性要求確定; 確定目標維度,所述目標維度包括所述維度至少之一; 基于所述目標維度對所述分片監(jiān)控數(shù)據(jù)進行歸并處理,得到所述目標維度的分片監(jiān)控 數(shù)據(jù)的歸并處理結(jié)果。2. 如權(quán)利要求1所述的方法,其特征在于,所述方法還包括: 所述目標維度包括主調(diào)業(yè)務(wù)模塊ID,基于主調(diào)服務(wù)節(jié)點ID和主調(diào)業(yè)務(wù)模塊ID的對應(yīng) 關(guān)系,將所述分片監(jiān)控數(shù)據(jù)中的主調(diào)服務(wù)節(jié)點維度轉(zhuǎn)換為主調(diào)業(yè)務(wù)模塊ID維度,所述監(jiān)控 數(shù)據(jù)表征所述特征信息的維度至少包括主調(diào)服務(wù)節(jié)點標識ID,所述主調(diào)業(yè)務(wù)模塊包括至少 一個主調(diào)服務(wù)節(jié)點。3. 如權(quán)利要求1所述的方法,其特征在于,所述方法還包括: 所述目標維度包括被調(diào)業(yè)務(wù)模塊ID,基于被調(diào)服務(wù)節(jié)點ID和被調(diào)業(yè)務(wù)模塊ID的對應(yīng) 關(guān)系,將所述分片監(jiān)控數(shù)據(jù)中的被調(diào)服務(wù)節(jié)點維度轉(zhuǎn)換為被調(diào)業(yè)務(wù)模塊ID維度,所述監(jiān)控 數(shù)據(jù)表征所述特征信息的維度至少包括被調(diào)服務(wù)節(jié)點ID,所述被調(diào)業(yè)務(wù)模塊包括至少一個 被調(diào)服務(wù)節(jié)點。4. 如權(quán)利要求2或3所述的方法,其特征在于,基于目標維度對所述分片監(jiān)控數(shù)據(jù)進行 歸并處理,得到所述目標維度的監(jiān)控數(shù)據(jù)的歸并處理結(jié)果,包括: 至少基于主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù)模塊ID維度,對特定時間對應(yīng)的分片 監(jiān)控數(shù)據(jù)進行收斂,直至, 所述特定時間對應(yīng)的分片監(jiān)控數(shù)據(jù)收斂至主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù)模塊 ID維度,對應(yīng)得到主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù)模塊ID維度對應(yīng)的歸并處理結(jié)果, 所述歸并處理結(jié)果包括成功率、延時和延時抖動至少之一,所述特征信息包括成功次數(shù)、失 敗次數(shù)和延時至少之一。5. 如權(quán)利要求1所述的方法,其特征在于,所述方法還包括: 基于所述目標維度對應(yīng)的告警策略對所得到的歸并處理結(jié)果進行告警分析; 當分析結(jié)果表征歸并處理結(jié)果超出對應(yīng)的閾值時發(fā)出告警信息。6. 如權(quán)利要求1所述的方法,其特征在于,所述方法還包括: 當基于第N目標維度確定特定時間的對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果超出所述 第N目標維度對應(yīng)的告警閾值時,基于預(yù)設(shè)的目標維度的優(yōu)先級排序,確定第N+m目標維 度; 其中,所述第N+m目標維度對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果未超出所述第N+m目 標維度對應(yīng)的告警閾值,第N+m+1目標維度對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果超出第 N+m+1目標維度對應(yīng)的告警閾值,N取值為正整數(shù),m依次從首項為1、公差為1的正整數(shù)等 差序列中取值。7. 如權(quán)利要求6所述的方法,其特征在于,所述預(yù)設(shè)的目標維度的優(yōu)先級排序為: 第一目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID ; 第二目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID ; 第三目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID ; 第四目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID ; 第五目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服 務(wù)接口 ID。8. -種數(shù)據(jù)處理裝置,其特征在于,所述裝置包括: 接收單元,用于獲取服務(wù)節(jié)點之間進行訪問的監(jiān)控數(shù)據(jù),所述監(jiān)控數(shù)據(jù)從至少一個維 度表征所述服務(wù)節(jié)點之間、以及所述服務(wù)節(jié)點的服務(wù)之間進行訪問的特征信息; 格式化單元,用于基于所述監(jiān)控數(shù)據(jù)的上報時間將所述監(jiān)控數(shù)據(jù)進行分片處理,得到 分片監(jiān)控數(shù)據(jù),分片處理時所使用的時間片的大小基于監(jiān)控的實時性要求確定; 歸并單元,用于確定目標維度,所述目標維度包括所述維度至少之一; 所述歸并單元,還用于基于所述目標維度對所述分片監(jiān)控數(shù)據(jù)進行歸并處理,得到所 述目標維度的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果。9. 如權(quán)利要求8所述的裝置,其特征在于,所述裝置還包括: 第一翻譯單元,用于基于主調(diào)服務(wù)節(jié)點ID和主調(diào)業(yè)務(wù)模塊ID的對應(yīng)關(guān)系將所述分片 監(jiān)控數(shù)據(jù)中的主調(diào)服務(wù)節(jié)點維度轉(zhuǎn)換為主調(diào)業(yè)務(wù)模塊ID維度,所述監(jiān)控數(shù)據(jù)表征所述特 征信息的維度至少包括主調(diào)服務(wù)節(jié)點標識ID,所述主調(diào)業(yè)務(wù)模塊包括至少一個主調(diào)服務(wù)節(jié) 點,所述目標維度包括主調(diào)業(yè)務(wù)模塊ID。10. 如權(quán)利要求8所述的裝置,其特征在于,所述裝置還包括: 第二翻譯單元,用于基于被調(diào)服務(wù)節(jié)點ID和被調(diào)業(yè)務(wù)模塊ID的對應(yīng)關(guān)系,將所述分片 監(jiān)控數(shù)據(jù)中的被調(diào)服務(wù)節(jié)點維度轉(zhuǎn)換為被調(diào)業(yè)務(wù)模塊ID維度,所述監(jiān)控數(shù)據(jù)表征所述特 征信息的維度至少包括被調(diào)服務(wù)節(jié)點ID,所述被調(diào)業(yè)務(wù)模塊包括至少一個被調(diào)服務(wù)節(jié)點, 所述目標維度包括被調(diào)業(yè)務(wù)模塊ID。11. 如權(quán)利要求9或10所述的裝置,其特征在于, 所述歸并單元,用于至少基于主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù)模塊ID維度,對特 定時間對應(yīng)的分片監(jiān)控數(shù)據(jù)進行收斂,直至, 所述特定時間對應(yīng)的分片監(jiān)控數(shù)據(jù)收斂至主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù)模塊 ID維度,對應(yīng)得到主調(diào)業(yè)務(wù)模塊ID維度和/或被調(diào)業(yè)務(wù)模塊ID維度對應(yīng)的歸并處理結(jié)果, 所述歸并處理結(jié)果包括成功率、延時和延時抖動至少之一,所述特征信息包括成功次數(shù)、失 敗次數(shù)和延時至少之一。12. 如權(quán)利要求8所述的裝置,其特征在于,所述裝置還包括: 分析單元,用于基于所述目標維度對應(yīng)的告警策略對所得到的歸并處理結(jié)果進行告警 分析; 告警單元,用于當所述分析單元得到的分析結(jié)果表征歸并處理結(jié)果超出對應(yīng)的閾值時 發(fā)出告警信息。13. 如權(quán)利要求8所述的裝置,其特征在于, 所述歸并單元,還用于當基于第N目標維度確定特定時間的對應(yīng)的分片監(jiān)控數(shù)據(jù)的 歸并處理結(jié)果超出所述第N目標維度對應(yīng)的告警閾值時,基于預(yù)設(shè)的目標維度的優(yōu)先級排 序,確定第N+m目標維度; 其中,所述第N+m目標維度對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果未超出所述第N+m目 標維度對應(yīng)的告警閾值,第N+m+1目標維度對應(yīng)的分片監(jiān)控數(shù)據(jù)的歸并處理結(jié)果超出第 N+m+1目標維度對應(yīng)的告警閾值,N取值為正整數(shù),m依次從首項為1、公差為1的正整數(shù)等 差序列中取值。14.如權(quán)利要求13所述的裝置,其特征在于,所述預(yù)設(shè)的目標維度的優(yōu)先級排序為: 第一目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID ; 第二目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID ; 第三目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID ; 第四目標維度:主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服務(wù)接口 ID ; 第五目標維度:主調(diào)業(yè)務(wù)模塊ID、被調(diào)業(yè)務(wù)模塊ID、主調(diào)服務(wù)ID、被調(diào)服務(wù)ID、被調(diào)服 務(wù)接口 ID。
【文檔編號】H04L12/24GK106034047SQ201510180705
【公開日】2016年10月19日
【申請日】2015年4月16日
【發(fā)明人】霍特, 聶鑫, 梁定安, 黃兆鵬, 曹鳳龍, 楊波, 陶凜然, 趙子青, 黃偉俊, 黃浩宇
【申請人】騰訊科技(深圳)有限公司