日志分析的制作方法
【專利說明】
【背景技術(shù)】
[0001]數(shù)據(jù)可以被收集或“記錄”，并且記錄的數(shù)據(jù)和消息(也稱作日志)除其他的之外可以通過網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)以及應(yīng)用程序發(fā)出。日志可以被收集和分析。
[0002]可以利用日志分析來讓計算機(jī)生成的記錄(例如，日志記錄)有意義。日志分析除其他的之外適用于例如包括安全分析、信息技術(shù)(IT)性能管理、網(wǎng)絡(luò)(web)分析、點(diǎn)擊流分析、調(diào)試、故障排除和網(wǎng)絡(luò)管理的各種場景。
【附圖說明】
[0003]圖1圖示出了根據(jù)本公開的示例日志分析架構(gòu)。
[0004]圖2A-2B圖示出了根據(jù)本公開的用于日志分析的系統(tǒng)的示例。
[0005]圖3A-3B圖示出了根據(jù)本公開的用于日志分析的方法的示例的流程圖。
【具體實(shí)施方式】
[0006]體積、速度和各種日志數(shù)據(jù)和日志分析代碼正在增長，并且可以對實(shí)時有效的日志分析和質(zhì)量洞察(quality insight)造成挑戰(zhàn)。用以日志分析的現(xiàn)有方法包括在專用服務(wù)器上執(zhí)行日志分析代碼。這些服務(wù)器不同于產(chǎn)生日志的服務(wù)器，并且日志數(shù)據(jù)通過網(wǎng)絡(luò)來批量加載或流式傳輸。這會引發(fā)訪問日志數(shù)據(jù)的等待時間增加，并且還會引發(fā)用于日志分析的附加專用服務(wù)器的成本。其他方法已經(jīng)在產(chǎn)生日志數(shù)據(jù)的服務(wù)器上使用了管理處理器來進(jìn)行日志分析。然而，這些現(xiàn)有管理處理器已經(jīng)在范圍上受到限制，并且不能直接訪問在較低的總帶寬造成對日志數(shù)據(jù)的較高等待時間訪問的存儲器或存儲裝置。
[0007]某種日志分析代碼可以在產(chǎn)生日志的機(jī)器上本地運(yùn)行(例如，代碼運(yùn)行在主機(jī)中央處理單元(CPU)上)，但這可能會干擾在主機(jī)上運(yùn)行的其他應(yīng)用程序，并且可能影響日志分析代碼和其他應(yīng)用程序的性能。
[0008]相比之下，根據(jù)本公開的日志分析利用具有被動存儲元件的主動設(shè)備(activedevice)(例如，主動存儲器和/或存儲裝置)來提高日志分析的性能。例如，日志分析可以在主動設(shè)備架構(gòu)上執(zhí)行，其中主動設(shè)備可以提供接近存儲裝置和/或存儲器的計算，這由于增加的數(shù)據(jù)帶寬和減少的等待時間而為改進(jìn)的性能提供機(jī)會。
[0009]根據(jù)本公開的日志分析可以支持實(shí)時和在線日志分析，并且當(dāng)有問題發(fā)生時(例如，當(dāng)日志分析涉及查找問題時)，可以減少洞察時間。根據(jù)本公開的日志分析可以從主機(jī)系統(tǒng)卸載日志分析，減少干擾。另外或可替代地，根據(jù)本公開的日志分析可以降低能源成本、簡化主機(jī)處理器設(shè)計、以及減少日志數(shù)據(jù)在本地機(jī)器內(nèi)和跨網(wǎng)絡(luò)的數(shù)據(jù)移動。
[0010]主動設(shè)備可以包括與被動存儲元件(例如，一組被動存儲元件)位于一處的主動元件(例如，至少一個主動元件)。主動元件的示例可以包括與本地存儲器位于一處的諸如像通用CPU或?qū)ｉT加速器(例如，圖形處理單元(GPU))和/或可編程邏輯設(shè)備(諸如，現(xiàn)場可編程門陣列(FPGA))之類的處理元件。
[0011]被動存儲元件除其他的之外可以包括硬盤驅(qū)動器、固態(tài)驅(qū)動器(SSD)、動態(tài)隨機(jī)存取存儲器(DRAM)和/或閃速存儲器。被動存儲元件除其他的之外還可以包括未來的非易失性存儲器，諸如憶阻器、相變隨機(jī)存取存儲器(PCRAM)和/或自旋轉(zhuǎn)移矩隨機(jī)存取存儲器(STT-RAM)0
[0012]日志除其他的之外例如可以包括安全日志、安全事件、操作系統(tǒng)性能監(jiān)控日志、硬件監(jiān)控日志、應(yīng)用程序日志、業(yè)務(wù)流程日志和事件觸發(fā)器。日志分析除其他的之外例如可以包括日志過濾、日志清理、以特定方案布置日志、日志解析、搜索日志(例如，字符串搜索、表達(dá)式搜索、關(guān)鍵字搜索、結(jié)構(gòu)化查詢語言(SQL)查詢等)、時間序列分析、統(tǒng)計功能(例如，求和、求平均值、求概率)、異常檢測、模式檢測、機(jī)器學(xué)習(xí)應(yīng)用程序和模型(例如，算法)、安全模式(例如，登錄和/或訪問模式)、物理基礎(chǔ)架構(gòu)分析、硬件管理和功能監(jiān)控。
[0013]在本公開的以下詳細(xì)描述中，對形成本公開一部分的附圖進(jìn)行參考，并且其中通過圖示的方式示出本公開的示例可如何被實(shí)踐。本文中的附圖遵循編號約定，其中，第一位數(shù)字或幾位數(shù)字對應(yīng)于附圖圖號，而其余數(shù)字標(biāo)識附圖中的元件或組件。附圖中所提供的元件的比例和相對標(biāo)度意在圖示本公開的示例，而不應(yīng)當(dāng)以限制意義來理解。如本文所用的“許多”元件和/或特征可能指的是這樣的元件和/或特征中的一個或多個。
[0014]圖1圖示出了根據(jù)本公開的示例日志分析架構(gòu)100。架構(gòu)100可以包括可被通信地耦合到主動設(shè)備107-1、……、107-N的主機(jī)處理資源(例如，主機(jī)CPU) 102-1、102-2、……、102-N。主動設(shè)備107-1、……、107-N可以包括主動元件106-1、106-2、……、106-N和被動存儲元件104-1、104-2、……、104-N。主動元件106-1、……、106-N可以包括與存儲器資源(例如，本地存儲器資源)110-1、110-2、……UlO-N位于一處的處理元件108-1、108-2、……、108-No
[0015]架構(gòu)100可以促進(jìn)在主動設(shè)備107-1、……、107_N上執(zhí)行的日志分析的全部或一部分。例如，混合架構(gòu)可以包括在主動設(shè)備107-1、......、107-N上執(zhí)行的日志分析的一部分以及在主機(jī)CPU(例如，處理單元102-1、……、102-N)上執(zhí)行的日志分析的一部分。
[0016]在主動設(shè)備107-1、……、107-N上執(zhí)行日志分析的全部或一部分除其他的好處之外可以減少和/或消除干擾、增加流帶寬、增加洞察時間、減少等待時間、提高實(shí)時處理、以及減少對移動存儲器(例如，用于處理器的高速緩存器)的需要。例如，因?yàn)槿罩痉治霾]有完全在主機(jī)CPU上執(zhí)行，所以可以減少對運(yùn)行應(yīng)用程序的干擾，并且因?yàn)榕c其他架構(gòu)相比，主動元件106-1、……、106-N更靠近被動存儲元件104-1、……、104-N，所以可以增加流帶寬并減少等待時間。
[0017]在一個示例中，復(fù)雜的日志分析可以在主動設(shè)備上來執(zhí)行，而較簡單的日志分析可以在主機(jī)上來執(zhí)行。例如，非傳統(tǒng)的和/或更復(fù)雜的日志分析操作(諸如，計算密集型以及可以有助于矢量式或數(shù)字信號處理器式加速或更多的并行硬件實(shí)現(xiàn)的那些)可以從主機(jī)卸載到主動設(shè)備上。示例可以包括集群，模式挖掘，以及其他異常檢測和預(yù)測模型。在這些情況下，日志分析實(shí)現(xiàn)可以被卸載到主動存儲器(例如，主動元件的自定義計算實(shí)體)，簡化主機(jī)過程以例如減少能源和成本。
[0018]在另一個不例中，日志分析的一部分可以在大的數(shù)據(jù)中心內(nèi)在許多主動設(shè)備上來執(zhí)行。例如，在數(shù)據(jù)中心中可以存在許多以高速率產(chǎn)生大量日志的服務(wù)器。許多主動設(shè)備可以在把這些日志發(fā)送到服務(wù)器的專用集群上以供進(jìn)一步分析之前分析日志(例如，過濾、解析)。
[0019]可替代地，許多主動設(shè)備可以自己收集和分析日志。例如，如果他們具有足夠的計算能力以致沒有必要把日志發(fā)送到專用日志處理集群，那么主動設(shè)備可以收集和分析日志。在這樣的示例中，主動設(shè)備可以被協(xié)調(diào)并以分布式的方式用于日志分析。
[0020]在許多示例中，可以在專用日志分析集群/服務(wù)器中發(fā)生日志分析之前，在主動元件106-1、……、106-N內(nèi)執(zhí)行日志的預(yù)處理。例如，在日志分析之前，主動元件106-1、……、106-N執(zhí)行諸如日志數(shù)據(jù)格式化、日志數(shù)據(jù)清理、日志數(shù)據(jù)過濾和日志數(shù)據(jù)集成之類的預(yù)處理方法。類似于以上關(guān)于大的數(shù)據(jù)中心的論述，這些預(yù)處理方法除了其他的好處之外可以減少發(fā)送到專用集群或由主機(jī)處理的信息量，減少等待時間。
[0021 ]在許多實(shí)施例中，架構(gòu)100還可以促進(jìn)日志查詢支持和時間序列分析。例如，主動元件106-1、……、106-N可以執(zhí)行SQL命令和/或有助于應(yīng)答日志搜索查詢(例如，它可以有助于掃描、分類和連接操作)。主動元件106-1、……、106-N可以執(zhí)行統(tǒng)計功能以有助于日志數(shù)據(jù)的時間序列分析(例如，分析CHJ利用率)。示例統(tǒng)計功能可以包括用于閾值/異常檢測、預(yù)測和預(yù)報、回歸和分類的功能。在許多示例中，在主動元件106-1、……、106-N中可以支持基于矩陣的操作。
[0022]在示例中，具有主動設(shè)備(例如，主動設(shè)備107-1、……、107_N)的主機(jī)(例如，主機(jī)處理器102-1、……、102-N)可以用來收集系統(tǒng)和應(yīng)用程序日志。這些日志可以被存儲在主動設(shè)備的被動存儲元件上(例如，閃速存儲器可以存儲收集的日志)。日志可以連續(xù)地產(chǎn)生并且除了其他的之外例如可以包括利用率日志、來自應(yīng)用程序的日志，和/或來自操作系統(tǒng)的日志。主動設(shè)備中的計算可以對來自操作系統(tǒng)的數(shù)據(jù)、利用率和應(yīng)用程序日志執(zhí)行原位異常檢測，并且如果有緊急警報，則可以標(biāo)識主機(jī)處理器。所述異常檢測