一種應(yīng)用數(shù)據(jù)空間使用估算方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及一種數(shù)據(jù)存儲處理方法，尤其設(shè)及一種應(yīng)用數(shù)據(jù)空間使用估算方法。
【背景技術(shù)】
[0002] 應(yīng)用系統(tǒng)從設(shè)計、開發(fā)、測試直至上線都伴隨著數(shù)據(jù)的產(chǎn)生、使用與消亡，離開了 數(shù)據(jù)應(yīng)用系統(tǒng)就像是沒有車輪的車架寸步難行。目前大型企業(yè)數(shù)據(jù)主要存放于數(shù)據(jù)庫中， 應(yīng)用系統(tǒng)通過對數(shù)據(jù)的讀、寫、完成業(yè)務(wù)流程。隨著業(yè)務(wù)系統(tǒng)的運(yùn)行，數(shù)據(jù)不斷的產(chǎn)生，數(shù)據(jù) 使用的空間也隨之增長，同時也帶來了性能與空間的雙重問題，久而久之應(yīng)用系統(tǒng)運(yùn)行緩 慢，在業(yè)務(wù)高峰時甚至?xí)龅较到y(tǒng)中斷的異常情況。目前通過對數(shù)據(jù)庫、存儲空間使用監(jiān)控 及時提醒空間使用情況，在告警后通過W下兩種方法解決；1、存儲空間擴(kuò)容。2、尋找空間占 用較大的數(shù)據(jù)表，與維護(hù)部口確認(rèn)并清理數(shù)據(jù)。
[0003] 現(xiàn)有的方法一；通過存儲空間擴(kuò)容可W解決長期的空間問題，但是一旦已有空間 耗盡后就啟動存儲空間的擴(kuò)容將會導(dǎo)致應(yīng)用系統(tǒng)數(shù)據(jù)庫容量無上限的增長，同時會帶來較 大的性能問題。存儲空間也是有限的，不合理的空間擴(kuò)容將帶來成本的大幅增加，并且擴(kuò)容 申請的流程較長及時性低。
[0004] 現(xiàn)有的方法二；通過空間使用率監(jiān)控告警后，篩選空間占用較高的數(shù)據(jù)表與維護(hù) 部口確認(rèn)清理，可W解決短期的空間問題，但是清理力度有限，問題經(jīng)常反反復(fù)復(fù)需要消耗 大量的人力且效果不明顯，甚至出現(xiàn)在數(shù)據(jù)清理后非維護(hù)部口投訴數(shù)據(jù)被清理的情況。
[0005] 由上可見，W上兩種方法存在資源與成本較高、資源擴(kuò)容不及時等缺點。

【發(fā)明內(nèi)容】

[0006] 本發(fā)明所要解決的技術(shù)問題是提供一種應(yīng)用數(shù)據(jù)空間使用估算方法，能夠結(jié)合業(yè) 務(wù)數(shù)據(jù)量增長趨勢成功實現(xiàn)對數(shù)據(jù)空間使用率與擴(kuò)容計劃的精確控制，大大降低故障發(fā)生 率和管理成本，提高系統(tǒng)的穩(wěn)定性。
[0007] 本發(fā)明為解決上述技術(shù)問題而采用的技術(shù)方案是提供一種應(yīng)用數(shù)據(jù)空間使用估 算方法，包括如下步驟；a)集中配置被監(jiān)控主機(jī)的數(shù)據(jù)存儲信息W及采集規(guī)則；b)根據(jù)配 置信息采用統(tǒng)一時間和格式采集相關(guān)元數(shù)據(jù)；C)根據(jù)采集到的元數(shù)據(jù)統(tǒng)計被監(jiān)控主機(jī)的 數(shù)據(jù)空間使用消耗情況，并結(jié)合業(yè)務(wù)增長趨勢和各類數(shù)據(jù)表的生命周期估算數(shù)據(jù)空間擴(kuò)容 計劃；d)對元數(shù)據(jù)進(jìn)行壓縮歸檔，并根據(jù)配置的離線時間下線較早部分的元數(shù)據(jù)；對結(jié)果 數(shù)據(jù)歸檔用作報表展示與歷史趨勢分析。
[0008] 上述的應(yīng)用數(shù)據(jù)空間使用估算方法，其中，所述步驟a)中的采集規(guī)則包括設(shè)置采 集時間點、采集間隔、采集監(jiān)控項和采集格式；所述被監(jiān)控主機(jī)的數(shù)據(jù)存儲信息包括各類數(shù) 據(jù)表的生命周期及其所屬的業(yè)務(wù)模塊，各類數(shù)據(jù)表所屬的業(yè)務(wù)類型及等級，W及各類數(shù)據(jù) 表所屬存儲器的型號、總?cè)萘俊?br>[0009] 上述的應(yīng)用數(shù)據(jù)空間使用估算方法，其中，所述采集監(jiān)控項包括主機(jī)存儲空間使 用量和數(shù)據(jù)庫空間使用量，所述步驟b)定時獲取被監(jiān)控主機(jī)在采集時間點的數(shù)據(jù)庫空間 使用總量、數(shù)據(jù)庫空間空閑總量w及數(shù)據(jù)庫表空間占用數(shù)量。
[0010] 上述的應(yīng)用數(shù)據(jù)空間使用估算方法，其中，所述步驟C)分別計算統(tǒng)計當(dāng)月具有生 命周期業(yè)務(wù)數(shù)據(jù)所占空間W及當(dāng)月其他數(shù)據(jù)所占空間，并根據(jù)上月具有生命周期業(yè)務(wù)數(shù)據(jù) 所占空間W及上月其他數(shù)據(jù)所占空間，分別確定周期性業(yè)務(wù)數(shù)據(jù)和其他數(shù)據(jù)每月占用空間 的凈增長值；對于周期性業(yè)務(wù)數(shù)據(jù)，結(jié)合本月業(yè)務(wù)變化量W及上月凈增長值估算擴(kuò)容需求， 對于其他數(shù)據(jù)，如果占有空間超出預(yù)定閥值，進(jìn)行異常報警處理。
[0011] 上述的應(yīng)用數(shù)據(jù)空間使用估算方法，其中，如果本月周期性業(yè)務(wù)數(shù)據(jù)所占空間與 數(shù)據(jù)庫空間空閑總量的比值超過預(yù)設(shè)閥值，更新被監(jiān)控主機(jī)上的數(shù)據(jù)表的生命周期配置， 并根據(jù)配置的離線時間下線較早部分的元數(shù)據(jù)，直至本月周期性業(yè)務(wù)數(shù)據(jù)所占空間與數(shù)據(jù) 庫空間空閑總量的比值小于預(yù)設(shè)閥值。
[0012] 上述的應(yīng)用數(shù)據(jù)空間使用估算方法，其中，所述步驟d)展示當(dāng)前系統(tǒng)中具有生命 周期的數(shù)據(jù)表占比，當(dāng)月具有生命周期數(shù)據(jù)表空間增長占用量，當(dāng)月數(shù)據(jù)表空間增長量與 增長趨勢，剩余空間可使用天數(shù)W及過期數(shù)據(jù)未清理的使用空間月列表。
[0013] 上述的應(yīng)用數(shù)據(jù)空間使用估算方法，其中，所述步驟d)通過選擇時間、紳度、圖標(biāo) 類型進(jìn)行報表展示，并選擇多個業(yè)務(wù)系統(tǒng)進(jìn)行關(guān)聯(lián)展示。
[0014] 本發(fā)明對比現(xiàn)有技術(shù)有如下的有益效果；本發(fā)明提供的應(yīng)用數(shù)據(jù)空間使用估算方 法，通過采集監(jiān)控數(shù)據(jù)存儲使用情況，準(zhǔn)確地結(jié)合業(yè)務(wù)數(shù)據(jù)量增長趨勢W及數(shù)據(jù)表生命周 期成功實現(xiàn)對數(shù)據(jù)空間使用率與擴(kuò)容計劃的精確控制，大大降低故障發(fā)生率和管理成本， 提高系統(tǒng)的穩(wěn)定性。
【附圖說明】
[0015] 圖1為本發(fā)明應(yīng)用數(shù)據(jù)空間使用估算主流程示意圖；
[0016] 圖2為本發(fā)明應(yīng)用數(shù)據(jù)空間使用估算詳細(xì)流程示意圖。
【具體實施方式】
[0017]下面結(jié)合附圖和實施例對本發(fā)明作進(jìn)一步的描述。
[0018] 圖1為本發(fā)明應(yīng)用數(shù)據(jù)空間使用估算主流程示意圖。
[0019] 請參見圖1，本發(fā)明提供的應(yīng)用數(shù)據(jù)空間使用估算方法，包括如下步驟：
[0020] 步驟S1 ;集中配置被監(jiān)控主機(jī)的數(shù)據(jù)存儲信息W及采集規(guī)則；所述采集規(guī)則包括 設(shè)置采集時間點、采集間隔、采集監(jiān)控項和采集格式；所述被監(jiān)控主機(jī)的數(shù)據(jù)存儲信息包括 各類數(shù)據(jù)表的生命周期及其所屬的業(yè)務(wù)模塊，各類數(shù)據(jù)表所屬的業(yè)務(wù)類型及等級，W及各 類數(shù)據(jù)表所屬存儲器的型號、總?cè)萘浚?br>[0021] 步驟S2 ;根據(jù)配置信息采用統(tǒng)一時間和格式采集相關(guān)元數(shù)據(jù)；
[0022] 步驟S3 ;根據(jù)采集到的元數(shù)據(jù)統(tǒng)計被監(jiān)控主機(jī)的數(shù)據(jù)空間使用消耗情況，并結(jié)合 業(yè)務(wù)增長趨勢和各類數(shù)據(jù)表的生命周期估算數(shù)據(jù)空間擴(kuò)容計劃；
[0023] 步驟S4;對元數(shù)據(jù)進(jìn)行壓縮歸檔，并根據(jù)配置的離線時間下線較早部分的元數(shù) 據(jù)；對結(jié)果數(shù)據(jù)歸檔用作報表展示與歷史趨勢分析。
[0024] 現(xiàn)有技術(shù)方案中也采用優(yōu)化與擴(kuò)容解決，但是在問題發(fā)生之后才采取措施，屬于 被動管理方式，因此存在諸多不確定性，導(dǎo)致管理成本的升高與處理及時性大大降低，本發(fā) 明則w業(yè)務(wù)數(shù)據(jù)為基礎(chǔ)，通過統(tǒng)計單位時間內(nèi)已配置的各類數(shù)據(jù)表生命周期與當(dāng)前數(shù)據(jù)空 間消耗關(guān)系，統(tǒng)計數(shù)據(jù)空間使用趨勢及需要的空間資源，進(jìn)行提前優(yōu)化或者提前擴(kuò)容W滿 足業(yè)務(wù)發(fā)展的需求。通過前瞻性的統(tǒng)計、分析在空間瓶頸與故障發(fā)生前將問題解決，實現(xiàn)業(yè) 務(wù)可持續(xù)性發(fā)展，降低用戶管理成本、提升系統(tǒng)資源利用效率。
[002引本發(fā)明主要由如下模塊實現(xiàn)；統(tǒng)一采集模塊（UAM，化iform Acquisition Module)、分布式分析模塊（DAM, Distributed Analysis Module)、自定義配置與展示模塊 (CCDM，Qistomize Configuration&Display Module)。各模塊主要功能如下；
[0026] 一、統(tǒng)一采集模塊（UAM，UniformAcquisitionModule)，主要負(fù)責(zé)統(tǒng)一的空間使 用數(shù)據(jù)采集實時發(fā)送給DAM進(jìn)行分析，功能如下：
[0027] 1、根據(jù)監(jiān)控配置自動在被監(jiān)控主機(jī)上安裝agent。
[0028] 2、統(tǒng)一時間、格式對被監(jiān)控主機(jī)空間使用情況進(jìn)行采集。
[0029] 3、通過消息隊列方式將采集的信息實時發(fā)送到分布式分析模塊。
[0030]二、分布式分析模塊（DAM，DistributedAnalysisModule)，主要負(fù)責(zé)采集信息的 集中分析，該模塊為本發(fā)明中的核屯、功能，結(jié)合UCM中的配置信息實現(xiàn)功能如下：
[0031] 1.數(shù)據(jù)空間消耗分布。
[0032] 根據(jù)既定規(guī)則與算法，通過數(shù)據(jù)集中分析，實現(xiàn)單位時間內(nèi)空間消耗明細(xì)分布。
[0033] 2.估算系統(tǒng)資源擴(kuò)容計劃。
[0034] 當(dāng)空間消耗屬于正常業(yè)務(wù)增長導(dǎo)致時，該模塊可結(jié)合數(shù)據(jù)空間使用歷史增長趨勢 分析資源擴(kuò)容計劃。
[00；35] S、自定義配置與展示模塊（CCDM，QistomizeConfiguration&DisplayModule)， 主要負(fù)責(zé)系統(tǒng)與規(guī)則配置的集中化管理，用W提供UAM的統(tǒng)一采集及DAM的集中分析，通過CCDM模塊，用戶可W選擇時間、紳度、圖標(biāo)類型進(jìn)行報表展示，也可W選擇多個業(yè)務(wù)系統(tǒng)進(jìn) 行關(guān)聯(lián)展示，例如系統(tǒng)資源隨著業(yè)務(wù)增長的變化趨勢、業(yè)務(wù)高峰時系統(tǒng)資源的消耗分布