專利名稱：數(shù)據(jù)處理方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通訊領(lǐng)域，尤其涉及一種網(wǎng)管平臺(tái)中性能數(shù)據(jù)處理方法及裝置。
背景技術(shù)：
在電信網(wǎng)管系統(tǒng)中，性能管理主要負(fù)責(zé)采集和分析網(wǎng)絡(luò)運(yùn)行的數(shù)據(jù)，尤其是對(duì)歷 史數(shù)據(jù)的查詢和分析，對(duì)于網(wǎng)管系統(tǒng)是一個(gè)重點(diǎn)，長時(shí)期以來，各個(gè)廠商一直致力解決海量 數(shù)據(jù)給系統(tǒng)帶來的超大負(fù)荷和響應(yīng)的效率的難題。電信網(wǎng)管理中的性能數(shù)據(jù)處理流程是(1)由前臺(tái)設(shè)備根據(jù)網(wǎng)絡(luò)單元NE(Network Element，網(wǎng)絡(luò)單元)定制的采集任務(wù) 上報(bào)數(shù)據(jù)給網(wǎng)絡(luò)單元NE;(2)網(wǎng)絡(luò)單元NE把數(shù)據(jù)按照測量類型入庫，必須支持NE上的各個(gè)粒度、各個(gè)位 置的數(shù)據(jù)查詢，支持性能門限告警的數(shù)據(jù)查詢，并且把數(shù)據(jù)匯總后通過數(shù)據(jù)文件上報(bào)給 EMS (Element Management Systems,網(wǎng)元管理系統(tǒng))；(3)EMS收到NE上報(bào)的數(shù)據(jù)后入庫，同樣也必須提供所有管理的NE的各種粒度和 位置的匯總，還要支持提供匪S (Network Management Systems，網(wǎng)絡(luò)管理系統(tǒng))需要的各種 數(shù)據(jù)的匯總。上述流程中，NE、EMS和匪S的關(guān)系是EMS管理著每個(gè)NE的功能和容量，但并不 理會(huì)網(wǎng)絡(luò)中不同NE之間的交流。為了支持NE間的交流，EMS需要與更高一級(jí)的網(wǎng)絡(luò)管理 系統(tǒng)(WS)進(jìn)行通信，EMS、WS均是電信管理網(wǎng)絡(luò)(TMN)層次模型中的一元。對(duì)于時(shí)間維度，3GPP中要求，能夠采集到的性能數(shù)據(jù)的粒度，如5分鐘；用戶要求， 能夠查看到5分鐘、15分鐘、30分鐘60分鐘和1天粒度的歷史數(shù)據(jù)。這樣就要求，對(duì)于歷 史數(shù)據(jù)，對(duì)極端的情況，需要在用戶發(fā)出請(qǐng)求的時(shí)候把5分鐘的粒度合并為1天的粒度(這 里假設(shè)只對(duì)時(shí)間維度合并)，并且一個(gè)測量類型表中有時(shí)候有一百多個(gè)指標(biāo)(也就是表中 的列)，如果在內(nèi)存中進(jìn)行合并，這就需要耗費(fèi)大量的內(nèi)存。用戶需要查看的指標(biāo)并不完全 是簡單的計(jì)數(shù)器，經(jīng)?？赡苁沁€需要把簡單計(jì)數(shù)器經(jīng)過復(fù)雜的計(jì)算才能得到結(jié)果，這種情 況往往導(dǎo)致內(nèi)存溢出，即使內(nèi)存沒有溢出，用戶也需要等到很長的時(shí)間，甚至經(jīng)常會(huì)導(dǎo)致客 戶端的會(huì)話超時(shí)出現(xiàn)白屏。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題是提供一種數(shù)據(jù)處理方法及裝置，解決現(xiàn)有技術(shù)中存在 的頻繁地大數(shù)據(jù)量合并造成的大量內(nèi)存占用，導(dǎo)致內(nèi)存處理數(shù)據(jù)低效率，即查詢效率低的 問題。為解決上述技術(shù)問題，本發(fā)明的實(shí)施例提供一種數(shù)據(jù)處理方法，包括獲取根據(jù)原始粒度采集的第一數(shù)據(jù)；根據(jù)所述第一數(shù)據(jù)，進(jìn)行轉(zhuǎn)儲(chǔ)合并操作，得到至少一個(gè)第二粒度的第二數(shù)據(jù)，所述 第二粒度為所述原始粒度的整數(shù)倍，所述整數(shù)為大于1的整數(shù)；
接收查詢請(qǐng)求，獲取所述查詢請(qǐng)求的粒度，直接到具有所述查詢請(qǐng)求的粒度的數(shù) 據(jù)中進(jìn)行查詢。其中，所述根據(jù)所述第一數(shù)據(jù)，進(jìn)行轉(zhuǎn)儲(chǔ)合并操作，得到至少一個(gè)第二粒度的第二 數(shù)據(jù)的步驟具體為將所述第一數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并，得到所述至少一個(gè)第二粒度中粒度為所述原始粒度的 第N整數(shù)倍的第二數(shù)據(jù)；依次將所述至少一個(gè)第二粒度中粒度為所述原始粒度的第N整數(shù)倍的第二數(shù)據(jù) 轉(zhuǎn)儲(chǔ)合并，得到粒度為所述原始粒度的第2N整數(shù)倍的第二數(shù)據(jù)，其中，N為大于1的整數(shù)。其中，所述直接到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)中進(jìn)行查詢的步驟包括判斷查詢時(shí)間段的結(jié)束時(shí)間是否早于具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并 完成的時(shí)間，若是，則對(duì)粒度小于所述查詢請(qǐng)求的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述 查詢請(qǐng)求的粒度的數(shù)據(jù)；否則，從具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)中進(jìn)行查詢。其中，所述對(duì)粒度小于所述查詢請(qǐng)求的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述 查詢請(qǐng)求的粒度的數(shù)據(jù)的步驟包括對(duì)粒度為所述查詢請(qǐng)求的粒度1/2倍的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述 查詢請(qǐng)求的粒度的數(shù)據(jù)；若所述查詢時(shí)間段的結(jié)束時(shí)間還早于所述查詢請(qǐng)求的粒度1/2倍的粒度的數(shù)據(jù) 轉(zhuǎn)儲(chǔ)合并完成的時(shí)間，則對(duì)粒度為所述查詢請(qǐng)求的粒度1/4倍的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合 并，得到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)，直到對(duì)粒度為原始粒度的第一數(shù)據(jù)進(jìn)行合并，得 到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)。其中，所述第一數(shù)據(jù)以數(shù)據(jù)表的形式存儲(chǔ)，所述至少一個(gè)第二粒度的第二數(shù)據(jù)均 以所述數(shù)據(jù)表的形式存儲(chǔ)；或者所述第一數(shù)據(jù)以文件形式存儲(chǔ)，所述至少一個(gè)第二粒度的第二數(shù)據(jù)均以所述文件 的形式存儲(chǔ)。其中，所述粒度為時(shí)間粒度，所述數(shù)據(jù)表包括采集數(shù)據(jù)、采集時(shí)間和粒度；存儲(chǔ)第一數(shù)據(jù)的數(shù)據(jù)表中采集數(shù)據(jù)為所述第一數(shù)據(jù)；采集時(shí)間為所述第一數(shù)據(jù) 的采集時(shí)間，粒度為所述原始粒度；存儲(chǔ)第二數(shù)據(jù)的數(shù)據(jù)表中采集數(shù)據(jù)為所述第二數(shù)據(jù)；采集時(shí)間為轉(zhuǎn)儲(chǔ)合并的結(jié) 束時(shí)間；粒度為所述原始粒度的整數(shù)倍。其中，所述原始粒度為5分鐘，所述至少一個(gè)第二粒度包括15分鐘、30分鐘、60 分鐘和24小時(shí)。為解決上述技術(shù)問題，本發(fā)明的實(shí)施例還提供一種數(shù)據(jù)處理裝置，應(yīng)用于網(wǎng)管平 臺(tái)，該裝置包括采集模塊，用于獲取根據(jù)原始粒度采集的第一數(shù)據(jù)；轉(zhuǎn)儲(chǔ)模塊，用于根據(jù)所述第一數(shù)據(jù)，進(jìn)行轉(zhuǎn)儲(chǔ)合并操作，得到至少一個(gè)第二粒度的 第二數(shù)據(jù)，所述第二粒度為所述原始粒度的整數(shù)倍，所述整數(shù)為大于1的整數(shù)；查詢模塊，用于接收查詢請(qǐng)求，獲取所述查詢請(qǐng)求的粒度，直接到具有所述查詢請(qǐng) 求的粒度的數(shù)據(jù)中進(jìn)行查詢。其中，所述轉(zhuǎn)儲(chǔ)模塊包括
第一轉(zhuǎn)儲(chǔ)子模塊，用于將所述第一數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并，得到所述至少一個(gè)第二粒度中 粒度為所述原始粒度的第N整數(shù)倍的第二數(shù)據(jù)；第二轉(zhuǎn)儲(chǔ)子模塊，用于依次將所述至少一個(gè)第二粒度中粒度為所述原始粒度的第 N整數(shù)倍的第二數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并，得到粒度為所述原始粒度的第2N整數(shù)倍的第二數(shù)據(jù)，其中， N為大于1的整數(shù)。其中，所述查詢模塊包括判斷模塊，用于判斷查詢時(shí)間段的結(jié)束時(shí)間是否早于具有所述查詢請(qǐng)求的粒度的 數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成的時(shí)間，產(chǎn)生判斷結(jié)果；第一查詢子模塊，用于在所述判斷結(jié)果表明所述查詢時(shí)間段的結(jié)束時(shí)間早于具 有所述查詢請(qǐng)求的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成的時(shí)間時(shí)，對(duì)粒度小于所述查詢請(qǐng)求的粒度的 數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)；第二查詢子模塊，用于在所述判斷結(jié)果表明所述查詢時(shí)間段的結(jié)束時(shí)間晚于或 者等于具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成的時(shí)間時(shí)，從具有所述查詢請(qǐng)求的粒 度的數(shù)據(jù)中進(jìn)行查詢。本發(fā)明的上述技術(shù)方案的有益效果如下上述方案中，通過對(duì)原始粒度的第一數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到不同于原始粒度的 至少一個(gè)第二粒度的第二數(shù)據(jù)，在查詢時(shí)，只需要直接到查詢請(qǐng)求的粒度對(duì)應(yīng)的數(shù)據(jù)中查 詢即可，本發(fā)明的實(shí)施例的方案把轉(zhuǎn)儲(chǔ)合并數(shù)據(jù)的過程分解到數(shù)據(jù)轉(zhuǎn)儲(chǔ)中，避免了內(nèi)存處 理大批查詢結(jié)果時(shí)，導(dǎo)致內(nèi)存的大量占用，容易產(chǎn)生溢出的問題，提高了數(shù)據(jù)的查詢效率。


圖1為本發(fā)明的實(shí)施例數(shù)據(jù)處理方法的流程示意圖；圖2為本發(fā)明的實(shí)施例數(shù)據(jù)處理裝置的結(jié)構(gòu)示意圖；圖3為圖2所示裝置的具體應(yīng)用場景示意圖。
具體實(shí)施例方式為使本發(fā)明要解決的技術(shù)問題、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具 體實(shí)施例進(jìn)行詳細(xì)描述。本發(fā)明針對(duì)現(xiàn)有網(wǎng)管平臺(tái)對(duì)歷史數(shù)據(jù)查詢時(shí)，由內(nèi)存頻繁進(jìn)行大數(shù)據(jù)量的合并， 容易導(dǎo)致內(nèi)存溢出，處理數(shù)據(jù)效率低的問題，提供一種降低內(nèi)存處理數(shù)據(jù)量的數(shù)據(jù)處理方 法及裝置，解決了現(xiàn)有技術(shù)中存在的頻繁地大數(shù)據(jù)量合并造成的大量內(nèi)存占用，導(dǎo)致內(nèi)存 處理數(shù)據(jù)低效率的問題。如圖1所示，為本發(fā)明的實(shí)施例一種數(shù)據(jù)處理方法，包括步驟11，獲取根據(jù)原始粒度采集的第一數(shù)據(jù)；如網(wǎng)管平臺(tái)將從業(yè)務(wù)前臺(tái)NE按照原始粒度采集的數(shù)據(jù)為第一數(shù)據(jù)，可以以數(shù)據(jù) 表的形式存入一原始數(shù)據(jù)表中，也可以以文件形式存儲(chǔ)；步驟12，根據(jù)所述第一數(shù)據(jù)，進(jìn)行轉(zhuǎn)儲(chǔ)合并操作，得到至少一個(gè)第二粒度的第二數(shù) 據(jù)，所述第二粒度為所述原始粒度的整數(shù)倍，所述整數(shù)為大于1的整數(shù)；如，根據(jù)常用的粒度創(chuàng)建用來存放各個(gè)粒度數(shù)據(jù)的數(shù)據(jù)表，即創(chuàng)建至少一個(gè)第二粒度的第二數(shù)據(jù)的數(shù)據(jù)表，該第二數(shù)據(jù)也可以以文件形式存儲(chǔ)，但無論用哪一種形式存儲(chǔ)， 第一數(shù)據(jù)和該至少一個(gè)第二粒度的第二數(shù)據(jù)的存儲(chǔ)形式一致即可；另外，該步驟中，第二粒 度為原始粒度的整數(shù)倍，舉例說明，如以時(shí)間粒度為例，原始粒度為5分鐘，則該至少一個(gè) 第二粒度包括15分鐘，30分鐘，60分鐘，24小時(shí)(即1天)等，當(dāng)然也可以包括10分鐘； 該原始粒度是根據(jù)網(wǎng)管平臺(tái)的實(shí)際需求而確定，并不限于是5分鐘，而至少一個(gè)第二粒度 可以是該原始粒度的不同整數(shù)倍；步驟13，接收查詢請(qǐng)求，獲取所述查詢請(qǐng)求的粒度，直接到具有所述查詢請(qǐng)求的粒 度的數(shù)據(jù)中進(jìn)行查詢。該實(shí)施例中，通過對(duì)原始粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到不同于原始粒度的至少 一個(gè)第二粒度的第二數(shù)據(jù)，在查詢時(shí)，只需要直接到查詢請(qǐng)求的粒度對(duì)應(yīng)的數(shù)據(jù)中查詢即 可，本發(fā)明的實(shí)施例的方案把轉(zhuǎn)儲(chǔ)合并數(shù)據(jù)的過程分解到數(shù)據(jù)轉(zhuǎn)儲(chǔ)中，避免了內(nèi)存處理大 批查詢結(jié)果時(shí)，導(dǎo)致內(nèi)存的大量占用，容易產(chǎn)生溢出的問題，提高了數(shù)據(jù)的查詢效率。其中，在上述步驟12中，對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并時(shí)，具體來講，是首先將所述第一數(shù) 據(jù)轉(zhuǎn)儲(chǔ)合并，得到所述至少一個(gè)第二粒度中粒度為所述原始粒度的第N整數(shù)倍的第二數(shù) 據(jù)；依次將所述至少一個(gè)第二粒度中粒度為所述原始粒度的第N整數(shù)倍的第二數(shù)據(jù) 轉(zhuǎn)儲(chǔ)合并，得到粒度為所述原始粒度的第2N整數(shù)倍的第二數(shù)據(jù)，其中，N為大于1的整數(shù)。如，原始粒度為5分鐘，該至少一個(gè)第二粒度包括15分鐘，30分鐘，60分鐘，則該 15分鐘的數(shù)據(jù)是由3個(gè)5分鐘的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并得到的，30分鐘的數(shù)據(jù)是由2個(gè)15分鐘的 數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并得到的，60分鐘的數(shù)據(jù)是由2個(gè)30分鐘的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并得到的；另外，上述所述第一數(shù)據(jù)以數(shù)據(jù)表的形式存儲(chǔ)，所述至少一個(gè)第二粒度的第二數(shù) 據(jù)均以所述數(shù)據(jù)表的形式存儲(chǔ)；或者所述第一數(shù)據(jù)以文件形式存儲(chǔ)，所述至少一個(gè)第二粒 度的第二數(shù)據(jù)均以所述文件的形式存儲(chǔ)。以上述粒度為時(shí)間粒度為例，所述數(shù)據(jù)表包括采集數(shù)據(jù)、采集時(shí)間和粒度；如原 始粒度為5分鐘，則存儲(chǔ)第一數(shù)據(jù)的數(shù)據(jù)表為5分鐘粒度表，存儲(chǔ)第二數(shù)據(jù)的數(shù)據(jù)表為如 15分鐘、30分鐘、60分鐘和24小時(shí)(即1天)的粒度表；實(shí)際實(shí)現(xiàn)中，存儲(chǔ)第二數(shù)據(jù)的數(shù)據(jù)表需要?jiǎng)?chuàng)建，新創(chuàng)建的存儲(chǔ)第二數(shù)據(jù)的數(shù)據(jù)表 與原始粒度的數(shù)據(jù)表的所有屬性定義均一致，即所述存儲(chǔ)第一數(shù)據(jù)的數(shù)據(jù)表中采集數(shù)據(jù) 為所述第一數(shù)據(jù)；采集時(shí)間為所述第一數(shù)據(jù)的采集時(shí)間，粒度為所述原始粒度；所述存儲(chǔ) 第二數(shù)據(jù)的數(shù)據(jù)表中采集數(shù)據(jù)為所述第二數(shù)據(jù)；采集時(shí)間為轉(zhuǎn)儲(chǔ)合并的結(jié)束時(shí)間；粒度 為所述原始粒度的整數(shù)倍。存儲(chǔ)第一數(shù)據(jù)的數(shù)據(jù)表和新創(chuàng)建的存儲(chǔ)第二數(shù)據(jù)的數(shù)據(jù)表只是 表名不一樣而已。把從前臺(tái)業(yè)務(wù)采集的數(shù)據(jù)插入到原始粒度的數(shù)據(jù)表中，原始粒度的數(shù)據(jù)表中存放 的是從前臺(tái)上報(bào)的原始粒度的數(shù)據(jù)，不經(jīng)過任何處理。在將數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并時(shí)，先把5分鐘粒度的表中的數(shù)據(jù)合并為15分鐘插入到15 分鐘表中，再把15分鐘粒度的的表中的數(shù)據(jù)合并到30分鐘的表中，依次把低粒度的數(shù)據(jù)合 并后插入到高粒度表中。這里轉(zhuǎn)儲(chǔ)合并的時(shí)候，并不會(huì)對(duì)低粒度表中的數(shù)據(jù)進(jìn)行刪除或修 改，不影響低粒度表中的數(shù)據(jù)。轉(zhuǎn)儲(chǔ)合并的時(shí)候，先判斷最新粒度的時(shí)間是否是該粒度表對(duì)應(yīng)粒度的整數(shù)倍，如果是那么再進(jìn)行轉(zhuǎn)儲(chǔ)，否則不進(jìn)行轉(zhuǎn)儲(chǔ)。比如說，當(dāng)前粒度的時(shí)間是10:00:00，那么15分 鐘、30分鐘、1小時(shí)的數(shù)據(jù)都進(jìn)行轉(zhuǎn)儲(chǔ)；如果當(dāng)前粒度的時(shí)間是10:05:00，那么所有粒度都 不進(jìn)行轉(zhuǎn)儲(chǔ)；如果當(dāng)前粒度的時(shí)間是10:15:00，那么15分鐘的粒度進(jìn)行轉(zhuǎn)儲(chǔ)，其它粒度不 進(jìn)行轉(zhuǎn)儲(chǔ)；天粒度是在每天的24:00:00進(jìn)行轉(zhuǎn)儲(chǔ)。當(dāng)粒度不全的時(shí)候，不進(jìn)行轉(zhuǎn)儲(chǔ)合并。比如說，當(dāng)把數(shù)據(jù)從5分鐘表轉(zhuǎn)儲(chǔ)合并到15 分鐘表時(shí)，必須15分鐘之內(nèi)的3個(gè)5分鐘粒度都存在才進(jìn)行轉(zhuǎn)儲(chǔ)合并，否則不進(jìn)行轉(zhuǎn)儲(chǔ)合并。轉(zhuǎn)儲(chǔ)合并的時(shí)候，為了不給原有系統(tǒng)造成負(fù)擔(dān)，判斷系統(tǒng)是否忙碌，在系統(tǒng)空閑的 時(shí)候進(jìn)行轉(zhuǎn)儲(chǔ)。另外，上述步驟13中，直接到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)中進(jìn)行查詢時(shí)，判 斷查詢時(shí)間段的結(jié)束時(shí)間是否早于具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成的時(shí)間， 若是，則對(duì)粒度小于所述查詢請(qǐng)求的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述查詢請(qǐng)求的 粒度的數(shù)據(jù)；否則，從具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)中進(jìn)行查詢。其中，對(duì)粒度小于所述查詢請(qǐng)求的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述查詢 請(qǐng)求的粒度的數(shù)據(jù)的實(shí)現(xiàn)過程包括對(duì)粒度為所述查詢請(qǐng)求的粒度1/2倍的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述 查詢請(qǐng)求的粒度的數(shù)據(jù)；若所述查詢時(shí)間段的結(jié)束時(shí)間還早于所述查詢請(qǐng)求的粒度1/2倍的粒度的數(shù)據(jù) 轉(zhuǎn)儲(chǔ)合并完成的時(shí)間，則對(duì)粒度為所述查詢請(qǐng)求的粒度1/4倍的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合 并，得到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)，直到對(duì)粒度為原始粒度的第一數(shù)據(jù)進(jìn)行合并，得 到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)。如在查詢數(shù)據(jù)的時(shí)候，根據(jù)查詢請(qǐng)求中的粒度，判斷優(yōu)先從哪個(gè)表中獲取數(shù)據(jù)，判 斷的規(guī)則是從最接近請(qǐng)求粒度的低粒度表中查詢數(shù)據(jù)，比如請(qǐng)求粒度是30分鐘，那么就從 30分鐘的粒度表中獲取數(shù)據(jù)，如果30分鐘粒度的數(shù)據(jù)還沒有轉(zhuǎn)儲(chǔ)合并完成(因?yàn)閿?shù)據(jù)從一 個(gè)表轉(zhuǎn)儲(chǔ)合并到另一個(gè)表中時(shí)，需要耗費(fèi)一定的時(shí)間，并不一定會(huì)在規(guī)定的如9:00完成15 分鐘的轉(zhuǎn)儲(chǔ)合并，30分鐘的轉(zhuǎn)儲(chǔ)合并和1小時(shí)的轉(zhuǎn)儲(chǔ)合并，而常常會(huì)延遲一定的時(shí)間)，那 么就從15分鐘的粒度查詢進(jìn)行合并，以此類推。判斷一個(gè)表中的數(shù)據(jù)是否已經(jīng)進(jìn)行了轉(zhuǎn)儲(chǔ)，是先用請(qǐng)求查詢時(shí)間段的結(jié)束時(shí)間進(jìn) 行查詢，如果查詢時(shí)間段的結(jié)束時(shí)間晚于該轉(zhuǎn)儲(chǔ)合并完成的時(shí)間點(diǎn)，那么就認(rèn)為已經(jīng)轉(zhuǎn)儲(chǔ) 成功了，如查詢時(shí)間段為9 00-9 30，查詢請(qǐng)求的粒度為30分鐘，而9 30這一時(shí)刻，30分鐘 的表并沒有從15分鐘的表合并完成，因此，就需要將9:30這一時(shí)刻完成的15分鐘的表和 9:15這一時(shí)刻完成的15分鐘的表進(jìn)行合并，得到查詢請(qǐng)求的30分鐘的數(shù)據(jù)。依次類推，若 9:30這一時(shí)刻的15分鐘的表還沒有轉(zhuǎn)儲(chǔ)合并完成，則需要從5分鐘的表進(jìn)行合并。本發(fā)明的上述實(shí)施例中，是以時(shí)間粒度為例進(jìn)行說明，當(dāng)然，根據(jù)不同情況下的需 要，不僅對(duì)時(shí)間上進(jìn)行分表存儲(chǔ)，還可以對(duì)位置、時(shí)間段等情況來進(jìn)行分表。對(duì)位置和時(shí)間 段進(jìn)行分表的實(shí)現(xiàn)過程與上述按時(shí)間進(jìn)行分表的過程類似，如，位置是指網(wǎng)管平臺(tái)中針對(duì) 不同網(wǎng)元進(jìn)行的，而時(shí)間段指每隔10天或者1個(gè)月，進(jìn)行如上述實(shí)施例所述的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合 并方法，詳細(xì)過程不再贅述。綜上，本發(fā)明的數(shù)據(jù)處理方法，與現(xiàn)有技術(shù)相比，在查詢過程中，把合并數(shù)據(jù)的過程分解到數(shù)據(jù)轉(zhuǎn)儲(chǔ)中，把原來需要在內(nèi)存中處理的數(shù)據(jù)轉(zhuǎn)移到數(shù)據(jù)庫表或者文件中，避免 了在處理大批查詢結(jié)果時(shí)導(dǎo)致的系統(tǒng)內(nèi)存的大量占用，提高查詢效率，達(dá)到了降低查詢時(shí) 系統(tǒng)內(nèi)存占用的效果。如圖2所示，本發(fā)明的實(shí)施例還提供一種數(shù)據(jù)處理裝置20，應(yīng)用于網(wǎng)管平臺(tái)，該數(shù) 據(jù)處理裝置20包括采集模塊21，用于獲取根據(jù)原始粒度采集的第一數(shù)據(jù)；如網(wǎng)管平臺(tái)將從業(yè)務(wù)前臺(tái)NE(網(wǎng)元)按照原始粒度采集的數(shù)據(jù)為第一數(shù)據(jù)，該第 一數(shù)據(jù)可以以數(shù)據(jù)表的形式存儲(chǔ)，也可以以文件形式存儲(chǔ)；其中，該原始粒度為網(wǎng)管后臺(tái)定 義的采集粒度；轉(zhuǎn)儲(chǔ)模塊22，用于根據(jù)所述第一數(shù)據(jù)，進(jìn)行轉(zhuǎn)儲(chǔ)合并操作，得到至少一個(gè)第二粒度 的第二數(shù)據(jù)，所述第二粒度為所述原始粒度的整數(shù)倍，所述整數(shù)為大于1的整數(shù)；如，根據(jù)常用的粒度創(chuàng)建用來存放各個(gè)第二粒度的數(shù)據(jù)的數(shù)據(jù)表或者文件，第一 數(shù)據(jù)和該第二數(shù)據(jù)的存儲(chǔ)形式一致，即第一數(shù)據(jù)用數(shù)據(jù)表形式存儲(chǔ)時(shí)，第二數(shù)據(jù)也用數(shù)據(jù) 表形式存儲(chǔ)，第一數(shù)據(jù)用文件形式存儲(chǔ)時(shí)，第二數(shù)據(jù)也用文件形式存儲(chǔ)；另外，該模塊中，第 二數(shù)據(jù)的粒度，即第二粒度為原始粒度的整數(shù)倍，該整數(shù)為大于1的整數(shù)，舉例說明，如以 時(shí)間粒度為例，原始粒度為5分鐘，則該第二數(shù)據(jù)的粒度為15分鐘，30分鐘，60分鐘，24小 時(shí)(即1天)等，該原始粒度是根據(jù)網(wǎng)管平臺(tái)的實(shí)際需求而確定，并不限于是5分鐘；查詢模塊23，用于接收查詢請(qǐng)求，獲取所述查詢請(qǐng)求的粒度，直接到具有所述查詢 請(qǐng)求的粒度的數(shù)據(jù)中進(jìn)行查詢其中，所述轉(zhuǎn)儲(chǔ)模塊22包括第一轉(zhuǎn)儲(chǔ)子模塊，用于將所述第一數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并，得到所述至少一個(gè)第二粒度中 粒度為所述原始粒度的第N整數(shù)倍的第二數(shù)據(jù)；第二轉(zhuǎn)儲(chǔ)子模塊，用于依次將所述至少一個(gè)第二粒度中粒度為所述原始粒度的第 N整數(shù)倍的第二數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并，得到粒度為所述原始粒度的第2N整數(shù)倍的第二數(shù)據(jù)，其中， N為大于1的整數(shù)。這些模塊中的數(shù)據(jù)轉(zhuǎn)儲(chǔ)負(fù)責(zé)低粒度的數(shù)據(jù)通過時(shí)間合并之后插入到高粒度表， 如，15分鐘粒度表的數(shù)據(jù)是經(jīng)過5分鐘粒度合并得來的，15分鐘的粒度合并為30分鐘的粒 度，依次合并。其中，所述查詢模塊23包括判斷模塊，用于判斷查詢時(shí)間段的結(jié)束時(shí)間是否早于具有所述查詢請(qǐng)求的粒度的 數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成的時(shí)間，產(chǎn)生判斷結(jié)果；第一查詢子模塊，用于在所述判斷結(jié)果表明所述查詢時(shí)間段的結(jié)束時(shí)間早于具 有所述查詢請(qǐng)求的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成的時(shí)間時(shí)，對(duì)粒度小于所述查詢請(qǐng)求的粒度的 數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)；其中，對(duì)粒度小于所述查詢請(qǐng)求的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述查詢 請(qǐng)求的粒度的數(shù)據(jù)的具體實(shí)現(xiàn)過程包括對(duì)粒度為所述查詢請(qǐng)求的粒度1/2倍的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述 查詢請(qǐng)求的粒度的數(shù)據(jù)；若所述查詢時(shí)間段的結(jié)束時(shí)間還早于所述查詢請(qǐng)求的粒度1/2倍的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成的時(shí)間，則對(duì)粒度為所述查詢請(qǐng)求的粒度1/4倍的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合 并，得到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)，直到對(duì)粒度為原始粒度的第一數(shù)據(jù)進(jìn)行合并，得 到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)；第二查詢子模塊，用于在所述判斷結(jié)果表明所述查詢時(shí)間段的結(jié)束時(shí)間晚于或 者等于具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成的時(shí)間時(shí)，從具有所述查詢請(qǐng)求的粒 度的數(shù)據(jù)中進(jìn)行查詢。另外，需要說明的是上述圖1所示方法的所有特征均適用于該數(shù)據(jù)處理裝置20 的實(shí)施例中。下面結(jié)合具體應(yīng)用實(shí)例說明上述數(shù)據(jù)處理裝置20的應(yīng)用流程如圖3所示，為數(shù)據(jù)處理裝置20在電信網(wǎng)管系統(tǒng)中的位置示意圖，客戶端查詢請(qǐng) 求，需要調(diào)用查詢模塊23來進(jìn)行用戶需要的粒度的查；QOS查詢請(qǐng)求，需要調(diào)用查詢模塊23來進(jìn)行門限閥值的計(jì)算；北向查詢請(qǐng)求，需要調(diào)用查詢模塊23來進(jìn)行數(shù)據(jù)的查詢請(qǐng)求分析；數(shù)據(jù)上報(bào)查詢請(qǐng)求，需要調(diào)用查詢模塊23來進(jìn)行數(shù)據(jù)查詢?nèi)缓笊蠄?bào)。而轉(zhuǎn)儲(chǔ)模塊22，采集模塊21均和上述圖2所示的功能的作用相同，在此不再贅 述；綜上所述，本發(fā)明的方案對(duì)電信管理網(wǎng)中歷史數(shù)據(jù)的查詢分析進(jìn)行了優(yōu)化，借助 本發(fā)明的技術(shù)方案，能夠優(yōu)化查詢效率和降低大數(shù)據(jù)查詢時(shí)對(duì)系統(tǒng)內(nèi)存的消耗。以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員 來說，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進(jìn)和潤飾，這些改進(jìn)和潤飾也 應(yīng)視為本發(fā)明的保護(hù)范圍。
權(quán)利要求
一種數(shù)據(jù)處理方法，其特征在于，包括獲取根據(jù)原始粒度采集的第一數(shù)據(jù)；根據(jù)所述第一數(shù)據(jù)，進(jìn)行轉(zhuǎn)儲(chǔ)合并操作，得到至少一個(gè)第二粒度的第二數(shù)據(jù)，所述第二粒度為所述原始粒度的整數(shù)倍，所述整數(shù)為大于1的整數(shù)；接收查詢請(qǐng)求，獲取所述查詢請(qǐng)求的粒度，直接到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)中進(jìn)行查詢。
2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述第一數(shù)據(jù)，進(jìn)行轉(zhuǎn) 儲(chǔ)合并操作，得到至少一個(gè)第二粒度的第二數(shù)據(jù)的步驟具體為將所述第一數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并，得到所述至少一個(gè)第二粒度中粒度為所述原始粒度的第N 整數(shù)倍的第二數(shù)據(jù)；依次將所述至少一個(gè)第二粒度中粒度為所述原始粒度的第N整數(shù)倍的第二數(shù)據(jù)轉(zhuǎn)儲(chǔ) 合并，得到粒度為所述原始粒度的第2N整數(shù)倍的第二數(shù)據(jù)，其中，N為大于1的整數(shù)。
3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述直接到具有所述查詢請(qǐng)求 的粒度的數(shù)據(jù)中進(jìn)行查詢的步驟包括判斷查詢時(shí)間段的結(jié)束時(shí)間是否早于具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成 的時(shí)間，若是，則對(duì)粒度小于所述查詢請(qǐng)求的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述查詢 請(qǐng)求的粒度的數(shù)據(jù)；否則，從具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)中進(jìn)行查詢。
4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)處理方法，其特征在于，所述對(duì)粒度小于所述查詢請(qǐng)求 的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)的步驟包括對(duì)粒度為所述查詢請(qǐng)求的粒度1/2倍的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述查詢 請(qǐng)求的粒度的數(shù)據(jù)；若所述查詢時(shí)間段的結(jié)束時(shí)間還早于所述查詢請(qǐng)求的粒度1/2倍的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ) 合并完成的時(shí)間，則對(duì)粒度為所述查詢請(qǐng)求的粒度1/4倍的粒度的數(shù)據(jù)進(jìn)行轉(zhuǎn)儲(chǔ)合并，得 到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)，直到對(duì)粒度為原始粒度的第一數(shù)據(jù)進(jìn)行合并，得到具 有所述查詢請(qǐng)求的粒度的數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述第一數(shù)據(jù)以數(shù)據(jù)表的形式 存儲(chǔ)，所述至少一個(gè)第二粒度的第二數(shù)據(jù)均以所述數(shù)據(jù)表的形式存儲(chǔ)；或者所述第一數(shù)據(jù)以文件形式存儲(chǔ)，所述至少一個(gè)第二粒度的第二數(shù)據(jù)均以所述文件的形 式存儲(chǔ)。
6.根據(jù)權(quán)利要求5所述的數(shù)據(jù)處理方法，其特征在于，所述粒度為時(shí)間粒度，所述數(shù)據(jù) 表包括采集數(shù)據(jù)、采集時(shí)間和粒度；存儲(chǔ)第一數(shù)據(jù)的數(shù)據(jù)表中采集數(shù)據(jù)為所述第一數(shù)據(jù)；采集時(shí)間為所述第一數(shù)據(jù)的采 集時(shí)間，粒度為所述原始粒度；存儲(chǔ)第二數(shù)據(jù)的數(shù)據(jù)表中采集數(shù)據(jù)為所述第二數(shù)據(jù)；采集時(shí)間為轉(zhuǎn)儲(chǔ)合并的結(jié)束時(shí) 間；粒度為所述原始粒度的整數(shù)倍。
7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)處理方法，其特征在于，所述原始粒度為5分鐘，所述至 少一個(gè)第二粒度包括15分鐘、30分鐘、60分鐘和24小時(shí)。
8.一種數(shù)據(jù)處理裝置，應(yīng)用于網(wǎng)管平臺(tái)，其特征在于，該裝置包括采集模塊，用于獲取根據(jù)原始粒度采集的第一數(shù)據(jù)；轉(zhuǎn)儲(chǔ)模塊，用于根據(jù)所述第一數(shù)據(jù)，進(jìn)行轉(zhuǎn)儲(chǔ)合并操作，得到至少一個(gè)第二粒度的第二 數(shù)據(jù)，所述第二粒度為所述原始粒度的整數(shù)倍，所述整數(shù)為大于1的整數(shù)；查詢模塊，用于接收查詢請(qǐng)求，獲取所述查詢請(qǐng)求的粒度，直接到具有所述查詢請(qǐng)求的 粒度的數(shù)據(jù)中進(jìn)行查詢。
9.根據(jù)權(quán)利要求8所述的數(shù)據(jù)處理裝置，其特征在于，所述轉(zhuǎn)儲(chǔ)模塊包括第一轉(zhuǎn)儲(chǔ)子模塊，用于將所述第一數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并，得到所述至少一個(gè)第二粒度中粒度 為所述原始粒度的第N整數(shù)倍的第二數(shù)據(jù)；第二轉(zhuǎn)儲(chǔ)子模塊，用于依次將所述至少一個(gè)第二粒度中粒度為所述原始粒度的第N整 數(shù)倍的第二數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并，得到粒度為所述原始粒度的第2N整數(shù)倍的第二數(shù)據(jù)，其中，N為 大于1的整數(shù)。
10.根據(jù)權(quán)利要求8或9所述的數(shù)據(jù)處理裝置，其特征在于，所述查詢模塊包括判斷模塊，用于判斷查詢時(shí)間段的結(jié)束時(shí)間是否早于具有所述查詢請(qǐng)求的粒度的數(shù)據(jù) 轉(zhuǎn)儲(chǔ)合并完成的時(shí)間，產(chǎn)生判斷結(jié)果；第一查詢子模塊，用于在所述判斷結(jié)果表明所述查詢時(shí)間段的結(jié)束時(shí)間早于具有所 述查詢請(qǐng)求的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成的時(shí)間時(shí)，對(duì)粒度小于所述查詢請(qǐng)求的粒度的數(shù)據(jù) 進(jìn)行轉(zhuǎn)儲(chǔ)合并，得到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)；第二查詢子模塊，用于在所述判斷結(jié)果表明所述查詢時(shí)間段的結(jié)束時(shí)間晚于或者等 于具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)轉(zhuǎn)儲(chǔ)合并完成的時(shí)間時(shí)，從具有所述查詢請(qǐng)求的粒度的 數(shù)據(jù)中進(jìn)行查詢。
全文摘要
本發(fā)明提供一種數(shù)據(jù)處理方法及裝置，其中方法包括獲取根據(jù)原始粒度采集的第一數(shù)據(jù)；根據(jù)所述第一數(shù)據(jù)，進(jìn)行轉(zhuǎn)儲(chǔ)合并操作，得到至少一個(gè)第二粒度的第二數(shù)據(jù)，所述第二粒度為所述原始粒度的整數(shù)倍，所述整數(shù)為大于1的整數(shù)；接收查詢請(qǐng)求，獲取所述查詢請(qǐng)求的粒度，直接到具有所述查詢請(qǐng)求的粒度的數(shù)據(jù)中進(jìn)行查詢。本發(fā)明的方案降低了內(nèi)存處理數(shù)據(jù)的量，提高了數(shù)據(jù)的查詢效率。
文檔編號(hào)H04W24/00GK101997701SQ20091009085
公開日2011年3月30日 申請(qǐng)日期2009年8月10日 優(yōu)先權(quán)日2009年8月10日
發(fā)明者胡薇, 陳勇華 申請(qǐng)人:中興通訊股份有限公司