專利名稱：一種海量數(shù)據(jù)的整合方法
技術(shù)領(lǐng)域：
本發(fā)明屬于信息技術(shù)領(lǐng)域，尤其涉及一種海量數(shù)據(jù)的整合方法。
背景技術(shù)：
隨著社會(huì)信息化的日益發(fā)展，數(shù)據(jù)庫技術(shù)已得到了廣泛的應(yīng)用。在企業(yè)的日常業(yè)務(wù)處理中，數(shù)據(jù)的分析相當(dāng)重要?？梢缘贸鱿到y(tǒng)運(yùn)行狀況，并為下一步的決策打好基礎(chǔ)。目前，在容量龐大的數(shù)據(jù)庫系統(tǒng)中，由于后臺(tái)數(shù)據(jù)表的設(shè)計(jì)缺乏合理性，統(tǒng)計(jì)數(shù)據(jù)的提取往往比較慢，嚴(yán)重影響了操作人員的工作效率，同樣也造成了服務(wù)器資源的浪費(fèi)。

發(fā)明內(nèi)容
本發(fā)明提供一種海量數(shù)據(jù)的整合方法以解決上述問題。本發(fā)明提供一種海量數(shù)據(jù)的整合方法，包括以下步驟。將用戶行為記錄到日志表中。獲取日志表中滿足第一預(yù)設(shè)條件的數(shù)據(jù)，并導(dǎo)出到第一匯總表中。設(shè)置第二預(yù)設(shè)條件，并獲取所述日志表中滿足第二預(yù)設(shè)條件的數(shù)據(jù)，導(dǎo)出到第二匯總表中。將所述第一匯總表及第二匯總表合并到merge表中。相較于先前技術(shù)，根據(jù)本發(fā)明提供的海量數(shù)據(jù)的整合方法，將用戶行為記錄到日志表中。獲取日志表中滿足第一預(yù)設(shè)條件的數(shù)據(jù)，并導(dǎo)出到第一匯總表中。設(shè)置第二預(yù)設(shè)條件，并獲取所述日志表中滿足第二預(yù)設(shè)條件的數(shù)據(jù)，導(dǎo)出到第二匯總表中。將所述第一匯總表及第二匯總表合并到merge表中。如此，有效提高了統(tǒng)計(jì)數(shù)據(jù)的提取速度。


此處所說明的附圖用來提供對(duì)本發(fā)明的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對(duì)本發(fā)明的不當(dāng)限定。在附圖中:圖1所示為根據(jù)本發(fā)明的較佳實(shí)施例提供的海量數(shù)據(jù)的整合方法的流程圖。
具體實(shí)施例方式下文中將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。圖1所示為根據(jù)本發(fā)明的較佳實(shí)施例提供的海量數(shù)據(jù)的整合方法的流程圖。如圖1所示，本發(fā)明的較佳實(shí)施例提供的海量數(shù)據(jù)的整合方法包括步驟IOf 104。步驟101:將用戶行為記錄到日志表中。具體而言，所述用戶行為，包括對(duì)數(shù)據(jù)庫的查詢、修改、添加及刪除操作。步驟102:獲取日志表中滿足第一預(yù)設(shè)條件的數(shù)據(jù)，并導(dǎo)出到第一匯總表中。具體而言，所述第一匯總表，可存儲(chǔ)一天或指定天數(shù)的滿足所述第一預(yù)設(shè)條件的數(shù)據(jù)。步驟103:設(shè)置第二預(yù)設(shè)條件，并獲取所述日志表中滿足第二預(yù)設(shè)條件的數(shù)據(jù)，導(dǎo)出到第二匯總表中。具體而言，當(dāng)所述第一匯總表中數(shù)據(jù)量達(dá)到預(yù)警值時(shí)，設(shè)置所述第二預(yù)設(shè)條件。所述第二預(yù)設(shè)條件，可以與所述第一預(yù)設(shè)條件在相同方面作限制，也可以于其它方面作不同限制，對(duì)此本發(fā)明并不作限定。于本實(shí)施例中，所述第一匯總表及第二匯總表存儲(chǔ)預(yù)設(shè)天數(shù)的所述導(dǎo)出數(shù)據(jù)。步驟104:將所述第一匯總表及第二匯總表合并到merge表中。具體而言，根據(jù)系統(tǒng)管理員的查詢命令，若需查詢某天的用戶行為統(tǒng)計(jì)信息，則系統(tǒng)在所述第一匯總表或第二匯總表中查詢。若需查詢指定時(shí)間段的用戶行為統(tǒng)計(jì)信息，則系統(tǒng)在所述merge表中查詢。于本實(shí)施例中，周期性對(duì)所述第一匯總表、第二匯總表及merge表進(jìn)行備份及刪除。于其它實(shí)施例中，可自行設(shè)置所述第一匯總表、第二匯總表及merge表的備份方式,對(duì)此本發(fā)明并不作限定。舉例而言，若2012年5月4日的日志表表名為:user_action_log_20120504，所述日志表中存在age及grade字段。第一預(yù)設(shè)條件為age>10，且第一匯總表的數(shù)據(jù)量預(yù)警值為I萬條。系統(tǒng)獲取所述日志表中age>10的數(shù)據(jù)，導(dǎo)出到第一匯總表中。當(dāng)所述第一匯總表中數(shù)據(jù)量達(dá)到I萬條時(shí)，設(shè)置第二預(yù)設(shè)條件為grade>3，并將所述grade>3的數(shù)據(jù)導(dǎo)出到第二匯總表中。于本實(shí)施例中，系統(tǒng)每天將所述第一及第二匯總表中前一天的數(shù)據(jù)匯總到merge表中，并將所述第一及第二匯總表中前一天的導(dǎo)出數(shù)據(jù)刪除，以便于所述第一及第二匯總表繼續(xù)存儲(chǔ)接下來的導(dǎo)出數(shù)據(jù)。若系統(tǒng)接收到的查詢指令中包含的日期為所述第一及第二匯總表當(dāng)前數(shù)據(jù)的對(duì)應(yīng)日期，則到所述第一及第二匯總表中查詢。若所述查詢指令中包含的日期為指定指定時(shí)間段，則系統(tǒng)到merge表中查詢。綜上所述，根據(jù)本發(fā)明較佳實(shí)施例提供的海量數(shù)據(jù)的整合方法，將用戶行為記錄到日志表中。獲取日志表中滿足第一預(yù)設(shè)條件的數(shù)據(jù)，并導(dǎo)出到第一匯總表中。設(shè)置第二預(yù)設(shè)條件，并獲取所述日志表中滿足第二預(yù)設(shè)條件的數(shù)據(jù)，導(dǎo)出到第二匯總表中。將所述第一匯總表及第二匯總表合并到merge表中。如此，有效提高了統(tǒng)計(jì)數(shù)據(jù)的提取速度。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來說，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種海量數(shù)據(jù)的整合方法，其特征在于，包括以下步驟: 將用戶行為記錄到日志表中； 獲取日志表中滿足第一預(yù)設(shè)條件的數(shù)據(jù)，并導(dǎo)出到第一匯總表中； 設(shè)置第二預(yù)設(shè)條件，并獲取所述日志表中滿足第二預(yù)設(shè)條件的數(shù)據(jù)，導(dǎo)出到第二匯總表中； 將所述第一匯總表及第二匯總表合并到merge表中。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，當(dāng)所述第一匯總表中數(shù)據(jù)量達(dá)到預(yù)警值時(shí)，設(shè)置所述第二預(yù)設(shè)條件。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一匯總表及第二匯總表存儲(chǔ)預(yù)設(shè)天數(shù)的所述導(dǎo)出數(shù)據(jù)。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，若需查詢某天的用戶行為統(tǒng)計(jì)信息，則到所述第一匯總表或第二匯總表中查詢。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，若需查詢指定時(shí)間段的用戶行為統(tǒng)計(jì)信息，則到所述merge表中查詢。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，周期性對(duì)所述第一匯總表、第二匯總表及merge表進(jìn)行備份及刪除。
全文摘要
本發(fā)明提供一種海量數(shù)據(jù)的整合方法，包括以下步驟。將用戶行為記錄到日志表中。獲取日志表中滿足第一預(yù)設(shè)條件的數(shù)據(jù)，并導(dǎo)出到第一匯總表中。設(shè)置第二預(yù)設(shè)條件，并獲取所述日志表中滿足第二預(yù)設(shè)條件的數(shù)據(jù)，導(dǎo)出到第二匯總表中。將所述第一匯總表及第二匯總表合并到merge表中。
文檔編號(hào)G06F17/30GK103218426SQ201310116968
公開日2013年7月24日 申請(qǐng)日期2013年4月5日 優(yōu)先權(quán)日2013年4月5日
發(fā)明者不公告發(fā)明人 申請(qǐng)人:蘇州聯(lián)訊達(dá)軟件有限公司