1.一種集群數(shù)據(jù)實時查詢方法,其特征在于,包括以下步驟:
獲取客戶端的查詢請求,所述查詢請求攜帶查詢數(shù)據(jù)的地址內(nèi)容;
將所述查詢請求發(fā)送至Hadoop集群數(shù)據(jù)平臺的Hbase數(shù)據(jù)庫接口并讀取查詢數(shù)據(jù);
將所述查詢數(shù)據(jù)寫入暫存文件中,所述暫存文件位于查詢服務(wù)器的緩存中;
將所述暫存文件發(fā)送至所述客戶端。
2.根據(jù)權(quán)利要求1所述的集群數(shù)據(jù)實時查詢方法,其特征在于,還包括數(shù)據(jù)處理步驟,具體步驟如下:
去重步驟,對所述暫存文件內(nèi)的所述查詢數(shù)據(jù)進(jìn)行去重;
統(tǒng)計步驟,將去重后的所述查詢數(shù)據(jù)進(jìn)行匯總統(tǒng)計;
關(guān)聯(lián)步驟,將去重后的所述查詢數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析;
完整性驗證步驟,將關(guān)聯(lián)分析后的所述查詢數(shù)據(jù)進(jìn)行完整性驗證分析。
3.根據(jù)權(quán)利要求2所述的集群數(shù)據(jù)實時查詢方法,其特征在于,所述關(guān)聯(lián)步驟中,關(guān)聯(lián)分析的支持度的范圍為1-10,置信度的范圍為0-1。
4.根據(jù)權(quán)利要求1所述的集群數(shù)據(jù)實時查詢方法,其特征在于,還包括:
預(yù)警步驟,對所述查詢數(shù)據(jù)的讀取以及寫入所述暫存文件的過程進(jìn)行實時檢測,并對寫入超時進(jìn)行預(yù)警。
5.根據(jù)權(quán)利要求1-4任一項所述的集群數(shù)據(jù)實時查詢方法,其特征在于,所述緩存由Java EHCache模塊創(chuàng)建。
6.一種集群數(shù)據(jù)實時查詢系統(tǒng),其特征在于,包括客戶端、查詢服務(wù)器和Hadoop集群數(shù)據(jù)平臺,所述Hadoop集群數(shù)據(jù)平臺包括Hbase數(shù)據(jù)庫;
所述客戶端用于輸入查詢請求,所述查詢請求攜帶所述查詢數(shù)據(jù)的地址內(nèi)容;
所述查詢服務(wù)器包括接收模塊、交互模塊、暫存模塊、緩存模塊和發(fā)送模塊;
所述接收模塊用于接收所述查詢請求;
所述交互模塊用于將所述查詢請求發(fā)送至所述Hadoop集群數(shù)據(jù)平臺的Hbase數(shù)據(jù)庫接口并讀取查詢數(shù)據(jù);
所述暫存模塊用于將所述查詢數(shù)據(jù)寫入所述暫存文件中,所述暫存文件位于所述緩存模塊中;
所述發(fā)送模塊用于將所述暫存文件發(fā)送至所述客戶端。
7.根據(jù)權(quán)利要求6所述的集群數(shù)據(jù)實時查詢系統(tǒng),其特征在于,所述查詢服務(wù)器還包括數(shù)據(jù)處理模塊,所述數(shù)據(jù)處理模塊包括去重單元、統(tǒng)計單元、關(guān)聯(lián)單元和完整性驗證單元:
所述去重單元用于對所述暫存文件內(nèi)的所述查詢數(shù)據(jù)進(jìn)行去重;
所述統(tǒng)計單元用于對所述去重單元輸出的所述查詢數(shù)據(jù)進(jìn)行匯總統(tǒng)計;
所述關(guān)聯(lián)單元用于對所述去重單元輸出的所述查詢數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析;
所述完整性驗證單元用于對所述關(guān)聯(lián)單元輸出的所述查詢數(shù)據(jù)進(jìn)行完整性驗證分析。
8.根據(jù)權(quán)利要求7所述的集群數(shù)據(jù)實時查詢系統(tǒng),其特征在于,所述關(guān)聯(lián)單元中,關(guān)聯(lián)分析的支持度的范圍為1-10,置信度的范圍為0-1。
9.根據(jù)權(quán)利要求6所述的集群數(shù)據(jù)實時查詢系統(tǒng),其特征在于,所述查詢服務(wù)器還包括預(yù)警模塊,用于對所述交互模塊讀取所述查詢數(shù)據(jù)以及將所述查詢數(shù)據(jù)寫入所述暫存文件的過程進(jìn)行實時檢測,并對寫入超時進(jìn)行預(yù)警。
10.根據(jù)權(quán)利要求6-9任一項所述的集群數(shù)據(jù)實時查詢系統(tǒng),其特征在于,所述緩存模塊由Java EHCache模塊創(chuàng)建。