一種大數(shù)據(jù)的查詢方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及信息檢索技術(shù)領(lǐng)域，具體地說(shuō)是一種大數(shù)據(jù)的查詢方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)的發(fā)展，各業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)量日趨龐大，特別是電信和互聯(lián)網(wǎng)行業(yè)更是如此。面對(duì)這些大數(shù)據(jù)進(jìn)行查詢的需求，查詢的性能和效率是首當(dāng)其沖，在服務(wù)器硬件及數(shù)據(jù)庫(kù)配置等條件固定的情況下，若采用傳統(tǒng)的查詢方式，其查詢效率隨著數(shù)據(jù)量不斷增大，會(huì)不斷的降低，用戶查詢的響應(yīng)時(shí)間會(huì)越來(lái)越慢，甚至?xí)霈F(xiàn)由于查詢導(dǎo)致數(shù)據(jù)庫(kù)無(wú)法使用的情況。盡管可考慮引入搜索引擎來(lái)實(shí)現(xiàn)海量數(shù)據(jù)的查詢操作，但由于搜索引擎不能有效的理解業(yè)務(wù)數(shù)據(jù)，要實(shí)現(xiàn)針對(duì)特定行業(yè)的業(yè)務(wù)數(shù)據(jù)的快速分析查詢，引入搜索引擎難度較大、工作量和實(shí)現(xiàn)復(fù)雜度太高。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的技術(shù)任務(wù)是提供一種大數(shù)據(jù)的查詢方法及系統(tǒng)。
[0004]本發(fā)明的技術(shù)任務(wù)是按以下方式實(shí)現(xiàn)的，該查詢方法是:
1)配置業(yè)務(wù)查詢規(guī)則以及業(yè)務(wù)查詢規(guī)則與查詢條件的對(duì)應(yīng)關(guān)系:根據(jù)對(duì)客戶端的查詢請(qǐng)求的分析結(jié)果，由查詢請(qǐng)求中的查詢條件提取相應(yīng)的業(yè)務(wù)查詢規(guī)則，根據(jù)提取出的業(yè)務(wù)查詢規(guī)則構(gòu)造查詢方案；根據(jù)查詢方案查詢數(shù)據(jù)，將查詢結(jié)果返回給客戶端；
2)存儲(chǔ)查詢歷史:查詢歷史中記錄有歷史查詢條件以及歷史查詢條件對(duì)應(yīng)的歷史查詢結(jié)果和歷史查詢方案中的至少一者，如果客戶端的查詢請(qǐng)求中的查詢條件與歷史查詢條件相同，則根據(jù)查詢歷史直接向客戶端返回對(duì)應(yīng)的歷史查詢結(jié)果，或者根據(jù)查詢歷史中對(duì)應(yīng)的歷史查詢方案查詢數(shù)據(jù)，將查詢結(jié)果返回給客戶端；
3)對(duì)不同的數(shù)據(jù)源類型進(jìn)行適配；
4)設(shè)置預(yù)查詢閾值及查詢標(biāo)記:當(dāng)本次查詢出的數(shù)據(jù)量達(dá)到預(yù)查詢閾值，將本次查詢出的數(shù)據(jù)作為本次查詢結(jié)果返回給客戶端，并通過(guò)查詢標(biāo)記對(duì)本次查詢結(jié)果進(jìn)行標(biāo)記；并在下一次按同樣查詢方案進(jìn)行查詢時(shí)根據(jù)查詢標(biāo)記繼續(xù)查詢。
[0005]所述配置業(yè)務(wù)查詢規(guī)則為配置不同業(yè)務(wù)屬性的對(duì)應(yīng)查詢粒度。
[0006]該大數(shù)據(jù)的查詢系統(tǒng)包括查詢配置單元、查詢方案構(gòu)造單元和查詢單元；
查詢配置單元:用于配置業(yè)務(wù)查詢規(guī)則以及業(yè)務(wù)查詢規(guī)則與查詢條件的對(duì)應(yīng)關(guān)系； 查詢方案構(gòu)造單元:用于根據(jù)對(duì)客戶端的查詢請(qǐng)求的分析結(jié)果，由查詢請(qǐng)求中的查詢條件提取相應(yīng)的業(yè)務(wù)查詢規(guī)則，根據(jù)提取出的業(yè)務(wù)查詢規(guī)則構(gòu)造查詢方案；
查詢單元:用于根據(jù)查詢方案查詢數(shù)據(jù)，將查詢結(jié)果返回給客戶端。
[0007]所述的大數(shù)據(jù)的查詢系統(tǒng)還包括查詢存儲(chǔ)單元:用于存儲(chǔ)查詢歷史，查詢歷史中記錄有歷史查詢條件以及歷史查詢條件對(duì)應(yīng)的歷史查詢結(jié)果和歷史查詢方案中的至少一者，查詢單元在客戶端的查詢請(qǐng)求中的查詢條件與歷史查詢條件相同時(shí)，根據(jù)查詢歷史直接向客戶端返回對(duì)應(yīng)的歷史查詢結(jié)果，或者根據(jù)查詢歷史中對(duì)應(yīng)的歷史查詢方案查詢數(shù)據(jù)，將查詢結(jié)果返回給客戶端。
[0008]所述的大數(shù)據(jù)的查詢系統(tǒng)還包括數(shù)據(jù)源適配單元，用于對(duì)不同的數(shù)據(jù)源類型進(jìn)行適配。
[0009]所述的大數(shù)據(jù)的查詢系統(tǒng)還包括預(yù)查詢?cè)O(shè)置單元，用于設(shè)置預(yù)查詢閾值及查詢標(biāo)記；查詢單元在本次查詢出的數(shù)據(jù)量達(dá)到預(yù)查詢閾值時(shí)，將本次查詢出的數(shù)據(jù)作為本次查詢結(jié)果返回給客戶端；預(yù)查詢?cè)O(shè)置單元通過(guò)查詢標(biāo)記對(duì)本次查詢結(jié)果進(jìn)行標(biāo)記；查詢單元在下一次按同樣查詢方案進(jìn)行查詢時(shí)根據(jù)查詢標(biāo)記繼續(xù)查詢。
[0010]本發(fā)明的一種大數(shù)據(jù)的查詢方法及系統(tǒng)和現(xiàn)有技術(shù)相比，通過(guò)配置查詢規(guī)則及其與查詢條件的對(duì)應(yīng)關(guān)系，能夠根據(jù)查詢條件提取相應(yīng)的查詢規(guī)則，構(gòu)造出優(yōu)化的查詢方案，適應(yīng)于不同的查詢條件，保證了查詢的效率。
【附圖說(shuō)明】
[0011]附圖1為一種大數(shù)據(jù)的查詢系統(tǒng)的架構(gòu)示意圖；
附圖2為大數(shù)據(jù)查詢適配任意數(shù)據(jù)源系統(tǒng)架構(gòu)示意圖；
附圖3為大數(shù)據(jù)查詢系統(tǒng)的工作流程圖；
附圖4為大數(shù)據(jù)查詢的業(yè)務(wù)分析流程圖；
附圖5為大數(shù)據(jù)查詢處理流程圖；
附圖6為數(shù)據(jù)源適配模塊處理關(guān)系圖；
附圖7為大數(shù)據(jù)查詢適配任意數(shù)據(jù)源系統(tǒng)文件數(shù)據(jù)源處理流程圖。
【具體實(shí)施方式】
[0012]實(shí)施例1:
設(shè)置該大數(shù)據(jù)的查詢系統(tǒng)，包括查詢配置單元、查詢方案構(gòu)造單元和查詢單元。
[0013]查詢配置單元:用于配置業(yè)務(wù)查詢規(guī)則以及業(yè)務(wù)查詢規(guī)則與查詢條件的對(duì)應(yīng)關(guān)系O
[0014]查詢方案構(gòu)造單元:用于根據(jù)對(duì)客戶端的查詢請(qǐng)求的分析結(jié)果，由查詢請(qǐng)求中的查詢條件提取相應(yīng)的業(yè)務(wù)查詢規(guī)則，根據(jù)提取出的業(yè)務(wù)查詢規(guī)則構(gòu)造查詢方案。
[0015]查詢單元:用于根據(jù)查詢方案查詢數(shù)據(jù)，將查詢結(jié)果返回給客戶端。
[0016]所述的大數(shù)據(jù)的查詢系統(tǒng)還包括查詢存儲(chǔ)單元:用于存儲(chǔ)查詢歷史，查詢歷史中記錄有歷史查詢條件以及歷史查詢條件對(duì)應(yīng)的歷史查詢結(jié)果和歷史查詢方案中的至少一者，查詢單元在客戶端的查詢請(qǐng)求中的查詢條件與歷史查詢條件相同時(shí)，根據(jù)查詢歷史直接向客戶端返回對(duì)應(yīng)的歷史查詢結(jié)果，或者根據(jù)查詢歷史中對(duì)應(yīng)的歷史查詢方案查詢數(shù)據(jù)，將查詢結(jié)果返回給客戶端。
[0017]所述的大數(shù)據(jù)的查詢系統(tǒng)還包括數(shù)據(jù)源適配單元，用于對(duì)不同的數(shù)據(jù)源類型進(jìn)行適配。
[0018]所述的大數(shù)據(jù)的查詢系統(tǒng)還包括預(yù)查詢?cè)O(shè)置單元，用于設(shè)置預(yù)查詢閾值及查詢標(biāo)記；查詢單元在本次查詢出的數(shù)據(jù)量達(dá)到預(yù)查詢閾值時(shí)，將本次查詢出的數(shù)據(jù)作為本次查詢結(jié)果返回給客戶端；預(yù)查詢?cè)O(shè)置單元通過(guò)查詢標(biāo)記對(duì)本次查詢結(jié)果進(jìn)行標(biāo)記；查詢單元在下一次按同樣查詢方案進(jìn)行查詢時(shí)根據(jù)查詢標(biāo)記繼續(xù)查詢。
[0019]該查詢方法是:
I)配置業(yè)務(wù)查詢規(guī)則以及業(yè)務(wù)查詢規(guī)則與查詢條件的對(duì)應(yīng)關(guān)系:根據(jù)對(duì)客戶端的查詢請(qǐng)求的分析結(jié)果，由查詢請(qǐng)求中的查詢條件提取相應(yīng)的業(yè)務(wù)查詢規(guī)則，根據(jù)提取出的業(yè)務(wù)查詢規(guī)則構(gòu)造查詢方案；根據(jù)查詢方案查詢數(shù)據(jù)，將查詢結(jié)果返回給客戶端；配置業(yè)務(wù)查詢規(guī)則為配置不同業(yè)務(wù)屬性的對(duì)應(yīng)查詢粒度。
[0020]2)存儲(chǔ)查詢歷史:查詢歷史中記錄有歷史查詢條件以及歷史查詢條件對(duì)應(yīng)的歷史查詢結(jié)果和歷史查詢方案中的至少一者，如果客戶端的查詢請(qǐng)求中的查詢條件與歷史查詢條件相同，則根據(jù)查詢歷史直接向客戶端返回對(duì)應(yīng)的歷史查詢結(jié)果，或者根據(jù)查詢歷史中對(duì)應(yīng)的歷史查詢方案查詢數(shù)據(jù)，將查詢結(jié)果返回給客戶端。
[0021]3)對(duì)不同的數(shù)據(jù)源類型進(jìn)行適配。
[0022]4)設(shè)置預(yù)查詢