本發(fā)明涉及時(shí)序數(shù)據(jù)挖掘領(lǐng)域，具體涉及一種用于事件查詢的索引加速模式匹配方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、物聯(lián)網(wǎng)設(shè)備的快速增長(zhǎng)讓我們能夠收集到更多真實(shí)世界物理數(shù)據(jù)，從而增強(qiáng)我們對(duì)周圍環(huán)境的感知能力。在海量的物聯(lián)網(wǎng)設(shè)備數(shù)據(jù)中，識(shí)別特定的模式信息對(duì)于幫助用戶做出更好的決策顯得尤為重要?？紤]以下三個(gè)應(yīng)用場(chǎng)景：

2、(1)智能電網(wǎng)監(jiān)測(cè)場(chǎng)景：每個(gè)電樁/電箱都配備了電流、電壓和溫度傳感器。在某個(gè)時(shí)刻，如果發(fā)現(xiàn)某個(gè)電流傳感器顯示電流急劇增加，并且該傳感器附近的溫度傳感器在接下來(lái)的一段時(shí)間內(nèi)溫度上升到較高的閾值，這可能表明電樁附近的電線發(fā)生斷裂并導(dǎo)致了火災(zāi)。因此，需要監(jiān)控設(shè)備發(fā)出報(bào)警，以便及時(shí)通知相關(guān)人員處理電線斷裂起火的問(wèn)題。

3、(2)礦業(yè)車輛智能跟蹤場(chǎng)景：每輛運(yùn)輸車都配備了傳感器，車間配有自動(dòng)稱重和高度測(cè)量設(shè)備。礦車司機(jī)需要在規(guī)定時(shí)間內(nèi)完成礦物的開(kāi)采、稱重、測(cè)量和卸載工作，以確保每次運(yùn)輸符合安全規(guī)定，并將礦物卸載到指定地點(diǎn)。智能調(diào)度中心會(huì)實(shí)時(shí)監(jiān)測(cè)車輛狀態(tài)信息(這里把同一時(shí)刻監(jiān)測(cè)到的信息視為一個(gè)事件)，根據(jù)合規(guī)運(yùn)輸趟數(shù)的礦物總重量，自動(dòng)為司機(jī)每日結(jié)算報(bào)酬。

4、(3)集群監(jiān)控場(chǎng)景：管理節(jié)點(diǎn)會(huì)實(shí)時(shí)追蹤每個(gè)任務(wù)調(diào)度時(shí)的關(guān)鍵硬件資源使用情況。如果發(fā)現(xiàn)某臺(tái)機(jī)器上的大部分任務(wù)在短時(shí)間內(nèi)經(jīng)歷了提交、調(diào)度、終止或逐出的連續(xù)事件，并且該機(jī)器的cpu和內(nèi)存使用率很高，這表明可能有計(jì)算密集型任務(wù)正在運(yùn)行。因此，在該任務(wù)完成前，管理節(jié)點(diǎn)應(yīng)將其他任務(wù)轉(zhuǎn)移到其他機(jī)器上執(zhí)行。

5、在上述三個(gè)應(yīng)用場(chǎng)景中，多個(gè)原始事件與屬性值和時(shí)間窗口約束關(guān)系結(jié)合起來(lái)，形成了一個(gè)復(fù)雜的事件模式。要檢測(cè)上述模式，就需要運(yùn)用模式匹配技術(shù)。然而，在海量數(shù)據(jù)的情況下，模式匹配技術(shù)在挖掘出用戶定義的模式面臨著高延遲的挑戰(zhàn)。這種高延遲主要源于昂貴的磁盤讀取和內(nèi)存中的計(jì)算操作。因此，在復(fù)雜事件識(shí)別過(guò)程中，如何有效地減少磁盤讀取和內(nèi)存中的計(jì)算開(kāi)銷以降低查詢延遲，成為當(dāng)前亟待解決的問(wèn)題。

6、著名的關(guān)系型數(shù)據(jù)庫(kù)，例如mysql、postgresql和oracle等，基本都使用到了樹(shù)型索引b+樹(shù)來(lái)加速屬性謂詞過(guò)濾。然而，b+樹(shù)查詢選擇率高的謂詞時(shí)，一方面，其需要從磁盤中讀取索引來(lái)獲取滿足條件的事件，導(dǎo)致昂貴的磁盤讀取開(kāi)銷；另一方面，獲取完滿足條件的事件之后，還需要對(duì)這些事件進(jìn)行排序(匹配引擎要求輸入有序的事件集合以產(chǎn)生匹配結(jié)果)，當(dāng)數(shù)據(jù)量很大時(shí)，排序會(huì)帶來(lái)昂貴的計(jì)算開(kāi)銷。因此，傳統(tǒng)樹(shù)型索引在通用復(fù)雜事件查詢場(chǎng)景下很難對(duì)復(fù)雜事件查詢帶來(lái)好查詢加速效果。

技術(shù)實(shí)現(xiàn)思路

1、為了克服傳統(tǒng)樹(shù)型索引在通用復(fù)雜模式查詢場(chǎng)景下難以快速獲取與匹配相關(guān)的事件的問(wèn)題，本發(fā)明設(shè)計(jì)了一種索引加速模式匹配方法，可以有效地降低索引的空間開(kāi)銷，查詢時(shí)可保證無(wú)需排序即可獲取有序事件，此外本方法利用查詢模式中的時(shí)間窗口約束條件來(lái)避免不必要的磁盤訪問(wèn)操作，提升了從磁盤上讀取匹配有關(guān)的事件效率，降低了模式匹配的查詢延遲。

2、為了實(shí)現(xiàn)以上發(fā)明目的，本發(fā)明的技術(shù)方案如下：

3、一種用于事件查詢的索引加速模式匹配方法，包括以下步驟：

4、(1)分配一個(gè)緩沖池，其中每個(gè)緩沖用于存儲(chǔ)不同類型的事件，當(dāng)事件被持久化到磁盤后，將其插入到有相同事件類型的緩沖中以備構(gòu)建索引；

5、(2)當(dāng)緩沖池達(dá)到指定容量后，依次將緩沖中的數(shù)據(jù)刷新到索引塊的集群中，保證集群中數(shù)據(jù)時(shí)間戳有序且存儲(chǔ)連續(xù)，并為該集群構(gòu)造區(qū)域地圖，記錄集群中的屬性范圍信息；

6、(3)當(dāng)所有集群都構(gòu)造完畢后，將索引塊不同類別的數(shù)據(jù)進(jìn)行壓縮，并為壓縮后的索引屬性構(gòu)造范圍位圖，然后將索引塊序列化到磁盤上，清空緩沖池內(nèi)容；

7、(4)對(duì)于給定的待查詢的模式，預(yù)估模式中每個(gè)變量的整體選擇率并進(jìn)行排序，選取選擇率最小的變量進(jìn)行查詢，并得到其查詢結(jié)果，生成匹配區(qū)間集合，并將其存入映射字典中；

8、(5)從尚未查詢的變量中依次選取選擇率最低的變量進(jìn)行查詢，更新匹配區(qū)間集合，并將每個(gè)變量的查詢結(jié)果存入映射字典中；

9、(6)根據(jù)映射字典存儲(chǔ)的查詢結(jié)果，從磁盤上獲取有關(guān)事件，將它們傳輸?shù)狡ヅ湟嬷羞M(jìn)行匹配，獲取最終的查詢結(jié)果。

10、優(yōu)選的，所述索引塊是對(duì)索引結(jié)構(gòu)分塊進(jìn)行組織的基本單元，每個(gè)索引塊中包含多個(gè)集群，每個(gè)集群存儲(chǔ)相同類型的事件，其事件類型只存儲(chǔ)一次，集群中的屬性范圍信息包括：索引塊id、時(shí)間范圍、屬性值范圍、索引塊存儲(chǔ)區(qū)域中的一項(xiàng)或多項(xiàng)，使用范圍位圖(一種支持范圍查詢的位圖結(jié)構(gòu))對(duì)屬性進(jìn)行索引。

11、優(yōu)選的，索引塊的集群存儲(chǔ)了時(shí)間戳列表、物理記錄標(biāo)識(shí)符列表，以及索引屬性的范圍位圖，在對(duì)索引塊進(jìn)行序列化之前，對(duì)時(shí)間戳列表、物理記錄標(biāo)識(shí)符列表和索引屬性列表分別進(jìn)行差分壓縮(即列表元素的壓縮值＝元素原始值-列表元素的最小值)，以減少索引塊的存儲(chǔ)空間大小，且差分壓縮能保證索引塊解壓無(wú)需過(guò)多額外的計(jì)算開(kāi)銷。

12、優(yōu)選的，在從磁盤上獲取模式有關(guān)的事件過(guò)程中，為使得查詢時(shí)盡可能跳過(guò)無(wú)關(guān)索引塊訪問(wèn)，使用貪心策略依次選用選擇率最低的變量進(jìn)行查詢，并且查詢時(shí)檢查該變量對(duì)應(yīng)每個(gè)集群存儲(chǔ)內(nèi)容的時(shí)間戳范圍是否與匹配區(qū)間集合有重疊、每個(gè)集群存儲(chǔ)屬性值范圍是否與查詢范圍有重疊，如果都重疊，則查詢?cè)摷褐械膬?nèi)容；否則，只要這兩個(gè)條件中有一個(gè)沒(méi)有重疊，該集群下的事件無(wú)法參與到最終的匹配，則跳過(guò)此集群的查詢以避免無(wú)關(guān)的索引塊訪問(wèn)。

13、優(yōu)選的，匹配區(qū)間集合由整體選擇率最低的變量查詢事件結(jié)果生成，假設(shè)某個(gè)查詢的事件時(shí)間戳是t，查詢的窗口是w，則這個(gè)事件生成的匹配區(qū)間θ為：

14、

15、這里首變量是指該變量對(duì)應(yīng)的事件始終出現(xiàn)在匹配結(jié)果的第一個(gè)位置，尾變量是指該變量對(duì)應(yīng)的事件始終出現(xiàn)在匹配結(jié)果的最后一個(gè)位置。

16、優(yōu)選的，在檢查到變量對(duì)應(yīng)的集群的時(shí)間戳范圍與匹配區(qū)間集合部分元素有重疊時(shí)，標(biāo)記該元素被訪問(wèn)過(guò)，在完成一個(gè)變量的查詢后，刪除匹配區(qū)間集合中沒(méi)有被訪問(wèn)過(guò)的元素，縮小匹配區(qū)間的范圍，減少磁盤訪問(wèn)次數(shù)，進(jìn)而降低磁盤的讀取開(kāi)銷。

17、優(yōu)選的，在查詢完單個(gè)變量對(duì)應(yīng)的磁盤上有關(guān)集群后，再去對(duì)應(yīng)緩沖中查詢是否有事件滿足查詢條件，如果有，則將查詢結(jié)果追加到該變量查詢結(jié)果中，以保證查詢結(jié)果的準(zhǔn)確性。

18、一種用于事件查詢的索引加速模式匹配處理裝置，包括：

19、第一構(gòu)建模塊，用于分配一個(gè)緩沖池，其中每個(gè)緩沖用于存儲(chǔ)不同類型的事件，當(dāng)事件被持久化到磁盤后，將其插入到有相同事件類型的緩沖中以備構(gòu)建索引；

20、第二構(gòu)建模塊，用于當(dāng)緩沖池達(dá)到指定容量后，依次將緩沖中的數(shù)據(jù)刷新到索引塊的集群中，保證集群中數(shù)據(jù)時(shí)間戳有序且存儲(chǔ)連續(xù)，并為該集群構(gòu)造區(qū)域地圖信息，記錄集群存儲(chǔ)的事件時(shí)間范圍、屬性最大最小值信息，以及集群所在索引塊的位置；

21、第三構(gòu)建模塊，用于當(dāng)所有集群都構(gòu)造完畢后，將索引塊不同類別的數(shù)據(jù)進(jìn)行壓縮，并為壓縮后的索引屬性構(gòu)造范圍位圖，然后將索引塊序列化到磁盤上，清空緩沖池內(nèi)容；

22、第一查詢模塊，用于對(duì)于給定待查詢的模式，預(yù)估模式中每個(gè)變量的整體選擇率并進(jìn)行排序，選取選擇率最小的變量進(jìn)行查詢，并得到其查詢結(jié)果，生成匹配區(qū)間集合，并將其存入映射字典中；

23、第二查詢模塊，用于從尚未查詢的變量中依次選取選擇率最低的變量進(jìn)行查詢，更新匹配區(qū)間集合，并將每個(gè)變量的查詢結(jié)果存入映射字典中；

24、第三查詢模塊，用于根據(jù)映射字典存儲(chǔ)的查詢結(jié)果，從磁盤上獲取有關(guān)事件，將它們傳輸?shù)狡ヅ湟嬷羞M(jìn)行匹配，獲取最終的查詢結(jié)果。

25、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上所述的用于事件查詢的索引加速模式匹配方法的步驟。

26、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)和有益效果：本發(fā)明通過(guò)將索引分塊，并將相同類型的事件組織在一起，使得一個(gè)集群下的事件類型只存儲(chǔ)一次，減少了事件類型的存儲(chǔ)冗余；通過(guò)在將索引塊序列化到磁盤時(shí)，對(duì)屬性值、時(shí)間戳和物理記錄標(biāo)識(shí)符列表進(jìn)行壓縮，降低索引空間大小；通過(guò)使用范圍位圖索引數(shù)據(jù)，能夠保證查詢中的單個(gè)變量查詢結(jié)果使用合并操作而非排序操作即獲取時(shí)間戳有序的查詢結(jié)果。由于處理復(fù)雜事件查詢是按變量的，在查詢過(guò)程中，額外利到了查詢窗口約束，避免了無(wú)關(guān)索引塊訪問(wèn)，減少了磁盤讀取操作，進(jìn)而提升了查詢速率。