專利名稱：一種工業(yè)數(shù)據(jù)庫報文存儲方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種工業(yè)數(shù)據(jù)庫報文存儲技術(shù)。
背景技術(shù)：
工業(yè)數(shù)據(jù)庫系統(tǒng)和一般的商業(yè)數(shù)據(jù)庫系統(tǒng)(關(guān)系型數(shù)據(jù)庫或者面向?qū)ο蟮臄?shù)據(jù)庫)在本質(zhì)上大致相同，其最大的區(qū)別在于工業(yè)數(shù)據(jù)的數(shù)量十分龐大，存在海量的存儲需求，以及海量數(shù)據(jù)的快速訪問需求，從而使得工業(yè)數(shù)據(jù)庫對數(shù)據(jù)的實時性和數(shù)據(jù)有效性的需求十分高。工業(yè)報文作為一種BLOB (二進制格式)數(shù)據(jù)，是工業(yè)數(shù)據(jù)庫中一種典型的數(shù)據(jù)存儲格式。工業(yè)報文為工業(yè)量測點在發(fā)生事件、告警等之后，通過預(yù)定義格式，描述該事件或者告警信息，組成編碼通知目的管理節(jié)點的數(shù)據(jù)信息。這里的量測點不一定是實際的采樣點，可以是管理集中后的管理節(jié)點。工業(yè)報文一般是已經(jīng)合成和預(yù)處理的綜合信息，而不是原始信息。工業(yè)報文具有明顯的時間特性，每條工業(yè)報文中必然包含報文發(fā)送源點標(biāo)識、時間戳和BLOB數(shù)據(jù)，還可能包含訪問點屬性、報文傳輸物理或者邏輯鏈路的質(zhì)量碼、報文傳輸物理或者邏輯鏈路的類型等其他屬性。同時工業(yè)報文是不斷產(chǎn)生的，具有海量數(shù)據(jù)的特點ο海量報文的存儲需要占用大量的存儲空間，并且訪問速度受到報文數(shù)量的限制。 為了降低存儲空間，提高訪問速度，達到工業(yè)數(shù)據(jù)庫的實時性需求，需要針對工業(yè)報文的特性尋求有針對性的設(shè)計和解決方案。

發(fā)明內(nèi)容
本發(fā)明主要解決的技術(shù)問題是提供一種工業(yè)數(shù)據(jù)庫報文存儲方法，使得工業(yè)數(shù)據(jù)庫中報文的存儲效率更高、空間占用更少。為了解決上述技術(shù)問題，本發(fā)明提供了一種工業(yè)數(shù)據(jù)庫報文存儲方法，包含以下步驟將預(yù)留的文件存儲區(qū)域劃分為索引區(qū)域和數(shù)據(jù)區(qū)域；在進行報文存儲時，從所述索引區(qū)域頭部起，將報文的索引信息正序存儲在該索引區(qū)域，從所述數(shù)據(jù)區(qū)域底部起，將報文的其他部分信息倒序存儲在該數(shù)據(jù)區(qū)域；所述索引區(qū)域和數(shù)據(jù)區(qū)域的劃分根據(jù)所述索引區(qū)域和數(shù)據(jù)區(qū)域中存儲的數(shù)據(jù)量自適應(yīng)變化。作為上述技術(shù)方案的改進，所述報文存儲過程中，索引區(qū)域和數(shù)據(jù)區(qū)域的數(shù)據(jù)量均向所述文件存儲區(qū)域中間部分增長，在待存儲的報文數(shù)據(jù)量大于文件存儲區(qū)域中間空白部分時，停止將所述報文存儲在該文件存儲區(qū)域，為所述源點標(biāo)識預(yù)留新的文件存儲區(qū)域。作為上述技術(shù)方案的改進，所述報文至少包含報文數(shù)據(jù)、源點標(biāo)識、時間戳，所述其他部分信息至少包含報文數(shù)據(jù)部分。作為上述技術(shù)方案的改進，所述報文的索引信息由所述報文的時間戳和所述其他
4部分信息在數(shù)據(jù)區(qū)域中的存儲位置構(gòu)成；進行所述報文存儲之前，還包含以下步驟根據(jù)所述文件存儲區(qū)域中數(shù)據(jù)區(qū)域中當(dāng)前數(shù)據(jù)存儲位置，計算所述報文的其他部分信息在該數(shù)據(jù)區(qū)域中的存儲位置，生成所述報文的索引信息。作為上述技術(shù)方案的改進，每個源點標(biāo)識對應(yīng)一個索引文件和至少一個文件存儲空間，所述索引文件中保存該源點標(biāo)識對應(yīng)的各文件存儲空間的指針；屬于同一個源點標(biāo)識的報文存儲在該源點標(biāo)識對應(yīng)的文件存儲空間中。作為上述技術(shù)方案的改進，所述文件存儲空間的指針可以是該文件存儲空間構(gòu)成的數(shù)據(jù)文件名稱。作為上述技術(shù)方案的改進，所述索引文件中還保存各文件存儲空間存儲的報文的起始時間戳和終止時間戳；在存儲報文前，將待存儲的報文的時間戳與各文件存儲空間當(dāng)前對應(yīng)的起始時間戳、終止時間戳相比較，尋找時間最接近的文件存儲空間進行存儲；在存儲報文后，更新所述索引文件中該文件存儲空間的起始時間戳和終止時間戳。作為上述技術(shù)方案的改進，所述預(yù)留的文件存儲區(qū)域大小由預(yù)估的報文長度和預(yù)計存儲的報文數(shù)量決定。作為上述技術(shù)方案的改進，所述將報文的索引信息正序存儲在該索引區(qū)域的步驟之前，使用優(yōu)化算法對所述索引信息進行排序，得到索引信息映射表；所述將報文的索引信息正序存儲在該索引區(qū)域的步驟中，將排序后的索引信息映射表正序存儲在所述索引區(qū)域中。所述優(yōu)化算法至少包括哈希算法，所述映射表至少包括 hash-mapο作為上述技術(shù)方案的改進，所述報文的其他部分信息還包含以下之一或其任意組合報文的訪問點屬性、報文傳輸物理或邏輯鏈路的質(zhì)量碼、報文傳輸物理或邏輯鏈路的類型。作為上述技術(shù)方案的改進，在進行報文檢索時，根據(jù)待檢索報文的源點標(biāo)識，找到對應(yīng)的索引文件；將待檢索報文的時間戳與索引文件中各文件存儲區(qū)域的起始時間戳、終止時間戳比較，找到時間相匹配的文件存儲空間；讀取找到的文件存儲空間的索引區(qū)域，根據(jù)待檢索報文的時間戳對該索引區(qū)域中的索引信息進行二級查找，根據(jù)找到的索引信息定位報文的實際存儲位置。本發(fā)明實施方式與現(xiàn)有技術(shù)相比，主要區(qū)別及其效果在于將預(yù)留的文件存儲區(qū)域劃分為索引區(qū)域和數(shù)據(jù)區(qū)域；在進行報文存儲時，從索引區(qū)域頭部起，將報文的索引信息正序存儲在該索引區(qū)域，從數(shù)據(jù)區(qū)域底部起，將報文的其他部分信息倒序存儲在該數(shù)據(jù)區(qū)域；索引區(qū)域和數(shù)據(jù)區(qū)域的劃分根據(jù)索引區(qū)域和數(shù)據(jù)區(qū)域中存儲的數(shù)據(jù)量自動變化，從而不會浪費預(yù)留的索引區(qū)域的空間，在固定大小的文件存儲區(qū)域中最高效率地進行報文存儲，將空間利用率最大化，減少報文占用的存儲空間。保存各文件存儲空間中存儲的報文的起始時間戳和終止時間戳，使得在進行報文
5檢索時，能夠快速找到對應(yīng)的文件存儲空間，加快了報文的檢索時間，處理時間更短?？梢允褂脙?yōu)化算法對報文的索引信息進行排序，保存排序后的索引信息映射表， 如hash-map，從而在進行報文檢索時，能夠根據(jù)時間戳快速定位對應(yīng)的索引信息，進一步加快了報文的檢索時間。


下面結(jié)合附圖和具體實施方式
對本發(fā)明作進一步詳細說明。圖1是本發(fā)明一較佳實施方式的工業(yè)數(shù)據(jù)庫報文存儲方法流程圖；圖2是本發(fā)明一較佳實施方式的工業(yè)數(shù)據(jù)庫報文存儲方法中單條報文存儲格式示意圖；圖3是本發(fā)明一較佳實施方式的工業(yè)數(shù)據(jù)庫報文存儲方法中數(shù)據(jù)文件存儲格式示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明的實施方式作進一步地詳細描述。本發(fā)明一較佳實施方式涉及一種工業(yè)數(shù)據(jù)庫報文存儲方法。本實施方式中的工業(yè)報文一般至少包含BLOB報文數(shù)據(jù)、源點標(biāo)識、時間戳三部分，還可選擇性包含報文的訪問點屬性、報文傳輸物理或邏輯鏈路的質(zhì)量碼、報文傳輸物理或邏輯鏈路的類型等其他屬性。本實施方式中，將同一個源點標(biāo)識的報文存儲在一個文件存儲區(qū)域中，即存儲在一個數(shù)據(jù)文件中。在工業(yè)數(shù)據(jù)庫中為不同源點標(biāo)識分別預(yù)留對應(yīng)的數(shù)據(jù)文件，根據(jù)希望存儲的報文數(shù)量和預(yù)估的報文長度確定數(shù)據(jù)文件的大小，并將數(shù)據(jù)文件劃分為索引區(qū)域和數(shù)據(jù)區(qū)域。在該數(shù)據(jù)文件存儲滿后，自動為該源點標(biāo)識預(yù)留另一個數(shù)據(jù)文件，即一個源點標(biāo)識可以對應(yīng)多個數(shù)據(jù)文件。每個源點標(biāo)識還包含一個唯一對應(yīng)的索引文件，該索引文件可以以該源點標(biāo)識命名，索引文件中包含該源點標(biāo)識對應(yīng)的所有數(shù)據(jù)文件的名稱，以及每個數(shù)據(jù)文件中存儲的報文的起始時間戳和終止時間戳，還可以包含各數(shù)據(jù)文件的索引狀態(tài)等信肩、ο具體的報文存儲流程如圖1所示。步驟101中，將報文緩存在內(nèi)存中，將報文的發(fā)送源點標(biāo)識、報文的時間戳進行字段獨立劃分，其余的屬性部分將和報文數(shù)據(jù)歸并為一個獨立存儲部分，不進行區(qū)分，如圖2 所示。對報文數(shù)據(jù)和其余屬性進行壓縮編碼，如采用LZW(LempeI-Ziv-WeIch)算法進行壓縮編碼。其壓縮編碼和逆向解析都由應(yīng)用上層定義和實現(xiàn)。在報文緩存到一定數(shù)量后，存入工業(yè)數(shù)據(jù)庫中。步驟102中，根據(jù)報文的源點標(biāo)識和時間戳區(qū)間找到數(shù)據(jù)庫中對應(yīng)的數(shù)據(jù)文件。具體地說，首先根據(jù)源點標(biāo)識找到對應(yīng)的索引文件，一般索引文件名即為該源點標(biāo)識，如[源點標(biāo)識].pridx。之后讀取索引文件中數(shù)據(jù)文件名稱和對應(yīng)的起始時間戳、終止時間戳(即時間戳區(qū)間)，將待存儲的報文的時間戳區(qū)間與各數(shù)據(jù)文件所對應(yīng)的時間戳區(qū)間相比較，尋找最接近待存儲報文的時間戳區(qū)間的數(shù)據(jù)文件名稱。在實際操作中，為了加快查找速度，可以采用幾種常見的搜索算法，如二分法、哈希表和B、B+樹等。
檢索到對應(yīng)的數(shù)據(jù)文件后，進入步驟103，判斷該數(shù)據(jù)文件剩余空間是否大于待存儲的報文所需空間，如果小于，則進入步驟104 ；如果大于則進入步驟107。步驟104中，該源點標(biāo)識當(dāng)前對應(yīng)的數(shù)據(jù)文件中已沒有足夠的空間存儲報文，為該源點標(biāo)識生成新的數(shù)據(jù)文件，該數(shù)據(jù)文件同樣分為索引區(qū)域和數(shù)據(jù)區(qū)域。接著進入步驟 105。步驟105中，計算各報文的數(shù)據(jù)部分(包括報文數(shù)據(jù)和其他屬性部分)在數(shù)據(jù)文件中的物理存儲位置，將報文的物理存儲位置和時間戳構(gòu)成報文的索引信息。接著進入步驟 106。步驟106中，將內(nèi)存中緩存的報文存儲到該新數(shù)據(jù)文件中，從索引區(qū)域的頭部起始，將報文的索引信息正序存儲在該索引區(qū)域，從數(shù)據(jù)區(qū)域的底部起始，將報文的其他部分信息倒序存儲在該數(shù)據(jù)區(qū)域，如圖3所示。其中，索引信息由報文的時間戳和其他部分信息在數(shù)據(jù)區(qū)域中的物理存儲位置構(gòu)成，報文其他部分信息即除源點標(biāo)識和時間戳以外的信息，包含報文的訪問點屬性、報文傳輸物理或邏輯鏈路的質(zhì)量碼、報文傳輸物理或邏輯鏈路的類型等其他屬性。作為進一步改進，在將報文的索引信息存儲在該索引區(qū)域之前，可以先在內(nèi)存中使用優(yōu)化算法(如哈希算法)對索引信息進行排序，形成對應(yīng)的映射表(如hash-map)，將排序得到的索引信息映射表(如hash-map)存儲到索引區(qū)域，以便在檢索報文時能夠快速定位索引信息。報文存儲之后，在該源點標(biāo)識對應(yīng)的索引文件中保存新的數(shù)據(jù)文件的名稱、數(shù)據(jù)文件中存儲的報文的起始時間戳、和終止時間戳。步驟107中，當(dāng)前的數(shù)據(jù)文件有足夠的存儲空間，確定該數(shù)據(jù)文件中數(shù)據(jù)區(qū)域當(dāng)前存儲位置，根據(jù)該存儲位置計算各報文的數(shù)據(jù)部分(包括報文數(shù)據(jù)和其他屬性部分)在數(shù)據(jù)文件中的物理存儲位置，將報文的物理存儲位置和時間戳構(gòu)成報文的索引信息。接著進入步驟108。步驟108中，按照該數(shù)據(jù)文件中索引區(qū)域和數(shù)據(jù)區(qū)域當(dāng)前的存儲位置，將報文的索引信息正序存儲在該索引區(qū)域，將報文的其他部分信息倒序存儲在該數(shù)據(jù)區(qū)域。并更新對應(yīng)的索引文件中本數(shù)據(jù)文件的起始時間戳和終止時間戳。同樣，在將報文的索引信息存儲在該索引區(qū)域之前，可以先在內(nèi)存中使用優(yōu)化算法(如哈希算法)對索引信息進行排序，形成對應(yīng)的映射表(如hash-map)，將排序得到的索引信息映射表(如hash-map)存儲到索引區(qū)域，以便在檢索報文時能夠快速定位索引信肩、ο綜上所述，由于工業(yè)報文長度變化大，不可預(yù)測，在預(yù)留報文的存儲空間時，經(jīng)常會產(chǎn)生空間浪費，容易發(fā)生索引區(qū)域還有剩余空間而數(shù)據(jù)區(qū)域已滿，或者數(shù)據(jù)區(qū)域還有空間而索引區(qū)域已滿的情況。通過上述存儲方式，索引區(qū)域和數(shù)據(jù)區(qū)域的數(shù)據(jù)量均由兩頭向數(shù)據(jù)文件中間部分增長，數(shù)據(jù)文件的中間部分為空白區(qū)域，索引區(qū)域和數(shù)據(jù)區(qū)域之間沒有固定劃分，從而可以根據(jù)所存儲的報文需要，自動改變，從而不會因預(yù)留索引區(qū)域而產(chǎn)生存儲空間浪費，且能保持數(shù)據(jù)的連續(xù)存儲，便于快速讀取。在待存儲的報文數(shù)據(jù)量大于該數(shù)據(jù)文件中間空白部分時，停止將報文存儲在該數(shù)據(jù)文件，從而在固定大小的文件存儲區(qū)域中最高效率地進行報文存儲，將空間利用率最大化，減少報文占用的存儲空間。
并且，通過將屬于相同源點標(biāo)識的報文在同一個數(shù)據(jù)文件中，使得無需再保存每條報文對應(yīng)的源點標(biāo)識，節(jié)省了存儲空間，在工業(yè)領(lǐng)域上千萬條工業(yè)報文的情況下，明顯提高了數(shù)據(jù)存儲效率。根據(jù)本實施方式的報文存儲方法，在進行報文檢索時，可以直接根據(jù)需要檢索的報文的源點標(biāo)識找到對應(yīng)的索引文件。再將待檢索報文的時間戳區(qū)間、與索引文件中各數(shù)據(jù)文件名稱對應(yīng)的起始時間戳和終止時間戳進行比較，找到包含待檢索的時間戳區(qū)間的數(shù)據(jù)文件，在實際操作中，同樣可以采用幾種常見的搜索算法，如二分法、哈希表和B、B+樹等。之后讀取數(shù)據(jù)文件中的索引區(qū)域，從該索引區(qū)域進行二級查找，定位報文在該數(shù)據(jù)文件中的實際存儲位置。在進行數(shù)據(jù)定位時，如果索引信息已通過優(yōu)化算法進行排序，則可以根據(jù)排序后的映射表快速定位對應(yīng)的索引信息，找到所需的報文，如可以采用hash-map等方式提高檢索效率。通過上述存儲方式，使得報文的檢索更方便，處理時間更短。雖然通過參照本發(fā)明的某些優(yōu)選實施方式，已經(jīng)對本發(fā)明進行了圖示和描述，但本領(lǐng)域的普通技術(shù)人員應(yīng)該明白，可以在形式上和細節(jié)上對其作各種改變，而不偏離本發(fā)明的精神和范圍。
權(quán)利要求
1.一種工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，包含以下步驟將預(yù)留的文件存儲區(qū)域劃分為索引區(qū)域和數(shù)據(jù)區(qū)域；在進行報文存儲時，從所述索引區(qū)域頭部起，將報文的索引信息正序存儲在該索引區(qū)域，從所述數(shù)據(jù)區(qū)域底部起，將報文的其他部分信息倒序存儲在該數(shù)據(jù)區(qū)域；所述索引區(qū)域和數(shù)據(jù)區(qū)域的劃分根據(jù)所述索引區(qū)域和數(shù)據(jù)區(qū)域中存儲的數(shù)據(jù)量自適應(yīng)變化。
2.根據(jù)權(quán)利要求1所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，所述報文存儲過程中，索引區(qū)域和數(shù)據(jù)區(qū)域的數(shù)據(jù)量均向所述文件存儲區(qū)域中間部分增長，在待存儲的報文數(shù)據(jù)量大于文件存儲區(qū)域中間空白部分時，停止將所述報文存儲在該文件存儲區(qū)域，為所述源點標(biāo)識預(yù)留新的文件存儲區(qū)域。
3.根據(jù)權(quán)利要求1所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，所述報文至少包含報文數(shù)據(jù)、源點標(biāo)識、時間戳，所述其他部分信息至少包含報文數(shù)據(jù)部分。
4.根據(jù)權(quán)利要求3所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，所述報文的索引信息由所述報文的時間戳和所述其他部分信息在數(shù)據(jù)區(qū)域中的存儲位置構(gòu)成；進行所述報文存儲之前，還包含以下步驟根據(jù)所述文件存儲區(qū)域中數(shù)據(jù)區(qū)域中當(dāng)前數(shù)據(jù)存儲位置，計算所述報文的其他部分信息在該數(shù)據(jù)區(qū)域中的存儲位置，生成所述報文的索引信息。
5.根據(jù)權(quán)利要求3所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，每個源點標(biāo)識對應(yīng)一個索引文件和至少一個文件存儲空間，所述索引文件中保存該源點標(biāo)識對應(yīng)的各文件存儲空間的指針；屬于同一個源點標(biāo)識的報文存儲在該源點標(biāo)識對應(yīng)的文件存儲空間中。
6.根據(jù)權(quán)利要求5所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，所述文件存儲空間的指針為該文件存儲空間構(gòu)成的數(shù)據(jù)文件名稱。
7.根據(jù)權(quán)利要求5所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，所述索引文件中還保存各文件存儲空間存儲的報文的起始時間戳和終止時間戳；在存儲報文前，將待存儲的報文的時間戳與各文件存儲空間當(dāng)前對應(yīng)的起始時間戳、 終止時間戳相比較，尋找時間最接近的文件存儲空間進行存儲；在存儲報文后，更新所述索引文件中該文件存儲空間的起始時間戳和終止時間戳。
8.根據(jù)權(quán)利要求1至7中任意一項所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，所述預(yù)留的文件存儲區(qū)域大小由預(yù)估的報文長度和預(yù)計存儲的報文數(shù)量決定。
9.根據(jù)權(quán)利要求1至7中任意一項所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，所述將報文的索引信息正序存儲在該索引區(qū)域的步驟之前，使用優(yōu)化算法對所述索引信息進行排序，得到索引信息映射表；所述將報文的索引信息正序存儲在該索引區(qū)域的步驟中，將排序后的索引信息映射表正序存儲在所述索引區(qū)域中。
10.根據(jù)權(quán)利要求9所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，所述優(yōu)化算法至少包括哈希算法，所述映射表至少包括hash-map。
11.根據(jù)權(quán)利要求1至7中任意一項所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，所述報文的其他部分信息還包含以下之一或其任意組合報文的訪問點屬性、報文傳輸物理或邏輯鏈路的質(zhì)量碼、報文傳輸物理或邏輯鏈路的類型。
12.根據(jù)權(quán)利要求7所述的工業(yè)數(shù)據(jù)庫報文存儲方法，其特征在于，在進行報文檢索時，根據(jù)待檢索報文的源點標(biāo)識，找到對應(yīng)的索引文件；將待檢索報文的時間戳與索引文件中各文件存儲區(qū)域的起始時間戳、終止時間戳比較，找到時間相匹配的文件存儲空間；讀取找到的文件存儲空間的索引區(qū)域，根據(jù)待檢索報文的時間戳對該索引區(qū)域中的索引信息進行二級查找，根據(jù)找到的索引信息定位報文的實際存儲位置。
全文摘要
本發(fā)明公開了一種工業(yè)數(shù)據(jù)庫報文存儲方法，將預(yù)留的文件存儲區(qū)域劃分為索引區(qū)域和數(shù)據(jù)區(qū)域；在進行報文存儲時，從索引區(qū)域頭部起，將報文的索引信息正序存儲在該索引區(qū)域，從數(shù)據(jù)區(qū)域底部起，將報文的其他部分信息倒序存儲在該數(shù)據(jù)區(qū)域；索引區(qū)域和數(shù)據(jù)區(qū)域的劃分根據(jù)索引區(qū)域和數(shù)據(jù)區(qū)域中存儲的數(shù)據(jù)量自動變化，從而不會浪費預(yù)留的索引區(qū)域的空間，在固定大小的文件存儲區(qū)域中最高效率地進行報文存儲，將空間利用率最大化，減少報文占用的存儲空間。保存各文件存儲空間存儲的報文的起始時間戳和終止時間戳，使得在進行報文檢索時，能夠快速定位對應(yīng)的文件存儲空間，并可以通過索引信息進行快速定位，加快了報文的檢索時間，處理時間更短。
文檔編號G06F17/30GK102419752SQ201010295949
公開日2012年4月18日 申請日期2010年9月28日 優(yōu)先權(quán)日2010年9月28日
發(fā)明者葉軍, 梁俊, 王偉 申請人:上?？婶斚到y(tǒng)軟件有限公司