一種數(shù)據(jù)采集系統(tǒng)的通信報文保存方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)采集系統(tǒng)的通信報文保存方法，屬于配電自動化系統(tǒng)數(shù)據(jù)采集領(lǐng)域。
【背景技術(shù)】
[0002]在以往的配電網(wǎng)系統(tǒng)中，配網(wǎng)系統(tǒng)接入終端數(shù)量非常多，通信報文及數(shù)據(jù)量巨大，如何保證數(shù)據(jù)采集實時可靠的前提下，盡量完整的保存終端通信報文一直是個難題。如果不做處理而直接保存報文到文件，會大量占用CPU負荷和磁盤1資源，嚴(yán)重影響終端數(shù)據(jù)實時處理。對此，傳統(tǒng)的做法是不保存或僅保存少量重要報文，當(dāng)出現(xiàn)數(shù)據(jù)丟失或錯誤時，將無法及時準(zhǔn)確定位解決問題。

【發(fā)明內(nèi)容】

[0003]針對現(xiàn)有技術(shù)無法在采集系統(tǒng)上無法完整的保存報文、出現(xiàn)重要數(shù)據(jù)丟失及無法準(zhǔn)確定位的問題，本發(fā)明公開了一種數(shù)據(jù)采集系統(tǒng)的通信報文保存方法使得數(shù)據(jù)采集系統(tǒng)在占用少量磁盤1資源和磁盤空間基礎(chǔ)上，能夠完整并且規(guī)律保存所有通信報文，方便使用者迅速查閱報文，定位分析通信數(shù)據(jù)問題。
[0004]本發(fā)明的技術(shù)方案包括一種數(shù)據(jù)采集系統(tǒng)的通信報文保存方法，包括:使用至少一個報文采集裝置采集報文，并將采集的報文發(fā)送；構(gòu)建內(nèi)存緩沖區(qū)，采用內(nèi)存緩沖技術(shù)，將接收的報文存放置于內(nèi)存緩沖區(qū)進行累積，并設(shè)置有累積閾值；當(dāng)報文累積數(shù)量超過所述累積閾值時，啟用CPU負載檢測，當(dāng)該檢測值低于預(yù)設(shè)的下限檢測閾值時，則將報文壓縮；當(dāng)報文壓縮完成后，同時啟用CPU負載檢測和I/O負載檢測，當(dāng)該檢測值均低于預(yù)設(shè)的下限檢測閾值時，將壓縮報文以文件形式存儲至磁盤中；文件在存儲至磁盤時，采用全局唯一性生成方法，以文件屬性信息的組合信息作為文件命名標(biāo)準(zhǔn)，用于快速查找和提取報文；在整個采集系統(tǒng)的通信報文的采集和保存過程中，均使用多線程技術(shù)進行并行處理，用于降低報文在采集過程中的丟包率，還用在文件的存儲時，保證文件的完整性。
[0005]進一步，所述數(shù)據(jù)采集系統(tǒng)的通信報文保存方法還包括:在使用內(nèi)存緩沖技術(shù)存儲報文時，對報文以結(jié)構(gòu)化序列方式進行存儲，所存儲的方式以二進制存儲。
[0006]進一步，所述數(shù)據(jù)采集系統(tǒng)的通信報文保存方法還包括:在報文壓縮過程中，采用無損壓縮解壓算法對超過閾值的緩存報文進行壓縮及解壓。
[0007]進一步，所述數(shù)據(jù)采集系統(tǒng)的通信報文保存方法還包括:所述命名標(biāo)準(zhǔn)采用全局唯一性生成方法，其中，命名的文件屬性包括報文文件生成時間，報文類型，報文源識別碼，用于確定唯一的文件名，并用于快速查閱。
[0008]進一步，所述數(shù)據(jù)采集系統(tǒng)的通信報文保存方法還包括:命名的文件屬性包括報文件生成時間、報文類型和報文源識別碼，用于確定唯一的文件名，并用于快速查閱。
[0009]進一步，所述數(shù)據(jù)采集系統(tǒng)的通信報文保存方法還包括:所述的查詢使用一個人機交互界面用于根據(jù)文件屬性進行自定義查詢。
[0010]進一步，所述數(shù)據(jù)采集系統(tǒng)的通信報文保存方法還包括:通過多線程處理作用于報文保存方法的整個處理過程，包括報文采集、報文緩存、文件形式存儲及報文存儲。
[0011]進一步，所述數(shù)據(jù)采集系統(tǒng)的通信報文保存方法還包括:多個請求和回應(yīng)以及多個數(shù)據(jù)傳輸通道，并且數(shù)據(jù)的處理與系統(tǒng)的運行獨立進行。
[0012]本發(fā)明的有益效果為:保證數(shù)據(jù)采集實時可靠前提下，完整保存所有通信報文；解決保存通信報文占用大量磁盤1資源問題；解決保存通信占用大量磁盤空間問題；通過報文保存技術(shù)，能夠快速定位查閱通信報文。
【附圖說明】
[0013]圖1所示為根據(jù)本發(fā)明實施方式總體流程圖；
圖2所示為根據(jù)本發(fā)明實施方式的詳細流程圖。
【具體實施方式】
[0014]為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合附圖和具體實施例對本發(fā)明進行詳細描述。本發(fā)明的數(shù)據(jù)采集系統(tǒng)的通信報文保存方法主要運用于配網(wǎng)自動化系統(tǒng)數(shù)據(jù)采集領(lǐng)域。
[0015]圖1所示為根據(jù)本發(fā)明實施的總體流程圖。在采集系統(tǒng)開辟內(nèi)存緩存空間，緩存空間可以根據(jù)采集報文數(shù)量進行相應(yīng)的修改；使用二進制結(jié)構(gòu)化緩存報文，對報文進行結(jié)構(gòu)序列化存儲結(jié)構(gòu)；報文壓縮用于對緩存中的報文采用無損壓縮解壓算法及內(nèi)存壓縮方式實施壓縮；然后根據(jù)報文信息對報文進行唯一性命名，同時方便查閱報文；最后進行報文的存儲；
圖2所示為根據(jù)本發(fā)明實施方式的詳細流程圖。采用內(nèi)存緩存技術(shù)，構(gòu)建合適的內(nèi)容緩沖區(qū)，報文先置于緩沖區(qū)中，在報文數(shù)據(jù)量達到指定大小時，經(jīng)過后續(xù)處理形成文件存入磁盤，避免傳統(tǒng)方式直接寫文件對磁盤的頻繁操作。采用二進制最小存儲空間方法，以結(jié)構(gòu)化序列方式存儲結(jié)構(gòu)，最大限度減少報文占用的內(nèi)存空間及保存時占用的磁盤空間。采用無損壓縮解壓算法及內(nèi)存壓縮方式，對緩存的報文壓縮后再寫入文件，保證數(shù)據(jù)完整性前提下，減少報文數(shù)據(jù)量從而減少占用的硬盤空間，同時也降低了寫入磁盤時對CPU和磁盤的負載要求。報文數(shù)據(jù)量達到指定大小后，自動啟動檢測CPU負載，選擇在CPU占用率低于規(guī)定限值時，開始對報文進行內(nèi)存壓縮；報文壓縮完成后，立刻啟動檢測CPU和磁盤10(輸入輸出)負載，均低于規(guī)定限值時，將壓縮報文存儲到硬盤。采用文件名稱全局唯一生成方法。依據(jù)文件生成時間、報文類型、報文源識別碼等信息進行組合，確保報文文件名稱唯一、快速定位查閱報文。報文保存全過程采用多線程并行獨立處理技術(shù)，保證報文及時完整保存的同時不影響系統(tǒng)實時業(yè)務(wù)處理。該技術(shù)實現(xiàn)方法是將報文存儲設(shè)計為獨立的系統(tǒng)模塊，同時采用線程池技術(shù)，多線程并發(fā)處理業(yè)務(wù)系統(tǒng)的報文存儲需求。
[0016]以上所述，只是本發(fā)明的較佳實施例而已，本發(fā)明并不局限于上述實施方式，只要其以相同的手段達到本發(fā)明的技術(shù)效果，都應(yīng)屬于本發(fā)明的保護范圍。在本發(fā)明的保護范圍內(nèi)其技術(shù)方案和/或?qū)嵤┓绞娇梢杂懈鞣N不同的修改和變化。
【主權(quán)項】
1.一種數(shù)據(jù)采集系統(tǒng)的通信報文保存方法，其特征在于，該方法包括: 使用至少一個報文采集裝置采集報文，并將采集的報文發(fā)送； 構(gòu)建內(nèi)存緩沖區(qū)，采用內(nèi)存緩沖技術(shù)，將接收的報文存放置于內(nèi)存緩沖區(qū)進行累積，并設(shè)置有累積閾值； 當(dāng)報文累積數(shù)量超過所述累積閾值時，啟用CPU負載檢測，當(dāng)該檢測值低于預(yù)設(shè)的下限檢測閾值時，則將報文壓縮； 當(dāng)報文壓縮完成后，同時啟用CPU負載檢測和I/O負載檢測，當(dāng)該檢測值均低于預(yù)設(shè)的下限檢測閾值時，將壓縮報文以文件形式存儲至磁盤中； 文件在存儲至磁盤時，采用全局唯一性生成方法，以文件屬性信息的組合信息作為文件命名標(biāo)準(zhǔn)，用于快速查找和提取報文； 在整個采集系統(tǒng)的通信報文的采集和保存過程中，均使用多線程技術(shù)進行并行處理，用于降低報文在采集過程中的丟包率，還用在文件的存儲時，保證文件的完整性。2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集系統(tǒng)的通信報文保存方法，其特征在于: 在使用內(nèi)存緩沖技術(shù)存儲報文時，對報文以結(jié)構(gòu)化序列方式進行存儲，所存儲的方式以二進制存儲。3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集系統(tǒng)的通信報文保存方法，其特征在于: 在報文壓縮過程中，采用無損壓縮解壓算法對超過閾值的緩存報文進行壓縮及解壓。4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集系統(tǒng)的通信報文保存方法，其特征在于: 命名的文件屬性包括報文件生成時間、報文類型和報文源識別碼，用于確定唯一的文件名，并用于快速查閱。5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)采集系統(tǒng)的通信報文保存方法，其特征在于: 所述的查詢使用一個人機交互界面用于根據(jù)文件屬性進行自定義查詢。6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)采集系統(tǒng)的通信報文保存方法，其特征在于: 通過多線程處理作用于報文保存方法的整個處理過程，包括報文采集、報文緩存、文件形式存儲及報文存儲。7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)采集系統(tǒng)的通信報文保存方法，其特征在于，所述多線程處理還包括: 多個請求和回應(yīng)以及多個數(shù)據(jù)傳輸通道，并且數(shù)據(jù)的處理與系統(tǒng)的運行獨立進行。
【專利摘要】本發(fā)明提供一種數(shù)據(jù)采集系統(tǒng)的通信報文保存方法，該方法包括：開辟緩存空間存儲接收并使用二進制結(jié)構(gòu)法緩存報文，然后進行壓縮報文，并生產(chǎn)唯一名字的報文文件，最后實施存儲報文。本發(fā)明的有益效果為：保證數(shù)據(jù)采集實時可靠前提下，完整保存所有通信報文；解決保存通信報文占用大量磁盤IO資源問題；解決保存通信占用大量磁盤空間問題；通過報文保存技術(shù)，能夠快速定位查閱通信報文。
【IPC分類】G06F17/30
【公開號】CN105160013
【申請?zhí)枴緾N201510614860
【發(fā)明人】徐駿, 胡期紅, 張樂歧, 蔡必波
【申請人】珠海許繼芝電網(wǎng)自動化有限公司, 珠海許繼電氣有限公司, 國家電網(wǎng)公司
【公開日】2015年12月16日
【申請日】2015年9月24日