自學(xué)習(xí)式遙測數(shù)據(jù)識別方法
【專利摘要】本發(fā)明公開一種自學(xué)習(xí)式遙測數(shù)據(jù)識別方法，該方法主要用于智能的遙測數(shù)據(jù)接收平臺，不同廠商生產(chǎn)的遙測設(shè)備以各自定義的格式向數(shù)據(jù)接收平臺不斷傳送數(shù)據(jù)，廠商間的數(shù)據(jù)格式可能是不同的，本發(fā)明在接收到一個新型號的遙測設(shè)備發(fā)來的數(shù)據(jù)后，如果不能識別，將啟動一個自學(xué)過程，在所述學(xué)習(xí)過程中，本發(fā)明不會將接收到的數(shù)據(jù)立即提交給下一個環(huán)節(jié)，而是緩存一批信息，直到成功學(xué)習(xí)完畢，才將緩存的數(shù)據(jù)提交給下一環(huán)節(jié)，學(xué)習(xí)結(jié)束后，本發(fā)明將描述該類數(shù)據(jù)的元數(shù)據(jù)提交給報(bào)文類別庫，下次再收到同類數(shù)據(jù)時(shí)，就直接進(jìn)行處理了。運(yùn)用本發(fā)明，可自動識別未知型號遙測設(shè)備發(fā)回的數(shù)據(jù)，從而一籃子解決了接收不同廠商、不同型號遙測設(shè)備數(shù)據(jù)過程中的數(shù)據(jù)解析問題。
【專利說明】
自學(xué)習(xí)式遙測數(shù)據(jù)識別方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及遙測數(shù)據(jù)接收軟件技術(shù)領(lǐng)域，特別是水文遙測數(shù)據(jù)接收過程中，是一種報(bào)文自動識別的方法。
【背景技術(shù)】
[0002]物聯(lián)網(wǎng)具有整合感知識別、傳輸互聯(lián)和計(jì)算處理等功能，是對新一代信息技術(shù)的高度集成和綜合運(yùn)用。加快發(fā)展物聯(lián)網(wǎng)，將為我國建設(shè)結(jié)構(gòu)優(yōu)化、技術(shù)先進(jìn)、清潔安全、附加值高、吸納就業(yè)能力強(qiáng)的現(xiàn)代產(chǎn)業(yè)體系，提供強(qiáng)有力的支撐和保障。
[0003]遙測數(shù)據(jù)的接收是物聯(lián)網(wǎng)技術(shù)中感知層信息到計(jì)算機(jī)的重要環(huán)節(jié)，傳統(tǒng)遙測數(shù)據(jù)接收過程中，通常是遙測設(shè)備的生產(chǎn)廠商負(fù)責(zé)自己接收自己生產(chǎn)遙測設(shè)備的數(shù)據(jù)，這就導(dǎo)致常常需要部署多個遙測數(shù)據(jù)接收服務(wù)軟件，才能接收全部的遙測信息，客戶需求的任何一點(diǎn)改動都要通知所有的遙測廠商，要求他們一一進(jìn)行修正，收到數(shù)據(jù)后，還需要進(jìn)行整合才能集中管理、統(tǒng)一查詢、統(tǒng)一分析。
[0004]傳統(tǒng)的遙測數(shù)據(jù)接收方法存在至少如下缺陷:
1.需要要部署多臺遙測數(shù)據(jù)接收軟件，才能接收全部的數(shù)據(jù)。
[0005]2.部署在野外的遙測設(shè)備，其型號、生產(chǎn)時(shí)間、版本要一一管理，型號、廠商對應(yīng)不上就會造成數(shù)據(jù)無法接收。
[0006]3.客戶需求變更困難，任何一點(diǎn)需求的變更都要--通知各個遙測設(shè)備生產(chǎn)廠商，--要求他們修改。
[0007]4.遙測數(shù)據(jù)接收回來后，會進(jìn)入不同的數(shù)據(jù)庫，需要再對不同廠商的數(shù)據(jù)進(jìn)行整合，才能進(jìn)行集中管理和統(tǒng)一查詢分析。

【發(fā)明內(nèi)容】

[0008]針對上述問題，本發(fā)明公開了一種自學(xué)式的遙測數(shù)據(jù)識別方法，該方法解決了上述不同廠商遙測設(shè)備、不同版本遙測設(shè)備發(fā)送回來數(shù)據(jù)的自動識別問題，用戶采購新設(shè)備，不需要改動接收軟件，遙測數(shù)據(jù)可以被自動識別，并接收到一個統(tǒng)一的數(shù)據(jù)庫中，本發(fā)明極大地方便了用戶對遙測設(shè)和遙測數(shù)據(jù)的管理。
[0009]為實(shí)現(xiàn)上述目標(biāo)，本發(fā)明在接收到一個新遙測設(shè)備發(fā)回的數(shù)據(jù)后，如果不能識別，將啟動一個自學(xué)過程，學(xué)習(xí)時(shí)，本發(fā)明不會將接收到的數(shù)據(jù)立即提交給下一個環(huán)節(jié)，而是緩存一批信息，直到成功學(xué)習(xí)完成，才將緩存的信息提交給下一環(huán)節(jié)，學(xué)習(xí)結(jié)束后，本發(fā)明將描述該類數(shù)據(jù)特征的信息(元數(shù)據(jù))，提交給信息類別知識庫，下次再收到同類信息時(shí)，就不用再學(xué)習(xí)了。
[0010]遙測設(shè)備無論廠商、無論型號，為同一個工作目標(biāo)而發(fā)回來的數(shù)據(jù)，其包含的信息是特定的，該信息是需要用戶設(shè)置的，是存儲在報(bào)文學(xué)習(xí)知識庫中的，也就是目標(biāo)信息明細(xì)，目標(biāo)信息明細(xì)包括信息必須包含的條目，各個條目是整數(shù)、小數(shù)、日期還是文本，各個條目的取值范圍，條目間的數(shù)據(jù)約束規(guī)則等，目標(biāo)信息越明確，識別速度越快、越準(zhǔn)確。
[0011]本發(fā)明的核心算法是應(yīng)用了統(tǒng)計(jì)學(xué)的原理，報(bào)文識別是一個概率統(tǒng)計(jì)的過程，逐一統(tǒng)計(jì)各個報(bào)文條目出現(xiàn)在報(bào)文中出現(xiàn)位置的幾率，直至該幾率接近100% ；
該自學(xué)式的遙測數(shù)據(jù)識別方法包括:
步驟1:接收到遙測數(shù)據(jù)的報(bào)文后，首先對接收的報(bào)文根據(jù)報(bào)文類別庫中的已有報(bào)文數(shù)據(jù)進(jìn)行匹配識別；如果能夠匹配成功則完成識別，該報(bào)文是可識別的；如果匹配失敗，根據(jù)已有的報(bào)文類別庫判定該報(bào)文是不是可識別的；
步驟2:對不可識別的數(shù)據(jù)進(jìn)行緩存，緩存N個的這種數(shù)據(jù)報(bào)文后，進(jìn)入步驟3，其中所述N是大于I的自然數(shù)，其大小可通過用戶進(jìn)行設(shè)置；
步驟3:逐一統(tǒng)計(jì)各個報(bào)文條目出現(xiàn)在報(bào)文中出現(xiàn)位置的幾率，直至該幾率接近100% ；其中，遙感數(shù)據(jù)接收系統(tǒng)需要一個報(bào)文知識庫，用戶描述接受到的報(bào)文特征，該知識庫的內(nèi)容有:目標(biāo)數(shù)據(jù)的條目數(shù)量、目標(biāo)數(shù)據(jù)各個分項(xiàng)的類型、目標(biāo)數(shù)據(jù)各個分項(xiàng)的取值范圍、目標(biāo)數(shù)據(jù)各個分項(xiàng)的約束關(guān)系。
[0012]進(jìn)一步地，遙測數(shù)據(jù)接收平臺接收的目標(biāo)數(shù)據(jù)就內(nèi)容上來說，其信息的類型可能是:雨量站傳回的降雨信息、河道站傳回的水位信息、氣象站傳回的氣象信息，這些信息的內(nèi)容大致相同，只是數(shù)據(jù)的格式不用，例如有的廠商用zip格式、有的用xml格式、有的用二進(jìn)制格式、有的廠商將站碼放在第一位、有的廠商將站碼放在第三位；報(bào)文知識庫，就是用來描述目標(biāo)信息特征的，如目標(biāo)信息中有站碼、降雨量、報(bào)文間隔時(shí)長、降雨持續(xù)時(shí)長等信息，站碼是8位數(shù)字，降雨量是小數(shù)的，降雨持續(xù)時(shí)長是小數(shù)的。
[0013]進(jìn)一步地，該遙感數(shù)據(jù)接收系統(tǒng)要求有一個用于存儲報(bào)文類別的庫，該庫中存有多種報(bào)文的格式特征，遙測數(shù)據(jù)接收平臺收到報(bào)文后，將和報(bào)文庫一一對比，都不相同則進(jìn)入識別流程。
[0014]進(jìn)一步地，該遙感數(shù)據(jù)接收系統(tǒng)對目標(biāo)數(shù)據(jù)的識別是對一堆數(shù)據(jù)進(jìn)行判定的，不是一個數(shù)據(jù)就能識別出其信息特征的。
[0015]運(yùn)用本發(fā)明，可自動識別未知型號遙測設(shè)備發(fā)回的數(shù)據(jù)，從而一籃子解決了接收不同廠商遙測設(shè)備數(shù)據(jù)的兼容性問題。
【附圖說明】
[0016]圖1是本發(fā)明自學(xué)式遙測數(shù)據(jù)接收流程。
[0017]圖2是本發(fā)明包含的模塊。
【具體實(shí)施方式】
[0018]下面結(jié)合圖1和圖2對本發(fā)明中的自學(xué)習(xí)式的遙測數(shù)據(jù)識別方法做進(jìn)一步描述。
[0019]如圖2所示，本發(fā)明包括二個庫和一個學(xué)習(xí)模塊。報(bào)文識別庫存儲有可識別的報(bào)文描述、報(bào)文數(shù)據(jù)條碼明細(xì)、報(bào)文數(shù)據(jù)格式和規(guī)則，經(jīng)過本發(fā)明學(xué)習(xí)后的新的報(bào)文格式，也被送入該庫，通過與該庫數(shù)據(jù)的匹配，可以識別既有的報(bào)文格式，可以識別新的報(bào)文格式，以送入報(bào)文識別模塊；報(bào)文學(xué)習(xí)知識庫主要是描述目標(biāo)數(shù)據(jù)包含的目標(biāo)信息明細(xì)，目標(biāo)信息明細(xì)包括信息必須包含的條目，各個條目是整數(shù)、小數(shù)、日期還是文本，各個條目的取值范圍，條目間的數(shù)據(jù)約束規(guī)則等，目標(biāo)信息越明確，識別速度越快，越準(zhǔn)確。為加快識別速度，本發(fā)明預(yù)置了一批常用報(bào)文編碼規(guī)則，系統(tǒng)在學(xué)習(xí)的過程中將優(yōu)先比對預(yù)定義的數(shù)據(jù)編碼規(guī)則，如果能迅速比對成功，就不用進(jìn)入更復(fù)雜的識別方式，從而提高了識別速度；學(xué)習(xí)模塊應(yīng)用了統(tǒng)計(jì)學(xué)的原理，報(bào)文識別是一個概率統(tǒng)計(jì)的過程，逐一統(tǒng)計(jì)各個報(bào)文條目出現(xiàn)在報(bào)文中出現(xiàn)位置的幾率，直至該幾率接近100% ；
如圖1所示，遙測數(shù)據(jù)接收平臺在接到遙測數(shù)據(jù)后，先檢測報(bào)文類別庫，根據(jù)已有的報(bào)文類別判定該報(bào)文是不是可識別的，如果是不可識別的報(bào)文，系統(tǒng)將緩存一批這樣的數(shù)據(jù)，進(jìn)入報(bào)文識別流程，啟動一個報(bào)文識別流程需要緩存上千條數(shù)據(jù)，當(dāng)然緩存的數(shù)量用戶是可以設(shè)置的，緩存的數(shù)量越多識別的準(zhǔn)確度越高；
報(bào)文識別的過程中，系統(tǒng)解析目標(biāo)數(shù)據(jù)知識庫，分析目標(biāo)數(shù)據(jù)，不斷統(tǒng)計(jì)知識庫各個條目出現(xiàn)在目標(biāo)數(shù)據(jù)中不同位置的幾率，經(jīng)過上千條數(shù)據(jù)的比對，最終給出各個條目可能出現(xiàn)在報(bào)文中的位置，如果用戶對結(jié)果不滿意，可以增加緩存數(shù)據(jù)的數(shù)量，提高識別精度。
[0020]報(bào)文識別的過程可以在數(shù)據(jù)動態(tài)接收的過程中進(jìn)行，也可以將批量數(shù)據(jù)直接交付給識別模塊，識別模塊完成工作后，將成果遞交給報(bào)文類別庫。
[0021]報(bào)文學(xué)習(xí)知識庫，是用戶用來描述目標(biāo)信息的，該模塊將向用戶提供一個輸入的界面，用戶在此界面中將目標(biāo)信息明細(xì)一一添加進(jìn)來。
【主權(quán)項(xiàng)】
1.自學(xué)習(xí)式的遙測報(bào)文識別方法，其特征在于: 系統(tǒng)需要一個報(bào)文知識庫，用以描述接受到的報(bào)文特征，該知識庫的內(nèi)容有:目標(biāo)數(shù)據(jù)的條目數(shù)量、目標(biāo)數(shù)據(jù)各個分項(xiàng)的類型、目標(biāo)數(shù)據(jù)各個分項(xiàng)的取值范圍、目標(biāo)數(shù)據(jù)各個分項(xiàng)的約束關(guān)系； 遙測數(shù)據(jù)接收平臺在接到遙測數(shù)據(jù)后，先根據(jù)已有的報(bào)文類別庫判定該報(bào)文是不是可識別的，如果是不可識別的報(bào)文，系統(tǒng)將緩存一批這樣的數(shù)據(jù)，進(jìn)入報(bào)文識別流程； 在報(bào)文識別過程中，本發(fā)明啟動一個概率統(tǒng)計(jì)的過程，逐一統(tǒng)計(jì)各個報(bào)文條目出現(xiàn)在報(bào)文中出現(xiàn)位置的幾率，直至該幾率接近100%。2.如權(quán)利要求1所述，其特征在于: 所述報(bào)文類別庫，該庫中存有多種報(bào)文的格式特征，遙測數(shù)據(jù)接收平臺收到報(bào)文后，將和報(bào)文庫一一對比，如果收到的數(shù)據(jù)與符合該庫存儲的某種類型的數(shù)據(jù)特征，則數(shù)據(jù)傳遞給其后的處理流程；如果與任何一類數(shù)據(jù)的特征都不符合，則進(jìn)入識別流程。3.如權(quán)利要求1所述，其特征在于: 所述遙測數(shù)據(jù)接收平臺接收的目標(biāo)數(shù)據(jù)，其內(nèi)容上是一致的，只是數(shù)據(jù)的存儲格式不用，該數(shù)據(jù)可依據(jù)報(bào)文學(xué)習(xí)知識庫來判定各類信息可能存儲的位置。4.如權(quán)利要求3所述，其特征在于: 所述報(bào)文學(xué)習(xí)知識庫，其數(shù)據(jù)是用戶預(yù)置進(jìn)入的，報(bào)文學(xué)習(xí)知識庫主要是描述目標(biāo)數(shù)據(jù)包含的目標(biāo)信息明細(xì)，目標(biāo)信息明細(xì)包括信息必須包含的條目，各個條目是整數(shù)、小數(shù)、日期還是文本，各個條目的取值范圍，條目間的數(shù)據(jù)約束規(guī)則等。5.如權(quán)利要求1所述，其特征在于: 本專利對目標(biāo)數(shù)據(jù)的識別是對N個數(shù)據(jù)進(jìn)行判定的，不是一個數(shù)據(jù)就能識別出其信息特征的。
【文檔編號】G06F17/30GK105824835SQ201510006378
【公開日】2016年8月3日
【申請日】2015年1月7日
【發(fā)明人】徐海濤, 曲延光, 佟立武, 尹憲文, 李玉奎, 杜春輝
【申請人】北京艾力泰爾信息技術(shù)有限公司