面向航空發(fā)動(dòng)機(jī)性能監(jiān)控的海量數(shù)據(jù)管理方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及航空發(fā)動(dòng)機(jī)數(shù)據(jù)管理技術(shù)領(lǐng)域，具體地說是一種能夠?qū)︼w機(jī)發(fā)動(dòng)機(jī)監(jiān)控?cái)?shù)據(jù)進(jìn)行快速、準(zhǔn)確監(jiān)控的面向航空發(fā)動(dòng)機(jī)性能監(jiān)控的海量數(shù)據(jù)管理方法及系統(tǒng)。
【背景技術(shù)】
[0002]隨著航空建設(shè)的發(fā)展，飛機(jī)的數(shù)量越來越多。作為飛機(jī)的重要部件，航空發(fā)動(dòng)機(jī)的健康管理就成為重中之重。航空發(fā)動(dòng)機(jī)是一個(gè)復(fù)雜系統(tǒng)，日常運(yùn)營(yíng)中，產(chǎn)生大量的監(jiān)控?cái)?shù)據(jù)。針對(duì)這些海量數(shù)據(jù)的監(jiān)控管理成為迫切需求。
[0003]航空發(fā)動(dòng)機(jī)的監(jiān)控?cái)?shù)據(jù)，數(shù)據(jù)量龐大，如果檢索依舊依賴于關(guān)系型數(shù)據(jù)庫，數(shù)據(jù)量小時(shí)可以接受，但是航空發(fā)動(dòng)機(jī)的監(jiān)控?cái)?shù)據(jù)不斷增量，僅依靠關(guān)系型數(shù)據(jù)庫本身的索引或者分區(qū)分表等方法，效率會(huì)非常底下，甚至導(dǎo)致數(shù)據(jù)庫服務(wù)器崩潰。

【發(fā)明內(nèi)容】

[0004]本發(fā)明針對(duì)現(xiàn)有技術(shù)中存在的缺點(diǎn)和不足，提出了一種能夠?qū)︼w機(jī)發(fā)動(dòng)機(jī)監(jiān)控?cái)?shù)據(jù)進(jìn)行快速、準(zhǔn)確監(jiān)控的面向航空發(fā)動(dòng)機(jī)性能監(jiān)控的海量數(shù)據(jù)管理方法及系統(tǒng)。
[0005]本發(fā)明可以通過以下措施達(dá)到:
一種面向航空發(fā)動(dòng)機(jī)性能監(jiān)控的海量數(shù)據(jù)管理方法，其特征在于包括以下步驟:
步驟1:錄入基礎(chǔ)數(shù)據(jù)，將其存儲(chǔ)到關(guān)系數(shù)據(jù)庫；
步驟2:確定分布式文件系統(tǒng)模型；
步驟3:采集航空發(fā)動(dòng)機(jī)監(jiān)控?cái)?shù)據(jù)，并進(jìn)行預(yù)處理處理；
步驟4:將解析后的可操作數(shù)據(jù)處理后形成key;
步驟5:將解析后的可操作數(shù)據(jù)處理后形成value;
步驟6:將key與value進(jìn)行綁定，存儲(chǔ)至發(fā)動(dòng)機(jī)相應(yīng)的文件目錄；
步驟7:及時(shí)增量更新監(jiān)控?cái)?shù)據(jù)，并同步更新文件系統(tǒng)；
步驟8:對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行報(bào)警規(guī)則檢測(cè)；
步驟9:完成監(jiān)控?cái)?shù)據(jù)的快速檢索，進(jìn)行趨勢(shì)分析。
[0006]本發(fā)明所述步驟I中所述基礎(chǔ)數(shù)據(jù)包括飛機(jī)、發(fā)動(dòng)機(jī)、監(jiān)控屬性、飛行階段、數(shù)據(jù)來源、報(bào)警規(guī)則、趨勢(shì)分析規(guī)則、報(bào)文解析模板、數(shù)據(jù)解析模板，用于提供基于關(guān)系模型的數(shù)據(jù)查詢服務(wù)和基礎(chǔ)數(shù)據(jù)增量服務(wù)，其中飛機(jī)模型如下:Airplane={ ID ,basiclnfo}；
其中ID為飛機(jī)的全局唯一標(biāo)識(shí)，長(zhǎng)度必須為32位數(shù)字和字母組合，basiclnfo為飛機(jī)基本信息，一臺(tái)飛機(jī)至少有兩臺(tái)發(fā)動(dòng)機(jī)，而且發(fā)動(dòng)機(jī)會(huì)不斷變化，此模型用來輔助查詢不同時(shí)段的飛機(jī)發(fā)動(dòng)機(jī)信息；
發(fā)動(dòng)機(jī)模型如下:Engine= {ESN,basicInfο ,historyList ,alertRuleList}；
其中ESN為發(fā)動(dòng)機(jī)的全局唯一標(biāo)識(shí)，作為分布式文件系統(tǒng)的子目錄唯一標(biāo)識(shí)，basiclnfo為發(fā)動(dòng)機(jī)基本信息，historyList為發(fā)動(dòng)機(jī)的歷史信息，記錄發(fā)動(dòng)機(jī)的動(dòng)態(tài)變化信息，通過它可以查詢發(fā)動(dòng)機(jī)在不同時(shí)段的所在飛機(jī)信息，alertRuleList為關(guān)聯(lián)該發(fā)動(dòng)機(jī)的報(bào)警規(guī)則，將增量監(jiān)控?cái)?shù)據(jù)存儲(chǔ)到分布式文件系統(tǒng)之后需要進(jìn)行報(bào)警規(guī)則的檢查，觸發(fā)報(bào)警管理；
監(jiān)控屬性模型如下:
StandardParam={ID,basiclnfo}
其中ID為監(jiān)控屬性的全局唯一標(biāo)識(shí)，長(zhǎng)度必須為32位數(shù)字和字母組合，作為存儲(chǔ)分布式文件系統(tǒng)的key的重要組成部分，也用它來進(jìn)行報(bào)警規(guī)則和趨勢(shì)分析規(guī)則的信息記錄，basiclnfo為監(jiān)控屬性基本信息。
[0007]飛行階段模型如下:
FlightPhase={ID,basiclnfo}
其中ID為飛行階段的全局唯一標(biāo)識(shí)，長(zhǎng)度必須為32位數(shù)字和字母組合，作為存儲(chǔ)分布式文件系統(tǒng)value的一部分，basiclnfo為飛行階段基本信息；
數(shù)據(jù)來源模型如下:DataSource= {ID,basicInfo}；
其中ID為數(shù)據(jù)來源的全局唯一標(biāo)識(shí)，長(zhǎng)度必須為32位數(shù)字和字母組合，作為存儲(chǔ)分布式文件系統(tǒng)value的一部分，basiclnfo為數(shù)據(jù)來源基本信息；
報(bào)警規(guī)則模型如下:AlertRule={ID，ruleContent，basicInfo}；
其中ID為報(bào)警規(guī)則的全局唯一標(biāo)識(shí)，長(zhǎng)度必須為32位數(shù)字和字母組合，ruleContend為報(bào)警規(guī)則的主要描述，通過解析ruleContent得到需要進(jìn)行檢測(cè)的屬性，并通過屬性在文件系統(tǒng)中得到相應(yīng)的屬性值，然后觸發(fā)報(bào)警管理，basiclnfo為報(bào)警規(guī)則基本信息；
趨勢(shì)分析模型如下:
AnalyzeRule={ID，esnarray，chartStyle，dataRange，basiclnfo，paramList}
其中ID為趨勢(shì)分析的全局唯一標(biāo)識(shí)，長(zhǎng)度必須為32位數(shù)字和字母組合，Esnarray為ESN組合列表，chartStyle為趨勢(shì)分析的類型，兩大類包括多Y軸和單Y軸，dataRange為要進(jìn)行趨勢(shì)分析的數(shù)據(jù)范圍，兩大類包括時(shí)間范圍和采樣點(diǎn)范圍，basiclnfo為趨勢(shì)分析基本信息。paramLi st為坐標(biāo)軸要顯示的監(jiān)控值信息列表；
報(bào)文解析模板模型如下:
AcarsMode1={ID,Engine,Flight_phase,xmlModel}
其中ID為報(bào)文解析模板的全局唯一標(biāo)識(shí)，長(zhǎng)度必須為32位數(shù)字和字母組合，Engine為適用發(fā)動(dòng)機(jī)，F(xiàn)l igh t_phase為適用飛行階段，xmlModel為模板內(nèi)容，格式為xml格式，標(biāo)記監(jiān)控屬性的具體位置和長(zhǎng)度；
數(shù)據(jù)解析模板模型如下:
OemMode1={ID,FolderList,dataStartRow,acCoI,esnCol,dateCol }
其中ID為數(shù)據(jù)解析模板的全局唯一標(biāo)識(shí)，長(zhǎng)度必須為32位數(shù)字和字母組合；FolderList為該模板適用的文件目錄列表，dataStartRow為數(shù)據(jù)開始列，acCol為飛機(jī)所在列，esnCol為發(fā)動(dòng)機(jī)所在列，dateCol為采集時(shí)間所在列。
[0008]本發(fā)明步驟2中確定分布式文件系統(tǒng)模型包含以下內(nèi)容:在分布式文件系統(tǒng)中，存儲(chǔ)模型如下:
f iIeSystem= {ESNi | i=l，2...η}
ESN={keyi,columnFamily i=l,2...η }columnFamily={ DataFrom , Flight_phase , Value } 其中ESN為存儲(chǔ)目錄的唯一標(biāo)識(shí)，也就是來自于發(fā)動(dòng)機(jī)的唯一標(biāo)識(shí)。Key為rowKey，由監(jiān)控屬性和采集時(shí)間組成，columnFamily為主要監(jiān)控內(nèi)容，包括數(shù)據(jù)來源、飛行階段和監(jiān)控值。
[0009]本發(fā)明步驟3包含以下內(nèi)容:將采集到的原始數(shù)據(jù)文件保存到分布式文件系統(tǒng)的原始文件存儲(chǔ)目錄，然后再對(duì)原始數(shù)據(jù)文件進(jìn)行有效預(yù)處理，從而生成正確有效的格式統(tǒng)一的可存儲(chǔ)數(shù)據(jù)，需要從采集到的數(shù)據(jù)中得到有效的飛機(jī)、發(fā)動(dòng)機(jī)、飛行階段、監(jiān)控屬性及對(duì)應(yīng)的監(jiān)控值，目前主流的兩種文件格式為原始報(bào)文和廠家數(shù)據(jù);其中針對(duì)原始報(bào)文，一般為txt格式，通過適用的報(bào)文模板解析出報(bào)文數(shù)據(jù)，并生成可操作的數(shù)據(jù);針對(duì)廠家數(shù)據(jù)，一般為電子表格格式，也是海量數(shù)據(jù)的主要來源，將原始文件放在數(shù)據(jù)解析模板適用的目錄中，系統(tǒng)自動(dòng)解析成可操作數(shù)據(jù)。
[0010]本發(fā)明步驟3中解析得到的數(shù)據(jù)的主要格式為列表格式:
ModeIList={modeIList}
Model={Airplane,Engine,Date,Flight_phase,datafrom,paramList}paramListModeI ={StandardParam,value}
Mode I List為所有數(shù)據(jù)的列表，包含多個(gè)modelList，一個(gè)mode I List包含多個(gè)Mode I，Model中Airplane為飛機(jī)信息,Engine為發(fā)動(dòng)機(jī)信息，Date為采集時(shí)間，將作為分布式文件系統(tǒng)key的一部分進(jìn)行存儲(chǔ)，F(xiàn)1 ight_phase為飛行階段信息，一個(gè)mo del包含一個(gè)paramList，paramList 為監(jiān)控信息列表，paramLisi^t^；^?SparamListModel，paramListModel包括詳細(xì)信息，StandardParam為監(jiān)控屬性，value為監(jiān)控值。
[0011]本發(fā)明步驟3中將解析后的原始數(shù)據(jù)文件統(tǒng)一移動(dòng)到已完成文件夾中，防止進(jìn)行重復(fù)性操作。
[0012]本發(fā)明步驟4中將解析后的可操作數(shù)據(jù)處理后形成key的過程中，由于系統(tǒng)中主要是對(duì)時(shí)間段內(nèi)的監(jiān)控屬性進(jìn)行檢測(cè)，所以key的信息中必須包含監(jiān)控屬性和時(shí)間信息，因?yàn)橐慌_(tái)發(fā)動(dòng)機(jī)，在一個(gè)時(shí)間點(diǎn)，只能采集到監(jiān)控屬性一次，也就能夠確保key的唯一*性；
StandardParam的唯一標(biāo)識(shí)ID長(zhǎng)度為32位，采集時(shí)間越精確越好，因此精確到秒，轉(zhuǎn)換為便于操作的時(shí)間格式為14位，例如1990-1 2-3 I 20: 50: 50轉(zhuǎn)換為可操作時(shí)間為19901231205050，長(zhǎng)度為14位，因此key的標(biāo)準(zhǔn)長(zhǎng)度為46位，前32位為監(jiān)控屬性的唯一標(biāo)識(shí)，后14位為米集時(shí)間。
[0013]本發(fā)明步驟5中將解析后的可操作數(shù)據(jù)處理后形成value，包含以下內(nèi)容:系統(tǒng)中檢索數(shù)據(jù)的時(shí)候涉及到數(shù)據(jù)的飛行階段和來源，因此value中除了監(jiān)控值，還需要