基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法，首先建立用于采集工業(yè)現(xiàn)場(chǎng)設(shè)備的工業(yè)系統(tǒng)原始數(shù)據(jù)的底層數(shù)據(jù)層；然后建立用于將底層數(shù)據(jù)層中所采集的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行分布數(shù)據(jù)處理的數(shù)據(jù)處理層，同時(shí)建立數(shù)據(jù)訪問與歷史數(shù)據(jù)的時(shí)間戳；最后建立對(duì)工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行動(dòng)態(tài)分頁(yè)存儲(chǔ)的數(shù)據(jù)分發(fā)層，在數(shù)據(jù)分發(fā)層建立同步更新模塊與檢索服務(wù)模塊。本發(fā)明將系統(tǒng)功能細(xì)分化，防止某一個(gè)模塊出現(xiàn)問題影響所有的服務(wù)器運(yùn)算與用戶訪問；實(shí)現(xiàn)了面向用戶定制，提升用戶體驗(yàn)；使得大型工業(yè)系統(tǒng)數(shù)據(jù)處理系統(tǒng)開放性更好、拓展性更高，滿足實(shí)時(shí)數(shù)據(jù)隨需處理。將內(nèi)存數(shù)據(jù)庫(kù)與磁盤數(shù)據(jù)庫(kù)高效的結(jié)合，提升整個(gè)系統(tǒng)的實(shí)時(shí)性并降低系統(tǒng)的運(yùn)行負(fù)載。
【專利說明】基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法及系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及IT領(lǐng)域及系統(tǒng)領(lǐng)域的平臺(tái)構(gòu)件【技術(shù)領(lǐng)域】，特別涉及一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理平臺(tái)架構(gòu)及應(yīng)用。
【背景技術(shù)】
[0002]現(xiàn)有的工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理平臺(tái)普遍存在數(shù)據(jù)采集成本高、實(shí)時(shí)性較低、用戶體驗(yàn)度差等問題，同時(shí)大部分應(yīng)用于C/S模式，再將此方法應(yīng)用于并發(fā)性強(qiáng)、實(shí)時(shí)性要求高的大型工業(yè)系統(tǒng)中問題就會(huì)更加的凸顯。大型工業(yè)系統(tǒng)反饋數(shù)據(jù)要求采集和處理具有高并發(fā)性、高實(shí)時(shí)性，提取海量數(shù)據(jù)處理需要花費(fèi)比較多的資源和時(shí)間，并且數(shù)據(jù)存儲(chǔ)效率比較慢，這些都降低了整個(gè)系統(tǒng)的實(shí)時(shí)性，同時(shí)增大了系統(tǒng)的運(yùn)行負(fù)載。
[0003]因此急需一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法及系統(tǒng)。

【發(fā)明內(nèi)容】

[0004]有鑒于此，本發(fā)明所要解決的技術(shù)問題是提供一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法及系統(tǒng)。
[0005]本發(fā)明的目的之一是提出一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法；本發(fā)明的目的之二是提出一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)。
[0006]本發(fā)明的目的之一是通過以下技術(shù)方案來實(shí)現(xiàn)的:
[0007]本發(fā)明提供的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法，包括以下步驟:
[0008]S1:建立用于采集工業(yè)現(xiàn)場(chǎng)設(shè)備的工業(yè)系統(tǒng)原始數(shù)據(jù)的底層數(shù)據(jù)層；
[0009]S2:建立用于將底層數(shù)據(jù)層中所采集的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行分布數(shù)據(jù)處理的數(shù)據(jù)處理層，同時(shí)建立用于實(shí)時(shí)數(shù)據(jù)訪問與歷史數(shù)據(jù)檢索優(yōu)化的時(shí)間戳；
[0010]S3:建立對(duì)工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行動(dòng)態(tài)分頁(yè)存儲(chǔ)的數(shù)據(jù)分發(fā)層，在數(shù)據(jù)分發(fā)層建立同步更新模塊與檢索服務(wù)模塊。
[0011]進(jìn)一步，所述數(shù)據(jù)處理層的建立包括以下步驟:
[0012]S21:建立預(yù)處理模塊，所述預(yù)處理模塊用于對(duì)采集到的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行拆分、數(shù)據(jù)合法性驗(yàn)證、不同數(shù)據(jù)邏輯關(guān)聯(lián)提取和數(shù)據(jù)格式轉(zhuǎn)換；
[0013]S22:建立引擎模塊，所述引擎模塊用于調(diào)度處理線程、分配線程與模塊控制管理；
[0014]S23:建立分庫(kù)存儲(chǔ)模塊，所述分庫(kù)存儲(chǔ)的方式采用分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)和分布式磁盤數(shù)據(jù)庫(kù)；
[0015]所述分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)用于實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)訪問；
[0016]所述分布式磁盤數(shù)據(jù)庫(kù)包括同步更新模塊和檢索服務(wù)模塊；
[0017]所述同步更新模塊，用于斷電時(shí)通過實(shí)時(shí)表來保存內(nèi)存數(shù)據(jù)庫(kù)中的實(shí)時(shí)數(shù)據(jù)；
[0018]所述檢索服務(wù)模塊，用于保存歷史記錄數(shù)據(jù)。
[0019]進(jìn)一步，所述數(shù)據(jù)分發(fā)層的建立包括建立同步更新模塊與建立檢索服務(wù)模塊；[0020]所述同步更新模塊，按照數(shù)據(jù)處理層中建立的分布式內(nèi)存數(shù)據(jù)庫(kù)的配置信息，在磁盤數(shù)據(jù)庫(kù)中給每個(gè)參數(shù)同步建立一條實(shí)時(shí)更新的記錄；根據(jù)弓I擎模塊中的處理標(biāo)志位來識(shí)別原數(shù)據(jù)源是否被處理過；
[0021]所述檢索服務(wù)模塊，實(shí)時(shí)更新記錄來判斷經(jīng)過數(shù)據(jù)預(yù)處理層處理后的表征設(shè)備實(shí)時(shí)狀態(tài)的數(shù)據(jù)是否發(fā)生變化，如果數(shù)據(jù)發(fā)生變化則存入歷史數(shù)據(jù)表，所述歷史數(shù)據(jù)表分布式磁盤數(shù)據(jù)庫(kù)，歷史數(shù)據(jù)表的分類根據(jù)數(shù)據(jù)處理層中提取出的映射關(guān)系信息進(jìn)行分類，當(dāng)記錄數(shù)達(dá)到預(yù)設(shè)條數(shù)時(shí)同步建立第二張數(shù)據(jù)表，在數(shù)據(jù)達(dá)到預(yù)設(shè)規(guī)模時(shí)對(duì)歷史數(shù)據(jù)表進(jìn)行備份清空。
[0022]進(jìn)一步，所述底層數(shù)據(jù)層的工業(yè)系統(tǒng)原始數(shù)據(jù)是指工業(yè)現(xiàn)場(chǎng)的所有設(shè)備的運(yùn)行狀態(tài)參數(shù)與實(shí)時(shí)參數(shù)值，所述工業(yè)現(xiàn)場(chǎng)設(shè)備包括傳感器設(shè)備、供電子系統(tǒng)、消防子系統(tǒng)和電梯子系統(tǒng)。
[0023]進(jìn)一步，所述分布式磁盤數(shù)據(jù)庫(kù)為外部數(shù)據(jù)庫(kù)服務(wù)器；所述同步更新模塊與檢索服務(wù)模塊的所有操作均設(shè)置在磁盤數(shù)據(jù)庫(kù)中進(jìn)行。
[0024]本發(fā)明的目的之二是通過以下技術(shù)方案來實(shí)現(xiàn)的:
[0025]本發(fā)明提供的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)，包括底層數(shù)據(jù)層、數(shù)據(jù)處理層和數(shù)據(jù)分發(fā)層；
[0026]所述底層數(shù)據(jù)層，用于采集工業(yè)現(xiàn)場(chǎng)設(shè)備的工業(yè)系統(tǒng)原始數(shù)據(jù)的；
[0027]所述數(shù)據(jù)處理層，用于將底層數(shù)據(jù)層中所采集的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行分布數(shù)據(jù)處理，同時(shí)建立用于實(shí)時(shí)數(shù)據(jù)訪問與歷史數(shù)據(jù)檢索優(yōu)化的時(shí)間戳；
[0028]所述數(shù)據(jù)分發(fā)層，用于對(duì)工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行動(dòng)態(tài)分頁(yè)存儲(chǔ)。
[0029]進(jìn)一步，所述數(shù)據(jù)處理層包括預(yù)處理模塊、引擎模塊、分庫(kù)存儲(chǔ)模塊；
[0030]所述預(yù)處理模塊，所述預(yù)處理模塊用于對(duì)采集到的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行拆分、數(shù)據(jù)合法性驗(yàn)證、不同數(shù)據(jù)邏輯關(guān)聯(lián)提取、數(shù)據(jù)格式轉(zhuǎn)換；
[0031]所述引擎模塊，所述引擎模塊用于調(diào)度處理線程、分配線程與模塊控制管理；
[0032]所述分庫(kù)存儲(chǔ)模塊，所述分庫(kù)存儲(chǔ)的方式采用分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)和分布式磁盤數(shù)據(jù)庫(kù)；
[0033]所述分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)用于實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)訪問；
[0034]所述分布式磁盤數(shù)據(jù)庫(kù)包括同步更新模塊和檢索服務(wù)模塊；
[0035]所述同步更新模塊，用于斷電時(shí)通過實(shí)時(shí)表來保存內(nèi)存數(shù)據(jù)庫(kù)中的實(shí)時(shí)數(shù)據(jù)；
[0036]所述檢索服務(wù)模塊，用于保存歷史記錄數(shù)據(jù)。
[0037]進(jìn)一步，所述數(shù)據(jù)分發(fā)層包括同步更新模塊與檢索服務(wù)模塊；
[0038]所述同步更新模塊，按照數(shù)據(jù)處理層中建立的分布式內(nèi)存數(shù)據(jù)庫(kù)的配置信息，在磁盤數(shù)據(jù)庫(kù)中給每個(gè)參數(shù)同步建立一條實(shí)時(shí)更新的記錄；根據(jù)弓I擎模塊中的處理標(biāo)志位來識(shí)別原數(shù)據(jù)源是否被處理過；
[0039]所述檢索服務(wù)模塊，實(shí)時(shí)更新記錄來判斷數(shù)據(jù)是否發(fā)生變化，如若變化則存入歷史數(shù)據(jù)表，所述歷史數(shù)據(jù)表分布式磁盤數(shù)據(jù)庫(kù)，歷史數(shù)據(jù)表的分類根據(jù)數(shù)據(jù)處理層中提取出的映射關(guān)系信息進(jìn)行分類，當(dāng)記錄數(shù)達(dá)到預(yù)設(shè)條數(shù)時(shí)同步建立第二張數(shù)據(jù)表，在數(shù)據(jù)達(dá)到預(yù)設(shè)規(guī)模時(shí)對(duì)歷史數(shù)據(jù)表進(jìn)行備份清空；
[0040]所述映射關(guān)系信息為分布在不同子系統(tǒng)中的設(shè)備信息采集單元讀取的設(shè)備實(shí)時(shí)運(yùn)行狀態(tài)數(shù)據(jù)。
[0041]進(jìn)一步，所述底層數(shù)據(jù)層的工業(yè)系統(tǒng)原始數(shù)據(jù)是指工業(yè)現(xiàn)場(chǎng)的所有設(shè)備的運(yùn)行狀態(tài)參數(shù)與實(shí)時(shí)參數(shù)值，所述工業(yè)現(xiàn)場(chǎng)設(shè)備包括傳感器設(shè)備、供電子系統(tǒng)、消防子系統(tǒng)、電梯子系統(tǒng)。
[0042]進(jìn)一步，所述分布式磁盤數(shù)據(jù)庫(kù)為外部數(shù)據(jù)庫(kù)服務(wù)器；所述同步更新模塊與檢索服務(wù)模塊的所有操作均設(shè)置在磁盤數(shù)據(jù)庫(kù)中進(jìn)行。
[0043]本發(fā)明的有益效果在于:本發(fā)明采用了一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)，提供的系統(tǒng)包括底層數(shù)據(jù)層、數(shù)據(jù)處理層、數(shù)據(jù)分發(fā)層三層結(jié)構(gòu)，將系統(tǒng)功能細(xì)分化，防止某一個(gè)模塊出現(xiàn)問題影響所有的服務(wù)器運(yùn)算與用戶訪問；將傳統(tǒng)的C/S模式轉(zhuǎn)變?yōu)锽/S模式，提升了用戶體驗(yàn)，實(shí)現(xiàn)了面向用戶定制；針對(duì)高并發(fā)性、高實(shí)時(shí)性的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)這一特性，根據(jù)提取的邏輯關(guān)聯(lián)將海量數(shù)據(jù)“分而治之”，使得整個(gè)系統(tǒng)開放性更好、拓展性更高，滿足實(shí)時(shí)數(shù)據(jù)隨需處理。同時(shí)，與常態(tài)下反饋數(shù)據(jù)實(shí)時(shí)處理模式相比，本發(fā)明構(gòu)建的內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)將內(nèi)存數(shù)據(jù)庫(kù)與磁盤數(shù)據(jù)庫(kù)高效的結(jié)合，用磁盤數(shù)據(jù)庫(kù)彌補(bǔ)內(nèi)存數(shù)據(jù)庫(kù)的不同，同時(shí)將兩者之間相互關(guān)聯(lián)，提升整個(gè)系統(tǒng)的實(shí)時(shí)性并降低系統(tǒng)的運(yùn)行負(fù)載。
【專利附圖】

【附圖說明】
[0044]為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的詳細(xì)描述，其中:
[0045]圖1為本發(fā)明實(shí)施例提供的實(shí)時(shí)處理中間件邏輯構(gòu)架圖；
[0046]圖2為本發(fā)明實(shí)施例提供的一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理平臺(tái)體系架構(gòu)圖。
【具體實(shí)施方式】
[0047]以下將參照附圖，對(duì)本發(fā)明的優(yōu)選實(shí)施例進(jìn)行詳細(xì)的描述。應(yīng)當(dāng)理解，優(yōu)選實(shí)施例僅為了說明本發(fā)明，而不是為了限制本發(fā)明的保護(hù)范圍。
[0048]實(shí)施例1
[0049]圖1為本發(fā)明實(shí)施例提供的實(shí)時(shí)處理中間件邏輯構(gòu)架圖；圖2為本發(fā)明實(shí)施例提供的一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理平臺(tái)體系架構(gòu)圖，如圖所示:本發(fā)明提供的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法，包括以下步驟:
[0050]S1:建立用于采集工業(yè)現(xiàn)場(chǎng)設(shè)備的工業(yè)系統(tǒng)原始數(shù)據(jù)的底層數(shù)據(jù)層；
[0051]S2:建立用于將底層數(shù)據(jù)層中所采集的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行分布數(shù)據(jù)處理的數(shù)據(jù)處理層，同時(shí)建立用于實(shí)時(shí)數(shù)據(jù)訪問與歷史數(shù)據(jù)檢索優(yōu)化的時(shí)間戳；
[0052]S3:建立對(duì)工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行動(dòng)態(tài)分頁(yè)存儲(chǔ)的數(shù)據(jù)分發(fā)層，在數(shù)據(jù)分發(fā)層建立同步更新模塊與檢索服務(wù)模塊。
[0053]所述數(shù)據(jù)處理層的建立包括以下步驟:
[0054]S21:建立預(yù)處理模塊，所述預(yù)處理模塊用于對(duì)采集到的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行拆分、數(shù)據(jù)合法性驗(yàn)證、不同數(shù)據(jù)邏輯關(guān)聯(lián)提取和數(shù)據(jù)格式轉(zhuǎn)換；
[0055]S22:建立引擎模塊，所述引擎模塊用于調(diào)度處理線程、分配線程與模塊控制管理；
[0056]S23:建立分庫(kù)存儲(chǔ)模塊，所述分庫(kù)存儲(chǔ)的方式采用分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)和分布式磁盤數(shù)據(jù)庫(kù)；
[0057]所述分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)用于實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)訪問；
[0058]所述分布式磁盤數(shù)據(jù)庫(kù)包括同步更新模塊和檢索服務(wù)模塊；
[0059]所述同步更新模塊，用于斷電時(shí)通過實(shí)時(shí)表來保存實(shí)時(shí)數(shù)據(jù)的訪問；
[0060]所述檢索服務(wù)模塊，用于保存歷史記錄數(shù)據(jù)，并提供最優(yōu)檢索方案。
[0061]所述數(shù)據(jù)分發(fā)層的建立包括建立同步更新模塊與檢索服務(wù)模塊；
[0062]所述同步更新模塊，按照數(shù)據(jù)處理層中建立的分布式內(nèi)存數(shù)據(jù)庫(kù)的配置信息，在磁盤數(shù)據(jù)庫(kù)中給每個(gè)參數(shù)同步建立一條實(shí)時(shí)更新的記錄；根據(jù)弓I擎模塊中的處理標(biāo)志位來識(shí)別原數(shù)據(jù)源是否被處理過；
[0063]所述檢索服務(wù)模塊，實(shí)時(shí)更新記錄來判斷經(jīng)過數(shù)據(jù)預(yù)處理層處理后的表征設(shè)備實(shí)時(shí)狀態(tài)的數(shù)據(jù)是否發(fā)生變化，如果數(shù)據(jù)發(fā)生變化則存入歷史數(shù)據(jù)表，所述歷史數(shù)據(jù)表存儲(chǔ)于分布式磁盤數(shù)據(jù)庫(kù)Oracle，歷史數(shù)據(jù)表的分類根據(jù)數(shù)據(jù)處理層中提取出的映射關(guān)系信息進(jìn)行分類，當(dāng)記錄數(shù)達(dá)到預(yù)設(shè)條數(shù)時(shí)同步建立第二張歷史數(shù)據(jù)表，在數(shù)據(jù)達(dá)到預(yù)設(shè)規(guī)模時(shí)對(duì)歷史數(shù)據(jù)表進(jìn)行備份清空。
[0064]所述底層數(shù)據(jù)層的工業(yè)系統(tǒng)原始數(shù)據(jù)是指工業(yè)現(xiàn)場(chǎng)的所有設(shè)備的運(yùn)行狀態(tài)參數(shù)與實(shí)時(shí)參數(shù)值，所述工業(yè)現(xiàn)場(chǎng)設(shè)備包括傳感器設(shè)備、供電子系統(tǒng)、消防子系統(tǒng)和電梯子系統(tǒng)。
[0065]所述分布式磁盤數(shù)據(jù)庫(kù)為外部數(shù)據(jù)庫(kù)服務(wù)器；所述同步更新模塊與檢索服務(wù)模塊的所有操作均設(shè)置在分布式磁盤數(shù)據(jù)庫(kù)Oracle中進(jìn)行。
[0066]本實(shí)施例還提供了一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)，包括底層數(shù)據(jù)層、數(shù)據(jù)處理層和數(shù)據(jù)分發(fā)層；
[0067]所述底層數(shù)據(jù)層，用于采集工業(yè)現(xiàn)場(chǎng)設(shè)備的工業(yè)系統(tǒng)的原始數(shù)據(jù)；
[0068]所述數(shù)據(jù)處理層，用于將底層數(shù)據(jù)層中所采集的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行分布數(shù)據(jù)處理，同時(shí)建立用于實(shí)時(shí)數(shù)據(jù)訪問與歷史數(shù)據(jù)檢索優(yōu)化的時(shí)間戳；
[0069]所述數(shù)據(jù)分發(fā)層，用于對(duì)工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行動(dòng)態(tài)分頁(yè)存儲(chǔ)。
[0070]所述數(shù)據(jù)處理層包括預(yù)處理模塊、引擎模塊、分庫(kù)存儲(chǔ)模塊；
[0071]所述預(yù)處理模塊，所述預(yù)處理模塊用于對(duì)采集到的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行拆分、數(shù)據(jù)合法性驗(yàn)證、不同數(shù)據(jù)邏輯關(guān)聯(lián)提取、數(shù)據(jù)格式轉(zhuǎn)換；
[0072]所述引擎模塊，所述引擎模塊用于調(diào)度處理線程、分配線程與模塊控制管理；
[0073]所述分庫(kù)存儲(chǔ)模塊，所述分庫(kù)存儲(chǔ)的方式采用分布式內(nèi)存數(shù)據(jù)庫(kù)Oracle和分布式磁盤數(shù)據(jù)庫(kù)；
[0074]所述分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)用于實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)訪問；
[0075]所述分布式磁盤數(shù)據(jù)庫(kù)包括同步更新模塊和檢索服務(wù)模塊；
[0076]所述同步更新模塊，用于斷電時(shí)通過實(shí)時(shí)表來保存內(nèi)存數(shù)據(jù)庫(kù)中的實(shí)時(shí)數(shù)據(jù)；
[0077]所述檢索服務(wù)模塊，用于保存歷史記錄數(shù)據(jù)。
[0078]所述數(shù)據(jù)分發(fā)層包括同步更新模塊與檢索服務(wù)模塊；
[0079]所述同步更新模塊，按照數(shù)據(jù)處理層中建立的分布式內(nèi)存數(shù)據(jù)庫(kù)的配置信息，在磁盤數(shù)據(jù)庫(kù)中給每個(gè)參數(shù)同步建立一條實(shí)時(shí)更新的記錄；根據(jù)引擎模塊中的處理標(biāo)志位來識(shí)別原數(shù)據(jù)源是否被處理過；
[0080]所述檢索服務(wù)模塊，實(shí)時(shí)更新記錄來判斷數(shù)據(jù)是否發(fā)生變化，如若變化則存入歷史數(shù)據(jù)表，所述歷史數(shù)據(jù)表分布式磁盤數(shù)據(jù)庫(kù)，歷史數(shù)據(jù)表的分類根據(jù)數(shù)據(jù)處理層中提取出的映射關(guān)系信息進(jìn)行分類，當(dāng)記錄數(shù)達(dá)到預(yù)設(shè)條數(shù)時(shí)同步建立第二張數(shù)據(jù)表，在數(shù)據(jù)達(dá)到預(yù)設(shè)規(guī)模時(shí)對(duì)歷史數(shù)據(jù)表進(jìn)行備份清空；
[0081]所述映射關(guān)系信息為分布在不同子系統(tǒng)中的設(shè)備信息采集單元讀取的設(shè)備實(shí)時(shí)運(yùn)行狀態(tài)數(shù)據(jù)。
[0082]所述底層數(shù)據(jù)層的工業(yè)系統(tǒng)原始數(shù)據(jù)是指工業(yè)現(xiàn)場(chǎng)的所有設(shè)備的運(yùn)行狀態(tài)參數(shù)與實(shí)時(shí)參數(shù)值，所述工業(yè)現(xiàn)場(chǎng)設(shè)備包括傳感器設(shè)備、供電子系統(tǒng)、消防子系統(tǒng)、電梯子系統(tǒng)。
[0083]所述分布式磁盤數(shù)據(jù)庫(kù)為外部數(shù)據(jù)庫(kù)服務(wù)器；所述同步更新模塊與檢索服務(wù)模塊的所有操作均設(shè)置在磁盤數(shù)據(jù)庫(kù)中進(jìn)行。
[0084]實(shí)施例2
[0085]本發(fā)明實(shí)施例2詳細(xì)陳述的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法過程和系統(tǒng)結(jié)構(gòu)。
[0086]本實(shí)施例提供的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法的建立步驟如下:
[0087]通過對(duì)大型工業(yè)系統(tǒng)中分布在不同子系統(tǒng)中的不同設(shè)備單元的海量底層數(shù)據(jù)進(jìn)行實(shí)時(shí)采集，再通過數(shù)據(jù)預(yù)處理層進(jìn)行海量數(shù)據(jù)的篩選，提供給內(nèi)存數(shù)據(jù)庫(kù)的同時(shí)建立時(shí)間戳，用于實(shí)時(shí)的數(shù)據(jù)訪問與歷史數(shù)據(jù)的檢索優(yōu)化，最后在數(shù)據(jù)分發(fā)層對(duì)篩選后的數(shù)據(jù)進(jìn)行數(shù)據(jù)動(dòng)態(tài)分頁(yè)存儲(chǔ)，保證數(shù)據(jù)實(shí)時(shí)性的同時(shí)提供高效的歷史數(shù)據(jù)檢索策略。這一系列的操作均基于實(shí)時(shí)的數(shù)據(jù)采集過程同步展開，以達(dá)到整個(gè)實(shí)時(shí)處理平臺(tái)的基于用戶定制的數(shù)據(jù)處理流程。
[0088]具體如下:
[0089]1.首先建立底層數(shù)據(jù)層，將物理上分散而邏輯上集中的海量分布式數(shù)據(jù)進(jìn)行實(shí)時(shí)的存儲(chǔ)，這里不區(qū)分?jǐn)?shù)據(jù)的關(guān)聯(lián)，只針對(duì)高并發(fā)性、高實(shí)時(shí)性的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)進(jìn)行采集，為后面的數(shù)據(jù)處理層與數(shù)據(jù)分發(fā)層提供最原始的工業(yè)現(xiàn)場(chǎng)海量數(shù)據(jù)，這里有幾點(diǎn)需要進(jìn)行說明:
[0090]a.所謂的物理上分散而邏輯上集中的海量分布式數(shù)據(jù)是指工業(yè)現(xiàn)場(chǎng)的所有設(shè)備的原始數(shù)據(jù)；
[0091]b.這里的原始數(shù)據(jù)是分布在不同的設(shè)備(傳感器)當(dāng)中，每個(gè)設(shè)備(傳感器)單元的數(shù)據(jù)均根據(jù)現(xiàn)場(chǎng)的情況進(jìn)行實(shí)時(shí)讀取，能夠表征這個(gè)單元的運(yùn)行情況與實(shí)時(shí)參數(shù)值。其中，所有的設(shè)備又歸屬于不同的子系統(tǒng)中，例如:供電子系統(tǒng)、消防子系統(tǒng)、電梯子系統(tǒng)等等。每個(gè)子系統(tǒng)代表整個(gè)大型工業(yè)系統(tǒng)中的子模塊，由不同的子系統(tǒng)最終構(gòu)成一個(gè)整體的大型工業(yè)系統(tǒng)。
[0092]c.整個(gè)底層數(shù)據(jù)的傳輸過程基于TCP/IP (或UDP)協(xié)議來進(jìn)行數(shù)據(jù)的傳輸，而數(shù)據(jù)的采集過程則由socket技術(shù)完成，以數(shù)據(jù)包的形式進(jìn)行采集，這里的數(shù)據(jù)包是通過數(shù)據(jù)包格式，包含除了各個(gè)設(shè)備(傳感器)數(shù)據(jù)的實(shí)體的同時(shí)，還包含其他的相關(guān)信息，如:信源、新宿、接收時(shí)間、轉(zhuǎn)換編碼等等。[0093]d.其中底層數(shù)據(jù)層所提到的數(shù)據(jù)采集的作用是:將物理上分散而邏輯上集中的分布式海量信息進(jìn)行采集，這里不做其他復(fù)雜操作(剩余的數(shù)據(jù)實(shí)時(shí)處理會(huì)在數(shù)據(jù)預(yù)處理層、數(shù)據(jù)分發(fā)層中進(jìn)行)。
[0094]e.上一步中提到的物理上分散而邏輯上關(guān)聯(lián)指的是:不同的設(shè)備的分布是無(wú)規(guī)律的，但我們可以設(shè)定其邏輯關(guān)聯(lián)，即所屬子系統(tǒng)的不同，以達(dá)到優(yōu)化處理數(shù)據(jù)的過程，為下一步的數(shù)據(jù)處理做準(zhǔn)備。
[0095]2.第二步建立數(shù)據(jù)處理層，將底層數(shù)據(jù)層中所采集的海量分布數(shù)據(jù)進(jìn)行“加工”，其中數(shù)據(jù)預(yù)處理層又包含三個(gè)不同的模塊:預(yù)處理模塊、引擎模塊、分庫(kù)存儲(chǔ)模塊。每個(gè)不同的模塊對(duì)應(yīng)其不同的任務(wù)與功能，同時(shí)每個(gè)不同的模塊之間也是相互關(guān)聯(lián)相互作用的，下面對(duì)三個(gè)模塊做幾點(diǎn)說明:
[0096]a.預(yù)處理模塊:包括對(duì)第一步中采集到的海量數(shù)據(jù)包進(jìn)行拆分、數(shù)據(jù)包的合法性驗(yàn)證、不同數(shù)據(jù)邏輯關(guān)聯(lián)的提取(所屬子系統(tǒng))、數(shù)據(jù)格式的轉(zhuǎn)換等等。這里說到的數(shù)據(jù)包的拆分包含有效數(shù)據(jù)提取與相關(guān)信息提取兩部分內(nèi)容，所有的提取規(guī)則均按照配置進(jìn)行；數(shù)據(jù)包的合法性驗(yàn)證是指對(duì)數(shù)據(jù)包的格式進(jìn)行驗(yàn)證，根據(jù)有效信息中包含的包括信源、新宿、所屬標(biāo)志位進(jìn)行驗(yàn)證，以判斷此次數(shù)據(jù)包的格式是否正確，如不正確則視為“廢包”，進(jìn)行刪除，不進(jìn)行下一步處理，滿足高實(shí)時(shí)性；不同數(shù)據(jù)邏輯關(guān)聯(lián)的提取與數(shù)據(jù)格式的轉(zhuǎn)換指的是將相關(guān)信息中的映射關(guān)系進(jìn)行提取，為下一步分布存儲(chǔ)做準(zhǔn)備，同時(shí)將有效數(shù)據(jù)進(jìn)行數(shù)據(jù)格式轉(zhuǎn)換，得到真實(shí)數(shù)據(jù)。
[0097]b.引擎模塊:包括調(diào)度處理線程、分配線程與各個(gè)模塊之間的功能控制管理。調(diào)度處理線程、分配線程的主要作用是達(dá)到接收數(shù)據(jù)的最優(yōu)化，首先在線程的開始設(shè)置標(biāo)志位(ON)，此標(biāo)志位控制一個(gè)線程的執(zhí)行與否，在每個(gè)線程對(duì)有效數(shù)據(jù)接收完畢的后改變標(biāo)志位(0FF)，將結(jié)果進(jìn)行反饋。針對(duì)高并發(fā)的大型工業(yè)系統(tǒng)，會(huì)出現(xiàn)每秒鐘成千上萬(wàn)的數(shù)據(jù)的接收，設(shè)置標(biāo)志位的作用是防止數(shù)據(jù)的重復(fù)接收，減低系統(tǒng)的整體消耗。各模塊之間的功能控制管理在d中有詳細(xì)說明。
[0098]c.分庫(kù)存儲(chǔ)模塊:分庫(kù)存儲(chǔ)的目的是為了滿足高實(shí)時(shí)性的要求，同時(shí)大大減少數(shù)據(jù)庫(kù)的I/o訪問，降低服務(wù)器的消耗。這里的分庫(kù)存儲(chǔ)主要的意思是建立分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)，分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)主要包括兩個(gè)部分:
[0099]Cl.分布式內(nèi)存數(shù)據(jù)庫(kù)(在本層中有所體現(xiàn)):按消息報(bào)文為單位，解析報(bào)文后的數(shù)據(jù)包相關(guān)信息按數(shù)據(jù)包的邏輯關(guān)聯(lián)存入內(nèi)存共享區(qū)中對(duì)應(yīng)的鏈表(內(nèi)存塊)中，根據(jù)用戶定制的要求，使得用戶在查詢實(shí)時(shí)數(shù)據(jù)時(shí)不用通過磁盤數(shù)據(jù)庫(kù)I/o操作而是直接訪問內(nèi)存數(shù)據(jù)庫(kù)中的數(shù)據(jù)內(nèi)容，提升實(shí)時(shí)效率。每個(gè)內(nèi)存數(shù)據(jù)庫(kù)與配置信息相關(guān)聯(lián)，即將海量有效數(shù)據(jù)進(jìn)行優(yōu)化管理，這一部分有效數(shù)據(jù)同時(shí)會(huì)根據(jù)時(shí)間戳進(jìn)入數(shù)據(jù)分發(fā)層，用于數(shù)據(jù)的檢索與用戶定制的查詢。
[0100]C2.分布式磁盤數(shù)據(jù)庫(kù)(在下一層中有所體現(xiàn)):分布式磁盤數(shù)據(jù)庫(kù)選取Oracle數(shù)據(jù)庫(kù)，主要提供兩種功能。首先，在服務(wù)器出現(xiàn)斷開時(shí)，內(nèi)存數(shù)據(jù)庫(kù)中的事實(shí)推送數(shù)據(jù)會(huì)被清除，這時(shí)我們通過分布式磁盤數(shù)據(jù)庫(kù)Oracle來訪問最近時(shí)間點(diǎn)的實(shí)時(shí)參數(shù)數(shù)據(jù)；其次，提供檢索功能，即通過Oracle數(shù)據(jù)庫(kù)中的存儲(chǔ)過程對(duì)歷史數(shù)據(jù)表按照上層中提取的映射關(guān)系信息進(jìn)行動(dòng)態(tài)分表，根據(jù)磁盤數(shù)據(jù)庫(kù)Oracle處理每張表的優(yōu)化比選擇每張表的最優(yōu)記錄數(shù)，通過映射信息中的參數(shù)個(gè)數(shù)與發(fā)送頻率來確定此類映射關(guān)系信息下所需的分表時(shí)間，最大限度是實(shí)現(xiàn)檢索的最優(yōu)化。
[0101]d.各個(gè)模塊之間存在依托的關(guān)聯(lián)控制:預(yù)處理模塊負(fù)責(zé)數(shù)據(jù)的處理、引擎模塊負(fù)責(zé)數(shù)據(jù)的接收與高效管理、分庫(kù)存儲(chǔ)模塊是根據(jù)數(shù)據(jù)的“用途”不同在最大化降低磁盤數(shù)據(jù)庫(kù)I/o操作的同時(shí)滿足整個(gè)實(shí)時(shí)處理數(shù)據(jù)流的數(shù)據(jù)傳輸、入庫(kù)、查詢的同步性。
[0102]其中的引擎模塊是整個(gè)數(shù)據(jù)預(yù)處理層的核心部分，它根據(jù)預(yù)處理模塊得到的信源新宿等信息來確定是否開啟線程、根據(jù)邏輯關(guān)聯(lián)信息來確定開啟哪個(gè)線程，在接收到數(shù)據(jù)的同時(shí)，來確定存入哪個(gè)分布式數(shù)據(jù)庫(kù)。
[0103]3.第三步建立數(shù)據(jù)分發(fā)層:數(shù)據(jù)分發(fā)層分同步更新模塊與檢索服務(wù)模塊，下面對(duì)數(shù)據(jù)分發(fā)層進(jìn)行說明:
[0104]a.同步更新模塊:按照數(shù)據(jù)處理層中建立的分布式內(nèi)存數(shù)據(jù)庫(kù)的配置信息，在磁盤數(shù)據(jù)庫(kù)中給每個(gè)參數(shù)同步建立一條實(shí)時(shí)更新的記錄。如果大量關(guān)鍵資料暫存在內(nèi)存中，一旦斷電、CPU或內(nèi)存等故障之一發(fā)生，首先丟失的是內(nèi)存數(shù)據(jù)，實(shí)時(shí)更新記錄的作用在于在發(fā)生上述故障時(shí)對(duì)用戶的查詢數(shù)據(jù)進(jìn)行保障。同時(shí)，我們可以根據(jù)引擎模塊中的處理標(biāo)志位來識(shí)別原數(shù)據(jù)源是否被處理過。
[0105]b.檢索服務(wù)模塊:實(shí)時(shí)更新記錄來判斷數(shù)據(jù)是否發(fā)生變化，如若變化則存入歷史數(shù)據(jù)表，此歷史數(shù)據(jù)表均存儲(chǔ)在分布式磁盤數(shù)據(jù)庫(kù)中，每張歷史數(shù)據(jù)表的表名由兩部分構(gòu)成，即:對(duì)應(yīng)實(shí)時(shí)表的映射關(guān)系信息加表的可變個(gè)數(shù)，如:1000_1、1000_2等等，歷史數(shù)據(jù)表的分類均根據(jù)數(shù)據(jù)處理層中提取出的映射關(guān)系信息進(jìn)行分類，此歷史數(shù)據(jù)表為動(dòng)態(tài)分表，即當(dāng)記錄數(shù)達(dá)到50-100萬(wàn)條時(shí)(也可采用當(dāng)記錄數(shù)達(dá)到一定規(guī)模時(shí)，根據(jù)服務(wù)器性能來決定)同步建立第二張相關(guān)數(shù)據(jù)表，在數(shù)據(jù)達(dá)到一定規(guī)模時(shí)對(duì)此表進(jìn)行備份清空，達(dá)到減輕整個(gè)系統(tǒng)負(fù)載的目的。
[0106]c.數(shù)據(jù)處理層中的分布式內(nèi)存數(shù)據(jù)庫(kù)與數(shù)據(jù)分發(fā)層中的分布式磁盤數(shù)據(jù)庫(kù)一同構(gòu)成整個(gè)內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)。僅將數(shù)據(jù)存儲(chǔ)到內(nèi)存數(shù)據(jù)庫(kù)無(wú)法實(shí)現(xiàn)數(shù)據(jù)全局分布的要求，需要借助于分布式磁盤數(shù)據(jù)庫(kù)Oracle這樣的外部數(shù)據(jù)庫(kù)，在滿足出現(xiàn)服務(wù)器斷開等極端情況下的實(shí)時(shí)數(shù)據(jù)查詢的同時(shí)，滿足歷史數(shù)據(jù)檢索的高效優(yōu)化，對(duì)分布式內(nèi)存數(shù)據(jù)庫(kù)進(jìn)行保障。由于報(bào)文基本是密集型，而對(duì)報(bào)文的處理效率略低于報(bào)文的載入效率，因此在內(nèi)存數(shù)據(jù)庫(kù)中可保證處理實(shí)務(wù)操作的有效性，解決內(nèi)存數(shù)據(jù)庫(kù)與磁盤數(shù)據(jù)庫(kù)的平衡，保證實(shí)時(shí)處理程序在內(nèi)存數(shù)據(jù)中完成各種事務(wù)處理。
[0107]d.同步更新模塊與檢索服務(wù)模塊的所有操作均在磁盤數(shù)據(jù)庫(kù)中進(jìn)行，不影響整個(gè)反饋數(shù)據(jù)實(shí)時(shí)處理平臺(tái)的執(zhí)行效率，同步更新模塊在出現(xiàn)故障的時(shí)候?qū)τ脩舻脑L問進(jìn)行保障；檢索服務(wù)模塊則在用戶對(duì)設(shè)備數(shù)據(jù)進(jìn)行歷史記錄查詢時(shí)最大限度的滿足數(shù)據(jù)檢索的實(shí)時(shí)性要求，為用戶的數(shù)據(jù)分析、數(shù)據(jù)展示等做實(shí)時(shí)性保障。
[0108]4.最后，通過三層結(jié)構(gòu)的建立，構(gòu)建一種基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理平臺(tái)，在有限的資源內(nèi)達(dá)到預(yù)期的效果，以達(dá)到提高主內(nèi)存使用率并有效減少I/o讀寫的效果，同時(shí)實(shí)現(xiàn)C/S到B/S模式的轉(zhuǎn)變，在提升用戶體驗(yàn)的同時(shí)，提升平臺(tái)處理高并發(fā)性、高實(shí)時(shí)性的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理的能力。
[0109]最后說明的是，以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管通過參照本發(fā)明的優(yōu)選實(shí)施例已經(jīng)對(duì)本發(fā)明進(jìn)行了描述，但本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以在形式上和細(xì)節(jié)上對(duì)其做出各種各樣的改變，而不偏離所附權(quán)利要求書所限定的本發(fā)明的精神和范圍。
【權(quán)利要求】
1.基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于:包括以下步驟: 51:建立用于采集工業(yè)現(xiàn)場(chǎng)設(shè)備的工業(yè)系統(tǒng)原始數(shù)據(jù)的底層數(shù)據(jù)層； 52:建立用于將底層數(shù)據(jù)層中所采集的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行分布數(shù)據(jù)處理的數(shù)據(jù)處理層，同時(shí)建立用于實(shí)時(shí)數(shù)據(jù)訪問與歷史數(shù)據(jù)檢索優(yōu)化的時(shí)間戳； 53:建立對(duì)工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行動(dòng)態(tài)分頁(yè)存儲(chǔ)的數(shù)據(jù)分發(fā)層，在數(shù)據(jù)分發(fā)層建立同步更新模塊與檢索服務(wù)模塊。
2.根據(jù)權(quán)利要求1所述的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于:所述數(shù)據(jù)處理層的建立包括以下步驟: 521:建立預(yù)處理模塊，所 述預(yù)處理模塊用于對(duì)采集到的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行拆分、數(shù)據(jù)合法性驗(yàn)證、不同數(shù)據(jù)邏輯關(guān)聯(lián)提取和數(shù)據(jù)格式轉(zhuǎn)換； 522:建立引擎模塊，所述引擎模塊用于調(diào)度處理線程、分配線程與模塊控制管理； S23:建立分庫(kù)存儲(chǔ)模塊，所述分庫(kù)存儲(chǔ)的方式采用分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)和分布式磁盤數(shù)據(jù)庫(kù)； 所述分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)用于實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)訪問； 所述分布式磁盤數(shù)據(jù)庫(kù)包括同步更新模塊和檢索服務(wù)模塊； 所述同步更新模塊，用于斷電時(shí)通過實(shí)時(shí)表來保存內(nèi)存數(shù)據(jù)庫(kù)中的實(shí)時(shí)數(shù)據(jù)； 所述檢索服務(wù)模塊，用于保存歷史記錄數(shù)據(jù)。
3.根據(jù)權(quán)利要求2所述的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于:所述數(shù)據(jù)分發(fā)層的建立包括建立同步更新模塊與建立檢索服務(wù)模塊； 所述同步更新模塊，按照數(shù)據(jù)處理層中建立的分布式內(nèi)存數(shù)據(jù)庫(kù)的配置信息，在磁盤數(shù)據(jù)庫(kù)中給每個(gè)參數(shù)同步建立一條實(shí)時(shí)更新的記錄；根據(jù)引擎模塊中的處理標(biāo)志位來識(shí)別原數(shù)據(jù)源是否被處理過； 所述檢索服務(wù)模塊，實(shí)時(shí)更新記錄來判斷經(jīng)過數(shù)據(jù)預(yù)處理層處理后的表征設(shè)備實(shí)時(shí)狀態(tài)的數(shù)據(jù)是否發(fā)生變化，如果數(shù)據(jù)發(fā)生變化則存入歷史數(shù)據(jù)表，所述歷史數(shù)據(jù)表分布式磁盤數(shù)據(jù)庫(kù)，歷史數(shù)據(jù)表的分類根據(jù)數(shù)據(jù)處理層中提取出的映射關(guān)系信息進(jìn)行分類，當(dāng)記錄數(shù)達(dá)到預(yù)設(shè)條數(shù)時(shí)同步建立第二張數(shù)據(jù)表，在數(shù)據(jù)達(dá)到預(yù)設(shè)規(guī)模時(shí)對(duì)歷史數(shù)據(jù)表進(jìn)行備份清空。
4.根據(jù)權(quán)利要求1所述的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于:所述底層數(shù)據(jù)層的工業(yè)系統(tǒng)原始數(shù)據(jù)是指工業(yè)現(xiàn)場(chǎng)的所有設(shè)備的運(yùn)行狀態(tài)參數(shù)與實(shí)時(shí)參數(shù)值，所述工業(yè)現(xiàn)場(chǎng)設(shè)備包括傳感器設(shè)備、供電子系統(tǒng)、消防子系統(tǒng)和電梯子系統(tǒng)。
5.根據(jù)權(quán)利要求2所述的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于:所述分布式磁盤數(shù)據(jù)庫(kù)為外部數(shù)據(jù)庫(kù)服務(wù)器；所述同步更新模塊與檢索服務(wù)模塊的所有操作均設(shè)置在磁盤數(shù)據(jù)庫(kù)中進(jìn)行。
6.基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)，其特征在于:包括底層數(shù)據(jù)層、數(shù)據(jù)處理層和數(shù)據(jù)分發(fā)層； 所述底層數(shù)據(jù)層，用于采集工業(yè)現(xiàn)場(chǎng)設(shè)備的工業(yè)系統(tǒng)原始數(shù)據(jù)的； 所述數(shù)據(jù)處理層，用于將底層數(shù)據(jù)層中所采集的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行分布數(shù)據(jù)處理，同時(shí)建立用于實(shí)時(shí)數(shù)據(jù)訪問與歷史數(shù)據(jù)檢索優(yōu)化的時(shí)間戳； 所述數(shù)據(jù)分發(fā)層，用于對(duì)工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行動(dòng)態(tài)分頁(yè)存儲(chǔ)。
7.根據(jù)權(quán)利要求6所述的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)，其特征在于:所述數(shù)據(jù)處理層包括預(yù)處理模塊、引擎模塊、分庫(kù)存儲(chǔ)模塊； 所述預(yù)處理模塊，所述預(yù)處理模塊用于對(duì)采集到的工業(yè)系統(tǒng)原始數(shù)據(jù)進(jìn)行拆分、數(shù)據(jù)合法性驗(yàn)證、不同數(shù)據(jù)邏輯關(guān)聯(lián)提取、數(shù)據(jù)格式轉(zhuǎn)換； 所述引擎模塊，所述引擎模塊用于調(diào)度處理線程、分配線程與模塊控制管理； 所述分庫(kù)存儲(chǔ)模塊，所述分庫(kù)存儲(chǔ)的方式采用分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)和分布式磁盤數(shù)據(jù)庫(kù)； 所述分布式內(nèi)存數(shù)據(jù)庫(kù)系統(tǒng)用于實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)訪問； 所述分布式磁盤數(shù)據(jù)庫(kù)包括同步更新模塊和檢索服務(wù)模塊； 所述同步更新模塊，用于斷電時(shí)通過實(shí)時(shí)表來保存內(nèi)存數(shù)據(jù)庫(kù)中的實(shí)時(shí)數(shù)據(jù)； 所述檢索服務(wù)模塊，用于保存歷史記錄數(shù)據(jù)。
8.根據(jù)權(quán)利要求7所述的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)，其特征在于:所述數(shù)據(jù)分發(fā)層包括同步更新模塊與檢索服務(wù)模塊； 所述同步更新模塊，按照數(shù)據(jù)處理層中建立的分布式內(nèi)存數(shù)據(jù)庫(kù)的配置信息，在磁盤數(shù)據(jù)庫(kù)中給每個(gè)參數(shù)同步建立一條實(shí)時(shí)更新的記錄；根據(jù)引擎模塊中的處理標(biāo)志位來識(shí)別原數(shù)據(jù)源是否被處理 過； 所述檢索服務(wù)模塊，實(shí)時(shí)更新記錄來判斷數(shù)據(jù)是否發(fā)生變化，如若變化則存入歷史數(shù)據(jù)表，所述歷史數(shù)據(jù)表分布式磁盤數(shù)據(jù)庫(kù)，歷史數(shù)據(jù)表的分類根據(jù)數(shù)據(jù)處理層中提取出的映射關(guān)系信息進(jìn)行分類，當(dāng)記錄數(shù)達(dá)到預(yù)設(shè)條數(shù)時(shí)同步建立第二張數(shù)據(jù)表，在數(shù)據(jù)達(dá)到預(yù)設(shè)規(guī)模時(shí)對(duì)歷史數(shù)據(jù)表進(jìn)行備份清空； 所述映射關(guān)系信息為分布在不同子系統(tǒng)中的設(shè)備信息采集單元讀取的設(shè)備實(shí)時(shí)運(yùn)行狀態(tài)數(shù)據(jù)。
9.根據(jù)權(quán)利要求6所述的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)，其特征在于:所述底層數(shù)據(jù)層的工業(yè)系統(tǒng)原始數(shù)據(jù)是指工業(yè)現(xiàn)場(chǎng)的所有設(shè)備的運(yùn)行狀態(tài)參數(shù)與實(shí)時(shí)參數(shù)值，所述工業(yè)現(xiàn)場(chǎng)設(shè)備包括傳感器設(shè)備、供電子系統(tǒng)、消防子系統(tǒng)、電梯子系統(tǒng)。
10.根據(jù)權(quán)利要求7所述的基于Web的大型工業(yè)系統(tǒng)反饋數(shù)據(jù)實(shí)時(shí)處理系統(tǒng)，其特征在于:所述分布式磁盤數(shù)據(jù)庫(kù)為外部數(shù)據(jù)庫(kù)服務(wù)器；所述同步更新模塊與檢索服務(wù)模塊的所有操作均設(shè)置在磁盤數(shù)據(jù)庫(kù)中進(jìn)行。
【文檔編號(hào)】G06F17/30GK103970903SQ201410228031
【公開日】2014年8月6日 申請(qǐng)日期:2014年5月27日 優(yōu)先權(quán)日:2014年5月27日
【發(fā)明者】張可, 柴毅, 汪嘉文, 江聰美, 焦春曉 申請(qǐng)人:重慶大學(xué)