本發(fā)明涉及基于自控系統(tǒng)的企業(yè)管控一體化數(shù)據(jù)分析方法，屬于信息技術(shù)領(lǐng)域。

背景技術(shù)：

目前自控技術(shù)發(fā)展迅速，但各個制造商、研發(fā)單位，各個系統(tǒng)、各個產(chǎn)品之間的數(shù)據(jù)傳輸受制于開發(fā)者技術(shù)水平、數(shù)據(jù)傳輸協(xié)議、設(shè)備存儲空間、數(shù)據(jù)繁雜等因素的影響，給“物聯(lián)”帶來極大困難，同時難以利用有效的數(shù)據(jù)分析從海量數(shù)據(jù)中獲取有用、有效的信息。

技術(shù)實現(xiàn)要素：

本發(fā)明為了解決上述現(xiàn)有技術(shù)存在的缺陷和不足，提供了一種可以用更少的人力物力，有效的處理更大規(guī)模的數(shù)據(jù)，減少數(shù)據(jù)傳輸、篩選、利用的成本，從而帶來經(jīng)濟效益和效率提升的基于工業(yè)化和信息化的物聯(lián)平臺。

一種基于自控系統(tǒng)的企業(yè)管控一體化數(shù)據(jù)分析方法，其包括數(shù)據(jù)源模塊、數(shù)據(jù)收集模塊、數(shù)據(jù)整合模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)分析模塊、目標檢測模塊和數(shù)據(jù)應用模塊，數(shù)據(jù)收集模塊，收集數(shù)據(jù)源數(shù)據(jù)時，利用平臺構(gòu)建分布式數(shù)據(jù)抓取系統(tǒng)；數(shù)據(jù)整合模塊，將從數(shù)據(jù)源收集到的數(shù)據(jù)通過系統(tǒng)建立的標示庫和特征庫，對不同來源的數(shù)據(jù)添加時間標簽、位置標簽等唯一性識別，并對非結(jié)構(gòu)化數(shù)據(jù)進行結(jié)構(gòu)化整理和清洗；數(shù)據(jù)存儲模塊，將整合好的數(shù)據(jù)存儲進入到一個虛擬數(shù)據(jù)平臺后提供給上游系統(tǒng)，即無論何種形式的數(shù)據(jù)都可以通過這個形式較為統(tǒng)一的“中轉(zhuǎn)數(shù)據(jù)平臺”給上游系統(tǒng)提供數(shù)據(jù)。

所述數(shù)據(jù)收集模塊收集來自各個獨立渠道的數(shù)據(jù)，這些數(shù)據(jù)包括設(shè)備數(shù)據(jù)、系統(tǒng)數(shù)據(jù)，即在自控系統(tǒng)相關(guān)軟硬件平臺上可以收集到的一切數(shù)據(jù)。

具體實施方式

下面對本發(fā)明作進一步的詳細說明。

一種基于自控系統(tǒng)的企業(yè)管控一體化數(shù)據(jù)分析方法，其包括數(shù)據(jù)源模塊、數(shù)據(jù)收集模塊、數(shù)據(jù)整合模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)分析模塊、目標檢測模塊和數(shù)據(jù)應用模塊，數(shù)據(jù)收集模塊，收集數(shù)據(jù)源數(shù)據(jù)時，利用平臺構(gòu)建分布式數(shù)據(jù)抓取系統(tǒng)；數(shù)據(jù)整合模塊，將從數(shù)據(jù)源收集到的數(shù)據(jù)通過系統(tǒng)建立的標示庫和特征庫，對不同來源的數(shù)據(jù)添加時間標簽、位置標簽等唯一性識別，并對非結(jié)構(gòu)化數(shù)據(jù)進行結(jié)構(gòu)化整理和清洗；數(shù)據(jù)存儲模塊，將整合好的數(shù)據(jù)存儲進入到一個虛擬數(shù)據(jù)平臺后提供給上游系統(tǒng)，即無論何種形式的數(shù)據(jù)都可以通過這個形式較為統(tǒng)一的“中轉(zhuǎn)數(shù)據(jù)平臺”給上游系統(tǒng)提供數(shù)據(jù)。

所述數(shù)據(jù)收集模塊收集來自各個獨立渠道的數(shù)據(jù)，這些數(shù)據(jù)包括設(shè)備數(shù)據(jù)、系統(tǒng)數(shù)據(jù)，即在自控系統(tǒng)相關(guān)軟硬件平臺上可以收集到的一切數(shù)據(jù)。

1、數(shù)據(jù)源模塊

收集來自各個獨立運行的設(shè)備、系統(tǒng)的數(shù)據(jù)，這些數(shù)據(jù)包括硬件設(shè)備的數(shù)據(jù)，生產(chǎn)、運行、安全、管理等相關(guān)系統(tǒng)的數(shù)據(jù)，即在自控系統(tǒng)相關(guān)軟硬件平臺上可以收集到的一切數(shù)據(jù)。

2、數(shù)據(jù)整合

數(shù)據(jù)整合部分包括數(shù)據(jù)收集、數(shù)據(jù)整合、數(shù)據(jù)存儲三大模塊。

（1）數(shù)據(jù)收集。收集數(shù)據(jù)源數(shù)據(jù)時，我們構(gòu)建分布式全網(wǎng)數(shù)據(jù)抓取系統(tǒng)，本系統(tǒng)具有以下幾個特點： 1）高性能高穩(wěn)定性。系統(tǒng)實現(xiàn)了多線程的分布式抓取，獨立抓取進程前互不影響，當某抓取任務(wù)失敗后能實現(xiàn)自動恢復機制，實現(xiàn)99.99%以上的爬蟲工作穩(wěn)定性，并可根據(jù)業(yè)務(wù)需求迅速橫向爬蟲規(guī)模。2）抓取系統(tǒng)的調(diào)度算法，根據(jù)客戶重要程度和上次監(jiān)測時間，合理安排爬蟲工作權(quán)重，實現(xiàn)對新客戶和重要客戶的迅速反應。3）抓取系統(tǒng)上下文環(huán)境記憶，實現(xiàn)對不同來源商品頁相應數(shù)據(jù)上次爬取的上下文環(huán)境記錄系統(tǒng)，保證抓取系統(tǒng)實現(xiàn)增量的數(shù)據(jù)更新。

（2）數(shù)據(jù)整合。將從數(shù)據(jù)源收集到的數(shù)據(jù)通過系統(tǒng)建立的標示庫和特征庫，對不同來源的商品進行唯一性識別，并對非結(jié)構(gòu)化數(shù)據(jù)進行結(jié)構(gòu)化整理和清洗。本發(fā)明根據(jù)設(shè)備、系統(tǒng)類型定義了自有平臺的分類機制、協(xié)議類型和識別特征，利用個各個平臺開放接口及自有數(shù)據(jù)采集系統(tǒng)將分散的各種結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，統(tǒng)一整合到自有數(shù)據(jù)平臺中的標示庫中，為商品的數(shù)據(jù)的進一步挖掘提供基礎(chǔ)。

（3）數(shù)據(jù)存儲。最后數(shù)據(jù)存儲模塊將整合好的數(shù)據(jù)存儲進入數(shù)據(jù)倉庫，為數(shù)據(jù)分析提供支持。