本發(fā)明涉及數(shù)據(jù)采集處理的技術(shù)領(lǐng)域,具體涉及一種氣體苯系物探測的數(shù)據(jù)可視化方法及系統(tǒng)。
背景技術(shù):
含苯環(huán)化合物可能存在于人們的工作、生活環(huán)境,對(duì)人體的血液、神經(jīng)、生殖系統(tǒng)具有較強(qiáng)危害。通過物理、化學(xué)的方法能夠檢測出苯系物含量及對(duì)人的危害程度。通過傳感器和網(wǎng)絡(luò)技術(shù)可以探測空氣中苯系物的含量,由計(jì)算機(jī)數(shù)據(jù)分析系統(tǒng)進(jìn)行可視化的展現(xiàn)。目前,苯系物數(shù)據(jù)檢測的方法包括實(shí)驗(yàn)室化學(xué)成分分解、溶劑化驗(yàn)、光學(xué)分析等,也有通過傳感器采集氣體苯系物數(shù)據(jù)的方法,并通過網(wǎng)絡(luò)傳輸?shù)接?jì)算機(jī)系統(tǒng)進(jìn)行分析、報(bào)警和控制等。但是,對(duì)于多數(shù)非專業(yè)人士來說,要能輕松讀懂氣體苯系物的類型、參數(shù)和危害并不是容易的事情,還沒有一種直觀、易于理解的可視化方法展現(xiàn)檢測到的氣體苯系物的數(shù)據(jù)?,F(xiàn)有數(shù)據(jù)采集方法雖然能夠檢測出苯系物的含量數(shù)據(jù),實(shí)驗(yàn)室儀器的化學(xué)成分分析、物理分析方法存在三方面的問題:1、不能及時(shí)采集苯系物是否存在及存在的含量,并實(shí)時(shí)分析出來對(duì)生產(chǎn)生活的危害程度,特別是對(duì)公共安全、應(yīng)急處理等場景至關(guān)重要;2、實(shí)驗(yàn)室儀器分析的結(jié)果數(shù)據(jù),只能直觀顯示數(shù)據(jù)及參數(shù)指標(biāo),不能夠很好地存儲(chǔ)并進(jìn)一步分析,尤其是還不能更好地進(jìn)行分析預(yù)測,進(jìn)行有效的預(yù)防和控制的決策建議;3、實(shí)驗(yàn)室分析的結(jié)果受限制于儀器安裝和應(yīng)用的軟件功能局限性,只能供專業(yè)人員操作和觀察結(jié)果,不能直觀地展現(xiàn)?,F(xiàn)有傳感探測技術(shù)雖然能進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)采集和用戶終端展現(xiàn),但是這些技術(shù)存在3方面問題:1、現(xiàn)有氣體苯系物傳感探測數(shù)據(jù)的存儲(chǔ)方式,只是局限于網(wǎng)絡(luò)傳輸和遠(yuǎn)程存儲(chǔ),還沒有形成分布式的存儲(chǔ)和備份,這些情況不利于當(dāng)前云端計(jì)算資源共享和實(shí)時(shí)響應(yīng)的要求;2、現(xiàn)有傳感探測的氣體苯系物實(shí)時(shí)分析和多用途方面存在局限,不能夠通過云端數(shù)據(jù)共享為多應(yīng)用提供數(shù)據(jù)支撐,特別對(duì)于公共安全的信息發(fā)布和應(yīng)急處理提供實(shí)時(shí)、共享數(shù)據(jù)支撐;3、現(xiàn)有氣體傳感探測數(shù)據(jù)發(fā)布和展現(xiàn)方面存在局限,不能方便高效地以直觀、易懂的方式可視化展現(xiàn)。
技術(shù)實(shí)現(xiàn)要素:
為了解決上述技術(shù)問題,本發(fā)明提供了一種氣體苯系物探測的數(shù)據(jù)可視化方法,利用傳感探測技術(shù)實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)傳輸、存儲(chǔ)和分析,利用云計(jì)算資源共享和分布式存儲(chǔ)技術(shù),充分發(fā)揮信息新技術(shù)優(yōu)勢,提高了氣體苯系物探測數(shù)據(jù)直觀、易懂的可視化展現(xiàn)。為了達(dá)到上述目的,本發(fā)明的技術(shù)方案是:一種氣體苯系物探測的數(shù)據(jù)可視化方法,其步驟如下:步驟一:利用傳感探測器感知探測所在區(qū)域的氣體苯系物數(shù)據(jù);步驟二:將多個(gè)傳感探測器監(jiān)測的氣體苯系物數(shù)據(jù)通過串口服務(wù)器實(shí)時(shí)的上傳至數(shù)據(jù)中心;步驟三;數(shù)據(jù)中心利用分布式大數(shù)據(jù)數(shù)據(jù)預(yù)處理技術(shù)SparkStreaming將采集的氣體苯系物數(shù)據(jù)收集到數(shù)據(jù)集RDD;步驟四:數(shù)據(jù)集RDD利用分布式文件系統(tǒng)HDFS將數(shù)據(jù)分片的發(fā)送至分布式存儲(chǔ)系統(tǒng);步驟五:分布式存儲(chǔ)系統(tǒng)利用數(shù)據(jù)倉庫技術(shù)將數(shù)據(jù)集RDD的分類存儲(chǔ)到HBase數(shù)據(jù)倉庫;步驟六:利用部署在云端的計(jì)算模塊為用戶提供訪問氣體苯系物數(shù)據(jù)抽取的入口及數(shù)據(jù)統(tǒng)計(jì)分析匯總、數(shù)據(jù)挖掘的模型;步驟七:對(duì)HBase數(shù)據(jù)倉庫中的數(shù)據(jù)利用SparkStreaming進(jìn)行實(shí)時(shí)流式數(shù)據(jù)分析和SparkMLlib歷史數(shù)據(jù)挖掘;步驟八:使用可視化工具D3.js技術(shù)以直觀、易懂的方式展現(xiàn)氣體苯系物數(shù)據(jù)及變化情況實(shí)現(xiàn)抽取數(shù)據(jù)的可視化展現(xiàn),用戶終端通過Web瀏覽器訪問可視化展現(xiàn)的數(shù)據(jù)。所述數(shù)據(jù)中心為數(shù)據(jù)采集服務(wù)器,數(shù)據(jù)采集服務(wù)器采用分布式網(wǎng)絡(luò)編程技術(shù)Socket采集串口服務(wù)器的數(shù)據(jù)。一種氣體苯系物探測的數(shù)據(jù)可視化系統(tǒng),包括傳感探測器模塊、串口服務(wù)器、數(shù)據(jù)采集服務(wù)器、分布式存儲(chǔ)系統(tǒng)、云計(jì)算服務(wù)器、數(shù)據(jù)計(jì)算服務(wù)器、Web服務(wù)器和用戶終端,傳感探測器模塊與串口服務(wù)器相連接,串口服務(wù)器與數(shù)據(jù)采集服務(wù)器相連接,數(shù)據(jù)采集服務(wù)器與分布式存儲(chǔ)系統(tǒng)相連接,分布式存儲(chǔ)系統(tǒng)與云計(jì)算服務(wù)器相連接,云計(jì)算服務(wù)器與數(shù)據(jù)計(jì)算服務(wù)器相連接,數(shù)據(jù)計(jì)算服務(wù)器與Web服務(wù)器相連接,Web服務(wù)器與用戶終端相連接;所述數(shù)據(jù)采集服務(wù)器上設(shè)有數(shù)據(jù)采集模塊和數(shù)據(jù)預(yù)處理模塊,數(shù)據(jù)計(jì)算服務(wù)器上設(shè)有大數(shù)據(jù)分析模塊,Web服務(wù)器上設(shè)有數(shù)據(jù)可視化模塊。所述數(shù)據(jù)采集服務(wù)器采用Socket多線程方式讀取串口服務(wù)器經(jīng)RS485協(xié)議獲取的傳感探測器模塊感知的數(shù)據(jù),并經(jīng)串口服務(wù)器的RJ45端口傳輸?shù)綌?shù)據(jù)采集服務(wù)器。所述傳感探測器模塊包括若干個(gè)傳感探測器,串口服務(wù)器部署在任意氣體苯系物的傳感探測器接入的位置,多個(gè)串口服務(wù)器經(jīng)由以太網(wǎng)連接,級(jí)聯(lián)層次連接至數(shù)據(jù)采集服務(wù)器,分布式存儲(chǔ)系統(tǒng)實(shí)現(xiàn)將數(shù)據(jù)存儲(chǔ)到多個(gè)節(jié)點(diǎn)。所述數(shù)據(jù)采集服務(wù)器中的數(shù)據(jù)預(yù)處理模塊將處理后的數(shù)據(jù)發(fā)送至分布式存儲(chǔ)系統(tǒng),分布式存儲(chǔ)系統(tǒng)將接收的數(shù)據(jù)進(jìn)行分片后發(fā)送給分布式存儲(chǔ)系統(tǒng)的節(jié)點(diǎn),通過分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)集群進(jìn)行多個(gè)數(shù)據(jù)備份,經(jīng)由Web服務(wù)器接入的用戶終端實(shí)現(xiàn)數(shù)據(jù)的共享。所述數(shù)據(jù)計(jì)算服務(wù)器對(duì)數(shù)據(jù)采集服務(wù)器格式化后的數(shù)據(jù)建立數(shù)據(jù)統(tǒng)計(jì)分析匯總和數(shù)據(jù)挖掘的數(shù)據(jù)模型。所述數(shù)據(jù)模型包括數(shù)據(jù)獲得時(shí)間、傳感探測器模塊所在的物理位置和邏輯標(biāo)記、數(shù)據(jù)采集經(jīng)由的路徑、采集數(shù)據(jù)的應(yīng)用程序所在位置和標(biāo)識(shí)、數(shù)據(jù)存儲(chǔ)的物理位置和邏輯位置標(biāo)識(shí)、采集數(shù)據(jù)的用戶標(biāo)識(shí)以及傳感探測器模塊本身感知的苯系物參數(shù),數(shù)據(jù)以樹形的層次結(jié)構(gòu)以文本方式存儲(chǔ)到分布式存儲(chǔ)系統(tǒng)中。所述數(shù)據(jù)可視化模塊將氣體苯系物監(jiān)測數(shù)據(jù)建成可視化模型,可視化模型包括氣體苯系物監(jiān)測參數(shù)的實(shí)時(shí)狀態(tài)和數(shù)據(jù)變化情況折線、多種氣體苯系物影響環(huán)境或者危害程度大小的泡泡圖、氣體苯系物在監(jiān)測數(shù)據(jù)中的比例或比率的餅狀圖或立方圖、氣體苯系物的綜合監(jiān)測評(píng)估數(shù)據(jù)的關(guān)系網(wǎng)狀圖、某段時(shí)間或區(qū)域內(nèi)影響或危害程度的熱點(diǎn)地圖。本發(fā)明的有益效果:利用傳感探測技術(shù)實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)傳輸、存儲(chǔ)和分析,克服了實(shí)驗(yàn)室儀器使用化學(xué)、物理方法采集氣體苯系物數(shù)據(jù)的局限性問題,充分利用當(dāng)前云計(jì)算技術(shù)和資源共享機(jī)制,為政府和組織進(jìn)行決策分析、預(yù)測控制、應(yīng)急管理服務(wù)提供了直觀、易懂的可視化實(shí)時(shí)數(shù)據(jù)支撐;利用云計(jì)算資源共享和分布式存儲(chǔ)技術(shù),克服了現(xiàn)有傳感探測技術(shù)采集到的氣體苯系物數(shù)據(jù)單一、使用和易懂性不足等問題,充分發(fā)揮信息新技術(shù)優(yōu)勢,將氣體苯系物數(shù)據(jù)備份到云端實(shí)現(xiàn)共享,為政府組織和研究者使用,進(jìn)行決策分析、控制預(yù)測進(jìn)行公共安全、應(yīng)急處理服務(wù)和研究提供直觀、易懂的可視化數(shù)據(jù)支撐;因此,本發(fā)明提出一種氣體苯系物探測數(shù)據(jù)在云端共享,并以直觀、易懂的可視化方式展現(xiàn)數(shù)據(jù)的方法。附圖說明為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。圖1為本發(fā)明的結(jié)構(gòu)示意圖。具體實(shí)施方式下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述,顯然,所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例。基于本發(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有付出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。一種氣體苯系物探測的數(shù)據(jù)可視化方法,其步驟如下:步驟一:利用傳感探測器感知探測所在區(qū)域的氣體苯系物數(shù)據(jù)。步驟二:將多個(gè)傳感探測器監(jiān)測的氣體苯系物數(shù)據(jù)通過串口服務(wù)器實(shí)時(shí)的上傳至數(shù)據(jù)中心。數(shù)據(jù)中心為數(shù)據(jù)采集服務(wù)器,數(shù)據(jù)采集服務(wù)器采用分布式網(wǎng)絡(luò)編程技術(shù)Socket采集串口服務(wù)器的數(shù)據(jù)。步驟三;數(shù)據(jù)中心利用分布式大數(shù)據(jù)數(shù)據(jù)預(yù)處理技術(shù)SparkStreaming將采集的氣體苯系物數(shù)據(jù)收集到數(shù)據(jù)集RDD。步驟四:數(shù)據(jù)集RDD利用分布式文件系統(tǒng)HDFS將數(shù)據(jù)分片的發(fā)送至分布式存儲(chǔ)系統(tǒng)。步驟五:分布式存儲(chǔ)系統(tǒng)利用數(shù)據(jù)倉庫技術(shù)將數(shù)據(jù)集RDD的分類存儲(chǔ)到HBase數(shù)據(jù)倉庫。步驟六:利用部署在云計(jì)算服務(wù)器為用戶提供訪問氣體苯系物數(shù)據(jù)抽取的入口及數(shù)據(jù)統(tǒng)計(jì)分析匯總、數(shù)據(jù)挖掘的模型。步驟七:對(duì)HBase數(shù)據(jù)倉庫中的數(shù)據(jù)利用SparkStreaming進(jìn)行實(shí)時(shí)流式數(shù)據(jù)分析和SparkMLlib歷史數(shù)據(jù)挖掘。步驟八:使用可視化工具D3.js技術(shù)以直觀、易懂的方式展現(xiàn)氣體苯系物數(shù)據(jù)及變化情況實(shí)現(xiàn)抽取數(shù)據(jù)的可視化展現(xiàn),用戶終端通過Web瀏覽器訪問可視化展現(xiàn)的數(shù)據(jù)。傳感探測器感知探測到氣體苯系物的監(jiān)測數(shù)據(jù)后,串口服務(wù)器輸入端接收RS485通訊協(xié)議數(shù)據(jù),輸出端將RJ45協(xié)議轉(zhuǎn)后的數(shù)據(jù)封裝經(jīng)以太網(wǎng)傳輸。1臺(tái)串口服務(wù)器輸入端口可以并行連接8個(gè)RS485的氣體傳感探測器,并經(jīng)1個(gè)RJ45輸出給以太網(wǎng),也可以實(shí)現(xiàn)以太網(wǎng)交換機(jī)的級(jí)聯(lián)實(shí)現(xiàn)更多氣體傳感探測器的網(wǎng)絡(luò)連接。數(shù)據(jù)采集服務(wù)器主要采用分布式網(wǎng)絡(luò)編程技術(shù)Socket采集串口服務(wù)器RJ45端口的數(shù)據(jù),并用分布式大數(shù)據(jù)預(yù)處理技術(shù)SparkStreamin...