本發(fā)明涉及無線移動通信領(lǐng)域，特別設(shè)計基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)及方法。

背景技術(shù)：

隨著無線電頻譜資源在國民經(jīng)濟中發(fā)揮的作用越來越重要，對無線電資源的應(yīng)用越來越多，各地為了實現(xiàn)對頻譜資源的有效監(jiān)控和管理，都在不斷增建無線電臺站和設(shè)施。然而隨著無線電臺數(shù)量的增加、密度的增大，電磁環(huán)境變得日益復(fù)雜，導(dǎo)致無線頻譜環(huán)境無法直觀、有效的管理，從而制約了無線電的發(fā)展。無線電環(huán)境地圖就是針對該問題提出的有效解決方案。

無線電環(huán)境地圖用于表征無線電環(huán)境信息，認知無線電系統(tǒng)通過訪問和查詢無線電環(huán)境地圖，能迅速獲得所需的環(huán)境信息。它將電磁環(huán)境信息與城市電子地圖結(jié)合在一起，融合地理位置信息、時間信息、頻率信息，構(gòu)成一個多維度的無線頻譜圖，其目的是為無線電管理部門提供一種全新的無線電監(jiān)管手段。

然而，要構(gòu)建一個完整的無線電環(huán)境地圖所需要的收集的數(shù)據(jù)包括感知區(qū)域的信號場強、數(shù)據(jù)采集時間、數(shù)據(jù)采集的地理位置、信號頻率大功率輻射源、測量信道時長、信道占用時長等主要數(shù)據(jù)，由此可以看到其中涉及的數(shù)據(jù)類型繁雜。并且無線電波是無處不在，由此在構(gòu)建無線電環(huán)境地圖的過程中還面臨著覆蓋范圍廣的問題。建立無線電環(huán)境地圖的首要工作即進行無線環(huán)境數(shù)據(jù)的收集，而構(gòu)建無線環(huán)境數(shù)據(jù)收集系統(tǒng)更是數(shù)據(jù)收集的關(guān)鍵基礎(chǔ)。

傳統(tǒng)的無線電環(huán)境地圖數(shù)據(jù)收集方式主要采用固定節(jié)點或系統(tǒng)配備移動節(jié)點的方式進行無線電環(huán)境信息的采集，而構(gòu)建無線電環(huán)境地圖所涉及的數(shù)據(jù)繁雜、覆蓋范圍廣。若采用傳統(tǒng)的無線電環(huán)境地圖數(shù)據(jù)收集方式進行數(shù)據(jù)采集并不能滿足構(gòu)建無線電環(huán)境地圖的數(shù)據(jù)量需求，并且所耗費的成本高。而本發(fā)明所提出和設(shè)計的基于移動群智感知的數(shù)據(jù)收集方式能夠很好的解決構(gòu)建無線電環(huán)境地圖所面臨的覆蓋范圍廣及所需數(shù)據(jù)量大的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明旨在解決以上現(xiàn)有技術(shù)的問題。提出了一種解決了構(gòu)建無線電環(huán)境地圖所涉及的所需數(shù)據(jù)維度高、覆蓋區(qū)域廣泛的問題的基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)及方法。本發(fā)明的技術(shù)方案如下：

一種基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)，其包括數(shù)據(jù)采集層、數(shù)據(jù)收集層、數(shù)據(jù)處理層及數(shù)據(jù)展示層，其中：

數(shù)據(jù)采集層，主要負責感知任務(wù)的接收、感知無線電環(huán)境信息數(shù)據(jù)、存儲無線電環(huán)境信息數(shù)據(jù)及上傳感知到的數(shù)據(jù)；

數(shù)據(jù)收集層，主要負責與數(shù)據(jù)采集層建立通信鏈接并接收感知數(shù)據(jù)；還用于激勵其他節(jié)點加入到電環(huán)境信息感知中，還用于無線感知節(jié)點的選擇以及對接收的感知數(shù)據(jù)進行存儲；

數(shù)據(jù)處理層主要負責將數(shù)據(jù)收集層收集的數(shù)據(jù)進行融合、數(shù)據(jù)預(yù)處理以去除感知數(shù)據(jù)的錯誤數(shù)據(jù)及冗余數(shù)據(jù)以及對融合后的數(shù)據(jù)進行存儲；

數(shù)據(jù)展示層主要負責于無線電環(huán)境信息的感知數(shù)據(jù)進行實時展示以及感知任務(wù)的下發(fā)。

進一步的，所述數(shù)據(jù)采集層包含任務(wù)接收模塊、感知數(shù)據(jù)模塊、數(shù)據(jù)存儲模塊及數(shù)據(jù)上傳模塊，其中任務(wù)接收模塊用于接收數(shù)據(jù)收集平臺下發(fā)的感知任務(wù)；感知數(shù)據(jù)模塊根據(jù)感知任務(wù)進行無線電環(huán)境信息的數(shù)據(jù)采集；數(shù)據(jù)存儲模塊用于展示存放無線電環(huán)境信息數(shù)據(jù)；數(shù)據(jù)上傳模塊用于將感知數(shù)據(jù)上傳至數(shù)據(jù)收集平臺。

進一步的，所述數(shù)據(jù)收集層包含區(qū)域劃分模塊、激勵機制模塊、節(jié)點選擇模塊、任務(wù)分發(fā)模塊、數(shù)據(jù)接收存儲模塊，其中區(qū)域劃分模塊分為區(qū)域劃分子模塊和業(yè)務(wù)劃分子模塊，區(qū)域劃分子模塊用于依據(jù)感知節(jié)點的地理位置信息對不同位置的感知節(jié)點分配以不同的感知任務(wù)，業(yè)務(wù)劃分子模塊用于依據(jù)不同的業(yè)務(wù)信息對感知節(jié)點分配以不同的感知任務(wù)，激勵機制模塊用于吸引更多的用戶參與到無線電環(huán)境信息數(shù)據(jù)采集過程中，其主要包括游戲激勵、價格拍賣兩種方式；節(jié)點選擇模塊用于在眾多感知任務(wù)參與者中選取最適合的感知節(jié)點來完成感知任務(wù)；任務(wù)分發(fā)模塊用于將感知任務(wù)下發(fā)至感知節(jié)點；數(shù)據(jù)接收存儲模塊用于接收數(shù)據(jù)感知平臺所感知的無線環(huán)境信息的數(shù)據(jù)并將感知數(shù)據(jù)存儲與指定的文件夾中。

進一步的，所述數(shù)據(jù)處理層包括數(shù)據(jù)融合模塊、數(shù)據(jù)預(yù)處理模塊及數(shù)據(jù)存儲模塊，其中數(shù)據(jù)融合模塊利用Hadoop中的Avro技術(shù)將多種類型的無線電環(huán)境信息的小文件進行壓縮成一個適用于Hadoop集群中MapReduce處理的大文件，并將壓縮后的文件存儲于Hadoop集群中的HDFS中；所述數(shù)據(jù)預(yù)處理模塊利用mapreduce程序進行數(shù)據(jù)字段的提取，并將處理后的數(shù)據(jù)存放于Hadoop集群的HDFS中；數(shù)據(jù)存儲模塊利用Sqoop將無線電環(huán)境信息數(shù)據(jù)自動化的上傳至數(shù)據(jù)收集層的MySQL中存儲。

進一步的，所述數(shù)據(jù)展示層用于無線電環(huán)境信息的實時化展示，利用jsp技術(shù)所開發(fā)的Web頁面依據(jù)感知平臺所收集的感知數(shù)據(jù)進行實時動態(tài)的數(shù)據(jù)展示。

一種基于所述系統(tǒng)的無線電環(huán)境地圖數(shù)據(jù)收集方法，其包括以下步驟：

1)感知節(jié)點在接收到具體感知任務(wù)后，打開手機所安裝的APP進行無線電環(huán)境信息的數(shù)據(jù)收集，并將感知數(shù)據(jù)上傳至數(shù)據(jù)收集平臺中；

2)數(shù)據(jù)收集平臺中的Web服務(wù)器中所安裝的Flume對指定的感知數(shù)據(jù)存放文件夾進行監(jiān)控，當文件夾中有新的文件增加時Flume自動的將新增文件發(fā)送至Hadoop集群的HDFS中；

3)Hadoop集群的HDFS在接收到文件后運行所編寫好的MapReduce對感知數(shù)據(jù)進行字段提?。?/p>

4)將MapReduce處理好的數(shù)據(jù)通過Sqoop自動的導(dǎo)入到Web服務(wù)器的MySQL數(shù)據(jù)庫中進行存儲；

5)當Web服務(wù)器中的MySQL數(shù)據(jù)庫中有數(shù)據(jù)更新是，將觸發(fā)由Ajax所編寫的數(shù)據(jù)導(dǎo)入函數(shù)；

6)由jsp所編寫的Web頁面實時動態(tài)更新展示數(shù)據(jù)。

進一步的，所述步驟1)通過數(shù)據(jù)感知平臺感知無線電環(huán)境信息并將感知數(shù)據(jù)實時上傳至數(shù)據(jù)收集平臺，其過程如下：

數(shù)據(jù)收集平臺通過公告的方式將感知任務(wù)下發(fā)至數(shù)據(jù)感知平臺中的感知節(jié)點；

數(shù)據(jù)感知層中的感知節(jié)點在接收到數(shù)據(jù)展示平臺所下發(fā)的感知任務(wù)，選擇感知節(jié)點感興趣的感知任務(wù)并是自己所能完成的任務(wù)，同時感知節(jié)點返回給數(shù)據(jù)收集平臺一個回饋表示自己愿意參與到感知任務(wù)中；

數(shù)據(jù)收集平臺在接收到感知節(jié)點的回饋后，依據(jù)感知任務(wù)的具體數(shù)據(jù)需求選取合適的感知節(jié)點參與到感知任務(wù)中，并將具體的感知任務(wù)下發(fā)至一選取的感知節(jié)點中；

感知節(jié)點在接收到具體感知任務(wù)后，打開手機所安裝的安卓APP進行無線電環(huán)境信息的數(shù)據(jù)收集，并將感知數(shù)據(jù)上傳至數(shù)據(jù)收集平臺中。

本發(fā)明的優(yōu)點及有益效果如下：

本發(fā)明基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)的重要意義在于該系統(tǒng)針對于構(gòu)建無線電環(huán)境地圖數(shù)據(jù)收集過程中面臨的數(shù)據(jù)類型繁雜、感知區(qū)域廣的問題，研究無線電環(huán)境信息收集系統(tǒng)的設(shè)計與實現(xiàn)。由于移動群智感知所具有的覆蓋范圍廣、采集數(shù)據(jù)類型廣泛的特性。因此，本系統(tǒng)所采用的方法能很好的解決在構(gòu)建無線電環(huán)境地圖所面臨的所需數(shù)據(jù)維度高、數(shù)據(jù)類型繁雜等問題，并能很好解決傳統(tǒng)的無線電環(huán)境信息數(shù)據(jù)收集所面臨的數(shù)據(jù)不完整、成本高的問題。為無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)的研究與設(shè)計提供了一種新思路，為提高頻譜資源利用率提供新方向。

附圖說明

圖1是本發(fā)明提供優(yōu)選實施例功能模塊圖；

圖2是本發(fā)明的網(wǎng)絡(luò)架構(gòu)圖；

圖3是本發(fā)明的整體流程圖；

圖4是本發(fā)明的數(shù)據(jù)上傳實現(xiàn)流程圖；

圖5是本發(fā)明的數(shù)據(jù)處理及展示實現(xiàn)流程圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、詳細地描述。所描述的實施例僅僅是本發(fā)明的一部分實施例。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案是：

參見圖1所示，基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)主要包括數(shù)據(jù)采集層、數(shù)據(jù)收集層、數(shù)據(jù)處理層、數(shù)據(jù)展示層四個層次：

數(shù)據(jù)感知層包含任務(wù)接收模塊、感知數(shù)據(jù)模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)上傳模塊。其中任務(wù)接收模塊用于接收數(shù)據(jù)收集平臺下發(fā)的感知任務(wù)；感知數(shù)據(jù)模塊利用所開發(fā)的安卓APP進行無線電環(huán)境信息的數(shù)據(jù)采集；數(shù)據(jù)存儲模塊用于展示存放無線電環(huán)境信息數(shù)據(jù)；數(shù)據(jù)上傳模塊用于將感知數(shù)據(jù)上傳至數(shù)據(jù)收集平臺。

數(shù)據(jù)收集層包含區(qū)域劃分模塊、激勵機制模塊、節(jié)點選擇模塊、任務(wù)分發(fā)模塊、數(shù)據(jù)接收存儲模塊。其中區(qū)域劃分模塊分為區(qū)域劃分和業(yè)務(wù)劃分兩個子模塊，區(qū)域劃分用于依據(jù)感知節(jié)點的地理位置信息對不同位置的感知節(jié)點分配以不同的感知任務(wù)，業(yè)務(wù)劃分用于依據(jù)不同的業(yè)務(wù)信息(如蜂窩網(wǎng)絡(luò)信息、WiFi網(wǎng)絡(luò)信息)對感知節(jié)點分配以不同的感知任務(wù)。激勵機制模塊用于吸引更多的用戶參與到無線電環(huán)境信息數(shù)據(jù)采集過程中，其主要包括游戲激勵、價格拍賣兩種方式；節(jié)點選擇模塊用于在眾多感知任務(wù)參與者中選取最適合的感知節(jié)點來完成感知任務(wù)；任務(wù)分發(fā)模塊用于將感知任務(wù)下發(fā)至感知節(jié)點；數(shù)據(jù)接收存儲模塊用于接收數(shù)據(jù)感知平臺所感知的無線環(huán)境信息的數(shù)據(jù)并將感知數(shù)據(jù)存儲與指定的文件夾中。

數(shù)據(jù)處理層包括數(shù)據(jù)融合模塊、數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)存儲模塊。其中數(shù)據(jù)融合模塊利用Hadoop中的Avro技術(shù)將多種類型的小文件進行壓縮成一個適用于Hadoop集群中MapReduce處理的大文件，并將壓縮后的文件存儲于Hadoop集群中的HDFS中；數(shù)據(jù)預(yù)處理模塊利用mapreduce程序進行數(shù)據(jù)字段的提取，并將處理后數(shù)據(jù)存放于Hadoop集群的HDFS中；數(shù)據(jù)存儲模塊利用Sqoop將無線電環(huán)境信息數(shù)據(jù)自動化的上傳至數(shù)據(jù)收集層的MySQL中存儲。

數(shù)據(jù)展示層用于無線電環(huán)境信息的實時化展示，利用jsp技術(shù)所開發(fā)的Web頁面依據(jù)感知平臺所收集的感知數(shù)據(jù)進行實時動態(tài)的數(shù)據(jù)展示。

下面參照附圖2，具體說明基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)的網(wǎng)絡(luò)架構(gòu)：

基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)主要分為三個部分：移動群智感知網(wǎng)絡(luò)、Web服務(wù)器、數(shù)據(jù)中心。其中移動群智感知網(wǎng)絡(luò)為利用現(xiàn)有的普通移動智能終端作為感知節(jié)點而構(gòu)建的無線電環(huán)境信息感知網(wǎng)絡(luò)。其中移動智能終端作為感知節(jié)點在本發(fā)明中為利用安卓SDK技術(shù)調(diào)用相對應(yīng)的智能終端內(nèi)部傳感器的API進行無線電環(huán)境信息的采集。Web服務(wù)器為tomcat Web服務(wù)器用于感知數(shù)據(jù)的接收、感知任務(wù)的發(fā)布、感知數(shù)據(jù)的展示的Web服務(wù)器。其中感知數(shù)據(jù)的接收所采用的是HTTP中的post()和get()方法，數(shù)據(jù)采集終端利用HTTP的post()方法將感知數(shù)據(jù)文件發(fā)送到tomcat服務(wù)器中，tomcat服務(wù)器所編寫servlet調(diào)用HTTP的get()方法進行數(shù)據(jù)接收并存儲；感知任務(wù)的發(fā)布為利用極光推送進行任務(wù)發(fā)布；感知數(shù)據(jù)的展示為利用JSP技術(shù)調(diào)用存儲于Web服務(wù)器MySQL中的數(shù)據(jù)并在展示頁面中實時動態(tài)展示。數(shù)據(jù)中心為多臺服務(wù)器所構(gòu)建的Hadoop集群。

下面參照附圖3，具體說明基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)的整體實現(xiàn)流程：

1)感知用戶開啟無線電環(huán)境信息數(shù)據(jù)采集終端APP；

2)無線電環(huán)境信息數(shù)據(jù)采集終端APP自動化的將相對應(yīng)的感知信息如時間地理位置信息、蜂窩網(wǎng)絡(luò)信息進行采集，并將感知數(shù)據(jù)在頁面進行展示；

3)感知用戶點擊無線電環(huán)境信息數(shù)據(jù)采集終端APP文件上傳按鈕，此時數(shù)據(jù)采集終端將向數(shù)據(jù)收集平臺發(fā)送一個TCP/IP鏈接請求；

4)數(shù)據(jù)采集終端與數(shù)據(jù)收集平臺建立TCP/IP鏈接后，利用HTTP的POST方法將感知數(shù)據(jù)文件上傳至數(shù)據(jù)收集平臺指定的文件夾中；

5)數(shù)據(jù)收集平臺接收感知數(shù)據(jù)文件后數(shù)據(jù)收集平臺中的Flume將數(shù)據(jù)收集平臺指定數(shù)據(jù)接收文件夾中的新增感知數(shù)據(jù)文件自動化的導(dǎo)入到數(shù)據(jù)中心Hadoop集群中的HDFS中；

6)Hadoop集群定時啟動MapReduce程序?qū)adoop集群中的HDFS的文件目錄進行探測，當發(fā)現(xiàn)HDFS中有新增文件時將新增文件進行壓縮，并將感知數(shù)據(jù)文件進行字段提取及分類，分類后的數(shù)據(jù)存放于Hadoop集群的HDFS中；

7)Hadoop集群中的Sqoop自動化的將HDFS中處理后的數(shù)據(jù)導(dǎo)入到數(shù)據(jù)收集平臺中的MySQL數(shù)據(jù)庫中。MySQL數(shù)據(jù)庫中具有兩個表，一個用于存放無線電環(huán)境信息的歷史數(shù)據(jù)，另一個用于實時存放無線電環(huán)境信息。Sqoop將數(shù)據(jù)同時導(dǎo)入到MySQL數(shù)據(jù)庫中，數(shù)據(jù)導(dǎo)入之前將觸發(fā)MySQL數(shù)據(jù)庫中用于存放無線電環(huán)境信息歷史數(shù)據(jù)表格中的觸發(fā)器，同時刪除實時存放無線電環(huán)境信息表格中的數(shù)據(jù)；

8)數(shù)據(jù)收集平臺中的Web服務(wù)器應(yīng)用Ajax技術(shù)對實時存放無線電環(huán)境信息表格進行探測，當表格中的數(shù)據(jù)有更新時則將數(shù)據(jù)實時動態(tài)的顯示在Web數(shù)據(jù)展示頁面中。

下面參照附圖4，具體說明基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)的數(shù)據(jù)上傳實現(xiàn)流程：

1)感知用戶開啟無線電環(huán)境信息數(shù)據(jù)采集終端APP；

2)數(shù)據(jù)采集終端APP首先判斷用戶移動智能終端中用于存放感知文件的文件夾中是否有感知文件。如果文件夾中沒有感知數(shù)據(jù)文件則調(diào)用數(shù)據(jù)采集程序進行無線電環(huán)境信息的采集并將采集的無線電環(huán)境信息寫入以采集時間命名的文件中；

3)如果用于存放感知文件的文件夾中有感知文件，數(shù)據(jù)采集終端將向tomcat服務(wù)器發(fā)送一個建立TCP/IP連接的請求。再經(jīng)歷的三次握手之后建立TCP/IP連接；

4)數(shù)據(jù)采集終端調(diào)用數(shù)據(jù)上傳程序中的post()方法將感知文件上傳至Web服務(wù)器中；

5)Web服務(wù)調(diào)用servlet中的get()方法接收數(shù)據(jù)采集終端所發(fā)送的感知文件。并判斷是否接收成功，如果沒有接收成功則反饋給數(shù)據(jù)采集終端進行感知文件的重新上傳；

6)如果上傳成功則將感知數(shù)據(jù)文件存放于Web服務(wù)器中的指定文件夾中，并退出應(yīng)用程序。

下面參照附圖5，具體說明基于移動群智感知的無線電環(huán)境地圖數(shù)據(jù)收集系統(tǒng)的數(shù)據(jù)處理及展示實現(xiàn)流程：

1)開啟Web服務(wù)器中的Flume對服務(wù)器中用于接收由數(shù)據(jù)采集終端所上傳的感知數(shù)據(jù)文件夾進行監(jiān)測，如果文件夾中有新的文件產(chǎn)生則將新的文件自動化的上傳至數(shù)據(jù)中心Hadoop集群中的HDFS中；

2)當Hadoop集群中HDFS有新的文件增加時，將新增加的文件進行融合并運行MapReduce程序?qū)DFS中的文件進行字段提取及處理；

3)MapReduce程序處理之后的數(shù)據(jù)存放于Hadoop集群中的HDFS中，Hadoop集群中的sqoop自動化的將HDFS中的數(shù)據(jù)上傳至Web服務(wù)器中的MySQL相對應(yīng)的表格中；

4)當sqoop向Web服務(wù)器中的MySQL數(shù)據(jù)庫相對應(yīng)的表格中插入數(shù)據(jù)時，將觸發(fā)數(shù)據(jù)庫中的觸發(fā)器，此時所編寫的Ajax函數(shù)將自動的將數(shù)據(jù)庫中的新增數(shù)據(jù)自動化的導(dǎo)入到數(shù)據(jù)展示頁面中。

以上這些實施例應(yīng)理解為僅用于說明本發(fā)明而不用于限制本發(fā)明的保護范圍。在閱讀了本發(fā)明的記載的內(nèi)容之后，技術(shù)人員可以對本發(fā)明作各種改動或修改，這些等效變化和修飾同樣落入本發(fā)明權(quán)利要求所限定的范圍。