一種面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入系統(tǒng)及方法
【專利摘要】本發(fā)明公開了一種面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入系統(tǒng)及方法，系統(tǒng)包括傳感器網(wǎng)絡(luò)、傳感器網(wǎng)絡(luò)服務(wù)器、流數(shù)據(jù)實時接入工具和NoSQL數(shù)據(jù)庫，高并發(fā)實時接入系統(tǒng)采用層次化系統(tǒng)結(jié)構(gòu)，通過傳感器網(wǎng)絡(luò)服務(wù)器抽象和統(tǒng)一傳感器網(wǎng)絡(luò)數(shù)據(jù)、封裝傳感器網(wǎng)絡(luò)數(shù)據(jù)并提供數(shù)據(jù)對外訪問接口，然后利用系統(tǒng)將傳感器網(wǎng)絡(luò)中的傳感器與時空地理對象相關(guān)聯(lián)，通過訪問接口獲取數(shù)據(jù)，并利用多線程并行地接入傳感器網(wǎng)絡(luò)數(shù)據(jù)，寫入NoSQL數(shù)據(jù)庫。本發(fā)明支持傳感器數(shù)據(jù)監(jiān)測結(jié)果的網(wǎng)絡(luò)實時發(fā)布；即使監(jiān)測數(shù)據(jù)量隨時間遞增，也能夠存儲和管理海量數(shù)據(jù)；能夠存儲多種多樣的、復(fù)雜的數(shù)據(jù)類型，而且便于數(shù)據(jù)類型的擴展；具有良好的數(shù)據(jù)備份保護功能，具有良好的數(shù)據(jù)保障功能。
【專利說明】一種面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入系統(tǒng)及方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于智慧城市地理信息服務(wù)【技術(shù)領(lǐng)域】，具體涉及一種面向海量傳感網(wǎng)數(shù)據(jù) 的高并發(fā)實時接入系統(tǒng)及方法。

【背景技術(shù)】
[0002] 隨著傳感網(wǎng)的興起，大量的傳感器依據(jù)特定的采樣及傳輸規(guī)則，不斷地向數(shù)據(jù)接 收端推送采集數(shù)據(jù)，從而形成海量的異構(gòu)數(shù)據(jù)流，這給傳統(tǒng)的數(shù)據(jù)傳輸、存儲和分析方式帶 來了新的挑戰(zhàn)。2001年，美國宇航局提出的傳感器網(wǎng)絡(luò)（Sensor Web)能實現(xiàn)觀測資源的可 管理、可共享和可配置。在傳感器廣泛使用的情況下，傳感網(wǎng)數(shù)據(jù)急速膨脹，傳統(tǒng)的數(shù)據(jù)傳 輸模式已無法滿足海量數(shù)據(jù)的傳輸需求；并且傳感器通常以秒的間隔采集數(shù)據(jù)，采樣時間 頻率高以及采樣數(shù)據(jù)產(chǎn)生頻繁。因此，針對傳感網(wǎng)數(shù)據(jù)高頻和海量的要求，亟需制定高效率 的傳感器數(shù)據(jù)實時接入以方案，以期在有限時間內(nèi)快速有效地傳輸傳感網(wǎng)數(shù)據(jù)。
[0003] 當前，傳感網(wǎng)數(shù)據(jù)的傳輸與接入還存在著諸多問題，主要體現(xiàn)在以下幾方面：
[0004] (1)傳感網(wǎng)數(shù)據(jù)多源、異構(gòu)，缺乏共享和互操作；
[0005] 同一個傳感網(wǎng)內(nèi)的傳感器數(shù)量眾多，并且各個傳感器的采集頻率不一致、采樣內(nèi) 容和數(shù)據(jù)結(jié)構(gòu)也各不相同。在同一個傳感網(wǎng)系統(tǒng)中，傳感器（如GPS傳感器、風(fēng)向傳感器、 溫度傳感器等）的采樣數(shù)據(jù)可以是數(shù)值型（如整型、浮點型、字符串類型），也可以是非數(shù)值 型的數(shù)據(jù)（如攝像頭視頻數(shù)據(jù)、音頻傳感器數(shù)據(jù)、圖像傳感器數(shù)據(jù)等）。當前傳感器監(jiān)測結(jié) 果類型多樣，同樣的結(jié)果以不同的方式表達，導(dǎo)致跨領(lǐng)域研究人員理解困難，數(shù)據(jù)間的共享 和互操作更難以實現(xiàn)；
[0006] (2)無法滿足傳感網(wǎng)數(shù)據(jù)接入高并發(fā)讀寫的需求；
[0007] 隨著傳感器大范圍使用，傳感器節(jié)點越多，產(chǎn)生的數(shù)據(jù)就越大。當傳感網(wǎng)中的傳感 器同時向數(shù)據(jù)接收端進行數(shù)據(jù)傳輸，同一時間內(nèi)會產(chǎn)生大量的并發(fā)數(shù)據(jù)傳輸請求，給傳感 網(wǎng)數(shù)據(jù)接收端造成極大的并發(fā)壓力。因此，數(shù)據(jù)傳輸?shù)牟l(fā)負載非常高，往往要達到每秒成 千上萬的讀寫請求；
[0008] (3)存儲傳感網(wǎng)數(shù)據(jù)的主流技術(shù)仍然是使用關(guān)系數(shù)據(jù)庫，但是關(guān)系數(shù)據(jù)庫存在著 諸如所支持數(shù)據(jù)類型不夠豐富，范式化設(shè)計查詢效率低下、系統(tǒng)數(shù)據(jù)增大到一定階段之后 很難擴展等弊端。例如，以廈門市3個月的出租車GPS數(shù)據(jù)為例，一個月就達到了一億條左 右的GPS數(shù)據(jù)。對于關(guān)系型數(shù)據(jù)庫來說，在一張上億條記錄的表里面進行SQL語句查詢，效 率是極其低下的。又例如，關(guān)系型數(shù)據(jù)庫通常部署在一臺服務(wù)器上，通過增加處理器、內(nèi)存 和硬盤來升級。部署在多臺服務(wù)器上的關(guān)系型數(shù)據(jù)庫通過是依賴互相復(fù)制來保持數(shù)據(jù)同 步。數(shù)據(jù)庫沒有辦法簡單的通過添加更多的硬件和服務(wù)結(jié)點來擴展性能和負載能力，對數(shù) 據(jù)庫系統(tǒng)的升級和擴展往往需要停機維護。


【發(fā)明內(nèi)容】

[0009] 針對現(xiàn)有技術(shù)存在的不足，本發(fā)明將傳感器網(wǎng)絡(luò)服務(wù)、多線程技術(shù)和NoSQL數(shù)據(jù) 庫技術(shù)融合，提出了一種利用傳感器服務(wù)進行數(shù)據(jù)抽象和預(yù)處理、多線程技術(shù)實時接入傳 感網(wǎng)數(shù)據(jù)、以及基于NoSQL數(shù)據(jù)庫存儲海量傳感網(wǎng)數(shù)據(jù)的系統(tǒng)及方法，從而實現(xiàn)傳感網(wǎng)數(shù) 據(jù)的傳輸、實時接入與存儲。
[0010] 本發(fā)明的系統(tǒng)所采用的技術(shù)方案是：一種面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入 系統(tǒng)，其特征在于：包括傳感器網(wǎng)絡(luò)、傳感器網(wǎng)絡(luò)服務(wù)器、流數(shù)據(jù)實時接入工具和NoSQL數(shù) 據(jù)庫，所述的高并發(fā)實時接入系統(tǒng)采用層次化系統(tǒng)結(jié)構(gòu)，通過所述的傳感器網(wǎng)絡(luò)服務(wù)器抽 象和統(tǒng)一所述的傳感器網(wǎng)絡(luò)數(shù)據(jù)、封裝所述的傳感器網(wǎng)絡(luò)數(shù)據(jù)并提供數(shù)據(jù)對外訪問接口， 然后利用所述的高并發(fā)實時接入系統(tǒng)將所述的傳感器網(wǎng)絡(luò)中的傳感器與時空地理對象相 關(guān)聯(lián)，通過訪問接口獲取數(shù)據(jù)，并利用多線程并行地接入所述的傳感器網(wǎng)絡(luò)數(shù)據(jù)，寫入所述 的NoSQL數(shù)據(jù)庫。
[0011] 作為優(yōu)選，所述的傳感器網(wǎng)絡(luò)服務(wù)器用于提供傳感器網(wǎng)絡(luò)服務(wù)，所述的傳感器網(wǎng) 絡(luò)服務(wù)是以標準方式實現(xiàn)所述的傳感器網(wǎng)絡(luò)資源的發(fā)現(xiàn)、訪問、任務(wù)定制、事件發(fā)布和預(yù) 警。
[0012] 作為優(yōu)選，所述的流數(shù)據(jù)實時接入工具包括接入項管理模塊、用戶插件管理模塊、 靜態(tài)數(shù)據(jù)入庫模塊和多線程處理模塊；所述的接入項管理模塊用于管理高并發(fā)實時接入系 統(tǒng)的數(shù)據(jù)接入，包括連接傳感網(wǎng)絡(luò)服務(wù)器、新建接入項輸入設(shè)置、地理對象操作、輸出設(shè)置、 啟動接入項的一系列操作；所述的用戶插件管理模塊用于插件的管理，能夠加載用戶自定 義的算法動態(tài)庫，用于傳感器網(wǎng)絡(luò)數(shù)據(jù)的處理；所述的靜態(tài)數(shù)據(jù)入庫模塊用于將諸如矢量、 柵格、模型類靜態(tài)數(shù)據(jù)，以及離線動態(tài)數(shù)據(jù)批量導(dǎo)入所述的NoSQL數(shù)據(jù)庫；所述的多線程處 理模塊用于解決傳感器網(wǎng)絡(luò)高并發(fā)傳輸問題，通過并行分組接入的策略來執(zhí)行傳輸傳感器 網(wǎng)絡(luò)數(shù)據(jù)的任務(wù)，從而提1?所述的1?并發(fā)實時接入系統(tǒng)的吞吐量、提1?所述的1?并發(fā)實時 接入系統(tǒng)資源有效利用率、改善用戶任務(wù)之間的通信效率。
[0013] 本發(fā)明的方法所采用的技術(shù)方案是：一種面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入 方法，其特征在于，包括以下步驟：
[0014] 步驟1 :部署所述的傳感器網(wǎng)絡(luò)，在觀測區(qū)域部署傳感器節(jié)點，通過傳感器節(jié)點采 集接收獲取原始采樣數(shù)據(jù)；
[0015] 步驟2 :部署基于面向傳感器管理及傳感網(wǎng)數(shù)據(jù)預(yù)處理的傳感器網(wǎng)絡(luò)服務(wù)器進行 傳感器網(wǎng)絡(luò)服務(wù)；所述的傳感器網(wǎng)絡(luò)服務(wù)主要包括：傳感網(wǎng)觀測服務(wù)（Sensor Observation Service，SOS)以及簡單傳感器消息通知服務(wù)（Simple Sensor Notification Service, SSNS);所述的SOS由SOS服務(wù)器實現(xiàn)，所述的SSNS由SSNS服務(wù)器實現(xiàn)；所述的SOS對接各 類傳感器信息進行統(tǒng)一描述和數(shù)據(jù)編碼，所述的流數(shù)據(jù)實時接入工具將S0S的監(jiān)測數(shù)據(jù)接 收，并將其寫入所述的數(shù)據(jù)庫進行存儲及管理；所述的S0S用于傳感器信息及其觀測原始 數(shù)據(jù)插入和用戶查詢得到傳感器觀測數(shù)據(jù)；所述的SSNS負責(zé)向訂閱用戶發(fā)出傳感器事件 的通知、接收傳感器狀態(tài)變更信息和按用戶訂閱要求發(fā)送傳感器狀態(tài)變化通知；
[0016] 步驟3 :通過所述的流數(shù)據(jù)實時接入工具（Stream Data Ingestion Tool, SDIT) 實時接入SOS發(fā)布的傳感器觀測數(shù)據(jù)并寫入所述的NoSQL數(shù)據(jù)庫，并根據(jù)用戶的需求對數(shù) 據(jù)接收行為進行創(chuàng)建、暫停、停止操作。
[0017] 作為優(yōu)選，步驟1中所述的原始采樣數(shù)據(jù)是諸如GPS傳感器數(shù)據(jù)或溫度傳感器數(shù) 據(jù)的數(shù)值型數(shù)據(jù)，或是諸如視頻傳感器的非數(shù)值型數(shù)據(jù)。
[0018] 作為優(yōu)選，步驟2中所述的SSNS用于接收傳感器狀態(tài)變更信息，所述的變更信息 包括注冊信息、啟動觀測信息、暫停觀測信息、觀測頻率變化信息、注銷信息。
[0019] 作為優(yōu)選，步驟3中所述的通過所述的SDIT實時接入S0S發(fā)布的傳感器觀測數(shù) 據(jù)并寫入所述的NoSQL數(shù)據(jù)庫，其具體實現(xiàn)過程為所述的SDIT先向所述的SSNS服務(wù)器發(fā) 送訂閱所有傳感器注冊消息的請求，返回注冊成功的信息，再向所述的SSNS服務(wù)器發(fā)送請 求，獲取傳感器列表，然后訂閱所有的傳感器，選擇接入的傳感器，之后向傳感器網(wǎng)絡(luò)服務(wù) 以固定的時間間隔發(fā)送獲取觀測的請求，得到返回觀測值，這樣不停地循環(huán)，然后獲取數(shù)據(jù) 后往所述的NoSQL數(shù)據(jù)庫寫入數(shù)據(jù)。
[0020] 與現(xiàn)有技術(shù)相比，本發(fā)明具有以下優(yōu)點和積極效果：
[0021] (1)支持傳感器數(shù)據(jù)監(jiān)測結(jié)果的網(wǎng)絡(luò)實時發(fā)布；
[0022] 目前，傳感器數(shù)據(jù)存在監(jiān)測孤立，各自為政，造成了大量的重復(fù)工作和人力、物力 和財力的浪費的問題，本發(fā)明可實現(xiàn)傳感器數(shù)據(jù)監(jiān)測結(jié)果的網(wǎng)絡(luò)實時發(fā)布。本發(fā)明采用一 種標準和互操作的方式進行傳感器數(shù)據(jù)結(jié)果的實時發(fā)布和共享，避免了同一詞匯不同形式 表達上的歧義，方便了不同部門間信息的共享，減少了不必要的重復(fù)勞動，同時也節(jié)省了大 量資源和能耗；
[0023] (2)即使監(jiān)測數(shù)據(jù)量隨時間遞增，也能夠存儲和管理海量數(shù)據(jù)；
[0024] (3)能夠存儲多種多樣的、復(fù)雜的數(shù)據(jù)類型，而且便于數(shù)據(jù)類型的擴展；
[0025] (4)具有良好的數(shù)據(jù)備份保護功能，具有良好的數(shù)據(jù)保障功能。

【專利附圖】

【附圖說明】
[0026] 附圖1 :是本發(fā)明實施例的流數(shù)據(jù)實時接入工具的框架結(jié)構(gòu)圖。
[0027] 附圖2 :是本發(fā)明實施例的數(shù)據(jù)走向流程圖。
[0028] 附圖3 :是本發(fā)明實施例的系統(tǒng)框架結(jié)構(gòu)圖。
[0029] 附圖4 :是本發(fā)明實施例的流數(shù)據(jù)實時接入工具的數(shù)據(jù)結(jié)構(gòu)圖。
[0030] 附圖5 :是本發(fā)明在王家?guī)X煤礦的實施框架圖。

【具體實施方式】
[0031] 為了便于本領(lǐng)域普通技術(shù)人員理解和實施本發(fā)明，下面結(jié)合附圖及實施例對本發(fā) 明作進一步的詳細描述，應(yīng)當理解，此處所描述的實施示例僅用于說明和解釋本發(fā)明，并不 用于限定本發(fā)明。
[0032] 請見圖1、圖2和圖3,本發(fā)明的系統(tǒng)所采用的技術(shù)方案是：一種面向海量傳感網(wǎng)數(shù) 據(jù)的高并發(fā)實時接入系統(tǒng)，包括傳感器網(wǎng)絡(luò)（以下簡稱為傳感網(wǎng)）、傳感器網(wǎng)絡(luò)服務(wù)器、流 數(shù)據(jù)實時接入工具和NoSQL數(shù)據(jù)庫；傳感器網(wǎng)絡(luò)服務(wù)器用于提供傳感器網(wǎng)絡(luò)服務(wù)，傳感器 網(wǎng)絡(luò)服務(wù)是以標準方式實現(xiàn)傳感器網(wǎng)絡(luò)資源的發(fā)現(xiàn)、訪問、任務(wù)定制、事件發(fā)布和預(yù)警；流 數(shù)據(jù)實時接入工具包括接入項管理模塊、用戶插件管理模塊、靜態(tài)數(shù)據(jù)入庫模塊和多線程 處理模塊；接入項管理模塊用于管理高并發(fā)實時接入系統(tǒng)的數(shù)據(jù)接入，包括連接傳感網(wǎng)絡(luò) 服務(wù)器、新建接入項輸入設(shè)置、地理對象操作、輸出設(shè)置、啟動接入項的一系列操作；用戶插 件管理模塊用于插件的管理，能夠加載用戶自定義的算法動態(tài)庫，用于傳感器網(wǎng)絡(luò)數(shù)據(jù)的 處理；靜態(tài)數(shù)據(jù)入庫模塊用于將諸如矢量、柵格、模型類靜態(tài)數(shù)據(jù)，以及離線動態(tài)數(shù)據(jù)批量 導(dǎo)入NoSQL數(shù)據(jù)庫；多線程處理模塊用于解決傳感器網(wǎng)絡(luò)高并發(fā)傳輸問題，通過并行分組 接入的策略來執(zhí)行傳輸傳感器網(wǎng)絡(luò)數(shù)據(jù)的任務(wù)，從而提高高并發(fā)實時接入系統(tǒng)的吞吐量、 提高高并發(fā)實時接入系統(tǒng)資源有效利用率、改善用戶任務(wù)之間的通信效率；高并發(fā)實時接 入系統(tǒng)采用層次化系統(tǒng)結(jié)構(gòu)，通過傳感器網(wǎng)絡(luò)服務(wù)器抽象和統(tǒng)一傳感器網(wǎng)絡(luò)數(shù)據(jù)、封裝傳 感器網(wǎng)絡(luò)數(shù)據(jù)并提供數(shù)據(jù)對外訪問接口，然后利用高并發(fā)實時接入系統(tǒng)將傳感器網(wǎng)絡(luò)中的 傳感器與時空地理對象相關(guān)聯(lián)，通過訪問接口獲取數(shù)據(jù)，并利用多線程并行地接入傳感器 網(wǎng)絡(luò)數(shù)據(jù)，寫入NoSQL數(shù)據(jù)庫。
[0033] 本實施例采用傳感器網(wǎng)絡(luò)服務(wù)抽象和統(tǒng)一異構(gòu)傳感網(wǎng)數(shù)據(jù)；傳感器網(wǎng)絡(luò)服務(wù)以 一種標準的方式實現(xiàn)了傳感器資源（包括傳感器資源和傳感器系統(tǒng)資源）的發(fā)現(xiàn)、訪問、 任務(wù)定制、事件發(fā)布和預(yù)警，是傳感器資源互操作使用的基礎(chǔ)設(shè)施，也可以作為一種從傳 感器中實時采集觀測數(shù)據(jù)的方式。自2003年以來，經(jīng)過傳感器Web整合框架（Sensor Web Enablement, SWE)項目組的一系列努力，開放地理信息聯(lián)盟（Open Geospatial Consortium，0GC)已經(jīng)開發(fā)了包括傳感器建模語言（Sensor Makeup Language，SensorML)、 觀測與測量（Observation &Measure，0&M)2. 0、傳感網(wǎng)通用數(shù)據(jù)模型（SWE Common) 2· 0在內(nèi) 的三個信息模型，以及包含傳感器規(guī)劃服務(wù)（Sensor Planning Service, SPS)、傳感器觀測 服務(wù)（Sensor Observation Service，SOS)、傳感器預(yù)警服務(wù)（Sensor Alert Service，SAS) 以及網(wǎng)絡(luò)通知服務(wù)（Web Notification Service，WNS)在內(nèi)的四個服務(wù)規(guī)范。上述信息模型 與服務(wù)規(guī)范的結(jié)合，使得網(wǎng)絡(luò)環(huán)境下傳感器數(shù)據(jù)共享成為可能。
[0034] 請見圖4,是本發(fā)明實施例的流數(shù)據(jù)實時接入工具的數(shù)據(jù)結(jié)構(gòu)圖。本實施例利用多 線程技術(shù)設(shè)計的傳感網(wǎng)流數(shù)據(jù)實時接入工具傳輸傳感網(wǎng)數(shù)據(jù)；流數(shù)據(jù)實時接入工具是自主 編寫的、利用多線程技術(shù)的傳感網(wǎng)數(shù)據(jù)傳輸工具。本系統(tǒng)利用多線程解決傳感網(wǎng)高并發(fā)傳 輸問題，通過并行分組接入的策略來執(zhí)行傳輸傳感網(wǎng)數(shù)據(jù)的任務(wù)，從而提高系統(tǒng)的吞吐量、 提高系統(tǒng)資源有效利用率、改善用戶任務(wù)之間的通信效率等。
[0035] 在流數(shù)據(jù)實時接入工具中，傳感器采樣數(shù)據(jù)是以"接入對象（Injection Object) " 為單位進行組織的，而不是以傳感器為單位，接入對象將傳感器及其所觀測的時空地理對 象（Space and Time Geographical 0b ject，STGObject)綁定關(guān)聯(lián)，一個接入對象即為一個 輸入一處理一輸出（Input-Process-Output，ΙΡ0)過程，其中輸入項為傳感器原始數(shù)據(jù)，主 要的處理過程為算法庫中的算法，輸出數(shù)據(jù)可以為經(jīng)用戶選擇算法進行處理過的數(shù)據(jù)和不 進行處理的數(shù)據(jù)，最終數(shù)據(jù)輸出到數(shù)據(jù)庫中。
[0036] 一個接入對象與傳感器、時空地理對象形成--對應(yīng)的映射關(guān)系,接入對象將傳 感器與其所觀察的時空地理對象綁定關(guān)聯(lián)，將傳感器所監(jiān)測的時空地理對象的觀測數(shù)據(jù)接 收，并將其寫進數(shù)據(jù)庫中。同一個時空地理對象的所有傳感器采樣值按照時間序列組織在 一起，形成該時空地理對象的"采樣數(shù)據(jù)序列"，并作為一個屬性存放在該監(jiān)控對象的元組 記錄中。
[0037] 將同一傳感網(wǎng)中的同種類型傳感器歸并為一組，每一組對應(yīng)一個接入對象集合 (Injection Object Collection),規(guī)定同一個接入對象集合存放著集合中各接入對象的 共同屬性。例如屬于同一接入對象集合的存放著相同的S0S地址和數(shù)據(jù)庫連接屬性，接入 對象集合負責(zé)執(zhí)行組內(nèi)接入對象的相同工作任務(wù)，例如從同一 S0S服務(wù)地址獲取傳感器采 樣數(shù)據(jù)。接入對象集合與接入對象形成了 1對η的映射關(guān)系。
[0038] 本實施例SQL數(shù)據(jù)庫存儲傳感網(wǎng)數(shù)據(jù)；采用NoSQL數(shù)據(jù)庫為傳感網(wǎng)數(shù)據(jù)的存儲提 供了解決方案，流數(shù)據(jù)實時接入工具最終將數(shù)據(jù)輸出到NoSQL中存儲。NoSQL數(shù)據(jù)庫可以存 儲比較復(fù)雜的數(shù)據(jù)類型，能很好地支持海量數(shù)據(jù)存儲，采用NoSQL數(shù)據(jù)庫進行分布式存儲 突破了現(xiàn)有關(guān)系型數(shù)據(jù)存儲的限制，極大的提高了存儲空間和存儲效率，為未來傳感網(wǎng)數(shù) 據(jù)存儲提供了發(fā)展方向。
[0039] 本實施例的傳感網(wǎng)數(shù)據(jù)服務(wù)實時共享服務(wù)的構(gòu)建具體如下表1 ;
[0040] 表1傳感網(wǎng)數(shù)據(jù)服務(wù)實時共享服務(wù)的構(gòu)建
[0041]
[0042]
[0043]
[0044]

【權(quán)利要求】
1. 一種面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入系統(tǒng)，其特征在于：包括傳感器網(wǎng)絡(luò)、 傳感器網(wǎng)絡(luò)服務(wù)器、流數(shù)據(jù)實時接入工具和NoSQL數(shù)據(jù)庫，所述的高并發(fā)實時接入系統(tǒng)采 用層次化系統(tǒng)結(jié)構(gòu)，通過所述的傳感器網(wǎng)絡(luò)服務(wù)器抽象和統(tǒng)一所述的傳感器網(wǎng)絡(luò)數(shù)據(jù)、封 裝所述的傳感器網(wǎng)絡(luò)數(shù)據(jù)并提供數(shù)據(jù)對外訪問接口，然后利用所述的高并發(fā)實時接入系統(tǒng) 將所述的傳感器網(wǎng)絡(luò)中的傳感器與時空地理對象相關(guān)聯(lián)，通過訪問接口獲取數(shù)據(jù)，并利用 多線程并行地接入所述的傳感器網(wǎng)絡(luò)數(shù)據(jù)，寫入所述的NoSQL數(shù)據(jù)庫。
2. 根據(jù)權(quán)利要求1所述的面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入系統(tǒng)，其特征在于： 所述的傳感器網(wǎng)絡(luò)服務(wù)器用于提供傳感器網(wǎng)絡(luò)服務(wù)，所述的傳感器網(wǎng)絡(luò)服務(wù)是以標準方式 實現(xiàn)所述的傳感器網(wǎng)絡(luò)資源的發(fā)現(xiàn)、訪問、任務(wù)定制、事件發(fā)布和預(yù)警。
3. 根據(jù)權(quán)利要求1所述的面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入系統(tǒng)，其特征在于： 所述的流數(shù)據(jù)實時接入工具包括接入項管理模塊、用戶插件管理模塊、靜態(tài)數(shù)據(jù)入庫模塊 和多線程處理模塊； 所述的接入項管理模塊用于管理高并發(fā)實時接入系統(tǒng)的數(shù)據(jù)接入，包括連接傳感網(wǎng)絡(luò) 服務(wù)器、新建接入項輸入設(shè)置、地理對象操作、輸出設(shè)置、啟動接入項的一系列操作； 所述的用戶插件管理模塊用于插件的管理，能夠加載用戶自定義的算法動態(tài)庫，用于 傳感器網(wǎng)絡(luò)數(shù)據(jù)的處理； 所述的靜態(tài)數(shù)據(jù)入庫模塊用于將諸如矢量、柵格、模型類靜態(tài)數(shù)據(jù)，以及離線動態(tài)數(shù)據(jù) 批量導(dǎo)入所述的NoSQL數(shù)據(jù)庫； 所述的多線程處理模塊用于解決傳感器網(wǎng)絡(luò)高并發(fā)傳輸問題，通過并行分組接入的策 略來執(zhí)行傳輸傳感器網(wǎng)絡(luò)數(shù)據(jù)的任務(wù)，從而提高所述的高并發(fā)實時接入系統(tǒng)的吞吐量、提 高所述的高并發(fā)實時接入系統(tǒng)資源有效利用率、改善用戶任務(wù)之間的通信效率。
4. 一種利用權(quán)利要求1所述的面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入系統(tǒng)面向海量 傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入方法，其特征在于，包括以下步驟： 步驟1 :部署所述的傳感器網(wǎng)絡(luò)，在觀測區(qū)域部署傳感器節(jié)點，通過傳感器節(jié)點采集接 收獲取原始采樣數(shù)據(jù)； 步驟2 :部署基于面向傳感器管理及傳感網(wǎng)數(shù)據(jù)預(yù)處理的傳感器網(wǎng)絡(luò)服務(wù)器進行傳 感器網(wǎng)絡(luò)服務(wù)；所述的傳感器網(wǎng)絡(luò)服務(wù)主要包括：傳感網(wǎng)觀測服務(wù)（Sensor Observation Service，SOS)以及簡單傳感器消息通知服務(wù)（Simple Sensor Notification Service, SSNS);所述的SOS由SOS服務(wù)器實現(xiàn)，所述的SSNS由SSNS服務(wù)器實現(xiàn)；所述的SOS對接各 類傳感器信息進行統(tǒng)一描述和數(shù)據(jù)編碼，所述的流數(shù)據(jù)實時接入工具將SOS的監(jiān)測數(shù)據(jù)接 收，并將其寫入所述的數(shù)據(jù)庫進行存儲及管理；所述的SOS用于傳感器信息及其觀測原始 數(shù)據(jù)插入和用戶查詢得到傳感器觀測數(shù)據(jù)；所述的SSNS負責(zé)向訂閱用戶發(fā)出傳感器事件 的通知、接收傳感器狀態(tài)變更信息和按用戶訂閱要求發(fā)送傳感器狀態(tài)變化通知； 步驟3:通過所述的流數(shù)據(jù)實時接入工具（Stream Data Ingestion Tool, SDIT)實時 接入SOS發(fā)布的傳感器觀測數(shù)據(jù)并寫入所述的NoSQL數(shù)據(jù)庫，并根據(jù)用戶的需求對數(shù)據(jù)接 收行為進行創(chuàng)建、暫停、停止操作。
5. 根據(jù)權(quán)利要求4所述的面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入方法，其特征在于： 步驟1中所述的原始采樣數(shù)據(jù)是諸如GPS傳感器數(shù)據(jù)或溫度傳感器數(shù)據(jù)的數(shù)值型數(shù)據(jù)，或 是諸如視頻傳感器的非數(shù)值型數(shù)據(jù)。
6. 根據(jù)權(quán)利要求4所述的面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入方法，其特征在于： 步驟2中所述的SSNS用于接收傳感器狀態(tài)變更信息，所述的變更信息包括注冊信息、啟動 觀測信息、暫停觀測信息、觀測頻率變化信息、注銷信息。
7. 根據(jù)權(quán)利要求3所述的面向海量傳感網(wǎng)數(shù)據(jù)的高并發(fā)實時接入方法，其特征在于： 步驟4中所述的通過所述的SDIT實時接入SOS發(fā)布的傳感器觀測數(shù)據(jù)并寫入所述的NoSQL 數(shù)據(jù)庫，其具體實現(xiàn)過程為所述的SDIT先向所述的SSNS服務(wù)器發(fā)送訂閱所有傳感器注冊 消息的請求，返回注冊成功的信息，再向所述的SSNS服務(wù)器發(fā)送請求，獲取傳感器列表，然 后訂閱所有的傳感器，選擇接入的傳感器，之后向傳感器網(wǎng)絡(luò)服務(wù)以固定的時間間隔發(fā)送 獲取觀測的請求，得到返回觀測值，這樣不停地循環(huán)，然后獲取數(shù)據(jù)后往所述的NoSQL數(shù)據(jù) 庫寫入數(shù)據(jù)。
【文檔編號】G06F9/46GK104123388SQ201410386606
【公開日】2014年10月29日 申請日期:2014年8月7日 優(yōu)先權(quán)日:2014年8月7日
【發(fā)明者】關(guān)雪峰, 李歡, 余耀津, 修明軍, 樊紅, 吳華意 申請人:武漢大學(xué)