專利名稱：：一種物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法
技術(shù)領域：
：本發(fā)明涉及物聯(lián)網(wǎng)中的數(shù)據(jù)存儲和查詢的方法，具體涉及一種物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法及系統(tǒng)。
背景技術(shù)：
：物聯(lián)網(wǎng)(InternetofThings)的提出發(fā)展了原有的傳感網(wǎng)、RFID等技術(shù)。原有的傳感器網(wǎng)絡作為物聯(lián)網(wǎng)的組成部分被包含進來。物聯(lián)網(wǎng)發(fā)展的一個重要目標是打破原來傳感器網(wǎng)絡的垂直應用方式，即不同的應用需要建設自己的傳感器網(wǎng)絡設施，應用之間不能共享資源，這種方式造成了極大的網(wǎng)絡資源浪費。人們設想物聯(lián)網(wǎng)是一個巨大的信息生產(chǎn)工場，物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)將應用到各行各業(yè)。物聯(lián)網(wǎng)需要建立共性的管理平臺，使得不同的上層應用能夠共享下層的傳感器網(wǎng)絡及其產(chǎn)生的數(shù)據(jù)?，F(xiàn)存的網(wǎng)絡應用以互聯(lián)網(wǎng)應用為主，互聯(lián)網(wǎng)是現(xiàn)存的最大的網(wǎng)絡，各種應用在互聯(lián)網(wǎng)中展開。要使得傳感器網(wǎng)絡能夠更好的為各種應用服務，就要使傳感器網(wǎng)絡接入互聯(lián)網(wǎng)，傳感器網(wǎng)絡的數(shù)據(jù)能夠為在互聯(lián)網(wǎng)上開展的應用所訪問、共享。物聯(lián)網(wǎng)要實現(xiàn)對物理世界的信息的收集、存儲和查詢。在現(xiàn)有的傳感器網(wǎng)絡中，傳感器采集到數(shù)據(jù)后，對數(shù)據(jù)的存儲主要包括三種方法本地存儲、以數(shù)據(jù)為中心的存儲和網(wǎng)外存儲。其中，本發(fā)明基于網(wǎng)外存儲?，F(xiàn)有技術(shù)的網(wǎng)外存儲是指傳感器將產(chǎn)生的數(shù)據(jù)發(fā)送到sink節(jié)點，該sink節(jié)點是一個物聯(lián)網(wǎng)接入網(wǎng)關(guān)節(jié)點,將數(shù)據(jù)存儲在網(wǎng)絡外部。對于頻繁訪問的數(shù)據(jù)外部存儲的方式很適用?；谝陨戏治霈F(xiàn)有技術(shù)對無線傳感器網(wǎng)絡的外部存儲研究，僅僅停留在傳感器將采集到的數(shù)據(jù)發(fā)送給sink節(jié)點，也就是網(wǎng)關(guān)節(jié)點，而有關(guān)這些采集的數(shù)據(jù)如何在現(xiàn)有的外部網(wǎng)絡中進行高效存儲的問題并未涉及。這是在傳感器網(wǎng)絡發(fā)展初期，傳感器網(wǎng)絡用于滿足不同的應用它們彼此之間沒有聯(lián)網(wǎng)的必要，而在單個傳感器網(wǎng)絡中數(shù)據(jù)量相對是比較小的，但是進入物聯(lián)網(wǎng)階段后，很多的傳感器網(wǎng)絡都需要通過互聯(lián)網(wǎng)進行互聯(lián)，在這種情況下眾多的傳感器網(wǎng)絡所產(chǎn)生的數(shù)據(jù)將是海量的。因此目前迫切需要提供一種能在互聯(lián)網(wǎng)網(wǎng)絡中存儲傳感器網(wǎng)絡生成的大量數(shù)據(jù)的問題，其中DHT(distributedhashtable,分布式哈希表)是現(xiàn)有的互聯(lián)網(wǎng)上的一種分布式的數(shù)據(jù)存儲方法，適合海量數(shù)據(jù)的分布式存儲和查詢，但是如何將其應用于現(xiàn)有的物聯(lián)網(wǎng)中進行數(shù)據(jù)存儲并未見過任何相關(guān)記載。同時現(xiàn)有的DHT系統(tǒng)對存儲的數(shù)據(jù)不做時效性的區(qū)分，而物聯(lián)網(wǎng)中所產(chǎn)生的數(shù)據(jù)是應用相關(guān)的，不同的數(shù)據(jù)具有不同的時效性?，F(xiàn)有技術(shù)有關(guān)典型的物聯(lián)網(wǎng)網(wǎng)絡分層結(jié)構(gòu)如圖I所示，共分五層，從下往上依次為感知層、接入層、網(wǎng)絡層、支撐層、應用層。感知層有各種底層設備和網(wǎng)絡，包括傳感器網(wǎng)絡、RFID、執(zhí)行器等。在感知層，傳感器通過傳感網(wǎng)協(xié)議組成網(wǎng)絡，收集物理世界的信息。感知層的各種設備和網(wǎng)絡通過多種接入技術(shù)接入互聯(lián)網(wǎng)，所使用的接入方式包括3G/4G、Mesh網(wǎng)絡、WiFi、有線或者衛(wèi)星等。網(wǎng)絡層為互聯(lián)網(wǎng)，網(wǎng)絡層的功能包括信息的遠距離傳輸，跨區(qū)域信息的承載和共享。支撐層又稱中間介，或者業(yè)務層，該層主要完成三部分功能對下需要對網(wǎng)絡資源進行認知，對網(wǎng)絡資源進行優(yōu)化；完成信息的共享存儲、表達與處理，最終達到信息共享的目的；對上提供業(yè)務接口與支撐，方便上層業(yè)務的開發(fā)。應用層上是基于業(yè)務支撐層提供的業(yè)務能力所開發(fā)的各種應用，像智能建筑、智能交通、智能家居、環(huán)境監(jiān)測、遠程醫(yī)療、農(nóng)產(chǎn)品溯源等。
發(fā)明內(nèi)容本發(fā)明的目的在于，為克服在物聯(lián)網(wǎng)包含的感知層產(chǎn)生數(shù)據(jù)如何在支撐層高效存儲的問題以便物聯(lián)網(wǎng)的上層的各種應用需要對傳感器產(chǎn)生的數(shù)據(jù)能夠方便的共享，同時為克服現(xiàn)有技術(shù)的分布式存儲網(wǎng)絡本身在存儲物聯(lián)網(wǎng)感知層產(chǎn)生的數(shù)據(jù)的時存在的技術(shù)缺陷問題，本發(fā)明提供一種物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法及系統(tǒng)。為實現(xiàn)上述發(fā)明目的，本發(fā)明提供一種物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法，該方法用于將物聯(lián)網(wǎng)下層若干個底層感知網(wǎng)絡采集的數(shù)據(jù)在上層的若干區(qū)域服務器之間實現(xiàn)分布式存儲，包含數(shù)據(jù)存儲的步驟，所述底層網(wǎng)絡采集的數(shù)據(jù)在底層網(wǎng)絡內(nèi)部以其內(nèi)部的協(xié)議進行傳輸，傳輸?shù)浇尤刖W(wǎng)關(guān)，經(jīng)由接入網(wǎng)關(guān)接入部署在互聯(lián)網(wǎng)上的區(qū)域服務器，所述采集的數(shù)據(jù)在區(qū)域服務器組成的網(wǎng)絡中進行存儲；數(shù)據(jù)查詢和讀取的步驟，上層應用需要底層網(wǎng)絡采集的數(shù)據(jù)時，通過任意一個區(qū)域服務器查詢數(shù)據(jù)名所映射的存儲節(jié)點的IP，從該IP的節(jié)點上獲得所需的傳感器數(shù)據(jù)；其中，所述區(qū)域服務器采用分布式組網(wǎng)，且所述的區(qū)域服務器將所述采集數(shù)據(jù)分為實時數(shù)據(jù)和非實時數(shù)據(jù)在所述區(qū)域服務器上進行存儲；對每一次存儲按功能將區(qū)域服務器劃分為接入?yún)^(qū)域服務器和存儲區(qū)域服務器，所述接入?yún)^(qū)域服務器為通過網(wǎng)關(guān)接受底層待存儲數(shù)據(jù)的區(qū)域服務器，所述存儲區(qū)域服務器為確定的存儲節(jié)點。上述技術(shù)方案中，所述分布式組網(wǎng)采用分布式哈希表進行組網(wǎng)，所述底層網(wǎng)絡為無線傳感器網(wǎng)絡。所述數(shù)據(jù)存儲步驟為步驟101，底層的感知網(wǎng)絡采集到數(shù)據(jù)后，傳輸?shù)浇尤刖W(wǎng)關(guān)，經(jīng)由網(wǎng)關(guān)發(fā)往區(qū)域服務器，由區(qū)域服務器中的網(wǎng)關(guān)數(shù)據(jù)接口接收網(wǎng)關(guān)發(fā)來的傳感器數(shù)據(jù)；步驟102，所述接入?yún)^(qū)域服務器確定存儲區(qū)域服務器，并將待存儲數(shù)據(jù)發(fā)往確定的存儲區(qū)域服務器；步驟103，存儲區(qū)域服務器存儲接入服務器發(fā)來的數(shù)據(jù)。所述步驟102的確定存儲節(jié)點步驟為接入?yún)^(qū)域服務器查詢是否有該數(shù)據(jù)名的映射信息的有效緩存，如果有則將采集的數(shù)據(jù)發(fā)往存儲節(jié)點進行存儲；如果沒有該數(shù)據(jù)名的映射信息的有效緩存則進入下一步驟；所述接入?yún)^(qū)域服務器采用其包含的分布式哈希表組網(wǎng)模塊查詢數(shù)據(jù)名映射到的存儲節(jié)點，將采集的數(shù)據(jù)存儲到查詢得到的存儲節(jié)點上。其中，所述數(shù)據(jù)名可以是傳感器的ID屬性，傳感器檢測的事件名屬性。作為本發(fā)明的一個改進，所述步驟102之前還包含接入?yún)^(qū)域服務器對待存儲采集數(shù)據(jù)進行時效性標志的步驟。所述步驟103的具體步驟為存儲在本節(jié)點的數(shù)據(jù)進行時效性檢查，如果這些采集的數(shù)據(jù)為非實時數(shù)據(jù)則直接在該存儲區(qū)域服務器上進行存儲；如果采集數(shù)據(jù)為實時數(shù)據(jù)，檢測這些待存儲的實時數(shù)據(jù)時效性是否過期，如果時效性過期不對這些數(shù)據(jù)進行存儲；如果沒有過期在該區(qū)域服務器上存儲。基于上述方式，本發(fā)明還提供一種物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的系統(tǒng)，該系統(tǒng)基于物聯(lián)網(wǎng)，其特征在于，所述系統(tǒng)還包含若干區(qū)域服務器，該區(qū)域服務器與物聯(lián)網(wǎng)上層應用相連同時與物聯(lián)網(wǎng)包含的接入網(wǎng)絡相連，用于接收并存儲物聯(lián)網(wǎng)底層網(wǎng)絡采集的數(shù)據(jù)；其中，所述若干區(qū)域服務器采用分布式哈希表組網(wǎng)。上述技術(shù)方案所述的系統(tǒng)中所述底層網(wǎng)絡為傳感器網(wǎng)絡；所述區(qū)域服務器進一步包含DHT模塊，用于區(qū)域服務器之間的組網(wǎng)以及從傳感器數(shù)據(jù)名到存儲傳感器數(shù)據(jù)的區(qū)域服務器節(jié)點的映射；數(shù)據(jù)時效性區(qū)分模塊，用于將底層采集的數(shù)據(jù)分為實時數(shù)據(jù)和非實時數(shù)據(jù)；和數(shù)據(jù)庫模塊，負責存儲傳感器數(shù)據(jù)。所述區(qū)域服務器還包含一緩存模塊，用于緩存從DHT模塊上查詢的傳感器數(shù)據(jù)名到存儲傳感器數(shù)據(jù)的存儲節(jié)點的映射信息；應用接口模塊，用于和上層的應用通信；網(wǎng)關(guān)接口模塊，用于與下層的接入網(wǎng)關(guān)對接。本發(fā)明的優(yōu)點在于首先，設計了一種物聯(lián)網(wǎng)海量數(shù)據(jù)分布式存儲的系統(tǒng)，解決了物聯(lián)網(wǎng)底層數(shù)據(jù)在互聯(lián)網(wǎng)高效存儲的問題，方便不同應有對數(shù)據(jù)的共享問題；此外還改進了現(xiàn)有的分布式存儲系統(tǒng)不能根據(jù)物聯(lián)網(wǎng)底層數(shù)據(jù)的應用的類型對數(shù)據(jù)的時效性進行區(qū)分，針對數(shù)據(jù)的時效性對現(xiàn)有DHT的存儲方法進行了改進，使得DHT能夠?qū)Σ煌瑫r效性的數(shù)據(jù)實施不同的存儲策略，針對產(chǎn)生的大量數(shù)據(jù)有效的節(jié)省了存儲空間同時不降低數(shù)據(jù)查詢讀取的高效性。圖I是本發(fā)明的物聯(lián)網(wǎng)組網(wǎng)方式示意圖；圖2是本發(fā)明的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的系統(tǒng)的組成框圖；圖3是本發(fā)明的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的系統(tǒng)包含的區(qū)域服務器的組成框圖；圖4_a是本發(fā)明的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲方法的流程圖；圖4_b是本發(fā)明的物聯(lián)網(wǎng)中分布式數(shù)據(jù)查詢方法的流程圖；圖5_a是本發(fā)明的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的當接入?yún)^(qū)域服務器包含時效性區(qū)分的數(shù)據(jù)存儲的流程圖；圖5_b是本發(fā)明的存儲區(qū)域服務器進行存儲時對時效性處理存儲的步驟；圖6是本發(fā)明技術(shù)效果的仿真圖。具體實施例方式下面結(jié)合附圖和具體實施例對本發(fā)明進行詳細的說明。如圖I所示，該圖是本發(fā)明中的物聯(lián)網(wǎng)對海量數(shù)據(jù)進行分布式存儲的網(wǎng)絡部署圖，底層網(wǎng)絡的數(shù)據(jù)通過中間的接入層連接到互聯(lián)網(wǎng)，接入方式可以是有線的，也可以是無線方式；上層為區(qū)域服務器(Regionalserver)，它們使用IP協(xié)議，部署在互聯(lián)網(wǎng)上，負責一定區(qū)域的物聯(lián)網(wǎng)應用。且上層的區(qū)域服務器對于每一次具體存儲過程按照它們的功能不同可以劃分為接入?yún)^(qū)域服務器和存儲區(qū)域服務器(存儲節(jié)點)，但是這兩類服務器的功能是在不同存儲發(fā)生時是可以相互轉(zhuǎn)換的，所以所有區(qū)域服務器的組成均相同。如圖2所示，該圖為物聯(lián)網(wǎng)數(shù)據(jù)采集到存儲的系統(tǒng)組成框圖?；谠撓到y(tǒng)的數(shù)據(jù)收集存儲過程為無線傳感器網(wǎng)絡或者執(zhí)行網(wǎng)絡等物聯(lián)網(wǎng)包含的感知網(wǎng)絡的數(shù)據(jù)在其網(wǎng)絡內(nèi)部以其內(nèi)部的協(xié)議進行傳輸，傳輸?shù)浇尤刖W(wǎng)關(guān)(accessGateway,aGW),經(jīng)由接入網(wǎng)關(guān)接入部署在互聯(lián)網(wǎng)上的區(qū)域服務器，數(shù)據(jù)存儲在區(qū)域服務器上(區(qū)域服務器對應的網(wǎng)絡分層是支撐層)，所有的區(qū)域服務器采用分布式組網(wǎng)的方式進行數(shù)據(jù)存儲，且應根據(jù)數(shù)據(jù)的時效性進行不同的存儲。其中，本發(fā)明中的分布式組網(wǎng)選用DHT組網(wǎng)方式。底層的感知網(wǎng)絡均以無線傳感器網(wǎng)絡進行展開說明，而其他的底層感知網(wǎng)絡的數(shù)據(jù)存儲也在本發(fā)明的保護范圍內(nèi)。如圖3所示，該圖為區(qū)域服務器采用DHT組網(wǎng)的時候的組成框圖。區(qū)域服務器上的數(shù)據(jù)存儲和查詢系統(tǒng)包括一個DHT模塊(DHTmodule)、一個數(shù)據(jù)庫模塊(DataBase)、對上層應用的接口模塊、數(shù)據(jù)時效性的區(qū)分模塊、接收網(wǎng)關(guān)發(fā)來傳感器數(shù)據(jù)的模塊。其中，DHT模塊負責區(qū)域服務器之間的組網(wǎng)以及從傳感器數(shù)據(jù)名到存儲傳感器數(shù)據(jù)的區(qū)域服務器節(jié)點的映射，數(shù)據(jù)庫模塊負責存儲傳感器數(shù)據(jù)。本發(fā)明中采用數(shù)據(jù)時效性的區(qū)分模塊對傳統(tǒng)的DHT存儲方式進行了修改，在以DHT的方式進行數(shù)據(jù)存儲的時候?qū)?shù)據(jù)的時效性進行了區(qū)分，分為實時數(shù)據(jù)和非實時數(shù)據(jù)，由DHT中的數(shù)據(jù)區(qū)分模塊來完成。在具體實施數(shù)據(jù)存儲的時候如果數(shù)據(jù)的時效性是實時性的，則不對數(shù)據(jù)進行原有的DHT中的備份處理，并且為該類型的數(shù)據(jù)建立計時器，當時間超過了應用所要求的時效性時刪除該數(shù)據(jù)。如果數(shù)據(jù)的時效性是非實時的則對該數(shù)據(jù)采用傳統(tǒng)的DHT中的備份機制進行備份存儲。各模塊功能解釋應用接口接收應用下發(fā)的對數(shù)據(jù)的時效性的要求，有實時性和非實時性兩種類型。數(shù)據(jù)時效性分類模塊當區(qū)域服務器作為接入?yún)^(qū)域服務器時根據(jù)應用下發(fā)的對數(shù)據(jù)的時效性的要求，對和該應用相關(guān)的數(shù)據(jù)進行時效性標記。網(wǎng)關(guān)數(shù)據(jù)接口負責接收由網(wǎng)關(guān)發(fā)來的傳感器數(shù)據(jù)。DHT組網(wǎng)模塊實現(xiàn)了傳統(tǒng)的DHT功能，將區(qū)域服務器按照DHT的方式組網(wǎng)。緩存模塊，用于緩存從DHT模塊上查詢的傳感器數(shù)據(jù)名到存儲傳感器數(shù)據(jù)的存儲節(jié)點的映射信息，這樣使得在緩存信息有效期內(nèi)再有相同的數(shù)據(jù)名的數(shù)據(jù)存儲時，直接可以從緩存中獲得存儲節(jié)點的信息，不需要再向DHT模塊進行查詢，減小查詢開銷。數(shù)據(jù)時效性區(qū)分模塊，當區(qū)域服務器作為存儲節(jié)點時，它會首先對數(shù)據(jù)時效性進行判斷，以確定數(shù)據(jù)是否需要備份。其中數(shù)據(jù)時效性區(qū)分模塊在傳統(tǒng)的DHT存儲機制中加入的識別數(shù)據(jù)的時效性的模塊，以對不同時效性的數(shù)據(jù)做不同的存儲處理。數(shù)據(jù)的時效性由應用的特點來決定，應用對數(shù)據(jù)時效性的要求從應用接口下發(fā)給區(qū)域服務器，數(shù)據(jù)時效性分類模塊接收應用對某些數(shù)據(jù)的時效性的要求，將不同的傳感器數(shù)據(jù)進行不同的時效性標記，分為實時性數(shù)據(jù)和非實時性數(shù)據(jù)。如圖4-a所示，該圖為基于以上系統(tǒng)該圖為分布式組網(wǎng)采用DHT組網(wǎng)方式的數(shù)據(jù)存儲步驟為步驟401，底層的感知網(wǎng)絡采集到數(shù)據(jù)后，傳輸?shù)浇尤刖W(wǎng)關(guān)，經(jīng)由網(wǎng)關(guān)發(fā)往區(qū)域服務器，由區(qū)域服務器中的網(wǎng)關(guān)數(shù)據(jù)接口接收網(wǎng)關(guān)發(fā)來的傳感器數(shù)據(jù)。步驟402，接入?yún)^(qū)域服務器向其包含的映射信息緩存模塊查詢是否有該數(shù)據(jù)名的映射信息的有效緩存，如果有則將采集的數(shù)據(jù)發(fā)往存儲節(jié)點進行存儲；如果沒有該數(shù)據(jù)名的映射信息的有效緩存則進入下一步驟；步驟403，接入?yún)^(qū)域服務器采用其包含的分布式哈希表組網(wǎng)模塊查詢數(shù)據(jù)名映射到的存儲節(jié)點，將采集的數(shù)據(jù)存儲到查詢得到的存儲節(jié)點上；同時將查詢數(shù)據(jù)名映射到的存儲節(jié)點在區(qū)域服務器包含的映射信息緩存模塊中進行存儲。如圖4_b，該圖為與以上步驟對應的查詢步驟為(I)上層應用發(fā)出數(shù)據(jù)查詢獲取請求，且區(qū)域服務器上的應用接口收到應用的請求；(2)區(qū)域服務器向其包含的映射信息緩存模塊查詢是否有該數(shù)據(jù)名的映射信息的有效緩存，如果緩存中存在數(shù)據(jù)名和存儲節(jié)點的映射信息的有效緩存，區(qū)域服務器向?qū)拇鎯?jié)點獲取數(shù)據(jù)，并由應用接口發(fā)送給應用，數(shù)據(jù)查詢獲取結(jié)束；如果緩存中不存在數(shù)據(jù)名和存儲節(jié)點的映射信息的有效緩存，則進入下一步驟；(3)分布式哈希表模塊將查詢數(shù)據(jù)名所對應的存儲節(jié)點的映射信息，區(qū)域服務器向?qū)拇鎯?jié)點獲取數(shù)據(jù)，并由應用接口發(fā)送給應用，同時將查詢得到的數(shù)據(jù)名所對應的存儲節(jié)點的映射信息進行緩存，數(shù)據(jù)查詢獲取結(jié)束。實施例基于以上步驟，如果底層感知網(wǎng)絡為無線傳感器網(wǎng)絡則上述數(shù)據(jù)存儲步驟描述如下傳感器網(wǎng)絡采集到數(shù)據(jù)后，在傳感器網(wǎng)絡內(nèi)部以傳感器網(wǎng)的路由協(xié)議傳輸?shù)浇尤刖W(wǎng)關(guān)，經(jīng)由網(wǎng)關(guān)發(fā)往區(qū)域服務器。區(qū)域服務器向DHT模塊查詢傳感器數(shù)據(jù)名對應的存儲節(jié)點的IP，數(shù)據(jù)名可以是傳感器的ID屬性，可以是傳感器檢測的事件名屬性等等，根據(jù)系統(tǒng)的設計確定。查詢傳感器數(shù)據(jù)名所對應的存儲節(jié)點的過程是以傳感器數(shù)據(jù)名為DHT查詢中的key,由DHT的算法返回該數(shù)據(jù)名所對應的存儲節(jié)點的IP，即DHT中key所對應的value。在DHT返回傳感器數(shù)據(jù)名對應的存儲該傳感器數(shù)據(jù)的區(qū)域服務器節(jié)點的IP后，傳感器所在的區(qū)域服務器將傳感器采集的數(shù)據(jù)存入傳感器數(shù)據(jù)名映射到的IP的節(jié)點的數(shù)據(jù)庫上。頻繁的查詢DHT的操作，一方面會增加DHT模塊的負載，另一方面會帶來延遲。為了避免頻繁的查詢DHT的操作，在區(qū)域服務器上建立區(qū)域服務器當前負責的下層網(wǎng)絡的數(shù)據(jù)名所映射的IP列表緩存，這樣在緩存有效期內(nèi)直接從緩存中讀取存儲節(jié)點?；谝陨喜襟E，如果底層感知網(wǎng)絡為無線傳感器網(wǎng)絡則上述數(shù)據(jù)查詢步驟描述如下上層應用需要傳感器數(shù)據(jù)時，只需要通過任意一個區(qū)域服務器查詢數(shù)據(jù)名所映射的存儲節(jié)點的IP，從該IP的節(jié)點上即可獲得傳感器數(shù)據(jù)。應用所連接的可以是網(wǎng)絡上的任意一臺區(qū)域服務器，不必是當前負責該傳感器的區(qū)域服務器。入口的區(qū)域服務器也可以緩存DHT的查詢結(jié)果，從而再有相同的傳感器數(shù)據(jù)查詢時，可以從緩存中直接返回存儲節(jié)點的結(jié)果。基于以上存儲方法，為了實現(xiàn)物聯(lián)網(wǎng)底層感知網(wǎng)絡的海量數(shù)據(jù)的有效存儲，為存儲網(wǎng)絡節(jié)省更多的存儲空間，本發(fā)明還做出以下改進。如圖5-a所示，該圖對分布式存儲方式還進一步考慮了數(shù)據(jù)時效性問題，即在圖4的步驟401之后步驟402之前還包含步驟501該步驟用于對采集的數(shù)據(jù)進行時效性分析的步驟，將待存儲的數(shù)據(jù)分為實時數(shù)據(jù)和非實時數(shù)據(jù)，其中存儲節(jié)點對這兩種數(shù)據(jù)采用不同的備份機制進行存儲。改進后的數(shù)據(jù)存儲的步驟如下步驟401，底層的感知網(wǎng)絡采集到數(shù)據(jù)后，傳輸?shù)浇尤刖W(wǎng)關(guān)，經(jīng)由網(wǎng)關(guān)發(fā)往區(qū)域服務器，由接入?yún)^(qū)域服務器中的網(wǎng)關(guān)數(shù)據(jù)接口接收網(wǎng)關(guān)發(fā)來的傳感器數(shù)據(jù)。步驟501，接入?yún)^(qū)域服務器中的數(shù)據(jù)時效性分類模塊根據(jù)應用下發(fā)的數(shù)據(jù)的時效性的要求,對數(shù)據(jù)進行時效性的標記,標記類型包括實時性數(shù)據(jù)和非實時性數(shù)據(jù)。步驟402，接入?yún)^(qū)域服務器向其包含的映射信息緩存模塊查詢是否有該數(shù)據(jù)名的映射信息的有效緩存，如果有則將采集的數(shù)據(jù)發(fā)往存儲節(jié)點進行存儲；如果沒有該數(shù)據(jù)名的映射信息的有效緩存則進入下一步驟；步驟403，接入?yún)^(qū)域服務器采用其包含的分布式哈希表組網(wǎng)模塊查詢數(shù)據(jù)名映射到的存儲節(jié)點，將采集的數(shù)據(jù)存儲到查詢得到的存儲節(jié)點上；同時將查詢數(shù)據(jù)名映射到的存儲節(jié)點在區(qū)域服務器包含的映射信息緩存模塊中進行存儲。DHT是一種動態(tài)的分布式網(wǎng)絡存儲方法，由于DHT中節(jié)點的動態(tài)性，在數(shù)據(jù)存儲的過程中要對節(jié)點上的數(shù)據(jù)進行備份，DHT中有不同的備份機制，在傳統(tǒng)的DHT方式的數(shù)據(jù)存儲中對數(shù)據(jù)的類型不做區(qū)分，也就是說對所有的數(shù)據(jù)都會備份。本發(fā)明將DHT引入到物聯(lián)網(wǎng)的海量信息存儲中，并且根據(jù)應用對數(shù)據(jù)的不同要求對傳感器數(shù)據(jù)做了分類。實時性的數(shù)據(jù)類型是指只有當前數(shù)據(jù)是有用的，歷史數(shù)據(jù)對應用不再有作用，所以對實時性的數(shù)據(jù)就不再需要DHT對數(shù)據(jù)的備份機制。當一個存儲節(jié)點失效時，根據(jù)DHT的機制數(shù)據(jù)將被存儲到別的存儲節(jié)點上，而應用查詢數(shù)據(jù)名時，根據(jù)DHT的機制將會獲得傳感器數(shù)據(jù)名所對應的的新的存儲節(jié)點，獲取當前數(shù)據(jù)即可。而且在存儲節(jié)點上根據(jù)數(shù)據(jù)的生命期，對過期的數(shù)據(jù)進行刪除，這樣就會節(jié)省很大的存儲空間。對非實時數(shù)據(jù)類型而言，歷史數(shù)據(jù)對應用是有用的，需要對歷史數(shù)據(jù)進行備份，這個工作使用傳統(tǒng)的DHT中對數(shù)據(jù)的備份機制即可?；谏鲜龇治?，圖4-a、圖4-b和圖5_a描述的步驟僅僅涉及了接入?yún)^(qū)域服務器將采集的數(shù)據(jù)發(fā)往由其確定的存儲節(jié)點(即存儲區(qū)域服務器)，而這些數(shù)據(jù)在存儲區(qū)域服務器上如何針對時效性進行區(qū)分備份存儲的具體過程并未描述。如圖5-b所示，該過程描述為首先，存儲區(qū)域服務器接受接入?yún)^(qū)域服務器傳送過來的待存儲數(shù)據(jù)還需進行以下處理然后，存儲區(qū)域服務器包含的數(shù)據(jù)時效性區(qū)分模塊對存儲在本節(jié)點的數(shù)據(jù)進行時效性檢查，如果這些采集的數(shù)據(jù)為非實時數(shù)據(jù)則直接在該存儲區(qū)域服務器上進行存儲；如果采集數(shù)據(jù)為實時數(shù)據(jù)，則進入下一步驟；最后，檢測這些待存儲的實時數(shù)據(jù)時效性是否過期，如果時效性過期則將刪除這些數(shù)據(jù)，即不對這些數(shù)據(jù)進行存儲；如果沒有過期才在該區(qū)域服務器上存儲。區(qū)域服務器向DHT模塊查詢傳感器數(shù)據(jù)名對應的存儲節(jié)點，將數(shù)據(jù)存入經(jīng)由DHT查詢返回的存儲節(jié)點。這里的存儲節(jié)點是指以DHT方式組網(wǎng)的區(qū)域服務器。每個存儲節(jié)點上的數(shù)據(jù)時效性區(qū)分模塊對進入本節(jié)點存儲的數(shù)據(jù)的時效性進行識別。如果數(shù)據(jù)的時效性是實時性的，則不對數(shù)據(jù)進行原有的DHT中的備份處理，并且為該類型的數(shù)據(jù)建立計時器，當時間超過了應用所要求的時效性時刪除該數(shù)據(jù)。如果數(shù)據(jù)的時效性是非實時的則對該數(shù)據(jù)采用傳統(tǒng)的DHT中的備份機制進行備份存儲。試驗結(jié)果對本發(fā)明提出的物聯(lián)網(wǎng)的數(shù)據(jù)收集存儲和查詢獲取方案，進行了原型系統(tǒng)的設計和開發(fā)。在實際系統(tǒng)中，下層的DHT采用chord算法，數(shù)據(jù)庫使用mysql，以c++語言完成的分布式數(shù)據(jù)系統(tǒng)工作良好，存儲負載在各個存儲節(jié)點上得到均衡，有節(jié)點失效時，可以在I秒鐘以內(nèi)重新建立新的數(shù)據(jù)存取結(jié)點。圖6是有三臺機器的分布式存儲系統(tǒng)在收集數(shù)據(jù)12小時后的存儲統(tǒng)計圖，存儲負載在各個存儲點上得到均衡。最后所應說明的是，以上實施例僅用以說明本發(fā)明的技術(shù)方案而非限制。盡管參照實施例對本發(fā)明進行了詳細說明，本領域的普通技術(shù)人員應當理解，對本發(fā)明的技術(shù)方案進行修改或者等同替換，都不脫離本發(fā)明技術(shù)方案的精神和范圍，其均應涵蓋在本發(fā)明的權(quán)利要求范圍當中。權(quán)利要求1.一種物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法，該方法用于將物聯(lián)網(wǎng)下層若干個底層感知網(wǎng)絡采集的數(shù)據(jù)在上層的若干區(qū)域服務器之間實現(xiàn)分布式存儲，包含數(shù)據(jù)存儲的步驟，所述底層網(wǎng)絡采集的數(shù)據(jù)在底層網(wǎng)絡內(nèi)部以其內(nèi)部的協(xié)議進行傳輸，傳輸?shù)浇尤刖W(wǎng)關(guān)，經(jīng)由接入網(wǎng)關(guān)接入部署在互聯(lián)網(wǎng)上的區(qū)域服務器，所述采集的數(shù)據(jù)在區(qū)域服務器組成的網(wǎng)絡中進行存儲；數(shù)據(jù)查詢和讀取的步驟，上層應用需要底層網(wǎng)絡采集的數(shù)據(jù)時，通過任意一個區(qū)域服務器查詢數(shù)據(jù)名所映射的存儲節(jié)點的IP，從該IP的節(jié)點上獲得所需的傳感器數(shù)據(jù)；其中，所述區(qū)域服務器采用分布式組網(wǎng)，且所述的區(qū)域服務器將所述采集數(shù)據(jù)分為實時數(shù)據(jù)和非實時數(shù)據(jù)在所述區(qū)域服務器上進行存儲；對每一次存儲按功能將區(qū)域服務器劃分為接入?yún)^(qū)域服務器和存儲區(qū)域服務器，所述接入?yún)^(qū)域服務器為通過網(wǎng)關(guān)接受底層待存儲數(shù)據(jù)的區(qū)域服務器，所述存儲區(qū)域服務器為確定的存儲節(jié)點。2.根據(jù)權(quán)利要求I所述的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法，其特征在于，所述分布式組網(wǎng)采用分布式哈希表進行組網(wǎng)。3.根據(jù)權(quán)利要求I所述的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法，其特征在于，所述底層網(wǎng)絡為無線傳感器網(wǎng)絡。4.根據(jù)權(quán)利要求1、2或3所述的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法，其特征在于，所述數(shù)據(jù)存儲步驟具體為步驟101，底層的感知網(wǎng)絡采集到數(shù)據(jù)后，傳輸?shù)浇尤刖W(wǎng)關(guān)，經(jīng)由網(wǎng)關(guān)發(fā)往區(qū)域服務器，由區(qū)域服務器中的網(wǎng)關(guān)數(shù)據(jù)接口接收網(wǎng)關(guān)發(fā)來的傳感器數(shù)據(jù)；步驟102，所述接入?yún)^(qū)域服務器確定存儲區(qū)域服務器，并將待存儲數(shù)據(jù)發(fā)往確定的存儲區(qū)域服務器；步驟103，存儲區(qū)域服務器存儲接入服務器發(fā)來的數(shù)據(jù)。5.根據(jù)權(quán)利要求4所述的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法，其特征在于，所述步驟102之前還包含接入?yún)^(qū)域服務器對待存儲采集數(shù)據(jù)進行時效性標志的步驟，其中的時效性將數(shù)據(jù)分為實時數(shù)據(jù)和非實時數(shù)據(jù)。6.根據(jù)權(quán)利要求4所述的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法，其特征在于，所述確定存儲節(jié)點步驟為接入?yún)^(qū)域服務器查詢是否有該數(shù)據(jù)名的映射信息的有效緩存，如果有則將采集的數(shù)據(jù)發(fā)往存儲節(jié)點進行存儲；如果沒有該數(shù)據(jù)名的映射信息的有效緩存則進入下一步驟；所述接入?yún)^(qū)域服務器采用其包含的分布式哈希表組網(wǎng)模塊查詢數(shù)據(jù)名映射到的存儲節(jié)點，將采集的數(shù)據(jù)存儲到查詢得到的存儲節(jié)點上。7.根據(jù)權(quán)利要求5所述的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法，其特征在于，所述數(shù)據(jù)名可以是傳感器的ID屬性，傳感器檢測的事件名屬性。8.根據(jù)權(quán)利要求4或5所述的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法，其特征在于，所述步驟103的具體步驟為存儲在本節(jié)點的數(shù)據(jù)進行時效性檢查，如果這些采集的數(shù)據(jù)為非實時數(shù)據(jù)則直接在該存儲區(qū)域服務器上進行存儲；如果采集數(shù)據(jù)為實時數(shù)據(jù)，檢測這些待存儲的實時數(shù)據(jù)時效性是否過期，如果時效性過期不對這些數(shù)據(jù)進行存儲；如果沒有過期在該區(qū)域服務器上存儲。9.一種物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的系統(tǒng)，該系統(tǒng)基于物聯(lián)網(wǎng)，其特征在于，所述系統(tǒng)還包含若干區(qū)域服務器，該區(qū)域服務器與物聯(lián)網(wǎng)上層應用相連同時與物聯(lián)網(wǎng)包含的接入網(wǎng)絡相連，用于接收并存儲物聯(lián)網(wǎng)底層網(wǎng)絡采集的數(shù)據(jù)；其中，所述若干區(qū)域服務器采用分布式哈希表組網(wǎng)。10.根據(jù)權(quán)利要求9所述的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的系統(tǒng)，其特征在于，所述底層網(wǎng)絡為傳感器網(wǎng)絡。11.根據(jù)權(quán)利要求9或10所述的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的系統(tǒng)，其特征在于，所述區(qū)域服務器進一步包含DHT模塊，用于區(qū)域服務器之間的組網(wǎng)以及從傳感器數(shù)據(jù)名到存儲傳感器數(shù)據(jù)的區(qū)域服務器節(jié)點的映射；數(shù)據(jù)時效性區(qū)分模塊，用于將底層采集的數(shù)據(jù)分為實時數(shù)據(jù)和非實時數(shù)據(jù)；和數(shù)據(jù)庫模塊，負責存儲傳感器數(shù)據(jù)。12.根據(jù)權(quán)利要求10所述的物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的系統(tǒng)，其特征在于，所述區(qū)域服務器還包含一緩存模塊，用于緩存從DHT模塊上查詢的傳感器數(shù)據(jù)名到存儲傳感器數(shù)據(jù)的存儲節(jié)點的映射信息；應用接口模塊，用于和上層的應用通信；網(wǎng)關(guān)接口模塊，用于與下層的接入網(wǎng)關(guān)對接。全文摘要本發(fā)明提出一種物聯(lián)網(wǎng)中分布式數(shù)據(jù)存儲和查詢的方法，該方法用于將物聯(lián)網(wǎng)下層若干個底層感知網(wǎng)絡采集的數(shù)據(jù)在上層的若干區(qū)域服務器之間實現(xiàn)分布式存儲，包含數(shù)據(jù)存儲的步驟，所述底層網(wǎng)絡采集的數(shù)據(jù)在底層網(wǎng)絡內(nèi)部以其內(nèi)部的協(xié)議進行傳輸，傳輸?shù)浇尤刖W(wǎng)關(guān)，經(jīng)由接入網(wǎng)關(guān)接入部署在互聯(lián)網(wǎng)上的區(qū)域服務器，所述采集的數(shù)據(jù)在區(qū)域服務器組成的網(wǎng)絡中進行存儲；和數(shù)據(jù)查詢和讀取的步驟。其中，所述區(qū)域服務器采用分布式組網(wǎng)，且所述的區(qū)域服務器將所述采集數(shù)據(jù)分為實時數(shù)據(jù)和非實時數(shù)據(jù)在所述區(qū)域服務器上進行存儲。本發(fā)明首次將分布式存儲網(wǎng)絡應用到物聯(lián)網(wǎng)的海量數(shù)據(jù)的存儲當中，而且為了節(jié)省分布式存儲網(wǎng)絡的存儲資源將數(shù)據(jù)進行了時效性劃分。文檔編號H04L29/08GK102752322SQ201110095990公開日2012年10月24日申請日期2011年4月18日優(yōu)先權(quán)日2011年4月18日發(fā)明者劉宇,唐暉,牛溫佳,譚紅艷,趙志軍申請人:中國科學院聲學研究所