物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)統(tǒng)計(jì)分析處理方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種數(shù)據(jù)建模與統(tǒng)計(jì)分析處理方法和裝置，屬于物聯(lián)網(wǎng)信息融合與數(shù)據(jù)處理技術(shù)領(lǐng)域。
【背景技術(shù)】
[0002]物聯(lián)網(wǎng)是一個(gè)基于互聯(lián)網(wǎng)、傳統(tǒng)電信網(wǎng)等信息載體，讓所有能被獨(dú)立尋址的普通物理對(duì)象實(shí)現(xiàn)互聯(lián)互通的網(wǎng)絡(luò)。普通對(duì)象設(shè)備化、自治終端互聯(lián)化和普適服務(wù)智能化是其三個(gè)重要特征。根據(jù)信息生成、傳輸、處理和應(yīng)用可將物聯(lián)網(wǎng)分為感知識(shí)別層、網(wǎng)絡(luò)構(gòu)建層、信息整合層和綜合應(yīng)用層。信息整合層位于感知識(shí)別和網(wǎng)絡(luò)構(gòu)建層之上，綜合應(yīng)用層之下。人們通常把物聯(lián)網(wǎng)應(yīng)用冠以“智能”的名稱，如智能電網(wǎng)、智能交通、智能物流、智能家居等，其中的智慧就來自這一層。當(dāng)感知識(shí)別層生成的大量數(shù)據(jù)經(jīng)過網(wǎng)絡(luò)層傳輸匯聚到信息整合層，如果不能有效地整合與利用，將無異于入寶山而空返，望“數(shù)據(jù)的海洋”而興嘆。因此信息整合性能的好壞、數(shù)據(jù)利用程度的高低將直接影響物聯(lián)網(wǎng)整體“智慧”的程度。
[0003]物聯(lián)網(wǎng)數(shù)據(jù)具有海量性、多源、多態(tài)、異構(gòu)、復(fù)雜時(shí)空特性的特點(diǎn)，這為實(shí)施有效的信息整合帶來了嚴(yán)峻的挑戰(zhàn)。目前我國已啟動(dòng)的一批科研項(xiàng)目，如國家重點(diǎn)基礎(chǔ)研宄發(fā)展計(jì)劃(973計(jì)劃)項(xiàng)目《物聯(lián)網(wǎng)體系結(jié)構(gòu)基礎(chǔ)研宄》(起止時(shí)間:2010年9月至2015年9月)和《物聯(lián)網(wǎng)的基礎(chǔ)理論與實(shí)踐研宄》(起止時(shí)間:2011年I月至2013年8月)，將多源信息融合、異質(zhì)網(wǎng)元信息交互等相關(guān)課題列為關(guān)鍵性科學(xué)問題進(jìn)行研宄。盡管如此，相較于數(shù)據(jù)感知與應(yīng)用，針對(duì)信息整合層的信息融合和數(shù)據(jù)挖掘尚沒有得到國內(nèi)業(yè)界應(yīng)有的重視，并且有被忽視的趨勢(shì)。

【發(fā)明內(nèi)容】

[0004]為了解決上述問題，針對(duì)物聯(lián)網(wǎng)數(shù)據(jù)海量、多源、多態(tài)、異構(gòu)的特點(diǎn)，本發(fā)明提供了一種物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)統(tǒng)計(jì)分析處理方法和裝置，具體采用的技術(shù)方案如下:
[0005]本發(fā)明的物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)統(tǒng)計(jì)分析處理方法主要包括如下步驟:
[0006]S1:在中心服務(wù)器端，實(shí)時(shí)收集物聯(lián)網(wǎng)傳感器終端發(fā)送而來的觀測(cè)數(shù)據(jù)；
[0007]S2:在中心服務(wù)器端，利用隨機(jī)有限集統(tǒng)計(jì)模型對(duì)上述觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)一建模與表不;
[0008]S3:在中心服務(wù)器端，采用貝葉斯統(tǒng)計(jì)分析原理對(duì)上述有限集表示數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析處理，輸出模型參數(shù)后驗(yàn)概率密度分布；
[0009]S4:在中心服務(wù)器端，基于上述統(tǒng)計(jì)分析處理結(jié)果，進(jìn)行知識(shí)提取及最優(yōu)決策。
[0010]進(jìn)一步，在步驟SI中，中心服務(wù)器采用標(biāo)準(zhǔn)的無線傳感網(wǎng)數(shù)據(jù)通信與傳輸協(xié)議來實(shí)時(shí)收集由物聯(lián)網(wǎng)傳感器終端發(fā)送而來的多源異構(gòu)觀測(cè)數(shù)據(jù)。
[0011]進(jìn)一步，在步驟S2中，采用隨機(jī)有限集統(tǒng)計(jì)模型對(duì)收集到的所有傳感器觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)一化的建模與表示，也就是將所有的觀測(cè)數(shù)據(jù)統(tǒng)一轉(zhuǎn)換、表示為隨機(jī)有限集的形式。觀測(cè)中所包含的不精確、不確定和模糊性因素由隨機(jī)有限集模型統(tǒng)一表示。
[0012]進(jìn)一步，在步驟S3中，采用貝葉斯方法對(duì)由隨機(jī)有限集表示的觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析與處理的具體過程為:對(duì)各個(gè)傳感終端發(fā)送來的觀測(cè)數(shù)據(jù)依次進(jìn)行處理，將對(duì)前一終端觀測(cè)數(shù)據(jù)進(jìn)行處理后生成的模型參數(shù)概率分布作為處理當(dāng)前觀測(cè)數(shù)據(jù)時(shí)的先驗(yàn)分布，定義似然函數(shù)描述模型參數(shù)與當(dāng)前觀測(cè)數(shù)據(jù)的相互依賴關(guān)系，基于貝葉斯公式融合先驗(yàn)分布和似然函數(shù)，計(jì)算得到后驗(yàn)分布，該后驗(yàn)分布作為處理下一終端觀測(cè)數(shù)據(jù)時(shí)的先驗(yàn)分布。該方法的輸出為模型參數(shù)的后驗(yàn)概率密度分布。
[0013]進(jìn)一步，在步驟S3中，數(shù)據(jù)統(tǒng)計(jì)分析處理操作包括各種統(tǒng)計(jì)聚類、分類、預(yù)測(cè)、估計(jì)、試驗(yàn)設(shè)計(jì)操作。
[0014]進(jìn)一步，在步驟S4中，利用后驗(yàn)分布采樣技術(shù)，包括馬爾科夫鏈蒙特卡洛方法和序列蒙特卡洛采樣算法，對(duì)由S3步驟輸出的模型參數(shù)后驗(yàn)概率密度分布進(jìn)行統(tǒng)計(jì)采樣，然后基于采樣樣本進(jìn)行統(tǒng)計(jì)推斷與最優(yōu)決策。
[0015]本發(fā)明的物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)統(tǒng)計(jì)分析處理裝置
[0016]實(shí)時(shí)物聯(lián)網(wǎng)終端數(shù)據(jù)接收與存儲(chǔ)模塊:由集成電路和存儲(chǔ)芯片構(gòu)成，用于采集、存儲(chǔ)物聯(lián)網(wǎng)終端所發(fā)送的實(shí)時(shí)觀測(cè)數(shù)據(jù)；
[0017]數(shù)據(jù)統(tǒng)一化建模與表示模塊:負(fù)責(zé)處理終端數(shù)據(jù)，該模塊將多源異構(gòu)的物聯(lián)網(wǎng)觀測(cè)數(shù)據(jù)統(tǒng)一表示成隨機(jī)有限集形式；
[0018]數(shù)據(jù)統(tǒng)計(jì)分析處理模塊:負(fù)責(zé)對(duì)有限集形式觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)建模、分析與處理。
[0019]知識(shí)提取與最優(yōu)決策模塊:用于輸出在數(shù)據(jù)統(tǒng)計(jì)分析處理過程中產(chǎn)生的知識(shí)，和所做的最優(yōu)決策。知識(shí)與決策的生成過程也通過貝葉斯原則得出。
[0020]本發(fā)明對(duì)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一化有限集表示與建模，多源異構(gòu)數(shù)據(jù)被轉(zhuǎn)化成相同的表示形式，變成了“同構(gòu)”數(shù)據(jù)，為后續(xù)的統(tǒng)計(jì)分析處理提供了前提條件；又采用貝葉斯統(tǒng)計(jì)工具對(duì)所有的觀測(cè)數(shù)據(jù)進(jìn)行融合分析處理，有助于充分地利用數(shù)據(jù)信息，挖掘知識(shí)進(jìn)而做出最優(yōu)決策。本發(fā)明為物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)的表示、分析、處理提供了統(tǒng)一的模型算法框架，將對(duì)物聯(lián)網(wǎng)相關(guān)技術(shù)的產(chǎn)業(yè)化應(yīng)用具有正面促進(jìn)作用。
【附圖說明】
[0021 ] 圖1是本發(fā)明方法的流程圖。
[0022]圖2是本發(fā)明系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0023]下面結(jié)合附圖和實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
[0024]實(shí)施例一
[0025]如圖1所示，本發(fā)明方法包括以下步驟:
[0026]S1:在中心服務(wù)器端，實(shí)時(shí)收集物聯(lián)網(wǎng)傳感終端發(fā)送而來的觀測(cè)數(shù)據(jù)；
[0027]在步驟SI中，物聯(lián)網(wǎng)傳感終端包括各種類型的傳感器、有數(shù)據(jù)采集傳輸功能的移動(dòng)通信設(shè)備(如手機(jī))、攝像頭等。這些設(shè)備采用特定的數(shù)據(jù)通信傳輸標(biāo)準(zhǔn)與中心服務(wù)器進(jìn)行互聯(lián)通信，將觀測(cè)數(shù)據(jù)傳送給中心服務(wù)器。中心服務(wù)器是指具有一定數(shù)據(jù)存儲(chǔ)、計(jì)算功能的電子設(shè)備，如個(gè)人電腦、工作站或大型服務(wù)器等。
[0028]S2:在中心服務(wù)器端，利用隨機(jī)有限集統(tǒng)計(jì)模型對(duì)上述觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)一建模與表不;
[0029]在步驟S2中，采用隨機(jī)有限集模型對(duì)收集到的各種觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)一建模與表示。觀測(cè)中所隱含的各種不確定、不精確和模糊性都涵蓋于有限集表示模型之下。
[0030]S3:在中心服務(wù)器端，采用貝葉斯統(tǒng)計(jì)分析原理對(duì)上述有限集表示數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析處理；
[0031]S4:在中心服務(wù)器端，基于上述統(tǒng)計(jì)分析處理結(jié)果，進(jìn)行知識(shí)提取或最優(yōu)決策。
[0032]在本發(fā)明方法的步驟S2中對(duì)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一化有限集表示與建模，也就是說，多源異構(gòu)數(shù)據(jù)被轉(zhuǎn)化成相同的表示形式，變成了 “同構(gòu)”數(shù)據(jù)，為后續(xù)的統(tǒng)計(jì)分析處理提供了前提條件。在步驟S3和S4中，采用貝葉斯統(tǒng)計(jì)工具對(duì)所有的觀測(cè)數(shù)據(jù)進(jìn)行融合分析處理，有助于充分地利用數(shù)據(jù)信息，挖掘知識(shí)進(jìn)而做出最優(yōu)決策。
[0033]本發(fā)明主要針對(duì)現(xiàn)有數(shù)據(jù)統(tǒng)計(jì)分析方法在處理物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)方面存在的不足，提供了一種有效的異構(gòu)數(shù)據(jù)統(tǒng)計(jì)建模及分析處理方法裝置，該發(fā)明將對(duì)物聯(lián)網(wǎng)相關(guān)技術(shù)的產(chǎn)業(yè)化應(yīng)用具有正面促進(jìn)作用。
[0034]實(shí)施例二
[0035]如圖2所示，本發(fā)明裝置由實(shí)時(shí)物聯(lián)網(wǎng)終端數(shù)據(jù)接收與存儲(chǔ)模塊、數(shù)據(jù)統(tǒng)計(jì)化建模與表示模塊、數(shù)據(jù)統(tǒng)計(jì)分析處理模塊和知識(shí)提取與最優(yōu)決策模塊構(gòu)成。
[0036]實(shí)時(shí)物聯(lián)網(wǎng)終端數(shù)據(jù)接收與存儲(chǔ)模塊是用于采集、存儲(chǔ)物聯(lián)網(wǎng)終端所發(fā)送的實(shí)時(shí)觀測(cè)數(shù)據(jù)的終端設(shè)備，由集成電路和存儲(chǔ)芯片構(gòu)成；
[0037]數(shù)據(jù)統(tǒng)一化建模與表示模塊是運(yùn)行特定算法的終端數(shù)據(jù)處理裝置，該裝置將多源異構(gòu)的物聯(lián)網(wǎng)觀測(cè)數(shù)據(jù)統(tǒng)一表示成隨機(jī)有限集形式；
[0038]數(shù)據(jù)統(tǒng)計(jì)分析處理模塊是運(yùn)行特定算法的終端數(shù)據(jù)處理裝置。用于對(duì)有限集形式的觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)建模、分析與處理，進(jìn)而實(shí)現(xiàn)統(tǒng)計(jì)聚類、分類、預(yù)測(cè)、估計(jì)、試驗(yàn)設(shè)計(jì)的目的。
[0039]知識(shí)提取與最優(yōu)決策模塊用于輸出在數(shù)據(jù)統(tǒng)計(jì)分析處理過程中產(chǎn)生的知識(shí)，和所做的最優(yōu)決策。
[0040]本發(fā)明不限于上述實(shí)施例，一切采用等同替換或等效替換形成的技術(shù)方案均屬于本發(fā)明要求保護(hù)的范圍。
【主權(quán)項(xiàng)】
1.一種物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)統(tǒng)計(jì)分析處理方法，其特征在于，包括如下步驟: S1:在中心服務(wù)器端，實(shí)時(shí)收集物聯(lián)網(wǎng)傳感器終端發(fā)送而來的觀測(cè)數(shù)據(jù)； 52:在中心服務(wù)器端，利用隨機(jī)有限集統(tǒng)計(jì)模型對(duì)所述觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)一建模與表示，得到有限集表示數(shù)據(jù)； 53:在中心服務(wù)器端，采用貝葉斯統(tǒng)計(jì)分析原理對(duì)所述有限集表示數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析處理，輸出模型參數(shù)后驗(yàn)概率密度分布； 54:在中心服務(wù)器端，基于上述統(tǒng)計(jì)分析處理結(jié)果，進(jìn)行知識(shí)提取及最優(yōu)決策。
2.根據(jù)權(quán)利要求1所述的方法，其特征是，在步驟S2中，將所有的觀測(cè)數(shù)據(jù)統(tǒng)一轉(zhuǎn)換、表示為隨機(jī)有限集的形式；觀測(cè)中所包含的不精確、不確定和模糊性因素由隨機(jī)有限集模型統(tǒng)一表不。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征是，在步驟S3中，采用貝葉斯方法對(duì)由隨機(jī)有限集表示的觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析與處理的具體過程為:將對(duì)前一終端觀測(cè)數(shù)據(jù)進(jìn)行處理后生成的模型參數(shù)概率分布作為處理當(dāng)前觀測(cè)數(shù)據(jù)時(shí)的先驗(yàn)分布，定義似然函數(shù)描述模型參數(shù)與當(dāng)前觀測(cè)數(shù)據(jù)的相互依賴關(guān)系，基于貝葉斯公式融合先驗(yàn)分布和似然函數(shù)，計(jì)算得到后驗(yàn)分布，該后驗(yàn)分布作為處理下一終端觀測(cè)數(shù)據(jù)時(shí)的先驗(yàn)分布。
4.根據(jù)權(quán)利要求3所述的方法，其特征是，數(shù)據(jù)統(tǒng)計(jì)分析處理操作包括統(tǒng)計(jì)聚類、分類、預(yù)測(cè)、估計(jì)、試驗(yàn)設(shè)計(jì)操作。
5.根據(jù)權(quán)利要求3所述的方法，其特征是，步驟S4具體為:利用后驗(yàn)分布采樣技術(shù)，對(duì)由S3步驟輸出的模型參數(shù)后驗(yàn)概率密度分布進(jìn)行統(tǒng)計(jì)采樣，然后基于采樣樣本進(jìn)行統(tǒng)計(jì)推斷與最優(yōu)決策。
6.—種物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)統(tǒng)計(jì)分析處理裝置，其特征在于，包括實(shí)時(shí)物聯(lián)網(wǎng)終端數(shù)據(jù)接收與存儲(chǔ)模塊、數(shù)據(jù)統(tǒng)一化建模與表示模塊、數(shù)據(jù)統(tǒng)計(jì)分析處理模塊以及知識(shí)提取與最優(yōu)決策模塊，其中: 實(shí)時(shí)物聯(lián)網(wǎng)終端數(shù)據(jù)接收與存儲(chǔ)模塊由集成電路和存儲(chǔ)芯片構(gòu)成，負(fù)責(zé)采集、存儲(chǔ)物聯(lián)網(wǎng)終端所發(fā)送的實(shí)時(shí)觀測(cè)數(shù)據(jù)； 數(shù)據(jù)統(tǒng)一化建模與表示模塊負(fù)責(zé)處理終端數(shù)據(jù)，該模塊將多源異構(gòu)的物聯(lián)網(wǎng)觀測(cè)數(shù)據(jù)統(tǒng)一表示成隨機(jī)有限集形式； 數(shù)據(jù)統(tǒng)計(jì)分析處理模塊負(fù)責(zé)對(duì)有限集形式觀測(cè)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)建模、分析與處理； 知識(shí)提取與最優(yōu)決策模塊負(fù)責(zé)輸出在數(shù)據(jù)統(tǒng)計(jì)分析處理過程中產(chǎn)生的知識(shí)和所做的最優(yōu)決策。
【專利摘要】本發(fā)明公開了一種物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)統(tǒng)計(jì)分析處理方法和裝置，為物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)提供一種較佳的信息整合、數(shù)據(jù)處理的方式。本發(fā)明對(duì)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一化有限集表示與建模，多源異構(gòu)數(shù)據(jù)被轉(zhuǎn)化成相同的表示形式，變成了“同構(gòu)”數(shù)據(jù)，為后續(xù)的統(tǒng)計(jì)分析處理提供了前提條件；又采用貝葉斯統(tǒng)計(jì)工具對(duì)所有的觀測(cè)數(shù)據(jù)進(jìn)行融合分析處理，有助于充分地利用數(shù)據(jù)信息，挖掘知識(shí)進(jìn)而做出最優(yōu)決策。本發(fā)明的實(shí)施將對(duì)物聯(lián)網(wǎng)相關(guān)技術(shù)的產(chǎn)業(yè)化應(yīng)用具有正面促進(jìn)作用。
【IPC分類】G06F19-00
【公開號(hào)】CN104834813
【申請(qǐng)?zhí)枴緾N201510207805
【發(fā)明人】劉斌
【申請(qǐng)人】南京郵電大學(xué)
【公開日】2015年8月12日
【申請(qǐng)日】2015年4月28日