本發(fā)明屬于通信領(lǐng)域，具體涉及一種基于云平臺(tái)的多維數(shù)據(jù)融合分析系統(tǒng)及方法。

背景技術(shù)：

目前電信數(shù)據(jù)、物流數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)等社會(huì)資源日益增長(zhǎng)，無(wú)論是物流公司或者社區(qū)物業(yè)管理等企業(yè)各個(gè)內(nèi)部信息管理分析系統(tǒng)只是針對(duì)單一資源進(jìn)行查詢分析，相互孤立，缺乏信息共享。同時(shí)企業(yè)不同網(wǎng)點(diǎn)的業(yè)務(wù)分析系統(tǒng)分布在不同的網(wǎng)絡(luò)中，無(wú)法進(jìn)行數(shù)據(jù)共享，使用時(shí)需要切換不同的子系統(tǒng)分別進(jìn)行分析，再進(jìn)行人工匯總，使用過(guò)程中存在諸多不便，更加不能對(duì)可能存在關(guān)聯(lián)的不同業(yè)務(wù)數(shù)據(jù)進(jìn)行深度挖掘。上述局限性，不利于建立各行業(yè)的的信息化建設(shè)，資源不能實(shí)現(xiàn)共享及深度挖掘。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于針對(duì)現(xiàn)有通信行業(yè)中電信數(shù)據(jù)、物流數(shù)據(jù)、網(wǎng)絡(luò)數(shù)據(jù)等各個(gè)信息管理分析系統(tǒng)只是針對(duì)單一資源進(jìn)行查詢分析，相互孤立，缺乏信息共享的問(wèn)題，提供一種基于云平臺(tái)的多維數(shù)據(jù)融合分析系統(tǒng)及方法，該系統(tǒng)可以實(shí)現(xiàn)不同業(yè)務(wù)系統(tǒng)之間的信息共享及無(wú)縫連接，有效解決數(shù)據(jù)孤島和系統(tǒng)孤島問(wèn)題。

為實(shí)現(xiàn)本發(fā)明目的，本發(fā)明采用的技術(shù)方案是：一種基于云平臺(tái)的多維數(shù)據(jù)融合分析系統(tǒng)，包括數(shù)據(jù)源層、接入傳輸層、數(shù)據(jù)共享交換中心及大數(shù)據(jù)融合分析平臺(tái)，所述數(shù)據(jù)源層用以從業(yè)務(wù)系統(tǒng)中獲取所需數(shù)據(jù)，所述接入傳輸層用以將數(shù)據(jù)源層獲取的數(shù)據(jù)輸送至數(shù)據(jù)共享交換中心，所述數(shù)據(jù)共享交換中心包括數(shù)據(jù)的抽取模塊、清洗模塊及轉(zhuǎn)換模塊，所述抽取模塊用以融合各種數(shù)據(jù)資源，并將數(shù)據(jù)統(tǒng)一同步至系統(tǒng)數(shù)據(jù)中心；所述清洗模塊用以對(duì)同步至數(shù)據(jù)中心的數(shù)據(jù)按照統(tǒng)一元數(shù)據(jù)規(guī)范對(duì)各類數(shù)據(jù)進(jìn)行處理，所述轉(zhuǎn)換模塊用以對(duì)經(jīng)清洗模塊處理過(guò)的數(shù)據(jù)進(jìn)行格式的統(tǒng)一轉(zhuǎn)換；所述大數(shù)據(jù)融合分析平臺(tái)包括索引構(gòu)建模塊、分析挖掘模塊及布控預(yù)警模塊；所述索引構(gòu)建模塊用以對(duì)數(shù)據(jù)庫(kù)表中一列或多列的值進(jìn)行排序，并分析出該數(shù)據(jù)的關(guān)聯(lián)屬性；所述分析挖掘模塊用以結(jié)合查詢條件、選擇數(shù)據(jù)分析模型解析出滿足用戶需求的數(shù)據(jù)，所述布控預(yù)警模塊用以將位于數(shù)據(jù)中心的數(shù)據(jù)分發(fā)到數(shù)據(jù)預(yù)警中心，在數(shù)據(jù)預(yù)警中心中將數(shù)據(jù)與系統(tǒng)設(shè)定的預(yù)警模型進(jìn)行匹配，如果匹配成功，則發(fā)送該條數(shù)據(jù)信息到指定負(fù)責(zé)人。

基于上述技術(shù)方案，所述索引構(gòu)建模塊包括時(shí)間索引模塊、空間索引模塊、關(guān)系索引模塊及知識(shí)庫(kù)。

基于上述技術(shù)方案，所述數(shù)據(jù)源層獲取數(shù)據(jù)的方式為手動(dòng)導(dǎo)入、通過(guò)接口抽取的方式同步數(shù)據(jù)或者通過(guò)服務(wù)調(diào)用接口方式獲取數(shù)據(jù)中的一種。

基于上述技術(shù)方案，所述大數(shù)據(jù)融合分析平臺(tái)還包括權(quán)限管理模塊，所述權(quán)限管理模塊包括功能權(quán)限模塊和數(shù)據(jù)權(quán)限模塊，所述功能權(quán)限模塊用以對(duì)每一個(gè)功能模塊的每一項(xiàng)操作授權(quán)；所述數(shù)據(jù)權(quán)限模塊既用以對(duì)數(shù)據(jù)行的授權(quán)，又用以對(duì)數(shù)據(jù)字段的授權(quán)。

基于上述技術(shù)方案，所述權(quán)限管理模塊為基于GUID的隱式資源調(diào)度控制系統(tǒng)，系統(tǒng)處于安全狀態(tài)時(shí)，關(guān)鍵的功能將禁止使用URL來(lái)訪問(wèn)資源，而只能通過(guò)GUID訪問(wèn)資源，GUID到實(shí)體的轉(zhuǎn)換被內(nèi)置起來(lái)接受權(quán)限系統(tǒng)的保護(hù)。

一種建立數(shù)據(jù)之間關(guān)聯(lián)達(dá)到數(shù)據(jù)之間共享的方法，首先，建立基礎(chǔ)要素的知識(shí)庫(kù)信息，在數(shù)據(jù)導(dǎo)入的過(guò)程中，逐步從中提取有用的信息逐步構(gòu)建和完善知識(shí)庫(kù)百科信息及其行為模式；其次，在獲取到目標(biāo)對(duì)象的單個(gè)條件時(shí)，通過(guò)該獲取目標(biāo)對(duì)象關(guān)聯(lián)點(diǎn)的百科信息分析出與該關(guān)聯(lián)點(diǎn)相關(guān)的其他屬性，進(jìn)而關(guān)聯(lián)包含這些屬性的所有數(shù)據(jù)源。

本發(fā)明具備以下有益效果：本發(fā)明適用于物流、物業(yè)社區(qū)管理等各個(gè)行業(yè)中，具備通用性。本發(fā)明基于“云計(jì)算”架構(gòu)，為各業(yè)務(wù)系統(tǒng)提供統(tǒng)一接入平臺(tái)，系統(tǒng)首創(chuàng)“線索模型”，可根據(jù)分析模型智能深度挖掘，跨平臺(tái)整合多維信息，形成有價(jià)值的信息鏈。實(shí)現(xiàn)不同業(yè)務(wù)系統(tǒng)之間的信息共享及無(wú)縫連接，有效解決數(shù)據(jù)孤島和系統(tǒng)孤島問(wèn)題。

本系統(tǒng)采用接口接入的方式進(jìn)行融合，避免數(shù)據(jù)進(jìn)行多次存儲(chǔ)，節(jié)省數(shù)據(jù)存儲(chǔ)空間。本系統(tǒng)對(duì)其他各個(gè)業(yè)務(wù)系統(tǒng)的融合方式不同于當(dāng)下流行的“單點(diǎn)登錄”，單點(diǎn)登錄只是使用同一用戶登錄到統(tǒng)一平臺(tái)，但是針對(duì)各個(gè)業(yè)務(wù)數(shù)據(jù)的查詢分析還需要切換到業(yè)務(wù)系統(tǒng)中進(jìn)行操作，只是對(duì)用戶統(tǒng)一了登錄方式及口令，不能實(shí)現(xiàn)完全替代業(yè)務(wù)系統(tǒng)的目標(biāo)。本系統(tǒng)是對(duì)業(yè)務(wù)系統(tǒng)的完全融合，建立統(tǒng)一預(yù)警平臺(tái)、數(shù)據(jù)中心、流程管理、審查中心、用戶權(quán)限管理等。本系統(tǒng)完全可以替代已經(jīng)存在的各個(gè)業(yè)務(wù)系統(tǒng)如電信數(shù)據(jù)系統(tǒng)、物流系統(tǒng)、卡口系統(tǒng)等。針對(duì)以后新增加的數(shù)據(jù)源，無(wú)需重新針對(duì)其開(kāi)發(fā)新的應(yīng)用系統(tǒng)，只需要在本系統(tǒng)中進(jìn)行相應(yīng)的配置即可，配置完成后就可對(duì)新增數(shù)據(jù)源進(jìn)行數(shù)據(jù)分析挖掘。

附圖說(shuō)明

圖1是本發(fā)明基于云平臺(tái)的多維數(shù)據(jù)融合分析系統(tǒng)的結(jié)構(gòu)框架示意圖。

圖2是本發(fā)明消息告警流程示意圖。

具體實(shí)施方式

下面結(jié)合具體實(shí)施例對(duì)本發(fā)明做進(jìn)一步說(shuō)明，以便更好地理解本發(fā)明技術(shù)方案。

實(shí)施例1：一種基于云平臺(tái)的多維數(shù)據(jù)融合分析系統(tǒng)，參見(jiàn)圖1，包括數(shù)據(jù)源層、接入傳輸層、數(shù)據(jù)共享交換中心及大數(shù)據(jù)融合分析平臺(tái)，所述數(shù)據(jù)源層用以從業(yè)務(wù)系統(tǒng)中獲取所需數(shù)據(jù)，所述數(shù)據(jù)源層獲取的數(shù)據(jù)源可以為物流數(shù)據(jù)、路測(cè)數(shù)據(jù)、社區(qū)資源及卡口數(shù)據(jù)等，根據(jù)系統(tǒng)需要，還可以獲取其他類數(shù)據(jù)。獲取數(shù)據(jù)的方式有：1. 手動(dòng)導(dǎo)入：外部系統(tǒng)導(dǎo)出的數(shù)據(jù)，格式包括txt、excel、csv、dmp等，可導(dǎo)入到分析系統(tǒng)中。2. 通過(guò)接口抽取的方式同步數(shù)據(jù)，可采用實(shí)時(shí)、定時(shí)機(jī)制同步數(shù)據(jù)。3. 通過(guò)服務(wù)調(diào)用接口方式，實(shí)時(shí)從其他業(yè)務(wù)系統(tǒng)獲取所需數(shù)據(jù)。

在數(shù)據(jù)源層獲取的數(shù)據(jù)主要存在兩種類型：1）結(jié)構(gòu)化數(shù)據(jù)：現(xiàn)有RDBMS庫(kù)中的數(shù)據(jù)，關(guān)鍵數(shù)據(jù)少的部分，可以通過(guò)ETL層利用在線同步的方式同步到數(shù)據(jù)中心的分布式數(shù)據(jù)庫(kù)集群上。數(shù)據(jù)量大的部分，通過(guò)文件等方式傳送到數(shù)據(jù)中心的分布式數(shù)據(jù)庫(kù)集群中；或者通過(guò)接口實(shí)時(shí)調(diào)用的方式。2）非結(jié)構(gòu)化數(shù)據(jù)：各系統(tǒng)中相關(guān)的音頻、視頻、圖片等以及其他較大的文件。針對(duì)這類數(shù)據(jù)通過(guò)數(shù)據(jù)ETL層進(jìn)行交換處理，存放于數(shù)據(jù)中心的分布式文件系統(tǒng)(DFS)中，指定冗余度，可以同時(shí)實(shí)現(xiàn)統(tǒng)一存儲(chǔ)管理和冗余備份。而WEB平臺(tái)錄入的信息: 可以經(jīng)過(guò)ETL層的處理直接同步到數(shù)據(jù)中心的分布式數(shù)據(jù)集群中。

所述接入傳輸層用以將數(shù)據(jù)源層獲取數(shù)據(jù)輸送至數(shù)據(jù)共享交換中心，所述數(shù)據(jù)共享交換中心包括數(shù)據(jù)的抽取模塊、清洗模塊及轉(zhuǎn)換模塊，所述抽取模塊用以融合各種數(shù)據(jù)資源，通過(guò)手動(dòng)抽取、接口接入、服務(wù)調(diào)用等方式，統(tǒng)一同步至系統(tǒng)數(shù)據(jù)中心，所述清洗模塊用以對(duì)同步至數(shù)據(jù)中心的數(shù)據(jù)按照統(tǒng)一元數(shù)據(jù)規(guī)范對(duì)各類數(shù)據(jù)進(jìn)行處理，清洗模塊中的清洗工具具有以下功能：1）支持常見(jiàn)文件格式，至少包括txt文件、csv文件、excel文件、dmp文件等多種數(shù)據(jù)格式。2）相同數(shù)據(jù)、不同數(shù)據(jù)的轉(zhuǎn)換過(guò)程能夠自定義。3）能夠?qū)崿F(xiàn)數(shù)據(jù)格式的轉(zhuǎn)換，按照要求進(jìn)行標(biāo)準(zhǔn)化處理。4）數(shù)據(jù)規(guī)范化工具操作便利、界面直觀。5）數(shù)據(jù)格式化工作可自動(dòng)和人工進(jìn)行。所述轉(zhuǎn)換模塊用以對(duì)經(jīng)清洗模塊處理過(guò)的數(shù)據(jù)進(jìn)行格式的統(tǒng)一轉(zhuǎn)換。從數(shù)據(jù)源層獲取的數(shù)據(jù)先通過(guò)抽取模塊統(tǒng)一同步至系統(tǒng)數(shù)據(jù)中心，然后同步至系統(tǒng)數(shù)據(jù)中心的數(shù)據(jù)經(jīng)清洗模塊按照統(tǒng)一元數(shù)據(jù)規(guī)范對(duì)各類數(shù)據(jù)進(jìn)行處理，然后再統(tǒng)一進(jìn)入數(shù)據(jù)中心存儲(chǔ)，最后經(jīng)轉(zhuǎn)換模塊對(duì)數(shù)據(jù)統(tǒng)一格式、統(tǒng)一規(guī)范。

所述大數(shù)據(jù)融合分析平臺(tái)包括索引構(gòu)建模塊、分析挖掘模塊及布控預(yù)警模塊；所述索引構(gòu)建模塊包括時(shí)間索引模塊、空間索引模塊、關(guān)系索引模塊及知識(shí)庫(kù)，時(shí)間索引模塊、空間索引模塊、關(guān)系索引模塊均采用現(xiàn)有技術(shù)，例如：空間索引模塊指依據(jù)空間對(duì)象的位置和形狀或空間對(duì)象之間的某種空間關(guān)系按一定的順序排列的一種數(shù)據(jù)結(jié)構(gòu)；所述索引構(gòu)建模塊用以對(duì)數(shù)據(jù)庫(kù)表中一列或多列的值進(jìn)行排序，并分析出該數(shù)據(jù)的關(guān)聯(lián)屬性。

所述分析挖掘模塊用以結(jié)合查詢條件、選擇數(shù)據(jù)分析模型解析出滿足用戶需求。分析挖掘模塊分析事項(xiàng)很多，例如：對(duì)于物業(yè)管理公司來(lái)說(shuō)要分析的數(shù)據(jù)可以為以人或者社區(qū)為對(duì)象的分析：區(qū)域內(nèi)事件分析、移動(dòng)軌跡歷史查詢及區(qū)域內(nèi)出現(xiàn)頻次分析。其中區(qū)域內(nèi)事件分析包括區(qū)域內(nèi)社會(huì)活動(dòng)分析、進(jìn)入離開(kāi)區(qū)域分析，區(qū)域內(nèi)社會(huì)活動(dòng)分析：即某一特定區(qū)域內(nèi)發(fā)生的所有社會(huì)活動(dòng)信息。進(jìn)入離開(kāi)區(qū)域分析：特定時(shí)間段進(jìn)入或離開(kāi)某一區(qū)域的人群分析。區(qū)域內(nèi)出現(xiàn)頻次分析：通過(guò)對(duì)某一區(qū)域人群出現(xiàn)的頻次進(jìn)行分析，包含常駐人口分析、區(qū)域內(nèi)異常消失的人員分析等。移動(dòng)軌跡歷史查詢：通過(guò)其活動(dòng)歷史記錄，還原其原始運(yùn)動(dòng)軌跡。分析挖掘模塊可分析很多，并不僅限于以上所述，例如還可以對(duì)人員關(guān)系網(wǎng)絡(luò)、人移動(dòng)軌跡預(yù)測(cè)等進(jìn)行分析。而再如對(duì)于物流公司來(lái)說(shuō)，要分析的數(shù)據(jù)可以為以郵寄對(duì)象或者快遞員活動(dòng)軌跡為對(duì)象的分析。

所述布控預(yù)警模塊用以將位于數(shù)據(jù)中心的數(shù)據(jù)分發(fā)到數(shù)據(jù)預(yù)警中心，在數(shù)據(jù)預(yù)警中心中將數(shù)據(jù)與系統(tǒng)設(shè)定的預(yù)警模型進(jìn)行匹配，如果匹配成功，則發(fā)送該條數(shù)據(jù)信息到指定負(fù)責(zé)人。

所述大數(shù)據(jù)融合分析平臺(tái)還包括權(quán)限管理模塊，所述權(quán)限管理模塊包括功能權(quán)限模塊和數(shù)據(jù)權(quán)限模塊，所述功能權(quán)限模塊用以對(duì)每一個(gè)功能模塊的每一項(xiàng)操作授權(quán)；所述數(shù)據(jù)權(quán)限模塊既可以用以對(duì)數(shù)據(jù)行的授權(quán)，還可以用以對(duì)數(shù)據(jù)字段的授權(quán)。權(quán)限分配還可以根據(jù)功能或者數(shù)據(jù)的元數(shù)據(jù)信息，成批的對(duì)數(shù)據(jù)和功能進(jìn)行權(quán)限分配，支持用戶自定義角色，根據(jù)角色加載相關(guān)權(quán)限的菜單、工具條，并在執(zhí)行的過(guò)程中進(jìn)行檢查與限制，為用戶搭建應(yīng)用系統(tǒng)提供權(quán)限的分配。

本實(shí)施例中權(quán)限管理模塊為基于GUID的隱式資源調(diào)度控制系統(tǒng)，系統(tǒng)處于安全狀態(tài)時(shí)，關(guān)鍵的功能將禁止使用URL來(lái)訪問(wèn)資源，而只能通過(guò)GUID訪問(wèn)資源，GUID到實(shí)體的轉(zhuǎn)換被內(nèi)置起來(lái)接受權(quán)限系統(tǒng)的保護(hù)。

本實(shí)施例的多維數(shù)據(jù)融合分析系統(tǒng)采用先進(jìn)的J2EE技術(shù)架構(gòu)，基于多層軟件構(gòu)架(即表示層、業(yè)務(wù)層、控制層)，其中表示層采用jquery、easyui等框架；控制層、業(yè)務(wù)層采用jfinal框架。采用面向服務(wù)的集成各種應(yīng)用系統(tǒng)，能夠?yàn)橛脩籼峁┫冗M(jìn)實(shí)用、安全可靠、便于兼容、易于擴(kuò)展的應(yīng)用解決方案。大數(shù)據(jù)分析平臺(tái)基于Web程序，用戶訪問(wèn)只需要通過(guò)瀏覽器訪問(wèn)即可，避免了用戶安裝所需軟件環(huán)境的麻煩。

J2EE(Java 2 Platform Enterprise Edition)是Java2平臺(tái)企業(yè)版。J2EE是一套全然不同于傳統(tǒng)應(yīng)用開(kāi)發(fā)的技術(shù)架構(gòu)，包含大量組件，可簡(jiǎn)化且規(guī)范應(yīng)用系統(tǒng)的開(kāi)發(fā)與部署，進(jìn)而提高可移植性、伸縮性、安全性與再用價(jià)值。J2EE核心是一組技術(shù)規(guī)范與指南，其中所包含的各類組件、服務(wù)架構(gòu)及技術(shù)層次，均有共同的標(biāo)準(zhǔn)及規(guī)格，讓各種遵循J2EE架構(gòu)開(kāi)發(fā)的軟件存在良好的兼容性，解決過(guò)去使用的軟件產(chǎn)品彼此之間無(wú)法兼容、導(dǎo)致內(nèi)部或外部應(yīng)用難以互通的窘境。J2EE企業(yè)級(jí)應(yīng)用的不同部分納入不同的容器(Container)，每個(gè)容器中都包含若干組件(這些組件是需要部署在相應(yīng)容器中的)，同時(shí)各種組件都能使用各種J2EE Service與API。J2EE容器與相應(yīng)的組件可以部署在網(wǎng)絡(luò)中的任一服務(wù)器上，具有良好的可伸縮性。J2EE組件的安全是由各自的容器來(lái)負(fù)責(zé)的，組件的開(kāi)發(fā)人員幾乎可以不用或者很少在組件中添加有關(guān)安全的代碼。這種安全邏輯和業(yè)務(wù)邏輯相對(duì)獨(dú)立的架構(gòu)，使得企業(yè)級(jí)應(yīng)用系統(tǒng)有更好的靈活性和擴(kuò)展性 。

本實(shí)施例建立數(shù)據(jù)之間的關(guān)聯(lián)達(dá)到數(shù)據(jù)之間的共享的方法為：首先建立基礎(chǔ)要素的知識(shí)庫(kù)信息，在數(shù)據(jù)導(dǎo)入的過(guò)程中，逐步從中提取有用的信息逐步構(gòu)建和完善知識(shí)庫(kù)百科信息及其行為模式；其次，在獲取到目標(biāo)對(duì)象的單個(gè)條件時(shí)，通過(guò)該獲取目標(biāo)對(duì)象關(guān)聯(lián)點(diǎn)的百科信息分析出與該關(guān)聯(lián)點(diǎn)相關(guān)的其他屬性，進(jìn)而關(guān)聯(lián)包含這些屬性的所有數(shù)據(jù)源。例如，對(duì)于社區(qū)的物業(yè)管理來(lái)說(shuō)，主要建立社區(qū)人員的知識(shí)庫(kù)信息。

如圖2所示，使用本實(shí)施例基于云平臺(tái)的多維數(shù)據(jù)融合分析系統(tǒng)的消息告警流程為：業(yè)務(wù)系統(tǒng)需要先將消息類型注冊(cè)到大數(shù)據(jù)融合分析平臺(tái)，用戶可根據(jù)需要訂閱這些消息，當(dāng)具體業(yè)務(wù)系統(tǒng)發(fā)出告警信息時(shí)，發(fā)送信息到MQ消息中間件，MQ消息中間件自動(dòng)推送消息到大數(shù)據(jù)融合分析平臺(tái)，平臺(tái)根據(jù)該消息的訂閱者自動(dòng)推送給相應(yīng)的用戶。