本發(fā)明涉及一種基于人機交互的大數(shù)據(jù)可視化系統(tǒng)及其控制方法,屬于數(shù)據(jù)處理的技術領域。
背景技術:
當前關于大數(shù)據(jù)可視化應用的討論大多集中在業(yè)務和行業(yè)領域,例如,應用在商業(yè)智能、政府決策、公共服務、市場營銷等業(yè)務領域,應用在金融行業(yè)、電力行業(yè)、通訊行業(yè)、工業(yè)制造、醫(yī)療保健等行業(yè)領域等。數(shù)據(jù)可視化可以使數(shù)據(jù)變得更有意義,而且可視化也可以使數(shù)據(jù)變得更容易理解。數(shù)據(jù)可視化軟件正幫助越來越多的企業(yè)從浩如煙海的復雜數(shù)據(jù)中理出頭緒,化繁為簡,從而實現(xiàn)更有效的決策過程。
數(shù)據(jù)可視化工具能夠以一種簡便易用的方式將復雜的數(shù)據(jù)呈現(xiàn)出來。在可視化展示中支持人機交互的可視化系統(tǒng),更能符合不同用戶的可視化需求。
但目前數(shù)據(jù)可視化系統(tǒng)存在不足,如申請?zhí)枮?01310325767.7,名稱為用于數(shù)據(jù)可視化的描述性框架的文件中,公開的一種用來便利數(shù)據(jù)可視化的系統(tǒng)框架,該框架提供了多個模塊清單,每個模塊清單表示可視化的特定組件。其中圖清單可以用來協(xié)調一個或多個模塊清單??梢曰趫D清單來呈現(xiàn)可視化。但其存在的缺陷是不能處理大規(guī)模數(shù)據(jù)的可視化要求以及不能實現(xiàn)可視化的人機交互。
因此,目前可視化系統(tǒng)存在缺陷,對于本地數(shù)據(jù)或導入的數(shù)據(jù),無法根據(jù)數(shù)據(jù)特點和顯示要求的不同,無法通過人機交互匹配選擇合適的可視化算法進行可視化效果的展示,導致系統(tǒng)的可視化性能低。
技術實現(xiàn)要素:
本發(fā)明所要解決的技術問題在于克服現(xiàn)有技術的不足,提供一種基于人機交互的大數(shù)據(jù)可視化系統(tǒng)及其控制方法,解決無法根據(jù)數(shù)據(jù)特點和顯示要求的不同,無法通過人機交互匹配選擇合適的可視化算法進行可視化效果的展示的問題。
本發(fā)明具體采用以下技術方案解決上述技術問題:
一種基于人機交互的大數(shù)據(jù)可視化系統(tǒng),可視化層、交互層、支撐層、大數(shù)據(jù)平臺層、資源層;其中,
所述可視化層包括數(shù)據(jù)選擇模塊和顯示模塊,所述數(shù)據(jù)選擇模塊,用于為用戶提供基于數(shù)據(jù)源的數(shù)據(jù)搜索和數(shù)據(jù)選擇,生成用戶所需數(shù)據(jù)請求;所述顯示模塊,用于為用戶提供數(shù)據(jù)源顯示,及接收和顯示數(shù)據(jù)傳遞模塊所轉發(fā)的反饋數(shù)據(jù);
所述交互層,包括數(shù)據(jù)傳遞模塊和數(shù)據(jù)編輯模塊,所述數(shù)據(jù)傳遞模塊用于傳輸用戶所需數(shù)據(jù)請求,及轉發(fā)來自數(shù)據(jù)編輯模塊編輯后的反饋數(shù)據(jù);所述數(shù)據(jù)編輯模塊,用于對消息處理模塊發(fā)送的反饋數(shù)據(jù)進行格式編輯;
所述支撐層,包括消息處理模塊、數(shù)據(jù)轉換模塊、算法匹配模塊、表單處理模塊,所述消息處理模塊,用于接收用戶所需數(shù)據(jù)請求,及將接收的反饋數(shù)據(jù)作為應答用戶請求進行發(fā)送;所述數(shù)據(jù)轉換模塊,用于根據(jù)用戶所需數(shù)據(jù)請求中用戶所選擇的數(shù)據(jù)轉換為用戶通用數(shù)據(jù)格式數(shù)據(jù);所述算法匹配模塊,用于預先根據(jù)數(shù)據(jù)屬性將數(shù)據(jù)與算法進行映射匹配,及根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)查詢和提取與其匹配的算法;所述表單處理模塊,用于根據(jù)提取的匹配算法形成表單;
所述大數(shù)據(jù)平臺層,包括關系數(shù)據(jù)交換模塊、存儲及優(yōu)化模塊、數(shù)據(jù)計算模塊,所述關系數(shù)據(jù)交換模塊,用于導入所述用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單;所述存儲及優(yōu)化模塊,用于將導入的用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單優(yōu)化后存儲在數(shù)據(jù)庫;所述數(shù)據(jù)計算模塊,用于根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單訪問本地數(shù)據(jù)源獲得訪問數(shù)據(jù),及對訪問的數(shù)據(jù)進行并行計算和將計算所得數(shù)據(jù)作為反饋數(shù)據(jù)發(fā)送至消息處理模塊;
所述資源層,包括用于提供本地數(shù)據(jù)源的服務器。
進一步地,作為本發(fā)明的一種優(yōu)選技術方案:所述交互層還包括導入模塊,所述導入模塊用于導入外部數(shù)據(jù)源和外部匹配算法。
進一步地,作為本發(fā)明的一種優(yōu)選技術方案:所述算法匹配模塊還包括根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)重復執(zhí)行查詢,提取在最大相似度下的數(shù)據(jù)所匹配的算法。
本發(fā)明還提出一種基于所述基于人機交互的大數(shù)據(jù)可視化系統(tǒng)的控制方法,包括以下步驟:
步驟1、將數(shù)據(jù)源顯示,及讀取用戶基于數(shù)據(jù)源的數(shù)據(jù)搜索和數(shù)據(jù)選擇,獲得用戶所需數(shù)據(jù)請求;
步驟2、接收用戶所需數(shù)據(jù)請求,及根據(jù)用戶所需數(shù)據(jù)請求中用戶所選擇的數(shù)據(jù)轉換為用戶通用數(shù)據(jù)格式數(shù)據(jù);
步驟3、預先根據(jù)數(shù)據(jù)屬性將數(shù)據(jù)與算法進行映射匹配,及根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)查詢和提取與其匹配的算法,并根據(jù)提取的匹配算法形成表單;
步驟4、導入所述用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單,并優(yōu)化后存儲在數(shù)據(jù)庫;根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單訪問本地數(shù)據(jù)源獲得訪問數(shù)據(jù),及對訪問的數(shù)據(jù)進行并行計算和將計算所得數(shù)據(jù)作為反饋數(shù)據(jù)發(fā)送;
步驟5、將反饋數(shù)據(jù)進行格式編輯后顯示。
進一步地,作為本發(fā)明的一種優(yōu)選技術方案:所述步驟3還包括導入和編輯外部數(shù)據(jù)源和外部匹配算法,及將編輯后的外部數(shù)據(jù)源和外部匹配算法提供于查詢和提取。
進一步地,作為本發(fā)明的一種優(yōu)選技術方案:所述步驟3還包括根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)重復執(zhí)行查詢,提取在最大相似度下的數(shù)據(jù)所匹配的算法。
本發(fā)明采用上述技術方案,能產生如下技術效果:
本發(fā)明提供的基于人機交互的大數(shù)據(jù)可視化系統(tǒng)及其控制方法,根據(jù)數(shù)據(jù)的特點和顯示要求,用戶可以通過此系統(tǒng)架構將數(shù)據(jù)集中不同的數(shù)據(jù)維度映射到視覺元素的不同屬性中,根據(jù)不同的需求匹配算法,根據(jù)生成的xml數(shù)據(jù)運用javascript等技術得到想要的靜態(tài)視圖和動態(tài)視圖提高了人機交互。系統(tǒng)采用大數(shù)據(jù)平臺提高了系統(tǒng)運行速度,使得數(shù)據(jù)可更準確和快速的進行顯示。有效可以解決根據(jù)數(shù)據(jù)特點和顯示要求的不同,通過人機交互匹配選擇合適的可視化算法進行可視化效果的展示的問題。
附圖說明
圖1為本發(fā)明的基于人機交互的大數(shù)據(jù)可視化系統(tǒng)的模塊示意圖。
具體實施方式
下面結合說明書附圖對本發(fā)明的實施方式進行描述。
如圖1所示,本發(fā)明設計了一種基于人機交互的大數(shù)據(jù)可視化系統(tǒng),可視化層、交互層、支撐層、大數(shù)據(jù)平臺層、資源層;其中,
所述可視化層包括數(shù)據(jù)選擇模塊和顯示模塊,所述數(shù)據(jù)選擇模塊,用于為用戶提供基于數(shù)據(jù)源的數(shù)據(jù)搜索和數(shù)據(jù)選擇,生成用戶所需數(shù)據(jù)請求;所述顯示模塊,用于為用戶提供數(shù)據(jù)源顯示,及接收和顯示數(shù)據(jù)傳遞模塊所轉發(fā)的反饋數(shù)據(jù);
所述交互層,包括數(shù)據(jù)傳遞模塊和數(shù)據(jù)編輯模塊,所述數(shù)據(jù)傳遞模塊用于傳輸用戶所需數(shù)據(jù)請求,及轉發(fā)來自數(shù)據(jù)編輯模塊編輯后的反饋數(shù)據(jù);所述數(shù)據(jù)編輯模塊,用于對消息處理模塊發(fā)送的反饋數(shù)據(jù)進行格式編輯;
所述支撐層,包括消息處理模塊、數(shù)據(jù)轉換模塊、算法匹配模塊、表單處理模塊,所述消息處理模塊,用于接收用戶所需數(shù)據(jù)請求,及將接收的反饋數(shù)據(jù)作為應答用戶請求進行發(fā)送;所述數(shù)據(jù)轉換模塊,用于根據(jù)用戶所需數(shù)據(jù)請求中用戶所選擇的數(shù)據(jù)轉換為用戶通用數(shù)據(jù)格式數(shù)據(jù);所述算法匹配模塊,用于預先根據(jù)數(shù)據(jù)屬性將數(shù)據(jù)與算法進行映射匹配,及根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)查詢和提取與其匹配的算法;所述表單處理模塊,用于根據(jù)提取的匹配算法形成表單;
所述大數(shù)據(jù)平臺層,包括關系數(shù)據(jù)交換模塊、存儲及優(yōu)化模塊、數(shù)據(jù)計算模塊,所述關系數(shù)據(jù)交換模塊,用于導入所述用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單;所述存儲及優(yōu)化模塊,用于將導入的用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單優(yōu)化后存儲在數(shù)據(jù)庫;所述數(shù)據(jù)計算模塊,用于根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單訪問本地數(shù)據(jù)源獲得訪問數(shù)據(jù),及對訪問的數(shù)據(jù)進行并行計算和將計算所得數(shù)據(jù)作為反饋數(shù)據(jù)發(fā)送至消息處理模塊;
所述資源層,包括用于提供本地數(shù)據(jù)源的服務器。
該系統(tǒng)的原理是:本系統(tǒng)提供的可視化層可以將數(shù)據(jù)的可視化,并且根據(jù)用戶的需求,提供給用戶進行數(shù)據(jù)搜索和選擇,根據(jù)用戶的需要將數(shù)據(jù)交由交互層傳遞至支撐層,并接受和顯示來自消息處理模塊的反饋數(shù)據(jù),使得可以根據(jù)用戶需要顯示出數(shù)據(jù),在可視化時,用戶可以數(shù)據(jù)選擇模塊進行可視化控制,從而達到可視化時的可定制數(shù)據(jù)顯示。交互層為可視化層提供xml格式數(shù)據(jù),使其反饋的數(shù)據(jù)可以經數(shù)據(jù)編輯模塊編輯后,形成xml格式數(shù)據(jù),以便可視化層準確地顯示。支撐層為可視化層和大數(shù)據(jù)平臺層提供支撐的基礎能力,消息處理模塊負責接收用戶所需數(shù)據(jù)請求,交由數(shù)據(jù)轉換模塊將用戶所選擇的數(shù)據(jù)轉換為用戶通用數(shù)據(jù)格式數(shù)據(jù);算法匹配模塊預先根據(jù)數(shù)據(jù)屬性將數(shù)據(jù)與算法進行映射匹配,將數(shù)據(jù)集中不同的數(shù)據(jù)維度映射到視覺元素的不同屬性中,根據(jù)不同的需求匹配算法,使得數(shù)據(jù)可以對應不同的算法,使得通過此模塊對數(shù)據(jù)和算法進行合理的映射,以期達到最優(yōu)的可視化效果。表單處理模塊提取的匹配算法形成表單。
系統(tǒng)中,大數(shù)據(jù)平臺層主要進行數(shù)據(jù)地交互,關系數(shù)據(jù)交換模塊可實現(xiàn)數(shù)據(jù)導入功能,如關系數(shù)據(jù)交換工具sqoop導入數(shù)據(jù),即導入所述用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單;之后,存儲及優(yōu)化模塊對大數(shù)據(jù)平臺上的海量數(shù)據(jù)進行存儲優(yōu)化,再將數(shù)據(jù)存儲在數(shù)據(jù)庫hive中,通過數(shù)據(jù)庫hive的分區(qū)等功能實現(xiàn)數(shù)據(jù)存儲優(yōu)化,提高訪問效率。然后數(shù)據(jù)計算模塊通過jdbc的方式訪問本地數(shù)據(jù)源和數(shù)據(jù)庫hive中的數(shù)據(jù),之后對訪問的數(shù)據(jù)通過mapreduce并行計算,將計算所得數(shù)據(jù)作為反饋數(shù)據(jù)發(fā)送至消息處理模塊,再由消息處理模塊接收的反饋數(shù)據(jù)作為應答用戶請求進行發(fā)送;可視化層顯示來自消息處理模塊的反饋數(shù)據(jù)。
進一步地,所述系統(tǒng)的交互層還包括導入模塊,所述導入模塊用于導入外部數(shù)據(jù)源和外部匹配算法。該交互層主要幫助擴展數(shù)據(jù)源和匹配算法,當系統(tǒng)本地的數(shù)據(jù)源無法滿足用戶需求時,可以通過導入方式增加數(shù)據(jù)源和匹配算法的導入和編輯,可以方便用戶將系統(tǒng)架構外部的文本數(shù)據(jù)導入到系統(tǒng)架構內部,和外部算法的導入;并且為用戶提供一個算法編輯功能,通過編寫的算法可以與支撐層進行數(shù)據(jù)的傳遞和交互。
以及,所述支撐層中,算法匹配模塊還包括根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)重復執(zhí)行查詢,提取在最大相似度下的數(shù)據(jù)所匹配的算法。使得將算法生成可執(zhí)行算法類,更符合用戶的可視化需求。
在可視化系統(tǒng)的基礎上,本發(fā)明還提供一種基于人機交互的大數(shù)據(jù)可視化系統(tǒng)的控制方法,包括以下步驟:
步驟1、首先將數(shù)據(jù)源顯示,及讀取用戶基于數(shù)據(jù)源的數(shù)據(jù)搜索和數(shù)據(jù)選擇,獲得用戶所需數(shù)據(jù)請求。用戶可以選擇系統(tǒng)架構內部中的本地數(shù)據(jù)源,也可以選擇外部數(shù)據(jù)源;無論是外部數(shù)據(jù)源還是本地數(shù)據(jù)源,都需要通過將數(shù)據(jù)讀入,提供給用戶搜索和選擇。
步驟2、接收用戶所需數(shù)據(jù)請求,及根據(jù)用戶所需數(shù)據(jù)請求中用戶所選擇的數(shù)據(jù)轉換為用戶通用數(shù)據(jù)格式數(shù)據(jù);
步驟3、預先根據(jù)數(shù)據(jù)屬性將數(shù)據(jù)與算法進行映射匹配,及根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)查詢和提取與其匹配的算法,并根據(jù)提取的匹配算法形成表單;其中,提取的算法是根據(jù)用戶的選擇條件,選出滿足條件的數(shù)據(jù)行,對于不滿足條件的數(shù)據(jù),則給予排除。在數(shù)據(jù)處理過程中,要求盡量減少冗余數(shù)據(jù)和無效數(shù)據(jù),提高數(shù)據(jù)質量。
步驟4、導入所述用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單,并優(yōu)化后存儲在數(shù)據(jù)庫;根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)和表單訪問本地數(shù)據(jù)源獲得訪問數(shù)據(jù),及對訪問的數(shù)據(jù)進行并行計算和將計算所得數(shù)據(jù)作為反饋數(shù)據(jù)發(fā)送;
步驟5、將反饋數(shù)據(jù)進行格式編輯后顯示。將反饋數(shù)據(jù)轉換成xml格式數(shù)據(jù),選擇需要的可視化算法對數(shù)據(jù)進行可視化視圖顯示。
若用戶對最后的可視化效果需要重新選擇,用戶可以重復步驟1至5的過程進行可視化控制,由數(shù)據(jù)進行搜索和選擇,直到可視化效果達到用戶的要求。最終,使得用戶通過可以通過本方法獲取可視化地數(shù)據(jù)顯示,根據(jù)生成的xml給數(shù)據(jù)運用javascript等技術得到想要的靜態(tài)視圖和動態(tài)可視化視圖。
并且,所述步驟3還包括導入和編輯外部數(shù)據(jù)源和外部匹配算法,及將編輯后的外部數(shù)據(jù)源和外部匹配算法提供于查詢和提取。
進一步地,所述步驟3還包括根據(jù)用戶通用數(shù)據(jù)格式數(shù)據(jù)重復執(zhí)行查詢,提取在最大相似度下的數(shù)據(jù)所匹配的算法。
綜上,本發(fā)明提供的基于人機交互的大數(shù)據(jù)可視化系統(tǒng)及其控制方法,根據(jù)數(shù)據(jù)的特點和顯示要求,用戶可以通過此系統(tǒng)架構將數(shù)據(jù)集中不同的數(shù)據(jù)維度映射到視覺元素的不同屬性中,根據(jù)不同的需求匹配算法,根據(jù)生成的xml數(shù)據(jù)運用javascript等技術得到想要的靜態(tài)視圖和動態(tài)視圖提高了人機交互。系統(tǒng)采用大數(shù)據(jù)平臺提高了系統(tǒng)運行速度,使得數(shù)據(jù)可更準確和快速的進行顯示。
上面結合附圖對本發(fā)明的實施方式作了詳細說明,但是本發(fā)明并不限于上述實施方式,在本領域普通技術人員所具備的知識范圍內,還可以在不脫離本發(fā)明宗旨的前提下做出各種變化。