本發(fā)明涉及數(shù)據(jù)管理領(lǐng)域,具體涉及使用云存儲(chǔ)的數(shù)據(jù)管理裝置。
背景技術(shù):
隨著信息技術(shù)的發(fā)展以及互聯(lián)網(wǎng)的普及,數(shù)據(jù)呈爆炸式增長(zhǎng),尤其是近年來(lái)社交網(wǎng)絡(luò)的快速發(fā)展使得數(shù)據(jù)急劇增長(zhǎng)。云存儲(chǔ)技術(shù)的提出與發(fā)展為信息安全大數(shù)據(jù)的處理開(kāi)辟了新的路徑。云存儲(chǔ)平臺(tái)能夠向用戶提供強(qiáng)大的存儲(chǔ)服務(wù),用戶僅通過(guò)Web瀏覽器便可進(jìn)行存儲(chǔ)服務(wù)申請(qǐng),然后上傳數(shù)據(jù),最終由平臺(tái)反饋數(shù)據(jù)。目前對(duì)數(shù)據(jù)管理的云存儲(chǔ)研究還處于起步階段,基于云存儲(chǔ)的數(shù)據(jù)管理裝置亟待開(kāi)發(fā)。
技術(shù)實(shí)現(xiàn)要素:
針對(duì)上述問(wèn)題,本發(fā)明提供使用云存儲(chǔ)的數(shù)據(jù)管理裝置。
本發(fā)明的目的采用以下技術(shù)方案來(lái)實(shí)現(xiàn):
使用云存儲(chǔ)的數(shù)據(jù)管理裝置,包括云存儲(chǔ)系統(tǒng)和數(shù)據(jù)管理系統(tǒng),其中,云存儲(chǔ)系統(tǒng)包括:
注冊(cè)單元,用于處理各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)的注冊(cè)請(qǐng)求,并為注冊(cè)通過(guò)的每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)綁定一個(gè)已注冊(cè)的存儲(chǔ)牌照;
請(qǐng)求解析單元,用于接收用戶端發(fā)送的數(shù)據(jù)請(qǐng)求,基于所有已注冊(cè)的存儲(chǔ)牌照對(duì)該數(shù)據(jù)請(qǐng)求進(jìn)行解析;
請(qǐng)求轉(zhuǎn)發(fā)單元,用于基于解析結(jié)果將該數(shù)據(jù)請(qǐng)求轉(zhuǎn)發(fā)給相應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行處理,獨(dú)立云存儲(chǔ)系統(tǒng)基于該數(shù)據(jù)請(qǐng)求進(jìn)行數(shù)據(jù)處理后返回處理結(jié)果給用戶端。
優(yōu)選地,所述存儲(chǔ)牌照包括以下信息:牌照ID、發(fā)布者、接收者、數(shù)字證書(shū)以及有效時(shí)間,每個(gè)存儲(chǔ)牌照的牌照ID互不相同;所述數(shù)據(jù)請(qǐng)求包括以下信息:數(shù)據(jù)請(qǐng)求ID、處理者、數(shù)據(jù)請(qǐng)求信息、響應(yīng)信息。
優(yōu)選地,所述注冊(cè)單元包括:
存儲(chǔ)牌照生成單元:用于接收各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)分別發(fā)送的注冊(cè)請(qǐng)求,針對(duì)每個(gè)注冊(cè)請(qǐng)求,將所述牌照ID、發(fā)布者、數(shù)字證書(shū)以及有效時(shí)間寫(xiě)入一個(gè)存儲(chǔ)牌照中并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng);
存儲(chǔ)牌照驗(yàn)證單元:用于對(duì)各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)返回的寫(xiě)入有各自的系統(tǒng)信息作為所述接收者的存儲(chǔ)牌照進(jìn)行驗(yàn)證,并在某個(gè)存儲(chǔ)牌照驗(yàn)證通過(guò)時(shí)將該存儲(chǔ)牌照設(shè)為已注冊(cè)的存儲(chǔ)牌照并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行存儲(chǔ),每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)基于存儲(chǔ)的已注冊(cè)的存儲(chǔ)牌照注冊(cè)到該統(tǒng)一云存儲(chǔ)系統(tǒng)中。
有益效果:
1、設(shè)置信息共享服務(wù)平臺(tái),有效解決了集中式服務(wù)管理造成的壓力集中,大量服務(wù)難以管理等問(wèn)題;
2、設(shè)置信息存儲(chǔ)模塊,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),不需要了解具體的存儲(chǔ)設(shè)備信息,不需要考慮數(shù)據(jù)備份和冗余等問(wèn)題,節(jié)約了時(shí)間成本和存儲(chǔ)成本;
3、設(shè)置服務(wù)分類管理模塊,通過(guò)創(chuàng)建服務(wù)目錄,解決了以往檢索準(zhǔn)確率低和耗費(fèi)時(shí)間長(zhǎng)的問(wèn)題;
4、設(shè)置服務(wù)查詢檢索模塊,采用向量檢索算法,提高了檢索精確度,實(shí)現(xiàn)了服務(wù)名稱和服務(wù)功能相匹配的檢索;
5、設(shè)置信息安全服務(wù)平臺(tái),通過(guò)數(shù)據(jù)安全處理層和數(shù)據(jù)服務(wù)層對(duì)數(shù)據(jù)進(jìn)行加密處理,提高了信息安全度;
6、在平臺(tái)部署層中設(shè)置訪問(wèn)安全控制模塊,大大提高了信息安全大數(shù)據(jù)管理系統(tǒng)的安全性。
附圖說(shuō)明
利用附圖對(duì)本發(fā)明作進(jìn)一步說(shuō)明,但附圖中的實(shí)施例不構(gòu)成對(duì)本發(fā)明的任何限制,對(duì)于本領(lǐng)域的普通技術(shù)人員,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)以下附圖獲得其它的附圖。
圖1是本發(fā)明的云存儲(chǔ)系統(tǒng)連接示意圖。
圖2是本發(fā)明的數(shù)據(jù)管理系統(tǒng)連接示意圖。
附圖標(biāo)記:平臺(tái)接口層-10;平臺(tái)管理層20;平臺(tái)部署層30;數(shù)據(jù)安全處理層40;數(shù)據(jù)服務(wù)層50;信息存儲(chǔ)模塊21;服務(wù)分類模塊22;服務(wù)查詢檢索模塊23;訪問(wèn)安全控制模塊31。
具體實(shí)施方式
結(jié)合以下實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述。
實(shí)施例1
參見(jiàn)圖1,圖2,本實(shí)施例的使用云存儲(chǔ)的數(shù)據(jù)管理裝置,包括云存儲(chǔ)系統(tǒng)和數(shù)據(jù)管理系統(tǒng),其中,云存儲(chǔ)系統(tǒng)包括:
注冊(cè)單元,用于處理各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)的注冊(cè)請(qǐng)求,并為注冊(cè)通過(guò)的每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)綁定一個(gè)已注冊(cè)的存儲(chǔ)牌照;
請(qǐng)求解析單元,用于接收用戶端發(fā)送的數(shù)據(jù)請(qǐng)求,基于所有已注冊(cè)的存儲(chǔ)牌照對(duì)該數(shù)據(jù)請(qǐng)求進(jìn)行解析;
請(qǐng)求轉(zhuǎn)發(fā)單元,用于基于解析結(jié)果將該數(shù)據(jù)請(qǐng)求轉(zhuǎn)發(fā)給相應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行處理,獨(dú)立云存儲(chǔ)系統(tǒng)基于該數(shù)據(jù)請(qǐng)求進(jìn)行數(shù)據(jù)處理后返回處理結(jié)果給用戶端。
優(yōu)選地,所述存儲(chǔ)牌照包括以下信息:牌照ID、發(fā)布者、接收者、數(shù)字證書(shū)以及有效時(shí)間,每個(gè)存儲(chǔ)牌照的牌照ID互不相同;所述數(shù)據(jù)請(qǐng)求包括以下信息:數(shù)據(jù)請(qǐng)求ID、處理者、數(shù)據(jù)請(qǐng)求信息、響應(yīng)信息。
優(yōu)選地,所述注冊(cè)單元包括:
存儲(chǔ)牌照生成單元:用于接收各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)分別發(fā)送的注冊(cè)請(qǐng)求,針對(duì)每個(gè)注冊(cè)請(qǐng)求,將所述牌照ID、發(fā)布者、數(shù)字證書(shū)以及有效時(shí)間寫(xiě)入一個(gè)存儲(chǔ)牌照中并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng);
存儲(chǔ)牌照驗(yàn)證單元:用于對(duì)各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)返回的寫(xiě)入有各自的系統(tǒng)信息作為所述接收者的存儲(chǔ)牌照進(jìn)行驗(yàn)證,并在某個(gè)存儲(chǔ)牌照驗(yàn)證通過(guò)時(shí)將該存儲(chǔ)牌照設(shè)為已注冊(cè)的存儲(chǔ)牌照并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行存儲(chǔ),每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)基于存儲(chǔ)的已注冊(cè)的存儲(chǔ)牌照注冊(cè)到該統(tǒng)一云存儲(chǔ)系統(tǒng)中。
優(yōu)選地,數(shù)據(jù)管理系統(tǒng)包括信息共享服務(wù)平臺(tái)和信息安全服務(wù)平臺(tái),所述信息共享服務(wù)平臺(tái)包括平臺(tái)接口層10、平臺(tái)管理層20和平臺(tái)部署層30,所述信息安全服務(wù)平臺(tái)包括數(shù)據(jù)安全處理層40和數(shù)據(jù)服務(wù)層50;
所述平臺(tái)接口層10通過(guò)對(duì)外提供統(tǒng)一的接口,實(shí)現(xiàn)用戶進(jìn)行數(shù)據(jù)的發(fā)布、查詢和獲取;
所述平臺(tái)管理層20用于管理由數(shù)據(jù)安全處理模塊處理后的數(shù)據(jù),包括依次連接的信息存儲(chǔ)模塊21、服務(wù)分類管理模塊22和服務(wù)查詢檢索模塊23:
(1)信息存儲(chǔ)模塊21,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),形成虛擬的存儲(chǔ)資源池并協(xié)調(diào)配置存儲(chǔ)資源;
(2)服務(wù)分類管理模塊22,用于對(duì)具有相似特征的服務(wù)進(jìn)行分類并形成服務(wù)目錄,采用的算法為:
設(shè)有服務(wù)集F={f1,…,fn},服務(wù)集中的每個(gè)服務(wù)用m個(gè)屬性來(lái)描述,則有fi=(fi1,…,fim),fi∈Rm,其中,R表示實(shí)數(shù),m的取值范圍為[4,8],i=1,…,n;
step1確定聚類個(gè)數(shù)k,隨機(jī)選擇k個(gè)對(duì)象{t1,…,tk}作為聚類中心,則有tj=(tj1,…,tjm),tj∈Rm,其中,j=1,…,k;
step2對(duì)于每個(gè)服務(wù)fi,計(jì)算其相對(duì)應(yīng)分類:
式中,ci表示服務(wù)fi與k個(gè)類中距離最近的類,當(dāng)滿足條件的ci不止一個(gè),則服務(wù)fi同時(shí)對(duì)應(yīng)多個(gè)分類;
step3對(duì)于每個(gè)聚類j,重新計(jì)算該類的聚類中心:
當(dāng)聚類j中含有的服務(wù)均只屬于一類,則有:
當(dāng)聚類j中有服務(wù)同時(shí)屬于w個(gè)分類,則有:
式中,{ci=j(luò)}表示對(duì)應(yīng)于聚類j的服務(wù),{ci=j(luò)w}表示服務(wù)同時(shí)對(duì)應(yīng)于w個(gè)聚類,其中2≤w≤k;
step4重復(fù)step2和step3,前后兩次聚類中心的距離d=||tj后-tj前||,tj后為后一次聚類中心,tj前為前一次聚類中心,根據(jù)實(shí)際應(yīng)用設(shè)定閾值T,當(dāng)滿足d<T時(shí),停止聚類;
利用上述算法,在服務(wù)類內(nèi)繼續(xù)聚類可以細(xì)化服務(wù)分類,在一級(jí)目錄的基礎(chǔ)上形成多級(jí)目錄;
(3)服務(wù)查詢檢索模塊23,用于在海量信息中精確找到需要的信息,從而完成信息檢索,采用的算法為:
step1對(duì)于服務(wù)集中的服務(wù)fi,若包含特征詞C1,…,Cq,確定相應(yīng)特征詞權(quán)值δ1,…,δq,tCq表示特征詞Cq在服務(wù)fi中出現(xiàn)的次數(shù),n為服務(wù)集中包含的服務(wù)總數(shù),nq表示服務(wù)集中包含特征詞Cq的服務(wù)數(shù),則服務(wù)用向量可表示為:
step2對(duì)于檢索請(qǐng)求Ai中包含表示服務(wù)的特征詞C1,…,Cs,并確定相應(yīng)特征詞權(quán)值σ1,…,σs,tCs表示特征詞Cs在服務(wù)fi中出現(xiàn)的次數(shù),maxtCs表示特征詞Cs在所有服務(wù)中出現(xiàn)的次數(shù)的最大值,n為服務(wù)集中包含的服務(wù)總數(shù),ns表示服務(wù)集中包含特征詞Cs的服務(wù)數(shù),則檢索請(qǐng)求用向量可表示為:
step3確定特征詞空間特征詞個(gè)數(shù)d,將服務(wù)和檢索請(qǐng)求向量標(biāo)準(zhǔn)化,對(duì)服務(wù)和檢索請(qǐng)求中沒(méi)有的特征詞,其相應(yīng)的權(quán)值為0,此時(shí)有求和歐式距離,按照從小到大的順序?qū)⒎?wù)提供給用戶;
所述平臺(tái)部署層30用于建立服務(wù)管理中心,部署網(wǎng)絡(luò)服務(wù)器,采用網(wǎng)絡(luò)服務(wù)器對(duì)服務(wù)信息進(jìn)行保存,并提供客戶使用;
所述數(shù)據(jù)安全處理層40,連接平臺(tái)接口層和平臺(tái)管理層,用于將平臺(tái)接口層中用戶發(fā)布的數(shù)據(jù)利用自生成的數(shù)據(jù)集密鑰加密后進(jìn)行備份并上傳給所述平臺(tái)管理層,同時(shí)提取、上傳數(shù)據(jù)的元信息,并利用自生成的元信息密鑰對(duì)提取的元信息加密后發(fā)送給所述數(shù)據(jù)服務(wù)層、利用主密鑰加密所述數(shù)據(jù)集密鑰和所述元信息密鑰后發(fā)送給所述數(shù)據(jù)服務(wù)層;
所述數(shù)據(jù)服務(wù)層50,連接數(shù)據(jù)安全處理層和平臺(tái)部署層,用于存儲(chǔ)所述數(shù)據(jù)安全處理層加密上傳的元信息和密鑰信息,并通過(guò)平臺(tái)部署層提供數(shù)據(jù)集訪問(wèn)支持,以及密文檢索和數(shù)據(jù)驗(yàn)證服務(wù)支持。
進(jìn)一步地,所述平臺(tái)部署層30包括訪問(wèn)安全控制模塊31,所述訪問(wèn)安全控制模塊31包括訪問(wèn)權(quán)限控制單元、數(shù)據(jù)訪問(wèn)流量控制單元、數(shù)據(jù)訪問(wèn)傳輸控制單元和敏感信息訪問(wèn)控制單元;所述數(shù)據(jù)訪問(wèn)權(quán)限控制單元用于控制用戶的訪問(wèn)權(quán)限,所述數(shù)據(jù)訪問(wèn)流量控制單元用于控制用戶訪問(wèn)數(shù)據(jù)的流量,所述數(shù)據(jù)訪問(wèn)傳輸控制單元用于對(duì)數(shù)據(jù)傳輸進(jìn)行加密和安全認(rèn)證控制,所述敏感信息訪問(wèn)控制單元用于對(duì)訪問(wèn)敏感信息的行為進(jìn)行監(jiān)控并予以告警,以及針對(duì)異常訪問(wèn)的操作進(jìn)行限制。
其中,所述數(shù)據(jù)訪問(wèn)傳輸控制單元中,對(duì)于安全認(rèn)證控制,包括基于虹膜識(shí)別加口令的安全認(rèn)證和基于指紋識(shí)別加密鑰的安全認(rèn)證。
其中,所述云信息包括數(shù)據(jù)集名字、數(shù)據(jù)集大小和數(shù)據(jù)集關(guān)鍵詞。
本實(shí)施例設(shè)置信息共享服務(wù)平臺(tái),有效解決了集中式服務(wù)管理造成的壓力集中,大量服務(wù)難以管理等問(wèn)題;設(shè)置信息存儲(chǔ)模塊,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),不需要了解具體的存儲(chǔ)設(shè)備信息,不需要考慮數(shù)據(jù)備份和冗余等問(wèn)題,節(jié)約了時(shí)間成本和存儲(chǔ)成本;設(shè)置信息安全服務(wù)平臺(tái),通過(guò)數(shù)據(jù)安全處理層和數(shù)據(jù)服務(wù)層對(duì)數(shù)據(jù)進(jìn)行加密處理,提高了信息安全度;在平臺(tái)部署層中設(shè)置訪問(wèn)安全控制模塊,大大提高了信息安全大數(shù)據(jù)管理系統(tǒng)的安全性;設(shè)置服務(wù)分類管理模塊,通過(guò)創(chuàng)建服務(wù)目錄,解決了以往檢索準(zhǔn)確率低和耗費(fèi)時(shí)間長(zhǎng)的問(wèn)題,并設(shè)置服務(wù)查詢檢索模塊,采用向量檢索算法,提高了檢索精確度,實(shí)現(xiàn)了服務(wù)名稱和服務(wù)功能相匹配的檢索,其中服務(wù)集中的描述每個(gè)服務(wù)的屬性數(shù)目m取值為4,檢索準(zhǔn)確率相對(duì)提高了0.4%,效率相對(duì)提高了0.5%。
實(shí)施例2
參見(jiàn)圖1,圖2,本實(shí)施例的使用云存儲(chǔ)的數(shù)據(jù)管理裝置,包括云存儲(chǔ)系統(tǒng)和數(shù)據(jù)管理系統(tǒng),其中,云存儲(chǔ)系統(tǒng)包括:
注冊(cè)單元,用于處理各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)的注冊(cè)請(qǐng)求,并為注冊(cè)通過(guò)的每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)綁定一個(gè)已注冊(cè)的存儲(chǔ)牌照;
請(qǐng)求解析單元,用于接收用戶端發(fā)送的數(shù)據(jù)請(qǐng)求,基于所有已注冊(cè)的存儲(chǔ)牌照對(duì)該數(shù)據(jù)請(qǐng)求進(jìn)行解析;
請(qǐng)求轉(zhuǎn)發(fā)單元,用于基于解析結(jié)果將該數(shù)據(jù)請(qǐng)求轉(zhuǎn)發(fā)給相應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行處理,獨(dú)立云存儲(chǔ)系統(tǒng)基于該數(shù)據(jù)請(qǐng)求進(jìn)行數(shù)據(jù)處理后返回處理結(jié)果給用戶端。
優(yōu)選地,所述存儲(chǔ)牌照包括以下信息:牌照ID、發(fā)布者、接收者、數(shù)字證書(shū)以及有效時(shí)間,每個(gè)存儲(chǔ)牌照的牌照ID互不相同;所述數(shù)據(jù)請(qǐng)求包括以下信息:數(shù)據(jù)請(qǐng)求ID、處理者、數(shù)據(jù)請(qǐng)求信息、響應(yīng)信息。
優(yōu)選地,所述注冊(cè)單元包括:
存儲(chǔ)牌照生成單元:用于接收各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)分別發(fā)送的注冊(cè)請(qǐng)求,針對(duì)每個(gè)注冊(cè)請(qǐng)求,將所述牌照ID、發(fā)布者、數(shù)字證書(shū)以及有效時(shí)間寫(xiě)入一個(gè)存儲(chǔ)牌照中并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng);
存儲(chǔ)牌照驗(yàn)證單元:用于對(duì)各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)返回的寫(xiě)入有各自的系統(tǒng)信息作為所述接收者的存儲(chǔ)牌照進(jìn)行驗(yàn)證,并在某個(gè)存儲(chǔ)牌照驗(yàn)證通過(guò)時(shí)將該存儲(chǔ)牌照設(shè)為已注冊(cè)的存儲(chǔ)牌照并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行存儲(chǔ),每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)基于存儲(chǔ)的已注冊(cè)的存儲(chǔ)牌照注冊(cè)到該統(tǒng)一云存儲(chǔ)系統(tǒng)中。
優(yōu)選地,數(shù)據(jù)管理系統(tǒng)包括信息共享服務(wù)平臺(tái)和信息安全服務(wù)平臺(tái),所述信息共享服務(wù)平臺(tái)包括平臺(tái)接口層10、平臺(tái)管理層20和平臺(tái)部署層30,所述信息安全服務(wù)平臺(tái)包括數(shù)據(jù)安全處理層40和數(shù)據(jù)服務(wù)層50;
所述平臺(tái)接口層10通過(guò)對(duì)外提供統(tǒng)一的接口,實(shí)現(xiàn)用戶進(jìn)行數(shù)據(jù)的發(fā)布、查詢和獲?。?/p>
所述平臺(tái)管理層20用于管理由數(shù)據(jù)安全處理模塊處理后的數(shù)據(jù),包括依次連接的信息存儲(chǔ)模塊21、服務(wù)分類管理模塊22和服務(wù)查詢檢索模塊23:
(1)信息存儲(chǔ)模塊21,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),形成虛擬的存儲(chǔ)資源池并協(xié)調(diào)配置存儲(chǔ)資源;
(2)服務(wù)分類管理模塊22,用于對(duì)具有相似特征的服務(wù)進(jìn)行分類并形成服務(wù)目錄,采用的算法為:
設(shè)有服務(wù)集F={f1,…,fn},服務(wù)集中的每個(gè)服務(wù)用m個(gè)屬性來(lái)描述,則有fi=(fi1,…,fim),fi∈Rm,其中,R表示實(shí)數(shù),m的取值范圍為[4,8],i=1,…,n;
step1確定聚類個(gè)數(shù)k,隨機(jī)選擇k個(gè)對(duì)象{t1,…,tk}作為聚類中心,則有tj=(tj1,…,tjm),tj∈Rm,其中,j=1,…,k;
step2對(duì)于每個(gè)服務(wù)fi,計(jì)算其相對(duì)應(yīng)分類:
式中,ci表示服務(wù)fi與k個(gè)類中距離最近的類,當(dāng)滿足條件的ci不止一個(gè),則服務(wù)fi同時(shí)對(duì)應(yīng)多個(gè)分類;
step3對(duì)于每個(gè)聚類j,重新計(jì)算該類的聚類中心:
當(dāng)聚類j中含有的服務(wù)均只屬于一類,則有:
當(dāng)聚類j中有服務(wù)同時(shí)屬于w個(gè)分類,則有:
式中,{ci=j(luò)}表示對(duì)應(yīng)于聚類j的服務(wù),{ci=j(luò)w}表示服務(wù)同時(shí)對(duì)應(yīng)于w個(gè)聚類,其中2≤w≤k;
step4重復(fù)step2和step3,前后兩次聚類中心的距離d=||tj后-tj前||,tj后為后一次聚類中心,tj前為前一次聚類中心,根據(jù)實(shí)際應(yīng)用設(shè)定閾值T,當(dāng)滿足d<T時(shí),停止聚類;
利用上述算法,在服務(wù)類內(nèi)繼續(xù)聚類可以細(xì)化服務(wù)分類,在一級(jí)目錄的基礎(chǔ)上形成多級(jí)目錄;
(3)服務(wù)查詢檢索模塊23,用于在海量信息中精確找到需要的信息,從而完成信息檢索,采用的算法為:
step1對(duì)于服務(wù)集中的服務(wù)fi,若包含特征詞C1,…,Cq,確定相應(yīng)特征詞權(quán)值δ1,…,δq,tCq表示特征詞Cq在服務(wù)fi中出現(xiàn)的次數(shù),n為服務(wù)集中包含的服務(wù)總數(shù),nq表示服務(wù)集中包含特征詞Cq的服務(wù)數(shù),則服務(wù)用向量可表示為:
step2對(duì)于檢索請(qǐng)求Ai中包含表示服務(wù)的特征詞C1,…,Cs,并確定相應(yīng)特征詞權(quán)值σ1,…,σs,tCs表示特征詞Cs在服務(wù)fi中出現(xiàn)的次數(shù),maxtCs表示特征詞Cs在所有服務(wù)中出現(xiàn)的次數(shù)的最大值,n為服務(wù)集中包含的服務(wù)總數(shù),ns表示服務(wù)集中包含特征詞Cs的服務(wù)數(shù),則檢索請(qǐng)求用向量可表示為:
step3確定特征詞空間特征詞個(gè)數(shù)d,將服務(wù)和檢索請(qǐng)求向量標(biāo)準(zhǔn)化,對(duì)服務(wù)和檢索請(qǐng)求中沒(méi)有的特征詞,其相應(yīng)的權(quán)值為0,此時(shí)有求和歐式距離,按照從小到大的順序?qū)⒎?wù)提供給用戶;
所述平臺(tái)部署層30用于建立服務(wù)管理中心,部署網(wǎng)絡(luò)服務(wù)器,采用網(wǎng)絡(luò)服務(wù)器對(duì)服務(wù)信息進(jìn)行保存,并提供客戶使用;
所述數(shù)據(jù)安全處理層40,連接平臺(tái)接口層和平臺(tái)管理層,用于將平臺(tái)接口層中用戶發(fā)布的數(shù)據(jù)利用自生成的數(shù)據(jù)集密鑰加密后進(jìn)行備份并上傳給所述平臺(tái)管理層,同時(shí)提取、上傳數(shù)據(jù)的元信息,并利用自生成的元信息密鑰對(duì)提取的元信息加密后發(fā)送給所述數(shù)據(jù)服務(wù)層、利用主密鑰加密所述數(shù)據(jù)集密鑰和所述元信息密鑰后發(fā)送給所述數(shù)據(jù)服務(wù)層;
所述數(shù)據(jù)服務(wù)層50,連接數(shù)據(jù)安全處理層和平臺(tái)部署層,用于存儲(chǔ)所述數(shù)據(jù)安全處理層加密上傳的元信息和密鑰信息,并通過(guò)平臺(tái)部署層提供數(shù)據(jù)集訪問(wèn)支持,以及密文檢索和數(shù)據(jù)驗(yàn)證服務(wù)支持。
進(jìn)一步地,所述平臺(tái)部署層30包括訪問(wèn)安全控制模塊31,所述訪問(wèn)安全控制模塊31包括訪問(wèn)權(quán)限控制單元、數(shù)據(jù)訪問(wèn)流量控制單元、數(shù)據(jù)訪問(wèn)傳輸控制單元和敏感信息訪問(wèn)控制單元;所述數(shù)據(jù)訪問(wèn)權(quán)限控制單元用于控制用戶的訪問(wèn)權(quán)限,所述數(shù)據(jù)訪問(wèn)流量控制單元用于控制用戶訪問(wèn)數(shù)據(jù)的流量,所述數(shù)據(jù)訪問(wèn)傳輸控制單元用于對(duì)數(shù)據(jù)傳輸進(jìn)行加密和安全認(rèn)證控制,所述敏感信息訪問(wèn)控制單元用于對(duì)訪問(wèn)敏感信息的行為進(jìn)行監(jiān)控并予以告警,以及針對(duì)異常訪問(wèn)的操作進(jìn)行限制。
其中,所述數(shù)據(jù)訪問(wèn)傳輸控制單元中,對(duì)于安全認(rèn)證控制,包括基于虹膜識(shí)別加口令的安全認(rèn)證和基于指紋識(shí)別加密鑰的安全認(rèn)證。
其中,所述云信息包括數(shù)據(jù)集名字、數(shù)據(jù)集大小和數(shù)據(jù)集關(guān)鍵詞。
本實(shí)施例設(shè)置信息共享服務(wù)平臺(tái),有效解決了集中式服務(wù)管理造成的壓力集中,大量服務(wù)難以管理等問(wèn)題;設(shè)置信息存儲(chǔ)模塊,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),不需要了解具體的存儲(chǔ)設(shè)備信息,不需要考慮數(shù)據(jù)備份和冗余等問(wèn)題,節(jié)約了時(shí)間成本和存儲(chǔ)成本;設(shè)置信息安全服務(wù)平臺(tái),通過(guò)數(shù)據(jù)安全處理層和數(shù)據(jù)服務(wù)層對(duì)數(shù)據(jù)進(jìn)行加密處理,提高了信息安全度;在平臺(tái)部署層中設(shè)置訪問(wèn)安全控制模塊,大大提高了信息安全大數(shù)據(jù)管理系統(tǒng)的安全性;設(shè)置服務(wù)分類管理模塊,通過(guò)創(chuàng)建服務(wù)目錄,解決了以往檢索準(zhǔn)確率低和耗費(fèi)時(shí)間長(zhǎng)的問(wèn)題,并設(shè)置服務(wù)查詢檢索模塊,采用向量檢索算法,提高了檢索精確度,實(shí)現(xiàn)了服務(wù)名稱和服務(wù)功能相匹配的檢索,其中服務(wù)集中的描述每個(gè)服務(wù)的屬性數(shù)目m取值為5,檢索準(zhǔn)確率相對(duì)提高了0.45%,效率相對(duì)提高了0.4%。
實(shí)施例3
參見(jiàn)圖1,圖2,本實(shí)施例的使用云存儲(chǔ)的數(shù)據(jù)管理裝置,包括云存儲(chǔ)系統(tǒng)和數(shù)據(jù)管理系統(tǒng),其中,云存儲(chǔ)系統(tǒng)包括:
注冊(cè)單元,用于處理各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)的注冊(cè)請(qǐng)求,并為注冊(cè)通過(guò)的每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)綁定一個(gè)已注冊(cè)的存儲(chǔ)牌照;
請(qǐng)求解析單元,用于接收用戶端發(fā)送的數(shù)據(jù)請(qǐng)求,基于所有已注冊(cè)的存儲(chǔ)牌照對(duì)該數(shù)據(jù)請(qǐng)求進(jìn)行解析;
請(qǐng)求轉(zhuǎn)發(fā)單元,用于基于解析結(jié)果將該數(shù)據(jù)請(qǐng)求轉(zhuǎn)發(fā)給相應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行處理,獨(dú)立云存儲(chǔ)系統(tǒng)基于該數(shù)據(jù)請(qǐng)求進(jìn)行數(shù)據(jù)處理后返回處理結(jié)果給用戶端。
優(yōu)選地,所述存儲(chǔ)牌照包括以下信息:牌照ID、發(fā)布者、接收者、數(shù)字證書(shū)以及有效時(shí)間,每個(gè)存儲(chǔ)牌照的牌照ID互不相同;所述數(shù)據(jù)請(qǐng)求包括以下信息:數(shù)據(jù)請(qǐng)求ID、處理者、數(shù)據(jù)請(qǐng)求信息、響應(yīng)信息。
優(yōu)選地,所述注冊(cè)單元包括:
存儲(chǔ)牌照生成單元:用于接收各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)分別發(fā)送的注冊(cè)請(qǐng)求,針對(duì)每個(gè)注冊(cè)請(qǐng)求,將所述牌照ID、發(fā)布者、數(shù)字證書(shū)以及有效時(shí)間寫(xiě)入一個(gè)存儲(chǔ)牌照中并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng);
存儲(chǔ)牌照驗(yàn)證單元:用于對(duì)各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)返回的寫(xiě)入有各自的系統(tǒng)信息作為所述接收者的存儲(chǔ)牌照進(jìn)行驗(yàn)證,并在某個(gè)存儲(chǔ)牌照驗(yàn)證通過(guò)時(shí)將該存儲(chǔ)牌照設(shè)為已注冊(cè)的存儲(chǔ)牌照并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行存儲(chǔ),每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)基于存儲(chǔ)的已注冊(cè)的存儲(chǔ)牌照注冊(cè)到該統(tǒng)一云存儲(chǔ)系統(tǒng)中。
優(yōu)選地,數(shù)據(jù)管理系統(tǒng)包括信息共享服務(wù)平臺(tái)和信息安全服務(wù)平臺(tái),所述信息共享服務(wù)平臺(tái)包括平臺(tái)接口層10、平臺(tái)管理層20和平臺(tái)部署層30,所述信息安全服務(wù)平臺(tái)包括數(shù)據(jù)安全處理層40和數(shù)據(jù)服務(wù)層50;
所述平臺(tái)接口層10通過(guò)對(duì)外提供統(tǒng)一的接口,實(shí)現(xiàn)用戶進(jìn)行數(shù)據(jù)的發(fā)布、查詢和獲??;
所述平臺(tái)管理層20用于管理由數(shù)據(jù)安全處理模塊處理后的數(shù)據(jù),包括依次連接的信息存儲(chǔ)模塊21、服務(wù)分類管理模塊22和服務(wù)查詢檢索模塊23:
(1)信息存儲(chǔ)模塊21,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),形成虛擬的存儲(chǔ)資源池并協(xié)調(diào)配置存儲(chǔ)資源;
(2)服務(wù)分類管理模塊22,用于對(duì)具有相似特征的服務(wù)進(jìn)行分類并形成服務(wù)目錄,采用的算法為:
設(shè)有服務(wù)集F={f1,…,fn},服務(wù)集中的每個(gè)服務(wù)用m個(gè)屬性來(lái)描述,則有fi=(fi1,…,fim),fi∈Rm,其中,R表示實(shí)數(shù),m的取值范圍為[4,8],i=1,…,n;
step1確定聚類個(gè)數(shù)k,隨機(jī)選擇k個(gè)對(duì)象{t1,…,tk}作為聚類中心,則有tj=(tj1,…,tjm),tj∈Rm,其中,j=1,…,k;
step2對(duì)于每個(gè)服務(wù)fi,計(jì)算其相對(duì)應(yīng)分類:
式中,ci表示服務(wù)fi與k個(gè)類中距離最近的類,當(dāng)滿足條件的ci不止一個(gè),則服務(wù)fi同時(shí)對(duì)應(yīng)多個(gè)分類;
step3對(duì)于每個(gè)聚類j,重新計(jì)算該類的聚類中心:
當(dāng)聚類j中含有的服務(wù)均只屬于一類,則有:
當(dāng)聚類j中有服務(wù)同時(shí)屬于w個(gè)分類,則有:
式中,{ci=j(luò)}表示對(duì)應(yīng)于聚類j的服務(wù),{ci=j(luò)w}表示服務(wù)同時(shí)對(duì)應(yīng)于w個(gè)聚類,其中2≤w≤k;
step4重復(fù)step2和step3,前后兩次聚類中心的距離d=||tj后-tj前||,tj后為后一次聚類中心,tj前為前一次聚類中心,根據(jù)實(shí)際應(yīng)用設(shè)定閾值T,當(dāng)滿足d<T時(shí),停止聚類;
利用上述算法,在服務(wù)類內(nèi)繼續(xù)聚類可以細(xì)化服務(wù)分類,在一級(jí)目錄的基礎(chǔ)上形成多級(jí)目錄;
(3)服務(wù)查詢檢索模塊23,用于在海量信息中精確找到需要的信息,從而完成信息檢索,采用的算法為:
step1對(duì)于服務(wù)集中的服務(wù)fi,若包含特征詞C1,…,Cq,確定相應(yīng)特征詞權(quán)值δ1,…,δq,tCq表示特征詞Cq在服務(wù)fi中出現(xiàn)的次數(shù),n為服務(wù)集中包含的服務(wù)總數(shù),nq表示服務(wù)集中包含特征詞Cq的服務(wù)數(shù),則服務(wù)用向量可表示為:
step2對(duì)于檢索請(qǐng)求Ai中包含表示服務(wù)的特征詞C1,…,Cs,并確定相應(yīng)特征詞權(quán)值σ1,…,σs,tCs表示特征詞Cs在服務(wù)fi中出現(xiàn)的次數(shù),maxtCs表示特征詞Cs在所有服務(wù)中出現(xiàn)的次數(shù)的最大值,n為服務(wù)集中包含的服務(wù)總數(shù),ns表示服務(wù)集中包含特征詞Cs的服務(wù)數(shù),則檢索請(qǐng)求用向量可表示為:
step3確定特征詞空間特征詞個(gè)數(shù)d,將服務(wù)和檢索請(qǐng)求向量標(biāo)準(zhǔn)化,對(duì)服務(wù)和檢索請(qǐng)求中沒(méi)有的特征詞,其相應(yīng)的權(quán)值為0,此時(shí)有求和歐式距離,按照從小到大的順序?qū)⒎?wù)提供給用戶;
所述平臺(tái)部署層30用于建立服務(wù)管理中心,部署網(wǎng)絡(luò)服務(wù)器,采用網(wǎng)絡(luò)服務(wù)器對(duì)服務(wù)信息進(jìn)行保存,并提供客戶使用;
所述數(shù)據(jù)安全處理層40,連接平臺(tái)接口層和平臺(tái)管理層,用于將平臺(tái)接口層中用戶發(fā)布的數(shù)據(jù)利用自生成的數(shù)據(jù)集密鑰加密后進(jìn)行備份并上傳給所述平臺(tái)管理層,同時(shí)提取、上傳數(shù)據(jù)的元信息,并利用自生成的元信息密鑰對(duì)提取的元信息加密后發(fā)送給所述數(shù)據(jù)服務(wù)層、利用主密鑰加密所述數(shù)據(jù)集密鑰和所述元信息密鑰后發(fā)送給所述數(shù)據(jù)服務(wù)層;
所述數(shù)據(jù)服務(wù)層50,連接數(shù)據(jù)安全處理層和平臺(tái)部署層,用于存儲(chǔ)所述數(shù)據(jù)安全處理層加密上傳的元信息和密鑰信息,并通過(guò)平臺(tái)部署層提供數(shù)據(jù)集訪問(wèn)支持,以及密文檢索和數(shù)據(jù)驗(yàn)證服務(wù)支持。
進(jìn)一步地,所述平臺(tái)部署層30包括訪問(wèn)安全控制模塊31,所述訪問(wèn)安全控制模塊31包括訪問(wèn)權(quán)限控制單元、數(shù)據(jù)訪問(wèn)流量控制單元、數(shù)據(jù)訪問(wèn)傳輸控制單元和敏感信息訪問(wèn)控制單元;所述數(shù)據(jù)訪問(wèn)權(quán)限控制單元用于控制用戶的訪問(wèn)權(quán)限,所述數(shù)據(jù)訪問(wèn)流量控制單元用于控制用戶訪問(wèn)數(shù)據(jù)的流量,所述數(shù)據(jù)訪問(wèn)傳輸控制單元用于對(duì)數(shù)據(jù)傳輸進(jìn)行加密和安全認(rèn)證控制,所述敏感信息訪問(wèn)控制單元用于對(duì)訪問(wèn)敏感信息的行為進(jìn)行監(jiān)控并予以告警,以及針對(duì)異常訪問(wèn)的操作進(jìn)行限制。
其中,所述數(shù)據(jù)訪問(wèn)傳輸控制單元中,對(duì)于安全認(rèn)證控制,包括基于虹膜識(shí)別加口令的安全認(rèn)證和基于指紋識(shí)別加密鑰的安全認(rèn)證。
其中,所述云信息包括數(shù)據(jù)集名字、數(shù)據(jù)集大小和數(shù)據(jù)集關(guān)鍵詞。
本實(shí)施例設(shè)置信息共享服務(wù)平臺(tái),有效解決了集中式服務(wù)管理造成的壓力集中,大量服務(wù)難以管理等問(wèn)題;設(shè)置信息存儲(chǔ)模塊,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),不需要了解具體的存儲(chǔ)設(shè)備信息,不需要考慮數(shù)據(jù)備份和冗余等問(wèn)題,節(jié)約了時(shí)間成本和存儲(chǔ)成本;設(shè)置信息安全服務(wù)平臺(tái),通過(guò)數(shù)據(jù)安全處理層和數(shù)據(jù)服務(wù)層對(duì)數(shù)據(jù)進(jìn)行加密處理,提高了信息安全度;在平臺(tái)部署層中設(shè)置訪問(wèn)安全控制模塊,大大提高了信息安全大數(shù)據(jù)管理系統(tǒng)的安全性;設(shè)置服務(wù)分類管理模塊,通過(guò)創(chuàng)建服務(wù)目錄,解決了以往檢索準(zhǔn)確率低和耗費(fèi)時(shí)間長(zhǎng)的問(wèn)題,并設(shè)置服務(wù)查詢檢索模塊,采用向量檢索算法,提高了檢索精確度,實(shí)現(xiàn)了服務(wù)名稱和服務(wù)功能相匹配的檢索,其中服務(wù)集中的描述每個(gè)服務(wù)的屬性數(shù)目m取值為6,檢索準(zhǔn)確率相對(duì)提高了0.6%,效率相對(duì)提高了0.35%。
實(shí)施例4
參見(jiàn)圖1,圖2,本實(shí)施例的使用云存儲(chǔ)的數(shù)據(jù)管理裝置,包括云存儲(chǔ)系統(tǒng)和數(shù)據(jù)管理系統(tǒng),其中,云存儲(chǔ)系統(tǒng)包括:
注冊(cè)單元,用于處理各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)的注冊(cè)請(qǐng)求,并為注冊(cè)通過(guò)的每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)綁定一個(gè)已注冊(cè)的存儲(chǔ)牌照;
請(qǐng)求解析單元,用于接收用戶端發(fā)送的數(shù)據(jù)請(qǐng)求,基于所有已注冊(cè)的存儲(chǔ)牌照對(duì)該數(shù)據(jù)請(qǐng)求進(jìn)行解析;
請(qǐng)求轉(zhuǎn)發(fā)單元,用于基于解析結(jié)果將該數(shù)據(jù)請(qǐng)求轉(zhuǎn)發(fā)給相應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行處理,獨(dú)立云存儲(chǔ)系統(tǒng)基于該數(shù)據(jù)請(qǐng)求進(jìn)行數(shù)據(jù)處理后返回處理結(jié)果給用戶端。
優(yōu)選地,所述存儲(chǔ)牌照包括以下信息:牌照ID、發(fā)布者、接收者、數(shù)字證書(shū)以及有效時(shí)間,每個(gè)存儲(chǔ)牌照的牌照ID互不相同;所述數(shù)據(jù)請(qǐng)求包括以下信息:數(shù)據(jù)請(qǐng)求ID、處理者、數(shù)據(jù)請(qǐng)求信息、響應(yīng)信息。
優(yōu)選地,所述注冊(cè)單元包括:
存儲(chǔ)牌照生成單元:用于接收各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)分別發(fā)送的注冊(cè)請(qǐng)求,針對(duì)每個(gè)注冊(cè)請(qǐng)求,將所述牌照ID、發(fā)布者、數(shù)字證書(shū)以及有效時(shí)間寫(xiě)入一個(gè)存儲(chǔ)牌照中并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng);
存儲(chǔ)牌照驗(yàn)證單元:用于對(duì)各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)返回的寫(xiě)入有各自的系統(tǒng)信息作為所述接收者的存儲(chǔ)牌照進(jìn)行驗(yàn)證,并在某個(gè)存儲(chǔ)牌照驗(yàn)證通過(guò)時(shí)將該存儲(chǔ)牌照設(shè)為已注冊(cè)的存儲(chǔ)牌照并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行存儲(chǔ),每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)基于存儲(chǔ)的已注冊(cè)的存儲(chǔ)牌照注冊(cè)到該統(tǒng)一云存儲(chǔ)系統(tǒng)中。
優(yōu)選地,數(shù)據(jù)管理系統(tǒng)包括信息共享服務(wù)平臺(tái)和信息安全服務(wù)平臺(tái),所述信息共享服務(wù)平臺(tái)包括平臺(tái)接口層10、平臺(tái)管理層20和平臺(tái)部署層30,所述信息安全服務(wù)平臺(tái)包括數(shù)據(jù)安全處理層40和數(shù)據(jù)服務(wù)層50;
所述平臺(tái)接口層10通過(guò)對(duì)外提供統(tǒng)一的接口,實(shí)現(xiàn)用戶進(jìn)行數(shù)據(jù)的發(fā)布、查詢和獲??;
所述平臺(tái)管理層20用于管理由數(shù)據(jù)安全處理模塊處理后的數(shù)據(jù),包括依次連接的信息存儲(chǔ)模塊21、服務(wù)分類管理模塊22和服務(wù)查詢檢索模塊23:
(1)信息存儲(chǔ)模塊21,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),形成虛擬的存儲(chǔ)資源池并協(xié)調(diào)配置存儲(chǔ)資源;
(2)服務(wù)分類管理模塊22,用于對(duì)具有相似特征的服務(wù)進(jìn)行分類并形成服務(wù)目錄,采用的算法為:
設(shè)有服務(wù)集F={f1,…,fn},服務(wù)集中的每個(gè)服務(wù)用m個(gè)屬性來(lái)描述,則有fi=(fi1,…,fim),fi∈Rm,其中,R表示實(shí)數(shù),m的取值范圍為[4,8],i=1,…,n;
step1確定聚類個(gè)數(shù)k,隨機(jī)選擇k個(gè)對(duì)象{t1,…,tk}作為聚類中心,則有tj=(tj1,…,tjm),tj∈Rm,其中,j=1,…,k;
step2對(duì)于每個(gè)服務(wù)fi,計(jì)算其相對(duì)應(yīng)分類:
式中,ci表示服務(wù)fi與k個(gè)類中距離最近的類,當(dāng)滿足條件的ci不止一個(gè),則服務(wù)fi同時(shí)對(duì)應(yīng)多個(gè)分類;
step3對(duì)于每個(gè)聚類j,重新計(jì)算該類的聚類中心:
當(dāng)聚類j中含有的服務(wù)均只屬于一類,則有:
當(dāng)聚類j中有服務(wù)同時(shí)屬于w個(gè)分類,則有:
式中,{ci=j(luò)}表示對(duì)應(yīng)于聚類j的服務(wù),{ci=j(luò)w}表示服務(wù)同時(shí)對(duì)應(yīng)于w個(gè)聚類,其中2≤w≤k;
step4重復(fù)step2和step3,前后兩次聚類中心的距離d=||tj后-tj前||,tj后為后一次聚類中心,tj前為前一次聚類中心,根據(jù)實(shí)際應(yīng)用設(shè)定閾值T,當(dāng)滿足d<T時(shí),停止聚類;
利用上述算法,在服務(wù)類內(nèi)繼續(xù)聚類可以細(xì)化服務(wù)分類,在一級(jí)目錄的基礎(chǔ)上形成多級(jí)目錄;
(3)服務(wù)查詢檢索模塊23,用于在海量信息中精確找到需要的信息,從而完成信息檢索,采用的算法為:
step1對(duì)于服務(wù)集中的服務(wù)fi,若包含特征詞C1,…,Cq,確定相應(yīng)特征詞權(quán)值δ1,…,δq,tCq表示特征詞Cq在服務(wù)fi中出現(xiàn)的次數(shù),n為服務(wù)集中包含的服務(wù)總數(shù),nq表示服務(wù)集中包含特征詞Cq的服務(wù)數(shù),則服務(wù)用向量可表示為:
step2對(duì)于檢索請(qǐng)求Ai中包含表示服務(wù)的特征詞C1,…,Cs,并確定相應(yīng)特征詞權(quán)值σ1,…,σs,tCs表示特征詞Cs在服務(wù)fi中出現(xiàn)的次數(shù),maxtCs表示特征詞Cs在所有服務(wù)中出現(xiàn)的次數(shù)的最大值,n為服務(wù)集中包含的服務(wù)總數(shù),ns表示服務(wù)集中包含特征詞Cs的服務(wù)數(shù),則檢索請(qǐng)求用向量可表示為:
step3確定特征詞空間特征詞個(gè)數(shù)d,將服務(wù)和檢索請(qǐng)求向量標(biāo)準(zhǔn)化,對(duì)服務(wù)和檢索請(qǐng)求中沒(méi)有的特征詞,其相應(yīng)的權(quán)值為0,此時(shí)有求和歐式距離,按照從小到大的順序?qū)⒎?wù)提供給用戶;
所述平臺(tái)部署層30用于建立服務(wù)管理中心,部署網(wǎng)絡(luò)服務(wù)器,采用網(wǎng)絡(luò)服務(wù)器對(duì)服務(wù)信息進(jìn)行保存,并提供客戶使用;
所述數(shù)據(jù)安全處理層40,連接平臺(tái)接口層和平臺(tái)管理層,用于將平臺(tái)接口層中用戶發(fā)布的數(shù)據(jù)利用自生成的數(shù)據(jù)集密鑰加密后進(jìn)行備份并上傳給所述平臺(tái)管理層,同時(shí)提取、上傳數(shù)據(jù)的元信息,并利用自生成的元信息密鑰對(duì)提取的元信息加密后發(fā)送給所述數(shù)據(jù)服務(wù)層、利用主密鑰加密所述數(shù)據(jù)集密鑰和所述元信息密鑰后發(fā)送給所述數(shù)據(jù)服務(wù)層;
所述數(shù)據(jù)服務(wù)層50,連接數(shù)據(jù)安全處理層和平臺(tái)部署層,用于存儲(chǔ)所述數(shù)據(jù)安全處理層加密上傳的元信息和密鑰信息,并通過(guò)平臺(tái)部署層提供數(shù)據(jù)集訪問(wèn)支持,以及密文檢索和數(shù)據(jù)驗(yàn)證服務(wù)支持。
進(jìn)一步地,所述平臺(tái)部署層30包括訪問(wèn)安全控制模塊31,所述訪問(wèn)安全控制模塊31包括訪問(wèn)權(quán)限控制單元、數(shù)據(jù)訪問(wèn)流量控制單元、數(shù)據(jù)訪問(wèn)傳輸控制單元和敏感信息訪問(wèn)控制單元;所述數(shù)據(jù)訪問(wèn)權(quán)限控制單元用于控制用戶的訪問(wèn)權(quán)限,所述數(shù)據(jù)訪問(wèn)流量控制單元用于控制用戶訪問(wèn)數(shù)據(jù)的流量,所述數(shù)據(jù)訪問(wèn)傳輸控制單元用于對(duì)數(shù)據(jù)傳輸進(jìn)行加密和安全認(rèn)證控制,所述敏感信息訪問(wèn)控制單元用于對(duì)訪問(wèn)敏感信息的行為進(jìn)行監(jiān)控并予以告警,以及針對(duì)異常訪問(wèn)的操作進(jìn)行限制。
其中,所述數(shù)據(jù)訪問(wèn)傳輸控制單元中,對(duì)于安全認(rèn)證控制,包括基于虹膜識(shí)別加口令的安全認(rèn)證和基于指紋識(shí)別加密鑰的安全認(rèn)證。
其中,所述云信息包括數(shù)據(jù)集名字、數(shù)據(jù)集大小和數(shù)據(jù)集關(guān)鍵詞。
本實(shí)施例設(shè)置信息共享服務(wù)平臺(tái),有效解決了集中式服務(wù)管理造成的壓力集中,大量服務(wù)難以管理等問(wèn)題;設(shè)置信息存儲(chǔ)模塊,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),不需要了解具體的存儲(chǔ)設(shè)備信息,不需要考慮數(shù)據(jù)備份和冗余等問(wèn)題,節(jié)約了時(shí)間成本和存儲(chǔ)成本;設(shè)置信息安全服務(wù)平臺(tái),通過(guò)數(shù)據(jù)安全處理層和數(shù)據(jù)服務(wù)層對(duì)數(shù)據(jù)進(jìn)行加密處理,提高了信息安全度;在平臺(tái)部署層中設(shè)置訪問(wèn)安全控制模塊,大大提高了信息安全大數(shù)據(jù)管理系統(tǒng)的安全性;設(shè)置服務(wù)分類管理模塊,通過(guò)創(chuàng)建服務(wù)目錄,解決了以往檢索準(zhǔn)確率低和耗費(fèi)時(shí)間長(zhǎng)的問(wèn)題,并設(shè)置服務(wù)查詢檢索模塊,采用向量檢索算法,提高了檢索精確度,實(shí)現(xiàn)了服務(wù)名稱和服務(wù)功能相匹配的檢索,其中服務(wù)集中的描述每個(gè)服務(wù)的屬性數(shù)目m取值為7,檢索準(zhǔn)確率相對(duì)提高了0.7%,效率相對(duì)提高了0.32%。
實(shí)施例5
參見(jiàn)圖1,圖2,本實(shí)施例的使用云存儲(chǔ)的數(shù)據(jù)管理裝置,包括云存儲(chǔ)系統(tǒng)和數(shù)據(jù)管理系統(tǒng),其中,云存儲(chǔ)系統(tǒng)包括:
注冊(cè)單元,用于處理各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)的注冊(cè)請(qǐng)求,并為注冊(cè)通過(guò)的每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)綁定一個(gè)已注冊(cè)的存儲(chǔ)牌照;
請(qǐng)求解析單元,用于接收用戶端發(fā)送的數(shù)據(jù)請(qǐng)求,基于所有已注冊(cè)的存儲(chǔ)牌照對(duì)該數(shù)據(jù)請(qǐng)求進(jìn)行解析;
請(qǐng)求轉(zhuǎn)發(fā)單元,用于基于解析結(jié)果將該數(shù)據(jù)請(qǐng)求轉(zhuǎn)發(fā)給相應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行處理,獨(dú)立云存儲(chǔ)系統(tǒng)基于該數(shù)據(jù)請(qǐng)求進(jìn)行數(shù)據(jù)處理后返回處理結(jié)果給用戶端。
優(yōu)選地,所述存儲(chǔ)牌照包括以下信息:牌照ID、發(fā)布者、接收者、數(shù)字證書(shū)以及有效時(shí)間,每個(gè)存儲(chǔ)牌照的牌照ID互不相同;所述數(shù)據(jù)請(qǐng)求包括以下信息:數(shù)據(jù)請(qǐng)求ID、處理者、數(shù)據(jù)請(qǐng)求信息、響應(yīng)信息。
優(yōu)選地,所述注冊(cè)單元包括:
存儲(chǔ)牌照生成單元:用于接收各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)分別發(fā)送的注冊(cè)請(qǐng)求,針對(duì)每個(gè)注冊(cè)請(qǐng)求,將所述牌照ID、發(fā)布者、數(shù)字證書(shū)以及有效時(shí)間寫(xiě)入一個(gè)存儲(chǔ)牌照中并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng);
存儲(chǔ)牌照驗(yàn)證單元:用于對(duì)各個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)返回的寫(xiě)入有各自的系統(tǒng)信息作為所述接收者的存儲(chǔ)牌照進(jìn)行驗(yàn)證,并在某個(gè)存儲(chǔ)牌照驗(yàn)證通過(guò)時(shí)將該存儲(chǔ)牌照設(shè)為已注冊(cè)的存儲(chǔ)牌照并下發(fā)給對(duì)應(yīng)的獨(dú)立云存儲(chǔ)系統(tǒng)進(jìn)行存儲(chǔ),每個(gè)獨(dú)立云存儲(chǔ)系統(tǒng)基于存儲(chǔ)的已注冊(cè)的存儲(chǔ)牌照注冊(cè)到該統(tǒng)一云存儲(chǔ)系統(tǒng)中。
優(yōu)選地,數(shù)據(jù)管理系統(tǒng)包括信息共享服務(wù)平臺(tái)和信息安全服務(wù)平臺(tái),所述信息共享服務(wù)平臺(tái)包括平臺(tái)接口層10、平臺(tái)管理層20和平臺(tái)部署層30,所述信息安全服務(wù)平臺(tái)包括數(shù)據(jù)安全處理層40和數(shù)據(jù)服務(wù)層50;
所述平臺(tái)接口層10通過(guò)對(duì)外提供統(tǒng)一的接口,實(shí)現(xiàn)用戶進(jìn)行數(shù)據(jù)的發(fā)布、查詢和獲??;
所述平臺(tái)管理層20用于管理由數(shù)據(jù)安全處理模塊處理后的數(shù)據(jù),包括依次連接的信息存儲(chǔ)模塊21、服務(wù)分類管理模塊22和服務(wù)查詢檢索模塊23:
(1)信息存儲(chǔ)模塊21,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),形成虛擬的存儲(chǔ)資源池并協(xié)調(diào)配置存儲(chǔ)資源;
(2)服務(wù)分類管理模塊22,用于對(duì)具有相似特征的服務(wù)進(jìn)行分類并形成服務(wù)目錄,采用的算法為:
設(shè)有服務(wù)集F={f1,…,fn},服務(wù)集中的每個(gè)服務(wù)用m個(gè)屬性來(lái)描述,則有fi=(fi1,…,fim),fi∈Rm,其中,R表示實(shí)數(shù),m的取值范圍為[4,8],i=1,…,n;
step1確定聚類個(gè)數(shù)k,隨機(jī)選擇k個(gè)對(duì)象{t1,…,tk}作為聚類中心,則有tj=(tj1,…,tjm),tj∈Rm,其中,j=1,…,k;
step2對(duì)于每個(gè)服務(wù)fi,計(jì)算其相對(duì)應(yīng)分類:
式中,ci表示服務(wù)fi與k個(gè)類中距離最近的類,當(dāng)滿足條件的ci不止一個(gè),則服務(wù)fi同時(shí)對(duì)應(yīng)多個(gè)分類;
step3對(duì)于每個(gè)聚類j,重新計(jì)算該類的聚類中心:
當(dāng)聚類j中含有的服務(wù)均只屬于一類,則有:
當(dāng)聚類j中有服務(wù)同時(shí)屬于w個(gè)分類,則有:
式中,{ci=j(luò)}表示對(duì)應(yīng)于聚類j的服務(wù),{ci=j(luò)w}表示服務(wù)同時(shí)對(duì)應(yīng)于w個(gè)聚類,其中2≤w≤k;
step4重復(fù)step2和step3,前后兩次聚類中心的距離d=||tj后-tj前||,tj后為后一次聚類中心,tj前為前一次聚類中心,根據(jù)實(shí)際應(yīng)用設(shè)定閾值T,當(dāng)滿足d<T時(shí),停止聚類;
利用上述算法,在服務(wù)類內(nèi)繼續(xù)聚類可以細(xì)化服務(wù)分類,在一級(jí)目錄的基礎(chǔ)上形成多級(jí)目錄;
(3)服務(wù)查詢檢索模塊23,用于在海量信息中精確找到需要的信息,從而完成信息檢索,采用的算法為:
step1對(duì)于服務(wù)集中的服務(wù)fi,若包含特征詞C1,…,Cq,確定相應(yīng)特征詞權(quán)值δ1,…,δq,tCq表示特征詞Cq在服務(wù)fi中出現(xiàn)的次數(shù),n為服務(wù)集中包含的服務(wù)總數(shù),nq表示服務(wù)集中包含特征詞Cq的服務(wù)數(shù),則服務(wù)用向量可表示為:
step2對(duì)于檢索請(qǐng)求Ai中包含表示服務(wù)的特征詞C1,…,Cs,并確定相應(yīng)特征詞權(quán)值σ1,…,σs,tCs表示特征詞Cs在服務(wù)fi中出現(xiàn)的次數(shù),maxtCs表示特征詞Cs在所有服務(wù)中出現(xiàn)的次數(shù)的最大值,n為服務(wù)集中包含的服務(wù)總數(shù),ns表示服務(wù)集中包含特征詞Cs的服務(wù)數(shù),則檢索請(qǐng)求用向量可表示為:
step3確定特征詞空間特征詞個(gè)數(shù)d,將服務(wù)和檢索請(qǐng)求向量標(biāo)準(zhǔn)化,對(duì)服務(wù)和檢索請(qǐng)求中沒(méi)有的特征詞,其相應(yīng)的權(quán)值為0,此時(shí)有求和歐式距離,按照從小到大的順序?qū)⒎?wù)提供給用戶;
所述平臺(tái)部署層30用于建立服務(wù)管理中心,部署網(wǎng)絡(luò)服務(wù)器,采用網(wǎng)絡(luò)服務(wù)器對(duì)服務(wù)信息進(jìn)行保存,并提供客戶使用;
所述數(shù)據(jù)安全處理層40,連接平臺(tái)接口層和平臺(tái)管理層,用于將平臺(tái)接口層中用戶發(fā)布的數(shù)據(jù)利用自生成的數(shù)據(jù)集密鑰加密后進(jìn)行備份并上傳給所述平臺(tái)管理層,同時(shí)提取、上傳數(shù)據(jù)的元信息,并利用自生成的元信息密鑰對(duì)提取的元信息加密后發(fā)送給所述數(shù)據(jù)服務(wù)層、利用主密鑰加密所述數(shù)據(jù)集密鑰和所述元信息密鑰后發(fā)送給所述數(shù)據(jù)服務(wù)層;
所述數(shù)據(jù)服務(wù)層50,連接數(shù)據(jù)安全處理層和平臺(tái)部署層,用于存儲(chǔ)所述數(shù)據(jù)安全處理層加密上傳的元信息和密鑰信息,并通過(guò)平臺(tái)部署層提供數(shù)據(jù)集訪問(wèn)支持,以及密文檢索和數(shù)據(jù)驗(yàn)證服務(wù)支持。
進(jìn)一步地,所述平臺(tái)部署層30包括訪問(wèn)安全控制模塊31,所述訪問(wèn)安全控制模塊31包括訪問(wèn)權(quán)限控制單元、數(shù)據(jù)訪問(wèn)流量控制單元、數(shù)據(jù)訪問(wèn)傳輸控制單元和敏感信息訪問(wèn)控制單元;所述數(shù)據(jù)訪問(wèn)權(quán)限控制單元用于控制用戶的訪問(wèn)權(quán)限,所述數(shù)據(jù)訪問(wèn)流量控制單元用于控制用戶訪問(wèn)數(shù)據(jù)的流量,所述數(shù)據(jù)訪問(wèn)傳輸控制單元用于對(duì)數(shù)據(jù)傳輸進(jìn)行加密和安全認(rèn)證控制,所述敏感信息訪問(wèn)控制單元用于對(duì)訪問(wèn)敏感信息的行為進(jìn)行監(jiān)控并予以告警,以及針對(duì)異常訪問(wèn)的操作進(jìn)行限制。
其中,所述數(shù)據(jù)訪問(wèn)傳輸控制單元中,對(duì)于安全認(rèn)證控制,包括基于虹膜識(shí)別加口令的安全認(rèn)證和基于指紋識(shí)別加密鑰的安全認(rèn)證。
其中,所述云信息包括數(shù)據(jù)集名字、數(shù)據(jù)集大小和數(shù)據(jù)集關(guān)鍵詞。
本實(shí)施例設(shè)置信息共享服務(wù)平臺(tái),有效解決了集中式服務(wù)管理造成的壓力集中,大量服務(wù)難以管理等問(wèn)題;設(shè)置信息存儲(chǔ)模塊,其采用云存儲(chǔ)系統(tǒng)進(jìn)行加密后數(shù)據(jù)的存儲(chǔ),不需要了解具體的存儲(chǔ)設(shè)備信息,不需要考慮數(shù)據(jù)備份和冗余等問(wèn)題,節(jié)約了時(shí)間成本和存儲(chǔ)成本;設(shè)置信息安全服務(wù)平臺(tái),通過(guò)數(shù)據(jù)安全處理層和數(shù)據(jù)服務(wù)層對(duì)數(shù)據(jù)進(jìn)行加密處理,提高了信息安全度;在平臺(tái)部署層中設(shè)置訪問(wèn)安全控制模塊,大大提高了信息安全大數(shù)據(jù)管理系統(tǒng)的安全性;設(shè)置服務(wù)分類管理模塊,通過(guò)創(chuàng)建服務(wù)目錄,解決了以往檢索準(zhǔn)確率低和耗費(fèi)時(shí)間長(zhǎng)的問(wèn)題,并設(shè)置服務(wù)查詢檢索模塊,采用向量檢索算法,提高了檢索精確度,實(shí)現(xiàn)了服務(wù)名稱和服務(wù)功能相匹配的檢索,其中服務(wù)集中的描述每個(gè)服務(wù)的屬性數(shù)目m取值為8,檢索準(zhǔn)確率相對(duì)提高了0.9%,效率相對(duì)提高了0.3%。
最后應(yīng)當(dāng)說(shuō)明的是,以上實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案,而非對(duì)本發(fā)明保護(hù)范圍的限制,盡管參照較佳實(shí)施例對(duì)本發(fā)明作了詳細(xì)地說(shuō)明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解,可以對(duì)本發(fā)明的技術(shù)方案進(jìn)行修改或者等同替換,而不脫離本發(fā)明技術(shù)方案的實(shí)質(zhì)和范圍。