本技術(shù)涉及數(shù)據(jù)處理,尤其涉及一種基于云計(jì)算的分布式方法及系統(tǒng)。
背景技術(shù):
1、隨著云計(jì)算技術(shù)的迅速發(fā)展,需要收集和存儲(chǔ)的數(shù)據(jù)也越來(lái)越多,因此,分布式存儲(chǔ)集群應(yīng)運(yùn)而生,一個(gè)分布式存儲(chǔ)集群由多個(gè)存儲(chǔ)節(jié)點(diǎn)構(gòu)成。
2、通常情況下,同一個(gè)分布式存儲(chǔ)集群需要對(duì)多種類別的數(shù)據(jù)進(jìn)行存儲(chǔ),而不同類別的數(shù)據(jù)的存儲(chǔ)策略往往具有差異,因此,現(xiàn)有的分布式存儲(chǔ)方式具有以下問(wèn)題:
3、(1)現(xiàn)有的分布式存儲(chǔ)方式每次接收到的一個(gè)存儲(chǔ)請(qǐng)求往往僅包括一類存儲(chǔ)數(shù)據(jù),因此,當(dāng)同一個(gè)請(qǐng)求端需要同時(shí)存儲(chǔ)多類存儲(chǔ)數(shù)據(jù)時(shí),往往需要分別發(fā)送多個(gè)存儲(chǔ)請(qǐng)求以保障存儲(chǔ)類別的準(zhǔn)確性。
4、(2)同一個(gè)分布式存儲(chǔ)集群對(duì)不同類別的存儲(chǔ)數(shù)據(jù)進(jìn)行存儲(chǔ)時(shí),往往需要進(jìn)行存儲(chǔ)策略切換,因此,會(huì)影響存儲(chǔ)的準(zhǔn)確性和存儲(chǔ)效率。
5、(3)現(xiàn)有的分布式存儲(chǔ)方式通常是在存儲(chǔ)傳輸?shù)倪^(guò)程中對(duì)數(shù)據(jù)進(jìn)行加密,但僅僅加密并不能保證數(shù)據(jù)的完全安全,數(shù)據(jù)的存儲(chǔ)依然存在安全隱患。
技術(shù)實(shí)現(xiàn)思路
1、本技術(shù)的目的在于提供一種基于云計(jì)算的分布式方法及系統(tǒng),能夠提高分布式存儲(chǔ)的安全性和準(zhǔn)確性,以及提高數(shù)據(jù)存儲(chǔ)效率。
2、為達(dá)到上述目的,本技術(shù)提供一種基于云計(jì)算的分布式方法,包括如下步驟:s1:響應(yīng)于登錄請(qǐng)求,對(duì)請(qǐng)求端進(jìn)行風(fēng)險(xiǎn)分析,生成風(fēng)險(xiǎn)分析結(jié)果,若風(fēng)險(xiǎn)分析結(jié)果為無(wú)風(fēng)險(xiǎn),則執(zhí)行s2;若風(fēng)險(xiǎn)分析結(jié)果為有風(fēng)險(xiǎn),則發(fā)送風(fēng)險(xiǎn)警報(bào)信息;s2:接收任務(wù)數(shù)據(jù),并為任務(wù)數(shù)據(jù)分配云計(jì)算執(zhí)行節(jié)點(diǎn);其中,任務(wù)數(shù)據(jù)至少包括:多類待存儲(chǔ)數(shù)據(jù)、請(qǐng)求時(shí)間和請(qǐng)求位置;s3:由云計(jì)算執(zhí)行節(jié)點(diǎn)對(duì)任務(wù)數(shù)據(jù)中相應(yīng)的待存儲(chǔ)數(shù)據(jù)進(jìn)行分析,獲得每類待存儲(chǔ)數(shù)據(jù)的分布式存儲(chǔ)策略;其中,分布式存儲(chǔ)策略至少包括:執(zhí)行分布式集群、數(shù)據(jù)分割規(guī)則和數(shù)據(jù)存儲(chǔ)規(guī)則;s4:按照分布式存儲(chǔ)策略對(duì)任務(wù)數(shù)據(jù)中相應(yīng)的待存儲(chǔ)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)。
3、如上的,其中,響應(yīng)于登錄請(qǐng)求,對(duì)請(qǐng)求端進(jìn)行風(fēng)險(xiǎn)分析,生成風(fēng)險(xiǎn)分析結(jié)果的子步驟如下:s11:響應(yīng)于登錄請(qǐng)求,采集請(qǐng)求端的風(fēng)險(xiǎn)評(píng)估數(shù)據(jù),其中,風(fēng)險(xiǎn)評(píng)估數(shù)據(jù)至少包括:硬件風(fēng)險(xiǎn)數(shù)據(jù)、軟件風(fēng)險(xiǎn)數(shù)據(jù)和網(wǎng)絡(luò)風(fēng)險(xiǎn)數(shù)據(jù);s12:獲取請(qǐng)求端的歷史通信信息,其中,歷史通信信息至少包括:歷史通信數(shù)據(jù)的總數(shù)和出現(xiàn)通信風(fēng)險(xiǎn)特征數(shù)據(jù)的歷史通信數(shù)據(jù)的總數(shù);s13:對(duì)風(fēng)險(xiǎn)評(píng)估數(shù)據(jù)和歷史通信信息進(jìn)行分析,獲得風(fēng)險(xiǎn)評(píng)估值;s14:通過(guò)預(yù)設(shè)的風(fēng)險(xiǎn)評(píng)估閾值對(duì)風(fēng)險(xiǎn)評(píng)估值進(jìn)行判斷,生成風(fēng)險(xiǎn)分析結(jié)果;若風(fēng)險(xiǎn)評(píng)估值大于或等于風(fēng)險(xiǎn)評(píng)估閾值,則生成的風(fēng)險(xiǎn)分析結(jié)果為無(wú)風(fēng)險(xiǎn);若風(fēng)險(xiǎn)評(píng)估值小于風(fēng)險(xiǎn)評(píng)估閾值,則生成的風(fēng)險(xiǎn)分析結(jié)果為有風(fēng)險(xiǎn)。
4、如上的,其中,接收任務(wù)數(shù)據(jù),并為任務(wù)數(shù)據(jù)分配云計(jì)算執(zhí)行節(jié)點(diǎn)的子步驟如下:s21:隨機(jī)為任務(wù)數(shù)據(jù)中的每類待存儲(chǔ)數(shù)據(jù)生成分配編號(hào),其中,一類待存儲(chǔ)數(shù)據(jù)對(duì)應(yīng)一個(gè)分配編號(hào),且分配編號(hào)按照隨機(jī)生成分配編號(hào)的先后順序從小至大依次遞增;s22:對(duì)每個(gè)云計(jì)算節(jié)點(diǎn)進(jìn)行運(yùn)行狀態(tài)分析,獲得當(dāng)前運(yùn)算效率,并將當(dāng)前運(yùn)算效率大于預(yù)設(shè)的運(yùn)算效率閾值的云計(jì)算節(jié)點(diǎn)作為待選節(jié)點(diǎn);s23:若待選節(jié)點(diǎn)的總數(shù)大于或等于分配編號(hào)的總數(shù),則將分配編號(hào)最小的待存儲(chǔ)數(shù)據(jù)作為當(dāng)前待分配數(shù)據(jù),隨機(jī)從多個(gè)待選節(jié)點(diǎn)中選擇一個(gè)作為云計(jì)算執(zhí)行節(jié)點(diǎn),刪除待選節(jié)點(diǎn)的節(jié)點(diǎn)編號(hào),執(zhí)行s24;若待選節(jié)點(diǎn)的總數(shù)小于分配編號(hào)的總數(shù),則將分配編號(hào)最小的待存儲(chǔ)數(shù)據(jù)作為當(dāng)前待分配數(shù)據(jù),隨機(jī)從多個(gè)待選節(jié)點(diǎn)中選擇一個(gè)作為云計(jì)算執(zhí)行節(jié)點(diǎn),執(zhí)行s24;s24:通過(guò)分配編號(hào)的總數(shù)對(duì)當(dāng)前待分配數(shù)據(jù)的分配編號(hào)進(jìn)行判斷,若當(dāng)前待分配數(shù)據(jù)的分配編號(hào)小于分配編號(hào)的總數(shù),則刪除當(dāng)前待分配數(shù)據(jù)的分配編號(hào),執(zhí)行s23;若當(dāng)前待分配數(shù)據(jù)的分配編號(hào)等于分配編號(hào)的總數(shù),則分配完成,執(zhí)行s3。
5、如上的,其中,當(dāng)前運(yùn)算效率的表達(dá)式如下:其中,jyxi為第i個(gè)云計(jì)算節(jié)點(diǎn)的當(dāng)前運(yùn)算效率;myxi為第i個(gè)云計(jì)算節(jié)點(diǎn)中處于等待被分析的任務(wù)數(shù)據(jù)的總數(shù);dyxi為第i個(gè)云計(jì)算節(jié)點(diǎn)在單位時(shí)間內(nèi)能夠完成分析的任務(wù)數(shù)據(jù)的總數(shù)的平均數(shù)。
6、如上的,其中,由云計(jì)算執(zhí)行節(jié)點(diǎn)對(duì)任務(wù)數(shù)據(jù)中相應(yīng)的待存儲(chǔ)數(shù)據(jù)進(jìn)行分析,獲得每類待存儲(chǔ)數(shù)據(jù)的分布式存儲(chǔ)策略的子步驟如下:s31:以任務(wù)數(shù)據(jù)中的請(qǐng)求位置為當(dāng)前圓心,以預(yù)設(shè)的傳輸半徑為當(dāng)前半徑畫弧,從而獲得當(dāng)前傳輸范圍,并將位于當(dāng)前傳輸范圍內(nèi)的分布式存儲(chǔ)集群均作為初選集群,其中,一個(gè)初選集群對(duì)應(yīng)一個(gè)存儲(chǔ)類別;s32:對(duì)待存儲(chǔ)數(shù)據(jù)進(jìn)行分析,確定數(shù)據(jù)類別,并將存儲(chǔ)類別與數(shù)據(jù)類別一致的初選集群作為再選集群;s33:計(jì)算每個(gè)再選集群當(dāng)前的剩余存儲(chǔ)容量,將剩余存儲(chǔ)容量大于待存儲(chǔ)數(shù)據(jù)的需求存儲(chǔ)容量的再選集群作為待選集群;若待選集群為多個(gè),則隨機(jī)從多個(gè)待選集群中選擇一個(gè)作為執(zhí)行分布式集群;若待選集群為一個(gè),則直接將該待選集群作為執(zhí)行分布式集群;s34:將執(zhí)行分布式集群的分割規(guī)則作為數(shù)據(jù)分割規(guī)則,將執(zhí)行分布式集群的存儲(chǔ)規(guī)則作為數(shù)據(jù)存儲(chǔ)規(guī)則,其中,執(zhí)行分布式集群的分割規(guī)則至少包括:?jiǎn)挝淮鎯?chǔ)大小和分割編號(hào)方式;執(zhí)行分布式集群的存儲(chǔ)規(guī)則至少包括:節(jié)點(diǎn)存儲(chǔ)順序和數(shù)據(jù)存入順序;s35:將執(zhí)行分布式集群、數(shù)據(jù)分割規(guī)則和數(shù)據(jù)存儲(chǔ)規(guī)則作為分布式存儲(chǔ)策略。
7、如上的,其中,再選集群當(dāng)前的剩余存儲(chǔ)容量為再選集群中每個(gè)存儲(chǔ)節(jié)點(diǎn)的剩余存儲(chǔ)容量的和。
8、如上的,其中,步驟s1還包括:響應(yīng)于注冊(cè)請(qǐng)求,采集請(qǐng)求端的風(fēng)險(xiǎn)評(píng)估數(shù)據(jù),對(duì)風(fēng)險(xiǎn)評(píng)估數(shù)據(jù)進(jìn)行分析,獲得初始評(píng)估值,通過(guò)預(yù)設(shè)的初始評(píng)估閾值對(duì)初始評(píng)估值進(jìn)行判斷,生成風(fēng)險(xiǎn)分析結(jié)果;若初始評(píng)估值大于或等于初始評(píng)估閾值,則生成的風(fēng)險(xiǎn)分析結(jié)果為無(wú)風(fēng)險(xiǎn);若初始評(píng)估值小于初始評(píng)估閾值,則生成的風(fēng)險(xiǎn)分析結(jié)果為有風(fēng)險(xiǎn)。
9、如上的,其中,風(fēng)險(xiǎn)警報(bào)信息至少包括:風(fēng)險(xiǎn)分析結(jié)果和風(fēng)險(xiǎn)警報(bào)時(shí)間。
10、本技術(shù)還提供一種基于云計(jì)算的分布式系統(tǒng),包括:多個(gè)請(qǐng)求端和云計(jì)算管理中心;其中,請(qǐng)求端:發(fā)送注冊(cè)請(qǐng)求或登錄請(qǐng)求;接收風(fēng)險(xiǎn)警報(bào)信息;接收存儲(chǔ)成功信息;云計(jì)算管理中心:執(zhí)行上述的基于云計(jì)算的分布式方法。
11、如上的,其中,云計(jì)算管理中心至少包括:風(fēng)險(xiǎn)分析模塊、任務(wù)分配模塊、多個(gè)云計(jì)算節(jié)點(diǎn)和多個(gè)分布式存儲(chǔ)集群;其中,風(fēng)險(xiǎn)分析模塊:響應(yīng)于登錄請(qǐng)求或注冊(cè)請(qǐng)求,對(duì)請(qǐng)求端進(jìn)行風(fēng)險(xiǎn)分析,生成風(fēng)險(xiǎn)分析結(jié)果;若風(fēng)險(xiǎn)分析結(jié)果為有風(fēng)險(xiǎn),則發(fā)送風(fēng)險(xiǎn)警報(bào)信息;任務(wù)分配模塊:若風(fēng)險(xiǎn)分析結(jié)果為無(wú)風(fēng)險(xiǎn),則接收任務(wù)數(shù)據(jù),并從多個(gè)云計(jì)算節(jié)點(diǎn)中為任務(wù)數(shù)據(jù)選擇云計(jì)算執(zhí)行節(jié)點(diǎn);根據(jù)分布式存儲(chǔ)策略從多個(gè)分布式存儲(chǔ)集群中調(diào)用執(zhí)行分布式集群;多個(gè)云計(jì)算節(jié)點(diǎn):允許任務(wù)分配模塊分配云計(jì)算執(zhí)行節(jié)點(diǎn);對(duì)任務(wù)數(shù)據(jù)中相應(yīng)的待存儲(chǔ)數(shù)據(jù)進(jìn)行分析,獲得每類待存儲(chǔ)數(shù)據(jù)的分布式存儲(chǔ)策略,并將分布式存儲(chǔ)策略發(fā)送至任務(wù)分配模塊;多個(gè)分布式存儲(chǔ)集群:允許任務(wù)分配模塊調(diào)用執(zhí)行分布式集群;由執(zhí)行分布式集群按照分布式存儲(chǔ)策略中的數(shù)據(jù)分割規(guī)則和數(shù)據(jù)存儲(chǔ)規(guī)則對(duì)任務(wù)數(shù)據(jù)中相應(yīng)的待存儲(chǔ)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)。
12、本技術(shù)實(shí)現(xiàn)的有益效果如下:
13、(1)本技術(shù)的基于云計(jì)算的分布式方法及系統(tǒng),每次接收到的一個(gè)存儲(chǔ)請(qǐng)求(即:任務(wù)數(shù)據(jù))中包括多類待存儲(chǔ)數(shù)據(jù),因此,當(dāng)同一個(gè)請(qǐng)求端需要同時(shí)存儲(chǔ)多類待存儲(chǔ)數(shù)據(jù)時(shí),只需要發(fā)送一個(gè)存儲(chǔ)請(qǐng)求即可,且能夠保障存儲(chǔ)類別的準(zhǔn)確性。
14、(2)在本技術(shù)的基于云計(jì)算的分布式方法及系統(tǒng)中,同一個(gè)分布式存儲(chǔ)集群用于對(duì)同一類別的存儲(chǔ)數(shù)據(jù)進(jìn)行存儲(chǔ),因此,無(wú)需進(jìn)行存儲(chǔ)策略切換,故不會(huì)因存儲(chǔ)策略切換而影響存儲(chǔ)的準(zhǔn)確性和存儲(chǔ)效率。
15、(3)本技術(shù)的基于云計(jì)算的分布式方法及系統(tǒng),在接收任務(wù)數(shù)據(jù)前需要對(duì)請(qǐng)求端進(jìn)行風(fēng)險(xiǎn)分析,能夠提高獲取的任務(wù)數(shù)據(jù)的安全性。
16、(4)本技術(shù)的基于云計(jì)算的分布式方法及系統(tǒng)能夠提高分布式存儲(chǔ)的安全性和準(zhǔn)確性,以及提高數(shù)據(jù)存儲(chǔ)效率。