本發(fā)明涉及數(shù)據(jù)管理,尤其涉及一種多模態(tài)數(shù)據(jù)庫的數(shù)據(jù)管理方法及系統(tǒng)。
背景技術(shù):
1、多模態(tài)數(shù)據(jù)庫的數(shù)據(jù)管理技術(shù)源于多種數(shù)據(jù)類型的增加和復(fù)雜性的提升,這些數(shù)據(jù)類型包括文本、圖像、視頻、音頻以及多種傳感器數(shù)據(jù)等,特別是在處理復(fù)雜的、多源的、異構(gòu)的數(shù)據(jù)時(shí),傳統(tǒng)的單一數(shù)據(jù)模型數(shù)據(jù)庫由于其局限性,已經(jīng)難以滿足現(xiàn)代應(yīng)用的需求;一般的數(shù)據(jù)管理是指對數(shù)據(jù)進(jìn)行有效的采集、存儲、安全管理、驗(yàn)證和處理的一系列策略和技術(shù),但隨著技術(shù)的發(fā)展,普通的數(shù)據(jù)管理方法無法滿足大部分用戶的需求,需要對數(shù)據(jù)進(jìn)行深層次的分析,挖掘內(nèi)部特征,對多樣化的多模態(tài)數(shù)據(jù)提供智能化、個(gè)性化的管理模式,對內(nèi)部存儲結(jié)構(gòu)進(jìn)行調(diào)整和優(yōu)化,針對多模態(tài)數(shù)據(jù)的特征優(yōu)化數(shù)據(jù)存儲策略。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明旨在提供一種多模態(tài)數(shù)據(jù)庫的數(shù)據(jù)管理方法及系統(tǒng),針對多模態(tài)數(shù)據(jù)的特征優(yōu)化數(shù)據(jù)存儲策略。
2、一種多模態(tài)數(shù)據(jù)庫的數(shù)據(jù)管理方法,包括以下步驟:
3、獲取待管理多模態(tài)數(shù)據(jù)集,待管理多模態(tài)數(shù)據(jù)集包含有n條待管理多模態(tài)數(shù)據(jù)dn,待管理多模態(tài)數(shù)據(jù)dn為文本數(shù)據(jù)或圖像數(shù)據(jù);基于待管理多模態(tài)數(shù)據(jù)集和多模態(tài)數(shù)據(jù)特征分析模型中進(jìn)行分析,得到待管理多模態(tài)數(shù)據(jù)融合特征rn,n=1,2,…,n;
4、多模態(tài)數(shù)據(jù)特征分析模型包括有數(shù)據(jù)預(yù)處理層、特征提取層、綜合分析層和融合特征輸出層,基于知識圖譜算法對基礎(chǔ)cnn模型進(jìn)行改進(jìn),并引入特征自適應(yīng)閾值因子z,用于提取待管理多模態(tài)數(shù)據(jù)dn的深層次特征;
5、基于待管理多模態(tài)數(shù)據(jù)融合特征rn和多模態(tài)數(shù)據(jù)管理分配模型,對待管理多模態(tài)數(shù)據(jù)dn進(jìn)行數(shù)據(jù)庫存儲分配,將待管理多模態(tài)數(shù)據(jù)集存儲至多模態(tài)數(shù)據(jù)庫中;其中,多模態(tài)數(shù)據(jù)庫中包含有m個(gè)多模態(tài)數(shù)據(jù)庫分區(qū)pm,m=1,2,…,m;每個(gè)多模態(tài)數(shù)據(jù)庫分區(qū)pm對應(yīng)一個(gè)數(shù)據(jù)庫訪問隱含值ym;
6、多模態(tài)數(shù)據(jù)管理分配模型包括有特征匹配層、分區(qū)存儲層和結(jié)果輸出層,利用特征匹配技術(shù)對待管理多模態(tài)數(shù)據(jù)dn進(jìn)行數(shù)據(jù)庫存儲分配;
7、獲取目標(biāo)用戶操作記錄;基于目標(biāo)用戶操作記錄和多模態(tài)數(shù)據(jù)庫管理更新模型,對多模態(tài)數(shù)據(jù)庫分區(qū)pm進(jìn)行動態(tài)更新,得到新的多模態(tài)數(shù)據(jù)庫分區(qū)pm,并賦予新的多模態(tài)數(shù)據(jù)庫分區(qū)pm新的數(shù)據(jù)庫訪問隱含值ym;
8、多模態(tài)數(shù)據(jù)庫管理更新模型包括有操作特征量化層、隱含值變更層和數(shù)據(jù)庫存儲更新層,基于啟發(fā)式改進(jìn)的群體優(yōu)化算法進(jìn)行優(yōu)化。
9、作為本發(fā)明的一種優(yōu)選技術(shù)方案,多模態(tài)數(shù)據(jù)特征分析模型包括有數(shù)據(jù)預(yù)處理層、特征提取層、綜合分析層和融合特征輸出層;
10、數(shù)據(jù)預(yù)處理層用于對待管理多模態(tài)數(shù)據(jù)dn進(jìn)行預(yù)處理,得到預(yù)處理待管理多模態(tài)數(shù)據(jù)dn’;
11、特征提取層用于利用改進(jìn)后的知識圖譜算法和cnn模型對預(yù)處理待管理多模態(tài)數(shù)據(jù)dn’進(jìn)行特征提取,得到待管理多模態(tài)數(shù)據(jù)特征tn;
12、綜合分析層用于將所有預(yù)處理待管理多模態(tài)數(shù)據(jù)dn’進(jìn)行融合特征分析,得到多模態(tài)數(shù)據(jù)集特征;
13、融合特征輸出層用于將待管理多模態(tài)數(shù)據(jù)特征tn和多模態(tài)數(shù)據(jù)集特征進(jìn)行特征融合,得到待管理多模態(tài)數(shù)據(jù)融合特征rn。
14、作為本發(fā)明的一種優(yōu)選技術(shù)方案,特征提取層中進(jìn)行特征提取的具體步驟,包括:
15、特征提取層由i層卷積層構(gòu)成,i=1,2,…,i;設(shè)定特征自適應(yīng)閾值因子z,,σ是多模態(tài)數(shù)據(jù)卷積特征j3i-2的標(biāo)準(zhǔn)差,表示特征的波動范圍;μ是多模態(tài)數(shù)據(jù)卷積特征j3i-2的均值,表示特征的平均水平;h(f)是多模態(tài)數(shù)據(jù)卷積特征j3i-2的熵,表示特征的復(fù)雜度;α、β和?是一個(gè)調(diào)整系數(shù);
16、在第3i-2卷積層中,對預(yù)處理待管理多模態(tài)數(shù)據(jù)dn’或多模態(tài)數(shù)據(jù)卷積特征j3i進(jìn)行特征識別,得到多模態(tài)數(shù)據(jù)卷積特征j3i-2;計(jì)算當(dāng)前的特征自適應(yīng)閾值因子z;當(dāng)特征自適應(yīng)閾值因子z大于預(yù)設(shè)特征調(diào)整閾值時(shí),則在將第3i-1卷積層降低池化強(qiáng)度;否則,保持不變;
17、在第3i-1卷積層中,對多模態(tài)數(shù)據(jù)卷積特征j3i-2進(jìn)行池化操作,得到多模態(tài)數(shù)據(jù)卷積特征j3i-1;
18、在第3i卷積層中,對多模態(tài)數(shù)據(jù)卷積特征j3i-1進(jìn)行實(shí)體識別,得到多模態(tài)數(shù)據(jù)卷積特征j3i;
19、重復(fù)上述操作,在第i卷積層中,得到待管理多模態(tài)數(shù)據(jù)特征tn。
20、作為本發(fā)明的一種優(yōu)選技術(shù)方案,多模態(tài)數(shù)據(jù)管理分配模型包括有特征匹配層、分區(qū)存儲層和結(jié)果輸出層;
21、特征匹配層用于對待管理多模態(tài)數(shù)據(jù)融合特征rn進(jìn)行特征匹配,得到數(shù)據(jù)庫訪問匹配預(yù)測結(jié)果gn;
22、分區(qū)存儲層用于基于數(shù)據(jù)庫訪問匹配預(yù)測結(jié)果gn匹配最接近的數(shù)據(jù)庫訪問隱含值ym,得到數(shù)據(jù)庫管理分配結(jié)果qn;
23、結(jié)果輸出層用于基于所有數(shù)據(jù)庫管理分配結(jié)果qn將待管理多模態(tài)數(shù)據(jù)dn存儲至對應(yīng)的多模態(tài)數(shù)據(jù)庫分區(qū)pm中。
24、作為本發(fā)明的一種優(yōu)選技術(shù)方案,訓(xùn)練特征匹配層的具體步驟,包括:
25、收集若干組帶有標(biāo)簽值的數(shù)據(jù)特征匹配樣本;每一組數(shù)據(jù)特征匹配樣本中包含有已驗(yàn)證的數(shù)據(jù)對應(yīng)的數(shù)據(jù)融合特征和標(biāo)簽值,標(biāo)簽值表示數(shù)據(jù)訪問標(biāo)簽;若干組帶有標(biāo)簽值的數(shù)據(jù)特征匹配樣本組合,得到數(shù)據(jù)特征匹配訓(xùn)練集;
26、將數(shù)據(jù)特征匹配訓(xùn)練集輸入至多模態(tài)數(shù)據(jù)管理分配模型中對特征匹配層利用標(biāo)簽值為目標(biāo)進(jìn)行訓(xùn)練,得到初始特征匹配層;對初始特征匹配層進(jìn)行模型評估,得到初始特征匹配層模型評估結(jié)果;若初始特征匹配層模型評估結(jié)果為通過,則將初始特征匹配層作為多模態(tài)數(shù)據(jù)管理分配模型中的特征匹配層;否則,利用數(shù)據(jù)特征匹配訓(xùn)練集繼續(xù)進(jìn)行模型訓(xùn)練。
27、作為本發(fā)明的一種優(yōu)選技術(shù)方案,多模態(tài)數(shù)據(jù)庫管理更新模型包括有操作特征量化層、隱含值變更層和數(shù)據(jù)庫存儲更新層;
28、操作特征量化層用于對目標(biāo)用戶操作記錄進(jìn)行特征量化,得到目標(biāo)用戶操作特征量化值lm;
29、隱含值變更層用于根據(jù)目標(biāo)用戶操作特征量化值lm和數(shù)據(jù)庫隱含值變更函數(shù)進(jìn)行分析,得到新的數(shù)據(jù)庫訪問隱含值ym;數(shù)據(jù)庫隱含值變更函數(shù)由啟發(fā)式改進(jìn)群體優(yōu)化算法確定;
30、數(shù)據(jù)庫存儲更新層用于基于新的數(shù)據(jù)庫訪問隱含值ym重新分配多模態(tài)數(shù)據(jù)庫分區(qū)pm中的多模態(tài)數(shù)據(jù),得到新的多模態(tài)數(shù)據(jù)庫分區(qū)pm。
31、作為本發(fā)明的一種優(yōu)選技術(shù)方案,確定數(shù)據(jù)庫隱含值變更函數(shù)的具體步驟,包括:
32、構(gòu)建2k個(gè)模擬隱含值變更函數(shù)個(gè)體ak,k=1,2,…,2k;每一個(gè)模擬隱含值變更函數(shù)個(gè)體ak中包含有對數(shù)據(jù)庫隱含值變更函數(shù)的解;將前k個(gè)模擬隱含值變更函數(shù)個(gè)體ak作為探索隱含值變更函數(shù)種群,后k個(gè)模擬隱含值變更函數(shù)個(gè)體ak作為開發(fā)隱含值變更函數(shù)種群;設(shè)定迭代次數(shù)b,b=1,2,…,b;記開發(fā)隱含值變更函數(shù)種群中適應(yīng)度最大的值為哨兵隱含值變更函數(shù)個(gè)體;
33、計(jì)算適應(yīng)度的具體步驟,包括:
34、收集若干組已驗(yàn)證初始特征量化值和對應(yīng)的數(shù)據(jù)庫分配結(jié)果作為一組數(shù)據(jù)庫隱含值變更訓(xùn)練樣本;
35、根據(jù)模擬隱含值變更函數(shù)個(gè)體ak對數(shù)據(jù)庫隱含值變更訓(xùn)練樣本進(jìn)行模擬計(jì)算,得到模擬變更隱含值,并根據(jù)模擬特征量化值進(jìn)行數(shù)據(jù)庫分區(qū)匹配,得到模擬數(shù)據(jù)庫分區(qū)結(jié)果;計(jì)算模擬數(shù)據(jù)庫分區(qū)結(jié)果和對應(yīng)的數(shù)據(jù)庫分配結(jié)果的準(zhǔn)確率,得到模擬計(jì)算準(zhǔn)確率;將所有模擬計(jì)算準(zhǔn)確率作為模擬隱含值變更函數(shù)個(gè)體ak的適應(yīng)度sk;
36、當(dāng)b%2=0時(shí),探索隱含值變更函數(shù)種群進(jìn)行種群迭代,得到更新探索隱含值變更函數(shù)種群;同時(shí),開發(fā)隱含值變更函數(shù)種群進(jìn)行種群迭代,得到更新開發(fā)隱含值變更函數(shù)種群,并選出新的哨兵隱含值變更函數(shù)個(gè)體;
37、當(dāng)b%2≠0時(shí),探索隱含值變更函數(shù)種群不進(jìn)行種群迭代,且無操作;開發(fā)隱含值變更函數(shù)種群中圍繞哨兵隱含值變更函數(shù)個(gè)體進(jìn)行種群迭代,得到更新開發(fā)隱含值變更函數(shù)種群;
38、當(dāng)b=b時(shí),輸出探索隱含值變更函數(shù)種群和開發(fā)隱含值變更函數(shù)種群中適應(yīng)度最大的模擬隱含值變更函數(shù)個(gè)體,即為最優(yōu)模擬隱含值變更函數(shù)個(gè)體;將最優(yōu)模擬隱含值變更函數(shù)個(gè)體中對數(shù)據(jù)庫隱含值變更函數(shù)的解作為數(shù)據(jù)庫隱含值變更函數(shù)。
39、一種多模態(tài)數(shù)據(jù)庫的數(shù)據(jù)管理系統(tǒng),包括:
40、多模態(tài)數(shù)據(jù)分析模塊,包括有數(shù)據(jù)獲取單元和數(shù)據(jù)分析單元;數(shù)據(jù)獲取單元用于獲取待管理多模態(tài)數(shù)據(jù)集,待管理多模態(tài)數(shù)據(jù)集包含有n條待管理多模態(tài)數(shù)據(jù)dn,待管理多模態(tài)數(shù)據(jù)dn為文本數(shù)據(jù)或圖像數(shù)據(jù);數(shù)據(jù)分析單元用于基于待管理多模態(tài)數(shù)據(jù)集和多模態(tài)數(shù)據(jù)特征分析模型中進(jìn)行分析,得到待管理多模態(tài)數(shù)據(jù)融合特征rn,n=1,2,…,n;
41、多模態(tài)數(shù)據(jù)存儲模塊,包括數(shù)據(jù)存儲單元;數(shù)據(jù)存儲單元用于基于待管理多模態(tài)數(shù)據(jù)融合特征rn和多模態(tài)數(shù)據(jù)管理分配模型,對待管理多模態(tài)數(shù)據(jù)dn進(jìn)行數(shù)據(jù)庫存儲分配,將待管理多模態(tài)數(shù)據(jù)集存儲至多模態(tài)數(shù)據(jù)庫中;其中,多模態(tài)數(shù)據(jù)庫中包含有m個(gè)多模態(tài)數(shù)據(jù)庫分區(qū)pm,m=1,2,…,m;每個(gè)多模態(tài)數(shù)據(jù)庫分區(qū)pm對應(yīng)一個(gè)數(shù)據(jù)庫訪問隱含值ym;
42、多模態(tài)數(shù)據(jù)更新模塊,包括有數(shù)據(jù)存儲更新單元;數(shù)據(jù)存儲更新單元用于獲取目標(biāo)用戶操作記錄;基于目標(biāo)用戶操作記錄和多模態(tài)數(shù)據(jù)庫管理更新模型,對多模態(tài)數(shù)據(jù)庫分區(qū)pm進(jìn)行動態(tài)更新,得到新的多模態(tài)數(shù)據(jù)庫分區(qū)pm,并賦予新的多模態(tài)數(shù)據(jù)庫分區(qū)pm新的數(shù)據(jù)庫訪問隱含值ym。
43、本發(fā)明具有以下優(yōu)點(diǎn):
44、1、本發(fā)明通過利用多模態(tài)數(shù)據(jù)特征分析模型提取深層次特征,提高了數(shù)據(jù)識別的準(zhǔn)確性和深度;通過特征匹配技術(shù)進(jìn)行數(shù)據(jù)庫存儲分配,優(yōu)化了數(shù)據(jù)存儲結(jié)構(gòu),提升了查詢效率;引入特征自適應(yīng)閾值因子z和基于知識圖譜的cnn模型改進(jìn),增強(qiáng)了模型的泛化能力和適應(yīng)性;通過多模態(tài)數(shù)據(jù)庫管理更新模型,實(shí)現(xiàn)了數(shù)據(jù)庫分區(qū)的動態(tài)更新,響應(yīng)用戶操作變化,保持?jǐn)?shù)據(jù)庫的時(shí)效性和相關(guān)性,共同提升了多模態(tài)數(shù)據(jù)處理的智能化水平,降低了管理成本,增強(qiáng)了用戶體驗(yàn)。
45、2、本發(fā)明通過融合文本數(shù)據(jù)與圖像數(shù)據(jù)等多模態(tài)信息,能夠更加全面地挖掘待管理數(shù)據(jù)的潛在特征,提高數(shù)據(jù)表示的豐富性和準(zhǔn)確性;引入知識圖譜算法改進(jìn)cnn模型,使得在特征提取過程中能夠更好地理解和捕捉數(shù)據(jù)之間的深層關(guān)系,特別是通過自適應(yīng)閾值因子z對特征提取的自適應(yīng)調(diào)整,有效提升了特征挖掘的深度與準(zhǔn)確度;通過多模態(tài)數(shù)據(jù)管理分配模型,能夠根據(jù)待管理多模態(tài)數(shù)據(jù)的融合特征對其進(jìn)行智能化的數(shù)據(jù)庫存儲分配,這種方法優(yōu)化了存儲過程,使得數(shù)據(jù)能夠高效地分配到合適的數(shù)據(jù)庫分區(qū),避免了數(shù)據(jù)存儲的沖突和冗余,提高了數(shù)據(jù)庫的存取效率。