一種基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明公開一種動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，屬于計(jì)算機(jī)存儲(chǔ)技術(shù)領(lǐng)域，具體地說是一種 基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法。
【背景技術(shù)】
[0002] 隨著大數(shù)據(jù)、云存儲(chǔ)時(shí)代的到來，云數(shù)據(jù)中心得到了飛速發(fā)展，使得高性能、低成 本的智能數(shù)據(jù)管理成為研宄熱點(diǎn)。由于復(fù)雜的應(yīng)用環(huán)境導(dǎo)致數(shù)據(jù)具有時(shí)效性和空間性、數(shù) 據(jù)訪問和處理復(fù)雜性、存儲(chǔ)訪問需求多樣性等特征，所以需要對(duì)各種動(dòng)態(tài)數(shù)據(jù)進(jìn)行分級(jí)、分 層處理，以實(shí)現(xiàn)應(yīng)用需求和存儲(chǔ)資源之間的合理映射，提高存儲(chǔ)設(shè)備的性價(jià)比。例如，通過 數(shù)據(jù)分級(jí)模型將數(shù)據(jù)分為熱點(diǎn)數(shù)據(jù)與冷數(shù)據(jù)，將熱點(diǎn)數(shù)據(jù)放置到性能更加優(yōu)異的存儲(chǔ)設(shè)備 上，提升訪問性能，將不被經(jīng)常訪問的冷數(shù)據(jù)放置到低速設(shè)備上，降低存儲(chǔ)成本。隨著數(shù)據(jù) 中心規(guī)模的擴(kuò)大，數(shù)據(jù)種類越來越多，應(yīng)用場景也越來越復(fù)雜，基于單一分類器的動(dòng)態(tài)數(shù)據(jù) 分級(jí)模式已不能適應(yīng)新的需求。針對(duì)此問題，本發(fā)明提出了一種基于多分類器融合的智能 動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，提高復(fù)雜應(yīng)用環(huán)境中數(shù)據(jù)分級(jí)的準(zhǔn)確性，更合理的表述多應(yīng)用多類型 數(shù)據(jù)的存儲(chǔ)層次，在提高數(shù)據(jù)分級(jí)的準(zhǔn)確性的同時(shí)，進(jìn)一步提升存儲(chǔ)性能。而且，由于多個(gè) 分類器通常都選擇簡單模型，可并行處理，因此，基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法還 可提高數(shù)據(jù)分級(jí)的處理速度，提升存儲(chǔ)效率。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明針對(duì)隨著數(shù)據(jù)中心規(guī)模的擴(kuò)大，數(shù)據(jù)種類越來越多，應(yīng)用場景也越來越復(fù) 雜，基于單一分類器的動(dòng)態(tài)數(shù)據(jù)分級(jí)模式已不能適應(yīng)新的需求的問題，提供一種基于多分 類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，實(shí)現(xiàn)了提高復(fù)雜應(yīng)用環(huán)境中數(shù)據(jù)分級(jí)的準(zhǔn)確性，更合理的 表述多應(yīng)用多類型數(shù)據(jù)的存儲(chǔ)層次。
[0004] 本發(fā)明提出的具體方案是： 一種基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，具體步驟為： ① 對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行數(shù)據(jù)特征提取，形成初始數(shù)據(jù)特征集合； ② 對(duì)初始數(shù)據(jù)特征集合，進(jìn)行數(shù)據(jù)特征預(yù)處理，篩選出最優(yōu)特征子集； ③ 對(duì)最優(yōu)特征子集，進(jìn)行多分類器訓(xùn)練，得出不同分類模型； ④ 將不同分類模型經(jīng)分類器融合形成動(dòng)態(tài)數(shù)據(jù)分級(jí)模型，利用動(dòng)態(tài)數(shù)據(jù)分級(jí)模型對(duì)動(dòng) 態(tài)數(shù)據(jù)進(jìn)行分級(jí)。
[0005] 所述的數(shù)據(jù)特征提取利用人工或機(jī)器進(jìn)行，用映射或變換的方法將原始特征降 維，變換為與原始特征相比數(shù)量較少的新特征，形成初始數(shù)據(jù)特征集合。
[0006] 對(duì)所述的初始數(shù)據(jù)特征集合，選擇最有分類信息的特征，使用PCA、維度變換、粗糙 集屬性約簡中的一種或幾種方法進(jìn)行篩選，篩選出最優(yōu)特征子集。
[0007] 根據(jù)應(yīng)用場景和數(shù)據(jù)類型選擇多個(gè)分類器進(jìn)行訓(xùn)練，得到若干分類器模型，選擇 有監(jiān)督分類器，以及相對(duì)簡單的半監(jiān)督或無監(jiān)督分類器模型。
[0008] 不同分類模型的數(shù)據(jù)類別進(jìn)行決策融合，根據(jù)各分類器的貢獻(xiàn)度，可得到融合分 類器模型如下：
【主權(quán)項(xiàng)】
1. 一種基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，其特征是具體步驟為： ① 對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行數(shù)據(jù)特征提取，形成初始數(shù)據(jù)特征集合； ② 對(duì)初始數(shù)據(jù)特征集合，進(jìn)行數(shù)據(jù)特征預(yù)處理，篩選出最優(yōu)特征子集； ③ 對(duì)最優(yōu)特征子集，進(jìn)行多分類器訓(xùn)練，得出不同分類模型； ④ 將不同分類模型經(jīng)分類器融合形成動(dòng)態(tài)數(shù)據(jù)分級(jí)模型，利用動(dòng)態(tài)數(shù)據(jù)分級(jí)模型對(duì)動(dòng) 態(tài)數(shù)據(jù)進(jìn)行分級(jí)。
2. 根據(jù)權(quán)利要求1所述的一種基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，其特征是所述 的數(shù)據(jù)特征提取利用人工或機(jī)器進(jìn)行，用映射或變換的方法將原始特征降維，變換為與原 始特征相比數(shù)量較少的新特征，形成初始數(shù)據(jù)特征集合。
3. 根據(jù)權(quán)利要求1或2所述的一種基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，其特征是 對(duì)所述的初始數(shù)據(jù)特征集合，選擇最有分類信息的特征，使用PCA、維度變換、粗糙集屬性約 簡中的一種或幾種方法進(jìn)行篩選，篩選出最優(yōu)特征子集。
4. 根據(jù)權(quán)利要求3所述的一種基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，其特征是根據(jù) 應(yīng)用場景和數(shù)據(jù)類型選擇多個(gè)分類器進(jìn)行訓(xùn)練，得到若干分類器模型，選擇有監(jiān)督分類器， 以及相對(duì)簡單的半監(jiān)督或無監(jiān)督分類器模型。
5. 根據(jù)權(quán)利要求4所述的一種基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，其特征是不 同分類模型的數(shù)據(jù)類別進(jìn)行決策融合，根據(jù)各分類器的貢獻(xiàn)度，可得到融合分類器模型如 下：
其中，Wij是分類器i對(duì)類別j的貢獻(xiàn)度，C u是分類器i判 斷數(shù)據(jù)屬于類別j的置信度。
6. 根據(jù)權(quán)利要求5所述的一種基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，其特征是使用 的所述的決策融合方法有投票選舉法、遺傳算法、模糊積分融合中的一種或幾種。
7. 根據(jù)權(quán)利要求6所述的一種基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，其特征是利用 所述的動(dòng)態(tài)數(shù)據(jù)分級(jí)模型對(duì)動(dòng)態(tài)數(shù)據(jù)進(jìn)行分級(jí)過程為：計(jì)算待處理數(shù)據(jù)的分類特征，將其 與各分類器模型進(jìn)行匹配，各分類器的分類并行處理，得到各分類器的決策結(jié)果C ij，利用生 成的動(dòng)態(tài)數(shù)據(jù)分級(jí)模型進(jìn)行計(jì)算，得到待處理數(shù)據(jù)的最終判別類別，完成與其余存儲(chǔ)層次 的映射。
【專利摘要】本發(fā)明公開一種基于多分類器融合的動(dòng)態(tài)數(shù)據(jù)分級(jí)方法，屬于計(jì)算機(jī)存儲(chǔ)技術(shù)領(lǐng)域，具體步驟為：①對(duì)訓(xùn)練集數(shù)據(jù)進(jìn)行數(shù)據(jù)特征提取，形成初始數(shù)據(jù)特征集合；②對(duì)初始數(shù)據(jù)特征集合，進(jìn)行數(shù)據(jù)特征預(yù)處理，篩選出最優(yōu)特征子集；③對(duì)最優(yōu)特征子集，進(jìn)行多分類器訓(xùn)練，得出不同分類模型；④將不同分類模型經(jīng)分類器融合形成動(dòng)態(tài)數(shù)據(jù)分級(jí)模型，利用動(dòng)態(tài)數(shù)據(jù)分級(jí)模型對(duì)動(dòng)態(tài)數(shù)據(jù)進(jìn)行分級(jí)；本發(fā)明的方法提高復(fù)雜應(yīng)用環(huán)境中數(shù)據(jù)分級(jí)的準(zhǔn)確性,更合理的表述多應(yīng)用多類型數(shù)據(jù)的存儲(chǔ)層次,在提高數(shù)據(jù)分級(jí)的準(zhǔn)確性的同時(shí)，進(jìn)一步提升存儲(chǔ)性能。
【IPC分類】G06K9-62, G06F17-30
【公開號(hào)】CN104636493
【申請(qǐng)?zhí)枴緾N201510095551
【發(fā)明人】趙雅倩, 陳繼承
【申請(qǐng)人】浪潮電子信息產(chǎn)業(yè)股份有限公司
【公開日】2015年5月20日
【申請(qǐng)日】2015年3月4日