一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法
【專利摘要】本發(fā)明提供一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法，由數(shù)據(jù)塊IO監(jiān)控模塊、數(shù)據(jù)塊遷移推送模塊和數(shù)據(jù)塊遷移提取模塊構(gòu)成：監(jiān)控統(tǒng)計(jì)整個(gè)分級(jí)存儲(chǔ)池每一層級(jí)來自用戶的IO流量，監(jiān)控用戶設(shè)置的分級(jí)存儲(chǔ)池每一層級(jí)的最大IO流量；模塊實(shí)例負(fù)責(zé)對(duì)所在層級(jí)設(shè)備數(shù)據(jù)塊的掃描以及來自數(shù)據(jù)塊IO監(jiān)控模塊的統(tǒng)計(jì)信息的掃描；根據(jù)來自數(shù)據(jù)塊IO監(jiān)控模塊的提取IO數(shù)量閥值，將IO從本層級(jí)設(shè)備的遷移隊(duì)列中取出；本發(fā)明和現(xiàn)有技術(shù)相比，通過將最近時(shí)間訪問的數(shù)據(jù)塊信息統(tǒng)計(jì)在內(nèi)存中，對(duì)此部分統(tǒng)計(jì)信息進(jìn)行快速的掃描，提高數(shù)據(jù)遷移的實(shí)時(shí)性以及遷移效率、降低對(duì)于正常IO的影響、提高存儲(chǔ)設(shè)備的使用效率。
【專利說明】一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)通信【技術(shù)領(lǐng)域】，具體地說是一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法。

【背景技術(shù)】
[0002]在針對(duì)于基于塊級(jí)數(shù)據(jù)的分級(jí)存儲(chǔ)系統(tǒng)中，將不經(jīng)常訪問的數(shù)據(jù)自動(dòng)遷移到存儲(chǔ)成本層次中較低的設(shè)備，釋放出較高成本的存儲(chǔ)空間給更頻繁訪問或更高優(yōu)先級(jí)的數(shù)據(jù)，從而大大減少非重要性數(shù)據(jù)在一級(jí)本地磁盤所占用的空間，加快整個(gè)系統(tǒng)的存儲(chǔ)性能，降低整個(gè)存儲(chǔ)系統(tǒng)的擁有成本，進(jìn)而獲得更好的性價(jià)比?；跀?shù)據(jù)塊的分級(jí)存儲(chǔ)是一種細(xì)粒度的數(shù)據(jù)分級(jí)管理方案，能夠?qū)?shù)據(jù)管理的粒度細(xì)化到根據(jù)應(yīng)用需求所定義的擴(kuò)展塊級(jí)，因此對(duì)于數(shù)據(jù)的管理更加精準(zhǔn)。當(dāng)出現(xiàn)密集1訪問底層數(shù)據(jù)時(shí)，將會(huì)產(chǎn)生熱點(diǎn)數(shù)據(jù)，這時(shí)需要完成熱點(diǎn)數(shù)據(jù)的升級(jí)遷移操作，以便實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)能夠使用性能更好的存儲(chǔ)資源，從而提高存儲(chǔ)系統(tǒng)整體性能。但是，在現(xiàn)有基于數(shù)據(jù)塊的分級(jí)存儲(chǔ)遷移方案中，存在數(shù)據(jù)塊的遷移效率比較低的問題、并且數(shù)據(jù)的遷移對(duì)用戶正常業(yè)務(wù)產(chǎn)生了一定的負(fù)面影響，主要存在如下原因:
(1)當(dāng)某時(shí)刻達(dá)到對(duì)于數(shù)據(jù)的遷移周期時(shí)，發(fā)生了密集1訪問的情況，這時(shí)為了保證數(shù)據(jù)的一致性，在進(jìn)行1操作時(shí)會(huì)對(duì)整個(gè)分級(jí)存儲(chǔ)池進(jìn)行加鎖處理，這時(shí)觸發(fā)遷移操作會(huì)導(dǎo)致操作由于對(duì)數(shù)據(jù)塊的加鎖互斥而無法及時(shí)完成，需要等待下一個(gè)或者多個(gè)遷移周期才能試圖執(zhí)行熱點(diǎn)數(shù)據(jù)的升級(jí)操作，導(dǎo)致熱點(diǎn)數(shù)據(jù)不能夠快速升級(jí)，影響了數(shù)據(jù)分級(jí)管理的實(shí)際應(yīng)用效果；在數(shù)據(jù)遷移獲取了分級(jí)存儲(chǔ)池的瑣時(shí)，會(huì)執(zhí)行大量的數(shù)據(jù)遷移，此時(shí)數(shù)據(jù)遷移也會(huì)占據(jù)存儲(chǔ)池的一定1帶寬，對(duì)用戶正常業(yè)務(wù)產(chǎn)生了負(fù)面的性能影響；
(2)在某時(shí)刻達(dá)到對(duì)于數(shù)據(jù)的遷移周期時(shí)，往往是對(duì)整個(gè)存儲(chǔ)池中的所有數(shù)據(jù)塊進(jìn)行遍歷掃描，當(dāng)分級(jí)存儲(chǔ)池中的數(shù)據(jù)量達(dá)到ZB級(jí)別時(shí)，此種場(chǎng)景下整個(gè)存儲(chǔ)池?cái)?shù)據(jù)的遷移效率是很低的。


【發(fā)明內(nèi)容】

[0003]本發(fā)明的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法，該方法可用于數(shù)據(jù)智能管理領(lǐng)域的自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)管理中，尤其是對(duì)于數(shù)據(jù)塊級(jí)的數(shù)據(jù)進(jìn)行自動(dòng)分級(jí)管理。
[0004]本發(fā)明的技術(shù)方案是按以下方式實(shí)現(xiàn)的，其結(jié)構(gòu)由數(shù)據(jù)塊1監(jiān)控模塊、數(shù)據(jù)塊遷移推送模塊和數(shù)據(jù)塊遷移提取模塊構(gòu)成:
數(shù)據(jù)塊1監(jiān)控模塊:監(jiān)控統(tǒng)計(jì)整個(gè)分級(jí)存儲(chǔ)池每一層級(jí)來自用戶的1流量，監(jiān)控用戶設(shè)置的分級(jí)存儲(chǔ)池每一層級(jí)的最大1流量，給數(shù)據(jù)塊遷移提取模塊提供提取1數(shù)量閥值；監(jiān)控統(tǒng)計(jì)每一層級(jí)的訪問引用計(jì)數(shù)；對(duì)來自用戶1訪問的數(shù)據(jù)塊進(jìn)行統(tǒng)計(jì)，并定期的將統(tǒng)計(jì)信息通知給數(shù)據(jù)塊遷移推送模塊；
數(shù)據(jù)塊遷移推送模塊:模塊實(shí)例負(fù)責(zé)對(duì)所在層級(jí)設(shè)備數(shù)據(jù)塊的掃描以及來自數(shù)據(jù)塊1監(jiān)控模塊的統(tǒng)計(jì)信息的掃描，根據(jù)數(shù)據(jù)塊最近訪問時(shí)間、引用計(jì)數(shù)、來自數(shù)據(jù)塊1監(jiān)控模塊提取閥值量、三個(gè)維度判斷數(shù)據(jù)塊向上遷移、向下遷移、靜止，根據(jù)判斷的結(jié)果將數(shù)據(jù)塊封裝成遷移1請(qǐng)求，推送到對(duì)應(yīng)上層設(shè)備或下層設(shè)備的1遷移隊(duì)列中；
數(shù)據(jù)塊遷移提取模塊:根據(jù)來自數(shù)據(jù)塊1監(jiān)控模塊的提取1數(shù)量閥值，將1從本層級(jí)設(shè)備的遷移隊(duì)列中取出，在本層級(jí)分配新的數(shù)據(jù)塊存儲(chǔ)原有存儲(chǔ)在下/上級(jí)設(shè)備中的用戶數(shù)據(jù)，此時(shí)新的映射關(guān)系建立，刪除原有數(shù)據(jù)塊的映射關(guān)系；累計(jì)本1流量到總提取1流量，當(dāng)累計(jì)的總提取1流量超過來自數(shù)據(jù)塊1監(jiān)控模塊的提取1數(shù)量閥值時(shí)，停止本輪單位提取1遷移請(qǐng)求，待下次實(shí)例運(yùn)行繼續(xù)處理；當(dāng)本層級(jí)設(shè)備遷移1隊(duì)列不存在遷移請(qǐng)求，停止本輪單位提取1遷移請(qǐng)求，待下次實(shí)例運(yùn)行繼續(xù)處理。
[0005]上述數(shù)據(jù)1監(jiān)控模塊定期的對(duì)來自用戶的R/W 1流量進(jìn)行統(tǒng)計(jì)，根據(jù)用戶設(shè)置的分級(jí)存儲(chǔ)池每一層級(jí)最大1流量計(jì)算出兩者之間的差值，將此值作為數(shù)據(jù)塊遷移提取模塊的最大1流量。
[0006]上述數(shù)據(jù)塊遷移推送模塊定期的掃描模塊實(shí)例所在層級(jí)設(shè)備的數(shù)據(jù)塊以及來自數(shù)據(jù)塊1監(jiān)控模塊的統(tǒng)計(jì)信息，根據(jù)數(shù)據(jù)的冷熱程度、數(shù)據(jù)塊1監(jiān)控模塊的提取閥值量將數(shù)據(jù)塊封裝成1遷移請(qǐng)求，添加到對(duì)應(yīng)設(shè)備的遷移1隊(duì)列中。
[0007]上述數(shù)據(jù)塊遷移提取模塊實(shí)例將存儲(chǔ)在本層級(jí)設(shè)備的遷移1隊(duì)列中的請(qǐng)求提取出來，在本層級(jí)分配新的數(shù)據(jù)塊，將請(qǐng)求攜帶的原有用戶數(shù)據(jù)存儲(chǔ)在新分配的數(shù)據(jù)塊中即建立新的映射關(guān)系，刪除原有數(shù)據(jù)塊的映射關(guān)系。
[0008]本發(fā)明的優(yōu)點(diǎn)是:
本發(fā)明的一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法和現(xiàn)有技術(shù)相比，通過將最近時(shí)間訪問的數(shù)據(jù)塊信息統(tǒng)計(jì)在內(nèi)存中，對(duì)此部分統(tǒng)計(jì)信息進(jìn)行快速的掃描，提高數(shù)據(jù)遷移的實(shí)時(shí)性以及遷移效率、降低對(duì)于正常1的影響、提高存儲(chǔ)設(shè)備的使用效率，而且本發(fā)明還具有設(shè)計(jì)合理、結(jié)構(gòu)簡(jiǎn)單、使用方便等特點(diǎn)，因而，具有很好的使用價(jià)值。

【專利附圖】

【附圖說明】
[0009]圖1為自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架的結(jié)構(gòu)示意圖。
[0010]圖2為存儲(chǔ)資源功能模塊-數(shù)據(jù)遷移流程圖。

【具體實(shí)施方式】
[0011]下面結(jié)合附圖對(duì)本發(fā)明的一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法作以下詳細(xì)說明。
[0012]如圖1-2所示，本發(fā)明的一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法，其結(jié)構(gòu)由數(shù)據(jù)塊1監(jiān)控模塊、數(shù)據(jù)塊遷移推送模塊和數(shù)據(jù)塊遷移提取模塊構(gòu)成:
數(shù)據(jù)1監(jiān)控模塊:定期監(jiān)控整個(gè)分級(jí)存儲(chǔ)池每一層級(jí)來自用戶的單位時(shí)間內(nèi)R/W 1流量并作出統(tǒng)計(jì)，監(jiān)控用戶設(shè)置的分級(jí)存儲(chǔ)池每一層級(jí)的單位時(shí)間內(nèi)最大的1流量，將這兩個(gè)1流量進(jìn)行差值計(jì)算，將此差值作為層級(jí)設(shè)備1遷移隊(duì)列1流量閥值即數(shù)據(jù)塊遷移提取1流量閥值；對(duì)每一層級(jí)設(shè)備的訪問引用計(jì)數(shù)進(jìn)行統(tǒng)計(jì)；對(duì)來自用戶1訪問的數(shù)據(jù)塊進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)信息包括訪問引用計(jì)數(shù)、當(dāng)前訪問時(shí)間，將統(tǒng)計(jì)信息保存在內(nèi)存中一份、并在磁盤中保存一份。
[0013]數(shù)據(jù)塊遷移推送模塊:模塊實(shí)例定期對(duì)所在層級(jí)設(shè)備數(shù)據(jù)塊以及來自模塊(I)的統(tǒng)計(jì)信息進(jìn)行掃描，根據(jù)數(shù)據(jù)塊的訪問時(shí)間、訪問引用計(jì)數(shù)、來自數(shù)據(jù)塊1監(jiān)控模塊提取閥值量、三個(gè)維度判斷向上遷移、向下遷移、靜止，根據(jù)判斷的結(jié)果將數(shù)據(jù)塊封裝成遷移1請(qǐng)求，推送到對(duì)應(yīng)上層設(shè)備或下層設(shè)備的遷移隊(duì)列中。
[0014]數(shù)據(jù)塊遷移提取模塊:數(shù)據(jù)塊遷移提取模塊實(shí)例定期運(yùn)行，當(dāng)本層級(jí)設(shè)備遷移1隊(duì)列存在遷移請(qǐng)求，將遷移1請(qǐng)求從本層級(jí)設(shè)備的遷移隊(duì)列中取出，在本層級(jí)分配新的數(shù)據(jù)塊存儲(chǔ)原有存儲(chǔ)在下/上級(jí)設(shè)備中的用戶數(shù)據(jù)，此時(shí)新的映射關(guān)系建立，刪除原有數(shù)據(jù)塊的映射關(guān)系；累計(jì)本1流量到總提取1流量，當(dāng)累計(jì)的總提取1流量超過來自數(shù)據(jù)塊1監(jiān)控模塊的提取1數(shù)量閥值時(shí)，停止本輪單位提取1遷移請(qǐng)求，待下次實(shí)例運(yùn)行繼續(xù)處理。當(dāng)本層級(jí)設(shè)備遷移1隊(duì)列不存在遷移請(qǐng)求，停止本輪單位提取1遷移請(qǐng)求，待下次實(shí)例運(yùn)行繼續(xù)處理。
[0015]結(jié)合附圖，對(duì)本發(fā)明的內(nèi)容以一個(gè)具體實(shí)例來描述實(shí)現(xiàn)這一體系結(jié)構(gòu)的過程。
[0016]正如
【發(fā)明內(nèi)容】
中所描述的，本發(fā)明主要模塊包括:數(shù)據(jù)1監(jiān)控模塊；數(shù)據(jù)塊遷移推送模塊；數(shù)據(jù)塊遷移提取模塊；
這三個(gè)模塊屬于自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架中的存儲(chǔ)資源子系統(tǒng)；【具體實(shí)施方式】為:
(1)將自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)軟件包安裝到存儲(chǔ)系統(tǒng)；
(2)將上述三個(gè)模塊作為子模塊安裝到存儲(chǔ)資源子系統(tǒng)中；
(3)分別在每一個(gè)設(shè)備層級(jí)激活三個(gè)模塊的實(shí)例，由整個(gè)自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)系統(tǒng)為用戶提供服務(wù)。
[0017]本發(fā)明的一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法其加工制作非常簡(jiǎn)單方便，按照說明書附圖所示即可加工。
[0018]除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。
【權(quán)利要求】
1.一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法，其特征在于由數(shù)據(jù)塊1監(jiān)控模塊、數(shù)據(jù)塊遷移推送模塊和數(shù)據(jù)塊遷移提取模塊構(gòu)成: 數(shù)據(jù)塊1監(jiān)控模塊:監(jiān)控統(tǒng)計(jì)整個(gè)分級(jí)存儲(chǔ)池每一層級(jí)來自用戶的1流量，監(jiān)控用戶設(shè)置的分級(jí)存儲(chǔ)池每一層級(jí)的最大1流量，給數(shù)據(jù)塊遷移提取模塊提供提取1數(shù)量閥值；監(jiān)控統(tǒng)計(jì)每一層級(jí)的訪問引用計(jì)數(shù)；對(duì)來自用戶1訪問的數(shù)據(jù)塊進(jìn)行統(tǒng)計(jì)，并定期的將統(tǒng)計(jì)信息通知給數(shù)據(jù)塊遷移推送模塊； 數(shù)據(jù)塊遷移推送模塊:模塊實(shí)例負(fù)責(zé)對(duì)所在層級(jí)設(shè)備數(shù)據(jù)塊的掃描以及來自數(shù)據(jù)塊1監(jiān)控模塊的統(tǒng)計(jì)信息的掃描，根據(jù)數(shù)據(jù)塊最近訪問時(shí)間、引用計(jì)數(shù)、來自數(shù)據(jù)塊1監(jiān)控模塊提取閥值量、三個(gè)維度判斷數(shù)據(jù)塊向上遷移、向下遷移、靜止，根據(jù)判斷的結(jié)果將數(shù)據(jù)塊封裝成遷移1請(qǐng)求，推送到對(duì)應(yīng)上層設(shè)備或下層設(shè)備的1遷移隊(duì)列中； 數(shù)據(jù)塊遷移提取模塊:根據(jù)來自數(shù)據(jù)塊1監(jiān)控模塊的提取1數(shù)量閥值，將1從本層級(jí)設(shè)備的遷移隊(duì)列中取出，在本層級(jí)分配新的數(shù)據(jù)塊存儲(chǔ)原有存儲(chǔ)在下/上級(jí)設(shè)備中的用戶數(shù)據(jù)，此時(shí)新的映射關(guān)系建立，刪除原有數(shù)據(jù)塊的映射關(guān)系；累計(jì)本1流量到總提取1流量，當(dāng)累計(jì)的總提取1流量超過來自數(shù)據(jù)塊1監(jiān)控模塊的提取1數(shù)量閥值時(shí)，停止本輪單位提取1遷移請(qǐng)求，待下次實(shí)例運(yùn)行繼續(xù)處理；當(dāng)本層級(jí)設(shè)備遷移1隊(duì)列不存在遷移請(qǐng)求，停止本輪單位提取1遷移請(qǐng)求，待下次實(shí)例運(yùn)行繼續(xù)處理。
2.根據(jù)權(quán)利要求1所述的一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法，其特征在于數(shù)據(jù)1監(jiān)控模塊定期的對(duì)來自用戶的R/W 1流量進(jìn)行統(tǒng)計(jì)，根據(jù)用戶設(shè)置的分級(jí)存儲(chǔ)池每一層級(jí)最大1流量計(jì)算出兩者之間的差值，將此值作為數(shù)據(jù)塊遷移提取模塊的最大1流量。
3.根據(jù)權(quán)利要求1所述的一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法，其特征在于數(shù)據(jù)塊遷移推送模塊定期的掃描模塊實(shí)例所在層級(jí)設(shè)備的數(shù)據(jù)塊以及來自數(shù)據(jù)塊1監(jiān)控模塊的統(tǒng)計(jì)信息，根據(jù)數(shù)據(jù)的冷熱程度、數(shù)據(jù)塊1監(jiān)控模塊的提取閥值量將數(shù)據(jù)塊封裝成1遷移請(qǐng)求，添加到對(duì)應(yīng)設(shè)備的遷移1隊(duì)列中。
4.根據(jù)權(quán)利要求1所述的一種自動(dòng)數(shù)據(jù)分級(jí)存儲(chǔ)框架下提高數(shù)據(jù)遷移效率的方法，其特征在于數(shù)據(jù)塊遷移提取模塊實(shí)例將存儲(chǔ)在本層級(jí)設(shè)備的遷移1隊(duì)列中的請(qǐng)求提取出來，在本層級(jí)分配新的數(shù)據(jù)塊，將請(qǐng)求攜帶的原有用戶數(shù)據(jù)存儲(chǔ)在新分配的數(shù)據(jù)塊中即建立新的映射關(guān)系，刪除原有數(shù)據(jù)塊的映射關(guān)系。
【文檔編號(hào)】G06F3/06GK104133643SQ201410378871
【公開日】2014年11月5日 申請(qǐng)日期:2014年8月4日 優(yōu)先權(quán)日:2014年8月4日
【發(fā)明者】梁志誠, 張宇, 溫源 申請(qǐng)人:浪潮電子信息產(chǎn)業(yè)股份有限公司