專利名稱：一種磁盤陣列數(shù)據(jù)分布方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種優(yōu)化磁盤陣列數(shù)據(jù)分布的技術(shù)，通常用于大規(guī)模的、密集訪問(wèn)的
存儲(chǔ)系統(tǒng)的應(yīng)用。
背景技術(shù)：
隨著信息化速度的加快，數(shù)據(jù)量和訪問(wèn)量爆炸性地增加，存儲(chǔ)系統(tǒng)和磁盤陣列正 面臨著性能和高數(shù)據(jù)訪問(wèn)量的壓力。 目前， 一些主要的優(yōu)化磁盤陣列數(shù)據(jù)分布技術(shù)主要是針對(duì)當(dāng)前時(shí)刻的磁盤I/O分 布信息來(lái)進(jìn)行一些優(yōu)化，但是當(dāng)前的磁盤I/O分布信息并不能夠正確地反應(yīng)下一個(gè)時(shí)間點(diǎn) 的磁盤I/O信息，這樣，即便是對(duì)數(shù)據(jù)分布進(jìn)行了一些優(yōu)化，也不能夠很好地達(dá)到優(yōu)化的效 果。申請(qǐng)人通過(guò)仔細(xì)研究后，考慮到如果能夠利用采集到的當(dāng)前時(shí)刻的磁盤1/0信息，去準(zhǔn) 確的預(yù)測(cè)未來(lái)磁盤的1/0訪問(wèn)分布信息，來(lái)制定相應(yīng)的磁盤數(shù)據(jù)優(yōu)化策略，則可以更為可 靠地提高磁盤陣列的性能。 因此如何提供一種方案，使其在顯著提高磁盤陣列性能，保證企業(yè)對(duì)存儲(chǔ)系統(tǒng)在 性能、安全性、可靠性等多方面的要求的同時(shí)，能夠應(yīng)對(duì)當(dāng)今數(shù)據(jù)快速增長(zhǎng)、大規(guī)模集中數(shù) 據(jù)訪問(wèn)的挑戰(zhàn)，是一個(gè)亟待解決的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是，提一種磁盤陣列數(shù)據(jù)分布方法及系統(tǒng)，可以在傳統(tǒng) 的優(yōu)化磁盤陣列數(shù)據(jù)分布技術(shù)上再次顯著提升性能，有助于解決磁盤陣列訪問(wèn)瓶頸的問(wèn) 題，從而大大提高磁盤訪問(wèn)性能，熱別是針對(duì)大規(guī)模的、訪問(wèn)頻繁的視頻存儲(chǔ)等應(yīng)用，也有 助于節(jié)約企業(yè)成本、有助于企業(yè)采取更為靈活的存儲(chǔ)架構(gòu)方式。 為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種磁盤陣列數(shù)據(jù)分布系統(tǒng)，包括依次相
連的一數(shù)據(jù)采集模塊、一隱馬爾科夫模型建立模塊、一磁盤I/O狀態(tài)和分布預(yù)測(cè)模塊、一預(yù)
測(cè)狀態(tài)分析模塊、一數(shù)據(jù)重分布策略分析模塊，以及一數(shù)據(jù)遷移模塊，其中 所述數(shù)據(jù)采集模塊，用以采集磁盤陣列中各磁盤的1/0訪問(wèn)數(shù)據(jù)； 所述隱馬爾科夫模型建立模塊，用以根據(jù)所述磁盤陣列中各磁盤的1/0訪問(wèn)數(shù)
據(jù)，建立磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型； 所述磁盤1/0狀態(tài)和分布預(yù)測(cè)模塊，用以根據(jù)所述磁盤陣列1/0訪問(wèn)分布狀態(tài)的 隱馬爾科夫模型，計(jì)算出磁盤1/0處于不同運(yùn)行狀態(tài)下的1/0訪問(wèn)概率，選取具備最大I/O 概率的狀態(tài)序列作為最有可能的磁盤1/0訪問(wèn)狀態(tài)輸出序列； 所述數(shù)據(jù)重分布策略分析模塊，用以對(duì)計(jì)算出的最有可能的磁盤I/O訪問(wèn)狀態(tài)輸 出序列進(jìn)行分析，得到熱點(diǎn)磁盤、熱數(shù)據(jù)、冷數(shù)據(jù)的分布情況； 所述數(shù)據(jù)重分布策略分析模塊，用以根據(jù)分析出的熱點(diǎn)磁盤、熱數(shù)據(jù)、冷數(shù)據(jù)的分 布情況制定數(shù)據(jù)重分布的策略； 所述數(shù)據(jù)遷移模塊，用以根據(jù)所述數(shù)據(jù)重分布策略進(jìn)行數(shù)據(jù)遷移。
進(jìn)一步地，上述系統(tǒng)還可具有以下特點(diǎn) 所述隱馬爾科夫模型建立模塊建立磁盤陣列I/O訪問(wèn)分布狀態(tài)的隱馬爾科夫模型包括 根據(jù)所述磁盤陣列中各磁盤的1/0訪問(wèn)數(shù)據(jù)，計(jì)算磁盤訪問(wèn)狀態(tài)的集合、模型的隱狀態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、磁盤訪問(wèn)狀態(tài)的集合，以及初始狀態(tài)概率矩陣； 根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、模型的隱狀態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合，以及初始狀態(tài)概率矩陣，構(gòu)造狀態(tài)空間到觀察的特征空間的映射，計(jì)算出狀態(tài)轉(zhuǎn)移概率分布； 根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合、初始狀態(tài)概率矩陣，以及狀態(tài)轉(zhuǎn)移概率分布構(gòu)建磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型。
進(jìn)一步地，上述系統(tǒng)還可具有以下特點(diǎn)
還包括一日志信息模塊，其中
所述日志信息模塊，用以記錄系統(tǒng)信息。
進(jìn)一步地，上述系統(tǒng)還可具有以下特點(diǎn)
還包括一界面管理模塊，其中 所述界面管理模塊，用以對(duì)所述數(shù)據(jù)采集模塊、所述預(yù)測(cè)狀態(tài)分析模塊、所述數(shù)據(jù)
重分布策略分析模塊，以及所述日志信息模塊中的一個(gè)或多個(gè)進(jìn)行監(jiān)控。 為了解決上述技術(shù)問(wèn)題，本發(fā)明還提供了一種磁盤陣列數(shù)據(jù)分布方法，包括步
驟 采集磁盤陣列中各磁盤的I/O訪問(wèn)數(shù)據(jù)； 計(jì)算磁盤陣列I/O訪問(wèn)的特征參數(shù)，包括磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合、初始狀態(tài)概率矩陣，以及狀態(tài)轉(zhuǎn)移概率分布，并以此來(lái)構(gòu)建磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型； 根據(jù)所述磁盤陣列I/O訪問(wèn)分布狀態(tài)的隱馬爾科夫模型，計(jì)算出磁盤I/O處于不同運(yùn)行狀態(tài)下的1/0概率，選取具備最大1/0概率的狀態(tài)序列作為最有可能的磁盤1/0訪問(wèn)狀態(tài)輸出序列； 對(duì)所述最有可能的磁盤I/O訪問(wèn)狀態(tài)輸出序列進(jìn)行分析，找到熱點(diǎn)磁盤、熱數(shù)據(jù)、冷數(shù)據(jù)分布，據(jù)以制定數(shù)據(jù)重新分布策略； 根據(jù)制定好的數(shù)據(jù)重新分布策略，進(jìn)行磁盤的數(shù)據(jù)遷移處理。
進(jìn)一步地，上述方法還可具有以下特點(diǎn) 所述建立磁盤陣列I/O訪問(wèn)分布狀態(tài)的隱馬爾科夫模型包括步驟 根據(jù)所述磁盤陣列中各磁盤的I/O訪問(wèn)數(shù)據(jù)，計(jì)算磁盤訪問(wèn)狀態(tài)的集合、模型的
隱狀態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、磁盤訪問(wèn)狀態(tài)的集合，以及
初始狀態(tài)概率矩陣； 根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、模型的隱狀態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合，以及初始狀態(tài)概率矩陣，構(gòu)造狀態(tài)空間到觀察的特征空間的映射，計(jì)算出狀態(tài)轉(zhuǎn)移概率分布；
根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合、初始狀態(tài)概率矩陣，以及狀態(tài)轉(zhuǎn)移概率分布構(gòu)建磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型。 進(jìn)一步地，上述方法還可具有以下特點(diǎn) 通過(guò)人機(jī)交互界面向用戶展示采集到的磁盤陣列1/0信息、預(yù)測(cè)出的最有可能的
磁盤I/O訪問(wèn)狀態(tài)輸出序列、熱點(diǎn)盤信息、磁盤數(shù)據(jù)遷移信息中的一種或者多種。 本發(fā)明提供的一種磁盤陣列數(shù)據(jù)分布方法及系統(tǒng)，可以在傳統(tǒng)的優(yōu)化磁盤陣列數(shù)
據(jù)分布技術(shù)上再次顯著提升性能，有助于解決磁盤陣列訪問(wèn)瓶頸的問(wèn)題，從而大大提高磁
盤訪問(wèn)性能，熱別是針對(duì)大規(guī)模的、訪問(wèn)頻繁的視頻存儲(chǔ)等應(yīng)用，也有助于節(jié)約企業(yè)成本、
有助于企業(yè)采取更為靈活的存儲(chǔ)架構(gòu)方式，可以顯著提高磁盤陣列性能，能夠保證企業(yè)對(duì)
存儲(chǔ)系統(tǒng)在性能、安全性、可靠性等多方面的要求的同時(shí)，應(yīng)對(duì)當(dāng)今數(shù)據(jù)快速增長(zhǎng)、大規(guī)模
集中數(shù)據(jù)訪問(wèn)的挑戰(zhàn)。


圖1為本發(fā)明實(shí)施例一種磁盤陣列數(shù)據(jù)分布系統(tǒng)組成示意 圖2為本發(fā)明實(shí)施例一種磁盤陣列數(shù)據(jù)分布方法流程示意圖。
具體實(shí)施例方式
本發(fā)明提供了一種磁盤陣列數(shù)據(jù)分布系統(tǒng)及方法，其基本構(gòu)思是將隱馬爾科夫模型與磁盤陣列數(shù)據(jù)分布技術(shù)有效地結(jié)合，利用隱馬爾科夫模型優(yōu)化數(shù)據(jù)在磁盤陣列中的分布，通過(guò)采集一段時(shí)間內(nèi)的I/O訪問(wèn)信息樣本，利用隱馬爾科夫模型對(duì)樣本分析并進(jìn)行磁盤訪問(wèn)信息的預(yù)測(cè)，根據(jù)預(yù)測(cè)的結(jié)果重新組織數(shù)據(jù)在磁盤陣列上的分布，將冷熱數(shù)據(jù)分離，通過(guò)替換業(yè)務(wù)數(shù)據(jù)訪問(wèn)路徑來(lái)提升磁盤陣列性能。
下面將結(jié)合附圖來(lái)詳細(xì)說(shuō)明本發(fā)明實(shí)施方案。
參見圖l，該圖示出了本發(fā)明實(shí)施例一種磁盤陣列數(shù)據(jù)分布系統(tǒng)，包括界面管理
模塊、數(shù)據(jù)采集模塊、隱馬爾科夫模型建立模塊、磁盤1/0狀態(tài)和分布預(yù)測(cè)模塊、預(yù)測(cè)狀態(tài)
分析模塊、數(shù)據(jù)重分布策略分析模塊、數(shù)據(jù)遷移模塊，以及日志信息模塊，其中 所述界面管理模塊，可以對(duì)所述數(shù)據(jù)采集模塊、所述預(yù)測(cè)狀態(tài)分析模塊、所述數(shù)據(jù)
重分布策略分析模塊，以及所述日志信息模塊中的一個(gè)或者多個(gè)進(jìn)行監(jiān)控，從而可以為用
戶提供對(duì)采集的磁盤陣列1/0信息查看、預(yù)測(cè)出的最有可能的磁盤1/0訪問(wèn)狀態(tài)輸出序列、
熱點(diǎn)盤信息查看、磁盤數(shù)據(jù)遷移信息查看等功能。
所述數(shù)據(jù)采集模塊，用以采集磁盤陣列中各磁盤的1/0訪問(wèn)數(shù)據(jù)。 所述數(shù)據(jù)采集模塊，可以根據(jù)一預(yù)設(shè)的采集策略，采集磁盤陣列中各磁盤的I/O
訪問(wèn)數(shù)據(jù)，例如，在預(yù)設(shè)的時(shí)間段內(nèi)，或者時(shí)間點(diǎn)上，采集發(fā)生在磁盤陣列中各磁盤上的I/O
訪問(wèn)數(shù)據(jù)，或者還可以細(xì)化到對(duì)各磁盤上的各扇區(qū)的1/0訪問(wèn)數(shù)據(jù)，等等。 所述隱馬爾科夫模型建立模塊，用以根據(jù)所述磁盤陣列中各磁盤的1/0訪問(wèn)數(shù)
據(jù)，建立磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型，具體包括 (1)，根據(jù)所述磁盤陣列中各磁盤的I/O訪問(wèn)數(shù)據(jù)，計(jì)算磁盤訪問(wèn)狀態(tài)的集合、模型的隱狀態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、磁盤訪問(wèn)狀態(tài)的集合，
6以及初始狀態(tài)概率矩陣，其中 磁盤訪問(wèn)狀態(tài)的集合X，其中X = {Sn . . . ， Sn， . . . ， SN}， n G [1， N]， Sn表示具體的磁盤I/O狀態(tài)，例如磁盤讀狀態(tài)、寫狀態(tài)、等待讀狀態(tài)，等待寫狀態(tài)等等；
模型的隱狀態(tài)個(gè)數(shù)N ;所謂隱狀態(tài)，是指當(dāng)前狀態(tài)是隱含的，并沒有確定，例如，當(dāng)前狀態(tài)是從等待讀狀態(tài)向讀狀態(tài)遷移的一種狀態(tài)。 可觀測(cè)符號(hào)的集合0，其中0 = {Vp ， Vm， ， VM} ， m G [1， M] ， Vm表示從m狀
態(tài)可能輸出的不同觀測(cè)值的數(shù)目； 磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣B = {bj (k)}，表示狀態(tài)j下觀測(cè)的概率值，其中bj (k)=p {ot = vk I qt = Sj} ， 1《j《N， 1《k《M ;Ot表示t時(shí)刻的觀察值，Vk表示從k狀態(tài)可能輸出的不同觀測(cè)值的數(shù)目，qt表示t時(shí)刻的磁盤I/O狀態(tài)，Sj表示磁盤I/O的具體狀態(tài)；
初始狀態(tài)概率矩陣JI，其中= { J ， i = p {qt = Sj} ， 1《i《N， Ji i表示i時(shí)刻的磁盤I/O狀態(tài)，qt表示t時(shí)刻的磁盤I/O狀態(tài)，Sj表示磁盤I/O的具體狀態(tài)；
(2)，根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、模型的隱狀態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合，以及初始狀態(tài)概率矩陣，構(gòu)造狀態(tài)空間到觀察的特征空間的映射，計(jì)算出狀態(tài)轉(zhuǎn)移概率分布A; (3)，根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合、初始狀態(tài)概率矩陣，以及狀態(tài)轉(zhuǎn)移概率分布A這5個(gè)磁盤陣列1/0訪問(wèn)的特征參數(shù)，構(gòu)建一個(gè)磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型A = (x，O， Ji，A，B)。
所述磁盤I/O狀態(tài)和分布預(yù)測(cè)模塊，用以根據(jù)所述磁盤陣列I/O訪問(wèn)分布狀態(tài)的隱馬爾科夫模型，計(jì)算出磁盤I/O處于不同運(yùn)行狀態(tài)下的I/O概率，選取具備最大I/O概率的狀態(tài)序列作為最有可能的磁盤1/0訪問(wèn)狀態(tài)輸出序列； 所述預(yù)測(cè)狀態(tài)分析模塊，用以對(duì)計(jì)算出的最有可能的磁盤I/0訪問(wèn)狀態(tài)輸出序列進(jìn)行分析，得到熱點(diǎn)磁盤、熱數(shù)據(jù)、冷數(shù)據(jù)的分布情況。 所述數(shù)據(jù)重分布策略分析模塊，用以根據(jù)分析出的熱點(diǎn)盤、熱數(shù)據(jù)分布、冷數(shù)據(jù)分
布等信息制定數(shù)據(jù)重分布的策略。例如，將訪問(wèn)頻率非常高且所在物理磁盤存儲(chǔ)容量高負(fù)
荷(磁盤內(nèi)存儲(chǔ)的數(shù)據(jù)接近上限)的數(shù)據(jù)遷移至數(shù)據(jù)訪問(wèn)量較低，且磁盤容量低負(fù)荷的磁
盤上，以通過(guò)冷熱數(shù)據(jù)分離達(dá)到提升性能的效果。 所述數(shù)據(jù)遷移模塊17，根據(jù)數(shù)據(jù)重分布策略進(jìn)行數(shù)據(jù)遷移。 所述日志信息模塊18，記錄系統(tǒng)信息。 參見圖2，該圖示出了基于隱馬爾科夫模型優(yōu)化磁盤陣列數(shù)據(jù)分布方法，包括如下步驟 步驟S201 :采集磁盤陣列中各磁盤的I/O訪問(wèn)數(shù)據(jù)； 根據(jù)一預(yù)設(shè)的采集策略，采集磁盤陣列中各磁盤的1/0訪問(wèn)數(shù)據(jù)，例如，在預(yù)設(shè)的時(shí)間段內(nèi)，或者時(shí)間點(diǎn)上，采集發(fā)生在磁盤陣列中各磁盤上的1/0訪問(wèn)數(shù)據(jù)，或者還可以細(xì)化到對(duì)各磁盤上的各扇區(qū)的1/0訪問(wèn)數(shù)據(jù)。 步驟S202 :計(jì)算磁盤陣列I/O訪問(wèn)的特征參數(shù)，包括磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合、初始狀態(tài)概率矩陣，以及狀態(tài)轉(zhuǎn)移概率分布，并以此來(lái)構(gòu)建磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型； 構(gòu)建磁盤陣列I/O訪問(wèn)分布狀態(tài)的隱馬爾科夫模型具體包括如下步驟
7
(1)，根據(jù)所述磁盤陣列中各磁盤的I/O訪問(wèn)數(shù)據(jù)，計(jì)算磁盤訪問(wèn)狀態(tài)的集合、模型的隱狀態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、磁盤訪問(wèn)狀態(tài)的集合，以及初始狀態(tài)概率矩陣，其中 磁盤訪問(wèn)狀態(tài)的集合X，其中X = {Sn . . . ， Sn， . . . ， SN}， n G [1， N]， Sn表示具體的磁盤I/O狀態(tài)，例如磁盤讀狀態(tài)、寫狀態(tài)、等待讀狀態(tài)，等待寫狀態(tài)等等；
模型的隱狀態(tài)個(gè)數(shù)N;所謂隱狀態(tài)，是指當(dāng)前狀態(tài)是隱含的，并沒有確定，例如，當(dāng)前狀態(tài)是從等待讀狀態(tài)向讀狀態(tài)遷移的一種狀態(tài)。 可觀測(cè)符號(hào)的集合O，其中0 = {Vp . . . ， Vm， . . . ， VM}， m G [1， M] ， Vm表示從m狀
態(tài)可能輸出的不同觀測(cè)值的數(shù)目； 磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣B = {bj (k)}，表示狀態(tài)j下觀測(cè)的概率值，其中bj (k)=p {ot = vk I qt = Sj} ， 1《j《N， 1《k《M ;Ot表示t時(shí)刻的觀察值，Vk表示從k狀態(tài)可能輸出的不同觀測(cè)值的數(shù)目，qt表示t時(shí)刻的磁盤I/O狀態(tài)，Sj表示磁盤I/O的具體狀態(tài)；
初始狀態(tài)概率矩陣JI，其中= { J ， i = p {qt = Sj} ， 1《i《N， Ji i表示i時(shí)刻的磁盤I/O狀態(tài)，qt表示t時(shí)刻的磁盤I/O狀態(tài)，Sj表示磁盤I/O的具體狀態(tài)；
(2)，根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、模型的隱狀態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合，以及初始狀態(tài)概率矩陣，構(gòu)造狀態(tài)空間到觀察的特征空間的映射，計(jì)算出狀態(tài)轉(zhuǎn)移概率分布A; (3)，根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合、
初始狀態(tài)概率矩陣，以及狀態(tài)轉(zhuǎn)移概率分布A這5個(gè)磁盤陣列1/0訪問(wèn)的特征參數(shù)，構(gòu)建一
個(gè)磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型A = (x，O， Ji，A，B)。 步驟S203 :根據(jù)所述磁盤陣列I/O訪問(wèn)分布狀態(tài)的隱馬爾科夫模型，計(jì)算出磁盤
1/0處于不同運(yùn)行狀態(tài)下的I/0概率，選取具備最大I/0概率的狀態(tài)序列作為最有可能的磁
盤1/0訪問(wèn)狀態(tài)輸出序列；假設(shè)^) = 11^乂^^24-1，9,=''"102.4,|義]為1時(shí)刻最大的s (i)所表
示磁盤I/O訪問(wèn)的狀態(tài)序列集合。(V . . Ot表示給定的觀察序列集合，Ql......qt表示在
(V . . Ot狀態(tài)序列下對(duì)應(yīng)的預(yù)測(cè)的狀態(tài)序列集合，則可采用如下具體步驟來(lái)計(jì)算最有可能的磁盤I/O訪問(wèn)狀態(tài)輸出序列 (1)，首先對(duì)隱馬爾科夫模型狀態(tài)序列進(jìn)行初始化； S丄(i) = Ji A (0i) ， 1《i《N Ji ,表示初始狀態(tài)空間的概率分布
A(O表示在狀態(tài)下觀測(cè)到Qi狀態(tài)的概率
bj(0i)表示在0i條件下輸出相應(yīng)觀察值的概率。
(2)，然后遞歸計(jì)算St(i)的概率； 《(力=max OX ]~ (o'),=arg max [《—i (/) ],2"r,l華A^
iy， "7
8
aij表示由i狀態(tài)到j(luò)狀態(tài)的轉(zhuǎn)移概率。
(3)，找出計(jì)算St(i)的概率最大值p* = max[^r(0]
i&， ^ =arg max[& (' )] p^為St(i)最大概率值。 q 為St(i)的狀態(tài)輸出序列的數(shù)學(xué)期望。
(4)，根據(jù)St(i)的概率最大值找到最有可能的磁盤I/0訪問(wèn)狀態(tài)輸出序列
q*t = (tt+1(q*t+1) ， t = T-l， T_2， ， 1
q*t+1為S t(i)的狀態(tài)輸出序列的數(shù)學(xué)期望。 步驟S204 :對(duì)所述最有可能的磁盤I/O訪問(wèn)狀態(tài)輸出序列進(jìn)行分析，找到熱點(diǎn)磁盤、熱數(shù)據(jù)、冷數(shù)據(jù)分布，據(jù)以制定數(shù)據(jù)重新分布策略； 例如，將訪問(wèn)頻率非常高且所在物理磁盤存儲(chǔ)容量高負(fù)荷(磁盤內(nèi)存儲(chǔ)的數(shù)據(jù)接近上限)的數(shù)據(jù)遷移至數(shù)據(jù)訪問(wèn)量較低，且磁盤容量低負(fù)荷的磁盤上，以通過(guò)冷熱數(shù)據(jù)分離達(dá)到提升性能的效果。 步驟S205 :根據(jù)制定好的數(shù)據(jù)重新分布策略，進(jìn)行磁盤的數(shù)據(jù)遷移處理。 較佳地，還可以通過(guò)人機(jī)交互界面向用戶展示采集到的磁盤陣列I/O信息、預(yù)測(cè)
出的最有可能的磁盤i/o訪問(wèn)狀態(tài)輸出序列、熱點(diǎn)盤信息、磁盤數(shù)據(jù)遷移信息中的一種或
者多種。 至此，已經(jīng)完整實(shí)現(xiàn)了磁盤陣列數(shù)據(jù)分布優(yōu)化的全過(guò)程，這種技術(shù)在傳統(tǒng)的優(yōu)化數(shù)據(jù)分布的技術(shù)上，通過(guò)隱馬爾科夫模型預(yù)測(cè)出磁盤I/O的狀態(tài)分布，再一次提升磁盤陣列的性能。 因此采用這種技術(shù)，可以顯著提高磁盤陣列性能，能夠保證企業(yè)對(duì)存儲(chǔ)系統(tǒng)在性能、安全性、可靠性等多方面的要求的同時(shí)，應(yīng)對(duì)當(dāng)今數(shù)據(jù)快速增長(zhǎng)、大規(guī)模集中數(shù)據(jù)訪問(wèn)的挑戰(zhàn)。 以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已，并不用于限制本發(fā)明，對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō)，本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
一種磁盤陣列數(shù)據(jù)分布系統(tǒng)，其特征在于，包括依次相連的一數(shù)據(jù)采集模塊、一隱馬爾科夫模型建立模塊、一磁盤I/O狀態(tài)和分布預(yù)測(cè)模塊、一預(yù)測(cè)狀態(tài)分析模塊、一數(shù)據(jù)重分布策略分析模塊，以及一數(shù)據(jù)遷移模塊，其中所述數(shù)據(jù)采集模塊，用以采集磁盤陣列中各磁盤的I/O訪問(wèn)數(shù)據(jù)；所述隱馬爾科夫模型建立模塊，用以根據(jù)所述磁盤陣列中各磁盤的I/O訪問(wèn)數(shù)據(jù)，建立磁盤陣列I/O訪問(wèn)分布狀態(tài)的隱馬爾科夫模型；所述磁盤I/O狀態(tài)和分布預(yù)測(cè)模塊，用以根據(jù)所述磁盤陣列I/O訪問(wèn)分布狀態(tài)的隱馬爾科夫模型，計(jì)算出磁盤I/O處于不同運(yùn)行狀態(tài)下的I/O訪問(wèn)概率，選取具備最大I/O概率的狀態(tài)序列作為最有可能的磁盤I/O訪問(wèn)狀態(tài)輸出序列；所述數(shù)據(jù)重分布策略分析模塊，用以對(duì)計(jì)算出的最有可能的磁盤I/O訪問(wèn)狀態(tài)輸出序列進(jìn)行分析，得到熱點(diǎn)磁盤、熱數(shù)據(jù)、冷數(shù)據(jù)的分布情況；所述數(shù)據(jù)重分布策略分析模塊，用以根據(jù)分析出的熱點(diǎn)磁盤、熱數(shù)據(jù)、冷數(shù)據(jù)的分布情況制定數(shù)據(jù)重分布的策略；所述數(shù)據(jù)遷移模塊，用以根據(jù)所述數(shù)據(jù)重分布策略進(jìn)行數(shù)據(jù)遷移。
2. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述隱馬爾科夫模型建立模塊建立磁盤陣 列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型包括根據(jù)所述磁盤陣列中各磁盤的1/0訪問(wèn)數(shù)據(jù)，計(jì)算磁盤訪問(wèn)狀態(tài)的集合、模型的隱狀 態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、磁盤訪問(wèn)狀態(tài)的集合，以及初始 狀態(tài)概率矩陣；根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、模型的隱狀態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀 態(tài)的集合，以及初始狀態(tài)概率矩陣，構(gòu)造狀態(tài)空間到觀察的特征空間的映射，計(jì)算出狀態(tài)轉(zhuǎn) 移概率分布；根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合、初始狀態(tài) 概率矩陣，以及狀態(tài)轉(zhuǎn)移概率分布構(gòu)建磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型。
3. 如權(quán)利要求1所述的系統(tǒng)，其特征在于，還包括一日志信息模塊，其中 所述日志信息模塊，用以記錄系統(tǒng)信息。
4. 如權(quán)利要求3所述的系統(tǒng)，其特征在于，還包括一界面管理模塊，其中 所述界面管理模塊，用以對(duì)所述數(shù)據(jù)采集模塊、所述預(yù)測(cè)狀態(tài)分析模塊、所述數(shù)據(jù)重分布策略分析模塊，以及所述日志信息模塊中的一個(gè)或多個(gè)進(jìn)行監(jiān)控。
5. —種磁盤陣列數(shù)據(jù)分布方法，其特征在于，包括步驟 采集磁盤陣列中各磁盤的1/0訪問(wèn)數(shù)據(jù)；計(jì)算磁盤陣列1/0訪問(wèn)的特征參數(shù)，包括磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合、初始狀態(tài)概率矩陣，以及狀態(tài)轉(zhuǎn)移概率分布，并以此來(lái)構(gòu)建磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型；根據(jù)所述磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型，計(jì)算出磁盤1/0處于不同運(yùn) 行狀態(tài)下的1/0概率，選取具備最大1/0概率的狀態(tài)序列作為最有可能的磁盤1/0訪問(wèn)狀 態(tài)輸出序列；對(duì)所述最有可能的磁盤I/O訪問(wèn)狀態(tài)輸出序列進(jìn)行分析，找到熱點(diǎn)磁盤、熱數(shù)據(jù)、冷數(shù) 據(jù)分布，據(jù)以制定數(shù)據(jù)重新分布策略；根據(jù)制定好的數(shù)據(jù)重新分布策略，進(jìn)行磁盤的數(shù)據(jù)遷移處理。
6. 如權(quán)利要求5所述的方法，其特征在于，所述建立磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬 爾科夫模型包括步驟根據(jù)所述磁盤陣列中各磁盤的1/0訪問(wèn)數(shù)據(jù)，計(jì)算磁盤訪問(wèn)狀態(tài)的集合、模型的隱狀 態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、磁盤訪問(wèn)狀態(tài)的集合，以及初始 狀態(tài)概率矩陣；根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、模型的隱狀態(tài)個(gè)數(shù)、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀 態(tài)的集合，以及初始狀態(tài)概率矩陣，構(gòu)造狀態(tài)空間到觀察的特征空間的映射，計(jì)算出狀態(tài)轉(zhuǎn) 移概率分布；根據(jù)磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合、初始狀態(tài) 概率矩陣，以及狀態(tài)轉(zhuǎn)移概率分布構(gòu)建磁盤陣列1/0訪問(wèn)分布狀態(tài)的隱馬爾科夫模型。
7. 如權(quán)利要求5所述的方法，其特征在于通過(guò)人機(jī)交互界面向用戶展示采集到的磁盤陣列1/0信息、預(yù)測(cè)出的最有可能的磁盤 1/0訪問(wèn)狀態(tài)輸出序列、熱點(diǎn)盤信息、磁盤數(shù)據(jù)遷移信息中的一種或者多種。
全文摘要
本發(fā)明提出一種磁盤陣列數(shù)據(jù)分布方法及系統(tǒng)，該方法包括采集磁盤陣列的I/O訪問(wèn)數(shù)據(jù)；計(jì)算磁盤陣列I/O訪問(wèn)的特征參數(shù)，包括磁盤訪問(wèn)狀態(tài)觀測(cè)概率矩陣、可觀測(cè)符號(hào)的集合、磁盤訪問(wèn)狀態(tài)的集合、初始狀態(tài)概率矩陣，以及狀態(tài)轉(zhuǎn)移概率分布，據(jù)以構(gòu)建磁盤陣列I/O訪問(wèn)分布狀態(tài)的隱馬爾科夫模型；基于構(gòu)建好的隱馬爾科夫模型進(jìn)行計(jì)算，得到具備最大I/O概率的狀態(tài)序列，以其作為最有可能的磁盤I/O訪問(wèn)狀態(tài)輸出序列；對(duì)所述最有可能的磁盤I/O訪問(wèn)狀態(tài)輸出序列進(jìn)行分析，找到熱點(diǎn)磁盤、熱數(shù)據(jù)、冷數(shù)據(jù)分布，據(jù)以制定數(shù)據(jù)重新分布策略；根據(jù)所述數(shù)據(jù)重新分布策略，進(jìn)行磁盤的數(shù)據(jù)遷移。該方法可以大大提高磁盤訪問(wèn)性能。
文檔編號(hào)G06F3/06GK101751234SQ20101003448
公開日2010年6月23日 申請(qǐng)日期2010年1月21日 優(yōu)先權(quán)日2010年1月21日
發(fā)明者張雷 申請(qǐng)人:浪潮(北京)電子信息產(chǎn)業(yè)有限公司