專利名稱：松耦合多存儲環(huán)境的分層存儲池管理和控制的制作方法
技術領域：
本發(fā)明總體涉及存儲系統(tǒng)，且更特別地涉及松耦合(loose coupled)多異構存儲環(huán)境的分層存儲池管理和控制。松耦合連接使用標準網(wǎng)絡和非廣(now-wide)(比內(nèi)部總線窄)網(wǎng)絡，并且連接到網(wǎng)絡的每個設備的控制獨立于其他設備的控制。通過使用松耦合連接，可以將異構(多供貨商、多種類型的產(chǎn)品和多代產(chǎn)品)設備合并到一個系統(tǒng)。
背景技術：
存儲器虛擬化是一種廣泛使用的技術。例子包括精簡配置和基于頁面的分層存儲器。存儲器虛擬化技術的使用可以改善存儲器的可用性和效率。通過隱藏內(nèi)部配置(例如， 磁盤配置、分層配置、數(shù)據(jù)位置等等)來提高可用性。通過共享存儲資源(例如磁盤負載、 處理器負載、內(nèi)部總線負載、容量等)來改善使用性。一般而言，這些存儲器虛擬化技術可以僅僅應用在一個存儲控制器中。一個例外是涉及“裝配外部卷”功能的情況，其中，外部卷裝配功能適合于在高性能存儲子系統(tǒng)和低成本存儲子系統(tǒng)之間的分層管理情形。然而， 通過將高性能存儲子系統(tǒng)連接到高性能存儲子系統(tǒng)，這會導致資源的浪費和性能的不必要開銷。許多用戶在他們的IT(信息技術)系統(tǒng)中具有多個存儲子系統(tǒng)。每個存儲子系統(tǒng)獨立于其他的存儲子系統(tǒng)。這導致了對系統(tǒng)設計和系統(tǒng)操作的困難且麻煩的存儲系統(tǒng)管理。 由于在兩個高性能存儲器之間共享資源困難，結果導致整個存儲系統(tǒng)的資源浪費。在涉及多存儲子系統(tǒng)的環(huán)境中難以管理總資源量和提高效率。

發(fā)明內(nèi)容
本發(fā)明的示意性實施例提供了提高整個存儲器系統(tǒng)的管理能力的方法和裝置，在該存儲器系統(tǒng)中，集成存儲器池管理給出了各個層的資源量。集成/系統(tǒng)存儲器池包括多個存儲子系統(tǒng)。每個層的量是每個存儲子系統(tǒng)中的池的層容量的總和。為了提高對存儲器系統(tǒng)的控制，每個存儲子系統(tǒng)管理自身的資源。如果一個存儲子系統(tǒng)需要使用另一個存儲子系統(tǒng)的資源，則該存儲子系統(tǒng)利用標準I/O接口訪問該資源。存儲子系統(tǒng)可以利用外部資源執(zhí)行層管理控制，并且外部資源的層的優(yōu)先級依賴于網(wǎng)絡和外部存儲性能。為了提高存儲資源的效率，集成存儲管理可以選擇一種方法來在多個存儲子系統(tǒng)中進行再平衡，并且存儲子系統(tǒng)依據(jù)該選擇改變資源和/或數(shù)據(jù)的分配。例子包括在存儲子系統(tǒng)之間出租容量，在存儲子系統(tǒng)之間在線卷遷移，以及在存儲子系統(tǒng)之間改變到的外部卷的路徑。為了防止資源分配的循環(huán)，存儲子系統(tǒng)禁止將與其他存儲子系統(tǒng)資源有關的頁面分配給另一存儲子系統(tǒng)，并且，存儲子系統(tǒng)不能向用戶示出從其它存儲子系統(tǒng)出租的資源量。根據(jù)本發(fā)明的方面，系統(tǒng)包括包括第一存儲控制器的第一存儲系統(tǒng)，所述第一存儲控制器從主計算機接收輸入/輸出(I/O)指令并向所述主計算機提供第一存儲卷；以及包括第二存儲控制器的第二存儲系統(tǒng)，所述第二存儲控制器從主計算機接收I/O指令并向所述主計算機提供第二存儲卷。所述第一存儲卷中的一個第一存儲卷的第一數(shù)據(jù)存儲區(qū)域是由所述第一存儲控制器從第一池中分配的。所述第一存儲卷中的另一個第一存儲卷的第二數(shù)據(jù)存儲區(qū)域是由所述第一存儲控制器從第二池中分配的。所述第二存儲卷中的一個第二存儲卷的第三數(shù)據(jù)存儲區(qū)域是由所述第二存儲控制器從所述第一池分配的。所述第二存儲卷中的另一個第二存儲卷的第四數(shù)據(jù)存儲區(qū)域是由所述第二存儲控制器從所述第二池中分配的。在有的實施例中，禁止由所述第二存儲控制器從所述第一池中分配所述第一存儲卷中的所述另一個第一存儲卷的所述第二數(shù)據(jù)存儲區(qū)域。響應于由所述第一存儲控制器從所述第二池中分配所述第一存儲卷中的所述另一個第一存儲卷的所述第二數(shù)據(jù)存儲區(qū)域， 所述第二存儲控制器從所述第二池的容量中減去分配給所述第一卷的量。響應于由所述第一存儲控制器從所述第二池中分配所述第一存儲卷中的所述另一個第一存儲卷的所述第二數(shù)據(jù)存儲區(qū)域，所述第二存儲控制器從所述第二池的容量中減去分配給所述第一卷的量。使用多個第一層來管理所述第一池；使用多個第二層來管理所述第二池；并且將分配給所述第二池的存儲介質(zhì)作為所述多個第一層中的獨立的層來管理，所述存儲介質(zhì)被分配給所述第二數(shù)據(jù)存儲區(qū)域。通過網(wǎng)絡特性和所使用的所述存儲介質(zhì)的訪問速度來確定所述獨立的層。如果所述存儲介質(zhì)與用于所述第一池的存儲介質(zhì)相同，則用于所述第一池的所述存儲介質(zhì)相比所述獨立的層具有更高的優(yōu)先級。在一個實施例中，管理服務器基于所述系統(tǒng)的負載要求，針對連接到所述第一存儲控制器和所述第二存儲控制器這兩個控制器的存儲介質(zhì)，選擇將所述第二池中的容量出租給所述第一存儲系統(tǒng)，還是將控制從所述第二存儲控制器改變到所述第一存儲控制器。 在另一個實施例中，管理服務器基于所述系統(tǒng)的負載要求，針對連接到所述第一存儲控制器和所述第二存儲控制器這兩個控制器的存儲介質(zhì)，選擇將所述第二池中的容量出租給所述第一存儲系統(tǒng)，將數(shù)據(jù)從所述第一存儲卷遷移到所述第二存儲卷，還是將控制從所述第二存儲控制器改變到所述第一存儲控制器。根據(jù)本發(fā)明的另一個方面，系統(tǒng)包括包括第一存儲控制器的第一存儲系統(tǒng)，所述第一存儲控制器從主計算機接收輸入/輸出(I/O)指令并向所述主計算機提供第一存儲卷；包括第二存儲控制器的第二存儲系統(tǒng)，所述第二存儲控制器從主計算機接收I/O指令并向所述主計算機提供第二存儲卷；以及分配給第一池的存儲介質(zhì)。所述第一存儲卷中的一個第一存儲卷的第一數(shù)據(jù)存儲區(qū)域是由所述第一存儲控制器從第一池中分配的。所述第二存儲卷中的一個第二存儲卷的第二數(shù)據(jù)存儲區(qū)域是由所述第二存儲控制器從所述第二池分配的。響應于來自管理服務器的指令，所述第二存儲控制器將所述存儲介質(zhì)分配給所述第二池并且所述第一存儲控制器從所述第一池中釋放所述存儲介質(zhì)。在特定實施例中，管理服務器基于所述系統(tǒng)的負載要求，對連接到所述第一存儲控制器和所述第二存儲控制器這兩個控制器的存儲介質(zhì)，選擇從第一存儲卷遷移到第二存儲卷還是將控制從所述第二存儲控制器改變到所述第一存儲控制器。根據(jù)本發(fā)明的另一個方面，系統(tǒng)包括多個存儲系統(tǒng)，每個存儲系統(tǒng)包括存儲控制器，所述存儲控制器從主計算機接收輸入/輸出(I/O)指令并從單獨的池提供存儲卷；以及管理服務器，連接到所述多個存儲系統(tǒng)。所述多個存儲系統(tǒng)中的每個存儲系統(tǒng)的所述單獨的池被分配給多個存儲介質(zhì)并包括多個單獨的層。所述管理服務器收集分配給所述多個存儲系統(tǒng)的存儲介質(zhì)的信息，并基于收集到的信息中的所述存儲介質(zhì)的特性動態(tài)地確定用于系統(tǒng)池的多個系統(tǒng)層，所述系統(tǒng)池包括分配給所述多個存儲系統(tǒng)的存儲介質(zhì)。
在有的實施例中，所述管理服務器將關于用于所述系統(tǒng)池的所述多個系統(tǒng)層的確定結果通知給所述多個存儲系統(tǒng)。在將存儲介質(zhì)添加到所述系統(tǒng)池之后，所述管理服務器為所述多個存儲系統(tǒng)中的因添加所述存儲介質(zhì)而受到影響的一個存儲系統(tǒng)中的有關的單獨的池調(diào)整所述多個單獨的層。響應于用戶請求，所述管理服務器改變用于所述系統(tǒng)池的所述多個系統(tǒng)層。響應于用于所述系統(tǒng)池的所述多個系統(tǒng)層的改變，動態(tài)地調(diào)整所述多個單獨的層。所述管理服務器基于用于所述多個存儲系統(tǒng)的存儲控制器的狀態(tài)，確定所述存儲卷的配置以及位置。在特定實施例中，響應于要求釋放所述存儲系統(tǒng)中的一個存儲系統(tǒng)的所述單獨的池的請求，在所述系統(tǒng)中發(fā)生下述處理中的至少一種處理將要被釋放的所述單獨的池中的內(nèi)部存儲卷遷移到所述多個存儲系統(tǒng)中的另一個存儲系統(tǒng)中的單獨的池；將由所述第一存儲系統(tǒng)中的存儲控制器分配并直接控制的存儲介質(zhì)分配給所述多個存儲系統(tǒng)中的另一個存儲系統(tǒng)的存儲控制器；以及將由所述多個存儲系統(tǒng)中的另一個存儲系統(tǒng)的存儲控制器控制的外部卷的數(shù)據(jù)遷移到由控制所述外部卷的所述數(shù)據(jù)的所述另一個存儲系統(tǒng)中的存儲控制器控制的存儲卷。外部卷的所述數(shù)據(jù)被遷移到由控制所述外部卷的所述數(shù)據(jù)的所述另一個存儲系統(tǒng)中的存儲控制器控制的內(nèi)部存儲卷，或被遷移到控制所述外部卷的所述數(shù)據(jù)的所述另一個存儲系統(tǒng)中的單獨的池中的存儲卷。結合下述特定實施例的詳細描述，本領域普通技術人員將更加容易理解本發(fā)明的這些和其它特征以及優(yōu)勢。


圖1說明了信息系統(tǒng)的管理視圖的示例，在該信息系統(tǒng)中可以應用本發(fā)明的方法和裝置；圖2說明了圖1的信息系統(tǒng)的邏輯配置的示例；圖3說明了每個前端存儲子系統(tǒng)的分層精簡配置池的配置以及前端存儲子系統(tǒng)之間的關系；圖4說明了前端存儲子系統(tǒng)的示例配置；圖5說明了磁盤管理表的示例；圖6說明了層管理表的示例；圖7說明了卷管理表的示例；圖8說明了分層精簡配置池、RAID組以及層的關系的示例；圖9說明了主機卷、交叉裝配(cross mount)卷、分層精簡配置以及頁面的關系的示例；圖10說明了集成存儲池管理服務器的配置的示例；圖11說明了集成存儲池層管理表的表結構的示例；圖12說明了存儲子系統(tǒng)管理表的表結構的示例；圖13說明了系統(tǒng)信息表的表結構的示例；圖14是說明集成存儲池擴展控制程序的處理的流程圖的示例；圖15是說明集成存儲池縮減控制程序的處理的流程圖的示例；圖16是說明集成存儲池層配置控制程序的處理的流程圖的示例；
圖17是說明集成存儲池卷控制程序的處理的流程圖的示例；圖18是說明集成存儲池再平衡控制程序的處理的流程圖的示例；圖19是說明集成存儲池監(jiān)控程序的處理的流程圖的示例；圖20示出了作為用于用戶的輸入/輸出(I/O)接口的集成存儲池元件管理器的示例；圖21示出了作為用于用戶的I/O接口的集成存儲池層管理器的示例；圖22示出了作為用于用戶的I/O接口的集成存儲池卷管理器的示例；圖23說明了精簡配置池中的層和集成存儲池中的層之間的關系；圖M示出了存儲子系統(tǒng)安裝和集成存儲池的擴展的順序的示例；圖25示出了圖M中的過程S1-5之后的系統(tǒng)的狀態(tài)；圖沈說明了用于獲得圖25的狀態(tài)的數(shù)據(jù)、信息和命令的流；圖27示出了在圖M的過程S1-9之后系統(tǒng)的狀態(tài)；圖觀示出了用于獲得圖27的狀態(tài)的數(shù)據(jù)、信息和命令的流；圖四示出了來自集成存儲池的卷提供的順序的示例；圖30示出了在圖四的順序之后系統(tǒng)的狀態(tài)；圖31示出了用于獲得圖30的狀態(tài)的數(shù)據(jù)、信息和命令的流；圖32示出了從主機至主機卷的I/O順序的示例；圖33示出了在圖32的寫I/O之后系統(tǒng)的狀態(tài)；圖34示出了用于獲得圖33的狀態(tài)的數(shù)據(jù)、信息和命令的流；圖35示出了分層存儲管理的順序的示例；圖36示出了在圖35的頁面遷移過程中的系統(tǒng)的狀態(tài)；圖37示出了找到層替代的必要性的數(shù)據(jù)、信息和命令的流；圖38示出了遷移容量頁面以改變層的數(shù)據(jù)、信息和命令的流；圖39示出了從每個前端存儲子系統(tǒng)的資源信息收集的順序的示例；圖40示出了遷移容量頁面以改變層的數(shù)據(jù)、信息和命令的流；圖41示出了改變前端存儲子系統(tǒng)之間的外部卷裝配(mount)的順序的示例；圖42示出了圖41中的重新裝配(remount)過程中的系統(tǒng)的狀態(tài)；圖43示出了重新裝配外部卷的數(shù)據(jù)、信息和命令的流；圖44示出了用于裝配從另一個前端存儲子系統(tǒng)裝配容量的增加順序的示例；圖45示出了在圖44的重新裝配過程中的系統(tǒng)的狀態(tài)；圖46示出了用于重新裝配外部卷的數(shù)據(jù)、信息和命令的流；圖47示出了兩個存儲子系統(tǒng)之間的卷遷移的順序的示例；圖48示出了在圖47的遷移處理中的系統(tǒng)的狀態(tài)；圖49示出了用于重新裝配外部卷的數(shù)據(jù)、信息和命令的流；圖50示出了通過移除存儲子系統(tǒng)而縮減集成存儲池的順序的示例；以及圖51示出了在圖50的集成存儲池的縮減處理中的系統(tǒng)的狀態(tài)。
具體實施例方式在本發(fā)明的下述具體實施方式
中，參考形成本揭示的一部分的附圖，附圖通過說明示例實施例的方式而不是限制示例實施例的方式示出，通過示例實施例可以實施本發(fā)明。在附圖中，相似的附圖標記描述各個圖中基本相似的部件。進一步地，應該注意到盡管如下所述并且如圖所說明的具體實施方式
提供了各種示例實施例，本發(fā)明不限于這里描述和說明的實施例，而是能夠延伸到如同本領域普通技術人員所知或會知道的其它實施例。 說明書中引用的“一個實施例”、“該實施例”、或“這些實施例”的意思是聯(lián)系實施例所描述的特定特征、結構或特點包括在本發(fā)明的至少一個實施例中，并且在說明書的各個地方出現(xiàn)的這些短語不是必須地指的是相同的實施例。另外，在下述具體實施方式
中，提出多個特定細節(jié)從而提供對本發(fā)明的詳細理解。然而，對本領域普通技術人員來說將顯而易見不是必須所有的這些特定細節(jié)才能實施本發(fā)明。在其它環(huán)境下，公知的結構、材料、電路、處理和接口沒有詳細描述，和/或可以用框圖的形式說明，從而不會不必要地使本發(fā)明模糊。此外，通過計算機中操作的算法和符號表達來表述下面具體實施方式
中的一些部分。這些算法描述和符號表達是在數(shù)據(jù)處理領域的普通技術人員使用以最有效地將它們的創(chuàng)新實質(zhì)傳遞給本領域的其它普通技術人員的手段。算法是一系列定義的步驟以導致期望的結束狀態(tài)和結果。在本發(fā)明中，執(zhí)行的步驟需要切實的物理量操作以實現(xiàn)切實的結果。 盡管并不必須，通常這些量采用電或磁信號的形式，或者是能夠被存儲、傳遞、合并、比較和操作的指令的形式。為了共用的原因，已經(jīng)多次被證明將這些信號參考為比特、值、元件、符號、字符、術語、數(shù)字、指令等是方便的。然而，應該牢記所有這些和類似的術語與恰當?shù)奈锢砹肯嚓P聯(lián)，并且僅為施加到這些量上的方便的標簽。除非另行提及，如從下面的討論中顯而易見，應該理解到在整個說明書中，利用例如“處理”、“計算”、“確定”、“顯示”等的術語的討論可以包括計算機系統(tǒng)或其它信息處理裝置的行為和處理，該計算機系統(tǒng)或其它信息處理裝置將在計算機系統(tǒng)的寄存器和存儲器中的表示為物理(電子)量的數(shù)據(jù)操作和轉換為計算機系統(tǒng)的存儲器或寄存器或其它信息存儲、傳輸和顯示裝置內(nèi)的類似地表示為物理量的其它數(shù)據(jù)。本發(fā)明還涉及一種用于執(zhí)行這里的操作的裝置。該裝置可以被特別地構造用于所需目的，或者可以包括由一個或多個計算機程序選擇性地激活或重配置的一個或多個通用計算機。這樣的計算機程序可以存儲在計算機可讀存儲介質(zhì)中，例如但不限于光盤、磁盤、 只讀存儲器、隨機訪問存儲器、固態(tài)設備和驅(qū)動、或任何適用于存儲電子信息的其它類型的介質(zhì)。這里示出的算法和顯示并不內(nèi)在地與任何特定的計算機或其它裝置相關。各種通用系統(tǒng)可以根據(jù)這里的教示使用程序和模塊，或者可以證明便于構造更加專業(yè)的裝置以執(zhí)行期望的方法步驟。此外，本發(fā)明并不通過參考任何特定編程語言來描述。應當理解可以使用多種編程語言來實施這里描述的本發(fā)明的教示。編程語言的指令可以由一個或多個處理設備來執(zhí)行，處理設備例如是中央處理單元(CPU)、處理器或控制器。下面將更加詳細地說明的本發(fā)明的示例實施例提供用于松耦合多存儲環(huán)境的分層存儲池管理和控制的裝置、方法和計算機程序。本發(fā)明的各個方面利用下述存儲系統(tǒng)技術=Camer0n的關于精簡配置的US專利 No. 6823442 ；Yamamoto等人的關于裝配外部卷的US專利No. 7711896 ；Nagai等人的關于基于頁面的分層存儲管理的US公開號US2007/0055713 ；Otani等人的關于非毀壞卷遷移的 US專利公開號US2010/0070722 ；以及Kawaguchi的關于兩個存儲模塊之間的映射信息遷移的US專利公開號US2008/0184000。通過引用將這些專利的全部揭示包括在這里。
A.系統(tǒng)的管理視1說明了信息系統(tǒng)的管理視圖的示例，在該信息系統(tǒng)中可以應用本發(fā)明的方法和裝置。該圖示出了系統(tǒng)的配置和功能的概括。信息系統(tǒng)包括用于存儲數(shù)據(jù)的多個前端存儲子系統(tǒng)100、用于存儲數(shù)據(jù)的多個后端存儲子系統(tǒng)200以及多個主機500。每個主機500 連接一個或多個主機卷131并且發(fā)送I/O至主機卷131。一些主機卷131可以由多個主機 500分享。每個主機卷131提供數(shù)據(jù)存儲區(qū)域并且由集成或系統(tǒng)存儲池600提供。主機卷 131的數(shù)據(jù)存儲在前端存儲子系統(tǒng)100和/或后端存儲子系統(tǒng)200中。集成存儲池600包括前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200。集成存儲池600 向主機500提供主機卷131。主機卷131和數(shù)據(jù)位于的存儲之間的關系由集成存儲池600 對用戶隱藏。集成存儲池600能夠根據(jù)需求增加一個或多個前端存儲子系統(tǒng)100和/或一個或多個后端存儲子系統(tǒng)200。也能夠根據(jù)需求移除一個或多個前端存儲子系統(tǒng)100和/ 或一個或多個后端存儲子系統(tǒng)200，除非在移除后缺乏集成存儲池600的資源。集成存儲池 600能夠在前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200之間平衡自己的資源。平衡處理對于主機500是隱藏的。如同下面將詳細討論的，管理服務器300收集分配給多個存儲子系統(tǒng)的存儲介質(zhì)的信息并且基于收集的信息中的存儲介質(zhì)的特征來動態(tài)地確定用于系統(tǒng)池600 的多個系統(tǒng)層，系統(tǒng)池600包括分配給多個存儲子系統(tǒng)的存儲介質(zhì)。如這里所使用的，“動態(tài)地”指的是在管理服務器300的在線操作過程中(例如在確定系統(tǒng)層時)，多個存儲子系統(tǒng)能夠接收來自主機計算機的I/O請求。B.系統(tǒng)的配置Bi.系統(tǒng)的邏輯配置圖2說明了圖1的信息系統(tǒng)的邏輯配置的示例。信息系統(tǒng)包括前端存儲子系統(tǒng) 100、后端存儲子系統(tǒng)200、集成存儲池管理服務器300、網(wǎng)絡400和401以及主機500。前端存儲子系統(tǒng)100存儲數(shù)據(jù)。數(shù)據(jù)在作為單個池的分層精簡配置池110中。前端存儲子系統(tǒng)100將主機卷131提供給主機500并且將交叉裝配卷132提供給其它前端存儲子系統(tǒng)100。前端存儲子系統(tǒng)100連接至主機500和集成存儲池管理服務器300。前端存儲子系統(tǒng)100能夠連接到后端存儲子系統(tǒng)200并且能夠?qū)?shù)據(jù)經(jīng)由網(wǎng)絡401傳輸?shù)胶蠖舜鎯ψ酉到y(tǒng)200或經(jīng)由網(wǎng)絡401從后端存儲子系統(tǒng)200接收數(shù)據(jù)。如下所述在圖4中提供了詳細說明。后端存儲子系統(tǒng)200連接到前端存儲子系統(tǒng)100并且將后端卷231提供給前端存儲子系統(tǒng)200。集成存儲池管理服務器300連接到前端存儲子系統(tǒng)100、后端存儲子系統(tǒng)200以及主機500。集成存儲池管理服務器300管理前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200的存儲資源和配置，以及主機500和前端存儲子系統(tǒng)100之間的連接。如下所述在圖10中提供詳細說明。網(wǎng)絡400在主機500、前端存儲子系統(tǒng)100以及集成存儲池管理服務器300之間傳輸數(shù)據(jù)、信息和命令。網(wǎng)絡401在前端存儲子系統(tǒng)100、后端存儲子系統(tǒng)200以及集成存儲池管理服務器300之間傳輸數(shù)據(jù)、信息和命令。網(wǎng)絡400和網(wǎng)絡401能夠被統(tǒng)一。主機 500連接到前端存儲子系統(tǒng)100。在主機500的路徑管理模塊501中定義了用于每個主機 500的路徑配置。I/O路徑遵從配置。圖3說明了每個前端存儲子系統(tǒng)的分層精簡配置池110的配置以及前端存儲子系統(tǒng)100之間的關系。分層精簡配置池110包括一個或多個RAID組112。RAID組112能夠被分類為一個或多個類型的層，例如RAID組112-1、112-2、112-3、112-4、112-6等。每種類型的RAID組具有在可靠性、可用性、性能、容量、成本、連接協(xié)議和物理性方面的特定特征。 示例包括RAID級、HDD的RPM、介質(zhì)類型、位置(內(nèi)部/外部)等。前端存儲子系統(tǒng)100能夠通過外部卷裝配功能將外部存儲子系統(tǒng)上的卷使用作為自己的RAID組。如同在圖3中所見的，通過外部卷裝配功能將后端卷231裝配作為RAID組112-5，并且通過外部卷裝配功能將交叉裝配卷132裝配作為RAID組112-6。分層精簡配置池110被分為多個層。如下所述在圖8和圖9中描述了配置和控制方法的細節(jié)。主機卷131和交叉裝配卷132由具有層配置的分層精簡配置池110提供。主機卷 131由主機500連接并且交叉裝配卷132由另一個前端存儲子系統(tǒng)100連接。B2.前端存儲子系統(tǒng)的物理配置圖4說明了前端存儲子系統(tǒng)100的示例配置。前端存儲子系統(tǒng)100包括存儲控制器101和磁盤106。存儲控制器101具有CPU 102、存儲器103、主機接口 104、磁盤接口 105、管理服務器接口 107以及磁盤106。CPU 102使用存儲器103中的控制程序和控制表控制存儲子系統(tǒng)。存儲器103存儲數(shù)據(jù)、程序和表并且包括高速緩存區(qū)域103-0、磁盤管理表103-1、分層池管理表103-2、卷管理表103-3、頁面管理表103-4、性能監(jiān)控程序103-5、 卷I/O控制程序103-6、磁盤I/O控制程序103-7、頁面控制程序103-8以及卷遷移控制程序 103-9。存儲器103具有用于存儲讀和寫高速緩存數(shù)據(jù)的高速緩存區(qū)域103-0。磁盤管理表103-1管理RAID組的配置(見圖幻。分層池管理表103-2管理分層精簡配置池110中的層的配置(見圖6)。卷管理表103-3管理主機卷131和交叉裝配卷132的設置(見圖 7)。頁面管理表103-4管理精簡配置功能的頁面分配。性能監(jiān)控程序103-5收集存儲配置和工作負載信息并將其發(fā)送到集成存儲池管理服務器300。卷I/O控制程序103-6控制從主機500和前端存儲子系統(tǒng)100的讀和寫I/O。磁盤I/O控制程序103-7控制對磁盤106、 前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200的讀和寫I/O。頁面控制程序103-8控制精簡配置頁面的分配和再分配。當發(fā)生寫I/O時，運行頁面分配處理。當發(fā)生資源不平衡時，運行頁面再分配處理以重新平衡。當發(fā)生RAID組的移除時，也運行頁面再分配處理以使得頁面離開被移除的RAID組。卷遷移控制程序103-9控制來自/至前端存儲子系統(tǒng)100的卷數(shù)據(jù)、卷配置和卷屬性遷移以遷移卷。主機接口 104是連接主機500的接口并且接收來自主機500的主機I/O并將其傳輸?shù)紺PU 102。磁盤接口 105是連接至磁盤106的接口并且將從CPU102接口到的磁盤I/O 發(fā)送到磁盤106。管理服務器接口 107是連接集成存儲池管理服務器300的接口。該接口將從CPU 102接收的存儲信息發(fā)送到集成存儲池管理服務器300并且從集成存儲池管理服務器300接收命令并且將其傳輸?shù)紺PU 102。磁盤存儲存儲數(shù)據(jù)。存在多種類型的磁盤106，包括在圖4中可見的磁盤106-1、 磁盤106-2、磁盤106-3、以及磁盤106-4。多個磁盤106組成RAID組。RAID組是圖3中示出的RAID組112。B3.前端存儲子系統(tǒng)的表結構圖5說明了磁盤管理表103-1的示例，磁盤管理表103-1管理前端存儲子系統(tǒng)100中的RAID組112的配置。表具有列=RAID組ID103-1-1、容量信息103-1-2、屬性信息 103-1-3、內(nèi)部/外部位置信息103-1-4、RAID級信息103-1-5以及磁盤ID 103-1-6。RAID 組ID103-1-1是前端存儲子系統(tǒng)100中的唯一號。容量信息103-1-2包含RAID組的可使用容量。屬性信息103-1-3提供RAID組的類型并且存儲RAID組的連接類型和介質(zhì)類型。屬性信息103-1-3指示RAID組是否是外部卷。例如存儲子系統(tǒng)的類型以及裝配的卷的層配置的配置從集成存儲池管理服務器300傳遞。位置信息103-1-4示出了關于連接類型(內(nèi)部或外部)的信息。RAID級信息103-1-5提供關于RAID級的信息。磁盤ID包括RAID組中每個磁盤的ID。如果磁盤是內(nèi)部磁盤，則存儲前端存儲子系統(tǒng)100的磁盤ID。如果磁盤是外部卷，則存儲能夠在系統(tǒng)中識別的卷信息，包括例如WffN(全局名稱)或LUN(邏輯單元號)。圖6說明了層管理表103-2的示例，層管理表103_2管理精簡配置池110中的層的配置。表具有列層ID103-2-1、總容量信息103-2-2、使用的容量信息103_2_3、層配置設置103-2-4、RAID組ID103-2-5以及層優(yōu)先級設置103-2-6。層ID103-2-1是分層精簡配置池110中的唯一號?？側萘啃畔?03-2-2提供屬于該層的RAID組的總容量。使用的容量信息103-2-3提供從層向主機卷131和交叉裝配卷132分配的頁面容量。層配置設置 103-2-4是層的限定并且包含屬于層的RAID組的類型的信息。RAID組ID103-2-5包含屬于層的RAID組的ID。選擇是基于層配置設置103-2-4中的信息。層優(yōu)先級設置103-2-6 包含層優(yōu)先級的配置。頁面控制程序103-8基于該信息以及卷管理表103-3來分配和再分配頁面。圖7說明了卷管理表103-3的示例，卷管理表103_3管理主機卷131和交叉裝配卷132的設置。表具有列卷ID103-3-1、卷容量103_3_2、分配的容量103_3_3、可使用的層設置103-3-4以及卷類型信息103-3-5。卷ID103-3-1是卷的ID。卷容量103-3-2提供卷的容量。分配的容量103-3-3是向卷分配的頁面的總容量。層設置103-3-4是卷能夠從其分配頁面的層。如果卷是交叉裝配卷132，能夠通過防止交叉裝配卷132使用具有由另一個前端存儲子系統(tǒng)提供的外部卷的層來防止在多個前端存儲子系統(tǒng)100中的循環(huán)頁面分配。 卷類型信息103-3-5包含訪問卷的設備信息。B4.分層精簡配置功能的邏輯配置圖8說明了分層精簡配置池110、RAID組112以及層111的關系的示例。分層精簡配置池110包括多個層111。每個層111是在RAID組ID 103-2-5中列出的一組RAID組。 RAID組的選擇是基于層配置設備103-3-4中的信息的。圖8示出了具有不同介質(zhì)類型的幾個層層111-1、層111-2、層111-3、層111_4、層111_5、層111-6等。每個層具有優(yōu)先級設置。信息存儲在層優(yōu)先級設置103-2-5中。圖9說明了主機卷131、交叉裝配卷132、分層精簡配置110以及頁面的關系的示例。當卷使用精簡配置功能時，卷從分層精簡配置池110向覆蓋發(fā)生了寫I/O的地址的卷頁面131-1分配容量頁131-2。卷頁面131-1和容量頁面131-2之間的關系存儲在頁面管理表103-4中。通過分配的容量頁面131-2至另一個容量頁面之間的數(shù)據(jù)復制以及改變卷頁面131-1和容量頁面131-2之間的映射信息，能夠改變分配。前端存儲子系統(tǒng)100自動地改變根據(jù)性能信息、工作負載信息、存儲配置、剩余層容量、層優(yōu)先級設置103-2-5中的層優(yōu)先級設置以及卷類型信息103-3-5中的卷QoS設置的分配。
B5.集成存儲池管理服各器的物理配置圖10說明了集成存儲池管理服務器300的配置的示例。集成存儲池管理服務器 300包括CPU 301、系統(tǒng)管理接口 302、存儲器303、輸入設備304以及顯示器305。CPU 301 通過使用存儲器303中的控制程序和控制表來控制服務器300。系統(tǒng)管理接口 302是連接前端存儲子系統(tǒng)100、后端存儲子系統(tǒng)200以及主機500的接口。系統(tǒng)管理接口 302將命令發(fā)送到前端存儲子系統(tǒng)100、后端存儲子系統(tǒng)200以及主機500以改變配置。系統(tǒng)管理接口 302從前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200接收存儲性能和工作負載以及配置信肩、ο存儲器303存儲數(shù)據(jù)、程序和表。集成存儲池層管理表303-1存儲集成存儲池600 的層配置和狀態(tài)信息。結構的細節(jié)在圖11中示出。存儲子系統(tǒng)管理表303-2存儲每個前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200的配置和狀態(tài)信息。結構的細節(jié)在圖12中示出。 系統(tǒng)信息表303-3存儲系統(tǒng)中除了存儲設備之外的IT設備的配置、性能和工作負載信息。 結構的細節(jié)在圖13中示出。集成存儲池擴展控制程序303-4將新的前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200安裝到集成存儲池600中。該程序基于集成存儲池層管理表303-1中的信息來設置對于前端存儲子系統(tǒng)100的層配置，并且設置外部卷裝配和交叉裝配配置。 處理的細節(jié)在圖14中示出。集成存儲池縮減控制程序303-5將舊的前端存儲子系統(tǒng)100 和后端存儲子系統(tǒng)200從集成存儲池600移除。該程序命令被移除的前端存儲子系統(tǒng)100 釋放存儲資源并且命令未被移除的前端存儲子系統(tǒng)100占用被移除的前端存儲子系統(tǒng)100 的數(shù)據(jù)和資源。處理的細節(jié)在圖15中示出。集成存儲池層配置控制程序303-6基于集成存儲池層管理表303-1中的信息設置和/或改變每個前端存儲子系統(tǒng)100的層配置。處理的細節(jié)在圖16中示出。集成存儲池卷控制程序303-7選擇前端存儲子系統(tǒng)100并且命令前端存儲子系統(tǒng)100提供具有QoS設置和主機路徑設置的卷。處理的細節(jié)在圖17中示出。 集成存儲池資源控制程序303-8檢查資源以發(fā)現(xiàn)不可接受的資源不平衡。如果程序發(fā)現(xiàn)不平衡，則命令前端存儲子系統(tǒng)100對集成存儲池600中的資源再平衡。處理的細節(jié)在圖18 中示出。集成存儲池監(jiān)控程序303-9收集配置、性能和工作負載信息并且警告每個前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200。輸入設備304允許用戶輸入存儲配置設置。顯示器305是對于用戶的輸出設備并且點擊器305-0向用戶示出了當前輸入?yún)^(qū)域。顯示器305示出了多個管理器。集成存儲池元件管理器305-1呈現(xiàn)作為用戶接口的窗口以命令將新的前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200安裝到集成存儲池600中。窗口的細節(jié)在圖20中示出。集成存儲池層管理器 305-2呈現(xiàn)作為用戶接口的窗口以設置集成存儲池600的層的配置。窗口的細節(jié)在圖21中示出。集成存儲池卷管理器305-3呈現(xiàn)作為用戶接口的窗口以提供新的主機卷131和改變集成的存儲池600的現(xiàn)有主機卷131的配置。B6.集成存儲池管理服務器的表結構圖11說明了集成存儲池層管理表303-1的表結構的示例。該表管理集成存儲池 600中的每個層的配置。集成存儲池擴展控制303-4在注冊時從該表生成新的前端存儲子系統(tǒng)100中的分層精簡配置池110中的層的配置。集成存儲池卷控制303-7生成在卷提供時的卷的配置和位置。集成存儲池層管理表303-1具有下述列。層ID 103_1_1是層的ID，其是集成存儲池600中的唯一號。層配置設置303-1-2提供層的定義，包括屬于前端存儲子系統(tǒng)100中的精簡配置池110的層的類型。用戶輸入來自集成存儲池層管理器305-2的這些設置。內(nèi)部層優(yōu)先級設置303-1-3提供當前端存儲子系統(tǒng)100使用后端存儲子系統(tǒng)200的外部卷或內(nèi)部RAID組時關于層使用的優(yōu)先級信息。用戶輸入來自集成存儲池層管理器305-2的這些設置。當集成存儲池管理服務器300將層設置改變或應用到分層精簡配置池110的內(nèi)部 RAID組層時，層的優(yōu)先級設置基于該信息以及外部層優(yōu)先級設置303-1-4。外部層優(yōu)先級設置303-1-4提供當前端存儲子系統(tǒng)100使用其它前端存儲子系統(tǒng)100的外部卷時關于層使用的優(yōu)先級信息。集成存儲池管理服務器300使用內(nèi)部層優(yōu)先級設置303-1-3中的優(yōu)先級信息以及系統(tǒng)信息表303-3中的延遲和工作負載信息來計算該值。當集成存儲池管理服務器300將層設置改變或應用至組成來自前端存儲子系統(tǒng)100的外部卷層的分層精簡配置池110的層時，層的優(yōu)先級設置基于該信息和外部層優(yōu)先級設置303-1-4。存儲子系統(tǒng)ID 303-1-5提供屬于集成存儲池600的前端存儲子系統(tǒng)100的ID。 該信息由集成存儲池擴展控制303-4注冊。精簡配置池層ID303-1-6提供與集成存儲池 600的層相關的精簡配置池110的層的ID。信息由集成存儲池擴展控制303-4注冊。存儲子系統(tǒng)層總容量303-1-7提供除了前端存儲子系統(tǒng)100的外部卷層之外的分層精簡配置池 110的層的總容量。該信息由集成存儲池監(jiān)控程序303-9收集和存儲。存儲子系統(tǒng)層使用的容量303-1-8提供除了前端存儲子系統(tǒng)100的外部卷層之外的分層精簡配置池110的層的使用的容量。該信息由集成存儲池監(jiān)控程序303-9收集和存儲。存儲子系統(tǒng)層限制工作負載303-1-9提供分層精簡配置池110的層的性能信息。該信息從例如磁盤數(shù)目、介質(zhì)類型、RAID級等的層配置計算而來。配置信息由集成存儲池監(jiān)控程序303-9收集和存儲。存儲子系統(tǒng)層當前工作負載303-1-10提供分層精簡配置池110的層的工作負載信息。該信息由集成存儲池監(jiān)控程序303-9收集和存儲。圖12說明了存儲子系統(tǒng)管理表303-2的表結構的示例。該表管理前端存儲子系統(tǒng)100的配置和狀態(tài)、前端存儲子系統(tǒng)100中的卷133、連接到卷的主機500以及將主機和卷鏈接的網(wǎng)絡400。卷容量信息303-2-6、卷使用的容量信息303-2-7、卷工作負載信息 303-2-8以及高速緩存命中率(hit rate)信息303-2-9對于選擇用于在前端存儲子系統(tǒng) 00中的資源再平衡的卷是重要的。存儲子系統(tǒng)管理表303-2具有下述列。存儲ID 303-2-1提供前端存儲子系統(tǒng)100 的ID作為系統(tǒng)中的唯一號。卷ID 303-2-2提供主機卷131的ID作為前端存儲子系統(tǒng)100 中的唯一號。主機ID 303-2-3提供連接至卷的主機500的ID作為系統(tǒng)中的唯一號。網(wǎng)絡區(qū)ID 303-2-4提供主機和卷使用的網(wǎng)絡區(qū)的ID作為系統(tǒng)中的唯一號。層ID 303-2-5提供卷能夠從其分配/再分配頁面的分層精簡配置池110中的層的ID作為分層精簡配置池 110中的唯一號。卷容量信息303-2-6提供卷的容量信息并且由集成存儲池監(jiān)控程序303-9 收集和存儲。卷使用的容量信息303-2-7提供卷的使用的容量信息，并且由集成存儲池監(jiān)控程序303-9收集和存儲。卷工作負載信息303-2-8提供卷的工作負載信息并且由集成存儲池監(jiān)控程序303-9收集和存儲。高速緩存命中率信息303-2-9提供卷的高速緩存命中/ 錯過信息，并且由集成存儲池監(jiān)控程序303-9收集和存儲。圖13說明了系統(tǒng)信息表303-3的表結構的示例。該表存儲除了存儲之外的關于系統(tǒng)的實際性能和當前工作負載的信息。該信息對于選擇用于再平衡前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200中的存儲資源的方法非常有用。系統(tǒng)信息表303-3具有下述列索引303-3-1提供系統(tǒng)性能的索引。性能信息 303-3-2提供關于實際性能的信息，該值能夠由用戶通知。工作負載信息303-3-3提供部件的當前工作負載。該值由集成存儲池監(jiān)控程序303-9收集，由主機500和網(wǎng)絡400輸入或計算。B7.集成存儲池管理服各器的稈序的處理圖14是說明集成存儲池擴展控制程序303-4的處理的流程圖的示例。當用戶向集成存儲池600增加新的存儲子系統(tǒng)時該程序運行。操作指令來自集成存儲池元件管理器 305-1。程序在步驟303-4-1開始。在步驟303-4-2，用戶向存儲池元件管理器305-1提供用于新存儲子系統(tǒng)信息的池額外輸入。在步驟303-4-3，程序收集新存儲子系統(tǒng)的配置信息 (例如RAID組配置)。程序參考集成存儲層管理表303-1并且將新存儲子系統(tǒng)中的RAID組分類到層。在步驟303-4-4，程序從收集的信息生成新存儲子系統(tǒng)的配置。如果存儲子系統(tǒng)適用于后端存儲子系統(tǒng)200，則程序選擇要連接的前端存儲子系統(tǒng)100。在步驟303-4-5，程序?qū)⑼獠烤碓O置應用到新存儲子系統(tǒng)。如果新存儲子系統(tǒng)是后端存儲子系統(tǒng)200，則程序命令前端存儲子系統(tǒng)100將卷裝配為外部卷并安裝到分層精簡配置池110。在步驟303-4-6， 程序?qū)⑸傻膶优渲脩玫叫麓鎯ψ酉到y(tǒng)。如果新存儲子系統(tǒng)是前端存儲子系統(tǒng)100，則程序命令新存儲子系統(tǒng)設置用于自己的精簡配置池110的生成的層。在步驟303-4-7，程序?qū)⒔徊嫜b配卷設置應用到集成存儲池中的所有存儲子系統(tǒng)。如果新存儲子系統(tǒng)是前端存儲子系統(tǒng)100，則程序命令建立具有QoS設置的交叉裝配卷132，并且命令其它前端存儲子系統(tǒng)100將新前端存儲子系統(tǒng)100的交叉裝配卷132裝配為外部卷。程序在步驟303-4-8結束ο圖15是說明集成存儲池縮減控制程序303-5的處理的流程圖的示例。當用戶將現(xiàn)有存儲子系統(tǒng)從集成存儲池600移除時該程序運行。操作指令來自集成存儲池元件管理器 305-1。程序在步驟303-5-1開始。在步驟303-5-2，用戶向存儲池元件管理器305-1提供被移除的存儲子系統(tǒng)的信息的池縮減輸入。在步驟303-5-3，程序收集新存儲子系統(tǒng)的配置信息(例如RAID組配置和卷配置)。程序參考集成存儲層管理表303-1以獲知集成存儲池600的當前配置。在步驟303-5-4，程序從收集的信息生成每個剩余存儲子系統(tǒng)的配置。在步驟303-5-5，程序命令被移除的存儲子系統(tǒng)和剩余存儲子系統(tǒng)彼此之間遷移數(shù)據(jù)。 更具體地，從縮減的存儲子系統(tǒng)向其它存儲子系統(tǒng)遷移數(shù)據(jù)。通過該操作在前端存儲子系統(tǒng)100中運行卷遷移控制程序103-9和/或頁面控制程序103-8。在步驟303-5-6，如果被移除的存儲子系統(tǒng)是前端存儲100，則程序命令被移除的存儲子系統(tǒng)卸下外部卷，并且裝配后端存儲子系統(tǒng)200的卷。在步驟303-5-7，如果被移除存儲子系統(tǒng)是前端存儲子系統(tǒng)，則程序命令剩余的存儲子系統(tǒng)裝配被移除存儲子系統(tǒng)已經(jīng)裝配的后端存儲子系統(tǒng)200的卷。 在步驟303-5-8，如果被移除存儲子系統(tǒng)是前端存儲子系統(tǒng)，則程序命令剩余存儲子系統(tǒng)卸載由被移除存儲子系統(tǒng)提供的交叉裝配卷。通過該操作在剩余存儲子系統(tǒng)中運行頁面控制程序103-8。在步驟303-5-9，用戶將被移除存儲子系統(tǒng)從網(wǎng)絡斷開并移除。程序在步驟 3-3-5-10 結束。
圖16是說明集成存儲池層配置控制程序303-6的處理的流程圖的示例。當用戶改變集成存儲池600的層配置時，該程序運行。操作指令來自集成存儲池層管理器305-2。程序在步驟303-6-1開始。在步驟303-6-2，程序收集每個存儲子系統(tǒng)的配置信息。程序參考集成存儲層管理表303-1以獲知集成存儲池600的當前配置。程序?qū)τ脩羰境黾纱鎯Τ?00的全部配置。集成存儲池600的層資源量(例如容量)是在每個前端存儲子系統(tǒng)100的分層精簡配置池110中的相關層的量的總和。以此方式，用戶能夠知道系統(tǒng)中每層的總資源量和剩余資源量。在步驟303-6-3，用戶從存儲池層管理器305-2輸入集成存儲池600的新層配置。在步驟303-6-4，程序生成用于新設置的配置，例如層優(yōu)先級和分類。在步驟303-6-5，程序命令每個前端存儲子系統(tǒng)100改變分層精簡配置池110的層配置。通過該操作在前端存儲子系統(tǒng)100中運行頁面控制程序103-8。程序在步驟303-6-6 結束。圖17是說明集成存儲池卷控制程序303-7的處理的流程圖的示例。當用戶提供集成存儲池600中的現(xiàn)有卷的改變配置的新卷時該程序運行。操作指令來自集成存儲池卷管理器305-3。程序在步驟303-7-1開始。程序參考集成存儲層管理表303-1以獲得集成存儲池 600的當前配置。在步驟303-7-2，程序向用戶示出集成存儲池600的總信息。集成存儲池 600的層資源量(例如容量)是在每個前端存儲子系統(tǒng)100的分層精簡配置池110中的相關層的量的總和。以此方式，用戶能夠知道系統(tǒng)中每層的總資源量和剩余資源量。在步驟 303-7-3，用戶從存儲池卷管理器305-3輸入集成存儲池600的新卷配置，包括例如卷容量、 連接至卷的主機以及QoS設置。在步驟303-7-4，程序檢查哪個操作發(fā)生。如果是卷提供， 則程序進行到步驟303-7-5。如果是卷重配置，則程序進行到303-7-7。在步驟303-7-5，程序選擇適當?shù)那岸舜鎯ψ酉到y(tǒng)100來提供主機卷131。選擇從剩余資源、網(wǎng)絡轉換性以及對于卷的需求生成。該程序基于從存儲池卷管理器305-3的輸入以及所選擇的前端存儲子系統(tǒng)100的當前配置生成QoS設置(使用層設置)。在步驟303-7-6，程序命令前端存儲子系統(tǒng)100提供具有容量和QoS設置的主機卷131。程序命令主機500連接至提供的主機卷 131。在步驟303-7-7，程序基于來自存儲池卷管理器305-3的輸入以及所選擇的前端存儲子系統(tǒng)100的當前配置生成QoS設置(使用層設置)。在步驟303-7-8，程序命令前端存儲子系統(tǒng)100改變主機卷131的容量和QoS設置。如果改變了連接主機500，程序命令當前主機500從卷斷開并且命令所選擇的主機連接卷。程序在步驟303-7-9結束。圖18是說明集成存儲池再平衡控制程序303-8的處理的流程圖的示例。該程序周期地運行。程序在步驟303-8-1開始。在步驟303-8-2，程序參考集成存儲層管理表303-1 和存儲子系統(tǒng)管理表303-2以獲取集成存儲池600的當前配置和使用。在步驟303-8-3，程序檢查集成存儲池600中的層的不可接受-不平衡的使用。如果層被平衡，則程序在步驟 303-8-11結束。否則，在步驟303-8-4，程序生成下述再平衡方式以解決不平衡。一個方法是在兩個前端存儲子系統(tǒng)之間指派后端外部卷(見圖39)。另一個是在兩個前端存儲子系統(tǒng)之間的卷遷移(見圖46)。另一個方法涉及通過兩個前端存儲子系統(tǒng)之間的交叉裝配卷的容量出租(見圖43)。在步驟303-8-5，程序從步驟303-8-4中選擇最佳方式?；谛Ч?、系統(tǒng)工作負載以及改變時間來決定選擇。從系統(tǒng)信息表303-3、集成存儲層管理表303-1以及存儲子系統(tǒng)管理表303-2生成參數(shù)。在步驟303-8-6 (第一選擇)，程序命令資源充足的前端存儲子系統(tǒng)100卸載后端存儲子系統(tǒng)200的外部卷。通過該卸載操作，頁面控制程序103-8將在資源缺乏的前端存儲子系統(tǒng)100中運行以將分配的容量頁面131-2排空到其它RAID組。在步驟303-8-7，程序命令資源缺乏的前端存儲子系統(tǒng)100 將卸載的卷裝配為外部卷并且將裝配的卷安裝到適當?shù)膶?。在步驟303-8-8 (第二選擇)， 程序命令資源缺乏的前端存儲子系統(tǒng)100將主機卷131遷移到資源充足的前端存儲子系統(tǒng) 100。通過該遷移操作，卷遷移控制程序103-9將在資源缺乏的前端存儲子系統(tǒng)100以及資源充足的前端存儲子系統(tǒng)100中運行。在步驟303-8-9(第三選擇)，程序命令資源充足的前端存儲子系統(tǒng)100提供交叉裝配卷132以向資源缺乏的前端存儲子系統(tǒng)100提供容量。 在步驟303-8-10，程序命令資源充足的前端存儲子系統(tǒng)100裝配由資源充足的前端存儲子系統(tǒng)100提供的交叉裝配卷132。程序在步驟303-8-11結束。圖19是說明集成存儲池監(jiān)控程序303-8的處理的流程圖的示例。該程序周期地運行。程序在步驟303-9-1開始。在步驟303-9-2，程序從前端存儲子系統(tǒng)100和后端存儲子系統(tǒng)200接收配置和工作負載信息。在步驟303-9-3，程序?qū)⒔邮盏男畔⒋鎯Φ较到y(tǒng)信息表303-3、集成存儲層管理表303-1以及存儲子系統(tǒng)管理表303-2。程序在步驟303-9-4結
束οB8. ■成趟池傲里圖20示出了作為用于用戶的輸入/輸出(I/O)接口的集成存儲池元件管理器 305-1的示例。使用該I/O接口，用戶能夠輸入將要增加到集成存儲池600的新存儲子系統(tǒng)， 能夠輸入要從集成存儲池600移除的已有存儲子系統(tǒng)，并且能夠檢查當前資源信息和在修改集成存儲池600之后的資源信息。I/O接口包括下述特征。池層資源信息面板305-1-1向用戶示出了每層的當前資源量。當用戶設置向集成存儲池600增加存儲子系統(tǒng)和/或從集成存儲池600移除存儲子系統(tǒng)時，面板示出了修改后的資源信息。池狀態(tài)信息面板305-1-2 示出了集成存儲池600的當前狀態(tài)。池配置信息面板305-1-3向用戶示出了集成存儲池600 中的存儲子系統(tǒng)列表。用戶也能夠從該列表選擇存儲子系統(tǒng)以從集成存儲池600移除。存儲子系統(tǒng)信息面板305-1-4向用戶示出了不在集成存儲池600中但是能夠加入其中的存儲子系統(tǒng)的列表。用戶能夠從該列表選擇存儲子系統(tǒng)以加入到集成存儲池600中。使用添加按鈕305-1-4，用戶能夠在從存儲子系統(tǒng)信息面板305-1-4選擇存儲子系統(tǒng)之后通過按下該按鈕來將存儲子系統(tǒng)添加到集成存儲池600。使用移除按鈕305-1-5，用戶能夠在從池置信息面板305-1-3選擇存儲子系統(tǒng)之后通過按下該按鈕而將存儲子系統(tǒng)從集成存儲池600 移除。使用應用按鈕305-1-7，用戶能夠通過按下該按鈕來發(fā)送集成存儲池擴展控制程序 303-4的命令以將存儲子系統(tǒng)添加到集成存儲池600 ；另外地或可選地，用戶能夠通過按下該按鈕而發(fā)送集成存儲池縮減控制程序303-5以將存儲子系統(tǒng)添加到集成存儲池600。用戶通過按下撤銷按鈕305-1-8來將配置返回當前狀態(tài)。圖21示出了作為用于用戶的I/O接口的集成存儲池層管理器305-2的示例。用戶通過使用該接口能夠輸入集成存儲池600的層配置并且能夠檢查當前資源信息和集成存儲池600修改之后的資源信息。接口包括下述特征。池層資源信息面板305-2-1向用戶示出了每層的當前資源量。當用戶對于集成存儲池600設置層配置改變時，該面板示出修改后的資源信息。池狀態(tài)信息面板305-2-2示出了集成存儲池600的當前狀態(tài)。層配置信息面板305-2-3向用戶示出了集成存儲池600中的層列表。用戶能夠改變集成存儲池600的層配置。用戶能夠通過按下應用按鈕305-2-7來發(fā)送集成存儲池層配置控制程序303-6 的命令來改變集成存儲池600的層配置。用戶能夠通過按下撤銷按鈕305-2-8來將配置返回當前狀態(tài)。圖22示出了作為用于用戶的I/O接口的集成存儲池卷管理器305-3的示例。用戶通過使用該接口能夠輸入集成存儲池600的卷配置并且能夠檢查集成存儲池600的當前資源信息。接口包括下述特征。池層資源信息面板305-3-1向用戶示出了每層的當前資源量。池狀態(tài)信息面板305-3-2示出了集成存儲池600的當前狀態(tài)。卷配置信息面板305-3-3 向用戶示出了集成存儲池600中的卷列表。用戶能夠改變集成存儲池600的卷配置。用戶能夠通過按下應用按鈕305-3-7Π來發(fā)送集成存儲池層配置控制程序303-6的命令來改變集成存儲池600的卷配置。用戶能夠通過按下撤銷按鈕305-3-8來將配置返回當前狀態(tài)。B9.編配遞難■細碰■少圖23說明了精簡配置池110中的層和集成存儲池600中的層之間的關系。集成存儲池600具有層611，該層由介質(zhì)類型、RAID級、成本等分類。它們被分類為層611-1、層 611-2、層611-3、層611-4、層611-5等。分類基于集成存儲池層管理表303-1中的設置。集成存儲池600中的每個層611具有前端存儲子系統(tǒng)100的每個精簡配置池100的層111。 每個層611具有來自集成存儲池層管理表303-1的優(yōu)先級設置。C.系統(tǒng)的操作步驟Cl.集成存儲池擴展圖M示出了存儲子系統(tǒng)安裝和集成存儲池600的擴展的順序的示例。順序具有如下步驟。在步驟S1-1，用戶引入新前端存儲子系統(tǒng)IOOa和IOOb并設置前端存儲子系統(tǒng) IOOa和IOOb的RAID組配置和網(wǎng)絡配置。通過該步驟，前端存儲子系統(tǒng)IOOa和IOOb在S1-2 改變配置。用戶命令集成存儲池600使用前端存儲子系統(tǒng)IOOa和IOOb擴展。通過該步驟， 集成存儲池600在S1-3改變配置。在步驟S1-2，前端存儲子系統(tǒng)100建立RAID組112并且得到網(wǎng)絡信息并登錄網(wǎng)絡。在步驟S1-3，首先，集成存儲池關聯(lián)服務器300命令前端存儲子系統(tǒng)IOOa和100b，向S1-4進發(fā)，裝配后端存儲子系統(tǒng)100的外部卷，建立分層精簡配置池110，并且建立分層精簡配置池110中的層并且進行到S1-4。接下來，集成存儲池管理服務器300命令前端存儲子系統(tǒng)(向S1-6進發(fā))從具有QoS設置的分層精簡配置池110提供交叉裝配卷132。接下來，分層存儲池管理服務器300命令前端存儲在系統(tǒng)(向S1-6進發(fā))裝配另一個前端存儲子系統(tǒng)100的提供的交叉裝配卷132并且進行到S1-8。在步驟S1-4，前端存儲子系統(tǒng)100建立分層精簡配置池110。前端存儲子系統(tǒng)100 裝配后端存儲子系統(tǒng)200的指定外部卷并且將外部卷安裝到分層精簡配置池110中。前端存儲子系統(tǒng)100設置層111的指定配置。在步驟S1-5，分層精簡配置池110中的RAID組 112被分類為層111。在步驟S1-6，前端存儲子系統(tǒng)100使用指定QoS設置制作交叉裝配卷 132。在步驟S1-7，提供交叉裝配卷132。在步驟S1-8，前端存儲子系統(tǒng)100裝配某些其它前端存儲子系統(tǒng)100的指定交叉裝配卷132。在步驟S1-9，將交叉裝配卷132的外部卷裝配作為RAID組。圖25示出了步驟S1-5之后的系統(tǒng)的狀態(tài)。后端存儲子系統(tǒng)200的外部卷231由前端存儲子系統(tǒng)100來裝配。每個前端存儲子系統(tǒng)100具有分層精簡配置池110，分層精簡配置池110具有內(nèi)部RAID組112以及裝配的外部卷231。
圖兌明了用于獲得圖25的狀態(tài)的數(shù)據(jù)、信息和命令的流。集成存儲池擴展控制程序303-4從存儲子系統(tǒng)管理表303-2和集成存儲池層管理表303-1獲取集成存儲池600 的當前配置。集成存儲池擴展控制程序303-4生成集成存儲池600的新配置并將新配置存儲到每個表中。集成存儲池擴展控制程序303-4命令分層池管理表103-2來將分層精簡配置池110的信息設置作為生成的新設置。集成存儲池擴展控制程序303-4命令磁盤管理表 103-1來將裝配的外部卷設置作為生成的新設置。集成存儲池擴展控制程序303-4命令后端存儲子系統(tǒng)200的卷231來允許來自裝配的前端存儲子系統(tǒng)100的I/O。圖27示出了在步驟S1-9之后系統(tǒng)的狀態(tài)。前端存儲子系統(tǒng)100的交叉裝配卷 132從分層精簡配置池110提供。前端存儲子系統(tǒng)100的交叉裝配卷132由其它前端存儲子系統(tǒng)100裝配。圖觀示出了用于獲得圖27的狀態(tài)的數(shù)據(jù)、信息和命令的流。集成存儲池擴展控制程序303-4從存儲子系統(tǒng)管理表303-2和集成存儲池層管理表303-1獲取集成存儲池600 的當前配置。集成存儲池擴展控制程序303-4生成集成存儲池600的新配置并將新配置存儲到集成存儲池層管理表303-1中。集成存儲池擴展控制程序303-4命令卷管理表103-3 來設置提供的交叉裝配卷132。集成存儲池擴展控制程序303-4命令磁盤管理表103-1來設置其它前端存儲子系統(tǒng)100的裝配的交叉裝配卷132。集成存儲池擴展控制程序303-4 命令分層池管理表103-2來設置裝配的交叉裝配卷132的層。C2.集成存儲池卷提供圖四示出了來自集成存儲池600的卷提供的順序的示例。該順序包括下述步驟。 在步驟S2-1，用戶向集成存儲池管理服務器300輸入卷配置，包括例如容量、QoS (層611選擇)以及連接的主機配置。在步驟S2-2，集成存儲池管理服務器300從每個前端存儲子系統(tǒng)100的當前資源狀態(tài)選擇網(wǎng)絡區(qū)、適當?shù)拇鎯ψ酉到y(tǒng)以及適當?shù)膶?層111)的設置。集成存儲池管理服務器300命令前端存儲子系統(tǒng)IOOa和IOOb提供具有上述生成的配置的主機卷131。集成存儲池管理服務器300命令主機500裝配提供的主機卷131。在步驟S2-3， 前端存儲子系統(tǒng)100傳輸分層精簡配置池110的配置信息。在步驟S2-4，前端存儲子系統(tǒng) 100使用指定配置建立主機卷131。在步驟S2-5，提供主機卷131。在步驟S2-6，主機500 建立與指定的主機卷131的卷連接。圖30示出了在圖四的順序之后系統(tǒng)的狀態(tài)。前端存儲子系統(tǒng)100的主機卷131 由分層精簡配置池110提供。前端存儲子系統(tǒng)100的主機卷131從主機500連接。圖31示出了用于獲得圖30的狀態(tài)的數(shù)據(jù)、信息和命令的流。集成存儲池卷控制程序303-7從存儲子系統(tǒng)管理表303-2和集成存儲池層管理表303-1獲取資源配置。集成存儲池卷控制程序303-7將提供的主機卷131的信息存儲至存儲子系統(tǒng)管理表303-2。集成存儲池卷控制程序303-7命令卷管理表103-3設置提供的主機卷131。集成存儲池擴展控制程序303-4命令路徑管理模塊501設置至主機卷131的連接。C3.主機 I/O圖32示出了從主機500至主機卷131的I/O順序的示例。該順序包括下述步驟。 在步驟S3-1，主機500將寫I/O發(fā)送到前端存儲子系統(tǒng)100的主機卷131。在步驟S3-2， 前端存儲子系統(tǒng)100接收數(shù)據(jù)。在步驟S3-3，主機卷131將接收的數(shù)據(jù)存儲到高速緩存區(qū)域。在步驟S3-4，前端存儲子系統(tǒng)100周期地檢查高速緩存狀態(tài)并且如果發(fā)現(xiàn)未降級數(shù)據(jù)，則前端存儲子系統(tǒng)100將數(shù)據(jù)存儲到磁盤。如果前端存儲子系統(tǒng)100還沒有為數(shù)據(jù)分配容量頁面，則分配新的容量頁面。在步驟S3-5，如果需要，則主機卷131將具有容量頁面分配的數(shù)據(jù)降級。在步驟S3-6，RAID組112將寫數(shù)據(jù)存儲到磁盤中。在步驟S3-7，主機500將讀I/O數(shù)據(jù)發(fā)送到前端存儲子系統(tǒng)100的主機卷131。在步驟S3-8，前端存儲子系統(tǒng)100 發(fā)送數(shù)據(jù)。在步驟S3-9，主機卷131將讀數(shù)據(jù)從磁盤升級到高速緩存區(qū)域。在步驟S3-10， RAID組112將數(shù)據(jù)從磁盤傳輸?shù)礁咚倬彺鎱^(qū)域。圖33示出了在圖32的寫I/O之后系統(tǒng)的狀態(tài)。主機卷131上的卷頁面131_1被分配了容量頁面131-2。容量頁面131-2的實體在內(nèi)部RAID組112-4、外部卷231或另一個前端存儲子系統(tǒng)100的內(nèi)部RAID組112-4中。圖34示出了用于獲得圖33的狀態(tài)的數(shù)據(jù)、信息和命令的流。主機500將I/O請求和數(shù)據(jù)發(fā)送到卷I/O控制程序103-6。卷I/O控制程序103-6參考卷管理表103-3來獲取卷配置。卷I/O控制程序103-6將數(shù)據(jù)存儲到高速緩存區(qū)域103-0。磁盤控制程序103-7檢查高速緩存區(qū)域103-0的狀態(tài)以發(fā)現(xiàn)臟數(shù)據(jù)。磁盤控制程序103-7參考頁面管理表103-4以判斷區(qū)域是否需要分配容量頁面。如果是，則磁盤控制程序103-7參考分層池管理表103-2 以找到應當從其分配容量頁面的層。進一步將卷頁面和容量頁面之間的關系信息存儲到頁面管理表103-4。磁盤控制程序103-7從頁面管理表103-4和磁盤管理表103-1找到臟數(shù)據(jù)的地址信息和磁盤，并將數(shù)據(jù)傳輸?shù)酱疟P106或外部卷231。C4.前端存儲子系統(tǒng)中的自動分層存儲管理圖35示出了分層存儲管理的順序的示例。在步驟S4-1，前端存儲子系統(tǒng)100周期地檢查每個分配的卷頁面的層配置。在I/O工作負載替代和/或用戶需求(例如層配置的改變)之后，改變分配的層。再分配的方法涉及選擇新的容量頁面、將容量頁面上的數(shù)據(jù)從已有容量頁面復制到新分配的容量頁面并且將頁面管理表103-4上的映射信息改變到新分配的容量頁面。在步驟S4-2，RAID組112復制數(shù)據(jù)。在步驟S4-3，主機卷132改變卷頁面的映射信息。圖36示出了在頁面遷移過程中的系統(tǒng)的狀態(tài)。容量頁面131- 上的數(shù)據(jù)被復制到另一個容量頁面131-2b。容量頁面131-1將映射從容量頁面131- 上的數(shù)據(jù)改變到容量頁面131-2b上的數(shù)據(jù)。圖37示出了找到層替代的必要性的數(shù)據(jù)、信息和命令的流。性能監(jiān)控程序103-5 檢查來自卷I/O控制程序103-6、高速緩存區(qū)域103-0、磁盤控制程序103-7以及分層池管理表103-2的工作負載和性能信息。卷I/O控制程序103-6提供I/O工作負載和I/O延遲信息及讀/寫速率。高速緩存區(qū)域103-0提供高速緩存命中率信息。磁盤控制程序103-7 提供磁盤工作負載和磁盤延遲信息。分層池管理表103-2提供層狀態(tài)和使用信息。圖38示出了遷移容量頁面以改變層的數(shù)據(jù)、信息和命令的流。性能監(jiān)控程序 103-5通知或指示頁面控制程序103-8來開始遷移。頁面控制程序103-8通過檢查分層池管理表103-2來從適當?shù)膶臃峙湫碌娜萘宽撁?。命令磁盤控制程序103-7來在兩個容量頁面之間復制數(shù)據(jù)并且改變頁面管理表103-4上的映射信息。磁盤控制程序103-7復制數(shù)據(jù)。 其參考磁盤管理表103-1以獲取RAID組的配置。復制處理使用高速緩存區(qū)域103-0來傳輸數(shù)據(jù)。磁盤控制程序103-7將數(shù)據(jù)存儲到磁盤106或外部卷231。C5.資源信息收集
圖39示出了從每個前端存儲子系統(tǒng)100收集的資源信息的順序的示例。在步驟 S5-1，集成存儲池管理服務器300周期地從每個前端存儲子系統(tǒng)100請求資源信息。在步驟S5-2，前端存儲子系統(tǒng)100將資源信息報告給集成存儲池管理服務器300。該信息包括 I/O工作負載(事務處理等)、層使用(容量、I/O位置等)以及I/O性能(I/O速率、高速緩存命中率等)。圖40示出了遷移容量頁面以改變層的數(shù)據(jù)、信息和命令的流。性能監(jiān)控程序 103-5向集成存儲池監(jiān)控程序303-1報告工作負載和實際性能信息。該信息包括I/O工作負載、I/O延遲、讀/寫速率、命中率以及磁盤延遲。分層池管理表103-2向集成存儲池監(jiān)控程序303-1報告每層的資源使用信息。該信息包括層狀態(tài)和層使用。卷管理表103-3向集成存儲池監(jiān)控程序303-1報告每個卷的資源使用信息。該信息包括卷狀態(tài)、卷使用以及卷工作負載。 Ce. ^^m^mmm^mmm圖41示出了改變前端存儲子系統(tǒng)100之間的外部卷裝配的順序的示例。該順序在步驟308-8-6和步驟303-8-7運行。在步驟S6-1，集成存儲池關聯(lián)服務器300選擇外部卷231來改變裝配前端存儲子系統(tǒng)IOOb和選擇重寫裝配前端存儲子系統(tǒng)100a。集成存儲池管理服務器300命令前端存儲子系統(tǒng)IOOb移除外部卷231。在移除操作后，集成存儲池管理服務器300命令前端存儲子系統(tǒng)IOOa裝配卸載的外部卷231并且安裝它的分層精簡配置池110。在步驟S6-2，前端存儲子系統(tǒng)IOOb將指定外部卷231上的已經(jīng)分配的容量頁面遷移到其它RAID組。在步驟S6-3，包括外部卷的RAID組132將數(shù)據(jù)從指定外部卷231 復制到其它RAID組。在步驟S6-4，主機卷131和交叉裝配卷132改變復制的容量頁面的映射信息。在步驟S6-5，前端存儲子系統(tǒng)IOOb卸載指定的外部卷231。在步驟S6-6，卸載的外部卷231從分層精簡配置池110離開。在步驟S6-7，前端存儲子系統(tǒng)IOOa裝配卸載的外部卷231。在步驟S6-8，裝配的外部卷231加入分層精簡配置池110。圖42示出了重新裝配過程中的系統(tǒng)的狀態(tài)。前端存儲子系統(tǒng)IOOb將容量頁面 131-1 (在裝配外部卷231的RAID組112-5上)遷移到另一個RAID組112并且卸載外部卷 231。前端存儲子系統(tǒng)IOOa裝配外部卷231并且將其設置到分層精簡配置池110。圖43示出了重新裝配外部卷231的數(shù)據(jù)、信息和命令的流。集成存儲資源控制程序303-8通過檢查存儲子系統(tǒng)管理表303-2發(fā)現(xiàn)資源的不平衡。通過參考存儲子系統(tǒng)管理表303-2、集成存儲層管理表303-1以及系統(tǒng)信息表303-3考慮再平衡的最佳方式。結果， 選擇將外部卷的裝配從前端存儲子系統(tǒng)IOOb改變到前端存儲子系統(tǒng)IOOa的方式。集成存儲資源控制程序303-8命令前端存儲子系統(tǒng)IOOb上的分層池管理表103-2來將裝配外部卷231的RAID組112從分層精簡配置池110移除。集成存儲資源控制程序303-8命令前端存儲子系統(tǒng)IOOb上的磁盤管理表103-1來卸載外部卷231。前端存儲子系統(tǒng)IOOb上的頁面控制程序103-8通過檢查分層池管理表103-2來分配來自適當?shù)膶拥男碌娜萘宽撁妗?命令磁盤控制程序103-7來在兩個容量頁面之間復制數(shù)據(jù)并且改變在頁面管理表103-4上的映射信息。前端存儲子系統(tǒng)IOOb上的磁盤控制程序103-7通過參考磁盤管理表103_1以獲取RAID組的配置，通過使用高速緩存區(qū)域103-0來傳輸數(shù)據(jù)以及通過將數(shù)據(jù)存儲到磁盤 106或外部卷231來復制數(shù)據(jù)。集成存儲資源控制程序303-8命令外部卷231來將路徑從前端存儲子系統(tǒng)IOOb改變到前端存儲子系統(tǒng)100a。集成存儲資源控制程序303-8命令前端存儲子系統(tǒng)IOOa和磁盤管理表103-1來將外部卷231裝配作為RAID組112。集成存儲資源控制程序303-8命令前端存儲子系統(tǒng)IOOa和分層池管理表103-2來使得裝配外部卷 231的RAID組112加入分層精簡配置池110。
C7.添加來自其它存儲的出租容量圖44示出了用于來自另一個前端存儲子系統(tǒng)100的裝配容量的增加的順序的示例。該順序在步驟303-8-9和步驟303-8-10運行。順序包括下述步驟。在步驟S7-1，集成存儲池管理服務器300選擇前端存儲子系統(tǒng)IOOb來向前端存儲子系統(tǒng)IOOa出租容量。集成存儲池管理服務器300命令前端存儲子系統(tǒng)IOOb提供交叉裝配卷132。在提供操作之后，集成存儲池管理服務器300命令前端存儲子系統(tǒng)IOOa裝配交叉裝配卷132并且安裝它的分層精簡配置池110。在步驟S7-2，前端存儲子系統(tǒng)IOOb從其具有用于交叉裝配卷132 的QoS設置的精簡配置池110提供交叉裝配卷132。在步驟S7-3，建立交叉裝配卷132。在步驟S7-4，前端存儲子系統(tǒng)IOOa將前端存儲子系統(tǒng)IOOb的提供的交叉裝配卷132裝配作為RAID組112-6，并且將RAID組112-6安裝到分層精簡配置池110。在步驟S7-5，裝配交叉裝配卷132的RAID組112-6加入到分層精簡配置池110。圖45示出了在添加處理后的系統(tǒng)的狀態(tài)。前端存儲子系統(tǒng)IOOa裝配前端存儲子系統(tǒng)IOOb的交叉裝配卷132。前端存儲子系統(tǒng)IOOa使用裝配的交叉裝配卷132用于分層精簡配置池110的資源。圖46示出了用于重新裝配外部卷231的數(shù)據(jù)、信息和命令的流。集成存儲資源控制程序303-8通過檢查存儲子系統(tǒng)管理表303-2發(fā)現(xiàn)資源的不平衡。通過參考存儲子系統(tǒng)管理表303-2、集成存儲層管理表303-1以及系統(tǒng)信息表303-3考慮再平衡的最佳方式。結果，選擇將容量從前端存儲子系統(tǒng)IOOb出租給前端存儲子系統(tǒng)IOOa的方式。集成存儲資源控制程序303-8命令前端存儲子系統(tǒng)IOOb上的卷管理表103-3來提供交叉裝配卷231。 集成存儲資源控制程序303-8命令前端存儲子系統(tǒng)IOOa上的磁盤管理表103-1來在前端存儲子系統(tǒng)IOOb上裝配交叉裝配卷并將裝配的交叉裝配卷132加入分層精簡配置池110。C8.至其它存儲的卷遷移圖47示出了兩個存儲子系統(tǒng)之間的卷遷移的順序的示例。該順序在步驟303-8-8 運行。在步驟S8-1，集成存儲池管理服務器300選擇要從前端存儲子系統(tǒng)IOOa遷移到前端存儲子系統(tǒng)IOOb的主機卷131。集成存儲池管理服務器300命令從前端存儲子系統(tǒng)IOOa遷移到前端存儲子系統(tǒng)100b。在步驟S8-2，前端存儲子系統(tǒng)IOOb復制前端存儲子系統(tǒng)IOOa 上的指定主機卷131的配置和數(shù)據(jù)。在步驟S8-3，前端存儲子系統(tǒng)IOOa傳輸主機卷131的配置和數(shù)據(jù)。在步驟S8-4，前端存儲子系統(tǒng)IOOa上的主機卷131傳輸數(shù)據(jù)。在步驟S8-5， 前端存儲子系統(tǒng)IOOb上的主機卷131被提供并且存儲數(shù)據(jù)。在步驟S8-6，主機500將路徑從前端存儲子系統(tǒng)IOOa上的主機卷131改變到前端存儲子系統(tǒng)IOOb上的主機卷131。在步驟S8-7，前端存儲子系統(tǒng)IOOa斷開主機路徑。在步驟S8-8，前端存儲子系統(tǒng)IOOb連接主機路徑。在步驟S8-9，前端存儲子系統(tǒng)IOOa刪除遷移的主機卷131。在步驟S8-10，遷移的主機卷131釋放分配的容量頁面。圖48示出了在遷移處理中的系統(tǒng)的狀態(tài)。前端存儲子系統(tǒng)IOOa將主機卷131遷移到前端存儲子系統(tǒng)100b。主機500將路徑從前端存儲子系統(tǒng)IOOa改變到前端存儲子系統(tǒng) IOOb0圖49示出了用于重新裝配外部卷231的數(shù)據(jù)、信息和命令的流。集成存儲資源控制程序303-8通過檢查存儲子系統(tǒng)管理表303-2發(fā)現(xiàn)資源的不平衡。通過參考存儲子系統(tǒng)管理表303-2、集成存儲層管理表303-1以及系統(tǒng)信息表303-3考慮再平衡的最佳方式。結果，選擇將在線卷從前端存儲子系統(tǒng)IOOa遷移到前端存儲子系統(tǒng)IOOb的方式。集成存儲資源控制程序303-8命令卷遷移控制程序103-9來將主機卷131遷移到前端存儲子系統(tǒng)100b。前端存儲子系統(tǒng)IOOa上的卷遷移控制程序103-9從卷管理表 103-3、分層池管理表103-2以及頁面管理表103-4收集主機卷131的配置。從頁面管理表 103-4知道分配信息是尤其重要的。因為該信息通過排除或排斥對于未分配頁面的區(qū)域的復制而對于縮減用于遷移的帶寬是非常有用的。前端存儲子系統(tǒng)IOOa上的卷遷移控制程序103-9命令磁盤控制程序103-7來將數(shù)據(jù)從外部卷231和/或磁盤106傳輸?shù)礁咚倬彺鎱^(qū)域103-0。前端存儲子系統(tǒng)IOOa上的卷遷移控制程序103-9從高速緩存區(qū)域103-0讀取數(shù)據(jù)并將數(shù)據(jù)和配置傳輸?shù)角岸舜鎯ψ酉到y(tǒng)IOOb上的卷遷移控制程序103-9。前端存儲子系統(tǒng)IOOb上的卷遷移控制程序103-9通過將具有上述配置的主機卷131應用到卷管理表 103-3來提供具有上述配置的主機卷131并將數(shù)據(jù)存儲在高速緩存區(qū)域103-0。磁盤控制程序103-7通過改變頁面管理表103-4來分配容量頁面。磁盤控制程序103-7通過解析與磁盤管理表103-1的映射而將高速緩存區(qū)域103-0上的數(shù)據(jù)存儲到外部卷231或磁盤106 上。C9.集成存儲池縮減圖50示出了通過移除存儲子系統(tǒng)而縮減集成存儲池600的順序的示例。在步驟 S9-1，用戶指定要從集成存儲池移除的存儲子系統(tǒng)。在完成池縮減處理之后，用戶將存儲從系統(tǒng)移除。在步驟S9-2，集成存儲池管理服務器300檢查指定存儲子系統(tǒng)的配置。如果存儲子系統(tǒng)是后端存儲子系統(tǒng)200，則發(fā)生下述步驟。裝配被移除的后端存儲子系統(tǒng)200的前端存儲子系統(tǒng)100將容量頁面從外部卷216再分配到其它RAID組112。 前端存儲子系統(tǒng)100卸載外部卷216。如果存儲子系統(tǒng)是前端存儲子系統(tǒng)100，則發(fā)生下述步驟。前端存儲子系統(tǒng)IOOa 將主機卷131的數(shù)據(jù)和配置復制到其它前端存儲子系統(tǒng)100。連接復制的主機卷131的主機500改變路徑以復制目標主機卷131。前端存儲子系統(tǒng)IOOa刪除復制源主機卷131。不包括被移除的前端存儲子系統(tǒng)IOOa的前端存儲子系統(tǒng)IOOb從在被移除的前端存儲子系統(tǒng)100上裝配交叉裝配卷132的RAID組再分配容量頁面。不包括被移除的前端存儲子系統(tǒng)IOOa的前端存儲子系統(tǒng)IOOb卸載被移除的前端存儲子系統(tǒng)IOOa上的裝配交叉裝配卷 132。被移除前端存儲子系統(tǒng)100卸載外部卷231。不包括被移除的前端存儲子系統(tǒng)IOOa 的前端存儲子系統(tǒng)IOOb裝配被卸載的外部卷231。在步驟S9-3，前端存儲子系統(tǒng)100讀取所有主機卷131的配置和數(shù)據(jù)。在步驟 S9-4，主機卷131傳輸數(shù)據(jù)。在步驟S9-5，前端存儲子系統(tǒng)IOOa將主機卷131的數(shù)據(jù)和配置傳輸?shù)角岸舜鎯ψ酉到y(tǒng)100b。在步驟S9-6，前端存儲子系統(tǒng)IOOb上的主機卷131被提供并且存儲數(shù)據(jù)。在步驟S9-7，主機500將路徑從前端存儲子系統(tǒng)IOOa改變到前端存儲子系統(tǒng)100b。在步驟S9-8，前端存儲子系統(tǒng)IOOa上的主機卷131斷開主機路徑。在步驟 S9-9，前端存儲子系統(tǒng)IOOb上的主機卷131連接主機路徑。在步驟S9-10，前端存儲子系統(tǒng)IOOa刪除所有的主機卷131。在步驟S9-11，刪除主機卷131。在步驟S9-12，前端存儲子系統(tǒng)IOOb將裝配外部卷231的RAID組上的容量頁面再分配到其它RAID組。在步驟S9-13， RAID組將數(shù)據(jù)復制到其它RAID組112。在步驟S9-14，交叉裝配卷132改變對于容量頁面的映射。在步驟S9-15，前端存儲子系統(tǒng)IOOb將裝配交叉裝配卷132的RAID組112從分層精簡配置池110移除。前端存儲子系統(tǒng)IOOb卸載裝配的交叉裝配卷132。在步驟S9-16， 前端存儲子系統(tǒng)IOOa上的交叉裝配卷132被卸載。在步驟S9-17，前端存儲子系統(tǒng)IOOa卸載外部卷216。在步驟S9-18，RAID組112卸載外部卷216。在步驟S9-19，前端存儲子系統(tǒng) IOOb裝配被裝配在前端存儲子系統(tǒng)IOOa上的外部卷216。在步驟S9_20，RAID組112裝配外部卷216。在步驟S9-21，前端存儲子系統(tǒng)IOOa被從系統(tǒng)移除。圖51示出了在集成存儲池600的縮減處理中的系統(tǒng)的狀態(tài)。前端存儲子系統(tǒng)IOOa 將主機卷131遷移到前端存儲子系統(tǒng)100b。前端存儲子系統(tǒng)IOOb裝配前端存儲子系統(tǒng) IOOa已經(jīng)裝配的外部卷213。斷開到由前端存儲子系統(tǒng)IOOb裝配的前端存儲子系統(tǒng)IOOa 的交叉裝配卷132的連接。從主機500至前端存儲子系統(tǒng)IOOa的主機卷131的連接被繼續(xù)或者切換到前端存儲子系統(tǒng)100b。當然，圖1、4、10、13和21中的系統(tǒng)配置僅是示例信息系統(tǒng)，其中可以實施本發(fā)明， 并且本發(fā)明不限于特定硬件配置。實施本發(fā)明的計算機和存儲系統(tǒng)也能夠具有已知I/O設備(例如⑶和DVD驅(qū)動，軟盤驅(qū)動，硬驅(qū)等)，這些設備能夠存儲和讀取用于實施上述發(fā)明的模塊、程序和數(shù)據(jù)結構。這些模塊、程序和數(shù)據(jù)結構能夠被編碼在這樣的計算機可讀介質(zhì)上。例如，本發(fā)明的數(shù)據(jù)結構能夠在與記錄了本發(fā)明中使用的程序的一個或多個計算機可讀介質(zhì)相獨立的計算機可讀介質(zhì)上。可以通過任何形式的數(shù)字數(shù)據(jù)通信介質(zhì)，例如通信網(wǎng)絡，來將系統(tǒng)的這些組件相連。通信網(wǎng)絡的例子包括局域網(wǎng)、廣域網(wǎng)(例如互聯(lián)網(wǎng))、無線網(wǎng)絡，存儲區(qū)域網(wǎng)絡等。在說明書中，多個細節(jié)用于說明的目的以提供對本發(fā)明的透徹理解。然而，對本領域普通技術人員來說，不需要全部的這些特定細節(jié)來實現(xiàn)本發(fā)明。也注意到本發(fā)明可以被描述作為處理，通常被描述作為流程圖、流圖、結構圖或框圖。盡管流程圖可能將操作描述作為順序處理，但是能夠并行或同時執(zhí)行許多操作。此外，操作的順序可以重新安排。如本領域公知，上述操作能夠由硬件、軟件或軟件和硬件的一些組合來執(zhí)行。可以使用電路和邏輯設備(硬件)來實施本發(fā)明實施例的各個方面，同時可以使用在機器可讀介質(zhì)上存儲的指令(軟件)來實施本發(fā)明實施例的其它方面，如果處理器執(zhí)行該指令，該指令將使得處理器執(zhí)行方法以實現(xiàn)本發(fā)明的實施例。另外，可以主要地在硬件中執(zhí)行本發(fā)明的一些實施例，而可以主要地在軟件中執(zhí)行其它實施例。此外，能夠在單個單元中執(zhí)行描述的各種功能，或者該各種功能能夠以多種方式分布在多個組件上。當由軟件執(zhí)行時，可以由處理器(例如通用計算機)基于計算機可讀介質(zhì)中存儲的指令來執(zhí)行方法。如果需要的話， 能夠以壓縮和/或加密格式將指令存儲在介質(zhì)中。由上述顯而易見，本發(fā)明提供用于松耦合多存儲環(huán)境的分層存儲池管理和控制的方法、裝置以及存儲在計算機可讀介質(zhì)上的程序。另外，盡管在該說明書中描述了特定實施例，本領域普通技術人員應當理解設計為實現(xiàn)相同目的的任何適當?shù)牟贾媚軌蛱娲@里揭示的特定實施例。該揭示意欲覆蓋本發(fā)明的任何和所有適配或變化，并且應當理解在所附權利要求中使用的術語不應當被理解為將本發(fā)明限制為說明書中揭示的特定實施例。相反，本發(fā)明的范圍應當由所附權利要求以及這樣的權利要求的等價物的完全范圍來整體地確定，應當根據(jù)權利要求解釋的已制定原則來理解所附權利要求。
權利要求
1.一種系統(tǒng)，包括包括第一存儲控制器的第一存儲系統(tǒng)，所述第一存儲控制器從主計算機接收輸入/輸出(I/O)指令并向所述主計算機提供第一存儲卷；以及包括第二存儲控制器的第二存儲系統(tǒng)，所述第二存儲控制器從主計算機接收I/O指令并向所述主計算機提供第二存儲卷；其中，所述第一存儲卷中的一個第一存儲卷的第一數(shù)據(jù)存儲區(qū)域是由所述第一存儲控制器從第一池中分配的，其中，所述第一存儲卷中的另一個第一存儲卷的第二數(shù)據(jù)存儲區(qū)域是由所述第一存儲控制器從第二池中分配的，其中，所述第二存儲卷中的一個第二存儲卷的第三數(shù)據(jù)存儲區(qū)域是由所述第二存儲控制器從所述第一池分配的，其中，所述第二存儲卷中的另一個第二存儲卷的第四數(shù)據(jù)存儲區(qū)域是由所述第二存儲控制器從所述第二池中分配的。
2.根據(jù)權利要求1所述的系統(tǒng)，其中，禁止由所述第二存儲控制器從所述第一池中分配所述第一存儲卷中的所述另一個第一存儲卷的所述第二數(shù)據(jù)存儲區(qū)域。
3.根據(jù)權利要求2所述的系統(tǒng)，其中，響應于由所述第一存儲控制器從所述第二池中分配所述第一存儲卷中的所述另一個第一存儲卷的所述第二數(shù)據(jù)存儲區(qū)域，所述第二存儲控制器從所述第二池的容量中減去分配給所述第一卷的量。
4.根據(jù)權利要求1所述的系統(tǒng)，其中，響應于由所述第一存儲控制器從所述第二池中分配所述第一存儲卷中的所述另一個第一存儲卷的所述第二數(shù)據(jù)存儲區(qū)域，所述第二存儲控制器從所述第二池的容量中減去分配給所述第一卷的量。
5.根據(jù)權利要求1所述的系統(tǒng)，其中，使用多個第一層來管理所述第一池； 其中，使用多個第二層來管理所述第二池；并且其中，將分配給所述第二池的存儲介質(zhì)作為所述多個第一層中的獨立的層來管理，所述存儲介質(zhì)被分配給所述第二數(shù)據(jù)存儲區(qū)域。
6.根據(jù)權利要求5所述的系統(tǒng)，其中，通過網(wǎng)絡特性和所使用的所述存儲介質(zhì)的訪問速度來確定所述獨立的層。
7.根據(jù)權利要求5所述的系統(tǒng)，其中，如果所述存儲介質(zhì)與用于所述第一池的存儲介質(zhì)相同，則用于所述第一池的所述存儲介質(zhì)相比所述獨立的層具有更高的優(yōu)先級。
8.根據(jù)權利要求1所述的系統(tǒng)，進一步包括 管理服務器，其中，所述管理服務器基于所述系統(tǒng)的負載要求，針對連接到所述第一存儲控制器和所述第二存儲控制器這兩個控制器的存儲介質(zhì)，選擇將所述第二池中的容量出租給所述第一存儲系統(tǒng)，還是將控制從所述第二存儲控制器改變到所述第一存儲控制器。
9.根據(jù)權利要求1所述的系統(tǒng)，進一步包括管理服務器，其中，所述管理服務器基于所述系統(tǒng)的負載要求，針對連接到所述第一存儲控制器和所述第二存儲控制器這兩個控制器的存儲介質(zhì)，選擇將所述第二池中的容量出租給所述第一存儲系統(tǒng)，將數(shù)據(jù)從所述第一存儲卷遷移到所述第二存儲卷，還是將控制從所述第二存儲控制器改變到所述第一存儲控制器。
10.一種系統(tǒng)，包括包括第一存儲控制器的第一存儲系統(tǒng)，所述第一存儲控制器從主計算機接收輸入/輸出(I/O)指令并向所述主計算機提供第一存儲卷；包括第二存儲控制器的第二存儲系統(tǒng)，所述第二存儲控制器從主計算機接收I/O指令并向所述主計算機提供第二存儲卷；以及分配給第一池的存儲介質(zhì)；其中，所述第一存儲卷中的一個第一存儲卷的第一數(shù)據(jù)存儲區(qū)域是由所述第一存儲控制器從第一池中分配的，其中，所述第二存儲卷中的一個第二存儲卷的第二數(shù)據(jù)存儲區(qū)域是由所述第二存儲控制器從所述第二池分配的，其中，響應于來自管理服務器的指令，所述第二存儲控制器將所述存儲介質(zhì)分配給所述第二池并且所述第一存儲控制器從所述第一池中釋放所述存儲介質(zhì)。
11.根據(jù)權利要求10所述的系統(tǒng)，進一步包括管理服務器，其中，所述管理服務器基于所述系統(tǒng)的負載要求，對連接到所述第一存儲控制器和所述第二存儲控制器這兩個控制器的存儲介質(zhì)，選擇從第一存儲卷遷移到第二存儲卷還是將控制從所述第二存儲控制器改變到所述第一存儲控制器。
12.—種系統(tǒng)，包括多個存儲系統(tǒng)，每個存儲系統(tǒng)包括存儲控制器，所述存儲控制器從主計算機接收輸入/ 輸出(I/O)指令并從單獨的池提供存儲卷；以及管理服務器，連接到所述多個存儲系統(tǒng)；其中，所述多個存儲系統(tǒng)中的每個存儲系統(tǒng)的所述單獨的池被分配給多個存儲介質(zhì)并包括多個單獨的層；其中，所述管理服務器收集分配給所述多個存儲系統(tǒng)的存儲介質(zhì)的信息，并基于收集到的信息中的所述存儲介質(zhì)的特性動態(tài)地確定用于系統(tǒng)池的多個系統(tǒng)層，所述系統(tǒng)池包括分配給所述多個存儲系統(tǒng)的存儲介質(zhì)。
13.根據(jù)權利要求12所述的系統(tǒng)，其中，所述管理服務器將關于用于所述系統(tǒng)池的所述多個系統(tǒng)層的確定結果通知給所述多個存儲系統(tǒng)。
14.根據(jù)權利要求12所述的系統(tǒng)，其中，在將存儲介質(zhì)添加到所述系統(tǒng)池之后，所述管理服務器為所述多個存儲系統(tǒng)中的因添加所述存儲介質(zhì)而受到影響的一個存儲系統(tǒng)中的有關的單獨的池調(diào)整所述多個單獨的層。
15.根據(jù)權利要求12所述的系統(tǒng)，其中，響應于用戶請求，所述管理服務器改變用于所述系統(tǒng)池的所述多個系統(tǒng)層。
16.根據(jù)權利要求15所述的系統(tǒng)，其中，響應于用于所述系統(tǒng)池的所述多個系統(tǒng)層的改變，動態(tài)地調(diào)整所述多個單獨的層。
17.根據(jù)權利要求12所述的系統(tǒng)，其中，所述管理服務器基于用于所述多個存儲系統(tǒng)的存儲控制器的狀態(tài)，確定所述存儲卷的配置以及位置。
18.根據(jù)權利要求12所述的系統(tǒng)，其中，響應于要求釋放所述存儲系統(tǒng)中的一個存儲系統(tǒng)的所述單獨的池的請求，在所述系統(tǒng)中發(fā)生下述處理中的至少一種處理將要被釋放的所述單獨的池中的內(nèi)部存儲卷遷移到所述多個存儲系統(tǒng)中的另一個存儲系統(tǒng)中的單獨的池；將由所述第一存儲系統(tǒng)中的存儲控制器分配并直接控制的存儲介質(zhì)分配給所述多個存儲系統(tǒng)中的另一個存儲系統(tǒng)的存儲控制器；以及將由所述多個存儲系統(tǒng)中的另一個存儲系統(tǒng)的存儲控制器控制的外部卷的數(shù)據(jù)遷移到由控制所述外部卷的所述數(shù)據(jù)的所述另一個存儲系統(tǒng)中的存儲控制器控制的存儲卷。
19.根據(jù)權利要求18所述的系統(tǒng)，其中，外部卷的所述數(shù)據(jù)被遷移到由控制所述外部卷的所述數(shù)據(jù)的所述另一個存儲系統(tǒng)中的存儲控制器控制的內(nèi)部存儲卷，或被遷移到控制所述外部卷的所述數(shù)據(jù)的所述另一個存儲系統(tǒng)中的單獨的池中的存儲卷。
全文摘要
松耦合多存儲環(huán)境的分層存儲池管理和控制。系統(tǒng)包括包括第一存儲控制器的第一存儲系統(tǒng)，第一存儲控制器從主計算機接收輸入/輸出指令并向主計算機提供第一存儲卷；以及包括第二存儲控制器的第二存儲系統(tǒng)，第二存儲控制器從主計算機接收輸入/輸出指令并向主計算機提供第二存儲卷。第一存儲卷中的一個第一存儲卷的第一數(shù)據(jù)存儲區(qū)域是由第一存儲控制器從第一池中分配的。第一存儲卷中的另一個第一存儲卷的第二數(shù)據(jù)存儲區(qū)域是由第一存儲控制器從第二池中分配的。第二存儲卷中的一個第二存儲卷的第三數(shù)據(jù)存儲區(qū)域是由第二存儲控制器從第一池分配的。第二存儲卷中的另一個第二存儲卷的第四數(shù)據(jù)存儲區(qū)域是由第二存儲控制器從第二池中分配的。
文檔編號G06F3/06GK102375701SQ201110050760
公開日2012年3月14日 申請日期2011年3月1日 優(yōu)先權日2010年8月20日
發(fā)明者川口智大 申請人:株式會社日立制作所