一種云存儲環(huán)境存儲資源組織實現(xiàn)方法和架構的制作方法
【專利摘要】本發(fā)明涉及計算機存儲領域，公開了一種云存儲環(huán)境存儲資源組織實現(xiàn)方法和架構，通過內部高速互聯(lián)網(wǎng)絡把每個存儲控制器節(jié)點相互聯(lián)接，將各存儲節(jié)點的存儲資源統(tǒng)一編址，并建立邏輯磁盤與物理磁盤的映射關系，包括存儲控制器、高速互聯(lián)網(wǎng)絡、后端磁盤資源，提供了一種云存儲環(huán)境下存儲資源組織架構與方法，這種方法與架構的使用能極度提升存儲節(jié)點的聚合帶寬，提升整個存儲系統(tǒng)的性能與效率，加速云存儲客戶對存儲資源的訪問速度，能有效提高云存儲環(huán)境下存儲控制器節(jié)點的聚合帶寬，增加云存儲系統(tǒng)性能與存儲效率，并具有很強的擴展性。
【專利說明】一種云存儲環(huán)境存儲資源組織實現(xiàn)方法和架構
【技術領域】
[0001]本發(fā)明涉及一種計算機存儲領域中的存儲資源的組織架構與實現(xiàn)，具體涉及云存儲環(huán)境中存儲資源組織架構與實現(xiàn)。
技術背景
[0002]云存儲技術是一種新的基于網(wǎng)絡的IT服務增值、使用和交付模式，是數(shù)據(jù)共享與服務共享的結合。云存儲要對EP級數(shù)據(jù)進行存儲與管理，數(shù)據(jù)如何在存儲磁盤中組織是一個首先要解決的問題，同時主機端的數(shù)量也呈現(xiàn)級數(shù)級增長，不同的主機端對I/O處理需求在響應時間、傳輸帶寬、傳輸粒度等方面迥然不同，同時，云存儲系統(tǒng)的各個節(jié)點需要實現(xiàn)數(shù)據(jù)的統(tǒng)一存儲和管理。目前，云存儲系統(tǒng)主要采用結構上分布邏輯上統(tǒng)一的體系結構，這種邏輯統(tǒng)一而物理上分布的特點給云存儲系統(tǒng)擴展性，性能優(yōu)化帶來許多挑戰(zhàn)。

【發(fā)明內容】

[0003]本發(fā)明要解決的技術問題是:針對現(xiàn)有云存儲環(huán)境的應用特點與技術要求，提供一種深度優(yōu)化、提高云存儲環(huán)境下數(shù)據(jù)存儲效率與性能，同時能極度聚合各存儲節(jié)點帶寬，并且具有非常好的擴展性的磁盤資源組織架構與方法。
[0004]本發(fā)明所采用的技術方案為:
一種云存儲環(huán)境存儲資源組織實現(xiàn)方法，通過內部高速互聯(lián)網(wǎng)絡把每個存儲控制器節(jié)點相互聯(lián)接，將各存儲節(jié)點的存儲資源統(tǒng)一編址，并建立邏輯磁盤與物理磁盤的映射關系。
[0005]所述方法流程如下:
所有存儲控制器初始化完成后，控制器的磁盤管理功能會對本地磁盤資源進行映射；映射完成之后，再對整個磁盤資源進行統(tǒng)一編址，使每個控制器都能管理存儲系統(tǒng)中的所有存儲資源；
當云存儲客戶端提交創(chuàng)建一塊網(wǎng)絡磁盤時，存儲控制器接收到創(chuàng)建新邏輯磁盤的請求，控制器通過物理一虛擬磁盤映射，使新創(chuàng)建的邏輯磁盤均勻分布在整個統(tǒng)一編址的存儲資源；
當接收到云客戶機寫請求時，控制器根據(jù)邏輯磁盤與物理磁盤的映射關系，分別在不同的控制器上寫入相應的數(shù)據(jù)塊，控制器負責把要寫入的數(shù)據(jù)進行IO拆分；
當接收到云客戶端的讀請求時，根據(jù)邏輯磁盤與物理磁盤的映射關系，分別從相應的控制器中讀出相應的數(shù)據(jù)塊，控制器負責把的所讀出的數(shù)據(jù)IO合并并響應云客戶端的請求；
當控制器要進行擴展時，控制器對新增控制器中的磁盤資源進行映射，加入到原來統(tǒng)一編址的存儲池中，并修改物理磁盤與邏輯磁盤的映射關系。
[0006]一種云存儲環(huán)境存儲資源組織架構，該組織架構主要包括:存儲控制器、高速互聯(lián)網(wǎng)絡、后端磁盤資源，其中:
存儲控制器提供協(xié)議支持與磁盤管理，并提供一個前端卡和一個后端卡，其中前端卡與高速互聯(lián)網(wǎng)絡相連，后端卡與后端磁盤資源進行相連，存儲控制器里運行存儲專用系統(tǒng)，對各存儲節(jié)點存儲資源進行映射并進行統(tǒng)一編址，在對全局存儲資源進行統(tǒng)一編址后，進行物理存儲空間到邏輯存儲空間映射，使云客戶主機創(chuàng)建的每個存儲資源均勻分布在存儲節(jié)點上，這種從物理到邏輯存儲空間的映射對云客戶主機是透明的；
高速互聯(lián)網(wǎng)絡提供低延時、高帶寬的網(wǎng)絡連接，并具有良好地網(wǎng)絡兼容性，高帶寬與低延時使控制器訪問遠程磁盤與訪問本地磁盤速度只有微小差別；遠程磁盤，是其它存儲控制器節(jié)點通過高速網(wǎng)絡映射過來的磁盤，對本地存儲控制器都是物理磁盤；
后端磁盤資源為存儲系統(tǒng)提供最終物理存儲介質，通過后端卡連接存儲控制器，它可以是一塊磁盤，或者一塊磁盤中的多個分區(qū)，或者是一個磁盤陣列，或者是卷組中的邏輯卷。
[0007]所述存儲控制器，具有非常強的擴展性。當控制器要進行擴展時，控制器對新增控制器中的磁盤資源進行映射，加入到原來統(tǒng)一編址的存儲池中，并修改物理磁盤與邏輯磁盤的映射關系。
[0008]所述的物理存儲空間到邏輯存儲空間映射，包括存儲控制器對本地磁盤資源進行網(wǎng)絡映射，同時對遠程磁盤資源也進行相應的網(wǎng)絡映射，通過這種映射，系統(tǒng)中每個節(jié)點上都有本地盤與遠程盤，由于網(wǎng)絡映射中的網(wǎng)絡為超高速網(wǎng)絡(在局域網(wǎng)范疇，一般稱多達IGb / s (每秒1000兆比特，IG = 1000M)以上帶寬的光纖網(wǎng)絡為超高速網(wǎng)絡。在核心骨干網(wǎng)，一級稱2.5Gh / s以上的光纖網(wǎng)絡為超高速網(wǎng)絡)，控制器在訪問本地盤與遠程盤在速度上幾乎沒有區(qū)別，而且，網(wǎng)絡映射可以保證不會改變物理磁盤對于控制器的視圖，也就是說，通過這種網(wǎng)絡映射，遠程盤與本地盤對本地控制器來說，并無異樣。通過對等網(wǎng)絡映射，每個控制器都可以管理來自本地與遠程的磁盤資源。如圖2所示。
[0009]所述網(wǎng)絡映射，特指一一映射，每個遠程磁盤對應一個物理磁盤，并且映射不會改變任何原先本地磁盤的屬性。
[0010]所述存儲控制器，對本地磁盤資源與遠程磁盤資源進行統(tǒng)一編址與管理，組成一個大的存儲資源池，共同組成一個全局的塊級存儲空間，并對這個存儲資源按一定數(shù)據(jù)塊大小進行條帶化。
[0011]所述存儲控制器，還負責物理磁盤空間與虛擬磁盤空間的映射。當云存儲客戶端提交容量需求后，存儲控制器根據(jù)存儲池中物理磁盤空間中的存儲狀態(tài)，分配相應大小的連續(xù)虛擬磁盤空間，通過映射關系管理。
[0012]本發(fā)明的有益效果為:
本發(fā)明提供了一種云存儲環(huán)境下存儲資源組織架構與實現(xiàn)方法，這種方法與架構的使用能極度提升存儲節(jié)點的聚合帶寬，提升整個存儲系統(tǒng)的性能與效率，加速云存儲客戶對存儲資源的訪問速度。能有效提高云存儲環(huán)境下存儲控制器節(jié)點的聚合帶寬，增加云存儲系統(tǒng)性能與存儲效率，并具有很強的擴展性。
【專利附圖】

【附圖說明】
[0013]圖1為系統(tǒng)整體架構示意圖；
圖2系統(tǒng)磁盤資源組織方式控制器組緩存鏡像流程示意圖；
圖3邏輯磁盤空間到物理磁盤空間的映射關系示意圖?！揪唧w實施方式】
[0014]下面參照附圖，結合實施例對本發(fā)明詳細說明。
[0015]實施例1:
一種云存儲環(huán)境存儲資源組織實現(xiàn)方法，通過內部高速互聯(lián)網(wǎng)絡把每個存儲控制器節(jié)點相互聯(lián)接，將各存儲節(jié)點的存儲資源統(tǒng)一編址，并建立邏輯磁盤與物理磁盤的映射關系。
[0016]實施例2:
在實施例1的基礎上，所述方法流程如下:
所有控制器初始化完成后，控制器的磁盤管理功能會對本地磁盤資源進行映射；映射完成之后，再對整個磁盤資源進行統(tǒng)一編址，使每個控制器都能管理存儲系統(tǒng)中的所有存儲資源；
當云存儲客戶端提交創(chuàng)建一塊網(wǎng)絡磁盤時，存儲控制器接收到創(chuàng)建新邏輯磁盤的請求，控制器通過物理一虛擬磁盤映射，使新創(chuàng)建的邏輯磁盤均勻分布在整個統(tǒng)一編址的存儲資源；
當接收到云客戶機寫請求時，控制器根據(jù)邏輯磁盤與物理磁盤的映射關系，分別在不同的控制器上寫入相應的數(shù)據(jù)塊，控制器負責把要寫入的數(shù)據(jù)進行IO拆分；
當接收到云客戶端的讀請求時，根據(jù)邏輯磁盤與物理磁盤的映射關系，分別從相應的控制器中讀出相應的數(shù)據(jù)塊，控制器負責把的所讀出的數(shù)據(jù)IO合并并響應云客戶端的請求；
當控制器要進行擴展時，控制器對新增控制器中的磁盤資源進行映射，加入到原來統(tǒng)一編址的存儲池中，并修改物理磁盤與邏輯磁盤的映射關系。
[0017]實施例3:
一種云存儲環(huán)境存儲資源組織架構，其特征在于包括:存儲控制器、高速互聯(lián)網(wǎng)絡、后端磁盤資源,其中:
存儲控制器，提供協(xié)議支持磁盤管理，并提供一個前端卡和一個后端卡，其中前端卡與高速互聯(lián)網(wǎng)絡相連，后端卡與后端磁盤資源進行相連，存儲控制器里運行存儲專用系統(tǒng)，對各存儲節(jié)點存儲資源進行映射并進行統(tǒng)一編址，在對全局存儲資源進行統(tǒng)一編址后，進行物理存儲空間到邏輯存儲空間映射，使云客戶主機創(chuàng)建的每個存儲資源均勻分布在存儲節(jié)點上，這種從物理到邏輯存儲空間的映射對云客戶主機是透明的；
高速互聯(lián)網(wǎng)絡，提供低延時、高帶寬的網(wǎng)絡連接，并具有良好地網(wǎng)絡兼容性，高帶寬與低延時使控制器訪問遠程磁盤與訪問本地磁盤速度只有微小差別；
后端磁盤資源，為存儲系統(tǒng)提供最終物理存儲介質，通過后端卡連接存儲控制器。
[0018]實施例4:
在實施例3的基礎上，本實施例所述存儲控制器，具有高度擴展性，當存儲控制器進行橫向擴展時，控制器對新增控制器中的磁盤資源進行映射，加入到原來統(tǒng)一編址的存儲池中，并修改物理磁盤與邏輯磁盤的映射關系。
[0019]實施例5:
在實施例3或4基礎上，本實施例所述的物理存儲空間到邏輯存儲空間映射，包括存儲控制器對本地磁盤資源進行網(wǎng)絡映射，同時對遠程磁盤資源也進行相應的網(wǎng)絡映射，通過這種映射，系統(tǒng)中每個節(jié)點上都有本地盤與遠程盤，通過對等網(wǎng)絡映射，每個存儲控制器都可以管理來自本地與遠程的磁盤資源。
[0020]實施例6:
在實施例5的基礎上，本實施例所述網(wǎng)絡映射，為一一映射，每個遠程磁盤對應一個物理磁盤，并且映射不會改變任何原先本地磁盤的屬性。
[0021]實施例7:
在實施例3或4的基礎上，本實施例所述存儲控制器，對本地磁盤資源與遠程磁盤資源進行統(tǒng)一編址與管理，組成一個大的存儲資源池，共同組成一個全局的塊級存儲空間，并對這個存儲資源按一定數(shù)據(jù)塊大小進行條帶化。
[0022]實施例8:
在實施例3或4的基礎上，本實施例所述存儲控制器，還負責物理磁盤空間與虛擬磁盤空間的映射，當云存儲客戶端提交容量需求后，存儲控制器根據(jù)存儲池中物理磁盤空間中的存儲狀態(tài)，分配相應大小的連續(xù)虛擬磁盤空間，通過映射關系管理。
[0023]實施例8:
在實施例3或4的基礎上，本實施例所述存儲控制器，具有非常強的擴展性，當控制器要進行擴展時，控制器對新增控制器中的磁盤資源進行映射，加入到原來統(tǒng)一編址的存儲池中，并修改物理磁盤與邏輯磁盤的映射關系。
[0024]實施例9:
本實施例所述的體系結構主要包括:高速互聯(lián)網(wǎng)絡，存儲控制器，后端物理磁盤。如圖1所示。在本實施例配置環(huán)境里，控制器有I個前端卡，I個后端卡，前端卡既負責控制器內部互聯(lián)，又負責與云存儲客戶端連接，后端卡用于控制器與磁盤組的連接。所有控制器初始化完成后，控制器的磁盤管理功能會對本地磁盤資源進行映射，如圖2所示。映射完成之后，再對整個磁盤資源進行統(tǒng)一編址，使每個控制器都能管理存儲系統(tǒng)中的所有存儲資源。當云存儲客戶端提交創(chuàng)建一塊網(wǎng)絡磁盤時，存儲控制器接收到創(chuàng)建新邏輯磁盤的請求，控制器通過物理一虛擬磁盤映射，使新創(chuàng)建的邏輯磁盤均勻分布在整個統(tǒng)一編址的存儲資源；當接收到云客戶機寫請求時，控制器根據(jù)邏輯磁盤與物理磁盤的映射關系(如圖3所示)，分別在不同的控制器上寫入相應的數(shù)據(jù)塊，控制器負責把要寫入的數(shù)據(jù)進行IO拆分；當接收到云客戶端的讀請求時，根據(jù)邏輯磁盤與物理磁盤的映射關系，分別從相應的控制器中讀出相應的數(shù)據(jù)塊，控制器負責把的所讀出的數(shù)據(jù)IO合并并響應云客戶端的請求。當控制器要進行擴展時，控制器對新增控制器中的磁盤資源進行映射，加入到原來統(tǒng)一編址的存儲池中，并修改物理磁盤與邏輯磁盤的映射關系。
【權利要求】
1.一種云存儲環(huán)境存儲資源組織實現(xiàn)方法，其特征在于:通過內部高速互聯(lián)網(wǎng)絡把每個存儲控制器節(jié)點相互聯(lián)接，將各存儲節(jié)點的存儲資源統(tǒng)一編址，并建立邏輯磁盤與物理磁盤的映射關系。
2.根據(jù)權利要求1所述的一種云存儲環(huán)境存儲資源組織實現(xiàn)方法，其特征在于，所述方法流程如下: 所有存儲控制器初始化完成后，控制器的磁盤管理功能會對本地磁盤資源進行映射； 映射完成之后，再對整個磁盤資源進行統(tǒng)一編址，使每個控制器都能管理存儲系統(tǒng)中的所有存儲資源； 當云存儲客戶端提交創(chuàng)建一塊網(wǎng)絡磁盤時，存儲控制器接收到創(chuàng)建新邏輯磁盤的請求，控制器通過物理一虛擬磁盤映射，使新創(chuàng)建的邏輯磁盤均勻分布在整個統(tǒng)一編址的存儲資源； 當接收到云客戶機寫請求時，控制器根據(jù)邏輯磁盤與物理磁盤的映射關系，分別在不同的控制器上寫入相應的數(shù)據(jù)塊，控制器負責把要寫入的數(shù)據(jù)進行IO拆分； 當接收到云客戶端的讀請求時，根據(jù)邏輯磁盤與物理磁盤的映射關系，分別從相應的控制器中讀出相應的數(shù)據(jù)塊，控制器負責把的所讀出的數(shù)據(jù)IO合并并響應云客戶端的請求； 當控制器要進行擴展時，控制器對新增控制器中的磁盤資源進行映射，加入到原來統(tǒng)一編址的存儲池中，并修改物理磁盤與邏輯磁盤的映射關系。
3.—種云存儲環(huán)境存儲資源組織架構，其特征在于包括:存儲控制器、高速互聯(lián)網(wǎng)絡、后端磁盤資源，其中: 存儲控制器，提供協(xié)議支持磁盤管理，并提供一個前端卡和一個后端卡，前端卡與高速互聯(lián)網(wǎng)絡相連，后端卡與后端磁盤資源進行相連，存儲控制器里運行存儲專用系統(tǒng)，對各存儲節(jié)點存儲資源進行映射并進行統(tǒng)一編址，在對全局存儲資源進行統(tǒng)一編址后，進行物理存儲空間到邏輯存儲空間映射，使云客戶主機創(chuàng)建的每個存儲資源均勻分布在存儲節(jié)點上，這種從物理到邏輯存儲空間的映射對云客戶主機是透明的； 高速互聯(lián)網(wǎng)絡，提供低延時、高帶寬的網(wǎng)絡連接，并具有良好地網(wǎng)絡兼容性，高帶寬與低延時使控制器訪問遠程磁盤與訪問本地磁盤速度只有微小差別； 后端磁盤資源，為存儲系統(tǒng)提供最終物理存儲介質，通過后端卡連接存儲控制器。
4.根據(jù)權利要求3所述的一種云存儲環(huán)境存儲資源組織架構，其特征在于所述存儲控制器，具有高度擴展性，當存儲控制器進行橫向擴展時，控制器對新增控制器中的磁盤資源進行映射，加入到原來統(tǒng)一編址的存儲池中，并修改物理磁盤與邏輯磁盤的映射關系。
5.根據(jù)權利要求3或4所述的一種云存儲環(huán)境存儲資源組織架構，其特征在于，所述的物理存儲空間到邏輯存儲空間映射，包括存儲控制器對本地磁盤資源進行網(wǎng)絡映射，同時對遠程磁盤資源也進行相應的網(wǎng)絡映射，通過這種映射，系統(tǒng)中每個節(jié)點上都有本地盤與遠程盤，通過對等網(wǎng)絡映射，每個存儲控制器都能管理來自本地與遠程的磁盤資源。
6.根據(jù)權利要求5所述的一種云存儲環(huán)境存儲資源組織架構，其特征在于，所述網(wǎng)絡映射，為一一映射，每個遠程磁盤對應一個物理磁盤，并且映射不會改變任何原先本地磁盤的屬性。
7.根據(jù)權利要求3或4所述的一種云存儲環(huán)境存儲資源組織架構，其特征在于，所述存儲控制器，對本地磁盤資源與遠程磁盤資源進行統(tǒng)一編址與管理，組成一個大的存儲資源池,共同組成一個全局的塊級存儲空間，并對這個存儲資源按一定數(shù)據(jù)塊大小進行條帶化。
8. 根據(jù)權利要求3或4所述的一種云存儲環(huán)境存儲資源組織架構，其特征在于，所述存儲控制器，還負責物理磁盤空間與虛擬磁盤空間的映射，當云存儲客戶端提交容量需求后，存儲控制器根據(jù)存儲池中物理磁盤空間中的存儲狀態(tài)，分配相應大小的連續(xù)虛擬磁盤空間，通過映射關系管理。
【文檔編號】H04L29/08GK103617003SQ201310584667
【公開日】2014年3月5日 申請日期:2013年11月20日 優(yōu)先權日:2013年11月20日
【發(fā)明者】李偉國, 呂爍, 周耀輝, 韓東濤 申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司