專利名稱：一種提高云存儲磁盤空間使用效率的方法
技術領域：
本發(fā)明涉及云計算存儲技術領域，具體地說是一種提高云存儲磁盤空間使用效率的方法。
背景技術：
隨著云計算的興起，它的最主要特征是系統(tǒng)擁有大規(guī)模數(shù)據(jù)集、基于該數(shù)據(jù)集，向用戶提供服務。為保證高可用、高可靠和經(jīng)濟性，云計算與云存儲配合，采用分布式存儲的方式來存儲數(shù)據(jù)，采用冗余存儲的方式來保證存儲數(shù)據(jù)的可靠性，即為同一份數(shù)據(jù)存儲多個副本，這就要求云存儲有足夠的空間去保存大量的數(shù)據(jù)；與傳統(tǒng)的存儲設備相比，云存儲不僅僅是一個硬件，而是一個網(wǎng)絡設備、存儲設備、應用軟件、接入網(wǎng)、和客戶端程序等多個部分組成的復雜系統(tǒng)。各部分以存儲設備為核心，通過應用軟件來對外提供數(shù)據(jù)存儲和業(yè)務訪問服務。當前云計算的推廣應用，使得對云存儲空間的需求日益增加，而單純的靠增加磁盤數(shù)量來擴展磁盤空間不僅需要增加成本，并且需要擴大機房空間，同時也增大了系統(tǒng)功耗；這就對提高云存儲的空間使用效率提出了更高的要求。通用云存儲架構通常是網(wǎng)絡數(shù)據(jù)直接發(fā)至存儲節(jié)點，由存儲節(jié)點服務器設備直接將數(shù)據(jù)寫入磁盤陣列，或通過軟件對數(shù)據(jù)進行重復數(shù)據(jù)刪除壓縮技術來節(jié)省磁盤空間，首先這些方法在使用中都或多或少存在一些缺陷，其次這些工作都由存儲節(jié)點設備CPU來進行處理，會占用CPU資源，從而影響系統(tǒng)性能。

發(fā)明內容
本發(fā)明的目的是提供一種提高云存儲磁盤空間使用效率的方法。本發(fā)明的目的是按以下方式實現(xiàn)的，系統(tǒng)包括存儲節(jié)點和存儲控制節(jié)點，其中，存儲節(jié)點負責存放文件，存儲控制節(jié)點則是負責監(jiān)控存儲節(jié)點間容量及負載的均衡，當客戶端通過以太網(wǎng)將數(shù)據(jù)寫入存儲節(jié)點設備時候，數(shù)據(jù)會先經(jīng)過FPGA陣列，在FPGA陣列中會將數(shù)據(jù)壓縮后，傳送到后面的存儲節(jié)點設備的磁盤陣列中保存，壓縮后的數(shù)據(jù)量會較壓縮前數(shù)據(jù)明顯變小，這樣在存儲節(jié)點設備磁盤陣列中所占用空間自然就變小了，當客戶端需要讀取存儲設備磁盤陣列中的數(shù)據(jù)時，F(xiàn)PGA陣列會先將所需數(shù)據(jù)解壓縮然后通過網(wǎng)絡發(fā)送給客戶端。采用在數(shù)據(jù)用戶與存儲設備節(jié)點網(wǎng)絡之間通過FPGA陣列設備，對發(fā)往存儲節(jié)點的數(shù)據(jù)文件進行壓縮，對從存儲設備節(jié)點讀出的數(shù)據(jù)在FPGA陣列設備中進行解壓縮，而在FPGA陣列中實現(xiàn)了千兆及萬兆以太網(wǎng)接口，確保數(shù)據(jù)傳輸在FPGA陣列設備中沒有存儲瓶頸；壓縮與解壓都用FPGA硬件來實現(xiàn)，并不占用存儲設備節(jié)點CPU的資源，這樣通過壓縮后的數(shù)據(jù)量明顯會變小，在存儲節(jié)點中所占用磁盤空間自然會減少；數(shù)據(jù)在FPGA陣列設備中采用Lempel-Ziv (LZ)標準壓縮和解壓技術，以壓縮格式寫入的每個文件完全保留了原始數(shù)據(jù)的完整性，這種“無損”壓縮方法確保了數(shù)據(jù)完整性不受到危及。本發(fā)明的有益效果是云存儲是在云計算(cloudcomputing)概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設備，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。隨著云計算的發(fā)展和網(wǎng)絡數(shù)據(jù)量的急劇增加，對云存儲的容量急劇加大，，本專利提供一種采用存儲前端對數(shù)據(jù)即時壓縮的方法實現(xiàn)提高云存儲磁盤空間使用效率，在不用增加云存儲中磁盤數(shù)量的情況下，實現(xiàn)存儲能力的大幅提高。


圖I是系統(tǒng)的結構示意圖。
具體實施例方式參照說明書附圖對本發(fā)明的方法作以下詳細地說明。 云存儲是在云計算(cloudcomputing)概念上延伸和發(fā)展出來的一個新的概念，是指通過集群應用、網(wǎng)格技術或分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。當云計算系統(tǒng)運算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計算系統(tǒng)中就需要配置大量的存儲設備，所以云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)。隨著云計算的發(fā)展和網(wǎng)絡數(shù)據(jù)量的急劇增加，對云存儲的容量急劇加大，本專利提供一種采用存儲前端對數(shù)據(jù)即時壓縮的方法實現(xiàn)提高云存儲磁盤空間使用效率，在不用增加云存儲中磁盤數(shù)量的情況下，實現(xiàn)存儲能力的大幅提聞。通用云存儲架構通常是網(wǎng)絡數(shù)據(jù)直接發(fā)至存儲節(jié)點，由存儲節(jié)點服務器設備直接將數(shù)據(jù)寫入磁盤陣列，或通過軟件對數(shù)據(jù)進行重復數(shù)據(jù)刪除壓縮技術來節(jié)省磁盤空間，首先這些方法在使用中都或多或少存在一些缺陷，其次這些工作都由存儲節(jié)點設備CPU來進行處理，會占用CPU資源，從而影響系統(tǒng)性能；本專利采用在數(shù)據(jù)用戶與存儲設備節(jié)點網(wǎng)絡之間通過FPGA陣列設備對發(fā)往存儲節(jié)點的數(shù)據(jù)文件進行壓縮，對從存儲設備節(jié)點讀出的數(shù)據(jù)在FPGA陣列設備中進行解壓縮，而在FPGA陣列中實現(xiàn)了千兆及萬兆以太網(wǎng)接口，確保數(shù)據(jù)傳輸在FPGA陣列設備中不存儲瓶頸；壓縮與解壓都用FPGA硬件來實現(xiàn)，并不占用存儲設備節(jié)點CPU的資源。這樣通過壓縮后的數(shù)據(jù)量明顯會變小，在存儲節(jié)點中所占用磁盤空間自然會減少；數(shù)據(jù)在FPGA陣列設備中采用Lempel-Ziv (LZ)等標準壓縮和解壓技術，以壓縮格式寫入的每個文件完全保留了原始數(shù)據(jù)的完整性，這種“無損”壓縮方法確保了數(shù)據(jù)完整性不受到危及。此方法雖然會增加一些硬件上成本投入，但是從系統(tǒng)性能與長遠硬件成本節(jié)省上看還是有很大優(yōu)勢。如附圖所示，存儲節(jié)點負責存放文件，存儲控制節(jié)點則是負責監(jiān)控存儲節(jié)點間容量及負載的均衡，當客戶端通過以太網(wǎng)將數(shù)據(jù)寫入存儲節(jié)點設備時候，數(shù)據(jù)會先經(jīng)過FPGA陣列，在FPGA陣列中會將數(shù)據(jù)壓縮后，傳送到后面的存儲節(jié)點設備的磁盤陣列中保存，壓縮后的數(shù)據(jù)量會較壓縮前數(shù)據(jù)明顯變小，這樣在存儲節(jié)點設備磁盤陣列中所占用空間自然就變小了。當客戶端需要讀取存儲設備磁盤陣列中的數(shù)據(jù)時，F(xiàn)PGA陣列會先將所需數(shù)據(jù)解壓縮然后通過網(wǎng)絡發(fā)送給客戶端。
本專利適用于云存儲領域，根據(jù)當前對云存儲空間需求逐漸增大的情況下，具體提供一種在云 存儲領域中提高云存儲磁盤空間使用效率的方法，通過此方法可以在不增加磁盤數(shù)量的情況下存儲更多數(shù)據(jù)，從而降低云存儲的磁盤成本。除說明書所述的技術特征外，均為本專業(yè)技術人員的已知技術。
權利要求
1.一種提高云存儲磁盤空間使用效率的方法，其特征在于系統(tǒng)包括存儲節(jié)點和存儲控制節(jié)點，其中，存儲節(jié)點負責存放文件，存儲控制節(jié)點則是負責監(jiān)控存儲節(jié)點間容量及負載的均衡，當客戶端通過以太網(wǎng)將數(shù)據(jù)寫入存儲節(jié)點設備時候，數(shù)據(jù)會先經(jīng)過FPGA陣列，在FPGA陣列中會將數(shù)據(jù)壓縮后，傳送到后面的存儲節(jié)點設備的磁盤陣列中保存，壓縮后的數(shù)據(jù)量會較壓縮前數(shù)據(jù)明顯變小，這樣在存儲節(jié)點設備磁盤陣列中所占用空間自然就變小了，當客戶端需要讀取存儲設備磁盤陣列中的數(shù)據(jù)時，F(xiàn)PGA陣列會先將所需數(shù)據(jù)解壓縮然后通過網(wǎng)絡發(fā)送給客戶端； 采用在數(shù)據(jù)用戶與存儲設備節(jié)點網(wǎng)絡之間通過FPGA陣列設備，對發(fā)往存儲節(jié)點的數(shù) 據(jù)文件進行壓縮，對從存儲設備節(jié)點讀出的數(shù)據(jù)在FPGA陣列設備中進行解壓縮，而在FPGA陣列中實現(xiàn)了千兆及萬兆以太網(wǎng)接口，確保數(shù)據(jù)傳輸在FPGA陣列設備中沒有存儲瓶頸；壓縮與解壓都用FPGA硬件來實現(xiàn)，并不占用存儲設備節(jié)點CPU的資源，這樣通過壓縮后的數(shù)據(jù)量明顯會變小，在存儲節(jié)點中所占用磁盤空間自然會減少；數(shù)據(jù)在FPGA陣列設備中采用Lempel-Ziv (LZ)標準壓縮和解壓技術，以壓縮格式寫入的每個文件完全保留了原始數(shù)據(jù)的完整性，這種“無損”壓縮方法確保了數(shù)據(jù)完整性不受到危及。
全文摘要
本發(fā)明提供一種提高云存儲磁盤空間使用效率的方法，系統(tǒng)包括存儲節(jié)點和存儲控制節(jié)點，其中，存儲節(jié)點負責存放文件，存儲控制節(jié)點則是負責監(jiān)控存儲節(jié)點間容量及負載的均衡，當客戶端通過以太網(wǎng)將數(shù)據(jù)寫入存儲節(jié)點設備時候，數(shù)據(jù)會先經(jīng)過FPGA陣列，在FPGA陣列中會將數(shù)據(jù)壓縮后，傳送到后面的存儲節(jié)點設備的磁盤陣列中保存，壓縮后的數(shù)據(jù)量會較壓縮前數(shù)據(jù)明顯變小，這樣在存儲節(jié)點設備磁盤陣列中所占用空間自然就變小了，當客戶端需要讀取存儲設備磁盤陣列中的數(shù)據(jù)時，F(xiàn)PGA陣列會先將所需數(shù)據(jù)解壓縮然后通過網(wǎng)絡發(fā)送給客戶端。
文檔編號H04L29/08GK102801802SQ20121027931
公開日2012年11月28日 申請日期2012年8月8日 優(yōu)先權日2012年8月8日
發(fā)明者劉強, 金長新, 張志強, 趙萌 申請人:浪潮集團有限公司