一種云存儲(chǔ)系統(tǒng)中數(shù)據(jù)傳輸方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及數(shù)據(jù)傳輸技術(shù)領(lǐng)域，尤指一種云存儲(chǔ)系統(tǒng)中數(shù)據(jù)傳輸方法和系統(tǒng)。
【背景技術(shù)】
[0002]云存儲(chǔ)提供的是存儲(chǔ)服務(wù)，存儲(chǔ)服務(wù)通過網(wǎng)絡(luò)將本地?cái)?shù)據(jù)存放在存儲(chǔ)服務(wù)提供商(SSP)提供的在線存儲(chǔ)空間。需要存儲(chǔ)服務(wù)的用戶不再需要建立自己的數(shù)據(jù)中心，只需向SSP申請存儲(chǔ)服務(wù)，從而避免了存儲(chǔ)平臺(tái)的重復(fù)建設(shè)，節(jié)約了昂貴的軟硬件基礎(chǔ)設(shè)施投資。
[0003]云存儲(chǔ)實(shí)現(xiàn)了海量數(shù)據(jù)的統(tǒng)一管理。在現(xiàn)有云存儲(chǔ)系統(tǒng)中，對于網(wǎng)絡(luò)帶寬要求都非常高，至少是千兆網(wǎng)絡(luò)帶寬，甚至一些高端云存儲(chǔ)系統(tǒng)要求萬兆網(wǎng)絡(luò)帶寬，無形中增加了云存儲(chǔ)系統(tǒng)建設(shè)成本，即使萬兆網(wǎng)絡(luò)環(huán)境也常常出現(xiàn)網(wǎng)絡(luò)帶寬緊張帶來云存儲(chǔ)系統(tǒng)性能下降，造成網(wǎng)絡(luò)帶寬成為云存儲(chǔ)系統(tǒng)性能的瓶頸，同時(shí)高速后端存儲(chǔ)設(shè)備就無法發(fā)揮至極致，造成云存儲(chǔ)系統(tǒng)后端資源浪費(fèi)。

【發(fā)明內(nèi)容】

[0004]為了解決上述技術(shù)問題，本發(fā)明提供了一種云存儲(chǔ)系統(tǒng)中數(shù)據(jù)傳輸方法和系統(tǒng)，能夠解決云存儲(chǔ)系統(tǒng)中網(wǎng)絡(luò)帶寬瓶頸的問題。
[0005]為了達(dá)到本發(fā)明目的，本發(fā)明提供了一種云存儲(chǔ)系統(tǒng)中數(shù)據(jù)傳輸方法，包括:云存儲(chǔ)系統(tǒng)中數(shù)據(jù)傳輸方法，應(yīng)用于云存儲(chǔ)系統(tǒng)中的云存儲(chǔ)客戶端和云存儲(chǔ)服務(wù)端，包括:云存儲(chǔ)客戶端預(yù)先設(shè)置數(shù)據(jù)塊的壓縮門限；在云存儲(chǔ)客戶端向云存儲(chǔ)服務(wù)端傳送數(shù)據(jù)前，如果確定傳送數(shù)據(jù)的數(shù)據(jù)塊大小超過壓縮門限，則對傳送數(shù)據(jù)執(zhí)行壓縮優(yōu)化，在壓縮的傳送數(shù)據(jù)中標(biāo)記壓縮屬性后發(fā)送至云存儲(chǔ)服務(wù)端；云存儲(chǔ)服務(wù)端接收到來自云存儲(chǔ)客戶端的傳送數(shù)據(jù)，確定傳送數(shù)據(jù)攜帶有壓縮屬性后，根據(jù)壓縮屬性對傳送數(shù)據(jù)進(jìn)行解壓縮優(yōu)化，并對傳送數(shù)據(jù)進(jìn)行存儲(chǔ)處理。
[0006]進(jìn)一步地，所述壓縮門限為128KB ;所述壓縮優(yōu)化和解壓縮優(yōu)化的算法為LZ4算法。
[0007]進(jìn)一步地，所述壓縮屬性至少包括已壓縮標(biāo)識(shí)，或者，所述壓縮屬性包括已壓縮標(biāo)識(shí)、算法庫類型、壓縮前大小、壓縮后大小和壓縮比。
[0008]進(jìn)一步地，所述方法還包括:云存儲(chǔ)客戶端確定傳送數(shù)據(jù)的數(shù)據(jù)塊大小沒有超過壓縮門限，則將傳送數(shù)據(jù)發(fā)送至云存儲(chǔ)服務(wù)端；云存儲(chǔ)服務(wù)端確定傳送數(shù)據(jù)沒有攜帶壓縮屬性后，對傳送數(shù)據(jù)進(jìn)行存儲(chǔ)處理。
[0009]進(jìn)一步地，所述對傳送數(shù)據(jù)進(jìn)行存儲(chǔ)處理，具體為:云存儲(chǔ)服務(wù)端對接收到的傳送數(shù)據(jù)或解壓縮后的傳送數(shù)據(jù)進(jìn)行校驗(yàn)，通過校驗(yàn)后的傳送數(shù)據(jù)進(jìn)行存儲(chǔ)處理。
[0010]本發(fā)明還提供了一種云存儲(chǔ)系統(tǒng)，包括云存儲(chǔ)客戶端和云存儲(chǔ)服務(wù)端，其中，云存儲(chǔ)客戶端，用于預(yù)先設(shè)置數(shù)據(jù)塊的壓縮門限；向云存儲(chǔ)服務(wù)端傳送數(shù)據(jù)前，如果確定傳送數(shù)據(jù)的數(shù)據(jù)塊大小超過壓縮門限，則對傳送數(shù)據(jù)執(zhí)行壓縮優(yōu)化，在壓縮的傳送數(shù)據(jù)中標(biāo)記壓縮屬性后發(fā)送至云存儲(chǔ)服務(wù)端；云存儲(chǔ)服務(wù)端，用于接收到來自云存儲(chǔ)客戶端的傳送數(shù)據(jù)，確定傳送數(shù)據(jù)攜帶有壓縮屬性后，根據(jù)壓縮屬性對傳送數(shù)據(jù)進(jìn)行解壓縮優(yōu)化，并對傳送數(shù)據(jù)進(jìn)行存儲(chǔ)處理。
[0011]與現(xiàn)有技術(shù)相比，本發(fā)明云存儲(chǔ)客戶端在發(fā)送數(shù)據(jù)到云存儲(chǔ)服務(wù)端前，先對傳送數(shù)據(jù)進(jìn)行壓縮，然后通過網(wǎng)絡(luò)發(fā)送至云存儲(chǔ)服務(wù)端，云存儲(chǔ)服務(wù)端接收到傳送數(shù)據(jù)后，先對傳送數(shù)據(jù)執(zhí)行解壓縮，然后云存儲(chǔ)服務(wù)端即可按照原有數(shù)據(jù)存儲(chǔ)操作進(jìn)行后續(xù)操作。通過本發(fā)明，解決了傳送數(shù)據(jù)在網(wǎng)絡(luò)傳輸中對帶寬占用造成網(wǎng)絡(luò)帶寬成為性能瓶頸的缺陷，且對現(xiàn)有云存儲(chǔ)系統(tǒng)不會(huì)造成影響，并具有很強(qiáng)的通用性。
[0012]本發(fā)明的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本發(fā)明而了解。本發(fā)明的目的和其他優(yōu)點(diǎn)可通過在說明書、權(quán)利要求書以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。
【附圖說明】
[0013]附圖用來提供對本發(fā)明技術(shù)方案的進(jìn)一步理解，并且構(gòu)成說明書的一部分，與本申請的實(shí)施例一起用于解釋本發(fā)明的技術(shù)方案，并不構(gòu)成對本發(fā)明技術(shù)方案的限制。
[0014]圖1是本發(fā)明的一種實(shí)施例中云存儲(chǔ)系統(tǒng)中數(shù)據(jù)傳輸方法的流程示意圖。
[0015]圖2是本發(fā)明的一種實(shí)施例中云存儲(chǔ)系統(tǒng)中數(shù)據(jù)傳輸系統(tǒng)的架構(gòu)示意圖。
【具體實(shí)施方式】
[0016]為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，下文中將結(jié)合附圖對本發(fā)明的實(shí)施例進(jìn)行詳細(xì)說明。需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相互任意組合。
[0017]在附圖的流程圖示出的步驟可以在諸如一組計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)系統(tǒng)中執(zhí)行。并且，雖然在流程圖中示出了邏輯順序，但是在某些情況下，可以以不同于此處的順序執(zhí)行所示出或描述的步驟。
[0018]圖1是本發(fā)明的一種實(shí)施例中云存儲(chǔ)系統(tǒng)中數(shù)據(jù)傳輸方法的流程示意圖。該云存儲(chǔ)系統(tǒng)中數(shù)據(jù)傳輸方法應(yīng)用于云存儲(chǔ)系統(tǒng)中的云存儲(chǔ)客戶端和云存儲(chǔ)服務(wù)端，如圖1所示，該方法包括:
[0019]步驟101，在云存儲(chǔ)客戶端預(yù)先設(shè)置數(shù)據(jù)塊的壓縮門限。
[0020]在本步驟中，用戶可以在云存儲(chǔ)客戶端預(yù)先設(shè)置數(shù)據(jù)塊的壓縮門限，例如壓縮門限為128KB，當(dāng)然也可以是其它值，在此不限定。
[0021]步驟102，在云存儲(chǔ)客戶端向云存儲(chǔ)服務(wù)端傳送數(shù)據(jù)前，判斷傳送數(shù)據(jù)的數(shù)據(jù)塊大小是否超過壓縮門限，如果超過，進(jìn)行步驟103 ;如果沒有超過，進(jìn)行步驟104。
[0022]在本步驟中，在云存儲(chǔ)客戶端向云存儲(chǔ)服務(wù)端傳送數(shù)據(jù)前，先進(jìn)行傳送數(shù)據(jù)的數(shù)據(jù)塊大小是否超過壓縮門限的判斷，例如判斷數(shù)據(jù)塊大小是否大于128KB。
[0023]步驟103，云存儲(chǔ)客戶端對傳送數(shù)據(jù)執(zhí)行壓縮優(yōu)化，在壓縮后的傳送數(shù)據(jù)中標(biāo)記壓縮屬性，然后進(jìn)行步驟104。
[0024]相對于現(xiàn)有技術(shù)，本發(fā)明的云存儲(chǔ)客戶端在發(fā)送傳送數(shù)據(jù)到服務(wù)端前，先對傳送數(shù)據(jù)進(jìn)行壓縮，然后通過網(wǎng)絡(luò)發(fā)送至服務(wù)端，從而可以大幅度減少傳送數(shù)據(jù)在網(wǎng)絡(luò)傳輸中對帶寬的占用。
[0025]在本步驟中，如果傳送數(shù)據(jù)的數(shù)據(jù)塊大小超過壓縮門限128KB，則云存儲(chǔ)客戶端對傳送數(shù)據(jù)執(zhí)行網(wǎng)絡(luò)數(shù)據(jù)通信壓縮優(yōu)化，該壓縮優(yōu)化可以采用LZ4壓縮算法，LZ4是一個(gè)快速的無損壓縮算法，壓縮速度在單核300MB/S，可擴(kuò)展支持多核CPU。它還具有一個(gè)非?？焖俚慕獯a器，速度單核可達(dá)到和超越lGB/s，通常能夠達(dá)到多核系統(tǒng)上的RAM速度限制。當(dāng)然還可以使用其它的壓縮算法，在此不限制。
[0026]壓縮優(yōu)化完成后，在壓縮的傳送數(shù)據(jù)中標(biāo)記壓縮屬性，該壓縮屬性至少包括已壓縮標(biāo)識(shí)，還可以包括算法庫類型、壓縮前大小、壓縮后大小、壓縮比等信息。
[0027]步驟104，云存儲(chǔ)客戶端將傳送數(shù)據(jù)發(fā)送至