本發(fā)明涉及云存儲,具體為一種支持云存儲突發(fā)性能的方法及系統(tǒng)。
背景技術(shù):
1、云存儲的實例規(guī)格參數(shù)包括最大帶寬、最大iops等。云存儲服務(wù)根據(jù)不同存儲實例規(guī)格提供了不同的性能參數(shù)。例如“最大iops=10000”代表存儲每秒最多處理10000次存儲讀寫磁盤請求,“最大帶寬=1536mbps”代表存儲每秒最多處理1536兆比特數(shù)據(jù)請求。
2、當(dāng)前的存儲限流控制通常只根據(jù)存儲實例規(guī)格設(shè)置一個固定的性能上限,不允許有超出當(dāng)前實例規(guī)格性能上限的存儲訪問能力。具體會通過軟件或硬件手段對存儲資源進(jìn)行邏輯劃分,為每個用戶或?qū)嵗峙洫毩⒌膇ops和吞吐量額度。這樣做可以防止某個用戶或應(yīng)用的高i/o需求影響到其他用戶,保證多租戶環(huán)境下的公平性和穩(wěn)定性。當(dāng)用戶的i/o請求超過其分配的iops或吞吐量限額時,超出的請求會被放入隊列或者緩沖區(qū)等待處理。通過調(diào)整隊列長度和處理策略,云存儲可以控制請求的響應(yīng)時間,避免資源過度爭搶導(dǎo)致的性能下降。
3、然而這種性能限制方式不夠靈活,用戶業(yè)務(wù)對于云存儲訪問不是總維持在該規(guī)格的性能上限的,存在一定時間是低于性能上限甚至沒有流量到達(dá)云存儲的。因此當(dāng)業(yè)務(wù)在一定時間內(nèi)需要訪問超過性能上限的場景,已有的流控方案無法支持這種需求。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的在于提供一種支持云存儲突發(fā)性能的方法及系統(tǒng),以解決上述背景技術(shù)中提出的問題。
2、為實現(xiàn)上述目的,本發(fā)明提供如下技術(shù)方案:一種支持云存儲突發(fā)性能的方法,所述方法包括以下步驟:
3、構(gòu)建雙漏桶模型,即“時間窗口控制漏桶”與“性能峰值控制漏桶”,用于智能調(diào)節(jié)存儲訪問的突發(fā)性能;
4、具體包括:a)動態(tài)配置漏桶參數(shù),依據(jù)存儲實例規(guī)格,定義基礎(chǔ)性能速率與最大性能速率,以及突發(fā)性能的持續(xù)時長;
5、b)實時監(jiān)測客戶端i/o請求,通過漏桶算法模型動態(tài)調(diào)整處理速度,允許可控范圍內(nèi)的性能超越基礎(chǔ)性能上限;
6、c)定時任務(wù)根據(jù)客戶端i/o的數(shù)量、大小,結(jié)合雙桶結(jié)構(gòu)共同處理超出突發(fā)性能的請求。
7、優(yōu)選的,“時間窗口控制漏桶”設(shè)計用于限定突發(fā)性能的有效持續(xù)時間,容量由最大性能速率乘以預(yù)設(shè)的突發(fā)時長構(gòu)成,確保性能提升在規(guī)定時間內(nèi)有效;“性能峰值控制漏桶”旨在約束單次或短時間內(nèi)的性能峰值,其容量設(shè)定為最大性能速率的預(yù)設(shè)百分比,以平衡性能爆發(fā)與系統(tǒng)穩(wěn)定性,當(dāng)客戶端i/o請求超過突發(fā)時長/突發(fā)性能時,通過定時任務(wù),延長其執(zhí)行時間方式來降低突發(fā)性能。
8、優(yōu)選的,實時監(jiān)測客戶端i/o請求還包括:
9、自動化的動態(tài)調(diào)整機(jī)制,依據(jù)實時i/o活動及歷史數(shù)據(jù),自適應(yīng)調(diào)節(jié)漏桶參數(shù),優(yōu)化資源分配策略,適應(yīng)多變的工作負(fù)載,引入多級優(yōu)先級調(diào)度,為不同優(yōu)先級的i/o請求配置個性化的漏桶參數(shù),確保關(guān)鍵業(yè)務(wù)的性能需求得到優(yōu)先保障。
10、優(yōu)選的,處理超出突發(fā)性能的請求具體包括:
11、定時任務(wù)結(jié)合雙桶,共同處理超出突發(fā)性能的請求。在保證客戶端數(shù)據(jù)安全不丟失的情況下,能夠?qū)⒊鲂阅苌舷薜膇/o請求控制在設(shè)定的突發(fā)性能和突發(fā)時長內(nèi)。
12、一種支持云存儲突發(fā)性能系統(tǒng),所述系統(tǒng)包括以下模塊:
13、雙漏桶模型構(gòu)建模塊:用于構(gòu)建和維護(hù)包括“時間窗口控制漏桶”與“性能峰值控制漏桶”的雙漏桶模型,以智能調(diào)節(jié)存儲訪問的突發(fā)性能;
14、動態(tài)配置與調(diào)整模塊:根據(jù)存儲實例規(guī)格和實時i/o活動,動態(tài)配置漏桶參數(shù),并基于歷史數(shù)據(jù)進(jìn)行自適應(yīng)調(diào)整,優(yōu)化資源分配策略;
15、多級優(yōu)先級調(diào)度模塊:為不同優(yōu)先級的i/o請求配置個性化的漏桶參數(shù),確保關(guān)鍵業(yè)務(wù)的性能需求得到優(yōu)先保障;
16、定時任務(wù)處理模塊:結(jié)合雙漏桶結(jié)構(gòu),定時處理超出突發(fā)性能的請求,同時保證客戶端數(shù)據(jù)的安全性和完整性。
17、優(yōu)選的,所述雙漏桶模型構(gòu)建模塊包括:
18、時間窗口控制漏桶子模塊:定義突發(fā)性能的有效持續(xù)時間,容量由最大性能速率與預(yù)設(shè)的突發(fā)時長決定,用于限定突發(fā)性能的有效時間范圍;
19、性能峰值控制漏桶子模塊:設(shè)定單次或短時間內(nèi)的性能峰值上限,容量為最大性能速率的預(yù)設(shè)百分比,用于約束性能峰值,平衡性能爆發(fā)與系統(tǒng)穩(wěn)定性。
20、優(yōu)選的,所述動態(tài)配置與調(diào)整模塊包括:
21、漏桶參數(shù)配置子模塊,用于設(shè)置基礎(chǔ)性能速率、最大性能速率和突發(fā)時長參數(shù);
22、自適應(yīng)調(diào)整子模塊,用于實時監(jiān)控i/o活動,并根據(jù)實時數(shù)據(jù)和歷史數(shù)據(jù)動態(tài)調(diào)整漏桶參數(shù),以適應(yīng)多變的工作負(fù)載。
23、優(yōu)選的,所述多級優(yōu)先級調(diào)度模塊包括:
24、優(yōu)先級判定子模塊,用于根據(jù)請求的業(yè)務(wù)類型或用戶定義規(guī)則判定i/o請求的優(yōu)先級;
25、個性化參數(shù)配置子模塊,用于為不同優(yōu)先級的請求配置相應(yīng)的漏桶參數(shù),以確保關(guān)鍵業(yè)務(wù)獲得優(yōu)先處理。
26、優(yōu)選的,所述定時任務(wù)處理模塊包括:
27、超出性能處理子模塊,用于當(dāng)i/o請求超出突發(fā)性能時,采取延長執(zhí)行時間等方式降低突發(fā)性能;
28、數(shù)據(jù)安全保護(hù)子模塊,用于確保在處理過程中,客戶端數(shù)據(jù)的安全性和完整性不受影響。
29、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果是:
30、本發(fā)明提出的支持云存儲突發(fā)性能的方法及系統(tǒng),通過引入“突發(fā)性能上限”機(jī)制,能夠有效應(yīng)對短期、高強度的存儲訪問需求,如云服務(wù)器快速啟動、數(shù)據(jù)密集型任務(wù)處理等場景,顯著縮短響應(yīng)時間,提升用戶對于云存儲服務(wù)的滿意度。特別是在業(yè)務(wù)高峰期,用戶無需因暫時的性能需求提升而升級到更高規(guī)格的存儲實例,從而降低了成本負(fù)擔(dān),提高了業(yè)務(wù)的靈活性和市場響應(yīng)速度。
31、通過動態(tài)調(diào)整機(jī)制和智能預(yù)測模型,本發(fā)明能夠根據(jù)歷史數(shù)據(jù)和實時監(jiān)測信息,自動優(yōu)化漏桶參數(shù),確保突發(fā)性能的分配既滿足突發(fā)需求,又不損害系統(tǒng)穩(wěn)定性和其他用戶的使用體驗。這種自適應(yīng)性有助于云存儲平臺在不同工作負(fù)載下均能維持高性能和高可靠性,增強了系統(tǒng)的可持續(xù)運營能力。
32、優(yōu)先級控制機(jī)制的引入,使得關(guān)鍵業(yè)務(wù)或緊急任務(wù)在資源競爭中占據(jù)優(yōu)勢,確保了在突發(fā)訪問壓力下,高優(yōu)先級應(yīng)用的性能需求得以優(yōu)先滿足,這對于企業(yè)級用戶來說尤為重要,能夠保障核心業(yè)務(wù)流程的連續(xù)性和穩(wěn)定性。
1.一種支持云存儲突發(fā)性能的方法,其特征在于:所述方法包括以下步驟:
2.根據(jù)權(quán)利要求1所述的一種支持云存儲突發(fā)性能的方法,其特征在于:“時間窗口控制漏桶”設(shè)計用于限定突發(fā)性能的有效持續(xù)時間,容量由最大性能速率乘以預(yù)設(shè)的突發(fā)時長構(gòu)成,確保性能提升在規(guī)定時間內(nèi)有效;“性能峰值控制漏桶”旨在約束單次或短時間內(nèi)的性能峰值,其容量設(shè)定為最大性能速率的預(yù)設(shè)百分比,以平衡性能爆發(fā)與系統(tǒng)穩(wěn)定性,當(dāng)客戶端i/o請求超過突發(fā)時長/突發(fā)性能時,通過定時任務(wù),延長其執(zhí)行時間方式來降低突發(fā)性能。
3.根據(jù)權(quán)利要求1所述的一種支持云存儲突發(fā)性能的方法,其特征在于:實時監(jiān)測客戶端i/o請求還包括:
4.根據(jù)權(quán)利要求1所述的一種支持云存儲突發(fā)性能的方法,其特征在于:處理超出突發(fā)性能的請求具體包括:
5.一種根據(jù)權(quán)利要求1-4任意一項所述的支持云存儲突發(fā)性能的方法的支持云存儲突發(fā)性能系統(tǒng),其特征在于:所述系統(tǒng)包括以下模塊:
6.根據(jù)權(quán)利要求5所述的一種支持云存儲突發(fā)性能系統(tǒng),其特征在于:所述雙漏桶模型構(gòu)建模塊包括:
7.根據(jù)權(quán)利要求5所述的一種支持云存儲突發(fā)性能系統(tǒng),其特征在于:所述動態(tài)配置與調(diào)整模塊包括:
8.根據(jù)權(quán)利要求5所述的一種支持云存儲突發(fā)性能系統(tǒng),其特征在于:所述多級優(yōu)先級調(diào)度模塊包括:
9.根據(jù)權(quán)利要求5所述的一種支持云存儲突發(fā)性能系統(tǒng),其特征在于:所述定時任務(wù)處理模塊包括: