一種分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ] 本申請(qǐng)涉及計(jì)算機(jī)技術(shù)，具體涉及一種分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法及
目.0
【背景技術(shù)】
[0002]分布式文件系統(tǒng)包含客戶端、元數(shù)據(jù)服務(wù)器和數(shù)據(jù)服務(wù)器，客戶端制定文件數(shù)據(jù)的訪問(wèn)接口，元數(shù)據(jù)服務(wù)器控制文件的布局及屬性，數(shù)據(jù)服務(wù)器存儲(chǔ)文件的數(shù)據(jù)內(nèi)容。
[0003]數(shù)據(jù)服務(wù)器通常使用磁盤進(jìn)行數(shù)據(jù)的永久性存儲(chǔ)。隨著使用時(shí)間的推移或者其他原因，磁盤的機(jī)械部件和存儲(chǔ)介質(zhì)都可能出現(xiàn)一定程度的老化和損壞，從而導(dǎo)致磁盤的性能明顯降低，通常將這種性能明顯降低的磁盤稱為“慢盤”。
[0004]為通過(guò)并行的訪問(wèn)提高數(shù)據(jù)1的性能，分布式文件系統(tǒng)將數(shù)據(jù)條帶化的存放在各個(gè)數(shù)據(jù)服務(wù)器的不同磁盤中。但是，如果系統(tǒng)中出現(xiàn)了慢盤，則將導(dǎo)致分布式文件系統(tǒng)1性能的明顯降低。在特定的應(yīng)用場(chǎng)景中，一個(gè)慢盤可能導(dǎo)致整個(gè)分布式文件系統(tǒng)不可用。
[0005]在現(xiàn)有技術(shù)中，沒(méi)有提供在分布式文件系統(tǒng)場(chǎng)景中檢測(cè)慢盤的方案。

【發(fā)明內(nèi)容】

[0006]本申請(qǐng)實(shí)施例中提供了一種分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法及裝置，用于檢測(cè)分布式文件系統(tǒng)中的慢盤。
[0007]根據(jù)本申請(qǐng)實(shí)施例中的一個(gè)方面，提供了一種分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法，包括:檢測(cè)磁盤的服務(wù)時(shí)間和輸入輸出1時(shí)延;根據(jù)該磁盤的服務(wù)時(shí)間和輸入輸出1時(shí)延確定第一狀態(tài)的磁盤，該第一狀態(tài)的磁盤是服務(wù)時(shí)間滑動(dòng)平均值超過(guò)第一預(yù)設(shè)值，且1時(shí)延滑動(dòng)平均值超過(guò)第二預(yù)設(shè)值的磁盤;檢測(cè)第一狀態(tài)的磁盤空閑時(shí)的D1時(shí)延；當(dāng)該D1時(shí)延超過(guò)第三預(yù)設(shè)值時(shí)，確定該磁盤為慢盤。
[0008]根據(jù)本申請(qǐng)實(shí)施例中的另一個(gè)方面，提供了一種分布式文件系統(tǒng)中的磁盤性能檢測(cè)裝置，包括:第一檢測(cè)模塊，用于檢測(cè)磁盤的服務(wù)時(shí)間和輸入輸出1時(shí)延;第一狀態(tài)確定模塊，用于根據(jù)該磁盤的服務(wù)時(shí)間和輸入輸出1時(shí)延確定第一狀態(tài)的磁盤，該第一狀態(tài)的磁盤是服務(wù)時(shí)間滑動(dòng)平均值超過(guò)第一預(yù)設(shè)值，且1時(shí)延滑動(dòng)平均值超過(guò)第二預(yù)設(shè)值的磁盤;第二檢測(cè)模塊，用于檢測(cè)第一狀態(tài)的磁盤空閑時(shí)的D1時(shí)延;慢盤確定模塊，用于在該D1時(shí)延超過(guò)第三預(yù)設(shè)值時(shí)，確定該磁盤為慢盤。
[0009]采用本申請(qǐng)實(shí)施例中的分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法和裝置，根據(jù)磁盤的服務(wù)時(shí)間和輸入輸出1時(shí)延，確定第一狀態(tài)的磁盤，并檢測(cè)第一狀態(tài)的磁盤空閑時(shí)的D1時(shí)延；當(dāng)該D1時(shí)延超過(guò)第三預(yù)設(shè)值時(shí)，確定該磁盤為慢盤;從而在分布式文件系統(tǒng)中檢測(cè)出性能不佳的慢盤，從而保證分布式文件系統(tǒng)的1性能。
【附圖說(shuō)明】
[0010]此處所說(shuō)明的附圖用來(lái)提供對(duì)本申請(qǐng)的進(jìn)一步理解，構(gòu)成本申請(qǐng)的一部分，本申請(qǐng)的示意性實(shí)施例及其說(shuō)明用于解釋本申請(qǐng)，并不構(gòu)成對(duì)本申請(qǐng)的不當(dāng)限定。在附圖中:
[0011]圖1為本申請(qǐng)實(shí)施例一所示的分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法流程圖；
[0012]圖2是根據(jù)本申請(qǐng)實(shí)施例二的分布式文件系統(tǒng)中的磁盤性能檢測(cè)裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0013]為了使本申請(qǐng)實(shí)施例中的技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖對(duì)本申請(qǐng)的示例性實(shí)施例進(jìn)行進(jìn)一步詳細(xì)的說(shuō)明，顯然，所描述的實(shí)施例僅是本申請(qǐng)的一部分實(shí)施例，而不是所有實(shí)施例的窮舉。需要說(shuō)明的是，在不沖突的情況下，本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0014]在實(shí)現(xiàn)本申請(qǐng)的過(guò)程中，發(fā)明人發(fā)現(xiàn)，現(xiàn)有技術(shù)中，沒(méi)有提供在分布式文件系統(tǒng)場(chǎng)景中檢測(cè)慢盤的方案，從而導(dǎo)致分布式文件系統(tǒng)由于存在慢盤而出現(xiàn)1性能下降。
[0015]針對(duì)上述問(wèn)題，本申請(qǐng)實(shí)施例中提供了一種分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法及裝置，根據(jù)磁盤的服務(wù)時(shí)間和輸入輸出時(shí)延，確定第一狀態(tài)的磁盤，并檢測(cè)第一狀態(tài)的磁盤空閑時(shí)的D10(Direct Input/output，直接輸入輸出)時(shí)延；當(dāng)該D1時(shí)延超過(guò)第三預(yù)設(shè)值時(shí)，確定該磁盤為慢盤;從而在分布式文件系統(tǒng)中檢測(cè)出性能不佳的慢盤，從而提升分布式文件系統(tǒng)的10( Input/output，輸入輸出)性能。
[0016]實(shí)施例一
[0017]圖1為本申請(qǐng)實(shí)施例一所示的分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法流程圖。如圖1所示，本申請(qǐng)實(shí)施例一所示的分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法包括:
[0018]SlOl，檢測(cè)磁盤的服務(wù)時(shí)間和輸入輸出1時(shí)延；
[0019]S102，根據(jù)該磁盤的服務(wù)時(shí)間和輸入輸出1時(shí)延確定第一狀態(tài)的磁盤，該第一狀態(tài)的磁盤是服務(wù)時(shí)間滑動(dòng)平均值超過(guò)第一預(yù)設(shè)值，且1時(shí)延滑動(dòng)平均值超過(guò)第二預(yù)設(shè)值的磁盤；
[0020]S103，檢測(cè)第一狀態(tài)的磁盤空閑時(shí)的D1時(shí)延；
[0021]S104，當(dāng)該D1時(shí)延超過(guò)第三預(yù)設(shè)值時(shí)，確定該磁盤為慢盤。
[0022]在具體實(shí)施時(shí)，根據(jù)該磁盤的服務(wù)時(shí)間和輸入輸出1時(shí)延確定第一狀態(tài)的磁盤，可以包括:根據(jù)該服務(wù)時(shí)間和1時(shí)延，計(jì)算該磁盤在預(yù)定時(shí)長(zhǎng)內(nèi)的服務(wù)時(shí)間滑動(dòng)平均值和1時(shí)延滑動(dòng)平均值;將該磁盤的服務(wù)時(shí)間滑動(dòng)平均值與第一預(yù)設(shè)值進(jìn)行比較，并將該磁盤的1時(shí)延滑動(dòng)平均值與第二預(yù)設(shè)值進(jìn)行比較；當(dāng)該磁盤的服務(wù)時(shí)間滑動(dòng)平均值大于等于第一預(yù)設(shè)值，且1時(shí)延滑動(dòng)平均值大于等于第二預(yù)設(shè)值時(shí)，確定該磁盤為第一狀態(tài)的磁盤。
[0023]滑動(dòng)平均值是從一個(gè)有η項(xiàng)的時(shí)間序列中來(lái)計(jì)算多個(gè)連續(xù)m項(xiàng)序列的平均值。其中連續(xù)m項(xiàng)序列的第一項(xiàng)，是原來(lái)η序列的第一項(xiàng)至m項(xiàng)之和除以m;連續(xù)m項(xiàng)序列的第二項(xiàng)是原來(lái)η序列的第二項(xiàng)至第m+Ι項(xiàng)之和除以m;連續(xù)m項(xiàng)序列的最后一項(xiàng)是原來(lái)η序列的第(n-m+1)至第η項(xiàng)之和除以m;滑動(dòng)平均值為連續(xù)m項(xiàng)序列中的第一項(xiàng)至第m項(xiàng)之和除以m?；瑒?dòng)平均值因項(xiàng)數(shù)m的不同而有不同的名稱。
[0024]例如，檢測(cè)到磁盤在第I時(shí)刻、第2時(shí)亥Ij、第3時(shí)刻、第4時(shí)刻、第5時(shí)刻的磁盤服務(wù)時(shí)間分別為1_秒、1.05暈秒、1.1暈秒、1.15暈秒、1.2暈秒;在第I時(shí)刻、第2時(shí)刻、第3時(shí)刻、第4時(shí)刻、第5時(shí)刻的1時(shí)延分別為5暈秒、6暈秒、10_秒、11暈秒、和9暈秒。
[0025]如果取3為項(xiàng)數(shù)，則磁盤第I時(shí)刻、第2時(shí)刻、第3時(shí)刻的服務(wù)時(shí)間滑動(dòng)平均值為1.05毫秒;第1時(shí)刻、第2時(shí)刻、第3時(shí)刻的1時(shí)延滑動(dòng)平均值為7毫秒;第2時(shí)刻、第3時(shí)刻、第4時(shí)刻的服務(wù)時(shí)間滑動(dòng)平均值為I.10毫秒;第2時(shí)刻、第3時(shí)刻、第4時(shí)刻的1時(shí)延滑動(dòng)平均值為9毫秒;第3時(shí)刻、第4時(shí)刻、第5時(shí)刻的服務(wù)時(shí)間滑動(dòng)平均值為1.15毫秒;第3時(shí)刻、第4時(shí)刻、第5時(shí)刻的1時(shí)延滑動(dòng)平均值為10毫秒。假如服務(wù)時(shí)間的經(jīng)驗(yàn)值為1.10毫秒，1時(shí)延的經(jīng)驗(yàn)值為10毫秒;則在第5個(gè)時(shí)刻，判斷磁盤進(jìn)入了第一狀態(tài)。
[0026]在具體實(shí)施時(shí)，該第一狀態(tài)可以是疑似慢盤的狀態(tài)。
[0027]在具體實(shí)施時(shí)，該磁盤的服務(wù)時(shí)間滑動(dòng)平均值和磁盤的1時(shí)延滑動(dòng)平均值可以取預(yù)定時(shí)長(zhǎng)，例如，5分鐘或30分鐘內(nèi)的滑動(dòng)平均值。
[0028]在具體實(shí)施時(shí)，該磁盤的服務(wù)時(shí)間可以通過(guò)系統(tǒng)命令獲取，例如，Linux系統(tǒng)1stat命令的svctm項(xiàng)。
[0029]在具體實(shí)施時(shí)，該第一預(yù)設(shè)值和第二預(yù)設(shè)值可以是由用戶根據(jù)經(jīng)驗(yàn)值設(shè)置的值，例如，第一預(yù)設(shè)值為60毫秒，第二預(yù)設(shè)值為100毫秒等;也可以是統(tǒng)計(jì)該分布式文件系統(tǒng)中所有磁盤的服務(wù)時(shí)間平均值和1時(shí)延平均值，本申請(qǐng)對(duì)此不作限制。
[0030]D1是文件操作的一個(gè)選項(xiàng)；在D1的工作模式下，數(shù)據(jù)直接從磁盤傳送到應(yīng)用的緩存，而不經(jīng)過(guò)文件的緩存區(qū)。
[0031]在具體實(shí)施時(shí)，如果磁盤空閑時(shí)的D1時(shí)延未超過(guò)第三預(yù)設(shè)值，則判斷該磁盤不是慢盤，并恢復(fù)對(duì)該磁盤的操作;并繼續(xù)進(jìn)行服務(wù)時(shí)間和1時(shí)延的檢測(cè)。
[0032]在具體實(shí)施時(shí)，檢測(cè)第一狀態(tài)的磁盤空閑時(shí)的D1時(shí)延，具體可以包括:確定該磁盤空閑；對(duì)該磁盤執(zhí)行D1操作；記錄該D1操作的時(shí)延，作為該第一狀態(tài)的磁盤空閑時(shí)的D1時(shí)延。
[0033]在具體實(shí)施時(shí)，檢測(cè)第一狀態(tài)的磁盤空閑時(shí)的D1時(shí)延，還可以是觸發(fā)數(shù)據(jù)服務(wù)器以D1的方式在該磁盤上連續(xù)進(jìn)行若干次較大數(shù)據(jù)塊的順序1操作;并將該多次D1操作的平均時(shí)延作為第一狀態(tài)的磁盤空閑時(shí)的D1時(shí)延。在具體實(shí)施時(shí)，該較大數(shù)據(jù)塊可以是數(shù)據(jù)大小超過(guò)512KByte的數(shù)據(jù)塊。
[0034]在具體實(shí)施時(shí)，確定該磁盤空閑可以包括:停止對(duì)該磁盤的操作;每隔預(yù)定時(shí)間檢測(cè)該磁盤的利用率；當(dāng)連續(xù)預(yù)定次數(shù)檢測(cè)到該磁盤的利用率均小于第四預(yù)設(shè)值時(shí)，確定該磁盤空閑。即，當(dāng)磁盤的利用率在一定時(shí)間內(nèi)接近O時(shí)，認(rèn)為該磁盤空閑。
[0035]在具體實(shí)施時(shí)，為保證第一狀態(tài)的磁盤存儲(chǔ)的數(shù)據(jù)的完整性，在觸發(fā)數(shù)據(jù)服務(wù)器停止對(duì)該磁盤的所有操作后，還可以進(jìn)一步觸發(fā)該磁盤上的底層文件系統(tǒng)進(jìn)行sync操作，以強(qiáng)制將內(nèi)存中的文件緩沖內(nèi)容寫(xiě)到磁盤。
[0036]在具體實(shí)施時(shí)，可以通過(guò)系統(tǒng)命令，例如，Linux系統(tǒng)的1stat命令獲取的Uti I來(lái)檢測(cè)磁盤的利用率。
[0037]在具體實(shí)施時(shí)，該預(yù)定次數(shù)可以為兩次或三次。
[0038]在具體實(shí)施時(shí)，該第四預(yù)設(shè)值可以為1%，2%等設(shè)定值。
[0039]在具體實(shí)施時(shí)，在確定該磁盤為慢盤之后，還包括:根據(jù)該磁盤的備份數(shù)據(jù)重構(gòu)該慢盤存儲(chǔ)的數(shù)據(jù);將重構(gòu)的該數(shù)據(jù)寫(xiě)入分布式文件系統(tǒng)的其他磁盤。當(dāng)該慢盤上的數(shù)據(jù)全部重構(gòu)完成后，分布式文件系統(tǒng)標(biāo)識(shí)該磁盤為廢盤，不再使用。
[0040]采用本申請(qǐng)實(shí)施例中的分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法，根據(jù)磁盤的服務(wù)時(shí)間和輸入輸出時(shí)延，確定第一狀態(tài)的磁盤，并檢測(cè)第一狀態(tài)的磁盤空閑時(shí)的D1時(shí)延；當(dāng)該D1時(shí)延超過(guò)第三預(yù)設(shè)值時(shí)，確定該磁盤為慢盤;從而在分布式文件系統(tǒng)中檢測(cè)出性能不佳的慢盤，從而保證分布式文件系統(tǒng)的1性能。
[0041]采用本申請(qǐng)實(shí)施例中的分布式文件系統(tǒng)中的磁盤性能檢測(cè)方法，先根據(jù)磁盤的服務(wù)時(shí)間和輸入輸出時(shí)延，確定第一狀態(tài)的磁盤，然后僅對(duì)第一狀