基于Hadoop的硬盤損壞處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及通信領(lǐng)域，具體而言，涉及一種基于Hadoop的硬盤損壞處理方法及裝置。
【背景技術(shù)】
[0002]Hadoop，是一種開源的大數(shù)據(jù)存儲和分析平臺，已成為業(yè)界處理大數(shù)據(jù)的事實(shí)標(biāo)準(zhǔn)。Hadoop平臺包含HDFS (分布式文件系統(tǒng))和MapReduce (并行計(jì)算框架)兩個(gè)重要的子系統(tǒng)。
[0003]圖1是相關(guān)技術(shù)中Hadoop存儲數(shù)據(jù)的平臺架構(gòu)示意圖，如圖1所示,Hadoop是一個(gè)高度容錯(cuò)的多副本的集群存儲分布式系統(tǒng)，適用于部署在廉價(jià)的機(jī)器上，并且Hadoop支持機(jī)器上多塊硬盤的并行數(shù)據(jù)寫入和讀取。隨著大數(shù)據(jù)的發(fā)展，數(shù)據(jù)量急劇增加，企業(yè)為了減少成本采用Hadoop平臺部署在廉價(jià)的PC Server上，每臺服務(wù)器上至少會配置24塊以上的硬盤，目前最大的集群機(jī)器數(shù)量已經(jīng)超過5000臺，每臺設(shè)備上有24塊硬盤，整個(gè)集群硬盤數(shù)量達(dá)到了 10多萬塊硬盤，基本每天都會有硬盤損壞。
[0004]在相關(guān)技術(shù)中，硬盤損壞，Hadoop所采用的處理如下:當(dāng)設(shè)備中有硬盤損失，系統(tǒng)無法寫入數(shù)據(jù)，由異常事件觸發(fā)，Hadoop將損失硬盤移入到損壞硬盤列表中，系統(tǒng)在后續(xù)運(yùn)行中將不再往損壞硬盤mount的目錄寫數(shù)據(jù)。系統(tǒng)在運(yùn)行期間，將不再訪問損壞硬盤列表，即不對損壞硬盤對應(yīng)的目錄進(jìn)行校驗(yàn)。當(dāng)運(yùn)維人員將新硬盤替換掉壞掉硬盤后，將新硬盤mount到目錄，系統(tǒng)在運(yùn)行期間不認(rèn)為當(dāng)前硬盤可以使用。只有在重啟hadoop進(jìn)程后，系統(tǒng)才重新對所有數(shù)據(jù)目錄進(jìn)行檢查，新硬盤參與系統(tǒng)的運(yùn)行。
[0005]然而上述硬盤損壞處理存在以下缺陷:(I)業(yè)務(wù)需要中斷:由于必須要重啟進(jìn)程才可以使得新硬盤使用，在重啟進(jìn)程期間，業(yè)務(wù)需要中斷，因而帶來的業(yè)務(wù)上的損失。(2)運(yùn)維成本高:硬盤損壞后，不但需要硬件工程師，還需要軟件工程師對Hadoop集群進(jìn)行重啟和觀察，大大增加了人力成本。
[0006]因此，在相關(guān)技術(shù)中對硬盤損壞的處理只采用重啟系統(tǒng)的方式，導(dǎo)致中斷業(yè)務(wù)，以及增加成本的問題。

【發(fā)明內(nèi)容】

[0007]本發(fā)明提供了一種基于Hadoop的硬盤損壞處理方法及裝置，以至少解決相關(guān)技術(shù)中對硬盤損壞的處理只采用重啟系統(tǒng)的方式，導(dǎo)致中斷業(yè)務(wù)，以及增加成本的問題。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供了一種基于Hadoop的硬盤損壞處理方法，包括:檢測到基于Hadoop的損壞硬盤替換為替換硬盤的替換操作成功信息；判斷所述替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作；在判斷結(jié)果為是的情況下，對所述替換硬盤進(jìn)行數(shù)據(jù)讀寫處理。
[0009]優(yōu)選地，在檢測到基于Hadoop的所述損壞硬盤替換為所述替換硬盤的所述替換操作成功信息之前，還包括:檢測到所述損壞硬盤的數(shù)據(jù)讀寫操作異常的硬盤異常信息；依據(jù)所述硬盤異常信息，中斷對所述損壞硬盤的數(shù)據(jù)讀寫操作。
[0010]優(yōu)選地，在判斷所述替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作之前，還包括:建立支持?jǐn)?shù)據(jù)讀寫操作的可用目錄，以及不支持?jǐn)?shù)據(jù)讀寫操作的不可用目錄，依據(jù)建立的所述可用目錄以及所述不可用目錄，判斷所述替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作。
[0011]優(yōu)選地，在判斷所述替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作之前，還包括:依據(jù)檢測到的硬盤狀態(tài)信息對所述可用目錄以及所述不可用目錄進(jìn)行動態(tài)更新，其中，所述硬盤狀態(tài)信息包括所述替換操作成功信息或者硬盤異常信息。
[0012]優(yōu)選地，通過以下方式至少之一，檢測到基于Hadoop的所述損壞硬盤替換為所述替換硬盤的所述替換操作成功信息:接收到所述替換硬盤替換所述損壞硬盤的硬盤mount掛起事件；掃描到所述損壞硬盤目錄由異常轉(zhuǎn)為正常的通知消息。
[0013]根據(jù)本發(fā)明的另一方面，提供了一種基于Hadoop的硬盤損壞處理裝置，包括??第一檢測模塊，用于檢測到基于Hadoop的損壞硬盤替換為替換硬盤的替換操作成功信息；判斷模塊，用于判斷所述替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作；處理模塊，用于在判斷結(jié)果為是的情況下，對所述替換硬盤進(jìn)行數(shù)據(jù)讀寫處理。
[0014]優(yōu)選地，該裝置還包括:第二檢測模塊，用于檢測到所述損壞硬盤的數(shù)據(jù)讀寫操作異常的硬盤異常信息；中斷模塊，用于依據(jù)所述硬盤異常信息，中斷對所述損壞硬盤的數(shù)據(jù)讀寫操作。
[0015]優(yōu)選地，該裝置還包括:建立模塊，用于建立支持?jǐn)?shù)據(jù)讀寫操作的可用目錄，以及不支持?jǐn)?shù)據(jù)讀寫操作的不可用目錄，依據(jù)建立的所述可用目錄以及所述不可用目錄，判斷所述替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作。
[0016]優(yōu)選地，該裝置還包括:更新模塊，用于依據(jù)檢測到的硬盤狀態(tài)信息對所述可用目錄以及所述不可用目錄進(jìn)行動態(tài)更新，其中，所述硬盤狀態(tài)信息包括所述替換操作成功信息或者硬盤異常信息。
[0017]優(yōu)選地，該裝置所述第一檢測模塊包括以下至少之一:接收單元，用于接收到所述替換硬盤替換所述損壞硬盤的硬盤mount掛起事件；掃描單元，用于掃描到所述損壞硬盤目錄由異常轉(zhuǎn)為正常的通知消息。
[0018]通過本發(fā)明，采用檢測到基于Hadoop的損壞硬盤替換為替換硬盤的替換操作成功信息；判斷所述替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作；在判斷結(jié)果為是的情況下，對所述替換硬盤進(jìn)行數(shù)據(jù)讀寫處理，解決了相關(guān)技術(shù)中對硬盤損壞的處理只采用重啟系統(tǒng)的方式，導(dǎo)致中斷業(yè)務(wù)，以及增加成本的問題，進(jìn)而達(dá)到了在不重啟系統(tǒng)中斷業(yè)務(wù)的情況下，對損壞硬盤的替換處理的效果。
【附圖說明】
[0019]此處所說明的附圖用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本申請的一部分，本發(fā)明的示意性實(shí)施例及其說明用于解釋本發(fā)明，并不構(gòu)成對本發(fā)明的不當(dāng)限定。在附圖中:
[0020]圖1是相關(guān)技術(shù)中Hadoop存儲數(shù)據(jù)的平臺架構(gòu)示意圖；
[0021]圖2是根據(jù)本發(fā)明實(shí)施例的基于Hadoop的硬盤損壞處理方法的流程圖；
[0022]圖3是根據(jù)本發(fā)明實(shí)施例的基于Hadoop的硬盤損壞處理裝置的結(jié)構(gòu)框圖；
[0023]圖4是根據(jù)本發(fā)明實(shí)施例的基于Hadoop的硬盤損壞處理裝置的優(yōu)選結(jié)構(gòu)框圖
[0024]圖5是根據(jù)本發(fā)明實(shí)施例的基于Hadoop的硬盤損壞處理裝置的優(yōu)選結(jié)構(gòu)框圖--，
[0025]圖6是根據(jù)本發(fā)明實(shí)施例的基于Hadoop的硬盤損壞處理裝置的優(yōu)選結(jié)構(gòu)框圖—..--，
[0026]圖7是根據(jù)本發(fā)明實(shí)施例的基于Hadoop的硬盤損壞處理裝置中第一檢測模塊32的優(yōu)選結(jié)構(gòu)框圖；
[0027]圖8是根據(jù)本發(fā)明優(yōu)選實(shí)施方式的硬盤異常處理方法的流程圖；
[0028]圖9是根據(jù)本發(fā)明優(yōu)選實(shí)施方式的硬盤替換成功處理方法的流程圖。
【具體實(shí)施方式】
[0029]下文中將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本發(fā)明。需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相互組合。
[0030]在本實(shí)施例中提供了一種基于Hadoop的硬盤損壞處理方法，圖2是根據(jù)本發(fā)明實(shí)施例的基于Hadoop的硬盤損壞處理方法的流程圖，如圖2所示，該流程包括如下步驟:[0031 ] 步驟S202，檢測到基于Hadoop的損壞硬盤替換為替換硬盤的替換操作成功信息；
[0032]步驟S204，判斷替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作；
[0033]步驟S206，在判斷結(jié)果為是的情況下，對替換硬盤進(jìn)行數(shù)據(jù)讀寫處理。
[0034]通過上述步驟，增加對將損壞硬盤替換為替換硬盤的正常事件的事件響應(yīng)處理，相對于相關(guān)技術(shù)中，在將損壞硬盤替換為替換硬盤后，只能通過重啟系統(tǒng)來實(shí)現(xiàn)替換硬盤的重新讀寫操作，不僅解決了相關(guān)技術(shù)中對硬盤損壞的處理只采用重啟系統(tǒng)的方式，導(dǎo)致中斷業(yè)務(wù)，以及增加成本的問題，進(jìn)而達(dá)到了在不重啟系統(tǒng)中斷業(yè)務(wù)的情況下，對損壞硬盤的替換處理的效果。
[0035]其中，除了增加上述處理中增加的對正常事件的事件響應(yīng)處理，該方法還兼容硬盤異常的事件響應(yīng)處理，例如，上述在檢測到基于Hadoop的損壞硬盤替換為替換硬盤的替換操作成功信息之前，還可以檢測到損壞硬盤的數(shù)據(jù)讀寫操作異常的硬盤異常信息；依據(jù)硬盤異常信息，中斷對損壞硬盤的數(shù)據(jù)讀寫操作。從而防止在硬盤損壞后，還繼續(xù)讀寫數(shù)據(jù)，造成系統(tǒng)崩潰。
[0036]在判斷替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作時(shí)，可以采用多種處理方式，例如，可以采用對硬盤建立對應(yīng)的標(biāo)記目錄，對是否能夠啟用的狀態(tài)將該硬盤劃分為可用目錄，以及不可用目錄，即建立支持?jǐn)?shù)據(jù)讀寫操作的可用目錄，以及不支持?jǐn)?shù)據(jù)讀寫操作的不可用目錄，依據(jù)建立的可用目錄以及不可用目錄，判斷替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作。
[0037]其中，在判斷替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作之前，還可以依據(jù)檢測到的硬盤狀態(tài)信息對可用目錄以及不可用目錄進(jìn)行動態(tài)更新，其中，硬盤狀態(tài)信息包括替換操作成功信息或者硬盤異常信息。例如，在檢測到損壞硬盤的數(shù)據(jù)讀寫操作異常的硬盤異常信息時(shí)，將硬盤對應(yīng)的目錄由可用目錄移動到不可用目錄，而在檢測到基于Hadoop的損壞硬盤替換為替換硬盤的替換操作成功信息是地，將硬盤對應(yīng)的目錄由不可能目錄移動到可用目錄，依據(jù)目錄狀態(tài)的動態(tài)更新，來實(shí)現(xiàn)是否對該硬盤進(jìn)行讀寫操作。
[0038]需要說明的是，檢測到基于Hadoop的損壞硬盤替換為替換硬盤的替換操作成功信息可以采用多種處理方式，例如，可以采用以下兩種方式至少之一:接收到操作系統(tǒng)層觸發(fā)的替換硬盤替換損壞硬盤的硬盤mount掛起事件；掃描到業(yè)務(wù)系統(tǒng)層觸發(fā)的損壞硬盤目錄由異常轉(zhuǎn)為正常的通知消息。
[0039]在本實(shí)施例中還提供了一種基于Hadoop的硬盤損壞處理裝置，該裝置用于實(shí)現(xiàn)上述實(shí)施例及優(yōu)選實(shí)施方式，已經(jīng)進(jìn)行過說明的不再贅述。如以下所使用的，術(shù)語“模塊”可以實(shí)現(xiàn)預(yù)定功能的軟件和/或硬件的組合。盡管以下實(shí)施例所描述的裝置較佳地以軟件來實(shí)現(xiàn)，但是硬件，或者軟件和硬件的組合的實(shí)現(xiàn)也是可能并被構(gòu)想的。
[0040]圖3是根據(jù)本發(fā)明實(shí)施例的基于Hadoop的硬盤損壞處理裝置的結(jié)構(gòu)框圖，如圖3所示，該裝置包括第一檢測模塊32、判斷模塊34和處理模塊36，下面對該裝置進(jìn)行說明。
[0041]第一檢測模塊32，用于檢測到基于Hadoop的損壞硬盤替換為替換硬盤的替換操作成功信息；判斷模塊34，連接至上述第一檢測模塊32，用于判斷替換硬盤是否支持?jǐn)?shù)據(jù)讀寫操作；處理模塊36，連接至上述判斷模塊34，用于在判斷結(jié)果為是的情況下，對替換硬盤進(jìn)行數(shù)據(jù)讀寫處理。
[0042]圖4是根據(jù)本發(fā)明實(shí)施例的基于Hadoop的硬盤損壞處理裝置的優(yōu)選結(jié)構(gòu)框圖一，如圖4所示，該裝置除包括圖3所示的所有模塊外，還包括第二檢測模塊42和中斷模塊44，下面對該裝置進(jìn)行說明。
[0043]第二檢測模塊42，用于檢測到損壞硬盤的數(shù)據(jù)讀寫操作異常的硬盤異常信息；中斷模塊44，連接至上述第二檢測模塊42和第一檢測模塊