本技術涉及數(shù)據(jù)處理，尤其涉及一種基于hdfs塊狀態(tài)的數(shù)據(jù)遷移方法、裝置、設備、介質及產品。

背景技術：

1、高度容錯的分布式文件系統(tǒng)(hadoop?distributed?file?system，hdfs)，是hadoop的一個核心項目，作為一個分布式文件系統(tǒng)，它承載著整個hadoop生態(tài)系統(tǒng)的存儲，為hadoop生態(tài)系統(tǒng)中的上層應用和用戶提供可擴展、高吞吐、高可靠的數(shù)據(jù)存儲服務，適用于大規(guī)模數(shù)據(jù)的分布式讀寫，特別是讀多寫少的場景。

2、hdfs通常將數(shù)據(jù)存儲在多個數(shù)據(jù)節(jié)點(datanode)上的多個磁盤中。hdfs提供了兩種可選擇的方案卸載磁盤達到縮容或替換磁盤的目的，方案一直接使用hdfs提供的退服(decommission)機制，減少datanode數(shù)量；方案二修改datanode上用于指定hdfs數(shù)據(jù)塊存儲位置的dfs.datanode.data.dir配置項參數(shù)，將其值中待卸載的磁盤目錄去除即可。但是，上述兩種方案都會導致大量數(shù)據(jù)在節(jié)點間移動，產生大量的內網流量影響集群業(yè)務，且數(shù)據(jù)丟失的風險大。

技術實現(xiàn)思路

1、為了解決上述技術問題或者至少部分地解決上述技術問題，本技術提供了一種基于hdfs塊狀態(tài)的數(shù)據(jù)遷移方法、裝置、設備、介質及產品，可以避免副本缺失時為補足副本產生內網流量，從而降低了集群業(yè)務的受沖擊風險。

2、為了實現(xiàn)上述目的，本技術實施例提供的技術方案如下：

3、第一方面，本技術提供一種基于hdfs塊狀態(tài)的數(shù)據(jù)遷移方法，包括：設置源磁盤進入維護模式；統(tǒng)計源磁盤中塊文件的副本狀態(tài)，生成任務列表；任務列表包括與預設副本狀態(tài)對應的塊文件；獲取源磁盤和其他磁盤的存儲量和容量，計算其他磁盤的預期可存儲量；源磁盤和其他磁盤屬于相同數(shù)據(jù)節(jié)點；在其他磁盤的預期可存儲量大于源磁盤的存儲量的情況下，將任務列表中的塊文件按照優(yōu)先級順序遷移至其他磁盤，優(yōu)先級順序與預設副本狀態(tài)對應。

4、作為本技術實施例一種可選的實施方式，獲取源磁盤和其他磁盤的存儲量和容量，計算其他磁盤的預期可存儲量，包括：根據(jù)源磁盤和其他磁盤的存儲量，計算數(shù)據(jù)節(jié)點的存儲總量；根據(jù)其他磁盤的容量，計算數(shù)據(jù)節(jié)點的預期總容量；根據(jù)數(shù)據(jù)節(jié)點的存儲總量和預期總容量，計算預期存儲率；根據(jù)預期存儲率和其他磁盤的容量，計算其他磁盤的預期存儲量；根據(jù)其他磁盤的預期存儲量和其他磁盤的存儲量，計算其他磁盤的預期可存儲量。

5、作為本技術實施例一種可選的實施方式，獲取源磁盤和其他磁盤的存儲量和容量，計算其他磁盤的預期可存儲量之后，方法還包括：在其他磁盤的預期可存儲量小于源磁盤的存儲量的情況下，獲取其他磁盤的預留存儲量；根據(jù)其他磁盤的預留存儲量和其他磁盤的存儲量，計算其他磁盤的最大可存儲量；在其他磁盤的最大可存儲量大于源磁盤的存儲量的情況下，將任務列表中的塊文件按照優(yōu)先級順序遷移至其他磁盤。

6、作為本技術實施例一種可選的實施方式，根據(jù)其他磁盤的預留存儲量和其他磁盤的存儲量，計算其他磁盤的最大可存儲量之后，方法還包括：在其他磁盤的最大可存儲量小于源磁盤的存儲量的情況下，判斷是否跨節(jié)點遷移；若是，則將任務列表中的塊文件按照優(yōu)先級順序遷移至其他磁盤，直至其他磁盤的存儲量達到最大可存儲量，再將剩余塊文件跨節(jié)點遷移至其他數(shù)據(jù)節(jié)點的磁盤。

7、作為本技術實施例一種可選的實施方式，預設副本狀態(tài)包括：第一副本狀態(tài)，表示處于副本已完成寫入finalized狀態(tài)且可執(zhí)行追加寫入操作；第二副本狀態(tài)，表示處于finalized狀態(tài)且不再執(zhí)行追加寫入操作；第三副本狀態(tài)，表示處于副本正在寫入狀態(tài)。

8、作為本技術實施例一種可選的實施方式，在其他磁盤的預期可存儲量大于源磁盤的存儲量的情況下，將任務列表中的塊文件按照優(yōu)先級順序遷移至其他磁盤，包括：在其他磁盤的預期可存儲量大于源磁盤的存儲量的情況下，將第一副本狀態(tài)對應的塊文件遷移至其他磁盤，再將第二副本狀態(tài)對應的塊文件遷移至其他磁盤；針對第三副本狀態(tài)對應的塊文件，預設等待時間后，將目標塊文件遷移至其他磁盤；其中，目標塊文件為第三副本狀態(tài)對應的塊文件中轉換為finalized狀態(tài)的塊文件。

9、第二方面，本技術提供一種基于hdfs塊狀態(tài)的數(shù)據(jù)遷移裝置，該裝置包括：

10、設置模塊，用于設置源磁盤進入維護模式；

11、統(tǒng)計模塊，用于統(tǒng)計源磁盤中塊文件的副本狀態(tài)，生成任務列表；任務列表包括與預設副本狀態(tài)對應的塊文件；

12、計算模塊，用于獲取源磁盤和其他磁盤的存儲量和容量，計算其他磁盤的預期可存儲量；源磁盤和其他磁盤屬于相同數(shù)據(jù)節(jié)點；

13、遷移模塊，用于在其他磁盤的預期可存儲量大于源磁盤的存儲量的情況下，將任務列表中的塊文件按照優(yōu)先級順序遷移至其他磁盤，優(yōu)先級順序與預設副本狀態(tài)對應。

14、作為本技術實施例一種可選的實施方式，計算模塊，具體用于：根據(jù)源磁盤和其他磁盤的存儲量，計算數(shù)據(jù)節(jié)點的存儲總量；根據(jù)其他磁盤的容量，計算數(shù)據(jù)節(jié)點的預期總容量；根據(jù)數(shù)據(jù)節(jié)點的存儲總量和預期總容量，計算預期存儲率；根據(jù)預期存儲率和其他磁盤的容量，計算其他磁盤的預期存儲量；根據(jù)其他磁盤的預期存儲量和其他磁盤的存儲量，計算其他磁盤的預期可存儲量。

15、作為本技術實施例一種可選的實施方式，計算模塊，還用于：在其他磁盤的預期可存儲量小于源磁盤的存儲量的情況下，獲取其他磁盤的預留存儲量；根據(jù)其他磁盤的預留存儲量和其他磁盤的存儲量，計算其他磁盤的最大可存儲量；遷移模塊，還用于在其他磁盤的最大可存儲量大于源磁盤的存儲量的情況下，將任務列表中的塊文件按照優(yōu)先級順序遷移至其他磁盤。

16、作為本技術實施例一種可選的實施方式，計算模塊，還用于：在其他磁盤的最大可存儲量小于源磁盤的存儲量的情況下，判斷是否跨節(jié)點遷移；遷移模塊，還用于：若是，則將任務列表中的塊文件按照優(yōu)先級順序遷移至其他磁盤，直至其他磁盤的存儲量達到最大可存儲量，再將剩余塊文件跨節(jié)點遷移至其他數(shù)據(jù)節(jié)點的磁盤。

17、作為本技術實施例一種可選的實施方式，預設副本狀態(tài)包括：第一副本狀態(tài)，表示處于副本已完成寫入finalized狀態(tài)且可執(zhí)行追加寫入操作；第二副本狀態(tài)，表示處于finalized狀態(tài)且不再執(zhí)行追加寫入操作；第三副本狀態(tài)，表示處于副本正在寫入狀態(tài)。

18、作為本技術實施例一種可選的實施方式，遷移模塊，具體用于：在其他磁盤的預期可存儲量大于源磁盤的存儲量的情況下，將第一副本狀態(tài)對應的塊文件遷移至其他磁盤，再將第二副本狀態(tài)對應的塊文件遷移至其他磁盤；針對第三副本狀態(tài)對應的塊文件，預設等待時間后，將目標塊文件遷移至其他磁盤；其中，目標塊文件為第三副本狀態(tài)對應的塊文件中轉換為finalized狀態(tài)的塊文件。

19、第三方面，本技術提供一種電子設備，包括：處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序被所述處理器執(zhí)行時實現(xiàn)如第一方面或其任意一種可選的實施方式所述的基于hdfs塊狀態(tài)的數(shù)據(jù)遷移方法。

20、第四方面，本技術提供一種計算機可讀存儲介質，包括：所述計算機可讀存儲介質上存儲計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面或其任意一種可選的實施方式所述的基于hdfs塊狀態(tài)的數(shù)據(jù)遷移方法。

21、第五方面，本技術提供一種計算機程序產品，包括：該計算機程序產品包括計算機程序，當所述計算機程序在計算機上運行時，使得所述計算機實現(xiàn)如第一方面或其任意一種可選的實施方式所述的基于hdfs塊狀態(tài)的數(shù)據(jù)遷移方法。

22、本技術實施例提供的技術方案與現(xiàn)有技術相比具有如下優(yōu)點：

23、本公開實施例提供一種基于hdfs塊狀態(tài)的數(shù)據(jù)遷移方法，首先設置源磁盤進入維護模式，然后統(tǒng)計源磁盤中塊文件的副本狀態(tài)，生成由預設副本狀態(tài)對應的塊文件所組成的任務列表；繼而獲取數(shù)據(jù)節(jié)點上源磁盤和其他磁盤的存儲量和容量，計算其他磁盤的預期可存儲量，進一步的在其他磁盤的預期可存儲量大于源磁盤的存儲量的情況下，將任務列表中塊文件按照與預設副本狀態(tài)對應的優(yōu)先級順序，遷移至其他磁盤。如此，本技術在磁盤級別設置維護模式，避免對數(shù)據(jù)節(jié)點的其他操作造成不良影響；通過計算其他磁盤的預期可存儲量，衡量其他磁盤是否能夠承載源磁盤數(shù)據(jù)，提升了hdfs磁盤的運維能力，實現(xiàn)了節(jié)點內數(shù)據(jù)遷移，也避免副本缺失時為補足副本產生內網流量，從而降低了集群業(yè)務的受沖擊風險。