本技術(shù)涉及存儲(chǔ)系統(tǒng)，特別是涉及一種數(shù)據(jù)遷移方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)：

1、存儲(chǔ)系統(tǒng)的后臺(tái)數(shù)據(jù)遷移功能，包括卷層面的鏡像、災(zāi)備層面的克隆、備份、遠(yuǎn)程復(fù)制等功能，都需要數(shù)據(jù)的雙重備份，以及卷層面跨存儲(chǔ)池的數(shù)據(jù)遷移。因?yàn)閿?shù)據(jù)遷移任務(wù)也會(huì)占用存儲(chǔ)系統(tǒng)資源，包括帶寬資源、cpu資源、內(nèi)存資源、硬盤(pán)資源等，數(shù)據(jù)遷移任務(wù)的遷移速度過(guò)快可能會(huì)導(dǎo)致業(yè)務(wù)io的響應(yīng)時(shí)延升高，造成業(yè)務(wù)卡頓。

2、目前大多數(shù)存儲(chǔ)廠商的數(shù)據(jù)遷移任務(wù)可以通過(guò)調(diào)速的方式，降低遷移速度，優(yōu)先保證業(yè)務(wù)io。但是遷移速度的調(diào)速只能設(shè)置固定的遷移速度，無(wú)法根據(jù)業(yè)務(wù)io的負(fù)載的情況，動(dòng)態(tài)地調(diào)整遷移速度，當(dāng)業(yè)務(wù)io的負(fù)載較高時(shí)，數(shù)據(jù)遷移任務(wù)可能會(huì)占用業(yè)務(wù)io的存儲(chǔ)系統(tǒng)資源，進(jìn)而導(dǎo)致業(yè)務(wù)io的時(shí)延升高，當(dāng)業(yè)務(wù)io的負(fù)載較低時(shí)，無(wú)法提升遷移速度，可能無(wú)法有效地利用存儲(chǔ)系統(tǒng)資源。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本技術(shù)實(shí)施例提供一種數(shù)據(jù)遷移方法、裝置、設(shè)備及介質(zhì)，以便克服上述問(wèn)題或者至少部分地解決上述問(wèn)題。

2、本技術(shù)實(shí)施例第一方面提供了一種數(shù)據(jù)遷移方法，所述方法包括：

3、當(dāng)數(shù)據(jù)遷移任務(wù)啟動(dòng)后，在觀測(cè)階段內(nèi)，按照預(yù)設(shè)單位速度增量多次提高所述數(shù)據(jù)遷移任務(wù)的遷移速度，并通過(guò)分析所述數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量，確定目標(biāo)關(guān)聯(lián)關(guān)系，所述目標(biāo)關(guān)聯(lián)關(guān)系用于表征所述數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量與所述數(shù)據(jù)遷移任務(wù)的遷移速度的變化量之間的關(guān)聯(lián)關(guān)系；

4、根據(jù)所述目標(biāo)關(guān)聯(lián)關(guān)系、以及業(yè)務(wù)io關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的資源需求量，確定所述數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源各自對(duì)應(yīng)的可提升速度增量；

5、基于多個(gè)所述可提升速度增量，確定出所述數(shù)據(jù)遷移任務(wù)的目標(biāo)遷移速度，并按照所述目標(biāo)遷移速度執(zhí)行所述數(shù)據(jù)遷移任務(wù)。

6、可選地，所述目標(biāo)關(guān)聯(lián)關(guān)系通過(guò)以下步驟確定：

7、針對(duì)所述觀測(cè)階段的每一個(gè)觀測(cè)周期，按照所述預(yù)設(shè)單位速度增量提高所述遷移速度，并確定出在所述觀測(cè)周期中，所述數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量；

8、在所述觀測(cè)階段結(jié)束之后，對(duì)所述每一個(gè)觀測(cè)周期對(duì)應(yīng)的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量進(jìn)行統(tǒng)計(jì)，得到統(tǒng)計(jì)結(jié)果；

9、基于所述統(tǒng)計(jì)結(jié)果，確定所述目標(biāo)關(guān)聯(lián)關(guān)系。

10、可選地，所述多個(gè)存儲(chǔ)系統(tǒng)資源至少包括cpu資源、內(nèi)存資源和硬盤(pán)資源，所述基于所述統(tǒng)計(jì)結(jié)果，確定所述目標(biāo)關(guān)聯(lián)關(guān)系，包括：

11、基于所述統(tǒng)計(jì)結(jié)果，針對(duì)所述數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的每個(gè)存儲(chǔ)系統(tǒng)資源，計(jì)算所述數(shù)據(jù)遷移任務(wù)的遷移速度提高預(yù)設(shè)單位速度增量后，所述存儲(chǔ)系統(tǒng)資源的平均變化量；

12、基于所述預(yù)設(shè)單位速度增量與所述多個(gè)存儲(chǔ)系統(tǒng)資源的平均變化量之間的對(duì)應(yīng)關(guān)系，確定所述目標(biāo)關(guān)聯(lián)關(guān)系；

13、所述根據(jù)所述目標(biāo)關(guān)聯(lián)關(guān)系、以及業(yè)務(wù)io關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的資源需求量，確定所述數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源各自對(duì)應(yīng)的可提升速度增量，包括：

14、基于所述數(shù)據(jù)遷移任務(wù)當(dāng)前可用的多個(gè)存儲(chǔ)系統(tǒng)資源的第一資源余量，以及，所述目標(biāo)關(guān)聯(lián)關(guān)系，計(jì)算所述多個(gè)存儲(chǔ)系統(tǒng)資源各自對(duì)應(yīng)的可提升速度增量；

15、其中，所述第一資源余量是基于所述多個(gè)存儲(chǔ)系統(tǒng)資源的總量、所述業(yè)務(wù)io對(duì)多個(gè)存儲(chǔ)系統(tǒng)資源的資源需求量、以及所述多個(gè)存儲(chǔ)系統(tǒng)資源的預(yù)留資源量確定得到的。

16、可選地，所述方法還包括：

17、基于所述數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的硬盤(pán)資源對(duì)應(yīng)的硬盤(pán)的類型，確定與所述硬盤(pán)對(duì)應(yīng)的統(tǒng)計(jì)時(shí)間間隔；

18、基于所述統(tǒng)計(jì)時(shí)間間隔，在所述觀測(cè)階段開(kāi)始前的第一統(tǒng)計(jì)周期內(nèi)，統(tǒng)計(jì)所述硬盤(pán)處于繁忙狀態(tài)的次數(shù)，并計(jì)算得到所述硬盤(pán)資源的觀測(cè)階段開(kāi)始前的第一硬盤(pán)資源占用率；

19、基于所述統(tǒng)計(jì)時(shí)間間隔，在所述觀測(cè)階段開(kāi)始后的多個(gè)觀測(cè)周期內(nèi)，統(tǒng)計(jì)所述硬盤(pán)處于繁忙狀態(tài)的次數(shù)，并計(jì)算得到所述硬盤(pán)資源的觀測(cè)階段的多個(gè)第二硬盤(pán)資源占用率；

20、根據(jù)所述多個(gè)第二硬盤(pán)資源占用率與所述第一硬盤(pán)資源占用率，計(jì)算所述硬盤(pán)資源的平均變化量；

21、在得到所述硬盤(pán)資源的平均變化量之后，基于所述硬盤(pán)資源在最新的觀測(cè)周期下的當(dāng)前變化量、所述硬盤(pán)資源的平均變化量、所述預(yù)設(shè)單位速度增量，以及，所述硬盤(pán)資源的平均變化量的第一權(quán)重和所述硬盤(pán)資源在最新的觀測(cè)周期下的當(dāng)前變化量的第二權(quán)重，對(duì)所述硬盤(pán)資源的平均變化量進(jìn)行更新。

22、可選地，在所述多個(gè)存儲(chǔ)系統(tǒng)資源包括帶寬資源的情況下，所述基于所述統(tǒng)計(jì)結(jié)果，確定所述目標(biāo)關(guān)聯(lián)關(guān)系，包括：

23、當(dāng)所述數(shù)據(jù)遷移任務(wù)與所述業(yè)務(wù)io共用相同的io端口時(shí)，基于所述業(yè)務(wù)io占用的帶寬資源，確定所述數(shù)據(jù)遷移任務(wù)可用的帶寬資源；

24、基于所述數(shù)據(jù)遷移任務(wù)可用的帶寬資源，確定所述帶寬資源對(duì)應(yīng)的可提升速度增量。

25、可選地，所述方法還包括：

26、在觀測(cè)階段的第一觀測(cè)周期中，當(dāng)所述業(yè)務(wù)io對(duì)應(yīng)的存儲(chǔ)系統(tǒng)資源的變化量大于預(yù)設(shè)變化量或所述業(yè)務(wù)io占用的存儲(chǔ)系統(tǒng)資源大于第一預(yù)設(shè)閾值時(shí)，不對(duì)所述第一觀測(cè)周期內(nèi)獲取到的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量進(jìn)行統(tǒng)計(jì)；

27、在觀測(cè)階段的第二觀測(cè)周期中，當(dāng)所述業(yè)務(wù)io對(duì)應(yīng)的負(fù)載大于第二預(yù)設(shè)閾值且所述數(shù)據(jù)遷移任務(wù)的數(shù)據(jù)量小于第三預(yù)設(shè)閾值時(shí)，不對(duì)所述第二觀測(cè)周期內(nèi)獲取到的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量進(jìn)行統(tǒng)計(jì)。

28、可選地，所述基于多個(gè)所述可提升速度增量，確定出所述數(shù)據(jù)遷移任務(wù)的目標(biāo)遷移速度，包括：

29、基于所述多個(gè)可提升速度增量中最小的可提升速度增量以及所述數(shù)據(jù)遷移任務(wù)在所述觀測(cè)階段結(jié)束后的當(dāng)前遷移速度，計(jì)算所述數(shù)據(jù)遷移任務(wù)的目標(biāo)遷移速度。

30、可選地，所述方法還包括：

31、在按照所述目標(biāo)遷移速度執(zhí)行所述數(shù)據(jù)遷移任務(wù)的過(guò)程中，基于所述業(yè)務(wù)io對(duì)多個(gè)存儲(chǔ)系統(tǒng)資源的資源需求量的變化情況、以及所述目標(biāo)關(guān)聯(lián)關(guān)系，對(duì)所述目標(biāo)遷移速度進(jìn)行調(diào)整。

32、本技術(shù)實(shí)施例第二方面提供了一種數(shù)據(jù)遷移裝置，所述裝置包括：

33、觀測(cè)模塊，用于當(dāng)數(shù)據(jù)遷移任務(wù)啟動(dòng)后，在觀測(cè)階段內(nèi)，按照預(yù)設(shè)單位速度增量多次提高所述數(shù)據(jù)遷移任務(wù)的遷移速度，并通過(guò)分析所述數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量，確定目標(biāo)關(guān)聯(lián)關(guān)系，所述目標(biāo)關(guān)聯(lián)關(guān)系用于表征所述數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量與所述數(shù)據(jù)遷移任務(wù)的遷移速度的變化量之間的關(guān)聯(lián)關(guān)系；

34、可提升速度增量確定模塊，用于根據(jù)所述目標(biāo)關(guān)聯(lián)關(guān)系、以及業(yè)務(wù)io關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的資源需求量，確定所述數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源各自對(duì)應(yīng)的可提升速度增量；

35、數(shù)據(jù)遷移任務(wù)執(zhí)行模塊，用于基于多個(gè)所述可提升速度增量，確定出所述數(shù)據(jù)遷移任務(wù)的目標(biāo)遷移速度，并按照所述目標(biāo)遷移速度執(zhí)行所述數(shù)據(jù)遷移任務(wù)。

36、本技術(shù)實(shí)施例第三方面提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序，其中，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)如第一方面所述的數(shù)據(jù)遷移方法。

37、本技術(shù)實(shí)施例第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如丟一方面所述的數(shù)據(jù)遷移方法。

38、本技術(shù)的有益效果：

39、本技術(shù)實(shí)施例提供一種數(shù)據(jù)遷移方法、裝置、設(shè)備及介質(zhì)，通過(guò)在觀測(cè)階段內(nèi)，按照預(yù)設(shè)單位速度增量多次提高數(shù)據(jù)遷移任務(wù)的遷移速度，并通過(guò)分析數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量，確定出目標(biāo)關(guān)聯(lián)關(guān)系。目標(biāo)關(guān)聯(lián)關(guān)系為用于表征數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量與數(shù)據(jù)遷移任務(wù)的遷移速度的變化量之間的關(guān)聯(lián)關(guān)系。然后，根據(jù)目標(biāo)關(guān)聯(lián)關(guān)系、以及業(yè)務(wù)io關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的資源需求量，確定出與數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源各自對(duì)應(yīng)的可提升速度增量。最后，基于得到的多個(gè)可提升速度增量，確定出數(shù)據(jù)遷移任務(wù)的目標(biāo)遷移速度，并按照目標(biāo)遷移速度執(zhí)行數(shù)據(jù)遷移任務(wù)。

40、能夠在執(zhí)行數(shù)據(jù)遷移任務(wù)前期的觀測(cè)階段，通過(guò)多次提高數(shù)據(jù)遷移任務(wù)的遷移速度，來(lái)分析數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的變化量與遷移速度的變化量之間的目標(biāo)關(guān)聯(lián)關(guān)系，進(jìn)而根據(jù)目標(biāo)關(guān)聯(lián)關(guān)系與業(yè)務(wù)io關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源的資源需求，確定出數(shù)據(jù)遷移任務(wù)關(guān)聯(lián)的多個(gè)存儲(chǔ)系統(tǒng)資源各自對(duì)應(yīng)的可提升速度增量，通過(guò)多個(gè)可提升速度增量，能夠確定出用于執(zhí)行數(shù)據(jù)遷移任務(wù)的目標(biāo)遷移速度，從而實(shí)現(xiàn)保證業(yè)務(wù)io的資源需求的前提下，通過(guò)動(dòng)態(tài)調(diào)整數(shù)據(jù)遷移任務(wù)的遷移速度，得到目標(biāo)遷移速度，通過(guò)目標(biāo)遷移速度來(lái)執(zhí)行數(shù)據(jù)遷移任務(wù)，能夠最大程度地利用存儲(chǔ)系統(tǒng)資源，提高了數(shù)據(jù)遷移任務(wù)的執(zhí)行效率。