本技術(shù)涉及大數(shù)據(jù)處理，尤其涉及一種作業(yè)實(shí)例調(diào)度方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、大數(shù)據(jù)作業(yè)調(diào)度是在大數(shù)據(jù)處理環(huán)境中對(duì)各類(lèi)數(shù)據(jù)處理任務(wù)進(jìn)行計(jì)劃、管理和執(zhí)行的過(guò)程。該過(guò)程涉及多種類(lèi)型的作業(yè)，每種作業(yè)都有其特定的計(jì)算框架。這些框架內(nèi)置了資源管控機(jī)制，通過(guò)與上層的任務(wù)調(diào)度系統(tǒng)相結(jié)合，可以對(duì)作業(yè)實(shí)例進(jìn)行調(diào)度，以?xún)?yōu)化資源利用率和提高作業(yè)執(zhí)行效率。

2、現(xiàn)有的作業(yè)調(diào)度通常由兩層調(diào)度框架完成，上層的任務(wù)調(diào)度軟件僅能進(jìn)行粗粒度的作業(yè)提交，而實(shí)際的作業(yè)實(shí)例調(diào)度依賴(lài)于底層資源管理框架的能力。由于不同類(lèi)型的作業(yè)實(shí)例對(duì)應(yīng)的底層框架存在較大差異，難以實(shí)現(xiàn)統(tǒng)一的資源調(diào)度。此外，兩層調(diào)度架構(gòu)導(dǎo)致資源管控鏈路較長(zhǎng)，從而降低了調(diào)度效率。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種作業(yè)實(shí)例調(diào)度方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，旨在解決兩層調(diào)度框架中存在的由于對(duì)底層資源管理框架依賴(lài)性強(qiáng)而導(dǎo)致的統(tǒng)一資源調(diào)度難度大、調(diào)度效率低的技術(shù)問(wèn)題。

2、第一方面，本技術(shù)提供一種作業(yè)實(shí)例調(diào)度方法，所述方法包括：

3、獲取至少一個(gè)待調(diào)度的第一作業(yè)實(shí)例及第一作業(yè)實(shí)例的相關(guān)信息；

4、響應(yīng)于根據(jù)各所述相關(guān)信息確定滿(mǎn)足就緒狀態(tài)的第二作業(yè)實(shí)例，將所述第二作業(yè)實(shí)例寫(xiě)入到對(duì)應(yīng)租戶(hù)下的就緒作業(yè)隊(duì)列中；

5、針對(duì)各租戶(hù)下的就緒作業(yè)隊(duì)列中當(dāng)前第二作業(yè)實(shí)例，確定當(dāng)前第二作業(yè)實(shí)例的類(lèi)型，并獲取與當(dāng)前第二作業(yè)實(shí)例的類(lèi)型相匹配的目標(biāo)可用資源檢測(cè)策略；

6、基于目標(biāo)可用資源檢測(cè)策略對(duì)當(dāng)前第二作業(yè)實(shí)例對(duì)應(yīng)的可用資源進(jìn)行檢測(cè)；

7、響應(yīng)于可用資源滿(mǎn)足當(dāng)前第二作業(yè)實(shí)例執(zhí)行要求，將當(dāng)前第二作業(yè)實(shí)例提交到已派發(fā)隊(duì)列中；

8、將已派發(fā)隊(duì)列中的第二作業(yè)實(shí)例調(diào)度到對(duì)應(yīng)的物理資源組中。

9、在一種可能的設(shè)計(jì)中，所述第一作業(yè)實(shí)例的相關(guān)信息包括前置依賴(lài)條件；

10、根據(jù)各所述相關(guān)信息確定滿(mǎn)足就緒狀態(tài)的第二作業(yè)實(shí)例，包括：

11、根據(jù)各第一作業(yè)實(shí)例的前置依賴(lài)條件確定當(dāng)前條件是否滿(mǎn)足對(duì)應(yīng)的前置依賴(lài)條件；

12、響應(yīng)于當(dāng)前條件滿(mǎn)足前置依賴(lài)條件，則將當(dāng)前條件滿(mǎn)足前置依賴(lài)條件的第一作業(yè)實(shí)例確定為滿(mǎn)足就緒狀態(tài)的第二作業(yè)實(shí)例。

13、在一種可能的設(shè)計(jì)中，所述第一作業(yè)實(shí)例的相關(guān)信息包括租戶(hù)標(biāo)識(shí)：

14、將所述第二作業(yè)實(shí)例寫(xiě)入到對(duì)應(yīng)租戶(hù)下的就緒作業(yè)隊(duì)列中，包括：

15、根據(jù)所述第一作業(yè)實(shí)例的租戶(hù)標(biāo)識(shí)，將第二作業(yè)實(shí)例寫(xiě)入到租戶(hù)標(biāo)識(shí)對(duì)應(yīng)租戶(hù)的就緒作業(yè)隊(duì)列中；

16、所述方法還包括：

17、將第二作業(yè)實(shí)例的相關(guān)信息寫(xiě)入到租戶(hù)標(biāo)識(shí)對(duì)應(yīng)租戶(hù)的有序集合中，所述有序集合位于預(yù)設(shè)數(shù)據(jù)庫(kù)中。

18、在一種可能的設(shè)計(jì)中，所述基于目標(biāo)可用資源檢測(cè)策略對(duì)當(dāng)前第二作業(yè)實(shí)例對(duì)應(yīng)的可用資源進(jìn)行檢測(cè)，包括：

19、若作業(yè)實(shí)例類(lèi)型為mpp類(lèi)型，則對(duì)可用的mpp集群的指標(biāo)及可用的資源量先后進(jìn)行檢測(cè)；

20、若作業(yè)實(shí)例類(lèi)型為容器類(lèi)型，則對(duì)可用的資源量及可用的集群節(jié)點(diǎn)的負(fù)載進(jìn)行檢測(cè)；

21、若作業(yè)實(shí)例類(lèi)型為spark類(lèi)型，則對(duì)可用的資源量進(jìn)行檢測(cè)。

22、在一種可能的設(shè)計(jì)中，所述對(duì)可用的mpp集群的指標(biāo)及可用的資源量先后進(jìn)行檢測(cè)，包括：

23、獲取所述第二作業(yè)實(shí)例的相關(guān)信息中的申請(qǐng)的mpp集群的指標(biāo)及申請(qǐng)的資源量；

24、響應(yīng)于申請(qǐng)的mpp集群的指標(biāo)小于或等于可用的mpp集群的指標(biāo)，且申請(qǐng)的資源量小于或等于可用的資源量，確定可用資源滿(mǎn)足當(dāng)前第二作業(yè)實(shí)例執(zhí)行要求；

25、響應(yīng)于申請(qǐng)的mpp集群的指標(biāo)大于可用的mpp集群的指標(biāo)，或申請(qǐng)的mpp集群的指標(biāo)小于或等于可用的mpp集群的指標(biāo)且申請(qǐng)的資源量大于可用的資源量，確定可用資源不滿(mǎn)足當(dāng)前第二作業(yè)實(shí)例執(zhí)行要求。

26、在一種可能的設(shè)計(jì)中，所述對(duì)可用的資源量及可用的集群節(jié)點(diǎn)的負(fù)載進(jìn)行檢測(cè)，包括：

27、獲取所述第二作業(yè)實(shí)例的相關(guān)信息中的申請(qǐng)的集群節(jié)點(diǎn)的負(fù)載及申請(qǐng)的資源量；

28、響應(yīng)于申請(qǐng)的集群節(jié)點(diǎn)的負(fù)載小于或等于可用的集群節(jié)點(diǎn)的負(fù)載，且申請(qǐng)的資源量小于或等于可用的資源量，確定可用資源滿(mǎn)足當(dāng)前第二作業(yè)實(shí)例執(zhí)行要求；

29、響應(yīng)于申請(qǐng)的集群節(jié)點(diǎn)的負(fù)載大于可用的集群節(jié)點(diǎn)的負(fù)載、和/或申請(qǐng)的資源量大于可用的資源量，確定可用資源不滿(mǎn)足當(dāng)前第二作業(yè)實(shí)例執(zhí)行要求。

30、在一種可能的設(shè)計(jì)中，所述對(duì)可用的資源量進(jìn)行檢測(cè)，包括：

31、獲取所述第二作業(yè)實(shí)例的相關(guān)信息中的申請(qǐng)的資源量；

32、響應(yīng)于申請(qǐng)的資源量小于或等于可用的資源量，確定可用資源滿(mǎn)足當(dāng)前第二作業(yè)實(shí)例執(zhí)行要求；

33、響應(yīng)于申請(qǐng)的資源量大于可用的資源量，確定可用資源不滿(mǎn)足當(dāng)前第二作業(yè)實(shí)例執(zhí)行要求。

34、在一種可能的設(shè)計(jì)中，所述方法還包括：

35、周期性地從底層計(jì)算平臺(tái)采集如下可用資源數(shù)據(jù)的至少一種：

36、物理資源組可用的資源量、可用的mpp集群的指標(biāo)、可用的集群節(jié)點(diǎn)的負(fù)載；

37、其中，所述可用的mpp集群的指標(biāo)包括：mpp集群的可用用戶(hù)連接數(shù)和可用隊(duì)列長(zhǎng)度。

38、在一種可能的設(shè)計(jì)中，所述將已派發(fā)隊(duì)列中的第二作業(yè)實(shí)例調(diào)度到對(duì)應(yīng)的物理資源組中之后，還包括：

39、響應(yīng)于調(diào)度失敗，則發(fā)出調(diào)度失敗提示信息；

40、根據(jù)所述調(diào)度失敗提示信息將調(diào)度失敗的第二作業(yè)實(shí)例重新寫(xiě)入到對(duì)應(yīng)租戶(hù)下的就緒作業(yè)隊(duì)列中。

41、第二方面，本技術(shù)提供一種作業(yè)實(shí)例調(diào)度裝置，所述裝置包括：

42、獲取模塊，用于獲取至少一個(gè)待調(diào)度的第一作業(yè)實(shí)例及第一作業(yè)實(shí)例的相關(guān)信息；

43、寫(xiě)入模塊，用于響應(yīng)于根據(jù)各所述相關(guān)信息確定滿(mǎn)足就緒狀態(tài)的第二作業(yè)實(shí)例，將所述第二作業(yè)實(shí)例寫(xiě)入到對(duì)應(yīng)租戶(hù)下的就緒作業(yè)隊(duì)列中；

44、確定模塊，用于針對(duì)各租戶(hù)下的就緒作業(yè)隊(duì)列中當(dāng)前第二作業(yè)實(shí)例，確定當(dāng)前第二作業(yè)實(shí)例的類(lèi)型；

45、檢測(cè)模塊，用于基于目標(biāo)可用資源檢測(cè)策略對(duì)當(dāng)前第二作業(yè)實(shí)例對(duì)應(yīng)的可用資源進(jìn)行檢測(cè)；

46、提交模塊，用于響應(yīng)于可用資源滿(mǎn)足當(dāng)前第二作業(yè)實(shí)例執(zhí)行要求，將當(dāng)前第二作業(yè)實(shí)例提交到已派發(fā)隊(duì)列中；

47、調(diào)度模塊，用于將已派發(fā)隊(duì)列中的第二作業(yè)實(shí)例調(diào)度到對(duì)應(yīng)的物理資源組中；

48、所述獲取模塊，還用于獲取與當(dāng)前第二作業(yè)實(shí)例的類(lèi)型相匹配的目標(biāo)可用資源檢測(cè)策略。

49、第三方面，本技術(shù)實(shí)施例提供一種電子設(shè)備，包括：處理器，以及與所述處理器通信連接的存儲(chǔ)器；

50、所述存儲(chǔ)器存儲(chǔ)計(jì)算機(jī)執(zhí)行指令；

51、所述處理器執(zhí)行所述存儲(chǔ)器存儲(chǔ)的計(jì)算機(jī)執(zhí)行指令，以實(shí)現(xiàn)如第一方面所述的方法。

52、第四方面，本技術(shù)提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令，所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如第一方面所述的方法。

53、第五方面，本技術(shù)提供一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的方法。

54、本技術(shù)提供的作業(yè)實(shí)例調(diào)度方法、裝置、設(shè)備、介質(zhì)及產(chǎn)品，通過(guò)獲取至少一個(gè)待調(diào)度的第一作業(yè)實(shí)例及第一作業(yè)實(shí)例的相關(guān)信息；響應(yīng)于根據(jù)各所述相關(guān)信息確定滿(mǎn)足就緒狀態(tài)的第二作業(yè)實(shí)例，將所述第二作業(yè)實(shí)例寫(xiě)入到對(duì)應(yīng)租戶(hù)下的就緒作業(yè)隊(duì)列中；針對(duì)各租戶(hù)下的就緒作業(yè)隊(duì)列中當(dāng)前第二作業(yè)實(shí)例，確定當(dāng)前第二作業(yè)實(shí)例的類(lèi)型，并獲取與當(dāng)前第二作業(yè)實(shí)例的類(lèi)型相匹配的目標(biāo)可用資源檢測(cè)策略；基于目標(biāo)可用資源檢測(cè)策略對(duì)當(dāng)前第二作業(yè)實(shí)例對(duì)應(yīng)的可用資源進(jìn)行檢測(cè)；響應(yīng)于可用資源滿(mǎn)足當(dāng)前第二作業(yè)實(shí)例執(zhí)行要求，將當(dāng)前第二作業(yè)實(shí)例提交到已派發(fā)隊(duì)列中；將已派發(fā)隊(duì)列中的第二作業(yè)實(shí)例調(diào)度到對(duì)應(yīng)的物理資源組中。通過(guò)獲取作業(yè)實(shí)例的相關(guān)信息并確定其就緒狀態(tài)，篩選出符合調(diào)度條件的作業(yè)實(shí)例后將其放入就緒作業(yè)隊(duì)列用于后續(xù)的作業(yè)實(shí)例調(diào)度，這樣可以避免無(wú)效調(diào)度，有利于提高調(diào)度效率。同時(shí)，針對(duì)就緒作業(yè)隊(duì)列中的作業(yè)實(shí)例，獲取與作業(yè)實(shí)例類(lèi)型相匹配的目標(biāo)可用資源檢測(cè)策略，有利于資源的準(zhǔn)確檢測(cè)，實(shí)現(xiàn)對(duì)不同類(lèi)型的作業(yè)實(shí)例的統(tǒng)一調(diào)度。此外，使用物理資源組的概念對(duì)資源進(jìn)行表征，一定程度上也可以屏蔽計(jì)算平臺(tái)的差異，進(jìn)而降低統(tǒng)一調(diào)度的難度，提高調(diào)度效率。