本申請涉及數(shù)據(jù)處理，尤其涉及一種任務(wù)處理方法、裝置、電子設(shè)備及計算機可讀介質(zhì)。

背景技術(shù)：

1、目前，通過輕量級的、完善的批處理框架（springbatch）進(jìn)行拆批處理的方式，部署多臺分布式的服務(wù)器，將原來的大事務(wù)拆分成很多小的事務(wù)進(jìn)行并行處理，任務(wù)處理難度大、風(fēng)險高、效率低。

技術(shù)實現(xiàn)思路

1、有鑒于此，本申請實施例提供一種任務(wù)處理方法、裝置、電子設(shè)備及計算機可讀介質(zhì)，能夠解決現(xiàn)有的任務(wù)處理難度大、風(fēng)險高、效率低的問題。

2、為實現(xiàn)上述目的，根據(jù)本申請實施例的一個方面，提供了一種任務(wù)處理方法，包括：響應(yīng)于任務(wù)處理請求，獲取對應(yīng)的數(shù)據(jù)庫標(biāo)識和任務(wù)標(biāo)識，進(jìn)而基于任務(wù)標(biāo)識，獲取對應(yīng)的批處理任務(wù)；調(diào)用持久層框架接口，以獲取配置數(shù)據(jù)，進(jìn)而基于配置數(shù)據(jù)，動態(tài)生成批處理任務(wù)對應(yīng)的分布式查詢語句；提交分布式查詢語句和預(yù)設(shè)的最大計算資源至分布式批處理集群，進(jìn)而獲取分布式批處理集群生成的批處理計算任務(wù)；從數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫中獲取待分析數(shù)據(jù)，調(diào)用分布式批處理框架以基于待分析數(shù)據(jù)執(zhí)行批處理計算任務(wù)，得到任務(wù)執(zhí)行結(jié)果數(shù)據(jù)；將任務(wù)執(zhí)行結(jié)果數(shù)據(jù)分批次寫入數(shù)據(jù)庫。

3、可選地，基于配置數(shù)據(jù)，動態(tài)生成批處理任務(wù)對應(yīng)的分布式查詢語句，包括：基于配置數(shù)據(jù)，確定查詢語句記錄標(biāo)識和動態(tài)參數(shù)；根據(jù)查詢語句記錄標(biāo)識和動態(tài)參數(shù)，動態(tài)生成對應(yīng)的分布式查詢語句。

4、可選地，動態(tài)生成對應(yīng)的分布式查詢語句，包括：根據(jù)查詢語句記錄標(biāo)識，查詢得到對應(yīng)的查詢語句記錄；基于動態(tài)參數(shù)修改查詢語句記錄對應(yīng)的查詢語句，以動態(tài)生成對應(yīng)的分布式查詢語句。

5、可選地，提交分布式查詢語句和預(yù)設(shè)的最大計算資源至分布式批處理集群，包括：通過統(tǒng)一封裝的分布式執(zhí)行器請求端，將分布式查詢語句和預(yù)設(shè)的最大計算資源提交至分布式批處理集群。

6、可選地，批處理計算任務(wù)基于分布式查詢語句和預(yù)設(shè)的最大計算資源生成。

7、可選地，將任務(wù)執(zhí)行結(jié)果數(shù)據(jù)分批次寫入數(shù)據(jù)庫，包括：基于批處理計算任務(wù)拆分任務(wù)執(zhí)行結(jié)果數(shù)據(jù)，以得到各個批次數(shù)據(jù)；基于目標(biāo)數(shù)據(jù)庫連接，訪問目標(biāo)數(shù)據(jù)庫，將各個批次數(shù)據(jù)并行寫入目標(biāo)數(shù)據(jù)庫。

8、另外，本申請還提供了一種任務(wù)處理裝置，包括：獲取單元，被配置成響應(yīng)于任務(wù)處理請求，獲取對應(yīng)的數(shù)據(jù)庫標(biāo)識和任務(wù)標(biāo)識，進(jìn)而基于任務(wù)標(biāo)識，獲取對應(yīng)的批處理任務(wù)；分布式查詢語句生成單元，被配置成調(diào)用持久層框架接口，以獲取配置數(shù)據(jù)，進(jìn)而基于配置數(shù)據(jù)，動態(tài)生成批處理任務(wù)對應(yīng)的分布式查詢語句；提交單元，被配置成提交分布式查詢語句和預(yù)設(shè)的最大計算資源至分布式批處理集群，進(jìn)而獲取分布式批處理集群生成的批處理計算任務(wù)；任務(wù)執(zhí)行單元，被配置成從數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫中獲取待分析數(shù)據(jù)，調(diào)用分布式批處理框架以基于待分析數(shù)據(jù)執(zhí)行批處理計算任務(wù)，得到任務(wù)執(zhí)行結(jié)果數(shù)據(jù)；分批次寫入單元，被配置成將任務(wù)執(zhí)行結(jié)果數(shù)據(jù)分批次寫入數(shù)據(jù)庫。

9、可選地，分布式查詢語句生成單元進(jìn)一步被配置成：基于配置數(shù)據(jù)，確定查詢語句記錄標(biāo)識和動態(tài)參數(shù)；根據(jù)查詢語句記錄標(biāo)識和動態(tài)參數(shù)，動態(tài)生成對應(yīng)的分布式查詢語句。

10、可選地，分布式查詢語句生成單元進(jìn)一步被配置成：根據(jù)查詢語句記錄標(biāo)識，查詢得到對應(yīng)的查詢語句記錄；基于動態(tài)參數(shù)修改查詢語句記錄對應(yīng)的查詢語句，以動態(tài)生成對應(yīng)的分布式查詢語句。

11、可選地，提交單元進(jìn)一步被配置成：通過統(tǒng)一封裝的分布式執(zhí)行器請求端，將分布式查詢語句和預(yù)設(shè)的最大計算資源提交至分布式批處理集群。

12、可選地，批處理計算任務(wù)基于分布式查詢語句和預(yù)設(shè)的最大計算資源生成。

13、可選地，分批次寫入單元進(jìn)一步被配置成：基于批處理計算任務(wù)拆分任務(wù)執(zhí)行結(jié)果數(shù)據(jù)，以得到各個批次數(shù)據(jù)；基于目標(biāo)數(shù)據(jù)庫連接，訪問目標(biāo)數(shù)據(jù)庫，將各個批次數(shù)據(jù)并行寫入目標(biāo)數(shù)據(jù)庫。

14、另外，本申請還提供了一種任務(wù)處理電子設(shè)備，包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序，當(dāng)一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實現(xiàn)如上述的任務(wù)處理方法。

15、另外，本申請還提供了一種計算機可讀介質(zhì)，其上存儲有計算機程序，程序被處理器執(zhí)行時實現(xiàn)如上述的任務(wù)處理方法。

16、為實現(xiàn)上述目的，根據(jù)本申請實施例的又一個方面，提供了一種計算機程序產(chǎn)品。

17、本申請實施例的一種計算機程序產(chǎn)品，包括計算機程序，程序被處理器執(zhí)行時實現(xiàn)本申請實施例提供的任務(wù)處理方法。

18、上述發(fā)明中的一個實施例具有如下優(yōu)點或有益效果：本申請通過響應(yīng)于任務(wù)處理請求，獲取對應(yīng)的數(shù)據(jù)庫標(biāo)識和任務(wù)標(biāo)識，進(jìn)而基于任務(wù)標(biāo)識，獲取對應(yīng)的批處理任務(wù)；調(diào)用持久層框架接口，以獲取配置數(shù)據(jù)，進(jìn)而基于配置數(shù)據(jù)，動態(tài)生成批處理任務(wù)對應(yīng)的分布式查詢語句；提交分布式查詢語句和預(yù)設(shè)的最大計算資源至分布式批處理集群，進(jìn)而獲取分布式批處理集群生成的批處理計算任務(wù)；從數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫中獲取待分析數(shù)據(jù)，調(diào)用分布式批處理框架以基于待分析數(shù)據(jù)執(zhí)行批處理計算任務(wù)，得到任務(wù)執(zhí)行結(jié)果數(shù)據(jù)；將任務(wù)執(zhí)行結(jié)果數(shù)據(jù)分批次寫入數(shù)據(jù)庫。從而降低任務(wù)處理難度和任務(wù)處理風(fēng)險，提高任務(wù)處理效率。

19、上述的非慣用的可選方式所具有的進(jìn)一步效果將在下文中結(jié)合具體實施方式加以說明。

技術(shù)特征：

1.一種任務(wù)處理方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述配置數(shù)據(jù)，動態(tài)生成所述批處理任務(wù)對應(yīng)的分布式查詢語句，包括：

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述動態(tài)生成對應(yīng)的分布式查詢語句，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提交所述分布式查詢語句和預(yù)設(shè)的最大計算資源至分布式批處理集群，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述批處理計算任務(wù)基于所述分布式查詢語句和所述預(yù)設(shè)的最大計算資源生成。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述任務(wù)執(zhí)行結(jié)果數(shù)據(jù)分批次寫入所述數(shù)據(jù)庫，包括：

7.一種任務(wù)處理裝置，其特征在于，包括：

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述分布式查詢語句生成單元進(jìn)一步被配置成：

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述分布式查詢語句生成單元進(jìn)一步被配置成：

10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述提交單元進(jìn)一步被配置成：

11.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述批處理計算任務(wù)基于所述分布式查詢語句和所述預(yù)設(shè)的最大計算資源生成。

12.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述分批次寫入單元進(jìn)一步被配置成：

13.一種任務(wù)處理電子設(shè)備，其特征在于，包括：

14.一種計算機可讀介質(zhì)，其上存儲有計算機程序，其特征在于，所述程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-6中任一項所述的方法。

15.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-6中任一項所述的方法。

技術(shù)總結(jié)
本申請公開了一種任務(wù)處理方法、裝置、電子設(shè)備及計算機可讀介質(zhì)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，該方法包括：響應(yīng)于任務(wù)處理請求，獲取對應(yīng)的數(shù)據(jù)庫標(biāo)識和任務(wù)標(biāo)識，進(jìn)而基于任務(wù)標(biāo)識，獲取對應(yīng)的批處理任務(wù)；調(diào)用持久層框架接口，以獲取配置數(shù)據(jù)，進(jìn)而基于配置數(shù)據(jù)，動態(tài)生成批處理任務(wù)對應(yīng)的分布式查詢語句；提交分布式查詢語句和預(yù)設(shè)的最大計算資源至分布式批處理集群，進(jìn)而獲取分布式批處理集群生成的批處理計算任務(wù)；從數(shù)據(jù)庫標(biāo)識對應(yīng)的數(shù)據(jù)庫中獲取待分析數(shù)據(jù)，調(diào)用分布式批處理框架以基于待分析數(shù)據(jù)執(zhí)行批處理計算任務(wù)，得到任務(wù)執(zhí)行結(jié)果數(shù)據(jù)；將任務(wù)執(zhí)行結(jié)果數(shù)據(jù)分批次寫入數(shù)據(jù)庫。從而降低任務(wù)處理難度和任務(wù)處理風(fēng)險，提高任務(wù)處理效率。

技術(shù)研發(fā)人員：宋攀
受保護(hù)的技術(shù)使用者：中國建設(shè)銀行股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9