本申請涉及文件合并，尤其涉及一種文件合并方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)、產(chǎn)品及系統(tǒng)。

背景技術(shù)：

1、在數(shù)據(jù)處理和文件管理的眾多場景中，文件合并是一項(xiàng)基礎(chǔ)且關(guān)鍵的處理任務(wù)。隨著信息技術(shù)的飛速發(fā)展，各類數(shù)據(jù)以文件形式不斷產(chǎn)生和積累，數(shù)據(jù)量急劇增加，如何高效地管理和利用這些數(shù)據(jù)成為亟待解決的問題。特別是在處理大量具有時(shí)序?qū)傩缘奈募?如日志文件、交易記錄等)時(shí)，如何快速且準(zhǔn)確的合并這些文件，保證數(shù)據(jù)的完整性和時(shí)序性，顯得尤為重要。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本申請實(shí)施例致力于提供一種文件合并方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)、產(chǎn)品及系統(tǒng)，不僅能夠在合并過程中保持?jǐn)?shù)據(jù)的時(shí)間順序，確保合并后的文件在時(shí)序上的一致性和準(zhǔn)確性，還能夠大幅縮短文件合并所需的時(shí)間，提高整體處理效率。

2、根據(jù)本申請實(shí)施例的第一方面，提供了一種文件合并方法，包括：

3、根據(jù)預(yù)設(shè)的分組策略，將多個(gè)待合并文件劃分為多個(gè)待合并文件組，所述分組策略包括基于待合并文件的時(shí)序進(jìn)行分組的策略；

4、調(diào)用多個(gè)子線程分別執(zhí)行第一任務(wù)，得到多個(gè)任務(wù)執(zhí)行結(jié)果，所述第一任務(wù)包括根據(jù)待合并文件的時(shí)序，對(duì)一個(gè)待合并文件組中的待合并文件進(jìn)行合并，生成第一合并文件，所述任務(wù)執(zhí)行結(jié)果包括所述第一合并文件以及所述第一合并文件的時(shí)序?qū)傩?，每一個(gè)子線程至少執(zhí)行一個(gè)第一任務(wù)；

5、根據(jù)所述第一合并文件的時(shí)序?qū)傩裕瑢?duì)多個(gè)第一合并文件進(jìn)行合并，生成第二合并文件。

6、可選的，所述根據(jù)預(yù)設(shè)的分組策略，將多個(gè)待合并文件劃分為多個(gè)待合并文件組，包括：

7、根據(jù)當(dāng)前可用處理資源信息，確定目標(biāo)分組數(shù)量；

8、根據(jù)每個(gè)待合并文件的時(shí)序?qū)傩裕凑諘r(shí)間均衡分配原則以及相鄰時(shí)間范圍同組分配原則，將多個(gè)待合并文件劃分為所述目標(biāo)分組數(shù)量的待合并文件組。

9、可選的，所述第一任務(wù)還包括：

10、根據(jù)預(yù)設(shè)的劃分規(guī)則，將所述第一合并文件在邏輯上劃分為多個(gè)內(nèi)容塊；

11、根據(jù)所述第一合并文件中各個(gè)內(nèi)容塊的時(shí)序?qū)傩?，建立各個(gè)內(nèi)容塊的索引，所述索引包括時(shí)間索引；

12、根據(jù)各個(gè)內(nèi)容塊的索引，生成所述第一合并文件的索引文件；

13、所述任務(wù)執(zhí)行結(jié)果還包括所述第一合并文件的索引文件；

14、所述方法還包括：

15、對(duì)各個(gè)第一合并文件的索引文件進(jìn)行合并，生成所述第二合并文件的索引文件。

16、可選的，所述建立各個(gè)內(nèi)容塊的索引，包括：

17、根據(jù)所述第一合并文件中各個(gè)內(nèi)容塊在所述第一合并文件中的偏移量，建立各個(gè)內(nèi)容塊的偏移量索引；

18、根據(jù)所述第一合并文件的時(shí)序?qū)傩裕⑺銎屏克饕臅r(shí)間索引。

19、可選的，所述方法還包括：

20、響應(yīng)于查詢請求，根據(jù)預(yù)設(shè)的任務(wù)劃分策略，將所述查詢請求對(duì)應(yīng)的查詢?nèi)蝿?wù)劃分為至少一個(gè)查詢子任務(wù)，其中，所述查詢請求包括在第一文件組中對(duì)目標(biāo)數(shù)據(jù)進(jìn)行查詢的查詢?nèi)蝿?wù)，所述第一文件組包括所述第二合并文件，所述查詢子任務(wù)包括在一個(gè)第二合并文件中對(duì)目標(biāo)數(shù)據(jù)進(jìn)行查詢；

21、并行執(zhí)行所述至少一個(gè)查詢子任務(wù)，得到每個(gè)查詢子任務(wù)對(duì)應(yīng)的查詢結(jié)果；

22、利用預(yù)設(shè)的合并規(guī)則對(duì)每個(gè)子任務(wù)對(duì)應(yīng)的查詢結(jié)果進(jìn)行合并，生成最終查詢結(jié)果。

23、根據(jù)本申請實(shí)施例的第二方面，提供了一種文件合并裝置，包括：

24、第一單元，用于根據(jù)預(yù)設(shè)的分組策略，將多個(gè)待合并文件劃分為多個(gè)待合并文件組，所述分組策略包括基于待合并文件的時(shí)序進(jìn)行分組的策略；

25、第二單元，用于調(diào)用多個(gè)子線程分別執(zhí)行第一任務(wù)，得到多個(gè)任務(wù)執(zhí)行結(jié)果，所述第一任務(wù)包括根據(jù)待合并文件的時(shí)序，對(duì)一個(gè)待合并文件組中的待合并文件進(jìn)行合并，生成第一合并文件，所述任務(wù)執(zhí)行結(jié)果包括所述第一合并文件以及所述第一合并文件的時(shí)序?qū)傩?，每一個(gè)子線程至少執(zhí)行一個(gè)第一任務(wù)；

26、第三單元，用于根據(jù)所述第一合并文件的時(shí)序?qū)傩?，?duì)多個(gè)第一合并文件進(jìn)行合并，生成第二合并文件。

27、根據(jù)本申請實(shí)施例的第三方面，提供了一種文件合并設(shè)備，包括存儲(chǔ)器和處理器；

28、所述存儲(chǔ)器與所述處理器連接，用于存儲(chǔ)程序；

29、所述處理器用于通過運(yùn)行所述存儲(chǔ)器中的程序，實(shí)現(xiàn)如本申請實(shí)施例的第一方面中任意一項(xiàng)所述的文件合并方法。

30、根據(jù)本申請實(shí)施例的第四方面，提供了一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)，實(shí)現(xiàn)如本申請實(shí)施例的第一方面中任意一項(xiàng)所述的文件合并方法。

31、根據(jù)本申請實(shí)施例的第五方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器實(shí)現(xiàn)如本申請實(shí)施例的第一方面中任意一項(xiàng)所述的文件合并方法。

32、根據(jù)本申請實(shí)施例的第六方面，提供了一種文件合并系統(tǒng)，包括：

33、如本申請實(shí)施例的第三方面中所述的文件合并設(shè)備以及數(shù)據(jù)存儲(chǔ)模塊，所述數(shù)據(jù)存儲(chǔ)模塊與所述文件合并設(shè)備通信連接；

34、所述數(shù)據(jù)存儲(chǔ)模塊用于對(duì)所述文件合并設(shè)備生成的第二合并文件進(jìn)行存儲(chǔ)。

35、本申請?zhí)岢龅奈募喜⒎椒ǎㄟ^預(yù)設(shè)的分組策略，將多個(gè)待合并文件劃分為多個(gè)待合并文件組，每組內(nèi)的文件按照一定的時(shí)序?qū)傩赃M(jìn)行組織，隨后，將待合并文件組分配給不同的子線程，每個(gè)子線程負(fù)責(zé)合并至少一個(gè)文件組內(nèi)的所有文件，生成具有明確時(shí)序?qū)傩缘牡谝缓喜⑽募?，最后根?jù)第一合并文件的時(shí)序?qū)傩?，?duì)第一合并文件進(jìn)行最終合并操作，生成第二合并文件。本申請一方面能夠在合并過程中保持?jǐn)?shù)據(jù)的時(shí)間順序，確保合并后的文件在時(shí)序上的一致性和準(zhǔn)確性，便于下游任務(wù)的執(zhí)行；另一方面能夠大幅縮短文件合并所需的時(shí)間，提高整體處理效率。

技術(shù)特征：

1.一種文件合并方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)預(yù)設(shè)的分組策略，將多個(gè)待合并文件劃分為多個(gè)待合并文件組，包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一任務(wù)還包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述建立各個(gè)內(nèi)容塊的索引，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

6.一種文件合并裝置，其特征在于，包括：

7.一種文件合并設(shè)備，其特征在于，包括存儲(chǔ)器和處理器；

8.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1-5中任意一項(xiàng)所述的文件合并方法。

9.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)程序指令，所述計(jì)算機(jī)程序指令在被處理器運(yùn)行時(shí)使得所述處理器實(shí)現(xiàn)如權(quán)利要求1-5中任意一項(xiàng)所述的文件合并方法。

10.一種文件合并系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N文件合并方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)、產(chǎn)品及系統(tǒng)，該方法包括：根據(jù)預(yù)設(shè)的分組策略，將多個(gè)待合并文件劃分為多個(gè)待合并文件組；調(diào)用多個(gè)子線程分別執(zhí)行第一任務(wù)，得到多個(gè)任務(wù)執(zhí)行結(jié)果，所述第一任務(wù)包括根據(jù)待合并文件的時(shí)序，對(duì)一個(gè)待合并文件組中的待合并文件進(jìn)行合并，生成第一合并文件，所述任務(wù)執(zhí)行結(jié)果包括所述第一合并文件以及所述第一合并文件的時(shí)序?qū)傩?；根?jù)所述第一合并文件的時(shí)序?qū)傩?，?duì)多個(gè)第一合并文件進(jìn)行合并，生成第二合并文件。本申請不僅能夠在合并過程中保持?jǐn)?shù)據(jù)的時(shí)間順序，確保合并后的文件在時(shí)序上的一致性和準(zhǔn)確性，還能夠大幅縮短文件合并所需的時(shí)間，提高整體處理效率。

技術(shù)研發(fā)人員：王彤,丁亮,蔣祥輝,耿洪坤
受保護(hù)的技術(shù)使用者：浙江綠色智行科創(chuàng)有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19