本發(fā)明涉及大數(shù)據(jù)處理領(lǐng)域，特別是涉及一種大數(shù)據(jù)批處理方法及裝置。

背景技術(shù)：

隨著大數(shù)據(jù)時代的到來，大數(shù)據(jù)的批處理已被廣泛的運用在企業(yè)運營的各個方面的數(shù)據(jù)處理中，企業(yè)對于大數(shù)據(jù)處理需求也越來越多樣化?？梢?，大數(shù)據(jù)的批處理在企業(yè)的發(fā)展中起著至關(guān)重要的作用。

但是在現(xiàn)有技術(shù)下實現(xiàn)大數(shù)據(jù)的批處理，需要通過命令行的形式逐條輸入操作命令以進行大數(shù)據(jù)的批處理操作，而且命令往往比較復(fù)雜，這對于不夠了解命令所代表的功能或是不了解本領(lǐng)域技術(shù)的用戶來說很難上手進行操作，進而增加了用戶的操作要求。此外，對于本領(lǐng)域的技術(shù)人員來說，面對著枯燥的命令行界面并頻繁的輸入命令進行大數(shù)據(jù)的批處理操作不但降低了用戶的體驗感，而且輸入繁雜的命令也增加了操作的時間開銷，進而降低了操作的效率。

由此可見，提供一種大數(shù)據(jù)批處理方法，在降低大數(shù)據(jù)批處理時的用戶操作要求的同時，提高用戶體驗感以及操作效率，是本領(lǐng)域技術(shù)人員亟待解決的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的是提供一種大數(shù)據(jù)批處理方法及裝置，提高了用戶的體驗感，降低了對用戶的操作要求并提高了大數(shù)據(jù)批處理操作的效率。

為解決上述技術(shù)問題，本發(fā)明提供一種大數(shù)據(jù)批處理方法，包括：

在圖形界面中對大數(shù)據(jù)批處理任務(wù)的執(zhí)行參數(shù)進行設(shè)置；

根據(jù)執(zhí)行參數(shù)生成相應(yīng)的任務(wù)xml文件；

通過大數(shù)據(jù)批處理框架讀取任務(wù)xml文件，并根據(jù)xml文件的內(nèi)容執(zhí)行大數(shù)據(jù)批處理任務(wù)。

優(yōu)選的，在根據(jù)xml文件的內(nèi)容執(zhí)行大數(shù)據(jù)批處理任務(wù)后，該方法進一步包括：

采集執(zhí)行大數(shù)據(jù)批處理任務(wù)時產(chǎn)生的任務(wù)狀態(tài)信息。

優(yōu)選的，在采集執(zhí)行大數(shù)據(jù)批處理任務(wù)時產(chǎn)生的任務(wù)狀態(tài)信息后，該方法進一步包括：

判斷任務(wù)狀態(tài)信息是否異常；

如果是，則將狀態(tài)信息寫入日志文件。

優(yōu)選的，該方法進一步包括：

對任務(wù)狀態(tài)信息進行加工，并顯示在圖形界面中。

優(yōu)選的，大數(shù)據(jù)批處理框架具體為springbatch大數(shù)據(jù)批處理框架。

優(yōu)選的，圖形界面具體包括：

大數(shù)據(jù)批處理的任務(wù)配置界面以及大數(shù)據(jù)批處理的狀態(tài)信息監(jiān)控界面。

此外，本發(fā)明還提供一種大數(shù)據(jù)批處理裝置，包括：

參數(shù)設(shè)置模塊，用于在圖形界面中對大數(shù)據(jù)批處理任務(wù)的執(zhí)行參數(shù)進行設(shè)置；

任務(wù)文件生成模塊，用于根據(jù)執(zhí)行參數(shù)生成相應(yīng)的任務(wù)xml文件；

任務(wù)執(zhí)行模塊，用于通過大數(shù)據(jù)批處理框架讀取任務(wù)xml文件，并根據(jù)xml文件的內(nèi)容執(zhí)行大數(shù)據(jù)批處理任務(wù)。

優(yōu)選的，該裝置進一步包括：

信息采集模塊，用于采集執(zhí)行大數(shù)據(jù)批處理任務(wù)時產(chǎn)生的任務(wù)狀態(tài)信息。

優(yōu)選的，該裝置進一步包括：

判斷模塊，用于判斷任務(wù)狀態(tài)信息是否異常，如果是，則調(diào)用日志寫入模塊；

日志寫入模塊，用于將狀態(tài)信息寫入日志文件。

優(yōu)選的，該裝置進一步包括：

加工顯示模塊，用于對任務(wù)狀態(tài)信息進行加工，并顯示在圖形界面中。

本發(fā)明所提供的大數(shù)據(jù)批處理方法，通過圖形界面的方式對批處理任務(wù)進行參數(shù)設(shè)置，以此取代了用戶在命令行中通過輸入命令對批處理任務(wù)進行操作的步驟，而圖形界面能夠給用戶更加友好的使用感覺，提高了用戶的體驗感，并且對于操作命令不了解的用戶也能夠進行操作，降低了對用戶的操作要求。另外，在通過圖形界面進行配置的批處理任務(wù)參數(shù)的情況下，后臺根據(jù)任務(wù)參數(shù)生成任務(wù)文件并由大數(shù)據(jù)批處理框架進行處理，相當于省去了用戶逐條輸入命令以進行操作的時間開銷，進而也提高了大數(shù)據(jù)批處理操作的效率。此外，本發(fā)明還提供一種大數(shù)據(jù)批處理裝置，與上述的方法對應(yīng)，有益效果如上所述。

附圖說明

為了更清楚地說明本發(fā)明實施例，下面將對實施例中所需要使用的附圖做簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明實施例提供的一種大數(shù)據(jù)批處理方法的流程圖；

圖2為本發(fā)明實施例提供的另一種大數(shù)據(jù)批處理方法的流程圖；

圖3為本發(fā)明實施例提供的一種大數(shù)據(jù)批處理裝置結(jié)構(gòu)圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下，所獲得的所有其他實施例，都屬于本發(fā)明保護范圍。

本發(fā)明的核心是提供一種大數(shù)據(jù)批處理方法及裝置，提高了用戶的體驗感，降低了對用戶的操作要求，進而也提高了大數(shù)據(jù)批處理操作的效率。

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明方案，下面結(jié)合附圖和具體實施方式對本發(fā)明作進一步的詳細說明。

實施例一

圖1為本發(fā)明實施例提供的一種大數(shù)據(jù)批處理方法的流程圖。請參考圖1，大數(shù)據(jù)批處理方法的具體步驟包括：

步驟s10：在圖形界面中對大數(shù)據(jù)批處理任務(wù)的執(zhí)行參數(shù)進行設(shè)置。

需要說明的是，本發(fā)明中所指的大數(shù)據(jù)是指數(shù)量龐大并且種類多樣的數(shù)據(jù)所構(gòu)成的集合?？梢岳斫獾氖牵捎谠诋斍凹夹g(shù)下是采用逐條輸入命令的方式實現(xiàn)大數(shù)據(jù)批處理任務(wù)，但是由于命令行環(huán)境過于枯燥，并且與用戶之間的交互感較差。因此，在圖形界面中操作大數(shù)據(jù)批處理任務(wù)的好處在于，用戶的體驗感更好，而不了解命令行命令的用戶也可以直觀的對大數(shù)據(jù)批處理任務(wù)進行設(shè)置，進而降低了對用戶的操作要求。

步驟s11：根據(jù)執(zhí)行參數(shù)生成相應(yīng)的任務(wù)xml文件。

在本步驟中，根據(jù)用戶在圖形界面中設(shè)置的大數(shù)據(jù)批處理任務(wù)執(zhí)行參數(shù)生成可以讓后續(xù)大數(shù)據(jù)批處理框架讀取并進行相應(yīng)操作的任務(wù)文件。需要說明的是，本步驟中是將用戶在圖形界面的操作整合成為配置文件，因此，省去了用戶需要在命令行環(huán)境中逐條輸入命令操作大數(shù)據(jù)批處理任務(wù)的時間開銷，進而提高了操作效率。

步驟s12：通過大數(shù)據(jù)批處理框架讀取任務(wù)xml文件，并根據(jù)xml文件的內(nèi)容執(zhí)行大數(shù)據(jù)批處理任務(wù)。

本步驟的目的是，通過大數(shù)批處理框架讀取任務(wù)文件并根據(jù)任務(wù)文件執(zhí)行相關(guān)的大數(shù)據(jù)批處理任務(wù)，使用大數(shù)據(jù)批處理框架的好處在于通過框架能夠解決進行大數(shù)據(jù)批處理時的普遍功能需求，簡潔易用，并且能夠減少編寫相關(guān)程序的工作量，提高整體效率。

本發(fā)明所提供的大數(shù)據(jù)批處理方法，通過圖形界面的方式對批處理任務(wù)進行參數(shù)設(shè)置，以此取代了用戶在命令行中通過輸入命令對批處理任務(wù)進行操作的步驟，而圖形界面能夠給用戶更加友好的使用感覺，提高了用戶的體驗感，并且對于操作命令不了解的用戶也能夠進行操作，降低了對用戶的操作要求。另外，在通過圖形界面進行配置的批處理任務(wù)參數(shù)的情況下，后臺根據(jù)任務(wù)參數(shù)生成任務(wù)文件并由大數(shù)據(jù)批處理框架進行處理，相當于省去了用戶逐條輸入命令以進行操作的時間開銷，進而也提高了大數(shù)據(jù)批處理操作的效率。

實施例二

圖2為本發(fā)明實施例提供的另一種大數(shù)據(jù)批處理方法的流程圖。圖2中步驟s10-s12與圖1相同，在此不再贅述。

如圖2所示，作為一種優(yōu)選的實施方式，在根據(jù)xml文件的內(nèi)容執(zhí)行大數(shù)據(jù)批處理任務(wù)后，該方法進一步包括：

步驟s20：采集執(zhí)行大數(shù)據(jù)批處理任務(wù)時產(chǎn)生的任務(wù)狀態(tài)信息。

可以理解的是，當執(zhí)行大數(shù)據(jù)批處理任務(wù)時會相應(yīng)的產(chǎn)生一系列相關(guān)的任務(wù)執(zhí)行情況以及任務(wù)執(zhí)行結(jié)果等數(shù)據(jù)信息，這些信息能夠幫助用戶了解大數(shù)據(jù)批處理任務(wù)的進展情況。因此，采集執(zhí)行大數(shù)據(jù)批處理任務(wù)時產(chǎn)生的任務(wù)狀態(tài)信息的好處在于，為用戶對任務(wù)執(zhí)行的分析、優(yōu)化以及異常排查等后續(xù)的一系列操作提供了在數(shù)據(jù)上的支持。

如圖2所示，作為一種優(yōu)選的實施方式，在采集執(zhí)行大數(shù)據(jù)批處理任務(wù)時產(chǎn)生的任務(wù)狀態(tài)信息后，該方法進一步包括：

步驟s21：判斷任務(wù)狀態(tài)信息是否異常；

如果是，則執(zhí)行步驟s22。

步驟s22：將狀態(tài)信息寫入日志文件。

在執(zhí)行大數(shù)據(jù)批處理任務(wù)時由于種種原因，可能會出現(xiàn)執(zhí)行異常的情況，在這種情況下，為了保證任務(wù)的整體執(zhí)行效率，就需要用戶對異常進行快速解決。因此，可以在判斷任務(wù)狀態(tài)信息異常后將狀態(tài)信息寫入日志文件，進而用戶可以在日志文件中系統(tǒng)的了解異常的狀態(tài)信息，并能夠快速的進行相應(yīng)的異常處理，由于減少了異?；謴?fù)的時間開銷，進而保證了任務(wù)的整體執(zhí)行效率。

如圖2所示，作為一種優(yōu)選的實施方式，該方法進一步包括：

步驟s23：對任務(wù)狀態(tài)信息進行加工，并顯示在圖形界面中。

可以理解的是，通過使用大數(shù)據(jù)批處理數(shù)據(jù)框架所獲得的任務(wù)狀態(tài)信息并不系統(tǒng)，如果將狀態(tài)信息直接展示給用戶，用戶很難清晰的了解任務(wù)執(zhí)行的整體情況。因此，可以將狀態(tài)信息進行加工和整合，并且按類別先實現(xiàn)圖形界面中。這樣做的好處在于，用戶能夠更加清晰直觀的了解狀態(tài)信息的內(nèi)容，并且能夠進一步提高用戶體驗。需要說明的是，本步驟可以在采集到任務(wù)狀態(tài)信息后的任意步驟前進行，也可以與采集到任務(wù)狀態(tài)信息后的任意步驟同時進行，在此不做限定。

此外，在上述實施例的基礎(chǔ)上，作為一種優(yōu)選的實施方式，大數(shù)據(jù)批處理框架具體為springbatch大數(shù)據(jù)批處理框架。

由于springbatch大數(shù)據(jù)批處理框架為開源框架，所以用戶能夠在實現(xiàn)大數(shù)據(jù)批處理的基本功能的同時，還可以根據(jù)需要進行更深層次的功能定制，因此springbatch大數(shù)據(jù)批處理框架的整體擴展性更好。

此外，在上述實施例的基礎(chǔ)上，作為一種優(yōu)選的實施方式，圖形界面具體包括：

大數(shù)據(jù)批處理的任務(wù)配置界面以及大數(shù)據(jù)批處理的狀態(tài)信息監(jiān)控界面。

為了給用戶更好的體驗感，可以將圖形界面進行分部顯示或是不同內(nèi)容顯示在不同的圖形界面中。由于大數(shù)據(jù)批處理任務(wù)主要包括任務(wù)配置部分和執(zhí)行大數(shù)據(jù)批處理所產(chǎn)生的狀態(tài)信息兩個部分，因此可以將兩個部分作為任務(wù)配置界面以及狀態(tài)信息監(jiān)控界面以分別向用戶呈現(xiàn)，能夠更加清晰明了，進而使用戶的體驗感更好。

實施例三

在上文中對于大數(shù)據(jù)批處理方法的實施例進行了詳細的描述，本發(fā)明還提供一種與該方法對應(yīng)的大數(shù)據(jù)批處理裝置，由于裝置部分的實施例與方法部分的實施例相互對應(yīng)，因此裝置部分的實施例請參見方法部分的實施例的描述，這里暫不贅述。

圖3為本發(fā)明實施例提供的一種大數(shù)據(jù)批處理裝置結(jié)構(gòu)圖。本發(fā)明實施例提供的大數(shù)據(jù)批處理裝置，具體包括：

參數(shù)設(shè)置模塊10，用于在圖形界面中對大數(shù)據(jù)批處理任務(wù)的執(zhí)行參數(shù)進行設(shè)置。

任務(wù)文件生成模塊11，用于根據(jù)執(zhí)行參數(shù)生成相應(yīng)的任務(wù)xml文件。

任務(wù)執(zhí)行模塊12，用于通過大數(shù)據(jù)批處理框架讀取任務(wù)xml文件，并根據(jù)xml文件的內(nèi)容執(zhí)行大數(shù)據(jù)批處理任務(wù)。

本發(fā)明所提供的大數(shù)據(jù)批處理裝置，通過圖形界面的方式對批處理任務(wù)進行參數(shù)設(shè)置，以此取代了用戶在命令行中通過輸入命令對批處理任務(wù)進行操作的步驟，而圖形界面能夠給用戶更加友好的使用感覺，提高了用戶的體驗感，并且對于操作命令不了解的用戶也能夠進行操作，降低了對用戶的操作要求。另外，在通過圖形界面進行配置的批處理任務(wù)參數(shù)的情況下，后臺根據(jù)任務(wù)參數(shù)生成任務(wù)文件并由大數(shù)據(jù)批處理框架進行處理，相當于省去了用戶逐條輸入命令以進行操作的時間開銷，進而也提高了大數(shù)據(jù)批處理操作的效率。

在實施例三的基礎(chǔ)上，該裝置還包括：

信息采集模塊，用于采集執(zhí)行大數(shù)據(jù)批處理任務(wù)時產(chǎn)生的任務(wù)狀態(tài)信息。

在實施例三的基礎(chǔ)上，該裝置還包括：

判斷模塊，用于判斷任務(wù)狀態(tài)信息是否異常，如果是，則調(diào)用日志寫入模塊。

日志寫入模塊，用于將狀態(tài)信息寫入日志文件。

在實施例三的基礎(chǔ)上，該裝置還包括：

加工顯示模塊，用于對任務(wù)狀態(tài)信息進行加工，并顯示在圖形界面中。

以上對本發(fā)明所提供的一種大數(shù)據(jù)批處理方法及裝置進行了詳細介紹。說明書中各個實施例采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似部分互相參見即可。對于實施例公開的裝置而言，由于其與實施例公開的方法相對應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說明即可。應(yīng)當指出，對于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以對本發(fā)明進行若干改進和修飾，這些改進和修飾也落入本發(fā)明權(quán)利要求的保護范圍內(nèi)。

還需要說明的是，在本說明書中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。