數(shù)據(jù)處理方法及裝置的制造方法
【專利摘要】本申請?zhí)峁┮环N數(shù)據(jù)處理方法及裝置。方法包括：服務(wù)端在接收到客戶端發(fā)送的數(shù)據(jù)處理請求后，向客戶端返回數(shù)據(jù)處理響應(yīng)，數(shù)據(jù)處理響應(yīng)用于指示服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)；服務(wù)端在接收到客戶端發(fā)送的結(jié)果查詢請求后，向客戶端返回數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。本申請可以節(jié)約服務(wù)端的連接資源，提高服務(wù)端的處理效率。
【專利說明】
數(shù)據(jù)處理方法及裝置
【技術(shù)領(lǐng)域】
[0001]本申請涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。
【【背景技術(shù)】】
[0002]隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，基于互聯(lián)網(wǎng)的業(yè)務(wù)系統(tǒng)越來越多。在一些業(yè)務(wù)系統(tǒng)中，經(jīng)常會遇到一些數(shù)據(jù)量較大、業(yè)務(wù)邏輯復(fù)雜的數(shù)據(jù)處理業(yè)務(wù)，例如批量上傳數(shù)據(jù)、批量下載數(shù)據(jù)、批量復(fù)核數(shù)據(jù)、批量訂正數(shù)據(jù)等各種批量數(shù)據(jù)處理。這類數(shù)據(jù)處理業(yè)務(wù)所需的處理時間通常會比較長。
[0003]服務(wù)端的響應(yīng)時間一般比較短，一般為3秒、5秒或10秒等，為了能夠成功向客戶端返回數(shù)據(jù)處理業(yè)務(wù)的處理結(jié)果，可以將服務(wù)端的響應(yīng)時間設(shè)置長一些，例如可以設(shè)置為3分鐘、5分鐘或10分鐘等，這需要客戶端與服務(wù)端長時間建立連接(簡稱為長連接)。但是，由于服務(wù)端的連接資源是有限的，若長連接的數(shù)量過多，會很快耗盡服務(wù)端的連接資源，導(dǎo)致服務(wù)端不可用，降低服務(wù)端的處理效率。
【
【發(fā)明內(nèi)容】
】
[0004]本申請的多個方面提供一種數(shù)據(jù)處理方法及裝置，用以節(jié)約服務(wù)端的連接資源，提尚服務(wù)端的處理效率。
[0005]本申請的一方面，提供一種數(shù)據(jù)處理方法，包括:
[0006]服務(wù)端在接收到客戶端發(fā)送的數(shù)據(jù)處理請求后，向所述客戶端返回數(shù)據(jù)處理響應(yīng)，所述數(shù)據(jù)處理響應(yīng)用于指示所述服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)；
[0007]所述服務(wù)端在接收到所述客戶端發(fā)送的結(jié)果查詢請求后，向所述客戶端返回所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
[0008]本申請的另一方面，提供一種數(shù)據(jù)處理方法，包括:
[0009]向服務(wù)端發(fā)送數(shù)據(jù)處理請求；
[0010]接收所述服務(wù)端返回的數(shù)據(jù)處理響應(yīng)，所述數(shù)據(jù)處理響應(yīng)用于指示所述服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)；
[0011]向所述服務(wù)端發(fā)送結(jié)果查詢請求；
[0012]接收所述服務(wù)端返回的所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
[0013]本申請的又一方面，提供一種服務(wù)端，包括:
[0014]接收模塊，用于接收客戶端發(fā)送的數(shù)據(jù)處理請求，并接收所述客戶端發(fā)送的結(jié)果查詢請求；
[0015]發(fā)送模塊，用于向所述客戶端返回數(shù)據(jù)處理響應(yīng)，所述數(shù)據(jù)處理響應(yīng)用于指示所述服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，并向所述客戶端返回所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
[0016]本申請的又一方面，提供一種客戶端，包括:
[0017]發(fā)送模塊，用于向服務(wù)端發(fā)送數(shù)據(jù)處理請求，并向所述服務(wù)端發(fā)送結(jié)果查詢請求；
[0018]接收模塊，用于接收所述服務(wù)端返回的數(shù)據(jù)處理響應(yīng)，所述數(shù)據(jù)處理響應(yīng)用于指示所述服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，并接收所述服務(wù)端返回的所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
[0019]在本申請中，服務(wù)端在接收到客戶端的數(shù)據(jù)處理請求后，向客戶端返回數(shù)據(jù)處理響應(yīng)，用于指示服務(wù)端會以異步方式執(zhí)行該數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)；另外，服務(wù)端向客戶端提供查詢功能，允許客戶端發(fā)送結(jié)果查詢請求，以查詢該數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度，以便獲取執(zhí)行結(jié)果。由此可見，服務(wù)端異步處理客戶端的請求并允許客戶端查詢執(zhí)行進(jìn)度，在異步處理客戶端的請求期間，客戶端與服務(wù)端之間的連接可以被釋放掉，有利于節(jié)約服務(wù)端的連接資源，有利于提高連接資源的利用率，進(jìn)而可提高服務(wù)端的處理效率。
【【附圖說明】】
[0020]為了更清楚地說明本申請實施例中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本申請的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0021]圖1為本申請一實施例提供的業(yè)務(wù)系統(tǒng)的一種架構(gòu)示意圖；
[0022]圖2為本申請一實施例提供的業(yè)務(wù)系統(tǒng)的另一種架構(gòu)示意圖；
[0023]圖3為本申請一實施例提供的數(shù)據(jù)處理方法的流程示意圖；
[0024]圖4為本申請另一實施例提供的數(shù)據(jù)處理方法的流程示意圖；
[0025]圖5為本申請一實施例提供的服務(wù)端的結(jié)構(gòu)示意圖；
[0026]圖6為本申請一實施例提供的客戶端的結(jié)構(gòu)示意圖。
【【具體實施方式】】
[0027]為使本申請實施例的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本申請實施例中的附圖，對本申請實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├?，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護(hù)的范圍。
[0028]在介紹本申請方法流程之前，先簡單介紹一下本申請業(yè)務(wù)系統(tǒng)的架構(gòu)。如圖1所示，業(yè)務(wù)系統(tǒng)的一種架構(gòu)包括至少一個前端設(shè)備10、代理服務(wù)器20和至少一臺應(yīng)用服務(wù)器
30。前端設(shè)備10通過代理服務(wù)器20與應(yīng)用服務(wù)器30建立連接。前端設(shè)備10可以是個人電腦、臺式電腦、平板電腦或手機等。代理服務(wù)器20可以由任意具有代理功能的設(shè)備實現(xiàn)。
[0029]在業(yè)務(wù)系統(tǒng)的另一種架構(gòu)中，如圖2所示，前端設(shè)備10與應(yīng)用服務(wù)器30不通過代理服務(wù)器20建立連接，而是直接建立連接。也就是說，在業(yè)務(wù)系統(tǒng)的實現(xiàn)架構(gòu)中，代理服務(wù)器20是一可選設(shè)備。
[0030]值得說明的是，一臺前端設(shè)備10可以與一臺或多臺應(yīng)用服務(wù)器30建立連接，圖2所示僅為一種示例，前端設(shè)備10與應(yīng)用服務(wù)器30之間的連接關(guān)系并不限于圖2所示。
[0031]其中，客戶端一般部署于前端端設(shè)備10上，服務(wù)端部署于應(yīng)用服務(wù)器30上?？蛻舳伺c服務(wù)端相配合實現(xiàn)本申請技術(shù)方案。
[0032]圖3為本申請一實施例提供的數(shù)據(jù)處理方法的流程示意圖。如圖3所示，該方法包括:
[0033]301、服務(wù)端在接收到客戶端發(fā)送的數(shù)據(jù)處理請求后，向客戶端返回數(shù)據(jù)處理響應(yīng)，該數(shù)據(jù)處理響應(yīng)用于指示服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)。
[0034]302、服務(wù)端在接收到客戶端發(fā)送的結(jié)果查詢請求后，向客戶端返回數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
[0035]在本實施例中，當(dāng)客戶端需要服務(wù)端進(jìn)行數(shù)據(jù)處理時，向服務(wù)端發(fā)送數(shù)據(jù)處理請求；服務(wù)端接收客戶端發(fā)送的數(shù)據(jù)處理請求。
[0036]與現(xiàn)有技術(shù)不同的是，服務(wù)端在接收到客戶端的數(shù)據(jù)處理請求后，并不像現(xiàn)有技術(shù)那樣根據(jù)數(shù)據(jù)處理請求開始進(jìn)行數(shù)據(jù)處理，而是向客戶端返回數(shù)據(jù)處理響應(yīng)，通過該數(shù)據(jù)處理響應(yīng)告訴客戶端:服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行該數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)。客戶端接收服務(wù)端返回的數(shù)據(jù)處理響應(yīng)，根據(jù)該數(shù)據(jù)處理響應(yīng)獲知服務(wù)端已經(jīng)收到數(shù)據(jù)處理請求。至此，客戶端與服務(wù)端之間的一次連接就結(jié)束了。之后，服務(wù)端以異步任務(wù)調(diào)度方式執(zhí)行數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)。
[0037]由上述可見，在本實施例中，服務(wù)端與客戶端之間的連接保持時間只要能夠保證接收數(shù)據(jù)處理請求和返回數(shù)據(jù)處理響應(yīng)即可，保持時間較短，相當(dāng)于節(jié)約了服務(wù)端的連接資源；另外，在服務(wù)端異步執(zhí)行數(shù)據(jù)處理任務(wù)過程中，客戶端與服務(wù)端之間的連接是被釋放掉的，在此期間，服務(wù)端可以使用所釋放掉的連接資源與另外的客戶端建立連接，有利于提高連接資源的利用率。
[0038]另外，一次完整的數(shù)據(jù)處理過程應(yīng)該包括客戶端獲得數(shù)據(jù)處理結(jié)果?？紤]到這種需求，服務(wù)端向客戶端提供查詢功能，允許客戶端查詢數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度，以便獲得執(zhí)行結(jié)果。
[0039]基于此，客戶端在向服務(wù)端提交數(shù)據(jù)處理請求之后，還可以向服務(wù)端發(fā)送結(jié)果查詢請求，以查詢數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。服務(wù)端接收客戶端發(fā)送的結(jié)果查詢請求，根據(jù)結(jié)果查詢請求查詢數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度，并將執(zhí)行進(jìn)度返回給客戶端。
[0040]可選的，為了便于客戶端確定需要查詢的數(shù)據(jù)處理任務(wù)，服務(wù)端將有關(guān)數(shù)據(jù)處理任務(wù)的信息發(fā)送給客戶端。數(shù)據(jù)處理任務(wù)的信息包括:數(shù)據(jù)處理任務(wù)的標(biāo)識(ID)、創(chuàng)建時間、類型、待處理數(shù)據(jù)所在的文件名稱等等?？蛇x的，服務(wù)端可以將數(shù)據(jù)處理任務(wù)的信息攜帶在數(shù)據(jù)處理響應(yīng)中，通過數(shù)據(jù)處理響應(yīng)返回給客戶端。
[0041]基于上述，客戶端可以在結(jié)果查詢請求中攜帶數(shù)據(jù)處理任務(wù)的信息，例如可以是數(shù)據(jù)處理任務(wù)的ID、創(chuàng)建時間、類型等等，以便于服務(wù)端確定客戶端要查詢哪個數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
[0042]在此說明，客戶端可以在提交數(shù)據(jù)處理請求之后等待指定時間后，再向服務(wù)端發(fā)送結(jié)果查詢請求。該指定時間足夠服務(wù)端執(zhí)行完數(shù)據(jù)處理任務(wù)。這樣，客戶端只需向服務(wù)端發(fā)送一次結(jié)果查詢請求即可獲得最終執(zhí)行結(jié)果?；蛘?，該指定時間較短，服務(wù)端不足以在該指定時間內(nèi)執(zhí)行完數(shù)據(jù)處理任務(wù)，基于此，服務(wù)端返回給客戶端的執(zhí)行進(jìn)度并不包括最終執(zhí)行結(jié)果，因此，客戶端可以向服務(wù)端發(fā)送至少兩次結(jié)果查詢請求，以便獲得最終執(zhí)行結(jié)果O
[0043]其中，每次結(jié)果查詢都需要客戶端與服務(wù)端建立連接，并在服務(wù)端返回執(zhí)行進(jìn)度后，釋放該連接。在結(jié)果查詢過程中，客戶端與服務(wù)端之間的連接保持時間只要能夠保證接收結(jié)果查詢請求并返回執(zhí)行進(jìn)度即可，該保持時間較短，相當(dāng)于節(jié)約了連接資源。
[0044]值得說明的是，上述數(shù)據(jù)處理請求可以是請求進(jìn)行各種數(shù)據(jù)處理的請求?？蛇x的，該數(shù)據(jù)處理請求可以請求一些數(shù)據(jù)量較大、業(yè)務(wù)邏輯較復(fù)雜的數(shù)據(jù)處理業(yè)務(wù)，例如可以是批量數(shù)據(jù)處理請求。具體的，可以是批量上傳數(shù)據(jù)的請求、批量下載數(shù)據(jù)的請求、批量復(fù)核數(shù)據(jù)的請求或批量訂正數(shù)據(jù)的請求等。
[0045]根據(jù)應(yīng)用場景的不同，服務(wù)端所實現(xiàn)的數(shù)據(jù)處理功能會有所不同。例如，在批量上傳數(shù)據(jù)場景中，服務(wù)端主要根據(jù)客戶端的數(shù)據(jù)處理請求，對上傳的數(shù)據(jù)進(jìn)行解析并進(jìn)行存儲。又例如，在批量下載數(shù)據(jù)場景中，服務(wù)端主要根據(jù)客戶端的數(shù)據(jù)處理請求，確定待下載的數(shù)據(jù)資源，從資源服務(wù)器上下載所述待下載的數(shù)據(jù)資源并返回給客戶端。
[0046]由上述可見，在本實施例中，服務(wù)端在接收到客戶端的數(shù)據(jù)處理請求后，向客戶端返回數(shù)據(jù)處理響應(yīng)，用于指示服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行該數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，這樣客戶端與服務(wù)端之間的連接可以斷開，客戶端與服務(wù)端之間的連接保持時間較短，且在服務(wù)端以異步任務(wù)調(diào)度方式處理響應(yīng)數(shù)據(jù)處理任務(wù)期間，客戶端與服務(wù)端的連接是被釋放掉的，有利于節(jié)約服務(wù)端的連接資源；進(jìn)一步，在此期間，服務(wù)端還可以通過被釋放掉的連接資源與另外的客戶端建立連接，有利于提高連接資源的利用率；再者，月艮務(wù)端向客戶端提供查詢功能，允許客戶端發(fā)送結(jié)果查詢請求獲得相應(yīng)數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度，可以保證數(shù)據(jù)處理過程的完整性。
[0047]值得說明的是，雖然從一次數(shù)據(jù)處理過程來看，本實施例需要客戶端與服務(wù)端建立至少兩次連接(發(fā)送數(shù)據(jù)處理請求和結(jié)果查詢請求分別需要建立連接)，但由于每次連接保持時間較短，對本領(lǐng)域技術(shù)人員來說可以理解的是:本實施例中所有連接的保持時間之和也比現(xiàn)有技術(shù)中一次數(shù)據(jù)處理過程的連接時間要短，因此仍舊具有節(jié)約服務(wù)端的連接資源的優(yōu)勢。
[0048]對服務(wù)端來說，在向客戶端返回數(shù)據(jù)處理響應(yīng)之后，還需要以異步任務(wù)調(diào)度方式執(zhí)行數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)。
[0049]在一可選實施方式中，服務(wù)端以異步任務(wù)調(diào)度方式執(zhí)行數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的流程包括:
[0050]服務(wù)端根據(jù)接收到的數(shù)據(jù)處理請求，創(chuàng)建數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，并生成待處理數(shù)據(jù)的數(shù)據(jù)索引；在調(diào)度到數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)時，根據(jù)數(shù)據(jù)索引獲取待處理數(shù)據(jù)，執(zhí)行該數(shù)據(jù)處理任務(wù)的處理邏輯，以對待處理數(shù)據(jù)進(jìn)行處理。
[0051]上述數(shù)據(jù)索引的作用是指向待處理數(shù)據(jù)。根據(jù)應(yīng)用場景的不同，上述數(shù)據(jù)索引也會有所不同。例如，在批量數(shù)據(jù)上傳場景中，數(shù)據(jù)索引可以是上傳的文件的路徑，通過該路徑可以找到該文件。又例如，在批量數(shù)據(jù)下載場景中，數(shù)據(jù)索引可以是下載條件，例如可以包括下載資源的名稱、URL等，通過該下載條件可以確定下載資源。
[0052]可選的，服務(wù)端可以通過異步任務(wù)列表來管理數(shù)據(jù)處理任務(wù)，基于此，服務(wù)端具體可以在異步任務(wù)列表中創(chuàng)建數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)。
[0053]可選的，服務(wù)端還可以通過索引列表，對應(yīng)管理數(shù)據(jù)處理任務(wù)對應(yīng)的數(shù)據(jù)索引?；诖?，服務(wù)端在生成數(shù)據(jù)索引后，可以將數(shù)據(jù)索引存儲到索引列表中。
[0054]值得說明的是，索引列表與異步任務(wù)列表之間具有對應(yīng)關(guān)系，以便于將數(shù)據(jù)處理任務(wù)與數(shù)據(jù)索引對應(yīng)起來，例如可以通過同一任務(wù)ID，或者存儲位置等將兩者對應(yīng)起來。
[0055]對服務(wù)端來說，可以按照一定的調(diào)度策略調(diào)度異步任務(wù)列表中的數(shù)據(jù)處理任務(wù)。例如，可以按照數(shù)據(jù)處理任務(wù)的創(chuàng)建時間，或者可以按照數(shù)據(jù)處理任務(wù)的優(yōu)先級等調(diào)度異步任務(wù)列表中的數(shù)據(jù)處理任務(wù)。
[0056]當(dāng)調(diào)度到數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)時，執(zhí)行該數(shù)據(jù)處理任務(wù)的處理邏輯，從而對待處理數(shù)據(jù)進(jìn)行處理。例如，服務(wù)端可以啟動一個或多個異步線程執(zhí)行數(shù)據(jù)處理任務(wù)的處理邏輯。
[0057]根據(jù)應(yīng)用場景的不同，數(shù)據(jù)處理任務(wù)的處理邏輯也會有所不同。例如，在批量上傳數(shù)據(jù)場景中，數(shù)據(jù)處理任務(wù)的處理邏輯主要根據(jù)客戶端的數(shù)據(jù)處理請求，對上傳的數(shù)據(jù)進(jìn)行解析并進(jìn)行存儲。又例如，在批量下載數(shù)據(jù)場景中，數(shù)據(jù)處理任務(wù)的處理邏輯主要根據(jù)客戶端的數(shù)據(jù)處理請求，確定待下載的數(shù)據(jù)資源，從資源服務(wù)器上下載所述待下載的數(shù)據(jù)資源并返回給客戶端。
[0058]在實際應(yīng)用中，可能會發(fā)生各種故障，導(dǎo)致數(shù)據(jù)處理過程中斷。在故障恢復(fù)后，若重新執(zhí)行數(shù)據(jù)處理過程，會造成資源浪費。為了節(jié)約資源，在故障恢復(fù)后，可以采用從斷點繼續(xù)執(zhí)行數(shù)據(jù)處理任務(wù)的方式。但是，對斷點的確定比較困難。針對該問題，本實施例提供一種解決方法，具體為:
[0059]在成功執(zhí)行上述數(shù)據(jù)處理任務(wù)后，服務(wù)端記錄數(shù)據(jù)處理任務(wù)在異步任務(wù)列表中的位置信息。
[0060]可選的，服務(wù)端可以將成功執(zhí)行的數(shù)據(jù)處理任務(wù)在異步任務(wù)列表中的位置信息存儲到外部文件中，以防止因故障重啟后內(nèi)存數(shù)據(jù)的丟失。
[0061]基于上述記錄的成功執(zhí)行的數(shù)據(jù)處理任務(wù)在異步任務(wù)列表中的位置信息，可以確定斷點位置。這樣，當(dāng)服務(wù)端在故障恢復(fù)后，可以獲取最后記錄的位置信息，從獲取的位置信息開始，繼續(xù)調(diào)度異步任務(wù)列表中的數(shù)據(jù)處理任務(wù)，解決了異常中斷問題。
[0062]最后值得說明的是，客戶端與服務(wù)端之間可以通過網(wǎng)頁、郵件、短消息、即時通訊消息等各種方式進(jìn)行交互。也就是說，客戶端可以通過網(wǎng)頁、郵件、短消息或即時通信消息等方式向服務(wù)端發(fā)送數(shù)據(jù)處理請求和結(jié)果查詢請求；相應(yīng)的，服務(wù)端可以通過發(fā)網(wǎng)頁、郵件、短消息或即時通信消息等方式向客戶端返回數(shù)據(jù)處理響應(yīng)和數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
[0063]圖4為本申請一實施例提供的數(shù)據(jù)處理方法的流程示意圖。該數(shù)據(jù)處理方法可應(yīng)用于批量數(shù)據(jù)上傳、批量數(shù)據(jù)下載、批量復(fù)核數(shù)據(jù)、批量訂正數(shù)據(jù)等場景中進(jìn)行批量數(shù)據(jù)處理，但不限于批量數(shù)據(jù)處理。如圖4所示，該方法包括:
[0064]401、向服務(wù)端發(fā)送數(shù)據(jù)處理請求。
[0065]402、接收服務(wù)端返回的數(shù)據(jù)處理響應(yīng)，該數(shù)據(jù)處理響應(yīng)用于指示服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)。
[0066]403、向服務(wù)端發(fā)送結(jié)果查詢請求。
[0067]404、接收服務(wù)端返回的所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
[0068]上述步驟401-步驟404的執(zhí)行主體具體為客戶端，可與上述步驟301-步驟302結(jié)合來實現(xiàn)數(shù)據(jù)處理。
[0069]關(guān)于本實施例方法的詳細(xì)描述可參見前述實施例，在此不再贅述。
[0070]在本實施例中，客戶端與服務(wù)端相配合，支持服務(wù)端異步處理客戶端的請求，并向服務(wù)端發(fā)送結(jié)果查詢請求查詢數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度，這樣在服務(wù)端異步處理客戶端的請求期間，客戶端與服務(wù)端之間的連接可以被釋放掉，有利于節(jié)約服務(wù)端的連接資源，有利于提高連接資源的利用率，進(jìn)而可提高服務(wù)端的處理效率。
[0071]需要說明的是，對于前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領(lǐng)域技術(shù)人員應(yīng)該知悉，本申請并不受所描述的動作順序的限制，因為依據(jù)本申請，某些步驟可以采用其他順序或者同時進(jìn)行。其次，本領(lǐng)域技術(shù)人員也應(yīng)該知悉，說明書中所描述的實施例均屬于優(yōu)選實施例，所涉及的動作和模塊并不一定是本申請所必須的。
[0072]在上述實施例中，對各個實施例的描述都各有側(cè)重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關(guān)描述。
[0073]圖5為本申請一實施例提供的服務(wù)端的結(jié)構(gòu)示意圖。如圖5所示，該服務(wù)端包括:接收模塊51和發(fā)送模塊52。
[0074]接收模塊51，用于接收客戶端發(fā)送的數(shù)據(jù)處理請求，并接收客戶端發(fā)送的結(jié)果查詢請求。
[0075]發(fā)送模塊5，用于向客戶端返回數(shù)據(jù)處理響應(yīng)，數(shù)據(jù)處理響應(yīng)用于指示服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，并向客戶端返回數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
[0076]進(jìn)一步，如圖5所示，該服務(wù)端還包括:任務(wù)處理模塊53。
[0077]任務(wù)處理模塊53，用于以異步任務(wù)調(diào)度方式執(zhí)行接收模塊51接收的數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)。
[0078]在一可選實施方式中，任務(wù)處理模塊53具體用于:
[0079]根據(jù)數(shù)據(jù)處理請求，創(chuàng)建數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，并生成待處理數(shù)據(jù)的數(shù)據(jù)索引；
[0080]當(dāng)調(diào)度到數(shù)據(jù)處理任務(wù)時，根據(jù)數(shù)據(jù)索引獲取待處理數(shù)據(jù)，執(zhí)行數(shù)據(jù)處理任務(wù)的處理邏輯，以對待處理數(shù)據(jù)進(jìn)行處理。
[0081]在一可選實施方式中，如圖5所示，該服務(wù)端還包括:記錄模塊54。
[0082]記錄模塊54，用于在任務(wù)處理模塊53成功執(zhí)行數(shù)據(jù)處理任務(wù)后，記錄數(shù)據(jù)處理任務(wù)在異步任務(wù)列表中的位置信息。
[0083]在一可選實施方式中，如圖5所示，該服務(wù)端還包括:故障處理模塊55。
[0084]故障處理模塊55，用于在服務(wù)端故障恢復(fù)后，獲取記錄模塊54最后記錄的位置信息，從獲取的位置信息開始，繼續(xù)調(diào)度異步任務(wù)列表中的數(shù)據(jù)處理任務(wù)。
[0085]可選的，上述數(shù)據(jù)處理請求可以是批量數(shù)據(jù)處理請求，但不限于此。
[0086]本實施例提供的服務(wù)端，在接收到客戶端的數(shù)據(jù)處理請求后，向客戶端返回數(shù)據(jù)處理響應(yīng)，用于指示服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行該數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，這樣客戶端與服務(wù)端之間的連接可以斷開，客戶端與服務(wù)端之間的連接保持時間較短，且在服務(wù)端以異步任務(wù)調(diào)度方式處理響應(yīng)數(shù)據(jù)處理任務(wù)期間，客戶端與服務(wù)端的連接是被釋放掉的，有利于節(jié)約服務(wù)端的連接資源；進(jìn)一步，在此期間，本實施例提供的服務(wù)端還可以通過被釋放掉的連接資源與另外的客戶端建立連接，有利于提高連接資源的利用率；再者，本實施例提供的服務(wù)端向客戶端提供查詢功能，允許客戶端發(fā)送結(jié)果查詢請求獲得相應(yīng)數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度，可以保證數(shù)據(jù)處理過程的完整性。
[0087]值得說明的是，雖然從一次數(shù)據(jù)處理過程來看，本實施例提供的服務(wù)端需要與客戶端建立至少兩次連接(發(fā)送數(shù)據(jù)處理請求和結(jié)果查詢請求分別需要建立連接)，但由于每次連接保持時間較短，對本領(lǐng)域技術(shù)人員來說可以理解的是:本實施例中所有連接的保持時間之和也比現(xiàn)有技術(shù)中一次數(shù)據(jù)處理過程的連接時間要短，因此仍舊具有節(jié)約服務(wù)端的連接資源的優(yōu)勢。
[0088]圖6為本申請一實施例提供的客戶端的結(jié)構(gòu)示意圖。如圖6所示，該客戶端包括:發(fā)送模塊61和接收模塊62。
[0089]發(fā)送模塊61，用于向服務(wù)端發(fā)送數(shù)據(jù)處理請求，并向所述服務(wù)端發(fā)送結(jié)果查詢請求。
[0090]接收模塊62，用于接收所述服務(wù)端返回的數(shù)據(jù)處理響應(yīng)，所述數(shù)據(jù)處理響應(yīng)用于指示所述服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，并接收所述服務(wù)端返回的所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
[0091]可選的，上述數(shù)據(jù)處理請求可以是批量數(shù)據(jù)處理請求，但不限于此。
[0092]本實施例提供的客戶端，與服務(wù)端相配合，支持服務(wù)端異步處理客戶端的請求，并向服務(wù)端發(fā)送結(jié)果查詢請求查詢數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度，這樣在服務(wù)端異步處理客戶端的請求期間，本實施例客戶端可以斷開與服務(wù)端之間的連接，有利于節(jié)約服務(wù)端的連接資源，有利于提高連接資源的利用率，進(jìn)而可提高服務(wù)端的處理效率。
[0093]所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)，裝置和單元的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程，在此不再贅述。
[0094]在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的系統(tǒng)，裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機械或其它的形式。
[0095]所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。
[0096]另外，在本申請各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用硬件加軟件功能單元的形式實現(xiàn)。
[0097]上述以軟件功能單元的形式實現(xiàn)的集成的單元，可以存儲在一個計算機可讀取存儲介質(zhì)中。上述軟件功能單元存儲在一個存儲介質(zhì)中，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)或處理器(processor)執(zhí)行本申請各個實施例所述方法的部分步驟。而前述的存儲介質(zhì)包括:U盤、移動硬盤、只讀存儲器(Read-Only Memory, ROM)、隨機存取存儲器(Random Access Memory, RAM)、磁碟或者光盤等各種可以存儲程序代碼的介質(zhì)。
[0098]最后應(yīng)說明的是:以上實施例僅用以說明本申請的技術(shù)方案，而非對其限制；盡管參照前述實施例對本申請進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對前述各實施例所記載的技術(shù)方案進(jìn)行修改，或者對其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本申請各實施例技術(shù)方案的精神和范圍。
【主權(quán)項】
1.一種數(shù)據(jù)處理方法，其特征在于，包括: 服務(wù)端在接收到客戶端發(fā)送的數(shù)據(jù)處理請求后，向所述客戶端返回數(shù)據(jù)處理響應(yīng)，所述數(shù)據(jù)處理響應(yīng)用于指示所述服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)； 所述服務(wù)端在接收到所述客戶端發(fā)送的結(jié)果查詢請求后，向所述客戶端返回所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述服務(wù)端向所述客戶端返回數(shù)據(jù)處理響應(yīng)之后，還包括: 所述服務(wù)端以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述服務(wù)端以異步調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，包括: 所述服務(wù)端根據(jù)所述數(shù)據(jù)處理請求，創(chuàng)建所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，并生成待處理數(shù)據(jù)的數(shù)據(jù)索引； 所述服務(wù)端在調(diào)度到所述數(shù)據(jù)處理任務(wù)時，根據(jù)所述數(shù)據(jù)索引獲取所述待處理數(shù)據(jù)，執(zhí)行所述數(shù)據(jù)處理任務(wù)的處理邏輯，以對所述待處理數(shù)據(jù)進(jìn)行處理。4.根據(jù)權(quán)利要求3所述的方法，其特征在于，還包括: 所述服務(wù)端在成功執(zhí)行所述數(shù)據(jù)處理任務(wù)后，記錄所述數(shù)據(jù)處理任務(wù)在異步任務(wù)列表中的位置信息。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，還包括: 所述服務(wù)端在故障恢復(fù)后，獲取最后記錄的位置信息，從所述獲取的位置信息開始，繼續(xù)調(diào)度所述異步任務(wù)列表中的數(shù)據(jù)處理任務(wù)。6.根據(jù)權(quán)利要求1-5任一項所述的方法，其特征在于，所述數(shù)據(jù)處理請求為批量數(shù)據(jù)處理請求。7.一種數(shù)據(jù)處理方法，其特征在于，包括: 向服務(wù)端發(fā)送數(shù)據(jù)處理請求； 接收所述服務(wù)端返回的數(shù)據(jù)處理響應(yīng)，所述數(shù)據(jù)處理響應(yīng)用于指示所述服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)； 向所述服務(wù)端發(fā)送結(jié)果查詢請求； 接收所述服務(wù)端返回的所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述數(shù)據(jù)處理請求為批量數(shù)據(jù)處理請求。9.一種服務(wù)端，其特征在于，包括: 接收模塊，用于接收客戶端發(fā)送的數(shù)據(jù)處理請求，并接收所述客戶端發(fā)送的結(jié)果查詢請求； 發(fā)送模塊，用于向所述客戶端返回數(shù)據(jù)處理響應(yīng)，所述數(shù)據(jù)處理響應(yīng)用于指示所述服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，并向所述客戶端返回所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。10.根據(jù)權(quán)利要求9所述的服務(wù)端，其特征在于，還包括: 任務(wù)處理模塊，用于以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)。11.根據(jù)權(quán)利要求10所述的服務(wù)端，其特征在于，所述任務(wù)處理模塊具體用于: 根據(jù)所述數(shù)據(jù)處理請求，創(chuàng)建所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，并生成待處理數(shù)據(jù)的數(shù)據(jù)索引； 當(dāng)調(diào)度到所述數(shù)據(jù)處理任務(wù)時，根據(jù)所述數(shù)據(jù)索引獲取所述待處理數(shù)據(jù)，執(zhí)行所述數(shù)據(jù)處理任務(wù)的處理邏輯，以對所述待處理數(shù)據(jù)進(jìn)行處理。12.根據(jù)權(quán)利要求11所述的服務(wù)端，其特征在于，還包括: 記錄模塊，用于在成功執(zhí)行所述數(shù)據(jù)處理任務(wù)后，記錄所述數(shù)據(jù)處理任務(wù)在異步任務(wù)列表中的位置信息。13.根據(jù)權(quán)利要求12所述的服務(wù)端，其特征在于，還包括: 故障處理模塊，用于在所述服務(wù)端故障恢復(fù)后，獲取最后記錄的位置信息，從所述獲取的位置信息開始，繼續(xù)調(diào)度所述異步任務(wù)列表中的數(shù)據(jù)處理任務(wù)。14.一種客戶端，其特征在于，包括: 發(fā)送模塊，用于向服務(wù)端發(fā)送數(shù)據(jù)處理請求，并向所述服務(wù)端發(fā)送結(jié)果查詢請求； 接收模塊，用于接收所述服務(wù)端返回的數(shù)據(jù)處理響應(yīng)，所述數(shù)據(jù)處理響應(yīng)用于指示所述服務(wù)端會以異步任務(wù)調(diào)度方式執(zhí)行所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)，并接收所述服務(wù)端返回的所述數(shù)據(jù)處理請求對應(yīng)的數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度。
【文檔編號】H04L29/06GK106034113SQ201510110239
【公開日】2016年10月19日
【申請日】2015年3月12日
【發(fā)明人】劉德宏, 尹俊
【申請人】阿里巴巴集團(tuán)控股有限公司