批處理任務(wù)處理系統(tǒng)和方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及任務(wù)處理技術(shù)領(lǐng)域，特別是涉及一種批處理任務(wù)處理系統(tǒng)和方法。
【背景技術(shù)】
[0002]云存儲(chǔ)將數(shù)據(jù)分布在大量分布式計(jì)算機(jī)上，降低部署成本，提高存儲(chǔ)效率，增強(qiáng)靈活性，使得存儲(chǔ)獲得很強(qiáng)的可擴(kuò)展能力?，F(xiàn)有的云存儲(chǔ)產(chǎn)品具備跨平臺(tái)存儲(chǔ)及批量處理上傳、轉(zhuǎn)存、刪除文件等功能，較好的滿足了用戶上傳、轉(zhuǎn)存、共享文件的使用需求。
[0003]傳統(tǒng)的批處理任務(wù)處理系統(tǒng)包括移動(dòng)終端和服務(wù)器端，移動(dòng)終端包含第一遠(yuǎn)程訪問模塊;服務(wù)器端包含緩存、阻塞隊(duì)列、數(shù)據(jù)庫和第二遠(yuǎn)程訪問模塊。其中緩存具有黑名單，用以存儲(chǔ)被刪除的數(shù)據(jù)。移動(dòng)終端通過第一遠(yuǎn)程訪問模塊訪問服務(wù)器端，服務(wù)器端通過第二遠(yuǎn)程訪問模塊與移動(dòng)終端通信。對(duì)于數(shù)量比較大的批量任務(wù)操作，用戶無感知且需要等候很久之后才能獲取到批量操作的返回結(jié)果。傳統(tǒng)的批處理任務(wù)處理系統(tǒng)存在處理便利性差的缺點(diǎn)。

【發(fā)明內(nèi)容】

[0004]基于此，有必要針對(duì)上述問題，提供一種可提高處理便利性的批處理任務(wù)處理系統(tǒng)和方法。
[0005]—種批處理任務(wù)處理系統(tǒng)，包括客戶終端、業(yè)務(wù)層服務(wù)器、緩存服務(wù)器和任務(wù)服務(wù)器，所述客戶終端與所述業(yè)務(wù)層服務(wù)器通信連接，所述業(yè)務(wù)層服務(wù)器連接所述緩存服務(wù)器，所述緩存服務(wù)器連接所述任務(wù)服務(wù)器，
[0006]所述客戶終端用于發(fā)送任務(wù)請(qǐng)求至所述業(yè)務(wù)層服務(wù)器；
[0007]所述業(yè)務(wù)層服務(wù)器用于根據(jù)所述任務(wù)請(qǐng)求創(chuàng)建批處理任務(wù)并進(jìn)行封裝后存入所述緩存服務(wù)器，以及從所述緩存服務(wù)器中獲取批處理任務(wù)的處理結(jié)果并發(fā)送至所述客戶終端；
[0008]所述任務(wù)服務(wù)器用于獲取所述緩存服務(wù)器中的批處理任務(wù)進(jìn)行處理，并將批處理任務(wù)的處理結(jié)果存入所述緩存服務(wù)器。
[0009]—種批處理任務(wù)處理方法，包括以下步驟:
[0010]通過客戶終端發(fā)送任務(wù)請(qǐng)求至業(yè)務(wù)層服務(wù)器；
[0011 ]通過所述業(yè)務(wù)層服務(wù)器根據(jù)所述任務(wù)請(qǐng)求創(chuàng)建批處理任務(wù)并進(jìn)行封裝后存入緩存服務(wù)器；
[0012]通過任務(wù)服務(wù)器獲取所述緩存服務(wù)器中的批處理任務(wù)進(jìn)行處理，并將批處理任務(wù)的處理結(jié)果存入所述緩存服務(wù)器；
[0013]通過所述業(yè)務(wù)層服務(wù)器從所述緩存服務(wù)器中獲取批處理任務(wù)的處理結(jié)果并發(fā)送至所述客戶終端。
[0014]上述批處理任務(wù)處理系統(tǒng)和方法，通過客戶終端發(fā)送任務(wù)請(qǐng)求至業(yè)務(wù)層服務(wù)器；通過業(yè)務(wù)層服務(wù)器根據(jù)任務(wù)請(qǐng)求創(chuàng)建批處理任務(wù)并進(jìn)行封裝后存入緩存服務(wù)器。通過任務(wù)服務(wù)器獲取緩存服務(wù)器中的批處理任務(wù)進(jìn)行處理，并將批處理任務(wù)的處理結(jié)果存入緩存服務(wù)器;通過業(yè)務(wù)層服務(wù)器從緩存服務(wù)器中獲取批處理任務(wù)的處理結(jié)果并發(fā)送至客戶終端。在進(jìn)行批量任務(wù)操作時(shí)，用戶可通過客戶終端查詢批量操作返回的處理結(jié)果，以便知曉任務(wù)進(jìn)度和估量操作完成還需要的等候時(shí)間，提高了處理便利性。
【附圖說明】
[00?5]圖1為一實(shí)施例中批處理任務(wù)處理系統(tǒng)的結(jié)構(gòu)圖；
[0016]圖2為一實(shí)施例中批處理任務(wù)處理系統(tǒng)的流程圖；
[0017]圖3為另一實(shí)施例中批處理任務(wù)處理系統(tǒng)的流程圖。
【具體實(shí)施方式】
[0018]一種批處理任務(wù)處理系統(tǒng)，如圖1所示，包括客戶終端110、業(yè)務(wù)層服務(wù)器120、緩存服務(wù)器130和任務(wù)服務(wù)器140，客戶終端110與業(yè)務(wù)層服務(wù)器120通信連接，業(yè)務(wù)層服務(wù)器120連接緩存服務(wù)器130，緩存服務(wù)器130連接任務(wù)服務(wù)器140。
[0019]客戶終端110用于發(fā)送任務(wù)請(qǐng)求至業(yè)務(wù)層服務(wù)器120。業(yè)務(wù)層服務(wù)器120用于根據(jù)任務(wù)請(qǐng)求創(chuàng)建批處理任務(wù)并進(jìn)行封裝后存入緩存服務(wù)器130，以及從緩存服務(wù)器130中獲取批處理任務(wù)的處理結(jié)果并發(fā)送至客戶終端110。任務(wù)服務(wù)器140用于獲取緩存服務(wù)器130中的批處理任務(wù)進(jìn)行處理，并將批處理任務(wù)的處理結(jié)果存入緩存服務(wù)器130。
[0020]客戶終端110為用戶提供本地服務(wù)的程序，客戶終端110具體可是臺(tái)式電腦、筆記本電腦或觸控屏手機(jī)等終端設(shè)備，用戶可通過客戶終端110的網(wǎng)頁發(fā)送任務(wù)請(qǐng)求至業(yè)務(wù)層服務(wù)器120，啟動(dòng)批量任務(wù)處理操作，任務(wù)請(qǐng)求具體可包含文件夾新建、轉(zhuǎn)存或刪除等請(qǐng)求。
[0021]業(yè)務(wù)層服務(wù)器120接收到客戶終端110發(fā)送的任務(wù)請(qǐng)求后，根據(jù)任務(wù)請(qǐng)求創(chuàng)建批處理任務(wù)并封裝任務(wù)對(duì)象，然后可將批處理任務(wù)放入緩存服務(wù)器130中待處理的緩存隊(duì)列。在將批處理任務(wù)存入緩存隊(duì)列后，業(yè)務(wù)層服務(wù)器120還可對(duì)存儲(chǔ)的批處理任務(wù)生成任務(wù)ID，以便后續(xù)進(jìn)行任務(wù)提取。
[0022]此外，業(yè)務(wù)層服務(wù)器120還可對(duì)存入緩存服務(wù)器130的批處理任務(wù)進(jìn)行監(jiān)控，對(duì)存儲(chǔ)時(shí)長(zhǎng)大于預(yù)設(shè)閾值的批處理任務(wù)進(jìn)行刪除，避免緩存隊(duì)列中任務(wù)過多影響處理效率，本實(shí)施例中預(yù)設(shè)閾值為24小時(shí)。
[0023]任務(wù)服務(wù)器140獲取緩存服務(wù)器130中的批處理任務(wù)，具體可先獲取待處理的批處理任務(wù)的任務(wù)ID，并根據(jù)任務(wù)ID生成key值，用以從緩存隊(duì)列中獲取任務(wù)對(duì)象。任務(wù)服務(wù)器140獲取到任務(wù)對(duì)象后執(zhí)行相應(yīng)的操作，并將處理結(jié)果寫入緩存服務(wù)器130中。例如當(dāng)任務(wù)服務(wù)器140開始檢測(cè)任務(wù)對(duì)象，任務(wù)的處理結(jié)果為檢測(cè)中，則把處理結(jié)果寫入緩存服務(wù)器130中。存儲(chǔ)在緩存服務(wù)器130中的處理結(jié)果可定時(shí)被業(yè)務(wù)層服務(wù)器120獲取到，并返回給客戶終端110，用戶就知曉批量任務(wù)在檢測(cè)中。
[0024]在其中一個(gè)實(shí)施例中，任務(wù)服務(wù)器140獲取緩存服務(wù)器130中的批處理任務(wù)進(jìn)行處理，并將批處理任務(wù)的處理結(jié)果存入緩存服務(wù)器130具體為，獲取批處理任務(wù)進(jìn)行解析得到子任務(wù)列表，根據(jù)對(duì)應(yīng)操作類型循環(huán)處理子任務(wù)列表中的子任務(wù)，并將處理結(jié)果存入緩存服務(wù)器130。操作類型具體可以是新建、轉(zhuǎn)存和刪除等，獲取到批處理任務(wù)后進(jìn)行解析，得到包含多個(gè)子任務(wù)的子任務(wù)列表，根據(jù)操作類型循環(huán)提取其中的子任務(wù)并定時(shí)將處理結(jié)果寫入緩存服務(wù)器130，避免任務(wù)處理出現(xiàn)遺漏。此外還可對(duì)不同的操作類型建立對(duì)應(yīng)的優(yōu)先級(jí)，可優(yōu)先處理重要任務(wù)，提高任務(wù)處理及時(shí)性。業(yè)務(wù)層服務(wù)器120定時(shí)讀取緩存服務(wù)器130中的處理結(jié)果并解析計(jì)算任務(wù)進(jìn)度，將處理結(jié)果及任務(wù)進(jìn)度返回給客戶終端110，呈現(xiàn)給用戶。
[0025]進(jìn)一步地，任務(wù)服務(wù)器140在根據(jù)對(duì)應(yīng)操作類型循環(huán)處理子任務(wù)列表中的子任務(wù)后，還將處理完畢的子任務(wù)記錄在緩存服務(wù)器130。在批處理任務(wù)處理階段，為了防止任務(wù)異常中斷，任務(wù)服務(wù)器140可將處理完畢的子任務(wù)寫入緩存服務(wù)器130的VALUE列表中，當(dāng)任務(wù)異常中斷，重新發(fā)起的任務(wù)在處理階段可和中斷隊(duì)列比較，已經(jīng)完成的任務(wù)不再重復(fù)執(zhí)行，既有效預(yù)防批處理任務(wù)異常中斷帶來的任務(wù)丟失，還節(jié)省任務(wù)流程，提高批處理任務(wù)的處理效率。
[0026]在其中一個(gè)實(shí)施例中，任務(wù)服務(wù)器140獲取緩存服務(wù)器130中的批處理任務(wù)進(jìn)行處理之前，還用于檢測(cè)批處理任務(wù)是否存在沖突;若是，則生成沖突任務(wù)，并將沖突任務(wù)的處理結(jié)果存入緩存服務(wù)器130;若否，則獲取緩存服務(wù)器130中的批處理任務(wù)進(jìn)行處理。業(yè)務(wù)層服務(wù)器120還用于獲取沖突任務(wù)的處理結(jié)果并發(fā)送至客戶終端110。
[0027]任務(wù)服務(wù)器140檢測(cè)任務(wù)對(duì)象是否有沖突，若有沖突則生成沖突任務(wù)，任務(wù)服務(wù)器140將處理結(jié)果:等待沖突確認(rèn)寫入緩存服務(wù)器130，該處理結(jié)果被業(yè)務(wù)層服務(wù)器120定時(shí)讀取獲取到，然后返回給客戶終端110，供用戶選擇解決沖突任務(wù)的方案。把沖突任務(wù)的解決方案交給用戶去選擇而不是強(qiáng)制執(zhí)行，以便用戶根據(jù)實(shí)際情況選擇應(yīng)對(duì)方式，提高了任務(wù)處理適用性。
[0028]進(jìn)一步地，在其中一個(gè)實(shí)施例中，客戶終端110還用于發(fā)送沖突任務(wù)批處理請(qǐng)求至業(yè)務(wù)層服務(wù)器120;業(yè)務(wù)層服務(wù)器120根據(jù)沖突任務(wù)批處理請(qǐng)求創(chuàng)建沖突批處理任務(wù)并存入