本申請涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，尤其涉及一種海量數(shù)據(jù)的處理方法及其裝置。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，在支持各類業(yè)務(wù)需求的情況下，通常需要對海量數(shù)據(jù)的進(jìn)行重復(fù)利用和網(wǎng)絡(luò)資源的合理優(yōu)化。

由于網(wǎng)站的流量上升，每天產(chǎn)生的數(shù)據(jù)到了pb級別，需要處理這些數(shù)據(jù)的存儲和計(jì)算資源是相當(dāng)可觀的。而且如果沒有對數(shù)據(jù)做統(tǒng)一管理，各個業(yè)務(wù)都需要對這pb級別的數(shù)據(jù)進(jìn)行復(fù)制、過濾、轉(zhuǎn)儲，造成了計(jì)算資源、存儲資源的浪費(fèi)。

假設(shè)：1pb數(shù)據(jù)需要100臺計(jì)算機(jī)器和100臺存儲機(jī)器，則

a業(yè)務(wù)(比如風(fēng)控)如需要分析這1pb數(shù)據(jù)，則需要200臺以內(nèi)的機(jī)器；

b業(yè)務(wù)(比如營銷1)如需要分析這1pb數(shù)據(jù)，則需要200臺以內(nèi)的機(jī)器；

c業(yè)務(wù)(比如營銷2)如需要分析這1pb數(shù)據(jù)，則需要200臺以內(nèi)的機(jī)器；

d業(yè)務(wù)(比如離線)如需要分析這1pb數(shù)據(jù)，則需要200臺以內(nèi)的機(jī)器。

實(shí)際這類場景很多，每個業(yè)務(wù)需要數(shù)據(jù)的時候都從源頭取數(shù)據(jù)，當(dāng)業(yè)務(wù)越來越多的時候，比如接了100個業(yè)務(wù)，就需要2萬臺機(jī)器。

因此，如何優(yōu)化海量數(shù)據(jù)的處理過程成為亟需解決的技術(shù)問題。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本申請?zhí)峁┮环N海量數(shù)據(jù)的處理方法及其裝置，其能夠優(yōu)化海量數(shù)據(jù)的處理過程，節(jié)約了計(jì)算資源和存儲資源。

本申請?zhí)峁┮环N海量數(shù)據(jù)的處理方法，應(yīng)用于服務(wù)器端，所述方法包括：

接收各業(yè)務(wù)處理的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息；

根據(jù)針對所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對所述各業(yè)務(wù)的數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集；

推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，以獲得與所述指令集對應(yīng)的數(shù)據(jù)；

存儲各系統(tǒng)發(fā)送的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對應(yīng)的業(yè)務(wù)處理。

在本申請一具體實(shí)施例中，所述數(shù)據(jù)的調(diào)度要求信息包括：優(yōu)先級信息、延時處理信息以及災(zāi)備處理信息。

在本申請一具體實(shí)施例中，所述合并規(guī)則為：

如所述數(shù)據(jù)需求需要立即處理，或者所述數(shù)據(jù)需求為高保證，則所述優(yōu)先級信息和所述災(zāi)備處理信息歸并后的處理級別為高，所述延時處理信息取最小值。

在本申請一具體實(shí)施例中，所述根據(jù)針對所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對所述各業(yè)務(wù)的數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集之前還包括：

約定各系統(tǒng)數(shù)據(jù)的數(shù)據(jù)格式。

在本申請一具體實(shí)施例中，所述推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，以獲得與所述指令集對應(yīng)的數(shù)據(jù)還包括：

根據(jù)集群處理能力，按照所述數(shù)據(jù)的等級，接收各系統(tǒng)傳輸?shù)乃鰯?shù)據(jù)。

在本申請一具體實(shí)施例中，所述推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，獲得與所述指令集對應(yīng)的數(shù)據(jù)還包括：

根據(jù)服務(wù)器端的集群處理能力，分配各通道數(shù)據(jù)傳輸?shù)馁Y源開銷比例， 以保證各業(yè)務(wù)處理的運(yùn)行。

在本申請一具體實(shí)施例中，所述存儲各系統(tǒng)發(fā)送的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對應(yīng)的業(yè)務(wù)處理包括：

存儲各系統(tǒng)發(fā)送的數(shù)據(jù)；

查詢所存儲數(shù)據(jù)的索引值，獲取對應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理；

若全部業(yè)務(wù)處理完成，則將索引值標(biāo)記為可刪除，根據(jù)所述標(biāo)記對索引空間和數(shù)據(jù)空間進(jìn)行安全釋放。

本申請?zhí)峁┮环N海量數(shù)據(jù)的處理裝置，應(yīng)用于服務(wù)器端，所述方法包括：

接收模塊，用于接收各業(yè)務(wù)處理的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息；

注冊模塊，用于根據(jù)針對所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對所述各業(yè)務(wù)的數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集；

發(fā)送模塊，用于推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，以獲得與所述指令集對應(yīng)的數(shù)據(jù)；

調(diào)度模塊，用于存儲各系統(tǒng)發(fā)送的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對應(yīng)的業(yè)務(wù)處理。

在本申請一具體實(shí)施例中，所述數(shù)據(jù)的調(diào)度要求信息包括：優(yōu)先級信息、延時處理信息以及災(zāi)備處理信息。

在本申請一具體實(shí)施例中，所述合并規(guī)則為：

如所述數(shù)據(jù)需求需要立即處理，或者所述數(shù)據(jù)需求為高保證，則所述優(yōu)先級信息和所述災(zāi)備處理信息歸并后的處理級別為高，所述延時處理信息取最小值。

在本申請一具體實(shí)施例中，注冊模塊還用于約定各系統(tǒng)數(shù)據(jù)的數(shù)據(jù)格式。

在本申請一具體實(shí)施例中，所述發(fā)送模塊還用于根據(jù)集群處理能力，按照所述數(shù)據(jù)的等級，接收各系統(tǒng)傳輸?shù)乃鰯?shù)據(jù)。

在本申請一具體實(shí)施例中，所述發(fā)送模塊還用于根據(jù)服務(wù)器端的集群處理能力，分配各通道數(shù)據(jù)傳輸?shù)馁Y源開銷比例，保證各業(yè)務(wù)處理的運(yùn)行。

在本申請一具體實(shí)施例中，所述調(diào)度模塊包括：

存儲單元，用于存儲各系統(tǒng)發(fā)送的數(shù)據(jù)；

查詢單元，用于查詢所存儲數(shù)據(jù)的索引值，獲取對應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理；

回收單元，用于若全部業(yè)務(wù)處理完成，則將索引值標(biāo)記為可刪除，根據(jù)所述標(biāo)記對索引空間和數(shù)據(jù)空間進(jìn)行安全釋放。

由以上技術(shù)方案可見，本申請接收各業(yè)務(wù)處理的數(shù)據(jù)需求及其調(diào)度要求信息，并根據(jù)針對所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對各數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集。從而，根據(jù)所述數(shù)據(jù)需求指令集獲得與所述指令集對應(yīng)的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對應(yīng)的業(yè)務(wù)處理。本申請能夠優(yōu)化海量數(shù)據(jù)的處理過程，節(jié)約了計(jì)算資源和存儲資源。

附圖說明

為了更清楚地說明本申請實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本申請所應(yīng)用分布式服務(wù)器的硬件結(jié)構(gòu)圖；

圖2是本申請一種海量數(shù)據(jù)的處理方法的流程圖；

圖3是本申請一種海量數(shù)據(jù)的處理方法中步驟s4的流程圖；

圖4是本申請一種海量數(shù)據(jù)的處理裝置的結(jié)構(gòu)圖；

圖5是本申請一種海量數(shù)據(jù)的處理裝置中調(diào)度模塊的結(jié)構(gòu)圖。

具體實(shí)施方式

本申請接收各業(yè)務(wù)處理的數(shù)據(jù)需求及其調(diào)度要求信息，并根據(jù)針對所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對各數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集。從而，根據(jù)所述數(shù)據(jù)需求指令集獲得與所述指令集對 應(yīng)的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對應(yīng)的業(yè)務(wù)處理。本申請能夠優(yōu)化海量數(shù)據(jù)的處理過程，節(jié)約了計(jì)算資源和存儲資源。

當(dāng)然，實(shí)施本申請的任一技術(shù)方案必不一定需要同時達(dá)到以上所述的所有優(yōu)點(diǎn)。

為了使本領(lǐng)域的人員更好地理解本申請中的技術(shù)方案，下面將結(jié)合本申請實(shí)施例中的附圖，對本申請實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本申請一部分實(shí)施例，而不是全部的實(shí)施例?；诒旧暾堉械膶?shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本申請保護(hù)的范圍。

本申請?zhí)峁┮环N海量數(shù)據(jù)的處理方法，應(yīng)用于分布式服務(wù)器，參看圖1，分布式服務(wù)器1的硬件結(jié)構(gòu)包括控制器11、存儲器12以及其他硬件13。

參看圖2，本申請所述方法2包括：

s1、接收各業(yè)務(wù)處理的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息。

所述數(shù)據(jù)的調(diào)度要求信息包括：優(yōu)先級信息、延時處理信息以及災(zāi)備處理信息。

具體地，優(yōu)先級信息：

對應(yīng)位為1，則表示立即處理，對應(yīng)位為0，則表示延時處理。

延時處理信息：

0檔，1檔，2檔，3檔，4檔，5檔。這些檔位對應(yīng)不同的延時時間。需要說明的是，如果是0檔，就表示無延時。

災(zāi)備處理：

對應(yīng)位為1，表示高保證，對應(yīng)位為0，表示允許丟棄。

在本申請一具體實(shí)現(xiàn)中，接收業(yè)務(wù)1、業(yè)務(wù)2、業(yè)務(wù)3、業(yè)務(wù)4的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息。

業(yè)務(wù)1，需要立即處理且無延時且高保證，需要系統(tǒng)1的data11數(shù)據(jù)和系統(tǒng)2的data21數(shù)據(jù)。

業(yè)務(wù)2，需要立即處理且無延時且允許丟棄，需要系統(tǒng)2的data22數(shù)據(jù)和系統(tǒng)3的data32數(shù)據(jù)。

業(yè)務(wù)3，需要延時處理且2s延時且高保證，需要系統(tǒng)1的data11數(shù)據(jù)和系統(tǒng)2的data22數(shù)據(jù)。

業(yè)務(wù)4，需要延時處理且3s延時且允許丟棄，需要系統(tǒng)1的data12數(shù)據(jù)、系統(tǒng)2的data23數(shù)據(jù)和系統(tǒng)3的data33數(shù)據(jù)。

上面描述的整理表格表一所述。

表一：

具體地，為了保證各業(yè)務(wù)對各系統(tǒng)的數(shù)據(jù)的理解是相同的，所以需要有元數(shù)據(jù)中心來約定各系統(tǒng)數(shù)據(jù)的數(shù)據(jù)格式。

s2、根據(jù)針對所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對所述各業(yè)務(wù)的數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集。

所述合并規(guī)則為：

如所述數(shù)據(jù)需求需要立即處理，或者所述數(shù)據(jù)需求為高保證，則所述優(yōu)先級信息和所述災(zāi)備處理信息歸并后的處理級別為高，所述延時處理信息取最小值。

具體的，根據(jù)表一所述優(yōu)先級信息和所述災(zāi)備處理信息，所述約定合并規(guī)則為所述優(yōu)先級信息和所述災(zāi)備處理信息取邏輯或計(jì)算，所述延時處理信息取最小值。

具體地，將步驟s1中的數(shù)據(jù)需求進(jìn)行合并打包，如表二所示。

表二：

s3、推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，以獲得與所述指令集對應(yīng)的數(shù)據(jù)。

具體地，所述系統(tǒng)嵌入客戶端軟件，在系統(tǒng)啟動時或者接收到所述服務(wù)器發(fā)送的數(shù)據(jù)需求指令集，在系統(tǒng)內(nèi)部進(jìn)行計(jì)算與數(shù)據(jù)收集，將與所述指令集對應(yīng)的數(shù)據(jù)發(fā)送至所述服務(wù)器。

具體地，對于系統(tǒng)1表二中的data11數(shù)據(jù)(1,0檔,1)，收集到一條就立即往服務(wù)器傳輸一條。對于系統(tǒng)1表二中的data12數(shù)據(jù)(0,3檔,0)，收集到一條會先暫存，等到閥值(時間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對于系統(tǒng)2表二中的data21數(shù)據(jù)、data22數(shù)據(jù)(1,0檔,1)，收集到一條就立即往服務(wù)器傳輸一條。對于系統(tǒng)2表二中的data23數(shù)據(jù)(0,3檔,0)，收集到一條會先暫存，等到閥值(時間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對于系統(tǒng)3表二中的data32數(shù)據(jù)(1,0檔,0)，收集到一條就立即往服務(wù)器傳輸一條。對于系統(tǒng)2表二中的data33數(shù)據(jù)(0,3檔,0)，收集到一條會先暫存，等到閥值(時間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對于系統(tǒng)客戶端立即往服務(wù)器傳輸?shù)臄?shù)據(jù)，通過前幾次數(shù)據(jù)傳輸和服務(wù)端調(diào)度，可以算出一個最優(yōu)傳輸路徑，然后生成一個令牌給系統(tǒng)的客戶端，形成客戶端和服務(wù)端的高速通道，以獲得最小的延時。

系統(tǒng)客戶端啟動的時候會根據(jù)自身的cpu、磁盤、操作系統(tǒng)的位數(shù)，算出本地緩存的限值。當(dāng)即將超過本地緩存的限值時，客戶端申請服務(wù)器端的快速通道資源令牌，通過服務(wù)器端的快速通道將超過本地緩存的數(shù)據(jù)存儲到額外的存儲器中。服務(wù)器端的快速通道用于緊急數(shù)據(jù)的處理。

為了保證業(yè)務(wù)處理得到精準(zhǔn)的數(shù)據(jù)，可在所述客戶端和服務(wù)器端接收數(shù)據(jù)時進(jìn)行數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理包括：運(yùn)算、排序、歸并操作。比如，某業(yè)務(wù)是實(shí)時統(tǒng)計(jì)各類支付渠道使用銀行卡進(jìn)行支付時，各銀行支付的總額。如果每筆交易都發(fā)到服務(wù)端通過流式計(jì)算對每秒百萬級的數(shù)據(jù)進(jìn)行過濾、統(tǒng)計(jì)，需要一個較大的集群支持。如果在客戶端做預(yù)處理，比如，對本機(jī)的銀行卡交易做過濾、1秒內(nèi)匯總，則可以節(jié)約大量的服務(wù)器計(jì)算資源。

具體地，服務(wù)器端根據(jù)其集群處理能力，按照所述數(shù)據(jù)的等級，接收各系統(tǒng)傳輸?shù)乃鰯?shù)據(jù)。即，優(yōu)先級信息和延時處理信息高級別，災(zāi)備處理信息高保證的數(shù)據(jù)低延時處理；優(yōu)先級信息和延時處理信息低級別，災(zāi)備處理信息低保證的數(shù)據(jù)高延時處理。

根據(jù)服務(wù)器端的集群處理能力，分配各通道數(shù)據(jù)傳輸?shù)馁Y源開銷比例，保證各業(yè)務(wù)處理的運(yùn)行。

服務(wù)器端會根據(jù)集群能力預(yù)先分配經(jīng)各通道接收客戶端所發(fā)送數(shù)據(jù)的資源開銷比例，保證各業(yè)務(wù)處理的正常運(yùn)行。

具體地，各通道包括：立即處理、延時處理、快速通道，預(yù)先分配器資源開銷的比例，比如(50％，40％，10％)。在上線過程中，保證業(yè)務(wù)處理單元在可控范圍內(nèi)運(yùn)行。所述資源分配在集群運(yùn)行期會被自動優(yōu)化。

服務(wù)器端的災(zāi)備策略先對可以延時處理的通道做降級，然后對即時處理可以丟棄數(shù)據(jù)做降級，最后對快速通道入口做降級。

服務(wù)端會對數(shù)據(jù)通道資源監(jiān)控，通過一定的算法調(diào)整通道資源。

所述算法主要功能是均衡通道資源，其原理與負(fù)載均衡算法類似，可以結(jié)合業(yè)務(wù)選擇改進(jìn)。比如：響應(yīng)比優(yōu)先算法、固定權(quán)重算法、加權(quán)最少連接算法。

s4、存儲各系統(tǒng)發(fā)送的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對應(yīng)的業(yè)務(wù)處理。

在本申請另一具體實(shí)現(xiàn)中，參見圖3，所述步驟s4包括：

s41、存儲各系統(tǒng)發(fā)送的數(shù)據(jù)。

具體地，服務(wù)器端存儲接收到的全部數(shù)據(jù)，為了災(zāi)備，存儲3份全部數(shù)據(jù)。

s42、查詢所存儲數(shù)據(jù)的索引值，獲取對應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理。

本申請數(shù)據(jù)索引流向一個環(huán)形數(shù)據(jù)流中，從所述環(huán)形流中接收到索引值，獲取對應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理。

s43、若全部業(yè)務(wù)處理完成，則將索引值標(biāo)記為可刪除，根據(jù)所述標(biāo)記對索引空間和數(shù)據(jù)空間進(jìn)行安全釋放。

本申請能夠優(yōu)化海量數(shù)據(jù)的處理過程，節(jié)約了計(jì)算資源和存儲資源。

對應(yīng)上述方法，本申請還提供一種海量數(shù)據(jù)的處理裝置，應(yīng)用于分布式服務(wù)器，參看圖1，分布式服務(wù)器1的硬件結(jié)構(gòu)包括控制器11、存儲器12 以及其他硬件13。

參看圖4，本申請所述裝置4包括：

接收模塊41，用于接收各業(yè)務(wù)處理的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息。

注冊模塊42，用于根據(jù)針對所述數(shù)據(jù)需求預(yù)設(shè)的合并策略及其調(diào)度要求信息，對所述各業(yè)務(wù)的數(shù)據(jù)需求進(jìn)行合并打包，形成數(shù)據(jù)需求指令集。

發(fā)送模塊43，用于推送所述數(shù)據(jù)需求指令集至各系統(tǒng)，以獲得與所述指令集對應(yīng)的數(shù)據(jù)。

調(diào)度模塊44，用于存儲各系統(tǒng)發(fā)送的數(shù)據(jù)，并調(diào)度所述數(shù)據(jù)進(jìn)行對應(yīng)的業(yè)務(wù)處理。

所述數(shù)據(jù)的調(diào)度要求信息包括：優(yōu)先級信息、延時處理信息以及災(zāi)備處理信息。

具體地，優(yōu)先級信息：

對應(yīng)位為1，則表示立即處理，對應(yīng)位為0，則表示延時處理。

延時處理信息：

0檔，1檔，2檔，3檔，4檔，5檔。這些檔位對應(yīng)不同的延時時間。需要說明的是，如果是0檔，就表示無延時。

災(zāi)備處理：

對應(yīng)位為1，表示高保證，對應(yīng)位為0，表示允許丟棄。

在本申請一具體實(shí)現(xiàn)中，接收業(yè)務(wù)1、業(yè)務(wù)2、業(yè)務(wù)3、業(yè)務(wù)4的數(shù)據(jù)需求，以及所述數(shù)據(jù)需求的調(diào)度要求信息。

業(yè)務(wù)1，需要立即處理且無延時且高保證，需要系統(tǒng)1的data11數(shù)據(jù)和系統(tǒng)2的data21數(shù)據(jù)。

業(yè)務(wù)2，需要立即處理且無延時且允許丟棄，需要系統(tǒng)2的data22數(shù)據(jù)和系統(tǒng)3的data32數(shù)據(jù)。

業(yè)務(wù)3，需要延時處理且2s延時且高保證，需要系統(tǒng)1的data11數(shù)據(jù)和系統(tǒng)2的data22數(shù)據(jù)。

業(yè)務(wù)4，需要延時處理且3s延時且允許丟棄，需要系統(tǒng)1的data12數(shù)據(jù)、系統(tǒng)2的data23數(shù)據(jù)和系統(tǒng)3的data33數(shù)據(jù)。

上面描述的整理表格表一所述。

表一：

具體地，為了保證各業(yè)務(wù)對各系統(tǒng)的數(shù)據(jù)的理解是相同的，所以需要有元數(shù)據(jù)中心來約定各系統(tǒng)數(shù)據(jù)的數(shù)據(jù)格式。

所述合并規(guī)則為：

如所述數(shù)據(jù)需求需要立即處理，或者所述數(shù)據(jù)需求為高保證，則所述優(yōu)先級信息和所述災(zāi)備處理信息歸并后的處理級別為高，所述延時處理信息取最小值。

具體的，根據(jù)表一所述優(yōu)先級信息和所述災(zāi)備處理信息，所述約定合并規(guī)則為所述優(yōu)先級信息和所述災(zāi)備處理信息取邏輯或計(jì)算，所述延時處理信息取最小值。

具體地，將接收模塊41中的數(shù)據(jù)需求進(jìn)行合并打包，如表二所示。

表二：

具體地，所述系統(tǒng)嵌入客戶端軟件，在系統(tǒng)啟動時或者接收到所述服務(wù)器發(fā)送的數(shù)據(jù)需求指令集，在系統(tǒng)內(nèi)部進(jìn)行計(jì)算與數(shù)據(jù)收集，將與所述指令集對應(yīng)的數(shù)據(jù)發(fā)送至所述服務(wù)器。

具體地，對于系統(tǒng)1表二中的data11數(shù)據(jù)(1,0檔,1)，收集到一條就立即往服務(wù)器傳輸一條。對于系統(tǒng)1表二中的data12數(shù)據(jù)(0,3檔,0)，收集到一條會先暫存，等到閥值(時間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對于系統(tǒng)2表二中的data21數(shù)據(jù)、data22數(shù)據(jù)(1,0檔,1)，收集到一條就立即往服務(wù)器傳輸一條。對于系統(tǒng)2表二中的data23數(shù)據(jù)(0,3檔,0)，收集到一條會先暫存，等到閥值(時間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對于系統(tǒng)3表二中的data32數(shù)據(jù)(1,0檔,0)，收集到一條就立即往服務(wù)器 傳輸一條。對于系統(tǒng)2表二中的data33數(shù)據(jù)(0,3檔,0)，收集到一條會先暫存，等到閥值(時間、容量、數(shù)量等)到達(dá)3檔，再往服務(wù)端上傳數(shù)據(jù)。

對于系統(tǒng)客戶端立即往服務(wù)器傳輸?shù)臄?shù)據(jù)，通過前幾次數(shù)據(jù)傳輸和服務(wù)端調(diào)度，可以算出一個最優(yōu)傳輸路徑，然后生成一個令牌給系統(tǒng)的客戶端，形成客戶端和服務(wù)端的高速通道，以獲得最小的延時。

系統(tǒng)客戶端啟動的時候會根據(jù)自身的cpu、磁盤、操作系統(tǒng)的位數(shù)，算出本地緩存的限值。當(dāng)即將超過本地緩存的限值時，客戶端申請服務(wù)器端的快速通道資源令牌，通過服務(wù)器端的快速通道將超過本地緩存的數(shù)據(jù)存儲到額外的存儲器中。服務(wù)器端的快速通道用于緊急數(shù)據(jù)的處理。

為了保證業(yè)務(wù)處理得到精準(zhǔn)的數(shù)據(jù)，可在所述客戶端和服務(wù)器端接收數(shù)據(jù)時進(jìn)行數(shù)據(jù)預(yù)處理。數(shù)據(jù)預(yù)處理包括：運(yùn)算、排序、歸并操作。比如，某業(yè)務(wù)是實(shí)時統(tǒng)計(jì)各類支付渠道使用銀行卡進(jìn)行支付時，各銀行支付的總額。如果每筆交易都發(fā)到服務(wù)端通過流式計(jì)算對每秒百萬級的數(shù)據(jù)進(jìn)行過濾、統(tǒng)計(jì)，需要一個較大的集群支持。如果在客戶端做預(yù)處理，比如，對本機(jī)的銀行卡交易做過濾、1秒內(nèi)匯總，則可以節(jié)約大量的服務(wù)器計(jì)算資源。

具體地，服務(wù)器端根據(jù)其集群處理能力，按照所述數(shù)據(jù)的等級，接收各系統(tǒng)傳輸?shù)乃鰯?shù)據(jù)。即，優(yōu)先級信息和延時處理信息高級別，災(zāi)備處理信息高保證的數(shù)據(jù)低延時處理；優(yōu)先級信息和延時處理信息低級別，災(zāi)備處理信息低保證的數(shù)據(jù)高延時處理。

根據(jù)服務(wù)器端的集群處理能力，分配各通道數(shù)據(jù)傳輸?shù)馁Y源開銷比例，保證各業(yè)務(wù)處理的運(yùn)行。

服務(wù)器端會根據(jù)集群能力預(yù)先分配經(jīng)各通道接收客戶端所發(fā)送數(shù)據(jù)的資源開銷比例，保證各業(yè)務(wù)處理的正常運(yùn)行。

具體地，各通道包括：立即處理、延時處理、快速通道，預(yù)先分配器資源開銷的比例，比如(50％，40％，10％)。在上線過程中，保證業(yè)務(wù)處理單元在可控范圍內(nèi)運(yùn)行。所述資源分配在集群運(yùn)行期會被自動優(yōu)化。

服務(wù)器端的災(zāi)備策略先對可以延時處理的通道做降級，然后對即時處理 可以丟棄數(shù)據(jù)做降級，最后對快速通道入口做降級。

服務(wù)端會對數(shù)據(jù)通道資源監(jiān)控，通過一定的算法調(diào)整通道資源。

所述算法主要功能是均衡通道資源，其原理與負(fù)載均衡算法類似，可以結(jié)合業(yè)務(wù)選擇改進(jìn)。比如：響應(yīng)比優(yōu)先算法、固定權(quán)重算法、加權(quán)最少連接算法。

在本申請另一具體實(shí)現(xiàn)中，參見圖5，所述調(diào)度模塊44包括：

存儲單元441，用于存儲各系統(tǒng)發(fā)送的數(shù)據(jù)。

具體地，服務(wù)器端存儲接收到的全部數(shù)據(jù)，為了災(zāi)備，存儲3份全部數(shù)據(jù)。

查詢單元442，用于查詢所存儲數(shù)據(jù)的索引值，獲取對應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理。

本申請數(shù)據(jù)索引流向一個環(huán)形數(shù)據(jù)流中，從所述環(huán)形流中接收到索引值，獲取對應(yīng)的數(shù)據(jù)并進(jìn)行業(yè)務(wù)處理。

回收單元443，用于若全部業(yè)務(wù)處理完成，則將索引值標(biāo)記為可刪除，根據(jù)所述標(biāo)記對索引空間和數(shù)據(jù)空間進(jìn)行安全釋放。

本申請能夠優(yōu)化海量數(shù)據(jù)的處理過程，節(jié)約了計(jì)算資源和存儲資源。

本申請的實(shí)施例所提供的裝置可通過計(jì)算機(jī)程序?qū)崿F(xiàn)。本領(lǐng)域技術(shù)人員應(yīng)該能夠理解，上述的單元以及模塊劃分方式僅是眾多劃分方式中的一種，如果劃分為其他單元或模塊或不劃分塊，只要信息對象的具有上述功能，都應(yīng)該在本申請的保護(hù)范圍之內(nèi)。

本領(lǐng)域的技術(shù)人員應(yīng)明白，本申請的實(shí)施例可提供為方法、裝置(設(shè)備)、或計(jì)算機(jī)程序產(chǎn)品。因此，本申請可采用完全硬件實(shí)施例、完全軟件實(shí)施例、或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請可采用在一個或多個其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、cd-rom、光學(xué)存儲器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。

本申請是參照根據(jù)本申請實(shí)施例的方法、裝置(設(shè)備)和計(jì)算機(jī)程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計(jì)算機(jī)程序指令實(shí)現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計(jì)算機(jī)程序指令到通用計(jì)算機(jī)、專用計(jì)算機(jī)、嵌入式處理機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機(jī)器，使得通過計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實(shí)現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計(jì)算機(jī)程序指令也可存儲在能引導(dǎo)計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計(jì)算機(jī)可讀存儲器中，使得存儲在該計(jì)算機(jī)可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實(shí)現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。

這些計(jì)算機(jī)程序指令也可裝載到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計(jì)算機(jī)實(shí)現(xiàn)的處理，從而在計(jì)算機(jī)或其他可編程設(shè)備上執(zhí)行的指令提供用于實(shí)現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。

盡管已描述了本申請的優(yōu)選實(shí)施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對這些實(shí)施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實(shí)施例以及落入本申請范圍的所有變更和修改。顯然，本領(lǐng)域的技術(shù)人員可以對本申請進(jìn)行各種改動和變型而不脫離本申請的精神和范圍。這樣，倘若本申請的這些修改和變型屬于本申請權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本申請也意圖包含這些改動和變型在內(nèi)。