本發(fā)明涉及大數(shù)據(jù)分析領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、分布式文件系統(tǒng)及數(shù)據(jù)服務(wù)器。

背景技術(shù)：

大數(shù)據(jù)分析，是指企業(yè)采用各種方式捕獲到海量、多樣、真實的數(shù)據(jù)，然后對這些數(shù)據(jù)進(jìn)行分析處理。分布式文件系統(tǒng)是大數(shù)據(jù)分析的基礎(chǔ)，其中包含多個數(shù)據(jù)服務(wù)器，為大數(shù)據(jù)分析提供所需的數(shù)據(jù)。分布式文件系統(tǒng)對應(yīng)有多個客戶端，各個客戶端采用頁面埋點技術(shù)收集用戶行為數(shù)據(jù)，然后將采集的數(shù)據(jù)上報至分布式文件系統(tǒng)，由分布式文件系統(tǒng)過濾不合格的數(shù)據(jù)，保留合格的數(shù)據(jù)。

在現(xiàn)有技術(shù)中，分布式文件系統(tǒng)不能提供其內(nèi)部的數(shù)據(jù)處理情況，從而無法為技術(shù)人員判斷分布式文件系統(tǒng)的運(yùn)行情況提供依據(jù)。

技術(shù)實現(xiàn)要素：

有鑒于此，本發(fā)明提供一種數(shù)據(jù)處理方法、分布式文件系統(tǒng)及數(shù)據(jù)服務(wù)器，以解決現(xiàn)有技術(shù)中分布式文件系統(tǒng)不能提供其內(nèi)部的數(shù)據(jù)處理情況的問題。技術(shù)方案如下：

一種數(shù)據(jù)處理方法，所述方法應(yīng)用于分布式文件系統(tǒng)，所述方法包括：

接收客戶端上傳的數(shù)據(jù)；

統(tǒng)計接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；

過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

統(tǒng)計過濾掉的所有不合格數(shù)據(jù)的過濾數(shù)據(jù)總條數(shù)。

上述的方法，優(yōu)選的，所述分布式文件系統(tǒng)包括多個數(shù)據(jù)服務(wù)器；所述統(tǒng)計接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)，包括：

獲取每個所述數(shù)據(jù)服務(wù)器接收到數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；其中，所述接收數(shù)據(jù)條數(shù)由所述數(shù)據(jù)服務(wù)器統(tǒng)計該數(shù)據(jù)服務(wù)器所接收到的、所述客戶端上傳的數(shù)據(jù)的條數(shù)得到；

對獲取的各個所述接收數(shù)據(jù)條數(shù)求和，得到所述接收數(shù)據(jù)總條數(shù)。

上述的方法，優(yōu)選的，所述分布式文件系統(tǒng)包括多個數(shù)據(jù)服務(wù)器；所述統(tǒng)計過濾掉的所有不合格數(shù)據(jù)的過濾數(shù)據(jù)總條數(shù)，包括：

獲取每個所述數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的過濾數(shù)據(jù)條數(shù)；其中，所述過濾數(shù)據(jù)條數(shù)由所述數(shù)據(jù)服務(wù)器統(tǒng)計該數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的條數(shù)得到；

對獲取的各個所述過濾數(shù)據(jù)條數(shù)求和，得到所述過濾數(shù)據(jù)總條數(shù)。

上述的方法，優(yōu)選的，還包括：

實時顯示所述接收數(shù)據(jù)總條數(shù)和所述過濾數(shù)據(jù)總條數(shù)。

上述的方法，優(yōu)選的，還包括：

按照預(yù)設(shè)周期，保存所述接收數(shù)據(jù)總條數(shù)和所述過濾數(shù)據(jù)總條數(shù)。

上述的方法，優(yōu)選的，還包括：

當(dāng)接收到包含目標(biāo)時間范圍的查詢請求時，確定與所述目標(biāo)時間范圍相對應(yīng)的單位時間；

按所述單位時間將所述目標(biāo)時間范圍劃分成多個時間區(qū)間；

對于每一個所述時間區(qū)間，當(dāng)所述時間區(qū)間內(nèi)存在已保存的所述接收數(shù)據(jù)總條數(shù)和所述過濾數(shù)據(jù)總條數(shù)時，確定所述時間區(qū)間為目標(biāo)時間區(qū)間；

依據(jù)已保存的所述接收數(shù)據(jù)總條數(shù)和所述過濾數(shù)據(jù)總條數(shù)，計算所述目標(biāo)時間區(qū)間內(nèi)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過濾數(shù)據(jù)條數(shù)；

顯示與每個所述目標(biāo)時間區(qū)間相對應(yīng)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過濾數(shù)據(jù)條數(shù)。

上述的方法，優(yōu)選的，所述依據(jù)已保存的所述接收數(shù)據(jù)總條數(shù)和所述過濾數(shù)據(jù)總條數(shù)，計算所述目標(biāo)時間區(qū)間內(nèi)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過濾數(shù)據(jù)條數(shù)，包括：

在所述目標(biāo)時間區(qū)間內(nèi)，確定所述接收數(shù)據(jù)總條數(shù)的最大值和最小值，以及，確定所述過濾數(shù)據(jù)總條數(shù)的最大值和最小值；

對所述接收數(shù)據(jù)總條數(shù)的最大值和最小值做差，得到目標(biāo)接收數(shù)據(jù)條數(shù)，以及，對所述過濾數(shù)據(jù)總條數(shù)的最大值和最小值做差，得到目標(biāo)過濾數(shù)據(jù)條數(shù)。

一種數(shù)據(jù)處理方法，應(yīng)用于數(shù)據(jù)服務(wù)器，包括：

接收客戶端上傳的數(shù)據(jù)；

統(tǒng)計所述數(shù)據(jù)服務(wù)器接收到的所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；

過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

統(tǒng)計所述數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的過濾數(shù)據(jù)條數(shù)。

一種分布式文件系統(tǒng)，包括統(tǒng)計裝置和多個數(shù)據(jù)服務(wù)器，其中，所述統(tǒng)計裝置包括第一統(tǒng)計單元和第二統(tǒng)計單元；其中：

所述數(shù)據(jù)服務(wù)器用于，接收客戶端上傳的數(shù)據(jù)；

所述第一統(tǒng)計單元用于，統(tǒng)計每個所述數(shù)據(jù)服務(wù)器接收到所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；

所述數(shù)據(jù)服務(wù)器還用于，過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

所述第二統(tǒng)計單元用于，統(tǒng)計每個所述數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的過濾數(shù)據(jù)總條數(shù)。

一種數(shù)據(jù)服務(wù)器，包括：

接收單元，用于接收客戶端上傳的數(shù)據(jù)；

第一統(tǒng)計單元，用于統(tǒng)計所述數(shù)據(jù)服務(wù)器接收到的所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；

過濾單元，用于過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

第二統(tǒng)計單元，用于統(tǒng)計所述數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的過濾數(shù)據(jù)條數(shù)。

本發(fā)明提供了一種數(shù)據(jù)處理方法，應(yīng)用于分布式文件系統(tǒng)，該方法包括：接收客戶端上傳的數(shù)據(jù)；統(tǒng)計接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；統(tǒng)計過濾掉的所有不合格數(shù)據(jù)的過濾數(shù)據(jù)總條數(shù)。從而使得，分布式文件系統(tǒng)對接收到客戶端上傳的所有數(shù)據(jù)的條數(shù)，以及，對過濾掉的所有不合格數(shù)據(jù)的條數(shù)，分別進(jìn)行了統(tǒng)計，從而可使技術(shù)人員以統(tǒng)計的數(shù)據(jù)處理情況為依據(jù)，判斷分布式文件系統(tǒng)的運(yùn)行情況。

當(dāng)然，實施本發(fā)明的任一產(chǎn)品并不一定需要同時達(dá)到以上所述的所有優(yōu)點。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)提供的附圖獲得其他的附圖。

圖1為本發(fā)明提供的一種數(shù)據(jù)處理方法的流程圖；

圖2為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖3為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖4為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖5為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖6為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖7為本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖；

圖8為本發(fā)明提供的一種分布式文件系統(tǒng)的結(jié)構(gòu)示意圖；

圖9為本發(fā)明提供的一種數(shù)據(jù)服務(wù)器的結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。

在本發(fā)明中，客戶端指的是智能電視、互聯(lián)網(wǎng)電視機(jī)頂盒、有線電視機(jī)頂盒、智能手機(jī)、平板電腦和計算機(jī)等終端設(shè)備。

實施例一

本發(fā)明提供的一種數(shù)據(jù)處理方法的流程圖如圖1所示，該方法應(yīng)用于分布式文件系統(tǒng)，包括：

步驟s11：接收客戶端上傳的數(shù)據(jù)；

本實施例中，分布式文件系統(tǒng)對應(yīng)有多個客戶端，各客戶端采用“埋點”的方式采集用戶的行為數(shù)據(jù)。客戶端埋點采集的數(shù)據(jù)，當(dāng)滿足以下兩個條件中的任意一個時，即進(jìn)行上傳。兩個條件為：①用戶行為數(shù)據(jù)滿足預(yù)設(shè)條數(shù)，如20條，預(yù)設(shè)條數(shù)可以根據(jù)實際情況進(jìn)行設(shè)置；②滿足預(yù)設(shè)時間間隔，如1分鐘，同樣的，預(yù)設(shè)時間間隔也可以根據(jù)實際情況進(jìn)行設(shè)置。

分布式文件系統(tǒng)接收客戶端上傳的數(shù)據(jù)。

步驟s12：統(tǒng)計接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；

本實施例中，在所有客戶端上傳的數(shù)據(jù)中，對于接收到的所有數(shù)據(jù)，分布式文件系統(tǒng)統(tǒng)計它們的條數(shù)，作為接收數(shù)據(jù)總條數(shù)。接收數(shù)據(jù)總條數(shù)是一個累計值。

步驟s13：過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

本實施例中，步驟s13即為，分布式文件系統(tǒng)對接收到的所有數(shù)據(jù)中的不合格數(shù)據(jù)進(jìn)行過濾。不合格數(shù)據(jù)即不符合上報規(guī)范的數(shù)據(jù)。不合格數(shù)據(jù)如果不被篩除，將會占據(jù)真實數(shù)據(jù)的比例，最后導(dǎo)致大數(shù)據(jù)分析時結(jié)果失真。

步驟s14：統(tǒng)計過濾掉的所有不合格數(shù)據(jù)的過濾數(shù)據(jù)總條數(shù)。

本實施例中，對于在分布式文件系統(tǒng)中被過濾掉的所有不合格數(shù)據(jù)，分布式文件系統(tǒng)統(tǒng)計它們的條數(shù)，作為過濾數(shù)據(jù)總條數(shù)。過濾數(shù)據(jù)總條數(shù)是一個累計值。

本實施例提供的數(shù)據(jù)處理方法，接收客戶端上傳的數(shù)據(jù)；統(tǒng)計接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；統(tǒng)計過濾掉的所有不合格數(shù)據(jù)的過濾數(shù)據(jù)總條數(shù)。從而使得，分布式文件系統(tǒng)對接收到客戶端上傳的所有數(shù)據(jù)的條數(shù)，以及，對過濾掉的所有不合格數(shù)據(jù)的條數(shù)，分別進(jìn)行了統(tǒng)計，從而可使技術(shù)人員以統(tǒng)計的數(shù)據(jù)處理情況為依據(jù)，判斷分布式文件系統(tǒng)的運(yùn)行情況。

在前述的基礎(chǔ)上，進(jìn)一步的，本實施例提供的數(shù)據(jù)處理方法，可以應(yīng)對客戶端數(shù)據(jù)采集機(jī)制、生成機(jī)制、上報機(jī)制等問題。數(shù)據(jù)采集機(jī)制存在問題使客戶端無法正常采集數(shù)據(jù)，數(shù)據(jù)上報機(jī)制存在問題使客戶端無法上報數(shù)據(jù)，數(shù)據(jù)生成機(jī)制存在問題使客戶端上報的數(shù)據(jù)不符合規(guī)范而被過濾。這些問題，會使整個大數(shù)據(jù)系統(tǒng)出現(xiàn)異常。例如，廣東省網(wǎng)數(shù)據(jù)采集機(jī)制出現(xiàn)程序異常導(dǎo)致沒有采集到數(shù)據(jù)，進(jìn)而會使分布式文件系統(tǒng)無法從廣東省接收到數(shù)據(jù)，整個大數(shù)據(jù)系統(tǒng)也會因此出現(xiàn)異常。

如前述所說，本實施例提供的方法可使技術(shù)人員以統(tǒng)計的數(shù)據(jù)處理情況為依據(jù)，判斷分布式文件系統(tǒng)的運(yùn)行情況，也就可以及時發(fā)現(xiàn)數(shù)據(jù)采集機(jī)制、生成機(jī)制、上報機(jī)制等存在問題，避免數(shù)月過后發(fā)現(xiàn)無合格數(shù)據(jù)上報才給出補(bǔ)救措施的情況出現(xiàn)。

實施例二

在實施例一的基礎(chǔ)上，本實施例具體介紹實施例一中步驟s12和步驟s14的具體過程。在本實施例中，首先需要說明的是，在分布式文件系統(tǒng)中，包括多個數(shù)據(jù)服務(wù)器。

在分布式文件系統(tǒng)中，接收客戶端上傳的數(shù)據(jù)，以及，過濾客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)，均由系統(tǒng)內(nèi)的各個數(shù)據(jù)服務(wù)器完成。同樣的，與分布式文件系統(tǒng)對應(yīng)的多個客戶端，則是分別與各個數(shù)據(jù)服務(wù)器相對應(yīng)。

對于步驟s12，本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖如圖2所示，示出了統(tǒng)計接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)的具體步驟，包括：

步驟s21：獲取每個所述數(shù)據(jù)服務(wù)器接收到數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；其中，所述接收數(shù)據(jù)條數(shù)由所述數(shù)據(jù)服務(wù)器統(tǒng)計該數(shù)據(jù)服務(wù)器所接收到的、所述客戶端上傳的數(shù)據(jù)的條數(shù)得到；

本實施例中，對于任意一個數(shù)據(jù)服務(wù)器，該數(shù)據(jù)服務(wù)器對其所接收到的、客戶端上傳的數(shù)據(jù)的條數(shù)進(jìn)行統(tǒng)計，得到該數(shù)據(jù)服務(wù)器的接收數(shù)據(jù)條數(shù)。分布式文件系統(tǒng)獲取每個數(shù)據(jù)服務(wù)器的接收數(shù)據(jù)條數(shù)。

數(shù)據(jù)服務(wù)器本身在統(tǒng)計接收數(shù)據(jù)條數(shù)時，可采用以下方法：只要成功接收到一條客戶端上傳的數(shù)據(jù)，及可認(rèn)定為一條數(shù)據(jù)的成功上傳，將接收數(shù)據(jù)條數(shù)作加1處理，依此方法累計接收數(shù)據(jù)條數(shù)。更具體的，這個過程是由數(shù)據(jù)服務(wù)器內(nèi)置的函數(shù)完成的，每成功接收到一條數(shù)據(jù)，函數(shù)累計值加1。

步驟s22：對獲取的各個所述接收數(shù)據(jù)條數(shù)求和，得到所述接收數(shù)據(jù)總條數(shù)。

本實施例中，對獲取的各個數(shù)據(jù)服務(wù)器的接收數(shù)據(jù)條數(shù)求和，即為分布式文件系統(tǒng)的接收數(shù)據(jù)總條數(shù)。

對于步驟s14，本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖如圖3所示，示出了統(tǒng)計過濾掉的所有不合格數(shù)據(jù)的過濾數(shù)據(jù)總條數(shù)的具體步驟，包括：

步驟s31：獲取每個所述數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的過濾數(shù)據(jù)條數(shù)；其中，所述過濾數(shù)據(jù)條數(shù)由所述數(shù)據(jù)服務(wù)器統(tǒng)計該數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的條數(shù)得到；

本實施例中，對于任意一個數(shù)據(jù)服務(wù)器，該數(shù)據(jù)服務(wù)器對其接收到的、客戶端上傳的數(shù)據(jù)進(jìn)行過濾，并對所過濾掉的不合格數(shù)據(jù)的條數(shù)進(jìn)行統(tǒng)計，得到該數(shù)據(jù)服務(wù)器的過濾數(shù)據(jù)條數(shù)。分布式文件系統(tǒng)獲取每個數(shù)據(jù)服務(wù)器的過濾數(shù)據(jù)條數(shù)。

數(shù)據(jù)服務(wù)器本身在統(tǒng)計過濾數(shù)據(jù)條數(shù)時，可采用以下方法：只要過濾掉一條數(shù)據(jù)，就將過濾數(shù)據(jù)條數(shù)作加1處理，依此方法累計過濾數(shù)據(jù)條數(shù)。更具體的，這個過程同樣是由數(shù)據(jù)服務(wù)器內(nèi)置的函數(shù)完成的，每過濾掉一條數(shù)據(jù)，函數(shù)累計值加1。

步驟s32：對獲取的各個所述過濾數(shù)據(jù)條數(shù)求和，得到所述過濾數(shù)據(jù)總條數(shù)。

本實施例中，對獲取的各個數(shù)據(jù)服務(wù)器的過濾數(shù)據(jù)條數(shù)求和，即為分布式文件系統(tǒng)的過濾數(shù)據(jù)總條數(shù)。

在本實施例中，還需要說明的是，對于圖2和圖3所示的數(shù)據(jù)處理方法，優(yōu)選的，可以基于zabbix(一個基于web界面的提供分布式系統(tǒng)監(jiān)視以及網(wǎng)絡(luò)監(jiān)視功能的企業(yè)級的開源解決方案)來實現(xiàn)其中的獲取過程和求和過程。zabbix可以實時監(jiān)視并獲取各個數(shù)據(jù)服務(wù)器的接收數(shù)據(jù)條數(shù)和過濾數(shù)據(jù)條數(shù)，并可以對這兩者各自求和，得到接收數(shù)據(jù)總條數(shù)和過濾數(shù)據(jù)總條數(shù)。

實施例三

在實施例一的基礎(chǔ)上，本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖如圖4所示，在步驟s14之后，還可以包括：

步驟s15：實時顯示所述接收數(shù)據(jù)總條數(shù)和所述過濾數(shù)據(jù)總條數(shù)。

本實施例提供的數(shù)據(jù)處理方法，將接收數(shù)據(jù)總條數(shù)和過濾數(shù)據(jù)總條數(shù)實時顯示，便于直觀查看。顯示時可以采用單一的數(shù)字顯示方式，也可以采用數(shù)字、曲線圖相結(jié)合的方式，曲線圖內(nèi)保留一個歷史時間段(如1小時等)的歷史曲線。

實施例四

在實施例一的基礎(chǔ)上，本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖如圖5所示，包括：

步驟s41：接收客戶端上傳的數(shù)據(jù)；

步驟s42：統(tǒng)計接收到所述客戶端上傳的所有數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；

步驟s43：過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

步驟s44：統(tǒng)計過濾掉的所有不合格數(shù)據(jù)的過濾數(shù)據(jù)總條數(shù)。

步驟s45：按照預(yù)設(shè)周期，保存所述接收數(shù)據(jù)總條數(shù)和所述過濾數(shù)據(jù)總條數(shù)；

本實施例中，預(yù)設(shè)周期可以根據(jù)實際需求進(jìn)行設(shè)置，通常可以為1分鐘。在保存時，同時記錄保存時間，以便于后期的歷史查詢，或者作為基礎(chǔ)數(shù)據(jù)被使用。

步驟s46：當(dāng)接收到包含目標(biāo)時間范圍的查詢請求時，確定與所述目標(biāo)時間范圍相對應(yīng)的單位時間；

本實施例中，目標(biāo)時間范圍通常是某一天、某一月或者某一年。對于某一天，其相對應(yīng)的單位時間是小時；對于某一月，其相對應(yīng)的單位時間是天；對于某一年，其相對應(yīng)的單位時間是月。根據(jù)目標(biāo)時間范圍確定相對應(yīng)的單位時間。

考慮到本實施例中，最小的單位時間為1小時，同時，各個單位時間的起點都是某小時的起點，各個單位時間的終點都是某小時的終點。因此，步驟s45中的預(yù)設(shè)周期在設(shè)置時應(yīng)相匹配，在時間覆蓋和節(jié)約系統(tǒng)資源綜合考慮，1分鐘為佳。

步驟s47：按所述單位時間將所述目標(biāo)時間范圍劃分成多個時間區(qū)間；

本實施例中，將目標(biāo)時間范圍按對應(yīng)的單位時間劃分為多個時間區(qū)間，如，對于某一天，將其劃分為24小時，即24個時間區(qū)間。

步驟s48：對于每一個所述時間區(qū)間，當(dāng)所述時間區(qū)間內(nèi)存在已保存的所述接收數(shù)據(jù)總條數(shù)和所述過濾數(shù)據(jù)總條數(shù)時，確定所述時間區(qū)間為目標(biāo)時間區(qū)間；

本實施例中，對于目標(biāo)時間范圍，可能存在以下情況：該目標(biāo)時間范圍內(nèi)不存在已保存的接收數(shù)據(jù)總條數(shù)和過濾數(shù)據(jù)總條數(shù)；該目標(biāo)時間范圍內(nèi)包含有不存在已保存的接收數(shù)據(jù)總條數(shù)和過濾數(shù)據(jù)總條數(shù)的時間段。由于這些情況的存在，因此，對于步驟s47中劃分出的多個時間區(qū)間，首先確定存在已保存的接收數(shù)據(jù)總條數(shù)和過濾數(shù)據(jù)總條數(shù)的時間區(qū)間為目標(biāo)時間區(qū)間。

步驟s49：依據(jù)已保存的所述接收數(shù)據(jù)總條數(shù)和所述過濾數(shù)據(jù)總條數(shù)，計算所述目標(biāo)時間區(qū)間內(nèi)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過濾數(shù)據(jù)條數(shù)；

本實施例中，分布式文件系統(tǒng)對于每一個目標(biāo)時間區(qū)間，依據(jù)該目標(biāo)時間區(qū)間內(nèi)的、已保存的接收數(shù)據(jù)總條數(shù)，計算目標(biāo)接收數(shù)據(jù)條數(shù)；依據(jù)該目標(biāo)時間區(qū)間內(nèi)的、已保存的過濾數(shù)據(jù)總條數(shù)，計算目標(biāo)過濾數(shù)據(jù)條數(shù)

步驟s410：顯示與每個所述目標(biāo)時間區(qū)間相對應(yīng)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過濾數(shù)據(jù)條數(shù)。

本實施例中，分布式文件系統(tǒng)在計算得到各個目標(biāo)時間區(qū)間的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過濾數(shù)據(jù)條數(shù)后，可以按表格的形式，或者折線圖的形式，將它們顯示出來。

本實施例提供的數(shù)據(jù)處理方法，分布式文件系統(tǒng)提供了歷史數(shù)據(jù)追溯的功能，可以直觀的反應(yīng)所要查詢的一個歷史時期內(nèi)各目標(biāo)時間區(qū)間的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過濾數(shù)據(jù)條數(shù)。從而，使技術(shù)人員可以以此為依據(jù)，分析數(shù)據(jù)走向，進(jìn)而從中判斷分布式文件系統(tǒng)的運(yùn)行情況。

本實施例中，優(yōu)選的，提供一種數(shù)據(jù)處理方法的又一流程圖如圖6所示，示出了依據(jù)已保存的所述接收數(shù)據(jù)總條數(shù)和所述過濾數(shù)據(jù)總條數(shù)，計算所述目標(biāo)時間區(qū)間內(nèi)的目標(biāo)接收數(shù)據(jù)條數(shù)和目標(biāo)過濾數(shù)據(jù)條數(shù)的具體步驟，包括：

步驟s51：在所述目標(biāo)時間區(qū)間內(nèi)，確定所述接收數(shù)據(jù)總條數(shù)的最大值和最小值，以及，確定所述過濾數(shù)據(jù)總條數(shù)的最大值和最小值；

本實施例中，之所以采用確定接收數(shù)據(jù)總條數(shù)的最大值和最小值、確定過濾數(shù)據(jù)總條數(shù)的最大值和最小值，是因為，接收數(shù)據(jù)總條數(shù)和過濾數(shù)據(jù)總條數(shù)均為累計值，也就是說，在一個目標(biāo)時間區(qū)間內(nèi)，存在已保存的接收數(shù)據(jù)總條數(shù)和過濾數(shù)據(jù)總條數(shù)的最初時刻必然對應(yīng)接收數(shù)據(jù)總條數(shù)和過濾數(shù)據(jù)總條數(shù)兩者的最小值，最末時刻必然對應(yīng)兩者的最大值。還需要說明的是，在本實施例中，對于接收數(shù)據(jù)總條數(shù)和過濾數(shù)據(jù)總條數(shù)，在目標(biāo)時間區(qū)間內(nèi)，任意一者的最大值和最小值可以相等。

步驟s52：對所述接收數(shù)據(jù)總條數(shù)的最大值和最小值做差，得到目標(biāo)接收數(shù)據(jù)條數(shù)，以及，對所述過濾數(shù)據(jù)總條數(shù)的最大值和最小值做差，得到目標(biāo)過濾數(shù)據(jù)條數(shù)。

實施例五

本發(fā)明提供的一種數(shù)據(jù)處理方法的又一流程圖如圖7所示，該方法應(yīng)用于數(shù)據(jù)服務(wù)器，包括：

步驟s61：接收客戶端上傳的數(shù)據(jù)；

本實施例中，分布式文件系統(tǒng)內(nèi)包含多個數(shù)據(jù)服務(wù)器，分布式文件系統(tǒng)接收客戶端上傳的數(shù)據(jù)，其實質(zhì)上是，各個數(shù)據(jù)服務(wù)器接收與其各自相對應(yīng)的客戶端上傳的數(shù)據(jù)。

客戶端采集、上傳數(shù)據(jù)的情況如實施例一種步驟s11處所述，不再贅述。

步驟s62：統(tǒng)計所述數(shù)據(jù)服務(wù)器接收到的所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；

本實施例中，對該數(shù)據(jù)服務(wù)器所接收到的、客戶端上傳的數(shù)據(jù)的條數(shù)進(jìn)行統(tǒng)計，得到該數(shù)據(jù)服務(wù)器的接收數(shù)據(jù)條數(shù)。接收數(shù)據(jù)條數(shù)是一個累計值。

更具體的，只要成功接收到一條客戶端上傳的數(shù)據(jù)，及可認(rèn)定為一條數(shù)據(jù)的成功上傳，將接收數(shù)據(jù)條數(shù)作加1處理，依此方法累計接收數(shù)據(jù)條數(shù)。這個過程可以由數(shù)據(jù)服務(wù)器內(nèi)置的函數(shù)完成的，每成功接收到一條數(shù)據(jù)，函數(shù)累計值加1。

步驟s63：過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

本實施例中，對于該數(shù)據(jù)服務(wù)器接收到的數(shù)據(jù)中的不合格數(shù)據(jù)進(jìn)行過濾。不合格數(shù)據(jù)即不符合上報規(guī)范的數(shù)據(jù)。

步驟s64：統(tǒng)計所述數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的過濾數(shù)據(jù)條數(shù)。

本實施例中，對該數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的條數(shù)進(jìn)行統(tǒng)計，得到該數(shù)據(jù)服務(wù)器的過濾數(shù)據(jù)條數(shù)。過濾數(shù)據(jù)條數(shù)是一個累計值。

更具體的，只要過濾掉一條數(shù)據(jù)，就將過濾數(shù)據(jù)條數(shù)作加1處理，依此方法累計過濾數(shù)據(jù)條數(shù)。這個過程同樣可以由數(shù)據(jù)服務(wù)器內(nèi)置的函數(shù)完成的，每過濾掉一條數(shù)據(jù)，函數(shù)累計值加1。

本實施例提供的數(shù)據(jù)處理方法，接收客戶端上傳的數(shù)據(jù)；統(tǒng)計所述數(shù)據(jù)服務(wù)器接收到的所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；統(tǒng)計所述數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的過濾數(shù)據(jù)條數(shù)。從而使得，分布式文件系統(tǒng)中的各個數(shù)據(jù)服務(wù)器，對接收到與其對應(yīng)的客戶端上傳的數(shù)據(jù)的條數(shù)，以及，對過濾掉的不合格數(shù)據(jù)的條數(shù)，分別進(jìn)行了統(tǒng)計，從而可使技術(shù)人員通過匯總各個數(shù)據(jù)服務(wù)器統(tǒng)計的數(shù)據(jù)處理情況，并以此為依據(jù)，判斷分布式文件系統(tǒng)的運(yùn)行情況。

實施例六

與實施例一相對應(yīng)，本發(fā)明提供了一種分布式文件系統(tǒng)的結(jié)構(gòu)示意圖，如圖8所示，包括統(tǒng)計裝置71和多個數(shù)據(jù)服務(wù)器72，其中，所述統(tǒng)計裝置71包括第一統(tǒng)計單元711和第二統(tǒng)計單元712；其中：

所述數(shù)據(jù)服務(wù)器72用于，接收客戶端上傳的數(shù)據(jù)；

所述第一統(tǒng)計單元711用于，統(tǒng)計每個所述數(shù)據(jù)服務(wù)器72接收到所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)總條數(shù)；

所述數(shù)據(jù)服務(wù)器72還用于，過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

所述第二統(tǒng)計單元712用于，統(tǒng)計每個所述數(shù)據(jù)服務(wù)器72過濾掉的不合格數(shù)據(jù)的過濾數(shù)據(jù)總條數(shù)。

實施例七

與實施例五相對應(yīng)，本發(fā)明提供了一種數(shù)據(jù)服務(wù)器的結(jié)構(gòu)示意圖，如圖9所示，包括：

接收單元81，用于接收客戶端上傳的數(shù)據(jù)；

第一統(tǒng)計單元82，用于統(tǒng)計所述數(shù)據(jù)服務(wù)器接收到的所述客戶端上傳的數(shù)據(jù)的接收數(shù)據(jù)條數(shù)；

過濾單元83，用于過濾所述客戶端上傳的數(shù)據(jù)中的不合格數(shù)據(jù)；

第二統(tǒng)計單元84，用于統(tǒng)計所述數(shù)據(jù)服務(wù)器過濾掉的不合格數(shù)據(jù)的過濾數(shù)據(jù)條數(shù)。

需要說明的是，本說明書中的各個實施例均采用遞進(jìn)的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。對于裝置類實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

最后，還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設(shè)備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設(shè)備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設(shè)備中還存在另外的相同要素。

為了描述的方便，描述以上裝置時以功能分為各種單元分別描述。當(dāng)然，在實施本發(fā)明時可以把各單元的功能在同一個或多個軟件和/或硬件中實現(xiàn)。

通過以上的實施方式的描述可知，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)?；谶@樣的理解，本發(fā)明的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機(jī)軟件產(chǎn)品可以存儲在存儲介質(zhì)中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺計算機(jī)設(shè)備(可以是個人計算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例或者實施例的某些部分所述的方法。

以上對本發(fā)明所提供的一種數(shù)據(jù)處理方法、分布式文件系統(tǒng)及數(shù)據(jù)服務(wù)器進(jìn)行了詳細(xì)介紹，本文中應(yīng)用了具體個例對本發(fā)明的原理及實施方式進(jìn)行了闡述，以上實施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想；同時，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明的思想，在具體實施方式及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。