本申請涉及網(wǎng)絡數(shù)據(jù)處理領域，特別涉及一種數(shù)據(jù)處理方法及設備。

背景技術(shù)：

隨著移動互聯(lián)網(wǎng)的迅速發(fā)展，移動互聯(lián)網(wǎng)用戶不斷增加，從而使網(wǎng)絡互聯(lián)中的網(wǎng)絡數(shù)據(jù)呈指數(shù)倍數(shù)增加。面對如此龐大的網(wǎng)絡數(shù)據(jù)，運營商在要求保證網(wǎng)絡優(yōu)化質(zhì)量的前提下，對網(wǎng)絡數(shù)據(jù)的實時性，準確性也提出了更高的要求。

網(wǎng)絡數(shù)據(jù)一般存儲在網(wǎng)絡服務器中，網(wǎng)絡服務器是指一個管理資源并為用戶提供服務的計算機軟件和硬件的集合，用于接收數(shù)據(jù)請求并對所述數(shù)據(jù)請求進行響應。

現(xiàn)有技術(shù)中，從廠家的網(wǎng)絡服務器中獲取網(wǎng)絡數(shù)據(jù)進行分析，一般采用整體下載的方式，即將網(wǎng)絡服務器中的數(shù)據(jù)文件全部下載，然后再進行數(shù)據(jù)分析，數(shù)據(jù)處理效率低。

技術(shù)實現(xiàn)要素：

本申請所要解決的技術(shù)問題是提供一種數(shù)據(jù)處理方法，提升對服務器中網(wǎng)絡數(shù)據(jù)的處理效率。

一種數(shù)據(jù)處理方法，包括：

實時掃描服務器中的數(shù)據(jù)文件；

觸發(fā)流讀取線程，從已掃描數(shù)據(jù)文件中讀取預設的數(shù)據(jù)緩存區(qū)大小的數(shù)據(jù)流，并將所述數(shù)據(jù)流存放到本地緩存區(qū)中；

觸發(fā)解析線程從所述本地緩存區(qū)中，讀取數(shù)據(jù)進行解析；所述解析線程的數(shù)量至少為一個，所述解析線程與所述讀取線程為預先創(chuàng)建的獨立線程。

上述的方法，優(yōu)選的，還包括：

緩存已完成解析的數(shù)據(jù)文件的文件名；

將再次掃描獲得的數(shù)據(jù)文件的文件名與所述緩存的文件名進行比較；當比較相同時，對所述再次掃描獲得的數(shù)據(jù)文件進行舍棄；

當比較不相同時，觸發(fā)流讀取線程對所述再次掃描獲得的數(shù)據(jù)文件進行讀取。

上述的方法，優(yōu)選的，還包括：

將經(jīng)過解析的文件數(shù)據(jù)緩存到內(nèi)存或緩存文件中；

當緩存的文件數(shù)據(jù)的數(shù)量到達預設量值時，將緩存的文件數(shù)據(jù)作為一個數(shù)據(jù)塊，將所述數(shù)據(jù)塊緩存到本地緩存文件中；

當所述本地緩存文件中的文件數(shù)據(jù)達到所述本地緩存文件的容量臨界值時，新建本地緩存文件。

上述的方法，優(yōu)選的，還包括：

觸發(fā)多個分發(fā)線程從所述本地緩存文件中讀取文件數(shù)據(jù)；并按預設的分發(fā)方式進行分發(fā)。

上述的方法，優(yōu)選的，所述實時掃描服務器中的數(shù)據(jù)文件，觸發(fā)流讀取線程，從已掃描數(shù)據(jù)文件中讀取預設的數(shù)據(jù)緩存區(qū)大小的數(shù)據(jù)流，包括：

當同時掃描到多個數(shù)據(jù)文件時，依據(jù)各個數(shù)據(jù)文件的文件名對各個數(shù)據(jù)文件進行篩選；

按掃描順序?qū)?jīng)過篩選的數(shù)據(jù)文件進行排序；

觸發(fā)流讀取線程，依序從各個已掃描數(shù)據(jù)文件中讀取預設的數(shù)據(jù)緩存區(qū)大小的數(shù)據(jù)流。

一種數(shù)據(jù)處理設備，包括：

掃描單元，用于實時掃描服務器中的數(shù)據(jù)文件；

第一觸發(fā)單元，用于觸發(fā)流讀取線程，從已掃描數(shù)據(jù)文件中讀取預設的數(shù)據(jù)緩存區(qū)大小的數(shù)據(jù)流，并將所述數(shù)據(jù)流存放到本地緩存區(qū)中；；

第二觸發(fā)單元，用于觸發(fā)解析線程從所述本地緩存區(qū)中，讀取數(shù)據(jù)進行解析；所述解析線程的數(shù)量至少為一個，所述解析線程與所述讀取線程為預先創(chuàng)建的獨立線程。

上述的設備，優(yōu)選的，還包括：

第一緩存單元，用于緩存已完成解析的數(shù)據(jù)文件的文件名；

比較單元，用于將再次掃描獲得的數(shù)據(jù)文件的文件名與所述緩存的文件名進行比較。

上述的設備，優(yōu)選的，還包括：

第二緩存單元，用于將經(jīng)過解析的文件數(shù)據(jù)緩存到內(nèi)存或緩存文件中。

上述的設備，優(yōu)選的，還包括：

第三觸發(fā)單元，用于觸發(fā)多個分發(fā)線程按預設的分發(fā)方式對緩存的文件數(shù)據(jù)進行分發(fā)。

上述的設備，優(yōu)選的，還包括：

篩選單元，用于當同時掃描到多個數(shù)據(jù)文件時，依據(jù)各個數(shù)據(jù)文件的文件名對各個數(shù)據(jù)文件進行篩選。

本申請實施例提供了一種數(shù)據(jù)處理方法，實時掃描服務器中的數(shù)據(jù)文件，對于掃描到的數(shù)據(jù)文件，觸發(fā)流讀取線程，從已掃描數(shù)據(jù)文件中讀取預設的數(shù)據(jù)緩存區(qū)大小的數(shù)據(jù)流，并將所述數(shù)據(jù)流存放到本地緩存區(qū)中；觸發(fā)解析線程從所述本地緩存區(qū)中，讀取數(shù)據(jù)進行解析。本申請實施例中，對于掃描到的數(shù)據(jù)文件，分塊進行讀取，并且在讀取到文件數(shù)據(jù)時，開始對讀取的文件數(shù)據(jù)進行解析，文件的讀取與解析同步進行，互不干擾，提升了數(shù)據(jù)處理的效率。

附圖說明

為了更清楚地說明本申請實施例中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附+圖僅僅是本申請的一些實施例，對于本領域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本申請的一種數(shù)據(jù)處理方法的方法流程圖；

圖2是本申請的一種數(shù)據(jù)處理方法的又一方法流程圖；

圖3是本申請的一種數(shù)據(jù)處理設備的結(jié)構(gòu)示意圖；

圖4是本申請的一種數(shù)據(jù)處理設備的又一結(jié)構(gòu)示意圖。

具體實施方式

下面將結(jié)合本申請實施例中的附圖，對本申請實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├?，本領域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護的范圍。

本申請可用于眾多通用或?qū)Ｓ玫挠嬎阊b置環(huán)境或配置中。例如：個人計算機、服務器計算機、手持設備或便攜式設備、平板型設備、多處理器裝置、包括以上任何裝置或設備的分布式計算環(huán)境等等。

本申請可以在由計算機執(zhí)行的計算機可執(zhí)行指令的一般上下文中描述，例如程序模塊。一般地，程序模塊包括執(zhí)行特定任務或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類型的例程、程序、對象、組件、數(shù)據(jù)結(jié)構(gòu)等等。也可以在分布式計算環(huán)境中實踐本申請，在這些分布式計算環(huán)境中，由通過通信網(wǎng)絡而被連接的遠程處理設備來執(zhí)行任務。在分布式計算環(huán)境中，程序模塊可以位于包括存儲設備在內(nèi)的本地和遠程計算機存儲介質(zhì)中。

本申請實施例提供了一種數(shù)據(jù)處理方法，該方法應用于本地客戶端，其方法流程圖如圖1所示，可以包括以下步驟：

步驟s101：實時掃描服務器中的數(shù)據(jù)文件；

本申請實施例中，當需要獲取廠家網(wǎng)絡服務器上的數(shù)據(jù)文件時，與服務器建立連接，實時掃描服務器中的數(shù)據(jù)文件。

步驟s102：觸發(fā)流讀取線程，從已掃描數(shù)據(jù)文件中讀取預設的數(shù)據(jù)緩存區(qū)大小的數(shù)據(jù)流，并將所述數(shù)據(jù)流存放到本地緩存區(qū)中；

本申請實施例中，預先創(chuàng)建有至少一個解析線程，以及與所述解析線程獨立的流讀取線程；當掃描到網(wǎng)絡服務器中的數(shù)據(jù)文件時，對于每一個掃描到的數(shù)據(jù)文件，觸發(fā)流讀取線程依據(jù)讀取指令中的數(shù)據(jù)緩存區(qū)的大小，順序讀取該數(shù)據(jù)文件中的文件數(shù)據(jù)。

步驟s103：觸發(fā)解析線程從所述本地緩存區(qū)中，讀取數(shù)據(jù)進行解析；所述解析線程的數(shù)量至少為一個，所述解析線程與所述讀取線程為預先創(chuàng)建的獨立線程。

在流讀取線程讀取文件數(shù)據(jù)的同時，觸發(fā)解析線程對每一次讀取到的文件數(shù)據(jù)進行解析。

本申請實施例提供的數(shù)據(jù)處理方法，對于掃描到的數(shù)據(jù)文件，不采用整體下載的方式，而是按預設數(shù)據(jù)緩存區(qū)的大小，每次讀取一定的文件數(shù)據(jù)，并在讀取到文件數(shù)據(jù)的同時，并行進行數(shù)據(jù)解析過程，同時文件數(shù)據(jù)的讀取過程依然繼續(xù)，形成讀取與解析的并行操作，在很大程度上，提升了數(shù)據(jù)處理的效率。

本申請?zhí)峁┝艘环N數(shù)據(jù)處理方法，實時掃描服務器中的數(shù)據(jù)文件，對于掃描到的數(shù)據(jù)文件或新增文件，對于已經(jīng)處理的文件名會緩存到本地緩存，針對服務器上的新增文件，觸發(fā)流讀取線程，依據(jù)預設的數(shù)據(jù)緩存區(qū)大小，順序讀取放入緩存區(qū),且觸發(fā)解析線程，對于每一次從緩存區(qū)中讀取到的數(shù)據(jù)進行解析，解析出的數(shù)據(jù)，按照預設記錄大小進行組裝成一個數(shù)據(jù)塊，當數(shù)據(jù)塊達到預設個數(shù)時，將這批數(shù)據(jù)放到緩存區(qū)或緩存文件中，同時觸發(fā)分發(fā)線程，從緩存區(qū)或緩存文件中讀取數(shù)據(jù)按照分發(fā)策略進行數(shù)據(jù)分發(fā)，在整個數(shù)據(jù)的接入，解析，分發(fā)，都是異步的，互補干擾，極大的提升了整體的數(shù)據(jù)處理的效率。本申請實施例中，就是按照上述描述的數(shù)據(jù)處理方法進行處理的。

本申請實施例中，所述數(shù)據(jù)緩存區(qū)大小設定可以根據(jù)數(shù)據(jù)文件的大小進行設定，例如當數(shù)據(jù)文件為10m時，可以將所述數(shù)據(jù)緩存區(qū)的大小設定為2m，這樣可以分5次對數(shù)據(jù)文件中的文件數(shù)據(jù)進行讀取。

本申請實施例中，以流式數(shù)據(jù)的方式對數(shù)據(jù)文件進行讀取，同時以流式數(shù)據(jù)的方式對讀取的數(shù)據(jù)進行解析并存儲，實現(xiàn)了數(shù)據(jù)實時性的讀取與解析。

參考圖2，示出了本申請實施例一種數(shù)據(jù)處理方法的一個完整的執(zhí)行示意圖，在圖2中：

本申請實施例提供的處理方法，對于已經(jīng)解析完成的數(shù)據(jù)文件，對該數(shù)據(jù)文件的文件名進行緩存，當再次掃描服務器中的數(shù)據(jù)文件時，將緩存的文件名與再次掃描到的數(shù)據(jù)文件的文件名進行比較，如果文件名相同，則不再對該掃描到的文件數(shù)據(jù)進行讀取，以避免重復。如果文件名不相同，再觸發(fā)讀取線程對該掃描到的數(shù)據(jù)文件進行讀取，文件數(shù)據(jù)讀取的過程與圖1中記載的方法相同。

本申請實施例提供的處理方法，對于已經(jīng)解析完成的文件數(shù)據(jù)，將經(jīng)過解析的文件數(shù)據(jù)緩存到內(nèi)存或緩存文件中；

當緩存的文件數(shù)據(jù)的數(shù)量到達預設量值時，將緩存的文件數(shù)據(jù)作為一個數(shù)據(jù)塊，將所述數(shù)據(jù)塊緩存到本地緩存文件中；

當所述本地緩存文件中的文件數(shù)據(jù)達到所述本地緩存文件的容量臨界值時，新建本地緩存文件。

本申請實施例提供的處理方法，通過多線程的方式，觸發(fā)多個分發(fā)線程從所述本地緩存文件中讀取文件數(shù)據(jù)；并按預設的分發(fā)方式進行分發(fā)。

由圖2所記載的技術(shù)方案可以看出，本申請實施例提供的數(shù)據(jù)處理方法中，通過采集程序與廠家服務器建立連接，并指定數(shù)據(jù)緩存區(qū)大小，采集程序?qū)崟r掃描廠家服務器的數(shù)據(jù)文件，并將掃描到的數(shù)據(jù)文件進行數(shù)據(jù)流數(shù)據(jù)接入，采集程序每次從廠家服務器上讀取一定的緩沖數(shù)據(jù)，并實時性的針對接入回來的數(shù)據(jù)進行數(shù)據(jù)解析，實時性的斷點記錄，直到本次接入的數(shù)據(jù)接入完成。對于已經(jīng)解析完成的數(shù)據(jù)文件名,并緩存到本地。當再次掃描廠家服務器上的文件或新增文件,并和本地的緩存記錄進行比對，對于已經(jīng)采集過的文件不再采集，對于未采集的文件，再按照流數(shù)據(jù)接入，解析，緩存，分發(fā)。對于解析出來的數(shù)據(jù)，會將一定數(shù)量的數(shù)據(jù)成批緩存到內(nèi)存中，當達到指定的緩存?zhèn)€數(shù)時，會緩存到本地文件中，當緩存數(shù)據(jù)文件達到一定大小時，再新建一個本地緩存文件進行緩存，并開啟多個分發(fā)線程從緩存文件中獲取數(shù)據(jù)，按照預先指定的分發(fā)模板進行分發(fā)。在此過程中，數(shù)據(jù)的接入解析，和數(shù)據(jù)的存儲分發(fā)是異步的，不會干擾，大大提高了采集的時效性，提高了用戶的感知。

本申請實施例提供的數(shù)據(jù)處理方法中，從廠家服務器上接入指定大小的緩沖區(qū)數(shù)據(jù)流大小后，并對數(shù)據(jù)流進行數(shù)據(jù)解析，形成結(jié)構(gòu)化數(shù)據(jù)或非結(jié)構(gòu)化數(shù)據(jù)，將數(shù)據(jù)緩存到內(nèi)存和本地映射文件，大大減少io。

本申請實施例中，通過多線程的方式，實時從本地緩存數(shù)據(jù)文件或內(nèi)存中獲取數(shù)據(jù)，并利用預先定義好的規(guī)則進行數(shù)據(jù)分發(fā)，例如輸出文件方式，ftp方式，數(shù)據(jù)庫方式，hadoop中的hbase等輸出策略。

當對本地緩存區(qū)的文件數(shù)據(jù)處理完成之后，再次從廠家服務器上獲取指定緩存區(qū)大小的數(shù)據(jù)流，重新執(zhí)行上述流程進行處理。

上述方法的執(zhí)行過程中，對于掃描服務器的過程中，每次掃描到一個數(shù)據(jù)文件時，即對該數(shù)據(jù)文件進行流式讀取，讀取完成后，再進行掃描，對于已經(jīng)讀取過的文件不再進行重復讀取，對于未讀取的，重新進行流式讀取。

本申請實施例中，還提供了另外一種實現(xiàn)方式，對于服務器的掃描，一次性掃描全部的數(shù)據(jù)文件，掃描到這些數(shù)據(jù)文件之后，進行篩選，對于重復的數(shù)據(jù)文件進行舍棄，然后按掃描順序，對數(shù)據(jù)文件進行排序，讀取線程，按所述順序，依次流式讀取各個數(shù)據(jù)文件。具體執(zhí)行過程如下：

當同時掃描到多個數(shù)據(jù)文件時，依據(jù)各個數(shù)據(jù)文件的文件名對各個數(shù)據(jù)文件進行篩選；

按掃描順序?qū)?jīng)過篩選的數(shù)據(jù)文件進行排序；

觸發(fā)流讀取線程，依序從各個已掃描數(shù)據(jù)文件中讀取預設的數(shù)據(jù)緩存區(qū)大小的數(shù)據(jù)流。。

綜上，本申請實施例提供的數(shù)據(jù)處理方法，采用流式讀取的方式，對于讀取與解析過程同步進行，提升了數(shù)據(jù)處理的效率，保證了數(shù)據(jù)的實時性。。

對于前述的各方法實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術(shù)人員應該知悉，本申請并不受所描述的動作順序的限制，因為依據(jù)本申請，某些步驟可以采用其他順序或者同時進行。其次，本領域技術(shù)人員也應該知悉，說明書中所描述的實施例均屬于優(yōu)選實施例，所涉及的動作和模塊并不一定是本申請所必須的。

與上述本申請一種數(shù)據(jù)處理方法相對應，參見圖3，本申請還提供了一種數(shù)據(jù)處理設備，在本實施例中，該設備可以包括：

掃描單元201，用于實時掃描服務器中的數(shù)據(jù)文件；

第一觸發(fā)單元202，用于觸發(fā)流讀取線程，從已掃描數(shù)據(jù)文件中讀取預設的數(shù)據(jù)緩存區(qū)大小的數(shù)據(jù)流，并將所述數(shù)據(jù)流存放到本地緩存區(qū)中；

第二觸發(fā)單元203，用于觸發(fā)解析線程從所述本地緩存區(qū)中，讀取數(shù)據(jù)進行解析；所述解析線程的數(shù)量至少為一個，所述解析線程與所述讀取線程為預先創(chuàng)建的獨立線程。

本申請實施例提供的數(shù)據(jù)處理設備，對于掃描到的數(shù)據(jù)文件，不采用整體下載的方式，而是按預設數(shù)據(jù)緩存區(qū)的大小，每次讀取一定的文件數(shù)據(jù)，并在讀取到文件數(shù)據(jù)的同時，并行進行數(shù)據(jù)解析過程，同時文件數(shù)據(jù)的讀取過程依然繼續(xù)，形成讀取與解析的并行操作，在很大程度上，提升了數(shù)據(jù)處理的效率。

參見圖4，示出了本申請實施例一種數(shù)據(jù)處理設備的又一詳細結(jié)構(gòu)示意圖，具體還包括：

第一緩存單元204，用于緩存已完成解析的數(shù)據(jù)文件的文件名；

比較單元205，用于將再次掃描獲得的數(shù)據(jù)文件的文件名與所述緩存的文件名進行比較。

本申請實施例中，對于已經(jīng)解析完成的數(shù)據(jù)文件，對該數(shù)據(jù)文件的文件名進行緩存，當再次掃描服務器中的數(shù)據(jù)文件時，將緩存的文件名與再次掃描到的數(shù)據(jù)文件的文件名進行比較，如果文件名相同，則不再對該掃描到的文件數(shù)據(jù)進行讀取，以避免重復。如果文件名不相同，再觸發(fā)讀取線程對該掃描到的數(shù)據(jù)文件進行讀取，文件數(shù)據(jù)讀取的過程與圖1中記載的方法相同。

第二緩存單元206，用于將經(jīng)過解析的文件數(shù)據(jù)緩存到內(nèi)存或緩存文件中。

第三觸發(fā)單元207，用于觸發(fā)多個分發(fā)線程按預設的分發(fā)方式對緩存的文件數(shù)據(jù)進行分發(fā)。

本申請實施例中，對于已經(jīng)解析完成的文件數(shù)據(jù)，將所述解析完成的文件數(shù)據(jù)緩存到內(nèi)存中，當緩存到內(nèi)存中的文件數(shù)據(jù)的數(shù)量到達預設量值的時候，將所述內(nèi)存中的文件數(shù)據(jù)緩存到本地的緩存文件中，當本地緩存文件的緩存空間滿時，新建一個本地緩存文件。

通過多線程的方式，觸發(fā)多個分發(fā)線程從所述本地緩存文件中讀取文件數(shù)據(jù)；并按預設的分發(fā)方式進行分發(fā)。

篩選單元208，用于當同時掃描到多個數(shù)據(jù)文件時，依據(jù)各個數(shù)據(jù)文件的文件名對各個數(shù)據(jù)文件進行篩選。

對于服務器的掃描，一次性掃描全部的數(shù)據(jù)文件，掃描到這些數(shù)據(jù)文件之后，進行篩選，對于重復的數(shù)據(jù)文件進行舍棄，然后按掃描順序，對數(shù)據(jù)文件進行排序，讀取線程，按所述順序，依次流式讀取各個數(shù)據(jù)文件。

需要說明的是，本說明書中的各個實施例均采用遞進的方式描述，每個實施例重點說明的都是與其他實施例的不同之處，各個實施例之間相同相似的部分互相參見即可。對于裝置類實施例而言，由于其與方法實施例基本相似，所以描述的比較簡單，相關(guān)之處參見方法實施例的部分說明即可。

最后，還需要說明的是，在本文中，諸如第一和第二等之類的關(guān)系術(shù)語僅僅用來將一個實體或者操作與另一個實體或操作區(qū)分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關(guān)系或者順序。而且，術(shù)語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、方法、物品或者設備不僅包括那些要素，而且還包括沒有明確列出的其他要素，或者是還包括為這種過程、方法、物品或者設備所固有的要素。在沒有更多限制的情況下，由語句“包括一個……”限定的要素，并不排除在包括所述要素的過程、方法、物品或者設備中還存在另外的相同要素。

為了描述的方便，描述以上裝置時以功能分為各種單元分別描述。當然，在實施本申請時可以把各單元的功能在同一個或多個軟件和/或硬件中實現(xiàn)。

通過以上的實施方式的描述可知，本領域的技術(shù)人員可以清楚地了解到本申請可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)?；谶@樣的理解，本申請的技術(shù)方案本質(zhì)上或者說對現(xiàn)有技術(shù)做出貢獻的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在存儲介質(zhì)中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網(wǎng)絡設備等)執(zhí)行本申請各個實施例或者實施例的某些部分所述的方法。

以上對本申請所提供的一種數(shù)據(jù)處理方法及設備進行了詳細介紹，本文中應用了具體個例對本申請的原理及實施方式進行了闡述，以上實施例的說明只是用于幫助理解本申請的方法及其核心思想；同時，對于本領域的一般技術(shù)人員，依據(jù)本申請的思想，在具體實施方式及應用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應理解為對本申請的限制。