本發(fā)明涉及通信大數(shù)據(jù)領(lǐng)域，具體涉及一種通信大數(shù)據(jù)的處理系統(tǒng)及方法。

背景技術(shù)：

近年來，大數(shù)據(jù)成為通信領(lǐng)域廣泛探究的話題，因為當(dāng)前的移動通信系統(tǒng)正處于大數(shù)據(jù)環(huán)境背景下，大數(shù)據(jù)極具資源價值、信息商業(yè)價值，已經(jīng)成為通信企業(yè)一項有價值的資產(chǎn)，成為移動通信行業(yè)實力與競爭力的體現(xiàn)，具有一定的經(jīng)濟價值和作用。但是現(xiàn)有通信數(shù)據(jù)處理往往要對海量數(shù)據(jù)進行處理，存在效率低、運算量低的問題。

技術(shù)實現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題是提供一種通信大數(shù)據(jù)的處理系統(tǒng)及方法，可以對海量的通信大數(shù)據(jù)進行高效快速的處理。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種通信大數(shù)據(jù)的處理系統(tǒng)，包括采集模塊、過濾模塊、分類模塊、存儲模塊、解析模塊和分發(fā)模塊，

所述采集模塊，其用于以隊列持久化的方式采集通信大數(shù)據(jù)；

所述過濾模塊，其用于對采集的通信大數(shù)據(jù)進行過濾，去除重復(fù)、無效的通信大數(shù)據(jù)；

所述分類模塊，其用于根據(jù)數(shù)據(jù)結(jié)構(gòu)對過濾后的通信大數(shù)據(jù)進行分類；

所述存儲模塊，其用于分類存儲通信大數(shù)據(jù)；

所述解析模塊，其用于采用異步抓取的方式從所述存儲模塊中獲取通信大數(shù)據(jù)，并采用對應(yīng)的解析方式解析通信大數(shù)據(jù)；

所述分發(fā)模塊，其用于對解析后的通信大數(shù)據(jù)按照對應(yīng)的協(xié)議鏈路進行分發(fā)傳輸。

本發(fā)明的有益效果是：本發(fā)明一種通信大數(shù)據(jù)的處理系統(tǒng)采用分類的方式對通信大數(shù)據(jù)進行處理，同時在處理前，去掉重復(fù)、無效的數(shù)據(jù)，可以提高對通信大數(shù)據(jù)處理的效率。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進。

進一步，所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)。

進一步，所述存儲模塊包括網(wǎng)格存儲單元、線性存儲單元和樹形存儲單元，所述網(wǎng)格存儲單元、線性存儲單元和樹形存儲單元分別對應(yīng)存儲網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)的通信大數(shù)據(jù)。

進一步，網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進行解析。

進一步，線性結(jié)構(gòu)的通信大數(shù)據(jù)采用線性的方式進行解析。

進一步，樹形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹形的方式進行解析。

基于上述一種通信大數(shù)據(jù)的處理系統(tǒng)，本發(fā)明還提供一種通信大數(shù)據(jù)的處理方法。

一種通信大數(shù)據(jù)的處理方法，包括以下步驟，

s1，以隊列持久化的方式采集通信大數(shù)據(jù)；

s2，對采集的通信大數(shù)據(jù)進行過濾，去除重復(fù)、無效的通信大數(shù)據(jù)；

s3，根據(jù)數(shù)據(jù)結(jié)構(gòu)對過濾后的通信大數(shù)據(jù)進行分類；

s4，分類存儲通信大數(shù)據(jù)；

s5，采用異步抓取的方式從所述存儲模塊中獲取通信大數(shù)據(jù)，并采用對應(yīng)的解析方式解析通信大數(shù)據(jù)；

s6，對解析后的通信大數(shù)據(jù)按照對應(yīng)的協(xié)議鏈路進行分發(fā)傳輸。

本發(fā)明的有益效果是：本發(fā)明一種通信大數(shù)據(jù)的處理方法采用分類的方式對通信大數(shù)據(jù)進行處理，同時在處理前，去掉重復(fù)、無效的數(shù)據(jù)，可以提高對通信大數(shù)據(jù)處理的效率。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進。

進一步，所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)。

進一步，網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)、線性結(jié)構(gòu)的通信大數(shù)據(jù)和樹形結(jié)構(gòu)的通信大數(shù)據(jù)分別以網(wǎng)格、線性和樹形的形式進行存儲。

進一步，網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進行解析，線性結(jié)構(gòu)的通信大數(shù)據(jù)采用線性的方式進行解析，樹形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹形的方式進行解析。

附圖說明

圖1為本發(fā)明一種通信大數(shù)據(jù)的處理系統(tǒng)的結(jié)構(gòu)框圖；

圖2為本發(fā)明一種通信大數(shù)據(jù)的處理方法的流程圖。

具體實施方式

以下結(jié)合附圖對本發(fā)明的原理和特征進行描述，所舉實例只用于解釋本發(fā)明，并非用于限定本發(fā)明的范圍。

如圖1所示，一種通信大數(shù)據(jù)的處理系統(tǒng)，包括采集模塊、過濾模塊、分類模塊、存儲模塊、解析模塊和分發(fā)模塊，所述采集模塊，其用于以隊列持久化的方式采集通信大數(shù)據(jù)；所述過濾模塊，其用于對采集的通信大數(shù)據(jù)進行過濾，去除重復(fù)、無效的通信大數(shù)據(jù)；所述分類模塊，其用于根據(jù)數(shù)據(jù)結(jié)構(gòu)對過濾后的通信大數(shù)據(jù)進行分類；所述存儲模塊，其用于分類存儲通信大數(shù)據(jù)；所述解析模塊，其用于采用異步抓取的方式從所述存儲模塊中獲取通信大數(shù)據(jù)，并采用對應(yīng)的解析方式解析通信大數(shù)據(jù)；所述分發(fā)模塊，其用于對解析后的通信大數(shù)據(jù)按照對應(yīng)的協(xié)議鏈路進行分發(fā)傳輸。

在本具體實施例中，所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)。所述存儲模塊包括網(wǎng)格存儲單元、線性存儲單元和樹形存儲單元，所述網(wǎng)格存儲單元、線性存儲單元和樹形存儲單元分別對應(yīng)存儲網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)的通信大數(shù)據(jù)。網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進行解析。線性結(jié)構(gòu)的通信大數(shù)據(jù)采用線性的方式進行解析。樹形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹形的方式進行解析。

本發(fā)明一種通信大數(shù)據(jù)的處理系統(tǒng)采用分類的方式對通信大數(shù)據(jù)進行處理，同時在處理前，去掉重復(fù)、無效的數(shù)據(jù)，可以提高對通信大數(shù)據(jù)處理的效率。

基于上述一種通信大數(shù)據(jù)的處理系統(tǒng)，本發(fā)明還提供一種通信大數(shù)據(jù)的處理方法。

一種通信大數(shù)據(jù)的處理方法，包括以下步驟，

s1，以隊列持久化的方式采集通信大數(shù)據(jù)；

s2，對采集的通信大數(shù)據(jù)進行過濾，去除重復(fù)、無效的通信大數(shù)據(jù)；

s3，根據(jù)數(shù)據(jù)結(jié)構(gòu)對過濾后的通信大數(shù)據(jù)進行分類；

s4，分類存儲通信大數(shù)據(jù)；

s5，采用異步抓取的方式從所述存儲模塊中獲取通信大數(shù)據(jù)，并采用對應(yīng)的解析方式解析通信大數(shù)據(jù)；

s6，對解析后的通信大數(shù)據(jù)按照對應(yīng)的協(xié)議鏈路進行分發(fā)傳輸。

具體的，所述數(shù)據(jù)結(jié)構(gòu)包括網(wǎng)格結(jié)構(gòu)、線性結(jié)構(gòu)和樹形結(jié)構(gòu)。網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)、線性結(jié)構(gòu)的通信大數(shù)據(jù)和樹形結(jié)構(gòu)的通信大數(shù)據(jù)分別以網(wǎng)格、線性和樹形的形式進行存儲。網(wǎng)格結(jié)構(gòu)的通信大數(shù)據(jù)采用分布的方式進行解析，線性結(jié)構(gòu)的通信大數(shù)據(jù)采用線性的方式進行解析，樹形結(jié)構(gòu)的通信大數(shù)據(jù)采用樹形的方式進行解析。

本發(fā)明一種通信大數(shù)據(jù)的處理方法采用分類的方式對通信大數(shù)據(jù)進行處理，同時在處理前，去掉重復(fù)、無效的數(shù)據(jù)，可以提高對通信大數(shù)據(jù)處理的效率。

以上所述僅為本發(fā)明的較佳實施例，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。

技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明涉及一種通信大數(shù)據(jù)的處理系統(tǒng)及方法，其系統(tǒng)包括采集模塊、過濾模塊、分類模塊、存儲模塊、解析模塊和分發(fā)模塊，采集模塊用于以隊列持久化的方式采集通信大數(shù)據(jù)；過濾模塊用于對采集的通信大數(shù)據(jù)進行過濾，去除重復(fù)、無效的通信大數(shù)據(jù)；分類模用于根據(jù)數(shù)據(jù)結(jié)構(gòu)對過濾后的通信大數(shù)據(jù)進行分類；存儲模塊用于分類存儲通信大數(shù)據(jù)；解析模塊用于采用異步抓取的方式從所述存儲模塊中獲取通信大數(shù)據(jù)，并采用對應(yīng)的解析方式解析通信大數(shù)據(jù)；分發(fā)模塊用于對解析后的通信大數(shù)據(jù)按照對應(yīng)的協(xié)議鏈路進行分發(fā)傳輸。本發(fā)明系統(tǒng)采用分類的方式對通信大數(shù)據(jù)進行處理，同時在處理前，去掉重復(fù)、無效的數(shù)據(jù)，可以提高對通信大數(shù)據(jù)處理的效率。

技術(shù)研發(fā)人員：周發(fā)輝;李衛(wèi)群;張佳杰;文川;蘭海翔;陳軍
受保護的技術(shù)使用者：周發(fā)輝
技術(shù)研發(fā)日：2017.04.13
技術(shù)公布日：2017.08.18