本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)分析方法和數(shù)據(jù)分析平臺(tái)以及服務(wù)器。

背景技術(shù)：

在海量數(shù)據(jù)處理中，數(shù)據(jù)的實(shí)時(shí)處理一直是業(yè)界聚焦的重點(diǎn)。數(shù)據(jù)的處理不僅僅在于數(shù)據(jù)的計(jì)算，更要考慮諸如數(shù)據(jù)存儲(chǔ)能力、數(shù)據(jù)計(jì)算能力、水平擴(kuò)展能力等多個(gè)方面。

在大數(shù)據(jù)存儲(chǔ)方面，如何存儲(chǔ)海量數(shù)據(jù)是目前較為前言的一個(gè)問(wèn)題。HDFS等分布式文件系統(tǒng)以及HBase分布式數(shù)據(jù)庫(kù)等技術(shù)的發(fā)展，在一定程度上很好地解決了這個(gè)問(wèn)題，但基于Hadoop生態(tài)環(huán)境的分布式存儲(chǔ)在部署、管理上較為復(fù)雜，在數(shù)據(jù)計(jì)算方面，Hadoop生態(tài)環(huán)境提出了MapReduce等分布式計(jì)算框架，但其編程較為復(fù)雜，因此，可以看出，現(xiàn)有的數(shù)據(jù)分析平臺(tái)在進(jìn)行數(shù)據(jù)分析時(shí)，實(shí)現(xiàn)較為復(fù)雜。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本申請(qǐng)?zhí)峁┮环N數(shù)據(jù)分析方法和數(shù)據(jù)分析平臺(tái)以及服務(wù)器，能夠解決現(xiàn)有數(shù)據(jù)分析平臺(tái)在進(jìn)行數(shù)據(jù)分析時(shí)實(shí)現(xiàn)較為復(fù)雜的問(wèn)題。

具體地，本申請(qǐng)是通過(guò)如下技術(shù)方案實(shí)現(xiàn)的：

一方面，提供一種數(shù)據(jù)分析平臺(tái)，包括：數(shù)據(jù)源，與所述數(shù)據(jù)源連接的Elasticsearch索引模塊以及與所述Elasticsearch索引模塊連接的Spark SQL處理模塊和與所述Spark SQL處理模塊連接的數(shù)據(jù)呈現(xiàn)模塊，其中，所述數(shù)據(jù)源，用于提供數(shù)據(jù)；所述Elasticsearch索引模塊，用于通過(guò)數(shù)據(jù)搜索接口從所述數(shù)據(jù)源獲取搜索的數(shù)據(jù)，并對(duì)所述數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的數(shù)據(jù)發(fā)送至所述Spark SQL處理模塊；所述Spark SQL處理模塊，用于對(duì)所述預(yù)處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，并將數(shù)據(jù)分析后的數(shù)據(jù)發(fā)送至所述數(shù)據(jù)呈現(xiàn)模塊；所述數(shù)據(jù)呈現(xiàn)模塊，用于呈現(xiàn)所述數(shù)據(jù)分析后的數(shù)據(jù)。

另一方面，提供一種數(shù)據(jù)分析方法，應(yīng)用于數(shù)據(jù)分析平臺(tái)，所述數(shù)據(jù)分析平臺(tái)包括數(shù)據(jù)源，與所述數(shù)據(jù)源連接的Elasticsearch索引模塊以及與所述Elasticsearch索引模塊連接的Spark SQL處理模塊和與所述Spark SQL處理模塊連接的數(shù)據(jù)呈現(xiàn)模塊，所述方法包括：所述數(shù)據(jù)分析平臺(tái)中的所述Elasticsearch索引模塊通過(guò)數(shù)據(jù)搜索接口從所述數(shù)據(jù)源獲取搜索的數(shù)據(jù)，并對(duì)所述數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的數(shù)據(jù)發(fā)送至所述數(shù)據(jù)分析平臺(tái)中的Spark SQL處理模塊；所述數(shù)據(jù)分析平臺(tái)中的Spark SQL處理模塊對(duì)所述預(yù)處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，并將數(shù)據(jù)分析后的數(shù)據(jù)發(fā)送至所述數(shù)據(jù)分析平臺(tái)中的數(shù)據(jù)呈現(xiàn)模塊；所述數(shù)據(jù)分析平臺(tái)中的數(shù)據(jù)呈現(xiàn)模塊，用于呈現(xiàn)所述數(shù)據(jù)分析后的數(shù)據(jù)。

又一方面，提供一種服務(wù)器，包括上述數(shù)據(jù)分析平臺(tái)。

采用本申請(qǐng)?zhí)峁┑臄?shù)據(jù)分析方法和數(shù)據(jù)分析平臺(tái)以及服務(wù)器，該數(shù)據(jù)分析平臺(tái)包括數(shù)據(jù)源，與該數(shù)據(jù)源連接的Elasticsearch索引模塊以及與該Elasticsearch索引模塊連接的Spark SQL處理模塊和與該Spark SQL處理模塊連接的數(shù)據(jù)呈現(xiàn)模塊，其中，該數(shù)據(jù)源，用于提供數(shù)據(jù)；該Elasticsearch索引模塊，用于通過(guò)數(shù)據(jù)搜索接口從該數(shù)據(jù)源獲取搜索的數(shù)據(jù)，并對(duì)該數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的數(shù)據(jù)發(fā)送至該Spark SQL處理模塊；該Spark SQL處理模塊，用于對(duì)該預(yù)處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，并將數(shù)據(jù)分析后的數(shù)據(jù)發(fā)送至該數(shù)據(jù)呈現(xiàn)模塊；該數(shù)據(jù)呈現(xiàn)模塊，用于呈現(xiàn)該數(shù)據(jù)分析后的數(shù)據(jù)。這樣，本申請(qǐng)通過(guò)Elasticsearch作為數(shù)據(jù)的存儲(chǔ)媒介，提供了豐富的訪問(wèn)和搜索數(shù)據(jù)的接口，并利用Spark SQL強(qiáng)大的內(nèi)存計(jì)算能力可以完成復(fù)雜的數(shù)據(jù)計(jì)算。兩者相互配合完成數(shù)據(jù)的預(yù)處理、存儲(chǔ)、容錯(cuò)、計(jì)算等一系列數(shù)據(jù)分析過(guò)程，實(shí)現(xiàn)簡(jiǎn)單，從而解決了現(xiàn)有數(shù)據(jù)分析平臺(tái)在進(jìn)行數(shù)據(jù)分析時(shí)實(shí)現(xiàn)較為復(fù)雜的問(wèn)題。

附圖說(shuō)明

圖1是本申請(qǐng)一示例性實(shí)施例示出的一種數(shù)據(jù)分析平臺(tái)的結(jié)構(gòu)示意圖；

圖2是本申請(qǐng)一示例性實(shí)施例示出的一種數(shù)據(jù)分析框架的結(jié)構(gòu)示意圖；

圖3是本申請(qǐng)一示例性實(shí)施例示出的一種數(shù)據(jù)分析方法的流程示意圖；

圖4是本申請(qǐng)一示例性實(shí)施例示出的一種服務(wù)器的結(jié)構(gòu)示意圖。

具體實(shí)施方式

這里將詳細(xì)地對(duì)示例性實(shí)施例進(jìn)行說(shuō)明，其示例表示在附圖中。下面的描述涉及附圖時(shí)，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實(shí)施例中所描述的實(shí)施方式并不代表與本申請(qǐng)相一致的所有實(shí)施方式。相反，它們僅是與如所附權(quán)利要求書(shū)中所詳述的、本申請(qǐng)的一些方面相一致的裝置和方法的例子。

在本申請(qǐng)使用的術(shù)語(yǔ)是僅僅出于描述特定實(shí)施例的目的，而非旨在限制本申請(qǐng)。在本申請(qǐng)和所附權(quán)利要求書(shū)中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式，除非上下文清楚地表示其他含義。還應(yīng)當(dāng)理解，本文中使用的術(shù)語(yǔ)“和/或”是指并包含一個(gè)或多個(gè)相關(guān)聯(lián)的列出項(xiàng)目的任何或所有可能組合。

應(yīng)當(dāng)理解，盡管在本申請(qǐng)可能采用術(shù)語(yǔ)第一、第二、第三等來(lái)描述各種信息，但這些信息不應(yīng)限于這些術(shù)語(yǔ)。這些術(shù)語(yǔ)僅用來(lái)將同一類型的信息彼此區(qū)分開(kāi)。例如，在不脫離本申請(qǐng)范圍的情況下，第一信息也可以被稱為第二信息，類似地，第二信息也可以被稱為第一信息。取決于語(yǔ)境，如在此所使用的詞語(yǔ)“如果”可以被解釋成為“在……時(shí)”或“當(dāng)……時(shí)”或“響應(yīng)于確定”。

本申請(qǐng)?zhí)峁┑臄?shù)據(jù)分析平臺(tái)通過(guò)Spark SQL計(jì)算模塊的高計(jì)算性能和Elasticsearch搜索模塊的實(shí)時(shí)搜索功能，進(jìn)行準(zhǔn)確實(shí)時(shí)的數(shù)據(jù)分析，Elasticsearch作為數(shù)據(jù)的存儲(chǔ)媒介，提供了豐富的訪問(wèn)和搜索數(shù)據(jù)的接口；Spark SQL強(qiáng)大的內(nèi)存計(jì)算能力可以完成復(fù)雜的數(shù)據(jù)計(jì)算。兩者相互配合完成數(shù)據(jù)的預(yù)處理、存儲(chǔ)、容錯(cuò)、計(jì)算等一系列數(shù)據(jù)分析過(guò)程。

下面通過(guò)以下實(shí)施例對(duì)本申請(qǐng)進(jìn)行詳細(xì)說(shuō)明。

圖1為本申請(qǐng)實(shí)施例提供的一種數(shù)據(jù)分析平臺(tái)，如圖1所示，該數(shù)據(jù)分析平臺(tái)包括數(shù)據(jù)源101，與該數(shù)據(jù)源101連接的Elasticsearch索引模塊102以及與該Elasticsearch索引模塊102連接的Spark SQL處理模塊103和與該Spark SQL處理模塊103連接的數(shù)據(jù)呈現(xiàn)模塊104，其中，

該數(shù)據(jù)源101，用于提供數(shù)據(jù)；

該Elasticsearch索引模塊102，用于通過(guò)數(shù)據(jù)搜索接口從該數(shù)據(jù)源獲取搜索的數(shù)據(jù)，并對(duì)該數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的數(shù)據(jù)發(fā)送至該Spark SQL處理模塊103；

該Spark SQL處理模塊103，用于對(duì)該預(yù)處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，并將數(shù)據(jù)分析后的數(shù)據(jù)發(fā)送至該數(shù)據(jù)呈現(xiàn)模塊104；

該數(shù)據(jù)呈現(xiàn)模塊104，用于呈現(xiàn)該數(shù)據(jù)分析后的數(shù)據(jù)。

在本申請(qǐng)一種可能的實(shí)現(xiàn)方式中，該Elasticsearch索引模塊與該Spark SQL處理模塊通過(guò)JSON結(jié)構(gòu)進(jìn)行數(shù)據(jù)交互。

其中，該Elasticsearch索引模塊對(duì)數(shù)據(jù)的預(yù)處理可以是對(duì)數(shù)據(jù)進(jìn)行生成倒排索引、進(jìn)行中文分詞、完成自動(dòng)分布式存儲(chǔ)和備份等處理，這樣，不但保證了數(shù)據(jù)的安全性和可訪問(wèn)性，更加快了數(shù)據(jù)的方位速度、豐富了數(shù)據(jù)方位接口。另外，通過(guò)使用Spark SQL的計(jì)算能力，Spark SQL不僅支持結(jié)構(gòu)化數(shù)據(jù)的操作，還支持從RDD、parquet文件、JSON文件中獲取數(shù)據(jù)，并通過(guò)Web頁(yè)面的方式或者使用移動(dòng)終端的方式進(jìn)行數(shù)據(jù)的展現(xiàn)。

在本申請(qǐng)實(shí)施例中，該數(shù)據(jù)分析平臺(tái)的數(shù)據(jù)分析框架可以是如圖2所示的數(shù)據(jù)分析框架，如圖2所示，該數(shù)據(jù)分析框架包括位于框架最低層的數(shù)據(jù)源，該數(shù)據(jù)源支持HBASE、HIVE、HDFS以及MYSOL等構(gòu)架，在數(shù)據(jù)源上一層為搜索框架，該搜索框架由Elasticsearch搜索模塊完成數(shù)據(jù)搜索，該Elasticsearch搜索模塊提供數(shù)據(jù)搜索接口，用于搜索數(shù)據(jù)并從數(shù)據(jù)源獲取數(shù)據(jù)，在搜索框架上一層為計(jì)算框架，該計(jì)算框架由Spark SQL計(jì)算模塊以及APACHE SPARK、MLlib、GRAPHX完成對(duì)從Elasticsearch搜索模塊傳輸?shù)臄?shù)據(jù)的計(jì)算處理，該計(jì)算框架的上一層，也即該數(shù)據(jù)分析框架的最上層為數(shù)據(jù)呈現(xiàn)框架，該數(shù)據(jù)呈現(xiàn)框架通過(guò)WEB APP和MOBLIE APP對(duì)計(jì)算框架傳輸?shù)臄?shù)據(jù)進(jìn)行呈現(xiàn)。

采用上述數(shù)據(jù)分析平臺(tái)，通過(guò)Elasticsearch作為數(shù)據(jù)的存儲(chǔ)媒介，提供了豐富的訪問(wèn)和搜索數(shù)據(jù)的接口，并利用Spark SQL強(qiáng)大的內(nèi)存計(jì)算能力可以完成復(fù)雜的數(shù)據(jù)計(jì)算。兩者相互配合完成數(shù)據(jù)的預(yù)處理、存儲(chǔ)、容錯(cuò)、計(jì)算等一系列數(shù)據(jù)分析過(guò)程，實(shí)現(xiàn)簡(jiǎn)單，從而解決了現(xiàn)有數(shù)據(jù)分析平臺(tái)在進(jìn)行數(shù)據(jù)分析時(shí)實(shí)現(xiàn)較為復(fù)雜的問(wèn)題。

圖3為本申請(qǐng)實(shí)施例提供的一種數(shù)據(jù)分析方法，如圖3所示，該方法應(yīng)用于上述數(shù)據(jù)分析平臺(tái)，所述數(shù)據(jù)分析平臺(tái)包括數(shù)據(jù)源，與所述數(shù)據(jù)源連接的Elasticsearch索引模塊以及與所述Elasticsearch索引模塊連接的Spark SQL處理模塊和與所述Spark SQL處理模塊連接的數(shù)據(jù)呈現(xiàn)模塊，所述方法包括：

S301、該數(shù)據(jù)分析平臺(tái)中的該Elasticsearch索引模塊通過(guò)數(shù)據(jù)搜索接口從該數(shù)據(jù)源獲取搜索的數(shù)據(jù)，并對(duì)該數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的數(shù)據(jù)發(fā)送至該數(shù)據(jù)分析平臺(tái)中的Spark SQL處理模塊。

可選地，該數(shù)據(jù)分析平臺(tái)中的該Elasticsearch索引模塊對(duì)該數(shù)據(jù)進(jìn)行生成倒排索引、進(jìn)行中文分詞、完成自動(dòng)分布式存儲(chǔ)和備份。

S302、該數(shù)據(jù)分析平臺(tái)中的Spark SQL處理模塊對(duì)該預(yù)處理后的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，并將數(shù)據(jù)分析后的數(shù)據(jù)發(fā)送至該數(shù)據(jù)分析平臺(tái)中的數(shù)據(jù)呈現(xiàn)模塊。

可選地，該數(shù)據(jù)分析平臺(tái)中的該Elasticsearch索引模塊將預(yù)處理后的數(shù)據(jù)通過(guò)JSON結(jié)構(gòu)發(fā)送至該數(shù)據(jù)分析平臺(tái)中的Spark SQL處理模塊。

S303、該數(shù)據(jù)分析平臺(tái)中的數(shù)據(jù)呈現(xiàn)模塊，用于呈現(xiàn)該數(shù)據(jù)分析后的數(shù)據(jù)。

上述方法中各步驟的實(shí)現(xiàn)過(guò)程具體詳見(jiàn)上述數(shù)據(jù)分析平臺(tái)中各模塊的實(shí)現(xiàn)過(guò)程，在此不再贅述。

采用上述數(shù)據(jù)分析方法，通過(guò)Elasticsearch作為數(shù)據(jù)的存儲(chǔ)媒介，提供了豐富的訪問(wèn)和搜索數(shù)據(jù)的接口，并利用Spark SQL強(qiáng)大的內(nèi)存計(jì)算能力可以完成復(fù)雜的數(shù)據(jù)計(jì)算。兩者相互配合完成數(shù)據(jù)的預(yù)處理、存儲(chǔ)、容錯(cuò)、計(jì)算等一系列數(shù)據(jù)分析過(guò)程，實(shí)現(xiàn)簡(jiǎn)單，從而解決了現(xiàn)有數(shù)據(jù)分析平臺(tái)在進(jìn)行數(shù)據(jù)分析時(shí)實(shí)現(xiàn)較為復(fù)雜的問(wèn)題。

圖4為本申請(qǐng)實(shí)施例提供的一種服務(wù)器，如圖4所示，該服務(wù)器包括上述圖1所示的數(shù)據(jù)分析平臺(tái)。

以上所述僅為本申請(qǐng)的較佳實(shí)施例而已，并不用以限制本申請(qǐng)，凡在本申請(qǐng)的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請(qǐng)保護(hù)的范圍之內(nèi)。