一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法及裝置、訪問方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法及裝置、訪問方法及系統(tǒng)，該存儲(chǔ)方法，包括獲取實(shí)時(shí)數(shù)據(jù)；將實(shí)時(shí)數(shù)據(jù)分別保存在緩存服務(wù)器、分布式存儲(chǔ)系統(tǒng)中。該方法通過分離存儲(chǔ)將從網(wǎng)絡(luò)中獲得的實(shí)時(shí)數(shù)據(jù)保存下來。另外，本發(fā)明還公開了一種實(shí)時(shí)數(shù)據(jù)的訪問方法，其在訪問實(shí)時(shí)數(shù)據(jù)時(shí)，首先從緩存服務(wù)器中獲取實(shí)時(shí)數(shù)據(jù)，若緩存服務(wù)器中存在實(shí)時(shí)數(shù)據(jù)，則顯示給用戶，由于緩存服務(wù)器的訪問速度較快，因此能夠?qū)?shí)時(shí)數(shù)據(jù)快速的顯示給用戶。當(dāng)緩存服務(wù)器中不存在實(shí)時(shí)數(shù)據(jù)時(shí)，則從分布式存儲(chǔ)系統(tǒng)中獲取實(shí)時(shí)數(shù)據(jù)并顯示給用戶，由于分布式存儲(chǔ)系統(tǒng)采用的是永久性存儲(chǔ)器，其數(shù)據(jù)不會(huì)丟失，保證了實(shí)時(shí)數(shù)據(jù)的穩(wěn)定性。
【專利說明】
一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法及裝置、訪問方法及系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及數(shù)據(jù)的處理，尤其涉及一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法及裝置、訪問方法及系統(tǒng)。
【背景技術(shù)】
[0002]目前，我國移動(dòng)互聯(lián)網(wǎng)廣告已經(jīng)越來越受到業(yè)內(nèi)人士的關(guān)注，其發(fā)展正處于一個(gè)爆發(fā)的階段，海量廣告數(shù)據(jù)之間的交互越來越需要時(shí)效性和穩(wěn)定性，實(shí)時(shí)數(shù)據(jù)對(duì)于需要快速響應(yīng)的需求非常重要，但給客戶需要訪問某個(gè)網(wǎng)頁、廣告等，若是不能夠快速將實(shí)時(shí)數(shù)據(jù)展示給客戶，這樣就會(huì)給客戶造成一定的影響。

【發(fā)明內(nèi)容】

[0003]為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的之一在于提供一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法及裝置，其能夠解決現(xiàn)有技術(shù)中不能夠及時(shí)的將實(shí)時(shí)數(shù)據(jù)進(jìn)行保存。
[0004]本發(fā)明的目的之一采用以下技術(shù)方案實(shí)現(xiàn):
[0005]本發(fā)明提供了一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法，包括以下步驟:
[0006]S1:獲取實(shí)時(shí)數(shù)據(jù)；
[0007]S2:將所述實(shí)時(shí)數(shù)據(jù)復(fù)制成兩份，一份存儲(chǔ)于緩存服務(wù)器中，另一份存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中。
[0008]優(yōu)選地，所述步驟S2之前還包括步驟S21:按照實(shí)時(shí)數(shù)據(jù)的獲取日期進(jìn)行分類，將同一獲取日期的實(shí)時(shí)數(shù)據(jù)保存在一個(gè)文件中。
[0009]優(yōu)選地，所述文件的命名格式為“年-月-日”。
[0010]優(yōu)選地，所述步驟S2中，將存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)庫表并存儲(chǔ)于數(shù)據(jù)庫中。
[0011]優(yōu)選地，所述實(shí)時(shí)數(shù)據(jù)包括應(yīng)用程序接口從PC端網(wǎng)頁、智能終端APP獲取的數(shù)據(jù)以及從智能終端網(wǎng)頁中獲取的數(shù)據(jù)。
[0012]本發(fā)明還提供與所述實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法相對(duì)應(yīng)的一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)裝置，包括:
[0013]獲取模塊，用于獲取實(shí)時(shí)數(shù)據(jù)；
[0014]存儲(chǔ)模塊，用于將所述實(shí)時(shí)數(shù)據(jù)復(fù)制成兩份，一份存儲(chǔ)于緩存服務(wù)器中，另一份存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中。
[0015]優(yōu)選地，所述文件的命名格式為“年-月-日”。
[0016]為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的之二在于提供一種實(shí)時(shí)數(shù)據(jù)的訪問方法及裝置，其能夠解決現(xiàn)有技術(shù)中不能夠快速穩(wěn)定地將實(shí)時(shí)數(shù)據(jù)展示給客戶。
[0017]本發(fā)明的目的之二采用以下技術(shù)方案實(shí)現(xiàn):
[0018]本發(fā)明提供了一種實(shí)時(shí)數(shù)據(jù)的訪問方法，包括以下步驟:
[0019]S3:客戶端獲取用戶所訪問網(wǎng)頁時(shí)所需要的實(shí)時(shí)數(shù)據(jù)，
[0020]S4:判斷緩存服務(wù)器中是否存在所述實(shí)時(shí)數(shù)據(jù)，若存在，從緩存服務(wù)器中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端;若不存在，則從分布式存儲(chǔ)系統(tǒng)中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端。
[0021]本發(fā)明還提供了與所述實(shí)時(shí)數(shù)據(jù)的訪問方法相對(duì)應(yīng)的一種實(shí)時(shí)數(shù)據(jù)的訪問系統(tǒng)，包括:
[0022]獲取數(shù)據(jù)模塊，用于獲取用戶訪問網(wǎng)頁時(shí)所需要的實(shí)時(shí)數(shù)據(jù)；
[0023]判斷顯示模塊，用于判斷緩存服務(wù)器中是否存在所需要的實(shí)時(shí)數(shù)據(jù)，若存在，從緩存服務(wù)器中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端;若不存在，則從分布式存儲(chǔ)系統(tǒng)中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端。
[0024]相比現(xiàn)有技術(shù)，本發(fā)明的有益效果在于:本發(fā)明通過分離存儲(chǔ)從網(wǎng)絡(luò)上獲取到的實(shí)時(shí)數(shù)據(jù)，然后當(dāng)用戶訪問網(wǎng)頁時(shí)，能夠及時(shí)地從緩存服務(wù)器中獲取實(shí)時(shí)數(shù)據(jù)并顯示給用戶，能夠快速的將實(shí)時(shí)數(shù)據(jù)顯示給用戶，由于緩存服務(wù)器的訪問速度較快，保證了實(shí)時(shí)數(shù)據(jù)顯示的及時(shí)性；當(dāng)緩存服務(wù)器中不存在用戶訪問網(wǎng)頁所需要的實(shí)時(shí)數(shù)據(jù)時(shí)，從分布式存儲(chǔ)系統(tǒng)中獲取實(shí)時(shí)數(shù)據(jù)，由于分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)不會(huì)丟失，保證了實(shí)時(shí)數(shù)據(jù)的穩(wěn)定性。
【附圖說明】
[0025]圖1為本發(fā)明提供的一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法流程圖；
[0026]圖2為本發(fā)明提供的一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)裝置模塊圖；
[0027]圖3是本發(fā)明提供的一種實(shí)時(shí)數(shù)據(jù)的訪問方法流程圖；
[0028]圖4是本發(fā)明提供的一種實(shí)時(shí)數(shù)據(jù)的訪問系統(tǒng)模塊圖。
【具體實(shí)施方式】
[0029 ]下面，結(jié)合附圖以及【具體實(shí)施方式】，對(duì)本發(fā)明做進(jìn)一步描述:
[0030]如圖1所示，本發(fā)明提供了一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法，其能夠?qū)⒑Ａ康膶?shí)時(shí)數(shù)據(jù)收集起來，供用戶訪問需求的使用。其包括以下步驟:
[0031]Sll:獲取實(shí)時(shí)數(shù)據(jù)。
[0032]其中該實(shí)時(shí)數(shù)據(jù)是指通過應(yīng)用程序從PC端的網(wǎng)頁、手機(jī)的應(yīng)用端(比如APP軟件)獲取到的數(shù)據(jù)；另外還包括從手機(jī)的網(wǎng)頁端獲取到的數(shù)據(jù)，將上述的數(shù)據(jù)都收集并保存起來。獲取到的這些實(shí)時(shí)數(shù)據(jù)可以放入一個(gè)緩存隊(duì)列中。
[0033]S12:將所述實(shí)時(shí)數(shù)據(jù)復(fù)制為兩份，其中一份存儲(chǔ)于緩存服務(wù)器中，第二份存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中。其中所述緩存服務(wù)器其存儲(chǔ)空間較小，會(huì)經(jīng)常定時(shí)更新，也即是說保存子該緩存服務(wù)器中的數(shù)據(jù)有可能丟失，比如像內(nèi)存一樣。另外，由于該緩存服務(wù)器是采用緩存機(jī)制的存儲(chǔ)器，因此其訪問速度較快。所述分布式存儲(chǔ)系統(tǒng)所采用的存儲(chǔ)器是永久性存儲(chǔ)器，其存儲(chǔ)的數(shù)據(jù)具有永久存儲(chǔ)的，不需要向緩存一樣會(huì)定時(shí)刷新，其存儲(chǔ)的實(shí)時(shí)數(shù)據(jù)不會(huì)丟失。
[0034]另外在所述步驟S2之前還包括步驟S112:按照實(shí)時(shí)數(shù)據(jù)的獲取日期進(jìn)行分類，將同一獲取日期的實(shí)時(shí)數(shù)據(jù)保存在同一個(gè)文件中，這樣就將實(shí)時(shí)數(shù)據(jù)按照獲取日期不同保存在不同的文件中。另外，文件的命名格式為“年-月-日”。
[0035]所述緩存服務(wù)器是一個(gè)緩存服務(wù)器，其存儲(chǔ)空間較小、還會(huì)定時(shí)刷新。比如當(dāng)存儲(chǔ)空間滿時(shí)，或者存儲(chǔ)時(shí)間到了就會(huì)將該緩存服務(wù)器中的數(shù)據(jù)清空。
[0036]所述分布式存儲(chǔ)系統(tǒng)其存儲(chǔ)數(shù)據(jù)不會(huì)丟失，將實(shí)時(shí)數(shù)據(jù)存儲(chǔ)在分布式存儲(chǔ)系統(tǒng)時(shí)，可對(duì)實(shí)時(shí)數(shù)據(jù)文件進(jìn)行壓縮處理，減少占用空間；或者是將實(shí)時(shí)數(shù)據(jù)文件轉(zhuǎn)換為數(shù)據(jù)庫表的形式保存在數(shù)據(jù)庫中。比如，將實(shí)時(shí)數(shù)據(jù)保存在分布式存儲(chǔ)系統(tǒng)時(shí)，會(huì)將實(shí)時(shí)數(shù)據(jù)通過Hadoop中的框架Hive將文件的數(shù)據(jù)映射為數(shù)據(jù)庫表并存儲(chǔ)于數(shù)據(jù)庫中，該數(shù)據(jù)庫可以是Mysql數(shù)據(jù)庫。同時(shí)，還可利用Hadoop Map/Reduce框架對(duì)數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行數(shù)據(jù)的分析和挖掘，然后將處理的結(jié)果以表的形式保存在數(shù)據(jù)庫中。這樣將實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)庫表能夠方便存儲(chǔ)。這里對(duì)數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)庫表以及對(duì)數(shù)據(jù)進(jìn)行處理都是使用Hadoop中的現(xiàn)有框架，本領(lǐng)域技術(shù)人員可以實(shí)現(xiàn)。
[0037]如圖2所示，本發(fā)明還公開了與所述一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法相對(duì)應(yīng)的一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)裝置，其包括:
[0038]獲取模塊，用于獲取實(shí)時(shí)數(shù)據(jù)；
[0039]存儲(chǔ)模塊，用于將所述實(shí)時(shí)數(shù)據(jù)復(fù)制成兩份，一份存儲(chǔ)于緩存服務(wù)器中，另一份存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中。
[0040]優(yōu)選地，包括所述存儲(chǔ)模塊之前還包括分類模塊，用于按照實(shí)時(shí)數(shù)據(jù)的獲取日期進(jìn)行分類，將同一獲取日期的實(shí)時(shí)數(shù)據(jù)保存在一個(gè)文件中。
[0041]優(yōu)選地，所述文件的命名格式為“年-月-日”。
[0042]如圖3所示，本發(fā)明還公開了一種實(shí)時(shí)數(shù)據(jù)的訪問方法，其中該實(shí)時(shí)數(shù)據(jù)是指由上述實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法所得到的實(shí)時(shí)數(shù)據(jù)，其包括:
[0043]S21:獲取用戶訪問網(wǎng)頁所需要的實(shí)時(shí)數(shù)據(jù)。
[0044]其中，當(dāng)客戶訪問網(wǎng)頁時(shí)，客戶端能夠獲取到相對(duì)應(yīng)的用戶，然后得知用戶所要訪問的實(shí)時(shí)數(shù)據(jù)。
[0045]S22:判斷緩存服務(wù)器中是否存在所需要的實(shí)時(shí)數(shù)據(jù)，若存在，則執(zhí)行S221;若不存在，則執(zhí)行S222;
[0046]S221:從緩存服務(wù)器中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端。
[0047]S222:從分布式存儲(chǔ)系統(tǒng)中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端。
[0048]當(dāng)客戶訪問網(wǎng)頁時(shí)，首先在緩存服務(wù)器中獲取實(shí)時(shí)數(shù)據(jù)，若緩存服務(wù)器中沒有所需要的實(shí)時(shí)數(shù)據(jù)，則在從分布式存儲(chǔ)系統(tǒng)中獲取實(shí)時(shí)數(shù)據(jù)。也即是說，當(dāng)客戶訪問網(wǎng)頁時(shí)，首先從緩存服務(wù)器中獲取數(shù)據(jù)，因此緩存服務(wù)器的處理速度較快，可以快速的為用戶提供所需要顯示的實(shí)時(shí)數(shù)據(jù)。另外，由于緩存服務(wù)器的數(shù)據(jù)是定時(shí)更新的，當(dāng)緩存服務(wù)器中沒有所需要的數(shù)據(jù)時(shí)，就從分布式存儲(chǔ)系統(tǒng)中獲取所需要的數(shù)據(jù)，因此保證了數(shù)據(jù)的穩(wěn)定性。
[0049]如圖4所示，本發(fā)明還提供了一種實(shí)時(shí)數(shù)據(jù)的訪問系統(tǒng)，包括:
[0050]獲取數(shù)據(jù)模塊，用于獲取用戶訪問網(wǎng)頁時(shí)所需要的實(shí)時(shí)數(shù)據(jù)；
[0051]判斷顯示模塊，用于判斷緩存服務(wù)器中是否存在所需要的實(shí)時(shí)數(shù)據(jù)，若存在，從緩存服務(wù)器中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端;若不存在，從分布式存儲(chǔ)系統(tǒng)中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端。
[0052]對(duì)本領(lǐng)域的技術(shù)人員來說，可根據(jù)以上描述的技術(shù)方案以及構(gòu)思，做出其它各種相應(yīng)的改變以及形變，而所有的這些改變以及形變都應(yīng)該屬于本發(fā)明權(quán)利要求的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法，其特征在于，包括以下步驟: S1:獲取實(shí)時(shí)數(shù)據(jù)； S2:將所述實(shí)時(shí)數(shù)據(jù)復(fù)制成兩份，一份存儲(chǔ)于緩存服務(wù)器中，另一份存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中。2.如權(quán)利要求1所述實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法，其特征在于，所述步驟S2之前還包括步驟S21:按照實(shí)時(shí)數(shù)據(jù)的獲取日期進(jìn)行分類，將同一獲取日期的實(shí)時(shí)數(shù)據(jù)保存在一個(gè)文件中。3.如權(quán)利要求1所述實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法，其特征在于，所述文件的命名格式為“年-月-日”。4.如權(quán)利要求1所述實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法，其特征在于，所述步驟S2中，將存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)的實(shí)時(shí)數(shù)據(jù)轉(zhuǎn)換為數(shù)據(jù)庫表并存儲(chǔ)于數(shù)據(jù)庫中。5.如權(quán)利要求1所述實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)方法，其特征在于，所述實(shí)時(shí)數(shù)據(jù)包括應(yīng)用程序接口從PC端網(wǎng)頁、智能終端APP獲取的數(shù)據(jù)以及從智能終端網(wǎng)頁中獲取的數(shù)據(jù)。6.一種實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)裝置，其特征在于，包括: 獲取模塊，用于獲取實(shí)時(shí)數(shù)據(jù)； 存儲(chǔ)模塊，用于將所述實(shí)時(shí)數(shù)據(jù)復(fù)制成兩份，一份存儲(chǔ)于緩存服務(wù)器中，另一份存儲(chǔ)于分布式存儲(chǔ)系統(tǒng)中。7.如權(quán)利要求6所述實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)裝置，其特征在于，包括所述存儲(chǔ)模塊之前還包括分類模塊，用于按照實(shí)時(shí)數(shù)據(jù)的獲取日期進(jìn)行分類，將同一獲取日期的實(shí)時(shí)數(shù)據(jù)保存在一個(gè)文件中。8.如權(quán)利要求7所述實(shí)時(shí)數(shù)據(jù)的存儲(chǔ)裝置，其特征在于，所述文件的命名格式為“年-月-日”。9.一種實(shí)時(shí)數(shù)據(jù)的訪問方法，其特征在于，包括以下步驟: S3:客戶端獲取用戶所訪問網(wǎng)頁時(shí)所需要的實(shí)時(shí)數(shù)據(jù)， S4:判斷緩存服務(wù)器中是否存在所述實(shí)時(shí)數(shù)據(jù)，若存在，從緩存服務(wù)器中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端;若不存在，則從分布式存儲(chǔ)系統(tǒng)中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端。10.一種實(shí)時(shí)數(shù)據(jù)的訪問系統(tǒng)，其特征在于，包括: 獲取數(shù)據(jù)模塊，用于獲取用戶訪問網(wǎng)頁時(shí)所需要的實(shí)時(shí)數(shù)據(jù)； 判斷顯示模塊，用于判斷緩存服務(wù)器中是否存在所需要的實(shí)時(shí)數(shù)據(jù)，若存在，從緩存服務(wù)器中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端;若不存在，則從分布式存儲(chǔ)系統(tǒng)中獲取所需要的實(shí)時(shí)數(shù)據(jù)并顯示給客戶端。
【文檔編號(hào)】G06F17/30GK106055655SQ201610383524
【公開日】2016年10月26日
【申請日】2016年5月31日
【發(fā)明人】練麗梅
【申請人】廣州艾媒數(shù)聚信息咨詢股份有限公司