本申請涉及存儲技術(shù)領(lǐng)域，尤其涉及一種時間序列數(shù)據(jù)的處理方法和裝置。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，越來越多的業(yè)務(wù)可以通過網(wǎng)絡(luò)實現(xiàn)。在很多業(yè)務(wù)場景中，需要對用戶的業(yè)務(wù)操作情況進(jìn)行累計、分析，以預(yù)測、預(yù)判用戶未來的業(yè)務(wù)傾向。比如：可以累計用戶的操作金額以判斷是否存在風(fēng)險；可以累計用戶對商品的瀏覽情況，以預(yù)測用戶想要購買的商品等。

相關(guān)技術(shù)中，在對用戶的業(yè)務(wù)數(shù)據(jù)進(jìn)行累計、計算時，通常需要先在數(shù)據(jù)庫中查詢之前的數(shù)據(jù)，然后再進(jìn)行累計、計算等操作，然而，對數(shù)據(jù)庫頻繁的讀寫操作對系統(tǒng)的容量、響應(yīng)的影響都非常大。

技術(shù)實現(xiàn)要素：

有鑒于此，本申請?zhí)峁┮环N時間序列數(shù)據(jù)的處理方法和裝置。

具體地，本申請是通過如下技術(shù)方案實現(xiàn)的：

一種時間序列數(shù)據(jù)的處理方法，所述方法包括：

在接收到時間序列數(shù)據(jù)后，確定所述時間序列數(shù)據(jù)的時間戳；

判斷緩存中是否存在匹配所述時間戳的時間序列緩存桶，所述時間序列緩存桶用于緩存對應(yīng)業(yè)務(wù)時段內(nèi)的時間序列數(shù)據(jù)，所述業(yè)務(wù)時段的時長是預(yù)設(shè)的固定時長；

若緩存中存在匹配所述時間戳的時間序列緩存桶，則將所述時間序列數(shù)據(jù)更新到所述時間序列緩存桶中；

根據(jù)預(yù)設(shè)的策略將所述時間序列緩存桶中的數(shù)據(jù)更新到數(shù)據(jù)庫中。

一種時間序列數(shù)據(jù)的處理裝置，所述裝置包括：

時間戳確定單元，在接收到時間序列數(shù)據(jù)后，確定所述時間序列數(shù)據(jù)的時間戳；

緩存桶判斷單元，判斷緩存中是否存在匹配所述時間戳的時間序列緩存桶，所述時間序列緩存桶用于緩存對應(yīng)業(yè)務(wù)時段內(nèi)的時間序列數(shù)據(jù)，所述業(yè)務(wù)時段的時長是預(yù)設(shè)的固定時長；

第一更新單元，若緩存中存在匹配所述時間戳的時間序列緩存桶，則將所述時間序列數(shù)據(jù)更新到所述時間序列緩存桶中；

第二更新單元，根據(jù)預(yù)設(shè)的策略將所述時間序列緩存桶中的數(shù)據(jù)更新到數(shù)據(jù)庫中。

由以上描述可以看出，本申請可以將時間序列數(shù)據(jù)存儲到匹配其時間戳的時間序列桶中，并根據(jù)預(yù)設(shè)的策略將所述時間序列緩存桶中的數(shù)據(jù)更新到數(shù)據(jù)庫中，通過時間序列緩存桶的緩存機制以減少對數(shù)據(jù)庫的訪問，確保系統(tǒng)的容量、響應(yīng)不受到影響。

附圖說明

圖1是本申請一示例性實施例示出的一種時間序列數(shù)據(jù)的處理方法的流程示意圖。

圖2是本申請一示例性實施例示出的一種用于時間序列數(shù)據(jù)的處理裝置的一結(jié)構(gòu)示意圖。

圖3是本申請一示例性實施例示出的一種時間序列數(shù)據(jù)的處理裝置的框圖。

具體實施方式

這里將詳細(xì)地對示例性實施例進(jìn)行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本申請相一致的所有實施方式。相反，它們僅是與如所附權(quán)利要求書中所詳述的、本申請的一些方面相一致的裝置和方法的例子。

在本申請使用的術(shù)語是僅僅出于描述特定實施例的目的，而非旨在限制本申請。在本申請和所附權(quán)利要求書中所使用的單數(shù)形式的“一種”、“所述”和“該”也旨在包括多數(shù)形式，除非上下文清楚地表示其他含義。還應(yīng)當(dāng)理解，本文中使用的術(shù)語“和/或”是指并包含一個或多個相關(guān)聯(lián)的列出項目的任何或所有可能組合。

應(yīng)當(dāng)理解，盡管在本申請可能采用術(shù)語第一、第二、第三等來描述各種信息，但這些信息不應(yīng)限于這些術(shù)語。這些術(shù)語僅用來將同一類型的信息彼此區(qū)分開。例如，在不脫離本申請范圍的情況下，第一信息也可以被稱為第二信息，類似地，第二信息也可以被稱為第一信息。取決于語境，如在此所使用的詞語“如果”可以被解釋成為“在……時”或“當(dāng)……時”或“響應(yīng)于確定”。

相關(guān)技術(shù)中，可以在系統(tǒng)中緩存用戶業(yè)務(wù)操作的相關(guān)數(shù)據(jù)，后續(xù)再更新到數(shù)據(jù)庫中。然而，由于系統(tǒng)緩存存在淘汰、丟失等問題，這樣的實現(xiàn)方式無法確保數(shù)據(jù)的一致性。若采用可靠的緩存，又會導(dǎo)致存儲成本過高。

相關(guān)技術(shù)中，還可以采用數(shù)據(jù)文件的形式保存用戶業(yè)務(wù)操作的相關(guān)數(shù)據(jù)，然而采用數(shù)據(jù)文件的方式就需要考慮宕機、容災(zāi)等問題，存儲成本也很高。

針對上述問題，本申請?zhí)峁┮环N時間序列數(shù)據(jù)的處理方案。

圖1是本申請一示例性實施例示出的一種時間序列數(shù)據(jù)的處理方法的流程示意圖。

請參考圖1，時間序列數(shù)據(jù)的處理方法可以應(yīng)用在服務(wù)提供商部署的服務(wù)器或者服務(wù)器集群中，包括以下步驟：

步驟101，在接收到時間序列數(shù)據(jù)后，確定所述時間序列數(shù)據(jù)的時間戳。

在本實施例中，服務(wù)器可以接收到其他業(yè)務(wù)系統(tǒng)發(fā)送的用戶業(yè)務(wù)操作數(shù)據(jù)，比如：其他業(yè)務(wù)系統(tǒng)可以在用戶執(zhí)行業(yè)務(wù)操作后，將用戶的業(yè)務(wù)操作數(shù)據(jù)通過消息的方式發(fā)送給所述服務(wù)器。當(dāng)然，在實際實現(xiàn)中，也可以通過其他方式將用戶的業(yè)務(wù)操作數(shù)據(jù)發(fā)送給所述服務(wù)器，本申請對此不作特殊限制。

在本實施例中，其他業(yè)務(wù)系統(tǒng)通常會按照用戶業(yè)務(wù)操作時間的先后順序?qū)魳I(yè)務(wù)操作數(shù)據(jù)發(fā)送給所述服務(wù)器，因此，服務(wù)器接收到的業(yè)務(wù)操作數(shù)據(jù)通常是時間序列數(shù)據(jù)，攜帶有時間戳。為便于描述，后續(xù)將所述業(yè)務(wù)操作數(shù)據(jù)統(tǒng)稱為時間序列數(shù)據(jù)。舉例來說，所述時間序列數(shù)據(jù)可以是用戶的登錄數(shù)據(jù)，所述時間戳通常為登錄時間；所述時間序列數(shù)據(jù)還可以是用戶消費數(shù)據(jù)，所述時間戳通常為消費時間。

在本實施例中，服務(wù)器在接收到時間序列數(shù)據(jù)后，可以確定所述時間序列數(shù)據(jù)的時間戳。

步驟102，判斷緩存中是否存在匹配所述時間戳的時間序列緩存桶，所述時間序列緩存桶用于緩存對應(yīng)業(yè)務(wù)時段內(nèi)的時間序列數(shù)據(jù)，所述業(yè)務(wù)時段的時長是預(yù)設(shè)的固定時長。

步驟103，若緩存中存在匹配所述時間戳的時間序列緩存桶，則將所述時間序列數(shù)據(jù)更新到所述時間序列緩存桶中。

在本實施例中，服務(wù)器可以在緩存中建立多個時間序列緩存桶，所述時間序列緩存桶可用于緩存對應(yīng)業(yè)務(wù)時段內(nèi)的時間序列數(shù)據(jù)，所述業(yè)務(wù)時段的時長為預(yù)設(shè)的固定時長。換言之，每個時間序列緩存桶所對應(yīng)業(yè)務(wù)時間的時長均相同。所述固定時長的取值可以由開發(fā)人員根據(jù)業(yè)務(wù)需求設(shè)置，比如：1小時、1分鐘等。在本例中，緩存中時間序列緩存桶的最多數(shù)量也可以由開發(fā)人員根據(jù)業(yè)務(wù)需求進(jìn)行設(shè)置，比如：2個、3個等。

舉例來說，假設(shè)，時間序列數(shù)據(jù)為用戶對某鏈接的訪問次數(shù)，所述固定時長為1小時，時間序列緩存桶1可以用于存儲各用戶在2016年12月23日01:00:00至01:59:59這段時間對該鏈接的訪問次數(shù)。時間序列緩存桶2可以用于存儲各用戶在2016年12月23日02:00:00至02:59:59這段時間對該鏈接的訪問次數(shù)，依次類推。

在本實施例中，所述時間序列緩存桶的存儲結(jié)構(gòu)可以為key-value結(jié)構(gòu)，以上述時間序列緩存桶1為例，可參考表1所示的存儲結(jié)構(gòu)。

表1

在本實施例中，若緩存中存在匹配所述時間戳的時間序列緩存桶，則可以將所述時間序列數(shù)據(jù)更新到所述時間序列緩存桶中。假設(shè)，所述時間序列數(shù)據(jù)為用戶1在2016年12月23日01:50:59訪問該鏈接，則可以先從時間序列緩存桶1中獲取已存儲的用戶1的訪問次數(shù)3次，然后加上本次訪問，用戶1的訪問次數(shù)變?yōu)?次，進(jìn)而可以將用戶1的訪問次數(shù)由3更新為4。

當(dāng)然，在實際應(yīng)用中，時間序列緩存桶中時間序列數(shù)據(jù)的更新方式并不限于累計，具體可以根據(jù)業(yè)務(wù)需求進(jìn)行設(shè)置，本申請對此不作特殊限制。

步驟104，根據(jù)預(yù)設(shè)的策略將所述時間序列緩存桶中的數(shù)據(jù)更新到數(shù)據(jù)庫中。

在本實施例中，服務(wù)器可以采用異步等方式將時間序列緩存桶中的時間序列數(shù)據(jù)更新到數(shù)據(jù)庫中，本申請對此不作特殊限制。

由以上描述可以看出，本申請可以將時間序列數(shù)據(jù)存儲到匹配其時間戳的時間序列桶中，并根據(jù)預(yù)設(shè)的策略將所述時間序列緩存桶中的數(shù)據(jù)更新到數(shù)據(jù)庫中，通過時間序列緩存桶的緩存機制以減少對數(shù)據(jù)庫的訪問，確保系統(tǒng)的容量、響應(yīng)不受到影響。

以下通過時間序列緩存桶的維護(hù)、時間序列數(shù)據(jù)的亂序、系統(tǒng)宕機三個方面，對本申請的技術(shù)方案進(jìn)行詳細(xì)描述。

一、時間序列緩存桶的維護(hù)

在本實施例中，所述時間序列緩存桶的維護(hù)可以包括：建立、刪除。

1)時間序列緩存桶的建立

在一個例子中，可以以時間序列緩存桶的業(yè)務(wù)時段的時長為周期進(jìn)行時間序列緩存桶的建立。

表2

舉例來說，仍假設(shè)業(yè)務(wù)時段的時長是1小時，請參考表2，可以在2016年12月23日01:00:00建立時間序列緩存桶1，時間序列緩存桶1對應(yīng)的業(yè)務(wù)時段為2016年12月23日01:00:00至2016年12月23日01:59:59。在2016年12月23日02:00:00是可以建立時間序列緩存桶2，該時間序列緩存桶2對應(yīng)的業(yè)務(wù)時段為2016年12月23日02:00:00至2016年12月23日02:59:59。

在另一個例子中，在到達(dá)上述時間周期時，也可以先不建立時間序列緩存桶，而在是接收到時間戳匹配對應(yīng)業(yè)務(wù)時段的時間序列數(shù)據(jù)后，再進(jìn)行時間序列緩存桶的建立。

仍以上述時間序列緩存桶1為例，在2016年12月23日02:00:00時，可以先不建立時間序列緩存桶2。假設(shè)，在2016年12月23日02:20:00接收到時間戳為2016年12月23日02:18:00的時間序列數(shù)據(jù)，確定當(dāng)前緩存中不存在匹配該時間戳的時間序列緩存桶，而該時間戳又晚于時間序列緩存桶1對應(yīng)的業(yè)務(wù)時段，則可以建立時間序列緩存桶2，對應(yīng)的業(yè)務(wù)時段為2016年12月23日02:00:00-02:59:59，并將所述時間序列數(shù)據(jù)更新到時間序列緩存桶2中。

2)時間序列緩存桶的刪除

在本實施例中，管理人員可以預(yù)先設(shè)置緩存中時間序列緩存桶的最多數(shù)量，當(dāng)緩存中時間序列緩存桶的數(shù)量超出所述預(yù)設(shè)的最多數(shù)量(預(yù)設(shè)數(shù)量)時，可以進(jìn)行時間序列緩存桶的刪除，以節(jié)省緩存空間。

在一個例子中，可以在建立新的時間序列緩存桶后，判斷當(dāng)前緩存中時間序列緩存桶的數(shù)量是否大于所述最多數(shù)量，若小于等于，則無需處理。若大于，則可以在確定當(dāng)前緩存中建立時間最早的時間序列緩存桶中的時間序列數(shù)據(jù)已更新到數(shù)據(jù)庫中后，刪除所述建立時間最早的時間序列緩存桶。換言之，在本例中，可以按照時間先后的順序進(jìn)行時間序列緩存桶的刪除。當(dāng)然，在刪除之前還需確保其中存儲的時間序列數(shù)據(jù)已全部更新到數(shù)據(jù)庫中。

二、時間序列數(shù)據(jù)的亂序

在正常情況下，服務(wù)器會按照時間戳先后的順序依次接收到的時間序列數(shù)據(jù)，比如：就某一天而言，服務(wù)器通常會先接收到時間戳為01:02:08的時間序列數(shù)據(jù)，然后才會接收到時間戳為01:05:56的時間序列數(shù)據(jù)。

然而，當(dāng)發(fā)送時間序列數(shù)據(jù)的其他業(yè)務(wù)系統(tǒng)故障，或者網(wǎng)絡(luò)出現(xiàn)故障時，可能會導(dǎo)致時間序列數(shù)據(jù)亂序的情況。仍以表2所示的時間序列緩存桶為例，假設(shè)用戶1在2016年12月23日01:56:18訪問了該鏈接，而這條時間序列數(shù)據(jù)在2016年12月23日02:07:00才被服務(wù)器接收到。此時，服務(wù)器確定緩存中存在匹配01:56:18的時間序列緩存桶1，進(jìn)而可以將這條時間序列數(shù)據(jù)更新到時間序列緩存桶1中，即將時間序列緩存桶1中用戶1的訪問次數(shù)加1。

又假設(shè)，基于表2的示例，管理人員預(yù)先設(shè)置緩存中時間序列緩存桶的最多數(shù)量是2，則在2016年12月23日03:00:00時，可建立時間序列緩存桶3，并在確定時間序列緩存桶1中的時間序列數(shù)據(jù)均已更新到數(shù)據(jù)庫后，刪除時間序列緩存桶1，形成表3所示的時間序列緩存桶。

表3

若用戶1在2016年12月23日01:56:18訪問該鏈接的這條時間序列數(shù)據(jù)在2016年12月23日03:07:00才被服務(wù)器接收到，此時，服務(wù)器確定緩存中不存在匹配01:56:18的時間序列緩存桶，而該時間戳01:56:18又早于時間序列緩存桶2所對應(yīng)的業(yè)務(wù)時段，則可以將該時間序列數(shù)據(jù)直接更新到數(shù)據(jù)庫中，以確保數(shù)據(jù)準(zhǔn)確。

三、系統(tǒng)宕機

在本實施例中，服務(wù)器在宕機重啟后，緩存中的所有時間序列緩存桶都會丟失，在這種情況下，服務(wù)器可以先確定最新更新到緩存中的時間序列數(shù)據(jù)的時間戳，然后再確定該時間戳所屬的業(yè)務(wù)時段，后續(xù)若接收到屬于該業(yè)務(wù)時段的時間序列數(shù)據(jù)，則可以直接將其更新到數(shù)據(jù)庫中，直至該業(yè)務(wù)時段結(jié)束后，建立新的時間序列緩存桶。其中，所述最新更新到緩存中的時間序列數(shù)據(jù)的時間戳可以通過統(tǒng)計確定，比如：連續(xù)統(tǒng)計10分鐘確定該時間戳，或者統(tǒng)計預(yù)設(shè)數(shù)量的時間序列數(shù)據(jù)并將最新的時間戳確定為該時間戳，再或者可以將已更新到數(shù)據(jù)庫中的最新的時間序列數(shù)據(jù)的時間戳確定為該時間戳等，本申請對此不作特殊限制。

仍以表2所示的時間序列緩存桶為例，假設(shè)系統(tǒng)在2016年12月23日02:46:08宕機，02:48:08成功重啟，重啟后緩存中不存在任何時間序列緩存桶。又假設(shè)，服務(wù)器重啟后確定的最新更新到緩存中的時間序列數(shù)據(jù)的時間戳為2016年12月23日02:28:08，則該時間戳所屬的業(yè)務(wù)時段為02:00:00-02:59:59。后續(xù)，服務(wù)器若接收到時間戳屬于該業(yè)務(wù)時段的時間序列數(shù)據(jù)，則可以直接將該時間序列數(shù)據(jù)更新到數(shù)據(jù)庫中。在2016年12月23日03:00:00時，可以建立業(yè)務(wù)時段為03:00:00-03:59:59的時間序列緩存桶。

由以上描述可以看出，采用本申請?zhí)峁┑臅r間序列數(shù)據(jù)的處理方案，可以解決時間序列數(shù)據(jù)亂序、系統(tǒng)宕機等異常情況下的數(shù)據(jù)更新，無需增加額外的存儲成本。

與前述時間序列數(shù)據(jù)的處理方法的實施例相對應(yīng)，本申請還提供了時間序列數(shù)據(jù)的處理裝置的實施例。

本申請時間序列數(shù)據(jù)的處理裝置的實施例可以應(yīng)用在服務(wù)器上。裝置實施例可以通過軟件實現(xiàn)，也可以通過硬件或者軟硬件結(jié)合的方式實現(xiàn)。以軟件實現(xiàn)為例，作為一個邏輯意義上的裝置，是通過其所在服務(wù)器的處理器將非易失性存儲器中對應(yīng)的計算機程序指令讀取到內(nèi)存中運行形成的。從硬件層面而言，如圖2所示，為本申請時間序列數(shù)據(jù)的處理裝置所在服務(wù)器的一種硬件結(jié)構(gòu)圖，除了圖2所示的處理器、內(nèi)存、網(wǎng)絡(luò)接口、以及非易失性存儲器之外，實施例中裝置所在的服務(wù)器通常根據(jù)該服務(wù)器的實際功能，還可以包括其他硬件，對此不再贅述。

圖3是本申請一示例性實施例示出的一種時間序列數(shù)據(jù)的處理裝置的框圖。

請參考圖3，所述時間序列數(shù)據(jù)的處理裝置200可以應(yīng)用在圖2所示的服務(wù)器中，包括有：時間戳確定單元201、緩存桶判斷單元202、第一更新單元203、第二更新單元204、第一建立單元205、緩存桶刪除單元206、第三更新單元207、第四更新單元208、宕機處理單元209以及第二建立單元210。

其中，時間戳確定單元201，在接收到時間序列數(shù)據(jù)后，確定所述時間序列數(shù)據(jù)的時間戳；

緩存桶判斷單元202，判斷緩存中是否存在匹配所述時間戳的時間序列緩存桶，所述時間序列緩存桶用于緩存對應(yīng)業(yè)務(wù)時段內(nèi)的時間序列數(shù)據(jù)，所述業(yè)務(wù)時段的時長是預(yù)設(shè)的固定時長；

第一更新單元203，若緩存中存在匹配所述時間戳的時間序列緩存桶，則將所述時間序列數(shù)據(jù)更新到所述時間序列緩存桶中；

第二更新單元204，根據(jù)預(yù)設(shè)的策略將所述時間序列緩存桶中的數(shù)據(jù)更新到數(shù)據(jù)庫中。

第一建立單元205，以所述固定時長為時間周期，在到達(dá)所述時間周期時，建立新的時間序列緩存桶。

緩存桶刪除單元206，在建立新的時間序列緩存桶后，判斷當(dāng)前緩存中時間序列緩存桶的數(shù)量是否大于預(yù)設(shè)數(shù)量；若當(dāng)前緩存中時間序列緩存桶的數(shù)量大于預(yù)設(shè)數(shù)量，則在確定當(dāng)前緩存中建立時間最早的時間序列緩存桶中的時間序列數(shù)據(jù)已更新到數(shù)據(jù)庫中后，刪除所述建立時間最早的時間序列緩存桶。

第三更新單元207，當(dāng)所述緩存中不存在匹配所述時間戳的時間序列緩存桶時，若確定所述時間戳早于當(dāng)前緩存中建立時間最早的時間序列緩存桶所對應(yīng)的業(yè)務(wù)時段，則將所述時間序列數(shù)據(jù)更新到數(shù)據(jù)庫中。

第四更新單元208，當(dāng)所述緩存中不存在匹配所述時間戳的時間序列緩存桶時，若確定所述時間戳晚于當(dāng)前緩存中建立時間最晚的時間序列緩存桶所對應(yīng)的業(yè)務(wù)時段，則建立匹配所述時間戳的新的時間序列緩存桶，并將所述時間序列數(shù)據(jù)更新到所述新的時間序列緩存桶中。

宕機處理單元209，在宕機重啟后，確定最新更新到緩存中的時間序列數(shù)據(jù)的時間戳；若在所述時間戳所屬的業(yè)務(wù)時段內(nèi)接收到時間序列數(shù)據(jù)，則將所述時間序列數(shù)據(jù)更新到數(shù)據(jù)庫中。

第二建立單元210，在經(jīng)過所述時間戳所屬的業(yè)務(wù)時段后，建立新的時間序列緩存桶。

上述裝置中各個單元的功能和作用的實現(xiàn)過程具體詳見上述方法中對應(yīng)步驟的實現(xiàn)過程，在此不再贅述。

對于裝置實施例而言，由于其基本對應(yīng)于方法實施例，所以相關(guān)之處參見方法實施例的部分說明即可。以上所描述的裝置實施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上?？梢愿鶕?jù)實際的需要選擇其中的部分或者全部模塊來實現(xiàn)本申請方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性勞動的情況下，即可以理解并實施。

上述實施例闡明的系統(tǒng)、裝置、模塊或單元，具體可以由計算機芯片或?qū)嶓w實現(xiàn)，或者由具有某種功能的產(chǎn)品來實現(xiàn)。一種典型的實現(xiàn)設(shè)備為計算機，計算機的具體形式可以是個人計算機、膝上型計算機、蜂窩電話、相機電話、智能電話、個人數(shù)字助理、媒體播放器、導(dǎo)航設(shè)備、電子郵件收發(fā)設(shè)備、游戲控制臺、平板計算機、可穿戴設(shè)備或者這些設(shè)備中的任意幾種設(shè)備的組合。

以上所述僅為本申請的較佳實施例而已，并不用以限制本申請，凡在本申請的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本申請保護(hù)的范圍之內(nèi)。