一種點(diǎn)擊流數(shù)據(jù)的處理方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于計(jì)算技術(shù)領(lǐng)域，尤其涉及一種點(diǎn)擊流數(shù)據(jù)的處理方法及裝置。
【背景技術(shù)】
[0002]在線廣告的點(diǎn)擊率預(yù)估在廣告投放過程中起著重要的作用，其點(diǎn)擊率預(yù)估模型的建立依賴于在線廣告投放的歷史數(shù)據(jù)。由于目前在線廣告中面向的用戶與廣告訂單變化快速，因此，在線廣告點(diǎn)擊率預(yù)估模型的快速更新也顯得尤為重要。
[0003]近年來，流式數(shù)據(jù)處理系統(tǒng)在大數(shù)據(jù)領(lǐng)域應(yīng)用的普及，為海量數(shù)據(jù)的實(shí)時(shí)處理提供了新的解決方案。例如，現(xiàn)有一種基于流式數(shù)據(jù)處理系統(tǒng)的在線分析點(diǎn)擊流數(shù)據(jù)的方法，可從廣告業(yè)務(wù)服務(wù)器接入廣告點(diǎn)擊流數(shù)據(jù)，提取點(diǎn)擊流數(shù)據(jù)中相關(guān)有效信息，生成廣告點(diǎn)擊率預(yù)估模型所需的訓(xùn)練數(shù)據(jù)，其后會(huì)直接使用該訓(xùn)練數(shù)據(jù)訓(xùn)練點(diǎn)擊率預(yù)估模型。其中，點(diǎn)擊流數(shù)據(jù)是指展示廣告的每一次曝光、點(diǎn)擊、轉(zhuǎn)化等行為被網(wǎng)絡(luò)服務(wù)器記錄在日志中時(shí)產(chǎn)生的流式數(shù)據(jù)。
[0004]在對現(xiàn)有技術(shù)的研究和實(shí)踐過程中，本發(fā)明的發(fā)明人發(fā)現(xiàn)，隨著在線廣告市場的持續(xù)發(fā)展，廣告相關(guān)的點(diǎn)擊流數(shù)據(jù)也在持續(xù)增長。在海量的點(diǎn)擊流數(shù)據(jù)中，在有效信息提取后，仍存有大量的信息冗余，如在同一段時(shí)間內(nèi)，有很多相同年齡、相同性別的人在同一個(gè)廣告位看到相同的廣告，若將這些數(shù)據(jù)記錄為多條，則會(huì)造成信息冗余，從而導(dǎo)致存儲(chǔ)資源與后續(xù)模型計(jì)算資源的浪費(fèi)。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提供一種點(diǎn)擊流數(shù)據(jù)的處理方法及裝置，旨在減少存儲(chǔ)資源與模型計(jì)算資源的浪費(fèi)。
[0006]為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供以下技術(shù)方案:
[0007]—種點(diǎn)擊流數(shù)據(jù)的處理方法，其中包括:
[0008]獲取點(diǎn)擊流數(shù)據(jù)；
[0009]根據(jù)所述點(diǎn)擊流數(shù)據(jù)，生成原始訓(xùn)練數(shù)據(jù)；
[0010]對所述原始訓(xùn)練數(shù)據(jù)進(jìn)行聚合，得到第一聚合訓(xùn)練數(shù)據(jù)；
[0011]在預(yù)設(shè)的第一時(shí)間間隔內(nèi)對得到的第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行存儲(chǔ)；
[0012]基于存儲(chǔ)的第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行點(diǎn)擊率預(yù)估模型訓(xùn)練。
[0013]為解決上述技術(shù)問題，本發(fā)明實(shí)施例還提供以下技術(shù)方案:
[0014]—種點(diǎn)擊流數(shù)據(jù)的處理裝置，其中包括:
[0015]獲取單元，用于獲取點(diǎn)擊流數(shù)據(jù)；
[0016]生成單元，用于根據(jù)所述點(diǎn)擊流數(shù)據(jù)，生成原始訓(xùn)練數(shù)據(jù)；
[0017]聚合單元，用于對所述原始訓(xùn)練數(shù)據(jù)進(jìn)行聚合，得到第一聚合訓(xùn)練數(shù)據(jù)；
[0018]存儲(chǔ)單元，用于在預(yù)設(shè)的第一時(shí)間間隔內(nèi)對得到的第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行存儲(chǔ)；
[0019]訓(xùn)練單元，用于基于存儲(chǔ)的第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行點(diǎn)擊率預(yù)估模型訓(xùn)練。
[0020]相對于現(xiàn)有技術(shù)，本實(shí)施例，根據(jù)獲取到的點(diǎn)擊流數(shù)據(jù)，生成原始訓(xùn)練數(shù)據(jù)，并對該原始訓(xùn)練數(shù)據(jù)進(jìn)行聚合處理，得到第一聚合訓(xùn)練數(shù)據(jù)；其后在預(yù)設(shè)的第一時(shí)間間隔內(nèi)對得到的第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行存儲(chǔ)，并利用第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行點(diǎn)擊率預(yù)估模型訓(xùn)練；本發(fā)明實(shí)施例，在生成原始訓(xùn)練數(shù)據(jù)的過程中，基于點(diǎn)擊流數(shù)據(jù)生成的訓(xùn)練數(shù)據(jù)進(jìn)行聚合處理，并利用得到的聚合訓(xùn)練數(shù)據(jù)進(jìn)行存儲(chǔ)以及模型訓(xùn)練，可以避免信息的冗余，減少了數(shù)據(jù)的存儲(chǔ)消耗，進(jìn)而，在模型訓(xùn)練過程中可以使用到更長時(shí)間范圍的數(shù)據(jù)，提升模型質(zhì)量。
【附圖說明】
[0021]下面結(jié)合附圖，通過對本發(fā)明的【具體實(shí)施方式】詳細(xì)描述，將使本發(fā)明的技術(shù)方案及其它有益效果顯而易見。
[0022]圖1a是本發(fā)明提供的點(diǎn)擊流數(shù)據(jù)的處理方法的場景示意圖；
[0023]圖1b為本發(fā)明第一實(shí)施例提供的點(diǎn)擊流數(shù)據(jù)的處理方法的流程示意圖；
[0024]圖2a為本發(fā)明第二實(shí)施例提供的點(diǎn)擊流數(shù)據(jù)的處理方法的流程示意圖；
[0025]圖2b為本發(fā)明第二實(shí)施例提供的點(diǎn)擊流數(shù)據(jù)的處理方法中數(shù)據(jù)聚合的流程示意圖；
[0026]圖2c為本發(fā)明第二實(shí)施例提供的點(diǎn)擊流數(shù)據(jù)的處理方法中數(shù)據(jù)聚合示意圖；
[0027]圖2d為本發(fā)明第二實(shí)施例提供的點(diǎn)擊流數(shù)據(jù)的處理方法中數(shù)據(jù)聚合的另一流程示意圖；
[0028]圖3a為本發(fā)明第三實(shí)施例提供的點(diǎn)擊流數(shù)據(jù)的處理裝置的結(jié)構(gòu)示意圖；
[0029]圖3b為本發(fā)明第三實(shí)施例提供的點(diǎn)擊流數(shù)據(jù)的處理裝置的另一結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0030]請參照圖式，其中相同的組件符號(hào)代表相同的組件，本發(fā)明的原理是以實(shí)施在一適當(dāng)?shù)倪\(yùn)算環(huán)境中來舉例說明。以下的說明是基于所例示的本發(fā)明具體實(shí)施例，其不應(yīng)被視為限制本發(fā)明未在此詳述的其它具體實(shí)施例。
[0031]在以下的說明中，本發(fā)明的具體實(shí)施例將參考由一部或多部計(jì)算機(jī)所執(zhí)行的步驟及符號(hào)來說明，除非另有述明。因此，這些步驟及操作將有數(shù)次提到由計(jì)算機(jī)執(zhí)行，本文所指的計(jì)算機(jī)執(zhí)行包括了由代表了以一結(jié)構(gòu)化型式中的數(shù)據(jù)的電子信號(hào)的計(jì)算機(jī)處理單元的操作。此操作轉(zhuǎn)換該數(shù)據(jù)或?qū)⑵渚S持在該計(jì)算機(jī)的內(nèi)存系統(tǒng)中的位置處，其可重新配置或另外以本領(lǐng)域測試人員所熟知的方式來改變該計(jì)算機(jī)的運(yùn)作。該數(shù)據(jù)所維持的數(shù)據(jù)結(jié)構(gòu)為該內(nèi)存的實(shí)體位置，其具有由該數(shù)據(jù)格式所定義的特定特性。但是，本發(fā)明原理以上述文字來說明，其并不代表為一種限制，本領(lǐng)域測試人員將可了解到以下所述的多種步驟及操作亦可實(shí)施在硬件當(dāng)中。
[0032]本發(fā)明實(shí)施例提供一種點(diǎn)擊流數(shù)據(jù)的處理方法以及裝置。
[0033]參見圖la，為該點(diǎn)擊流數(shù)據(jù)的處理方法的場景示意圖，該點(diǎn)擊流數(shù)據(jù)的處理方法可應(yīng)用于廣告點(diǎn)擊率預(yù)估模型的訓(xùn)練系統(tǒng)，該系統(tǒng)可以包括點(diǎn)擊流數(shù)據(jù)的處理裝置，該點(diǎn)擊流數(shù)據(jù)的處理裝置可集成在服務(wù)器或網(wǎng)關(guān)等網(wǎng)絡(luò)設(shè)備中，主要用于獲取點(diǎn)擊流數(shù)據(jù)，根據(jù)獲取到的點(diǎn)擊流數(shù)據(jù)，生成原始訓(xùn)練數(shù)據(jù)，比如根據(jù)點(diǎn)擊流數(shù)據(jù)中的關(guān)鍵信息生成原始訓(xùn)練數(shù)據(jù)；其后，對原始訓(xùn)練數(shù)據(jù)進(jìn)行聚合，得到第一聚合訓(xùn)練數(shù)據(jù)，在預(yù)設(shè)的第一時(shí)間間隔內(nèi)對得到的第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行存儲(chǔ)，即可以在一時(shí)間窗內(nèi)(如10分鐘或20分鐘等)對第一聚合訓(xùn)練數(shù)據(jù)一并存儲(chǔ)，以解決了針對由點(diǎn)擊流數(shù)據(jù)生成的原始訓(xùn)練數(shù)據(jù)的信息冗余的問題；最后，可以基于存儲(chǔ)的第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行點(diǎn)擊率預(yù)估模型訓(xùn)練，比如基于第一聚合訓(xùn)練數(shù)據(jù)，對邏輯回歸LR等線性模型進(jìn)行廣告點(diǎn)擊率建模，以通過訓(xùn)練得到的模型進(jìn)行廣告的點(diǎn)擊率預(yù)估，等等。
[0034]此外，該點(diǎn)擊流數(shù)據(jù)的處理系統(tǒng)還可以包括多個(gè)廣告業(yè)務(wù)服務(wù)器，主要用于向點(diǎn)擊流數(shù)據(jù)的處理裝置提供點(diǎn)擊流數(shù)據(jù)；當(dāng)然，該訓(xùn)練數(shù)據(jù)的模型訓(xùn)練系統(tǒng)還可以包括在線存儲(chǔ)服務(wù)器(如可基于分布式存儲(chǔ)系統(tǒng))、廣告投放裝置以及終端等，其中在線存儲(chǔ)服務(wù)器主要用于對訓(xùn)練數(shù)據(jù)、廣告發(fā)布的有關(guān)信息等進(jìn)行存儲(chǔ)，廣告投放裝置主要用于根據(jù)訓(xùn)練結(jié)果和廣告發(fā)布的有關(guān)信息等進(jìn)行廣告投放，終端主要用于向用戶展示投放的廣告等。
[0035]以下將分別進(jìn)行詳細(xì)說明。
[0036]第一實(shí)施例
[0037]在本實(shí)施例中，將從點(diǎn)擊流數(shù)據(jù)的處理裝置的角度進(jìn)行描述，該點(diǎn)擊流數(shù)據(jù)的處理裝置具體可以集成在服務(wù)器或網(wǎng)關(guān)等網(wǎng)絡(luò)設(shè)備中。
[0038]—種點(diǎn)擊流數(shù)據(jù)的處理方法，包括獲取點(diǎn)擊流數(shù)據(jù)；根據(jù)點(diǎn)擊流數(shù)據(jù)，生成原始訓(xùn)練數(shù)據(jù)；對上述原始訓(xùn)練數(shù)據(jù)進(jìn)行聚合，得到第一聚合訓(xùn)練數(shù)據(jù)；在預(yù)設(shè)的第一時(shí)間間隔內(nèi)對得到的第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行存儲(chǔ)；基于存儲(chǔ)的第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行點(diǎn)擊率預(yù)估模型訓(xùn)練。
[0039]請參閱圖lb，圖1b是本發(fā)明第一實(shí)施例提供的點(diǎn)擊流數(shù)據(jù)的處理方法的流程示意圖。所述方法包括:
[0040]在步驟SlOl中，獲取點(diǎn)擊流數(shù)據(jù)。
[0041]在步驟S102中，根據(jù)上述點(diǎn)擊流數(shù)據(jù)，生成原始訓(xùn)練數(shù)據(jù)。
[0042]其中，所述步驟SlOl與步驟S102可具體為:
[0043]本發(fā)明實(shí)施例中，點(diǎn)擊流數(shù)據(jù)是指推廣信息(如展示廣告)的每一次曝光、點(diǎn)擊、轉(zhuǎn)化等行為都會(huì)被網(wǎng)絡(luò)服務(wù)器記錄在日志中產(chǎn)生的流式數(shù)據(jù)。
[0044]比如，“根據(jù)點(diǎn)擊流數(shù)據(jù)，生成原始訓(xùn)練數(shù)據(jù)”可具體包括:
[0045](a)提取上述點(diǎn)擊流數(shù)據(jù)中的關(guān)鍵信息；
[0046](b)根據(jù)上述關(guān)鍵信息生成原始訓(xùn)練數(shù)據(jù)。
[0047]比如，在計(jì)算廣告學(xué)上，上述關(guān)鍵信息可包括廣告標(biāo)識(shí)、廣告位標(biāo)識(shí)和用戶標(biāo)識(shí)(用戶標(biāo)識(shí)例如郵箱等)等，當(dāng)然關(guān)鍵信息還可包括其它一些關(guān)鍵信息。
[0048]可以理解的是，原始訓(xùn)練數(shù)據(jù)中的一條訓(xùn)練數(shù)據(jù)可認(rèn)為是聚合了包括關(guān)鍵信息在內(nèi)的多種信息的一個(gè)信息聚合體。
[0049]又比如，可將提取到的上述點(diǎn)擊流數(shù)據(jù)中包含的關(guān)鍵信息寫入緩沖區(qū)之中，在從緩沖區(qū)之中讀取到上述關(guān)鍵信息之后，利用上述關(guān)鍵信息生成廣告投放預(yù)測模型的訓(xùn)練數(shù)據(jù)^等等。
[0050]在步驟S103中，對該原始訓(xùn)練數(shù)據(jù)進(jìn)行聚合，得到第一聚合訓(xùn)練數(shù)據(jù)。
[0051]在步驟S104中，在預(yù)設(shè)的第一時(shí)間間隔內(nèi)對得到的第一聚合訓(xùn)練數(shù)據(jù)進(jìn)行存儲(chǔ)。
[0052]其中，所述步驟S103與步驟S104可具體為:
[0053]由于原始訓(xùn)練數(shù)據(jù)重復(fù)性高，因此此處采用數(shù)據(jù)聚合的方式，將原始訓(xùn)練數(shù)據(jù)進(jìn)行聚合，得到第一聚合訓(xùn)練數(shù)據(jù)；其中，數(shù)據(jù)聚合是指將相同內(nèi)容的多份數(shù)據(jù)聚合，只保留一份數(shù)據(jù)副本的數(shù)據(jù)處理方法。
[0054]也就是說，在生成原始訓(xùn)練數(shù)據(jù)的過程中，首先將原始訓(xùn)練數(shù)據(jù)中重復(fù)的訓(xùn)練數(shù)據(jù)做聚合，只保留一份訓(xùn)練數(shù)據(jù)的副本，并將這些保留的訓(xùn)練數(shù)據(jù)的副本收集并確定為第一聚合訓(xùn)練數(shù)據(jù)，并進(jìn)行保存，以供后續(xù)模型訓(xùn)練使用，這樣經(jīng)過數(shù)據(jù)聚合可以有效的減少數(shù)據(jù)存儲(chǔ)空間。
[0055]比如，具體的，可以通過一個(gè)哈希表來實(shí)現(xiàn)