一種基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供了一種基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，其中數(shù)據(jù)收集模塊收集用戶行為；數(shù)據(jù)預(yù)處理模塊進(jìn)行數(shù)據(jù)清理、集成、歸約，將收集到的用戶行為信息簡(jiǎn)單化，規(guī)范化；訓(xùn)練模塊針對(duì)訓(xùn)練集中的數(shù)據(jù)，用類E-M算法進(jìn)行迭代運(yùn)算，得到概率累加模型中的參數(shù)；再將測(cè)試集中的數(shù)據(jù)帶入概率累加模型，從而完成對(duì)各個(gè)投放渠道的貢獻(xiàn)預(yù)測(cè)以及對(duì)于用戶是否轉(zhuǎn)化的預(yù)測(cè)；對(duì)貢獻(xiàn)度高的網(wǎng)站或推薦類型進(jìn)行信息投放，并投放給那些最有可能發(fā)生轉(zhuǎn)化的用戶。同時(shí)，本發(fā)明使用Hadoop平臺(tái)進(jìn)行分布式計(jì)算，將消耗大量資源的復(fù)雜計(jì)算通過分布到多節(jié)點(diǎn)上進(jìn)行計(jì)算，從而實(shí)現(xiàn)了多節(jié)點(diǎn)并行處理。
【專利說明】一種基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及互聯(lián)網(wǎng)【技術(shù)領(lǐng)域】，具體地是一種基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)。

【背景技術(shù)】
[0002]在過去的十幾年中，互聯(lián)網(wǎng)得以爆炸式發(fā)展，越來越多的人選擇上網(wǎng)社交、游戲、購物，互聯(lián)網(wǎng)信息推薦也成為了推廣產(chǎn)品的一個(gè)非常良好的途徑。這也使得各企業(yè)可以從中獲得大量的網(wǎng)絡(luò)數(shù)據(jù)來跟蹤推薦效果和投資回報(bào)率。
[0003]信息投放渠道貢獻(xiàn)度研究的目的就是量化不同渠道對(duì)于用戶轉(zhuǎn)化行為影響的大小。通過量化各渠道的貢獻(xiàn)度，可以比較不同市場(chǎng)渠道的價(jià)值，這些市場(chǎng)渠道包括電子郵件、聯(lián)盟營銷、顯示廣告、搜索廣告、社會(huì)媒體等，公司也可依據(jù)這些數(shù)據(jù)來決定未來對(duì)于不同投放渠道的投資力度，以求用最小的成本獲得大眾對(duì)于信息最大的關(guān)注度。
[0004]在現(xiàn)有技術(shù)中，互聯(lián)網(wǎng)信息投放渠道貢獻(xiàn)度預(yù)測(cè)的系統(tǒng)通常有三種:1、基于單源歸因模型的互聯(lián)網(wǎng)信息投放渠道貢獻(xiàn)度預(yù)測(cè)系統(tǒng):此種系統(tǒng)中所用模型將所有貢獻(xiàn)都給了眾多事件中的一個(gè)事件，如基于最后點(diǎn)擊法(last-click)的系統(tǒng)、基于第一次點(diǎn)擊法(first-click)的系統(tǒng)等。這種系統(tǒng)被認(rèn)為是非常不準(zhǔn)確的，因?yàn)樗雎粤四切┦聦?shí)上對(duì)于轉(zhuǎn)化行為產(chǎn)生了影響的事件。2、基于分?jǐn)?shù)歸因模型的互聯(lián)網(wǎng)信息投放渠道貢獻(xiàn)度預(yù)測(cè)系統(tǒng):此種系統(tǒng)中所用模型包括相同權(quán)重，客戶信用，U型曲線三種方式。相同權(quán)重就是給予所有投放渠道相同的權(quán)重?？蛻粜庞镁褪歉鶕?jù)以往投放的效果，人為地猜測(cè)并賦予不同的權(quán)重。U型曲線是將全部權(quán)重給第一次轉(zhuǎn)化和最后一次轉(zhuǎn)化，不考慮中間信息投放效果的影響。顯然，此系統(tǒng)的說服力也是不足的，事實(shí)上它們對(duì)于貢獻(xiàn)度的評(píng)估效果也并不良好。
3、基于概率分布模型的互聯(lián)網(wǎng)信息投放渠道貢獻(xiàn)度預(yù)測(cè)系統(tǒng):根據(jù)用戶所關(guān)注過的信息對(duì)用戶轉(zhuǎn)化行為的影響，給予這些渠道不同的貢獻(xiàn)度，然后對(duì)這些渠道的貢獻(xiàn)度進(jìn)行整理、排序，以完成投放渠道貢獻(xiàn)度評(píng)估。顯然這種系統(tǒng)給予的預(yù)測(cè)才更精確，更合理。


【發(fā)明內(nèi)容】

[0005]針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，通過用戶的瀏覽行為優(yōu)化信息投放渠道的選擇，更加準(zhǔn)確地實(shí)現(xiàn)互聯(lián)網(wǎng)信息推薦，滿足用戶需求。
[0006]為實(shí)現(xiàn)上述目的，本發(fā)明采用了以下技術(shù)方案:
[0007]本發(fā)明提供一種基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，該系統(tǒng)包括:數(shù)據(jù)收集模塊、數(shù)據(jù)預(yù)處理模塊、訓(xùn)練模塊、信息投放渠道貢獻(xiàn)度預(yù)測(cè)模塊及轉(zhuǎn)化率預(yù)測(cè)模塊，其中:
[0008]數(shù)據(jù)收集模塊，該模塊通過web服務(wù)器收集用戶行為數(shù)據(jù):將收集到的用戶行為分為兩部分，一部分記錄了某些用戶的全部瀏覽行為，另一部分記錄了同一信息不同渠道的訪問特征；
[0009]數(shù)據(jù)預(yù)處理模塊，該模塊是對(duì)服務(wù)器收集的用戶行為數(shù)據(jù)進(jìn)行清理、集成、歸約，將收集到的用戶行為信息簡(jiǎn)單化，規(guī)范化；
[0010]訓(xùn)練模塊，該模塊的輸入為訓(xùn)練集，并用類E-M算法進(jìn)行迭代運(yùn)算，迭代至概率累加模型中的用戶影響強(qiáng)度因子和影響隨時(shí)間衰減的因子這兩參數(shù)收斂，完成對(duì)這兩個(gè)參數(shù)的參數(shù)估計(jì)。
[0011]信息投放渠道貢獻(xiàn)度預(yù)測(cè)模塊，該模塊的輸入為測(cè)試集，構(gòu)建信息投放渠道m(xù)貢獻(xiàn)度，再根據(jù)每個(gè)信息投放渠道m(xù)的所屬網(wǎng)站或類型進(jìn)行加和，得出各網(wǎng)站和各類型的貢獻(xiàn)度；最后根據(jù)各網(wǎng)站和各類型的貢獻(xiàn)度，由高到低進(jìn)行排序，選用排名靠前的網(wǎng)站或類型來進(jìn)行信息推送，以此來獲取更好的投放效果；
[0012]轉(zhuǎn)化率預(yù)測(cè)模塊，該模塊的輸入為測(cè)試集，利用生存函數(shù)給每一個(gè)用戶進(jìn)行評(píng)分，預(yù)測(cè)出最有可能發(fā)生轉(zhuǎn)化行為的用戶，并向這部分用戶推送互聯(lián)網(wǎng)信息。
[0013]基于Hadoop平臺(tái)的分布式計(jì)算，以上所有模塊中涉及到計(jì)算部分，均在Hadoop平臺(tái)進(jìn)行，我們將復(fù)雜的計(jì)算分布到多個(gè)節(jié)點(diǎn)上進(jìn)行，實(shí)現(xiàn)了多任務(wù)的并行處理，減少了任務(wù)間的等待，使得資源分配更加合理，運(yùn)算速度得到極大地提升。
[0014]與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果:
[0015]本發(fā)明所提出的基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，可以大大提高對(duì)于信息投放渠道貢獻(xiàn)度預(yù)測(cè)的準(zhǔn)確性，從而方便選取最有效的網(wǎng)站或類型來投放信息；并且選出了最可能發(fā)生轉(zhuǎn)化的用戶人群，使信息推薦更有針對(duì)性。因此，能夠以最小的成本換取最好的推薦效果。另外，本發(fā)明的數(shù)據(jù)處理都是基于Hadoop平臺(tái)的，實(shí)現(xiàn)了多臺(tái)電腦的并行處理，大大降低了處理大數(shù)據(jù)時(shí)對(duì)于電腦運(yùn)算能力及內(nèi)存的要求，同時(shí)，極大提高了運(yùn)算速度。

【專利附圖】

【附圖說明】
[0016]通過閱讀參照以下附圖對(duì)非限制性實(shí)施例所作的詳細(xì)描述，本發(fā)明的其它特征、目的和優(yōu)點(diǎn)將會(huì)變得更明顯:
[0017]圖1是本發(fā)明一實(shí)施例中基于服務(wù)器的信息投放模型圖；
[0018]圖2是本發(fā)明一實(shí)施例中基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)；
[0019]圖3是本發(fā)明一實(shí)施例中分布式計(jì)算框架圖；
[0020]圖4是本發(fā)明一實(shí)施例中本系統(tǒng)與現(xiàn)有系統(tǒng)的性能比較圖。

【具體實(shí)施方式】
[0021]下面結(jié)合具體實(shí)施例對(duì)本發(fā)明進(jìn)行詳細(xì)說明。以下實(shí)施例將有助于本領(lǐng)域的技術(shù)人員進(jìn)一步理解本發(fā)明，但不以任何形式限制本發(fā)明。應(yīng)當(dāng)指出的是，對(duì)本領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干變形和改進(jìn)。這些都屬于本發(fā)明的保護(hù)范圍。
[0022]如圖1所示，本發(fā)明中基于服務(wù)器的信息投放模型圖，圖中明確顯示了用戶信息收集，用戶描述文件的形成，以及本發(fā)明構(gòu)建的推薦模塊都是存儲(chǔ)于服務(wù)器，并由服務(wù)器進(jìn)行處理的。而用戶所用的客戶機(jī)是不負(fù)責(zé)存儲(chǔ)、處理用戶信息的。
[0023]如圖2所示，本發(fā)明中基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)包括:
[0024]數(shù)據(jù)收集模塊，使用web服務(wù)器收集用戶行為，將收集到的用戶行為分為兩部分:網(wǎng)頁瀏覽報(bào)文、信息點(diǎn)擊報(bào)文。其中，網(wǎng)頁瀏覽報(bào)文記錄了某些用戶的全部瀏覽行為，它可以反映此用戶瀏覽網(wǎng)頁的相關(guān)特征；信息點(diǎn)擊報(bào)文記錄了同一信息不同渠道的訪問特征，它反映對(duì)于信息投放渠道的點(diǎn)擊歷史及特征。
[0025]數(shù)據(jù)預(yù)處理模塊，對(duì)服務(wù)器收集的用戶行為數(shù)據(jù)進(jìn)行數(shù)據(jù)清理、集成、歸約。
[0026]訓(xùn)練模塊，輸入訓(xùn)練集中數(shù)據(jù)，基于最大似然估計(jì)法，用類E-M算法進(jìn)行迭代運(yùn)算，從而完成對(duì)概率累加模型的參數(shù)估計(jì)；
[0027]信息投放渠道貢獻(xiàn)度預(yù)測(cè)模塊及轉(zhuǎn)化率預(yù)測(cè)模塊，調(diào)用從訓(xùn)練集中得到的參數(shù)，將測(cè)試數(shù)據(jù)帶入，從而完成對(duì)信息投放渠道貢獻(xiàn)度的預(yù)測(cè)以及對(duì)用戶是否轉(zhuǎn)化的預(yù)測(cè)。
[0028]如圖3所示，本發(fā)明中分布式計(jì)算框架圖顯示了基于Hadoop平臺(tái)的分布式計(jì)算?；诜植际接?jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)中所有模塊中涉及到計(jì)算部分，均在Hadoop平臺(tái)進(jìn)行，我們將復(fù)雜的計(jì)算分布到多節(jié)點(diǎn)上進(jìn)行，實(shí)現(xiàn)了并行處理，從而節(jié)省了大量的系統(tǒng)資源，且極大地加快了運(yùn)算速度。
[0029]如圖4所示，本實(shí)施例提供一種基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，并使用真實(shí)數(shù)據(jù)集進(jìn)行訓(xùn)練及測(cè)試。本實(shí)施例選取當(dāng)前互聯(lián)網(wǎng)信息投放貢獻(xiàn)度預(yù)測(cè)領(lǐng)域運(yùn)用最廣泛的基于最后點(diǎn)擊法的系統(tǒng)以及基于邏輯回歸的系統(tǒng)進(jìn)行比較。實(shí)驗(yàn)結(jié)果表明，本發(fā)明無論是在預(yù)測(cè)不同渠道的貢獻(xiàn)度的準(zhǔn)確度上，還是在預(yù)測(cè)用戶可能發(fā)生轉(zhuǎn)化行為的準(zhǔn)確度上，都優(yōu)于前面兩種系統(tǒng)。最終本發(fā)明還能給出最可能發(fā)生轉(zhuǎn)化行為的前N用戶以及最有效的信息投放渠道。
[0030]本實(shí)施例是將所述方法應(yīng)用于互聯(lián)網(wǎng)中信息投放渠道的優(yōu)化，該系統(tǒng)包括:
[0031]1、數(shù)據(jù)收集模塊
[0032]該模塊基于web服務(wù)器，采用行為跟蹤的方法記錄下某些用戶的全部瀏覽行為；采用日志挖掘的方法，記錄下同一信息不同渠道的訪問特征；完成對(duì)于用戶信息的收集，并將用戶信息存儲(chǔ)于web服務(wù)器。
[0033]2、數(shù)據(jù)預(yù)處理模塊
[0034]該模塊進(jìn)行數(shù)據(jù)清理、集成、歸約。其中，數(shù)據(jù)清理主要采取忽略元祖及去除冗余的方法，這是因?yàn)樵谑占降臄?shù)據(jù)中，沒有值的數(shù)據(jù)所占比例非常?。粩?shù)據(jù)集成主要是統(tǒng)一所收集到的數(shù)據(jù)的單位；數(shù)據(jù)規(guī)約主要進(jìn)行數(shù)量規(guī)約，將點(diǎn)擊時(shí)間轉(zhuǎn)化為模型參數(shù)，并最終形成包含用戶ID、信息投放渠道、時(shí)間和點(diǎn)擊這四個(gè)域的數(shù)據(jù)集；再將此數(shù)據(jù)集中的一部分提取出來，作為訓(xùn)練集；其余數(shù)據(jù)集中的數(shù)據(jù)作為測(cè)試集。至此，可以形成規(guī)范的用戶信息，也方便接下來對(duì)于數(shù)據(jù)的應(yīng)用。
[0035]3、訓(xùn)練模塊
[0036]該模塊負(fù)責(zé)用訓(xùn)練集中的數(shù)據(jù)進(jìn)行訓(xùn)練，完成對(duì)概率累加模型的參數(shù)估計(jì)。
[0037]訓(xùn)練模塊首先根據(jù)實(shí)際信息投放的情形作出如下假設(shè):
[0038](I)每次信息展示會(huì)對(duì)用戶的轉(zhuǎn)化產(chǎn)生一個(gè)影響力；
[0039](2)每次信息展示對(duì)用戶的轉(zhuǎn)化的影響力隨時(shí)間衰減；
[0040](3)同一個(gè)信息對(duì)所有用戶的影響力和衰減速度一致；
[0041](4)不同渠道投放的信息的影響力可線性疊加；
[0042](5)用戶的瞬時(shí)轉(zhuǎn)化概率與影響力成正比。
[0043]基于以上假設(shè)，訓(xùn)練模塊可以建立概率累加模型，即用戶行為條件強(qiáng)度函數(shù)
Mt):

【權(quán)利要求】
1.一種基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，該系統(tǒng)包括: 數(shù)據(jù)收集模塊，該模塊通過Web服務(wù)器收集用戶行為數(shù)據(jù):將收集到的用戶行為分為兩部分，一部分記錄了某些用戶的全部瀏覽行為，另一部分記錄了同一信息不同渠道的訪問特征； 數(shù)據(jù)預(yù)處理模塊，該模塊是對(duì)web服務(wù)器收集的用戶行為數(shù)據(jù)進(jìn)行處理，首先進(jìn)行數(shù)據(jù)清理，采取忽略元祖及去除冗余的方法；隨后進(jìn)行數(shù)據(jù)集成，對(duì)所收集到的數(shù)據(jù)的單位進(jìn)行統(tǒng)一化處理；最后進(jìn)行數(shù)據(jù)規(guī)約，將點(diǎn)擊時(shí)間轉(zhuǎn)化為模型參數(shù)，并最終形成包含用戶ID、信息投放渠道、時(shí)間和點(diǎn)擊這四個(gè)域的數(shù)據(jù)集；再將此數(shù)據(jù)集中的一部分提取出來，作為訓(xùn)練集；其余數(shù)據(jù)集中的數(shù)據(jù)作為測(cè)試集； 訓(xùn)練模塊，該模塊用類E-M算法對(duì)訓(xùn)練集進(jìn)行迭代運(yùn)算，迭代至概率累加模型中的用戶影響強(qiáng)度因子α和影響隨時(shí)間衰減的因子ω收斂，從而得到參數(shù)α，ω ; 信息投放渠道貢獻(xiàn)度預(yù)測(cè)模塊，該模塊的輸入為測(cè)試集，采用訓(xùn)練模塊訓(xùn)練出來的不同渠道對(duì)用戶影響強(qiáng)度因子α和影響隨時(shí)間衰減的因子ω作為模型參數(shù)，構(gòu)建投放渠道m(xù)貢獻(xiàn)度，再根據(jù)每個(gè)投放渠道m(xù)的所屬網(wǎng)站或類型進(jìn)行加和，得出各網(wǎng)站和各類型的貢獻(xiàn)度；最后根據(jù)各網(wǎng)站和各類型的貢獻(xiàn)度，由高到低進(jìn)行排序，選用排名靠前的網(wǎng)站或類型來進(jìn)行信息投放，以此來優(yōu)化互聯(lián)網(wǎng)信息投放效果； 轉(zhuǎn)化率預(yù)測(cè)模塊，該模塊的輸入為測(cè)試集，首先，建立生存函數(shù)Su(t)，然后，利用1-Su(t)給每一個(gè)用戶進(jìn)行評(píng)分，預(yù)測(cè)出最有可能轉(zhuǎn)化的用戶，并向這部分用戶推送信息。
2.根據(jù)權(quán)利要求1所述的基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，其特征在于，所述數(shù)據(jù)收集模 塊采用行為跟蹤的方法記錄下某些用戶的全部瀏覽行為；采用日志挖掘的方法，記錄下同一信息不同渠道的訪問特征，完成對(duì)于用戶信息的收集，并將用戶信息存儲(chǔ)于web服務(wù)器。
3.根據(jù)權(quán)利要求1所述的基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，其特征在于，所述訓(xùn)練模塊建立概率累加模型，即用戶行為條件強(qiáng)度函數(shù)xu(t):
其中:記用戶為集合U，…，U}，信息渠道為集合{1，…，n}，觀察到的用戶行為為集合Ic1,......，cu}，用戶U的行為記錄的結(jié)構(gòu)為}，? }i=i，..，i—U，其中^<是用戶U第i次行為的信息投放渠道id，g是用戶U第i次行為的時(shí)間，Xu是用戶轉(zhuǎn)化結(jié)果，Xu = I表示用戶轉(zhuǎn)化，Xu = O則反；l_u是用戶u行為的總次數(shù)，如果用戶u轉(zhuǎn)化了，則tu代表轉(zhuǎn)化時(shí)間，否則代表觀察時(shí)間窗口節(jié)點(diǎn)；α為不同渠道投放的信息對(duì)用戶影響強(qiáng)度因子，ω為影響隨時(shí)間衰減的因子，k是信息投放渠道id，a_k，w_k分別代表信息投放渠道k的影響強(qiáng)度因子和影響隨時(shí)間衰減的因子，Tu代表轉(zhuǎn)化時(shí)間或觀察時(shí)間窗口節(jié)點(diǎn)； 為表示用戶轉(zhuǎn)化率，建立生存函數(shù)Su(t)，其中:
接著通過類EM算法:
這時(shí)，只需求L(0)最大；
即完成訓(xùn)練過程。
4.根據(jù)權(quán)利要求2所述的基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，其特征在于，所述信息投放渠道貢獻(xiàn)度預(yù)測(cè)模塊負(fù)責(zé)將測(cè)試集帶入已完成訓(xùn)練過程的概率累加模型，得到各個(gè)不同投放渠道的貢獻(xiàn)度，投放渠道m(xù)的貢獻(xiàn)度寫為:
再根據(jù)每個(gè)投放渠道m(xù)的所屬網(wǎng)站或類型進(jìn)行加和，得出各網(wǎng)站和各類型的貢獻(xiàn)度，最后，選取貢獻(xiàn)度高的網(wǎng)站或類型來進(jìn)行信息投放，完成對(duì)互聯(lián)網(wǎng)信息投放渠道的優(yōu)化。
5.根據(jù)權(quán)利要求1所述的基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，其特征在于，所述轉(zhuǎn)化率預(yù)測(cè)模塊，用戶u的轉(zhuǎn)化率可為:1-S(Tu),然后對(duì)用戶分?jǐn)?shù)進(jìn)行由低到高的排序，選出分?jǐn)?shù)最高的前N個(gè)用戶，認(rèn)為他們是最有可能發(fā)生轉(zhuǎn)化行為的用戶。
6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的基于分布式計(jì)算的互聯(lián)網(wǎng)信息投放渠道優(yōu)化系統(tǒng)，其特征在于，所述基于Hadoop平臺(tái)的分布式計(jì)算將一個(gè)復(fù)雜的任務(wù)分成很多更細(xì)粒度的子任務(wù)，這些子任務(wù)能夠在空閑的處理節(jié)點(diǎn)之間調(diào)度，使處理速度越快的節(jié)點(diǎn)處理越多的任務(wù)。
【文檔編號(hào)】G06F17/30GK104133837SQ201410289052
【公開日】2014年11月5日 申請(qǐng)日期:2014年6月24日 優(yōu)先權(quán)日:2014年6月24日
【發(fā)明者】張婭, 魏逸, 王宇晨 申請(qǐng)人:上海交通大學(xué)