一種基于數(shù)據(jù)驅(qū)動的ab測試方法
【專利摘要】本發(fā)明公開了一種基于數(shù)據(jù)驅(qū)動的AB測試方法，首先設(shè)定與網(wǎng)絡(luò)平臺一致的優(yōu)化指標(biāo)，并根據(jù)優(yōu)化指標(biāo)設(shè)定對應(yīng)的迭代方案，建立模塊開關(guān)控制迭代方案中的測試變量，收集用戶的交互數(shù)據(jù)，對交互數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，依據(jù)數(shù)據(jù)分析結(jié)果判斷迭代方案優(yōu)劣。本發(fā)明的有益效果：通過基于數(shù)據(jù)驅(qū)動的AB測試產(chǎn)品優(yōu)化方法，突破了對個(gè)人經(jīng)驗(yàn)的依賴，并且通過數(shù)據(jù)挖掘?qū)崿F(xiàn)了快速獲取反饋，產(chǎn)品快速迭代優(yōu)化，適用于互聯(lián)網(wǎng)行業(yè)產(chǎn)品優(yōu)化，廣告行業(yè)產(chǎn)品優(yōu)化，以及其他行業(yè)的可通過用戶反饋數(shù)據(jù)收集分析進(jìn)行的產(chǎn)品優(yōu)化。
【專利說明】
一種基于數(shù)據(jù)驅(qū)動的AB測試方法
技術(shù)領(lǐng)域
[0001 ]本發(fā)明涉及一種基于數(shù)據(jù)驅(qū)動的AB測試方法。
【背景技術(shù)】
[0002]AB測試，是一種新興的產(chǎn)品優(yōu)化方法，可以用于增加轉(zhuǎn)化率注冊率等產(chǎn)品指標(biāo)。AB測試本質(zhì)上是個(gè)分離式組間試驗(yàn)，以前進(jìn)行AB測試的技術(shù)成本和資源成本相對較高，但現(xiàn)在一系列專業(yè)的可視化試驗(yàn)工具的出現(xiàn)，AB測試已越來越成為產(chǎn)品優(yōu)化常用的方法。
[0003]簡單來說，AB測試就是在兩個(gè)或多個(gè)產(chǎn)品的優(yōu)化方案中選出最優(yōu)方案的方法。例如，期望優(yōu)化產(chǎn)品的某個(gè)特性，通常是期望某項(xiàng)數(shù)據(jù)提升時(shí)，需要對產(chǎn)品某處進(jìn)行調(diào)整。對此可以提出若干版本，但是現(xiàn)有的理論無法判定哪種方案最佳，此時(shí)可將這幾個(gè)版本同時(shí)上線，以小流量運(yùn)行一段時(shí)間獲得數(shù)據(jù)反饋，來判斷版本優(yōu)劣。
[0004]經(jīng)過調(diào)研，在國內(nèi)到目前為止產(chǎn)品的優(yōu)化，尚且依然采用調(diào)研或者基于后臺數(shù)據(jù)的人工分析來做出。但是這種方法對個(gè)人經(jīng)驗(yàn)依賴性強(qiáng)，且往往偏離了用戶的喜好趨勢，產(chǎn)品優(yōu)化迭代慢，優(yōu)秀的優(yōu)化方案推廣難，不適于廣泛的產(chǎn)品優(yōu)化推廣，有行業(yè)、用戶定位、地域、時(shí)效性等等局限性。
[0005]針對相關(guān)技術(shù)中的問題，目前尚未提出有效的解決方案。

【發(fā)明內(nèi)容】

[0006]針對相關(guān)技術(shù)中的上述技術(shù)問題，本發(fā)明提出一種基于數(shù)據(jù)驅(qū)動的AB測試方法，能夠準(zhǔn)確、快速的獲得可靠測試數(shù)據(jù)。
[0007]為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0008]—種基于數(shù)據(jù)驅(qū)動的AB測試方法，首先設(shè)定與網(wǎng)絡(luò)平臺一致的優(yōu)化指標(biāo)，并根據(jù)優(yōu)化指標(biāo)設(shè)定對應(yīng)的迭代方案，建立模塊開關(guān)控制迭代方案中的測試變量，收集用戶的交互數(shù)據(jù)，對交互數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，依據(jù)數(shù)據(jù)分析結(jié)果判斷迭代方案優(yōu)劣。
[0009]進(jìn)一步的，包括如下步驟:
[0010]步驟一，設(shè)定優(yōu)化指標(biāo)，并保證該優(yōu)化指標(biāo)與網(wǎng)絡(luò)平臺的優(yōu)化指標(biāo)一致；
[0011]步驟二，根據(jù)所述優(yōu)化指標(biāo)設(shè)計(jì)對應(yīng)的迭代方案，并在所述迭代方案中明確測試變量；
[0012]步驟三，建立模塊開關(guān)，通過該模塊開關(guān)來控制所述測試變量；
[0013]步驟四，開發(fā)新模塊，將創(chuàng)建完畢的所述優(yōu)化指標(biāo)和所述開關(guān)模塊集成至程序代碼中；
[0014]步驟五，上傳所述交互數(shù)據(jù)到tracker服務(wù)器；
[0015]步驟六，對收集的所述交互數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，進(jìn)而得出試驗(yàn)的試驗(yàn)報(bào)告，依照試驗(yàn)報(bào)告判斷迭代方案的優(yōu)劣。
[0016]進(jìn)一步的，還包括創(chuàng)建試驗(yàn)，將選定好的模塊開關(guān)和優(yōu)化指標(biāo)進(jìn)行試運(yùn)行，以獲取試驗(yàn)數(shù)據(jù)。
[0017]進(jìn)一步的，所述優(yōu)化指標(biāo)包括定義指標(biāo)和復(fù)合指標(biāo)。
[0018]進(jìn)一步的，將交互數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析后，可根據(jù)分析結(jié)果重新設(shè)計(jì)迭代方案。
[0019]本發(fā)明的有益效果:通過基于數(shù)據(jù)驅(qū)動的AB測試產(chǎn)品優(yōu)化方法，突破了對個(gè)人經(jīng)驗(yàn)的依賴，并且通過數(shù)據(jù)挖掘?qū)崿F(xiàn)了快速獲取反饋，產(chǎn)品快速迭代優(yōu)化，適用于互聯(lián)網(wǎng)行業(yè)產(chǎn)品優(yōu)化，廣告行業(yè)產(chǎn)品優(yōu)化，以及其他行業(yè)的可通過用戶反饋數(shù)據(jù)收集分析進(jìn)行的產(chǎn)品優(yōu)化。
【附圖說明】
[0020]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0021 ]圖1是根據(jù)本發(fā)明實(shí)施例所述的基于數(shù)據(jù)驅(qū)動的AB測試方法的系統(tǒng)流程圖；
[0022]圖2是根據(jù)本發(fā)明實(shí)施例所述的基于數(shù)據(jù)驅(qū)動的AB測試方法的系統(tǒng)后端詳細(xì)流程圖；
[0023]圖3是根據(jù)本發(fā)明實(shí)施例所述的基于數(shù)據(jù)驅(qū)動的AB測試方法的Web前端詳細(xì)流程圖。
【具體實(shí)施方式】
[0024]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0025]如圖1所示，根據(jù)本發(fā)明實(shí)施例所述的一種基于數(shù)據(jù)驅(qū)動的AB測試方法，首先設(shè)定與網(wǎng)絡(luò)平臺一致的優(yōu)化指標(biāo)，并根據(jù)優(yōu)化指標(biāo)設(shè)定對應(yīng)的迭代方案，建立模塊開關(guān)控制迭代方案中的測試變量，收集用戶的交互數(shù)據(jù)，對交互數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，依據(jù)數(shù)據(jù)分析結(jié)果判斷迭代方案優(yōu)劣。
[0026]所述的基于數(shù)據(jù)驅(qū)動的AB測試方法，包括如下步驟:
[0027]SlOl步驟一，設(shè)定優(yōu)化指標(biāo)，并保證該優(yōu)化指標(biāo)與網(wǎng)絡(luò)平臺的優(yōu)化指標(biāo)一致；
[0028]其中的優(yōu)化指標(biāo)，是對網(wǎng)站、APP業(yè)務(wù)數(shù)據(jù)的量化衡量計(jì)數(shù)，是用戶根據(jù)衡量標(biāo)準(zhǔn)需要自己定義的業(yè)務(wù)相關(guān)指標(biāo)。開發(fā)者可以使用自定義的模塊變量和指標(biāo)來區(qū)分并衡量不同情況下用戶和網(wǎng)站、APP的交互數(shù)據(jù)或任何其他業(yè)務(wù)數(shù)據(jù)之間的差異。通過定義監(jiān)測指標(biāo)，可以從各種角度了解用戶與網(wǎng)站、APP互動的情況。該優(yōu)化指標(biāo)的確定辦法可以從公司的業(yè)務(wù)目標(biāo)出發(fā)，找到一個(gè)能衡量業(yè)務(wù)價(jià)值的核心指標(biāo)，該指標(biāo)通常和公司營收相關(guān)，是一個(gè)易于理解和溝通、可測量及量化比較的比率形式的指標(biāo)。通過該核心業(yè)務(wù)指標(biāo)，還需根據(jù)應(yīng)用性質(zhì)把它分解為多個(gè)應(yīng)用關(guān)鍵指標(biāo)，然后圍繞各個(gè)關(guān)鍵指標(biāo)來制定相應(yīng)的具體開發(fā)和試驗(yàn)優(yōu)化指標(biāo)。
[0029]S102步驟二，根據(jù)優(yōu)化指標(biāo)設(shè)計(jì)對應(yīng)的迭代方案，并在迭代方案中明確測試變量；
[0030]S103步驟三，建立模塊開關(guān)，通過模塊開關(guān)來控制上述測試變量；[0031 ]模塊開關(guān)是根據(jù)測試的優(yōu)化指標(biāo)和目標(biāo)對象確定的各種測試變量。一個(gè)模塊開關(guān)可以用于多個(gè)測試版本之中?？梢远x多個(gè)模塊開關(guān)，然后根據(jù)試驗(yàn)的目的在試驗(yàn)的測試版本中選用相應(yīng)的模塊開關(guān)，并在需要進(jìn)行對比的不同測試版本中設(shè)置該模塊開關(guān)的不同變量值。在一個(gè)典型的簡單AB測試活動中，多個(gè)相關(guān)的測試版本都只指定一個(gè)測試變量，具有不同的變量值，代表所測試目標(biāo)對象的不同方案。
[0032]對于模塊開關(guān)的選擇，可根據(jù)選定的優(yōu)化指標(biāo)、產(chǎn)品模塊的功能特性和其他手段來確定需要試驗(yàn)的模塊和具體的開關(guān)值?？梢园?您的產(chǎn)品經(jīng)驗(yàn)、過往累計(jì)的試驗(yàn)結(jié)果、用戶反饋和調(diào)查、競爭產(chǎn)品的相關(guān)信息等。通過不斷進(jìn)行試驗(yàn)，各個(gè)模塊開關(guān)對優(yōu)化指標(biāo)的影響效果會逐漸得到驗(yàn)證，之后就可以把產(chǎn)品模塊逐步進(jìn)行全面的部署。
[0033]在Web平臺的“模塊開關(guān)”頻道中需要對將要使用的模塊開關(guān)進(jìn)行定義。
[0034]模塊開關(guān)具有以下配置值:
[0035]模塊開關(guān)名稱:這是一個(gè)用來代表模塊開關(guān)的唯一標(biāo)識符，命名只允許英文字母和數(shù)字。
[0036]模塊開關(guān)描述:這是用來對模塊開關(guān)進(jìn)行說明的描述，可包括任意字符。
[0037]類型:指定模塊開關(guān)的變量數(shù)據(jù)類型。其中，可用的類型包括:Boolean，Integer，Number和Stringο
[0038]缺省值:指定模塊開關(guān)變量缺省情況下的數(shù)據(jù)值。如果沒有選用某模塊開關(guān)，該開關(guān)的變量值就是缺省值。
[0039]根據(jù)試驗(yàn)的目標(biāo)對象的性質(zhì)，為對應(yīng)的模塊開關(guān)選擇合適的變量類型，使AB測試系統(tǒng)更易于統(tǒng)計(jì)數(shù)據(jù)和清晰地展示試驗(yàn)報(bào)告。例如:
[0040]測試是否需要可點(diǎn)擊的登錄按鈕:變量數(shù)據(jù)類型可以設(shè)置為“Boolean”類型。
[0041]測試按鈕顏色對點(diǎn)擊率的影響:變量數(shù)據(jù)類型可以設(shè)置為“String”類型。
[0042]測試頁面展示的產(chǎn)品數(shù)量對轉(zhuǎn)化率的影響:變量數(shù)據(jù)類型可以設(shè)置為“Integer”類型。
[0043]模塊開關(guān)的缺省值應(yīng)該設(shè)置為普通情況下(沒有進(jìn)行測試的運(yùn)行實(shí)例)該變量應(yīng)該具有的值。
[0044]棄用的模塊開關(guān):如果某個(gè)模塊開關(guān)不再需要試驗(yàn)，可選擇“棄用”將該開關(guān)轉(zhuǎn)為棄用狀態(tài)，系統(tǒng)將不再展示該開關(guān)。
[0045]S104步驟四，開發(fā)新模塊，將創(chuàng)建完畢的優(yōu)化指標(biāo)和開關(guān)模塊集成至程序代碼中。
[0046]S105步驟五，上傳所述交互數(shù)據(jù)到tracker服務(wù)器；
[0047]交互數(shù)據(jù)收集后，將指標(biāo)數(shù)據(jù)和指標(biāo)名稱，試驗(yàn)名稱，AppID等數(shù)據(jù)一起發(fā)送到AB測試系統(tǒng)的日志服務(wù)器。AB測試系統(tǒng)會對日志數(shù)據(jù)進(jìn)行持續(xù)的統(tǒng)計(jì)分析，可設(shè)置每小時(shí)更新一次試驗(yàn)數(shù)據(jù)的統(tǒng)計(jì)報(bào)告。網(wǎng)站、App通過AppAdhoc SDK除了發(fā)送定義好的優(yōu)化指標(biāo)，還可以發(fā)送一些自動跟蹤的事件類指標(biāo)，如點(diǎn)擊次數(shù)。上述指標(biāo)為事件指標(biāo)，該事件指標(biāo)在AB測試系統(tǒng)中缺省是不關(guān)注的，試驗(yàn)報(bào)告中不會展示這些指標(biāo)的數(shù)據(jù)。如果需要詳細(xì)查看事件指標(biāo)的數(shù)據(jù)，可以把該指標(biāo)轉(zhuǎn)為關(guān)注的優(yōu)化指標(biāo)。
[0048]S106步驟六，對收集的用戶交互數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，進(jìn)而得出試驗(yàn)的試驗(yàn)報(bào)告，依照試驗(yàn)報(bào)告判斷迭代方案的優(yōu)劣。
[0049]進(jìn)一步的，還包括創(chuàng)建試驗(yàn)，將選定好的模塊開關(guān)和優(yōu)化指標(biāo)進(jìn)行試運(yùn)行，以獲取試驗(yàn)數(shù)據(jù)。
[0050]當(dāng)運(yùn)行一組試驗(yàn)時(shí)，為了獲取到可信的結(jié)果，同時(shí)將風(fēng)險(xiǎn)降到最低，需要為每個(gè)版本分配特定的流量。進(jìn)入應(yīng)用的所有流量為100%，在試驗(yàn)中設(shè)置了流量之后，就會有對應(yīng)數(shù)量的用戶會進(jìn)入到試驗(yàn)版本。對于單一用戶，如果初次進(jìn)入了某一試驗(yàn)版本，二次啟動后依舊會進(jìn)入該版本。AB測試系統(tǒng)通過科學(xué)的試驗(yàn)流量分割算法使得每個(gè)測試版本的用戶群體都具有相同的代表性，對比結(jié)果是科學(xué)可信的。
[0051 ]在試驗(yàn)開始前或者運(yùn)行中，可以為每個(gè)試驗(yàn)版本分配流量。進(jìn)入試驗(yàn)版本界面，設(shè)置數(shù)值。通常在試驗(yàn)運(yùn)行之初，建議分配較小流量，驗(yàn)證后可進(jìn)一步調(diào)整。但如果流量過小，可能導(dǎo)致試驗(yàn)結(jié)果不穩(wěn)定存在偶然性，這需要結(jié)合自身流量情況計(jì)算后設(shè)定。缺省版本作為對照，流量不應(yīng)小于其他試驗(yàn)版本，因此在設(shè)定試驗(yàn)組的試驗(yàn)版本流量之后，缺省版本流量會自動設(shè)置為等同于試驗(yàn)版本中流量最大的版本。
[0052]試驗(yàn)運(yùn)行的基本單位是“測試版本”，一個(gè)測試版本代表了一個(gè)固定比例流量上具有某種模塊開關(guān)組合的App運(yùn)行實(shí)例。如果要進(jìn)行某項(xiàng)試驗(yàn)活動，例如，測試購買按鈕在紅綠藍(lán)三種顏色情況下的轉(zhuǎn)化率，而當(dāng)前購買按鈕的顏色是藍(lán)色，就需要建立兩個(gè)測試版本，一個(gè)代表紅色按鈕，一個(gè)代表綠色按鈕，這兩個(gè)測試版本和默認(rèn)運(yùn)行版本的測試數(shù)據(jù)進(jìn)行對比分析，就可以得出紅綠藍(lán)三種顏色哪個(gè)更利于轉(zhuǎn)化率提升的結(jié)論。
[0053]當(dāng)然對于測試版本來說，可以查看當(dāng)前運(yùn)行的或者全部的測試版本列表，或者查看某個(gè)試驗(yàn)組包含的測試版本列表，列表簡要列出了每個(gè)測試版本的情況，可包括:所監(jiān)測優(yōu)化指標(biāo)及相對缺省版本的數(shù)據(jù)變化、包含的模塊開關(guān)及測試值、該測試版本分配到的流量比例、測試版本的運(yùn)行天數(shù)及狀態(tài)。
[0054]通過測試版本和試驗(yàn)組來進(jìn)行試驗(yàn)活動。測試版本是試驗(yàn)的基本單位，多個(gè)相關(guān)的測試版本組成一個(gè)試驗(yàn)組，用于完成特定的測試任務(wù)。
[0055]測試版本有以下配置值:
[0056]測試版本名稱:這是一個(gè)用來代表測試版本的唯一標(biāo)識符，命名只允許英文字母和數(shù)字。
[0057]測試版本描述:這是用來對測試版本進(jìn)行說明的描述，可包括任意字符。
[0058]試驗(yàn)組:測試版本所屬試驗(yàn)組，默認(rèn)新建一個(gè)試驗(yàn)組，也可選擇加入一個(gè)已有試驗(yàn)組。
[0059]優(yōu)化指標(biāo):選擇衡量試驗(yàn)效果的相關(guān)指標(biāo)，可以指定多個(gè)指標(biāo)。
[0060]模塊開關(guān):根據(jù)測試目標(biāo)對象指定對應(yīng)的模塊開關(guān)。
[0061 ]測試流量分配:指定分配給該測試版本的流量百分比。建議初始指定的流量比例小于I %，然后根據(jù)運(yùn)行情況再調(diào)整。
[0062]測試開始時(shí)間:指定該測試版本開始的日期。
[0063]測試結(jié)束時(shí)間:指定該測試版本結(jié)束的日期。
[0064]試驗(yàn)組:用來組織和管理具有相同測試目標(biāo)的一組相關(guān)的測試版本，這些測試版本通常具有相同的模塊開關(guān)和優(yōu)化指標(biāo)。新建一個(gè)測試版本時(shí)，如果沒有指定所屬試驗(yàn)組，系統(tǒng)默認(rèn)會創(chuàng)建一個(gè)包含該測試版本的試驗(yàn)組。
[0065]其中，如果要創(chuàng)建一個(gè)包含多個(gè)測試版本的試驗(yàn)組，具體操作步驟是:
[0066]新建一個(gè)測試版本，默認(rèn)創(chuàng)建一個(gè)試驗(yàn)組；
[0067]接著創(chuàng)建其他測試版本，指定所屬試驗(yàn)組為第一個(gè)測試版本所屬的試驗(yàn)組；
[0068]如果要進(jìn)行典型的AB測試，盡快進(jìn)行試驗(yàn)并得出結(jié)論，可以為目標(biāo)設(shè)置幾個(gè)不同測試版本(方案)，屬于同一個(gè)試驗(yàn)組，每個(gè)測試版本具有相同的優(yōu)化指標(biāo)和單個(gè)或多個(gè)模塊開關(guān)(不同的變量值)，分配有相同比例的測試流量，相同的測試和開始時(shí)間。這幾個(gè)測試版本同時(shí)運(yùn)行一段時(shí)間之后，就可以對試驗(yàn)組的數(shù)據(jù)進(jìn)行比較分析，逐步得出結(jié)論。
[0069]建立測試版本之后，即可開啟測試。當(dāng)測試運(yùn)行一段時(shí)間，試驗(yàn)數(shù)據(jù)已經(jīng)足夠得出試驗(yàn)結(jié)論的時(shí)候，您就可以結(jié)束該試驗(yàn)相關(guān)的測試版本。如果是立即開始一個(gè)測試實(shí)例，當(dāng)天收集的數(shù)據(jù)是不完整的。您也可以等待該測試版本到了指定的開始日期之后自動開始運(yùn)行，然后到了指定結(jié)束日期自動停止。
[0070]該測試版本的詳細(xì)信息，包括所監(jiān)測優(yōu)化指標(biāo)在運(yùn)行期內(nèi)的簡要數(shù)據(jù)和圖表，并可以進(jìn)行流量分配、運(yùn)行及停止等管理操作。
[0071]當(dāng)然還可以以當(dāng)前測試版本為模版創(chuàng)建一個(gè)新的測試版本，即為克隆版本。
[0072]經(jīng)過一段時(shí)間的測試，如果得出結(jié)論該測試版本表現(xiàn)滿意，則可以把該測試版本正式發(fā)布。發(fā)布測試版本就是把該版本所用模塊開關(guān)的缺省值設(shè)為該版本對應(yīng)的模塊開關(guān)變量值，從而把該版本的模塊方案應(yīng)用到缺省版本的用戶中。
[0073]AB測試系統(tǒng)可為您建立的每個(gè)測試版本生成一個(gè)二維碼，是一個(gè)用于管理測試版本的方便工具。
[0074]試驗(yàn)報(bào)告:指定試驗(yàn)組的概要數(shù)據(jù)報(bào)告。概要報(bào)告和指標(biāo)的詳細(xì)報(bào)告都是每小時(shí)更新一次數(shù)據(jù)。
[0075]概要報(bào)告:展示指定試驗(yàn)組中各測試版本的優(yōu)化指標(biāo)在運(yùn)行日期范圍內(nèi)的合計(jì)及平均數(shù)據(jù)，并且可以根據(jù)需要選擇試驗(yàn)組內(nèi)任意測試版本和缺省的基準(zhǔn)版本一起進(jìn)行對比分析，結(jié)果以圖表的形式展示。
[0076]選擇測試版本:首先要選擇需要查看數(shù)據(jù)的測試版本，通常是那些需要進(jìn)行比較分析的相關(guān)的測試版本。注意:如果一個(gè)測試版本還沒有運(yùn)行，或者沒有收集到數(shù)據(jù)，它是不可選的。
[0077]數(shù)據(jù)報(bào)表:綜合數(shù)據(jù)表格展示了包括缺省版本在內(nèi)的及所選定的各測試版本的優(yōu)化指標(biāo)數(shù)據(jù)。各優(yōu)化指標(biāo)的數(shù)值均包括平均值和總值，平均值=總值/活躍用戶數(shù)。
[0078]進(jìn)一步的，所述優(yōu)化指標(biāo)包括定義指標(biāo)和復(fù)合指標(biāo)。
[0079]定義指標(biāo)是在向AB測試系統(tǒng)發(fā)送自定義指標(biāo)值之前，必須先在AB測試系統(tǒng)的Web平臺中對其進(jìn)行定義。自定義的優(yōu)化指標(biāo)可具有以下配置值:
[0080]指標(biāo)名稱:這是一個(gè)用來代表指標(biāo)的唯一標(biāo)識符，命名只允許英文字母和數(shù)字。[0081 ]指標(biāo)描述:這是用來對指標(biāo)進(jìn)行說明的描述，可包括任意字符。
[0082]同一個(gè)指標(biāo)在發(fā)送指標(biāo)數(shù)據(jù)時(shí)使用的名稱和定義時(shí)指定的名稱必須一致，沒有定義的指標(biāo)，AB測試系統(tǒng)是不進(jìn)行數(shù)據(jù)統(tǒng)計(jì)的。
[0083]復(fù)合指標(biāo)不需要像優(yōu)化指標(biāo)一樣匯報(bào)數(shù)據(jù)，但它包含一個(gè)計(jì)算公式，用來在已有優(yōu)化指標(biāo)的基礎(chǔ)上計(jì)算出一個(gè)復(fù)合型的指標(biāo)數(shù)值。
[0084]計(jì)算公式:支持在現(xiàn)有優(yōu)化指標(biāo)上進(jìn)行+-*/和()運(yùn)算。例如，轉(zhuǎn)化率的復(fù)合指標(biāo)計(jì)算公式可以定義為:“Convers1nStat/PageviewStat”，轉(zhuǎn)化次數(shù)Convers1nStat和頁面瀏覽量Page V i ewStat都是需要匯報(bào)的優(yōu)化指標(biāo)。
[0085]如果不再關(guān)注某個(gè)優(yōu)化指標(biāo)，可在AB測試系統(tǒng)中把該指標(biāo)轉(zhuǎn)為不關(guān)注狀態(tài)，系統(tǒng)將不再展示該指標(biāo)的數(shù)據(jù)，不過此時(shí)指標(biāo)的數(shù)據(jù)仍然可以被收集和記錄。
[0086]AB測試系統(tǒng)后端詳細(xì)流程功能定義，同時(shí)可參考圖2所示:
[0087]集成SDK的客戶端:用戶首先需要集成AB測試系統(tǒng)提供的SDK，然后按照其提供的接口發(fā)送客戶端數(shù)據(jù)到服務(wù)器。
[0088]模塊開關(guān)處理:SDK首先會請求后端模塊開關(guān)處理程序，后者依據(jù)用戶在Web前端設(shè)置的試驗(yàn)數(shù)量、每個(gè)試驗(yàn)分配的流量來計(jì)算產(chǎn)生模塊開關(guān)。
[0089]計(jì)算方式為:參與試驗(yàn)a的設(shè)備數(shù)量=試驗(yàn)a的流量*該客戶端的總設(shè)備數(shù)量/總的試驗(yàn)流量，總的試驗(yàn)流量是100，然后以I為單位給試驗(yàn)分配流量。
[0090]服務(wù)器端tracker:接收客戶端發(fā)送來的數(shù)據(jù)然后轉(zhuǎn)化成JSON數(shù)據(jù)格式存儲到kafka，JSON數(shù)據(jù)格式如下:
[0091 ] {"app_key":"asdfaf","client_id":"asdfasf","summary":{"key":”asdfasf","value":10},"custom":「key":"asdfasf","value":10},"stats":[「key":”asdfasf", "value": 10, "timestamp": 123133, "experimentjds":,]}。
[0092]kafka:開源的分布式消息系統(tǒng)，用于在AB測試系統(tǒng)接收客戶端上報(bào)的數(shù)據(jù)并進(jìn)行存儲。
[0093]實(shí)時(shí)數(shù)據(jù)處理:實(shí)時(shí)的從kafka獲取數(shù)據(jù)，然后依據(jù)均值、方差、求和、置信區(qū)間、變化顯著性的計(jì)算規(guī)則計(jì)算每個(gè)試驗(yàn)的優(yōu)化指標(biāo)的數(shù)據(jù)。求和就是某個(gè)試驗(yàn)的優(yōu)化指標(biāo)上報(bào)數(shù)據(jù)的總和;均值就是優(yōu)化指標(biāo)的總和/參與這個(gè)試驗(yàn)的用戶數(shù);方差就是優(yōu)化指標(biāo)的平方和/參與這個(gè)試驗(yàn)的用戶數(shù)-均值*均值。
[0094]置信區(qū)間計(jì)算方式如下:
[0095]Ci = 1.96* V (方差/參與這個(gè)試驗(yàn)的用戶數(shù))
[0096][均值-ci，均值+ci]
[0097]變化顯著性計(jì)算方式如下:
[0098]變量定義:默認(rèn)版本的優(yōu)化指標(biāo)a的均值xl，試驗(yàn)版本的優(yōu)化指標(biāo)a的均值x2，默認(rèn)版本的優(yōu)化指標(biāo)a的方差vl，試驗(yàn)版本的優(yōu)化指標(biāo)a的方差v2，默認(rèn)版本的參與設(shè)備數(shù)nl，試驗(yàn)版本的參與用戶數(shù)n2
[0099]z_value = (x2-xl)/ V (vl/nl+v2/n2)
[0100]dl = 0.0498673470, d2 = 0.0211410061, d3 = 0.0032776263, d4 = 0.0000380036,d5 = 0.0000488906，d6 = 0.0000053830
[0101]a= I z_value
[0102]t = 1.0+a*(dl+a*(d2+a*(d3+a*(d4+a*(d5+a*d6)))))
[0103]t = t'4
[0104]t = 1.0/(t+t)；
[0105]如果z_value大于等于0貝ljt = l-t
[0106]如果t大于0.5則t= lt，最終得到的t值就是變化顯著性值
[0107]spark實(shí)時(shí)數(shù)據(jù)處理:計(jì)算過程和上文實(shí)時(shí)數(shù)據(jù)處理一樣區(qū)別是這里采用了 spark計(jì)算架構(gòu)。
[0108]定時(shí)數(shù)據(jù)分析:通過每天定時(shí)運(yùn)行，計(jì)算用戶的App留存數(shù)據(jù)，計(jì)算方法為:昨天依然活躍的用戶數(shù)/n天前來的新用戶數(shù)。
[0109]實(shí)時(shí)非預(yù)定義統(tǒng)計(jì):用戶通過web前端提交臨時(shí)統(tǒng)計(jì)條件到服務(wù)器，服務(wù)器通過impa I a運(yùn)行s q I來計(jì)算用戶的臨時(shí)統(tǒng)計(jì)需求，計(jì)算方法如同實(shí)時(shí)數(shù)據(jù)處理部分。
[0?? O] impala、hive、spark都是開源的基于Hadoop集群的計(jì)算引擎。
[0111 ] mongodb和redis是開源的數(shù)據(jù)庫。
[0112]為了方便理解本發(fā)明的上述技術(shù)方案，以下通過具體使用方式上對本發(fā)明的上述技術(shù)方案進(jìn)行詳細(xì)說明。
[0113]綜上所述，借助于本發(fā)明的上述技術(shù)方案，通過基于數(shù)據(jù)驅(qū)動的AB測試產(chǎn)品優(yōu)化方法，突破了對個(gè)人經(jīng)驗(yàn)的依賴，并且通過數(shù)據(jù)挖掘?qū)崿F(xiàn)了快速獲取反饋，產(chǎn)品快速迭代優(yōu)化，適用于互聯(lián)網(wǎng)行業(yè)產(chǎn)品優(yōu)化，廣告行業(yè)產(chǎn)品優(yōu)化，以及其他行業(yè)的可通過用戶反饋數(shù)據(jù)收集分析進(jìn)行的產(chǎn)品優(yōu)化。
[0114]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【主權(quán)項(xiàng)】
1.一種基于數(shù)據(jù)驅(qū)動的AB測試方法，其特征在于，首先設(shè)定與網(wǎng)絡(luò)平臺一致的優(yōu)化指標(biāo)，并根據(jù)優(yōu)化指標(biāo)設(shè)定對應(yīng)的迭代方案，建立模塊開關(guān)控制迭代方案中的測試變量，收集用戶的交互數(shù)據(jù)，對交互數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，依據(jù)數(shù)據(jù)分析結(jié)果判斷迭代方案優(yōu)劣。2.根據(jù)權(quán)利要求1所述的基于數(shù)據(jù)驅(qū)動的AB測試方法，其特征在于，包括如下步驟: 步驟一，設(shè)定優(yōu)化指標(biāo)，并保證該優(yōu)化指標(biāo)與網(wǎng)絡(luò)平臺的優(yōu)化指標(biāo)一致； 步驟二，根據(jù)所述優(yōu)化指標(biāo)設(shè)計(jì)對應(yīng)的迭代方案，并在所述迭代方案中明確測試變量； 步驟三，建立模塊開關(guān)，通過該模塊開關(guān)來控制所述測試變量； 步驟四，開發(fā)新模塊，將創(chuàng)建完畢的所述優(yōu)化指標(biāo)和所述開關(guān)模塊集成至程序代碼中； 步驟五，上傳所述交互數(shù)據(jù)到tracker服務(wù)器； 步驟六，對收集的所述交互數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，進(jìn)而得出試驗(yàn)的試驗(yàn)報(bào)告，依照試驗(yàn)報(bào)告判斷迭代方案的優(yōu)劣。3.根據(jù)權(quán)利要求2所述的基于數(shù)據(jù)驅(qū)動的AB測試方法，其特征在于，還包括創(chuàng)建試驗(yàn)，將選定好的模塊開關(guān)和優(yōu)化指標(biāo)進(jìn)行試運(yùn)行，以獲取試驗(yàn)數(shù)據(jù)。4.根據(jù)權(quán)利要求3所述的基于數(shù)據(jù)驅(qū)動的AB測試方法，其特征在于，所述優(yōu)化指標(biāo)包括定義指標(biāo)和復(fù)合指標(biāo)。5.根據(jù)權(quán)利要求4所述的基于數(shù)據(jù)驅(qū)動的AB測試方法，其特征在于，將交互數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析后，可根據(jù)分析結(jié)果重新設(shè)計(jì)迭代方案。
【文檔編號】G06Q10/04GK105913145SQ201610218926
【公開日】2016年8月31日
【申請日】2016年4月8日
【發(fā)明人】王曄, 鐘書毅, 王斌, 高慶月, 董源貴, 劉飛, 趙鑫, 楊智博
【申請人】北京吆喝科技有限公司