專利名稱：一種參數的測試方法和設備的制作方法
技術領域：
本發(fā)明涉及計算機技術領域，尤其是涉及一種參數的測試方法和設備。
背景技術：
A/B測試用于確定兩個元素或版本(A和B)中哪個版本更好，以選擇最好的版本使用，提高轉換率；在A/B測試過程中，為了優(yōu)化廣告效果，對于同一個測試參數，可設置多個不同的參數值來測試效果，從而找出效果最好的參數值；其中，效果可以是點擊率、購買量或安裝量等。現(xiàn)有技術中，針對A/B測試的過程，其處理流程包括:
步驟1、確定測試目標和測試參數。步驟2、利用測試參數的一個參數值進行測試，并統(tǒng)計測試參數的該參數值的效果以及與目標的差距。步驟3、基于與目標的差距，修正測試參數的參數值，并利用修正后的測試參數的參數值進行測試，以及繼續(xù)統(tǒng)計修正后的測試參數的參數值的效果。以此類推，后續(xù)不再贅述·。在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術中至少存在以下問題:
每次只能對測試參數的一個參數值統(tǒng)計其效果，對測試參數的參數值進行修改后，繼續(xù)統(tǒng)計修改后的參數值的效果；由于在統(tǒng)計測試參數的每個參數值的效果時，其時間周期長，因此上述方式無法快速達成目標。此外，當后一次的效果比前一次要差時，需要回到前一次測試中重新調整測試參數進行測試，從而進一步導致測試時間很長。

發(fā)明內容
本發(fā)明實施例提供一種參數的測試方法和設備，以快速獲得效果最好的測試參數的參數值，節(jié)省測試時間。為了達到上述目的，本發(fā)明實施例提供一種參數的測試方法，包括:
確定測試目標以及所述測試目標對應的測試參數，并根據客戶端標識將客戶端分成多個測試組；
為每個測試組配置所述測試參數的參數值，且每個測試組所配置的參數值不同；利用所述測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試，并獲取所述多個測試組的測試效果；
確定所述多個測試組的測試效果中最優(yōu)的測試組所使用的參數值為所述測試參數的目標參數值。在所述測試目標對應的測試參數為多個測試參數時,所述方法進一步包括:依次選擇所述多個測試參數中的一個測試參數為當前測試參數，并利用其他測試參數以及所述當前測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試；其中，其他測試參數的參數值相同。
所述其他測試參數的參數值相同，具體為:
如果所述其他測試參數已經確定有目標參數值，則所述其他測試參數的參數值為該目標參數值；
如果所述其他測試參數還未確定有目標參數值，則所述其他測試參數的參數值為根據實際情況選擇。所述客戶端標識包括:客戶端的即時通信號碼、客戶端瀏覽器的cookie id、客戶端的IP地址。對測試組內的客戶端進行測試的測試周期以天或者星期為單位。本發(fā)明實施例提供一種參數的測試設備，包括:
第一確定模塊，用于確定測試目標以及所述測試目標對應的測試參數；
劃分模塊，用于根據客戶端標識將客戶端分成多個測試組； 配置模塊，用于為每個測試組配置所述測試參數的參數值，且每個測試組所配置的參數值不同；
測試模塊，用于利用所述測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試，并獲取所述多個測試組的測試效果；
第二確定模塊，用于確定所述多個測試組的測試效果中最優(yōu)的測試組所使用的參數值為所述測試參數的目標參數值。在所述測試目標對應的測試參數為多個測試參數時，所述測試模塊，進一步用于依次選擇所述多個測試參數中的一個測試參數為當前測試參數，并利用其他測試參數以及所述當前測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試；其中，其他測試參數的參數值相同。所述其他測試參數的參數值相同，具體為:
如果所述其他測試參數已經確定有目標參數值，則所述其他測試參數的參數值為該目標參數值；
如果所述其他測試參數還未確定有目標參數值，則所述其他測試參數的參數值為根據實際情況選擇。所述客戶端標識包括:客戶端的即時通信號碼、客戶端瀏覽器的cookie id、客戶端的IP地址。對測試組內的客戶端進行測試的測試周期以天或者星期為單位。與現(xiàn)有技術相比，本發(fā)明實施例至少具有以下優(yōu)點:
本發(fā)明實施例中，可同時支持多組參數值的測試，通過統(tǒng)計回歸方法找出效果最好的一組參數值，從而快速獲得效果最好的測試參數的參數值，節(jié)省測試時間，繼而實現(xiàn)廣告效果最大化的目標。


為了更清楚地說明本發(fā)明的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1是本發(fā)明實施例一提供的一種參數的測試方法流程示意圖；圖2是本發(fā)明實施例二提供的一種參數的測試設備結構示意圖。
具體實施例方式下面將結合本發(fā)明中的附圖，對本發(fā)明中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明的一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領域普通技術人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本發(fā)明保護的范圍。實施例一
本發(fā)明實施例一提供一種參數的測試方法，用于在A/B測試過程中，由測試設備確定最優(yōu)的測試參數，如圖1所示，該方法包括以下步驟:
步驟101，確定測試目標以及測試目標對應的測試參數。需要注意的是，每個測試目標均有其對應的一個或多個測試參數；例如，當確定測試目標(A/B測試的目標)為優(yōu)化廣告效果時，由于優(yōu)化點擊率可以提升廣告效果，因此測試目標對應的測試參數可以為點擊率。步驟102，根據客戶端標識將客戶端分成多個測試組。本發(fā)明實施例中，該客戶端標識包括但不限于:客戶端的即時通信號碼(如QQ號碼)、客戶端瀏覽器的cookie id(標識)、客戶端的IP地址等。需要注意的是，客戶端標識并不局限于此，所有能夠區(qū)分客戶端的標識均在本發(fā)明實施例保護范圍之內，在此不再贅述。例如，在將客戶端分成多個測試組時，可以利用QQ號碼的最后一位(或倒數第二位等)進行分組，將所有客戶端按照QQ號碼的最后一位分成從O到9的10個測試組，即將QQ號碼的最后一位為O的客戶端分成測試組1，將QQ號碼的最后一位為I的客戶端分成測試組2，以此類推，將QQ號碼的最后一位為9的`客戶端分成測試組10。對于cookie id、客戶端的IP地址等其他客戶端標識，其分成多個測試組的方式與客戶端的即時通信號碼的方式類似，在此不再詳加說明。需要注意的是，從統(tǒng)計回歸(即任何一連串的重復活動，其結果通常都會接近平均值或者中間值)的意義上說，由于每個測試組所覆蓋的客戶端都是相同的，因此每個測試組對于同一個測試參數的測試結果是相同的，即可以按照上述方式將客戶端分成多個測試組。步驟103，為每個測試組配置測試參數的參數值，且每個測試組所配置的參數值不同。以測試參數為測試參數a為例，則可以將測試參數a的不同參數值配置給不同的測試組；例如，測試參數a的不同參數值分別為al、a2、...alO時，則基于上述的測試組1-測試組10，可以將參數值al配置給測試組1，將參數值a2配置給測試組2，以此類推，將參數值alO配置給測試組10。需要說明的是，為了更好的為每個測試組配置測試參數的參數值，在一種優(yōu)選的實施方式中，還可以根據測試參數的參數值(參數值的取值數量)以及客戶端標識將客戶端分成多個測試組；例如，在實際應用中，測試參數a對應有5個參數值時，則在將客戶端分成多個測試組時，可以將QQ號碼的最后一位為O和I的客戶端分成測試組1，以此類推，將QQ號碼的最后一位為8和9的客戶端分成測試組10。
步驟104，利用測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試，并獲取多個測試組的測試效果。對測試組內的客戶端進行測試的測試周期可以以天或者星期為單位(即A/B測試的周期是天或者星期)。例如，基于上述的配置方式，可以利用參數值al對測試組I內的客戶端進行測試，利用參數值a2對測試組2內的客戶端進行測試，以此類推，利用參數值alO對測試組10內的客戶端進行測試，相關的測試方式本發(fā)明實施例中不再贅述。進一步的，針對每個測試組內客戶端的測試過程，可以得到該測試組的測試效果；而基于所有測試組內客戶端的測試過程，可以得到上述多個測試組的測試效果，獲得測試效果的方式本發(fā)明實施例中不再贅述。步驟105，確定多個測試組的測試效果中最優(yōu)的測試組所使用的參數值為測試參數的目標參數值。本發(fā)明實施例中，對于不同的測試組，其配置有測試參數的不同參數值后，即可以從多個測試組的測試效果中獲得測試優(yōu)化的目標，即測試效果中最優(yōu)的測試組所使用的參數值。需要注意的是，上述過程為針對測試目標對應的測試參數為一個的處理，在測試目標對應的測試參數為多個測試參數時，該方法進一步包括:依次選擇多個測試參數中的一個測試參數為當前測試參數(一個測試參數的處理與上述過程相同)，并利用其他測試參數以及當前測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試；其中，其他測試參數的參數值相同，其具體為:如果其他測試參數已經確定有目標參數值，則其他測試參數的參數值為該目標參數值；如果其他測試參數還未確定有目標參數值，則其他測試參數的參數值為根據 實際情況選擇(即為經驗值)。為了方便描述，以測試參數為測試參數a (其對應有參數值al、a2、a3)、測試參數b (其對應有參數值bl、b2、b3)、測試參數c (其對應有參數值cl、c2、c3)、測試參數d (其對應有參數值dl、d2、d3)為例。首先選擇測試參數a為當前測試參數，將測試參數a的不同參數值分別配置給不同的測試組(以測試組1、測試組2、測試組3為例)，并利用參數值al對測試組I內的客戶端進行測試，利用參數值a2對測試組2內的客戶端進行測試，利用參數值a3對測試組3內的客戶端進行測試；在上述測試過程中，由于測試參數b、測試參數C、測試參數d還未確定有目標參數值，因此可根據實際經驗選擇，以選擇bl、Cl、dl為例；基于此，利用參數值al、bl、Cl、dl對測試組I內的客戶端進行測試，利用參數值a2、bl、Cl、dl對測試組2內的客戶端進行測試，利用參數值a3、bl、Cl、dl對測試組3內的客戶端進行測試；經過上述處理后，可確定測試參數a的目標參數值(以a3為例)。其次選擇測試參數b為當前測試參數，將測試參數b的不同參數值分別配置給不同的測試組，并利用參數值bl對測試組I內的客戶端進行測試，利用參數值b2對測試組2內的客戶端進行測試，利用參數值b3對測試組3內的客戶端進行測試；在上述測試過程中，測試參數a已經確定有目標參數值a3,測試參數C、測試參數d還未確定有目標參數值,根據實際經驗選擇Cl、dl ;基于此，利用參數值a3、bl、Cl、dl對測試組I內的客戶端進行測試，利用參數值a3、b2、Cl、dl對測試組2內的客戶端進行測試，利用參數值a3、b3、cl、dl對測試組3內的客戶端進行測試；經過上述處理后，可確定測試參數b的目標參數值(以b3為例)。其次選擇測試參數c為當前測試參數，將測試參數c的不同參數值分別配置給不同的測試組，并利用參數值Cl對測試組I內的客戶端進行測試，利用參數值c2對測試組2內的客戶端進行測試，利用參數值c3對測試組3內的客戶端進行測試；在上述測試過程中，測試參數a已經確定有目標參數值a3,測試參數b已經確定有目標參數值b3,測試參數d還未確定有目標參數值，根據實際經驗選擇dl ;基于此，利用參數值a3、b3、Cl、dl對測試組I內的客戶端進行測試，利用參數值a3、b3、c2、dl對測試組2內的客戶端進行測試，利用參數值a3、b3、c3、dl對測試組3內的客戶端進行測試；經過上述處理后，可確定測試參數c的目標參數值(以c3為例)。最后選擇測試參數d為當前測試參數，將測試參數d的不同參數值分別配置給不同的測試組，并利用參數值dl對測試組I內的客戶端進行測試，利用參數值d2對測試組2內的客戶端進行測試，利用參數值d3對測試組3內的客戶端進行測試；在上述測試過程中，測試參數a已經確定有目標參數值a3,測試參數b已經確定有目標參數值b3,測試參數c已經確定有目標參數值c3 ;基于此，利用參數值a3、b3、c3、dl對測試組I內的客戶端進行測試，利用參數值a3、b3、c3、d2對測試組2內的客戶端進行測試，利用參數值a3、b3、c3、d3對測試組3內的客戶端進行測試；經過上述處理后，可確定測試參數d的目標參數值(以d3為例)。經過上述過程的處理后，即可以得到測試目標對應的最優(yōu)測試參數組為(a3、b3、(:3、(13);之后，利用最優(yōu)測試參數組(&343、(33、(13)對測試目標進行相應的處理，本發(fā)明實施例中對此不再贅述。綜上所述，本發(fā)明實施例中，可同時支持多組參數值的測試，通過統(tǒng)計回歸方法找出效果最好的一組參數值，從而快速獲得效果最好的測試參數的參數值，節(jié)省測試時間，繼而實現(xiàn)廣告效果最大化的目標。實施例二
基于與上述方法同樣的發(fā)明構思，本發(fā)明實施例中還提供了一種參數的測試設備，如圖2所示，該設備包括:
第一確定模塊21，用于確定測試目標以及所述測試目標對應的測試參數；
劃分模塊22，用于根據客戶端標識將客戶端分成多個測試組；
配置模塊23，用于為每個測試組配置所述測試參數的參數值，且每個測試組所配置的參數值不同；
測試模塊24，用于利用所述測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試，并獲取所述多個測試組的測試效果；
第二確定模塊25，用于確定所述多個測試組的測試效果中最優(yōu)的測試組所使用的參數值為所述測試參數的目標參數值。在所述測試目標對應的測試參數為多個測試參數時，所述測試模塊24，進一步用于依次選擇所述多個測試參數中的一個測試參數為當前測試參數，并利用其他測試參數以及所述當前測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試；其中，其他測試參數的參數值相同。所述其 他測試參數的參數值相同，具體為:如果所述其他測試參數已經確定有目標參數值，則所述其他測試參數的參數值為該目標參數值；如果所述其他測試參數還未確定有目標參數值，則所述其他測試參數的參數值為根據實際情況選擇。本發(fā)明實施例中，所述客戶端標識包括:客戶端的即時通信號碼、客戶端瀏覽器的cookie id、客戶端的IP地址。本發(fā)明實施例中，對測試組內的客戶端進行測試的測試周期以天或者星期為單位。其中，本發(fā)明裝置的各個模塊可以集成于一體，也可以分離部署。上述模塊可以合并為一個模塊，也可以進一步拆分成多個子模塊。綜上所述，本發(fā)明實施例中，可同時支持多組參數值的測試，通過統(tǒng)計回歸方法找出效果最好的一組參數值，從而快速獲得效果最好的測試參數的參數值，節(jié)省測試時間，繼而實現(xiàn)廣告效果最大化的目標。通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到本發(fā)明可借助軟件加必需的通用硬件平臺的方式來實現(xiàn)，當然也可以通過硬件，但很多情況下前者是更佳的實施方式。基于這樣的理解，本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分可以以軟件產品的形式體現(xiàn)出來，該計算機軟件產品存儲在一個存儲介質中，包括若干指令用以使得一臺計算機設備(可以是個人計算機，服務器，或者網絡設備等)執(zhí)行本發(fā)明各個實施例所述的方法。本領域技術人員可以理解附圖只是一個優(yōu)選實施例的示意圖，附圖中的模塊或流程并不一定是實施本發(fā)明所必須的。本領域技術人員可以理解實施例中的裝置中的模塊可以按照實施例描述進行分布于實施例的裝置中，也可以進行相應變化位于不同于本實施例的一個或多個裝置中。上述實施例的模塊可以 合并為一個模塊，也可以進一步拆分成多個子模塊。上述本發(fā)明實施例序號僅僅為了描述，不代表實施例的優(yōu)劣。以上公開的僅為本發(fā)明的幾個具體實施例，但是，本發(fā)明并非局限于此，任何本領域的技術人員能思之的變化都應落入本發(fā)明的保護范圍。
權利要求
1.一種參數的測試方法，其特征在于，包括: 確定測試目標以及所述測試目標對應的測試參數，并根據客戶端標識將客戶端分成多個測試組； 為每個測試組配置所述測試參數的參數值，且每個測試組所配置的參數值不同；利用所述測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試，并獲取所述多個測試組的測試效果； 確定所述多個測試組的測試效果中最優(yōu)的測試組所使用的參數值為所述測試參數的目標參數值。
2.如權利要求1所述的方法，其特征在于，在所述測試目標對應的測試參數為多個測試參數時，所述方法進一步包括: 依次選擇所述多個測試參數中的一個測試參數為當前測試參數，并利用其他測試參數以及所述當前測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試；其中，其他測試參數的參數值相同。
3.如權利要求2所述的方法，其特征在于，所述其他測試參數的參數值相同，具體為: 如果所述其他測試參數已經確定有目標參數值，則所述其他測試參數的參數值為該目標參數值； 如果所述其他測試參數還未確定有目標參數值，則所述其他測試參數的參數值為根據實際情況選擇。
4.如權利要求1-3任一項所述的方法，其特征在于，所述客戶端標識包括:客戶端的即時通信號碼、客戶端瀏覽器的cookie id、客戶端的IP地址。
5.如權利要求1-3任一項所述的方法，其特征在于，對測試組內的客戶端進行測試的測試周期以天或者星期為單位。
6.一種參數的測試設備，其特征在于，包括: 第一確定模塊，用于確定測試目標以及所述測試目標對應的測試參數； 劃分模塊，用于根據客戶端標識將客戶端分成多個測試組； 配置模塊，用于為每個測試組配置所述測試參數的參數值，且每個測試組所配置的參數值不同； 測試模塊，用于利用所述測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試，并獲取所述多個測試組的測試效果； 第二確定模塊，用于確定所述多個測試組的測試效果中最優(yōu)的測試組所使用的參數值為所述測試參數的目標參數值。
7.如權利要求6所述的設備，其特征在于，在所述測試目標對應的測試參數為多個測試參數時， 所述測試模塊，進一步用于依次選擇所述多個測試參數中的一個測試參數為當前測試參數，并利用其他測試參數以及所述當前測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試；其中，其他測試參數的參數值相同。
8.如權利要求7所述的設備，其特征在于，所述其他測試參數的參數值相同，具體為: 如果所述其他測試參數已經確定有目標參數值，則所述其他測試參數的參數值為該目標參數值；如果所述其他測試參數還未確定有目標參數值，則所述其他測試參數的參數值為根據實際情況選擇。
9.如權利要求6-8任一項所述的設 備，其特征在于，所述客戶端標識包括:客戶端的即時通信號碼、客戶端瀏覽器的cookie id、客戶端的IP地址。
10.如權利要求6-8任一項所述的設備，其特征在于，對測試組內的客戶端進行測試的測試周期以天或者星期為單位。
全文摘要
本發(fā)明公開了一種參數的測試方法和設備，該方法包括確定測試目標以及所述測試目標對應的測試參數，并根據客戶端標識將客戶端分成多個測試組；為每個測試組配置所述測試參數的參數值，且每個測試組所配置的參數值不同；利用所述測試參數的參數值對該參數值所對應的測試組內的客戶端進行測試，并獲取所述多個測試組的測試效果；確定所述多個測試組的測試效果中最優(yōu)的測試組所使用的參數值為所述測試參數的目標參數值。本發(fā)明實施例中，可同時支持多組參數值的測試，通過統(tǒng)計回歸方法找出效果最好的一組參數值，從而快速獲得效果最好的測試參數的參數值，節(jié)省測試時間，繼而實現(xiàn)廣告效果最大化的目標。
文檔編號G06F11/36GK103246597SQ201210025878
公開日2013年8月14日 申請日期2012年2月7日 優(yōu)先權日2012年2月7日
發(fā)明者易杰 申請人:騰訊科技(深圳)有限公司