本發(fā)明涉及計(jì)算機(jī)技術(shù)，尤其涉及一種測(cè)試方法和裝置。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，對(duì)于利用互聯(lián)網(wǎng)技術(shù)進(jìn)行業(yè)務(wù)的交互處理已經(jīng)成為主流趨勢(shì)。在業(yè)務(wù)處理中，往往需要算法程序?qū)I(yè)務(wù)進(jìn)行支持?，F(xiàn)有的算法程序一般分為在線(xiàn)算法程序和離線(xiàn)算法程序。在線(xiàn)算法程序不同于離線(xiàn)算法程序，在線(xiàn)算法程序預(yù)先不需要獲知全部的輸入數(shù)據(jù)，其可以以序列化的方式一個(gè)個(gè)地處理輸入，從而能夠更快地響應(yīng)輸入數(shù)據(jù)。

在算法程序的應(yīng)用過(guò)程中，為了獲得更快的響應(yīng)速度，越來(lái)越多地采用了在線(xiàn)算法程序的形式。在現(xiàn)有技術(shù)中，若對(duì)在線(xiàn)算法程序進(jìn)行測(cè)試，可以通過(guò)模擬的方式，對(duì)在線(xiàn)算法程序采用離線(xiàn)復(fù)制方式重寫(xiě)，也就是說(shuō)需要編寫(xiě)測(cè)試腳本以及調(diào)試等大量工作才能完成對(duì)在線(xiàn)算法程序的測(cè)試，測(cè)試通過(guò)后，再將在線(xiàn)算法程序投放于業(yè)務(wù)中運(yùn)行。

但現(xiàn)有的測(cè)試方法中，由于編寫(xiě)模擬腳本的工作量較大，同時(shí)，所編寫(xiě)的模擬腳本不僅容易出錯(cuò)，而且可塑性較差，從而導(dǎo)致在線(xiàn)算法程序的測(cè)試效率不高。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種測(cè)試方法和裝置，用于解決現(xiàn)有技術(shù)中的在線(xiàn)算法程序測(cè)試效率不高的技術(shù)問(wèn)題。

為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案：

第一方面，提供了一種測(cè)試方法，包括：

將網(wǎng)絡(luò)對(duì)象以及所述網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)設(shè)置為輸入數(shù)據(jù)；

利用在線(xiàn)算法程序?qū)λ鲚斎霐?shù)據(jù)進(jìn)行處理，獲得數(shù)據(jù)結(jié)果；

從所述數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，獲得樣本數(shù)據(jù)；

根據(jù)測(cè)試指標(biāo)對(duì)所述樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果。

第二方面，提供了一種測(cè)試裝置，包括：

設(shè)置模塊，用于將網(wǎng)絡(luò)對(duì)象以及所述網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)設(shè)置為輸入數(shù)據(jù)；

處理模塊，用于利用在線(xiàn)算法程序?qū)λ鲚斎霐?shù)據(jù)進(jìn)行處理，獲得數(shù)據(jù)結(jié)果；

提取模塊，用于從所述數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，獲得樣本數(shù)據(jù)；

測(cè)試模塊，用于根據(jù)測(cè)試指標(biāo)對(duì)所述樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果。

本發(fā)明實(shí)施例提供的測(cè)試方法和裝置，通過(guò)將網(wǎng)絡(luò)對(duì)象以及該網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)設(shè)置為輸入數(shù)據(jù)之后，利用在線(xiàn)算法程序?qū)斎霐?shù)據(jù)進(jìn)行處理，獲得數(shù)據(jù)結(jié)果，進(jìn)而從該數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，獲得樣本數(shù)據(jù)，然后根據(jù)測(cè)試指標(biāo)對(duì)樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果，由于僅需要預(yù)先根據(jù)現(xiàn)有的測(cè)試指標(biāo)設(shè)置目標(biāo)字段，以及設(shè)置輸入數(shù)據(jù)，既可利用該測(cè)試指標(biāo)對(duì)在線(xiàn)算法程序進(jìn)行測(cè)試，而無(wú)需現(xiàn)有技術(shù)中編寫(xiě)模擬腳本的過(guò)程，從而提高了在線(xiàn)算法程序測(cè)試效率。

上述說(shuō)明僅是本發(fā)明技術(shù)方案的概述，為了能夠更清楚了解本發(fā)明的技術(shù)手段，而可依照說(shuō)明書(shū)的內(nèi)容予以實(shí)施，并且為了讓本發(fā)明的上述和其它目的、特征和優(yōu)點(diǎn)能夠更明顯易懂，以下特舉本發(fā)明的具體實(shí)施方式。

附圖說(shuō)明

通過(guò)閱讀下文優(yōu)選實(shí)施方式的詳細(xì)描述，各種其他的優(yōu)點(diǎn)和益處對(duì)于本領(lǐng)域普通技術(shù)人員將變得清楚明了。附圖僅用于示出優(yōu)選實(shí)施方式的目的，而并不認(rèn)為是對(duì)本發(fā)明的限制。而且在整個(gè)附圖中，用相同的參考符號(hào)表示相同的部件。在附圖中：

圖1為本發(fā)明實(shí)施例一提供的測(cè)試方法的流程示意圖；

圖2為本發(fā)明實(shí)施例二提供的測(cè)試方法的流程示意圖；

圖3為本發(fā)明實(shí)施例三提供的測(cè)試裝置的結(jié)構(gòu)示意圖；

圖4為本發(fā)明實(shí)施例四提供的測(cè)試裝置的結(jié)構(gòu)示意圖。

具體實(shí)施方式

本申請(qǐng)的主要思想在于，通過(guò)運(yùn)行在線(xiàn)算法程序之后，針對(duì)在線(xiàn)算法程序所輸出的數(shù)據(jù)結(jié)果進(jìn)行處理獲得樣本數(shù)據(jù)，使得該樣本數(shù)據(jù)的格式能夠適用于現(xiàn)有的測(cè)試指標(biāo)，從而可以利用該測(cè)試指標(biāo)對(duì)樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果，實(shí)現(xiàn)對(duì)在線(xiàn)算法程序的計(jì)算效果進(jìn)行測(cè)試，以避免現(xiàn)有技術(shù)中將在線(xiàn)算法程序離線(xiàn)復(fù)制方式重寫(xiě)的過(guò)程，也就是說(shuō)，無(wú)需編寫(xiě)模擬腳本，這樣就能夠避免編寫(xiě)模擬腳本所帶來(lái)的巨大工作量，容易出錯(cuò)和可塑性差的問(wèn)題，提高了在線(xiàn)算法程序的測(cè)試效率。

根據(jù)本實(shí)施例所提供的方法，用戶(hù)僅需要在對(duì)在線(xiàn)算法程序進(jìn)行測(cè)試之前，預(yù)先根據(jù)現(xiàn)有的測(cè)試指標(biāo)設(shè)置目標(biāo)字段，以及設(shè)置輸入數(shù)據(jù)，既可利用該測(cè)試指標(biāo)對(duì)在線(xiàn)算法程序進(jìn)行測(cè)試，減少了測(cè)試的工作量，提高了測(cè)試效率。

下面將參照附圖更詳細(xì)地描述本公開(kāi)的示例性實(shí)施例。雖然附圖中顯示了本公開(kāi)的示例性實(shí)施例，然而應(yīng)當(dāng)理解，可以以各種形式實(shí)現(xiàn)本公開(kāi)而不應(yīng)被這里闡述的實(shí)施例所限制。相反，提供這些實(shí)施例是為了能夠更透徹地理解本公開(kāi)，并且能夠?qū)⒈竟_(kāi)的范圍完整的傳達(dá)給本領(lǐng)域的技術(shù)人員。

下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例提供的測(cè)試方法和裝置進(jìn)行詳細(xì)描述。

實(shí)施例一

圖1為本發(fā)明實(shí)施例一提供的測(cè)試方法的流程示意圖，本實(shí)施例所提供的方法可以由算法評(píng)測(cè)平臺(tái)(Algorithm Evaluation Carrier，AEC)執(zhí)行，該算法評(píng)測(cè)平臺(tái)上已集成了各個(gè)離線(xiàn)的測(cè)試指標(biāo)以及對(duì) 應(yīng)的測(cè)試程序，如圖1所示，方法包括：

步驟101、將網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)設(shè)置為輸入數(shù)據(jù)。

具體的，可以通過(guò)預(yù)先記錄在業(yè)務(wù)中所產(chǎn)生的網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為來(lái)獲取到所需的網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)。另外，由于業(yè)務(wù)日志中便記載有各網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)，可以通過(guò)從業(yè)務(wù)日志中抽取獲得網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)。具體在業(yè)務(wù)的選擇上，可以?xún)?yōu)先考慮被測(cè)的在線(xiàn)算法程序所布點(diǎn)的業(yè)務(wù)，也就是在線(xiàn)算法程序所應(yīng)用到的業(yè)務(wù)。

需要說(shuō)明的是，網(wǎng)絡(luò)對(duì)象可以是指網(wǎng)絡(luò)用戶(hù)，網(wǎng)絡(luò)行為可以是指針對(duì)商品的購(gòu)買(mǎi)行為或者是針對(duì)商品的搜索行為或者是針對(duì)商品的瀏覽行為等。

作為本申請(qǐng)方案的典型應(yīng)用場(chǎng)景，在聚劃算業(yè)務(wù)中，可以對(duì)各個(gè)網(wǎng)絡(luò)用戶(hù)在該業(yè)務(wù)中的每一次的搜索行為進(jìn)行記錄，所記錄的內(nèi)容可以包括但不限于搜索所采用的關(guān)鍵字、搜索占用的時(shí)長(zhǎng)和頻率，以及當(dāng)獲得搜索結(jié)果時(shí)所點(diǎn)擊的搜索結(jié)果中的商品標(biāo)識(shí)。其中，通過(guò)記錄搜索所采用的關(guān)鍵字可以獲知網(wǎng)絡(luò)用戶(hù)所感興趣的商品類(lèi)別，具體的商品類(lèi)別可以為服裝、家居、母嬰和汽車(chē)等，另外還可以獲知商品名稱(chēng)和商品細(xì)節(jié)特征。另外，通過(guò)記錄網(wǎng)絡(luò)用戶(hù)所點(diǎn)擊的搜索結(jié)果中的商品標(biāo)識(shí)，還可以進(jìn)一步獲知網(wǎng)絡(luò)用戶(hù)所感興趣的價(jià)格范圍、品牌等更加精準(zhǔn)的商品信息。同時(shí)，通過(guò)記錄搜索占用的時(shí)長(zhǎng)和頻率，能夠獲知網(wǎng)絡(luò)用戶(hù)對(duì)商品的感興趣的相對(duì)程度。

基于以上所記錄的內(nèi)容，能夠抽象出網(wǎng)絡(luò)用戶(hù)的特征，當(dāng)在線(xiàn)算法程序?yàn)椴键c(diǎn)于聚劃算業(yè)務(wù)的用于推薦商品的程序時(shí)，可以將這些所記錄的內(nèi)容作為輸入數(shù)據(jù)，從而能夠針對(duì)每一網(wǎng)絡(luò)用戶(hù)的特征進(jìn)行商品推薦，提高推薦的效率。同時(shí)，由于以上輸入數(shù)據(jù)是對(duì)真實(shí)存在網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)進(jìn)行記錄獲得的，避免了測(cè)試之前通過(guò)編寫(xiě)輸入數(shù)據(jù)構(gòu)建數(shù)據(jù)池的過(guò)程，不僅減少了工作量，而且避免了由于編寫(xiě)過(guò)程中出現(xiàn)錯(cuò)誤而導(dǎo)致的故障。

步驟102、利用在線(xiàn)算法程序?qū)斎霐?shù)據(jù)進(jìn)行處理，獲得數(shù)據(jù)結(jié)果。

具體的，根據(jù)輸入數(shù)據(jù)生成測(cè)試請(qǐng)求，向運(yùn)行在線(xiàn)算法程序的服務(wù)器集群分發(fā)測(cè)試請(qǐng)求，進(jìn)而從服務(wù)器集群獲取日志文件形式的數(shù)據(jù)結(jié)果。該數(shù)據(jù)結(jié)果是服務(wù)器集群采用在線(xiàn)算法程序?qū)y(cè)試請(qǐng)求中的輸入數(shù)據(jù)進(jìn)行處理所獲得的。

另外，在所獲得的數(shù)據(jù)結(jié)果中，可能會(huì)出現(xiàn)一些異常數(shù)據(jù)，因而可以在獲得數(shù)據(jù)結(jié)果之后，通過(guò)排查實(shí)現(xiàn)對(duì)這些異常數(shù)據(jù)進(jìn)行剔除。從而對(duì)排查之后的數(shù)據(jù)結(jié)果執(zhí)行后續(xù)的提取目標(biāo)字段的取值的步驟。

步驟103、從數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，獲得樣本數(shù)據(jù)。

具體的，針對(duì)日志文件形式的數(shù)據(jù)結(jié)果，依次完成拆解和組裝的流程，從而獲得樣本數(shù)據(jù)。

其中，拆解流程包括：在根據(jù)離線(xiàn)算法的測(cè)試指標(biāo)確定所需的目標(biāo)字段之后，從日志文件形式的數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，若提取成功，則執(zhí)行組裝的流程；若提取不成功，則報(bào)告提取出錯(cuò)。

其中，組裝的流程包括：將目標(biāo)字段的取值填入預(yù)設(shè)表格中對(duì)應(yīng)該目標(biāo)字段的記錄取值位置，獲得表格形式的樣本數(shù)據(jù)。

進(jìn)一步，在步驟103之前需要預(yù)先設(shè)置目標(biāo)字段，具體的，該目標(biāo)字段可以設(shè)置為測(cè)試指標(biāo)所需的通用字段，還可以設(shè)置為測(cè)試指標(biāo)所需的通用字段以及用戶(hù)自定義字段。

需要說(shuō)明的是，預(yù)設(shè)表格中所包含的目標(biāo)字段是根據(jù)進(jìn)行測(cè)試時(shí)所采用的測(cè)試指標(biāo)來(lái)決定的，通過(guò)對(duì)測(cè)試指標(biāo)進(jìn)行分析，獲得根據(jù)測(cè)試指標(biāo)進(jìn)行測(cè)試時(shí)所涉及的通用字段，例如：用戶(hù)標(biāo)識(shí)以及用戶(hù)所瀏覽的商品標(biāo)識(shí)等。一般來(lái)說(shuō)，常用的測(cè)試指標(biāo)所涉及的通用字段是相對(duì)固定的，所以可以采用同一表格既可。若根據(jù)測(cè)試需求，測(cè)試指標(biāo)為涉及表格中不存在的自定義字段，則用戶(hù)可對(duì)表格進(jìn)行修改，將用戶(hù)自定義字段添加到表格中。

步驟104、根據(jù)測(cè)試指標(biāo)對(duì)樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果。

具體的，在AEC內(nèi)部集成了各個(gè)離線(xiàn)的測(cè)試指標(biāo)以及對(duì)應(yīng)的測(cè)試程序，采用所需的測(cè)試指標(biāo)對(duì)應(yīng)的測(cè)試程序?qū)颖緮?shù)據(jù)進(jìn)行評(píng)估處理，從 而獲得測(cè)試結(jié)果。一般而言，常用的測(cè)試指標(biāo)包括覆蓋率、更新性以及準(zhǔn)確率等。針對(duì)每一個(gè)測(cè)試指標(biāo)，在AEC內(nèi)部具有至少一對(duì)應(yīng)的測(cè)試程序，針對(duì)該測(cè)試程序來(lái)說(shuō)，在本步驟中，將樣本數(shù)據(jù)作為測(cè)試程序的輸入，該測(cè)試程序的輸出則是所獲得的測(cè)試結(jié)果。

例如：針對(duì)更新性這一測(cè)試指標(biāo)，可以用于針對(duì)同一在線(xiàn)算法程序在不同時(shí)刻的數(shù)據(jù)結(jié)果進(jìn)行測(cè)試，從而在步驟102中，可以分別在不同時(shí)刻獲得數(shù)據(jù)結(jié)果，進(jìn)而在步驟103中，針對(duì)不同時(shí)刻所獲得的數(shù)據(jù)結(jié)果進(jìn)行提取目標(biāo)字段的操作，從而獲得至少兩樣本數(shù)據(jù)，進(jìn)而在步驟104中，針對(duì)這至少兩樣本數(shù)據(jù)根據(jù)更新性這一測(cè)試指標(biāo)進(jìn)行測(cè)試。具體的，將至少兩樣本數(shù)據(jù)作為更新性測(cè)試程序的輸入，可基于所獲得的更新性測(cè)試程序的輸出來(lái)衡量在線(xiàn)算法程序在不同時(shí)刻的數(shù)據(jù)結(jié)果的差異程度。

本實(shí)施例中，通過(guò)將網(wǎng)絡(luò)對(duì)象以及該網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)設(shè)置為輸入數(shù)據(jù)之后，利用在線(xiàn)算法程序?qū)斎霐?shù)據(jù)進(jìn)行處理，獲得數(shù)據(jù)結(jié)果，進(jìn)而從該數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，獲得樣本數(shù)據(jù)，然后根據(jù)測(cè)試指標(biāo)對(duì)樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果，由于僅需要預(yù)先根據(jù)現(xiàn)有的測(cè)試指標(biāo)設(shè)置目標(biāo)字段，以及設(shè)置輸入數(shù)據(jù)，既可利用該測(cè)試指標(biāo)對(duì)在線(xiàn)算法程序進(jìn)行測(cè)試，而無(wú)需現(xiàn)有技術(shù)中編寫(xiě)模擬腳本的過(guò)程，從而提高了在線(xiàn)算法程序測(cè)試效率。

實(shí)施例二

本實(shí)施例還提供了相對(duì)于圖1中的測(cè)試方法更加細(xì)致的另一種測(cè)試方法，圖2為本發(fā)明實(shí)施例二提供的測(cè)試方法的流程示意圖，如圖2所示，包括：

步驟201、確定在線(xiàn)算法程序所布點(diǎn)的目標(biāo)業(yè)務(wù)。

具體的，一般情況下，在線(xiàn)算法程序所布點(diǎn)的目標(biāo)業(yè)務(wù)是預(yù)先確定好的，根據(jù)在線(xiàn)算法程序所需布點(diǎn)的位置對(duì)其進(jìn)行測(cè)試將會(huì)更加貼近在線(xiàn)算法程序在實(shí)際使用時(shí)的情況，所獲得的測(cè)試結(jié)果也將更加準(zhǔn)確。

步驟202、判斷是否存在該目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志，若是，則執(zhí)行步驟 203，否則執(zhí)行步驟204。

具體的，判斷是否存在該目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志，若該目標(biāo)業(yè)務(wù)為原有業(yè)務(wù)，即目前線(xiàn)上正在運(yùn)行的業(yè)務(wù)，則可能會(huì)存在該目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志，若該目標(biāo)業(yè)務(wù)為一個(gè)新的業(yè)務(wù)，即目前線(xiàn)上沒(méi)有運(yùn)行的業(yè)務(wù)，則可能不會(huì)存在該目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志。可以預(yù)先收集各個(gè)業(yè)務(wù)的業(yè)務(wù)日志，對(duì)各個(gè)業(yè)務(wù)日志進(jìn)行預(yù)處理，獲得網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)進(jìn)行保存，通過(guò)業(yè)務(wù)關(guān)鍵字來(lái)抽取獲得網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)，若可以抽取到，則說(shuō)明存在該目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志，反之則不存在。

例如：手機(jī)淘寶上運(yùn)行的聚劃算則是一個(gè)正在線(xiàn)上穩(wěn)定運(yùn)行的業(yè)務(wù)，該業(yè)務(wù)存在業(yè)務(wù)日志，在業(yè)務(wù)日志內(nèi)所記載的包括但不限于用戶(hù)的標(biāo)識(shí)，購(gòu)買(mǎi)行為的發(fā)生時(shí)間以及購(gòu)買(mǎi)商品的標(biāo)識(shí)等信息。

步驟203、若存在在線(xiàn)算法程序所布點(diǎn)的目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志，則從目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志中提取獲得網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)。

通過(guò)從業(yè)務(wù)日志中獲取真實(shí)的各網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)，并將其作為輸入數(shù)據(jù)用于測(cè)試過(guò)程，不僅使得測(cè)試結(jié)果更加準(zhǔn)確，而且省去了編寫(xiě)輸入數(shù)據(jù)的過(guò)程，進(jìn)一步提高了測(cè)試效率。

步驟204、若不存在在線(xiàn)算法程序所布點(diǎn)的目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志，則從已有業(yè)務(wù)的業(yè)務(wù)日志中提取獲得網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)。

具體的，若不存在在線(xiàn)算法程序所布點(diǎn)的目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志，則可以從已有的全部或部分業(yè)務(wù)的業(yè)務(wù)日志中提取網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)。具體業(yè)務(wù)的選擇，可以以能夠貼合目標(biāo)業(yè)務(wù)為依據(jù)，以獲得更準(zhǔn)確的測(cè)試結(jié)果。

步驟205、將網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)設(shè)置為輸入數(shù)據(jù)，根據(jù)該輸入數(shù)據(jù)生成測(cè)試請(qǐng)求。

具體的，可以將輸入數(shù)據(jù)組裝到測(cè)試請(qǐng)求中之后，對(duì)測(cè)試請(qǐng)求進(jìn)行加密處理，從而獲得經(jīng)過(guò)加密的測(cè)試請(qǐng)求。

步驟206、向運(yùn)行在線(xiàn)算法程序的服務(wù)器集群分發(fā)測(cè)試請(qǐng)求，并從服務(wù)器集群獲取采用在線(xiàn)算法程序?qū)y(cè)試請(qǐng)求中的輸入數(shù)據(jù)進(jìn)行處理所獲得的數(shù)據(jù)結(jié)果。

具體的，由于對(duì)于數(shù)據(jù)結(jié)果的收集，以及針對(duì)數(shù)據(jù)結(jié)果的數(shù)據(jù)處理需要涉及大量的計(jì)算，因而對(duì)數(shù)據(jù)處理性能有較高要求，出于這種性能上的考慮，可以將以下步驟采用映射歸約(MapReduce)軟件框架實(shí)現(xiàn)，生成一個(gè)模型，該模型用于執(zhí)行：業(yè)務(wù)日志中提取獲得網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)；生成和分發(fā)測(cè)試請(qǐng)求；獲取數(shù)據(jù)結(jié)果以及提取數(shù)據(jù)結(jié)果中目標(biāo)字段的取值。

步驟207、從數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值。

具體的，目標(biāo)字段可以預(yù)先設(shè)置為測(cè)試指標(biāo)所需的通用字段和用戶(hù)自定義字段，根據(jù)目標(biāo)字段對(duì)日志文件形式的數(shù)據(jù)結(jié)果進(jìn)行解析，從數(shù)據(jù)結(jié)果中提取出目標(biāo)字段的取值。

需要說(shuō)明的是，目標(biāo)字段是用戶(hù)在測(cè)試之前，預(yù)先標(biāo)注的。用戶(hù)可以將在線(xiàn)算法程序的請(qǐng)求方式、目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志、以及目標(biāo)字段保存在配置文件中，生成一個(gè)可以重復(fù)執(zhí)行的作業(yè)(job)。

步驟208、將目標(biāo)字段的取值填入表格中對(duì)應(yīng)目標(biāo)字段的記錄取值位置，獲得表格形式的樣本數(shù)據(jù)。

具體的，由于測(cè)試指標(biāo)是基于離線(xiàn)算法程序的測(cè)試指標(biāo)，因而需要將數(shù)據(jù)結(jié)果轉(zhuǎn)換為適用于該測(cè)試指標(biāo)的結(jié)構(gòu)化表格形式的樣本數(shù)據(jù)。具體的，該結(jié)構(gòu)化表格可以為適于輸入hadoop、MapReduce、Dremel、Apache Spark等分布式計(jì)算平臺(tái)的數(shù)據(jù)表。在分布式計(jì)算平臺(tái)上通過(guò)輸入或者創(chuàng)建方式獲得該結(jié)構(gòu)化表格，并在該結(jié)構(gòu)化表格中，將步驟207中所提取到的對(duì)應(yīng)目標(biāo)字段的取值作為結(jié)構(gòu)化表格的列值進(jìn)行寫(xiě)入，從而獲得樣本數(shù)據(jù)。

步驟209、根據(jù)測(cè)試指標(biāo)對(duì)樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果。

為了清楚說(shuō)明本實(shí)施例，本實(shí)施例還提供了兩種應(yīng)用場(chǎng)景。

其中，作為一種可能的應(yīng)用場(chǎng)景，目標(biāo)業(yè)務(wù)為手機(jī)淘寶上穩(wěn)定運(yùn)行的業(yè)務(wù)A，需要新在線(xiàn)算法程序是在業(yè)務(wù)A中已經(jīng)運(yùn)行的原在線(xiàn)算法程 序的升級(jí)。為了保證新在線(xiàn)算法程序版本迭代能夠提升業(yè)務(wù)A的場(chǎng)景效果，需要在新在線(xiàn)算法程序上線(xiàn)使用之前進(jìn)行測(cè)試，評(píng)估該在線(xiàn)算法程序的效果。采用本實(shí)施例中的方法，用戶(hù)僅需要在AEC平臺(tái)進(jìn)行簡(jiǎn)單的配置，包括：在線(xiàn)算法程序的請(qǐng)求方式、業(yè)務(wù)A的業(yè)務(wù)日志以及目標(biāo)字段和測(cè)試指標(biāo)。將這些配置保存在一個(gè)job中，執(zhí)行這個(gè)job時(shí)，模型可以按照job生成樣本數(shù)據(jù)。進(jìn)而由AEC平臺(tái)中所沉淀的測(cè)試指標(biāo)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果。若測(cè)試通過(guò)，則在業(yè)務(wù)A中利用新在線(xiàn)算法程序替換原在線(xiàn)算法程序；否則，需要繼續(xù)對(duì)新在線(xiàn)算法程序進(jìn)行修改。

作為另一種可能的應(yīng)用場(chǎng)景，目標(biāo)業(yè)務(wù)為現(xiàn)在不存在的業(yè)務(wù)B，需要在這一新業(yè)務(wù)B中運(yùn)行一個(gè)新在線(xiàn)算法程序。采用本實(shí)施例中的方法，用戶(hù)需要預(yù)先選取與業(yè)務(wù)B近似的已有業(yè)務(wù)或者直接選取全部已有業(yè)務(wù)，然后用戶(hù)同樣僅需要在AEC平臺(tái)進(jìn)行簡(jiǎn)單的配置，包括：在線(xiàn)算法程序的請(qǐng)求方式、所選取業(yè)務(wù)的業(yè)務(wù)日志以及目標(biāo)字段和測(cè)試指標(biāo)。將這些配置保存在一個(gè)job中，執(zhí)行這個(gè)job時(shí)，模型可以按照job生成樣本數(shù)據(jù)。進(jìn)而由AEC平臺(tái)中所沉淀的測(cè)試指標(biāo)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果。同樣的，若測(cè)試通過(guò)，則在新業(yè)務(wù)B中運(yùn)行這一新在線(xiàn)算法程序；否則，需要繼續(xù)對(duì)新在線(xiàn)算法程序進(jìn)行修改。

本實(shí)施例中，通過(guò)將網(wǎng)絡(luò)對(duì)象以及該網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)設(shè)置為輸入數(shù)據(jù)之后，利用在線(xiàn)算法程序?qū)斎霐?shù)據(jù)進(jìn)行處理，獲得數(shù)據(jù)結(jié)果，進(jìn)而從該數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，獲得樣本數(shù)據(jù)，然后根據(jù)測(cè)試指標(biāo)對(duì)樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果，由于僅需要預(yù)先根據(jù)現(xiàn)有的測(cè)試指標(biāo)設(shè)置目標(biāo)字段，以及設(shè)置輸入數(shù)據(jù)，既可利用該測(cè)試指標(biāo)對(duì)在線(xiàn)算法程序進(jìn)行測(cè)試，而無(wú)需現(xiàn)有技術(shù)中編寫(xiě)模擬腳本的過(guò)程，從而提高了在線(xiàn)算法程序測(cè)試效率。另外，通過(guò)從業(yè)務(wù)日志中獲取真實(shí)的各網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)，并將其作為輸入數(shù)據(jù)用于測(cè)試過(guò)程，不僅使得測(cè)試結(jié)果更加準(zhǔn)確，而且省去了編寫(xiě)輸入數(shù)據(jù)的過(guò)程，進(jìn)一步提高了測(cè)試效率。

實(shí)施例三

圖3為本發(fā)明實(shí)施例三提供的測(cè)試裝置的結(jié)構(gòu)示意圖，如圖3所示，包括：設(shè)置模塊31、處理模塊32、提取模塊33和測(cè)試模塊34。

設(shè)置模塊31，用于將網(wǎng)絡(luò)對(duì)象以及所述網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)設(shè)置為輸入數(shù)據(jù)。

具體的，可以通過(guò)預(yù)先記錄在業(yè)務(wù)中所產(chǎn)生的網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為來(lái)獲取到所需的網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)。另外，由于業(yè)務(wù)日志中便記載有各網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)，設(shè)置模塊31可以通過(guò)從業(yè)務(wù)日志中抽取獲得網(wǎng)絡(luò)對(duì)象以及網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)。具體在業(yè)務(wù)的選擇上，可以?xún)?yōu)先考慮被測(cè)的在線(xiàn)算法程序所布點(diǎn)的業(yè)務(wù)，也就是在線(xiàn)算法程序所應(yīng)用到的業(yè)務(wù)。

進(jìn)一步，設(shè)置模塊31，還用于根據(jù)測(cè)試指標(biāo)所需的通用字段和/或用戶(hù)自定義字段設(shè)置所述目標(biāo)字段。

處理模塊32，用于利用在線(xiàn)算法程序?qū)λ鲚斎霐?shù)據(jù)進(jìn)行處理，獲得數(shù)據(jù)結(jié)果。

具體的，處理模塊32根據(jù)輸入數(shù)據(jù)生成測(cè)試請(qǐng)求，向運(yùn)行在線(xiàn)算法程序的服務(wù)器集群分發(fā)測(cè)試請(qǐng)求，進(jìn)而從服務(wù)器集群獲取數(shù)據(jù)結(jié)果。該數(shù)據(jù)結(jié)果是服務(wù)器集群采用在線(xiàn)算法程序?qū)y(cè)試請(qǐng)求中的輸入數(shù)據(jù)進(jìn)行處理所獲得的。

提取模塊33，用于從所述數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，獲得樣本數(shù)據(jù)。

具體的，提取模塊33根據(jù)預(yù)設(shè)的表格中所包含的目標(biāo)字段，從數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，將目標(biāo)字段的取值填入表格中對(duì)應(yīng)目標(biāo)字段的記錄取值位置，獲得表格形式的樣本數(shù)據(jù)。

測(cè)試模塊34，用于根據(jù)測(cè)試指標(biāo)對(duì)所述樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果。

具體的，測(cè)試模塊34采用所需的測(cè)試指標(biāo)對(duì)應(yīng)的測(cè)試程序?qū)颖緮?shù)據(jù)進(jìn)行評(píng)估處理。

本實(shí)施例中，通過(guò)將網(wǎng)絡(luò)對(duì)象以及該網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)設(shè)置為輸入數(shù)據(jù)之后，利用在線(xiàn)算法程序?qū)斎霐?shù)據(jù)進(jìn)行處理，獲得數(shù)據(jù)結(jié) 果，進(jìn)而從該數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，獲得樣本數(shù)據(jù)，然后根據(jù)測(cè)試指標(biāo)對(duì)樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果，由于僅需要預(yù)先根據(jù)現(xiàn)有的測(cè)試指標(biāo)設(shè)置目標(biāo)字段，以及設(shè)置輸入數(shù)據(jù)，既可利用該測(cè)試指標(biāo)對(duì)在線(xiàn)算法程序進(jìn)行測(cè)試，而無(wú)需現(xiàn)有技術(shù)中編寫(xiě)模擬腳本的過(guò)程，從而提高了在線(xiàn)算法程序測(cè)試效率。

實(shí)施例四

圖4為本發(fā)明實(shí)施例四提供的測(cè)試裝置的結(jié)構(gòu)示意圖，在上一實(shí)施例所提供的測(cè)試裝置的基礎(chǔ)上，本實(shí)施例的測(cè)試裝置進(jìn)一步包括：第一獲得模塊35和第二獲得模塊36。

第一獲得模塊35，用于若存在所述在線(xiàn)算法程序所布點(diǎn)的目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志，則從所述目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志中提取獲得網(wǎng)絡(luò)對(duì)象以及所述網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)。

第二獲得模塊36，用于若不存在所述在線(xiàn)算法程序所布點(diǎn)的目標(biāo)業(yè)務(wù)的業(yè)務(wù)日志，則從已有業(yè)務(wù)的業(yè)務(wù)日志中提取獲得網(wǎng)絡(luò)對(duì)象以及所述網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)。

進(jìn)一步，處理模塊32，包括：生成單元321、分發(fā)單元322和獲取單元323。

生成單元321，用于根據(jù)所述輸入數(shù)據(jù)生成測(cè)試請(qǐng)求。

分發(fā)單元322，用于向運(yùn)行所述在線(xiàn)算法程序的服務(wù)器集群分發(fā)所述測(cè)試請(qǐng)求。

獲取單元323，用于從所述服務(wù)器集群獲取采用所述在線(xiàn)算法程序?qū)λ鰷y(cè)試請(qǐng)求中的輸入數(shù)據(jù)進(jìn)行處理所獲得的數(shù)據(jù)結(jié)果。

更進(jìn)一步，提取模塊33，包括：提取單元331和傳值單元332。

提取單元331，用于從日志文件形式的所述數(shù)據(jù)結(jié)果中提取所述目標(biāo)字段的取值。

傳值單元332，用于將所述目標(biāo)字段的取值填入預(yù)設(shè)表格中對(duì)應(yīng)所述目標(biāo)字段的記錄取值位置，獲得表格形式的樣本數(shù)據(jù)。

需要說(shuō)明的是，本實(shí)施例所提供的裝置的各功能模塊用于執(zhí)行圖2 所提供的方法，各功能模塊的具體實(shí)現(xiàn)參見(jiàn)方法實(shí)施例中的相關(guān)描述，本實(shí)施例中對(duì)此不再贅述。

本實(shí)施例中，通過(guò)將網(wǎng)絡(luò)對(duì)象以及該網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)設(shè)置為輸入數(shù)據(jù)之后，利用在線(xiàn)算法程序?qū)斎霐?shù)據(jù)進(jìn)行處理，獲得數(shù)據(jù)結(jié)果，進(jìn)而從該數(shù)據(jù)結(jié)果中提取目標(biāo)字段的取值，獲得樣本數(shù)據(jù)，然后根據(jù)測(cè)試指標(biāo)對(duì)樣本數(shù)據(jù)進(jìn)行評(píng)估，獲得測(cè)試結(jié)果，由于僅需要預(yù)先根據(jù)現(xiàn)有的測(cè)試指標(biāo)設(shè)置目標(biāo)字段，以及設(shè)置輸入數(shù)據(jù)，既可利用該測(cè)試指標(biāo)對(duì)在線(xiàn)算法程序進(jìn)行測(cè)試，而無(wú)需現(xiàn)有技術(shù)中編寫(xiě)模擬腳本的過(guò)程，從而提高了在線(xiàn)算法程序測(cè)試效率。另外，通過(guò)從業(yè)務(wù)日志中獲取真實(shí)的各網(wǎng)絡(luò)對(duì)象的網(wǎng)絡(luò)行為數(shù)據(jù)，并將其作為輸入數(shù)據(jù)用于測(cè)試過(guò)程，不僅使得測(cè)試結(jié)果更加準(zhǔn)確，而且省去了編寫(xiě)輸入數(shù)據(jù)的過(guò)程，進(jìn)一步提高了測(cè)試效率。

本領(lǐng)域普通技術(shù)人員可以理解：實(shí)現(xiàn)上述各方法實(shí)施例的全部或部分步驟可以通過(guò)程序指令相關(guān)的硬件來(lái)完成。前述的程序可以存儲(chǔ)于一計(jì)算機(jī)可讀取存儲(chǔ)介質(zhì)中。該程序在執(zhí)行時(shí)，執(zhí)行包括上述各方法實(shí)施例的步驟；而前述的存儲(chǔ)介質(zhì)包括：ROM、RAM、磁碟或者光盤(pán)等各種可以存儲(chǔ)程序代碼的介質(zhì)。

最后應(yīng)說(shuō)明的是：以上各實(shí)施例僅用以說(shuō)明本發(fā)明的技術(shù)方案，而非對(duì)其限制；盡管參照前述各實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說(shuō)明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分或者全部技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的范圍。