本發(fā)明涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體而言，涉及一種用于搜索引擎測試的索引生成方法、裝置、搜索引擎測試系統(tǒng)及可讀存儲介質(zhì)。

背景技術(shù)：

隨著電商平臺系統(tǒng)中商品數(shù)量的日益增長，對搜索引擎的要求越來越高，需要開發(fā)新的搜索引擎或不斷完善現(xiàn)有搜索引擎的功能，以適應(yīng)平臺中商品數(shù)量的不斷增長。在新的搜索引擎或搜索引擎的新功能上線之前，需要對其進(jìn)行測試，如冒煙測試、回歸測試及系統(tǒng)測試等。

在現(xiàn)有的搜索引擎測試過程中，通常采用全量索引。全量索引包含了電商平臺中所有商品數(shù)據(jù)，在測試時(shí)，將其全部加載到測試服務(wù)器的內(nèi)存中。但該做法有如下缺陷：

第一，測試服務(wù)器啟動加載索引的時(shí)間過長，無法保證冒煙測試和回歸測試的速度；

第二，由于服務(wù)器啟動時(shí)間過長，無法進(jìn)行需要頻繁重啟搜索服務(wù)器的系統(tǒng)測試；

第三，由于全量索引過大，對測試服務(wù)器的內(nèi)存配置要求高。

在所述背景技術(shù)部分公開的上述信息僅用于加強(qiáng)對本發(fā)明的背景的理解，因此它可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明提供一種用于搜索引擎測試的索引生成方法、裝置、搜索引擎測試系統(tǒng)及可讀存儲介質(zhì)，能夠在大幅降低索引大小的情況下，保證搜索引擎的測試指令，并為系統(tǒng)測試提供了條件。

本發(fā)明的其他特性和優(yōu)點(diǎn)將通過下面的詳細(xì)描述變得顯然，或部分地通過本發(fā)明的實(shí)踐而習(xí)得。

根據(jù)本發(fā)明的一方面，提供一種用于搜索引擎測試的索引生成方法，包括：獲取統(tǒng)一資源定位符列表；根據(jù)統(tǒng)一資源定位符列表，獲得數(shù)據(jù)的標(biāo)識碼列表；以及根據(jù)數(shù)據(jù)的標(biāo)識碼列表，生成定制化索引。

根據(jù)本發(fā)明的一些實(shí)施例，獲取統(tǒng)一資源定位符列表包括：提取搜索頻率最高的若干搜索詞；以及從若干搜索詞中獲取統(tǒng)一資源定位符列表。

根據(jù)本發(fā)明的一些實(shí)施例，獲取統(tǒng)一資源定位符列表包括：根據(jù)搜索引擎測試需求，獲取統(tǒng)一資源定位符列表。

根據(jù)本發(fā)明的一些實(shí)施例，數(shù)據(jù)包括商品數(shù)據(jù)，根據(jù)數(shù)據(jù)的標(biāo)識碼列表，生成定制化索引包括：獲取數(shù)據(jù)的標(biāo)識碼列表中各商品數(shù)據(jù)的信息；根據(jù)各商品數(shù)據(jù)的信息中的分類，獲取各商品數(shù)據(jù)的標(biāo)簽字段；以及根據(jù)各商品數(shù)據(jù)的信息及標(biāo)簽字段，生成定制化索引。

根據(jù)本發(fā)明的一些實(shí)施例，根據(jù)各商品數(shù)據(jù)的信息及標(biāo)簽字段，生成定制化索引包括：根據(jù)數(shù)據(jù)的標(biāo)識碼列表中各商品數(shù)據(jù)的標(biāo)識碼，將數(shù)據(jù)的標(biāo)識碼列表中所有商品數(shù)據(jù)劃分為多個(gè)哈希分片，每個(gè)哈希分片包含數(shù)據(jù)的標(biāo)識碼列表中部分商品數(shù)據(jù)的標(biāo)識碼；將多個(gè)哈希分片分配到多個(gè)服務(wù)器中；在多個(gè)服務(wù)器中，分別根據(jù)所分配的哈希分片中的商品數(shù)據(jù)的信息及標(biāo)簽字段，生成多個(gè)部分索引；以及將多個(gè)部分索引中的商品數(shù)據(jù)進(jìn)行排序，以生成定制化索引。

根據(jù)本發(fā)明的一些實(shí)施例，上述方法還包括：將定制化索引發(fā)送至搜索引擎的測試設(shè)備，以根據(jù)定制化索引對搜索引擎進(jìn)行測試。

根據(jù)本發(fā)明的另一方面，提供一種用于搜索引擎測試的索引生成裝置，包括：定位符列表獲取模塊，用于獲取統(tǒng)一資源定位符列表；標(biāo)識碼列表獲取模塊，用于根據(jù)統(tǒng)一資源定位符列表，獲得數(shù)據(jù)的標(biāo)識碼列表；以及定制化索引生成模塊，用于根據(jù)數(shù)據(jù)的標(biāo)識碼列表，生成定制化索引。

根據(jù)本發(fā)明的一些實(shí)施例，定位符列表獲取模塊包括：搜索詞提取子模塊，用于提取搜索頻率最高的若干搜索詞；以及第一定位符獲取子模塊，用于從若干搜索詞中獲取統(tǒng)一資源定位符列表。

根據(jù)本發(fā)明的一些實(shí)施例，定位符列表獲取模塊包括：第二定位符獲取子模塊，用于根據(jù)搜索引擎測試需求，獲取統(tǒng)一資源定位符列表。

根據(jù)本發(fā)明的一些實(shí)施例，定制化索引生成模塊包括：信息獲取子模塊，用于獲取數(shù)據(jù)的標(biāo)識碼列表中各商品數(shù)據(jù)的信息；字段獲取子模塊，用于根據(jù)各商品數(shù)據(jù)的信息中的分類，獲取各商品數(shù)據(jù)的標(biāo)簽字段；以及索引生成子模塊，用于根據(jù)各商品數(shù)據(jù)的信息及標(biāo)簽字段，生成定制化索引。

根據(jù)本發(fā)明的一些實(shí)施例，索引生成子模塊包括：哈希分片劃分單元，用于根據(jù)數(shù)據(jù)的標(biāo)識碼列表中各商品數(shù)據(jù)的標(biāo)識碼，將數(shù)據(jù)的標(biāo)識碼列表中所有商品數(shù)據(jù)劃分為多個(gè)哈希分片，每個(gè)哈希分片包含數(shù)據(jù)的標(biāo)識碼列表中部分商品數(shù)據(jù)的標(biāo)識碼；哈希分片分配單元，用于將多個(gè)哈希分片分配到多個(gè)服務(wù)器中；部分索引生成單元，用于在多個(gè)服務(wù)器中，分別根據(jù)所分配的哈希分片中的商品數(shù)據(jù)的信息及標(biāo)簽字段，生成多個(gè)部分索引；以及最終索引生成單元，用于將多個(gè)部分索引中的商品數(shù)據(jù)進(jìn)行排序，以生成定制化索引。

根據(jù)本發(fā)明的一些實(shí)施例，上述裝置還包括：定制化索引發(fā)送模塊，用于將定制化索引發(fā)送至搜索引擎的測試設(shè)備，以根據(jù)定制化索引對搜索引擎進(jìn)行測試。

根據(jù)本發(fā)明的又一方面，提供一種搜索引擎測試系統(tǒng)，包括：大數(shù)據(jù)集服務(wù)器，用于根據(jù)如上述任一種方法生成定制化索引；以及搜索引擎測試服務(wù)器，用于根據(jù)定制化索引對搜索引擎進(jìn)行測試。

根據(jù)本發(fā)明的一些實(shí)施例，大數(shù)據(jù)集服務(wù)器為hadoop集群服務(wù)器。

根據(jù)本發(fā)明的再一方面，提供一種計(jì)算機(jī)設(shè)備，包括：存儲器、處理器及存儲在存儲器中并可在處理器中運(yùn)行的可執(zhí)行指令，處理器執(zhí)行可執(zhí)行指令時(shí)實(shí)現(xiàn)如上述任一種方法。

根據(jù)本發(fā)明的再一方面，提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)可執(zhí)行指令，可執(zhí)行指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種方法。

根據(jù)本發(fā)明實(shí)施方式的用于搜索引擎測試的索引生成方法，通過獲取所需的統(tǒng)一資源定位符列表，獲得相應(yīng)的數(shù)據(jù)的標(biāo)識碼列表，從而生成定制化索引。因?yàn)闊o需根據(jù)所有數(shù)據(jù)制作全量索引，大大降低了索引的大小，減少了測試服務(wù)器加載索引的時(shí)間，因此可以快速完成冒煙測試和回歸測試，完成代碼迭代；并未系統(tǒng)測試的進(jìn)行提供了條件。

應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性的，并不能限制本發(fā)明。

附圖說明

通過參照附圖詳細(xì)描述其示例實(shí)施例，本發(fā)明的上述和其它目標(biāo)、特征及優(yōu)點(diǎn)將變得更加顯而易見。

圖1是根一示例性實(shí)施方式示出的一種搜索引擎測試系統(tǒng)的結(jié)構(gòu)圖。

圖2是根據(jù)一示例性實(shí)施方式示出的一種用于搜索引擎測試的索引生成方法的流程圖。

圖3是根據(jù)一示例性實(shí)施例示出的另一種用于搜索引擎測試的索引生成方法的流程圖。

圖4是根據(jù)一示例性實(shí)施例示出的又一種用于搜索引擎測試的索引生成方法的流程圖。

圖5是根據(jù)一示例性實(shí)施例示出的再一種用于搜索引擎測試的索引生成方法的流程圖。

圖6是根據(jù)一示例性實(shí)施例示出的再一種用于搜索引擎測試的索引生成方法的流程圖。

圖7是根據(jù)一示例性實(shí)施方式示出的一種用于搜索引擎測試的索引生成裝置的框圖。

圖8是根據(jù)一示例性實(shí)施例示出的另一種用于搜索引擎測試的索引生成裝置的框圖。

圖9是根據(jù)一示例性實(shí)施例示出的又一種用于搜索引擎測試的索引生成裝置的框圖。

圖10是根據(jù)一示例性實(shí)施例示出的再一種用于搜索引擎測試的索引生成裝置的框圖。

圖11是根據(jù)一示例示出的持續(xù)集成平臺的示意圖。

具體實(shí)施方式

現(xiàn)在將參考附圖更全面地描述示例實(shí)施方式。然而，示例實(shí)施方式能夠以多種形式實(shí)施，且不應(yīng)被理解為限于在此闡述的范例；相反，提供這些實(shí)施方式使得本發(fā)明將更加全面和完整，并將示例實(shí)施方式的構(gòu)思全面地傳達(dá)給本領(lǐng)域的技術(shù)人員。附圖僅為本發(fā)明的示意性圖解，并非一定是按比例繪制。圖中相同的附圖標(biāo)記表示相同或類似的部分，因而將省略對它們的重復(fù)描述。

此外，所描述的特征、結(jié)構(gòu)或特性可以以任何合適的方式結(jié)合在一個(gè)或更多實(shí)施方式中。在下面的描述中，提供許多具體細(xì)節(jié)從而給出對本發(fā)明的實(shí)施方式的充分理解。然而，本領(lǐng)域技術(shù)人員將意識到，可以實(shí)踐本發(fā)明的技術(shù)方案而省略所述特定細(xì)節(jié)中的一個(gè)或更多，或者可以采用其它的方法、組元、裝置、步驟等。在其它情況下，不詳細(xì)示出或描述公知結(jié)構(gòu)、方法、裝置、實(shí)現(xiàn)或者操作以避免喧賓奪主而使得本發(fā)明的各方面變得模糊。

圖1是根一示例性實(shí)施方式示出的一種搜索引擎測試系統(tǒng)的結(jié)構(gòu)圖。如圖1所示，該系統(tǒng)包括：大數(shù)據(jù)集(largedataset)服務(wù)器1及搜索引擎測試服務(wù)器2。

其中，大數(shù)據(jù)集服務(wù)器1用于生成搜索引擎服務(wù)器2測試時(shí)所需要的定制化索引。大數(shù)據(jù)集服務(wù)器1可以為hadoop集群服務(wù)器，或者也可以為單臺服務(wù)器，本發(fā)明不以此為限。

hadoop是由apache基金會所開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，其可以使用戶在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序，充分利用集群的威力進(jìn)行高速運(yùn)算和存儲。hadoop的框架最核心的設(shè)計(jì)包括：hdfs(hadoopdistributedfilesystem，分布式文件系統(tǒng))和mapreduce。hdfs為海量的數(shù)據(jù)提供了存儲，mapreduce則為海量的數(shù)據(jù)提供了計(jì)算。

搜索引擎測試服務(wù)器2可以為單臺服務(wù)器，也可以為多臺服務(wù)器，從而分別完成不同的測試，如冒煙測試、回歸測試及系統(tǒng)測試等。

圖2是根據(jù)一示例性實(shí)施方式示出的一種用于搜索引擎測試的索引生成方法的流程圖。如圖2所示，方法10包括：

在步驟s102中，獲取統(tǒng)一資源定位符列表。

統(tǒng)一資源定位符(uniformresourcelocator，url)是對可以從互聯(lián)網(wǎng)上得到的資源和訪問方法的一種簡潔的表示，是互聯(lián)網(wǎng)上標(biāo)準(zhǔn)資源的地址。在生成索引之前，首先要獲取所需的統(tǒng)一資源定位符列表。

在步驟s104中，根據(jù)統(tǒng)一資源定位符列表，獲得數(shù)據(jù)的標(biāo)識碼列表。

根據(jù)統(tǒng)一資源定位符列表獲取的數(shù)據(jù)可以包括電商平臺中待被搜索的商品數(shù)據(jù)，也可以包括待被網(wǎng)頁搜索引擎搜索的網(wǎng)頁數(shù)據(jù)，還可以包括待被文件搜索引擎搜索的文件數(shù)據(jù)等，本發(fā)明不以此為限。

獲取數(shù)據(jù)后，將數(shù)據(jù)的標(biāo)識碼(id)組成數(shù)據(jù)的標(biāo)識碼列表。

數(shù)據(jù)的標(biāo)識碼用于唯一表示各條數(shù)據(jù)。例如，如果是商品數(shù)據(jù)，則數(shù)據(jù)的標(biāo)識碼用于唯一表示電商平臺中待售的各商品。

搜索引擎的測試主要是通過搜索特定的詞，檢測返回的結(jié)果是否符合預(yù)期。使用通過url列表得到的相對應(yīng)的特定數(shù)據(jù)組成的索引，可以保證在對搜索引擎測試時(shí)，通過搜索對應(yīng)的詞，觸發(fā)搜索引擎的各個(gè)功能點(diǎn)。

在步驟s106中，根據(jù)數(shù)據(jù)的標(biāo)識碼列表，生成定制化索引。

根據(jù)數(shù)據(jù)的標(biāo)識碼列表中的各條數(shù)據(jù)，生成定制化索引。

根據(jù)本發(fā)明實(shí)施方式的用于搜索引擎測試的索引生成方法，通過獲取所需的統(tǒng)一資源定位符列表，獲得相應(yīng)的數(shù)據(jù)的標(biāo)識碼列表，從而生成定制化索引。因?yàn)闊o需根據(jù)所有數(shù)據(jù)制作全量索引，大大降低了索引的大小，減少了測試服務(wù)器加載索引的時(shí)間，因此可以快速完成冒煙測試和回歸測試，完成代碼迭代；并未系統(tǒng)測試的進(jìn)行提供了條件。

應(yīng)清楚地理解，本發(fā)明描述了如何形成和使用特定示例，但本發(fā)明的原理不限于這些示例的任何細(xì)節(jié)。相反，基于本發(fā)明公開的內(nèi)容的教導(dǎo)，這些原理能夠應(yīng)用于許多其它實(shí)施方式。

圖3是根據(jù)一示例性實(shí)施例示出的另一種用于搜索引擎測試的索引生成方法的流程圖。圖3中所示的各步驟為圖2中的步驟s102提供了一種具體實(shí)施方法。如圖3所示，步驟s102包括：

在步驟s1022中，提取搜索頻率最高的若干搜索詞。

可以從圖1中的大數(shù)據(jù)集服務(wù)器1中提取近期搜索頻率最高的(top)搜索詞，例如可以提取1.5萬個(gè)top搜索詞，用于獲取url列表。

在步驟s1024中，從提取的若干搜索詞中獲取url列表。

通過獲取近期頻率最高的熱搜詞來定制索引，可以保證對搜索引擎測試覆蓋面的廣度，保證測試質(zhì)量。

圖4是根據(jù)一示例性實(shí)施例示出的又一種用于搜索引擎測試的索引生成方法的流程圖。圖4中所示的各步驟為圖2中的步驟s102提供了又一種具體實(shí)施方法。如圖4所示，步驟s102包括：

在步驟s1022’中，根據(jù)搜索引擎測試需求，獲取url列表。

通過根據(jù)測試需求定制url列表，可以滿足對搜索引擎測試的不同需求，從而可以有效的觸發(fā)對搜索引擎中各功能點(diǎn)的測試。

在一些實(shí)施例中，獲取的url列表可以同時(shí)包括根據(jù)圖3所示的方法及圖4所示的方法所獲得的url，從而同時(shí)滿足測試廣度及專用性的要求。

圖5是根據(jù)一示例性實(shí)施例示出的再一種用于搜索引擎測試的索引生成方法的流程圖。圖5中所示的各步驟為圖2中的步驟s106提供了一種具體實(shí)施方法。在本實(shí)施例中，上述數(shù)據(jù)包括電商平臺中待售的商品數(shù)據(jù)，如圖5所示，步驟s106包括：

在步驟s1062中，獲取數(shù)據(jù)的標(biāo)識碼列表中各商品數(shù)據(jù)的信息。

例如，可以從大數(shù)據(jù)集服務(wù)器1的hive表中獲取數(shù)據(jù)的標(biāo)識碼列表中各商品數(shù)據(jù)的信息，如名稱、分類、價(jià)格、評論數(shù)等。hive表是基于hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供類sql查詢功能。

在步驟s1064中，根據(jù)各商品數(shù)據(jù)的信息中的分類，獲取各商品數(shù)據(jù)的標(biāo)簽字段。

商品數(shù)據(jù)的信息中包括各商品的分類，如服裝類、電子產(chǎn)品類等。每種不同的類別對應(yīng)的不的標(biāo)簽字段信息，如服裝類商品數(shù)據(jù)中可包括的標(biāo)簽如顏色、款式等，電子類產(chǎn)品中可包括的標(biāo)簽如顏色、存儲量大小等。這些標(biāo)簽字段在搜索過程中將決定商品數(shù)據(jù)的位置。

在步驟s1066中，根據(jù)各商品數(shù)據(jù)的信息及標(biāo)簽字段，生成定制化索引。

當(dāng)大數(shù)據(jù)集服務(wù)器1為hadoop集群服務(wù)器時(shí)，上述生成定制化索引的操作例如可以通過大數(shù)據(jù)集服務(wù)器1中的hadoopmapreduce功能實(shí)現(xiàn)。

圖6是根據(jù)一示例性實(shí)施例示出的再一種用于搜索引擎測試的索引生成方法的流程圖。圖6中所示的各步驟為圖5中的步驟s1066提供了一種具體實(shí)施方法。如圖6所示，步驟s1066包括：

在步驟s10662中，根據(jù)數(shù)據(jù)的標(biāo)識碼列表中各商品數(shù)據(jù)的標(biāo)識碼，將數(shù)據(jù)的標(biāo)識碼列表中所有商品數(shù)據(jù)劃分為多個(gè)哈希分片，每個(gè)哈希分片包含數(shù)據(jù)的標(biāo)識碼列表中部分商品數(shù)據(jù)的標(biāo)識碼。

當(dāng)大數(shù)據(jù)集服務(wù)器1為hadoop集群服務(wù)器時(shí)，由于受限于單臺服務(wù)器的硬件限制，索引的大小需要控制在合理的范圍內(nèi)，因此需要對索引進(jìn)行分片處理，即分布式生成索引。

在步驟s10664中，將多個(gè)哈希分片分配到多個(gè)服務(wù)器中。

將劃分好的哈希分片分配到不同的單臺服務(wù)器中，從而在不同服務(wù)器中生成適應(yīng)其硬件資源大小的索引。

在步驟s10666中，在多個(gè)服務(wù)器中，分別根據(jù)所分配的哈希分片中的商品數(shù)據(jù)的信息及標(biāo)簽字段，生成多個(gè)部分索引。

在步驟s10668中，將多個(gè)部分索引中的商品數(shù)據(jù)進(jìn)行排序，以生成定制化索引。

將多個(gè)部分索引中的商品數(shù)據(jù)進(jìn)行正排或倒排序序列化，得到最終的定制化索引，其可以被搜索程序所識別，并對外提供搜索結(jié)果。

上述定制化索引的生成可以完全復(fù)用全量索引的生產(chǎn)程序，這樣當(dāng)生產(chǎn)全量索引的程序代碼發(fā)生變更時(shí)，定制化索引也可以實(shí)時(shí)地相應(yīng)更新。

在一些實(shí)施例中，方法10還可以包括步驟s108，在步驟s108中，將定制化索引發(fā)送至搜索引擎的測試設(shè)備，以根據(jù)定制化索引對搜索引擎進(jìn)行測試。

定制化索引生成后，根據(jù)測試設(shè)備列表，將其自動推送到冒煙測試、回歸測試及系統(tǒng)測試環(huán)境，如圖1所示的搜索引擎測試服務(wù)器2中。在推送過程中，不會影響將要或正在進(jìn)行的測試。推送成功后，將自動刪除舊索引，保證測試設(shè)備的磁盤可用性。

測試服務(wù)器啟動的過程，90％的時(shí)間用于加載索引，主要是花費(fèi)在將索引讀入內(nèi)存中，索引被一條條讀入加載。完整的索引大概在60gb左右，讀入機(jī)器內(nèi)存的過程耗時(shí)在15分鐘以上，隨著商品數(shù)量的增多會不斷增長。但在冒煙測試、回歸測試及異常測試中，往往需要服務(wù)器頻繁重新啟動，每一次重啟都會耗時(shí)30分鐘才可以進(jìn)行測試。這在頻繁迭代的開發(fā)模式中是無法接受的。而定制化索引可以根據(jù)需要測試的功能點(diǎn)選出特定的商品數(shù)據(jù)，觸發(fā)對應(yīng)的功能代碼完成測試。經(jīng)過定制的索引可以降低到3gb左右，這樣可以在2分鐘之內(nèi)完成對服務(wù)器的重啟，從而提高測試效率。因?yàn)樯唐窋?shù)據(jù)可以觸發(fā)所有功能點(diǎn)，這也可以有效的進(jìn)行測試。

當(dāng)使用定制化索引測試出穩(wěn)定的代碼版本后，最后再使用完整的索引進(jìn)行全面的壓力測試，有效的節(jié)省了前期的時(shí)間。例如可以快速檢測出新版代碼無法啟動、功能無效等問題。

在冒煙測試中，將使用top20的搜索詞進(jìn)行基本的程序檢測。在回歸測試中，使用的測試url都已添加至生產(chǎn)定制化索引的url列表中，所以需要測試的功能均可以滿足。在系統(tǒng)測試中，將完成搜索系統(tǒng)的管理節(jié)點(diǎn)測試。其中管理節(jié)點(diǎn)測試主要是針對各個(gè)服務(wù)節(jié)點(diǎn)進(jìn)行的重啟、刪減、添加，包含大量索引服務(wù)器的啟停操作。因?yàn)闇y試服務(wù)器可以在1分鐘左右完成啟動，是系統(tǒng)測試可以根據(jù)需求進(jìn)行展開的前提條件。使用定制化索引將快速完成冒煙測試和回歸測試，完成代碼迭代；并使系統(tǒng)測試在搜索項(xiàng)目中得以開展。

根據(jù)本發(fā)明實(shí)施方式的用于搜索引擎測試的索引生成方法，在保證測試質(zhì)量的前提下，可提高冒煙測試效率50％以上，將服務(wù)器啟動時(shí)間降低到1分20秒；完善了持續(xù)集成過程，使系統(tǒng)測試得以完成；節(jié)省了服務(wù)器資源，冒煙測試和系統(tǒng)測試均替換為32gbdocker服務(wù)器。

本領(lǐng)域技術(shù)人員可以理解實(shí)現(xiàn)上述實(shí)施方式的全部或部分步驟被實(shí)現(xiàn)為由cpu執(zhí)行的計(jì)算機(jī)程序。在該計(jì)算機(jī)程序被cpu執(zhí)行時(shí)，執(zhí)行本發(fā)明提供的上述方法所限定的上述功能。所述的程序可以存儲于一種計(jì)算機(jī)可讀存儲介質(zhì)中，該存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。

圖11是根據(jù)一示例示出的持續(xù)集成平臺的示意圖。如圖11所示，基于圖1所示的系統(tǒng)還可建立一架構(gòu)于大數(shù)據(jù)集服務(wù)器1及搜索引擎服務(wù)器2上的易于使用的持續(xù)集成平臺，用于監(jiān)控集成中存在的問題，提供詳細(xì)的日志文件和提醒功能，此外還能用圖表的形式形象地展示項(xiàng)目構(gòu)建的趨勢和穩(wěn)定性。如圖11所示，該持續(xù)集成平臺在大數(shù)據(jù)集服務(wù)器1中用于根據(jù)從大數(shù)據(jù)集中獲取的數(shù)據(jù)來獲得top搜索詞，生成url列表，獲取商品數(shù)據(jù)的信息，從而觸發(fā)生成定制化索引。并將定制化索引部署到搜索引擎測試服務(wù)器2中，以在搜索引擎測試服務(wù)器中進(jìn)行冒煙測試、回歸測試、系統(tǒng)測試及模擬環(huán)境測試(stagingtest)。

此外，需要注意的是，上述附圖僅是根據(jù)本發(fā)明示例性實(shí)施方式的方法所包括的處理的示意性說明，而不是限制目的。易于理解，上述附圖所示的處理并不表明或限制這些處理的時(shí)間順序。另外，也易于理解，這些處理可以是例如在多個(gè)模塊中同步或異步執(zhí)行的。

下述為本發(fā)明裝置實(shí)施例，可以用于執(zhí)行本發(fā)明方法實(shí)施例。對于本發(fā)明裝置實(shí)施例中未披露的細(xì)節(jié)，請參照本發(fā)明方法實(shí)施例。

圖7是根據(jù)一示例性實(shí)施方式示出的一種用于搜索引擎測試的索引生成裝置的框圖。如圖7所示，裝置20包括：定位符列表獲取模塊202、標(biāo)識碼列表獲取模塊204及定制化索引生成模塊206。

其中，定位符列表獲取模塊202用于獲取統(tǒng)一資源定位符列表。

標(biāo)識碼列表獲取模塊204用于根據(jù)統(tǒng)一資源定位符列表，獲得數(shù)據(jù)的標(biāo)識碼列表。

定制化索引生成模塊206用于根據(jù)數(shù)據(jù)的標(biāo)識碼列表，生成定制化索引。

在一些實(shí)施例中，裝置20還可以包括：定制化索引發(fā)送模塊208，用于將定制化索引發(fā)送至搜索引擎的測試設(shè)備，以根據(jù)定制化索引對搜索引擎進(jìn)行測試。

圖8是根據(jù)一示例性實(shí)施例示出的另一種用于搜索引擎測試的索引生成裝置的框圖。與圖7所示的裝置20不同的之處在于，圖8所示的裝置30的定位符列表獲取模塊302包括：搜索詞提取子模塊3022及第一定位符獲取子模塊3024。

其中，搜索詞提取子模塊3022用于提取搜索頻率最高的若干搜索詞。

第一定位符獲取子模塊3024用于從若干搜索詞中獲取統(tǒng)一資源定位符列表。

圖9是根據(jù)一示例性實(shí)施例示出的又一種用于搜索引擎測試的索引生成裝置的框圖。與圖7所示的裝置20不同的之處在于，圖9所示的裝置40的定位符列表獲取模塊402包括：第二定位符獲取子模塊4022，第二定位符獲取子模塊4022用于根據(jù)搜索引擎測試需求，獲取統(tǒng)一資源定位符列表。

圖10是根據(jù)一示例性實(shí)施例示出的再一種用于搜索引擎測試的索引生成裝置的框圖。與圖7所示的裝置20不同的之處在于，圖10所示的裝置50的定制化索引生成模塊506包括：信息獲取子模塊5062、字段獲取子模塊5064及索引生成子模塊5066。

其中，信息獲取子模塊5062用于獲取數(shù)據(jù)的標(biāo)識碼列表中各商品數(shù)據(jù)的信息。

字段獲取子模塊5064用于根據(jù)各商品數(shù)據(jù)的信息中的分類，獲取各商品數(shù)據(jù)的標(biāo)簽字段。

索引生成子模塊5066用于根據(jù)各商品數(shù)據(jù)的信息及標(biāo)簽字段，生成定制化索引。

在一些實(shí)施例中，索引生成子模塊5066可以包括：哈希分片分配單元、部分索引生成單元及最終索引生成單元。其中，哈希分片分配單元用于將多個(gè)哈希分片分配到多個(gè)服務(wù)器中。部分索引生成單元用于在多個(gè)服務(wù)器中，分別根據(jù)所分配的哈希分片中的商品數(shù)據(jù)的信息及標(biāo)簽字段，生成多個(gè)部分索引。最終索引生成單元用于將多個(gè)部分索引中的商品數(shù)據(jù)進(jìn)行排序，以生成定制化索引。

需要注意的是，上述附圖中所示的框圖是功能實(shí)體，不一定必須與物理或邏輯上獨(dú)立的實(shí)體相對應(yīng)。可以采用軟件形式來實(shí)現(xiàn)這些功能實(shí)體，或在一個(gè)或多個(gè)硬件模塊或集成電路中實(shí)現(xiàn)這些功能實(shí)體，或在不同網(wǎng)絡(luò)和/或處理器裝置和/或微控制器裝置中實(shí)現(xiàn)這些功能實(shí)體。

通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員易于理解，這里描述的示例實(shí)施方式可以通過軟件實(shí)現(xiàn)，也可以通過軟件結(jié)合必要的硬件的方式來實(shí)現(xiàn)。因此，根據(jù)本發(fā)明實(shí)施方式的技術(shù)方案可以以軟件產(chǎn)品的形式體現(xiàn)出來，該軟件產(chǎn)品可以存儲在一個(gè)非易失性存儲介質(zhì)(可以是cd-rom，u盤，移動硬盤等)中或網(wǎng)絡(luò)上，包括若干指令以使得一臺計(jì)算設(shè)備(可以是個(gè)人計(jì)算機(jī)、服務(wù)器、移動終端、或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行根據(jù)本發(fā)明實(shí)施方式的方法。

以上具體地示出和描述了本發(fā)明的示例性實(shí)施方式。應(yīng)可理解的是，本發(fā)明不限于這里描述的詳細(xì)結(jié)構(gòu)、設(shè)置方式或?qū)崿F(xiàn)方法；相反，本發(fā)明意圖涵蓋包含在所附權(quán)利要求的精神和范圍內(nèi)的各種修改和等效設(shè)置。