本申請涉及搜索引擎技術(shù)領(lǐng)域，具體涉及一種搜索質(zhì)量的評測方法、裝置及電子設(shè)備。本申請同時(shí)涉及一種搜索引擎壞例的挖掘方法、裝置及電子設(shè)備。

背景技術(shù)：

在搜索引擎技術(shù)領(lǐng)域中，搜索引擎系統(tǒng)的復(fù)雜性導(dǎo)致無法對每一個(gè)查詢詞都能給出最好的搜索結(jié)果，存在一些用戶需求沒有滿足、體驗(yàn)不好的情況，即：搜索壞例(badcase)。為避免將搜索壞例展示給用戶，搜索引擎系統(tǒng)需要提前發(fā)現(xiàn)并解決可能存在的搜索壞例，以保證搜索結(jié)果的質(zhì)量，從而提高用戶體驗(yàn)。

目前，常用的搜索壞例的挖掘方法包括：人工挖掘法和基于規(guī)則的挖掘法。下面對這兩種方法的原理及優(yōu)缺點(diǎn)進(jìn)行簡要說明。

1)人工挖掘法

該方式是最原始的方法，完全依賴于人工進(jìn)行搜索壞例的挖掘。由于該方法過分依賴于人的經(jīng)驗(yàn)，因此，有經(jīng)驗(yàn)的人對搜索壞例具有較強(qiáng)的識別能力，而經(jīng)驗(yàn)少的人則很難發(fā)現(xiàn)搜索壞例?？梢?，該方法存在以下缺點(diǎn)：耗費(fèi)大量人力、挖掘效率低、壞例發(fā)現(xiàn)量少且隨機(jī)性大，因此，該方法無法解決根本問題。

2)基于規(guī)則的挖掘法

該方法通過預(yù)先設(shè)定的規(guī)則篩選出搜索壞例。然而，篩選規(guī)則的設(shè)定依賴于規(guī)則制定人員的經(jīng)驗(yàn)，并且在運(yùn)營過程中需要相關(guān)人力不斷介入，以更新規(guī)則、增加新規(guī)則，從而提高搜索壞例的識別精度。

此外，2012年百度公司申請了一個(gè)名稱為《一種搜索引擎壞例的挖掘方法和裝置》的中國專利，該專利的公開號為103577464A。該專利提出的搜索引擎壞例的挖掘方法包括如下步驟：1)在待挖掘的session日志中確定同一query下的行為序列，并從所述行為序列中抽取描述搜索質(zhì)量的特征向量；2)通過計(jì)算query的特征向量與各類別的特征向量之間的距離，確定query所屬的類別；3)如果query所屬類別的置信度超過預(yù)設(shè)的高閾值，則確定搜索引擎對該query存在badcase。

通過分析該專利給出的技術(shù)方案，能夠發(fā)現(xiàn)該技術(shù)方案未實(shí)現(xiàn)閉環(huán)，即： 無法根據(jù)新發(fā)現(xiàn)的搜索壞例正向影響挖掘模型，以調(diào)優(yōu)挖掘模型，從而提高挖掘模型的識別精度。

綜上所述，現(xiàn)有技術(shù)存在對搜索結(jié)果的質(zhì)量評測準(zhǔn)確度低的問題。

技術(shù)實(shí)現(xiàn)要素：

本申請?zhí)峁┮环N搜索質(zhì)量的評測方法、裝置及電子設(shè)備，以解決現(xiàn)有技術(shù)存在對搜索結(jié)果的質(zhì)量評測準(zhǔn)確度低的問題。本申請另外提供一種搜索壞例的挖掘方法、裝置及電子設(shè)備。

本申請?zhí)峁┮环N搜索質(zhì)量的評測方法，包括：

獲取待評測搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；

根據(jù)所述待評測搜索結(jié)果的所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述待評測搜索結(jié)果的搜索質(zhì)量。

可選的，還包括：

通過機(jī)器學(xué)習(xí)算法，從歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得所述搜索結(jié)果分類器。

可選的，在所述從歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得所述搜索結(jié)果分類器之前，還包括：

獲取所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集。

可選的，所述獲取所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集，包括：

針對各個(gè)所述歷史搜索結(jié)果，根據(jù)所述歷史搜索結(jié)果對應(yīng)的查詢詞，對搜索日志進(jìn)行檢索，獲取所述歷史搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集；

根據(jù)所述歷史搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集，生成所述歷史搜索結(jié)果的所述質(zhì)量特征；

將生成的所述歷史搜索結(jié)果的所述質(zhì)量特征，以及對所述歷史搜索結(jié)果的質(zhì)量評測結(jié)果的對應(yīng)記錄的集合，作為所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集。

可選的，在所述根據(jù)所述歷史搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集，生成所述歷史搜索結(jié)果的所述質(zhì)量特征之后，還包括：

對未歸一化的質(zhì)量特征進(jìn)行歸一化處理，形成歸一化的質(zhì)量特征。

可選的，所述機(jī)器學(xué)習(xí)算法包括分類算法；所述分類算法包括決策樹算法。

可選的，如果所述待評測搜索結(jié)果的搜索質(zhì)量為壞例，則所述方法還包括：

獲取對所述待評測搜索結(jié)果的搜索質(zhì)量的人工評測結(jié)果；

根據(jù)所述待評測搜索結(jié)果的所述質(zhì)量特征和所述人工評測結(jié)果，更新所述搜索結(jié)果分類器。

可選的，所述更新所述搜索結(jié)果分類器，包括：

將所述待評測搜索結(jié)果的所述質(zhì)量特征與所述人工評測結(jié)果的對應(yīng)記錄增加到所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中；

通過所述機(jī)器學(xué)習(xí)算法，從更新后的歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得更新后的搜索結(jié)果分類器。

可選的，還包括：

生成所述待評測搜索結(jié)果的所述質(zhì)量特征。

可選的，所述生成所述待評測搜索結(jié)果的所述質(zhì)量特征，包括：

根據(jù)所述待評測搜索結(jié)果對應(yīng)的查詢詞，對搜索日志進(jìn)行檢索，獲取所述待評測搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集；

根據(jù)所述待評測搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集，生成所述待評測搜索結(jié)果的所述質(zhì)量特征。

可選的，在所述根據(jù)所述統(tǒng)計(jì)數(shù)據(jù)集，生成所述質(zhì)量特征之后，還包括：

對未歸一化的質(zhì)量特征進(jìn)行歸一化處理，形成歸一化的質(zhì)量特征。

可選的，還包括：

獲取所述待評測搜索結(jié)果。

可選的，所述獲取所述待評測搜索結(jié)果，包括：

以預(yù)設(shè)選取規(guī)則為查詢條件，對所述搜索日志進(jìn)行檢索，獲取符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞；

從所述符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞中選取特定歷史查詢詞，將與其對應(yīng)的歷史搜索結(jié)果作為所述待評測搜索結(jié)果。

可選的，所述質(zhì)量特征包括搜索結(jié)果的頁面瀏覽數(shù)量，所述預(yù)設(shè)選取規(guī)則包括：所述歷史查詢詞對應(yīng)的所述搜索結(jié)果的頁面瀏覽數(shù)量大于預(yù)設(shè)的頁面瀏覽量閾值。

可選的，如果所述待評測搜索結(jié)果的搜索質(zhì)量為壞例，則所述方法還包括：

顯示所述待評測搜索結(jié)果。

可選的，所述質(zhì)量特征包括：搜索結(jié)果的數(shù)量、搜索結(jié)果的頁面瀏覽數(shù)量、瀏覽搜索結(jié)果的用戶數(shù)量、搜索結(jié)果的點(diǎn)擊數(shù)量、點(diǎn)擊搜索結(jié)果的用戶數(shù)量、搜索結(jié)果的成交數(shù)量和搜索結(jié)果的支付數(shù)量的至少一者。

可選的，所述搜索質(zhì)量包括優(yōu)例、壞例或不確定。

相應(yīng)的，本申請還提供一種搜索質(zhì)量的評測裝置，包括：

獲取特征單元，用于獲取待評測搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；

評測單元，用于根據(jù)所述待評測搜索結(jié)果的所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述待評測搜索結(jié)果的搜索質(zhì)量。

可選的，還包括：

訓(xùn)練單元，用于通過機(jī)器學(xué)習(xí)算法，從歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得所述搜索結(jié)果分類器。

可選的，還包括：

獲取訓(xùn)練集單元，用于獲取所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集。

可選的，所述獲取訓(xùn)練集單元包括：

檢索子單元，用于針對各個(gè)所述歷史搜索結(jié)果，根據(jù)所述歷史搜索結(jié)果對應(yīng)的查詢詞，對搜索日志進(jìn)行檢索，獲取所述歷史搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集；

生成子單元，用于根據(jù)所述歷史搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集，生成所述歷史搜索結(jié)果的所述質(zhì)量特征；

合成子單元，用于將生成的所述歷史搜索結(jié)果的所述質(zhì)量特征，以及對所述歷史搜索結(jié)果的質(zhì)量評測結(jié)果的對應(yīng)記錄的集合，作為所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集。

可選的，所述獲取訓(xùn)練集單元還包括：

歸一化處理子單元，用于對未歸一化的質(zhì)量特征進(jìn)行歸一化處理，形成歸一化的質(zhì)量特征。

可選的，還包括：

獲取新樣本單元，用于獲取對所述待評測搜索結(jié)果的搜索質(zhì)量的人工評測結(jié)果；

更新分類器單元，用于根據(jù)所述待評測搜索結(jié)果的所述質(zhì)量特征和所述人工評測結(jié)果，更新所述搜索結(jié)果分類器。

可選的，所述更新分類器單元包括：

更新訓(xùn)練集子單元，用于將所述待評測搜索結(jié)果的所述質(zhì)量特征與所述人工評測結(jié)果的對應(yīng)記錄增加到所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中；

訓(xùn)練子單元，用于通過所述機(jī)器學(xué)習(xí)算法，從更新后的歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得更新后的搜索結(jié)果分類器。

可選的，還包括：

生成單元，用于生成所述待評測搜索結(jié)果的所述質(zhì)量特征。

可選的，所述生成單元包括：

檢索子單元，用于根據(jù)所述待評測搜索結(jié)果對應(yīng)的查詢詞，對搜索日志進(jìn)行檢索，獲取所述待評測搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集；

生成子單元，用于根據(jù)所述待評測搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集，生成所述待評測搜索結(jié)果的所述質(zhì)量特征。

可選的，所述生成單元還包括：

歸一化處理子單元，用于對未歸一化的質(zhì)量特征進(jìn)行歸一化處理，形成歸一化的質(zhì)量特征。

可選的，還包括：

獲取評測對象單元，用于獲取所述待評測搜索結(jié)果。

可選的，所述獲取評測對象單元包括：

檢索子單元，用于以預(yù)設(shè)選取規(guī)則為查詢條件，對所述搜索日志進(jìn)行檢索，獲取符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞；

選取子單元，用于從所述符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞中選取特定歷史查詢詞，將與其對應(yīng)的歷史搜索結(jié)果作為所述待評測搜索結(jié)果。

可選的，還包括：

顯示單元，用于顯示被評測為壞例的所述待評測搜索結(jié)果。

相應(yīng)的，本申請還提供一種電子設(shè)備，包括：

顯示器；

處理器；以及

存儲器，所述存儲器被配置成存儲搜索質(zhì)量的評測裝置，所述搜索質(zhì)量的評測裝置被所述處理器執(zhí)行時(shí)，包括如下步驟：獲取待評測搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；根據(jù)所述待評測搜索結(jié)果的所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述待評測搜索結(jié)果的搜索質(zhì)量。

此外，本申請還提供一種搜索壞例的挖掘方法，包括：

獲取待挖掘的搜索結(jié)果集；

針對各個(gè)待挖掘的搜索結(jié)果，獲取所述搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；并根據(jù)所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述搜索結(jié)果的搜索質(zhì)量；

根據(jù)所述搜索質(zhì)量，從所述待挖掘的搜索結(jié)果集中篩選出搜索壞例。

可選的，所述獲取待挖掘的搜索結(jié)果集，包括：

以預(yù)設(shè)選取規(guī)則為查詢條件，對搜索日志進(jìn)行檢索，獲取符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞；

針對各個(gè)所述歷史查詢詞，將所述歷史查詢詞對應(yīng)的歷史搜索結(jié)果作為所述待挖掘的搜索結(jié)果；

根據(jù)各個(gè)所述待挖掘的搜索結(jié)果，形成所述待挖掘的搜索結(jié)果集。

可選的，所述質(zhì)量特征包括搜索結(jié)果的頁面瀏覽數(shù)量，所述預(yù)設(shè)選取規(guī)則包括：所述歷史查詢詞對應(yīng)的所述搜索結(jié)果的頁面瀏覽數(shù)量大于預(yù)設(shè)的頁面瀏覽量閾值。

可選的，還包括：

顯示所述搜索壞例。

相應(yīng)的，本申請還提供一種搜索壞例的挖掘裝置，包括：

獲取單元，用于獲取待挖掘的搜索結(jié)果集；

評測單元，用于針對各個(gè)待挖掘的搜索結(jié)果，獲取所述搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；并根據(jù)所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述搜索結(jié)果的搜索質(zhì)量；

篩選單元，用于根據(jù)所述搜索質(zhì)量，從所述待挖掘的搜索結(jié)果集中篩選出搜索壞例。

可選的，所述獲取單元包括：

檢索子單元，用于以預(yù)設(shè)選取規(guī)則為查詢條件，對搜索日志進(jìn)行檢索，獲取符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞；

設(shè)置子單元，用于針對各個(gè)所述歷史查詢詞，將所述歷史查詢詞對應(yīng)的歷史搜索結(jié)果作為所述待挖掘的搜索結(jié)果；

合成子單元，用于根據(jù)各個(gè)所述待挖掘的搜索結(jié)果，形成所述待挖掘的搜索結(jié)果集。

可選的，還包括：

顯示單元，用于顯示所述搜索壞例。

相應(yīng)的，本申請還提供一種電子設(shè)備，包括：

顯示器；

處理器；以及

存儲器，用于存儲搜索壞例的挖掘裝置，所述搜索壞例的挖掘裝置被所述處理器執(zhí)行時(shí)，包括如下步驟：獲取待挖掘的搜索結(jié)果集；針對各個(gè)待挖掘的搜索結(jié)果，獲取所述搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；并根據(jù)所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述搜索結(jié)果的搜索質(zhì)量；根據(jù)所述搜索質(zhì)量，從所述待挖掘的搜索結(jié)果集中篩選出搜索壞例。

與現(xiàn)有技術(shù)相比，本申請具有以下優(yōu)點(diǎn):

本申請?zhí)峁┑乃阉髻|(zhì)量的評測方法、裝置及電子設(shè)備，通過獲取待評測搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征，并根據(jù)質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，能夠獲取待評測搜索結(jié)果的搜索質(zhì)量。采用本申請?zhí)峁┑姆椒?，能夠根?jù)新增質(zhì)量評測結(jié)果更新搜索結(jié)果分類器，以提高搜索結(jié)果分類器的模型準(zhǔn)確度，從而達(dá)到提高搜索質(zhì)量的評測準(zhǔn)確度的效果。

附圖說明

圖1是本申請的搜索質(zhì)量的評測方法實(shí)施例的流程圖；

圖2是本申請的搜索質(zhì)量的評測方法實(shí)施例生成質(zhì)量特征的具體流程圖；

圖3是本申請的搜索質(zhì)量的評測方法實(shí)施例獲取待評測搜索結(jié)果的具體流程圖；

圖4是本申請的搜索質(zhì)量的評測方法實(shí)施例獲取訓(xùn)練集的具體流程圖；

圖5是本申請的搜索質(zhì)量的評測方法實(shí)施例更新搜索結(jié)果分類器的具體流程圖；

圖6是本申請的搜索質(zhì)量的評測裝置實(shí)施例的示意圖；

圖7是本申請的搜索質(zhì)量的評測裝置實(shí)施例的具體示意圖；

圖8是本申請的搜索質(zhì)量的評測裝置實(shí)施例的又一具體示意圖；

圖9是本申請的電子設(shè)備實(shí)施例的示意圖；

圖10是本申請的搜索壞例的挖掘方法實(shí)施例的流程圖；

圖11是本申請的搜索壞例的挖掘方法實(shí)施例獲取待挖掘的搜索結(jié)果集的具體流程圖；

圖12是本申請的搜索壞例的挖掘裝置實(shí)施例的示意圖；

圖13是本申請的搜索壞例的挖掘裝置實(shí)施例的具體示意圖；

圖14是本申請的又一電子設(shè)備實(shí)施例的示意圖。

具體實(shí)施方式

在下面的描述中闡述了很多具體細(xì)節(jié)以便于充分理解本申請。但是本申請能夠以很多不同于在此描述的其它方式來實(shí)施，本領(lǐng)域技術(shù)人員可以在不違背本申請內(nèi)涵的情況下做類似推廣，因此本申請不受下面公開的具體實(shí)施的限制。

在本申請中，提供了一種搜索質(zhì)量的評測方法、裝置及電子設(shè)備，一種搜索壞例的挖掘方法、裝置及電子設(shè)備。在下面的實(shí)施例中逐一進(jìn)行詳細(xì)說明。

本申請?zhí)峁┑乃阉髻|(zhì)量的評測方法，其核心的基本思想是：通過引入機(jī)器學(xué)習(xí)算法，在已標(biāo)注搜索質(zhì)量的歷史搜索數(shù)據(jù)基礎(chǔ)上，訓(xùn)練生成搜索結(jié)果分類器，并根據(jù)待評測搜索結(jié)果的質(zhì)量特征，通過生成的搜索結(jié)果分類器對待評測搜索結(jié)果的搜索質(zhì)量進(jìn)行評測。由于能夠根據(jù)新增質(zhì)量評測結(jié)果更新搜索結(jié)果分類器，以提高搜索結(jié)果分類器的模型準(zhǔn)確度，從而達(dá)到提高搜索質(zhì)量的評測準(zhǔn)確度的效果。

請參考圖1，其為本申請的搜索質(zhì)量的評測方法實(shí)施例的流程圖。所述方法 包括如下步驟：

步驟S101：獲取待評測搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征。

本申請實(shí)施例所述的待評測搜索結(jié)果是指，搜索引擎根據(jù)用戶輸入的查詢詞檢索獲取的搜索結(jié)果。對于一個(gè)查詢詞，搜索引擎能夠檢索到多條符合條件的數(shù)據(jù)，將這些數(shù)據(jù)稱為搜索結(jié)果。

本申請實(shí)施例提供的搜索結(jié)果質(zhì)量的評測方法，基于搜索結(jié)果的各種質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，對搜索結(jié)果的質(zhì)量進(jìn)行評測。所述的質(zhì)量特征是指，對搜索質(zhì)量產(chǎn)生影響的、統(tǒng)計(jì)類型的信息，包括：搜索結(jié)果的數(shù)量、搜索結(jié)果的頁面瀏覽數(shù)量、瀏覽搜索結(jié)果的用戶數(shù)量、搜索結(jié)果的點(diǎn)擊數(shù)量、點(diǎn)擊搜索結(jié)果的用戶數(shù)量、搜索結(jié)果的成交數(shù)量和搜索結(jié)果的支付數(shù)量的至少一者。其中，搜索結(jié)果的頁面瀏覽數(shù)量、瀏覽搜索結(jié)果的用戶數(shù)量、搜索結(jié)果的點(diǎn)擊數(shù)量、點(diǎn)擊搜索結(jié)果的用戶數(shù)量、搜索結(jié)果的成交數(shù)量和搜索結(jié)果的支付數(shù)量，均與用戶對搜索結(jié)果的操作相關(guān)。

要實(shí)施本申請實(shí)施例提供的搜索質(zhì)量的評測方法，在獲取待評測搜索結(jié)果的質(zhì)量特征之前，還需要生成待評測搜索結(jié)果的質(zhì)量特征。請參考圖2，其為本申請的搜索質(zhì)量的評測方法實(shí)施例生成質(zhì)量特征的具體流程圖。在本實(shí)施例中，生成待評測搜索結(jié)果的質(zhì)量特征，包括如下步驟：

步驟S201：根據(jù)所述待評測搜索結(jié)果對應(yīng)的查詢詞，對搜索日志進(jìn)行檢索，獲取所述待評測搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集。

本申請實(shí)施例所述的質(zhì)量特征基于存儲在搜索日志中的待評測搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集獲取。在實(shí)際應(yīng)用中，搜索引擎的日志系統(tǒng)可實(shí)時(shí)地將用戶對搜索結(jié)果的各種操作結(jié)果的統(tǒng)計(jì)數(shù)據(jù)存儲在搜索日志中。

在本實(shí)施例中，搜索日志為電子商務(wù)網(wǎng)站中商品搜索場景下產(chǎn)生的查詢詞維度的搜索日志，日志數(shù)據(jù)內(nèi)容格式如表1所示：

表1 日志數(shù)據(jù)內(nèi)容格式

由表1可見，以查詢詞維度建立的搜索日志包括如下信息：查詢詞、搜索類目、搜索商品結(jié)果數(shù)、搜索商品的頁面瀏覽數(shù)量(即：PV，Page View)、瀏覽搜索商品的用戶數(shù)量(即：UV，User View)、搜索商品的點(diǎn)擊數(shù)量(即：IPV)、點(diǎn)擊搜索商品的用戶數(shù)量(即：IPV_UV)、成交數(shù)量、支付數(shù)量等字段，這些字段信息即為搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集。

需要說明的是，如果搜索日志是商品維度的信息點(diǎn)擊曝光日志，則首先需要根據(jù)信息點(diǎn)擊曝光日志，生成搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集，以提取質(zhì)量特征。

本申請實(shí)施例所述的待評測搜索結(jié)果與查詢詞一一對應(yīng)，在查詢詞維度的搜索日志中，日志記錄的標(biāo)識字段為查詢詞。因此，本實(shí)施例根據(jù)待評測搜索結(jié)果對應(yīng)的查詢詞，對搜索日志進(jìn)行檢索，獲取待評測搜索結(jié)果的各種統(tǒng)計(jì)數(shù)據(jù)。

步驟S203：根據(jù)所述待評測搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集，生成所述待評測搜索結(jié)果的所述質(zhì)量特征。

在獲取到待評測搜索結(jié)果的各種統(tǒng)計(jì)數(shù)據(jù)后，就可以將其中對搜索質(zhì)量產(chǎn)生影響的統(tǒng)計(jì)數(shù)據(jù)作為質(zhì)量特征。

需要注意的是，在實(shí)際應(yīng)用中，為了能夠根據(jù)影響搜索質(zhì)量的各個(gè)質(zhì)量特征對搜索結(jié)果的搜索質(zhì)量進(jìn)行綜合評分，還需要對步驟S203生成的各個(gè)未歸一化的質(zhì)量特征進(jìn)行歸一化處理，以能夠?qū)@些質(zhì)量特征進(jìn)行計(jì)算。

要實(shí)施本申請實(shí)施例提供的搜索質(zhì)量的評測方法，在獲取待評測搜索結(jié)果的質(zhì)量特征之前，還需要獲取待評測搜索結(jié)果。請參考圖3，其為本申請的搜索質(zhì)量的評測方法實(shí)施例獲取待評測搜索結(jié)果的具體流程圖。在本實(shí)施例中，獲取待評測搜索結(jié)果，包括如下步驟：

步驟S301：以預(yù)設(shè)選取規(guī)則為查詢條件，對所述搜索日志進(jìn)行檢索，獲取符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞。

本申請實(shí)施例提供的搜索質(zhì)量的評測方法，對已經(jīng)曝光給用戶的搜索結(jié)果進(jìn)行評測。由于待評測搜索結(jié)果與查詢詞一一對應(yīng)，并且搜索日志中日志記錄的標(biāo)識字段為查詢詞，因此，本實(shí)施例所述的待評測搜索結(jié)果也即待評測查詢詞。

在本實(shí)施例中，以預(yù)設(shè)的選取規(guī)則為查詢條件，對搜索日志進(jìn)行檢索，獲取符合預(yù)設(shè)選取規(guī)則的歷史查詢詞。所述的預(yù)設(shè)選取規(guī)則包括但不限于：歷史查詢詞對應(yīng)的搜索結(jié)果的頁面瀏覽數(shù)量大于預(yù)設(shè)的頁面瀏覽量閾值。應(yīng)用該選取規(guī)則的意義為：從搜索日志中提取搜索結(jié)果的頁面瀏覽數(shù)量(即：PV)大于一定數(shù)量的日志，過濾掉低PV的查詢詞。

步驟S303：從所述符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞中選取特定歷史查詢詞，將與其對應(yīng)的歷史搜索結(jié)果作為所述待評測搜索結(jié)果。

獲取到符合預(yù)設(shè)選取規(guī)則的歷史查詢詞后，可以將其中任何一個(gè)歷史查詢詞對應(yīng)的歷史搜索結(jié)果作為待評測搜索結(jié)果。

通過步驟S101獲取到待評測搜索結(jié)果的質(zhì)量特征后，就可以進(jìn)入步驟S103通過預(yù)先生成的搜索結(jié)果分類器對待評測搜索結(jié)果的搜索質(zhì)量進(jìn)行評測。

步驟S103：根據(jù)所述待評測搜索結(jié)果的所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述待評測搜索結(jié)果的搜索質(zhì)量。

本申請實(shí)施例提供的搜索質(zhì)量的評測方法，通過預(yù)先生成的搜索結(jié)果分類器對待評測搜索結(jié)果的搜索質(zhì)量進(jìn)行評測。因此，要實(shí)施本申請實(shí)施例提供的方法，首先需要生成搜索結(jié)果分類器。

本申請實(shí)施例所述的搜索結(jié)果分類器是指，通過機(jī)器學(xué)習(xí)算法從歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得的搜索結(jié)果分類器。作為訓(xùn)練集的歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集，其實(shí)質(zhì)為：歷史搜索結(jié)果的質(zhì)量特征和質(zhì)量評測結(jié)果組成的向量對集合。

在本實(shí)施例中，根據(jù)預(yù)設(shè)的選取規(guī)則從搜索日志中選取部分歷史查詢詞，對這些查詢詞的搜索結(jié)果做人工評測，形成訓(xùn)練集中的質(zhì)量評測結(jié)果。例如，根據(jù)查詢詞所屬行業(yè)，從各個(gè)行業(yè)中選取預(yù)設(shè)比例的查詢詞組成待人工評測的查詢集。在實(shí)際應(yīng)用中，還可以根據(jù)查詢詞的頁面瀏覽量等數(shù)據(jù)選取查詢詞。 在本實(shí)施例中，根據(jù)預(yù)設(shè)的選取規(guī)則從搜索日志中抽取200-500條查詢詞，并根據(jù)人的經(jīng)驗(yàn)，將搜索結(jié)果的質(zhì)量評價(jià)為優(yōu)例(goodcase)、壞例(badcase)或難以定論(faircase)類型。

要根據(jù)歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集學(xué)習(xí)獲得搜索結(jié)果分類器，首先需要獲取歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集，即：獲取訓(xùn)練集。請參考圖4，其為本申請的搜索質(zhì)量的評測方法實(shí)施例獲取訓(xùn)練集的具體流程圖。在本實(shí)施例中，獲取歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集，包括如下步驟：

步驟S401：針對各個(gè)所述歷史搜索結(jié)果，根據(jù)所述歷史搜索結(jié)果對應(yīng)的查詢詞，對搜索日志進(jìn)行檢索，獲取所述歷史搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集。

步驟S401與上述步驟S201相對應(yīng)，不同之處僅在于：步驟S201的處理對象為待評測搜索結(jié)果，而步驟S401針對各個(gè)歷史搜索結(jié)果分別進(jìn)行處理。兩個(gè)步驟相同之處此處不再贅述，相關(guān)說明詳見步驟S201部分。

步驟S403：根據(jù)所述歷史搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集，生成所述歷史搜索結(jié)果的所述質(zhì)量特征。

步驟S403與上述步驟S203相對應(yīng)，兩個(gè)步驟相同之處此處不再贅述，相關(guān)說明詳見步驟S203部分。

同樣的，根據(jù)歷史搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集生成歷史搜索結(jié)果的質(zhì)量特征之后，還需要對未歸一化的質(zhì)量特征進(jìn)行歸一化處理，形成歸一化的質(zhì)量特征。

步驟S405：將生成的所述歷史搜索結(jié)果的所述質(zhì)量特征，以及對所述歷史搜索結(jié)果的質(zhì)量評測結(jié)果的對應(yīng)記錄的集合，作為所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集。

通過步驟S403生成各個(gè)歷史搜索結(jié)果的質(zhì)量特征之后，再將由歷史搜索結(jié)果的質(zhì)量特征和質(zhì)量評測結(jié)果組成的向量對集合，作為歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集。

通過上述步驟S401至步驟S405獲取到歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集之后，就可以通過機(jī)器學(xué)習(xí)算法，從歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得搜索結(jié)果分類器。

在本實(shí)施例中，采用C4.5決策樹算法從歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得搜索結(jié)果分類器。決策樹是一種常用的分類方法，屬于有 監(jiān)督的機(jī)器學(xué)習(xí)算法。所謂有監(jiān)督的機(jī)器學(xué)習(xí)，就是給定樣本集，每個(gè)樣本都有一組屬性和一個(gè)類別，這些類別是事先確定的，通過學(xué)習(xí)得到一個(gè)分類器，這個(gè)分類器能夠?qū)π鲁霈F(xiàn)的對象給出正確的分類。在本實(shí)施例中，樣本集中的樣本即為：歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄，樣本屬性即為：歷史搜索結(jié)果的質(zhì)量特征，樣本類別即為：質(zhì)量評測結(jié)果。

需要說明的是，在實(shí)際應(yīng)用中，也可以采用其它分類算法，例如，ID3決策樹算法等。不同算法生成的搜索質(zhì)量的準(zhǔn)確度不同，不同算法的計(jì)算復(fù)雜度也不相同，在實(shí)際應(yīng)用中，根據(jù)具體應(yīng)用需求，可以選擇任意一種分類算法對搜索結(jié)果的質(zhì)量進(jìn)行評測。上述各種不同的分類算法都只是具體實(shí)施方式的變更，都不偏離本申請的核心，因此都在本申請的保護(hù)范圍之內(nèi)。

通過機(jī)器學(xué)習(xí)算法學(xué)習(xí)獲得搜索結(jié)果分類器之后，就可以根據(jù)步驟S101獲取到的待評測搜索結(jié)果的質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取待評測搜索結(jié)果的搜索質(zhì)量分類結(jié)果。

在實(shí)際應(yīng)用中，如果待評測搜索結(jié)果的搜索質(zhì)量為壞例，通常會將該待評測搜索結(jié)果顯示給搜索評測等人員，以對搜索壞例進(jìn)行人工評測，并基于這些搜索壞例，推動(dòng)搜索引擎的升級改進(jìn)，使搜索引擎更加精準(zhǔn)。

在本實(shí)施例中，通過搜索評測等人員對搜索壞例進(jìn)行人工評測后，可以將該搜索結(jié)果作為新樣本添加到歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中，以重新訓(xùn)練生成新的搜索結(jié)果分類器。請參考圖5，其為本申請的搜索質(zhì)量的評測方法實(shí)施例更新搜索結(jié)果分類器的具體流程圖。在本實(shí)施例中，如果待評測搜索結(jié)果的搜索質(zhì)量為壞例，則本申請?zhí)峁┑姆椒ㄟ€包括如下步驟：

步驟S501：獲取對所述待評測搜索結(jié)果的搜索質(zhì)量的人工評測結(jié)果。

要更新搜索結(jié)果分類器，首先需要獲取新樣本，即：新增的搜索壞例。

步驟S503：根據(jù)所述待評測搜索結(jié)果的所述質(zhì)量特征和所述人工評測結(jié)果，更新所述搜索結(jié)果分類器。

獲取到新增搜索壞例之后，就可以根據(jù)新增搜索壞例更新搜索結(jié)果分類器。具體的，更新所述搜索結(jié)果分類器，包括如下步驟：1)將所述待評測搜索結(jié)果的所述質(zhì)量特征與所述人工評測結(jié)果的對應(yīng)記錄增加到所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中；2)通過所述機(jī)器學(xué)習(xí)算法，從更新后的歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得更新后的搜索結(jié)果分類器。

通過上述搜索壞例對搜索結(jié)果分類器的正向反饋過程，能夠優(yōu)化搜索結(jié)果分類器，即：提高搜索結(jié)果分類器的準(zhǔn)確性，從而提高下一階段搜索質(zhì)量的評測結(jié)果的質(zhì)量。

在上述的實(shí)施例中，提供了一種搜索質(zhì)量的評測方法，與之相對應(yīng)的，本申請還提供一種搜索質(zhì)量的評測裝置。該裝置是與上述方法的實(shí)施例相對應(yīng)。

請參看圖6，其為本申請的搜索質(zhì)量的評測裝置實(shí)施例的示意圖。由于裝置實(shí)施例基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。下述描述的裝置實(shí)施例僅僅是示意性的。

本實(shí)施例的一種搜索質(zhì)量的評測裝置，包括：

獲取特征單元101，用于獲取待評測搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；

評測單元103，用于根據(jù)所述待評測搜索結(jié)果的所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述待評測搜索結(jié)果的搜索質(zhì)量。

請參看圖7，其為本申請的搜索質(zhì)量的評測裝置實(shí)施例的具體示意圖?？蛇x的，還包括：

訓(xùn)練單元201，用于通過機(jī)器學(xué)習(xí)算法，從歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得所述搜索結(jié)果分類器。

可選的，還包括：

獲取訓(xùn)練集單元200，用于獲取所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集。

可選的，所述獲取訓(xùn)練集單元200包括：

檢索子單元2001，用于針對各個(gè)所述歷史搜索結(jié)果，根據(jù)所述歷史搜索結(jié)果對應(yīng)的查詢詞，對搜索日志進(jìn)行檢索，獲取所述歷史搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集；

生成子單元2003，用于根據(jù)所述歷史搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集，生成所述歷史搜索結(jié)果的所述質(zhì)量特征；

合成子單元2005，用于將生成的所述歷史搜索結(jié)果的所述質(zhì)量特征，以及對所述歷史搜索結(jié)果的質(zhì)量評測結(jié)果的對應(yīng)記錄的集合，作為所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集。

可選的，所述獲取訓(xùn)練集單元200還包括：

歸一化處理子單元，用于對未歸一化的質(zhì)量特征進(jìn)行歸一化處理，形成歸一化的質(zhì)量特征。

可選的，還包括：

獲取新樣本單元203，用于獲取對所述待評測搜索結(jié)果的搜索質(zhì)量的人工評測結(jié)果；

更新分類器單元205，用于根據(jù)所述待評測搜索結(jié)果的所述質(zhì)量特征和所述人工評測結(jié)果，更新所述搜索結(jié)果分類器。

可選的，所述更新分類器單元205包括：

更新訓(xùn)練集子單元，用于將所述待評測搜索結(jié)果的所述質(zhì)量特征與所述人工評測結(jié)果的對應(yīng)記錄增加到所述歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中；

訓(xùn)練子單元，用于通過所述機(jī)器學(xué)習(xí)算法，從更新后的歷史搜索結(jié)果的質(zhì)量特征與質(zhì)量評測記錄集中學(xué)習(xí)獲得更新后的搜索結(jié)果分類器。

請參看圖8，其為本申請的搜索質(zhì)量的評測裝置實(shí)施例的又一具體示意圖?？蛇x的，還包括：

生成單元301，用于生成所述待評測搜索結(jié)果的所述質(zhì)量特征。

可選的，所述生成單元301包括：

檢索子單元3011，用于根據(jù)所述待評測搜索結(jié)果對應(yīng)的查詢詞，對搜索日志進(jìn)行檢索，獲取所述待評測搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集；

生成子單元3013，用于根據(jù)所述待評測搜索結(jié)果的統(tǒng)計(jì)數(shù)據(jù)集，生成所述待評測搜索結(jié)果的所述質(zhì)量特征。

可選的，所述生成單元301還包括：

歸一化處理子單元3015，用于對未歸一化的質(zhì)量特征進(jìn)行歸一化處理，形成歸一化的質(zhì)量特征。

可選的，還包括：

獲取評測對象單元300，用于獲取所述待評測搜索結(jié)果。

可選的，所述獲取評測對象單元300包括：

檢索子單元3001，用于以預(yù)設(shè)選取規(guī)則為查詢條件，對所述搜索日志進(jìn)行檢索，獲取符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞；

選取子單元3003，用于從所述符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞中選取特定歷史查詢詞，將與其對應(yīng)的歷史搜索結(jié)果作為所述待評測搜索結(jié)果。

可選的，還包括：

顯示單元，用于顯示被評測為壞例的所述待評測搜索結(jié)果。

請參考圖9，其為本申請的電子設(shè)備實(shí)施例的示意圖。由于設(shè)備實(shí)施例基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。下述描述的設(shè)備實(shí)施例僅僅是示意性的。

本實(shí)施例的一種電子設(shè)備，該電子設(shè)備包括：顯示器901；處理器902；以及存儲器903，所述存儲器903被配置成存儲搜索質(zhì)量的評測裝置，所述搜索質(zhì)量的評測裝置被所述處理器902執(zhí)行時(shí)，包括如下步驟：獲取待評測搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；根據(jù)所述待評測搜索結(jié)果的所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述待評測搜索結(jié)果的搜索質(zhì)量。

本申請?zhí)峁┑乃阉髻|(zhì)量的評測方法、裝置及電子設(shè)備，通過獲取待評測搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征，并根據(jù)質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，能夠獲取待評測搜索結(jié)果的搜索質(zhì)量。采用本申請?zhí)峁┑姆椒ǎ軌蚋鶕?jù)新增質(zhì)量評測結(jié)果更新搜索結(jié)果分類器，從而提高搜索結(jié)果分類器的模型準(zhǔn)確度，進(jìn)而達(dá)到提高搜索質(zhì)量的評測準(zhǔn)確度的效果。

與上述的搜索質(zhì)量的評測方法相對應(yīng)，本申請還提供一種搜索壞例的挖掘方法。請參考圖10，其為本申請?zhí)峁┑囊环N搜索壞例的挖掘方法的實(shí)施例的流程示意圖，本實(shí)施例與第一實(shí)施例內(nèi)容相同的部分不再贅述，請參見實(shí)施例一中的相應(yīng)部分。本申請?zhí)峁┑囊环N搜索壞例的挖掘方法包括：

步驟S1001：獲取待挖掘的搜索結(jié)果集。

本申請實(shí)施例所述的待挖掘的搜索結(jié)果集包括多個(gè)搜索結(jié)果，應(yīng)用本申請?zhí)峁┑乃阉鲏睦耐诰蚍椒ǎ軌驈闹邪l(fā)現(xiàn)被評價(jià)為搜索壞例的搜索結(jié)果。

請參考圖11，其為本申請?zhí)峁┑乃阉鲏睦耐诰蚍椒▽?shí)施例獲取待挖掘的搜索結(jié)果集的具體流程圖。在本實(shí)施例中，獲取待挖掘的搜索結(jié)果集，包括：

步驟S10011：以預(yù)設(shè)選取規(guī)則為查詢條件，對搜索日志進(jìn)行檢索，獲取符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞。

本申請實(shí)施例所述的質(zhì)量特征包括搜索結(jié)果的頁面瀏覽數(shù)量，所述的預(yù)設(shè)選取規(guī)則包括但不限于：歷史查詢詞對應(yīng)的搜索結(jié)果的頁面瀏覽數(shù)量大于預(yù)設(shè) 的頁面瀏覽量閾值。

步驟S10011與上述步驟S301相對應(yīng)，兩個(gè)步驟相同之處此處不再贅述，相關(guān)說明詳見步驟S301部分。

步驟S10013：針對各個(gè)所述歷史查詢詞，將所述歷史查詢詞對應(yīng)的歷史搜索結(jié)果作為所述待挖掘的搜索結(jié)果。

步驟S10013與上述步驟S303相對應(yīng)，不同之處僅在于：步驟S303僅需選取一個(gè)特定歷史查詢詞進(jìn)行處理，而步驟S10013需要針對各個(gè)歷史查詢詞分別進(jìn)行處理。兩個(gè)步驟相同之處此處不再贅述，相關(guān)說明詳見步驟S303部分。

步驟S10015：根據(jù)各個(gè)所述待挖掘的搜索結(jié)果，形成所述待挖掘的搜索結(jié)果集。

通過步驟S10013獲取到各個(gè)歷史查詢詞對應(yīng)的歷史搜索結(jié)果之后，就可以將這些歷史搜索結(jié)果作為待挖掘的搜索結(jié)果。

步驟S1003：針對各個(gè)待挖掘的搜索結(jié)果，獲取所述搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；并根據(jù)所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述搜索結(jié)果的搜索質(zhì)量。

步驟S1003與上述步驟S101和步驟S103部分相對應(yīng)，步驟相同之處此處不再贅述，相關(guān)說明詳見步驟S101和步驟S303部分。

步驟S1005：根據(jù)所述搜索質(zhì)量，從所述待挖掘的搜索結(jié)果集中篩選出搜索壞例。

最后，根據(jù)步驟S1003獲取到的各個(gè)搜索結(jié)果的搜索質(zhì)量，從待挖掘的搜索結(jié)果集中篩選出被評價(jià)為搜索壞例的搜索結(jié)果。

在本實(shí)施例中，在步驟S1005之后，還包括將被評測為搜索壞例的搜索結(jié)果顯示給搜索評測等人員，以對搜索壞例進(jìn)行人工評測，并基于這些搜索壞例，推動(dòng)搜索引擎的升級改進(jìn)，使搜索引擎更加精準(zhǔn)。

在上述的實(shí)施例中，提供了一種搜索壞例的挖掘方法，與之相對應(yīng)的，本申請還提供一種搜索壞例的挖掘裝置。該裝置是與上述方法的實(shí)施例相對應(yīng)。

請參看圖12，其為本申請的搜索壞例的挖掘裝置實(shí)施例的示意圖。由于裝置實(shí)施例基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。下述描述的裝置實(shí)施例僅僅是示意性的。

本實(shí)施例的一種搜索壞例的挖掘裝置，包括：

獲取單元1201，用于獲取待挖掘的搜索結(jié)果集；

評測單元1203，用于針對各個(gè)待挖掘的搜索結(jié)果，獲取所述搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；并根據(jù)所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述搜索結(jié)果的搜索質(zhì)量；

篩選單元1205，用于根據(jù)所述搜索質(zhì)量，從所述待挖掘的搜索結(jié)果集中篩選出搜索壞例。

請參看圖13，其為本申請的搜索壞例的挖掘裝置實(shí)施例的具體示意圖。可選的，所述獲取單元1201包括：

檢索子單元12011，用于以預(yù)設(shè)選取規(guī)則為查詢條件，對搜索日志進(jìn)行檢索，獲取符合所述預(yù)設(shè)選取規(guī)則的歷史查詢詞；

設(shè)置子單元12013，用于針對各個(gè)所述歷史查詢詞，將所述歷史查詢詞對應(yīng)的歷史搜索結(jié)果作為所述待挖掘的搜索結(jié)果；

合成子單元12015，用于根據(jù)各個(gè)所述待挖掘的搜索結(jié)果，形成所述待挖掘的搜索結(jié)果集。

可選的，還包括：

顯示單元，用于顯示所述搜索壞例。

請參考圖14，其為本申請的又一電子設(shè)備實(shí)施例的示意圖。由于設(shè)備實(shí)施例基本相似于方法實(shí)施例，所以描述得比較簡單，相關(guān)之處參見方法實(shí)施例的部分說明即可。下述描述的設(shè)備實(shí)施例僅僅是示意性的。

本實(shí)施例的又一種電子設(shè)備，該電子設(shè)備包括：顯示器1401；處理器1402；以及存儲器1403，用于存儲搜索壞例的挖掘裝置，所述搜索壞例的挖掘裝置被所述處理器執(zhí)行時(shí)，包括如下步驟：獲取待挖掘的搜索結(jié)果集；針對各個(gè)待挖掘的搜索結(jié)果，獲取所述搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征；并根據(jù)所述質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取所述搜索結(jié)果的搜索質(zhì)量；根據(jù)所述搜索質(zhì)量，從所述待挖掘的搜索結(jié)果集中篩選出搜索壞例。

本申請?zhí)峁┑乃阉鲏睦耐诰蚍椒?、裝置及電子設(shè)備，通過獲取待挖掘的搜索結(jié)果集，針對各個(gè)待挖掘的搜索結(jié)果，獲取搜索結(jié)果的對搜索質(zhì)量產(chǎn)生影響的質(zhì)量特征，并根據(jù)質(zhì)量特征，通過預(yù)先生成的搜索結(jié)果分類器，獲取搜索結(jié)果的搜索質(zhì)量，然后，再根據(jù)獲取的搜索質(zhì)量，從待挖掘的搜索結(jié)果集中篩 選出搜索壞例的潛在集合。采用本申請?zhí)峁┑姆椒?，能夠根?jù)新增搜索結(jié)果的質(zhì)量評測結(jié)果更新搜索結(jié)果分類器，以提高搜索結(jié)果分類器的模型準(zhǔn)確度，進(jìn)而提高搜索壞例挖掘的準(zhǔn)確度，進(jìn)而幫助搜索評測等人員縮小搜索壞例的集合，從而達(dá)到提高發(fā)現(xiàn)和處理搜索壞例的工作效率的效果。

本申請雖然以較佳實(shí)施例公開如上，但其并不是用來限定本申請，任何本領(lǐng)域技術(shù)人員在不脫離本申請的精神和范圍內(nèi)，都可以做出可能的變動(dòng)和修改，因此本申請的保護(hù)范圍應(yīng)當(dāng)以本申請權(quán)利要求所界定的范圍為準(zhǔn)。

在一個(gè)典型的配置中，計(jì)算設(shè)備包括一個(gè)或多個(gè)處理器(CPU)、輸入/輸出接口、網(wǎng)絡(luò)接口和內(nèi)存。

內(nèi)存可能包括計(jì)算機(jī)可讀介質(zhì)中的非永久性存儲器，隨機(jī)存取存儲器(RAM)和/或非易失性內(nèi)存等形式，如只讀存儲器(ROM)或閃存(flash RAM)。內(nèi)存是計(jì)算機(jī)可讀介質(zhì)的示例。

1、計(jì)算機(jī)可讀介質(zhì)包括永久性和非永久性、可移動(dòng)和非可移動(dòng)媒體可以由任何方法或技術(shù)來實(shí)現(xiàn)信息存儲。信息可以是計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序的模塊或其他數(shù)據(jù)。計(jì)算機(jī)的存儲介質(zhì)的例子包括，但不限于相變內(nèi)存(PRAM)、靜態(tài)隨機(jī)存取存儲器(SRAM)、動(dòng)態(tài)隨機(jī)存取存儲器(DRAM)、其他類型的隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、電可擦除可編程只讀存儲器(EEPROM)、快閃記憶體或其他內(nèi)存技術(shù)、只讀光盤只讀存儲器(CD-ROM)、數(shù)字多功能光盤(DVD)或其他光學(xué)存儲、磁盒式磁帶，磁帶磁磁盤存儲或其他磁性存儲設(shè)備或任何其他非傳輸介質(zhì)，可用于存儲可以被計(jì)算設(shè)備訪問的信息。按照本文中的界定，計(jì)算機(jī)可讀介質(zhì)不包括非暫存電腦可讀媒體(transitory media)，如調(diào)制的數(shù)據(jù)信號和載波。

2、本領(lǐng)域技術(shù)人員應(yīng)明白，本申請的實(shí)施例可提供為方法、系統(tǒng)或計(jì)算機(jī)程序產(chǎn)品。因此，本申請可采用完全硬件實(shí)施例、完全軟件實(shí)施例或結(jié)合軟件和硬件方面的實(shí)施例的形式。而且，本申請可采用在一個(gè)或多個(gè)其中包含有計(jì)算機(jī)可用程序代碼的計(jì)算機(jī)可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實(shí)施的計(jì)算機(jī)程序產(chǎn)品的形式。