專(zhuān)利名稱(chēng)：分類(lèi)搜索查詢(xún)的結(jié)果的制作方法
分類(lèi)搜索查詢(xún)的結(jié)果背景技術(shù)
搜索引擎一般設(shè)計(jì)為具有通過(guò)幫助用戶以快速有效地方式來(lái)找到與他們的搜索查詢(xún)相匹配的相關(guān)搜索結(jié)果(如文檔)來(lái)簡(jiǎn)化用戶生活的意圖。例如，搜索引擎的用戶可撰寫(xiě)并提交搜索查詢(xún)，以針對(duì)服務(wù)、產(chǎn)品、特定信息或該用戶在該搜索查詢(xún)背后的意圖所目標(biāo)確定的其他任何數(shù)據(jù)來(lái)進(jìn)行在線搜索。由傳統(tǒng)搜索引擎產(chǎn)生的搜索結(jié)果集常常質(zhì)量低下， 這意味著該搜索結(jié)果集中至少一部分沒(méi)有恰當(dāng)滿足該用戶在該搜索查詢(xún)背后的意圖。特別地，在一項(xiàng)研究中，研究人員發(fā)現(xiàn)十個(gè)搜索結(jié)果集中大致有一個(gè)列在頂端的結(jié)果與該用戶相應(yīng)的搜索查詢(xún)的意圖不相關(guān)。
產(chǎn)生低質(zhì)量的搜索結(jié)果有各種原因。一些原因涉及該搜索引擎所詢(xún)問(wèn)的網(wǎng)絡(luò)索引中缺少高質(zhì)量的文檔，或核心排名算法未能定位存在在該網(wǎng)絡(luò)索引中的高質(zhì)量文檔。發(fā)明內(nèi)容
提供本發(fā)明內(nèi)容來(lái)以簡(jiǎn)化形式介紹將在下面具體實(shí)施方式
中進(jìn)一步描述的概念選集。本發(fā)明內(nèi)容不意圖標(biāo)識(shí)所要求保護(hù)主題的關(guān)鍵特征或基本特征，也不意圖孤立地作為確定所要求保護(hù)主題的范圍的輔助。
本發(fā)明的實(shí)施例將產(chǎn)生低質(zhì)量搜索結(jié)果的各種原因歸結(jié)為包括以下搜索查詢(xún)的貧乏用戶構(gòu)詞具有與低質(zhì)量文檔或不滿足用戶在該搜索查詢(xún)背后的意圖的其他文檔相匹配的格式。這些缺陷性撰寫(xiě)的搜索查詢(xún)可要么包括極其常見(jiàn)的、可以大量不同方式解釋的詞條(產(chǎn)生離題的搜索結(jié)果)，要么包括不匹配任何返回的有意義的文檔的罕見(jiàn)詞(產(chǎn)生模糊的搜索結(jié)果)。
然而，搜索引擎將這些離題的或模糊的搜索結(jié)果返回給該用戶而不管其是否實(shí)際上與該用戶的意圖相關(guān)。這給了該用戶假象因?yàn)樗阉鹘Y(jié)果與其搜索查詢(xún)相匹配，因此返回的搜索結(jié)果一定是相關(guān)的。然而經(jīng)檢查，用戶常常發(fā)現(xiàn)這些搜索結(jié)果不相關(guān)。進(jìn)一步地，如果該用戶想要更好的、高質(zhì)量的文檔(在此可與短語(yǔ)“搜索結(jié)果”交換使用)，該用戶被迫重新撰寫(xiě)他們的搜索查詢(xún)而沒(méi)有得到任何幫助。搜索引擎的這個(gè)缺陷導(dǎo)致了低效率和混亂的用戶搜索體驗(yàn)。
因此，因?yàn)樗阉饕嫖茨茏R(shí)別出作為該用戶缺陷性撰寫(xiě)的搜索查詢(xún)的結(jié)果而提供給該用戶的低質(zhì)量搜索結(jié)果，因此一個(gè)自動(dòng)確定返回的搜索結(jié)果何時(shí)是低質(zhì)量的、以及當(dāng)確定低質(zhì)量搜索結(jié)果時(shí)、采取校正動(dòng)作來(lái)改進(jìn)該搜索查詢(xún)(即在在線搜索的環(huán)境下重新明確表達(dá)該用戶的意圖)的新穎搜索引擎會(huì)提供增強(qiáng)的整體用戶體驗(yàn)。
本發(fā)明的實(shí)施例解決許多用戶不具有熟練的搜索查詢(xún)表述技能的問(wèn)題。例如，用戶常常輸入過(guò)于廣泛的或過(guò)少包含的搜索查詢(xún)，且在將該搜索查詢(xún)發(fā)送至搜索引擎后，用戶接收與該用戶的真實(shí)意圖不相關(guān)的搜索結(jié)果。其他實(shí)施例解決這樣的有疑問(wèn)的問(wèn)題一些搜索查詢(xún)本來(lái)就模糊(如使用常見(jiàn)詞)或難以滿足(如使用罕見(jiàn)詞)而不管怎么表述它們。
相應(yīng)地，本發(fā)明的實(shí)施例引入了檢測(cè)不相關(guān)的搜索結(jié)果并輔助用戶改進(jìn)搜索結(jié)果相關(guān)性的各種方法。在一個(gè)示例中，對(duì)不相關(guān)搜索結(jié)果的檢測(cè)由搜索引擎執(zhí)行，它試圖建立分類(lèi)處理，以便在運(yùn)行時(shí)針對(duì)給定的用戶發(fā)起的搜索查詢(xún)，自動(dòng)確定在搜索引擎結(jié)果頁(yè)面 (SERP)中的搜索結(jié)果的質(zhì)量水平。在示例實(shí)施例中，該搜索引擎實(shí)現(xiàn)此分類(lèi)處理來(lái)部分基于所確定的質(zhì)量水平確定搜索結(jié)果就絕對(duì)意義(如，要么高質(zhì)量要么低質(zhì)量)而言是否可接受。進(jìn)一步地，當(dāng)這些搜索結(jié)果確定為低質(zhì)量時(shí)，它們被如此標(biāo)記以使得如果適當(dāng)可執(zhí)行一個(gè)或多個(gè)校正動(dòng)作。
因?yàn)閷?duì)用戶搜索查詢(xún)的修改(如對(duì)其中用語(yǔ)的小調(diào)整)常常改進(jìn)了返回的搜索結(jié)果的相關(guān)性，所以校正動(dòng)作之一可涉及代表該用戶來(lái)隱含地重寫(xiě)該搜索查詢(xún)。在其中該改變會(huì)改進(jìn)搜索結(jié)果有較高置信度的情況下，該重寫(xiě)的搜索查詢(xún)由該搜索引擎以透明方式自動(dòng)地準(zhǔn)備并提交。在其中該改變會(huì)改進(jìn)搜索結(jié)果的置信度較低的情況下，修改關(guān)鍵用語(yǔ)(如移除或替換)的選項(xiàng)將明確地呈現(xiàn)給該用戶，以征求他或她關(guān)于重新編制該搜索查詢(xún)的反饋。除了幫助該用戶重新編制他或她的搜索查詢(xún)的之外，另一個(gè)校正動(dòng)作還可包括呈現(xiàn)標(biāo)識(shí)為高質(zhì)量的搜索結(jié)果，而抑制低質(zhì)量結(jié)果的那些。因此節(jié)省了該用戶在低質(zhì)量搜索結(jié)果中詳細(xì)查看所涉及的時(shí)間。


下文中通過(guò)參考附圖詳細(xì)說(shuō)明本發(fā)明的實(shí)施例，其中 圖1是適合實(shí)現(xiàn)本發(fā)明的實(shí)施例的示例計(jì)算設(shè)備的框圖；圖2是示出了根據(jù)本發(fā)明的實(shí)施例的示例分類(lèi)處理的各種輸入和輸出的框圖； 圖3是適合在實(shí)現(xiàn)本發(fā)明的實(shí)施例中使用的示例網(wǎng)絡(luò)環(huán)境的框圖； 圖4是根據(jù)本發(fā)明的實(shí)施例的、在協(xié)作地實(shí)施在線搜索的實(shí)體之間的示例處理流的框圖；圖5是示出了根據(jù)本發(fā)明的實(shí)施例的、使用搜索結(jié)果集的質(zhì)量水平來(lái)激活一個(gè)或多個(gè)校正動(dòng)作的整體方法的流程圖；以及圖6是示出了根據(jù)本發(fā)明的實(shí)施例的、將搜索結(jié)果分類(lèi)為高質(zhì)量或低質(zhì)量的整體方法的流程圖。
具體實(shí)施方式
在此公開(kāi)的本發(fā)明的實(shí)施例的主題通過(guò)特別描述來(lái)滿足法定要求。然而，描述本身不意圖限制本專(zhuān)利的范圍。相反地，發(fā)明者已經(jīng)預(yù)期要求保護(hù)的主題也可以其他方式體現(xiàn)，來(lái)包括與本文檔描述的步驟相似的不同步驟或步驟組合，并結(jié)合其他當(dāng)前或未來(lái)的技術(shù)。
根據(jù)下文公開(kāi)部分可推斷，本發(fā)明的各種實(shí)施例涉及確定搜索結(jié)果的質(zhì)量水平， 并可能利用基于任務(wù)的引擎(如決定引擎、任務(wù)引擎、單獨(dú)應(yīng)用或操作、小程序系統(tǒng)、操作系統(tǒng)以及基于任務(wù)的移動(dòng)系統(tǒng))或試圖將搜索結(jié)果與在發(fā)布的搜索結(jié)果內(nèi)固有的用戶意圖相匹配的一般系統(tǒng)，來(lái)采取校正動(dòng)作以改進(jìn)所確定的質(zhì)量水平。為了簡(jiǎn)化論述，這些引擎和/ 或系統(tǒng)在此后將被稱(chēng)為“搜索引擎”。
在此描述的本發(fā)明的實(shí)施例包括具有其上包含計(jì)算機(jī)可執(zhí)行指令的計(jì)算機(jī)可讀介質(zhì)。在(如用處理器)執(zhí)行時(shí)，該計(jì)算機(jī)可執(zhí)行指令執(zhí)行一種使用搜索結(jié)果集的質(zhì)量水平來(lái)激活一個(gè)或多個(gè)校正動(dòng)作的方法。在實(shí)施例中，該方法包括步驟訪問(wèn)該搜索結(jié)果集，并通過(guò)向那里應(yīng)用多個(gè)分類(lèi)標(biāo)準(zhǔn)來(lái)分別確定該搜索結(jié)果集的質(zhì)量水平。在示例中，應(yīng)用分類(lèi)標(biāo)準(zhǔn)包括評(píng)價(jià)由搜索結(jié)果分別評(píng)價(jià)的排名特征、質(zhì)量級(jí)別特征、標(biāo)題級(jí)別特征、會(huì)話級(jí)別特征和/或聚集特征。下文參考圖2更全面地討論這些各種類(lèi)型特征中的每一個(gè)。
該方法可通過(guò)為該搜索結(jié)果集中至少一個(gè)搜索結(jié)果分配在絕對(duì)標(biāo)度中的分?jǐn)?shù)來(lái)繼續(xù)，其中該分?jǐn)?shù)基于所確定的質(zhì)量水平。該分?jǐn)?shù)可與在絕對(duì)標(biāo)度的閾值進(jìn)行比較。因此， 可基于該比較的結(jié)果，選擇并執(zhí)行一個(gè)或多個(gè)校正動(dòng)作。
在第二個(gè)示例實(shí)施例中，本發(fā)明引入了一種用于進(jìn)行至少一個(gè)搜索結(jié)果的質(zhì)量的絕對(duì)分類(lèi)的計(jì)算機(jī)系統(tǒng)。該計(jì)算機(jī)系統(tǒng)典型地包括計(jì)算機(jī)軟件部件，這些部件包括下列查詢(xún)接收部件、分類(lèi)部件、分配部件和應(yīng)用部件。在實(shí)施例中，查詢(xún)接收部件被配置為接收用戶發(fā)布的搜索查詢(xún)。典型地，該查詢(xún)接收部件(即前端部件)返回基于該搜索查詢(xún)而(如用后端部件)產(chǎn)生的搜索結(jié)果集。分類(lèi)部件一般負(fù)責(zé)實(shí)現(xiàn)分類(lèi)處理，其自動(dòng)確定在該搜索結(jié)果集中的一個(gè)或多個(gè)搜索結(jié)果的質(zhì)量分類(lèi)。如下文參考圖3更全面的討論所述，該分類(lèi)處理至少涉及以下步驟(沒(méi)有特定順序)檢查該搜索結(jié)果呈現(xiàn)的各種特征以確定質(zhì)量的整體水平；以及分別根據(jù)為每個(gè)搜索結(jié)果確定的整體質(zhì)量水平來(lái)導(dǎo)出絕對(duì)量度。在示例實(shí)施例中， 該絕對(duì)量度將搜索結(jié)果標(biāo)識(shí)為高質(zhì)量或低質(zhì)量。
在實(shí)施例中，分配部件基于分類(lèi)處理的結(jié)果將每個(gè)搜索結(jié)果標(biāo)記為高質(zhì)量或低質(zhì)量。在隨后的時(shí)間點(diǎn)處，或在訪問(wèn)搜索結(jié)果時(shí)實(shí)時(shí)地，應(yīng)用部件可激活與該搜索結(jié)果被如何標(biāo)記相對(duì)應(yīng)的適當(dāng)校正動(dòng)作。一般地，部分基于自動(dòng)重寫(xiě)的搜索查詢(xún)會(huì)提供新的、與該用戶發(fā)布搜索查詢(xún)的意圖更相關(guān)(比較當(dāng)前搜索結(jié)果)的搜索結(jié)果的置信度級(jí)別，來(lái)選擇適當(dāng)?shù)男Ｕ齽?dòng)作。
在第三個(gè)示例實(shí)施例中，提供由(在處理器上運(yùn)行的)搜索引擎執(zhí)行的計(jì)算機(jī)化的方法，以將搜索結(jié)果分類(lèi)為高質(zhì)量或低質(zhì)量。首先，該方法包括提供響應(yīng)于用戶撰寫(xiě)并發(fā)布的搜索查詢(xún)而返回的搜索結(jié)果集。該搜索結(jié)果集可能互相排名。在一個(gè)示例中，根據(jù)每個(gè)搜索結(jié)果與發(fā)布的搜索查詢(xún)的相關(guān)性而計(jì)算該排名。該搜索引擎可然后選擇排名為與發(fā)布的搜索查詢(xún)高度相關(guān)的一個(gè)或多個(gè)搜索結(jié)果來(lái)進(jìn)行評(píng)價(jià)。
每個(gè)選擇的搜索結(jié)果的質(zhì)量水平可通過(guò)使用分類(lèi)處理來(lái)確定。在示例實(shí)施例中， 該分類(lèi)處理包括一個(gè)或多個(gè)以下步驟確定由要評(píng)價(jià)的選定搜索結(jié)果展示的目標(biāo)特征；評(píng)價(jià)該目標(biāo)特征來(lái)為每個(gè)選定搜索結(jié)果分別產(chǎn)生質(zhì)量水平的分?jǐn)?shù)；將該分?jǐn)?shù)與預(yù)先定義的閾值進(jìn)行比較；以及，基于該該比較，為每個(gè)選定搜索結(jié)果分配絕對(duì)量度。在示例中，當(dāng)該分?jǐn)?shù)比閾值高時(shí)，該絕對(duì)量度指示高質(zhì)量。否則，該絕對(duì)量度指示該選定搜索結(jié)果具有低質(zhì)量。 在識(shí)別到選定搜索結(jié)果被分配了指示低質(zhì)量的絕對(duì)量度時(shí)，自動(dòng)執(zhí)行在識(shí)別時(shí)重新表述所發(fā)布的搜索查詢(xún)的校正動(dòng)作。
已經(jīng)描述了本發(fā)明的實(shí)施例的概述，下文描述了本發(fā)明的實(shí)施例可在其中實(shí)現(xiàn)的示例操作環(huán)境，以便為本發(fā)明的各個(gè)方面提供一般環(huán)境。
首先特別地參考圖1，示出了用于實(shí)現(xiàn)本發(fā)明實(shí)施例的示例操作環(huán)境，并一般性地將其指定為計(jì)算設(shè)備100。計(jì)算設(shè)備100只是合適的計(jì)算環(huán)境的一個(gè)示例，不意圖暗示關(guān)于本發(fā)明使用或功能范圍的限制。計(jì)算設(shè)備100也不應(yīng)解釋為具有任何涉及示出的部件的任何一個(gè)或其組合的依賴(lài)性或要求。
本發(fā)明可在計(jì)算機(jī)代碼或機(jī)器可用指令的一般環(huán)境中進(jìn)行描述，機(jī)器可用指令包括由計(jì)算機(jī)或其他機(jī)器(如個(gè)人數(shù)據(jù)助手或其他手持設(shè)備)執(zhí)行的計(jì)算機(jī)可執(zhí)行指令(如程序模塊)。程序模塊一般包括例程、程序、對(duì)象、部件、數(shù)據(jù)結(jié)構(gòu)等，是指執(zhí)行特定任務(wù)或?qū)崿F(xiàn)特定抽象數(shù)據(jù)類(lèi)型的代碼。本發(fā)明可在各種系統(tǒng)配置中使用，包括手持設(shè)備、消費(fèi)者電子產(chǎn)品、通用計(jì)算機(jī)、更專(zhuān)用的計(jì)算設(shè)備等。本發(fā)明也可在其中任務(wù)由通過(guò)通信網(wǎng)絡(luò)連接的遠(yuǎn)程處理設(shè)備執(zhí)行的分布式計(jì)算環(huán)境中實(shí)踐。
參考圖1，計(jì)算設(shè)備100包括總線110，總線直接或間接地耦接以下設(shè)備存儲(chǔ)器 112、一個(gè)或多個(gè)處理器114、一個(gè)或多個(gè)呈現(xiàn)部件116、輸入/輸出(I/O)端口 118、輸入/ 輸出(I/O)部件120和示例電源122?？偩€110代表可能是一個(gè)或多個(gè)總線(如地址總線、 數(shù)據(jù)總線或它們的組合)。雖然為了清晰起見(jiàn)，圖1的各個(gè)框圖顯示為帶線的，但實(shí)際上，劃界各個(gè)部件并不如此清晰，打個(gè)比方，這些線條更準(zhǔn)確地將是灰色和模糊的。例如，人可將呈現(xiàn)部件(如顯示設(shè)備)認(rèn)為是輸入/輸出部件。處理器也具有存儲(chǔ)器。發(fā)明者意識(shí)到這是本領(lǐng)域的本性，并重申圖1中的圖表只是可結(jié)合一個(gè)或多個(gè)本發(fā)明的實(shí)施例使用的示例計(jì)算設(shè)備的說(shuō)明。在如“工作站”、“服務(wù)器”、“膝上型計(jì)算機(jī)”、“手持設(shè)備”等這樣的類(lèi)別之間不作區(qū)別，因?yàn)樗鼈兯斜豢紤]在圖1的范圍內(nèi)并稱(chēng)為“計(jì)算設(shè)備”。
計(jì)算設(shè)備100典型地包括各種計(jì)算機(jī)可讀介質(zhì)。計(jì)算機(jī)可讀介質(zhì)可以是任何可得到的、可被計(jì)算設(shè)備100訪問(wèn)的介質(zhì)，它包括易失的和非易失的介質(zhì)、可移除和不可移除的介質(zhì)。通過(guò)示例(但不是限制)，計(jì)算機(jī)可讀介質(zhì)可包括計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括以任何方式或技術(shù)實(shí)現(xiàn)的、用于存儲(chǔ)信息(如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、 程序模塊或其他數(shù)據(jù))的易失和非易失的、可移除和不可移除的介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括 (但不限于)RAM、ROM、EEPR0M、閃存存儲(chǔ)器或其他存儲(chǔ)技術(shù)、CD-ROM、數(shù)字多用途光盤(pán)(DVD) 或其他光學(xué)存儲(chǔ)設(shè)備，盒式磁帶、卡式磁帶、磁盤(pán)存儲(chǔ)設(shè)備或其他磁性存儲(chǔ)設(shè)備或任何可用于存儲(chǔ)想要的信息并可被計(jì)算設(shè)備100訪問(wèn)的其他介質(zhì)。在實(shí)施例中，計(jì)算機(jī)存儲(chǔ)介質(zhì)代表有形的計(jì)算機(jī)可讀介質(zhì)，如體現(xiàn)在處理器上的介質(zhì)。
通信介質(zhì)典型地以調(diào)制的數(shù)據(jù)信號(hào)(如載波或其他傳送機(jī)制)體現(xiàn)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)，并包括任何信息遞送介質(zhì)。術(shù)語(yǔ)“調(diào)制的數(shù)據(jù)信號(hào)”意指具有一個(gè)或多個(gè)其特征以在信號(hào)中編碼信息的方式設(shè)置和改變的信號(hào)。通過(guò)示例(但不是限制)，通信介質(zhì)包括有線介質(zhì)(如有線網(wǎng)絡(luò)或直接有線連接)和無(wú)線介質(zhì)(如聲音、RF、紅外線或其他無(wú)線介質(zhì))。以上任何的組合也應(yīng)該包括在計(jì)算機(jī)可讀介質(zhì)的范圍中。在實(shí)施例中，通信介質(zhì)代表非暫時(shí)的計(jì)算機(jī)可讀介質(zhì)。
存儲(chǔ)器112包括易失和/或非易失存儲(chǔ)器形式的計(jì)算機(jī)存儲(chǔ)介質(zhì)。該存儲(chǔ)器可以是可移除、不可移除的或它們的組合。示例硬件設(shè)備包括固態(tài)存儲(chǔ)器、硬盤(pán)驅(qū)動(dòng)器、光盤(pán)驅(qū)動(dòng)器等。計(jì)算設(shè)備100包括從各種實(shí)體(如存儲(chǔ)器112和/或I/O部件120)中讀取數(shù)據(jù)的一個(gè)或多個(gè)處理器。呈現(xiàn)部件(多個(gè))116將數(shù)據(jù)指示呈現(xiàn)給用戶或其他設(shè)備。典型的呈現(xiàn)部件包括顯示設(shè)備、揚(yáng)聲器、打印部件、振動(dòng)部件等。
I/O端口 118允許計(jì)算設(shè)備100邏輯地耦接至其他設(shè)備(包括I/O部件120，可內(nèi)置它們中的一些)。示例部件包括麥克風(fēng)、控制桿、游戲墊、圓盤(pán)式衛(wèi)星、掃描儀、打印機(jī)、無(wú)線設(shè)備等。
現(xiàn)在轉(zhuǎn)向圖2，示出了根據(jù)本發(fā)明實(shí)施例的示例分類(lèi)處理220的各種輸入250和輸出230及240的框圖。一般地，在訪問(wèn)從發(fā)布的搜索查詢(xún)返回的搜索結(jié)果集時(shí)，該搜索引擎使用分類(lèi)處理220確定整個(gè)搜索結(jié)果集中的一部分的質(zhì)量水平。首先，分類(lèi)處理220可涉及將各種分類(lèi)標(biāo)準(zhǔn)分別應(yīng)用于一個(gè)或多個(gè)搜索結(jié)果。在示例中，短語(yǔ)“分類(lèi)標(biāo)準(zhǔn)”廣泛地涉及用來(lái)評(píng)價(jià)由可被檢查的搜索結(jié)果展示的任何特征的參數(shù)。如示例，一些可被評(píng)價(jià)的、由搜索結(jié)果展示的特征是排名特征251、質(zhì)量級(jí)別特征252、標(biāo)題級(jí)別特征253、會(huì)話級(jí)別特征 254和/或聚集特征255。在操作中，可確定這些特征中的一個(gè)或多個(gè)目標(biāo)用于評(píng)價(jià)，聚集這些特征(多個(gè))的評(píng)價(jià)來(lái)為每個(gè)搜索結(jié)果產(chǎn)生質(zhì)量水平分?jǐn)?shù)。
雖然已經(jīng)描述了被用作到分類(lèi)處理220的輸入250的該搜索結(jié)果的特定特征，但應(yīng)該理解和領(lǐng)會(huì)的是，可使用用于確定質(zhì)量水平的其他類(lèi)型的合適輸入和與搜索結(jié)果相關(guān)的特征，且本發(fā)明的實(shí)施例不限于在此描述的這5個(gè)不同的特征251-255。也就是說(shuō)，可使用實(shí)際上或可能有助于分類(lèi)處理220的輸出230及240的準(zhǔn)確性的其他輸入250。例如，如果存在并且可訪問(wèn)用戶簡(jiǎn)檔(如包括為特定用戶追蹤的會(huì)話交互)或查詢(xún)?nèi)罩?如，包括為多個(gè)用戶記錄的社會(huì)行為)，則它可以用作輸入250，以影響該搜索結(jié)果的質(zhì)量水平。
首先，排名特征251代表用于量度搜索查詢(xún)內(nèi)的關(guān)鍵用語(yǔ)和搜索結(jié)果集的內(nèi)容 (如文檔、網(wǎng)頁(yè)、博客之類(lèi)的)之間的關(guān)系的那些特征。在示例實(shí)施例中，排名特征251與搜索結(jié)果依賴(lài)查詢(xún)的特征有關(guān)，如搜索查詢(xún)用語(yǔ)和搜索結(jié)果內(nèi)容之間匹配的數(shù)量。為了在搜索引擎結(jié)果頁(yè)面(SERP)上建立搜索結(jié)果順序，常常采用一個(gè)或多個(gè)排名特征251用于將搜索結(jié)果相對(duì)于彼此排名的任務(wù)。
在一個(gè)示例中，排名特征251可包括搜索查詢(xún)中的用語(yǔ)和該搜索結(jié)果的標(biāo)題、指向該搜索結(jié)果的錨文本、該搜索結(jié)果的正文和/或該搜索結(jié)果的關(guān)鍵部分(如頁(yè)面頂端)之間匹配的數(shù)量/頻率。在實(shí)施例中，未考慮該搜索查詢(xún)的所有用語(yǔ)。搜索引擎典型地關(guān)注該搜索結(jié)果是否與該搜索查詢(xún)的語(yǔ)言頭(如關(guān)鍵用語(yǔ)、罕見(jiàn)用語(yǔ)之類(lèi))在某種方式上相匹配。因此，在實(shí)施例中，可以從搜索查詢(xún)中提取語(yǔ)言頭并采用該語(yǔ)言頭來(lái)評(píng)價(jià)搜索結(jié)果的排名特征251，同時(shí)為了分類(lèi)目的可以忽略搜索查詢(xún)中非關(guān)鍵、常用和自然的語(yǔ)言。
在另一個(gè)示例中，排名特征251涉及搜索結(jié)果中匹配的關(guān)鍵用語(yǔ)的接近性。典型地，搜索結(jié)果內(nèi)匹配的詞出現(xiàn)得越靠近，搜索結(jié)果就相對(duì)于該搜索查詢(xún)?cè)较嚓P(guān)，因此保證了高的質(zhì)量水平指定。正如全文所述，通常給指定為具有高質(zhì)量水平的搜索結(jié)果分配在絕對(duì)標(biāo)度中的高分?jǐn)?shù)，這常常轉(zhuǎn)化為“高質(zhì)量”的絕對(duì)量度240中。
質(zhì)量級(jí)別特征252 —般代表單獨(dú)量化搜索結(jié)果集的整體質(zhì)量而獨(dú)立于搜索查詢(xún)的特征。在實(shí)施例中，通過(guò)檢查該搜索結(jié)果的內(nèi)容/標(biāo)題/錨文本和/或集成到搜索結(jié)果的域名來(lái)確定整體質(zhì)量。在一個(gè)示例中，檢查該搜索結(jié)果的內(nèi)容涉及列舉文檔正文中的若干拼寫(xiě)錯(cuò)誤，其中的大量拼寫(xiě)錯(cuò)誤典型地降低了與該搜索結(jié)果相關(guān)的質(zhì)量水平。在另一個(gè)示例中，檢查該搜索結(jié)果的域名涉及確定該搜索結(jié)果是否導(dǎo)航至可信任網(wǎng)站。正如所看到的，質(zhì)量級(jí)別特征252關(guān)注該搜索結(jié)果的屬性而獨(dú)立于搜索查詢(xún)中的用語(yǔ)。
在一個(gè)示例中，標(biāo)題級(jí)別特征253代表列舉該搜索查詢(xún)中的關(guān)鍵用語(yǔ)與搜索結(jié)果集中的每一個(gè)特定的、搜索引擎預(yù)備的概要(即，摘要或示例回答)之間的匹配數(shù)目的特征。 在另一個(gè)示例中，標(biāo)題級(jí)別特征與確定是否良好地形成這些摘要(表示高質(zhì)量搜索結(jié)果)、 或這些摘要是否包括不完備的句子、美國(guó)信息交換標(biāo)準(zhǔn)碼(ASCII)垃圾資料、大量數(shù)字/符號(hào)/統(tǒng)一資源定位符(URL)，和/或非文本數(shù)據(jù)(表示低質(zhì)量搜索結(jié)果)有關(guān)。
會(huì)話級(jí)別特征2M —般代表根據(jù)在線會(huì)話過(guò)程期間用戶發(fā)起的搜索結(jié)果改進(jìn)將搜索結(jié)果集中的搜索結(jié)果標(biāo)記為相關(guān)或不相關(guān)的特征。在一個(gè)示例中，該改進(jìn)與該用戶在在線會(huì)話期間修改其該搜索查詢(xún)的次數(shù)有關(guān)。經(jīng)常地，該搜索查詢(xún)的越多改進(jìn)表示該用戶對(duì)返回的搜索結(jié)果不滿意，這相當(dāng)于分配給響應(yīng)該搜索查詢(xún)而給出的搜索結(jié)果的較低質(zhì)量水平。在另一個(gè)示例中，該改進(jìn)與指向基于該搜索查詢(xún)而產(chǎn)生的搜索結(jié)果的用戶交互(如選擇)的量有關(guān)。經(jīng)常地，當(dāng)幾乎沒(méi)有指向該搜索結(jié)果的用戶發(fā)起的選擇(如鼠標(biāo)點(diǎn)擊動(dòng)作) 時(shí)，用戶常常對(duì)該搜索結(jié)果沒(méi)有興趣，從而表明該搜索結(jié)果在某種方式上不相關(guān)或不受歡迎。被發(fā)現(xiàn)不受歡迎的搜索結(jié)果一般被指定為具有低質(zhì)量水平。
聚集特征255 —般代表考慮搜索結(jié)果集的內(nèi)容、在搜索結(jié)果頁(yè)面中發(fā)布的廣告和 /或組成由搜索引擎提供的連同搜索結(jié)果集的相關(guān)搜索的用語(yǔ)之間的變化的特征。作為一般規(guī)則，在實(shí)施例中，高質(zhì)量搜索結(jié)果是呈現(xiàn)足夠量的彼此之間的相互差異而沒(méi)有過(guò)多改變的的搜索結(jié)果。在一個(gè)示例中，這種相互差異表述為交叉結(jié)果熵。正如在此使用的，“交叉結(jié)果”熵指的是由SERP的組成表示的隨機(jī)性或不一致性。在一個(gè)示例中，在搜索結(jié)果相似(如共享一個(gè)或兩個(gè)域名和/或在其內(nèi)容中透露共同的主題)的地方，該交叉結(jié)果熵非常低。這個(gè)低交叉結(jié)果熵可在該用戶輸入過(guò)于詳細(xì)的搜索查詢(xún)時(shí)出現(xiàn)，這降低了搜索結(jié)果的質(zhì)量水平，因?yàn)橐恍┫嗷ゲ町悓?duì)該用戶有益。在另一個(gè)示例中，在搜索結(jié)果完全不同(如包含廣泛的各種域名和/或由于在其內(nèi)容中缺少共同的主題而妨礙搜索結(jié)果的聚集)的地方， 該交叉結(jié)果熵非常高。這個(gè)高交叉結(jié)果熵可在該用戶輸入不夠詳細(xì)的搜索查詢(xún)時(shí)出現(xiàn)，這也降低了搜索結(jié)果的質(zhì)量水平，因?yàn)樘嗟南嗷ゲ町悓?duì)于該用戶是混亂的。
雖然已經(jīng)描述了與搜索結(jié)果相關(guān)聯(lián)的內(nèi)容和域名，應(yīng)理解和領(lǐng)會(huì)的是，可以采用搜索結(jié)果的任何其他合適的屬性或SERP中的合適信息來(lái)計(jì)算或影響交叉結(jié)果熵，且本發(fā)明的實(shí)施例不限于以上描述的屬性。例如，可在調(diào)整搜索結(jié)果的質(zhì)量水平時(shí)考慮廣告和/ 或相關(guān)搜索數(shù)據(jù)之間的熵。
在假設(shè)的示例中，現(xiàn)在將關(guān)于“顯示藍(lán)鉆石籌碼價(jià)值多少(SHOW HOff MUCH BLUE DIAMOND CHIPS ARE WORTH)”的搜索查詢(xún)來(lái)討論特征251-255，其中該搜索查詢(xún)中該用戶的意圖是確定在特定賭場(chǎng)賭博用的“藍(lán)鉆石”撲克牌籌碼的價(jià)值。首先，該搜索引擎可從該搜索查詢(xún)中提取語(yǔ)言頭，以便關(guān)鍵用語(yǔ)“藍(lán)(blue)”、“鉆石(diamond)”、“籌碼(chips)”和“價(jià)值(worth)”在分類(lèi)處理220中使用，而為了分類(lèi)目的可忽略搜索查詢(xún)中非關(guān)鍵的、常見(jiàn)和自然的語(yǔ)言(如“show how much”)。在一個(gè)示例中，排名首位的搜索結(jié)果可以是標(biāo)題為“大批的散鉆石碎片(Wholesale Loose Diamond Chips)”的文檔。這個(gè)示例的搜索結(jié)果將用于下文的討論中，以說(shuō)明分類(lèi)處理220的功能性應(yīng)用。
首先，可應(yīng)用該示例搜索結(jié)果的排名特征251來(lái)度量該搜索查詢(xún)中的關(guān)鍵用語(yǔ)和該示例搜索結(jié)果的內(nèi)容之間的關(guān)系。在示例實(shí)施例中，在搜索查詢(xún)用語(yǔ)“diamond”、" chips” 和“worth”之間可以有很高的匹配數(shù)量，而很少與“blue”的匹配。這些匹配可具體出現(xiàn)在包括“Diamond Chips”的標(biāo)題中，并可頻繁地出現(xiàn)在該搜索結(jié)果的內(nèi)容中。(這可能是相對(duì)于SERP上的其他搜索結(jié)果，示例搜索結(jié)果是排名首位的搜索結(jié)果的原因。)。結(jié)果，分類(lèi)處理220可根據(jù)對(duì)排名特征251的分析，將該示例搜索結(jié)果評(píng)價(jià)為與搜索查詢(xún)的用戶意圖相關(guān)。因此，排名特征251可將示例搜索結(jié)果標(biāo)識(shí)為“高質(zhì)量”搜索結(jié)果，且排名特征251的評(píng)價(jià)結(jié)果可另外地提高該示例搜索結(jié)果在絕對(duì)標(biāo)度中的分?jǐn)?shù)值。
在另一個(gè)示例中，可應(yīng)用該示例搜索結(jié)果的質(zhì)量級(jí)別特征252來(lái)單獨(dú)量化示例搜索結(jié)果的整體質(zhì)量而獨(dú)立于搜索查詢(xún)。在這個(gè)假設(shè)的示例中，該示例搜索結(jié)果的整體質(zhì)量通過(guò)檢查該示例搜索結(jié)果的內(nèi)部特征而確定。在一個(gè)示例中，可檢查該示例搜索結(jié)果的內(nèi)容，以列舉該文檔正文中的拼寫(xiě)錯(cuò)誤數(shù)量。因?yàn)樵撌纠阉鹘Y(jié)果由鉆石碎片經(jīng)銷(xiāo)商維護(hù)， 所以可在該文檔的正文中檢測(cè)出很多拼寫(xiě)錯(cuò)誤(如比起一般網(wǎng)頁(yè)有相對(duì)更高頻率的拼寫(xiě)錯(cuò)誤)。因此，根據(jù)質(zhì)量級(jí)別特征252的分析，分類(lèi)處理220可將該示例搜索結(jié)果評(píng)價(jià)為具有低質(zhì)量。因此，質(zhì)量級(jí)別特征252可將該示例搜索結(jié)果標(biāo)識(shí)為“低質(zhì)量”搜索結(jié)果，且質(zhì)量水平特征252的評(píng)價(jià)結(jié)果可另外地降低該示例搜索結(jié)果在絕對(duì)標(biāo)度中的分?jǐn)?shù)值。
在另一個(gè)示例中，關(guān)于質(zhì)量級(jí)別特征252，可檢查該示例搜索結(jié)果的域名，以確定該示例搜索結(jié)果是否導(dǎo)航至可信任的網(wǎng)站。再次因?yàn)樵撌纠阉鹘Y(jié)果由鉆石碎片經(jīng)銷(xiāo)商維護(hù)，與一個(gè)大的、知名且聲譽(yù)好的公司的網(wǎng)站相反，提供該示例搜索結(jié)果的網(wǎng)站的地址將可能是不可信任的網(wǎng)站。作為結(jié)果，根據(jù)質(zhì)量級(jí)別特征252的分析，分類(lèi)處理220可再次將該示例搜索結(jié)果評(píng)價(jià)為具有低質(zhì)量。因此，質(zhì)量級(jí)別特征252可將該示例搜索結(jié)果標(biāo)識(shí)為“低質(zhì)量”搜索結(jié)果，且可再次另外地降低該示例搜索結(jié)果在絕對(duì)標(biāo)度中的分?jǐn)?shù)值。
在另一個(gè)示例中，可以應(yīng)用該示例搜索結(jié)果的標(biāo)題級(jí)別特征253來(lái)列舉該搜索查詢(xún)中的關(guān)鍵用語(yǔ)和搜索引擎準(zhǔn)備好的、上面寫(xiě)著“鉆石購(gòu)買(mǎi)是買(mǎi)方注意銷(xiāo)售…你獲得了一幅可能顯示了該鉆石在其顏色最好時(shí)的圖片(DIAMOND BUYING IS BUYER BEWARE SELLING …YOU GET A PICTURE THAT MAY SHOW THE DIAMOND IN ITS BEST COLORS)” 的示例搜索結(jié)果的摘要。在這個(gè)摘要中，關(guān)鍵用語(yǔ)“diamond”匹配了兩次，關(guān)鍵用語(yǔ)“blue”與摘要用語(yǔ)“colors”有關(guān)，且關(guān)鍵用語(yǔ)“chips”和“worth”根本沒(méi)有匹配。因而，分類(lèi)處理220可根據(jù)標(biāo)題級(jí)別特征253的分析，將該示例搜索結(jié)果評(píng)價(jià)為具有差的摘要。
在另一個(gè)示例中，可以應(yīng)用該示例搜索結(jié)果的會(huì)話級(jí)別特征2M來(lái)根據(jù)在線會(huì)話過(guò)程期間用戶發(fā)起的搜索結(jié)果改進(jìn)、將該示例搜索結(jié)果標(biāo)記為相關(guān)或不相關(guān)。在一個(gè)示例中，如果在相同的在線會(huì)話期間在SERP中出現(xiàn)了該示例搜索結(jié)果，且對(duì)查看該示例搜索結(jié)果作出響應(yīng)，用戶改進(jìn)了該搜索查詢(xún)，則會(huì)話級(jí)別特征2 表明用戶對(duì)該示例搜索結(jié)果不滿意，且該示例搜索結(jié)果是低質(zhì)量的。在另一個(gè)示例中，如果在相同的在線會(huì)話期間在SERP 中出現(xiàn)了該示例搜索結(jié)果，但它幾乎沒(méi)有接收到用戶發(fā)起的選擇(如鼠標(biāo)點(diǎn)擊動(dòng)作)，則會(huì)話級(jí)別特征2M表明用戶發(fā)現(xiàn)該示例搜索結(jié)果與用戶的意圖不相關(guān)。
在最后的示例中，可以應(yīng)用該示例搜索結(jié)果的聚集特征255來(lái)考慮該搜索結(jié)果的內(nèi)容相比較該示例搜索結(jié)果之間的差異。例如，如果所有的搜索結(jié)果(包括該示例搜索結(jié)果在內(nèi))都與鉆石經(jīng)銷(xiāo)商相關(guān)(在其內(nèi)容中透露共同的主題)，那么交叉結(jié)果熵非常低，這降低了搜索結(jié)果質(zhì)量水平，這是因?yàn)橐恍┫嗷ゲ町悓?duì)該用戶有益。
根據(jù)評(píng)價(jià)各種特征(如圖2中的特征251-255)和/或其他分類(lèi)標(biāo)準(zhǔn)，分類(lèi)處理220 可預(yù)測(cè)搜索結(jié)果質(zhì)量水平。在示例實(shí)施例中，該預(yù)測(cè)部分地基于每個(gè)輸入250經(jīng)評(píng)價(jià)后指示哪個(gè)評(píng)級(jí)(好或差)。當(dāng)大量的輸入250指向共同方向時(shí)，則完成該預(yù)測(cè)。例如，參考以上假設(shè)的示例，輸入250的評(píng)價(jià)導(dǎo)致以下結(jié)果表明高質(zhì)量的排名特征251 ；表明低質(zhì)量的質(zhì)量級(jí)別特征252 ；表明低質(zhì)量的標(biāo)題級(jí)別特征253 ；表明低質(zhì)量的會(huì)話級(jí)別特征254 ；以及表明低質(zhì)量的聚集特征255。因?yàn)楦鶕?jù)在該示例搜索結(jié)果上的應(yīng)用，五類(lèi)分析特征251-255 中的四個(gè)表明該示例搜索結(jié)果是低質(zhì)量的，因此，分類(lèi)處理220產(chǎn)生的預(yù)測(cè)可將該示例搜索結(jié)果分類(lèi)為低質(zhì)量水平，從而可能觸發(fā)校正動(dòng)作。
在產(chǎn)生預(yù)測(cè)后，在實(shí)施例中，分類(lèi)處理220可采用機(jī)器學(xué)習(xí)步驟。即該預(yù)測(cè)可隨后與(或映射至)相似搜索結(jié)果集的人類(lèi)判斷的評(píng)級(jí)結(jié)果進(jìn)行比較。根據(jù)比較，分類(lèi)處理220 確定該預(yù)測(cè)的準(zhǔn)確性，并通過(guò)相對(duì)于人類(lèi)判斷的評(píng)級(jí)進(jìn)行訓(xùn)練來(lái)調(diào)適評(píng)價(jià)方法。調(diào)適可涉及在匯編評(píng)級(jí)以確定預(yù)測(cè)的搜索結(jié)果質(zhì)量水平時(shí)，學(xué)習(xí)如何加權(quán)各種輸入250、特征類(lèi)別以及特征251-255。換句話說(shuō)，將分類(lèi)處理配置為學(xué)習(xí)標(biāo)識(shí)最能確定質(zhì)量水平的分類(lèi)標(biāo)準(zhǔn)。
在產(chǎn)生質(zhì)量水平之后，可基于該質(zhì)量水平為正被分類(lèi)處理220評(píng)價(jià)的搜索結(jié)果分配分?jǐn)?shù)230。該分?jǐn)?shù)230可隨后與閾值進(jìn)行比較以確定該搜索結(jié)果是高質(zhì)量還是低質(zhì)量。 在示例實(shí)施例中，分配的分?jǐn)?shù)230代表絕對(duì)標(biāo)度中的值(0到100之間的數(shù)值)，閾值代表折合的累計(jì)增益(DCG)閾值，它是在絕對(duì)標(biāo)度中量化搜索結(jié)果質(zhì)量的度量標(biāo)準(zhǔn)。
因此，該分?jǐn)?shù)與閾值的比較將搜索結(jié)果質(zhì)量水平從預(yù)先定義的范圍中的參數(shù)變換為絕對(duì)量度M0。在實(shí)施例中，絕對(duì)量度240是排除了難處理的回答范圍的“是或否”或“肯定或否定”的回答。換句話說(shuō)，絕對(duì)量度240僅限于兩個(gè)兩個(gè)不同結(jié)果(即高質(zhì)量或低質(zhì)量) 中的一個(gè)。在操作中，絕對(duì)量度240的絕對(duì)值指令搜索引擎是否執(zhí)行一個(gè)或多個(gè)校正動(dòng)作， 而在由絕對(duì)量度240觸發(fā)后，搜索引擎采用下文討論的置信度級(jí)別來(lái)選擇一個(gè)或多個(gè)校正動(dòng)作來(lái)執(zhí)行。
現(xiàn)在將參考圖3討論用于實(shí)現(xiàn)進(jìn)行至少一個(gè)搜索結(jié)果質(zhì)量的絕對(duì)分類(lèi)(如圖2中的絕對(duì)量度M0)并基于絕對(duì)分類(lèi)值采取一個(gè)或多個(gè)校正動(dòng)作方法的系統(tǒng)體系結(jié)構(gòu)。首先， 圖3是說(shuō)明適于在實(shí)現(xiàn)本發(fā)明實(shí)施例中使用的分布式計(jì)算環(huán)境300的框圖。示例計(jì)算環(huán)境 300包括用戶設(shè)備310、數(shù)據(jù)存儲(chǔ)設(shè)備335、網(wǎng)絡(luò)服務(wù)器350、移動(dòng)設(shè)備370和互聯(lián)這些項(xiàng)中的每一個(gè)的網(wǎng)絡(luò)380。圖3所示的用戶設(shè)備310、數(shù)據(jù)存儲(chǔ)設(shè)備335、網(wǎng)絡(luò)服務(wù)器350和移動(dòng)設(shè)備370中的每個(gè)都可采用為各種類(lèi)型計(jì)算設(shè)備的形式，例如上文參考圖1描述的計(jì)算設(shè)備100。只是舉例不是限制，用戶設(shè)備310、網(wǎng)絡(luò)服務(wù)器350和/或移動(dòng)設(shè)備370可以是個(gè)人計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、消費(fèi)者電子設(shè)備、手持設(shè)備(如個(gè)人數(shù)字助理)、各種服務(wù)器、處理設(shè)備等。然而應(yīng)注意的是，本發(fā)明不限于在這些計(jì)算設(shè)備上實(shí)現(xiàn)，而是在本發(fā)明實(shí)施例的范圍內(nèi)可在不同類(lèi)型計(jì)算設(shè)備的任何一種上實(shí)現(xiàn)。
用戶設(shè)備310、網(wǎng)絡(luò)服務(wù)器350和移動(dòng)設(shè)備370中的每個(gè)典型地都包括(或鏈接于) 某種形式的計(jì)算單元(如中央處理單元、微處理器等)，以支持其上運(yùn)行的部件(多個(gè))(如查詢(xún)接收部件351、分類(lèi)部件352、分配部件353、應(yīng)用部件3M等)的操作。正如在此使用的， 短語(yǔ)“處理單元”一般指的是帶有處理能力和存儲(chǔ)器的專(zhuān)用計(jì)算設(shè)備，其支持軟件、應(yīng)用、計(jì)算機(jī)程序在其上執(zhí)行的基礎(chǔ)的操作軟件。在一個(gè)示例中，為了使每個(gè)設(shè)備能執(zhí)行通信相關(guān)的處理和其他操作(如執(zhí)行圖2中的分類(lèi)處理220)，計(jì)算單元配置有分別集成到或可操作地耦接至用戶設(shè)備310、網(wǎng)絡(luò)服務(wù)器350和/或移動(dòng)設(shè)備370的有形硬件元件或機(jī)器。在另一個(gè)示例中，該計(jì)算單元可包括耦接至由用戶設(shè)備310、網(wǎng)絡(luò)服務(wù)器350和/或移動(dòng)設(shè)備 370中的每個(gè)容納的計(jì)算機(jī)可讀介質(zhì)的處理器(多個(gè)，未顯示)。
通常，計(jì)算機(jī)可讀介質(zhì)包括至少暫時(shí)地存儲(chǔ)多個(gè)可由該處理器執(zhí)行的計(jì)算機(jī)軟件部件的物理存儲(chǔ)器。如在此使用的，術(shù)語(yǔ)“處理器”不意圖是限定性的，并可包括以計(jì)算能力行動(dòng)的計(jì)算單元中的任何元件。在這個(gè)能力中，該處理器可被配置為處理指令的有形物體。在示例實(shí)施例中，處理可涉及讀取、解碼/解釋、執(zhí)行和回寫(xiě)指令。
除了處理指令之外，該處理器還可往返于布置在用戶設(shè)備310、網(wǎng)絡(luò)服務(wù)器350和移動(dòng)設(shè)備370上或集成到其中的其他資源來(lái)傳遞信息。資源一般指使用戶設(shè)備310、網(wǎng)絡(luò)服務(wù)器350和移動(dòng)設(shè)備370能執(zhí)行特定功能的軟件部件或硬件機(jī)構(gòu)。只是舉例來(lái)說(shuō)，由網(wǎng)絡(luò)服務(wù)器350容納的資源(多個(gè))進(jìn)行操作以輔助搜索引擎345從用戶設(shè)備310或移動(dòng)設(shè)備 370的用戶處接收輸入，和/或響應(yīng)于輸入而提供合適的通信⑶Π，呈現(xiàn)搜索結(jié)果325)。
用戶設(shè)備310可包括輸入設(shè)備(未顯示)和呈現(xiàn)設(shè)備315。一般，提供輸入設(shè)備以接收特別地影響由搜索引擎345呈現(xiàn)并且在用戶界面(UI)顯示器320處表面顯示的搜索結(jié)果325的輸入(多個(gè))。說(shuō)明性的輸入設(shè)備包括圖1中的鼠標(biāo)、控制桿、小鍵盤(pán)、麥克風(fēng)、I/O 部件120或能夠接收用戶輸入并將該輸入的指示傳輸給用戶設(shè)備310的其他任何部件。只是舉例而言，輸入設(shè)備便于搜索查詢(xún)375的輸入，其通過(guò)網(wǎng)絡(luò)380傳輸至網(wǎng)絡(luò)服務(wù)器350以便由搜索引擎345處理。
在實(shí)施例中，呈現(xiàn)設(shè)備315被配置為呈現(xiàn)和/或在其上給出UI顯示320?？膳c用戶設(shè)備310的輸出操作耦接的呈現(xiàn)設(shè)備315可被配置為能將信息呈現(xiàn)給用戶的任何呈現(xiàn)部件，如數(shù)字監(jiān)視器、電子顯示面板、觸摸屏、模擬機(jī)頂盒、等離子顯示屏、揚(yáng)聲器、盲文面板等。在一個(gè)示例實(shí)施例中，呈現(xiàn)設(shè)備315配置成呈現(xiàn)豐富內(nèi)容，如搜索結(jié)果325、相關(guān)廣告和數(shù)字圖像和視頻。在另一個(gè)示例實(shí)施例中，呈現(xiàn)設(shè)備315能夠呈現(xiàn)其他形式的介質(zhì)(即音頻信號(hào))。
見(jiàn)圖2，數(shù)據(jù)存儲(chǔ)設(shè)備335通常被配置為存儲(chǔ)與評(píng)價(jià)搜索結(jié)果質(zhì)量水平、確定分?jǐn)?shù) 230和基于以上導(dǎo)出絕對(duì)量度240相關(guān)聯(lián)的信息。在操作中，當(dāng)用戶正在搜索引擎345處實(shí)施搜索時(shí)，搜索引擎345可訪問(wèn)駐留在數(shù)據(jù)存儲(chǔ)設(shè)備335處的信息，如該用戶的簡(jiǎn)檔(捕捉該用戶的歷史搜索動(dòng)作)、一般社會(huì)行為的數(shù)據(jù)記錄(捕捉多個(gè)用戶的歷史在線動(dòng)作)和/ 或一個(gè)或多個(gè)到分類(lèi)處理220的輸入250 (見(jiàn)圖2)。
在其他實(shí)施例中，可將數(shù)據(jù)存儲(chǔ)設(shè)備335配置為可被搜索，以便適當(dāng)?shù)卦L問(wèn)由此維護(hù)的信息。例如，針對(duì)分類(lèi)處理220的輸入250和人類(lèi)判斷評(píng)級(jí)可搜索數(shù)據(jù)存儲(chǔ)設(shè)備335 來(lái)訓(xùn)練分類(lèi)處理220。本領(lǐng)域普通技術(shù)人員要理解和領(lǐng)會(huì)的是，數(shù)據(jù)存儲(chǔ)設(shè)備335中存儲(chǔ)的信息可以是可配置的，并可包括與搜索結(jié)果質(zhì)量水平的確定和/或檢索、以及對(duì)從中觸發(fā)的校正動(dòng)作的選擇相關(guān)的任何信息。這樣的用戶交互的信息內(nèi)容和量不意圖在任何方式上限制本發(fā)明實(shí)施例的范圍。進(jìn)一步地，雖然作為單個(gè)和獨(dú)立的部件而示出，數(shù)據(jù)存儲(chǔ)設(shè)備 335實(shí)際上可以是多個(gè)數(shù)據(jù)庫(kù)，例如數(shù)據(jù)庫(kù)集群，其部分可駐留在客戶端設(shè)備310、網(wǎng)絡(luò)服務(wù)器350、移動(dòng)設(shè)備370、其他外部計(jì)算設(shè)備(未顯示)和/或它們?nèi)魏蔚慕M合上。
這個(gè)分布式計(jì)算環(huán)境300只是可實(shí)現(xiàn)來(lái)執(zhí)行本發(fā)明的方面的合適環(huán)境的一個(gè)實(shí)例，而并不意圖暗示關(guān)于本發(fā)明的使用或功能范圍的任何限制。示出的分布式計(jì)算環(huán)境300 也不應(yīng)解釋為具有涉及所示的設(shè)備310、350和370、數(shù)據(jù)存儲(chǔ)設(shè)備335和部件351-3M中的任何一個(gè)或者組合的任何依賴(lài)或要求。在一些實(shí)施例中，部件351-354的一個(gè)或多個(gè)可作為獨(dú)立設(shè)備而實(shí)現(xiàn)。在其他實(shí)施例中，部件351-354的一個(gè)或多個(gè)可直接集成至網(wǎng)絡(luò)服務(wù)器350中，或集成到互相連接以形成網(wǎng)絡(luò)服務(wù)器350的分布式節(jié)點(diǎn)上。要領(lǐng)會(huì)和理解的是， 部件351-354 (圖3所示)本質(zhì)上和數(shù)量上是示例性的而不應(yīng)解釋為限制。
因此，可以采用任何數(shù)量的部件來(lái)實(shí)現(xiàn)在本發(fā)明的實(shí)施例范圍中的想要的功能。 雖然為了清晰起見(jiàn)而利用線示出了圖3的各種部件，然后劃分各個(gè)部件并不如此清晰，而且象征性地，這些線條更準(zhǔn)確地會(huì)是灰色的或模糊的。進(jìn)一步地，雖然圖3的一些部件描繪13成單個(gè)塊，這些描述在本質(zhì)上和數(shù)量上是示例性的而不被解釋為限制(如，雖然只顯示了一個(gè)呈現(xiàn)設(shè)備315，但是可以有更多的設(shè)備通信地耦接至客戶端設(shè)備310)。
進(jìn)一步地，示例系統(tǒng)系統(tǒng)結(jié)構(gòu)中的設(shè)備可由相關(guān)領(lǐng)域已知的任何方法相互連接。 例如，用戶設(shè)備310、網(wǎng)絡(luò)服務(wù)器350和移動(dòng)設(shè)備370可通過(guò)包括多個(gè)通過(guò)一個(gè)或多個(gè)網(wǎng)絡(luò) (未顯示)彼此耦接的計(jì)算設(shè)備的分布式計(jì)算環(huán)境而操作地耦接。在實(shí)施例中，該網(wǎng)絡(luò)可包括(但不限于)一個(gè)或多個(gè)局域網(wǎng)(LAN)和/或廣域網(wǎng)(WAN)。這種聯(lián)網(wǎng)環(huán)境常見(jiàn)于辦公室、 企業(yè)范圍的計(jì)算機(jī)網(wǎng)絡(luò)、企業(yè)內(nèi)部網(wǎng)和互聯(lián)網(wǎng)。因此，在此不再進(jìn)一步描述該網(wǎng)絡(luò)。
在操作中，部件351-3M被設(shè)計(jì)成執(zhí)行以下處理，該處理至少包括逐個(gè)地自動(dòng)確定搜索結(jié)果的絕對(duì)量度(高質(zhì)量或低質(zhì)量)，且采取合適的校正動(dòng)作。應(yīng)注意的是，將共同參照?qǐng)D3和4，描述搜索引擎345的操作。
首先，搜索引擎345包括查詢(xún)接收部件351，其被配置為接收由用戶發(fā)布的搜索查詢(xún)375，并返回部分基于該搜索查詢(xún)375而產(chǎn)生的搜索結(jié)果集325。以這種方式，查詢(xún)接收部件351充當(dāng)圖4中與用戶410接口的前端體驗(yàn)420，而頂級(jí)聚集器440提供后端體驗(yàn)。在實(shí)施例中，該后端體驗(yàn)涉及頂級(jí)聚集器440將已處理的查詢(xún)411發(fā)布至網(wǎng)絡(luò)索引450并從中檢索搜索結(jié)果325。
繼續(xù)參考圖4，將應(yīng)答頂級(jí)聚集器430配置為通過(guò)將搜索查詢(xún)375發(fā)送至組合的修改服務(wù)/拼寫(xiě)器435來(lái)處理搜索查詢(xún)375。在應(yīng)答頂級(jí)聚集器430接收已處理的查詢(xún)411 時(shí)(如使拼寫(xiě)錯(cuò)誤得到修正及附加了其他同義詞/邏輯修改)，已處理的查詢(xún)411用于產(chǎn)生搜索結(jié)果325。在接收搜索結(jié)果325時(shí)，頂級(jí)聚集器440執(zhí)行圖2中的分類(lèi)處理220，以產(chǎn)生回傳至應(yīng)答頂級(jí)聚集器430的輸出416 (如圖2中的絕對(duì)量度M0)。
現(xiàn)在轉(zhuǎn)向在圖3的計(jì)算環(huán)境300內(nèi)的系統(tǒng)體系結(jié)構(gòu)，提供類(lèi)似圖4的頂級(jí)聚集器 440的分類(lèi)部件352或者由頂級(jí)聚集器440提供分類(lèi)部件352。也就是說(shuō)，分類(lèi)部件352被配置為實(shí)現(xiàn)自動(dòng)地確定搜索結(jié)果集325中的一個(gè)或多個(gè)搜索結(jié)果的質(zhì)量度量的分類(lèi)處理。如上面參考圖2詳細(xì)描述的那樣，采用分類(lèi)處理來(lái)自動(dòng)地確定就絕對(duì)意義來(lái)說(shuō)搜索結(jié)果325 是否是可接受的(即，滿足搜索查詢(xún)375的用戶意圖)。典型地，該分類(lèi)處理包括評(píng)價(jià)由搜索結(jié)果(多個(gè))325呈現(xiàn)的各種特征來(lái)確定整體質(zhì)量水平、并且根據(jù)為每個(gè)搜索結(jié)果(多個(gè))325 確定的整體質(zhì)量水平導(dǎo)出絕對(duì)度量的步驟。通常，絕對(duì)度量以互相排斥的方式將搜索結(jié)果 (多個(gè))325分別標(biāo)識(shí)為要么高質(zhì)量要么低質(zhì)量。
在示例實(shí)施例中，分配部件353被配置為基于分類(lèi)處理的結(jié)果將每個(gè)搜索結(jié)果 (多個(gè)》25標(biāo)記為“高質(zhì)量”或者“低質(zhì)量”。將這些被標(biāo)記的搜索結(jié)果傳遞到應(yīng)用部件354， 其在當(dāng)一個(gè)或多個(gè)搜索結(jié)果(例如，X數(shù)目個(gè)最高排名的搜索結(jié)果或者在SERP上的大多數(shù)搜索結(jié)果)被標(biāo)記為“低質(zhì)量“時(shí)，激活適當(dāng)?shù)男Ｕ齽?dòng)作。
在示例實(shí)施例中，作為置信度級(jí)別的函數(shù)來(lái)選擇適當(dāng)?shù)男Ｕ齽?dòng)作。作為此處的使用，“置信度級(jí)別”不意指在定義上的限制，而是涵蓋涉及下述可能性的任何度量，該可能性為由應(yīng)用部件3M提供的重寫(xiě)搜索查詢(xún)內(nèi)的任何替換用語(yǔ)會(huì)產(chǎn)生相對(duì)于當(dāng)前“低質(zhì)量”搜索結(jié)果325有改進(jìn)的新的搜索結(jié)果。簡(jiǎn)明而言，在實(shí)施例中，置信度級(jí)別指示搜索引擎編寫(xiě)的搜索查詢(xún)將產(chǎn)生提高的搜索結(jié)果的可能性。在應(yīng)用中，置信度級(jí)別用于選擇一個(gè)或多個(gè)校正動(dòng)作，諸如呈現(xiàn)重新編制用戶接口(UI) 340、經(jīng)由通知消息警告用戶搜索結(jié)果(多個(gè)) 325被標(biāo)記為“低質(zhì)量”、避免向用戶呈現(xiàn)低質(zhì)量搜索結(jié)果、或者自動(dòng)地重寫(xiě)該搜索查詢(xún)375以產(chǎn)生搜索結(jié)果的更新集。
在示例實(shí)施例中，在計(jì)算到由應(yīng)用部件邪4建議的替換用語(yǔ)的高置信度級(jí)別時(shí)， 自動(dòng)地重寫(xiě)和自動(dòng)地發(fā)布搜索查詢(xún)375。相反，在計(jì)算到由應(yīng)用部件3M建議的替換用語(yǔ)的低置信度級(jí)別時(shí)，呈現(xiàn)重新編制UI 340。在一種情況下，重新編制UI 340請(qǐng)求和接受用戶發(fā)起的交互385 (諸如鼠標(biāo)點(diǎn)擊選擇)，以便引導(dǎo)改變搜索查詢(xún)內(nèi)的關(guān)鍵用語(yǔ)。舉例來(lái)說(shuō)，改變關(guān)鍵用語(yǔ)可能涉及替代或者刪除搜索查詢(xún)375內(nèi)的一個(gè)或多個(gè)關(guān)鍵用語(yǔ)。
雖然已經(jīng)描述了在確定一個(gè)或多個(gè)搜索結(jié)果被標(biāo)記為“低質(zhì)量”時(shí)增強(qiáng)搜索結(jié)果 325的各種不同的方法，但是應(yīng)當(dāng)理解和領(lǐng)會(huì)的是，可以使用其它類(lèi)型的適當(dāng)方法和接口用于選擇和實(shí)現(xiàn)校正動(dòng)作，而且本發(fā)明的實(shí)施例不局限于上述校正動(dòng)作。例如，附加校正動(dòng)作可涉及給予第三方機(jī)構(gòu)使用該第三方機(jī)構(gòu)的經(jīng)驗(yàn)和資源來(lái)重新編制搜索查詢(xún)375的機(jī)會(huì)。
現(xiàn)在轉(zhuǎn)到圖5，示出了描述根據(jù)本發(fā)明的實(shí)施例、采用搜索結(jié)果集的質(zhì)量水平來(lái)激活一個(gè)或多個(gè)校正動(dòng)作的示例方法500的流程圖。首先，要領(lǐng)會(huì)和理解的是，除非且除了個(gè)別步驟順序被明確描述時(shí)之外，否則雖然在此可能使用詞條“步驟”和/或“框”以暗示采用的不同方法單元，但這些術(shù)語(yǔ)不應(yīng)解釋為暗示在此公開(kāi)的各個(gè)步驟之中或之間的任何特定順序。
在示例實(shí)施例中，方法500涉及訪問(wèn)搜索結(jié)果集(見(jiàn)框502)并通過(guò)向其應(yīng)用多個(gè)分類(lèi)標(biāo)準(zhǔn)而單獨(dú)地確定該搜索結(jié)果集的質(zhì)量水平(見(jiàn)框504)。如上文更充分的描述，該分類(lèi)標(biāo)準(zhǔn)包括評(píng)價(jià)由該搜索結(jié)果單獨(dú)表達(dá)的排名特征、質(zhì)量級(jí)別特征、標(biāo)題級(jí)別特征、會(huì)話級(jí)別特征或聚集特征中的至少一個(gè)。如框506所示，該方法可通過(guò)為該搜索結(jié)果集中的至少一個(gè)結(jié)果分配在絕對(duì)標(biāo)度中的分?jǐn)?shù)而繼續(xù)。該分?jǐn)?shù)典型地基于確定的質(zhì)量水平。如框508所示，該分?jǐn)?shù)可與在絕對(duì)標(biāo)度中的閾值進(jìn)行比較。因此，可基于該比較的結(jié)果選擇并執(zhí)行一個(gè)或多個(gè)校正動(dòng)作。這如框510所示參考圖6，示出了描述根據(jù)本發(fā)明的實(shí)施例的將搜索結(jié)果分類(lèi)為高質(zhì)量或低質(zhì)量的示例方法600的流程圖。首先，提供方法600，它可代表由搜索引擎(在處理器上運(yùn)行的)執(zhí)行的用于將搜索結(jié)果分類(lèi)為高質(zhì)量或低質(zhì)量的計(jì)算機(jī)化的方法。在實(shí)施例中，如框602所示， 方法600可涉及提供響應(yīng)于由用戶撰寫(xiě)并發(fā)布的搜索查詢(xún)而返回的搜索結(jié)果集的步驟。如框604所示，該搜索結(jié)果集可相對(duì)于彼此排名。在一個(gè)示例中，作為每個(gè)搜索結(jié)果與發(fā)布的搜索查詢(xún)的相關(guān)性的函數(shù)來(lái)計(jì)算該排名。如框606所示，搜索引擎隨后可選擇一個(gè)或多個(gè)被排名為與發(fā)布的搜索查詢(xún)高度相關(guān)的搜索結(jié)果用于評(píng)價(jià)。
如框609所示，可通過(guò)采用分類(lèi)處理來(lái)確定每個(gè)選擇的搜索結(jié)果的質(zhì)量水平。在示例實(shí)施例中，該分類(lèi)處理包括一個(gè)或多個(gè)以下步驟確定由待評(píng)價(jià)的、選定搜索結(jié)果展示的目標(biāo)特征(見(jiàn)框610);評(píng)價(jià)該目標(biāo)特征來(lái)為每個(gè)選擇的搜索結(jié)果單獨(dú)產(chǎn)生質(zhì)量水平的分?jǐn)?shù)(見(jiàn)框612)；將該分?jǐn)?shù)與預(yù)先定義的閾值進(jìn)行(見(jiàn)框614)；以及，基于該比較為每個(gè)選擇的搜索結(jié)果分配絕對(duì)量度(見(jiàn)框616)。在示例中，當(dāng)該分?jǐn)?shù)比閾值高時(shí)，絕對(duì)量度指示高質(zhì)量。否則，該絕對(duì)量度指示所選擇的搜索結(jié)果為低質(zhì)量。如框618所示，在識(shí)別出所選擇的搜索結(jié)果被分配了指示低質(zhì)量的絕對(duì)量度后，在識(shí)別后自動(dòng)執(zhí)行重新編制所發(fā)布的搜索查詢(xún)的校正動(dòng)作。
如上所述，該校正動(dòng)作可涉及(如當(dāng)自動(dòng)撰寫(xiě)的搜索查詢(xún)中的置信度高時(shí))搜索引擎隱含地重寫(xiě)搜索查詢(xún)?；蛘咴撔Ｕ齽?dòng)作可涉及在重新編制UI中明確地為用戶提供預(yù)置的建議，其征求用戶修改搜索查詢(xún)的關(guān)鍵用語(yǔ)的反饋(如當(dāng)自動(dòng)撰寫(xiě)的搜索查詢(xún)中的置信度低時(shí))。要領(lǐng)會(huì)和理解的是，可實(shí)現(xiàn)其他校正動(dòng)作以輔助用戶有效地到達(dá)與他或她的用戶意圖相關(guān)的搜索結(jié)果。
已經(jīng)說(shuō)明性而不是限制性地描述了本發(fā)明的各種實(shí)施例。時(shí)不時(shí)地，替換實(shí)施例會(huì)變得明顯而不脫離本發(fā)明實(shí)施例。要理解的是，某些特征和子組合很實(shí)用，并且可以被采用而不用參考其他特征和子組合。這是本權(quán)利要求所預(yù)期的且在本權(quán)利要求的范圍內(nèi)。
權(quán)利要求
1.一個(gè)或多個(gè)計(jì)算機(jī)可讀介質(zhì)，其上包含有計(jì)算機(jī)可執(zhí)行指令，這些指令在執(zhí)行時(shí)，執(zhí)行一種采用搜索結(jié)果集的質(zhì)量水平來(lái)激活一個(gè)或多個(gè)校正動(dòng)作的方法，該方法包括訪問(wèn)(502)該搜索結(jié)果集；通過(guò)向其應(yīng)用多個(gè)分類(lèi)標(biāo)準(zhǔn)而單獨(dú)地確定(504)該搜索結(jié)果集的質(zhì)量水平；基于所確定的質(zhì)量水平，為該搜索結(jié)果集中至少一個(gè)結(jié)果分配(506)在絕對(duì)標(biāo)度中的分?jǐn)?shù)；將該分?jǐn)?shù)與在絕對(duì)標(biāo)度中的閾值進(jìn)行比較(508 )；以及當(dāng)該分?jǐn)?shù)在絕對(duì)標(biāo)度上低于閾值時(shí)，激活(510)—個(gè)或多個(gè)校正動(dòng)作，以通知用戶搜索結(jié)果集被確定為具有低質(zhì)量水平；以及當(dāng)該分?jǐn)?shù)在絕對(duì)標(biāo)度上超過(guò)閾值時(shí)，放棄(510)激活一個(gè)或多個(gè)校正動(dòng)作，以通知該用戶該搜索結(jié)果集被確定為具有高質(zhì)量水平。
2.如權(quán)利要求1所述的介質(zhì)，其中該方法進(jìn)一步包括接收用戶發(fā)布的搜索查詢(xún)；以及返回基于該搜索查詢(xún)內(nèi)的至少一個(gè)用語(yǔ)而產(chǎn)生的搜索結(jié)果集。
3.如權(quán)利要求2所述的介質(zhì)，其中該方法進(jìn)一步包括部分地基于與該搜索查詢(xún)中隱含的用戶意圖的相關(guān)性，將該搜索結(jié)果集中的搜索結(jié)果相對(duì)彼此排名；以及以在排名中高排名的搜索結(jié)果為目標(biāo)，來(lái)啟動(dòng)確定該搜索結(jié)果集的質(zhì)量水平。
4.如權(quán)利要求1所述的介質(zhì)，其中該方法進(jìn)一步包括，在比較揭示分?jǐn)?shù)高于閾值時(shí)，將至少一個(gè)搜索結(jié)果分類(lèi)為高質(zhì)量。
5.如權(quán)利要求1所述的介質(zhì)，其中該方法進(jìn)一步包括，在比較揭示該分?jǐn)?shù)低于閾值時(shí)， 將至少一個(gè)搜索結(jié)果分類(lèi)為低質(zhì)量。
6.如權(quán)利要求2所述的介質(zhì)，其中多個(gè)分類(lèi)標(biāo)準(zhǔn)包括一個(gè)或多個(gè)排名特征，它單獨(dú)度量該搜索查詢(xún)內(nèi)的關(guān)鍵用語(yǔ)和該搜索結(jié)果集的內(nèi)容之間的關(guān)系。
7.如權(quán)利要求2所述的介質(zhì)，其中多個(gè)分類(lèi)標(biāo)準(zhǔn)包括一個(gè)或多個(gè)質(zhì)量級(jí)別特征，其單獨(dú)量化該搜索結(jié)果集的整體質(zhì)量而獨(dú)立于搜索查詢(xún)，其中整體質(zhì)量是該搜索結(jié)果集的內(nèi)容或集成到該搜索結(jié)果集的域名中的至少一個(gè)的函數(shù)。
8.如權(quán)利要求2所述的介質(zhì)，其中多個(gè)分類(lèi)標(biāo)準(zhǔn)包括一個(gè)或多個(gè)標(biāo)題級(jí)別特征，其列舉該搜索查詢(xún)內(nèi)的關(guān)鍵用語(yǔ)和搜索引擎預(yù)備的、搜索結(jié)果集中的每個(gè)特有的概要之間的匹配數(shù)。
9.如權(quán)利要求2所述的介質(zhì)，其中多個(gè)分類(lèi)標(biāo)準(zhǔn)包括一個(gè)或多個(gè)會(huì)話級(jí)別特征，其基于在在線會(huì)話過(guò)程期間用戶發(fā)起的、對(duì)搜索結(jié)果的改進(jìn)，將該搜索結(jié)果集中的搜索結(jié)果標(biāo)記為相關(guān)或不相關(guān)。
10.如權(quán)利要求2所述的介質(zhì)，其中多個(gè)分類(lèi)標(biāo)準(zhǔn)包括一個(gè)或多個(gè)聚集特征，其考慮該搜索結(jié)果集的內(nèi)容、在搜索結(jié)果頁(yè)面中發(fā)布的廣告或包括由搜索引擎與該搜索結(jié)果集一起提供的相關(guān)搜索的用語(yǔ)中的至少一個(gè)之間的變化。
11.如權(quán)利要求1所述的介質(zhì)，其中該方法進(jìn)一步包括計(jì)算搜索引擎撰寫(xiě)的搜索查詢(xún)將提供改進(jìn)的搜索結(jié)果的置信度級(jí)別。
12.如權(quán)利要求11所述的介質(zhì)，其中作為比較的函數(shù)來(lái)激活一個(gè)或多個(gè)校正動(dòng)作包括當(dāng)根據(jù)比較分?jǐn)?shù)少于閾值而置信度級(jí)別高時(shí)，自動(dòng)重寫(xiě)搜索查詢(xún)；以及發(fā)布重寫(xiě)的搜索查詢(xún)以產(chǎn)生新的搜索結(jié)果集。
13.如權(quán)利要求1所述的介質(zhì)，其中作為比較的函數(shù)來(lái)激活一個(gè)或多個(gè)校正動(dòng)作包括 當(dāng)根據(jù)比較分?jǐn)?shù)少于閾值且置信度級(jí)別低時(shí)，呈現(xiàn)重新編制用戶界面(UI)；以及在該重新編制UI處接收替代或移除搜索查詢(xún)中的一個(gè)或多個(gè)關(guān)鍵用語(yǔ)的、用戶發(fā)起的選擇。
14.一個(gè)計(jì)算機(jī)系統(tǒng)，用于進(jìn)行至少一個(gè)搜索結(jié)果的質(zhì)量的絕對(duì)分類(lèi)，該計(jì)算機(jī)系統(tǒng)包括耦接至計(jì)算機(jī)存儲(chǔ)介質(zhì)的處理單元、該計(jì)算機(jī)存儲(chǔ)介質(zhì)上儲(chǔ)存了多個(gè)可由處理單元執(zhí)行的計(jì)算機(jī)軟件部件，該計(jì)算機(jī)軟件部件包括查詢(xún)接收部件(351)，接收由用戶發(fā)布的搜索查詢(xún)，并返回部分地基于該搜索查詢(xún)而產(chǎn)生的搜索結(jié)果集；分類(lèi)部件(352)，執(zhí)行自動(dòng)確定該搜索結(jié)果集中的一個(gè)或多個(gè)搜索結(jié)果的質(zhì)量類(lèi)別的分類(lèi)處理，該分類(lèi)處理包括(a)評(píng)價(jià)由一個(gè)或多個(gè)搜索結(jié)果展出的各種特征，來(lái)確定這些特征展示了增加的還是降低的整體質(zhì)量水平；以及(b)從為一個(gè)或多個(gè)搜索結(jié)果中的每一個(gè)確定的整體質(zhì)量水平中導(dǎo)出絕對(duì)量度，其中該絕對(duì)量度將一個(gè)或多個(gè)搜索結(jié)果單獨(dú)地標(biāo)識(shí)為高質(zhì)量或低質(zhì)量；分配部件(353)，基于分類(lèi)處理的結(jié)果，將一個(gè)或多個(gè)搜索結(jié)果標(biāo)記為高質(zhì)量或低質(zhì)量；以及應(yīng)用部件(3M)，在一個(gè)或多個(gè)搜索結(jié)果被標(biāo)記為低質(zhì)量時(shí)激活合適的校正動(dòng)作，其中作為自動(dòng)重寫(xiě)的搜索查詢(xún)將提供改進(jìn)的搜索結(jié)果的置信度級(jí)別的函數(shù)來(lái)選擇合適的校正動(dòng)作，以及其中當(dāng)一個(gè)或多個(gè)搜索結(jié)果被標(biāo)記為高質(zhì)量時(shí)，該應(yīng)用部件放棄激活任何校正動(dòng)作。
15.一種由運(yùn)行在處理器上的搜索引擎執(zhí)行的計(jì)算機(jī)化的方法，用于將搜索結(jié)果分類(lèi)為高質(zhì)量或低質(zhì)量，該方法包括提供(602)響應(yīng)于用戶撰寫(xiě)和發(fā)布的搜索查詢(xún)而返回的搜索結(jié)果集； 作為與發(fā)布的搜索查詢(xún)的相關(guān)性的函數(shù)將該搜索結(jié)果集相對(duì)彼此排名(604)； 選擇(606)被排名為與發(fā)布的搜索查詢(xún)高度相關(guān)的搜索結(jié)果集中的一個(gè)或多個(gè)來(lái)評(píng)價(jià)；通過(guò)采用分類(lèi)處理，為一個(gè)或多個(gè)選擇的搜索結(jié)果中的每一個(gè)確定(608)質(zhì)量水平， 其中該分類(lèi)處理包括(a)確定(610)由一個(gè)或多個(gè)要評(píng)價(jià)的選定搜索結(jié)果展示的目標(biāo)特征；(b)評(píng)價(jià)(612)目標(biāo)特征來(lái)為一個(gè)或多個(gè)選定搜索結(jié)果中的每一個(gè)產(chǎn)生質(zhì)量水平分?jǐn)?shù)；(c)將該分?jǐn)?shù)相對(duì)于預(yù)先定義的閾值進(jìn)行比較；以及(d)基于該比較，為一個(gè)或多個(gè)選定搜索結(jié)果中的每一個(gè)分配絕對(duì)量度，其中當(dāng)分?jǐn)?shù)高于閾值時(shí)，該絕對(duì)量度表明高質(zhì)量，其中當(dāng)分?jǐn)?shù)少于閾值時(shí)，該絕對(duì)量度表明低質(zhì)量；以及在識(shí)別出一個(gè)或多個(gè)選定搜索結(jié)果被分配了表明低質(zhì)量的絕對(duì)量度時(shí)，自動(dòng)執(zhí)行(618)重新編制所發(fā)布的搜索查詢(xún)的校正動(dòng)作。
全文摘要
提供了用于將搜索結(jié)果分類(lèi)為高質(zhì)量或低質(zhì)量的計(jì)算機(jī)可讀介質(zhì)、計(jì)算機(jī)系統(tǒng)和計(jì)算方法。首先，選擇部分搜索結(jié)果(如最高排名的文檔)用以評(píng)價(jià)。使用分類(lèi)處理確定每個(gè)選擇的搜索結(jié)果的質(zhì)量水平，分類(lèi)處理包括以下步驟確定由待評(píng)價(jià)的選定搜索結(jié)果展示的目標(biāo)特征；評(píng)價(jià)所選擇的特征來(lái)為每個(gè)選擇的搜索結(jié)果產(chǎn)生質(zhì)量水平分?jǐn)?shù)；將該分?jǐn)?shù)與預(yù)先定義的閾值進(jìn)行比較；以及基于該比較為每個(gè)選擇的搜索結(jié)果分配絕對(duì)量度。當(dāng)分?jǐn)?shù)少于閾值時(shí)，該絕對(duì)量度表明低質(zhì)量。在識(shí)別出選擇的搜索結(jié)果為低質(zhì)量時(shí)，自動(dòng)執(zhí)行重新編制所發(fā)布的搜索查詢(xún)的校正動(dòng)作。
文檔編號(hào)G06F17/30GK102542012SQ20111042006
公開(kāi)日2012年7月4日 申請(qǐng)日期2011年12月15日 優(yōu)先權(quán)日2010年12月15日
發(fā)明者A.古普塔, A.阿杜爾卡德, F.候賽尼, G.庫(kù)馬, G.庫(kù)馬蘭, N.罕, S.阿哈里, V.奈爾 申請(qǐng)人:微軟公司