實(shí)現(xiàn)個(gè)性化搜索的方法和裝置制造方法
【專利摘要】本發(fā)明提出一種實(shí)現(xiàn)個(gè)性化搜索的方法和裝置，該實(shí)現(xiàn)個(gè)性化搜索的方法包括接收用戶輸入的查詢?cè)~；根據(jù)預(yù)先建立的對(duì)應(yīng)所述用戶建立的詞向量集合中，獲取所述查詢?cè)~對(duì)應(yīng)的詞向量；將所述查詢?cè)~和所述詞向量發(fā)送給服務(wù)端，以使所述服務(wù)端根據(jù)所述查詢?cè)~和所述詞向量獲取搜索結(jié)果；接收所述服務(wù)端發(fā)送的搜索結(jié)果，并展現(xiàn)所述搜索結(jié)果。該方法可以實(shí)現(xiàn)用戶的個(gè)性化搜索，并且保護(hù)用戶隱私。
【專利說明】實(shí)現(xiàn)個(gè)性化搜索的方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及信息【技術(shù)領(lǐng)域】，尤其涉及一種實(shí)現(xiàn)個(gè)性化搜索的方法和裝置。

【背景技術(shù)】
[0002] 用戶可以在互聯(lián)網(wǎng)上通過搜索獲取所需信息，在搜索時(shí)，用戶可以在搜索引擎的 搜索欄中輸入查詢?cè)~并根據(jù)查詢?cè)~獲取搜索結(jié)果?，F(xiàn)有技術(shù)中，服務(wù)端是根據(jù)查詢?cè)~進(jìn)行 匹配，得到搜索結(jié)果，對(duì)于不同的用戶，如果輸入相同的查詢時(shí)，則獲取到相同的搜索結(jié)果。
[0003] 但是，由于用戶具有個(gè)性化特點(diǎn)，不同的用戶在搜索同一個(gè)查詢?cè)~時(shí)需要的搜索 結(jié)果可能是不同的，例如，當(dāng)一個(gè)英雄聯(lián)盟游戲的愛好者與一名智能手機(jī)的愛好者都輸入 "S4"這個(gè)查詢?cè)~的時(shí)候，有極大的可能，前者想要的結(jié)果是"英雄聯(lián)盟L0L_2014職業(yè)聯(lián)賽 _S4賽季全球總決賽"，而后者所想要的結(jié)果是"三星的智能手機(jī)Galaxy S4"。
[0004] 現(xiàn)有技術(shù)中，為了實(shí)現(xiàn)個(gè)性化搜索，客戶端可以將用戶的歷史信息發(fā)送給服務(wù)端， 服務(wù)端根據(jù)歷史信息獲取個(gè)性化的搜索結(jié)果。
[0005] 但是，這種方式需要將用戶的歷史信息發(fā)送給服務(wù)端，會(huì)侵犯用戶隱私。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。
[0007] 為此，本發(fā)明的一個(gè)目的在于提出一種實(shí)現(xiàn)個(gè)性化搜索的方法，該方法可以實(shí)現(xiàn) 用戶的個(gè)性化搜索，并且保護(hù)用戶隱私。
[0008] 本發(fā)明的另一個(gè)目的在于提出一種實(shí)現(xiàn)個(gè)性化搜索的裝置。
[0009] 為達(dá)到上述目的，本發(fā)明第一方面實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的方法，包括：接 收用戶輸入的查詢?cè)~；根據(jù)預(yù)先建立的對(duì)應(yīng)所述用戶建立的詞向量集合中，獲取所述查詢 詞對(duì)應(yīng)的詞向量；將所述查詢?cè)~和所述詞向量發(fā)送給服務(wù)端，以使所述服務(wù)端根據(jù)所述查 詢?cè)~和所述詞向量獲取搜索結(jié)果；接收所述服務(wù)端發(fā)送的搜索結(jié)果，并展現(xiàn)所述搜索結(jié)果。
[0010] 本發(fā)明第一方面實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的方法，通過獲取查詢?cè)~對(duì)應(yīng)的詞 向量，將查詢?cè)~和詞向量發(fā)送給服務(wù)端，可以使得服務(wù)端根據(jù)查詢?cè)~和詞向量獲取搜索結(jié) 果，由于詞向量集合是對(duì)應(yīng)用戶建立的，不同用戶可以建立不同的詞向量集合，可以實(shí)現(xiàn)個(gè) 性化搜索，并且，發(fā)送的是詞向量而不是用戶歷史數(shù)據(jù)，可以保護(hù)用戶隱私數(shù)據(jù)。
[0011] 為達(dá)到上述目的，本發(fā)明第二方面實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的方法，包括：接 收客戶端發(fā)送的查詢?cè)~和所述查詢?cè)~對(duì)應(yīng)的詞向量，所述詞向量是所述客戶端在預(yù)先建立 的對(duì)應(yīng)用戶建立的詞向量集合中確定的；根據(jù)所述查詢?cè)~和所述詞向量，獲取搜索結(jié)果； 將所述搜索結(jié)果發(fā)送給所述客戶端，以使所述客戶端展現(xiàn)所述搜索結(jié)果。
[0012] 本發(fā)明第二方面實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的方法，通過根據(jù)查詢?cè)~和詞向量 獲取搜索結(jié)果，可以使得搜索結(jié)果不僅與查詢?cè)~有關(guān)，還與詞向量有關(guān)，由于不同用戶對(duì)應(yīng) 相同詞的詞向量可以不同，因此可以獲取到個(gè)性化的搜索結(jié)果，從而實(shí)現(xiàn)個(gè)性化搜索，并 且，本實(shí)施例接收的是詞向量，不是具體的歷史數(shù)據(jù)，可以保護(hù)用戶隱私。
[0013] 為達(dá)到上述目的，本發(fā)明第三方面實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的裝置，包括：接 收模塊，用于接收用戶輸入的查詢?cè)~；第一獲取模塊，用于根據(jù)預(yù)先建立的對(duì)應(yīng)所述用戶建 立的詞向量集合中，獲取所述查詢?cè)~對(duì)應(yīng)的詞向量；發(fā)送模塊，用于將所述查詢?cè)~和所述詞 向量發(fā)送給服務(wù)端，以使所述服務(wù)端根據(jù)所述查詢?cè)~和所述詞向量獲取搜索結(jié)果；展現(xiàn)模 塊，用于接收所述服務(wù)端發(fā)送的搜索結(jié)果，并展現(xiàn)所述搜索結(jié)果。
[0014] 本發(fā)明第三方面實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的裝置，通過獲取查詢?cè)~對(duì)應(yīng)的詞 向量，將查詢?cè)~和詞向量發(fā)送給服務(wù)端，可以使得服務(wù)端根據(jù)查詢?cè)~和詞向量獲取搜索結(jié) 果，由于詞向量集合是對(duì)應(yīng)用戶建立的，不同用戶可以建立不同的詞向量集合，可以實(shí)現(xiàn)個(gè) 性化搜索，并且，發(fā)送的是詞向量而不是用戶歷史數(shù)據(jù)，可以保護(hù)用戶隱私數(shù)據(jù)。
[0015] 為達(dá)到上述目的，本發(fā)明第四方面實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的裝置，包括：接 收模塊，用于接收客戶端發(fā)送的查詢?cè)~和所述查詢?cè)~對(duì)應(yīng)的詞向量，所述詞向量是所述客 戶端在預(yù)先建立的對(duì)應(yīng)用戶建立的詞向量集合中確定的；獲取模塊，用于根據(jù)所述查詢?cè)~ 和所述詞向量，獲取搜索結(jié)果；發(fā)送模塊，用于將所述搜索結(jié)果發(fā)送給所述客戶端，以使所 述客戶端展現(xiàn)所述搜索結(jié)果。
[0016] 本發(fā)明第四方面實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的裝置，通過根據(jù)查詢?cè)~和詞向量 獲取搜索結(jié)果，可以使得搜索結(jié)果不僅與查詢?cè)~有關(guān)，還與詞向量有關(guān)，由于不同用戶對(duì)應(yīng) 相同詞的詞向量可以不同，因此可以獲取到個(gè)性化的搜索結(jié)果，從而實(shí)現(xiàn)個(gè)性化搜索，并 且，本實(shí)施例接收的是詞向量，不是具體的歷史數(shù)據(jù)，可以保護(hù)用戶隱私。
[0017] 本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實(shí)踐了解到。

【專利附圖】

【附圖說明】
[0018] 本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變 得明顯和容易理解，其中：
[0019] 圖1是本發(fā)明一實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的方法的流程示意圖；
[0020] 圖2是本發(fā)明另一實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的方法的流程示意圖；
[0021] 圖3是本發(fā)明另一實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的方法的流程示意圖；
[0022] 圖4是本發(fā)明實(shí)施例中根據(jù)輸入歷史得到詞向量的流程示意圖；
[0023] 圖5是本發(fā)明實(shí)施例中深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖；
[0024] 圖6是本發(fā)明另一實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的裝置的結(jié)構(gòu)示意圖；
[0025] 圖7是本發(fā)明另一實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的裝置的結(jié)構(gòu)示意圖；
[0026] 圖8是本發(fā)明另一實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的裝置的結(jié)構(gòu)示意圖；
[0027] 圖9是本發(fā)明另一實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的裝置的結(jié)構(gòu)示意圖。

【具體實(shí)施方式】
[0028] 下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號(hào)表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考 附圖描述的實(shí)施例是示例性的，僅用于解釋本發(fā)明，而不能理解為對(duì)本發(fā)明的限制。相反， 本發(fā)明的實(shí)施例包括落入所附加權(quán)利要求書的精神和內(nèi)涵范圍內(nèi)的所有變化、修改和等同 物。
[0029] 圖1是本發(fā)明一實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的方法的流程示意圖，該方法包 括：
[0030] Sll :接收用戶輸入的查詢?cè)~。
[0031] 本實(shí)施例的執(zhí)行主體可以是客戶端。
[0032] 其中，用戶可以在客戶端的搜索引擎的搜索框中輸入查詢?cè)~（query)，例如，用戶 可以在搜索框中輸入"作業(yè)"。
[0033] S12 :根據(jù)預(yù)先建立的對(duì)應(yīng)所述用戶建立的詞向量集合中，獲取所述查詢?cè)~對(duì)應(yīng)的 詞向量。
[0034] 其中，在搜索之前可以對(duì)應(yīng)每個(gè)用戶建立詞向量集合。
[0035] 詞向量集合中包括至少一個(gè)詞的詞向量。
[0036] 詞向量是由多個(gè)實(shí)數(shù)組成的實(shí)數(shù)向量，通常維度是50到1000。
[0037] 對(duì)于同一個(gè)詞，不同用戶對(duì)應(yīng)的詞向量可以是不同的，例如，對(duì)應(yīng)"作業(yè)"這個(gè)詞， 可能是指學(xué)生作業(yè)，也可能是指工程作業(yè)，當(dāng)作業(yè)表示學(xué)生作業(yè)時(shí)，與作業(yè)表示工程作業(yè) 時(shí)，"作業(yè)"這個(gè)詞可以用不同的詞向量表示。
[0038] 可選的，詞向量集合可以采用如下方式建立：
[0039] 獲取所述用戶采用輸入法得到的輸入歷史；并根據(jù)所述輸入歷史，建立所述詞向 量集合。
[0040] 本實(shí)施例通過采用輸入法中的輸入歷史，相對(duì)于搜索歷史和點(diǎn)擊歷史等，可以擴(kuò) 大輸入歷史的范圍，使得獲取的輸入歷史更豐富，從而提高詞向量集合的準(zhǔn)確度，實(shí)現(xiàn)更個(gè) 性化的搜索。
[0041] 進(jìn)一步，所述根據(jù)所述輸入歷史，建立所述詞向量集合，包括：
[0042] 根據(jù)所述輸入歷史，確定正例和反例，所述正例是輸入歷史中已存在的詞序列組 成的樣本，所述反例是輸入歷史中沒有出現(xiàn)過的詞序列組成的樣本；
[0043] 根據(jù)深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)所述正例和反例進(jìn)行訓(xùn)練，建立所述詞向量集合。
[0044] 本實(shí)施例中，在獲取輸入歷史后，可以采用深度學(xué)習(xí)的方式，獲取詞向量集合。
[0045] 具體的深度學(xué)習(xí)的方式可以參見后續(xù)實(shí)施例。
[0046] S13 :將所述查詢?cè)~和所述詞向量發(fā)送給服務(wù)端，以使所述服務(wù)端根據(jù)所述查詢?cè)~ 和所述詞向量獲取搜索結(jié)果。
[0047] 為了實(shí)現(xiàn)個(gè)性化搜索，本實(shí)施例中，客戶端不僅將查詢?cè)~發(fā)送給服務(wù)端，還將查詢 詞對(duì)應(yīng)的詞向量發(fā)送給服務(wù)端。
[0048] 可以理解的是，用戶輸入的查詢?cè)~可以包括至少一個(gè)詞，當(dāng)包括多個(gè)詞時(shí)，可以采 用分詞技術(shù)將查詢?cè)~分為多個(gè)詞，并獲取每個(gè)詞對(duì)應(yīng)的詞向量。
[0049] 現(xiàn)有技術(shù)中，為了實(shí)現(xiàn)個(gè)性化搜索，可以將用戶歷史搜索或點(diǎn)擊的內(nèi)容發(fā)送給服 務(wù)端，這樣無疑會(huì)損害用戶隱私數(shù)據(jù)。
[0050] 本實(shí)施例中，發(fā)送給服務(wù)端的是詞向量，詞向量是一組數(shù)字，單看這組數(shù)字無任何 物理意義，因此可以很好的保護(hù)用戶隱私數(shù)據(jù)。
[0051] S14 :接收所述服務(wù)端發(fā)送的搜索結(jié)果，并展現(xiàn)所述搜索結(jié)果。
[0052] 服務(wù)端獲取搜索結(jié)果后，將該搜索結(jié)果傳輸給客戶端的搜索引擎，由客戶端的搜 索引擎展現(xiàn)對(duì)應(yīng)的搜索結(jié)果。
[0053] 該搜索結(jié)果是個(gè)性化的搜索結(jié)果，例如，根據(jù)用戶個(gè)體情況，當(dāng)用戶同樣搜索"作 業(yè)"時(shí)，接收的搜索結(jié)果可能是關(guān)于學(xué)生作業(yè)的結(jié)果，或者，關(guān)于工程作業(yè)的結(jié)果。
[0054] 本實(shí)施例通過獲取查詢?cè)~對(duì)應(yīng)的詞向量，將查詢?cè)~和詞向量發(fā)送給服務(wù)端，可以 使得服務(wù)端根據(jù)查詢?cè)~和詞向量獲取搜索結(jié)果，由于詞向量集合是對(duì)應(yīng)用戶建立的，不同 用戶可以建立不同的詞向量集合，可以實(shí)現(xiàn)個(gè)性化搜索，并且，發(fā)送的是詞向量而不是用戶 歷史數(shù)據(jù)，可以保護(hù)用戶隱私數(shù)據(jù)。
[0055] 圖2是本發(fā)明另一實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的方法的流程示意圖，該方法包 括：
[0056] S21 :接收客戶端發(fā)送的查詢?cè)~和所述查詢?cè)~對(duì)應(yīng)的詞向量，所述詞向量是所述客 戶端在預(yù)先建立的對(duì)應(yīng)用戶建立的詞向量集合中確定的。
[0057] 本實(shí)施例的執(zhí)行主體可以是服務(wù)端。服務(wù)端可以具體是搜索引擎的服務(wù)端。
[0058] 用戶可以在搜索引擎的搜索框中輸入查詢?cè)~，客戶端根據(jù)該查詢?cè)~，在預(yù)先建立 的對(duì)應(yīng)所述用戶建立的詞向量集合中獲取查詢?cè)~對(duì)應(yīng)的詞向量后，由搜索引擎將查詢?cè)~和 詞向量傳輸給服務(wù)端。
[0059] S22 :根據(jù)所述查詢?cè)~和所述詞向量，獲取搜索結(jié)果。
[0060] 本實(shí)施例中，搜索結(jié)果不僅需要與查詢?cè)~匹配，還需要與詞向量匹配，以針對(duì)不同 用戶提供個(gè)性化的搜索結(jié)果。
[0061] 可選的，所述根據(jù)所述查詢?cè)~和所述詞向量，獲取搜索結(jié)果，包括：
[0062] 計(jì)算所述查詢?cè)~與可供選擇的結(jié)果之間的常規(guī)排序分?jǐn)?shù)；計(jì)算所述詞向量與所述 可供選擇的結(jié)果之間的個(gè)性化排序分?jǐn)?shù)；根據(jù)所述常規(guī)排序分?jǐn)?shù)和所述個(gè)性化排序分?jǐn)?shù)， 確定新的排序分?jǐn)?shù)；根據(jù)所述新的排序分?jǐn)?shù)，對(duì)所述可供選擇的結(jié)果進(jìn)行排序；在排序后 的結(jié)果中選擇預(yù)設(shè)個(gè)數(shù)的結(jié)果，得到發(fā)送給所述客戶端的搜索結(jié)果。
[0063] 進(jìn)一步，所述計(jì)算所述詞向量與所述可供選擇的結(jié)果之間的個(gè)性化排序分?jǐn)?shù)，包 括：
[0064] 獲取所述可供選擇的結(jié)果對(duì)應(yīng)的詞向量；計(jì)算所述接收的詞向量與所述獲取的詞 向量之間的相似度數(shù)值，將所述相似度數(shù)值確定為所述個(gè)性化排序分?jǐn)?shù)。
[0065] 進(jìn)一步，所述根據(jù)所述常規(guī)排序分?jǐn)?shù)和所述個(gè)性化排序分?jǐn)?shù)，確定新的排序分?jǐn)?shù)， 包括：
[0066] 采用插值方式，根據(jù)所述常規(guī)排序分?jǐn)?shù)和所述個(gè)性化排序分?jǐn)?shù)，確定新的排序分 數(shù)。
[0067] 其中，可供選擇的結(jié)果可以是指服務(wù)端的數(shù)據(jù)庫中保存的結(jié)果。
[0068] 假設(shè)一個(gè)可供選擇的結(jié)果是D，查詢?cè)~包括多個(gè)詞，分別用W1，W2，…，Wn表示，則 常規(guī)排序分?jǐn)?shù)可以表示為：RankScore (<W1，W2，…，Wn>，D)。
[0069] 本實(shí)施例中，還需要計(jì)算個(gè)性化排序分?jǐn)?shù)，假設(shè)上述多個(gè)詞對(duì)應(yīng)的詞向量分別是： C (Wl)，C (W2)，…，C (Wn)，個(gè)性化排序分?jǐn)?shù)可以表示為：
[0070] PersonalizationScore (<C(ffl), C(W2), ···, C(Wn) >, D) 〇
[0071] 在確定出常規(guī)排序分?jǐn)?shù)和個(gè)性化排序分?jǐn)?shù)之后，新的排序分?jǐn)?shù)NewRankScore可 以表示為：
[0072] NewRankScore = λ XPersonalizationScore (<C(ffl), C(W2), . . . , C(Wn) >, D)
[0073] + (I-λ) RankScore (<ff I, W2, . . . , ffn>, D)
[0074] 其中，λ是預(yù)設(shè)的值，取為〇到I之間的數(shù)值。
[0075] 在獲取新的排序分?jǐn)?shù)后，可以采用該新的排序分?jǐn)?shù)對(duì)可供選擇的結(jié)果進(jìn)行排序， 例如，將分?jǐn)?shù)高的排序在前，并在排序后的結(jié)果中從前到后選擇預(yù)設(shè)個(gè)數(shù)的結(jié)果作為最終 的搜索結(jié)果。
[0076] S23 :將所述搜索結(jié)果發(fā)送給所述客戶端，以使所述客戶端展現(xiàn)所述搜索結(jié)果。
[0077] 服務(wù)端獲取到個(gè)性化的搜索結(jié)果后，將該搜索結(jié)果傳輸給搜索引擎，由搜索引擎 展現(xiàn)對(duì)應(yīng)的搜索結(jié)果。
[0078] 本實(shí)施例通過根據(jù)查詢?cè)~和詞向量獲取搜索結(jié)果，可以使得搜索結(jié)果不僅與查詢 詞有關(guān)，還與詞向量有關(guān)，由于不同用戶對(duì)應(yīng)相同詞的詞向量可以不同，因此可以獲取到個(gè) 性化的搜索結(jié)果，從而實(shí)現(xiàn)個(gè)性化搜索，并且，本實(shí)施例接收的是詞向量，不是具體的歷史 數(shù)據(jù)，可以保護(hù)用戶隱私。
[0079] 圖3是本發(fā)明另一實(shí)施例提出的實(shí)現(xiàn)個(gè)性化搜索的方法的流程示意圖，該方法包 括：
[0080] S31 :客戶端獲取查詢?cè)~，并獲取查詢?cè)~對(duì)應(yīng)的詞向量，并將查詢?cè)~和詞向量發(fā)送 給服務(wù)端。客戶端可以接收用戶在搜索引擎的搜索框中輸入的查詢?cè)~。
[0081] 查詢?cè)~可以分為一個(gè)詞或多個(gè)詞。
[0082] 本實(shí)施例中，以查詢?cè)~包括多個(gè)詞為例，例如，查詢?cè)~包括W1，W2，…，如。
[0083] 查詢?cè)~對(duì)應(yīng)的詞向量表示為：C(Wl)，C(W2)，…，C(Wn)。
[0084] 查詢?cè)~對(duì)應(yīng)的詞向量可以根據(jù)預(yù)先建立的詞向量集合確定，例如，對(duì)應(yīng)每個(gè)用戶 預(yù)先建立詞與詞向量的對(duì)應(yīng)關(guān)系，由一個(gè)或多個(gè)詞與詞向量的對(duì)應(yīng)關(guān)系組成詞向量集合。
[0085] 每個(gè)詞對(duì)應(yīng)的詞向量可以根據(jù)輸入歷史采用深度學(xué)習(xí)算法確定，輸入歷史具體可 以是用戶采用輸入法得到的輸入歷史。
[0086] 在數(shù)學(xué)上，詞向量是一個(gè)由多個(gè)實(shí)數(shù)組成的實(shí)數(shù)向量，例如，假設(shè)詞向量的維度是 m，則詞向量C(W) e llw，m的常見值范圍為50到1000。把一個(gè)詞表示為一個(gè)實(shí)數(shù)向量的 本意是通過深度學(xué)習(xí)網(wǎng)絡(luò)學(xué)習(xí)出一個(gè)詞在高維空間中所處的一個(gè)點(diǎn)，從而能夠通過不同的 詞在高維空間中的相似度來刻畫不同的詞之間在語義上的相似程度，相似度常見的是余弦 相似度。
[0087] 參見圖4,根據(jù)輸入歷史得到詞向量的流程可以包括：
[0088] S41 :根據(jù)用戶在輸入法中的輸入歷史構(gòu)造訓(xùn)練樣本。
[0089] 為了能夠計(jì)算出詞在用戶的語境下的詞向量，首先根據(jù)用戶的輸入歷史，即用戶 通過輸入法輸入過的詞序列T 1, T2...來構(gòu)造出用來進(jìn)行深度學(xué)習(xí)網(wǎng)絡(luò)訓(xùn)練的訓(xùn)練樣本。
[0090] 訓(xùn)練樣本可以包括正例和反例。
[0091] 正例可以從用戶的輸入過的詞序列中抽取出2XN+1個(gè)詞組成的詞序列，這里的N 稱為上下文窗口，即某個(gè)詞所在的語義與其前N個(gè)詞及后N個(gè)詞組成的上下文是相關(guān)的。這 里的N的通常的取值范圍是2到20。
[0092] 例如，詞Ti的序列可以記為：
[0093] Ti, IVN+1，· · ·，Ti, Ti+1，…Ti+N
[0094] 因?yàn)檫@個(gè)序列在用戶的輸入歷史中出現(xiàn)過，所以這個(gè)例子是正例，S卩，深度學(xué)習(xí)網(wǎng) 絡(luò)需要從這個(gè)樣本中學(xué)習(xí)出盡可能接近1的輸出。
[0095] 同時(shí)，還需要構(gòu)造負(fù)例，針對(duì)一個(gè)正例，需要構(gòu)造出K個(gè)負(fù)例，K的常見取值范圍是 5到100。負(fù)例的構(gòu)造方式是把T i替換成一個(gè)隨機(jī)選擇的詞，這個(gè)新構(gòu)造出來的序列，要求 沒有在用戶的輸入歷史中出現(xiàn)過。
[0096] 將Ti替換為隨機(jī)選擇的K個(gè)詞，組成未輸入過的詞序列作為反例，反例可以包括：
[0097] Tj_N, Tj_N+1, . . . , Tnegl, Ti+1, . . . Ti+N；
[0098] Tj_N, Tj_N+1, . . . , Tneg2, Ti+1, . . . Ti+N；
[0099] …
[0100] Tj_N, Tj_N+1, . . . , TnegK, Ti+1, . . . Ti+N〇
[0101] 這K個(gè)樣本因?yàn)閺奈丛谟脩舻妮斎霘v史中出現(xiàn)過，所以深度學(xué)習(xí)網(wǎng)絡(luò)需要在這些 負(fù)例上的輸出盡可能的接近0。
[0102] 需要說明的是，這里正例擬合1，負(fù)例擬合0是以選擇Sigmoid非線性函數(shù)為前提 的，如果選擇tanh非線性函數(shù)，則正例需要擬合1，負(fù)例需要擬合-1。
[0103] S42 :采用深度學(xué)習(xí)算法，根據(jù)正例和反例，確定詞對(duì)應(yīng)的詞向量。
[0104] 在獲取正例和反例后，可以將正例和反例作為訓(xùn)練樣本，采用深度學(xué)習(xí)網(wǎng)絡(luò)，確定 正例和反例中出現(xiàn)的所有詞的詞向量。
[0105] 參見圖5,為深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，該深度學(xué)習(xí)網(wǎng)絡(luò)可以包括輸入層（input layer)51，隱藏層（hidden layer)52和輸出層（output layer)53,其中，輸入層中是詞向 量，輸出層根據(jù)訓(xùn)練樣本是正例或反例確定為0或1，例如，當(dāng)訓(xùn)練樣本是正例時(shí)，采用深度 學(xué)習(xí)網(wǎng)絡(luò)，使得輸出盡量接近1，當(dāng)訓(xùn)練樣本是反例時(shí)，采用深度學(xué)習(xí)網(wǎng)絡(luò)，使得輸出盡量接 近0〇
[0106] 深度學(xué)習(xí)網(wǎng)絡(luò)是用來學(xué)習(xí)在一個(gè)詞序列當(dāng)中某個(gè)詞是否預(yù)測(cè)正確的，實(shí)際上本實(shí) 施例中關(guān)注的是這個(gè)網(wǎng)絡(luò)當(dāng)中的每個(gè)詞的詞向量。同時(shí)，這個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)中還存在其他 的參數(shù)。下面簡述深度學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)Θ的構(gòu)成，及學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)的細(xì)節(jié)。
[0107] 假定需要得到一個(gè)大小為Ivl的詞表的所有詞的維度為m的詞的向量，那么這個(gè) 神經(jīng)網(wǎng)絡(luò)首先有|V| Xm個(gè)詞向量參數(shù)C。假定輸入樣本詞序列的長度為2N+1，即一個(gè)詞要 看它的前后N個(gè)詞，則輸入層51就是2N+1個(gè)長度為m的詞向量所構(gòu)成。記隱藏層52的長 度為H，那么由輸入層51到隱藏層52之間的參數(shù)是一個(gè)行數(shù)為H，列數(shù)為（2N+1) Xm的矩 陣W1，及長度為H的列向量d的截距所組成。在隱藏層52到輸出層53之間的參數(shù)則是由 一個(gè)長度為H的行向量W2,與實(shí)數(shù)b所組成。
[0108] 因此，本實(shí)施例中的深度學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)有：
[0109] Θ = (C，Wl，d，W2, b)
[0110] 需要說明的是，深度學(xué)習(xí)網(wǎng)絡(luò)中的參數(shù)Wl和W2與前述表征為詞的不同。
[0111] 在以上參數(shù)下，該深度學(xué)習(xí)網(wǎng)絡(luò)的最終輸出可以用如下公式計(jì)算得出：
[0112] y = f (Ti_n, Ti_n+1, . . . , Ti, . . . , Ti+n； θ ) = sigmoid (b+W2 · sigmoid (ffl X x+d))
[0113] 上述的x是由一個(gè)訓(xùn)練樣本當(dāng)中的2N+1個(gè)詞的詞向量所組成的列向量。
[0114] 本實(shí)施例中的深度學(xué)習(xí)網(wǎng)絡(luò)的優(yōu)化目標(biāo)是能夠讓函數(shù)f所計(jì)算出的值與實(shí)際值 盡可能的接近，其中，實(shí)際值可以是1或者0。
[0115] 具體地，可以采用cross entropy作為衡量實(shí)際值與計(jì)算值之間的差異的方法，具 體的，需要優(yōu)化的Cost函數(shù)為：

【權(quán)利要求】
1. 一種實(shí)現(xiàn)個(gè)性化捜索的方法，其特征在于，包括： 接收用戶輸入的查詢?cè)~； 根據(jù)預(yù)先建立的對(duì)應(yīng)所述用戶建立的詞向量集合中，獲取所述查詢?cè)~對(duì)應(yīng)的詞向量； 將所述查詢?cè)~和所述詞向量發(fā)送給服務(wù)端，W使所述服務(wù)端根據(jù)所述查詢?cè)~和所述詞 向量獲取捜索結(jié)果； 接收所述服務(wù)端發(fā)送的捜索結(jié)果，并展現(xiàn)所述捜索結(jié)果。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括： 獲取所述用戶采用輸入法得到的輸入歷史； 根據(jù)所述輸入歷史，建立所述詞向量集合。
3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述輸入歷史，建立所述詞向量 集合，包括： 根據(jù)所述輸入歷史，確定正例和反例，所述正例是輸入歷史中已存在的詞序列組成的 樣本，所述反例是輸入歷史中沒有出現(xiàn)過的詞序列組成的樣本； 根據(jù)深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)所述正例和反例進(jìn)行訓(xùn)練，建立所述詞向量集合。
4. 一種實(shí)現(xiàn)個(gè)性化捜索的方法，其特征在于，包括； 接收客戶端發(fā)送的查詢?cè)~和所述查詢?cè)~對(duì)應(yīng)的詞向量，所述詞向量是所述客戶端在預(yù) 先建立的對(duì)應(yīng)用戶建立的詞向量集合中確定的； 根據(jù)所述查詢?cè)~和所述詞向量，獲取捜索結(jié)果； 將所述捜索結(jié)果發(fā)送給所述客戶端，W使所述客戶端展現(xiàn)所述捜索結(jié)果。
5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述查詢?cè)~和所述詞向量，獲取 捜索結(jié)果，包括： 計(jì)算所述查詢?cè)~與可供選擇的結(jié)果之間的常規(guī)排序分?jǐn)?shù)； 計(jì)算所述詞向量與所述可供選擇的結(jié)果之間的個(gè)性化排序分?jǐn)?shù)； 根據(jù)所述常規(guī)排序分?jǐn)?shù)和所述個(gè)性化排序分?jǐn)?shù)，確定新的排序分?jǐn)?shù)； 根據(jù)所述新的排序分?jǐn)?shù)，對(duì)所述可供選擇的結(jié)果進(jìn)行排序； 在排序后的結(jié)果中選擇預(yù)設(shè)個(gè)數(shù)的結(jié)果，得到發(fā)送給所述客戶端的捜索結(jié)果。
6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述計(jì)算所述詞向量與所述可供選擇的 結(jié)果之間的個(gè)性化排序分?jǐn)?shù)，包括： 獲取所述可供選擇的結(jié)果對(duì)應(yīng)的詞向量； 計(jì)算所述接收的詞向量與所述獲取的詞向量之間的相似度數(shù)值，將所述相似度數(shù)值確 定為所述個(gè)性化排序分?jǐn)?shù)。
7. 根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述常規(guī)排序分?jǐn)?shù)和所述個(gè)性 化排序分?jǐn)?shù)，確定新的排序分?jǐn)?shù)，包括： 采用插值方式，根據(jù)所述常規(guī)排序分?jǐn)?shù)和所述個(gè)性化排序分?jǐn)?shù)，確定新的排序分?jǐn)?shù)。
8. -種實(shí)現(xiàn)個(gè)性化捜索的裝置，其特征在于，包括： 接收模塊，用于接收用戶輸入的查詢?cè)~； 第一獲取模塊，用于根據(jù)預(yù)先建立的對(duì)應(yīng)所述用戶建立的詞向量集合中，獲取所述查 詢?cè)~對(duì)應(yīng)的詞向量； 發(fā)送模塊，用于將所述查詢?cè)~和所述詞向量發(fā)送給服務(wù)端，W使所述服務(wù)端根據(jù)所述 查詢?cè)~和所述詞向量獲取捜索結(jié)果； 展現(xiàn)模塊，用于接收所述服務(wù)端發(fā)送的捜索結(jié)果，并展現(xiàn)所述捜索結(jié)果。
9. 根據(jù)權(quán)利要求8所述的裝置，其特征在于，還包括： 第二獲取模塊，用于獲取所述用戶采用輸入法得到的輸入歷史； 建立模塊，用于根據(jù)所述輸入歷史，建立所述詞向量集合。
10. 根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述建立模塊包括： 第一單元，用于根據(jù)所述輸入歷史，確定正例和反例，所述正例是輸入歷史中已存在的 詞序列組成的樣本，所述反例是輸入歷史中沒有出現(xiàn)過的詞序列組成的樣本； 第二單元，用于根據(jù)深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)所述正例和反例進(jìn)行訓(xùn)練，建立所述詞向量集合。
11. 一種實(shí)現(xiàn)個(gè)性化捜索的裝置，其特征在于，包括： 接收模塊，用于接收客戶端發(fā)送的查詢?cè)~和所述查詢?cè)~對(duì)應(yīng)的詞向量，所述詞向量是 所述客戶端在預(yù)先建立的對(duì)應(yīng)用戶建立的詞向量集合中確定的； 獲取模塊，用于根據(jù)所述查詢?cè)~和所述詞向量，獲取捜索結(jié)果； 發(fā)送模塊，用于將所述捜索結(jié)果發(fā)送給所述客戶端，W使所述客戶端展現(xiàn)所述捜索結(jié) 果。
12. 根據(jù)權(quán)利要求11所述的裝置，其特征在于，所述獲取模塊包括： 第一單元，用于計(jì)算所述查詢?cè)~與可供選擇的結(jié)果之間的常規(guī)排序分?jǐn)?shù)； 第二單元，用于計(jì)算所述詞向量與所述可供選擇的結(jié)果之間的個(gè)性化排序分?jǐn)?shù)； 第=單元，用于根據(jù)所述常規(guī)排序分?jǐn)?shù)和所述個(gè)性化排序分?jǐn)?shù)，確定新的排序分?jǐn)?shù)； 第四單元，用于根據(jù)所述新的排序分?jǐn)?shù)，對(duì)所述可供選擇的結(jié)果進(jìn)行排序； 第五單元，用于在排序后的結(jié)果中選擇預(yù)設(shè)個(gè)數(shù)的結(jié)果，得到發(fā)送給所述客戶端的捜 索結(jié)果。
13. 根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述第二單元具體用于： 獲取所述可供選擇的結(jié)果對(duì)應(yīng)的詞向量； 計(jì)算所述接收的詞向量與所述獲取的詞向量之間的相似度數(shù)值，將所述相似度數(shù)值確 定為所述個(gè)性化排序分?jǐn)?shù)。
14. 根據(jù)權(quán)利要求12所述的裝置，其特征在于，所述第=單元具體用于： 采用插值方式，根據(jù)所述常規(guī)排序分?jǐn)?shù)和所述個(gè)性化排序分?jǐn)?shù)，確定新的排序分?jǐn)?shù)。
【文檔編號(hào)】G06F17/30GK104462357SQ201410742373
【公開日】2015年3月25日 申請(qǐng)日期:2014年12月8日 優(yōu)先權(quán)日:2014年12月8日
【發(fā)明者】張軍, 牛罡 申請(qǐng)人:百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司