圖片搜索相關(guān)性預測模型的建立、圖片搜索方法和裝置的制造方法
【專利摘要】本發(fā)明實施例公開了一種圖片搜索相關(guān)性預測模型的建立、圖片搜索方法和裝置。圖片搜索相關(guān)性預測模型的建立方法包括：使用訓練樣本對預先構(gòu)建的原始深層神經(jīng)網(wǎng)絡進行訓練；訓練樣本包括：查詢式以及圖片數(shù)據(jù)，原始深層神經(jīng)網(wǎng)絡包括：表示向量生成網(wǎng)絡以及相關(guān)計算網(wǎng)絡；將訓練完成的原始深層神經(jīng)網(wǎng)絡作為圖片搜索相關(guān)性預測模型。本發(fā)明的技術(shù)方案優(yōu)化了現(xiàn)有的圖片搜索技術(shù)，在查詢式與圖片文本的語義匹配、查詢式與圖片內(nèi)容的語義匹配、點擊泛化等幾個方面的能力比現(xiàn)有技術(shù)及各種融合和變種的能力更強，并可以大大提高圖片搜索結(jié)果與用戶輸入的查詢式之間的相關(guān)度。
【專利說明】
圖片搜索相關(guān)性預測模型的建立、圖片搜索方法和裝置
技術(shù)領域
[0001]本發(fā)明實施例涉及信息處理技術(shù)，尤其涉及一種圖片搜索相關(guān)性預測模型的建立、圖片搜索方法和裝置。
【背景技術(shù)】
[0002]圖片搜索是指用戶輸入自然語言查詢，例如，通過搜索引擎提供的文本輸入框輸入的查詢式(也稱為Query)，從圖片集合中查找并按照相關(guān)性等指標，返回排過序的圖片結(jié)果給用戶的信息檢索過程。相關(guān)性是搜索引擎最主要的性能指標之一，它度量了返回結(jié)果與用戶查詢需求的相關(guān)程度。對于圖片搜索引擎，返回的圖片是無結(jié)構(gòu)的像素格式，而用戶輸入的Query是文本格式，這是兩種完全不同的信息格式，兩者無法直接進行運算。
[0003]目前主要通過下述三種方式描述圖片搜索的相關(guān)性特征:1、文本匹配特征，通過圖片周邊文本與Query比較計算得到；2、分類匹配特征，對圖片內(nèi)容分類得到分類標簽，再與Query比較計算得到;3、點擊率特征，通過統(tǒng)計大量用戶查詢后的點擊行為等得到特定圖片與該Query的相關(guān)性度量。
[0004]上述三種描述圖片搜索相關(guān)性特性的方法均具有一定的局限性:
[0005]特征文本匹配特征:圖片的周邊文本可能存在與圖片內(nèi)容的不一致性，很多情況下不能完整準確的描述圖片的內(nèi)容，因而會影響文本匹配特征的精準性；
[0006]分類匹配特征:受限于類別體系的完整性和分類模型的準確性。一般的，類別體系越精細，分類難度越大，分類模型的準確性越差，且分類結(jié)果與Query文本的語義偏差越大，匹配越困難。但如果類別體系太粗略，與Query的匹配精度又不夠。因此，該特征一般只起輔助作用；
[0007]點擊率特征:主要基于用戶行為統(tǒng)計，一方面存在偏倚和噪聲，另一方面有稀疏性，只有在高頻Query下展現(xiàn)靠前且展現(xiàn)次數(shù)充足的圖片，能夠統(tǒng)計到較充分的點擊，其它情況，統(tǒng)計不到點擊，或者點擊非常稀疏，缺少統(tǒng)計意義。

【發(fā)明內(nèi)容】

[0008]有鑒于此，本發(fā)明實施例提供一種圖片搜索相關(guān)性預測模型的建立、圖片搜索方法和裝置，以優(yōu)選現(xiàn)有的圖片搜索技術(shù)，提高圖片搜索結(jié)果與用戶輸入的查詢式之間的相關(guān)度。
[0009]在第一方面，本發(fā)明實施例提供了一種圖片搜索相關(guān)性預測模型的建立方法，包括:
[0010]使用訓練樣本對預先構(gòu)建的原始深層神經(jīng)網(wǎng)絡進行訓練；
[0011]其中，所述訓練樣本包括:查詢式以及圖片數(shù)據(jù)，所述原始深層神經(jīng)網(wǎng)絡包括:表示向量生成網(wǎng)絡以及相關(guān)計算網(wǎng)絡，所述表示向量生成網(wǎng)絡用于將所述訓練樣本中不同類型的數(shù)據(jù)轉(zhuǎn)換為表示向量并輸入至所述相關(guān)計算網(wǎng)絡，所述相關(guān)計算網(wǎng)絡用于將輸入的至少兩個表不向量轉(zhuǎn)換為一個相關(guān)性度量值；
[0012]將訓練完成的所述原始深層神經(jīng)網(wǎng)絡作為所述圖片搜索相關(guān)性預測模型。
[0013]在第二方面，本發(fā)明實施例還提供了一種圖片搜索方法，包括:
[0014]獲取用戶輸入的圖片查詢式；
[0015]將所述圖片查詢式以及待排序圖片分別輸入至通過本發(fā)明實施例所述的圖片搜索相關(guān)性預測模型的建立方法建立的圖片搜索相關(guān)性預測模型中，分別計算各所述待排序圖片與所述圖片查詢式之間的相關(guān)性度量值；
[0016]根據(jù)計算得到的所述相關(guān)性度量值對各所述待排序圖片進行排序，并將與排序結(jié)果對應的圖片搜索結(jié)果提供給所述用戶。
[0017]在第三方面，本發(fā)明實施例提供了一種圖片搜索相關(guān)性預測模型的建立裝置，包括:
[0018]訓練模塊，用于使用訓練樣本對預先構(gòu)建的原始深層神經(jīng)網(wǎng)絡進行訓練；
[0019]其中，所述訓練樣本包括:查詢式以及圖片數(shù)據(jù)，所述原始深層神經(jīng)網(wǎng)絡包括:表示向量生成網(wǎng)絡以及相關(guān)計算網(wǎng)絡，所述表示向量生成網(wǎng)絡用于將所述訓練樣本中不同類型的數(shù)據(jù)轉(zhuǎn)換為表示向量并輸入至所述相關(guān)計算網(wǎng)絡，所述相關(guān)計算網(wǎng)絡用于將輸入的至少兩個表不向量轉(zhuǎn)換為一個相關(guān)性度量值；
[0020]模型生成模塊，用于將訓練完成的所述原始深層神經(jīng)網(wǎng)絡作為所述圖片搜索相關(guān)性預測模型。
[0021]在第四方面，本發(fā)明實施例還提供了一種圖片搜索裝置，包括:
[0022]圖片查詢式獲取模塊，用于獲取用戶輸入的圖片查詢式；
[0023]相關(guān)性度量值計算模塊，用于將所述圖片查詢式以及待排序圖片分別輸入至通過本發(fā)明實施例所述的圖片搜索相關(guān)性預測模型的建立裝置建立的圖片搜索相關(guān)性預測模型中，分別計算各所述待排序圖片與所述圖片查詢式之間的相關(guān)性度量值；
[0024]圖片搜索結(jié)果提供模塊，用于根據(jù)計算得到的所述相關(guān)性度量值對各所述待排序圖片進行排序，并將與排序結(jié)果對應的圖片搜索結(jié)果提供給所述用戶。
[0025]本發(fā)明實施例首先構(gòu)建了一個原始深層神經(jīng)網(wǎng)絡，該原始深層神經(jīng)網(wǎng)絡的輸入為查詢式以及圖片數(shù)據(jù)，輸出為該查詢式以及圖片數(shù)據(jù)之間的相關(guān)性度量值，選取合適的訓練樣本對該原始深層神經(jīng)網(wǎng)絡進行訓練，最終可以將該原始深層神經(jīng)網(wǎng)絡訓練為圖片搜索相關(guān)性預測模型；當圖片搜索引擎接收到用戶輸入的圖片查詢式后，通過將該圖片查詢式與各待排序的圖片輸入至所述圖片搜索相關(guān)性預測模型，可以得到各待排序圖片與所述圖片查詢式之間的相關(guān)性度量值，進而基于所述相關(guān)性度量值，將各待排序圖片進行排序并將排序結(jié)果返回給所述用戶，優(yōu)化了現(xiàn)有的圖片搜索技術(shù)，在查詢式與圖片文本的語義匹配、查詢式與圖片內(nèi)容的語義匹配、點擊泛化等幾個方面的能力比現(xiàn)有技術(shù)及各種融合和變種的能力更強，并可以大大提高圖片搜索結(jié)果與用戶輸入的查詢式之間的相關(guān)度。
【附圖說明】
[0026]圖1是本發(fā)明第一實施例的一種圖片搜索相關(guān)性預測模型的建立方法的流程圖；
[0027]圖2是本發(fā)明第一實施例所適用的一種深層神經(jīng)網(wǎng)絡的結(jié)構(gòu)示意圖；
[0028]圖3是本發(fā)明第一實施例所適用的另一種深層神經(jīng)網(wǎng)絡的結(jié)構(gòu)示意圖；
[0029]圖4是本發(fā)明第二實施例的一種圖片搜索相關(guān)性預測模型的建立方法的流程圖；
[0030]圖5是本發(fā)明第二實施例所適用的一種訓練網(wǎng)絡模型的結(jié)構(gòu)示意圖；
[0031]圖6是本發(fā)明第三實施例的一種圖片搜索相關(guān)性預測模型的建立方法的流程圖；
[0032]圖7是本發(fā)明第三實施例的一種生成正負樣本對的方法的流程圖；
[0033]圖8是本發(fā)明第四實施例的一種圖片搜索方法的流程圖；
[0034]圖9是本發(fā)明第五實施例的一種圖片搜索相關(guān)性預測模型的建立裝置的結(jié)構(gòu)圖；
[0035]圖10是本發(fā)明第六實施例的一種圖片搜索裝置的結(jié)構(gòu)圖。
【具體實施方式】
[0036]為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面結(jié)合附圖對本發(fā)明具體實施例作進一步的詳細描述?？梢岳斫獾氖?，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。
[0037]另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部內(nèi)容。在更加詳細地討論示例性實施例之前應當提到的是，一些示例性實施例被描述成作為流程圖描繪的處理或方法。雖然流程圖將各項操作(或步驟)描述成順序的處理，但是其中的許多操作可以被并行地、并發(fā)地或者同時實施。此外，各項操作的順序可以被重新安排。當其操作完成時所述處理可以被終止，但是還可以具有未包括在附圖中的附加步驟。所述處理可以對應于方法、函數(shù)、規(guī)程、子例程、子程序等等。
[0038]為了清楚、明白的描述本發(fā)明各實施例的內(nèi)容，首先重點描述一下本發(fā)明的發(fā)明構(gòu)思。
[0039]如前所述，【背景技術(shù)】中介紹的三種描述圖片搜索的相關(guān)性特征的方式，并未直接基于圖片內(nèi)容計算圖片與查詢式之間的相關(guān)性，而是通過圖片的周邊文本、圖片的分類以及圖片的點擊率等與圖片內(nèi)容間接關(guān)聯(lián)的特征計算圖片與查詢式之間的相關(guān)性。相區(qū)別的，在本申請中，發(fā)明人創(chuàng)造性的提出:通過建立圖片內(nèi)容與查詢式之間的相關(guān)性計算模型，該計算模型的輸入為圖片內(nèi)容與查詢式，輸出為一個相關(guān)性度量值，進而可以準確的實現(xiàn)針對用戶輸入的查詢式進行圖片搜索的目的。
[0040]S卩:是使用深層神經(jīng)網(wǎng)絡對圖片的內(nèi)容(優(yōu)選也可以包括圖片的周邊文本等)以及用戶的查詢式文本進行深度變換，在變換中建立圖片(文本+內(nèi)容)與查詢式的關(guān)系，即輸入的一端可以為圖片的周邊文本、圖片內(nèi)容(也可以包括圖片的其它特征或信息，如圖片的點擊查詢式、描述圖片質(zhì)量的各種特征等)，輸入的另一端為查詢式文本，也可以包括查詢式的其它加工后的特征。經(jīng)過深層神經(jīng)網(wǎng)絡后的最終輸出為圖片與查詢式的相關(guān)性度量值，可以作為圖片與查詢式相關(guān)性的一維特征。
[0041 ] 第一實施例
[0042]圖1為本發(fā)明第一實施例提供的一種圖片搜索相關(guān)性預測模型的建立方法的流程圖，本實施例的方法可以由圖片搜索相關(guān)性預測模型的建立裝置來執(zhí)行，該裝置可通過硬件和/或軟件的方式實現(xiàn)，并一般可集成于用于建立圖片搜索相關(guān)性預測模型的服務器中。本實施例的方法具體包括:
[0043]110、使用訓練樣本對預先構(gòu)建的原始深層神經(jīng)網(wǎng)絡進行訓練。
[0044]在本實施例中，所述訓練樣本包括:查詢式以及圖片數(shù)據(jù)。
[0045]如前所述，為了實現(xiàn)深層神經(jīng)網(wǎng)絡的最終輸出為圖片與查詢式的相關(guān)性度量值，需要同時使用圖片數(shù)據(jù)以及查詢式作為訓練樣本訓練所述原始深層神經(jīng)網(wǎng)絡。
[0046]其中，所述圖片數(shù)據(jù)包括有圖片內(nèi)容數(shù)據(jù)，典型的，所述圖片內(nèi)容數(shù)據(jù)可包括:圖片的像素或圖片經(jīng)過設定處理后的內(nèi)容特征(例如，內(nèi)容特征向量等)。
[0047]優(yōu)選的，為了進一步提高最終提高相關(guān)性度量值的準確性，所述圖片數(shù)據(jù)中還可以包括:圖片關(guān)聯(lián)文本數(shù)據(jù)，和/或圖片關(guān)聯(lián)特征數(shù)據(jù)。
[0048]其中，所述圖片關(guān)聯(lián)文本數(shù)據(jù)具體是指:與圖片對應存儲的，用于簡單描述圖片內(nèi)容的文本信息，例如，一幅圖片在存儲時，同時存儲該圖片的標題“生日賀卡”。
[0049]其中，所述圖片關(guān)聯(lián)特征數(shù)據(jù)可以包括:與所述圖片對應的點擊查詢式，和/或所述圖片的質(zhì)量特征參數(shù)。
[0050]在本實施例中，當搜索用戶輸入一個目標查詢式，并在該目標查詢式返回的圖片搜索結(jié)果中點擊選中了一張目標圖片時，該目標查詢式即為該目標圖片的點擊查詢式;所述質(zhì)量特征參數(shù)可以包括:圖片壓縮率、圖片格式、圖片分辨率等用于描述圖片質(zhì)量的參數(shù)，本實施例對此并不進行限制。
[0051]在本實施例中，所述原始深層神經(jīng)網(wǎng)絡包括:表示向量生成網(wǎng)絡以及相關(guān)計算網(wǎng)絡，所述表示向量生成網(wǎng)絡用于將所述訓練樣本中不同類型的數(shù)據(jù)轉(zhuǎn)換為表示向量并輸入至所述相關(guān)計算網(wǎng)絡，所述相關(guān)計算網(wǎng)絡用于將輸入的至少兩個表示向量轉(zhuǎn)換為一個相關(guān)性度量值；
[0052]在本實施例的一個優(yōu)選的實施方式中，所述相關(guān)計算網(wǎng)絡可以包括:隱藏層集以及與所述隱藏層集的輸出端相連的輸出層；
[0053]其中，所述隱藏層集包括一個或者多個首尾相連的隱藏層，所述向量生成網(wǎng)絡的表示向量輸出端與所述隱藏層集的輸入端相連，所述輸出層輸出所述相關(guān)性度量值。
[0054]圖2是本發(fā)明第一實施例所適用的一種深層神經(jīng)網(wǎng)絡的結(jié)構(gòu)示意圖。如圖2所示，輸入深層神經(jīng)網(wǎng)絡的訓練樣本包括:查詢式以及圖片數(shù)據(jù)，圖片數(shù)據(jù)具體包括有:圖片周邊文本數(shù)據(jù)、圖片內(nèi)容數(shù)據(jù)以及圖片關(guān)聯(lián)特征數(shù)據(jù)。
[0055]所述表示向量生成網(wǎng)絡中包括有四個表示向量生成單元，分別用于將輸入的查詢式、圖片周邊文本數(shù)據(jù)、圖片內(nèi)容數(shù)據(jù)以及圖片關(guān)聯(lián)特征數(shù)據(jù)轉(zhuǎn)換為相對應的表示向量，以進行后續(xù)的模型訓練工作。
[0056]其中，所述表示向量生成單元，根據(jù)任務目標的不同可以有很多種實現(xiàn)方式。這里簡要描述一下:
[0057]1、圖片內(nèi)容數(shù)據(jù)(典型的，圖片像素內(nèi)容)的表示向量生成
[0058]圖片像素內(nèi)容的表示向量生成目前使用較廣泛的是CNN(Convolut1nalNeuralNetwork，卷積神經(jīng)網(wǎng)絡)分類網(wǎng)絡，該網(wǎng)絡的輸入為尺寸歸一化的圖片像素矩陣，輸出為圖片的分類表示向量，分類表示向量一般是圖片在一個類別體系(對于圖片，類別體系一般有千級到萬級的類別標簽)上的類別概率分布向量P。其中，P=(P1，P2，...，PN) ;pi(i = l，2，…，N)是CNN網(wǎng)絡給出的圖片屬于第i個類別的概率，N為類別體系的大小(類別個數(shù))。
[0059]優(yōu)選的，可以對分類表示向量作權(quán)值截斷(例如，將概率低于一定閾值的？1置0，或者只保留前Mf Pl，其中，M為小于等于N的整數(shù))、權(quán)值歸一化以及二值化(即變成O和I組成的向量)等處理后，將所述表示向量直接輸入到相關(guān)計算網(wǎng)絡，也可以先將表示向量通過一個全連接隱藏層(關(guān)于隱藏層的相關(guān)概念在后文進行描述)后再輸入到相關(guān)計算網(wǎng)絡中，其中，該全連接隱藏層的輸出可以理解為類似于文本的Embedding表示(關(guān)于Embedding表示的相定義將在后文進行描述)。
[0060]2、圖片周邊文本數(shù)據(jù)以及查詢式的表示向量生成
[0061]由于圖片周邊文本數(shù)據(jù)以及查詢式均為文本，因此上述兩者的表示向量生成方式相一致，均為文本的表示向量生成。
[0062]文本先經(jīng)過分詞，然后每個分詞根據(jù)預設詞典映射為一個one-hot(獨熱)表征向量。例如:(…，0，…，I，…，0，…)，該向量長度為詞典的大小，有一個兀素為I，其余兀素全部為0，元素I所在的位置序號對應于該詞在詞典中的序號。接下來的處理可以有幾種選擇，例如BoW_DNN(Bag of Words-Deep Neural Networks，詞袋形式深層神經(jīng)網(wǎng)絡)網(wǎng)絡、CNN網(wǎng)絡或者RNN(Recurrent Neural Network，循環(huán)神經(jīng)網(wǎng)絡)網(wǎng)絡等，本實施例對此并不進行限制。
[0063]其中，BoW-DNN網(wǎng)絡對文本中所有分詞的one-hot表征向量疊加后輸入到一個全連接隱藏層，對于每個分詞，它在one-hot表征向量中的位置到隱藏層的各個神經(jīng)單元的連接邊上的權(quán)值拼接起來構(gòu)成的一個向量(其維數(shù)與隱藏層的神經(jīng)單元個數(shù)相同)，也被稱作該詞的詞向量。隱藏層的輸出向量實際上就是文本中各個詞的詞向量的和通過隱藏層神經(jīng)單元的響應值，也被稱作該文本的Embedding表示。因為這里對文本中的詞簡單疊加，不考慮詞序，所以稱之為Bag of Words ο
[0064]CNN網(wǎng)絡加入了對詞序的考慮，將文本中各個詞的詞向量按順序拼接，然后經(jīng)過一維卷積運算，再經(jīng)過下采樣(也稱作池化，或者說pooling)，變成定長向量。該向量也可以視作該文本的Embedding表示，但是加入了局部詞序的作用。這種CNN網(wǎng)絡也是圖片像素的CNN網(wǎng)絡應用于一維文本的推廣。
[0065]RNN網(wǎng)絡也會考慮詞序，方式是將每個詞的詞向量按詞序輸入到全連接隱藏層，且當前的詞經(jīng)過隱藏層后的輸出，作為反饋，和下一個詞一起再次輸入到隱藏層。其輸出也是一個定長向量，同樣可以看作是文本的Embedding表示。
[0066]詞向量和上述三種網(wǎng)絡可以分別單獨訓練，也可以使用其它任務中已經(jīng)訓練好的詞向量或者網(wǎng)絡，也可以在本任務中和后面的相關(guān)性計算網(wǎng)絡一起訓練。在和相關(guān)性計算網(wǎng)絡一起訓練時，詞向量和這三種網(wǎng)絡可以隨機初始化，也可以用其它任務中已經(jīng)訓練好的結(jié)果初始化，然后在本任務的訓練中繼續(xù)更新。
[0067]3、圖片關(guān)聯(lián)特征數(shù)據(jù)的表示向量生成
[0068]圖片其它特征數(shù)據(jù)的表示生成網(wǎng)絡視這些特征的物理意義而定。如果是類似圖像、文本這樣的有序格式，也可以使用CNN或RNN網(wǎng)絡，如果是無序的集合特征(例如概率分布向量、一些獨立的統(tǒng)計值等)，使用BoW-DNN網(wǎng)絡即可。
[0069]與文本的表示向量生成相類似，圖片像素內(nèi)容的表示向量生成、圖片關(guān)聯(lián)特征數(shù)據(jù)的表示向量生成可以單獨訓練，也可以在本任務中和后面的網(wǎng)絡一起訓練。一起訓練時，參數(shù)可以隨機初始化，也可以用其它任務中已經(jīng)訓練好的參數(shù)來初始化。
[0070]如圖2所示，所述相關(guān)計算網(wǎng)絡具體包括兩個首尾相連的隱藏層，以及一個輸出層。
[0071]在本實施例中，所述隱藏層是指全連接隱藏層，其中，所述全連接具體是指前一層的每個輸出連接到后一層的每個輸入，每個隱藏層有若干個神經(jīng)單元，輸出層只有一個神經(jīng)單元。查詢式和圖片數(shù)據(jù)的所有表示向量輸入到第一個全連接隱藏層，依次通過各隱藏層和輸出層的神經(jīng)單元的線性求和非線性響應，最后輸出一個數(shù)值，即為查詢式與圖片的相關(guān)性度量值。
[0072]在本實施例的另一個優(yōu)選的實施方式中，所述相關(guān)計算網(wǎng)絡具體可以包括:第一隱藏層集、與所述第一隱藏層集的輸出端相連的第一標準向量表示單元、第二隱藏層集、與所述第二隱藏層集的輸出端相連的第二標準向量表示單元、以及與所述第一標準向量表示單元和所述第二標準向量表示單元的輸出端分別相連的向量距離計算單元；
[0073]其中，所述隱藏層集包括一個或者多個首尾相連的隱藏層，所述表示生成網(wǎng)絡中與所述查詢式對應的表示向量輸出端與所述第一隱藏層集的輸入端相連，所述表示生成網(wǎng)絡中與所述圖片數(shù)據(jù)對應的表示向量輸出端與第二隱藏層集的輸入端相連，所述向量距離計算單元輸出所述相關(guān)性度量值。
[0074]圖3是本發(fā)明第一實施例所適用的另一種深層神經(jīng)網(wǎng)絡的結(jié)構(gòu)示意圖。如圖3所示，與查詢式對應的表示向量生成單元與第一隱藏層相連，與圖片周邊文本數(shù)據(jù)、圖片內(nèi)容數(shù)據(jù)以及圖片關(guān)聯(lián)特征數(shù)據(jù)分別對應的表示向量生成單元與第二隱藏層相連，第一隱藏層與第二隱藏層分別與第一標準向量表示單元與第二標準向量表示單元相連。
[0075]其中，第一標準向量表示單元與第二標準向量表示單元分別用于將第一隱藏層以及第二隱藏層輸出的向量轉(zhuǎn)換為兩個新的表示向量，這兩個新的表示向量不僅格式統(tǒng)一，而且在同一個表示空間中，進而可以輸入至向量距離計算單元計算相關(guān)性度量值。
[0076]典型的，所述向量距離計算單元可以計算第一標準向量表示單元與第二標準向量表示單元所輸出的兩個向量之間的余弦距離，以確定上述兩個向量之間的相關(guān)性度量值，還可以計算上述兩個向量之間的歐氏距離等其他用于衡量兩個向量之間相似程度的向量距離，本實施例對此并不進行限制。
[0077]在本實施例的一個優(yōu)選的實施方式中，所述隱藏層包括至少兩個神經(jīng)單元，所述輸出層包括一個神經(jīng)單元；
[0078]其中，所述表示向量生成網(wǎng)絡所生成的向量維數(shù)、所述相關(guān)計算網(wǎng)絡中包括的隱藏層的數(shù)量、隱藏層中包括的神經(jīng)單元數(shù)量、神經(jīng)單元的響應函數(shù)類型以及神經(jīng)單元輸出的正則化方法可以根據(jù)任務進行預先設置。
[0079]本實施例中構(gòu)造的表示向量生成網(wǎng)絡以及相關(guān)計算網(wǎng)絡，網(wǎng)絡中主要有以下變量或參數(shù):
[0080]I)輸入特征(查詢式以及圖片數(shù)據(jù))的維數(shù)。例如，對于文本，特征維數(shù)指文本詞典的大小，通常在十萬或百萬級，首先對中文進行切詞，不在詞典中的詞會被去掉，或者用一個特殊符號(放入字典中)代替。對于圖片像素內(nèi)容，指圖像的通道數(shù)、歸一化之后的尺寸；[0081 ] 2)表示向量的維數(shù)，和表示向量的生成網(wǎng)絡結(jié)構(gòu)(本部分內(nèi)容已經(jīng)在前文中進行了介紹)；
[0082]3)隱藏層的個數(shù)和各隱藏層的神經(jīng)單元個數(shù)；
[0083]4)神經(jīng)單元的響應函數(shù)類型；
[0084]5)神經(jīng)單元的輸出的正則化方法，避免輸出值向上下溢出；
[0085 ] 6)神經(jīng)單元的輸入邊上的權(quán)值以及初始化方法。
[0086]其中，I)、3)_5)中的變量和參數(shù)均可以根據(jù)任務進行預先設置的，6)中的權(quán)值通常以某種方式初始化(例如，隨機初始化等)，然后經(jīng)過大量的訓練樣本訓練、更新，直到收斂到一定程度為止。
[0087]120、將訓練完成的所述原始深層神經(jīng)網(wǎng)絡作為所述圖片搜索相關(guān)性預測模型。
[0088]如前所述，在確定了原始深層神經(jīng)網(wǎng)絡的網(wǎng)絡結(jié)構(gòu)之后，通過使用大量的訓練樣本對該原始深層神經(jīng)網(wǎng)絡進行訓練，即可得到所述圖片搜索相關(guān)性預測模型。
[0089]其中，所述圖片搜索相關(guān)性預測模型的輸入為用戶輸入的查詢式以及目標圖片的圖片數(shù)據(jù)(例如，包括:圖片周邊文本數(shù)據(jù)、圖片內(nèi)容數(shù)據(jù)以及圖片關(guān)聯(lián)特征數(shù)據(jù))，輸出為查詢式與該目標圖片之間的一個相關(guān)性度量值。
[0090]本發(fā)明實施例首先構(gòu)建了一個原始深層神經(jīng)網(wǎng)絡，該原始深層神經(jīng)網(wǎng)絡的輸入為查詢式以及圖片數(shù)據(jù)，輸出為該查詢式以及圖片數(shù)據(jù)之間的相關(guān)性度量值，選取合適的訓練樣本對該原始深層神經(jīng)網(wǎng)絡進行訓練，最終可以將該原始深層神經(jīng)網(wǎng)絡訓練為圖片搜索相關(guān)性預測模型；當圖片搜索引擎接收到用戶輸入的圖片查詢式后，通過將該圖片查詢式與各待排序的圖片輸入至所述圖片搜索相關(guān)性預測模型，可以得到各待排序圖片與所述圖片查詢式之間的相關(guān)性度量值，進而基于所述相關(guān)性度量值，將各待排序圖片進行排序并將排序結(jié)果返回給所述用戶，優(yōu)化了現(xiàn)有的圖片搜索技術(shù)，在查詢式與圖片文本的語義匹配、查詢式與圖片內(nèi)容的語義匹配、點擊泛化等幾個方面的能力比現(xiàn)有技術(shù)及各種融合和變種的能力更強，并可以大大提高圖片搜索結(jié)果與用戶輸入的查詢式之間的相關(guān)度。
[0091 ] 第二實施例
[0092]圖4是本發(fā)明第二實施例的一種圖片搜索相關(guān)性預測模型的建立方法的流程圖。本實施例以上述實施例為基礎進行優(yōu)化，在本實施例中，將使用訓練樣本對預先構(gòu)建的原始深層神經(jīng)網(wǎng)絡進行訓練具體優(yōu)化為:選取設定數(shù)量的訓練樣本;依次獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡中，并根據(jù)所述原始深層神經(jīng)網(wǎng)絡基于所述訓練樣本的輸出結(jié)果，對所述原始深層神經(jīng)網(wǎng)絡中的加權(quán)參數(shù)進行調(diào)整;返回執(zhí)行獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡的操作，直至達到預先設定的訓練結(jié)束條件。
[0093]相應的，本實施例的方法具體包括:
[0094]410、選取設定數(shù)量的訓練樣本。
[0095]考慮到直接標注大量的訓練樣本(查詢式與圖片的相關(guān)性值)耗時巨大，且標準難以統(tǒng)一。在本實施例中，使用查詢式和查詢式下的正負樣本圖片對(也可簡稱為pair對)作為訓練樣本，即一條訓練樣本由一個查詢式和兩個圖片構(gòu)成的pair對組成，該pair對中一個圖片比另一個圖片相對于該Query的相關(guān)性更好，這兩個圖片分別稱之為正樣本和負樣本。
[0096]相應的，可以將所述訓練樣本具體優(yōu)化為:由訓練查詢式，以及與所述訓練查詢式分別對應的正樣本圖片以及負樣本圖片構(gòu)成的正負訓練對。在一個具體例子中，訓練查詢式為“生日賀卡”，與該訓練查詢式對應的正樣本圖片為圖片I，與該訓練查詢式對應的負樣本圖片為圖片2，可以據(jù)此構(gòu)造一個形式為:〈(生日賀卡，圖片I)，(生日賀卡，圖片2)>的訓練樣本。
[0097]其中，可以由人工根據(jù)不同圖片與一個查詢式之間的相關(guān)程度來確定與訓練查詢式對應的正樣本圖片以及負樣本圖片，但是由于在訓練原始深層神經(jīng)網(wǎng)絡時所需的訓練樣本數(shù)目較大，需要投入較大的人力成本，另外，由于不同的人的相關(guān)程度的評價標準也不同，在本實施例的一個優(yōu)選的實施方式中，可以根據(jù)用戶的圖片點擊日志，自動確定與一個查詢式對應的正樣本圖片以及負樣本圖片，例如，當用戶輸入一個查詢式進行圖片搜索后，將用戶基于搜索結(jié)果點擊的圖片作為與該查詢式對應的正樣本圖片，將用戶未點擊的圖片作為與該查詢式對應的負樣本圖片。
[0098]420、依次獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡中，并根據(jù)所述原始深層神經(jīng)網(wǎng)絡基于所述訓練樣本的輸出結(jié)果，對所述原始深層神經(jīng)網(wǎng)絡中的加權(quán)參數(shù)進行調(diào)整。
[0099]在本實施例中，由于通過所述正負訓練對完成對所述原始深層神經(jīng)網(wǎng)絡的訓練，為了提高訓練效率，優(yōu)選可以構(gòu)造兩個完成相同的原始深層神經(jīng)網(wǎng)絡分別用于接收由訓練查詢式、正樣本圖片構(gòu)成的正訓練對，以及由訓練查詢式、負樣本圖片構(gòu)成的負訓練對，進而實現(xiàn)快速、實時的模型訓練。其中，在圖5中示出了一種訓練網(wǎng)絡模型的結(jié)構(gòu)示意圖。
[0100]如圖5所示，420優(yōu)選可以包括下述操作:
[0101]將所述訓練查詢式以及與所述正樣本圖片對應的圖片數(shù)據(jù)輸入至與所述原始深層神經(jīng)網(wǎng)絡結(jié)構(gòu)相同的第一網(wǎng)絡中，并獲取所述第一網(wǎng)絡輸出的第一預測值；
[0102]將所述訓練查詢式以及與所述負樣本圖片對應的圖片數(shù)據(jù)輸入至與所述第一網(wǎng)絡結(jié)構(gòu)相同的第二網(wǎng)絡中，并獲取第二網(wǎng)絡輸出的第二預測值；
[0103]根據(jù)所述第一預測值、所述第二預測值以及所述正樣本圖片與所述負樣本圖片之間的相關(guān)性偏序，計算損失函數(shù)；
[0104]采取設定權(quán)值更新算法，沿著最小化損失函數(shù)的方向，反向逐層更新所述第一網(wǎng)絡以及所述第二網(wǎng)絡中各層的加權(quán)參數(shù)。
[0105]在一個具體例子中，查詢式和正樣本圖片輸入一個與所述原始深層神經(jīng)網(wǎng)絡結(jié)構(gòu)一致的第一網(wǎng)絡，得到相關(guān)性預測值I，該查詢式和負樣本圖片輸入與上述第一網(wǎng)絡相同的第二網(wǎng)絡(包括權(quán)值)，得到相關(guān)性預測值2。根據(jù)預測值I與預測值2的差值符號是否與正樣本圖片與負樣本圖片之間的相關(guān)性偏序一致，計入損失函數(shù)(也稱為rank cost)。
[0106]接下來，與一般的深層神經(jīng)網(wǎng)絡的訓練方法相同，按照最小化損失函數(shù)的方向反向逐層更新各層的權(quán)值，該類方法統(tǒng)稱為BP(Back Propagat1n，反向傳播)算法，具體的權(quán)值更新算法有各種梯度下降法，例如LBFGS(擬牛頓算法)，或者SGD(隨機梯度下降)等，其中SGD收斂速度更快，使用較多。
[0107]與一般的深層神經(jīng)網(wǎng)絡訓練的區(qū)別是:本實施例的技術(shù)方案有兩個相同的網(wǎng)絡，參數(shù)是共享的，權(quán)值的更新始終同步。
[0108]230、判斷是否達到預先設定的訓練結(jié)束條件:若是:執(zhí)行440;否則，返回執(zhí)行420。
[0109]在本實施例中，可以根據(jù)實際需求設定訓練結(jié)束條件，例如，訓練的回合數(shù)(例如，1000次，或者2000次等)或者神經(jīng)網(wǎng)絡對訓練樣本的總誤差值等，本實施例對此并不進行限制。
[0110]440、將訓練完成的所述原始深層神經(jīng)網(wǎng)絡作為所述圖片搜索相關(guān)性預測模型。
[0111]本發(fā)明的技術(shù)方案根據(jù)與同一訓練查詢式對應的正負樣本圖片構(gòu)造正負訓練對作為訓練樣本，并基于正負訓練對構(gòu)造與預設的原始神經(jīng)網(wǎng)絡模型相同的兩個網(wǎng)絡以同步的基于所述正負訓練對進行模型的權(quán)值訓練，可以避免人工標注大量的訓練樣本耗時巨大，且標準難以統(tǒng)一的問題，并可以快速、高效的完成對該原始神經(jīng)網(wǎng)絡模型的訓練。
[0112]第三實施例
[0113]圖6是本發(fā)明第三實施例的一種圖片搜索相關(guān)性預測模型的建立方法的流程圖。本實施例以上述實施例為基礎進行優(yōu)化，在本實施例中，將選取設定數(shù)量的訓練樣本具體優(yōu)化為:根據(jù)搜索用戶的圖片點擊日志，匯總與同一查詢式樣本對應的圖片點擊信息，其中，所述查詢式樣本包括:單一查詢式或者滿足設定相似度閾值條件的至少兩個查詢式;根據(jù)匯總的所述圖片點擊信息，生成與所述查詢式樣本對應的正圖片樣本集以及負圖片樣本集;選取設定數(shù)量的查詢式樣本作為所述訓練查詢式，并根據(jù)與各所述訓練查詢式分別對應的正圖片樣本集以及負圖片樣本集，生成與各所述訓練查詢式分別對應的正負訓練對作為所述訓練樣本。
[0114]相應的，本實施例的方法具體包括:
[0115]610、根據(jù)搜索用戶的圖片點擊日志，匯總與同一查詢式樣本對應的圖片點擊信息。
[0116]—般來說，預設原始神經(jīng)網(wǎng)絡的權(quán)值參數(shù)規(guī)模較為龐大，如果將表示向量生成網(wǎng)絡中的文本相關(guān)的參數(shù)(例如文本詞典的Embedding參數(shù))一起放入訓練更新中，參數(shù)規(guī)模將達到百萬級。對于這樣規(guī)模的參數(shù)，所需的訓練數(shù)據(jù)，主要從用戶的圖片點擊日志中生成。
[0117]用戶在一次查詢過程中可能會點擊多張圖片，被點擊過的圖片與用戶看到但沒有點擊的圖片相比，與用戶輸入的查詢式的相關(guān)性可能是更好的。匯總大量用戶的重復查詢，可以得到統(tǒng)計上更為可信的正負樣本圖片:點擊率高的圖片(正樣本圖片)相對于點擊率低的圖片(負樣本圖片)，有大量點擊的圖片(正樣本圖片)相對于無點擊的圖片(負樣本圖片)。
[0118]其中，所述查詢式樣本可以僅包括單一查詢式;進一步的，針對那些點擊較少或者無點擊的冷門查詢式，可以根據(jù)語義相似性使得上述冷門查詢式與其他查詢式共享點擊圖片，相應的，所述查詢式樣本還可以包括滿足設定相似度閾值條件的至少兩個查詢式。
[0119]在一個具體的例子中，可以直接選取“生日賀卡”作為查詢式樣本，還可以通過語義相似度聚類的方式，將“生日賀卡”、“壽誕賀卡”以及“生辰賀卡”作為查詢式樣本。
[0120]620、根據(jù)匯總的所述圖片點擊信息，生成與所述查詢式樣本對應的正圖片樣本集以及負圖片樣本集。
[0121]在本實施例的一個優(yōu)選的實施方式中，所述圖片點擊信息可以僅包括:與所述查詢式樣本對應的點擊圖片；
[0122]相應的，根據(jù)匯總的所述圖片點擊信息，生成與所述查詢式樣本對應的正圖片樣本集以及負圖片樣本集具體可以包括:
[0123]在所述點擊圖片中，將點擊次數(shù)超過設定第一閾值的圖片歸集為所述正圖片樣本集中，將點擊次數(shù)小于設定第二閾值的圖片歸集為所述負圖片樣本集中。
[0124]其中，第一閾值與第二閾值可以根據(jù)實際情況進行預設，兩者可以相同也可以不同，本實施例對此并不進行限制。
[0125]在本實施例的另一個優(yōu)選的實施方式中，所述圖片點擊信息可以同時包括:與所述查詢式樣本對應的點擊圖片以及與所述查詢式樣本對應的圖片搜索結(jié)果；
[0126]相應的，根據(jù)匯總的所述圖片點擊信息，生成與所述查詢式樣本對應的正圖片樣本集以及負圖片樣本集具體可以包括:
[0127]在與所述圖片搜索結(jié)果對應的各圖片中，將被點擊過的圖片歸集為所述正圖片樣本集中，將未被點擊的圖片歸集為所述負圖片樣本集中。
[0128]630、選取設定數(shù)量的查詢式樣本作為所述訓練查詢式，并根據(jù)與各所述訓練查詢式分別對應的正圖片樣本集以及負圖片樣本集，生成與各所述訓練查詢式分別對應的正負訓練對作為所述訓練樣本。
[0129]如圖7所示，在本實施例的一個優(yōu)選的實施方式中，630具體可以包括下述操作:
[0130]6301、依次獲取一個訓練查詢式作為當前操作查詢式，并獲取與所述當前操作查詢式對應的目標正樣本圖片集以及目標負樣本圖片集。
[0131]在一個具體的例子中，獲取的訓練查詢式為“生日賀卡”，與該“生日賀卡”對應的目標正樣本圖片集包括圖片I?圖片20”，與該“生日賀卡”對應的目標負樣本圖片集包括:“圖片21?圖片80”。
[0132]6302、根據(jù)設定的樣本圖片選取規(guī)則，在所述目標正樣本圖片集中選取第一數(shù)量的目標正樣本圖片，在所述目標負樣本圖片集中選取第二數(shù)量的目標負樣本圖片。
[0133]其中，所述設定的樣本圖片選取規(guī)則可以包括:按照點擊次數(shù)選取或者按照圖片熱度選取或者隨機選取等，本實施例對此并不進行限制。同時，第一數(shù)量可以和第二數(shù)量相同，也可以不同，兩者可以根據(jù)實際需要進行自定義選取。
[0134]進一步的，為了加強訓練樣本的多樣性，還可以從其它查詢式的展現(xiàn)圖片中隨機挑選一些作為負樣本，稱之為隨機負樣本，可以理解的是，該隨機負樣本與當前操作查詢式很差，因此可以認為其可信度很高。
[0135]也即:在區(qū)別于所述當前操作查詢式的非關(guān)聯(lián)查詢式對應的正圖片樣本集中獲取至少一個圖片作為與所述當前操作查詢式對應的目標負樣本圖片。
[0136]例如，與查詢式“老虎”對應的正樣本圖片集中包括有“圖片81?圖片100”，上述“圖片81?圖片100”盡可以作為“生日賀卡”的目標負樣本圖片。
[0137]續(xù)前例，可以選取與訓練查詢式“生日賀卡”對應的目標正樣本圖片:“圖片I?圖片3”，與訓練查詢式“生日賀卡”對應的目標負樣本圖片:“圖片21?圖片22，圖片81”。
[0138]6303、根據(jù)設定的正負圖片組合規(guī)則，分別從所述第一數(shù)量的目標正樣本圖片以及所述第二數(shù)量的目標負樣本圖片中選取樣本圖片，生成與所述當前操作查詢式對應的第三數(shù)量的正負訓練對作為所述訓練樣本。
[0139]在本實施例的一個優(yōu)選的實施方式中，所述設定的正負圖片組合規(guī)則具體可以包括:將目標正樣本圖片中的任一正樣本圖片與目標負樣本圖片中的任一負樣本圖片組合生成正負訓練對的方式，最終確定所述訓練樣本；
[0140]例如:〈(生日賀卡，圖片D，(生日賀卡，圖片21)>、〈(生日賀卡，圖片2)，(生日賀卡，圖片22)>、〈(生日賀卡，圖片3)，(生日賀卡，圖片81)>。
[0141]在本實施例的另一個優(yōu)選的實施方式中，所述設定的正負圖片組合規(guī)則具體還可以包括:將目標正樣本圖片中的任一正樣本圖片分別與目標負樣本圖片中的各個負樣本圖片組合生成正負訓練對的方式，最終確定所述訓練樣本。
[0142]例如，〈(生日賀卡，圖片D，(生日賀卡，圖片21)>、〈(生日賀卡，圖片I)，(生日賀卡，圖片22)>、〈(生日賀卡，圖片I)，(生日賀卡，圖片81)>、〈(生日賀卡，圖片2)，(生日賀卡，圖片21)>、〈(生日賀卡，圖片2)，(生日賀卡，圖片22)>、〈(生日賀卡，圖片2)，(生日賀卡，圖片81)>、〈(生日賀卡，圖片3)，(生日賀卡，圖片21)>、〈(生日賀卡，圖片3)，(生日賀卡，圖片22)>、〈(生日賀卡，圖片3)，(生日賀卡，圖片81)>。
[0143]當然，本領域技術(shù)人員可以理解的是，還可以采取其他的正負圖片組合規(guī)則以最終生成所述訓練樣本，本實施例對此并不進行限制。
[0144]6304、判斷是否完成對全部訓練查詢式的處理:若是，結(jié)束流程；否則，返回執(zhí)行6301ο
[0145]640、依次獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡中，并根據(jù)所述原始深層神經(jīng)網(wǎng)絡基于所述訓練樣本的輸出結(jié)果，對所述原始深層神經(jīng)網(wǎng)絡中的加權(quán)參數(shù)進行調(diào)整。
[0146]650、判斷是否達到預先設定的訓練結(jié)束條件:若是:執(zhí)行660;否則，返回執(zhí)行640。
[0147]660、將訓練完成的所述原始深層神經(jīng)網(wǎng)絡作為所述圖片搜索相關(guān)性預測模型。
[0148]本實施例的技術(shù)方案，通過從用戶的圖片點擊日志中最終或者訓練樣本，可以得到統(tǒng)計上更為可信的正負樣本圖片，基于該正負樣本圖片可以使得最終訓練的圖片搜索相關(guān)性預測模型更加接近理想的或者說所需的相關(guān)性預測模型，進而使得基于該圖片搜索相關(guān)性預測模型的圖片搜索結(jié)果更近貼近用戶的實際需求，以提高用戶的搜索體驗。
[0149]在上述各實施例的基礎上，在根據(jù)搜索用戶的圖片點擊日志，匯總與同一查詢式樣本對應的圖片點擊信息之前，還可以包括:濾除所述圖片點擊日志中包括的噪聲日志。
[0150]這樣設置的原因是:用戶的圖片點擊日志里可能會存在大量噪聲，例如有些不適宜的圖片或者與相關(guān)圖片反差過大的惡意圖片等，反而會吸引用戶點擊，甚至出現(xiàn)在任何查詢下都會引起點擊。有些相關(guān)結(jié)果很多的查詢式，用戶在瀏覽到靠前的相關(guān)圖片后，需求已經(jīng)滿足，后面的相關(guān)圖片被點擊的概率將會大幅下降。這兩種行為都會造成點擊/無點擊、點擊多少與相關(guān)性的失真，因此為了進一步提高所選取的正負樣本圖片的準確性，需要濾除所述圖片點擊日志中包括的噪聲日志。
[0151]識別和去除噪聲日志是保證訓練出的模型的準確性的必要操作。這里簡單介紹兩種方法:
[0152]I)點擊查詢式聚類法。匯總一張圖片(包括重復圖片、相似圖片)被點擊的所有查詢式(以下稱為點擊查詢式)并聚類，可以得到該圖片所滿足的主要需求類別，小眾的類別可以認為是噪聲從而去掉。與主要需求類別的距離都較遠的點擊查詢式，可以作為為噪聲點擊。
[0153]2)圖片聚類法。匯總一個查詢式(包括語義相同、相似的查詢式)下的所有點擊圖片，對這些圖片的分類結(jié)果或者分類表示進行聚類，可以得到滿足該查詢式需求的主要圖片類別，小眾的類別可以認為是噪聲從而去掉。
[0154]在上述各實施例的基礎上，在選取正負樣本圖片時，可以先對一個查詢式下的正(負)樣本按照可信度進行排序。正樣本的可信度可以通過用戶行為證據(jù)來推斷，例如，一般來說，點擊率越高、點擊次數(shù)越多、被點擊時的展現(xiàn)位置分布越靠后的正樣本，其可信度更高。負樣本也有類似的排序方法。對于展現(xiàn)無點擊的負樣本，如果缺少用戶行為上的證據(jù)，也可以由相關(guān)性來推斷可信度，例如，展現(xiàn)次數(shù)越少(相同時間窗內(nèi))、展現(xiàn)位置的分布越靠后的負樣本的相關(guān)性更差，其可信度更高。隨機負樣本的可信度可以認為最高。
[0155]同時，在選取正負樣本圖片時，可以從排序后的正(負)樣本中有序選取或隨機選取，以在噪聲和模型區(qū)分性上平衡。此外，還可以根據(jù)任務目標對查詢式進行選取，調(diào)整不同類型查詢式的比例，例如:高頻(低頻)查詢式的比例、資源數(shù)多(少)的查詢式的比例等。
[0156]另外，需要再次強調(diào)的是，本發(fā)明實施例與現(xiàn)有技術(shù)的區(qū)別主要在于:
[0157]I)現(xiàn)有的文本匹配特征基本都是文本字面上的匹配(包括同義擴展匹配)，而本發(fā)明中查詢式文本與圖片文本是在深層變換后的表示空間中匹配，具有更泛化的意義，一定程度上能實現(xiàn)字面不同但語義相關(guān)的匹配；
[0158]2)現(xiàn)有的分類匹配特征在圖片分類的類別體系過小時，其分類結(jié)果的語義不精細，類別體系過大時，分類的準確率又較低，且與查詢式的文本(或者類別標簽)的匹配難度急劇增大(即所謂的圖片與文本的語義鴻溝)。而在本發(fā)明實施例中，查詢式文本與圖片像素內(nèi)容是在深層變換后的表示空間中匹配，不受查詢式或者圖片的類別體系的限制。
[0159]3)現(xiàn)有的點擊率特征只適用于查詢式之下統(tǒng)計到有效點擊的圖片，而本發(fā)明實施例中的網(wǎng)絡參數(shù)基于所有查詢式下的圖片點擊行為訓練得到，它將用戶點擊行為所包含的圖片對查詢式的相關(guān)性度量即推廣到任意的無點擊圖片或稀疏點擊圖片，又推廣到當前查詢式的任意相關(guān)查詢式上，能實現(xiàn)任意查詢式與圖片之間的相關(guān)性計算。
[0160]綜上，本發(fā)明在查詢式與圖片文本的語義匹配、查詢式與圖片內(nèi)容的語義匹配以及點擊泛化等幾個方面的能力比現(xiàn)有技術(shù)及各種融合和變種的能力更強，對所期望解決的問題解決得更徹底。
[0161]第四實施例
[0162]圖8為本發(fā)明第四實施例提供的一種圖片搜索方法的流程圖，本實施例的方法可以由圖片搜索裝置來執(zhí)行，該裝置可通過硬件和/或軟件的方式實現(xiàn)，并一般可集成于圖片搜索引擎所在的服務器中。本實施例的方法具體包括:
[0163]810、獲取用戶輸入的圖片查詢式。
[0164]在本實施例中，所述圖片查詢式具體是指用戶通過圖片搜索引擎輸入的，文本形式的查詢式，例如生日賀卡”。
[0165]820、將所述圖片查詢式以及待排序圖片分別輸入至通過本發(fā)明第一實施例至第三實施例中的方法建立的圖片搜索相關(guān)性預測模型中，分別計算各所述待排序圖片與所述圖片查詢式之間的相關(guān)性度量值。
[0166]在本實施例中，所述待排序圖片具體是指圖片搜索引擎召回的，與所述圖片查詢式對應的圖片搜索結(jié)果。
[0167]830、根據(jù)計算得到的所述相關(guān)性度量值對各所述待排序圖片進行排序，并將與排序結(jié)果對應的圖片搜索結(jié)果提供給所述用戶。
[0168]本實施例的技術(shù)方案通過將圖片查詢式與各待排序的圖片輸入至預先訓練的圖片搜索相關(guān)性預測模型，可以得到各待排序圖片與所述圖片查詢式之間的相關(guān)性度量值，進而基于所述相關(guān)性度量值，將各待排序圖片進行排序并將排序結(jié)果返回給所述用戶，優(yōu)化了現(xiàn)有的圖片搜索技術(shù)，在查詢式與圖片文本的語義匹配、查詢式與圖片內(nèi)容的語義匹配、點擊泛化等幾個方面的能力比現(xiàn)有技術(shù)及各種融合和變種的能力更強，并可以大大提高圖片搜索結(jié)果與用戶輸入的查詢式之間的相關(guān)度。
[0169]另外需要說明的是，發(fā)明人通過實驗發(fā)現(xiàn):本發(fā)明實施例的技術(shù)方案顯著提升了圖片搜索的相關(guān)性。評估表明，增加該相關(guān)性特征后，圖片搜索在隨機查詢式上的檢索結(jié)果滿意度提升10%以上，即檢索結(jié)果可感知變好的查詢式數(shù)量與檢索結(jié)果可感知變差的查詢式數(shù)量之差，占隨機抽樣查詢式的比例在10%以上，效果非常顯著。
[0170]第五實施例
[0171]圖9是本發(fā)明第五實施例的一種圖片搜索相關(guān)性預測模型的建立裝置的結(jié)構(gòu)圖。如圖9所示，所述裝置包括:
[0172]訓練模塊91，用于使用訓練樣本對預先構(gòu)建的原始深層神經(jīng)網(wǎng)絡進行訓練。
[0173]其中，所述訓練樣本包括:查詢式以及圖片數(shù)據(jù)，所述原始深層神經(jīng)網(wǎng)絡包括:表示向量生成網(wǎng)絡以及相關(guān)計算網(wǎng)絡，所述表示向量生成網(wǎng)絡用于將所述訓練樣本中不同類型的數(shù)據(jù)轉(zhuǎn)換為表示向量并輸入至所述相關(guān)計算網(wǎng)絡，所述相關(guān)計算網(wǎng)絡用于將輸入的至少兩個表不向量轉(zhuǎn)換為一個相關(guān)性度量值；
[0174]模型生成模塊92，用于將訓練完成的所述原始深層神經(jīng)網(wǎng)絡作為所述圖片搜索相關(guān)性預測模型。
[0175]本發(fā)明實施例構(gòu)建了一個原始深層神經(jīng)網(wǎng)絡，該原始深層神經(jīng)網(wǎng)絡的輸入為查詢式以及圖片數(shù)據(jù)，輸出為該查詢式以及圖片數(shù)據(jù)之間的相關(guān)性度量值，選取合適的訓練樣本對該原始深層神經(jīng)網(wǎng)絡進行訓練，最終可以將該原始深層神經(jīng)網(wǎng)絡訓練為圖片搜索相關(guān)性預測模型；當圖片搜索引擎接收到用戶輸入的圖片查詢式后，通過將該圖片查詢式與各待排序的圖片輸入至所述圖片搜索相關(guān)性預測模型，可以得到各待排序圖片與所述圖片查詢式之間的相關(guān)性度量值，進而基于所述相關(guān)性度量值，將各待排序圖片進行排序并將排序結(jié)果返回給所述用戶，優(yōu)化了現(xiàn)有的圖片搜索技術(shù)，在查詢式與圖片文本的語義匹配、查詢式與圖片內(nèi)容的語義匹配、點擊泛化等幾個方面的能力比現(xiàn)有技術(shù)及各種融合和變種的能力更強，并可以大大提高圖片搜索結(jié)果與用戶輸入的查詢式之間的相關(guān)度。
[0176]在上述各實施例的基礎上，所述圖片數(shù)據(jù)可以包括:圖片關(guān)聯(lián)文本數(shù)據(jù)、圖片內(nèi)容數(shù)據(jù)以及圖片關(guān)聯(lián)特征數(shù)據(jù)；
[0177]其中，所述圖片關(guān)聯(lián)特征數(shù)據(jù)包括:與所述圖片對應的點擊查詢式，和/或所述圖片的質(zhì)量特征參數(shù)。
[0178]在上述各實施例的基礎上，所述相關(guān)計算網(wǎng)絡可以包括:隱藏層集以及與所述隱藏層集的輸出端相連的輸出層；
[0179]其中，所述隱藏層集包括一個或者多個首尾相連的隱藏層，所述向量生成網(wǎng)絡的表示向量輸出端與所述隱藏層集的輸入端相連，所述輸出層輸出所述相關(guān)性度量值。
[0180]在上述各實施例的基礎上，所述相關(guān)計算網(wǎng)絡具體可以包括:第一隱藏層集、與所述第一隱藏層集的輸出端相連的第一標準向量表示單元、第二隱藏層集、與所述第二隱藏層集的輸出端相連的第二標準向量表示單元、以及與所述第一標準向量表示單元和所述第二標準向量表示單元的輸出端分別相連的向量距離計算單元；
[0181]其中，所述隱藏層集包括一個或者多個首尾相連的隱藏層，所述表示生成網(wǎng)絡中與所述查詢式對應的表示向量輸出端與所述第一隱藏層集的輸入端相連，所述表示生成網(wǎng)絡中與所述圖片數(shù)據(jù)對應的表示向量輸出端與第二隱藏層集的輸入端相連，所述向量距離計算單元輸出所述相關(guān)性度量值。
[0182]在上述各實施例的基礎上，所述隱藏層可以包括至少兩個神經(jīng)單元，所述輸出層可以包括一個神經(jīng)單元；
[0183]其中，所述表示向量生成網(wǎng)絡所生成的向量維數(shù)、所述相關(guān)計算網(wǎng)絡中包括的隱藏層的數(shù)量、隱藏層中包括的神經(jīng)單元數(shù)量、神經(jīng)單元的響應函數(shù)類型以及神經(jīng)單元輸出的正則化方法根據(jù)任務進行預先設置。
[0184]在上述各實施例的基礎上，所述訓練模塊可以包括:
[0185]訓練樣本選取單元，用于選取設定數(shù)量的訓練樣本；
[0186]加權(quán)參數(shù)調(diào)整單元，用于依次獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡中，并根據(jù)所述原始深層神經(jīng)網(wǎng)絡基于所述訓練樣本的輸出結(jié)果，對所述原始深層神經(jīng)網(wǎng)絡中的加權(quán)參數(shù)進行調(diào)整；
[0187]循環(huán)執(zhí)行單元，用于返回執(zhí)行獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡的操作，直至達到預先設定的訓練結(jié)束條件。
[0188]在上述各實施例的基礎上，所述訓練樣本具體可以包括:由訓練查詢式，以及與所述訓練查詢式分別對應的正樣本圖片以及負樣本圖片構(gòu)成的正負訓練對；
[0189]所述加權(quán)參數(shù)調(diào)整單元具體可以用于:
[0190]將所述訓練查詢式以及與所述正樣本圖片對應的圖片數(shù)據(jù)輸入至與所述原始深層神經(jīng)網(wǎng)絡結(jié)構(gòu)相同的第一網(wǎng)絡中，并獲取所述第一網(wǎng)絡輸出的第一預測值；
[0191]將所述訓練查詢式以及與所述負樣本圖片對應的圖片數(shù)據(jù)輸入至與所述第一網(wǎng)絡結(jié)構(gòu)相同的第二網(wǎng)絡中，并獲取第二網(wǎng)絡輸出的第二預測值；
[0192]根據(jù)所述第一預測值、所述第二預測值以及所述正樣本圖片與所述負樣本圖片之間的相關(guān)性偏序，計算損失函數(shù)；
[0193]采取設定權(quán)值更新算法，沿著最小化損失函數(shù)的方向，反向逐層更新所述第一網(wǎng)絡以及所述第二網(wǎng)絡中各層的加權(quán)參數(shù)。
[0194]在上述各實施例的基礎上，所述訓練樣本選取單元具體可以包括:
[0195]圖片點擊信息匯總子單元，用于根據(jù)搜索用戶的圖片點擊日志，匯總與同一查詢式樣本對應的圖片點擊信息，其中，所述查詢式樣本包括:單一查詢式或者滿足設定相似度閾值條件的至少兩個查詢式；
[0196]正負圖片樣本集生成子單元，用于根據(jù)匯總的所述圖片點擊信息，生成與所述查詢式樣本對應的正圖片樣本集以及負圖片樣本集；
[0197]訓練樣本生成子單元，用于選取設定數(shù)量的查詢式樣本作為所述訓練查詢式，并根據(jù)與各所述訓練查詢式分別對應的正圖片樣本集以及負圖片樣本集，生成與各所述訓練查詢式分別對應的正負訓練對作為所述訓練樣本。
[0198]在上述各實施例的基礎上，所述圖片點擊信息可以包括:與所述查詢式樣本對應的點擊圖片；
[0199]正負圖片樣本集生成子單元具體可以用于:
[0200]在所述點擊圖片中，將點擊次數(shù)超過設定第一閾值的圖片歸集為所述正圖片樣本集中，將點擊次數(shù)小于設定第二閾值的圖片歸集為所述負圖片樣本集中。
[0201]在上述各實施例的基礎上，所述圖片點擊信息可以包括:與所述查詢式樣本對應的點擊圖片以及與所述查詢式樣本對應的圖片搜索結(jié)果；
[0202]正負圖片樣本集生成子單元具體可以用于:
[0203]在與所述圖片搜索結(jié)果對應的各圖片中，將被點擊過的圖片歸集為所述正圖片樣本集中，將未被點擊的圖片歸集為所述負圖片樣本集中。
[0204]在上述各實施例的基礎上，訓練樣本生成子單元具體可以用于:
[0205]依次獲取一個訓練查詢式作為當前操作查詢式，并獲取與所述當前操作查詢式對應的目標正樣本圖片集以及目標負樣本圖片集；
[0206]根據(jù)設定的樣本圖片選取規(guī)則，在所述目標正樣本圖片集中選取第一數(shù)量的目標正樣本圖片，在所述目標負樣本圖片集中選取第二數(shù)量的目標負樣本圖片；
[0207]根據(jù)設定的正負圖片組合規(guī)則，分別從所述第一數(shù)量的目標正樣本圖片以及所述第二數(shù)量的目標負樣本圖片中選取樣本圖片，生成與所述當前操作查詢式對應的第三數(shù)量的正負訓練對作為所述訓練樣本；
[0208]返回執(zhí)行獲取一個訓練查詢式作為當前操作查詢式的操作，直至完成對全部訓練查詢式的處理。
[0209]在上述各實施例的基礎上，所述訓練樣本生成子單元具體還可以用于:
[0210]在區(qū)別于所述當前操作查詢式的非關(guān)聯(lián)查詢式對應的正圖片樣本集中獲取至少一個圖片作為與所述當前操作查詢式對應的目標負樣本圖片。
[0211]在上述各實施例的基礎上，所述訓練樣本選取單元還可以包括:
[0212]噪聲日志濾除子單元，用于在根據(jù)搜索用戶的圖片點擊日志，匯總與同一查詢式樣本對應的圖片點擊信息之前，濾除所述圖片點擊日志中包括的噪聲日志。
[0213]本發(fā)明實施例所提供的圖片搜索相關(guān)性預測模型的建立裝置可用于執(zhí)行本發(fā)明第一實施例至第三實施例提供的圖片搜索相關(guān)性預測模型的建立方法，具備相應的功能模塊，實現(xiàn)相同的有益效果。
[0214]第六實施例
[0215]圖10是本發(fā)明第六實施例的一種圖片搜索裝置的結(jié)構(gòu)圖。如圖10所示，所述裝置包括:
[0216]圖片查詢式獲取模塊101，用于獲取用戶輸入的圖片查詢式。
[0217]相關(guān)性度量值計算模塊102，用于將所述圖片查詢式以及待排序圖片分別輸入至通過第五實施例所述的裝置建立的圖片搜索相關(guān)性預測模型中，分別計算各所述待排序圖片與所述圖片查詢式之間的相關(guān)性度量值。
[0218]圖片搜索結(jié)果提供模塊103，用于根據(jù)計算得到的所述相關(guān)性度量值對各所述待排序圖片進行排序，并將與排序結(jié)果對應的圖片搜索結(jié)果提供給所述用戶。
[0219]本實施例的技術(shù)方案通過將圖片查詢式與各待排序的圖片輸入至預先訓練的圖片搜索相關(guān)性預測模型，可以得到各待排序圖片與所述圖片查詢式之間的相關(guān)性度量值，進而基于所述相關(guān)性度量值，將各待排序圖片進行排序并將排序結(jié)果返回給所述用戶，優(yōu)化了現(xiàn)有的圖片搜索技術(shù)，在查詢式與圖片文本的語義匹配、查詢式與圖片內(nèi)容的語義匹配、點擊泛化等幾個方面的能力比現(xiàn)有技術(shù)及各種融合和變種的能力更強，并可以大大提高圖片搜索結(jié)果與用戶輸入的查詢式之間的相關(guān)度。
[0220]本發(fā)明實施例所提供的圖片搜索裝置可用于執(zhí)行本發(fā)明任意實施例提供的圖片搜索方法，具備相應的功能模塊，實現(xiàn)相同的有益效果。
[0221]顯然，本領域技術(shù)人員應該明白，上述的本發(fā)明的各模塊或各步驟可以通過如上所述的服務器來實施?？蛇x地，本發(fā)明實施例可以用計算機裝置可執(zhí)行的程序來實現(xiàn)，從而可以將它們存儲在存儲裝置中由處理器來執(zhí)行，所述的程序可以存儲于一種計算機可讀存儲介質(zhì)中，上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等;或者將它們分別制作成各個集成電路模塊，或者將它們中的多個模塊或步驟制作成單個集成電路模塊來實現(xiàn)。這樣，本發(fā)明不限制于任何特定的硬件和軟件的結(jié)合。
[0222]以上所述僅為本發(fā)明的優(yōu)選實施例，并不用于限制本發(fā)明，對于本領域技術(shù)人員而言，本發(fā)明可以有各種改動和變化。凡在本發(fā)明的精神和原理之內(nèi)所作的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1.一種圖片搜索相關(guān)性預測模型的建立方法，其特征在于，包括: 使用訓練樣本對預先構(gòu)建的原始深層神經(jīng)網(wǎng)絡進行訓練； 其中，所述訓練樣本包括:查詢式以及圖片數(shù)據(jù)，所述原始深層神經(jīng)網(wǎng)絡包括:表示向量生成網(wǎng)絡以及相關(guān)計算網(wǎng)絡，所述表示向量生成網(wǎng)絡用于將所述訓練樣本中不同類型的數(shù)據(jù)轉(zhuǎn)換為表示向量并輸入至所述相關(guān)計算網(wǎng)絡，所述相關(guān)計算網(wǎng)絡用于將輸入的至少兩個表示向量轉(zhuǎn)換為一個相關(guān)性度量值； 將訓練完成的所述原始深層神經(jīng)網(wǎng)絡作為所述圖片搜索相關(guān)性預測模型。2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖片數(shù)據(jù)包括:圖片關(guān)聯(lián)文本數(shù)據(jù)、圖片內(nèi)容數(shù)據(jù)以及圖片關(guān)聯(lián)特征數(shù)據(jù)； 其中，所述圖片關(guān)聯(lián)特征數(shù)據(jù)包括:與所述圖片對應的點擊查詢式，和/或所述圖片的質(zhì)量特征參數(shù)。3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述相關(guān)計算網(wǎng)絡包括:隱藏層集以及與所述隱藏層集的輸出端相連的輸出層； 其中，所述隱藏層集包括一個或者多個首尾相連的隱藏層，所述向量生成網(wǎng)絡的表示向量輸出端與所述隱藏層集的輸入端相連，所述輸出層輸出所述相關(guān)性度量值。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述相關(guān)計算網(wǎng)絡包括:第一隱藏層集、與所述第一隱藏層集的輸出端相連的第一標準向量表示單元、第二隱藏層集、與所述第二隱藏層集的輸出端相連的第二標準向量表示單元、以及與所述第一標準向量表示單元和所述第二標準向量表示單元的輸出端分別相連的向量距離計算單元； 其中，所述隱藏層集包括一個或者多個首尾相連的隱藏層，所述表示生成網(wǎng)絡中與所述查詢式對應的表示向量輸出端與所述第一隱藏層集的輸入端相連，所述表示生成網(wǎng)絡中與所述圖片數(shù)據(jù)對應的表示向量輸出端與第二隱藏層集的輸入端相連，所述向量距離計算單元輸出所述相關(guān)性度量值。5.根據(jù)權(quán)利要求3或4所述的方法，其特征在于，所述隱藏層包括至少兩個神經(jīng)單元，所述輸出層包括一個神經(jīng)單元； 其中，所述表示向量生成網(wǎng)絡所生成的向量維數(shù)、所述相關(guān)計算網(wǎng)絡中包括的隱藏層的數(shù)量、隱藏層中包括的神經(jīng)單元數(shù)量、神經(jīng)單元的響應函數(shù)類型以及神經(jīng)單元輸出的正則化方法根據(jù)任務進行預先設置。6.根據(jù)權(quán)利要求1所述的方法，其特征在于，使用訓練樣本對預先構(gòu)建的原始深層神經(jīng)網(wǎng)絡進行訓練包括: 選取設定數(shù)量的訓練樣本； 依次獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡中，并根據(jù)所述原始深層神經(jīng)網(wǎng)絡基于所述訓練樣本的輸出結(jié)果，對所述原始深層神經(jīng)網(wǎng)絡中的加權(quán)參數(shù)進行調(diào)整； 返回執(zhí)行獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡的操作，直至達到預先設定的訓練結(jié)束條件。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述訓練樣本具體包括:由訓練查詢式，以及與所述訓練查詢式分別對應的正樣本圖片以及負樣本圖片構(gòu)成的正負訓練對； 依次獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡中，并根據(jù)所述原始深層神經(jīng)網(wǎng)絡基于所述訓練樣本的輸出結(jié)果，對所述原始深層神經(jīng)網(wǎng)絡中的加權(quán)參數(shù)進行調(diào)整具體包括: 將所述訓練查詢式以及與所述正樣本圖片對應的圖片數(shù)據(jù)輸入至與所述原始深層神經(jīng)網(wǎng)絡結(jié)構(gòu)相同的第一網(wǎng)絡中，并獲取所述第一網(wǎng)絡輸出的第一預測值； 將所述訓練查詢式以及與所述負樣本圖片對應的圖片數(shù)據(jù)輸入至與所述第一網(wǎng)絡結(jié)構(gòu)相同的第二網(wǎng)絡中，并獲取第二網(wǎng)絡輸出的第二預測值； 根據(jù)所述第一預測值、所述第二預測值以及所述正樣本圖片與所述負樣本圖片之間的相關(guān)性偏序，計算損失函數(shù)； 采取設定權(quán)值更新算法，沿著最小化損失函數(shù)的方向，反向逐層更新所述第一網(wǎng)絡以及所述第二網(wǎng)絡中各層的加權(quán)參數(shù)。8.根據(jù)權(quán)利要求7所述的方法，其特征在于，選取設定數(shù)量的訓練樣本包括: 根據(jù)搜索用戶的圖片點擊日志，匯總與同一查詢式樣本對應的圖片點擊信息，其中，所述查詢式樣本包括:單一查詢式或者滿足設定相似度閾值條件的至少兩個查詢式； 根據(jù)匯總的所述圖片點擊信息，生成與所述查詢式樣本對應的正圖片樣本集以及負圖片樣本集； 選取設定數(shù)量的查詢式樣本作為所述訓練查詢式，并根據(jù)與各所述訓練查詢式分別對應的正圖片樣本集以及負圖片樣本集，生成與各所述訓練查詢式分別對應的正負訓練對作為所述訓練樣本。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述圖片點擊信息包括:與所述查詢式樣本對應的點擊圖片； 根據(jù)匯總的所述圖片點擊信息，生成與所述查詢式樣本對應的正圖片樣本集以及負圖片樣本集具體包括: 在所述點擊圖片中，將點擊次數(shù)超過設定第一閾值的圖片歸集為所述正圖片樣本集中，將點擊次數(shù)小于設定第二閾值的圖片歸集為所述負圖片樣本集中。10.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述圖片點擊信息包括:與所述查詢式樣本對應的點擊圖片以及與所述查詢式樣本對應的圖片搜索結(jié)果； 根據(jù)匯總的所述圖片點擊信息，生成與所述查詢式樣本對應的正圖片樣本集以及負圖片樣本集具體包括: 在與所述圖片搜索結(jié)果對應的各圖片中，將被點擊過的圖片歸集為所述正圖片樣本集中，將未被點擊的圖片歸集為所述負圖片樣本集中。11.根據(jù)權(quán)利要求8所述的方法，其特征在于，根據(jù)與各所述訓練查詢式分別對應的正圖片樣本集以及負圖片樣本集，生成與各所述訓練查詢式分別對應的正負訓練對作為所述訓練樣本具體包括: 依次獲取一個訓練查詢式作為當前操作查詢式，并獲取與所述當前操作查詢式對應的目標正樣本圖片集以及目標負樣本圖片集； 根據(jù)設定的樣本圖片選取規(guī)則，在所述目標正樣本圖片集中選取第一數(shù)量的目標正樣本圖片，在所述目標負樣本圖片集中選取第二數(shù)量的目標負樣本圖片； 根據(jù)設定的正負圖片組合規(guī)則，分別從所述第一數(shù)量的目標正樣本圖片以及所述第二數(shù)量的目標負樣本圖片中選取樣本圖片，生成與所述當前操作查詢式對應的第三數(shù)量的正負訓練對作為所述訓練樣本； 返回執(zhí)行獲取一個訓練查詢式作為當前操作查詢式的操作，直至完成對全部訓練查詢式的處理。12.根據(jù)權(quán)利要求11所述的方法，其特征在于，根據(jù)設定的樣本圖片選取規(guī)則，在所述目標正樣本圖片集中選取第一數(shù)量的目標正樣本圖片，在所述目標負樣本圖片集中選取第二數(shù)量的目標負樣本圖片還包括: 在區(qū)別于所述當前操作查詢式的非關(guān)聯(lián)查詢式對應的正圖片樣本集中獲取至少一個圖片作為與所述當前操作查詢式對應的目標負樣本圖片。13.根據(jù)權(quán)利要求8所述的方法，其特征在于，在根據(jù)搜索用戶的圖片點擊日志，匯總與同一查詢式樣本對應的圖片點擊信息之前，還包括: 濾除所述圖片點擊日志中包括的噪聲日志。14.一種圖片搜索方法，其特征在于，包括: 獲取用戶輸入的圖片查詢式； 將所述圖片查詢式以及待排序圖片分別輸入至通過權(quán)利要求1-13任一項所述的方法建立的圖片搜索相關(guān)性預測模型中，分別計算各所述待排序圖片與所述圖片查詢式之間的相關(guān)性度量值； 根據(jù)計算得到的所述相關(guān)性度量值對各所述待排序圖片進行排序，并將與排序結(jié)果對應的圖片搜索結(jié)果提供給所述用戶。15.—種圖片搜索相關(guān)性預測模型的建立裝置，其特征在于，包括: 訓練模塊，用于使用訓練樣本對預先構(gòu)建的原始深層神經(jīng)網(wǎng)絡進行訓練； 其中，所述訓練樣本包括:查詢式以及圖片數(shù)據(jù)，所述原始深層神經(jīng)網(wǎng)絡包括:表示向量生成網(wǎng)絡以及相關(guān)計算網(wǎng)絡，所述表示向量生成網(wǎng)絡用于將所述訓練樣本中不同類型的數(shù)據(jù)轉(zhuǎn)換為表示向量并輸入至所述相關(guān)計算網(wǎng)絡，所述相關(guān)計算網(wǎng)絡用于將輸入的至少兩個表示向量轉(zhuǎn)換為一個相關(guān)性度量值； 模型生成模塊，用于將訓練完成的所述原始深層神經(jīng)網(wǎng)絡作為所述圖片搜索相關(guān)性預測模型。16.根據(jù)權(quán)利要求15所述的裝置，其特征在于，所述圖片數(shù)據(jù)包括:圖片關(guān)聯(lián)文本數(shù)據(jù)、圖片內(nèi)容數(shù)據(jù)以及圖片關(guān)聯(lián)特征數(shù)據(jù)； 其中，所述圖片關(guān)聯(lián)特征數(shù)據(jù)包括:與所述圖片對應的點擊查詢式，和/或所述圖片的質(zhì)量特征參數(shù)。17.根據(jù)權(quán)利要求15所述的裝置，其特征在于，所述訓練模塊包括: 訓練樣本選取單元，用于選取設定數(shù)量的訓練樣本； 加權(quán)參數(shù)調(diào)整單元，用于依次獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡中，并根據(jù)所述原始深層神經(jīng)網(wǎng)絡基于所述訓練樣本的輸出結(jié)果，對所述原始深層神經(jīng)網(wǎng)絡中的加權(quán)參數(shù)進行調(diào)整； 循環(huán)執(zhí)行單元，用于返回執(zhí)行獲取一個訓練樣本輸入至所述原始深層神經(jīng)網(wǎng)絡的操作，直至達到預先設定的訓練結(jié)束條件。18.根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述訓練樣本具體包括:由訓練查詢式，以及與所述訓練查詢式分別對應的正樣本圖片以及負樣本圖片構(gòu)成的正負訓練對； 所述加權(quán)參數(shù)調(diào)整單元具體用于: 將所述訓練查詢式以及與所述正樣本圖片對應的圖片數(shù)據(jù)輸入至與所述原始深層神經(jīng)網(wǎng)絡結(jié)構(gòu)相同的第一網(wǎng)絡中，并獲取所述第一網(wǎng)絡輸出的第一預測值； 將所述訓練查詢式以及與所述負樣本圖片對應的圖片數(shù)據(jù)輸入至與所述第一網(wǎng)絡結(jié)構(gòu)相同的第二網(wǎng)絡中，并獲取第二網(wǎng)絡輸出的第二預測值； 根據(jù)所述第一預測值、所述第二預測值以及所述正樣本圖片與所述負樣本圖片之間的相關(guān)性偏序，計算損失函數(shù)； 采取設定權(quán)值更新算法，沿著最小化損失函數(shù)的方向，反向逐層更新所述第一網(wǎng)絡以及所述第二網(wǎng)絡中各層的加權(quán)參數(shù)。19.根據(jù)權(quán)利要求18所述的裝置，其特征在于，所述訓練樣本選取單元具體包括: 圖片點擊信息匯總子單元，用于根據(jù)搜索用戶的圖片點擊日志，匯總與同一查詢式樣本對應的圖片點擊信息，其中，所述查詢式樣本包括:單一查詢式或者滿足設定相似度閾值條件的至少兩個查詢式； 正負圖片樣本集生成子單元，用于根據(jù)匯總的所述圖片點擊信息，生成與所述查詢式樣本對應的正圖片樣本集以及負圖片樣本集； 訓練樣本生成子單元，用于選取設定數(shù)量的查詢式樣本作為所述訓練查詢式，并根據(jù)與各所述訓練查詢式分別對應的正圖片樣本集以及負圖片樣本集，生成與各所述訓練查詢式分別對應的正負訓練對作為所述訓練樣本。20.—種圖片搜索裝置，其特征在于，包括: 圖片查詢式獲取模塊，用于獲取用戶輸入的圖片查詢式； 相關(guān)性度量值計算模塊，用于將所述圖片查詢式以及待排序圖片分別輸入至通過權(quán)利要求15-19任一項所述的裝置建立的圖片搜索相關(guān)性預測模型中，分別計算各所述待排序圖片與所述圖片查詢式之間的相關(guān)性度量值； 圖片搜索結(jié)果提供模塊，用于根據(jù)計算得到的所述相關(guān)性度量值對各所述待排序圖片進行排序，并將與排序結(jié)果對應的圖片搜索結(jié)果提供給所述用戶。
【文檔編號】G06N3/08GK106021364SQ201610306220
【公開日】2016年10月12日
【申請日】2016年5月10日
【發(fā)明人】付立波, 羅恒, 方高林, 徐偉
【申請人】百度在線網(wǎng)絡技術(shù)（北京）有限公司