能達到期望的結(jié)果。在某些實現(xiàn)方式中，多任務(wù)和并行處理可能是有利的。
【主權(quán)項】
1.一種系統(tǒng)，包括: 在定義非線性操作的多個層的一個或多個計算機中實現(xiàn)的深度網(wǎng)絡(luò)，其中所述深度網(wǎng)絡(luò)包括: 嵌入函數(shù)層，所述嵌入函數(shù)層被配置為: 接收包括資源的多個特征的輸入，其中每個特征是所述資源的相應(yīng)屬性的值，以及 使用相應(yīng)嵌入函數(shù)來處理每個特征，以生成一個或多個數(shù)值，以及 一個或多個神經(jīng)網(wǎng)絡(luò)層，所述一個或多個神經(jīng)網(wǎng)絡(luò)層被配置為: 接收所述數(shù)值，以及 處理所述數(shù)值，以生成所述資源的特征的替選表示，其中處理浮點值包括將一個或多個非線性變換應(yīng)用到浮點值；以及分類器，所述分類器被配置為: 處理所述輸入的替選表示，以為預(yù)定概念術(shù)語組中的每個概念術(shù)語生成相應(yīng)相關(guān)性分值，其中每個相應(yīng)相關(guān)性分值測量對應(yīng)的概念術(shù)語與所述資源的預(yù)測相關(guān)性。2.如權(quán)利要求1所述的系統(tǒng)，其中，每個所述嵌入函數(shù)特定于相應(yīng)特征類型的特征，其中，每個所述嵌入函數(shù)接收相應(yīng)類型的特征，并且將根據(jù)嵌入函數(shù)參數(shù)組將特征映射到數(shù)值表示的變換應(yīng)用到特征。3.如權(quán)利要求1所述的系統(tǒng)，其中，所述系統(tǒng)進一步包括一個或多個計算機以及存儲指令的一個或多個存儲設(shè)備，所述指令在被所述一個或多個計算機執(zhí)行時使所述一個或多個計算機執(zhí)行包括以下的操作: 響應(yīng)于接收將要進行在線廣告拍賣以選擇用于包括在所述資源的特定呈現(xiàn)中的一個或多個廣告的指示，獲得所述資源的所述多個特征。4.如權(quán)利要求3所述的系統(tǒng)，所述操作進一步包括: 基于所述相關(guān)性分值選擇所述概念術(shù)語中的一個或多個作為在選擇參與所述在線廣告拍賣的候選廣告時使用的廣告關(guān)鍵字。5.如權(quán)利要求4所述的系統(tǒng)，所述操作進一步包括: 過濾與所述資源不是相同語言的概念術(shù)語。6.如權(quán)利要4所述的系統(tǒng)，所述操作進一步包括: 過濾具有超過閾值的詞頻逆文檔頻率(TF-1DF)分值的概念術(shù)語。7.如權(quán)利要求1所述的系統(tǒng)，其中，所述數(shù)值是浮點值。8.如權(quán)利要求1所述的系統(tǒng)，其中，所述數(shù)值是量化的整數(shù)值，其中，所述量化的整數(shù)值的編碼表示浮點值。9.一種訓練用于預(yù)測預(yù)定概念術(shù)語組中的每一個與資源的相關(guān)性的系統(tǒng)的方法，其中所述系統(tǒng)包括嵌入函數(shù)層、一個或多個神經(jīng)網(wǎng)絡(luò)層和分類器，其中所述方法包括: 獲得識別訓練資源的數(shù)據(jù)和用于每個所述訓練資源的一個或多個相應(yīng)關(guān)聯(lián)的概念術(shù)語； 對于每個所述訓練資源，指定用于由所述分類器生成的相應(yīng)預(yù)測輸出的輸出標準；以及 基于每個所述訓練資源的相應(yīng)特征和所指定的輸出標準，訓練所述嵌入函數(shù)層、所述神經(jīng)網(wǎng)絡(luò)層和所述分類器，其中每個特征是所述資源的相應(yīng)屬性的值。10.如權(quán)利要求9所述的方法，其中，指定所述輸出標準包括: 對于每個訓練資源，指定為與所述訓練資源相關(guān)聯(lián)的概念術(shù)語生成的相關(guān)性分值應(yīng)該超過為所述多個概念術(shù)語中與所述訓練資源不相關(guān)聯(lián)的其他概念術(shù)語的隨機樣本生成的相關(guān)性分值。11.如權(quán)利要求9所述的方法，進一步包括: 獲得識別用戶查看的訓練資源的數(shù)據(jù)； 獲得識別用戶在查看所述訓練資源的閾值時間窗口內(nèi)選擇的第一資源中的廣告的數(shù)據(jù)；以及 將在所述第一資源中放置廣告所使用的關(guān)鍵字與用戶查看的訓練資源相關(guān)聯(lián)作為概念術(shù)語。12.—種由一個或多個計算機執(zhí)行的方法，所述方法包括: 接收包括資源的多個特征的輸入，其中每個特征是所述資源的相應(yīng)屬性的值； 使用相應(yīng)嵌入函數(shù)來處理每個特征，以生成一個或多個數(shù)值； 處理所述數(shù)值，以生成所述資源的特征的替選表示，其中處理所述數(shù)值包括將一個或多個非線性變換應(yīng)用到所述數(shù)值；以及 處理所述輸入的替選表示以生成預(yù)定概念術(shù)語組中的每個概念術(shù)語的相應(yīng)相關(guān)性分值，其中每個所述相應(yīng)相關(guān)性分值測量對應(yīng)的概念術(shù)語與所述資源的預(yù)測相關(guān)性。13.如權(quán)利要求12所述的方法，其中，每個所述嵌入函數(shù)特定于相應(yīng)特征類型的特征，其中，每個所述嵌入函數(shù)接收相應(yīng)類型的特征，并且將根據(jù)嵌入函數(shù)參數(shù)組將特征映射到數(shù)值表示的變換應(yīng)用到特征。14.如權(quán)利要求12所述的方法，進一步包括:響應(yīng)于接收將要進行在線廣告拍賣以選擇用于包括在所述資源的特定呈現(xiàn)中的一個或多個廣告的指示，獲得所述資源的所述多個特征。15.如權(quán)利要求14所述的方法，進一步包括: 基于相關(guān)性分值選擇所述概念術(shù)語中的一個或多個作為在選擇參與所述在線廣告拍賣的候選廣告時使用的廣告關(guān)鍵字。16.如權(quán)利要求15所述的方法，進一步包括: 過濾與所述資源不是相同語言的概念術(shù)語。17.如權(quán)利要求15所述的方法，進一步包括: 過濾具有超過閾值的詞頻逆文檔頻率(TF-1DF)分值的概念術(shù)語。18.如權(quán)利要求12所述的方法，其中，所述數(shù)值是浮點值。19.如權(quán)利要求12所述的方法，其中，所述數(shù)值是量化的整數(shù)值，其中，所述量化的整數(shù)值的編碼表示浮點值。20.一種包括一個或多個計算機和存儲指令的一個或多個存儲設(shè)備的系統(tǒng)，其中所述方法包括: 獲得識別訓練資源的數(shù)據(jù)和用于每個所述訓練資源的一個或多個相應(yīng)關(guān)聯(lián)的概念術(shù)語； 對于每個所述訓練資源，指定用于由分類器生成的相應(yīng)預(yù)測輸出的輸出標準；以及 訓練概念術(shù)語評分系統(tǒng)以用于預(yù)測預(yù)定概念術(shù)語組中的每一個與資源的相關(guān)性，其中，所述概念術(shù)語評分系統(tǒng)包括嵌入函數(shù)層、一個或多個神經(jīng)網(wǎng)絡(luò)層和分類器，并且其中，訓練所述概念術(shù)語評分系統(tǒng)包括基于每個所述訓練資源的相應(yīng)特征和所指定的輸出標準來訓練所述嵌入函數(shù)層、所述神經(jīng)網(wǎng)絡(luò)層和所述分類器，其中，每個特征是所述資源的相應(yīng)屬性的值。21.如權(quán)利要求20所述的系統(tǒng)，其中，指定所述輸出標準包括: 對于每個訓練資源，指定為與所述訓練資源相關(guān)聯(lián)的概念術(shù)語生成的相關(guān)性分值應(yīng)該超過為所述多個概念術(shù)語中與所述訓練資源不相關(guān)聯(lián)的其他概念術(shù)語的隨機樣本生成的相關(guān)性分值。22.如權(quán)利要求20所述的系統(tǒng)，所述操作進一步包括: 獲得識別用戶查看的訓練資源的數(shù)據(jù)； 獲得識別用戶在查看所述訓練資源的閾值時間窗口內(nèi)選擇的第一資源中的廣告的數(shù)據(jù)；以及 將在所述第一資源中放置廣告所使用的關(guān)鍵字與用戶查看的所述訓練資源相關(guān)聯(lián)作為概念術(shù)語。23.—種編碼有計算機程序的計算機存儲介質(zhì)，所述程序包括指令，所述指令在被一個或多個計算機執(zhí)行時使所述一個或多個計算機執(zhí)行包括以下的操作: 接收包括資源的多個特征的輸入，其中每個特征是所述資源的相應(yīng)屬性的值； 使用相應(yīng)嵌入函數(shù)來處理每個特征，以生成一個或多個數(shù)值； 處理所述數(shù)值，以生成所述資源的特征的替選表示，其中處理所述數(shù)值包括將一個或多個非線性變換應(yīng)用到所述數(shù)值；以及 處理所述輸入的替選表示以生成預(yù)定概念術(shù)語組中的每個概念術(shù)語的相應(yīng)相關(guān)性分值，其中每個所述相應(yīng)相關(guān)性分值測量對應(yīng)的概念術(shù)語與所述資源的預(yù)測相關(guān)性。24.—種編碼有計算機程序的計算機存儲介質(zhì)，所述程序包括指令，所述指令在被一個或多個計算機執(zhí)行時使所述一個或多個計算機執(zhí)行包括以下的操作: 獲得識別訓練資源的數(shù)據(jù)和用于每個所述訓練資源的一個或多個相應(yīng)關(guān)聯(lián)的概念術(shù)語； 對于每個所述訓練資源，指定用于由分類器生成的相應(yīng)預(yù)測輸出的輸出標準；以及 訓練概念術(shù)語評分系統(tǒng)以用于預(yù)測預(yù)定概念術(shù)語組中的每一個與資源的相關(guān)性，其中，所述概念術(shù)語評分系統(tǒng)包括嵌入函數(shù)層、一個或多個神經(jīng)網(wǎng)絡(luò)層和分類器，并且其中，訓練所述概念術(shù)語評分系統(tǒng)包括基于每個所述訓練資源的相應(yīng)特征和所指定的輸出標準來訓練所述嵌入函數(shù)層、所述神經(jīng)網(wǎng)絡(luò)層和所述分類器，其中，每個特征是所述資源的相應(yīng)屬性的值。
【專利摘要】一種使用深度網(wǎng)絡(luò)對概念術(shù)語進行評分的方法、系統(tǒng)和裝置，包括計算機存儲介質(zhì)上編碼的計算機程序。方法中的一個包括接收包括資源的多個特征的輸入，其中每個特征是資源的相應(yīng)屬性的值；使用相應(yīng)嵌入函數(shù)處理每個特征，以生成一個或多個數(shù)值；處理數(shù)值，以生成資源的特征的替選表示，其中處理所述數(shù)值包括將一個或多個非線性變換應(yīng)用到所述數(shù)值；以及處理輸入的替選表示，以生成預(yù)定概念術(shù)語組中的每個概念術(shù)語的相應(yīng)相關(guān)分值，其中每個相應(yīng)相關(guān)分值測量對應(yīng)的概念術(shù)語與資源的預(yù)測相關(guān)性。
【IPC分類】G06N3/04, G06F17/30, G06K9/62, G06Q30/02, G06N3/08
【公開號】CN105144164
【申請?zhí)枴緾N201480023391
【發(fā)明人】陳凱, 宋曉丹, 格雷戈里·S·科拉多, 張錕, 杰弗里·A·迪安, 巴赫曼·拉比
【申請人】谷歌公司
【公開日】2015年12月9日
【申請日】2014年3月13日
【公告號】US9141906, US20140279773, WO2014160344A1