背景技術(shù)：

1、本說(shuō)明書(shū)涉及使用神經(jīng)網(wǎng)絡(luò)來(lái)執(zhí)行信息檢索。

2、神經(jīng)網(wǎng)絡(luò)是采用一層或多層非線性單元來(lái)預(yù)測(cè)針對(duì)接收到的輸入的輸出的機(jī)器學(xué)習(xí)模型。一些神經(jīng)網(wǎng)絡(luò)除了輸出層之外還包括一個(gè)或多個(gè)隱藏層。每個(gè)隱藏層的輸出被用作對(duì)網(wǎng)絡(luò)中的下一層——即，下一隱藏層或輸出層——的輸入。網(wǎng)絡(luò)的每個(gè)層根據(jù)相應(yīng)參數(shù)集的當(dāng)前值從接收到的輸入生成輸出。

技術(shù)實(shí)現(xiàn)思路

1、本說(shuō)明書(shū)描述了一種被實(shí)現(xiàn)為一個(gè)或多個(gè)位置中的一個(gè)或多個(gè)計(jì)算機(jī)上的計(jì)算機(jī)程序的系統(tǒng)，該系統(tǒng)響應(yīng)于接收到的查詢而執(zhí)行信息檢索任務(wù)以檢索資源集合內(nèi)的信息。

2、該系統(tǒng)的實(shí)施方式解決了響應(yīng)于查詢而針對(duì)目標(biāo)高效地搜索圖數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)的問(wèn)題。圖由保存信息的節(jié)點(diǎn)以及定義節(jié)點(diǎn)之間的關(guān)系的節(jié)點(diǎn)之間的鏈接來(lái)定義。該系統(tǒng)的實(shí)施方式能夠通過(guò)經(jīng)由鏈接高效地遍歷通過(guò)節(jié)點(diǎn)的路徑來(lái)標(biāo)識(shí)目標(biāo)，以標(biāo)識(shí)特定信息存儲(chǔ)位置。

3、所描述的技術(shù)可以被用于搜索任何類(lèi)型的信息；它們不依賴于數(shù)據(jù)的種類(lèi)。目標(biāo)可以是軟目標(biāo)或近似目標(biāo)。在搜索過(guò)程期間不需要人為干預(yù)。

4、作為一個(gè)示例，該系統(tǒng)可以從一個(gè)或多個(gè)網(wǎng)站的集合檢索信息，其中每個(gè)資源表示一個(gè)或多個(gè)網(wǎng)站中的網(wǎng)頁(yè)或一個(gè)或多個(gè)網(wǎng)站中的網(wǎng)頁(yè)的一部分。在該場(chǎng)境中，高效地遍歷通過(guò)節(jié)點(diǎn)的路徑導(dǎo)致減少的通信帶寬（因?yàn)樾枰獧z索更少的網(wǎng)頁(yè)）和快速的，即低延時(shí)的搜索。

5、可以實(shí)現(xiàn)本說(shuō)明書(shū)中描述的主題的特定實(shí)施例，以便實(shí)現(xiàn)以下附加優(yōu)點(diǎn)中的一個(gè)或多個(gè)。

6、所描述的技術(shù)的實(shí)施方式提供了在搜索圖存儲(chǔ)結(jié)構(gòu)時(shí)較低的存儲(chǔ)器和計(jì)算要求的技術(shù)優(yōu)點(diǎn)。這是通過(guò)使用導(dǎo)航策略神經(jīng)網(wǎng)絡(luò)來(lái)處理尤其是節(jié)點(diǎn)處的信息的嵌入以生成來(lái)自該節(jié)點(diǎn)的傳出鏈接的分?jǐn)?shù)來(lái)實(shí)現(xiàn)的，然后使用該分?jǐn)?shù)來(lái)選擇要跟隨的鏈接中的一個(gè)。

7、通過(guò)使用神經(jīng)網(wǎng)絡(luò)以通過(guò)導(dǎo)航通過(guò)資源集合來(lái)生成對(duì)查詢的響應(yīng)，所描述的技術(shù)即使在傳統(tǒng)信息檢索技術(shù)失敗的情況下也可以生成對(duì)各種查詢的有效響應(yīng)。例如，所描述的技術(shù)可以通過(guò)搜索可能無(wú)法由互聯(lián)網(wǎng)搜索引擎有效搜索到的資源集合來(lái)生成對(duì)查詢的有效響應(yīng)。例如，資源集合可以是對(duì)互聯(lián)網(wǎng)搜索引擎不可訪問(wèn)的一個(gè)或多個(gè)帶防火墻的網(wǎng)站。作為另一示例，資源集合可以是尚未被互聯(lián)網(wǎng)搜索引擎索引的一個(gè)或多個(gè)網(wǎng)站（并且，因此，互聯(lián)網(wǎng)搜索引擎不能從未索引的網(wǎng)站生成標(biāo)識(shí)頁(yè)面的結(jié)果）。作為另一示例，資源集合可以是被頻繁地更新并且因此具有與它們最后被互聯(lián)網(wǎng)搜索引擎爬取時(shí)的內(nèi)容顯著不同的內(nèi)容的一個(gè)或多個(gè)網(wǎng)站。作為另一示例，所描述的技術(shù)可以用于補(bǔ)充互聯(lián)網(wǎng)搜索引擎或其他信息檢索系統(tǒng)，例如，通過(guò)使用信息檢索系統(tǒng)來(lái)找到集合相對(duì)于查詢的正確附近，并且然后使用所描述的技術(shù)來(lái)找到從由信息檢索系統(tǒng)標(biāo)識(shí)的當(dāng)前資源開(kāi)始的期望目標(biāo)。

8、在一般實(shí)施方式中，所描述的系統(tǒng)可以處理包括非結(jié)構(gòu)化數(shù)據(jù)的資源，例如自然語(yǔ)言的文本。即使當(dāng)圖模式隨時(shí)間變化時(shí)，系統(tǒng)的實(shí)施方式也可以有效地操作。

9、在附圖和下面的描述中闡述了本說(shuō)明書(shū)的主題的一個(gè)或多個(gè)實(shí)施例的細(xì)節(jié)。根據(jù)說(shuō)明書(shū)、附圖和權(quán)利要求，主題的其他特征、方面和優(yōu)點(diǎn)將變得顯而易見(jiàn)。

技術(shù)特征：

1.一種由一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行的方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其中，所述資源集合包括一個(gè)或多個(gè)網(wǎng)站，并且其中所述集合中的每個(gè)資源表示所述一個(gè)或多個(gè)網(wǎng)站中的網(wǎng)頁(yè)的至少一部分。

3.根據(jù)權(quán)利要求2所述的方法，其中，對(duì)于所述導(dǎo)航迭代中的至少一個(gè)，截至所述導(dǎo)航迭代的所述當(dāng)前資源表示特定網(wǎng)頁(yè)的一部分，并且來(lái)自截至所述導(dǎo)航迭代的所述當(dāng)前資源的所述多個(gè)傳出鏈接包括（i）到所述特定網(wǎng)頁(yè)的一個(gè)或多個(gè)其他部分中的每個(gè)部分的相應(yīng)鏈接以及（ii）到所述集合中的其他網(wǎng)頁(yè)的一個(gè)或多個(gè)超鏈接。

4.根據(jù)權(quán)利要求2或3中的任一項(xiàng)所述的方法，其中，所述查詢是通過(guò)互聯(lián)網(wǎng)搜索引擎提交的，并且其中（i）所述一個(gè)或多個(gè)網(wǎng)站尚未被所述互聯(lián)網(wǎng)搜索引擎索引，或者（ii）自所述一個(gè)或多個(gè)網(wǎng)站已經(jīng)被所述互聯(lián)網(wǎng)搜索引擎索引以來(lái)，所述一個(gè)或多個(gè)網(wǎng)站中的所述網(wǎng)頁(yè)中的一個(gè)或多個(gè)網(wǎng)頁(yè)的內(nèi)容已經(jīng)改變。

5.根據(jù)權(quán)利要求2至4中的任一項(xiàng)所述的方法，其中，所述一個(gè)或多個(gè)網(wǎng)站對(duì)搜索引擎爬蟲(chóng)不可訪問(wèn)。

6.根據(jù)任一前述權(quán)利要求所述的方法，其中，所述查詢是從客戶端設(shè)備接收的，并且其中，所述方法還包括：

7.根據(jù)任一前述權(quán)利要求所述的方法，其中，對(duì)所述查詢的所述響應(yīng)包括到在所述最后一次導(dǎo)航迭代之后的所述當(dāng)前資源的鏈接。

8.根據(jù)任一前述權(quán)利要求所述的方法，其中對(duì)所述查詢的所述響應(yīng)包括（i）來(lái)自在所述最后一次導(dǎo)航迭代之后的所述當(dāng)前資源的內(nèi)容、（ii）來(lái)自在所述最后一次導(dǎo)航迭代之后的所述當(dāng)前資源的所述內(nèi)容的概要、或（iii）兩者。

9.根據(jù)任一前述權(quán)利要求所述的方法，其中，所述資源編碼器神經(jīng)網(wǎng)絡(luò)包括自注意力神經(jīng)網(wǎng)絡(luò)，所述自注意力神經(jīng)網(wǎng)絡(luò)被配置為處理來(lái)自所述資源的文本詞元以生成所述文本詞元中的每個(gè)文本詞元的相應(yīng)詞元嵌入。

10.根據(jù)任一前述權(quán)利要求所述的方法，其中，基于所述傳出鏈接的所述相應(yīng)分?jǐn)?shù)來(lái)選擇所述傳出鏈接中的一個(gè)包括：

11.根據(jù)任一前述權(quán)利要求所述的方法，還包括：

12.根據(jù)權(quán)利要求11所述的方法，其中，確定已經(jīng)滿足終止標(biāo)準(zhǔn)包括：

13.根據(jù)權(quán)利要求11所述的方法，其中，確定已經(jīng)滿足終止標(biāo)準(zhǔn)包括：

14.根據(jù)任一前述權(quán)利要求所述的方法，其中，使用導(dǎo)航策略神經(jīng)網(wǎng)絡(luò)至少?gòu)乃鰝鞒鲦溄拥乃銮度?、所述?dāng)前資源的所述嵌入和所述查詢的所述嵌入生成每個(gè)傳出鏈接的相應(yīng)分?jǐn)?shù)包括：

15.根據(jù)權(quán)利要求14所述的方法，其中，所述導(dǎo)航輸入還包括截至任何先前導(dǎo)航迭代的所述當(dāng)前資源的相應(yīng)嵌入。

16.根據(jù)任一前述權(quán)利要求所述的方法，其中，生成每個(gè)傳出鏈接的相應(yīng)嵌入包括：

17.根據(jù)權(quán)利要求16所述的方法，其中，至少?gòu)模╥）由所述傳出鏈接所鏈接到的所述相應(yīng)其他資源的內(nèi)容、（ii）對(duì)應(yīng)于所述傳出鏈接的所述當(dāng)前資源中的文本、或（iii）兩者來(lái)生成所述相應(yīng)嵌入包括：

18.根據(jù)權(quán)利要求16或權(quán)利要求17所述的方法，其中，至少?gòu)模╥）由所述傳出鏈接所鏈接到的所述相應(yīng)其他資源的內(nèi)容、（ii）對(duì)應(yīng)于所述傳出鏈接的所述當(dāng)前資源中的文本、或（iii）兩者來(lái)生成所述相應(yīng)嵌入包括使用所述資源編碼器神經(jīng)網(wǎng)絡(luò)來(lái)處理（i）、（ii）或（iii）。

19.根據(jù)任一前述權(quán)利要求所述的方法，其中，標(biāo)識(shí)資源集合中的當(dāng)前資源包括：

20.根據(jù)任一前述權(quán)利要求所述的方法，還包括：

21.一種訓(xùn)練根據(jù)任一前述權(quán)利要求所述的導(dǎo)航策略神經(jīng)網(wǎng)絡(luò)和查詢編碼器神經(jīng)網(wǎng)絡(luò)的方法，所述方法包括：

22.根據(jù)權(quán)利要求21所述的方法，其中，在第一圖導(dǎo)航任務(wù)上至少預(yù)先訓(xùn)練所述導(dǎo)航策略神經(jīng)網(wǎng)絡(luò)包括通過(guò)對(duì)獎(jiǎng)勵(lì)的強(qiáng)化學(xué)習(xí)來(lái)預(yù)先訓(xùn)練所述導(dǎo)航策略神經(jīng)網(wǎng)絡(luò)，所述獎(jiǎng)勵(lì)度量所述第一圖導(dǎo)航任務(wù)是否成功完成。

23.根據(jù)權(quán)利要求21至22中的任一項(xiàng)所述的方法，其中，所述第一圖導(dǎo)航任務(wù)的每個(gè)實(shí)例要求從所述實(shí)例的源資源開(kāi)始在對(duì)應(yīng)閾值數(shù)量的導(dǎo)航迭代內(nèi)到達(dá)所述實(shí)例的目標(biāo)資源。

24.根據(jù)權(quán)利要求23所述的方法，其中，所述任務(wù)的不同實(shí)例具有不同的對(duì)應(yīng)閾值。

25.根據(jù)權(quán)利要求21至24中的任一項(xiàng)所述的方法，其中，在第一圖導(dǎo)航任務(wù)上至少預(yù)先訓(xùn)練所述導(dǎo)航策略神經(jīng)網(wǎng)絡(luò)包括預(yù)先訓(xùn)練所述資源編碼器神經(jīng)網(wǎng)絡(luò)。

26.一種系統(tǒng)，包括：

27.一種或多種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)指令，所述指令在由一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行時(shí)使所述一個(gè)或多個(gè)計(jì)算機(jī)執(zhí)行根據(jù)權(quán)利要求1至25中的任一項(xiàng)所述的方法的相應(yīng)操作。

技術(shù)總結(jié)
用于使用神經(jīng)網(wǎng)絡(luò)進(jìn)行資源導(dǎo)航的方法、系統(tǒng)和裝置，包括編碼在計(jì)算機(jī)存儲(chǔ)介質(zhì)上的計(jì)算機(jī)程序。

技術(shù)研發(fā)人員：肯尼思·丹尼爾·馬里諾,曼齊爾·查希爾,羅伯特·戴維·弗格斯,威爾·S·格萊斯沃爾
受保護(hù)的技術(shù)使用者：淵慧科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19