專利名稱：搜索結(jié)構(gòu)化地理數(shù)據(jù)的制作方法
技術(shù)領(lǐng)域：
本公開涉及針對(duì)用戶搜索提供結(jié)果。
背景技術(shù)：
查詢處理系統(tǒng)一般用于從大量數(shù)據(jù)收集定位信息。示例性系統(tǒng)包
括響應(yīng)于尋求識(shí)別相關(guān)web內(nèi)容的用戶所輸入的一個(gè)或多個(gè)用戶搜索
詞語而識(shí)別相關(guān)網(wǎng)頁(yè)的那些系統(tǒng)。在網(wǎng)頁(yè)搜索系統(tǒng)中，可以通過將搜 索查詢中的詞語與預(yù)先存儲(chǔ)的網(wǎng)頁(yè)的語料集進(jìn)行匹配來識(shí)別搜索結(jié) 果。
數(shù)據(jù)收集還可以包括結(jié)構(gòu)化文檔，該結(jié)構(gòu)化文檔可以包括潛在的 大量數(shù)據(jù)，其中的小的子集與特定搜索相關(guān)。 一個(gè)示例性結(jié)構(gòu)化文檔
是鎖眼標(biāo)記語言(Keyhole Markup Language) (KML)文檔，其是用 于在諸如"Google Earth"的瀏覽器中顯示地理數(shù)據(jù)的基于XML的文件 格式。KML文檔利用具有嵌套元素和屬性的基于標(biāo)簽的結(jié)構(gòu)，并且可 被用于將描述文本、模型、和圖像與地球表面上的位置進(jìn)行關(guān)聯(lián)。
盡管網(wǎng)頁(yè)搜索系統(tǒng)擅長(zhǎng)于識(shí)別作為整體匹配于查詢的各個(gè)詞語的 文檔，但是其不能識(shí)別在場(chǎng)境(context)中匹配于查詢的參數(shù)的結(jié)構(gòu) 化文檔的元素。作為說明性示例，搜索系統(tǒng)可能不只返回存儲(chǔ)在KML 文檔內(nèi)的最相關(guān)數(shù)據(jù)。所以，用戶不能基于結(jié)構(gòu)化文檔的內(nèi)容，諸如 嵌套元素和屬性，來搜索結(jié)構(gòu)化文檔。例如，用戶不能通過指定感興 趣的地理區(qū)域、通過基于關(guān)鍵詞來過濾KML文件或通過指定這類搜索 查詢的組合，來搜索KML文件的元素
發(fā)明內(nèi)容
以下公開描述了允許對(duì)搜索査詢結(jié)果進(jìn)行識(shí)別的系統(tǒng)、方法、和 計(jì)算機(jī)程序產(chǎn)品。
根據(jù)一方面，公開了一種方法。該方法包括識(shí)別來自一個(gè)或多個(gè) 數(shù)據(jù)源的數(shù)據(jù)，其中數(shù)據(jù)與至少一個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)，并且提取包 含在至少一個(gè)結(jié)構(gòu)化文檔內(nèi)的一個(gè)或多個(gè)數(shù)據(jù)集。該方法進(jìn)一步包括 將一個(gè)或多個(gè)記錄項(xiàng)添加到可搜索的數(shù)據(jù)庫(kù)，其中一個(gè)或多個(gè)記錄項(xiàng) 對(duì)應(yīng)于一個(gè)或多個(gè)已提取的數(shù)據(jù)集。
根據(jù)一方面，該方法可以包括從一個(gè)或多個(gè)數(shù)據(jù)源檢索數(shù)據(jù)。此 外， 一個(gè)或多個(gè)數(shù)據(jù)源中的至少一個(gè)可以包括一個(gè)或多個(gè)統(tǒng)一資源定
位符(URL)。根據(jù)一方面，數(shù)據(jù)是至少一個(gè)結(jié)構(gòu)化文檔。數(shù)據(jù)還可
以包括元數(shù)據(jù)，諸如頁(yè)面排名。根據(jù)另一方面，該方法可以包括在 識(shí)別來自一個(gè)或多個(gè)數(shù)據(jù)源的數(shù)據(jù)之后，識(shí)別與數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)。
根據(jù)又一方面，該方法可以包括產(chǎn)生輸出文件，其中輸出文件包 括與兩個(gè)或更多個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)的數(shù)據(jù)。提取一個(gè)或多個(gè)數(shù)據(jù)集 還可以包括從輸出文件中提取一個(gè)或多個(gè)數(shù)據(jù)集。另外，根據(jù)一方 面，至少一個(gè)結(jié)構(gòu)化文檔可以包括兩個(gè)或更多個(gè)結(jié)構(gòu)化文檔，并且該 方法可以進(jìn)一步包括將這兩個(gè)或更多個(gè)結(jié)構(gòu)化文檔進(jìn)行合并。
根據(jù)另一方面，該至少一個(gè)結(jié)構(gòu)化文檔包括鎖眼標(biāo)記語言(KML)
文檔。另外，該一個(gè)或多個(gè)數(shù)據(jù)集可以至少包括一個(gè)地標(biāo)。該方法還
可以包括接收至少一個(gè)搜索查詢，并且響應(yīng)于接收至少一個(gè)搜索查
詢，對(duì)一個(gè)或多個(gè)記錄項(xiàng)中的至少一個(gè)進(jìn)行識(shí)別。此外，提取包含在 至少一個(gè)結(jié)構(gòu)化文檔內(nèi)的一個(gè)或多個(gè)數(shù)據(jù)集可以包括將一個(gè)或多個(gè)
數(shù)據(jù)集與和該至少一個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)的場(chǎng)境信息進(jìn)行關(guān)聯(lián)。
可以使用系統(tǒng)、方法、或計(jì)算機(jī)程序、或系統(tǒng)、方法和計(jì)算機(jī)程 序的任何組合來實(shí)施這些通用和特定方面。


圖l示出根據(jù)說明性實(shí)施方式的搜索系統(tǒng)。
圖2示出根據(jù)說明性實(shí)施方式的圖1的搜索系統(tǒng)內(nèi)的服務(wù)器的組件。
圖3示出根據(jù)說明性實(shí)施方式的搜索系統(tǒng)。
圖4示出說明性KML文件。
圖5示出根據(jù)實(shí)施方式的用于從一個(gè)或多個(gè)數(shù)據(jù)源收集和合并文
檔和元數(shù)據(jù)的示例性過程。
圖6示出說明性示例輸出文件，其包括由URL所索引的單個(gè)文件。 圖7示出根據(jù)實(shí)施方式的用于提取結(jié)構(gòu)化文件的示例性過程流。 圖8示出說明性示例輸出文件，其包括對(duì)應(yīng)于單個(gè)URL的多個(gè)記錄項(xiàng)。
圖9示出根據(jù)實(shí)施方式的結(jié)構(gòu)化文檔收集和提取的過程。
具體實(shí)施例方式
現(xiàn)在將參考附圖更加詳細(xì)地描述本公開，在附圖中示出一些但不 是所有的實(shí)施方式。實(shí)際上，這些實(shí)施方式可以具體化為很多不同形 式，并且不應(yīng)被解釋為限于此處所闡述的實(shí)施方式；而是提供這些實(shí) 施方式來使得本公開將滿足適用的法律要求。通篇中相同的附圖標(biāo)記 指示相同的元素。
本公開描述了一種搜索系統(tǒng)，其允許對(duì)結(jié)構(gòu)化文檔進(jìn)行收集以及 提取這樣的結(jié)構(gòu)化文檔內(nèi)的數(shù)據(jù)集，以使得可以響應(yīng)于用戶搜索查詢， 搜索和檢索各個(gè)數(shù)據(jù)集。例如，具有數(shù)個(gè)地標(biāo)(placemark)的KML文 件可以被提取，使得各個(gè)地標(biāo)是可以作為對(duì)用戶查詢的搜索結(jié)果返回 的可檢索記錄。執(zhí)行從結(jié)構(gòu)化文檔內(nèi)提取數(shù)據(jù)集，使得在提取之后維 持與結(jié)構(gòu)化文檔相關(guān)聯(lián)的場(chǎng)境信息。
參考方法、裝置(即系統(tǒng))和計(jì)算機(jī)程序產(chǎn)品的框圖和流程示來描述本公開。應(yīng)當(dāng)理解，可以通過計(jì)算機(jī)程序指令來分別實(shí)施框 圖和流程示中的塊以及框圖和流程示中的塊的組合。可以將 這些計(jì)算機(jī)程序指令加載到通用計(jì)算機(jī)、專用計(jì)算機(jī)、或其他可編程 數(shù)據(jù)處理裝置上以產(chǎn)生機(jī)器，使得在計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝 置上執(zhí)行的指令創(chuàng)建用于實(shí)施在流程圖塊中指定的功能的裝置。
還可以將這些計(jì)算機(jī)程序指令存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器之中，其 可以指引計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置來以特定方式運(yùn)行，使得 存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)器之中的指令產(chǎn)生一個(gè)包括實(shí)施在流程圖塊之 中指定的功能的指令裝置的制造物品。還可以將計(jì)算機(jī)程序指令加載 到計(jì)算機(jī)或其他可編程數(shù)據(jù)處理裝置上，使得一系列操作步驟在計(jì)算 機(jī)或其他可編程裝置上執(zhí)行，以產(chǎn)生計(jì)算機(jī)實(shí)施的過程，使得在計(jì)算 機(jī)或其他可編程裝置上執(zhí)行的指令提供用于實(shí)施在流程圖塊中指定的 功能的步驟。
因此，框圖和流程示中的塊支持用于執(zhí)行指定功能的裝置 的組合、用于執(zhí)行指定功能的步驟以及用于執(zhí)行指定功能的程序指令 裝置的組合。還應(yīng)當(dāng)理解，框圖和流程示中的每個(gè)塊，和框圖和 流程示中的塊的組合可以通過執(zhí)行指定功能或步驟的基于專用硬 件的計(jì)算機(jī)系統(tǒng)來實(shí)施、或?qū)Ｓ糜布蛴?jì)算機(jī)指令的組合。
參考圖l,示出了根據(jù)說明性實(shí)施方式的搜索系統(tǒng)ioo。系統(tǒng)IOO 包括經(jīng)由一個(gè)或多個(gè)網(wǎng)絡(luò)140與服務(wù)器120進(jìn)行通信的一個(gè)或多個(gè)客戶 端115。盡管在圖1中圖示了多個(gè)客戶端115和單個(gè)服務(wù)器120，但是可
以有更多的服務(wù)器以及更多或更少的客戶端。例如，可以由一個(gè)或多 個(gè)其他服務(wù)器來執(zhí)行由服務(wù)器120所執(zhí)行的某些功能，使得服務(wù)器120
可以代表數(shù)個(gè)設(shè)備，諸如計(jì)算機(jī)處理器和/或服務(wù)器的網(wǎng)絡(luò)。另外，在 一些實(shí)施方式中，客戶端可以執(zhí)行服務(wù)器120的功能，并且服務(wù)器120 可以執(zhí)行客戶端的功能?？蛻舳?15可包括設(shè)備，諸如個(gè)人計(jì)算機(jī)、無 線電話、個(gè)人數(shù)字助理(PDA)、膝上型計(jì)算機(jī)、或其它類型的計(jì)算或通信設(shè)備，在這些設(shè)備中的一個(gè)上運(yùn)行的線程或過程、和/或可由這 些設(shè)備中的一個(gè)來執(zhí)行的對(duì)象。
系統(tǒng)100還包括經(jīng)由一個(gè)或多個(gè)網(wǎng)絡(luò)140與服務(wù)器120進(jìn)行通信的 一個(gè)或多個(gè)數(shù)據(jù)源105。在系統(tǒng)100之中，服務(wù)器120可以從一個(gè)或多個(gè) 數(shù)據(jù)源105收集和/或接收數(shù)據(jù)，并且操作數(shù)據(jù)來生成對(duì)從一個(gè)或多個(gè)客 戶端115接收到的搜索査詢的響應(yīng)。
網(wǎng)絡(luò)140可以包括一個(gè)或多個(gè)局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、 諸如公共交換電話網(wǎng)(PSTN)的電話網(wǎng)、內(nèi)聯(lián)網(wǎng)、因特網(wǎng)、和/或其他 類型的網(wǎng)絡(luò)?？蛻舳薝5、數(shù)據(jù)源105、和服務(wù)器120可以經(jīng)由有線、無 線、或者光或其他連接來連接到網(wǎng)絡(luò)140。在替代實(shí)施方式之中，在圖 l之中圖示的一個(gè)或多個(gè)設(shè)備直接連接到另一設(shè)備。例如，在一個(gè)實(shí)施 方式之中，客戶端115和/或數(shù)據(jù)源105直接連接到服務(wù)器120。
圖2示出根據(jù)說明性實(shí)施方式的圖1的服務(wù)器120。服務(wù)器120可以 包括總線210、處理器220、主存儲(chǔ)器230、只讀存儲(chǔ)器(ROM) 240、 存儲(chǔ)設(shè)備250、 一個(gè)或多個(gè)輸入設(shè)備260、 一個(gè)或多個(gè)輸出設(shè)備270和通 信接口280。總線210可以包括允許服務(wù)器120的組件之間進(jìn)行通信的一 條或多條路徑。
處理器220可包括任何類型的解釋并執(zhí)行指令的常規(guī)處理器、微處 理器、或處理邏輯。主存儲(chǔ)器230可以包括隨機(jī)存取存儲(chǔ)器(RAM)、 或其它類型的動(dòng)態(tài)存儲(chǔ)設(shè)備，其存儲(chǔ)信息和供處理器220執(zhí)行的指令。 ROM 240可包括常規(guī)ROM設(shè)備或其他類型的靜態(tài)存儲(chǔ)設(shè)備，其存儲(chǔ)靜 態(tài)的信息和供處理單元220使用的指令，包括例如操作系統(tǒng)。另外，存 儲(chǔ)設(shè)備250可包括磁和/或光記錄介質(zhì)及其對(duì)應(yīng)的驅(qū)動(dòng)。
服務(wù)器120還可以包括具有一個(gè)或多個(gè)常規(guī)機(jī)制的輸入設(shè)備260， 諸如鍵盤、鼠標(biāo)、筆、語音識(shí)別和/或生物識(shí)別機(jī)制等，其允許用戶將信息輸入到服務(wù)器120。輸出設(shè)備270包括一個(gè)或多個(gè)常規(guī)機(jī)制，其將 信息輸出給用戶，諸如顯示器、打印機(jī)、揚(yáng)聲器等。通信接口280可包 括任何類似于收發(fā)器的機(jī)制，其使得服務(wù)器120能夠與其它設(shè)備和/或系 統(tǒng)進(jìn)行通信。例如，通信接口280可包括用于經(jīng)由諸如網(wǎng)絡(luò)140的一個(gè) 或多個(gè)網(wǎng)絡(luò)與其它設(shè)備或系統(tǒng)進(jìn)行通信的機(jī)制。
在操作中，服務(wù)器120可以存儲(chǔ)從一個(gè)或多個(gè)數(shù)據(jù)源105收集的文 檔和與文檔相關(guān)聯(lián)的數(shù)據(jù)，操作這樣的文檔和數(shù)據(jù)，并且可以識(shí)別響 應(yīng)于客戶端搜索查詢的結(jié)果。在一個(gè)實(shí)施方式中，響應(yīng)于處理器220執(zhí) 行包含在諸如存儲(chǔ)器230的計(jì)算機(jī)可讀介質(zhì)之中的軟件指令，服務(wù)器 120執(zhí)行這些操作?？蓮闹T如數(shù)據(jù)存儲(chǔ)設(shè)備250的另一計(jì)算機(jī)可讀介質(zhì)， 或者經(jīng)由通信接口280從另一設(shè)備，將軟件指令讀入存儲(chǔ)器230。包含 在存儲(chǔ)器230中的軟件指令使得處理器220執(zhí)行在本專利公開之中描述 的過程。替代地，可使用硬件連線電路代替軟件指令或與其組合，來 實(shí)施符合本公開的過程。所以，實(shí)施方式不限于硬件電路和軟件的任 何特定組合。
參考圖3，示出了根據(jù)說明性實(shí)施方式的搜索系統(tǒng)300。搜索系統(tǒng) 300類似于圖1所示的系統(tǒng)100，并且包括經(jīng)由一個(gè)或多個(gè)網(wǎng)絡(luò)340與服 務(wù)器320進(jìn)行通信的一個(gè)或多個(gè)數(shù)據(jù)源305和一個(gè)或多個(gè)客戶端315。與 圖1的系統(tǒng)100類似，數(shù)據(jù)源305和/或客戶端315可以是地理上分散的和/ 或與服務(wù)器320共處一地，并且可以直接與服務(wù)器320進(jìn)行通信，來代 替經(jīng)由一個(gè)或多個(gè)網(wǎng)絡(luò)340進(jìn)行通信。此外， 一個(gè)或多個(gè)數(shù)據(jù)源305和/ 或一個(gè)或多個(gè)客戶端315可以與服務(wù)器320共處一地。
一個(gè)或多個(gè)數(shù)據(jù)源305可以包括一個(gè)或多個(gè)數(shù)據(jù)貯存庫(kù)、網(wǎng)頁(yè)等， 其包括文檔和與該文檔相關(guān)聯(lián)的元數(shù)據(jù)。根據(jù)實(shí)施方式，文檔可以包 括結(jié)構(gòu)化文檔，諸如KML文件。KML文件是用于在諸如"Google Earth"、 "Google Maps"和"Google Maps for mobile"的瀏覽器中顯示地理數(shù) 據(jù)的基于XML的數(shù)據(jù)或文件格式，并且利用具有嵌套元素和屬性的基于標(biāo)簽的結(jié)構(gòu)。
KML文件可以用于將描述文本、模型、和圖像與地球表面的位置 相關(guān)聯(lián)。在KML文件內(nèi)，將每個(gè)地理參引實(shí)體稱為地標(biāo)，其可以對(duì)點(diǎn)、 區(qū)域、或路徑作出地理參引。在圖4中示出了識(shí)別單個(gè)地標(biāo)的說明性 KML文件400。 KML文件400通常包括XML首部，其是KML文件400 中的首行；KML名稱空間定義，其是KML文件400中的第二行；以及包 括數(shù)個(gè)元素(包括名稱、描述、和地點(diǎn))的至少一個(gè)地標(biāo)對(duì)象。名稱 可以被用作為用于地標(biāo)的標(biāo)記，描述可以在瀏覽器中出現(xiàn)在附接到地 標(biāo)的"氣球"圖形中，并且地點(diǎn)可以指定地標(biāo)的位置，諸如在經(jīng)度、 緯度、和/或高度、街道地址等方面。KML文件可以包含多個(gè)地標(biāo)，并 且可以將KML文件內(nèi)的地標(biāo)組織為分級(jí)的封閉文件夾。KML文件還可 以包括其他描述性特征，并且可以包括描述性HTML，以添加鏈接、字 體大小、式樣、顏色、識(shí)別文本對(duì)齊等。
再參考圖3，服務(wù)器320從一個(gè)或多個(gè)數(shù)據(jù)源305接收結(jié)構(gòu)化文檔和 元數(shù)據(jù)。該一個(gè)或多個(gè)數(shù)據(jù)源305可以包括公共和/或?qū)Ｓ脭?shù)據(jù)貯存庫(kù)。 根據(jù)實(shí)施方式，作為數(shù)據(jù)收集模塊325從數(shù)據(jù)源305 "拉"數(shù)據(jù)的結(jié)果， 由數(shù)據(jù)收集模塊325來收集文檔和元數(shù)據(jù)。數(shù)據(jù)源可以替代性地或附加 性地自動(dòng)和/或在數(shù)據(jù)收集模塊325對(duì)數(shù)據(jù)的請(qǐng)求之下，將文檔和元數(shù)據(jù) "推"到或傳輸?shù)綌?shù)據(jù)收集模塊325。例如，可以由數(shù)據(jù)收集模塊325 來接收KML文件及其相關(guān)聯(lián)的元數(shù)據(jù)。除其他數(shù)據(jù)以外，與KML文件 相關(guān)聯(lián)的元數(shù)據(jù)可以包括頁(yè)面排名，其相對(duì)任意編號(hào)方案，通過識(shí) 別文件的鏈路號(hào)(或流行度)、下載文件的次數(shù)、和/或其他元數(shù)據(jù)， 來識(shí)別文件的相對(duì)排名。與文檔相關(guān)聯(lián)的元數(shù)據(jù)可以來自與文檔本身 不同的源，諸如來自于分立的文檔或數(shù)據(jù)庫(kù)。
盡管以下將參考KML文件及其相關(guān)聯(lián)的元數(shù)據(jù)來詳細(xì)描述本公 開，但是本公開可以與任何可被用于鏈接諸如位置名稱、描述文本、 圖像、地理參引等的數(shù)據(jù)的結(jié)構(gòu)化數(shù)據(jù)格式相操作。例如， 一個(gè)或多個(gè)數(shù)據(jù)源305還可以將GeoRSS文件發(fā)送到服務(wù)器320，其中GeoRSS文件 包含HTML，并且典型地引用地理位置。仍然可以利用其他文件，諸如 KMZ文件。
在完成收集結(jié)構(gòu)化文檔及其相關(guān)元數(shù)據(jù)之后，數(shù)據(jù)收集模塊325 將結(jié)構(gòu)化文檔和元數(shù)據(jù)進(jìn)行合并，并將已索引的輸出文件提供給索引 模塊330。索引模塊330可以操作來對(duì)從數(shù)據(jù)收集模塊325接收到的己索 引的輸出文件進(jìn)行解析以識(shí)別一個(gè)或多個(gè)數(shù)據(jù)集、為提取的數(shù)據(jù)集計(jì) 算查詢獨(dú)立排名、并且轉(zhuǎn)發(fā)對(duì)應(yīng)于提取的數(shù)據(jù)集的記錄項(xiàng)，用于存儲(chǔ) 在用于對(duì)用戶査詢進(jìn)行響應(yīng)的結(jié)果貯存庫(kù)335中。根據(jù)示例性實(shí)施方 式，可以將由數(shù)據(jù)收集模塊325產(chǎn)生的KML文檔和元數(shù)據(jù)作為輸入饋送 到索引模塊330，其可以對(duì)KML文件進(jìn)行解析、提取地標(biāo)、對(duì)每個(gè)地標(biāo) 計(jì)算查詢獨(dú)立排名、并分別提供每個(gè)地標(biāo)，用于插入到用于對(duì)用戶搜 索查詢進(jìn)行響應(yīng)的搜索貯存庫(kù)335中。
盡管將數(shù)據(jù)收集模塊325、索引模塊330、和結(jié)果貯存庫(kù)335均說明 為在服務(wù)器320的內(nèi)部，但是可以由存儲(chǔ)在存儲(chǔ)器230內(nèi)的軟件指令、 或圖2所示的說明性服務(wù)器120的其他組件來實(shí)施， 一個(gè)或多個(gè)數(shù)據(jù)收 集模塊325、索引模塊330、和/或結(jié)果貯存庫(kù)335可以位于服務(wù)器320的 外部。例如，組件325、 330、 335中的一個(gè)或多個(gè)可以位于一個(gè)或多個(gè) 分立的服務(wù)器中。組件325、 330、 335還可以組合成一個(gè)整體或部分位 于一個(gè)或多個(gè)組件之中。所以，在圖3中示出的說明性系統(tǒng)300的框圖 實(shí)施方式意圖代表系統(tǒng)300的各種功能，而不限于可以實(shí)施此處描述的 功能的特定軟件和/或硬件。
接著，圖5示出流程圖500的示例性功能框圖，其圖示由數(shù)據(jù)收集 模塊325從一個(gè)或多個(gè)數(shù)據(jù)源收集文檔和元數(shù)據(jù)。根據(jù)實(shí)施方式，數(shù)據(jù) 收集模塊325可以操作來識(shí)別和檢索結(jié)構(gòu)化文檔及與這樣的文檔相關(guān) 聯(lián)的任何元數(shù)據(jù)，例如KML文檔和相關(guān)聯(lián)的元數(shù)據(jù)。根據(jù)實(shí)施方式，數(shù)據(jù)收集模塊325可以利用web爬行程序來識(shí)別在 萬維網(wǎng)(web)上存在的結(jié)構(gòu)化文檔。web爬行程序?yàn)g覽web，創(chuàng)建己 訪問頁(yè)面的副本，并且創(chuàng)建其遇到的URL的索引或表格。如圖5所示， web爬行程序可操作來產(chǎn)生URL 505，其關(guān)聯(lián)到或識(shí)別由web爬行程序 所識(shí)別的各個(gè)網(wǎng)頁(yè)。URL可以識(shí)別結(jié)構(gòu)化文檔和/或與結(jié)構(gòu)化文檔相關(guān) 聯(lián)的元數(shù)據(jù)。
根據(jù)實(shí)施方式，在web爬行期間，可以檢查結(jié)構(gòu)化文檔和/或?qū)⑵?轉(zhuǎn)換為分立的文件格式，以使得能夠檢查和/或搜索結(jié)構(gòu)化文件的內(nèi)容。 例如，結(jié)構(gòu)化KML文件可以具有與其相關(guān)聯(lián)的HTML文件(并且由URL 所識(shí)別)，其描述了KML文件的內(nèi)容，其中HTML文件可以與對(duì)KML 文件進(jìn)行排名和/或索引相關(guān)。如圖5所示，可以將包括在元數(shù)據(jù)內(nèi)的 URL,包括用于每個(gè)結(jié)構(gòu)化文檔的URL，轉(zhuǎn)發(fā)到頁(yè)面排名數(shù)據(jù)庫(kù)535， 其可以包括與每個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)的附加元數(shù)據(jù)。
數(shù)據(jù)收集模塊325可以檢查URL 505，并且識(shí)別所有感興趣的結(jié)構(gòu) 化文檔，諸如所有的KML文檔。 一旦識(shí)別了條目，則數(shù)據(jù)收集模塊325 執(zhí)行文檔獲取515，以檢索與已識(shí)別URL相關(guān)聯(lián)的結(jié)構(gòu)化文檔520。可 以從其他公共和/或?qū)Ｓ脭?shù)據(jù)貯存庫(kù)525收集附加結(jié)構(gòu)化文檔和元數(shù)據(jù) 530。每個(gè)數(shù)據(jù)源可以包括與特定結(jié)構(gòu)化文件相關(guān)聯(lián)的不同元數(shù)據(jù)530， 諸如文件從特定站點(diǎn)被下載的次數(shù)、用戶反饋等。將用于從其他公共 和/或?qū)Ｓ脭?shù)據(jù)貯存庫(kù)525中收集的每個(gè)結(jié)構(gòu)化文檔的URL轉(zhuǎn)發(fā)到頁(yè)面 排名數(shù)據(jù)庫(kù)535，其可以包括與每個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)的附加元數(shù)據(jù)。
如以上描述的， 一旦識(shí)別了結(jié)構(gòu)化文檔，則數(shù)據(jù)收集模塊325可以 試圖査找每個(gè)已發(fā)現(xiàn)的結(jié)構(gòu)化文件的頁(yè)面排名。根據(jù)實(shí)施方式，數(shù)據(jù) 收集模塊通過試圖獲取對(duì)應(yīng)于在web爬行或公共和/或?qū)Ｓ脭?shù)據(jù)貯存庫(kù) 中發(fā)現(xiàn)的每個(gè)結(jié)構(gòu)化文檔的URL的頁(yè)面排名，來向頁(yè)面排名數(shù)據(jù)庫(kù)535 査詢已識(shí)別的文檔。搜索系統(tǒng)可以使用頁(yè)面排名來區(qū)分對(duì)用戶查詢的 結(jié)果的優(yōu)先次序。根據(jù)另一實(shí)施方式，對(duì)于已識(shí)別的文檔不獲取URL的頁(yè)面排名。盡管如此，對(duì)于對(duì)應(yīng)的URL可以査找其他元數(shù)據(jù)，例如 從一個(gè)或多個(gè)其他數(shù)據(jù)庫(kù)。
將以URL 540為鍵和從頁(yè)面排名數(shù)據(jù)庫(kù)535收集的元數(shù)據(jù)與從web 爬行和/或公共或?qū)Ｓ脭?shù)據(jù)貯存庫(kù)中識(shí)別的結(jié)構(gòu)化文檔和元數(shù)據(jù)進(jìn)行合 并545。可以將該數(shù)據(jù)傳遞到一個(gè)或多個(gè)去重復(fù)階段，以消除重復(fù)的文 檔。作為說明性示例，可以識(shí)別兩個(gè)相同文件，每個(gè)分別從不同的URL 下載?？梢杂芍貜?fù)消除(或去重復(fù))階段來刪除兩個(gè)相同文件中的一 個(gè)。作為另一說明性示例，可以將與特定頁(yè)面排名相關(guān)聯(lián)的URL與和 文檔相關(guān)聯(lián)的同一URL合并在一起。可以通過URL來進(jìn)行元數(shù)據(jù)和文 檔的合并，和/或在原始文檔內(nèi)容上進(jìn)行合并。
根據(jù)實(shí)施方式，數(shù)據(jù)收集模塊325可以將所有已發(fā)現(xiàn)的結(jié)構(gòu)化文檔 和元數(shù)據(jù)轉(zhuǎn)換為通用格式，以產(chǎn)生輸出文件550。根據(jù)實(shí)施方式，數(shù)據(jù) 收集模塊325的輸出是單索引的輸出文件550，其中每個(gè)記錄包含將用 于對(duì)記錄評(píng)分的所有相關(guān)聯(lián)的元數(shù)據(jù)和結(jié)構(gòu)化文檔，以識(shí)別該記錄是 否是對(duì)用戶搜索查詢的適當(dāng)響應(yīng)。輸出文件可以包括由URL所索引的 記錄的表格，其中與每個(gè)URL相關(guān)聯(lián)的所有信息在與該URL相關(guān)聯(lián)的 記錄之中。
圖6示出由數(shù)據(jù)收集模塊325從一個(gè)或多個(gè)數(shù)據(jù)源收集的文檔和元 數(shù)據(jù)產(chǎn)生的示例輸出文件600。如圖示，輸出文件包括與源URL相關(guān)聯(lián) 的記錄，識(shí)別與"谷歌辦事處(Google Offices)"相關(guān)聯(lián)的KML文件。 該內(nèi)容包括對(duì)應(yīng)于全球不同Google辦事處的數(shù)個(gè)地標(biāo)，包括用于"在山 景城的總部(headquarters in Mountain View)"、"紐約城(New York City)"、禾P "東京辦事處(Tokyo Office)"的名稱和坐標(biāo)。與源URL 相關(guān)聯(lián)的元數(shù)據(jù)識(shí)別URL的頁(yè)面排名，和文件的下載次數(shù)，例如由可 獲得其的網(wǎng)站所提供。元數(shù)據(jù)還可以包括諸如URL的鏈接錨，其與每 個(gè)地標(biāo)相關(guān)聯(lián)。盡管在示例輸出文件600中僅示出一個(gè)源URL，但是單 個(gè)輸出 文件550可以包括兩個(gè)或兩個(gè)以上的記錄。將由數(shù)據(jù)收集模塊325產(chǎn)生的輸出文件550發(fā)送到索引模塊330。索 引模塊330可以操作來從輸出文件內(nèi)的記錄提取數(shù)據(jù)集，同時(shí)保留場(chǎng)境 信息。例如，索引模塊330可操作來從可包括大量地標(biāo)的單個(gè)KML文件 中提取地標(biāo)，其中該提取保留場(chǎng)境文本，諸如父文件夾、導(dǎo)引(refer) 頁(yè)等。作為示例，可以提取包括數(shù)個(gè)均與倫敦城(其可以是在其中識(shí) 別旅館的父文件夾)內(nèi)的特定旅館相關(guān)聯(lián)的地標(biāo)的KML文件，使得每 個(gè)地標(biāo)成為與倫敦城相關(guān)聯(lián)的單個(gè)可檢索項(xiàng)。
圖7示出通過索引模塊300實(shí)施的用于執(zhí)行索引的示例性過程流 700。盡管由數(shù)據(jù)收集模塊325所產(chǎn)生的輸出文件550包括由URL所索引 的記錄，但是索引模塊330可以將由URL所索引的每個(gè)記錄轉(zhuǎn)換為每 URL的多記錄項(xiàng)。根據(jù)實(shí)施方式，可以通過獲取輸出文件550、對(duì)結(jié)構(gòu) 化記錄進(jìn)行解析來提取各個(gè)數(shù)據(jù)集(例如，地標(biāo))(塊710)、對(duì)每個(gè) 數(shù)據(jù)集計(jì)算查詢獨(dú)立排名、并將對(duì)應(yīng)于數(shù)據(jù)集的記錄項(xiàng)發(fā)送到可檢索 貯存庫(kù)335來實(shí)施對(duì)結(jié)構(gòu)化文檔的索引。盡管此處關(guān)于KML文件內(nèi)的地 標(biāo)引用了本公開，但是可以由索引模塊330來提取結(jié)構(gòu)化文檔內(nèi)的其他 數(shù)據(jù)集。
根據(jù)實(shí)施方式，索引模塊330將URL所索引的記錄轉(zhuǎn)換為每URL的 多記錄項(xiàng)，其中每個(gè)記錄項(xiàng)通過文檔ID來索引，該文檔ID是由索引模 塊330所選擇的數(shù)字，用來唯一地識(shí)別諸如地標(biāo)的記錄項(xiàng)。根據(jù)實(shí)施方 式，可以從記錄的選定字段中將文檔ID作為散列值來產(chǎn)生。例如，文 檔ID可以部分基于識(shí)別地標(biāo)位置的地理坐標(biāo)。
在提取期間，索引模塊330將來自原始記錄的上下文信息與每個(gè)數(shù) 據(jù)集相關(guān)聯(lián)。例如，從KML文件提取的每個(gè)地標(biāo)將保留其上下文信息， 除了地標(biāo)的描述文本和諸如地理參引數(shù)據(jù)的其他數(shù)據(jù)以外，還包括對(duì) 應(yīng)的結(jié)構(gòu)化文件的URL和其他元數(shù)據(jù)和每個(gè)封閉文件夾的名稱。另外， 對(duì)于每個(gè)地標(biāo)，索引模塊330可以基于可用的元數(shù)據(jù)來計(jì)算査詢獨(dú)立分值。這可以利用來自其他數(shù)據(jù)庫(kù)(未示出)的一個(gè)或多個(gè)排名。
索引模塊330進(jìn)一步可操作來基于類似的元數(shù)據(jù)，消除重復(fù)的記錄
項(xiàng)(塊715)。例如，可以基于位置的指紋和地標(biāo)名稱的比較來消除重
復(fù)的地標(biāo)?？梢员Ａ艋诳捎迷獢?shù)據(jù)的具有最高分值的地標(biāo)。
索引模塊330可選地操作來將在結(jié)構(gòu)化文檔中的數(shù)據(jù)集聚類為其 中數(shù)據(jù)集是相關(guān)的復(fù)合搜索結(jié)果。例如，在從由URL所索引的一個(gè)或 多個(gè)記錄提取數(shù)據(jù)集之后，可以將一個(gè)或多個(gè)數(shù)據(jù)集進(jìn)行組合或聚類 為單個(gè)復(fù)合搜索結(jié)構(gòu)，其中它們引用同一物理實(shí)體。這對(duì)于改進(jìn)結(jié)果 的多樣性是有益的。例如，具有詞語紐約城的"雕像"的用戶搜索查 詢將會(huì)返回具有最高分值的地標(biāo)，其可能全部都是標(biāo)識(shí)自由女神像的 地標(biāo)。對(duì)自由女神像的所有結(jié)果聚類將允許對(duì)自由女神像提供一個(gè)復(fù) 合結(jié)果的搜索結(jié)果，使得還可以將其他雕像結(jié)果提供給用戶。
然而，如果與特定實(shí)體相關(guān)聯(lián)的所有項(xiàng)都被聚類，這會(huì)減少識(shí)別 特定記錄條目的能力。所以，派發(fā)模塊可以執(zhí)行至少部分基于用戶的 搜索查詢的動(dòng)態(tài)聚類。例如，繼續(xù)自由女神像示例，除了包括在URL 所索引的記錄內(nèi)的靜態(tài)項(xiàng)以外，對(duì)"自由女神像"和"旅游"的搜索 會(huì)導(dǎo)致基于用戶搜索詞語的聚類。 由索引模塊330所識(shí)別的記錄項(xiàng)被單獨(dú)列出，并被提供給可檢索的 貯存庫(kù)，用于在對(duì)用戶查詢進(jìn)行響應(yīng)中使用(塊720、 730)。圖8示出 了對(duì)應(yīng)于圖6的說明性輸出文件600的索引模塊330輸出800的說明性示 例。圖6之中識(shí)別為存在于單個(gè)記錄條目中的地標(biāo)已被提取到分立的記 錄項(xiàng)805、 810、 815中。這允許用戶搜索與從結(jié)構(gòu)化文檔中提取的各個(gè) 記錄項(xiàng)相關(guān)聯(lián)的內(nèi)容。
圖9示出根據(jù)實(shí)施方式的結(jié)構(gòu)化文檔收集和提取的過程。從一個(gè)或 多個(gè)數(shù)據(jù)源收集數(shù)據(jù)(塊卯5)，其中數(shù)據(jù)可以包括一個(gè)或多個(gè)結(jié)構(gòu)化文檔和與其相關(guān)聯(lián)的元數(shù)據(jù)。根據(jù)實(shí)施方式，數(shù)據(jù)收集會(huì)受到數(shù)據(jù)收
集模塊325的影響，其可以從一個(gè)或多個(gè)數(shù)據(jù)源305收集數(shù)據(jù)。從收集 到的數(shù)據(jù)，識(shí)別結(jié)構(gòu)化文檔和相關(guān)聯(lián)的元數(shù)據(jù)(塊910)。接著，可以 例如按URL來合并結(jié)構(gòu)化文檔和與其相關(guān)聯(lián)的元數(shù)據(jù)。還可以基于其 他鍵，諸如基于文檔內(nèi)容，來合并重復(fù)的條目(塊920)。然后產(chǎn)生輸 出文件(塊930)。根據(jù)實(shí)施方式，還可以由數(shù)據(jù)收集模塊325來執(zhí)行 識(shí)別結(jié)構(gòu)化數(shù)據(jù)、合并結(jié)構(gòu)化文檔和元數(shù)據(jù)、和/或生成輸出文件。
然后，通過從每個(gè)輸出文件記錄提取數(shù)據(jù)集，從在輸出文件內(nèi)索 引的每個(gè)記錄創(chuàng)建記錄項(xiàng)。例如，在輸出文件記錄包括由URL索引的 KML文件的情況下，可以創(chuàng)建記錄項(xiàng)，其對(duì)應(yīng)于在KML文件內(nèi)提取的 地標(biāo)(塊940)。根據(jù)實(shí)施方式，可以由索引模塊330來執(zhí)行提取數(shù)據(jù) 集和生成記錄項(xiàng)。在提取完成之后，將記錄項(xiàng)(或記錄項(xiàng)的表格)添 加到可搜索數(shù)據(jù)庫(kù)(塊950)。
本領(lǐng)域技術(shù)人員受益于在以上描述和相關(guān)附圖中所呈現(xiàn)的教導(dǎo)， 將會(huì)意識(shí)到很多修改和其他實(shí)施方式。所以，應(yīng)當(dāng)理解本公開不限于 公開的具體實(shí)施方式
，并且意欲將修改和其他實(shí)施方式包括在所附權(quán) 利要求的范圍之內(nèi)。盡管此處采用了具體術(shù)語，但是僅是以通用和描 述性意義來使用的，并且不是為了限制的目的。
權(quán)利要求
1.一種方法，包括識(shí)別來自一個(gè)或多個(gè)數(shù)據(jù)源的數(shù)據(jù)，其中所述數(shù)據(jù)與至少一個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)；提取包含在所述至少一個(gè)結(jié)構(gòu)化文檔內(nèi)的一個(gè)或多個(gè)數(shù)據(jù)集；以及將一個(gè)或多個(gè)記錄項(xiàng)添加到可搜索數(shù)據(jù)庫(kù)，其中所述一個(gè)或多個(gè)記錄項(xiàng)對(duì)應(yīng)于所述一個(gè)或多個(gè)已提取的數(shù)據(jù)集。
2. 如權(quán)利要求l所述的方法，進(jìn)一步包括從所述一個(gè)或多個(gè)數(shù)據(jù) 源檢索所述數(shù)據(jù)。
3. 如權(quán)利要求l所述的方法，其中所述一個(gè)或多個(gè)數(shù)據(jù)源中的至 少一個(gè)包括一個(gè)或多個(gè)統(tǒng)一資源定位符。
4. 如權(quán)利要求l所述的方法，其中所述數(shù)據(jù)是至少一個(gè)結(jié)構(gòu)化文檔。
5. 如權(quán)利要求l所述的方法，其中所述數(shù)據(jù)進(jìn)一步包括元數(shù)據(jù)。
6. 如權(quán)利要求l所述的方法，進(jìn)一步包括在識(shí)別來自所述一個(gè) 或多個(gè)數(shù)據(jù)源的所述數(shù)據(jù)之后，識(shí)別與所述數(shù)據(jù)相關(guān)聯(lián)的元數(shù)據(jù)。
7. 如權(quán)利要求6所述的方法，其中所述元數(shù)據(jù)包括至少一個(gè)頁(yè)面 排名。
8. 如權(quán)利要求l所述的方法，進(jìn)一步包括產(chǎn)生輸出文件，其中所 述輸出文件包括與兩個(gè)或更多個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)的數(shù)據(jù)。
9. 如權(quán)利要求8所述的方法，其中提取一個(gè)或多個(gè)數(shù)據(jù)集包括 從所述輸出文件提取一個(gè)或多個(gè)數(shù)據(jù)集。
10. 如權(quán)利要求l所述的方法，其中所述至少一個(gè)結(jié)構(gòu)化文檔包括 兩個(gè)或更多個(gè)結(jié)構(gòu)化文檔，并且進(jìn)一步包括將所述兩個(gè)或更多個(gè)結(jié)構(gòu) 化文檔進(jìn)行合并。
11. 如權(quán)利要求l所述的方法，其中所述至少一個(gè)結(jié)構(gòu)化文檔包括鎖眼標(biāo)記語言(KML)文檔。
12. 如權(quán)利要求ll所述的方法，其中所述一個(gè)或多個(gè)數(shù)據(jù)集包括 至少一個(gè)地標(biāo)。
13. 如權(quán)利要求l所述的方法，進(jìn)一步包括 接收至少一個(gè)搜索查詢；并且響應(yīng)于接收所述至少一個(gè)搜索查詢，識(shí)別所述一個(gè)或多個(gè)記錄項(xiàng) 中的至少一個(gè)。
14. 如權(quán)利要求l所述的方法，其中提取包含在所述至少一個(gè)結(jié)構(gòu) 化文檔內(nèi)的一個(gè)或多個(gè)數(shù)據(jù)集進(jìn)一步包括將所述一個(gè)或多個(gè)數(shù)據(jù)集與和所述至少一個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)的 場(chǎng)境信息進(jìn)行關(guān)聯(lián)。
15. —種系統(tǒng)，包括用于識(shí)別來自一個(gè)或多個(gè)數(shù)據(jù)源的數(shù)據(jù)的裝置，其中所述數(shù)據(jù)與 至少一個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)；用于提取包含在所述至少一個(gè)結(jié)構(gòu)化文檔內(nèi)的一個(gè)或多個(gè)數(shù)據(jù)集 的裝置；以及用于將一個(gè)或多個(gè)記錄項(xiàng)添加到可搜索數(shù)據(jù)庫(kù)的裝置，其中所述 一個(gè)或多個(gè)記錄項(xiàng)對(duì)應(yīng)于所述一個(gè)或多個(gè)已提取的數(shù)據(jù)集。
16. 如權(quán)利要求15所述的系統(tǒng)，進(jìn)一步包括用于從所述一個(gè)或多 個(gè)數(shù)據(jù)源檢索所述數(shù)據(jù)的裝置。
17. 如權(quán)利要求15所述的系統(tǒng)，其中所述一個(gè)或多個(gè)數(shù)據(jù)源中的 至少一個(gè)包括一個(gè)或多個(gè)統(tǒng)一資源定位符。
18. 如權(quán)利要求15所述的系統(tǒng)，其中所述數(shù)據(jù)是至少一個(gè)結(jié)構(gòu)化 文檔。
19. 如權(quán)利要求15所述的系統(tǒng)，其中所述數(shù)據(jù)進(jìn)一步包括元數(shù)據(jù)。
20. 如權(quán)利要求15所述的系統(tǒng)，進(jìn)一步包括用于識(shí)別與所述數(shù)據(jù) 相關(guān)聯(lián)的元數(shù)據(jù)的裝置。
21. 如權(quán)利要求20所述的系統(tǒng)，其中所述元數(shù)據(jù)包括至少一個(gè)頁(yè) 面排名。
22. 如權(quán)利要求15所述的系統(tǒng)，進(jìn)一步包括用于產(chǎn)生輸出文件的 裝置，其中所述輸出文件包括與兩個(gè)或更多個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)的數(shù) 據(jù)。
23. 如權(quán)利要求22所述的系統(tǒng)，其中用于提取一個(gè)或多個(gè)數(shù)據(jù)集 的裝置包括用于從所述輸出文件提取一個(gè)或多個(gè)數(shù)據(jù)集的裝置。
24. 如權(quán)利要求15所述的系統(tǒng)，其中所述至少一個(gè)結(jié)構(gòu)化文檔包 括兩個(gè)或更多個(gè)結(jié)構(gòu)化文檔，并且進(jìn)一步包括用于將所述兩個(gè)或更多 個(gè)結(jié)構(gòu)化文檔進(jìn)行合并的裝置。
25. 如權(quán)利要求15所述的系統(tǒng)，其中所述至少一個(gè)結(jié)構(gòu)化文檔包括鎖眼標(biāo)記語言(KML)文檔。
26. 如權(quán)利要求25所述的系統(tǒng)，其中所述一個(gè)或多個(gè)數(shù)據(jù)集包括 至少一個(gè)地標(biāo)。
27. 如權(quán)利要求15所述的系統(tǒng)，進(jìn)一步包括 用于接收至少一個(gè)搜索查詢的裝置，以及用于響應(yīng)于接收所述至少一個(gè)搜索查詢而識(shí)別所述一個(gè)或多個(gè)記 錄項(xiàng)中的至少一個(gè)的裝置。
28. 如權(quán)利要求15所述的系統(tǒng)，其中用于提取包含在所述至少一 個(gè)結(jié)構(gòu)化文檔內(nèi)的一個(gè)或多個(gè)數(shù)據(jù)集的裝置進(jìn)一步包括用于將所述一個(gè)或多個(gè)數(shù)據(jù)集與和所述至少一個(gè)結(jié)構(gòu)化文檔相關(guān) 聯(lián)的場(chǎng)境信息進(jìn)行關(guān)聯(lián)的裝置。
全文摘要
識(shí)別來自一個(gè)或多個(gè)數(shù)據(jù)源的數(shù)據(jù)，其中數(shù)據(jù)與至少一個(gè)結(jié)構(gòu)化文檔相關(guān)聯(lián)。提取包含在至少一個(gè)結(jié)構(gòu)化文檔內(nèi)的數(shù)據(jù)集，并且將一個(gè)或多個(gè)記錄項(xiàng)添加到可搜索的數(shù)據(jù)庫(kù)，其中一個(gè)或多個(gè)記錄項(xiàng)對(duì)應(yīng)于已提取的數(shù)據(jù)集。
文檔編號(hào)G06F17/30GK101647020SQ200880010447
公開日2010年2月10日 申請(qǐng)日期2008年2月4日 優(yōu)先權(quán)日2007年2月5日
發(fā)明者亞歷克賽·斯皮里多諾夫, 大衛(wèi)·米諾谷, 阿爾喬姆·佩塔科夫 申請(qǐng)人:谷歌公司