專利名稱：用于自動把語境信息和多媒體資源相關(guān)聯(lián)的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及一種用于訪問、轉(zhuǎn)換、提高、搜索或者處理從對象獲取的各種語境數(shù)據(jù)的軟件系統(tǒng)及相關(guān)方法。更具體地，本發(fā)明涉及一種自動地把獲取的數(shù)據(jù)及語境信息和可使用的多媒體資源相關(guān)聯(lián)并向用戶展示結(jié)果的系統(tǒng)和方法。
萬維網(wǎng)(WWW)由一個龐大的計算機互連的網(wǎng)絡(luò)構(gòu)成，在其上商業(yè)、政府、團體和個人全球地保持稱為網(wǎng)頁的相互鏈接的計算機文件。借助通常稱為因特網(wǎng)瀏覽器的計算機軟件程序，用戶定位這些頁面。非結(jié)構(gòu)化WWW的茫茫無際，使用戶主要依賴于因特網(wǎng)搜索引擎檢索信息或定位要處理的商務(wù)。這些搜索引擎利用各種手段來確定用戶定義的搜索與要檢索的信息的關(guān)系。
網(wǎng)頁的作者在定義網(wǎng)頁的超文本標記語言(HTML)文檔的主體中提供稱為元數(shù)據(jù)的信息。一種稱為WebCrawler的計算機軟件產(chǎn)品通過逐頁順序地遵循超文本鏈接有次序地訪問各網(wǎng)頁。WebCrawler利用由其地址或統(tǒng)一資源定位器(URL)、元數(shù)據(jù)以及頁面內(nèi)找到的其它依據(jù)所提供的關(guān)于網(wǎng)頁的信息索引搜索引擎使用的頁面。WebCrawler周期性地運行以便更新以前存儲的數(shù)據(jù)和添加有關(guān)新建立的網(wǎng)頁的信息。由WebCrawler編譯的信息存儲在元數(shù)據(jù)儲存庫或數(shù)據(jù)庫中。搜索引擎搜索該儲存庫以確定對用戶定義的搜索的匹配而不是試圖找到實時下的匹配。
典型地，搜索引擎提供的每個搜索結(jié)果包括一個有關(guān)條目表，這些條目已由搜索引擎確定為滿足用戶的搜索表達。每個條目或“命中”包括一個指向一個統(tǒng)一資源定位器(URL)位置或網(wǎng)頁的超鏈接。除該超鏈接外，某些搜索結(jié)果頁面包括一個描述該網(wǎng)頁的內(nèi)容的短綜述或摘要。
訪問因特網(wǎng)上正文材料的一種常用技術(shù)是借助“關(guān)鍵詞”組合，其中通常在詞或項之間帶有布爾算子，在該組合中用戶輸入由字母數(shù)字表述或各關(guān)鍵詞組成的查詢。響應(yīng)該查詢，搜索引擎為定位所請求的信息篩選可得到的網(wǎng)點以使搜索查詢的詞和元數(shù)據(jù)儲存庫中的詞匹配。
這種基于詞匹配的搜索引擎對元數(shù)據(jù)儲存庫進行分析，以便通過查詢詞和該儲存庫內(nèi)的文檔的索引詞的比較確定匹配。如果在該查詢和一份或多份文檔的詞之間存在詞匹配，搜索引擎標識這些文檔并且以HTML頁的形式回送搜索結(jié)果。
這種類型的搜索引擎從而對于為查詢而選擇的各個詞是非常敏感的。查詢中使用的詞匯反映每個有關(guān)用戶對要查找的信息的主題的看法。換言之，查詢內(nèi)容以及基于詞的搜索引擎所產(chǎn)生的響應(yīng)高度依賴于各個用戶對查詢項的表達，并且在搜索相同或類似的信息時不同的用戶可能得到不同的搜索結(jié)果。例如，為了查出有關(guān)醫(yī)療服務(wù)的信息，第一用戶可能組成查詢“醫(yī)生和服務(wù)”，而第二用戶可能組成查詢“醫(yī)院、醫(yī)療和研究”。
此外，不僅WWW材料的數(shù)量在增加，而且數(shù)字化材料的類型也在增加。例如，有可能把字母數(shù)字正文、數(shù)據(jù)、音頻記錄、畫、照片、圖、圖象、視頻和印刷品作為不同類型的數(shù)字化數(shù)據(jù)存儲。然而，除非所需信息容易檢索，如此大量的材料價值很小。盡管已經(jīng)開發(fā)了一些專用于訪問正文材料的技術(shù)，這些技術(shù)充其量只能中等地滿足對圖形、音頻或其它特殊材料的訪問。從而，存在大量仍保持是不可訪問的已發(fā)布的材料，從而它們是不可用的或明顯地是欠使用的。
已經(jīng)嘗試建立一個不大大地依賴于為查詢而具體選擇的詞的從而會對具有相同含義的不同查詢產(chǎn)生類似的響應(yīng)的搜索和檢索系統(tǒng)。在Wical的標題為“用于知識庫搜索和檢索系統(tǒng)的搜索模式”的美國5,953,718號專利中說明了一種嘗試。
Wical的專利說明一種生成一個從多個文檔推斷出的對查詢的回答的搜索文檔的搜索和檢索系統(tǒng)。該搜索和檢索系統(tǒng)包含用于各文檔的綜觀要點以便為傾向于某主題的對應(yīng)文檔提供概要。為了生成搜索文檔，該搜索和檢索系統(tǒng)處理查詢以確定和該查詢相關(guān)的一個或多個主題、選擇和該查詢相關(guān)的文檔題目并且根據(jù)這些文檔題目選擇傾向于和該查詢有關(guān)的各主題的綜觀要點。一個包含著分層排列的類目的知識庫構(gòu)形成一個有向圖以便連接這些具有詞法、語法或用法關(guān)聯(lián)的類目。通過使用該知識庫，生成一個擴充的查詢項目集，并且編輯包含和該擴充的查詢項目集相關(guān)的綜觀要點的多個搜索文檔。一個內(nèi)容處理系統(tǒng)辨別文檔標題并且在該知識庫的類目下對文檔標題分類。
然而，該搜索和檢索系統(tǒng)以及其它類似常規(guī)系統(tǒng)依賴于用戶輸入字母數(shù)字關(guān)鍵詞查詢，從而仍有提供不能滿足用戶需要的低效和不準確結(jié)果的傾向。例如，若某用戶搜索專門設(shè)計的帶有她難以用字母數(shù)字查詢中的詞語表達的特殊顏色的皮制錢包，該用戶必須忍受為確定所需的錢包而進行的不停的復雜搜索的煩惱。盡管這樣，希望得到價格比較報告的用戶還要面對收集所需信息的乏味工作。
已經(jīng)提出各種便利因特網(wǎng)上購物的嘗試。Arnold等在標題為“用于跟蹤因特網(wǎng)上購買產(chǎn)品和服務(wù)的方法和系統(tǒng)”的美國6,016,504號專利中說明一種這樣的嘗試。
Arnold等人的專利說明一種在因特網(wǎng)上建立和保持一個控制并管理某構(gòu)成一個虛擬出口(“VO”)的網(wǎng)點的實體和一個控制并管理一個不同的網(wǎng)點的商家之間的VO關(guān)系的方法。VO代表一系列的對顧客的VO網(wǎng)頁，這些VO網(wǎng)頁含有有關(guān)來自一個或多個商家的產(chǎn)品的描述信息。顧客可以通過VO網(wǎng)頁直接鏈接到由商家計算機提供給顧客計算機的商家網(wǎng)頁，以便得到關(guān)于產(chǎn)品的更詳細信息和用戶訂購產(chǎn)品。當顧客結(jié)束訂購產(chǎn)品時，顧客計算機返回到某VO網(wǎng)頁。對于顧客，好象整個定購過程都是在各VO網(wǎng)頁內(nèi)進行的。接著商家記貸該向顧客出售產(chǎn)品的VO、向顧客的購買計價并向顧客發(fā)送訂購的產(chǎn)品。
然而，這些嘗試的解決辦法仍然依賴于利用來自用戶的有限輸入的傳統(tǒng)的關(guān)鍵字搜索。另此，這些解決辦法不能自動構(gòu)成查詢以改善用戶的搜索能力。從而，仍然存在尚未滿足的對一種系統(tǒng)和方法的需求，這種系統(tǒng)和方法解決常規(guī)搜索和營銷策略所涉及的中心問題并且明顯地增加用戶的輸入選擇和改進搜索效率。
本發(fā)明的自動把所獲取的語境數(shù)據(jù)和可使用的多媒體資源相結(jié)合的系統(tǒng)和方法滿足上述要求。依據(jù)一實施例，該系統(tǒng)包括一個語境多媒體關(guān)聯(lián)模塊，其是作為一種改進訪問的機制提供的以便轉(zhuǎn)換、提高、搜索或處理從各對象獲取的各種語境數(shù)據(jù)并且把獲取到的語境數(shù)據(jù)和可使用的多媒體資源結(jié)合起來。例如，不排它的語境數(shù)據(jù)包括環(huán)境和地球空間坐標、時間、溫度、位置、速度、運動、加速度和其它參數(shù)。
如本文中所使用那樣，“語境”意味著或暗示著在其中存在對象或出現(xiàn)事件的周圍環(huán)境。例如，一幅照片的語境內(nèi)容可以是拍這張照片的場合的周圍的所有信息，包括具體的和物理的參數(shù)例如時間、位置、高度等，以及由各種傳感器，例如溫度、壓力、濕度、光亮度、聲音和加速度傳感器，和諸如按鈕、開關(guān)等用戶接口收集的信息。語境數(shù)據(jù)幫助理解所獲取的數(shù)據(jù)的環(huán)境。
該系統(tǒng)包括一個語境多媒體關(guān)聯(lián)模塊，后者安裝在服務(wù)器、個人助理部件和語境輸入部件上。在使用中，該語境多媒體關(guān)聯(lián)模塊訪問因特網(wǎng)并把Web文檔下載到元數(shù)據(jù)儲存庫，元數(shù)據(jù)儲存庫有規(guī)則地存儲和更新下載的文檔。通過該語境輸入部件用戶捕捉有關(guān)感興趣的對象或物品的輸入數(shù)據(jù)，并把捕捉到的數(shù)據(jù)發(fā)送到個人助理部件。該個人助理部件自動地數(shù)字化和處理輸入數(shù)據(jù)，并且還自動地列出查詢、建立或更新數(shù)字用戶簡檔，并把查詢發(fā)送到語境多媒體關(guān)聯(lián)模塊。該語境多媒體關(guān)聯(lián)模塊對許多數(shù)據(jù)存儲施加該查詢，優(yōu)化各搜索結(jié)果，并接著向用戶展示優(yōu)化搜索結(jié)果。
本發(fā)明的系統(tǒng)和方法可提供各種特性，包括但不限于下述特征帶有反跳動或跳動減少特性的圖象放大。
圖象搜索能力，從而該系統(tǒng)自動列出查詢、搜索并把對象的圖象內(nèi)容和各種數(shù)據(jù)存儲中的圖象進行對比。這種圖象搜索能力允許把系統(tǒng)和方法用于各種商業(yè)應(yīng)用中，例如·基于從實際對象獲取的數(shù)據(jù)的信息訪問。
·把聯(lián)機“虛擬”信息和物理“真實”對象相關(guān)聯(lián)。
·電子商務(wù)該系統(tǒng)使就地根據(jù)影象件的聯(lián)機購物成為可能。
·遠程就醫(yī)和處置例如，皮科醫(yī)生可對皮疹成象，該系統(tǒng)進行比較以辨別疾病并且從各種聯(lián)機醫(yī)療數(shù)據(jù)庫獲取其它信息。
·安全性，個人信息、信息的電子驗證以建立“數(shù)字證人”、數(shù)字公證人、數(shù)字簽名捕獲、安全措施例如，銷售時可進行顧客的面部識別。作為另一個例子，可捕獲簽名或者照投保照片并隨時間和地點認證。作為另一個例子，該系統(tǒng)可確認圖象及其真實性。
·博物館中的先進信息訪問例如，可由館長獲取藝術(shù)品的圖象，從而該系統(tǒng)可識別這些作品并展示有關(guān)細節(jié)。
·汽車診斷例如，技工可對汽車標識號(VIN)成象并對感興趣的部位照相。該系統(tǒng)對比商店手冊中的圖象并顯示手冊中的有關(guān)頁面。
·分類例如，可在事故點照下?lián)p壞和/或傷害，并且該系統(tǒng)可進行自動搜索并對患者分類、建立要采取的行動并請求權(quán)威機構(gòu)解決、修理、賠償、治療等。
帶有自動因特網(wǎng)搜索能力的對從實際對象，例如書籍、道路標志、購物等，獲取的正文的擴展的光學字符識別(EOCR)。
教育、培訓和翻譯例如，學生可輸入查詢或者該系統(tǒng)可以從感興趣的圖象對象自動列出查詢，該系統(tǒng)會光學字符識別相關(guān)的正文、若需要進行翻譯并且全球地進行數(shù)據(jù)存儲的深度搜索，甚至是在以不同的語言存儲信息的情況下。把搜索結(jié)果翻譯成感興趣的語言并對該學生展示。該特性還可用于店內(nèi)購物。例如，當購物時，可掃描書的題目從而可顯示有關(guān)的書。
音頻對文本的搜索能力，從而在捕捉聲音，例如動物的聲音，下比較各種數(shù)據(jù)存儲中的聲音以確定動物類屬或其它有關(guān)該音頻信號源的所需信息。
事件的空間及時間記錄，例如用戶可組合可見信息和虛擬或不可見信息例如GPS。在一應(yīng)用中，該系統(tǒng)允許用戶立體地記錄聲音，并且無論何時該用戶到達目的地位置該系統(tǒng)通過播放所記錄的信息提醒該用戶。
數(shù)學或幾何問題的實時解決、實時問題解決。例如，利用該特性可結(jié)算支票本、可轉(zhuǎn)換現(xiàn)金以及各種其它類似應(yīng)用。在另一個具體例子中，該系統(tǒng)可以利用圖象信息幫助用戶解決幾何問題并向用戶展示答案。具體的例子包括不知道具體尺寸下的房屋維修和部件更換。
質(zhì)譜測定例如，用戶可獲取某材料的化學或其它數(shù)據(jù)，并且該系統(tǒng)自動地規(guī)定和進行搜索以識別該材料。
通過參照下述說明、權(quán)利要求書和附圖將更詳細地說明本發(fā)明的各種特性以及獲得這些特性的方式，其中在適當處在各附圖中使用相同的參照號以表明參照項目之間的對應(yīng)，附圖中

圖1示例表示在其中可以使用自動地把獲取的語境數(shù)據(jù)和可使用的多媒體資源關(guān)聯(lián)起來的系統(tǒng)的示例操作環(huán)境；圖2是圖1系統(tǒng)的高層方塊圖，說明該系統(tǒng)的主要構(gòu)件或模塊；圖3是一個方塊圖，說明構(gòu)成圖2系統(tǒng)的一部分的個人助理部件；圖4是一個方塊圖，說明構(gòu)成圖2系統(tǒng)的一部分的語境多媒體關(guān)聯(lián)模塊；圖5是構(gòu)成圖2系統(tǒng)的一部分的語境輸入部件的一示范實施例的頂視圖；圖6是圖5語境輸入部件的底視圖；圖7是圖5語境輸入部件的高層方塊圖；圖8是圖5語境輸入部件的示例圖，示出捕獲和處理書中的圖象，以便說明由圖2系統(tǒng)實現(xiàn)的圖象放大及穩(wěn)定化特性。
圖9是圖5語境輸入部件的系列示例圖，說明為進行電子商務(wù)由圖2的系統(tǒng)進行的從一支筆獲取數(shù)據(jù)并處理該輸入數(shù)據(jù)的過程；圖10是圖5語境輸入部件的示例圖，示出獲取來自一只鳥的音頻信號，以說明圖2系統(tǒng)的音頻搜索能力；以及圖11描述一個功能流程圖，說明一種使用并操作圖2系統(tǒng)的示例方法。
下面的定義和解釋提供和本發(fā)明的技術(shù)領(lǐng)域有關(guān)的背景信息，其意圖是在不限制其范圍下有助于對本發(fā)明的理解。
WebCrawler一種通過檢索某文檔并且遞歸地檢索與其鏈接的一部分或全部文檔自動探索萬維網(wǎng)的程序。
HTML(超級文本標記語言)一種用于把表現(xiàn)屬性和鏈接屬性附著到文檔內(nèi)的信息內(nèi)容上的標準語言。在文檔創(chuàng)作階段，HTML“標記”被嵌入到該文檔的信息內(nèi)容之內(nèi)。當隨后Web服務(wù)器把Web文檔(或“HTML文檔”)發(fā)送給Web瀏覽器時，瀏覽器解釋這些標記并用來分析和顯示該文檔。除了規(guī)定Web瀏覽器如何顯示該文檔外，還可利用HTML標記建立與其它Web文檔的超級鏈接。
因特網(wǎng)利用路由器通過一組標準協(xié)議鏈接到一起的互連的公用和專用計算機網(wǎng)絡(luò)集合，以形成一個全球分布式網(wǎng)絡(luò)。
搜索引擎一種允許用戶對因特網(wǎng)上的信息進行關(guān)鍵詞搜索的可遠程訪問的萬維網(wǎng)工具。
服務(wù)器一種通過回送(“送交”)Web文檔對來自網(wǎng)瀏覽器的請求做出響應(yīng)的軟件程序或計算機。
URL(統(tǒng)一資源定位器)完整規(guī)定因特網(wǎng)上某內(nèi)容對象的位置的唯一地址。URL的通用格式是協(xié)議//服務(wù)器-地址/路徑/文件名。
Web瀏覽器一種允許用戶請求和讀超級文本文檔的軟件程序。瀏覽器給予一些觀看Web文檔內(nèi)容和從一個文檔定位到另一個文檔的手段。
Web文檔或網(wǎng)頁可在萬維網(wǎng)上得到的并用某URL標識的數(shù)據(jù)的集合。在最簡單、最常用情況下，網(wǎng)頁是用HTML編寫并存儲在某Web服務(wù)器上的文件。服務(wù)器有可能響應(yīng)用戶請求動態(tài)地生成頁面。網(wǎng)頁可以為瀏覽器或求助應(yīng)用程序能顯示的任何格式。該格式是按響應(yīng)的標題的一部分以MIME類型，例如“text(正文)/html”、“image(圖象)/gif”，發(fā)送的。通過包含超級文本鏈接，HTML網(wǎng)頁典型地引用其它網(wǎng)頁和因特網(wǎng)資源。
Web網(wǎng)點互連的超級文檔(“Web文檔”或“網(wǎng)頁”)以及相關(guān)的數(shù)據(jù)實體的數(shù)據(jù)庫或其它集合，可通過計算機網(wǎng)絡(luò)對它訪問，并且它構(gòu)成更大的分布式信息系統(tǒng)如萬維網(wǎng)的一部分。通常，一個網(wǎng)點對應(yīng)于某具體的因特網(wǎng)域名，并且包含某具體機構(gòu)的內(nèi)容。其它類型的網(wǎng)點例如可包括某公司“內(nèi)聯(lián)網(wǎng)”(即，采用標準網(wǎng)際協(xié)議的內(nèi)部網(wǎng)絡(luò))的超級文本數(shù)據(jù)庫，或者采用和萬維網(wǎng)不同的文檔檢索協(xié)議的超級文本系統(tǒng)網(wǎng)點。
萬維網(wǎng)(WWW)一個因特網(wǎng)客戶機/服務(wù)器超級文本分布式信息檢索系統(tǒng)。
圖1描述可在其中使用依據(jù)本發(fā)明的自動地利用可使用的多媒體資源處理獲取的語境數(shù)據(jù)的系統(tǒng)10的總環(huán)境。盡管本文中與WWW有關(guān)地說明系統(tǒng)10的示范性優(yōu)選實施例，應(yīng)清楚系統(tǒng)10可和從WWW和/或其中資源中派生的項目的獨立數(shù)據(jù)庫一起使用。
如圖2中進一步示出的那樣，系統(tǒng)10包括一個由軟件或計算機程序產(chǎn)品組成的語境多媒體關(guān)聯(lián)模塊12。語境多媒體關(guān)聯(lián)模塊12典型地嵌入在或安裝在主服務(wù)器15上。替代地，可在適當?shù)拇鎯橘|(zhì)，例如軟盤、CD、硬盤機或類似部件，上保存語境多媒體關(guān)聯(lián)模塊12。
WWW是用云狀通信網(wǎng)絡(luò)20(圖1)表示的并且包括把服務(wù)器例如服務(wù)器25、27連接到網(wǎng)關(guān)例如網(wǎng)關(guān)30的通信線路和交換器。服務(wù)器25、27和網(wǎng)關(guān)30提供對WWW因特網(wǎng)的通信訪問。用戶例如遠程因特網(wǎng)用戶可以為所需的信息查詢主服務(wù)器15。僅出于舉例說明的目的并且在不帶有限制本發(fā)明的范圍的意圖下，用各種計算機如計算機35、37、39代表用戶，而它們的各種接口部件及裝置會在后面更詳細地說明。
通過諸如電話、電纜、衛(wèi)星鏈接或蜂窩無線網(wǎng)40，主服務(wù)器15和網(wǎng)絡(luò)20連接。服務(wù)器25、27可通過高速因特網(wǎng)網(wǎng)絡(luò)線44、46和其它計算機、網(wǎng)關(guān)連接。服務(wù)器25、27提供對存儲信息，例如概括地在50、55處指示的超級文本文檔或Web文檔，的訪問。超級文本文檔50、55很有可能包含對其它本地存儲的頁面的內(nèi)嵌超級文本鏈接，以及包含對其它網(wǎng)點或者對由不同儲存庫或Web服務(wù)器如服務(wù)器27存儲的文檔55的超級文本鏈接70。
圖2描述一個和該網(wǎng)絡(luò)(或WWW)20連接的示例系統(tǒng)10。系統(tǒng)10通常地包括帶著在其上安裝的語境多媒體關(guān)聯(lián)模塊12的服務(wù)器15、個人助理部件(PAD)100以及語境輸入部件(CID)111。
在操作中，并且如后面詳細得多解釋那樣，語境多媒體關(guān)聯(lián)模塊12通過服務(wù)器15訪問網(wǎng)絡(luò)20，并把Web文檔下載到元數(shù)據(jù)儲存庫120。元數(shù)據(jù)儲存庫120構(gòu)成服務(wù)器15的一部分，并存儲和有規(guī)則地更新下載的Web文檔。用戶通過語境輸入部件111從對象(或在對象周圍)獲取信息或者感測環(huán)境狀態(tài)(包括地理、時間或其它狀態(tài))，并把獲取的數(shù)據(jù)發(fā)送給個人助理部件100。
個人助理部件100自動地數(shù)字化并處理獲取的數(shù)據(jù)，并且進一步自動地列出初步查詢和把該初步查詢發(fā)送到語境多媒體關(guān)聯(lián)模塊12。在一實施例中，語境多媒體關(guān)聯(lián)模塊12自動搜索元數(shù)據(jù)儲存庫120并判定為改善搜索結(jié)果是否需要進一步改進該初步查詢。若語境多媒體關(guān)聯(lián)模塊12判定可改進該初步查詢，它向個人助理部件100回送對附加信息的請求。
若用戶通過個人助理部件100提供請求信息，語境多媒體關(guān)聯(lián)模塊12自動列出第一形式查詢?？蛇x用地，語境多媒體關(guān)聯(lián)模塊12對元數(shù)據(jù)儲存庫120施加該第一形式查詢并判定為進行最優(yōu)搜索是否需要附加信息。若是，語境多媒體關(guān)聯(lián)模塊12向個人助理部件100發(fā)送另一個對信息的請求。
如上面所述，若用戶提供請求信息，語境多媒體關(guān)聯(lián)模塊12可搜索元數(shù)據(jù)儲存庫120以改進該搜索查詢。若該搜索查詢是滿意的，語境多媒體關(guān)聯(lián)模塊12向個人助理部件100提交搜索結(jié)果(或相關(guān)的匹配)，或者替代地，語境多媒體關(guān)聯(lián)模塊12可以把最近查詢和/或最近的結(jié)果或多個結(jié)果施加到網(wǎng)絡(luò)20以便更新搜索結(jié)果或進行新的更廣泛的搜索。
在說明了系統(tǒng)10的主要構(gòu)件和操作后，下面連同圖1至圖11提供對這些構(gòu)件的詳細說明，并且連同圖11對系統(tǒng)10的操作和使用方式提供詳細說明。
圖3示出依據(jù)本發(fā)明的個人助理部件100的一個示例實施例。個人助理部件100通常包括一個從一個或多個接口部件例如語境輸入部件111接收信號的輸入處理器305。輸入處理器305對從語境輸入部件111接收的信號進行本地處理。
例如，如果信號是(或包括)從音頻語境輸入部件例如麥克風或聽診器192或者電話199(圖1)獲取的音頻信號，輸入處理器305數(shù)字化這些音頻信號并可選地改善它們的品質(zhì)。例如，在一實施例中，輸入處理器305能剪輯音頻信號。
作為另一個例子，如果信號是(或包括)視頻(或圖象)信號，例如是從夜視護目鏡、照相機或攝象機185、掃描儀、傳真機、簽名獲取部件、指紋超聲波傳感器或者圖象部件(即X光機)190(圖1)獲取的，輸入處理器305提高圖象質(zhì)量(例如圖象亮度和對比度)、數(shù)字化模擬信號和/或解壓縮壓縮信號?？蛇x地，輸入處理器305能修改數(shù)據(jù)，例如剪輯視頻信號。
作為另一個例子，如果信號(或包括)數(shù)據(jù)信號，例如是從計算機37或語境輸入部件111獲取的，其中語境輸入部件111例如是條形碼/卡讀機187、小鍵盤或診斷工具188或者任何其它適當?shù)膫鞲衅魅缳|(zhì)譜儀、心電圖機、溫度傳感器、化學傳感器、GPS等等，如將連同圖11更詳細的說明那樣，輸入處理器305數(shù)字化模擬數(shù)據(jù)信號并發(fā)送到本地儲存庫310。
本地處理器315把獲取的數(shù)據(jù)信號和事先在本地儲存庫310中存儲的索引信息進行比較，并且根據(jù)用戶定義的所需應(yīng)用處理所產(chǎn)生的比較分析。接著本地處理器315通過適當?shù)妮敵霾考?30，例如液晶顯示器(LCD)、音頻消息、揚聲器、監(jiān)視器或任何其它適當?shù)挠脩艚涌诓考?，向用戶輸出或顯示初步結(jié)果?？刂?35能使用戶修改查詢或者修改以前輸入的信息。
若需要，用戶利用控制335輸入所需信息，在用戶軟件應(yīng)用320指示下本地處理器315處理該信息。然后，本地處理器315把處理過的信息饋送到本地儲存庫310，以在該處對該信息編索引并存儲供以后使用和導出該用戶的數(shù)字個人簡檔。
也由用戶軟件應(yīng)用320控制的I/O處理器350處理本地處理器315輸入到本地儲存庫310的信息。例如，I/O處理器350把該信息和歷史(信息)、由用戶創(chuàng)建的或關(guān)于該用戶的簡檔或來自用戶的輸入相結(jié)合并從中自動形成查詢。
出于舉例的目的展示下述情景某用戶希望購買在靠手上帶有黃條紋的蘭色長皮沙發(fā)。該用戶借助照相機185、語境輸入部件111或任何其它適當部件獲得該長沙發(fā)和條紋的圖象。直接地或通過個人助理部件100把該圖象輸入到語境多媒體關(guān)聯(lián)模塊12。語境多媒體關(guān)聯(lián)模塊12識別該長沙發(fā)牌號、顏色和條紋圖案并且計算長沙發(fā)和條紋的相對尺寸。語境多媒體關(guān)聯(lián)模塊12還利用以前導出或存儲的數(shù)字用戶簡檔或來自用戶的輸入自動地列出查詢。例如，用戶的個人簡檔可規(guī)定用戶對某具體品牌的偏好或與用戶其它家具匹配的式樣、喜愛的廠家列表、對零售商的優(yōu)選地理位置或者價格范圍。用戶的輸入例如可包括對用戶接口操縱以及來自用戶的附加的口頭指示。
接著I/O處理器350把查詢和/或信息通過網(wǎng)絡(luò)適配器375發(fā)送到語境多媒體關(guān)聯(lián)模塊12。網(wǎng)絡(luò)適配器375可以是任何適當?shù)倪m配器，例如通用串行商務(wù)(USB)端口、并行端口、紅外(IR)端口、蘭齒局部無線聯(lián)網(wǎng)協(xié)議、802.11無線以太網(wǎng)協(xié)議、以太網(wǎng)連網(wǎng)協(xié)議等。
現(xiàn)參照圖4，其說明構(gòu)成服務(wù)器15的一部分的語境多媒體關(guān)聯(lián)模塊12和元數(shù)據(jù)儲存庫120。如前面所述，用戶查詢被饋送到語境多媒體關(guān)聯(lián)模塊12，在模塊12中查詢轉(zhuǎn)換器405把用戶查詢轉(zhuǎn)換成內(nèi)部查詢請求。
專用搜索引擎410把該內(nèi)部查詢請求施加到索引數(shù)據(jù)420，并且生成帶有專用于該用戶查詢的匹配(即，查詢結(jié)果)425的初步搜索結(jié)果。在一實施例中，專用搜索引擎410使用IBM的Query By ImageContent(QBIC,借助圖象內(nèi)容的查詢)以在圖象形式下檢索查詢結(jié)果。IBM的QBIC的URL是http://wwwqbic.almaden.ibm.com。還可參閱Barber等標題為“圖象查詢系統(tǒng)和方法”的美國專利5,751,286號以及Barber等標題為“圖象查詢系統(tǒng)和方法”的美國專利55,579,471號，這二份專利共同轉(zhuǎn)讓給本發(fā)明的同一受讓人，并由本文收錄為參考文獻。
一旦產(chǎn)生查詢結(jié)果425，搜索結(jié)果轉(zhuǎn)換器430把它們轉(zhuǎn)換成可視或可瀏覽形式(即，HTML)。通過網(wǎng)絡(luò)適配器375以及可選地通過I/O處理器350(圖3)，在個人助理部件100的用戶輸出部件330(圖3)上展示轉(zhuǎn)換后的搜索結(jié)果425。
通過WebCrawler460從網(wǎng)絡(luò)累積索引數(shù)據(jù)420。WebCrawler460在網(wǎng)絡(luò)中徐徐前進并把Web文檔下載到存儲和規(guī)則地更新它們的元數(shù)據(jù)儲存庫120。接著編索引引擎475對Web文檔編索引以生成以后供搜索引擎420使用的索引數(shù)據(jù)420。索引數(shù)據(jù)420可存儲在元數(shù)據(jù)儲存庫120中，或?qū)ｉT作為獨立數(shù)據(jù)存儲。
圖5至11說明語境輸入部件111的一個示范實施例。盡管出于清晰的目的本文中按二個獨立的構(gòu)件舉例和說明語境輸入部件111和個人助理部件100，業(yè)內(nèi)人士清楚可以完全地或部分地集成這二個構(gòu)件。如前面所解釋，語境輸入部件111是一個能從模擬源或真實體獲取數(shù)據(jù)以及從狀態(tài)和現(xiàn)象獲取信息的輸入部件。
在該示范實施例中，語境輸入部件111由一個手持設(shè)備構(gòu)成，其通常包括一個容納電路502(如圖7中的方塊圖說明那樣)的外殼500并且允許用戶獲取或感測所需數(shù)據(jù)、參數(shù)或狀態(tài)(以下集合地稱為“輸入數(shù)據(jù)”)。為此，語境輸入部件111(圖7)包括一個或多個傳感器，例如音頻傳感器505、視頻或圖象傳感器510和/或者數(shù)據(jù)傳感器515。若使用多于一種的傳感器類型，可通過多路復用器517多路復用各種輸入數(shù)據(jù)。
不論是從單個還是多個傳感器獲取的輸入數(shù)據(jù)被發(fā)送到本地處理器520，后者在用戶控制530指示下處理輸入數(shù)據(jù)。語境輸入部件111還包括一個向用戶提供反饋的用戶顯示器535，以使用戶能利用控制530作出所需的選擇。
一旦本地處理器520本地處理了輸入數(shù)據(jù)，通過發(fā)送器540在通信鏈路550上把它發(fā)送到個人助理部件100或者直接發(fā)送到網(wǎng)絡(luò)20。盡管本文中(圖5、6、8、9、10)通信鏈路550是用提供無線通信的天線代表的，應(yīng)清楚可通過電纜或者任何其它勝任的非無線式鏈路把語境輸入部件111連接到個人助理部件110。
在圖8、9和10中描述語境輸入部件111的示例應(yīng)用。圖8示出語境輸入部件111在從書555中獲取并處理圖象的過程中，以進行圖象放大和穩(wěn)定化。為此，語境輸入部件111包括視頻或圖象傳感器510，諸如獲取所需圖象的照相機。
圖9是語境輸入部件111的示意圖，示出從一個對象如筆560獲取和處理數(shù)據(jù)。為此，語境輸入部件111可使用視頻傳感器510(圖6)和/或諸如條形碼讀出器187的數(shù)據(jù)掃描器。這可使語境輸入部件111能獲取幫助辨別筆560的幾個特征的輸入數(shù)據(jù)。例如，為了列出查詢，語境輸入部件111可獲取筆560的圖象，以辨別該對象是筆并識別它的商標名(例如SLICK)、它的條形碼、型號、廠家以及顏色。在系統(tǒng)10完成本文中所解釋的搜索后，語境輸入部件111向用戶顯示搜索結(jié)果，即，“SLICK筆，選擇數(shù)量＿，按“定貨”鈕，……”。用戶可利用控制530滾動搜索結(jié)果。另外，用戶可在指定的字段中輸入選擇，例如在數(shù)量字段“數(shù)量＿”輸入“12”，然后按某個鍵確認和/或執(zhí)行定購。
一旦獲取所需的輸入數(shù)據(jù)，本地處理器520(圖7)進行處理并傳送到個人助理部件100。例如，用戶希望購買顏色相同商標類似的筆。語境輸入部件111處理輸入數(shù)據(jù)并導出描述所需筆特征的對應(yīng)圖象。系統(tǒng)10處理輸入圖象數(shù)據(jù)，以便利用圖象內(nèi)容匹配技術(shù)例如IBM的“通過圖象內(nèi)容的查詢”服務(wù)中使用的技術(shù)在因特網(wǎng)上進行圖象匹配搜索。
根據(jù)搜索結(jié)果，系統(tǒng)10自動連接到提供筆或類似品的有關(guān)網(wǎng)點并且提供最有可能出售擁有所需特征的筆的網(wǎng)點。系統(tǒng)10可檢索這些網(wǎng)點的信息，并在實用格式，例如概括性的表狀格式，下向用戶展示信息。
參照圖10，為說明系統(tǒng)10的音頻搜索能力，語境輸入部件111示成正在從音頻搜索例如一只鳥獲取音頻信號。為此，語境輸入部件111利用一個定向麥克風作為音頻傳感器505。語境輸入部件111獲取鳥聲并處理以便導出音頻分布圖。該音頻分布圖可以是模擬分布圖，其由個人助理部件100數(shù)字化，或者可由語境輸入部件111數(shù)字化。從而可在因特網(wǎng)上搜索該音頻分布圖以檢索所需信息，例如鳥的種類。
圖11示出系統(tǒng)10的使用或操作方法600。通過借助上面連同圖5至10說明的語境輸入部件111感測和獲取輸入數(shù)據(jù)，用戶在步驟605啟動操作600。
輸入數(shù)據(jù)被發(fā)送到個人助理部件100并在那里由輸入處理器305和本地處理器315處理，如連同圖3所說明的那樣。例如，語境輸入部件111獲取的筆560的圖象輸入數(shù)據(jù)由輸入處理器305(圖3)數(shù)字化。輸入數(shù)據(jù)施加到用戶軟件應(yīng)用320(圖3)，并且后者指示本地處理器315(圖3)把輸入數(shù)據(jù)和高速緩存的信息，例如先前存儲在本地儲存庫310(圖3)中的以前的搜索(或服務(wù))結(jié)果，進行比較。例如，本地處理器315判定語境輸入部件111是否獲得足夠數(shù)據(jù)以便生成滿足所需要的用戶定義應(yīng)用320的可搜索查詢。
一個用戶定義應(yīng)用320可以是購買帶有和從筆560(圖9)獲取的特征相類似的特征的筆。另一個用戶定義應(yīng)用320可以是查出競爭產(chǎn)品。再一個用戶定義應(yīng)用320可以是找出營銷或出售筆560的最佳服務(wù)。應(yīng)清楚可以由個人助理部件100實現(xiàn)其它用戶定義應(yīng)用320。
在步驟610本地處理器315(圖3)處理本地處理器315生成的比較分析并傳送到自動生成圖象查詢的I/O處理器350(步驟615)。接著在步驟620把該圖象查詢發(fā)送到語境多媒體關(guān)聯(lián)模塊12(圖4)。
在步驟625并參照圖4，語境多媒體關(guān)聯(lián)模塊12的搜索引擎410和編索引引擎475處理該查詢。一種示例遠程處理可能是把該查詢翻譯成一種或多種語言從而可搜索廣泛得多的數(shù)據(jù)存儲。另一種示例遠程處理步驟可能是增強預(yù)期用于搜索的圖象。例如，可根據(jù)需要壓縮或解壓縮圖象。再一種示例遠程處理步驟可能是用GPS位置、時間以及其它因素對輸入數(shù)據(jù)編索引。概言之，該查詢的遠程處理(步驟625)加強該查詢和/或進行所需的強化處理步驟。
在一實施例中，搜索引擎410是IBM的通過圖象內(nèi)容查詢(QBIC)引擎，其搜索因特網(wǎng)以把筆560的畫面和元數(shù)據(jù)儲存庫120中存儲的圖象以及/或按索引數(shù)據(jù)存儲的圖象比照(步驟630)。備擇地，搜索引擎410把該查詢直接施加到因特網(wǎng)20，如線482說明那樣(圖4)。搜索引擎410連接因特網(wǎng)服務(wù)并且收集網(wǎng)點、服務(wù)、產(chǎn)品或任何用戶感興趣的其它信息。
在步驟635，語境多媒體關(guān)聯(lián)模塊12接收收集的信息并進行必要的后處理步驟以優(yōu)化搜索結(jié)果(步驟635)。例如，語境多媒體關(guān)聯(lián)模塊12可調(diào)節(jié)圖象以縮小它的尺寸，或者把查詢結(jié)果從文本轉(zhuǎn)換成語音，等等。該處理635實現(xiàn)強化的處理步驟。
接著在步驟640把搜索結(jié)果發(fā)送到個人助理部件100(圖3)，在該處I/O處理器350(圖3)在步驟645處理搜索結(jié)果以格式化。然后在步驟650向用戶顯示格式化后的搜索結(jié)果。
應(yīng)理解，本文中所說明的具體實施例僅說明本發(fā)明的原理的一些應(yīng)用。可做出大量修改并且不背離本發(fā)明的精神和范圍。另外，盡管出于說明的目的本發(fā)明是與WWW或因特網(wǎng)相關(guān)地說明的，但應(yīng)清楚本發(fā)明同樣可應(yīng)用于數(shù)據(jù)庫和其它帶有索引條目的表。此外，盡管系統(tǒng)10的各個構(gòu)件在本文中是按分立部件說明的，應(yīng)清楚可在功能上和/或結(jié)構(gòu)上組合這些構(gòu)件的部分或者全部。
權(quán)利要求
1．一種用于自動地把語境輸入數(shù)據(jù)和可使用的多媒體資源關(guān)聯(lián)起來的設(shè)備，包括一個語境輸入部件，用于獲取該語境輸入數(shù)據(jù)；一個個人助理部件，用于處理由該語境輸入部件獲取的該語境輸入數(shù)據(jù)并且用于根據(jù)處理過的語境輸入數(shù)據(jù)列出查詢；以及一個語境多媒體關(guān)聯(lián)模塊，用于把該處理過的語境輸入數(shù)據(jù)和多媒體資源關(guān)聯(lián)起來并且用于生成關(guān)聯(lián)匹配。
2．依據(jù)權(quán)利要求1的系統(tǒng)，其中該個人助理部件自動地列出查詢。
3．依據(jù)權(quán)利要求1的系統(tǒng)，其中該個人助理部件根據(jù)來自用戶的語境輸入自動地列出查詢。
4．依據(jù)權(quán)利要求1的系統(tǒng)，其中該個人助理部件根據(jù)用戶簡檔自動列出查詢。
5．依據(jù)權(quán)利要求1的系統(tǒng)，其中該語境輸入部件數(shù)字化語境輸入數(shù)據(jù)。
6．依據(jù)權(quán)利要求1的系統(tǒng)，其中該個人助理部件向用戶展示關(guān)聯(lián)匹配。
7．依據(jù)權(quán)利要求6的系統(tǒng)，其中該個人助理部件根據(jù)先前展示給用戶的關(guān)聯(lián)匹配導出用戶的數(shù)字簡檔。
8．依據(jù)權(quán)利要求7的系統(tǒng)，其中該個人助理部件根據(jù)最近的關(guān)聯(lián)匹配更新用戶數(shù)字簡檔。
9．依據(jù)權(quán)利要求1的系統(tǒng)，其中該語境多媒體關(guān)聯(lián)部件對網(wǎng)絡(luò)上的數(shù)據(jù)存儲施以查詢。
10．依據(jù)權(quán)利要求1的系統(tǒng)，其中網(wǎng)絡(luò)包括萬維網(wǎng)。
11．依據(jù)權(quán)利要求1的系統(tǒng)，其中語境輸入數(shù)據(jù)基于圖象信號；并且該個人助理部件提高圖象信號的品質(zhì)。
12．依據(jù)權(quán)利要求1的系統(tǒng)，其中語境輸入數(shù)據(jù)基于音頻信號；并且其中該個人助理部件提高音頻信號的品質(zhì)。
13．一種用于自動地把語境輸入數(shù)據(jù)和可使用的多媒體資源關(guān)聯(lián)起來的方法，包括獲取該語境輸入數(shù)據(jù)；處理該語境輸入數(shù)據(jù)并且根據(jù)處理過的語境輸入數(shù)據(jù)列出查詢；以及把該處理過的語境輸入數(shù)據(jù)和多媒體資源關(guān)聯(lián)起來并且生成關(guān)聯(lián)匹配。
14．依據(jù)權(quán)利要求13的方法，其中列出查詢包括根據(jù)來自用戶的語境輸入自動地列出查詢。
15．依據(jù)權(quán)利要求13的方法，其中列出查詢包括根據(jù)用戶簡檔自動地列出查詢。
16．依據(jù)權(quán)利要求13的方法，還包括向用戶展示關(guān)聯(lián)匹配。
17．依據(jù)權(quán)利要求16的方法，其中根據(jù)先前展示給用戶的關(guān)聯(lián)匹配導出用戶的數(shù)字簡檔。
18．依據(jù)權(quán)利要求17的方法，其中導出數(shù)字簡檔包括根據(jù)最近的關(guān)聯(lián)匹配更新用戶數(shù)字簡檔。
19．依據(jù)權(quán)利要求13的方法，其中關(guān)聯(lián)處理過的語境輸入數(shù)據(jù)包括對網(wǎng)絡(luò)上的數(shù)據(jù)存儲施以查詢。
20．依據(jù)權(quán)利要求13的方法，其中語境輸入數(shù)據(jù)基于圖象信號或音頻信號中的任何一個或多個；并且其中處理語境輸入數(shù)據(jù)包括提高圖象信號或音頻信號中的任一個或多個的品質(zhì)。
全文摘要
一種自動地把獲取到的數(shù)據(jù)和語境信息與可使用的多媒體資源關(guān)聯(lián)起來的系統(tǒng)和方法。該系統(tǒng)包括語境多媒體關(guān)聯(lián)模塊、個人助理部件以及語境輸入部件。通過語境輸入部件用戶捕捉有關(guān)感興趣的對象或物品的輸入數(shù)據(jù),個人助理部件自動地數(shù)字化和處理輸入數(shù)據(jù),并且還自動地列出查詢,建立或更新用戶數(shù)字簡檔,并把查詢發(fā)送到語境多媒體關(guān)聯(lián)模塊。語境多媒體關(guān)聯(lián)模塊向許多數(shù)據(jù)存儲施以查詢、優(yōu)化搜索結(jié)果并且接著向用戶展示優(yōu)化后的搜索結(jié)果。
文檔編號G06F17/30GK1311487SQ0110831
公開日2001年9月5日 申請日期2001年2月27日 優(yōu)先權(quán)日2000年2月29日
發(fā)明者卡梅倫·S·邁尼 申請人:國際商業(yè)機器公司