專利名稱：在主設備和目標設備之間自動接口的制作方法
在主設備和目標設備之間自動接口相關申請的交叉引用
本申請要求2009年7月17日提交的美國臨時申請No. 61/226，552以及2009年7月17日提交的美國臨時申請No. 61/226，545的權益，這些臨時申請已被轉讓給本申請受讓人并通過援引明確納入于此。背景無線設備正變得越來越普遍。與無線設備接口目前是相對較難或受限的過程。例如，使電子設備配對目前是復雜的任務，它要求用戶在雙方設備上均開啟協議，隨后請求發(fā)現，隨后配對。此外，一些電子設備具有很少或沒有內建的接口，從而使得很難與之交互。一般合意的顯示屏價格和較小的設備尺寸是在每個無線設備上放置豐富接口的障礙。隨著無線設備使用的增加，在電子設備之間接口將會變得越加困難。例如，目前的電子設備通常包括與物理設備沒有關聯的無特異性設備名稱，并且對用戶而言易于混淆，例如，默認的電話藍牙名稱可能是N0K234B而且并不出現在該電話上。數目不斷增加的有可能配對的無線設備將使得用戶遭受的混淆越加嚴重。因此，越來越需要能容易地且自然地與設備接口。概述主設備對目標設備成像并使用該圖像來標識該目標設備。主設備隨后例如通過與該目標設備配對來自動與所標識出的目標設備接口。主設備可檢索與該目標設備有關的數據并顯示該有關數據，此顯示可以是在所顯示的該目標設備的圖像之上顯示該數據。該主設備可提供用來控制該目標設備或被用于將數據傳遞給該目標設備的接口。該主設備接收來自目標設備的廣播數據，該廣播數據包括關于該目標設備的視覺外觀的信息。該主設備可顯示該廣播數據并基于對所顯示的來自該目標設備的廣播數據的選擇來與該目標設備接口。該目標設備的圖像可被用于過濾來自多個目標設備的廣播數據以縮減由該主設備顯示其廣播數據的目標設備的數目。附圖簡述圖I是解說了包括主設備和目標設備的無線連接的設備的示例系統的框圖。圖2是解說了可自動地與目標設備接口的主設備的示例的框圖。圖3是使該主設備與該目標設備接口的方法的流程圖。圖4A和4B解說了主設備與目標設備接口，其中與目標設備有關的數據被顯示在主設備上。圖5A和5B解說了主設備與目標設備接口并且該主設備的顯示器用與該目標設備有關的數據進行了擴增。圖6A、6B、6C和6D解說了主設備與目標設備接口，其中在主設備上與該目標設備有關的擴增數據被顯示在目標設備圖像之上。圖7A和7B解說了主設備與具有有限接口能力的目標設備接口。圖8A和SB解說了主設備與目標設備接口，其中該主設備為該目標設備提供擴展的功能性。
圖9A解說了主設備使用目標設備所廣播的信息來標識多個同樣的目標設備之
o圖9B、9C和9D解說了主設備被用于與兩個目標設備接口。

圖10A、10B和IOC解說了主設備被用于發(fā)起兩個目標設備之間的接口。圖11是主設備可對自己不可能與其配對或接口的被動目標成像并且該主設備檢索并顯示與該目標有關的數據的方法的流程圖。圖12解說了主設備基于目標的圖像自動地啟動并顯示應用。圖13A和13B解說了該主設備對被動目標成像并檢索和顯示關于該被動目標的信肩、O圖14A和14B解說了該主設備對被動目標成像并檢索和顯示與該被動目標有關的信息的另一個不例。圖15A、15B和15C解說了主設備對被動目標成像，檢索與該目標有關的數據并將此數據傳遞給該主設備正在接口的目標設備。詳細描述本文中描述的系統和方法使用例如用主設備拍攝的目標設備的圖像來使該主設備與該目標設備配對或其它方式的接口自動化。該主設備可被用于提供與該目標設備有關的相關信息，例如，通過在該目標設備的圖像上覆蓋該信息來提供。該主設備可包括比存在于該目標設備中的交互能力優(yōu)越的交互能力，并能使得能與該目標設備進行原本例如由于該目標設備有限的接口能力或沒有接口能力而困難或不可能的交互。圖I是解說了包括主設備110和目標設備180的無線連接的設備的示例系統100的框圖。作為示例，主設備Iio可以是移動電話或諸如超移動個人計算機(“UMPC”)之類的其他電子設備。在一個實施例中，主設備110可以是半移動或駐定的。例如，主設備110可位于固定或半固定的位置，例如，在商店里，其可被用于輕松地將新設備配對在一起。作為示例，該目標設備可以是諸如數碼相機、音樂播放器、電視、數碼相框之類的設備、或任何其它設備。另外，應領會目標設備180可以是便攜式的，或者在某些情形中是相對或完全非便攜的。主設備110包括相機112和顯示器114。主設備110通過使用相機112對目標設備180成像一該目標設備180的圖像180圖像可在顯示器114中顯示，并使用圖像180圖像來標識目標設備180來與該目標設備180接口。在標識出了目標設備180的情況下，主設備110隨后能自動地與目標設備180接口，如箭頭116所解說的。主設備110也可在鏈路104上與舉例而言諸如因特網之類的廣域網等的網絡102通信，該通信可被用于輔助標識目標設備180或與目標設備180接口。任選地，主設備110可通過網絡102間接地與目標設備180接口 116a。圖2是解說了主設備110的示例的框圖。主設備110包括諸如相機112之類的用于成像的裝置，以及用于與目標設備接口的裝置，諸如用于經由無線鏈路116(圖I中所示)通信的無線接口 130。主設備110還可包括用于感測運動的裝置，諸如可以是加速計或陀螺儀的用來檢測主設備110的運動的運動傳感器118，其可被用于檢測用作用戶對主設備110 的輸入的手勢。主設備110進一步包括用于標識目標設備180的裝置，該裝置可以是例如主設備控制單元120，其包括與含軟件126的存儲器124處于通信中的處理器122，并可進一步包括硬件128和固件129，并且可進一步包括諸如顯示器或按鍵板152之類的用戶接口 150的各方面。相機112和無線接口 130、以及運動傳感器118 (若其被使用)被連接至控制單元120?？刂茊卧?20包括圖形引擎125，其被解說為在功能上與處理器122分離，但實際上可由處理器122執(zhí)行。圖形引擎125生成可被顯示在例如目標設備180等的圖像之上的擴增數據。將可理解，如本文中所使用的處理器能夠但不一定需要包括一個或更多個微處理器、嵌入式處理器、控制器、專用集成電路(ASIC)、數字信號處理器(DSP)、及類似物。術語處理器意在描述由系統而非專用硬件實現的功能。此外，如本文所使用的術語“存儲器”是指任何類型的計算機存儲介質，包括與移動平臺相關聯的長期、短期、或其它存儲器，而并不被限定于任何特定類型的存儲器或特定數目的存儲器、或其上存儲記憶的介質的類型。主設備110還包括用戶接口 150，其包括諸如顯示器114之類的用于顯示的裝置，還有諸如按鍵板、觸摸屏、或其它合適的觸覺輸入設備之類的用戶輸入設備152。諸如當主設備110是移動電話之類時，用戶接口 150還可包括揚聲器154和話筒156。無線接口 130包括任何合適的天線132、接收機和發(fā)射機或是收發(fā)機，以使得主設備110能夠在無線鏈路116上與一個或更多個目標設備通信。任選地，無線接口 130還可具有處理能力以降低對處理器122的處理要求。任選地，主設備110可包括諸如收發(fā)機之類的帶有天線142的網絡接口 140，用于經由鏈路104在網絡102上(圖I中所示)通信。例如，主設備110可經由有線或無線通信鏈路提供去往其它網絡102(例如，諸如因特網之類的廣域網)的連通性。相應地，主設備110可使其它目標設備180 (例如，Wi-Fi站)能接入網絡102。網絡接口 140可協同諸如無線廣域網(WWAN)、無線局域網(WLAN)、無線個域網(WPAN)等包括蜂窩塔和來自無線通信接入點的各種無線通信網絡來實現。術語“網絡”和“系統”往往被可互換地使用。WWAN可以是碼分多址(CDMA)網絡、時分多址(TDMA)網絡、頻分多址(FDMA)網絡、正交頻分多址(OFDMA)網絡、單載波頻分多址(SC-FDMA)網絡、長期演進(LTE)，等等。CDMA網絡可實現諸如cdma2000、寬帶CDMA(W-CDMA)等一種或更多種無線電接入技術(RAT)。cdma2000涵蓋IS-95、IS-2000和IS-856標準。TDMA網絡可實現全球移動通信系統(GSM)、數字高級移動電話系統(D-AMPS)、或其它某種RAT。GSM和W-CDMA在來自名為“第三代伙伴項目”(3GPP)的聯盟的文獻中描述。cdma2000在來自名為“第三代伙伴項目2”(3GPP2)的聯盟的文獻中描述。3GPP和3GPP2文獻是公眾可獲取的。WLAN可以是IEEE 802. Ilx網絡，并且WPAN可以是藍牙網絡、IEEE 802. 15x、或其它某種類型的網絡。這些技術也可聯合WWAN、WLAN和/或WPAN的任何組合來實現。主設備110可任選地包括用于向主設備110的一個或更多個組件供電的電池121。主設備110可包括移動手持機、個人數字助理、膝上型計算機、頭戴式送受話器、車用免提設備、或任何其它電子設備中的至少一者。特別地，本文的教導可被納入到各種各樣的設備中(例如，在其內實現或由其執(zhí)行)。例如，本文中教導的一個或更多個方面可被納入到電話(例如，蜂窩電話)、個人數據助理(“PDA”)、UMPC、娛樂設備(例如，音樂或視頻設備)、或任何其它納入相機112的設備中。本文中所描述的方法體系取決于應用可藉由各種手段來實現。例如，這些方法體系可在硬件128、軟件126、固件129、或其任何組合中實現。對于硬件實現，這些處理單元可以在一個或更多個專用集成電路(ASIC)、數字信號處理器(DSP)、數字信號處理器件(DSro)、可編程邏輯器件(PLD)、現場可編程門陣列(FPGA)、處理器、控制器、微控制器、微處理器、電子設備、設計成執(zhí)行本文中所描述的功能的其它電子單元、或其組合內實現。
對于固件和/或軟件實現，這些方法體系可用執(zhí)行本文中描述的功能的模塊(例如，規(guī)程、函數等等)來實現。任何有形地實施指令的機器可讀介質可被用來實現本文中所描述的方法體系。存儲器可以實現在處理單元內部或處理單元外部。如本文所使用的，術語“存儲器”是指任何類型的長期、短期、易失性、非易失性、或其它存儲器，而并不限于任何特定類型的存儲器或特定數目的存儲器、或其上存儲記憶的介質的類型。例如，軟件126代碼可被存儲在存儲器124中并由處理器122執(zhí)行并且可如本文中所描述地用來運行處理器并控制主設備110的操作。例如，存儲在諸如存儲器124之類的計算機可讀介質中的程序代碼可包括用于使用目標設備的圖像來標識該目標設備的程序代碼以及用于與所標識出的目標設備接口的程序代碼。計算機可讀介質可包括用于顯示從目標設備接收到的廣播數據并使用該廣播數據來輔助標識要與之接口的該目標設備的程序代碼。如果在固件和/或軟件中實現，則各功能可作為一條或更多條指令或代碼存儲在計算機可讀介質上。示例包括用數據結構編碼的計算機可讀介質和用計算機程序編碼的計算機可讀介質。計算機可讀介質包括物理計算機存儲介質。存儲介質可以是能被計算機訪問的任何可用介質。作為示例而非限定，此類計算機可讀介質能包括RAM、ROM、EEPROM、CD-ROM或其它光盤存儲、磁盤存儲或其它磁存儲設備、或能被用來存儲指令或數據結構形式的合意程序代碼且能被計算機訪問的任何其它介質；如本文中所使用的盤(disk)和碟(disc)包括壓縮碟(CD)、激光碟、光碟、數字多用碟(DVD)、軟盤和藍光碟，其中盤常常磁性地再現數據，而碟用激光光學地再現數據。上述的組合也應被包括在計算機可讀介質的范圍內。圖3是將主設備110與目標設備180接口的方法的流程圖。主設備110可通過“配對”來與目標設備接口，“配對”是設備藉以相互注冊的過程。一旦配成對，設備通常只要落在射程以內并且處于活躍時就能夠彼此通信，而無需重新執(zhí)行該配對過程。為了方便引述，接口有時在本文中被稱為配對，但應理解的是在本文中也構想了除配對以外的更多的接口形式。如在圖3中所解說的，使用主設備對待配對的目標設備成像(202)。目標設備的圖像可被顯示給用戶以確保主設備正與合意的目標設備接口。該圖像可使用相機生成為靜止圖像或者生成為視頻。主設備從該圖像標識該目標設備(204)。可基于該目標設備的視覺外觀或基于諸如條形碼或其它類型的標記之類的出現在目標設備上的可視標記物進行標識。可進一步基于來自目標設備180的廣播信標進行標識，例如，基于標簽或頻率，其例如允許公開訪問諸如地理位置、地理取向、ID、或類別之類的受限信息，其中類別諸如是但不限于目標設備的類型(例如，數碼相機、mp3播放器等)、子類別(例如，對準拍攝數碼相機)、品牌(例如，索尼，諾基亞等)、內容體裁(例如，電影、歌曲等)，或其任何組合。主設備110可通過使用視覺外觀、可視標記物、或獲取自廣播信標的信息從查找表中檢索匹配來標識目標設備180。在一個實施例中，主設備110可使用可用的非視覺傳感器來縮窄有可能項目的查找表，之后繼以使用關鍵點特征或諸如線條之類的其它視覺參考來執(zhí)行圖像對照查找表的視覺匹配。該查找表例如可包括先前存儲的消費電子工業(yè)設計的圖像或此類設計的3維模型。該查找表可能例如存儲在主設備110上，存儲在目標設備180上或遠程位置，例如，存儲在經由鏈路104由網絡102訪問的服務器上(圖I中所示)。在一個實施例中，可基于由目標設備提供的視覺標識信息進行標識。例如，目標設備可廣播關于該目標設備的視覺信息，藉此視覺信息該目標設備可被標識。目標設備可廣播該目標設備看起來什么樣或者例如當目標設備是如圖9A中所解說的數碼相框等時廣播關于由該目標設備顯示的圖像的圖像或信息 ，這在存在同樣的目標設備時可能是很有用的。主設備110隨后能對目標設備成像并將由主設備110拍攝的圖像與例如當前顯示在數碼相框上的圖像等的關于目標設備的廣播信息相比較來標識該目標設備。例如，如圖9A所解說的，主設備110能使用數碼相框180A的工業(yè)設計來識別該目標設備。然而，假如有多個相似或同樣的相框，例如，由相框180A和180B所解說的相同的工業(yè)設計，但各自顯示不同的屏幕圖像，那么用戶將能在相機視野里選擇一個(180A)，并且主設備110將能使用當前顯示的圖像來標識要與目標設備180A、180B中的哪個進行配對?？苫诶缭跀荡a相框等的情形中的所顯示的靜止圖像、或基于所顯示的視頻來進行標識。對于基于視頻的標識，可例如基于作為對視頻在預定時間片段中“看起來什么樣”的摘要的共享視頻簽名特征序列來作出匹配，或基于該視頻在已知時間產生的一幀再加上比較了所選擇的幀的每一側上的選定數目個幀的糾錯來作出匹配。這些技術可配合諸如計算機、膝上型計算機、蜂窩電話、音樂播放器等的其它目標設備使用。在一個實施例中，主設備110可顯示由目標設備廣播的信息的圖像，用戶可從中選擇合意的目標設備來與之接口，這樣將為主設備110避免用主設備110對目標設備成像的需要。如果希望，則由主設備110拍攝的目標設備的圖像可被用于過濾主設備110顯示供用戶選擇的可配對目標設備的數目?；趯δ繕嗽O備的標識，主設備可確定是否可與目標設備接口，如在可任選步驟206中所解說的。主設備110可在顯示器114中的目標設備180的圖像上指示是否可與目標設備180接口并給予用戶指示是否希望接口的機會。例如，目標設備180的圖像可以帶輪廓地或發(fā)光地顯示在主設備110的顯示器114中以指示可配對性。對目標設備圖像的顯示的擴增可包括從來自目標設備180的廣播信標獲得的信息。用戶能選擇配對、不配對、或隱藏目標設備的可配對性。可配對性可被隱藏例如一次、總是，或對特定類內的所有目標設備，例如對所有數碼相框隱藏。主設備110隨后可自動地或響應于用戶選擇與目標設備接口或配對(208)。當一個以上可配對目標設備存在于圖像中時，使用用戶選擇可能是有利的。作為示例，可基于打手勢來進行用戶選擇，例如，其中不同的可配對目標設備基于手勢被高亮顯示，并且合意的目標設備一旦被高亮顯示就被選中。另外，用戶例如可指示希望配對，并且配對過程可以是自動的。在配對是自動的場合，可使用中間安全性步驟來確保用戶希望與目標設備配對?？舍槍μ囟ㄎ恢玫奶囟ㄔO備來對配對進行最優(yōu)化，例如，使用最低功率配對方法來延及主設備與目標設備之間的距離。此外，如果主設備與目標設備的相對位置改變，則配對方法可視需要自動改變。為了接口或配對，主設備和目標設備必須首先發(fā)現彼此，例如，通過進入可發(fā)現狀態(tài)來發(fā)現彼此，其中在可發(fā)現狀態(tài)中，設備通過交換發(fā)現消息來發(fā)現彼此。例如，主設備110可請求本地可配對目標設備進入發(fā)現模式。主設備110可發(fā)起該請求，例如，通過網絡102來發(fā)起。網絡可激勵落在主設備110的區(qū)域中的任何可配對目標設備進入發(fā)現模式。替換地，主設備可首先標識合意目標設備180，隨后發(fā)起發(fā)現請求，例如，通過網絡102發(fā)起發(fā)現請求以請求落在主設備110的范圍內的所有類似目標設備進入發(fā)現模式。一旦發(fā)現，諸設備就可以彼此配對。配對至少部分地是限制對特定設備的配對的安全性功能。例如，配對可包括消息交換，消息交換可包括口令認證方案，其中第一設備必須用口令(諸如4位數字，該數字往往是在工廠中為設備設定的)來響應第二設備以防止未獲授權或非合意的設備配對。在諸如藍牙之類的聯網協議中，發(fā)現和配對是分開的規(guī)程，但可一起執(zhí)行。實際的配對能用任何當前的協議通過該協議的標準實踐(例如，藍牙，WiFi，IR……)來完成若希望，則可使用例如由圖形引擎125提供的擴增數據來擴增顯示在主設備110上的圖像以指示目標設備的狀態(tài)，例如，如在可任選步驟210中所解說地確認配對。另外，在可任選步驟214中與目標設備有關的數據可被顯示在主設備上。圖4A和4B作為示例解說了將主設備110與目標設備180配對，在此情形中目標設備180是數碼相機，其中在配對之后與目標設備180有關的數據被顯示在主設備110上(214)。圖4A解說了主設備110對目標設備180成像(202)，在此目標設備圖像180 被顯示在主設備110的顯示器114中?；谀繕嗽O備圖像ISOms,主設備110與目標設備180配對116并將與目標設備180有關的數據顯示在主設備110的顯示器114上，該數據在此情形中是由目標設備180拍攝的照片182，正如圖4B中所解說的。由主設備110顯示的與目標設備180有關的數據可由用戶選擇或可被自動顯示。與目標設備180有關的數據可以是關于目標設備的信息。例如，該數據可以與目標設備的歷史或屬性、描述怎樣執(zhí)行與目標設備有關的任務的幫助文件或其它此類數據有關。替換地，此有關數據可以來自目標設備，諸如是來自數碼相機的照片、諸如音樂或電影之類的文件的列表、或其它存儲在目標設備中的信息。另外，此有關數據可以是應用或與目標數據的接口。作為示例，圖5A和5B解說了主設備110與USB閃速驅動器形式的目標設備180接口，并且該主設備110的顯示用與目標設備180有關的數據ISOsjs進行了擴增。如在圖5B中所解說的，在配對116之后，有關數據180 被顯示，該數據可以是存儲在閃速驅動器上的文件的列表或甚至打開存儲在閃速驅動器上的文件。因此，當目標設備180自身沒有用戶接口時，主設備110可為目標設備180提供用戶接口。圖6八、68、6(和60解說了主設備110與手表形式的目標設備180接口的另一示例，其中在主設備110上，與目標設備180有關的擴增數據180數據被顯示在目標設備圖像180圖像之上。如所解說的，此有關數據180數據可由王設備110顯不為與目標設備圖像180圖像緊密對齊(圖6A)、松散對齊(圖6B)、或不對齊(圖6C、6D)。如圖6D所解說的，通過對圖像180_使用關鍵點跟蹤，隨后將圖形擴增鎖定到該圖像，來自目標設備180的有關數據就可以被顯示在主設備180的整個顯示之上。主設備110可被用于提供與具有有限用戶接口能力的目標設備的用戶接口或僅僅簡單地提供具有相對于目標設備的用戶接口所允許的功能性而言擴展的功能性的用戶接口。例如，圖7A和7B解說了主設備110與具有有限的用戶接口能力的目標設備180配對。圖7A和7B中的目標設備180是MP3播放器的形式，其可能具有物理用戶接口但沒有用來提供圖形用戶界面(⑶I)的屏幕。如圖7A所示，主設備110通過對目標設備180成像來與該目標設備180配對。如圖7B所示，在配對116之后，主設備110上與目標設備180有關的數據是能被用來例如允許MP3播放器的附加功能性的GUI。
圖8A和8B解說了主設備110與目標設備180接口，在此主設備110提供擴展的功能性。圖8A和8B中的目標設備180是mp3播放器的形式，其具有圖形用戶界面。如圖8A中所示，主設備110通過對目標設備180成像來與該目標設備180配對。如圖8B中所示，在配對116之后，主設備110上與目標設備180有關的數據是⑶I，并且該界面提供擴展的功能性，諸如便于實現更容易的用戶交互的觸摸屏、更大的屏幕、允許更多用于自然的控制手勢或提供附加的能力，諸如創(chuàng)建播放列表。 因此，與目標設備180有關的各種類型的數據可由主設備110顯示。例如，該數據可以是被動的，諸如在圖6A中所解說的信息之類，或是交互式的，諸如在圖7B中所顯示的音樂界面之類。此外，由目標設備或直接或通過諸如圖I中所示的網絡102之類的遠程源所曝露的功能性可被顯示。作為示例，在圖5A、5B中，ISOsjs可來自網絡102，而不是來自目標設備180本身。作為示例，當圖5A中所示的USB閃速驅動器180被插入計算機中時，180*據可在網絡中被同步。當主設備110與該USB閃速驅動器180配對時，主設備110實際上可以與網絡102中被同步的數據配對。在另一個示例中，MP3播放器功能性被擴展，在此MP3播放器上的數據的副本在網絡102上。由于擴展的功能性(例如，制作播放列表)在MP3播放器本身上或許是不可能的，因此主設備110可被用于在網絡102上操縱該數據。一旦此交互完成(例如，新的播放列表制成)，網絡102就與該MP3播放器(目標設備)180同步。若希望，則主設備110與目標設備180之間的交互可以在擴增呼叫之間持續(xù)。例如，所顯示的擴增數據可以被保持在與其前次被查看時所呈現的相同的狀態(tài)。此外，主設備110可提供向目標設備180提供命令或數據。換言之，目標設備180可通過與主設備110接口來被控制。數據可被存儲在主設備110上、目標設備180上或遠程位置，例如，經由網絡102(圖I)訪問的服務器。另外，主設備110也可與多個目標設備接口。例如，如圖9B、9C和9D所解說的，主設備110被用于與兩個目標設備接口，這兩個目標設備解說為數碼相機180和數碼相框180Ao主設備110可被用于從一個目標設備(例如，相機180)檢索數據，并將該數據傳遞給另一目標設備，例如，數碼相框180A。圖9B解說了主設備110通過對相機180成像來與相機180配對。數碼相框180A可能已經或隨后以類似的方式被配對116A，如圖9C中所示。圖9C解說了在主設備110與相機180之間配對116之后，數據由主設備110從相機180接收并由主設備110顯示。選中的數據隨后可從主設備110被傳遞至第二目標設備，例如，數碼相框180A，并可如圖9D中所示地被顯示或以其它方式被由該第二目標設備存儲或使用。此數據傳遞可以是自動的或由用戶交互引起的，包括通過觸摸屏或由主設備110中諸如加速計或陀螺儀之類的運動傳感器118檢測到的用戶手勢來選擇。為了使用手勢來發(fā)起數據傳遞，可在先確定其中一個或更多個目標設備180U80A關于彼此和/或主設備110的相對位置，例如通過在對這兩個目標設備180、180A成像之間使用運動傳感器118來檢測主設備110的位置上或取向上的改變來確定。替換地，可以使用像素流向跟蹤來視覺地確定目標設備180、180A之間的關聯性。在一個實施例中，主設備110可用于通過與諸目標設備接口并發(fā)起諸目標設備之間的配對來輔助兩個或更多目標設備之間的配對，這在目標設備的用戶接口使得那些設備的直接配對很困難時會特別有用。例如，如圖10AU0B和IOC所解說的，主設備110被用于發(fā)起兩個目標設備之間的接口，這兩個目標設備被解說為數碼相機180和數碼相框180A。圖IOA解說了主設備110通過對相機180成像來與相機180配對116。圖IOB示出了主設備110通過對數碼相框180A成像來與解說為數碼相框180A的標的目標設備配對116A。在這兩個目標設備180U80A與主設備110配對的情況下，如圖IOC所解說的，主設備110可被用于發(fā)起這兩個目標設備180、180A之間的配對116B。這兩個目標設備180、180A的配對可以自動地，或響應于諸如通過主設備110的用戶接口進行的選擇之類的用戶交互，在主設備110知曉目標設備180U80A的相對位置的場合通過目標設備180U80A之間的手勢， 或通過使用來自每個目標設備180、180A的協議規(guī)范來進行。目標設備180、180A之間的配對186可以在主設備110不在場時持續(xù)。在另一個實施例中，如圖11中所示的流程圖所解說的，主設備110可對被動目標190即不能被配對或以其它方式接口的目標成像(302)，并且檢索和顯示與該目標有關的數據。主設備110可標識被動目標(304)并檢索與所標識出的目標有關的數據并在主設備110上顯示該數據(306)。被動目標190可以是任何能由主設備110的相機112注冊的目標，包括不具連通性的設備，諸如手表、訂書機、或汽車；具備未被利用的連通性的設備，例如，具有藍牙的相機；諸如鉛筆、石頭或桌子之類的物體；諸如雜志、屏幕截圖之類的印刷或數字媒體；諸如手腕或腳之類的身體部位；或其它注冊的物體，諸如色彩或紋理。被動目標190可從其視覺外觀來標識。此標識可基于被動目標的具體圖像，例如先前由用戶拍攝的圖像，該被動目標的紋理化3維模型，或一般類別的圖像，諸如手表的一般圖像，而不是特定品牌的手表。用戶可提供附加信息來定義該圖像，諸如把該圖像標記為“手表”，或提供用于特定目標或目標類別的PIN。由用戶提供的附加信息可被輸入一次，例如在主設備110的訓練期間，并且后續(xù)使用所輸入信息的標識是自動的。另外，被動目標可包括被成像并用于例如按類別、子類別、品牌、體裁或其任何組合來縮窄標識搜索的視覺標記物。標識可由主設備110或例如通過網絡102 (圖I)等遠程地執(zhí)行。顯示在主設備110上的被動對象的圖像可通過使用對該圖像的擴增來表明該被動設備已被標識出，例如，通過使該被動對象發(fā)光或勾勒出該被動對象的輪廓。若希望，則用戶可選擇要標識的被動設備以及要顯示的數據的類型。該數據可被自動顯示。對要標識的被動目標的選擇可由用戶執(zhí)行一次，并且后續(xù)對該被動目標的成像導致自動標識。被動目標與所檢索的數據之間的關系可以是由用戶定義的或者外部地或自動地定義的。此外，該數據可被存儲在主設備110上或遠程源上并由主設備110例如在網絡102 (圖I)上檢索。有關數據可以是啟動諸如日歷應用的應用的形式。替換地，應用可基于被動目標的圖像被檢索或解鎖。有關數據可以是與被動目標有關的信息，諸如指令或幫助信息。有關數據可基于被動目標的圖像提供對該有關數據的訪問或啟動對該有關數據的下載。例如，對書的封面成像可自動地下載音頻書或數字書。有關數據可以是任何媒體或者媒體的組合，并可包括但不限于二維或三維圖像、動畫、視頻、聲音、觸覺反饋、或其它感官數據。作為示例，用戶可在主設備110內定義該用戶的手表190的圖像自動在主設備110上啟動日歷應用并顯示該用戶的日歷，如圖12所解說的。替換地，用戶可個性化被動目標與所檢索的數據之間的關系，諸如使用用戶的結婚戒指的圖像來打開用戶的婚禮的圖像。主設備110可通過包括對被動目標成像及輸入設備名稱和要與該被動目標相關的合意數據、隨后由主設備110將此合意數據與該被動目標相關的過程來被訓練成標識個人的被動目標，諸如用戶的手表、戒指、訂書機、汽車等。
另外，為被動目標190檢索的有關數據可以外部地或自動地定義。例如，圖13A和13B解說了主設備110對諸如不可配對的DVR之類的被動目標190成像的示例(圖13A)，并且操作指令之類的操作指令192形式的有關數據從網絡102被檢索，并由主設備110自動顯示(圖13B)。此特定的DVR被標識出來，但不需要連接或配對也能從網絡102獲得這些操作指令或其它關于該特定DVR的信息。如圖13B中所解說的，操作指令192可與該圖像緊密對齊地顯示。圖14A和14B解說了主設備110對被動目標190成像的示例，該被動目標諸如是電影的廣告，并且在本示例中是Dark Knight: 徽標(圖14A),并且與Dark Knight逾有關的數據(192)被檢索并顯示。例如，如圖14B中所示，Dark Knight 電影可被自動地檢索并顯示在主設備110上。替換地，可以顯示其它與被成像的目標有關的信息，諸如DarkKnight 電影上映的地點和時間等。若希望，則被動目標190的圖像可基于視覺外觀，例如，徽標本身，或可部分地或完全地基于視覺標記物194以輔助對該被動目標的標識。在另一實施例中，主設備110可與可配對目標設備180接口并將獲取自另一個目標設備的圖像的數據提供給目標設備180，其中該另一個目標設備可以是可配對的或是被動的。在一個實施例中，可能有一個以上供獲得數據的目標設備，和/或一個以上標的目標設備180。例如，如圖15A、15B和15C所解說的，主設備110可對被動目標190 (諸如DarkKnight 廣告)成像(圖15A)并如上所討論地基于該被動目標的圖像來標識和獲得數據。用戶可選擇要傳遞給諸如電視(圖15B)之類的配對(116)標的目標設備180的數據，并且該數據(例如，電影)被自動地傳遞給該目標設備180 (圖15C)。該數據可由主設備110檢索并被傳遞給目標設備180，或者替換地，主設備110可向目標設備180提供指令以自行檢索該數據。因此，主設備110可用來基于一個或更多個被動或可配對目標設備的圖像來向目標設備180傳遞命令。例如，主設備110可對特定品牌的跑鞋成像，隨后對mp3播放器成像并響應于此自動將例如運動音樂等的特定播放列表下載至該mp3播放器。在一個實施例中，主設備110下載例如音樂等的數據，并將該數據傳遞給目標設備，或替換地指令該目標設備自行檢索該數據。為進行多項選擇，可將相機對準這些目標短暫的一段時間，或者用戶可例如通過按壓或保持按鈕、或使用手勢來指示開始或停止多項選擇等來與圖像交互。用戶可在圖像中選擇目標設備，目標設備可被自動選擇，或者用戶可選擇目標設備一次，并且后續(xù)選擇是自動的。響應于多項選擇發(fā)生的動作可以是用戶定義的或外部定義的。盡管出于指導目的結合具體實施例解說了本發(fā)明，但是本發(fā)明并不被限定于此?？勺鞒龈鞣N適應性改編和改動而不會脫離本發(fā)明的范圍。因此，所附權利要求的精神和范圍不應當被限定于前面的描述。
權利要求
1.一種方法，包括 用主設備對目標設備成像并將所述目標設備的圖像顯示在所述主設備上； 使用所述目標設備的所述圖像來標識所述目標設備；以及 基于所述目標設備的標識通過所述主設備與所述目標設備接口。
2.如權利要求所述的方法1，其特征在于，進一步包括在所述主設備上顯示與所述目標設備有關的數據。
3.如權利要求I所述的方法，其特征在于，進一步包括 使用所述目標設備的所述圖像來標識所述目標設備為可配對的；以及 將所述主設備與所述目標設備配對。
4.如權利要求I所述的方法，其特征在于，進一步包括在所述主設備上顯示用于控制所述目標設備的界面。
5.如權利要求I所述的方法，其特征在于，所述方法進一步包括 通過所述主設備與標的設備接口； 其中與所述目標設備接口包括從所述目標設備檢索有關數據；以及 將所述數據傳遞給所述標的設備。
6.如權利要求I所述的方法，其特征在于，進一步包括 將所述主設備與所述目標設備配對； 將所述主設備與第二目標設備配對；以及 使用所述主設備來將所述目標設備與所述第二目標設備配對。
7.如權利要求I所述的方法，其特征在于，進一步包括 接收來自所述目標設備的廣播數據，所述廣播數據包括關于所述目標設備的視覺外觀的信息； 其中所述目標設備是通過將所述目標設備的所述圖像與來自所述目標設備的所述廣播數據作比較來被標識的。
8.如權利要求7所述的方法，其特征在于，所述關于目標設備的視覺外觀的信息包括所述目標設備的圖像和紋理化3維模型中的至少一者。
9.如權利要求I所述的方法，其特征在于，進一步包括 接收來自多個目標設備的廣播數據，所述廣播數據包括關于所述目標設備的視覺外觀的信息； 其中使用所述目標設備的圖像來標識所述目標設備包括； 使用所述目標設備的所述圖像來過濾所述廣播數據以產生廣播數據子集； 顯示所述廣播數據子集； 通過用戶從所顯示的廣播數據的子集作出的選擇來標識所述目標設備。
10.如權利要求I所述的方法，其特征在于，進一步包括通過所述主設備將所述目標設備與廣域網接口。
11.一種方法，包括 接收來自目標設備的廣播數據，所述廣播數據包括關于所述目標設備的視覺外觀的信息； 在主設備上顯示所述廣播數據；以及基于對所顯示的來自所述目標設備的廣播數據的選擇來與所述目標設備接口。
12.如權利要求11所述的方法，其特征在于，所述廣播數據包括關于由所述目標設備顯示的圖像的信息。
13.如權利要求11所述的方法，其特征在于，進一步包括 用所述主設備對所述目標設備成像；以及 通過將所述目標設備的圖像與所接收到的廣播數據作比較來標識所述目標設備。
14.如權利要求11所述的方法，其特征在于，進一步包括通過所述主設備將所述目標設備與廣域網接口。
15.一種裝置,包括 能作用于對目標設備成像的相機； 能夠向和從所述目標設備發(fā)射和接收無線信號的無線收發(fā)機； 連接至所述相機和所述無線收發(fā)機的處理器； 連接至所述處理器的存儲器；以及 保持在所述存儲器中并在所述處理器中運行以致使所述處理器使用由所述相機提供的圖像來標識所述目標設備并通過所述無線收發(fā)機與所標識出的目標設備接口的軟件。
16.如權利要求15所述的裝置，其特征在于，進一步包括耦合至所述處理器的數字顯示器，其中與所述目標設備有關的數據被顯示在所述數字顯示器上。
17.如權利要求16所述的裝置，其特征在于，所述與目標設備有關的數據由所述無線收發(fā)機從所述目標設備接收。
18.如權利要求16所述的裝置，其特征在于，所述裝置進一步包括耦合至所述處理器的網絡接口收發(fā)機，其中所述與目標設備有關的數據由該網絡接口收發(fā)機接收。
19.如權利要求15所述的裝置，其特征在于，所述軟件致使所述處理器使用所述目標設備的圖像來標識所述目標設備為可配對的；并將所述主設備與所述目標設備配對。
20.如權利要求15所述的裝置，其特征在于，進一步包括耦合至所述處理器的數字顯示器，其中所述軟件致使所述處理器在所述數字顯示器上顯示用來控制所述目標設備的界面。
21.如權利要求15所述的裝置，其特征在于，所述軟件致使所述處理器與標的設備接口，其中與所述目標設備接口包括通過從所述目標設備檢索有關數據；以及通過所述無線收發(fā)機向所述標的設備發(fā)射所述數據。
22.如權利要求15所述的裝置，其特征在于，所述軟件致使所述處理器與所述目標設備配對，與第二目標設備配對，并且將所述目標設備與所述第二目標設備配對。
23.如權利要求15所述的裝置，其特征在于，所述無線收發(fā)機接收來自所述目標設備的廣播數據并將所述廣播數據提供給所述處理器，所述廣播數據包括關于所述目標設備的視覺外觀的信息，所述軟件致使所述處理器通過將由所述相機提供的所述圖像與從所述目標設備接收到的所述廣播數據作比較來標識所述目標設備。
24.如權利要求23所述的裝置，其特征在于，所述關于目標設備的視覺外觀的信息包括所述目標設備的圖像和紋理化3維模型中的至少一者。
25.如權利要求15所述的裝置，其特征在于，進一步包括耦合至所述處理器的數字顯示器和耦合至所述處理器的用戶接口，其中所述無線收發(fā)機接收來自多個目標設備的廣播數據并將所述廣播數據提供給所述處理器，所述廣播數據包括關于所述目標設備的視覺外觀的信息，所述軟件致使所述處理器通過使用由所述相機提供的所述圖像來過濾所述廣播數據以產生廣播數據子集、在所述數字顯示器上顯示所述廣播數據子集、并且基于來自所述用戶接口的輸入從所述廣播數據子集中標識所述目標設備來標識所述目標設備。
26.如權利要求15所述的裝置，其特征在于，所述裝置進一步包括耦合至所述處理器的網絡接口收發(fā)機，其中所述軟件致使所述處理器通過所述網絡接口收發(fā)機將所述目標設備與廣域網接口。
27.一種裝置，包括 能夠向和從目標設備發(fā)射和接收無線信號的無線收發(fā)機，所述無線收發(fā)機接收來自目標設備的廣播數據，所述廣播數據包括關于所述目標設備的視覺外觀的信息； 數字顯示器； 用戶接口 ； 連接至所述相機和所述數字顯示器和用戶接口的處理器； 連接至所述處理器的存儲器；以及 保持在所述存儲器中并在所述處理器中運行以致使處理器在所述數字顯示器上顯示所述廣播數據、并基于響應于所顯示的廣播數據來自所述用戶接口的輸入與所述目標設備接口的軟件。
28.如權利要求27所述的裝置，其特征在于，所述廣播數據包括關于由所述目標設備顯示的圖像的信息。
29.如權利要求27所述的裝置，其特征在于，所述無線收發(fā)機接收來自多個目標設備的廣播數據，所述裝置進一步包括能作用于對所述目標設備成像的相機，所述軟件致使所述處理器將所述目標設備的圖像與所接收到的廣播數據作比較并使用由所述相機提供的所述圖像來過濾該廣播數據以產生廣播數據子集；在所述數字顯示器上顯示所述廣播數據子集。
30.如權利要求27所述的裝置，其特征在于，所述裝置進一步包括耦合至所述處理器的網絡接口收發(fā)機，其中所述軟件致使所述處理器通過所述網絡接口收發(fā)機將所述目標設備與廣域網接口。
31.一種在主設備與目標設備之間接口的系統，包括 用于用所述主設備對目標設備成像的裝置； 用于在所述主設備上顯示所述目標設備的圖像的裝置； 用于使用所述目標設備的所述圖像來標識所述目標設備的裝置；以及 用于與所標識出的目標設備接口的裝置。
32.如權利要求31所述的系統，其特征在于，進一步包括用于獲得與所述目標設備有關的數據的裝置，其中所述用于顯示所述目標的圖像的裝置顯示所述與目標設備有關的數據。
33.如權利要求31所述的系統，其特征在于，所述用于接口的裝置將所述主設備與所述目標設備配對。
34.如權利要求31所述的系統，其特征在于，進一步包括用于用所述主設備控制所標識出的目標設備的裝置。
35.如權利要求31所述的系統，其特征在于，所述用于與所標識出的目標設備接口的裝置進一步與不同于所述目標設備的標的設備接口 ；所述系統進一步包括用于從所標識出的目標設備檢索有關數據的裝置；其中所述用于接口的裝置將所檢索到的數據傳遞給所述標的設備。
36.如權利要求31所述的系統，其特征在于，所述用于接口的裝置將所述主設備與所述目標設備配對并將所述主設備與第二目標設備配對，所述系統進一步包括用于通過所述主設備將所述目標設備與所述第二目標設備配對的裝置。
37.如權利要求31所述的系統，其特征在于，進一步包括 用于接收來自所述目標設備的廣播數據的裝置，所述廣播數據包括關于所述目標設備的視覺外觀的信息； 其中所述用于標識目標設備的裝置將所述目標設備的所述圖像與來自所述目標設備的所述廣播數據作比較。
38.如權利要求37所述的系統，其特征在于，所述關于目標設備的視覺外觀的信息包括所述目標設備的圖像和紋理化3維模型中的至少一者。
39.如權利要求31所述的系統，其特征在于，進一步包括 用于接收來自多個目標設備的廣播數據的裝置，所述廣播數據包括關于所述目標設備的視覺外觀的信息； 其中所述用于標識目標設備的裝置包括 用于使用所述目標設備的所述圖像來過濾所述廣播數據以產生廣播數據子集的裝置，其中所述用于顯示的裝置顯示所述廣播數據子集； 用于基于所顯示的廣播數據子集來選擇所述目標設備的裝置。
40.如權利要求31所述的系統，其特征在于，進一步包括用于將所述目標設備接口到廣域網的裝置。
41.一種包括存儲在其上的程序代碼的計算機可讀介質，包括 用于使用目標設備的圖像來標識所述目標設備的程序代碼；以及 用于與所標識出的目標設備接口的程序代碼。
全文摘要
主設備對目標設備成像并使用該圖像來標識該目標設備。該主設備隨后例如通過與目標設備配對來自動與所標識出的目標設備接口。該主設備可接收來自該目標設備的包括關于該目標設備的視覺外觀的信息的廣播數據，并將該廣播數據用在對該目標設備的標識中。該主設備可檢索與該目標設備有關的數據并顯示該有關數據，此顯示可以是在所顯示的該目標設備的圖像之上顯示該數據。該主設備可提供用來控制該目標設備或被用于將數據傳遞給該目標設備的接口。
文檔編號H04H60/35GK102625981SQ201080033713
公開日2012年8月1日 申請日期2010年7月16日 優(yōu)先權日2009年7月17日
發(fā)明者G·V·小懷特, M·S·格羅布, S·迪亞茲斯賓多拉, V·W·基廷 申請人:高通股份有限公司