專利名稱：視頻呼叫設(shè)備控制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于控制電子設(shè)備的系統(tǒng)和方法，并且尤其涉及用 于使用無線手持設(shè)備控制電子設(shè)備的系統(tǒng)和方法。
背景技術(shù)：
諸如音樂系統(tǒng)和電視之類電子設(shè)備的用戶使用無線遙控器控制 這些設(shè)備的偏好由來已久。此類遙控器通常隨設(shè)備提供，并且通常 通過在用戶按下遙控器上的特定按鈕時傳輸紅外信號來控制設(shè)備。
通常，大部分用戶經(jīng)常將隨電子設(shè)備提供的遙控器放錯地方， 或者完全丟失該遙控器，從而剩下沒有遙控器的電子設(shè)備。此外， 如果用戶擁有多個電子設(shè)備，每個電子設(shè)備都具有自己的遙控器， 則不同遙控器的數(shù)量可能變得過多。之前已經(jīng)提出了一種解決方案 來提供通用遙控器，該通用遙控器可以學(xué)習(xí)各種電子設(shè)備所需的特 定的紅外信號，使得能夠?qū)λ鼈冞M行控制(例如，即使已經(jīng)丟失了 原遙控器)，或者允許僅通過一個遙控器來控制各種設(shè)備。然而， 此類替換設(shè)備需要額外的成本，并且由于需要對它們進行編程而復(fù) 雜。通常，由于需要針對所需操作按動正確按鈕，而按鈕通常小且 難以找到，所以使用遙控器也是很困難的。

發(fā)明內(nèi)容
本發(fā)明的目的是提供一種使用無線手持設(shè)備控制電子設(shè)備的改 進系統(tǒng)和方法。
根據(jù)本發(fā)明的第 一方面，提供一種使用無線移動設(shè)備控制電子 設(shè)備的方法，所述無線移動設(shè)備具有顯示器以及視頻捕捉單元，所
述方法包括以下連續(xù)步驟在所述移動設(shè)備和遠(yuǎn)程服務(wù)器之間建立視頻呼叫，從而所述遠(yuǎn)程服務(wù)器接收由所述移動設(shè)備捕捉的視頻圖
像；執(zhí)行圖像識別以標(biāo)識所述捕捉的視頻中的電子設(shè)備；檢測所述 視頻捕捉單元的運動；以及基于所述視頻捕捉單元的運動將控制信 號傳輸?shù)剿鲭娮釉O(shè)備。
根據(jù)本發(fā)明的一個實施方式，在發(fā)送控制信號的所述步驟之前, 所述方法進一步包括，在所述遠(yuǎn)程服務(wù)器和所述電子設(shè)備之間建立 連接。
根據(jù)本發(fā)明的另一實施方式，所述方法進一步包括，在所述運 動檢測步驟之前，向所述移動設(shè)備傳輸信息，所迷信息指示對應(yīng)于 所述— 見頻捕捉單元的運動的所述設(shè)備的命令。
根據(jù)本發(fā)明的其他實施方式，執(zhí)行圖像識別包括訪問包括多個 對象圖像和/或簽名的對象數(shù)據(jù)庫，并且將所述視頻圖像的特征與所 述對象圖像和/或簽名進行匹配。
根據(jù)本發(fā)明的其他實施方式，經(jīng)由因特網(wǎng)傳輸所述控制信號。
根據(jù)本發(fā)明的其他實施方式，所述運動包括所述視頻捕捉單元 的旋轉(zhuǎn)。
根據(jù)本發(fā)明的其他方面，提供一種應(yīng)用無線移動設(shè)備來控制電 子設(shè)備的方法，其中所述移動設(shè)備包括視頻捕捉單元，所述應(yīng)用包 括使用所述移動設(shè)備在所述移動設(shè)備和遠(yuǎn)程服務(wù)器之間建立視頻
呼叫；將所述視頻捕捉單元指向所述電子設(shè)備；以及移動所述^L頻
以基于所述移動控制所述電子設(shè)備。
根據(jù)本發(fā)明的又一方面，提供一種用于控制電子設(shè)備的系統(tǒng)， 包括無線移動設(shè)備，包括配置用于捕捉視頻圖像的視頻捕捉單元； 以及服務(wù)器，其能夠在視頻呼叫中與所述移動設(shè)備通信并且能夠接 收所述視頻圖像，所述服務(wù)器包括圖像識別單元，配置用于在一 個或多個所述視頻圖像中標(biāo)識電子設(shè)備；運動檢測單元，配置用于 檢測所述視頻捕捉單元的運動；以及控制單元，配置用于基于視頻 捕捉單元的所述運動向所述電子設(shè)備傳輸控制信號。根據(jù)本發(fā)明的 一 個實施方式，所述系統(tǒng)進 一 步包括可由所述服 務(wù)器訪問的對象數(shù)據(jù)庫，所述對象數(shù)據(jù)庫包含用于標(biāo)識所述電子設(shè) 備的圖像和/或簽名。
根據(jù)本發(fā)明的其他實施方式，所述系統(tǒng)進 一 步包括無線通信網(wǎng) 絡(luò)，其允許所述無線移動設(shè)備和所述服務(wù)器之間的通信。
根據(jù)本發(fā)明的其他實施方式，所述服務(wù)器通過因特網(wǎng)連接至所 述無線通信網(wǎng)絡(luò)。
根據(jù)本發(fā)明的其他實施方式，所述服務(wù)器通過交換網(wǎng)絡(luò)連接至 所述無線通信網(wǎng)絡(luò)。
根據(jù)本發(fā)明的其他方面，提供一種配置用于控制電子設(shè)備的自
動控制單元，包括視頻呼叫單元，配置用于在視頻呼叫中與無線 移動設(shè)備通信，并且接收由所述移動設(shè)備捕捉的視頻圖像；圖^^識 別單元，配置用于標(biāo)識一個或多個所述視頻圖像中的電子設(shè)備；運 動檢測單元，配置用于在所述視頻圖像中檢測所述電子設(shè)備的運動; 以及控制傳輸單元，配置用于基于所述運動檢測單元檢測的運動生 成控制信號，并且將所述控制信號傳輸?shù)剿鲭娮釉O(shè)備。
根據(jù)本發(fā)明的其他實施方式，所述控制傳輸單元配置用于經(jīng)由 因特網(wǎng)向所述電子設(shè)備傳輸所述控制信號。
根據(jù)本發(fā)明的其他實施方式，所述運動才企測單元配置用于4全測 所述視頻捕捉單元的順時針或逆時針旋轉(zhuǎn)。


圖1示意性地示出了根據(jù)本發(fā)明的第一實施方式的用于電子設(shè)
備的控制系統(tǒng)；
圖2示出了根據(jù)本發(fā)明一個實施方式的數(shù)據(jù)記錄；
圖3示出了根據(jù)本發(fā)明的手持便攜式設(shè)備的運動的示例；以及
圖4是示出了根據(jù)本發(fā)明的用于控制電子設(shè)備的方法中連續(xù)步
驟的流程圖。
具體實施例方式
圖1示出了用于控制電子設(shè)備的系統(tǒng)。該系統(tǒng)包括作為具有視
頻呼叫功能的無線移動設(shè)備的移動設(shè)備1。例如，移動設(shè)備1是3G (第三代)標(biāo)準(zhǔn)移動電話，其支持與第三方建立視頻呼叫。備選地， 移動設(shè)備1可以是PDA (個人數(shù)字事務(wù)管理器)、膝上型計算機、 便攜式游戲控制臺等，它們可以捕捉視頻并且進行無線傳輸以及優(yōu) 選地還接收視頻流。示出了該移動設(shè)備的正面la和背面lb。
移動設(shè)備1在正面la包括小鍵盤2，其允許輸入數(shù)據(jù)或控制設(shè) 備，以及顯示器3，其例如是LCD (液晶顯示器)。在該示例中示 出的背面lb上，移動設(shè)備1還包括照相機4，其允許捕捉數(shù)字一見頻 圖像?，F(xiàn)代移動電話通常配備有安裝在設(shè)備某處的此類照相機4，并 且允許用戶在捕捉視頻的同時在顯示器上查看捕捉的視頻。移動設(shè) 備1還優(yōu)選地包括用于捕捉聲音的麥克風(fēng)(未示出)，其可以利用 捕捉的視頻在信號中傳輸該聲音。
根據(jù)該實施方式，希望將移動設(shè)備1用于控制電子設(shè)備5。在本 示例中，設(shè)備5是音樂系統(tǒng)，然而可以控制各種設(shè)備，包括電4見、 取暖/空調(diào)系統(tǒng)、個人計算機等。
在第一步驟中，用戶從發(fā)起視頻呼叫開始，并且將移動單元1 的照相機指向電子設(shè)備5。因此使用移動設(shè)備1的視頻功能記錄設(shè)備 5。該設(shè)備包括不同的外表面，其例如標(biāo)識設(shè)備的款號和型號。
與遠(yuǎn)程圖像識別服務(wù)器6建立視頻呼叫。例如，已經(jīng)為用戶提 供了特定的撥號，以便在與服務(wù)器6建立視頻呼叫中使用。備選地， 可以由移動設(shè)備l自動執(zhí)行此類視頻呼叫的建立，例如，通過用戶 對顯示器3上的特定圖標(biāo)的選擇發(fā)起視頻呼叫或由用戶的語音命令 發(fā)起視頻呼叫，所需的連接參數(shù)預(yù)編程在移動設(shè)備1中。圖像識別 服務(wù)器例如是PC、膝上型計算機或其他處理器。
貫穿本申請使用視頻呼叫來表示在至少 一個方向上傳輸視頻圖 像的呼叫。通常在本示例中，在4見頻呼叫期間，— 見頻例如至少乂人移 動設(shè)備向?qū)ο笞R別服務(wù)器6進行傳輸。此外，可以在視頻呼叫內(nèi)或
8獨立地將視頻圖像、靜止圖像和/或視頻信號傳回移動設(shè)備。
移動設(shè)備1例如經(jīng)由移動通信網(wǎng)絡(luò)建立呼叫，移動通信網(wǎng)絡(luò)包
括連接至通信單元10的多個傳輸和接收天線柱8。例如，移動通信 網(wǎng)絡(luò)可以是UMTS (通用移動電話系統(tǒng))網(wǎng)絡(luò)，諸如根據(jù)3G標(biāo)準(zhǔn)的 UTRAN系統(tǒng)(UMTS陸地?zé)o線接入網(wǎng))。備選地，用戶當(dāng)前所在的 具有電子設(shè)備的房間或辦公室可以具有內(nèi)部WLAN(無線局域網(wǎng))， 移動設(shè)備1可以接入該網(wǎng)絡(luò)。在此類情況中，天線柱8將是WLAN 天線，并且通信單元IO是WLAN服務(wù)器。作為其他示例，移動設(shè) 備1可以具有WiFi (無線保真)功能，該情況中的天線柱8和通信 單元10分別是WiFi天線和服務(wù)器或PC。
通信硬件IO耦合至圖像識別服務(wù)器6。如圖l所示，在某些實 施方式中，通信單元10經(jīng)由因特網(wǎng)12連接至圖像識別服務(wù)器6。然 而，在備選實施方式中，例如，在用戶現(xiàn)在所在的房間/辦公室內(nèi)提 供全部圖1的信息接入系統(tǒng)的情況中，通信單元IO直接連接至圖像 識別服務(wù)器6。備選地，通信單元IO可以通過ISDN(綜合業(yè)務(wù)數(shù)據(jù) 網(wǎng)絡(luò))連接至圖像識別服務(wù)器6。某些移動電話服務(wù)提供商允許在 ISDN網(wǎng)絡(luò)中將視頻呼叫路由至特定線。
圖像識別服務(wù)器6從移動設(shè)備1接收視頻流，并且對圖像執(zhí)行 圖像識別。圖像識別技術(shù)在本領(lǐng)域中已知并且通常包括實時視覺識 別軟件，該軟件在一系列圖像中確定對象標(biāo)識。圖像識別服務(wù)器6 的實時視覺識別軟件接收并且解碼視頻呼叫數(shù)據(jù)，標(biāo)識可見的4壬何 已知對象，在該設(shè)備5的圖像情況中，優(yōu)選地計算對象相對于移動 設(shè)備1的照相機的位置。
例3口, 在出片反凈勿"Robust Object Recognition with Cortex-Like Mechanisms"(作者為T. Serre、 L. Wolf、 S. Bileschi、 M. Riesenhuber 和T. Poggio， IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.29, No.3, 2007年3月)中更詳細(xì)地討論了用于執(zhí)行 此類圖像識別的方法，通過在法律允許的程度上對其進行參考而將 其合并于此。
9例如，基于設(shè)備設(shè)計標(biāo)識對象，設(shè)備設(shè)計例如為特定部分的顏
色、標(biāo)記于外部的品牌名稱等。設(shè)備5的部分或全部外表面例如從 對象數(shù)據(jù)庫15已知。對象數(shù)據(jù)庫15耦合至圖像識別服務(wù)器6并且 包含對象的識別簽名。可以為每個對象存儲一個或多個簽名和圖像。 簽名是呈現(xiàn)在設(shè)備圖像中、唯一地標(biāo)識設(shè)備的唯一圖案。如果對象 具有主要表面，例如音樂系統(tǒng)或電視的正面，那么對象數(shù)據(jù)庫15例 如僅存儲該表面的簽名或圖像。然而，某些電子設(shè)備的多個不同側(cè) 面可以不同，并且在該情況中，對象的每個側(cè)面的圖像也可以存儲 在數(shù)據(jù)庫15中。對象數(shù)據(jù)庫15可以在服務(wù)器6的內(nèi)部或外部。
在某些實施方式中，對象簽名可以本地存儲在對象數(shù)據(jù)庫15中， 并且可以從因特網(wǎng)12獲取涉及該對象的其他視覺數(shù)據(jù)。因特網(wǎng)提供 了大量圖像源，特別是電子設(shè)備的圖像。因此，經(jīng)由因特網(wǎng)12，可 以訪問包含設(shè)備的圖像的遠(yuǎn)程數(shù)據(jù)庫16,并且這些圖像例如可以用 于確定圖像的匹配或利用新設(shè)備的圖像更新對象數(shù)據(jù)庫。
一旦圖像識別服務(wù)器6已經(jīng)標(biāo)識了電子設(shè)備的款號/型號，其也 確定了特定設(shè)備的地址，該地址例如為以下形式網(wǎng)絡(luò)地址、因特 網(wǎng)和/或IP地址或統(tǒng)一資源標(biāo)識符(URI)，并且例如經(jīng)由因特網(wǎng)打 開了到該設(shè)備的連接。例如，在某些實施方式中，當(dāng)請求/建立^f見頻 呼叫時，圖像識別服務(wù)器6識別了主叫的移動號碼。圖像識別服務(wù) 器還存儲與授權(quán)用戶控制的電子設(shè)備的每個用戶相關(guān)聯(lián)的列表，連 同每個設(shè)備的電子地址。因此， 一旦從與該用戶相關(guān)聯(lián)的設(shè)備中標(biāo) 識出了該設(shè)備，那么可以建立經(jīng)由因特網(wǎng)的連接，其允許向設(shè)備傳 輸命令信號。備選地，圖像識別服務(wù)器可以唯一地標(biāo)識電子設(shè)備。 在某些情況中，可能存在不止一個用戶可以訪問的特定款號和型號 的電子設(shè)備。在此類情況中，用戶可以使它們的設(shè)備在視覺上是唯 一的，例如，通過添加標(biāo)簽等。
越來越多的電子設(shè)備被設(shè)計為具有網(wǎng)絡(luò)和/或因特網(wǎng)接入，或具 有連接至具有因特網(wǎng)接入的計算機的能力，以及因此可經(jīng)由該計算 機進行控制。此外，在某些實施方式中，可通過因特網(wǎng)之外的網(wǎng)絡(luò)訪問設(shè)備，例如，經(jīng)由諸如WLAN等的無線網(wǎng)絡(luò)訪問設(shè)備。例如， 此類連接支持遙控、允許安裝軟件更新和/或提供對其他媒體的訪問， 諸如可在線獲得的電影或音樂文件。
例如存儲與數(shù)據(jù)庫15中的每個對象圖像相關(guān)聯(lián)的記錄，其指示 控制所標(biāo)識電子設(shè)備的可能方式。此類記錄預(yù)存儲在對象數(shù)據(jù)庫中 或者一旦與電子設(shè)備5的連接建立，則從該設(shè)備接收。記錄包括用 于設(shè)備的命令集，其優(yōu)選的采用可以將其傳輸至移動設(shè)備1并且在 顯示器3上呈現(xiàn)給用戶的形式。圖2示出了此類記錄的示例。
如圖2所示，記錄200包括指示設(shè)備標(biāo)識的第一字段202,在該 情況中設(shè)備是音樂系統(tǒng)。另 一字段204列出了電子設(shè)備的可控功能。 圖2中提供的示例是針對音樂系統(tǒng)的，并且包括音量、低音、高音、 CD/MP3軌、FM調(diào)諧器頻率和開/關(guān)。其他字段206指示移動設(shè)備1 的不同移動所具有的效果。在該示例中，順時針旋轉(zhuǎn)移動設(shè)備具有 增大所選功能的效果，或在數(shù)字控制功能的情況中，諸如開/關(guān)，該 效果是將其打開，而逆時針旋轉(zhuǎn)移動設(shè)備具有減小該功能的效果， 或在數(shù)字控制功能的情況中，諸如開/關(guān)，該效果是將其關(guān)閉。向上 或向下移動或傾斜移動設(shè)備改變所選功能，并且例如通過巻動可能 的功能來實現(xiàn)該效果。
圖像識別服務(wù)器6通過傳輸信號響應(yīng)于移動設(shè)備1，該信號可以 是視頻流或與視頻呼叫兼容的任何信號，其為用戶提供可用的各種 命令的細(xì)節(jié)。例如，該響應(yīng)可以是在視頻呼叫中傳輸?shù)恼Z音消息的 形式，指示可以被控制的電子設(shè)備的不同功能。在備選實施方式中， 信號包括一個或多個靜止圖像或具有或不具有聲音的視頻。例如， 信號可以包括從移動設(shè)備1接收的視頻流，帶有屏幕上附加的、確 定所標(biāo)識設(shè)備的消息，例如使用字段202的文本"識別的單元 音樂系統(tǒng)，，。然后，可以示出當(dāng)前所選的功能和用于控制該功能的 可能移動。默認(rèn)功能例如是字段204的功能列表中的第一功能，在 該情況中是音量。在圖1中的移動設(shè)備1的顯示器3上示出了該屏 幕的示例。圖3示出了移動設(shè)備1，并且示出了可以執(zhí)行以便控制電子設(shè)備 5的可能移動的示例。特別地，如箭頭A和B分別所示的順時針或 逆時針移動或調(diào)諧移動設(shè)備1分別引起了所識別對象或移動設(shè)備的 照相機捕捉的圖像中的順時針或逆時針光流。例如，移動設(shè)備在箭 頭A的方向上順時針旋轉(zhuǎn)將導(dǎo)致顯示器3上顯示的對象的所有圖像 逆時針旋轉(zhuǎn)。
圖像識別服務(wù)器6可以檢測到對象或圖像的移動。用于從一系 列視頻圖像中檢測照相機移動的技術(shù)在本領(lǐng)域中已知。例如，名稱 為 "Real-time Simultaneous Localization and Mapping with a Single Camera" ( Proceedings on the 9th International Conference on Computer Vision, Nice, 2003年，A丄Davison)的出版物描述了此類技術(shù)，通過 在法律允許的程度上對其進行參考而將其合并于此。此外，名稱為
"Camera Phone Based Motion Sensing: Interactive techniques, Applications and Performance Study"(在ACM UIST 2005, Montreux, Switzerland, 2006年10月，J. Wang, S. Zhai和J. Canny)的論文也描 述了此類技術(shù)，通過在法律允許的程度上對其進行參考而將其合并 于此。
在檢測到對象或圖像的移動之后，圖像識別服務(wù)器6通過向電 子設(shè)備傳輸相應(yīng)命令進行響應(yīng)。例如，在該情況中，如果選擇音量， 并且順時針旋轉(zhuǎn)移動設(shè)備(所捕捉圖像中的對象具有逆時針旋轉(zhuǎn))， 向音樂系統(tǒng)發(fā)送命令以增大音量。如果檢測到圖像向上或向下運動， 則功能例如是巻動。
圖4是示出了圖像識別服務(wù)器6執(zhí)行的步驟的流程圖。 在第一步驟S0中，啟動圖像識別，其例如可以由圖像識別服務(wù) 器6接收到啟動視頻通話的請求以及接收到注冊的移動設(shè)備1發(fā)起 的視頻流來觸發(fā)。圖像識別服務(wù)器優(yōu)選地通過主叫電話號碼來標(biāo)識 進行呼叫的特定移動設(shè)備1,并且根據(jù)用戶的授權(quán)級別和諸如語言設(shè) 置、報警觸發(fā)和登錄選項的偏好設(shè)置來配置本身。當(dāng)圖像識別開始 時，圖像識別服務(wù)器例如可以向移動設(shè)備1傳輸視頻流，其具有附加在接收自移動設(shè)備1的視頻圖像上的文本"掃描設(shè)備，，，或可以 傳輸更為個人化的消息。
在下一步驟S1中，圖像識別服務(wù)器6確定是否已經(jīng)標(biāo)識出視頻 流內(nèi)的設(shè)備。首先，其實時地從圖像中提取圖像特征點并且通過將 提取的特征點與對象數(shù)據(jù)庫15中的對象特征進行匹配，來標(biāo)識圖像 中的已知對象。如果沒有對象與已經(jīng)標(biāo)識的設(shè)備相匹配，那么重復(fù) 步驟S1。在每個圖像識別測試之后例如存在小的延遲，從而直到標(biāo) 識出i殳備，例如以100ms的間隔重復(fù)圖^(象識別，該間隔例如對應(yīng)于 視頻流中的連續(xù)幀之間的時間延遲。如果標(biāo)識出對象和相應(yīng)的電子 設(shè)備，則該設(shè)備成為活躍設(shè)備，并且下一步驟是S2。
在某些情況中，在視頻圖像中可以存在不止一個所識別的電子 設(shè)備。在該情況中，方法例如基于在最接近視頻圖像中心的設(shè)備是 用戶希望控制的對象的基礎(chǔ)上繼續(xù)進行。繼而，該設(shè)備成為活躍設(shè) 備。
在步驟S2中，打開對已經(jīng)被識別電子設(shè)備的連接。而且，圖像 識別服務(wù)器6傳輸提供該電子設(shè)備標(biāo)識的返回視頻流，例如其附加 在設(shè)備的圖像之上，并且在顯示器上提供選項以便支配設(shè)備。如上 所述，可以從對象數(shù)據(jù)庫15或例如從經(jīng)由因特網(wǎng)訪問的電子設(shè)備獲
得該信息。
在下一步驟S3中，確定是否檢測到圖像運動。通過相對于之前 進入的圖像計算特征點的光流來執(zhí)行該檢測。然后，可以將這些運 動與運動才莫板進行匹配來^r測運動是順時針、逆時針、向上還是向下。
如果沒有檢測到圖像運動，下一步驟是S4。在步驟S4中，檢測 電子設(shè)備是否仍舊可見。如果設(shè)備不再可見，則這可以指示用戶不 再希望控制該活躍設(shè)備，或該活躍設(shè)備不是用戶希望控制的設(shè)備。 在該情況中，下一步驟是S1，其中圖像識別服務(wù)器搜索另一電子設(shè) 備。然而，如果電子設(shè)備仍舊可見中，則下一步驟是重復(fù)S3。
如果在步驟S3中檢測到運動，則下一步驟是S5。在步驟S5中，根據(jù)視頻捕捉區(qū)域中的圖像運動，向電子設(shè)備傳輸不同的命令。一
旦生成并且傳輸了此類命令，則下一步驟是S3，其中檢測圖像的進
一步運動以確定是否需要進一步的命令。
在某些實施方式中，可以在檢測到旋轉(zhuǎn)之后重復(fù)向電子設(shè)備發(fā) 送命令，直到檢測到相反情況的旋轉(zhuǎn)。這與諸如音量的模擬類型的
功能特別相關(guān)。例如，如果在步驟S3中檢測到順時針旋轉(zhuǎn)，則下一 步驟是發(fā)送命令以增大音量并且繼而重復(fù)S3。然而，當(dāng)在步驟S3 中檢測到逆時針旋轉(zhuǎn)時，或當(dāng)移動設(shè)備短時保持靜止時，或基于諸 如"執(zhí)行"或"結(jié)束"的語音命令，將僅停止傳輸增大音量的命令。
在某些備選實施方式中， 一旦已經(jīng)標(biāo)識出電子設(shè)備5，則其可以 保持在移動設(shè)備l的運動的控制之下，即使當(dāng)電子設(shè)備5不再出現(xiàn) 在移動設(shè)備的照相機的視場內(nèi)。該同一電子設(shè)備5的命令繼而繼續(xù) 直到遠(yuǎn)程服務(wù)器6識別出其他事件，諸如用戶的語音命令、移動設(shè) 備的特定運動或直到已經(jīng)在照相機4捕捉的圖像中檢測到另 一 電子 設(shè)備5。在后一情況中，其他電子設(shè)備將成為被控制的設(shè)備。
在任何時間，用戶可以通過結(jié)束一見頻呼叫停止圖^f象識別過程。
因此，已經(jīng)描述了用戶可以支配由具有視頻呼叫功能的移動設(shè) 備捕捉的電子設(shè)備、通過該移動設(shè)備的移動實現(xiàn)控制的方法和系統(tǒng)。 除了在移動設(shè)備本身中執(zhí)行圖像識別之外，與服務(wù)器維持視頻鏈路， 同時執(zhí)行識別、提供實時內(nèi)容并且保持所有交互會話的記錄。
有優(yōu)勢地，用戶可以使用諸如3G移動電話的設(shè)備快捷地控制電 子設(shè)備。因此，當(dāng)例如遺失遙控單元時，可以將用戶已經(jīng)擁有的具 有視頻呼叫功能的標(biāo)準(zhǔn)移動設(shè)備用于控制設(shè)備。
有優(yōu)勢地，用于在視頻呼叫期間支配設(shè)備的方法是免觸摸的， 換言之，用戶不需要觸摸移動設(shè)備上的鍵，而僅僅移動該設(shè)備。此 外，啟動呼叫、支配設(shè)備以及結(jié)束呼叫的整個過程優(yōu)選地也是完全 或幾乎完全免觸摸的，例如通過語音命令建立和結(jié)束視頻呼叫。
通過提供圖像識別服務(wù)器能夠檢測移動設(shè)備的運動，通過整體 移動設(shè)備的運動而不是通過按下按鈕，來容易地實現(xiàn)電子設(shè)備的命令。對于諸如可能難以發(fā)現(xiàn)操作小鍵盤的具有關(guān)節(jié)炎的殘疾人來說， 這是特別有用的。
雖然已經(jīng)參考附圖在上面描述了本發(fā)明的多個具體實施方式
， 但是本領(lǐng)域的技術(shù)人員應(yīng)該理解，可以應(yīng)用多個》務(wù)改和變形。
例如，雖然已經(jīng)描述了本發(fā)明的特定應(yīng)用，但是存在可能的本 發(fā)明的備選應(yīng)用，諸如控制移動機器人或車輛、以窺鏡
(looking-glass)方式控制云臺全方位照相才幾、遠(yuǎn)程控制奏樂或準(zhǔn)備 食物的機械臂、控制虛擬人(表示人的圖形圖像)或在視頻游戲中 作為輸入設(shè)備。
雖然已經(jīng)針對控制從圖像識別服務(wù)器接收的信息而描述了特定 類型的運動，但是可以識別不同的運動，例如設(shè)備的前后運動，左 右運動或?qū)欠较虻倪\動，例如左上運動。
權(quán)利要求
1.一種使用無線移動設(shè)備(1)來控制電子設(shè)備(5)的方法，所述無線移動設(shè)備(1)具有顯示器(3)以及視頻捕捉單元(4)，所述方法包括以下連續(xù)步驟在所述移動設(shè)備和遠(yuǎn)程服務(wù)器(6)之間建立視頻呼叫，從而所述遠(yuǎn)程服務(wù)器接收由所述移動設(shè)備捕捉的視頻圖像；執(zhí)行圖像識別以標(biāo)識所述捕捉的視頻中的電子設(shè)備；檢測所述視頻捕捉單元的運動；以及基于所述視頻捕捉單元的運動將控制信號傳輸?shù)剿鲭娮釉O(shè)備。
2. 根據(jù)前述任一權(quán)利要求所述的方法，進一步包括在發(fā)送控 制信號的所述步驟之前，在所述遠(yuǎn)程服務(wù)器和所述電子設(shè)備之間建立連接。
3. 根據(jù)前述任一權(quán)利要求所述的方法，包括在所述運動檢測步驟之前，向所述移動設(shè)備傳輸信息，所述信息指示對應(yīng)于所述視 頻捕捉單元的運動的所述設(shè)備的命令。
4. 根據(jù)前述任一權(quán)利要求所述的方法，其中執(zhí)行圖像識別包括 訪問包括多個對象圖像和/或簽名的對象數(shù)據(jù)庫(15)，并且將所述 視頻圖像的特征與所述對象圖像和/或簽名進行匹配。
5. 根據(jù)前述任一權(quán)利要求所述的方法，其中經(jīng)由因特網(wǎng)傳輸所 述控制信號。
6. 根據(jù)前述任一權(quán)利要求所述的方法，其中所述運動包括所述 視頻捕捉單元的旋轉(zhuǎn)。
7. —種用于控制電子設(shè)備(4)的無線移動設(shè)備(1)的應(yīng)用， 其中所述移動設(shè)備包括視頻捕捉單元，所述應(yīng)用包括使用所述移動設(shè)備在所述移動設(shè)備和遠(yuǎn)程服務(wù)器(6)之間建立 —見頻呼叫；將所述視頻捕捉單元指向所述電子設(shè)備；以及移動所述視頻捕捉單元，使得所述電子設(shè)備在所述視頻捕捉單元的視場中移動，以基于所述移動控制所述電子設(shè)備。
8. —種用于控制電子設(shè)備(5)的系統(tǒng)，包括 無線移動設(shè)備(l)，包括配置用于捕捉視頻圖像的視頻捕捉單元(4);以及服務(wù)器(6)，其能夠在視頻呼叫中與所述移動設(shè)備通信并且能 夠接收所述視頻圖像，所述服務(wù)器包括圖像識別單元，配置用于在一個或多個所述視頻圖像中標(biāo)識 電子設(shè)備；運動檢測單元，配置用于檢測所述一見頻捕捉單元的運動；以及控制單元，配置用于基于視頻捕捉單元的所述運動向所述電 子設(shè)備(5)傳輸控制信號。
9. 根據(jù)權(quán)利要求8所述的系統(tǒng)，進一步包括可由所述服務(wù)器(6) 訪問的對象數(shù)據(jù)庫(15)，所述對象數(shù)據(jù)庫包含用于標(biāo)識所述電子 設(shè)備的圖像和/或簽名。
10. 根據(jù)權(quán)利要求8或9所述的系統(tǒng)，進一步包括無線通信網(wǎng)絡(luò)， 其允許所述無線移動設(shè)備和所述服務(wù)器之間的通信。
11. 根據(jù)權(quán)利要求IO所述的系統(tǒng)，其中所述服務(wù)器通過因特網(wǎng) 連接至所述無線通信網(wǎng)絡(luò)。
12. 根據(jù)權(quán)利要求IO所述的系統(tǒng)，其中所述服務(wù)器通過交換網(wǎng) 絡(luò)連接至所述無線通信網(wǎng)絡(luò)。
13. —種配置用于控制電子設(shè)備(5)的自動控制單元(6， 15), 包括-現(xiàn)頻呼叫單元(4)，配置用于在^見頻呼叫中與無線移動"i殳備(1 ) 通信，并且接收由所述移動設(shè)備捕捉的視頻圖像；圖像識別單元，配置用于標(biāo)識 一 個或多個所述視頻圖像中的電子 設(shè)備；運動檢測單元，配置用于在所述視頻圖像中檢測所述電子設(shè)備的 運動；以及控制傳輸單元，配置用于基于所述運動檢測單元檢測的運動生成 控制信號，并且將所述控制信號傳輸?shù)剿鲭娮釉O(shè)備。
14. 根據(jù)權(quán)利要求13所述的自動控制單元，其中所述控制傳輸 單元配置用于經(jīng)由因特網(wǎng)向所述電子設(shè)備傳輸所述控制信號。
15. 根據(jù)權(quán)利要求13或14所述的自動控制單元，其中運動^r測 單元配置用于檢測所述視頻捕捉單元的順時針或逆時針旋轉(zhuǎn)。
全文摘要
本發(fā)明涉及一種使用無線移動設(shè)備(1)控制電子設(shè)備(5)的方法，該無線移動設(shè)備(1)具有顯示器(3)以及視頻捕捉單元(4)，該方法包括以下連續(xù)步驟在所述移動設(shè)備和遠(yuǎn)程服務(wù)器(6)之間建立視頻呼叫，從而所述遠(yuǎn)程服務(wù)器接收由所述移動設(shè)備捕捉的視頻圖像；執(zhí)行圖像識別以標(biāo)識所述捕捉的視頻中的電子設(shè)備；檢測所述視頻捕捉單元的運動；并且基于視頻捕捉單元的運動將控制信號傳輸?shù)剿鲭娮釉O(shè)備。
文檔編號H04N7/173GK101622871SQ200880006266
公開日2010年1月6日 申請日期2008年2月26日 優(yōu)先權(quán)日2007年2月27日
發(fā)明者F·利納克爾 申請人:埃森哲環(huán)球服務(wù)有限公司