專利名稱：對設(shè)備進行控制的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及對設(shè)備進行控制的方法和系統(tǒng)，尤其涉及對消費者電子設(shè)備進行遙控的方法和系統(tǒng)，所述消費者電子設(shè)備例如視聽設(shè)備，如電視(TV)、盒式磁帶錄像機(VCR)、數(shù)字視頻盤(DVD)播放器、個人計算機(PC)等。
背景技術(shù)：
現(xiàn)在，遙控器與幾乎任何消費者電子設(shè)備一起使用，例如電視、DVD播放器、調(diào)諧器等。在中等家庭中，可能需要多個遙控器，經(jīng)常是每個消費者電子設(shè)備需要一個遙控器。甚至對于熟悉所擁有的消費者電子設(shè)備的人來說，記住每個遙控器上每個按鈕的實際功能也是一種挑戰(zhàn)。而且，一些消費者電子設(shè)備可用的屏幕上菜單驅(qū)動的導航經(jīng)常不太直觀，特別是對于該設(shè)備可用選項可能不具備深入知識的用戶。結(jié)果是用戶必須連續(xù)檢查屏幕上呈現(xiàn)的菜單來確定其所尋找的選項的位置，然后低頭看遙控器來搜索適當?shù)陌粹o。通常，按鈕被賦予不直觀的名稱或縮寫。另外，遙控器上的按鈕也可能執(zhí)行首先按下模式按鈕而訪問的其他功能?，F(xiàn)代消費者電子設(shè)備可用的許多選項令人遺憾地意味著對于許多用戶來說，給這種設(shè)備編程可能不太容易成功。大量按鈕和不直觀的菜單選項可能使設(shè)備的編程比較困難而不必要，并且經(jīng)常導致用戶不會最有效地使用其已經(jīng)購買的設(shè)備。
完全地使用所有消費者電子設(shè)備因現(xiàn)在的幾乎每個消費者電子設(shè)備都配有其自己的遙控器設(shè)備而更加困難。雖然大多數(shù)遙控器按鈕縮寫和符號此刻已經(jīng)標準化為允許在不同語言的國家中銷售相同遙控器設(shè)備，即使如此，也可能在不同的遙控器上使用不同的縮寫或符號來執(zhí)行相同的功能，例如縮寫“CH”和“PR”可用來表明“頻道”或“節(jié)目”，含義實質(zhì)上是同一件事。遙控器在形狀、尺寸、整體外觀，甚至電池要求方面也不同。
在努力降低許多遙控器引起的混淆中，已經(jīng)開發(fā)了“通用遙控器”的新產(chǎn)品種類。但是，特別是由于不斷地開發(fā)新技術(shù)和特征，因此甚至通用遙控器也不能希望訪問目前市場上可用的每種消費者電子設(shè)備所提供的所有功能。而且，現(xiàn)代消費者電子設(shè)備所提供的各種各樣的功能迫使對應(yīng)的大量按鈕來調(diào)用這些功能，同時需要很不方便的大型遙控器來容納所有按鈕。
大量的開發(fā)嘗試解決消費者電子設(shè)備的簡單遙控器的問題。例如EP 0372674建議了一種涉及照相機和固定光源的方法，該照相機和固定光源都連接到微型計算機上。將可動的照相機安裝在用戶的頭上，該照相機包含透鏡和檢測器。照相機中的檢測器來檢測用戶的頭相對于固定光源的運動，并將其轉(zhuǎn)變?yōu)殡娨暺聊簧瞎鈽说倪\動。這種方法的明顯缺點在于用戶必須將照相機戴在頭上。他必須使頭部在各個方向上運動以便移動屏幕上的光標，同時連續(xù)觀察屏幕從而了解是否使光標指向所需的位置。

發(fā)明內(nèi)容
因此，本發(fā)明的目的是提供一種對設(shè)備進行方便且直觀的遙控的方法和用戶接口。
為此，本發(fā)明提供一種對設(shè)備進行控制的方法，該方法包括可視地呈現(xiàn)要控制的設(shè)備的大量用戶選項，將包括照相機的指向設(shè)備對準用戶選項的可視呈現(xiàn)來選擇所需的選項，產(chǎn)生由指向設(shè)備對準的目標區(qū)域的圖像，并將目標區(qū)域圖像與可視呈現(xiàn)的預定義模板相比較來確定所選擇的選項。短語“目標區(qū)域圖像”應(yīng)當以可能的最廣泛含義來理解，例如該目標區(qū)域圖像可以僅僅包括與整個圖像的區(qū)別性的點有關(guān)的圖像數(shù)據(jù)，例如增強的輪廓、拐角、邊緣等。
對設(shè)備進行遙控的適當用戶接口包括存取單元，用于存取與要控制的設(shè)備的用戶選項的可視呈現(xiàn)有關(guān)聯(lián)的預定義模板；指向設(shè)備，用于對準用戶選項的可視呈現(xiàn)中的所需選項，包括用于產(chǎn)生至少一部分可視呈現(xiàn)的目標區(qū)域的圖像的照相機；以及圖像解釋器，用于定位預定義模板中的目標區(qū)域或目標區(qū)域的一個點以便確定所選擇的選項。
該方法和用戶接口因此通過以下方式為用戶提供一種控制任何設(shè)備的舒適的方法，即簡單地通過使小型手持指向設(shè)備對準來進行選項選擇而不必在作選擇的時候從消費者電子設(shè)備轉(zhuǎn)移目光，并且不必首先熟悉眾多的按鈕。
從屬權(quán)利要求和隨后的描述公開了特別有利的實施例和本發(fā)明的特征。
消費者電子設(shè)備的用戶選項能夠以許多方式呈現(xiàn)給用戶，既可以是靜態(tài)的也可以是動態(tài)的。設(shè)備的用戶選項的靜態(tài)方式的最簡單可視呈現(xiàn)是該設(shè)備本身的正面，其中可獲得按鈕或旋鈕形式的各種選項，例如VCR上的停止、快進、錄音和播放按鈕。靜態(tài)可視呈現(xiàn)的另一個例子是以打印形式顯示用戶選項，例如作為計算機打印輸出或者電視雜志中的節(jié)目指南。特別是對于諸如電視或連接到電視的DVD播放器的設(shè)備，用戶可以使用靜態(tài)形式的如設(shè)備正面的按鈕的選項，并且這些選項也能夠很容易地在電視屏幕上動態(tài)地顯示。這里，這些選項能夠以菜單項目的形式或者作為圖標來顯示。在本發(fā)明特別優(yōu)選的實施例中，可以在一個可視呈現(xiàn)中同時顯示不止一個設(shè)備的用戶選項。例如，調(diào)諧器選項和DVD選項可以一起顯示，特別是與兩種設(shè)備有關(guān)的選項。這種選項組合的例子可以是顯示調(diào)諧器音頻選項連同DVD選項的集合，該調(diào)諧器音頻選項如環(huán)繞聲、杜比等，DVD選項如寬銀幕，字幕等。因此，用戶可以在開始觀看之前很容易且快速地定制這些設(shè)備的選項。
以動態(tài)形式可視地呈現(xiàn)設(shè)備用戶選項的另一種方法可以是將其作為圖像背景而投射到表面上，該表面如墻壁或屏幕。另外，如果用戶的視力不好，那么本發(fā)明可以例如通過一次只在屏幕上顯示少量選項而很容易地向用戶提供使設(shè)備選項個人化的裝置。此外，用戶可以特別選擇省略其不太可能需要的功能，例如對于其DVD播放器，用戶可能從來不希望觀看附有外文字幕的電影。在這種情況下，他可以使其用戶接口個人化，以便從可視呈現(xiàn)中省略這些選項?？梢詫χT如電視的設(shè)備進行配置，從而對于一些用戶來說，只有可用選項的一個子集是可訪問的。按照這種方式，可以使一些頻道僅僅由授權(quán)的用戶來訪問，例如以保護兒童免于觀看不適合其年齡組的節(jié)目。
本發(fā)明的中心點在于用戶可以通過將包含照相機的指向設(shè)備對準用戶選項的可視呈現(xiàn)而在可用選項中進行選擇。照相機優(yōu)選結(jié)合到指向設(shè)備中，但是同樣可以安裝在該指向設(shè)備上，并且照相機優(yōu)選地被定位成可以產(chǎn)生在用戶定為目標的指向設(shè)備正面區(qū)域的圖像。目標區(qū)域的圖像可以僅僅是整個可視呈現(xiàn)的小子集，可以整體上覆蓋可視呈現(xiàn)，或者也可以包括圍繞該可視呈現(xiàn)的區(qū)域。目標區(qū)域圖像與整個可視呈現(xiàn)相比的尺寸可取決于可視呈現(xiàn)的尺寸、指向設(shè)備與該呈現(xiàn)之間的距離，以及照相機本身的能力。用戶可以定位為使指向設(shè)備與可視呈現(xiàn)離開一定距離，例如當用戶坐著觀看電視時。同樣，用戶可以握著指向設(shè)備，相當接近于可視呈現(xiàn)，如在用戶將指向設(shè)備對準雜志形式的電視節(jié)目指南時可能出現(xiàn)這種情況。
在本發(fā)明的優(yōu)選實施例中，可以將光源安裝在指向設(shè)備中或者指向設(shè)備上。光源可以用來照亮指向設(shè)備對準的區(qū)域，因此用戶可以很容易地細讀可視呈現(xiàn)，即使周圍環(huán)境很暗。同樣，光源可以是沿指向方向發(fā)射的會聚光束的激光源，因此光點出現(xiàn)在用戶對準的可視呈現(xiàn)上的目標點或其附近，提供可視位置反饋從而幫助用戶對準所需選項。簡單的實現(xiàn)可以是以適當方式結(jié)合到指向設(shè)備中或者安裝在指向設(shè)備上的激光源。因此在下文中，假定會聚光的光源是激光束，但是本發(fā)明并不限于此。
為了便于使用，指向設(shè)備可以是用戶能夠很舒適地握緊的細長形式的棒形或筆形。這樣，用戶可以把指向設(shè)備對準可視呈現(xiàn)中的目標點，同時位于距離該可視呈現(xiàn)的舒適的視距。同樣，指向設(shè)備可以形成為手槍形式。
用戶可以將指向設(shè)備對準可視呈現(xiàn)中的特殊選項，例如對準VCR設(shè)備正面的播放按鈕，電視屏幕上顯示的DVD選項，或者電視雜志中選擇的節(jié)目。為了表示作出了特殊的選擇，用戶可以按照預定義的方式在可視呈現(xiàn)上移動指向設(shè)備，例如通過在所需選項周圍畫一個圈或者圓形。用戶可以將指向設(shè)備在空氣中移動到離開可視呈現(xiàn)的一定距離處，或者可以移動到直接位于可視呈現(xiàn)上或非常接近于該可視呈現(xiàn)的地方。表示特殊選項選擇的另一種方法可以是將指向設(shè)備穩(wěn)定地對準選項一段預定長度時間。同樣，用戶可以輕快地移動指向設(shè)備掃過可視呈現(xiàn)，從而指示例如在從屏幕上去掉可視呈現(xiàn)之后返回到正常的節(jié)目觀看，或者返回到上一級菜單。指向設(shè)備相對于可視呈現(xiàn)的運動優(yōu)選由控制單元中的圖像處理軟件來檢測，或者通過指向設(shè)備中的運動傳感器來檢測。另一種可能性是按下指向設(shè)備上的按鈕來表示選擇了指向設(shè)備所對準的選項。在優(yōu)選實施例中，控制單元可以啟動確認對話，以便確定已經(jīng)正確地解釋了用戶的動作，例如如果用戶已經(jīng)對準了明顯遠離選項光學中心的點同時按下按鈕，或者按照預定義的方式移動指向設(shè)備。在這種情況下，控制單元可以在繼續(xù)起動選定選項或功能之前請求確認。
控制單元優(yōu)選可以按照一些方式改變可視呈現(xiàn)使選定的選項加亮，例如通過使該選項看起來似乎在閃光，或者通過使用戶對準的可視呈現(xiàn)中的區(qū)域加亮，可能同時伴有聽得見的“滴答”聲。指向設(shè)備也可以利用“拖放”技術(shù)選擇可視呈現(xiàn)中的功能，特別是當用戶必須例如通過將代表緩沖的DVD電影數(shù)據(jù)的圖標拖到代表垃圾箱的另一個圖標從而表示該緩沖數(shù)據(jù)從存儲器中刪除來導航通過較大容量空間時。用戶可以啟動各種功能，因此用戶按照類似于“雙擊”的方式選擇選項，例如通過按照預定義方式重復指向設(shè)備的運動，或者兩次按下指向設(shè)備上的按鈕。
在本發(fā)明特別有利的實施例中，將目標區(qū)域的圖像按照例如使用藍牙或802.11b標準的無線方式從指向設(shè)備傳送到分配給要控制的設(shè)備的控制單元?？刂茊卧獌?yōu)選包括用于接收目標區(qū)域圖像的接收器，以及圖像解釋器，其可以是處理器或控制器的形式。目標區(qū)域圖像同樣可以借助于將指向設(shè)備連接到控制單元的電纜而被傳送到控制單元。
為了確定用戶已經(jīng)選擇了哪個選項，圖像解釋器將接收到的目標區(qū)域圖像與可視呈現(xiàn)的大量預定義模板進行比較。單個預定義模板可以滿足這種比較，或者可能需要使用多于一個模板以便進行成功的比較。
預定義模板可存儲在內(nèi)存儲器中，或者同樣可以從外部源存取。優(yōu)選的是，控制單元包括具有適當接口的存取單元，其用于從例如內(nèi)存儲器或外存儲器、存儲器棒、內(nèi)聯(lián)網(wǎng)或互聯(lián)網(wǎng)獲得用于要控制的設(shè)備的可視呈現(xiàn)的預定義模板。模板可以是要控制的設(shè)備正面的圖示，例如表示用戶可用選項的VCR設(shè)備正面的簡化表示，例如代表播放、快進、倒帶、停止和記錄功能的按鈕。模板也可以是如電視屏幕上顯示的選項菜單的圖示，并且可以指示與可視呈現(xiàn)的特殊區(qū)域有關(guān)的可用設(shè)備選項的位置。例如，DVD播放器的用戶選項，如播放、快進、字幕、語言等也可以視覺呈現(xiàn)在電視屏幕上。模板也可以描繪在可視呈現(xiàn)周圍的區(qū)域，例如可以包括設(shè)備的外殼，甚至可以包括設(shè)備的一些最接近的周圍環(huán)境。
能夠在屏幕上顯示這些的設(shè)備的用戶選項經(jīng)常以菜單的形式呈現(xiàn)，其中用戶可以橫向移動菜單以到達所需選項或功能。在本發(fā)明的優(yōu)選實施例中，模板存在對于要控制的設(shè)備的每一個可能的菜單等級，因此用戶可以將指向設(shè)備對準該設(shè)備的任何控制級的任何一個可用選項。另一種類型的模板可以具有雜志中電視節(jié)目指南的外觀。這里，用于電視指南中頁面布局的模板例如在每日或每周的基礎(chǔ)上由存取單元來獲得和/或更新。優(yōu)選的是，圖像解釋軟件與電視指南頁的格式兼容。模板優(yōu)選給出了用戶可用的各種節(jié)目選項在頁面上的位置。用戶可以將指向設(shè)備對準在實際電視節(jié)目指南中頁面形式的可視呈現(xiàn)上，從而選擇特殊選項，或者指南可以可視呈現(xiàn)在電視屏幕上，用戶可以將指向設(shè)備對準其從而在可用選項中選擇。
為了處理目標區(qū)域圖像以便確定所選擇的選項，最好應(yīng)用計算機視覺技術(shù)來查找可視呈現(xiàn)中用戶已經(jīng)對準的點，即目標點。
在本發(fā)明的一個實施例中，可以將通過使虛線沿指向設(shè)備的縱軸方向延伸到可視呈現(xiàn)而獲得的目標區(qū)域圖像中的固定點，優(yōu)選是目標區(qū)域圖像的中心用作目標點。
利用計算機視覺算法處理可視呈現(xiàn)的目標區(qū)域圖像的方法可以包括檢測目標圖像中的區(qū)別性的點并確定在可視呈現(xiàn)的模板中的對應(yīng)點，以及產(chǎn)生用于將目標圖像中的點映射到模板中的對應(yīng)點上的變換。目標區(qū)域圖像的區(qū)別性的點可以是可視呈現(xiàn)的點，或者同樣可以是圍繞在可視呈現(xiàn)周圍的區(qū)域中的點，例如電視屏幕的拐角，或者屬于在要控制的設(shè)備附近的物體的點并且也記錄在預定義模板中。這種變換然后可以用于確定指向設(shè)備相對于可視呈現(xiàn)的位置和方位從而可以在模板中定位指向設(shè)備的軸與可視呈現(xiàn)的交點。該交點在模板中的位置對應(yīng)于可視呈現(xiàn)上的目標點，并且能夠用于很容易地確定用戶已經(jīng)將哪個選項定為目標。預定義模板中目標點的位置指示用戶所選擇的選項。按照這種方式，將目標區(qū)域圖像和預定義模板進行比較被限制于識別和僅僅比較凸點，如區(qū)別性的隅角點。在廣義上理解本發(fā)明中適用的術(shù)語“比較”，即通過僅僅比較足夠的特征以便快速識別用戶對準的點。
確定用戶選擇的選項的另一個可能的方法是利用諸如模式匹配的方法直接比較以目標點為中心的接收到的目標區(qū)域圖像和預定義模板，從而定位可視呈現(xiàn)中定為目標的點。比較目標區(qū)域圖像和預定義模板的另一種方法是將其自己限制于識別和只比較凸點，如區(qū)別性的隅角點。
在本發(fā)明的另一個實施例中，激光點的位置被發(fā)送到控制單元中的接收器作為目標區(qū)域圖像的一部分，并且被用作目標點來定位用戶選擇的選項。激光點可以疊加在目標區(qū)域圖像的中心上，但是同樣可以偏離目標區(qū)域圖像的中心。
控制單元可以用于控制單個設(shè)備，但同樣可以用于控制許多這種設(shè)備，例如一個控制單元可以分配給電視、DVD播放器、調(diào)諧器和VCR。按照這種方式，指向設(shè)備可以用作一個設(shè)備的遙控器或者多個設(shè)備的遙控器。指向設(shè)備也可以用于控制許多消費者電子設(shè)備，每個設(shè)備都含有其自己的專用控制單元。而且，可以將許多指向設(shè)備分配給一個控制單元，從而使例如每個家庭成員都有其自己的指向設(shè)備。另一方面，一個指向設(shè)備可以分配給不同環(huán)境中的多個控制單元，例如因此用戶可以使用其指向設(shè)備來控制家里以及辦公室里的設(shè)備。
在本發(fā)明的優(yōu)選實施例中，控制單元可以與投影儀相連，投影儀可以將許多設(shè)備的用戶選項的可視呈現(xiàn)以圖像背景的形式投射到適當表面上，例如墻壁?？刂茊卧部梢岳脝为毜钠聊?，或者可以使用要控制的一個設(shè)備的屏幕。按照這種方式，用戶選項能夠以舒適的方式呈現(xiàn)給不具有顯示器的設(shè)備，例如錄像機。為了選擇的方便，在設(shè)備的緊湊正面上的按鈕所代表的選項例如可以作為較大圖像背景上的菜單選項而呈現(xiàn)。在本發(fā)明另一個優(yōu)選實施例中，控制單元可以產(chǎn)生可視呈現(xiàn)的硬拷貝，例如可以打印輸出節(jié)目選擇。
本發(fā)明的其他目的和特征將從下面結(jié)合附圖而考慮的詳細描述中變得顯而易見。但是，應(yīng)該理解，這些附圖僅僅是為了說明的目的而設(shè)計的，并不解釋對本發(fā)明的限制。


圖1是示出用戶和指向設(shè)備以及要控制的設(shè)備的示意圖；圖2是依照本發(fā)明實施例的指向設(shè)備的示意圖；圖3是要控制的設(shè)備的可視呈現(xiàn)以及相關(guān)聯(lián)的目標區(qū)域圖像的示意圖；
圖4是依照本發(fā)明實施例的要控制的設(shè)備和指向設(shè)備的示意圖，所述要控制的設(shè)備包括控制單元；圖5是依照本發(fā)明實施例的控制單元和多個要控制的設(shè)備的示意圖；圖6是示出依照本發(fā)明實施例的可視呈現(xiàn)以及對應(yīng)的目標區(qū)域圖像的示意圖。
具體實施例方式
圖1示出用戶8將指向設(shè)備2對準要控制的設(shè)備1a，在這種情況下該設(shè)備是電視1a。在該實施例中，電視屏幕上動態(tài)地顯示出用戶選項的可視呈現(xiàn)4a。指向設(shè)備2產(chǎn)生在可視呈現(xiàn)4上定為目標的區(qū)域的圖像。電視1包含控制單元，該控制單元接收從指向設(shè)備2發(fā)送的圖像。
圖2顯示包含照相機3的指向設(shè)備2，其沿著指向方向D產(chǎn)生在指向設(shè)備2正面的區(qū)域的圖像。該指向設(shè)備2具有伸長的形狀，因此指向方向D沿著指向設(shè)備2的縱軸。將照相機3設(shè)置為朝向指向設(shè)備2的正面，從而產(chǎn)生用戶8所對準的、在指向設(shè)備2正面的區(qū)域的圖像。通過包含在指向設(shè)備2的外殼中的發(fā)送器14以無線方式來發(fā)送這些圖像，所述無線方式例如藍牙或802.11b標準。激光源7安裝在指向設(shè)備2上，其沿指向方向D發(fā)射與指向設(shè)備2的縱軸平行的激光L。在該實施例中，指向設(shè)備2具有按鈕11。用戶可以按下按鈕11，例如來確認其已經(jīng)作出了選擇并發(fā)送目標區(qū)域的圖像?？蛇x擇的是，這種按鈕11另外可用于啟用或者停用可視呈現(xiàn)的顯示，因此僅僅在用戶實際需要時顯示這些用戶接口選項。可選擇的是，按鈕11的功能可以是啟用或者停用安裝在指向設(shè)備上的光源7，或者啟用或者停用指向設(shè)備2自身。同樣，可以借助于指向設(shè)備2中所含的運動傳感器來激活該指向設(shè)備，從而當用戶握住指向設(shè)備2時自動顯示該可視呈現(xiàn)。指向設(shè)備2從圖中未示出的一個或多個電池中汲取能量。根據(jù)該指向設(shè)備的消耗，可能需要提供支架，在不使用指向設(shè)備2時可將其放在支架中對電池充電。
圖3示出要控制的設(shè)備的大量用戶選項的可視呈現(xiàn)4a，如在電視屏幕上顯示的或者在適當背景屏上所投影的。指向設(shè)備(圖中未示出)對準可視呈現(xiàn)4a的目標區(qū)域6。借助于該指向設(shè)備上激光源所產(chǎn)生的激光點PL，用戶能夠選擇在可視呈現(xiàn)4a中所示的一個菜單選項(M1、M2、M3、M4)。指向設(shè)備中的照相機產(chǎn)生以圖像中心點PT為中心的目標區(qū)域6的圖像5。激光點PL也出現(xiàn)在目標區(qū)域圖像5中。激光點PL可以遠離圖像中心點PT一段距離，或者可以與圖像中心點PT重合。
圖4示出消費者電子設(shè)備1，包括例如電視屏幕的顯示器，和控制單元16?？刂茊卧?6包括接收器17，其能夠接收從對準可視呈現(xiàn)4a的指向設(shè)備2所發(fā)送的可視呈現(xiàn)4a的目標區(qū)域圖像5，在這種情況下該可視呈現(xiàn)4a顯示在設(shè)備1的屏幕上。目標區(qū)域圖像數(shù)據(jù)18傳遞到圖像解釋器13。存取單元12可以存取例如來自內(nèi)存儲器19、外存儲器20或互聯(lián)網(wǎng)21的預定義模板。理想的是，存取單元12具有允許存取外部數(shù)據(jù)20的大量接口，例如用戶可以提供在存儲介質(zhì)20上存儲的預定義模板，所述存儲介質(zhì)如軟盤、CD或DVD。用戶也可以例如在控制單元16的訓練會話中配置這些模板，其中用戶規(guī)定了模板上的特定區(qū)域與特定功能之間的相互關(guān)系。
圖像解釋器13利用計算機視覺算法來比較目標區(qū)域圖像18和預定義模板，以便確定用戶選定的選項。與選定選項有關(guān)的信息被轉(zhuǎn)送到對話控制器10，該控制器起作用從而命令設(shè)備1執(zhí)行與該選項相關(guān)聯(lián)的功能，例如轉(zhuǎn)換到選定的頻道，并且命令例如更新可視呈現(xiàn)4a的可視呈現(xiàn)控制器9顯示不同的菜單等級，或者停用可視呈現(xiàn)4a。
圖5示出連接到控制單元16的大量消費者電子設(shè)備1a、1b、1c。設(shè)備1a、1b、1c利用不同措施向用戶呈現(xiàn)它們所提供的選項。設(shè)備1a例如是電視，在其自己的屏幕4a上顯示出其用戶選項。用戶可以將指向設(shè)備對準在電視屏幕4a所顯示的選項上，例如轉(zhuǎn)換頻道、改變揚聲器音量，觀看圖文電視等。設(shè)備1b和1c的正面顯示出這些設(shè)備的用戶選項，并將其用作可視呈現(xiàn)4b和4c，設(shè)備1b和1c例如是DVD播放器或VCR。
這里，用戶可以將指向設(shè)備對準1b或1c中的一個，從而例如使該設(shè)備中包含的DVD或錄像磁帶盒快進。
另一種可視呈現(xiàn)4e以電視節(jié)目指南1e的形式示出。用戶可以將指向設(shè)備對準節(jié)目指南4e的多個頁面從而選擇所需的節(jié)目。如果節(jié)目已經(jīng)播出，那么控制單元16相應(yīng)地動作，例如向電視1a發(fā)出轉(zhuǎn)換到適當頻道的命令。如果節(jié)目恰好在稍后的時間點開始，那么控制單元16可以在電視屏幕4a上顯示適當?shù)奶崾?，例如是否稍后由VCR 1c錄下該節(jié)目。為了確保圖像解釋軟件和電視指南格式之間的兼容性，通過從互聯(lián)網(wǎng)21下載最新的版本而定期或根據(jù)需要來更新該軟件。
波束儀(beamer)或投影儀15將圖像背景形式的另一個可視呈現(xiàn)4d顯示到墻壁或其他適當表面上，其可以與1a、1b、1c和1e中的一個或多個相聯(lián)系，或者與圖中未示出的另一個設(shè)備相聯(lián)系。從指向設(shè)備(圖中未示出)發(fā)送的任何可視呈現(xiàn)4e的目標區(qū)域的圖像由控制單元16接收，并與可視呈現(xiàn)4a、4b、4c、4d、4e的預定義模板相比較?？蓪⑦@些預定義模板本地存儲在控制單元中。例如，可將設(shè)備1b和1c的預定義模板一次存儲在控制單元中，因為這種設(shè)備的正面保持靜止。用于如電視1a的設(shè)備的可視呈現(xiàn)的模板可以間歇地改變，例如用戶可以給該設(shè)備編程來定制菜單驅(qū)動操作，從而使菜單等級及其對應(yīng)的模板可以展現(xiàn)不同的外觀。電視節(jié)目指南的模板由控制單元根據(jù)每一期節(jié)目指南來更新。這些模板借助于適當?shù)慕涌趶幕ヂ?lián)網(wǎng)21下載?？刂茊卧?6確定將可視呈現(xiàn)4a、4b、4c、4d、4e中的哪一個定為目標，并且確定已經(jīng)選擇了哪個選項?？刂茊卧缓笙蛟O(shè)備發(fā)出適當?shù)拿钜员銓崿F(xiàn)被請求的功能。
圖6示出由指向設(shè)備2產(chǎn)生的目標區(qū)域圖像5以及可視呈現(xiàn)4a的模板的圖示。該指向設(shè)備從遠處并成斜角地對準可視呈現(xiàn)，因此在目標區(qū)域圖像5中，可視呈現(xiàn)4a中元素(M1、M2、M3)的比例和透視圖出現(xiàn)失真。為了確定用戶所選擇的選項，在該實施例中，設(shè)置指向設(shè)備2的縱軸與可視呈現(xiàn)4a的交點PT的位置。然后可以設(shè)置在模板中與該交點PT對應(yīng)的點，從而確定所選定的選項。為此，利用邊緣和拐角檢測法的計算機視覺算法應(yīng)用于定位目標區(qū)域圖像中的點[(xa，ya)，(xb，yb)，(xc，yc)]的位置，該點與可視呈現(xiàn)4a的模板中的點[(xa′，ya′)，(xb′，yb′)，(xc′，yc′)]相對應(yīng)。
每個點都可以表示為向量，例如點(xa，ya)可以表示為 作為下一個步驟，制訂變換函數(shù)Tλ將目標區(qū)域圖像映射到模板f(λ)=Σi|Tλ(v‾i-v‾i′)|2]]>其中，向量 代表目標區(qū)域圖像中的坐標對(xi，yi)，向量 代表模板中的相應(yīng)坐標對(xi′，yi′)。可使用該參數(shù)集λ來確定指向設(shè)備2相對于可視呈現(xiàn)4a的位置和定向，該參數(shù)集包括產(chǎn)生相對于該功能的成本最節(jié)約方案的圖像的旋轉(zhuǎn)和平移的那些參數(shù)。計算機視覺算法利用以下事實，即指向設(shè)備2中的照相機3是固定的并沿指向姿勢的方向“觀看”。下一步是計算指向設(shè)備2的縱軸沿指向方向D與可視呈現(xiàn)4a的平面的交點?？梢圆捎迷擖c作為目標區(qū)域圖像的中心PT，或者，如果該設(shè)備具有激光指示器，那么可以使用激光點PL來代替。一旦已經(jīng)計算出了交點的坐標，那么將該點定位在可視呈現(xiàn)4a的模板中從而確定用戶已經(jīng)選擇的選項就是簡單的事了。
盡管已經(jīng)以優(yōu)選實施例及其變化來描述了本發(fā)明，但是在不背離本發(fā)明的范圍的情況下可以對其做出許多額外的修改和改變。遙控器指向設(shè)備可以用作家庭中的通用用戶接口設(shè)備或用于導航商業(yè)演示。簡而言之，該設(shè)備在通過指向來表示用戶意圖的時候都是有益的，這表示其實質(zhì)上可以用于任何種類的用戶接口。其小形因素及其方便且直觀的用法可以將這種簡單指向設(shè)備提升為強大的通用遙控器。其用于控制眾多設(shè)備的能力、提供存取設(shè)備的內(nèi)容項目以及允許設(shè)備用戶接口選項的個人化使其成為一個強大的工具。作為筆形的可替換方案，該指向設(shè)備例如也可以是具有內(nèi)置照相機的個人數(shù)字助理(PDA)，或具有內(nèi)置照相機的移動式電話。指向設(shè)備可以與其他傳統(tǒng)的遙控器部件結(jié)合，例如與用于執(zhí)行專用功能的附加按鈕結(jié)合，這種專用功能如快速滾動通過長的項目列表，或者與其他輸入形態(tài)相結(jié)合，所述其他輸入形態(tài)如用于對要控制的設(shè)備的內(nèi)容項目直接存取的語音控制。
指向設(shè)備的有用性不需要限制為消費者電子設(shè)備的控制，例如其同樣可以在醫(yī)療環(huán)境中、家庭或者辦公環(huán)境，或工業(yè)中獲得應(yīng)用。例如，在家庭環(huán)境中，這種指向設(shè)備可以用于控制能夠由控制單元控制的幾乎任何電氣設(shè)備，例如洗衣機、炊具、暖氣、燈具。對于有殘疾或者在其活動性方面受到限制從而使其不能到達這些器具或者以通常的方式操作它們的用戶來說，這種指向設(shè)備使生活明顯更容易。
為了清楚起見，還應(yīng)當理解，在整個申請中使用“一”或“一個”并不排除多個，使用“包括”并不排除其他步驟或元件。除非明確描述為單一的實體，否則一個“單元”可包括大量塊或設(shè)備。
權(quán)利要求
1.一種對設(shè)備(1a，1b，1c)進行控制的方法，該方法包括-可視地呈現(xiàn)要控制的設(shè)備(1a，1b，1c)的大量用戶選項；-將包括照相機(3)的指向設(shè)備(2)對準用戶選項的可視呈現(xiàn)(4a，4b，4c，4d，4e)來選擇所需的選項；-產(chǎn)生由指向設(shè)備(2)對準的目標區(qū)域(6)的圖像(5)；-將目標區(qū)域圖像(5)與可視呈現(xiàn)(4a，4b，4c，4d，4e)的預定義模板相比較來確定所選擇的選項。
2.根據(jù)權(quán)利要求1的方法，其中連接到指向設(shè)備(2)的會聚光束(7)的源向用戶(8)顯示指向設(shè)備(2)所對準的可視呈現(xiàn)(4a，4b，4c，4d，4e)中的一個光點(PL)。
3.根據(jù)權(quán)利要求1或2的方法，其中通過定位所述模板中的一個點來確定所選擇的選項，所述點對應(yīng)于用戶指向設(shè)備(2)所對準的可視呈現(xiàn)(4a，4b，4c，4d，4e)中的目標點。
4.根據(jù)權(quán)利要求3的方法，其中光點(PL)位于目標區(qū)域圖像(5)中，并采用其作為目標點。
5.根據(jù)權(quán)利要求3的方法，其中采用目標區(qū)域圖像(5)中的固定點(PT)作為目標點。
6.根據(jù)權(quán)利要求1至5中任一項權(quán)利要求的方法，其中用戶(8)通過將指向設(shè)備(2)對準可視呈現(xiàn)(4a，4b，4c，4d，4e)中的所需選項并按下指向設(shè)備(2)上的按鈕(11)來選擇所需的選項。
7.根據(jù)權(quán)利要求1至6中任一項權(quán)利要求的方法，其中用戶(8)通過將指向設(shè)備(2)移動到預定義圖案中的可視呈現(xiàn)(4a，4b，4c，4d，4e)上來選擇所需的選項。
8.根據(jù)權(quán)利要求1至7中任一項權(quán)利要求的方法，其中利用計算機視覺算法來確定目標點。
9.根據(jù)權(quán)利要求1至8中任一項權(quán)利要求的方法，其中通過包括以下步驟的方法來確定目標點-檢測可視呈現(xiàn)(4a，4b，4c，4d，4e)的目標圖像(5)中的區(qū)別性的點；-確定在可視呈現(xiàn)(4a，4b，4c，4d，4e)的模板中的對應(yīng)點；-制訂用于將目標圖像(5)中的點映射到模板中的對應(yīng)點的變換；-利用這種變換來確定指向設(shè)備(2)相對于可視呈現(xiàn)(4a，4b，4c，4d，4e)的位置和方位；-定位指向設(shè)備(2)的某一軸與可視呈現(xiàn)(4a，4b，4c，4d，4e)的交點。
10.根據(jù)權(quán)利要求1至9中任一項權(quán)利要求的方法，其中以靜態(tài)形式呈現(xiàn)設(shè)備選項的可視呈現(xiàn)(4b，4c，4e)。
11.根據(jù)權(quán)利要求1至10中任一項權(quán)利要求的方法，其中動態(tài)地呈現(xiàn)設(shè)備選項的可視呈現(xiàn)(4a，4d)。
12.根據(jù)權(quán)利要求1至11中任一項權(quán)利要求的方法，其中產(chǎn)生要控制的多個設(shè)備(1a，1b，1c)的用戶選項的一個或多個目標區(qū)域圖像(5)，并將其與預定義模板進行比較，根據(jù)所選擇的選項相應(yīng)地控制多個設(shè)備(1a，1b，1c)中的一個或多個。
13.一種對設(shè)備(1a，1b，1c)進行控制的用戶接口，所述用戶接口包括-存取單元(12)，用于存取與要控制的設(shè)備(1a，1b，1c)的用戶選項的可視呈現(xiàn)有關(guān)聯(lián)的預定義模板；-指向設(shè)備(2)，用于對準用戶選項的可視呈現(xiàn)中(4a，4b，4c，4d，4e)的所需選項，包括用于產(chǎn)生至少一部分可視呈現(xiàn)(4a，4b，4c，4d，4e)的目標區(qū)域(6)的一個圖像(5)的照相機(3)；-圖像解釋器(13)，用于定位在預定義模板中的目標區(qū)域(6)或目標區(qū)域(6)的一個點以便確定所選擇的選項。
14.根據(jù)權(quán)利要求13的用戶接口，包括傳輸接口(14)，用于將圖像(5)傳輸?shù)椒峙浣o設(shè)備(1a，1b，1c)的控制單元(16)。
15.根據(jù)權(quán)利要求13或14的用戶接口，包括顯示單元(15)，用于動態(tài)地顯示要控制的設(shè)備(1a，1b，1c)的用戶選項的可視呈現(xiàn)(4d)。
16.根據(jù)權(quán)利要求13至15中任一項權(quán)利要求的用戶接口，包括硬拷貝輸出單元/模塊，用于產(chǎn)生要控制的設(shè)備(1a，1b，1c)的用戶選項的靜態(tài)可視呈現(xiàn)。
17.根據(jù)權(quán)利要求13至16中任一項權(quán)利要求的用戶接口的指向設(shè)備(2)，包含照相機(3)，用于產(chǎn)生在指向設(shè)備(2)對準的方向(D)上的目標區(qū)域(6)的圖像(5)。
18.根據(jù)權(quán)利要求17的指向設(shè)備(2)，包括光源(7)，其用于照亮指向設(shè)備(2)對準的目標區(qū)域(6)。
19.一種沿縱軸延伸的指向設(shè)備(2)，包括照相機(3)，其位于指向設(shè)備(2)中，使得照相機(3)產(chǎn)生在指向設(shè)備(2)對準的方向(D)上沿著指向設(shè)備(2)的縱軸、在指向設(shè)備(2)正面的目標區(qū)域(6)的圖像(5)。
20.一種控制單元(16)，其包括接收器(17)，用于從指向設(shè)備(2)接收目標區(qū)域圖像(5)；存取單元(12)，用于存取與要控制的設(shè)備(1a，1b，1c)的用戶選項的可視呈現(xiàn)(4a，4b，4c，4d，4e)相關(guān)聯(lián)的預定義模板；以及圖像解釋器(13)，用于定位在預定義模板中的目標區(qū)域(5)或目標區(qū)域(5)的點從而確定所選擇的選項。
21.一種設(shè)備(1a)，包括根據(jù)權(quán)利要求20的控制單元(16)。
全文摘要
本發(fā)明描述了一種對設(shè)備(文檔編號H04N5/445GK1898708SQ200480038003
公開日2007年1月17日 申請日期2004年12月10日 優(yōu)先權(quán)日2003年12月18日
發(fā)明者E·特倫 申請人:皇家飛利浦電子股份有限公司