專利名稱：用于通過圖象處理而不用三維建模來指示目標(biāo)的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像識(shí)別，尤其是不用場(chǎng)景三維建模，用于指示平面上的目標(biāo)點(diǎn)的指示手勢(shì)(pointing gesture)的識(shí)別。
背景技術(shù)：
有許多能夠從手勢(shì)識(shí)別中獲益的應(yīng)用。例如，這是一個(gè)用于控制照相機(jī)瞄準(zhǔn)的自然機(jī)械裝置。另一個(gè)應(yīng)用是利用手勢(shì)移動(dòng)屏幕上的光標(biāo)。例如，可以想象通過以用戶的手指簡(jiǎn)單地指向屏幕上的目標(biāo)，在將來的靈敏電視上進(jìn)行選擇。不再需要鼠標(biāo)。
利用場(chǎng)景圖象來解釋手勢(shì)(如指示目標(biāo)的指示手勢(shì))的基于視頻的系統(tǒng)是一個(gè)迅速增長(zhǎng)的領(lǐng)域。計(jì)算機(jī)的速度和圖象處理的速度很快，以至于能夠提供用于瞄準(zhǔn)和重新瞄準(zhǔn)照相機(jī)的非常方便的機(jī)械裝置。例如，在視頻會(huì)議系統(tǒng)中，用戶能夠指向感興趣的目標(biāo)來在PT基底上放置能夠縮放的照相機(jī)。這樣的自動(dòng)系統(tǒng)比需要像語音命令(“命令控制”，基本上是基于語音的符號(hào)處理器，其中每個(gè)號(hào)令對(duì)應(yīng)于一個(gè)指令，例如“向左搖攝”、“向上搖攝”、“向下?lián)u攝”等)、操縱桿控制和連續(xù)目標(biāo)跟蹤這樣的明確命令的常規(guī)系統(tǒng)更直觀并且更容易控制。在這樣的系統(tǒng)中，經(jīng)常結(jié)合多角度視圖來生成場(chǎng)景三維模型確定用戶指向的目標(biāo)。
在標(biāo)題為“用于通過利用基于照相機(jī)的手勢(shì)輸入的虛擬現(xiàn)實(shí)環(huán)境來準(zhǔn)許三維導(dǎo)航的系統(tǒng)和方法”的12/23/97申請(qǐng)的US專利申請(qǐng)系列號(hào)NO.08/996,677中描述了使用這樣的“靈敏”技術(shù)來允許控制照相機(jī)的一個(gè)系統(tǒng)。這個(gè)專利申請(qǐng)討論了一種設(shè)備，其中照相機(jī)利用圖象處理技術(shù)從背景中區(qū)別人類主體的輪廓。圖象處理技術(shù)是為了從背景中區(qū)別主體。然后能夠通過搖射傾斜/縮放(PTZ)照相機(jī)跟隨主體。這樣的系統(tǒng)能夠在目標(biāo)上重復(fù)地定位、縮放和聚焦，以便于目標(biāo)相對(duì)保持在屏幕的中心。
像在US專利NO.5,187,574中所述的另一種技術(shù)被稱為虛擬或者電子縮放。電子地處理來自一個(gè)或者多個(gè)固定照相機(jī)的視頻信息，以便于感興趣的目標(biāo)在輸出視頻信號(hào)中保持可見，盡管物體可能不在任何單個(gè)照相機(jī)的視野的中心。通過提取和插補(bǔ)操作，能夠用通常比PTZ照相機(jī)更便宜的固定照相機(jī)完成跟蹤處理。
在Masaaki Fukumoto、Yasuhito Suenga和Kenji Mase的文章“‘手指指針’通過圖象處理指示接口”中詳細(xì)描述了另一個(gè)系統(tǒng)。在這個(gè)文章中，作者描述了通過定位在系統(tǒng)的視野中的指向目標(biāo)的操作者來指示照相機(jī)聚焦在目標(biāo)上的系統(tǒng)。系統(tǒng)掃描和處理指示照相機(jī)在那個(gè)總方向中瞄準(zhǔn)的操作者的手指的圖象。文章還描述了利用指示手勢(shì)和語音命令的組合的系統(tǒng)。通過使用簡(jiǎn)單語音和手勢(shì)命令，操作者能夠指示照相機(jī)執(zhí)行簡(jiǎn)單的功能，例如放大或者縮小，或者清屏。這篇文章通過參考而合成一體好像在其中完全闡明。
用于指示目標(biāo)的先前的技術(shù)通常需要在視頻場(chǎng)景的三維結(jié)構(gòu)的計(jì)算機(jī)中的創(chuàng)作和目標(biāo)區(qū)域，以便于確定用戶正在指示什么。這對(duì)于裝配來說很麻煩，因?yàn)檫@需要多個(gè)照相機(jī)和通常相當(dāng)復(fù)雜的三維推理和計(jì)算加強(qiáng)器。
在US專利NO.5,454,043中描述了沒有這個(gè)限制的一種已有技術(shù)。在‘043專利中，通過攝像機(jī)捕獲手的移動(dòng)，通過圖象處理將定向和移動(dòng)的模式分解成指令。當(dāng)用戶像在先前技術(shù)的三維建模方法中那樣站在不同位置的時(shí)候，不能用這個(gè)技術(shù)指示目標(biāo)，但是它具有允許用戶例如以限制的方式控制在顯示屏上的鼠標(biāo)的優(yōu)點(diǎn)。
給出技術(shù)的當(dāng)前狀態(tài)，對(duì)于能夠解釋像指示手勢(shì)這樣的方向指示的系統(tǒng)來說是必要的，但它避免了對(duì)于場(chǎng)景設(shè)備和元件的定位和與場(chǎng)景的三維建模相關(guān)聯(lián)的密集計(jì)算的需要。

發(fā)明內(nèi)容
三維目標(biāo)的單個(gè)子集是位于預(yù)先已知形狀的表面上的那些。例如，投影屏的平面能夠包含說話者可以指向的目標(biāo)。另一個(gè)實(shí)例是在觀眾可以指向的或者通過一些其他定向指示(如用棒、手指、手移動(dòng)等指示)來指示的顯示屏上的子圖象。依據(jù)本發(fā)明，能夠在場(chǎng)景的圖象中識(shí)別例如所描述的目標(biāo)而不用定位照相機(jī)或者目標(biāo)所在表面的位置的任何信息。必需先驗(yàn)的唯一信息是關(guān)于表面形狀的最低限度的一些信息。
依據(jù)一個(gè)實(shí)施例，確定用戶指示的目標(biāo)的方法使用至少兩個(gè)包含指示器和目標(biāo)區(qū)域的場(chǎng)景的圖象。在這個(gè)實(shí)例中，我們假定目標(biāo)位于包含有在兩個(gè)照相機(jī)的場(chǎng)景圖象中都可見的定位標(biāo)記或者基準(zhǔn)的平面上。在兩個(gè)場(chǎng)景中也可以捕獲指示手勢(shì)。處理指示手勢(shì)并且分解成必需的范圍，以便于在場(chǎng)景自身的X-Y坐標(biāo)中確定線。在兩個(gè)照相機(jī)場(chǎng)景中都這樣做。例如，可以利用用戶的右眼和手指指尖重合的點(diǎn)(在象素單位的X-Y坐標(biāo)中)?；蛘?，可以定義線以便于表示由手勢(shì)指示的方向，且能夠通過在線上的兩個(gè)任意點(diǎn)來定義這條線。映射這些來自兩個(gè)場(chǎng)景的瞄準(zhǔn)點(diǎn)對(duì)。
通過定位標(biāo)記來定位各圖象，以便于它們準(zhǔn)確地模擬與目標(biāo)相符的平面的外形。這樣允許完全繞過三維推理而只利用二維推理來確定目標(biāo)。定位每個(gè)圖象，以便于在可以被稱為參考平面的目標(biāo)平面上的所有點(diǎn)像它們出現(xiàn)在參考平面上的位置一樣準(zhǔn)確地出現(xiàn)在圖象中。如我們將在后面描述的那樣，如果在圖象和參考平面上確定4個(gè)相應(yīng)點(diǎn)，則能夠計(jì)算線性定位變換。該變換中，在參考平面上的點(diǎn)以與下面位置相同的相對(duì)位置顯示在照相機(jī)圖象中，即，如果直視參考平面，它們將顯示的位置。也就是，如果在參考平面上具有在正方形圖案中排列的四個(gè)基準(zhǔn)，然后，將定位傾斜觀察這四個(gè)基準(zhǔn)的照相機(jī)圖象，以便于它們?cè)诙ㄎ坏膱D象中再一次形成正方形。通過平面投影變換來進(jìn)行定位，所以在場(chǎng)景中的所有點(diǎn)最終被扭曲，在原始圖象中的任意直線上的所有點(diǎn)仍然在直線上。類似地定位第二個(gè)圖象，并且對(duì)準(zhǔn)兩個(gè)圖象，以便于在每個(gè)圖象的參考平面上的基準(zhǔn)在單個(gè)圖象中重合。最好，從基本不同的角度來拍攝兩個(gè)圖象以便于用戶在一個(gè)照相機(jī)視野中出現(xiàn)在與在另一個(gè)照相機(jī)的視野中不同的位置處。在用戶的右眼和每個(gè)圖象的指尖之間畫直線，它們交叉的地方是目標(biāo)的位置。當(dāng)然，上述描述是純粹象征性的。數(shù)字上要做實(shí)際的處理并且只有有關(guān)的點(diǎn)被變換。這些點(diǎn)是在連接用戶的眼和指尖的圖象的兩個(gè)圖象中的點(diǎn)。
在許多變化中能夠使用這個(gè)方法。最好考慮兩個(gè)變化。第一，以用戶指向照相機(jī)來在用戶面前定位照相機(jī)，它尤其適于像在顯示屏或者監(jiān)視器上指示選擇這種人/機(jī)交互作用。第二，朝著每個(gè)照相機(jī)都可視的平面表面指示，它能夠用在如視頻會(huì)議這樣的多媒體應(yīng)用中。
可以想象稱為“一瞥通過”結(jié)構(gòu)的第一個(gè)變化將用于通過電視或者計(jì)算機(jī)監(jiān)視器來通信，例如，從菜單中選擇選項(xiàng)或者玩計(jì)算機(jī)游戲。在這個(gè)設(shè)計(jì)中，具有一個(gè)或者兩個(gè)多邊形孔隙(并排放置)的垂直不透明平面放置在計(jì)算機(jī)或者電視監(jiān)視器的頂端，大約與屏幕共面。另一個(gè)可能性是使用透明的擴(kuò)展平面，其中用4個(gè)特征點(diǎn)替換每個(gè)孔隙。包括屏幕和孔隙擴(kuò)展的擴(kuò)展平面被稱為“參考平面”。
一個(gè)或者兩個(gè)照相機(jī)放置在擴(kuò)展平面之后，從兩個(gè)孔隙之后觀察用戶；每個(gè)孔隙(或者4個(gè)標(biāo)記點(diǎn))在各自的圖象周圍常是完全可見的。(或者，可以用2個(gè)鏡子替代兩個(gè)照相機(jī)，用1個(gè)照相機(jī)記錄并排的2個(gè)圖象)。最初(而且只有一次)，在非常窄的視野(大約為正投影)中拍攝參考平面(屏幕+附加的孔隙或者標(biāo)記)前面的圖象，以表示參考平面的二維未失真外形。這個(gè)圖象成為用于計(jì)算目標(biāo)位置的參考系。
為了計(jì)算必需的圖象記錄(定位)變換，在每個(gè)分別的圖象和參考系中檢測(cè)孔隙邊界。記錄包括將2D線性變換應(yīng)用到圖象，之后，圖象中的孔隙邊界準(zhǔn)確表現(xiàn)出與它們?cè)趨⒖枷抵邢嗤年P(guān)系。如在說明中的其他地方的詳細(xì)描述，四個(gè)點(diǎn)足夠計(jì)算這個(gè)變換。
在這個(gè)設(shè)計(jì)中，指向照相機(jī)，給用戶照相。為了定位指示目標(biāo)，必需檢測(cè)用戶的眼睛和指尖。為了幫助指尖的檢測(cè)，用戶可以戴上明亮顏色的頂針。頂針可以替代其他互動(dòng)設(shè)備，例如遠(yuǎn)程控制器。除了使指尖的檢測(cè)更容易以外，耐磨的鼠標(biāo)對(duì)用戶一接口目的有其它優(yōu)點(diǎn)，如提供在多個(gè)用戶的指示手勢(shì)之中識(shí)別的能力。因此，戴著不同顏色頂針的多個(gè)用戶能夠同時(shí)指示相同或者不同的目標(biāo)。
可以想象，第二個(gè)變化“直接觀察結(jié)構(gòu)”，對(duì)于例如有大屏幕或者在照相機(jī)裝置是臨時(shí)或可攜帶的情況下的演示或者視頻會(huì)議的目的是最有用的。在這個(gè)裝置中，從兩個(gè)照相機(jī)中都可見到目標(biāo)平面或者參考平面和用戶。如在“一瞥通過的結(jié)構(gòu)”中一樣，記錄僅僅以圖象數(shù)據(jù)為基礎(chǔ)。在每個(gè)圖象中用記錄來識(shí)別在參考平面上的四個(gè)點(diǎn)，記錄與二維線性變換到圖象的應(yīng)用同時(shí)出現(xiàn)。因?yàn)閰⒖计矫媸堑湫偷耐队捌聊换蛘甙装澹阅軌蛉菀椎貦z測(cè)到點(diǎn)。這些能夠從具有高對(duì)比度且暫時(shí)用于捕獲裝置并在此之后從屏幕上消除的投影中形成。或者，可以用兩組平行線代替基準(zhǔn)標(biāo)記。甚至能夠使用屏幕或者白板的邊界。
在最后的一步中，可以選擇一個(gè)圖象作為參考系。記錄變換映射4個(gè)識(shí)別點(diǎn)，以便于它們?cè)诘诙€(gè)圖中出現(xiàn)在如它們?cè)诘谝粋€(gè)圖中相同位置上。相對(duì)于參考系而不是參考平面進(jìn)行記錄，這足以識(shí)別指示目標(biāo)。
參考下列示意圖，連系特定的優(yōu)選實(shí)施例，描述本發(fā)明，以便于可以更完全的理解它。參考這些圖，強(qiáng)調(diào)所示的詳細(xì)資料是作為示例的并且只用于本發(fā)明的優(yōu)選實(shí)施例的示意性討論，并且為了提供據(jù)信最有用且容易理解原理的描述和本發(fā)明的概念方面而給出。在這點(diǎn)上，沒有比本發(fā)明的基本理解所必需的意圖更詳細(xì)顯示發(fā)明的結(jié)構(gòu)細(xì)節(jié)的意圖了，用圖進(jìn)行的描述對(duì)于本領(lǐng)域的技術(shù)人員來說，很清楚在實(shí)踐中如何使用本發(fā)明的幾種形式。


圖1是依據(jù)本發(fā)明的一個(gè)實(shí)施例的用于利用第二個(gè)照相機(jī)投影來識(shí)別在一個(gè)照相機(jī)場(chǎng)景的投影(或者參考投影)上的目標(biāo)位置的裝置的象征表示。
圖2是用于給出關(guān)于依據(jù)圖1的實(shí)施例的一個(gè)照相機(jī)獲得的投影的定義的場(chǎng)景的象征表示。
圖3是由圖2的照相機(jī)進(jìn)行的場(chǎng)景投影的象征表示。
圖4是用于給出關(guān)于圖1的實(shí)施例中的另一個(gè)照相機(jī)獲得的投影的定義的場(chǎng)景的象征表示。
圖5是由圖4的照相機(jī)進(jìn)行的場(chǎng)景投影的象征表示。
圖6顯示來自圖5的方向指示選擇點(diǎn)經(jīng)平面投影變換映射到圖3的場(chǎng)景，所映射的以便于獲得目標(biāo)的坐標(biāo)。
圖7是依據(jù)本發(fā)明的另一個(gè)實(shí)施例的具有包含指示目標(biāo)的方向矢量的場(chǎng)景的設(shè)置的象征表示，它用于利用來自兩個(gè)照相機(jī)的圖象識(shí)別在參考投影上的目標(biāo)投影。
圖8和9是來自圖7的實(shí)施例中照相機(jī)圖象的圖象的投影的象征表示。
圖10圖解說明結(jié)合在參考圖象上投影單方向矢量的平面投影變換以便于識(shí)別方向矢量指示的目標(biāo)。
圖11圖解說明可以用來應(yīng)用本發(fā)明的設(shè)備和過程。
具體實(shí)施例方式
參考圖1，用戶30指示位于像電視或者投影屏幕10或者墻(沒有顯示)這樣的平面中/上的目標(biāo)25。以下面描述的方式結(jié)合來自兩個(gè)照相機(jī)35和40的圖象，能夠在兩個(gè)照相機(jī)35和40中的任意一個(gè)中識(shí)別目標(biāo)位置。插圖顯示用戶30利用指示手勢(shì)來指向目標(biāo)25。已經(jīng)用試驗(yàn)方法確定用戶用于指向目標(biāo)的手勢(shì)是用戶的指尖、用戶的右(左)眼和目標(biāo)連成直線。這意味著在任意一個(gè)照相機(jī)的視野中的目標(biāo)的平面投影沿著用戶的眼和指尖定義的直線平面投影進(jìn)行。在本發(fā)明中，兩個(gè)平面投影被變換成普通的平面投影，可以是任意一個(gè)照相機(jī)35和40或者任意的第三平面。
參考圖2，瞄準(zhǔn)照相機(jī)以便于它們每一個(gè)都捕獲指示設(shè)備，在這樣的情況下，用戶的指尖80與用戶的眼睛90結(jié)合。同樣的，每個(gè)照相機(jī)的視野45和50使得在其中/其上定位有目標(biāo)的平面上能夠看見四個(gè)基準(zhǔn)點(diǎn)20。照相機(jī)35和40的準(zhǔn)確位置或者瞄準(zhǔn)除了影響目標(biāo)定位的精確度以外對(duì)于本發(fā)明的實(shí)行不是重要的，這在本發(fā)明的進(jìn)一步說明以后將很明顯。對(duì)于精確度，有利于保證照相機(jī)圖象最大使用照相機(jī)圖象的分辨率和精確度(表示真正的平面投影)。
參考圖2和3，用戶30的眼90和指尖80的位置用三維矢量85表示，在照相機(jī)35的圖象中它的平面投影被表示為二維矢量76。在其余場(chǎng)景平面投影中，通常方式下縮短視線使平面11的圖象顯得失真。矢量76的延長(zhǎng)線6 1顯示為足夠長(zhǎng)以通過目標(biāo)25的位置，這在上下文中是未知的。定位標(biāo)記20(圖1)的坐標(biāo)投影在圖3的圖象中識(shí)別為x1，y1，...x4，y4。矢量85的投影76的終點(diǎn)確定為x5，y5和x6，y6。
再參考圖4和5，用戶30的眼90和指尖80的位置用三維矢量86表示。在照相機(jī)40的圖象中矢量86的平面投影表示為二維矢量87。而且，通常方式下縮短視線使屏幕12的圖象顯得失真，當(dāng)然，失真因?yàn)檎障鄼C(jī)40的位置和定向而不同。矢量86的延長(zhǎng)線62顯示為足夠長(zhǎng)以通過目標(biāo)25的位置。在63處指示延長(zhǎng)線62的平面投影。而且，目標(biāo)位置的投影預(yù)先是未知的。定位標(biāo)記20(圖1)的坐標(biāo)投影在圖5中確定為p1，q1，...p4，q4。矢量85投影87的終點(diǎn)確定為p5，q5和p6，q6。
參考圖6，以在圖5的投影疊加投影87矢量87的變形形式87’來顯示它。變形的投影87’源于二維線性變換操作，它映射圖5的投影以便于點(diǎn)p1，q1，...p4，q4分別準(zhǔn)確地映射到坐標(biāo)x1，y1，...x4，y4。目標(biāo)的位置與兩條延長(zhǎng)線的交點(diǎn)重合。
這個(gè)變換可以表示為w*xiw*yiw=M·piqi1]]>這表示除比例之外的變換。因?yàn)槊總€(gè)點(diǎn)在M上提供了兩個(gè)約束條件，且因?yàn)镸是3×3矩陣，不用標(biāo)尺定義，所以它包含8個(gè)未知量，因此能夠利用4個(gè)獨(dú)立的點(diǎn)來確定它。這就是為什么使用4個(gè)定位點(diǎn)20。M定義如下t11t12t13]]>w*xiw*yiw=t11t12t13t21t22t23t31t321piqi1]]>因?yàn)榻o定四個(gè)點(diǎn)p1，q1，...p4，q4，所以通過解下列線性系統(tǒng)方程能夠獲得在M中的全部未知量。 一旦識(shí)別一個(gè)目標(biāo)，就能夠?qū)⑿畔⒂糜谔峁└鞣N特征。例如，能夠通過指示來控制投影在屏幕上的物體。例如這個(gè)例子，兩個(gè)照相機(jī)圖象能夠被變換成屏幕10的平面。給定目標(biāo)在屏幕10上的坐標(biāo)，任何計(jì)算機(jī)程序都能使用這個(gè)信息。例如，有多個(gè)玩家的游戲，通過指示手勢(shì)控制每個(gè)玩家。不同玩家能夠戴上/使用不同顏色的套管來控制在屏幕上給出的物體。能夠用指示手勢(shì)來執(zhí)行目前用鼠標(biāo)、光筆、觸摸屏等執(zhí)行的任何任務(wù)。
盡管在上述的實(shí)施例中，以特定的方式(眼到指尖)通過指示手勢(shì)來指示目標(biāo)，但不能推理為以其他方式不能衍生出這樣的指示。例如，可以使用瞄準(zhǔn)器或者指揮棒。同樣，不僅是在屏幕上的目標(biāo)，目標(biāo)可以是直接位于普通平面上的任何物體或者圖象。而且，物體或者目標(biāo)不需要位于單獨(dú)的平面上，而是能夠位于多個(gè)平面上，每個(gè)都有各自的一組定位標(biāo)記。也可以利用其他變換來擴(kuò)展本發(fā)明，以便于目標(biāo)能位于除了平面表面的表面上。還有另一個(gè)變形是以手勢(shì)的方式來指示方向?？梢允褂脠D象的時(shí)間序列來得出方向，例如在很短時(shí)間間隔內(nèi)手或者手指掃過的方向，作為指示方向的移動(dòng)手勢(shì)。同樣的，另一個(gè)適合的應(yīng)用是白板應(yīng)用。而且，定位標(biāo)記20不必是在屏幕上的標(biāo)記，但可以是屏幕10的角。同樣的，定位標(biāo)記可以在安裝期間投影在屏幕上的一點(diǎn)，然后刪除。然后直到改變安裝可以利用定位點(diǎn)坐標(biāo)來計(jì)算變換而不用再參考定位標(biāo)記。這個(gè)技術(shù)的另一個(gè)應(yīng)用是用照相機(jī)瞄準(zhǔn)目標(biāo)。一旦已知在參考圖中的坐標(biāo)，兩個(gè)照相機(jī)中的一個(gè)或者第三照相機(jī)能夠重新瞄準(zhǔn)和縮放以便于獲得目標(biāo)。在本文的自動(dòng)視頻會(huì)議系統(tǒng)中這將是很有用的。
現(xiàn)在參考圖7，在相應(yīng)于本發(fā)明的另一個(gè)實(shí)施例的設(shè)置中，矢量200指示目標(biāo)226。延長(zhǎng)線205沿著矢量200的軸線指向目標(biāo)。如前述的實(shí)施例，矢量200表示許多不同指示設(shè)備中的任意一個(gè)，例如指示手勢(shì)。又如在另一個(gè)實(shí)施例中，目標(biāo)226位于平面上/平面中，在這個(gè)例子中，是例如大屏幕電視的屏幕270。照相機(jī)235和240通過各自的參考系260和265來瞄準(zhǔn)。參考系簡(jiǎn)單提供了在照相機(jī)235的視野中的1-4定位點(diǎn)和在照相機(jī)240的視野中的定位點(diǎn)5-8。瞄準(zhǔn)每個(gè)照相機(jī)235和240，以便查看各自組的定位點(diǎn)和矢量200。因此，例如，該設(shè)置可包括坐在電視機(jī)前面的椅子上的用戶，在電視機(jī)頂部有照相機(jī)并且用照相機(jī)瞄準(zhǔn)用戶。
在這個(gè)實(shí)施例中，定位點(diǎn)只是框架260和265的角1-8。最好基于框架的邊，通過外推輪廓裝配來確定這些角的坐標(biāo)，以便于獲得具有給定照相機(jī)的限定分辨率的最大精確度的位置，尤其是攝像機(jī)。這樣的技術(shù)在工藝中是已知的。
參考圖8和9，照相機(jī)240和235的圖象分別包括各自指示矢量200的投影210和220。還圖解說明了由矢量投影210和220指示的方向確定的輪廓線215、225。圖7用于圖解說明三維場(chǎng)景，但它的排列還表示從指向平面270的視野中獲得的投影。在這個(gè)實(shí)施例中，這樣的圖象用作參考圖象，兩個(gè)照相機(jī)圖象的矢量變換成這個(gè)圖象，以便在參考圖象中確定目標(biāo)的坐標(biāo)。
參考顯示了圖7的場(chǎng)景投影的圖10，在利用二維線性變換將矢量圖象變換成參考系之后，輪廓線215、225分別變換成輪廓線285和280。該變換將圖9的圖象中的點(diǎn)1-4映射到圖10的圖象的對(duì)應(yīng)點(diǎn)。然而，只有需要被變換的點(diǎn)是定義向量投影210和220的點(diǎn)。參考圖象(系260、265和圖7或者圖10的參考圖象)在每次安裝中只需進(jìn)行一次，確定參考點(diǎn)的坐標(biāo)。
參考圖11，在方框圖中圖解說明可以用于實(shí)現(xiàn)本發(fā)明應(yīng)用的設(shè)備和過程。圖象處理器305接收來自照相機(jī)301和302的圖象數(shù)據(jù)。圖象和坐標(biāo)數(shù)據(jù)可以存儲(chǔ)在存儲(chǔ)器310或者非易失性存儲(chǔ)器320中。例如，變換數(shù)據(jù)一經(jīng)計(jì)算，可以存儲(chǔ)在用于來自照相機(jī)301和302的圖象計(jì)算中的非易失性存儲(chǔ)器320和存儲(chǔ)器310中，以便得出可應(yīng)用于應(yīng)用過程330的目標(biāo)坐標(biāo)x，y。然后應(yīng)用過程330生成輸出，例如在白板上的痕跡線或者用于游戲化身的控制數(shù)據(jù)。
注意，到由照相機(jī)301和302收集的投影數(shù)據(jù)還能夠從其他信號(hào)源中得來，例如聲納、無線電、超聲波醫(yī)療設(shè)備或者任何能夠形成平面投影的其他設(shè)備。
對(duì)于在本領(lǐng)域中的技術(shù)人員來說，很明顯，本發(fā)明不僅限于前示意性實(shí)施例的詳細(xì)資料，在不背離本發(fā)明的精神和基本特征的情況下，本發(fā)明可以其他特殊形式體現(xiàn)。因此本實(shí)施例在各方面被認(rèn)為是示意性的且沒有限制，因此其中包含由附加的權(quán)利要求而不是由前面的描述指示的本發(fā)明的范圍，和來自與權(quán)利要求等效的意義和范圍中的全部變化。
權(quán)利要求
1.用于在平面上定位目標(biāo)的設(shè)備，包括生成表示場(chǎng)景的第一投影(5)的第一信號(hào)的第一圖象收集設(shè)備(35)；上述場(chǎng)景包括目標(biāo)(25)的指示器(85)；生成表示上述場(chǎng)景的第二投影的第二信號(hào)的第二圖像收集設(shè)備(40)；和計(jì)算機(jī)設(shè)備(305)，連接它，以便于接收上述第一和第二信號(hào)，且編程，以便于將線性變換應(yīng)用到上述第一和第二信號(hào)中至少一個(gè)的至少一部分上，和將上述線性變換的結(jié)果與上述第一和第二信號(hào)中的另一個(gè)相結(jié)合，以便于得出在上述場(chǎng)景的參考投影上的上述目標(biāo)的位置，上述參考投影是上述場(chǎng)景的第三、上述第一和上述第二投影中的一個(gè)。
2.圖象處理器，包括編程以便獲得場(chǎng)景的第一和第二平面投影的處理器(305)；上述處理器被編程，以便于從每個(gè)上述第一和第二平面投影中識(shí)別各自的軌跡(61，63)；上述處理器還被編程，以便于計(jì)算上述第一和第二平面投影軌跡中的至少一個(gè)的變換，產(chǎn)生一個(gè)變換的軌跡(63’)；和上述處理器還被編程，以便于從上述至少一個(gè)變換軌跡中計(jì)算位置，該位置是在上述場(chǎng)景的上述第一和第二平面投影或者第三普通平面投影中的一個(gè)上的位置，和計(jì)算上述第一和第二平面投影軌跡的上述至少一個(gè)對(duì)準(zhǔn)的三維平面(11)上的目標(biāo)(25)的坐標(biāo)。
3.定位目標(biāo)的方法，包括以下步驟收集位于平面上的目標(biāo)指示器的第一和第二圖象；執(zhí)行上述第一和第二圖象中至少一個(gè)的平面投影變換，以便確定上述目標(biāo)的坐標(biāo)。
4.如權(quán)利要求3中的方法，其中上述收集步驟包括形成各自表示場(chǎng)景的平面投影的第一和第二圖象。
5.如權(quán)利要求3中的方法，其中上述執(zhí)行步驟包括識(shí)別人類指示手勢(shì)的特征。
6.如權(quán)利要求3中的方法，其中上述執(zhí)行步驟包括從位于上述平面的四個(gè)點(diǎn)的圖象中的坐標(biāo)來確定上述平面投影。
7.確定位于平面中的目標(biāo)的方法，包括以下步驟計(jì)算來自第一平面投影的至少四個(gè)點(diǎn)和來自第二平面投影的至少四個(gè)點(diǎn)的線性變換；將在相應(yīng)于上述第一平面投影的平面中的第一軌跡變換到上述第二平面投影；確定上述第一軌跡的變換和相應(yīng)于上述第二平面投影的平面中軌跡的交點(diǎn)。
8.如權(quán)利要求7的方法，其中每個(gè)上述第一和第二平面投影的上述至少四個(gè)點(diǎn)是全部位于參考平面中的至少四個(gè)點(diǎn)的單組投影。
9.識(shí)別平面中目標(biāo)的方法，包括以下步驟通過從各自角度成像位于參考平面中的點(diǎn)來計(jì)算線性變換，并得出有效的變換，將來自上述各自角度的上述點(diǎn)映射到上述參考平面的相應(yīng)點(diǎn)；利用一種上述線性變換來變換三維軌跡的第一圖象；利用另一種上述線性變換來變換上述軌跡的第二圖象；確定作為上述變換步驟結(jié)果的上述軌跡各自變換的交點(diǎn)，確定在上述軌跡指示的目標(biāo)的上述參考平面中的坐標(biāo)，上述目標(biāo)位于上述參考平面中。
10.識(shí)別位于參考表面中的目標(biāo)點(diǎn)的方法，包括在上述參考平面中形成至少第一和第二點(diǎn)的表面投影，通過上述參考表面的形狀來確定許多上述點(diǎn)，至少一部分；得出響應(yīng)上述表面中上述點(diǎn)的上述投影的變換，上述變換將每個(gè)上述點(diǎn)變換成在作為結(jié)果投影表面上的相應(yīng)點(diǎn)，結(jié)果投影表面可以是上述第一和第二投影表面或者第三表面中的一個(gè)，以便于在上述參考表面上的每個(gè)給定點(diǎn)的投影與在上述結(jié)果投影表面上的相同坐標(biāo)相符合；利用上述變換來變換至少一個(gè)軌跡的投影以便于確定上述目標(biāo)。
全文摘要
用一對(duì)照相機(jī),可以獲得用戶所指向的目標(biāo)的平面坐標(biāo),而無需三維建模,且近使用從個(gè)圖象得出的數(shù)據(jù),而不用三維場(chǎng)景數(shù)據(jù)。每個(gè)照相機(jī)查看平面上的至少4個(gè)記錄點(diǎn)和沿目標(biāo)所在方向上的指示器。第一圖象線性變換將方向指示的平面投影映射到第二圖象中。在第二圖象中,目標(biāo)的坐標(biāo)取決于第二圖象投影方向交點(diǎn)和第一圖象的變換投影。在另一實(shí)施例和總,通過各自的線性變換,將方向映射到第三參考系或圖象。該系統(tǒng)的應(yīng)用允許用戶使用固定指示手勢(shì)來指示投射或電視屏幕上的位置。因?yàn)椴灰箨P(guān)于照相機(jī)位置的信息,所以該系統(tǒng)可快速建立。
文檔編號(hào)G06F3/041GK1380996SQ01801285
公開日2002年11月20日 申請(qǐng)日期2001年5月8日 優(yōu)先權(quán)日2000年5月17日
發(fā)明者D·魏恩沙爾, M·S·李 申請(qǐng)人:皇家菲利浦電子有限公司