專利名稱：利用投影儀進(jìn)行位置和方位的檢測的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及計(jì)算機(jī)視覺，更具體地說，涉及使用投影的圖像確定物體的位置和方位。
背景技術(shù)：
位置傳感器用于許多應(yīng)用中，其中需要確定物體的位置和方位。在下文中，“位置傳感器”這個(gè)術(shù)語指位置和方位傳感器。位置是物體在三維座標(biāo)框架中的位置，物體的方位是物體相對于所述座標(biāo)框架的轉(zhuǎn)動。
在一種示例的應(yīng)用中，位置傳感器可被連接于一個(gè)運(yùn)動著的正在進(jìn)行三維掃描的攝像機(jī)上。此攝像機(jī)的位置和方位是已知的，以便幫助根據(jù)運(yùn)動著的攝像機(jī)獲得的圖像產(chǎn)生場景的三維重構(gòu)。類似地，位置傳感器可被連接于一個(gè)投影儀上，以便幫助校正圖像在一個(gè)表面或物體上的投影。位置傳感器還可以連接于一個(gè)工具上，以使得所述工具可以相對于一部分或一個(gè)工作表面被正確地定位。如果用戶正在操縱所述工具，則位置傳感器使得能夠?qū)崿F(xiàn)觸覺的或其它反饋，例如在遠(yuǎn)距離操作中，或者用于計(jì)算機(jī)輔助的手術(shù)。位置傳感器也可以用于跟蹤運(yùn)動著的物體例如車輛或人員的位置。
在現(xiàn)有技術(shù)中使用位置傳感器的一種方法是在環(huán)境中的已知位置設(shè)置一個(gè)視覺的標(biāo)記或有源發(fā)射器，例如LED。在這些應(yīng)用中，位置傳感器可以是觀察所述標(biāo)記或發(fā)射器的攝像機(jī)，以便推斷其自身的位置和方位。其它應(yīng)用使用超聲代替光?；蛘?，視覺標(biāo)記或有源發(fā)射器可被連接于感興趣的物體上，以使得通過使用觀察物體的攝像機(jī)可以直接確定物體的位置和方位。
在環(huán)境中使用LED發(fā)射器的系統(tǒng)在“The JiBall TrackerHigh-Performance Wide-Area Tracking for Virtual and AugmentedEnvironments”，Welch等，Proc.of the ACM Symposium on VirtaalReality Software and Technology，1999，中描述了。一種在環(huán)境中使用超聲發(fā)射器的系統(tǒng)是由Intersense Corporation，Burlington，Massachusett生產(chǎn)的IS-600運(yùn)動跟蹤器。
現(xiàn)有技術(shù)的方法具有若干限制。當(dāng)環(huán)境大時(shí)或者環(huán)境包括難于達(dá)到的位置時(shí)，改變環(huán)境可能是困難的。并且對環(huán)境的測試設(shè)備必須隨后進(jìn)行校準(zhǔn)處理。因而這些類型的系統(tǒng)趨于是具有固定的工作位置空間的固定的設(shè)備，并且在新的地點(diǎn)不能容易地快速地使用。包括連接于物體的標(biāo)記或發(fā)射器例如LED的系統(tǒng)，通常需要跨過物體的表面的多個(gè)發(fā)射器。使用校準(zhǔn)處理來確定標(biāo)記或發(fā)射器的布置。為了把多個(gè)標(biāo)記或發(fā)射器連接到小的物體上這是個(gè)問題。如果物體是手持的，這也是有問題的，因?yàn)橛脩舯仨毑扇〔皇箻?biāo)記或發(fā)射器被閉塞的握持姿勢。
這些問題可以由電磁傳感器來克服，但是這種系統(tǒng)是相當(dāng)復(fù)雜和昂貴的，并且校準(zhǔn)仍然是個(gè)問題。大多數(shù)現(xiàn)有技術(shù)要求相對靜止的設(shè)置，這使得在特定的動態(tài)地改變著的環(huán)境中難于使用這種系統(tǒng)。電磁系統(tǒng)的一個(gè)例子是由Polhemus Inc.，of Colchester，VT生產(chǎn)的Fastrak運(yùn)動跟蹤產(chǎn)品。
因而，需要一種用于物體的位置和定向的傳感器，其不必修改環(huán)境便能工作，并且不需要復(fù)雜的校準(zhǔn)。還需要一種緊湊的位置和定向傳感器，即，傳感器不需要跨越環(huán)境或在感興趣的物體的表面上分布的標(biāo)記或發(fā)射器。被連接于手持的物體上的位置傳感器的小型化的優(yōu)點(diǎn)在于，用戶可以容易地在物體的某個(gè)部分上采用一種握持姿勢，而不會閉塞位置傳感器。

發(fā)明內(nèi)容
由投影圖像確定投影儀的位置和方位。首先確定在攝像機(jī)和一個(gè)平的表面之間的單應(yīng)(homography)，其中所述攝像機(jī)和所述平的表面處于一種固定的關(guān)系。
接著，使用具有已知的固有參數(shù)和未知的位置與方位的投影儀把一個(gè)已知的圖案投影到所述平的表面上。
利用攝像機(jī)獲得已知圖案的圖像，并使用所述的單應(yīng)和所述固有參數(shù)由所述圖像確定投影儀的位置和方位。


由下面結(jié)合附圖對本發(fā)明的優(yōu)選實(shí)施例進(jìn)行的詳細(xì)說明，可以更容易理解本發(fā)明，其中圖1是按照本發(fā)明的位置和方位感測系統(tǒng)的方塊圖；圖2是按照本發(fā)明的校準(zhǔn)處理的流程圖；以及圖3是按照本發(fā)明的位置和方位感測方法的流程圖。
具體實(shí)施例方式
系統(tǒng)結(jié)構(gòu)圖1表示按照本發(fā)明的位置和方位感測系統(tǒng)100。所述系統(tǒng)包括固定的攝像機(jī)110和可動的投影儀120。攝像機(jī)110和投影儀120觀察一個(gè)固定的、平的(2D)表面130。攝像機(jī)和所述平的表面具有固定的相對位置。攝像機(jī)和投影儀可以在所述表面的同一側(cè)，或者，如果所述表面是半透明的，則攝像機(jī)和投影儀可以位于該平的表面的相對側(cè)。
在優(yōu)選實(shí)施例中，攝像機(jī)110和投影儀120是數(shù)字裝置。也可以使用具有A/D轉(zhuǎn)換器的模擬裝置。
處理器(CPU)140和攝像機(jī)110耦接。處理器140配備有存儲器和I/O端口，如本領(lǐng)域技術(shù)人員已知的那樣。處理器140能夠執(zhí)行按照本發(fā)明的位置和方位感測方法300，如下面詳細(xì)說明的。
系統(tǒng)操作校準(zhǔn)如圖2所示，系統(tǒng)100的校準(zhǔn)處理200具有兩個(gè)級210-220。第二個(gè)是選擇的。在第一級210中，固定的攝像機(jī)110相對于固定的平的表面130被校準(zhǔn)，以便確定在攝像機(jī)110的圖像平面的座標(biāo)框架和固定的表面130的歐幾里得(公制的)坐標(biāo)框架之間的單應(yīng)H 211。這可以通過給定在固定的表面130上的已知位置的4個(gè)點(diǎn)131，例如在固定的表面130上的一個(gè)方形的4個(gè)拐角，使用熟知的幾何關(guān)系來實(shí)現(xiàn)。
單應(yīng)211使得攝像機(jī)110的坐標(biāo)框架和固定的表面130的坐標(biāo)框架按以下方式相關(guān)。
對于在2D表面上的對應(yīng)的點(diǎn)X的圖像點(diǎn)x，其關(guān)系是x＝HX其中x和X是齊次座標(biāo)，H是描述所述單應(yīng)的3×3的矩陣。給定4組對應(yīng)的點(diǎn){xi，Xi}，i＝1，…4，上面的公式產(chǎn)生一個(gè)單應(yīng)H 211的數(shù)組元素的線性系統(tǒng)，使得可以對H求解。
如果表面130的坐標(biāo)框架的整個(gè)比例是未知的，例如，在表面130上的4個(gè)點(diǎn)131已知是一個(gè)方形的4個(gè)拐角，但是方形的尺寸是未知的，則在隨后的處理中，投影儀120的位置和方位被確定為一個(gè)未知的比例。這對于許多應(yīng)用是足夠的，例如，對于一個(gè)場景的三維掃描，其中目的是產(chǎn)生一個(gè)三維的重構(gòu)，而整個(gè)比例是不重要的。
在第二個(gè)可選擇的處理220中，校準(zhǔn)處理200確定投影儀120的固有參數(shù)IP 221。確定一個(gè)針孔裝置例如投影儀120的固有參數(shù)，是一種熟知的處理?；蛘撸队皟x120的固有參數(shù)可以在系統(tǒng)100操作時(shí)被確定，如下面詳細(xì)說明的。
位置和方位感測如圖3所示，位置感測系統(tǒng)100可被用于利用投影儀120和方法300來感測物體的位置和方位。
首先，在310確定攝像機(jī)110和表面130之間的單應(yīng)211，如上所述。
接著在320，由具有已知的固有參數(shù)221但是位置和方位未知的投影儀120把一個(gè)已知的圖案230投影到平的表面210上。最低限度地，圖案230至少包括3個(gè)不同的非共線的點(diǎn)。
然后在330，攝像機(jī)110獲得已知圖案230的圖像331，并在投影儀120的圖像座標(biāo)內(nèi)測量圖案230的特征。
在處理300的最后一步340，使用單應(yīng)211把圖案的特征從圖像331的座標(biāo)框架變換到平的表面130的坐標(biāo)框架。
給定平的表面130上的圖案230的各特征的座標(biāo)，以及在投影儀的圖像平面上的各圖案特征的相應(yīng)的座標(biāo)，和投影儀的固有參數(shù)221，便可以確定投影儀120的位置和方位。該方法是對在DeMenthon等人的文章“Exact and Approximate Solutions of thePerspective-Three-Point Problem”，IEEE Trans.Pattern Analysis andMachine Intelligence，vol.14，no.11，pp.1100-1105，1992年11月中所述的方法的一種修改。
DeMenthon的方法是一種用于計(jì)算攝像機(jī)的位置和方位的方法，其中具有已知的固有參數(shù)的攝像機(jī)觀察具有已知的座標(biāo)的一個(gè)物理圖案。這里，這種方法被修改用于把一個(gè)圖案投影到一個(gè)平面上的投影儀的情況，其中借助于觀察所述平面的固定攝像機(jī)將坐標(biāo)框架施加到所述投影的圖案上。
當(dāng)只使用3個(gè)點(diǎn)時(shí)，具有關(guān)于位置和方位的多個(gè)解答，但是具有多個(gè)已知的方法來解決這個(gè)問題，使得獲得唯一的解答。例如，通過當(dāng)裝置運(yùn)動時(shí)將信息對時(shí)間積分，或者通過使用4個(gè)或多個(gè)點(diǎn)代替3個(gè)點(diǎn)。后一種方法對于系統(tǒng)100是直接的，因?yàn)榫哂袑Ρ煌队暗膱D案的完全控制。作為系統(tǒng)100的另一個(gè)優(yōu)點(diǎn)，投影的圖案可以在操作期間根據(jù)需要被采用，以便對固定的攝像機(jī)提供盡可能好的觀察。
可以被模擬為針孔投影儀的任何系統(tǒng)適用于進(jìn)行所述投影，例如，3個(gè)不同顏色的激光指示器，它們具有不同的光束方向，并且這些光束交于一點(diǎn)，或者具有非共點(diǎn)的光束但具有校準(zhǔn)的數(shù)據(jù)，以便考慮所述非共點(diǎn)性。
在另一個(gè)實(shí)施例中，投影儀210的固有參數(shù)221可以在系統(tǒng)10的操作期間被確定。在這種情況下，圖案230對于投影儀220的兩個(gè)不同的位置被投影。在這種情況下，對于圖案的最低要求是，具有4個(gè)在一般位置的不同的點(diǎn)，或者任何等效的圖案。
投影儀的固有參數(shù)投影儀的固有參數(shù)可以按如下確定。首先，使用單應(yīng)H 211確定在平的表面130上的投影圖案特征的座標(biāo)。然后，確定在投影儀120的圖像平面和投影儀的第一位置P1的平的表面之間的第一單應(yīng)G1。類似地，計(jì)算投影儀的第二位置P2的第二單應(yīng)G2。給定G1和G2，便可以確定投影儀120的固有參數(shù)221，如Zhang在“A flexible newtechnique for camera calibration”，IEEE Transactions on PatternAnalysis and Machine Intelligence，22(11)1330-1334，2000中所述。
那種技術(shù)是為攝像機(jī)的固有參數(shù)提出的。然而，在此應(yīng)用這種技術(shù)確定投影儀的固有參數(shù)。
上述系統(tǒng)100的操作200使用一個(gè)固定的攝像機(jī)110。如果投影儀120正在通過一個(gè)伸展的區(qū)域運(yùn)動，以使得投影的圖案可能運(yùn)動到任何一個(gè)攝像機(jī)的視野之外，則可以使用多個(gè)固定的攝像機(jī)，每個(gè)攝像機(jī)用于觀察固定的平的表面130的一個(gè)不同部分。在這種情況下，固定的攝像機(jī)的校準(zhǔn)需要確定在每個(gè)攝像機(jī)的圖像平面和固定的平的表面130的公共坐標(biāo)框架之間的多個(gè)單應(yīng)H1，H2，等。
還可以具有多個(gè)固定的表面，每個(gè)表面由一個(gè)或多個(gè)固定的攝像機(jī)觀察。在這種情況下，投影儀120可以在房間內(nèi)運(yùn)動，并且天花板、地板或墻壁提供固定的平的表面。
如果廣角的或全方位的投影儀同時(shí)投影在多個(gè)表面上以便得到寬的視野，則可以同時(shí)使用所有的投影信息用于以更高的精度確定投影儀120的位置和方位。
在實(shí)際應(yīng)用中，投影儀120可以和感興趣的物體160具有固定的關(guān)系。那么，投影儀的位置和方位便可用于推斷物體160的位置和方位。如果物體具有其自身的坐標(biāo)框架，則投影儀和物體可以在另一個(gè)校準(zhǔn)步驟中被校準(zhǔn)。
例如，物體160可以是第二個(gè)運(yùn)動著的攝像機(jī)。此時(shí)，投影儀120可以跟蹤攝像機(jī)160的位置和方位。當(dāng)?shù)诙z像機(jī)160用于三維掃描時(shí)，這是有用的。在這種應(yīng)用中，第二攝像機(jī)的推斷的位置和方位可用于根據(jù)掃描的圖像確定三維重構(gòu)。
或者，所述物體可以是另一個(gè)投影儀。在這種應(yīng)用中，第二投影儀按照其推斷的位置和方位將圖像投影到環(huán)境中。這對于增強(qiáng)虛擬現(xiàn)實(shí)場景或活動的顯示區(qū)域是有用的。
所述物體還可以是工具，以使得根據(jù)所述工具推斷的位置和方位的反饋可以提供給用戶。例如，所述反饋可以是觸覺反饋。
在另一種應(yīng)用中，投影儀可被連接到一個(gè)物體上，所述物體正在作二維運(yùn)動，例如轎車或機(jī)器人，在這種情況下，只和位置相關(guān)而和方位無關(guān)。
雖然本發(fā)明以優(yōu)選實(shí)施例為例進(jìn)行了說明，應(yīng)當(dāng)理解，在所附權(quán)利要求的范圍和構(gòu)思內(nèi)，可以具有各種改變和改型。因此，所附權(quán)利要求的目的是覆蓋所有這些改變和改型，因?yàn)樗鼈兲幱诒景l(fā)明的真正的構(gòu)思和范圍內(nèi)。
權(quán)利要求
1.一種用于確定投影儀的位置和方位的方法，包括確定一個(gè)攝像機(jī)和一個(gè)平的表面之間的單應(yīng)，其中所述攝像機(jī)和所述平的表面相互處于固定的相對位置；利用具有已知的固有參數(shù)和未知的位置及方位的投影儀在所述平的表面上投影一個(gè)圖案；利用攝像機(jī)獲得所述圖案的圖像；以及使用所述單應(yīng)和固有參數(shù)，根據(jù)該圖像確定所述投影儀的位置和方位。
2.如權(quán)利要求1所述的方法，其中所述投影儀是針孔裝置，并且該方法還包括在所述平的表面上投射至少3個(gè)非共線的不同點(diǎn)，從而形成所述圖案。
3.如權(quán)利要求2所述的方法，還包括在預(yù)處理步驟期間校準(zhǔn)所述投影儀，以便確定所述固有參數(shù)。
4.如權(quán)利要求1所述的方法，其中所述圖案包括至少4個(gè)在一般位置上的不同的點(diǎn)，并且該方法還包括當(dāng)確定所述投影儀的位置和方位的時(shí)候，對于所述投影儀的不同方位，對已知圖案進(jìn)行至少兩次投影，并使用所述至少兩次投影獲得的圖像校準(zhǔn)投影儀的固有參數(shù)。
5.如權(quán)利要求1所述的方法，其中所述投影儀是全方向的，并且該方法還包括投影一個(gè)全方向圖案。
6.如權(quán)利要求1所述的方法，其中所述投影儀是廣角的，并且該方法還包括跨越一個(gè)寬的視野投影所述圖案。
7.如權(quán)利要求1所述的方法，其中所述投影儀使用可見光。
8.如權(quán)利要求1所述的方法，其中所述投影儀使用紅外輻射。
9.如權(quán)利要求1所述的方法，其中使用多個(gè)固定的攝像機(jī)獲得被投影的已知圖案的多個(gè)圖像。
10.如權(quán)利要求9所述的方法，其中使用多個(gè)平的表面，一個(gè)攝像機(jī)用于每個(gè)平的表面。
11.如權(quán)利要求9所述的方法，其中使用多個(gè)平的表面，一個(gè)或多個(gè)攝像機(jī)用于每個(gè)平的表面。
12.如權(quán)利要求1所述的方法，其中所述平的表面是房間的天花板，并且該方法還包括在確定所述投影儀的多個(gè)位置和方位時(shí)在所述房間內(nèi)移動所述投影儀。
13.如權(quán)利要求1所述的方法，其中所述攝像機(jī)和投影儀位于所述平的表面的同一側(cè)。
14.如權(quán)利要求1所述的方法，其中所述平的表面是半透明的屏幕，并且所述投影儀和固定的攝像機(jī)位于所述半透明屏幕的相對側(cè)。
15.如權(quán)利要求10所述的方法，還包括在多個(gè)平的表面上同時(shí)投影多個(gè)已知的圖案；以及通過同時(shí)使用所有的多個(gè)被投影的已知圖案來確定所述投影儀的位置和方位。
16.如權(quán)利要求1所述的方法，還包括把所述投影儀連接到一個(gè)物體上，并使用所述投影儀推斷該物體的位置和方位。
17.如權(quán)利要求16所述的方法，其中所述投影儀的位置和方位與所述物體的位置和方位處于已知的物理關(guān)系。
18.如權(quán)利要求16所述的方法，其中所述投影儀的位置和方位以及所述物體的位置和方位的物理關(guān)系在一個(gè)校準(zhǔn)步驟中被校準(zhǔn)。
19.如權(quán)利要求16所述的方法，其中所述物體是第二攝像機(jī)，并且該方法還包括利用所述第二攝像機(jī)獲得掃描的圖像；以及利用所述第二攝像機(jī)的推斷的位置和方位，根據(jù)所述掃描的圖像確定場景的三維重構(gòu)。
20.如權(quán)利要求16所述的方法，其中所述物體是第二投影儀，并且該方法還包括根據(jù)所述第二投影儀的推斷的位置和方位，利用該第二投影儀投影圖像。
21.如權(quán)利要求16所述的方法，其中所述物體是工具，并且該方法還包括根據(jù)所述工具的推斷的位置和方位提供反饋。
22.如權(quán)利要求16所述的方法，其中所述物體是車輛。
23.如權(quán)利要求16所述的方法，其中所述物體是人。
24.如權(quán)利要求4所述的方法，還包括通過固定的攝像機(jī)以及所述攝像機(jī)和所述平的表面之間的單應(yīng)來確定在該平的表面上的已知圖案的特征的座標(biāo)；確定在投影儀的圖像平面以及用于該投影儀的第一位置P1的平的表面之間的第一單應(yīng)G1；確定在投影儀的圖像平面以及用于該投影儀的第二位置P2的平的表面之間的第二單應(yīng)G2；以及使用所述第一單應(yīng)G1和所述第二單應(yīng)G2確定投影儀的固有參數(shù)。
25.一種用于確定投影儀的位置和方位的系統(tǒng)，包括和一個(gè)平的表面具有固定關(guān)系的攝像機(jī)；用于確定所述攝像機(jī)和所述平的表面之間的單應(yīng)的裝置；被配置用于在所述平的表面上投影一個(gè)圖案的投影儀，所述投影儀具有已知的固有參數(shù)以及未知的位置和方位；以及用于使用所述單應(yīng)和固有參數(shù)以及由攝像機(jī)獲得的已知圖案的圖像，根據(jù)所述圖像確定所述投影儀的位置和方位的裝置。
26.如權(quán)利要求25所述的系統(tǒng)，還包括連接于所述投影儀的物體，其中所述投影儀的位置和方位用于推斷所述物體的位置和方位。
27.如權(quán)利要求26所述的系統(tǒng)，其中所述投影儀的位置和方位與所述物體的位置和方位處于已知的物理關(guān)系。
28.如權(quán)利要求26所述的系統(tǒng)，其中所述投影儀的位置和方位以及所述物體的位置和方位的物理關(guān)系在一個(gè)校準(zhǔn)步驟中被校準(zhǔn)。
全文摘要
根據(jù)投影圖像確定投影儀的位置和方位。首先確定在攝像機(jī)和一個(gè)平的表面之間的單應(yīng)，其中所述攝像機(jī)和所述平的表面之間的關(guān)系是固定的。接著，使用具有已知的固有參數(shù)的和未知的位置與方位的投影儀把一個(gè)已知的圖案投影到所述平的表面上。利用攝像機(jī)獲得已知圖案的圖像，并使用所述的單應(yīng)和所述固有參數(shù)根據(jù)所述圖像確定投影儀的位置和方位。
文檔編號H04N5/74GK1745397SQ200380100309
公開日2006年3月8日 申請日期2003年12月25日 優(yōu)先權(quán)日2003年1月17日
發(fā)明者保羅·A·比爾茲利, 雷米施·拉斯卡爾, 瓦哈夫·瓦伊什 申請人:三菱電機(jī)株式會社