專利名稱：位置姿態(tài)跟蹤系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種位置姿態(tài)跟蹤系統(tǒng)，尤其涉及一種用于人機(jī)交互的位置姿態(tài)跟蹤系統(tǒng)。
背景技術(shù)：
當(dāng)前國外最常見的用于人機(jī)交互的位置姿態(tài)跟蹤系統(tǒng)是光學(xué)位置姿態(tài)跟蹤系統(tǒng)，而光學(xué)位置姿態(tài)跟蹤系統(tǒng)大多基于計(jì)算機(jī)視覺原理。從理論上說，對于空間中的一個(gè)點(diǎn)，只要它能同時(shí)為兩部攝像機(jī)所見，則根據(jù)同一時(shí)刻兩部攝像機(jī)所拍攝的圖像和攝像機(jī)參數(shù)，可以確定這一時(shí)刻該點(diǎn)在空間中的位置。當(dāng)同時(shí)確定了一個(gè)物體的多個(gè)點(diǎn)時(shí)，則還可以確定該物體在空間中的姿態(tài)。當(dāng)攝像機(jī)以足夠高的速率連續(xù)拍攝時(shí)，從所得到的圖像序列中就可以獲取該點(diǎn)或該物體的運(yùn)動(dòng)軌跡。
現(xiàn)有的光學(xué)位置姿態(tài)跟蹤系統(tǒng)分為兩種，一種是被動(dòng)反光式位置姿態(tài)跟蹤系統(tǒng)，另一種是主動(dòng)發(fā)光式位置姿態(tài)跟蹤系統(tǒng)。
典型的被動(dòng)反光式位置姿態(tài)跟蹤器系統(tǒng)通常使用6～8個(gè)環(huán)繞表演場地排列的攝像機(jī)，攝像機(jī)的鏡頭上還附有發(fā)出紅外光的光源。這些攝像機(jī)的視野重疊區(qū)域就是跟蹤對象的動(dòng)作范圍，為了便于處理，通常要求跟蹤對象穿上單色的服裝，在身體的關(guān)鍵部位，如關(guān)節(jié)、髖部、肘、腕等位置貼上一些特制的標(biāo)志或反光點(diǎn)，稱為“標(biāo)志點(diǎn)(Marker)”，接下來視覺系統(tǒng)將識別和處理這些標(biāo)志點(diǎn)。系統(tǒng)定標(biāo)后，攝像機(jī)連續(xù)拍攝跟蹤對象的動(dòng)作，并將圖像序列保存下來，然后再進(jìn)行分析和處理，識別其中的標(biāo)志點(diǎn)，并計(jì)算其在每一瞬間的空間位置，進(jìn)而得到其運(yùn)動(dòng)軌跡。為了得到準(zhǔn)確的運(yùn)動(dòng)軌跡，攝像機(jī)應(yīng)有較高的拍攝速率，一般要達(dá)到每秒60幀以上。如果在跟蹤對象的臉部表情關(guān)鍵點(diǎn)貼上標(biāo)志點(diǎn)，則可以實(shí)現(xiàn)表情捕捉。
這種裝置雖然可以捕捉實(shí)時(shí)運(yùn)動(dòng)，但后處理(包括標(biāo)志點(diǎn)的識別、跟蹤、空間坐標(biāo)的計(jì)算)的工作量較大，而且對于表演場地的光照、反射情況有一定的要求，裝置定標(biāo)也較為煩瑣。特別是當(dāng)運(yùn)動(dòng)復(fù)雜時(shí)，不同部位的標(biāo)志點(diǎn)有可能發(fā)生混淆、遮擋，產(chǎn)生錯(cuò)誤結(jié)果，這時(shí)需要人工干預(yù)后處理過程。
主動(dòng)發(fā)光式位置姿態(tài)跟蹤系統(tǒng)是指所要跟蹤的物體自身附有紅外光源，用攝像機(jī)采集該物體所發(fā)出的紅外圖像，并從該紅外圖像中提取并分辨出跟蹤物體的位置姿態(tài)。但是，這種系統(tǒng)同樣多是采用6～8個(gè)環(huán)繞表演場地排列的攝像機(jī)，并且以獨(dú)立的點(diǎn)為跟蹤單位，根據(jù)一個(gè)點(diǎn)在多個(gè)攝像機(jī)中的位置來計(jì)算其在三維空間中的位置。這樣很容易發(fā)生點(diǎn)與點(diǎn)之間混淆的情況，為了避免混淆也同樣需要較為復(fù)雜的圖像處理過程。
因此，上述的現(xiàn)有的位置姿態(tài)跟蹤系統(tǒng)大多使用較多數(shù)量的攝像機(jī)，并且圖像處理過程均較復(fù)雜，使得設(shè)備成本增加，一般都用于科學(xué)研究、媒體制作等方面，并不利于推廣以及家庭使用。

發(fā)明內(nèi)容
本發(fā)明針對現(xiàn)有的位置姿態(tài)跟蹤系統(tǒng)的設(shè)備較為復(fù)雜、成本較高的缺點(diǎn)，提供一種設(shè)備簡單、成本低的位置姿態(tài)跟蹤系統(tǒng)。
本發(fā)明所提供的位置姿態(tài)跟蹤系統(tǒng)包括跟蹤對象、圖像采集單元和圖像處理單元；所述跟蹤對象包括紅外發(fā)光裝置，所述圖像采集單元包括用于采集所述紅外發(fā)光裝置發(fā)出的紅外光的紅外截止濾光片以及用于獲取紅外圖像的攝像機(jī)，所述圖像處理單元從所采集的紅外圖像中確定跟蹤對象的當(dāng)前位置姿態(tài)；其中，所述紅外發(fā)光裝置有多個(gè)，分布在跟蹤對象上的表示跟蹤對象的輪廓特征的輪廓點(diǎn)和區(qū)分各個(gè)輪廓點(diǎn)的區(qū)分點(diǎn)；所述圖像處理單元根據(jù)所述紅外發(fā)光裝置的分布特征，從所采集到的紅外圖像中分辨出跟蹤對象的當(dāng)前位置姿態(tài)。
本發(fā)明所提供的位置姿態(tài)跟蹤系統(tǒng)，基于紅外光和圖像處理的原理，通過所述紅外發(fā)光裝置的分布特征可以表示出跟蹤對象的輪廓，并根據(jù)區(qū)分點(diǎn)區(qū)分出各個(gè)輪廓點(diǎn)，還可以表示出跟蹤對象的方向，圖像處理單元根據(jù)輪廓點(diǎn)、區(qū)分點(diǎn)和/或方向點(diǎn)的分布特征，分辨出不同位置的紅外發(fā)光裝置的發(fā)光點(diǎn)，從而重新構(gòu)建出跟蹤對象的當(dāng)前位置姿態(tài)，并由此可以獲取用戶的動(dòng)作軌跡，用戶的五自由度動(dòng)作都可被準(zhǔn)確跟蹤。本發(fā)明所提供的位置姿態(tài)跟蹤系統(tǒng)由于增加了紅外發(fā)光裝置的分布信息，所以可以僅采用1-2個(gè)攝像機(jī)，設(shè)備簡化，不需要大量的攝像機(jī)對跟蹤對象進(jìn)行多角度的拍攝。并且，后期圖像處理過程簡單，大大降低了成本。本發(fā)明所提供的位置姿態(tài)跟蹤系統(tǒng)可應(yīng)用到個(gè)人家庭游戲娛樂的人機(jī)交互系統(tǒng)中，克服了以往只能使用傳統(tǒng)的鼠標(biāo)鍵盤或游戲手柄的局限，相比于價(jià)格昂貴的大型游藝機(jī)以低成本的設(shè)備實(shí)現(xiàn)高參與性的游戲交互方式。


圖1為本發(fā)明所提供位置姿態(tài)跟蹤系統(tǒng)的示意圖；圖2A為跟蹤對象的第一實(shí)施方式的側(cè)視圖；圖2B為圖2A所示的跟蹤對象的劍頂?shù)母┮晥D；圖2C為圖2A所示的跟蹤對象的劍身的橫截面視圖；圖3A為跟蹤對象的第二實(shí)施方式的側(cè)視圖；圖3B為圖3A所示的跟蹤對象的擴(kuò)展角度獲取裝置的結(jié)構(gòu)示意圖；圖3C為圖3A所示的跟蹤對象的擴(kuò)展角度獲取裝置的局部剖視圖；圖4A為多攝像機(jī)模式的圖像處理單元的數(shù)據(jù)處理流程；圖4B為單攝像機(jī)模式的圖像處理單元的數(shù)據(jù)處理流程；圖5為紅外燈標(biāo)定板的示意圖。
具體實(shí)施例方式
下面結(jié)合附圖對本發(fā)明做進(jìn)一步說明。
如圖1至圖2所示，本發(fā)明所提供的位置姿態(tài)跟蹤系統(tǒng)包括跟蹤對象1、圖像采集單元和圖像處理單元4；所述跟蹤對象1包括紅外發(fā)光裝置5，所述圖像采集單元包括用于采集所述紅外發(fā)光裝置5發(fā)出的紅外光的紅外截止濾光片2以及用于獲取紅外圖像的攝像機(jī)3，所述圖像處理單元4從所采集的紅外圖像中確定跟蹤對象1的當(dāng)前位置姿態(tài)；其中，所述紅外發(fā)光裝置5有多個(gè)，分布在跟蹤對象1上的表示跟蹤對象1的輪廓特征的輪廓點(diǎn)和區(qū)分各個(gè)輪廓點(diǎn)的區(qū)分點(diǎn)；所述圖像處理單元4根據(jù)所述紅外發(fā)光裝置5的分布特征，從所采集的紅外圖像中分辨出跟蹤對象1的當(dāng)前位置姿態(tài)。
其中，跟蹤對象1的形狀可以為任何形狀。所述跟蹤對象1可以是任何能產(chǎn)生動(dòng)作的可透過紅外光的物體，包括人、動(dòng)物、植物或非生物物體，優(yōu)選為透明塑料、有機(jī)玻璃制品。例如，所述跟蹤對象1可以是操作手柄，由用戶操縱以充當(dāng)人機(jī)交互的道具，例如電腦對戰(zhàn)游戲中的刀劍、羽毛球游戲中的羽毛球拍、釣魚游戲中的釣魚竿。
所述跟蹤對象1的紅外發(fā)光裝置5可以是任何能發(fā)出紅外光線的裝置，優(yōu)選為紅外發(fā)光二極管。所述紅外發(fā)光裝置5還可以包括泛光膜，貼敷在紅外發(fā)光裝置5的表面，用于擴(kuò)大所發(fā)出的紅外光的可見角度。所述泛光膜的材料優(yōu)選為薄毛玻璃。
所述輪廓點(diǎn)是指根據(jù)該輪廓點(diǎn)可以分辨出跟蹤對象1的輪廓，例如形狀。
所述區(qū)分點(diǎn)是能夠根據(jù)該區(qū)分點(diǎn)與輪廓點(diǎn)的距離特征，區(qū)分出各個(gè)輪廓點(diǎn)的點(diǎn)。例如，一個(gè)區(qū)分點(diǎn)設(shè)置在兩個(gè)輪廓點(diǎn)的連線上且距兩個(gè)輪廓點(diǎn)距離不等的位置，這樣可以將這兩個(gè)輪廓點(diǎn)區(qū)分成“距該區(qū)分點(diǎn)較近的輪廓點(diǎn)”和“距該區(qū)分點(diǎn)較遠(yuǎn)的輪廓點(diǎn)”。而當(dāng)有兩個(gè)以上的輪廓點(diǎn)時(shí)，各個(gè)區(qū)分點(diǎn)距其所區(qū)分的輪廓點(diǎn)的之間距離比優(yōu)選互不相同，以達(dá)到區(qū)分不同組輪廓點(diǎn)的目的。例如，用于區(qū)分第一輪廓點(diǎn)和第二輪廓點(diǎn)的第一區(qū)分點(diǎn)，距第一輪廓點(diǎn)和第二輪廓點(diǎn)的距離比例為1∶2，而用于區(qū)分第三輪廓點(diǎn)和第四輪廓點(diǎn)的第二區(qū)分點(diǎn)，距第三輪廓點(diǎn)和第四輪廓點(diǎn)的距離比例為1∶3，這樣可以根據(jù)1∶2和1∶3的距離比區(qū)分不同組的輪廓點(diǎn)。
當(dāng)所述跟蹤對象1為對稱形狀時(shí)，為了區(qū)分跟蹤對象1的方向，所述紅外發(fā)光裝置5還分布在表示跟蹤對象1方向特征的方向點(diǎn)。例如，在跟蹤對象1的頂部安裝一個(gè)紅外發(fā)光裝置5可以標(biāo)示出該點(diǎn)是紅外發(fā)光裝置5的頂部。
上述分布在輪廓點(diǎn)、區(qū)分點(diǎn)和方向點(diǎn)的紅外發(fā)光裝置5的分布情況即為紅外發(fā)光裝置5的分布特征。
如圖2A、圖2B和圖2C所示，根據(jù)本發(fā)明的跟蹤對象1的第一實(shí)施方式，所述跟蹤對象1為劍形。這種情況下，所述紅外發(fā)光裝置5為分別分布在位于劍形的跟蹤對象1的頂部和底部的輪廓點(diǎn)，以及位于頂部和底部輪廓點(diǎn)連線上的中下部的區(qū)分點(diǎn)，且該區(qū)分點(diǎn)距頂部和底部的輪廓點(diǎn)的距離不相等，在本實(shí)施例中設(shè)定距離比為2∶1。如圖2C所示，所述紅外發(fā)光裝置5還可以(但非必須)位于正頂部的方向點(diǎn)，以表示出劍頂和劍柄。為了提高亮度，除了方向點(diǎn)之外，位于輪廓點(diǎn)和區(qū)分點(diǎn)的紅外發(fā)光裝置5均包括三個(gè)紅外發(fā)光二極管，安裝方向與劍身垂直，如圖2B所示。
這樣，根據(jù)這些輪廓點(diǎn)、區(qū)分點(diǎn)和方向點(diǎn)的分布特征，可以從紅外圖像的發(fā)光點(diǎn)中，分辨出分布在不同位置的紅外發(fā)光裝置5的發(fā)光點(diǎn)，從而可以區(qū)分出跟蹤對象1的劍頂、劍身、劍柄的位置姿態(tài)。采用這種方法不需要很多的攝像機(jī)就可以分辨出跟蹤對象1的位置姿態(tài)，大大減小了現(xiàn)有的主動(dòng)發(fā)光式位姿跟蹤系統(tǒng)的攝像機(jī)數(shù)量多，以及由于跟蹤獨(dú)立點(diǎn)所導(dǎo)致的點(diǎn)之間混淆的缺點(diǎn)。
如圖3A、圖3B和圖3C所示，為本發(fā)明的跟蹤對象1的第二實(shí)施方式，所述跟蹤對象1也為劍形，所述跟蹤對象1還包括擴(kuò)展角度獲取裝置6。
所述擴(kuò)展角度獲取裝置6包括發(fā)光管7和具有多個(gè)透光孔9的遮光外殼8。如圖3B所示，所述發(fā)光管7位于跟蹤對象1的內(nèi)部，發(fā)出的光中包含紅外光，優(yōu)選為高亮度全光譜白光發(fā)光管。所述遮光外殼8套在跟蹤對象1具有發(fā)光管7的部分的外面，用于遮擋發(fā)光管7所發(fā)出的部分光，在本實(shí)施方式中為圓筒形。如圖3C所示，所述多個(gè)透光孔9分為多組，同組透光孔9中的每個(gè)透光孔9透出的光與發(fā)光管7之間的夾角相同，不同組透光孔9透出的光與發(fā)光管7之間的夾角不同；在本實(shí)施方式中，同組透光孔9中的每個(gè)透光孔9環(huán)繞分布在遮光外殼8的同一高度且透光孔1的孔壁與跟蹤對象1之間的夾角相同，不同組透光孔9的孔壁與發(fā)光管7之間的夾角互不相同。其中，所述不同組透光孔9與發(fā)光管7之間的不同夾角被預(yù)先設(shè)定，并提供給圖像處理單元4。所述透光孔9的內(nèi)壁涂有光滑的材料涂層，使得光線不容易反射。
這樣，當(dāng)發(fā)光管7發(fā)出光時(shí)，光線穿透遮光外殼8上的透光孔9穿透出劍身，由每個(gè)透光孔9發(fā)射出去的光線在空間中形成光錐，并且由不同組的透光孔9所得到的光錐互不相同。也就是說，在光錐覆蓋到的空間區(qū)域中，才能透過對應(yīng)的透光孔9看到內(nèi)部的發(fā)光管7。該擴(kuò)展角度獲取裝置6事實(shí)上是一個(gè)編碼裝置，該裝置可將跟蹤對象1的距離特征轉(zhuǎn)化為角度特征，在本實(shí)施例中也就是說將劍身上不同位置上所發(fā)出的光線轉(zhuǎn)化為不同角度的光線，從而在圖像處理單元4可以根據(jù)對應(yīng)關(guān)系計(jì)算出跟蹤對象1與攝像機(jī)像平面之間的夾角，并根據(jù)該夾角結(jié)合紅外發(fā)光裝置5的分布特征共同分辨出跟蹤對象1的位置姿態(tài)。
所述跟蹤對象1還包括電源，所述電源可以為通過電源線連接的有源電源，由于該跟蹤對象1功耗較小，所以所述電源優(yōu)選為電池，例如堿性電池，這樣面可以使用戶操縱跟蹤對象1時(shí)擺脫電線纏繞的困擾。
所述圖像采集單元包括紅外截止濾光片2和攝像機(jī)3，用于采集所述紅外發(fā)光裝置發(fā)出的紅外光以及獲取紅外圖像，一般情況下，所獲取的紅外圖像中不包括可見光信息，只有跟蹤對象1上的紅外發(fā)光裝置5所發(fā)出的光可在該紅外圖像上顯示出來。
所述紅外截止濾光片2為截止頻率為760nm-960nm的帶通濾光片，也就是說只有波長在760nm-960nm范圍內(nèi)的光才能通過該濾光片。這個(gè)頻率范圍屬于近紅外區(qū)，大多數(shù)可見光都能被很好的過濾掉，增強(qiáng)了系統(tǒng)的穩(wěn)定性和可靠性。
為了達(dá)到對紅外光具有較好的響應(yīng)，所述攝像機(jī)3優(yōu)選為CCD攝像機(jī)，例如，普通CCD網(wǎng)絡(luò)攝像頭；所述攝像機(jī)3的分辨率至少為320×240，例如更高的640×480；所述攝像機(jī)3的采集速度至少為30幀/秒。
所述攝像機(jī)3可以為一個(gè)或多個(gè)，即本發(fā)明的位置姿態(tài)跟蹤系統(tǒng)可以采用單攝像機(jī)模式和多攝像機(jī)模式。所謂單攝像機(jī)模式就是采用一個(gè)攝像機(jī)3，這時(shí)由于僅憑一個(gè)攝像機(jī)3所采集到的圖像不足以分辨出跟蹤對象1的位置姿態(tài)，所以需要在跟蹤對象1上加裝所述擴(kuò)展角度獲取裝置6；所謂多攝像機(jī)模式是指采用兩個(gè)以上的攝像機(jī)3，此時(shí)由于攝像機(jī)3的個(gè)數(shù)增多，則不需要加裝所述擴(kuò)展角度獲取裝置6。
當(dāng)采用單攝像機(jī)模式時(shí)，攝像機(jī)3的擺放沒有特別要求；當(dāng)采用多攝像機(jī)模式時(shí)，多個(gè)攝像機(jī)3之間的視野交叉范圍盡可能大，以便擴(kuò)大跟蹤范圍。
正如本領(lǐng)域人員所公知的那樣，所述攝像機(jī)3可以通過有線或無線的數(shù)據(jù)傳輸方式將拍攝到的紅外圖像傳輸?shù)綀D像處理單元4，例如通過USB2.0接口。
如圖4A和圖4B所示，分別為多攝像機(jī)模式(圖中以雙攝像機(jī)為例，一個(gè)攝像機(jī)為攝像機(jī)A，另一個(gè)攝像機(jī)為攝像機(jī)B)和單攝像機(jī)模式的數(shù)據(jù)處理流程圖，其中，所述圖像處理單元4對接收到的紅外圖像進(jìn)行數(shù)據(jù)處理，所述數(shù)據(jù)處理流程包括以下步驟在步驟S2中接收紅外圖像；在步驟S3中對接收到的紅外圖像進(jìn)行圖像二值化；在步驟S4中搜索所有紅外發(fā)光裝置5的發(fā)光點(diǎn)并獲得所有發(fā)光點(diǎn)的連通區(qū)域；在步驟S6中根據(jù)紅外發(fā)光裝置5的分布特征，分辨出分布在不同位置的紅外發(fā)光裝置5的發(fā)光點(diǎn)并確定發(fā)光點(diǎn)的位置；在步驟S8中根據(jù)紅外發(fā)光裝置5發(fā)光點(diǎn)的位置得到跟蹤對象1在空間中的位置姿態(tài)。
其中，所述在步驟S2中接收紅外圖像通過視頻輸入接口單元接收，所述視頻輸入接口單元為多個(gè)，在本實(shí)施方式中為兩個(gè)，分別接收攝像機(jī)A和攝像機(jī)B所拍攝的紅外圖像，所述視頻輸入接口單元可以為任何可以接收視頻圖像數(shù)據(jù)的接口單元，為本領(lǐng)域人員所公知。
所述在步驟S3中對接收到的紅外圖像進(jìn)行圖像二值化，用于將紅外圖像轉(zhuǎn)換成數(shù)字圖像，在步驟S4中搜索紅外發(fā)光裝置5的并獲得所有發(fā)光點(diǎn)的連通區(qū)域，用于得到所述跟蹤對象(1)的大致位置和形狀，所述圖像二值化、搜索發(fā)光點(diǎn)、獲取連通區(qū)域的算法為本領(lǐng)域人員所公知，在此不作過多說明。
所述在步驟S6中根據(jù)紅外發(fā)光裝置5的分布特征，分辨出分布在不同位置的紅外發(fā)光裝置5的發(fā)光點(diǎn)，利用距離比例不變性質(zhì)，根據(jù)紅外發(fā)光裝置5預(yù)定的分布特征從紅外圖像上的發(fā)光點(diǎn)中分辨出該分布特征，即從多個(gè)發(fā)光點(diǎn)中區(qū)分出每個(gè)點(diǎn)是哪個(gè)輪廓點(diǎn)、區(qū)分點(diǎn)和/或方向點(diǎn)。
所述紅外發(fā)光裝置5發(fā)光點(diǎn)的位置為世界坐標(biāo)，是根據(jù)三角測量原理結(jié)合不同幀圖像中的同一發(fā)光點(diǎn)的位置計(jì)算得到。所述計(jì)算方法為本領(lǐng)域人員所公知。
所述在步驟S8中根據(jù)紅外發(fā)光裝置5發(fā)光點(diǎn)的位置得到跟蹤對象1在空間中的位置姿態(tài)需要兩個(gè)以上的紅外發(fā)光裝置5發(fā)光點(diǎn)的位置。這樣，根據(jù)發(fā)光點(diǎn)的位置結(jié)合分布特征就可以出跟蹤對象1的位置姿態(tài)。
如圖4B所示，當(dāng)該位置姿態(tài)跟蹤系統(tǒng)為單攝像機(jī)模式時(shí)，即攝像機(jī)3為一個(gè)時(shí)，由于攝像機(jī)3的個(gè)數(shù)減少所以所述系統(tǒng)還須附加擴(kuò)展角度獲取裝置6，因此，所述數(shù)據(jù)處理流程包括以下步驟在步驟S2中接收紅外圖像；在步驟S3中對接收到的紅外圖像進(jìn)行圖像二值化；在步驟S4中搜索所有紅外發(fā)光裝置5的發(fā)光點(diǎn)并獲得所有發(fā)光點(diǎn)的連通區(qū)域；在步驟S5中區(qū)分出紅外發(fā)光裝置5和擴(kuò)展角度獲取裝置6的發(fā)光點(diǎn)；在步驟S6中根據(jù)紅外發(fā)光裝置5的分布特征，分辨出分布在不同位置的紅外發(fā)光裝置5的發(fā)光點(diǎn)并確定發(fā)光點(diǎn)的位置；在步驟S7中根據(jù)擴(kuò)展角度獲取裝置6的發(fā)光角度計(jì)算出跟蹤對象1與攝像機(jī)像平面之間的夾角；在步驟S8’中根據(jù)紅外發(fā)光裝置5發(fā)光點(diǎn)的位置，結(jié)合跟蹤對象1與攝像機(jī)像平面之間的夾角得到跟蹤對象1在空間中的位置姿態(tài)。其中，步驟S5、S7和S8’是針對單攝像機(jī)模式而附加的步驟。
在步驟S5中區(qū)分出紅外發(fā)光裝置5和擴(kuò)展角度獲取裝置6的發(fā)光點(diǎn)是通過光點(diǎn)位置和密度分布情況進(jìn)行區(qū)分。所述擴(kuò)展角度獲取裝置6的發(fā)光點(diǎn)的為連續(xù)分布的光點(diǎn)，光點(diǎn)密度較大；所述紅外發(fā)光裝置5的發(fā)光點(diǎn)為孤立的光點(diǎn)，光點(diǎn)密度較小。
在步驟S7中根據(jù)擴(kuò)展角度獲取裝置6的發(fā)光角度計(jì)算出跟蹤對象1與攝像機(jī)像平面之間的夾角，通過預(yù)先設(shè)定的擴(kuò)展角度獲取裝置6的透過透光孔9發(fā)出的光與發(fā)光管7之間的不同夾角的編碼來計(jì)算。所述編碼根據(jù)設(shè)定的不同角度而不同，編碼過程為本領(lǐng)域人員所公知。所述攝像機(jī)像平面可由系統(tǒng)預(yù)先設(shè)定或通過下面描述的標(biāo)定過程獲得。
在步驟S8’中根據(jù)紅外發(fā)光裝置5發(fā)光點(diǎn)的位置，可以判斷出跟蹤對象1的二維坐標(biāo)，結(jié)合跟蹤對象1與攝像機(jī)像平面之間的夾角，可以得到跟蹤對象1的三維坐標(biāo)，從而得到其在空間中的位置姿態(tài)。
正如本領(lǐng)域人員所公知的那樣，圖像處理單元4在進(jìn)行數(shù)據(jù)處理之前需要對攝像機(jī)3的位置進(jìn)行標(biāo)定，即獲取攝像機(jī)3的投影矩陣。因此，該位置姿態(tài)跟蹤系統(tǒng)還包括紅外標(biāo)定板10，用于標(biāo)定攝像機(jī)3的位置。所述紅外燈標(biāo)定板10如圖5所示包括多個(gè)紅外發(fā)光二極管，所述紅外發(fā)光二極管的個(gè)數(shù)至少為5個(gè)，圖5中為8個(gè)。所以，所述數(shù)據(jù)處理流程還包括在步驟S1中使用紅外燈標(biāo)定板10來標(biāo)定攝像機(jī)3的位置，從而獲取攝像機(jī)3投影矩陣。所述攝像機(jī)3的位置為攝像機(jī)3的世界坐標(biāo)。所述步驟S1優(yōu)選在步驟S2接收紅外圖像之前。進(jìn)行標(biāo)定時(shí)，首先將紅外燈標(biāo)定板置于各個(gè)攝像機(jī)3前面，并采集一幀紅外圖像，然后圖像處理單元4根據(jù)已知世界坐標(biāo)的紅外發(fā)光二極管來確定攝像機(jī)3的世界坐標(biāo)，該標(biāo)定過程為本領(lǐng)域人員所公知，在此不做詳細(xì)描述。經(jīng)過標(biāo)定后的攝像機(jī)3理想情況下要保持當(dāng)前位置不變，如果位置改變優(yōu)選要重新進(jìn)行標(biāo)定。
所述圖像處理單元4包括中心處理器，用于控制圖像處理單元4的整體操作，所述中心處理器可以為DSP或FPGA。
所述圖像處理單元4還包括存儲(chǔ)單元，用于存儲(chǔ)圖像處理單元4的數(shù)據(jù)處理流程的程序和執(zhí)行該程序時(shí)所產(chǎn)生的數(shù)據(jù)。所述存儲(chǔ)單元優(yōu)選為Flash存儲(chǔ)器。
所述圖像處理單元4可以在步驟S9中將經(jīng)過數(shù)據(jù)處理后所產(chǎn)生的數(shù)據(jù)輸出，即將包含跟蹤對象1的位置姿態(tài)的數(shù)據(jù)以自定義格式輸出，可以輸出到與圖像處理單元4連接的外部設(shè)備中。如圖1所示，所述外部設(shè)備可以為機(jī)頂盒、家用游戲機(jī)(例如PS2、XBOX)、個(gè)人PC等，并可在電視機(jī)、顯示器、投影儀上顯示出跟蹤對象1的位置姿態(tài)，并可由此顯示用戶的動(dòng)作。
使用本發(fā)明所提供的位置姿態(tài)跟蹤系統(tǒng)時(shí)，首先要確定需要該系統(tǒng)工作在單攝像機(jī)模式還是多攝像機(jī)模式，如果采用單攝像機(jī)模式，則需要在跟蹤對象1上加裝擴(kuò)展角度獲取裝置6，并根據(jù)單攝像機(jī)模式的數(shù)據(jù)處理流程進(jìn)行處理；使用多攝像機(jī)模式時(shí)，則不需要加裝擴(kuò)展角度獲取裝置6，而根據(jù)多攝像機(jī)模式的數(shù)據(jù)處理流程進(jìn)行處理。使用本發(fā)明所提供的位置姿態(tài)跟蹤系統(tǒng)的一個(gè)優(yōu)點(diǎn)就是可以將攝像機(jī)的個(gè)數(shù)大大減小，成本降低。
另一個(gè)優(yōu)點(diǎn)就是通過紅外發(fā)光裝置5的表示跟蹤對象1的輪廓、方向的分布特征，可以根據(jù)多個(gè)發(fā)光點(diǎn)共同確定跟蹤對象1的位置姿態(tài)，而不是根據(jù)獨(dú)立的點(diǎn)來確定，從而減少由于跟蹤獨(dú)立點(diǎn)所導(dǎo)致的混淆的情況。
權(quán)利要求
1.一種位置姿態(tài)跟蹤系統(tǒng)，該系統(tǒng)包括跟蹤對象(1)、圖像采集單元和圖像處理單元(4)；所述跟蹤對象(1)包括紅外發(fā)光裝置(5)，所述圖像采集單元包括用于采集所述紅外發(fā)光裝置(5)發(fā)出的紅外光的紅外截止濾光片(2)以及用于獲取紅外圖像的攝像機(jī)(3)；所述圖像處理單元(4)從所采集的紅外圖像中確定跟蹤對象(1)的當(dāng)前位置姿態(tài)；其中，所述紅外發(fā)光裝置(5)有多個(gè)，分布在跟蹤對象(1)上的表示跟蹤對象(1)的輪廓特征的輪廓點(diǎn)和區(qū)分各個(gè)輪廓點(diǎn)的區(qū)分點(diǎn)；所述圖像處理單元(4)根據(jù)所述紅外發(fā)光裝置(5)的分布特征，從所采集的紅外圖像中分辨出跟蹤對象(1)的當(dāng)前位置姿態(tài)。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述跟蹤對象(1)的紅外發(fā)光裝置(5)為紅外發(fā)光二極管。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述紅外發(fā)光裝置(5)還分布在表示跟蹤對象(1)方向特征的方向點(diǎn)。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述攝像機(jī)(3)為一個(gè)或多個(gè)。
5.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述圖像處理單元(4)對接收到的紅外圖像進(jìn)行數(shù)據(jù)處理，所述數(shù)據(jù)處理流程包括以下步驟接收紅外圖像(S2)；對接收到的紅外圖像進(jìn)行圖像二值化(S3)；搜索所有紅外發(fā)光裝置(5)的發(fā)光點(diǎn)并獲得所有發(fā)光點(diǎn)的連通區(qū)域(S4)；根據(jù)紅外發(fā)光裝置(5)的分布特征，區(qū)分出分布在不同位置的紅外發(fā)光裝置(5)的發(fā)光點(diǎn)并確定發(fā)光點(diǎn)的位置(S6)；根據(jù)紅外發(fā)光裝置(5)發(fā)光點(diǎn)的位置得到跟蹤對象(1)在空間中的位置姿態(tài)(S8)。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述跟蹤對象(1)還包括擴(kuò)展角度獲取裝置(6)；所述擴(kuò)展角度獲取裝置(6)包括發(fā)光管(7)和具有多個(gè)透光孔(9)的遮光外殼(8)；所述發(fā)光管(7)位于跟蹤對象(1)的內(nèi)部，發(fā)出的光中包含紅外光；所述遮光外殼(8)套在跟蹤對象(1)具有發(fā)光管(7)的部分的外面；所述多個(gè)透光孔(9)分為多組，同組透光孔(9)中的每個(gè)透光孔(9)透出的光與發(fā)光管(7)之間的夾角相同，不同組透光孔(9)透出的光與發(fā)光管(7)之間的夾角不同。
7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其中，攝像機(jī)(3)為一個(gè)，所述數(shù)據(jù)處理流程包括以下步驟接收紅外圖像(S2)；對接收到的紅外圖像進(jìn)行圖像二值化(S3)；搜索所有紅外發(fā)光裝置(5)的發(fā)光點(diǎn)并獲得所有發(fā)光點(diǎn)的連通區(qū)域(S4)；區(qū)分出紅外發(fā)光裝置(5)和擴(kuò)展角度獲取裝置(6)的發(fā)光點(diǎn)(S5)；根據(jù)紅外發(fā)光裝置(5)的分布特征，區(qū)分出分布在不同位置的紅外發(fā)光裝置(5)的發(fā)光點(diǎn)并確定發(fā)光點(diǎn)的位置(S6)；根據(jù)擴(kuò)展角度獲取裝置(6)的發(fā)光角度計(jì)算出跟蹤對象(1)與攝像機(jī)像平面之間的夾角(S7)；根據(jù)紅外發(fā)光裝置(5)發(fā)光點(diǎn)的位置，結(jié)合跟蹤對象(1)與攝像機(jī)像平面之間的夾角得到跟蹤對象(1)在空間中的位置姿態(tài)(S8’)。
8.根據(jù)權(quán)利要求1-3和5-7中任意一項(xiàng)所述的系統(tǒng)，其中，所述跟蹤對象(1)為操作手柄。
9.根據(jù)權(quán)利要求5或7所述的系統(tǒng)，其中，該系統(tǒng)還包括紅外標(biāo)定板(10)，包括多個(gè)紅外發(fā)光二極管，所述數(shù)據(jù)處理流程還包括使用紅外燈標(biāo)定板(10)標(biāo)定攝像機(jī)(3)的位置(S1)。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中，所述使用紅外燈標(biāo)定板(10)標(biāo)定攝像機(jī)(3)的位置(S1)的步驟，在接收紅外圖像(S2)的步驟之前。
全文摘要
一種位置姿態(tài)跟蹤系統(tǒng)包括跟蹤對象、圖像采集單元和圖像處理單元，所述跟蹤對象包括紅外發(fā)光裝置，所述圖像采集單元包括紅外截止濾光片和攝像機(jī)；其中，所述紅外發(fā)光裝置有多個(gè)，分布在跟蹤對象上的表示跟蹤對象的輪廓特征的輪廓點(diǎn)和區(qū)分各個(gè)輪廓點(diǎn)的區(qū)分點(diǎn)；所述圖像處理單元根據(jù)所述紅外發(fā)光裝置的分布特征，從所采集到的紅外圖像中分辨出跟蹤對象的當(dāng)前位置姿態(tài)。本發(fā)明所提供的位置姿態(tài)跟蹤系統(tǒng)可以僅采用1－2個(gè)攝像機(jī)，設(shè)備簡化，并且后期處理過程簡單，大大降低了成本。
文檔編號G01B11/03GK1794010SQ20051013458
公開日2006年6月28日 申請日期2005年12月19日 優(yōu)先權(quán)日2005年12月19日
發(fā)明者魏舜儀, 翁冬冬, 雷錦超, 李暉 申請人:北京威亞視訊科技有限公司