專利名稱：包括用于確定物體的二維坐標(biāo)的方法和設(shè)備的模擬器的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及包括用于確定物體的ニ維坐標(biāo)的方法和設(shè)備的模擬器。更具體但不排它地，本發(fā)明涉及用于訓(xùn)練手工工人的模擬器。
背景技術(shù)：
傳統(tǒng)上，諸如水管エ之類的手工工人作為學(xué)徒學(xué)習(xí)他們的職業(yè)技能。學(xué)徒通過嘗試復(fù)制他們師傅的工作來學(xué)習(xí)各種必要技能。學(xué)徒制提供了ー種集中式個(gè)人訓(xùn)練經(jīng)歷。然而，由于師傅的時(shí)間分散在多個(gè)學(xué)員上，因此這種訓(xùn)練形式不能擴(kuò)大規(guī)模。此外，至少在訓(xùn)練的早期階段，學(xué)徒會(huì)犯錯(cuò)誤，這會(huì)使雇主的花費(fèi)增加，并且會(huì)妨礙他/她在將來雇用學(xué)徒。為了嘗試縮短學(xué)徒制最初的花費(fèi)大的階段，開發(fā)出了職業(yè)訓(xùn)練課程，從而給予學(xué)員作為手工工人開始工作所需的初始經(jīng)歷。然而，由于學(xué)員在早期階段犯大量的錯(cuò)誤，因此這些課程承受相當(dāng)高的費(fèi)用。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供ー種用于確定物體的ニ維坐標(biāo)的設(shè)備，包括第一照相機(jī)，用于產(chǎn)生所述物體的紅外圖像；第二照相機(jī)，用于產(chǎn)生所述物體的校準(zhǔn)圖像和所述物體的圖像流；第一計(jì)算模塊，用于產(chǎn)生訓(xùn)練圖像，被配置為使用活動(dòng)輪廓模塊從所述紅外圖像中提取與所述物體的邊緣相對應(yīng)的矢量，并將所述矢量應(yīng)用于所述校準(zhǔn)圖像以產(chǎn)生所述訓(xùn)練圖像；自適應(yīng)相關(guān)濾波器，根據(jù)所述訓(xùn)練圖像被構(gòu)建而成；以及第ニ計(jì)算模塊，被配置為將來自所述第二照相機(jī)中的所述圖像流的至少一幅圖像與所述自適應(yīng)相關(guān)濾波器相關(guān)，用于通過將所述自適應(yīng)相關(guān)濾波器的相關(guān)性平面中的最大峰值與檢測閾值進(jìn)行比較來確定所述物體的x-y坐標(biāo)。所述設(shè)備可以通過向來自紅外照相機(jī)的圖像應(yīng)用活動(dòng)輪廓模塊，僅使用一個(gè)紅外照相機(jī)準(zhǔn)確跟蹤所述物體，其中來自紅外照相機(jī)的圖像之后被用于創(chuàng)建訓(xùn)練圖像以用于所述自適應(yīng)相關(guān)濾波器。在現(xiàn)有技術(shù)中，多個(gè)紅外照相機(jī)被用于跟蹤所述物體。因此，本發(fā)明通過消除對多個(gè)昂貴的紅外照相機(jī)的需要來降低跟蹤物體的成本?；顒?dòng)輪廓模型與紅外照相機(jī)協(xié)同工作，物體與人類之間的對比允許產(chǎn)生與物體的邊緣相對應(yīng)的準(zhǔn)確矢量。因此，所述設(shè)備在諸如起居室之類的雜亂環(huán)境中工作良好。因此，本發(fā)明可以使用標(biāo)準(zhǔn)照相機(jī)，例如像VGA照相機(jī)之類的彩色照相機(jī)，其提供可以由所述設(shè)備使用的可見光譜的圖像。優(yōu)選地，多個(gè)旋轉(zhuǎn)訓(xùn)練圖像被產(chǎn)生，所述旋轉(zhuǎn)訓(xùn)練圖像通過旋轉(zhuǎn)所述訓(xùn)練圖像被構(gòu)建而成，并且所述自適應(yīng)濾波器根據(jù)所述旋轉(zhuǎn)訓(xùn)練圖像被構(gòu)建而成。所述設(shè)備可以通過旋轉(zhuǎn)所述訓(xùn)練圖像保持對所述物體的跟蹤，即可以在不以新訓(xùn) 練圖像更新自適應(yīng)相關(guān)濾波器的情況下在較長時(shí)間段內(nèi)準(zhǔn)確且ー貫地測量所述物體的位置。所述旋轉(zhuǎn)訓(xùn)練圖像増大了所述設(shè)備對定向改變、尺寸改變和位置的容忍度。
優(yōu)選地，訓(xùn)練圖像或旋轉(zhuǎn)訓(xùn)練圖像被周期性地產(chǎn)生以更新所述自適應(yīng)相關(guān)濾波器。所述自適應(yīng)相關(guān)濾波器可以在每0.5至I. 5秒之間被更新，或更優(yōu)選地，毎秒被更新。通過以新的訓(xùn)練圖像更新所述自適應(yīng)相關(guān)濾波器，并使用旋轉(zhuǎn)訓(xùn)練圖像的集合，所述自適應(yīng)相關(guān)濾波器被重新訓(xùn)練。這提高了所述自適應(yīng)相關(guān)濾波器針對來自第二照相機(jī)的后續(xù)圖像的準(zhǔn)確度。所述自適應(yīng)相關(guān)濾波器可以是MACH濾波器或OT-MACH濾波器等。根據(jù)本發(fā)明的第二方面，提供ー種用于確定物體的ニ維坐標(biāo)的方法，所述方法包括以下步驟從紅外照相機(jī)獲取包括所述物體的紅外圖像；從一照相機(jī)獲取包括所述物體的圖像流和包括所述物體的校準(zhǔn)圖像；使用活動(dòng)輪廓模型根據(jù)所述紅外圖像產(chǎn)生與所述物體的邊緣相對應(yīng)的矢量；通過使用所述矢量從所述校準(zhǔn)圖像提取所述物體來產(chǎn)生訓(xùn)練圖像；使用所述訓(xùn)練圖像構(gòu)建自適應(yīng)相關(guān)濾波器；以及通過將所述圖像流中的至少一幅圖像與所述自適應(yīng)相關(guān)濾波器相關(guān)，確定所述物體在相關(guān)性圖中的x-y坐標(biāo)。所述方法可以進(jìn)一歩包括產(chǎn)生多個(gè)旋轉(zhuǎn)訓(xùn)練圖像和根據(jù)所述旋轉(zhuǎn)訓(xùn)練圖像構(gòu)建所述自適應(yīng)相關(guān)濾波器的步驟，所述旋轉(zhuǎn)訓(xùn)練圖像集合通過旋轉(zhuǎn)所述訓(xùn)練圖像構(gòu)建而成。所述訓(xùn)練圖像或多個(gè)旋轉(zhuǎn)訓(xùn)練圖像可以周期地更新所述自適應(yīng)相關(guān)濾波器。所述自適應(yīng)相關(guān)濾波器可以在每0. 5至I. 5秒之間被更新，或更優(yōu)選地，毎秒被更新。一種呈現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序可以被配置為執(zhí)行根據(jù)本發(fā)明的第二方面所述的方法。


現(xiàn)在將以示例方式參考附圖描述本發(fā)明的實(shí)施例，附圖中圖I示出包括計(jì)算機(jī)、安裝在頭部的顯示器、控制器和照相機(jī)単元的模擬器；圖2圖示了示出本發(fā)明實(shí)施例的測量控制器的X軸和y軸坐標(biāo)的方法的流程圖；圖3示出圖2的實(shí)施例的OT-MACH過濾器；并且圖4示出測量控制器的z軸的方法僅供參考。
具體實(shí)施例方式圖I示出模擬器I的概圖。模擬器I包括控制器100、計(jì)算機(jī)200、照相機(jī)単元300和安裝在頭部的顯示器400。為了進(jìn)行描述，計(jì)算機(jī)200被配置為運(yùn)行對諸如使用噴燈或彎曲管道之類的訓(xùn)練場景進(jìn)行模擬的計(jì)算機(jī)程序。計(jì)算機(jī)200從控制器100和照相機(jī)単元300接收數(shù)據(jù)?？刂破?00包括測量諸如加速度和方位之類的空間屬性并測量用戶輸入的各種傳感器。控制器100將來自傳感器的數(shù)據(jù)輸出到計(jì)算機(jī)200。照相機(jī)単元300包括用于圖像獲取的第一照相機(jī)310和紅外第二照相機(jī)320。照相機(jī)単元300將圖像數(shù)據(jù)輸出到計(jì)算機(jī)200。
計(jì)算機(jī)200被配置為處理來自控制器100和照相機(jī)単元300的、作為計(jì)算機(jī)程序中的輸入變量的數(shù)據(jù)?？刂破?00提供諸如加速度和方位之類的空間數(shù)據(jù)以及用戶輸入，而照相機(jī)単元300提供可以由根據(jù)本發(fā)明的方法處理以跟蹤控制器100的圖像。因此，可以對訓(xùn)練場景進(jìn)行模擬的計(jì)算機(jī)程序能給用戶提供諸如使用噴燈或彎曲管道之類的現(xiàn)實(shí)技術(shù)的浸入式準(zhǔn)確模擬。以下更詳細(xì)地描述跟蹤控制器100的方法。
跟蹤在正常使用時(shí)，模擬器I設(shè)立在屋子內(nèi)，其中照相機(jī)単元300面對控制器100。一般來說，照相機(jī)単元300會(huì)靠墻布置，并且面對位于屋子中央的控制器100?？刂破?00由用戶持有。為了進(jìn)行描述，三個(gè)維度被表示為沿著笛卡爾X軸、y軸和z軸，其中z軸在從照相機(jī)単元300到控制器100的方向上(即該軸平行于地板)。X軸和y軸都與z軸正交，并且彼此正交。計(jì)算機(jī)200被配置為經(jīng)由第一方法計(jì)算控制器的X軸和y軸坐標(biāo)，并且經(jīng)由第二方法計(jì)算z軸坐標(biāo)?，F(xiàn)在將參考圖2至圖3描述第一方法，即計(jì)算控制器100的X軸和y軸坐標(biāo)的方法。該方法使用來自照相機(jī)300的圖像數(shù)據(jù)在計(jì)算機(jī)200上執(zhí)行。照相機(jī)単元300經(jīng)由第一照相機(jī)310獲取校準(zhǔn)圖像，并經(jīng)由紅外第二照相機(jī)320獲取紅外圖像。如上所述，照相機(jī)單元300面對由用戶持有的控制器100。因此，校準(zhǔn)圖像和紅外圖像包括控制器100和用戶。第一方法的概觀示于圖2中。作為預(yù)備步驟，經(jīng)由時(shí)間差分的紅外圖像背景減法將控制器100和用戶與常背景區(qū)分開。這產(chǎn)生了處理后的紅外圖像，僅包括控制器和用戶，適用于后續(xù)步驟。向處理后的紅外圖像應(yīng)用活動(dòng)輪廓模型，以產(chǎn)生勾畫控制器110邊緣的輪廓的準(zhǔn)確矢量。由于在控制器Iio上使用了 IR反射涂層，因此在處理后的紅外圖像中，控制器110可以容易地與用戶區(qū)分開?；顒?dòng)輪廓模型致力于能量最小化原理，以在處理后的紅外圖像中確定控制器100邊緣的矢量。每個(gè)矢量點(diǎn)的能量基于其相鄰的像素來計(jì)算。計(jì)算高斯差分(DoG)濾波圖像，以用于突出控制器100的邊緣。這一能量最小化過程是迭代且連續(xù)的過程，直到準(zhǔn)確計(jì)算出控制器100邊緣的矢量。為每個(gè)矢量點(diǎn)計(jì)算并迭代的能量函數(shù)以下式描述，其中i是迭代次數(shù)，從I至n，n是矢量上點(diǎn)的數(shù)目，并且是計(jì)算出的矢量點(diǎn)的能量。 E'*vector = a.Emt (vt) + P.Eext (V1)計(jì)算機(jī)200包括用于修改準(zhǔn)確計(jì)算控制器100邊緣的矢量所需的迭代次數(shù)i的配
置文件。一旦計(jì)算出控制器110邊緣的矢量，就向來自第一照相機(jī)的校準(zhǔn)圖像應(yīng)用該矢量，以提取控制器110。然后，向形成訓(xùn)練圖像的適用于OT-MACH濾波器的空白背景的中心應(yīng)用所提取的控制器110。在該實(shí)施例中，對訓(xùn)練圖像進(jìn)行進(jìn)ー步處理，以產(chǎn)生用于OT-MACH濾波器的多個(gè)旋轉(zhuǎn)訓(xùn)練圖像。例如，在-6度到+6度之間以兩度増量旋轉(zhuǎn)訓(xùn)練圖像，從而獲得7個(gè)旋轉(zhuǎn)訓(xùn)練圖像。旋轉(zhuǎn)訓(xùn)練圖像被多路復(fù)用，并輸入到OT-MACH濾波器?，F(xiàn)在將參考圖3更詳細(xì)地描述OT-MACH濾波器的操作。OT-MACH (最優(yōu)折衷最大平均相關(guān)高度)濾波器使用FFTW (西方最快快速傅立葉變換)庫在計(jì)算機(jī)200上執(zhí)行。FFTW庫是用于計(jì)算一維或多維離散傅立葉變換的C子程序庫。FFTW庫與用于計(jì)算機(jī)版本的英特爾(RTM) OpenCV庫接ロ，使得OT-MACH濾波器在處理時(shí)間和頻率上更有效。
如圖3左手列所示，OT-MACH濾波器接收旋轉(zhuǎn)訓(xùn)練圖像的集合h = lSN，其中N是旋轉(zhuǎn)訓(xùn)練圖像的數(shù)目。對每個(gè)旋轉(zhuǎn)訓(xùn)練圖像進(jìn)行傅立葉變換FT(Ti)。FFTW的輸出并不是移位的FFT。FFT的零分量向頻譜中心的移位使用以下表示為C的函數(shù)來執(zhí)行。cvFFTWShifi ()該函數(shù)具有將左上象限與左下象限交換并將右上象限與左下象限交換的效果。OT-MACH以下式表述，其中mx是頻域中旋轉(zhuǎn)訓(xùn)練圖像矢量X1 $N的均值，C是選擇的任意噪聲模型的功率譜密度對角矩陣，Dx是旋轉(zhuǎn)訓(xùn)練圖像的對角平均功率譜密度，并且Sx表示旋轉(zhuǎn)訓(xùn)練圖像集合的相似矩陣。這些參數(shù)可從訓(xùn)練圖像得出。a、P和Y是非負(fù)的最優(yōu)折衷參數(shù)，其允許OT-MACH濾波器針對諸如亮度級(jí)之類的外部條件進(jìn)行調(diào)整。a
和Y可以在配置文件中修改。
權(quán)利要求
1.ー種用于確定物體的ニ維坐標(biāo)的設(shè)備，包括 第一照相機(jī)，用于產(chǎn)生所述物體的紅外圖像； 第二照相機(jī)，用于產(chǎn)生所述物體的校準(zhǔn)圖像和所述物體的圖像流； 第一計(jì)算模塊，用于產(chǎn)生訓(xùn)練圖像，被配置為使用活動(dòng)輪廓模塊從所述紅外圖像中提取與所述物體的邊緣相對應(yīng)的矢量，并將所述矢量應(yīng)用于所述校準(zhǔn)圖像以產(chǎn)生所述訓(xùn)練圖像； 自適應(yīng)相關(guān)濾波器，根據(jù)所述訓(xùn)練圖像被構(gòu)建而成；以及 第二計(jì)算模塊，被配置為將來自所述第二照相機(jī)中的所述圖像流的至少一幅圖像與所述自適應(yīng)相關(guān)濾波器相關(guān)，用于通過將所述自適應(yīng)相關(guān)濾波器的相關(guān)性平面中的最大峰值與檢測閾值進(jìn)行比較來確定所述物體的x_y坐標(biāo)。
2.根據(jù)權(quán)利要求I所述的設(shè)備，其中多個(gè)旋轉(zhuǎn)訓(xùn)練圖像被產(chǎn)生，所述旋轉(zhuǎn)訓(xùn)練圖像通過旋轉(zhuǎn)所述訓(xùn)練圖像被構(gòu)建而成，并且所述自適應(yīng)相關(guān)濾波器根據(jù)所述旋轉(zhuǎn)訓(xùn)練圖像被構(gòu)建而成。
3.根據(jù)權(quán)利要求I所述的設(shè)備，其中所述訓(xùn)練圖像被周期性地產(chǎn)生以更新所述自適應(yīng)相關(guān)濾波器。
4.根據(jù)權(quán)利要求2所述的設(shè)備，其中所述旋轉(zhuǎn)訓(xùn)練圖像被周期性地產(chǎn)生以更新所述自適應(yīng)相關(guān)濾波器。
5.根據(jù)權(quán)利要求3或4所述的設(shè)備，其中所述自適應(yīng)相關(guān)濾波器在每0.5秒至I. 5秒之間被更新。
6.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的設(shè)備，其中所述自適應(yīng)相關(guān)濾波器是OT-MACH濾波器。
7.ー種用于確定物體的ニ維坐標(biāo)的方法，所述方法包括以下步驟 從紅外照相機(jī)獲取包括所述物體的紅外圖像； 從一照相機(jī)獲取包括所述物體的圖像流和包括所述物體的校準(zhǔn)圖像； 使用活動(dòng)輪廓模型根據(jù)所述紅外圖像產(chǎn)生與所述物體的邊緣相對應(yīng)的矢量； 通過使用所述矢量從所述校準(zhǔn)圖像提取所述物體來產(chǎn)生訓(xùn)練圖像； 使用所述訓(xùn)練圖像構(gòu)建自適應(yīng)相關(guān)濾波器；以及 通過將所述圖像流中的至少一幅圖像與所述自適應(yīng)相關(guān)濾波器相關(guān)，確定所述物體在相關(guān)性圖中的x-y坐標(biāo)。
8.根據(jù)權(quán)利要求7所述的方法，進(jìn)ー步包括產(chǎn)生多個(gè)旋轉(zhuǎn)訓(xùn)練圖像和根據(jù)所述旋轉(zhuǎn)訓(xùn)練圖像構(gòu)建所述自適應(yīng)相關(guān)濾波器的步驟，所述旋轉(zhuǎn)訓(xùn)練圖像通過旋轉(zhuǎn)所述訓(xùn)練圖像構(gòu)建rfu 。
9.根據(jù)權(quán)利要求7所述的方法，其中周期性地產(chǎn)生所述訓(xùn)練圖像以更新所述自適應(yīng)相關(guān)濾波器。
10.根據(jù)權(quán)利要求8所述的方法，其中周期性地產(chǎn)生所述旋轉(zhuǎn)訓(xùn)練圖像以更新所述自適應(yīng)相關(guān)濾波器。
11.根據(jù)權(quán)利要求7至10中任一項(xiàng)所述的方法，其中所述自適應(yīng)相關(guān)濾波器在每0.5秒至I. 5秒之間被更新。
12.根據(jù)權(quán)利要求7至11中任一項(xiàng)所述的方法，其中所述自適應(yīng)相關(guān)濾波器是OT-MACH濾波器。
13.一種計(jì)算機(jī)程序，呈現(xiàn)在計(jì)算機(jī)可讀介質(zhì)上，被配置為執(zhí)行根據(jù)權(quán)利要求7至12中任一項(xiàng)所述的方法。
14.ー種在本文中參考任ー附圖充分描述并在任一附圖中不出的設(shè)備。
15.—種在本文中參考任ー附圖充分描述并在任一附圖中不出的方法。
全文摘要
本發(fā)明涉及一種模擬器。所述模擬器包括用于確定物體的二維坐標(biāo)的方法和設(shè)備。提供用于捕獲控制器的圖像的照相機(jī)和紅外照相機(jī)。使用活動(dòng)輪廓模型對紅外圖像進(jìn)行處理以根據(jù)來自所述照相機(jī)的圖像產(chǎn)生訓(xùn)練圖像。根據(jù)所述訓(xùn)練圖像構(gòu)建自適應(yīng)相關(guān)濾波器，所述自適應(yīng)相關(guān)濾波器與來自所述照相機(jī)的圖像相關(guān)以測量所述控制器的位置。
文檔編號(hào)G06T7/00GK102667858SQ201180003615
公開日2012年9月12日 申請日期2011年11月10日 優(yōu)先權(quán)日2010年11月10日
發(fā)明者普拉杰·卡馬特, 簡·特倫斯基 申請人:特里顧問有限公司