專利名稱：信息處理設(shè)備和信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信息處理設(shè)備和信息處理方法。本發(fā)明尤其涉及一種適用于測量三維形狀已知的物體的位置姿勢的技術(shù)。
背景技術(shù)：
近年來，通過機器人代替進行諸如工業(yè)產(chǎn)品的組裝等的過去用手工進行的復(fù)雜任務(wù)。在機器人組裝工業(yè)產(chǎn)品時，機器人通過諸如手等的端部執(zhí)行器把持組件，因此變得需要精確測量組件和機器人(即，機器手)之間的相對位置姿勢。非專利文獻I (Y. Hel-Or and M. Werman, “Pose estimation by fusing noisydata of different dimensions，，，IEEE Transactions on Pattern Analysis and MachineIntelligence, vol. 17, No. 2, pp. 195 - 201,1995)說明了一種用于同時使用利用照相機所獲取的二維圖像(例如，灰度圖像或彩色圖像)和利用距離傳感器所獲取到的距離圖像來精確測量物體的位置姿勢的技術(shù)的例子。根據(jù)非專利文獻1，通過將二維圖像上的特征視為深度不確定的三維點、并且與距離圖像中的三維點組一起使用這類二維圖像，來估計物體的位置姿勢。此外，非專利文獻2 (Tateno, Kotake, Uchiyama, “A Model fitting methodusing intensity and range images for bin-picking applications，，，13th Meeting onImageand Recognition Understanding(MIRU2010),0S-1, 2010)說明了一種用于如下精確測量物體的位置姿勢的方法。通過基于最大似然估計的公式，同時優(yōu)化在二維灰度圖像中所測量到的誤差和在距離圖像空間中所測量到的誤差。傳統(tǒng)技術(shù)，即用于使用二維圖像和距離圖像兩者來估計位置姿勢的方法假定如下。傳統(tǒng)技術(shù)假定在拍攝二維圖像時和在拍攝距離圖像時之間，攝像設(shè)備和測量對象物體之間的相對位置關(guān)系不會改變。另一方面，如果使用圖案投影方法拍攝距離圖像，則對于二維圖像和距離圖像必須采用不同的照明模式。因此實際上不可能在拍攝距離圖像的同時拍攝灰度圖像。結(jié)果，在下面的情況下，在拍攝二維圖像時和在拍攝距離圖像時，攝像設(shè)備和測量對象物體之間的位置關(guān)系變得不同。對于安裝在機器臂上的運動攝像設(shè)備測量物體的位置姿勢的情況和測量在輸送帶上移動的物體的位置姿勢的情況，該位置關(guān)系變得不同。如果使用如上所述的傳統(tǒng)技術(shù)來估計物體位置姿勢，則精度降低，并且不能進行估計處理。另一方面，如果使用機器臂移動攝像設(shè)備或者測量對象物體，則可以通過參考機器人運動信息獲取在攝像設(shè)備拍攝各個圖像時之間的攝像設(shè)備或測量對象物體的移位量。例如，日本特開2005-201824說明了一種被稱為運動立體攝影(motion stereo)的技術(shù)。這一技術(shù)使用由在拍攝圖像時之間的移動所生成的位置姿勢變化量的移位量。從而根據(jù)攝像時間、以及在該攝像時間時的位置姿勢不同的多個圖像，估計測量對象物體的位置姿勢。然而，采用機器人運動信息的傳統(tǒng)運動立體攝影技術(shù)假定僅使用二維圖像。結(jié)果，該技術(shù)不能應(yīng)用于下面的情況使用距離圖像、或者使用二維圖像和距離圖像兩者來估計位置姿勢。

發(fā)明內(nèi)容
考慮到上述情況做出本發(fā)明。本發(fā)明旨在一種即使在攝像設(shè)備和測量對象物體的位置姿勢之間的關(guān)系中的至少一個高速變化時也能夠使用二維圖像和距離圖像來精確測量物體的位置姿勢的信息處理設(shè)備。根據(jù)本發(fā)明的一個方面，一種信息處理設(shè)備，用于使用能夠拍攝二維圖像和距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理設(shè)備包括數(shù)據(jù)存儲單元，用于存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢；二維圖像輸入單元，用于輸入所述攝像設(shè)備在第一位置姿勢所拍攝的二維圖像；距離圖像輸入單元，用于輸入所述攝像設(shè)備在第二位置姿勢所拍攝的距離圖像；獲取單元，用于獲取作為所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息的位置姿勢差信息；以及計算單元，用于基于所述位置姿勢差信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與所述二維圖像和所述距離圖像中的相應(yīng)形狀相匹配。根據(jù)本發(fā)明的一個方面，一種信息處理設(shè)備，用于使用能夠拍攝二維圖像和距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理設(shè)備包括數(shù)據(jù)存儲單元，用于存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢；二維圖像輸入單元，用于輸入在所述物體處于第一位置姿勢時所拍攝的二維圖像；距離圖像輸入單元，用于輸入在所述物體處于第二位置姿勢時所拍攝的距離圖像；獲取單元，用于獲取作為所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息的位置姿勢差信息；以及計算單元，用于基于所述位置姿勢差信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與所述二維圖像和所述距離圖像中的相應(yīng)形狀相匹配。根據(jù)本發(fā)明的一個方面，一種信息處理設(shè)備，用于使用能夠拍攝距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理設(shè)備包括數(shù)據(jù)存儲單元，用于存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢；距離圖像輸入單元，用于輸入所述攝像設(shè)備在第一位置姿勢所拍攝的第一距離圖像、以及所述攝像設(shè)備在第二位置姿勢所拍攝的第二距離圖像；獲取單元，用于獲取所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息；以及計算單元，用于基于所述相對位置姿勢信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與在所述第一位置姿勢和所述第二位置姿勢所拍攝的距離圖像中的相應(yīng)形狀相匹配。根據(jù)本發(fā)明的一個方面，一種信息處理設(shè)備，用于使用能夠拍攝距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理設(shè)備包括數(shù)據(jù)存儲單元，用于存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢；距離圖像輸入單元，用于輸入在所述物體處于第一位置姿勢時所拍攝的第一距離圖像、以及在所述物體處于第二位置姿勢時所拍攝的第二距離圖像；獲取單元，用于獲取所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息；以及計算單元，用于基于所述相對位置姿勢信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與在所述第一位置姿勢和所述第二位置姿勢所拍攝的距離圖像中的相應(yīng)形狀相匹配。根據(jù)本發(fā)明的另一方面，一種信息處理方法，用于使用能夠拍攝二維圖像和距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理方法包括以下步驟存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢；輸入所述攝像設(shè)備在第一位置姿勢所拍攝的二維圖像；輸入所述攝像設(shè)備在第二位置姿勢所拍攝的距離圖像；獲取作為所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息的位置姿勢差信息；以及基于所述位置姿勢差信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與所述二維圖像和所述距離圖像中的相應(yīng)形狀相匹配。根據(jù)本發(fā)明的另一方面，一種信息處理方法，用于使用能夠拍攝二維圖像和距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理方法包括以下步驟存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢；輸入在所述物體處于第一位置姿勢時所拍攝的二維圖像；輸入在所述物體處于第二位置姿勢時所拍攝的距離圖像；獲取作為所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息的位置姿勢差信息；以及基于所述位置姿勢差信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與所述二維圖像和所述距離圖像中的相應(yīng)形狀相匹配。根據(jù)本發(fā)明的另一方面，一種信息處理方法，用于使用能夠拍攝距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理方法包括以下步驟存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢；輸入作為所述攝像設(shè)備在第一位置姿勢所拍攝的距離圖像的第一距離圖像、以及作為所述攝像設(shè)備在第二位置姿勢所拍攝的距離圖像的第二距離圖像；獲取所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息；以及基于所述相對位置姿勢信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與在所述第一位置姿勢和所述第二位置姿勢所拍攝的距離圖像中的相應(yīng)形狀相匹配。根據(jù)本發(fā)明的另一方面，一種信息處理方法，用于使用能夠拍攝距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理方法包括以下步驟存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢；輸入在所述物體處于第一位置姿勢時所拍攝的第一距離圖像、以及在所述物體處于第二位置姿勢時所拍攝的第二距離圖像；獲取所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息；以及基于所述相對位置姿勢信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與在所述第一位置姿勢和所述第二位置姿勢所拍攝的距離圖像中的相應(yīng)形狀相匹配。通過以下參考附圖對典型實施例的詳細(xì)說明，本發(fā)明的其它特征和方面將顯而易見。


包含在說明書中并構(gòu)成說明書的一部分的附圖，示出本發(fā)明的典型實施例、特征和方面，并與說明書一起用來解釋本發(fā)明的原理。圖1示出根據(jù)本發(fā)明典型實施例的信息處理設(shè)備的結(jié)構(gòu)例子。圖2A和2B示出機器臂、攝像設(shè)備和要測量的組件之間的關(guān)系。圖3示出在攝像時間之間移動的攝像設(shè)備。圖4是示出用于進行位置姿勢估計方法的處理的流程圖。
圖5是示出用于計算位置姿勢的詳細(xì)處理的流程圖。
具體實施例方式下面將參考附圖詳細(xì)說明本發(fā)明的各種典型實施例、特征和方面。使用手眼機器人的典型實施例根據(jù)本典型實施例，在下面的場景中，對于物體位置姿勢估計方法使用信息設(shè)備。如圖2A所示移動在末端安裝有攝像設(shè)備的機器臂來拍攝固定的測量物體50的圖像。根據(jù)本典型實施例，攝像設(shè)備對于進行一次圖像獲取，首先拍攝灰度圖像然后拍攝距離圖像。大體上，攝像設(shè)備在與測量距離圖像時不同的時間拍攝灰度圖像。結(jié)果，如果攝像設(shè)備在時間之間移動，則在攝像設(shè)備拍攝~■維圖像時和在拍攝距尚圖像時，物體和攝像設(shè)備之間的相對位置姿勢變得不同。圖3示出這一不同的相對位置姿勢310和相對位置姿勢320。信息處理設(shè)備這樣從機器臂的運動信息獲取在拍攝這兩個圖像之間移動的攝像設(shè)備的位置姿勢移位量。信息處理設(shè)備然后將所獲取的信息與二維圖像和距離圖像一起使用，從而使得信息處理設(shè)備精確估計攝像設(shè)備和測量物體50之間的相對位置姿勢。圖1示出根據(jù)本發(fā)明典型實施例的信息處理設(shè)備I的結(jié)構(gòu)例子。信息處理設(shè)備I使用能夠拍攝二維圖像和距離圖像的攝像設(shè)備來估計測量物體的三維位置姿勢。參考圖1，信息處理設(shè)備包括位置姿勢估計校驗數(shù)據(jù)存儲單元110、二維圖像輸入單元120、距離圖像輸入單元130、粗略位置姿勢輸入單元140、相對位置姿勢信息輸入單元150以及位置姿勢計算單元160。位置姿勢估計校驗數(shù)據(jù)存儲單元110存儲位置姿勢估計校驗數(shù)據(jù)10，并且與位置姿勢計算單元160連接。二維圖像拍攝設(shè)備20與二維圖像輸入單元120連接。距離圖像拍攝設(shè)備30與距離圖像輸入單元130連接。機器人40與相對位置姿勢信息輸入單元150連接。根據(jù)本典型實施例，如果存儲在位置姿勢估計校驗數(shù)據(jù)存儲單元110中的位置姿勢估計校驗數(shù)據(jù)10適于要實際拍攝其圖像的觀察物體的形狀，則可應(yīng)用信息處理設(shè)備I。接著說明構(gòu)成信息處理設(shè)備I的各單元。位置姿勢估計校驗數(shù)據(jù)10是表示要測量的物體(以下稱為測量物體或者簡稱為物體)的形狀的三維幾何信息。下面，將位置姿勢估計校驗數(shù)據(jù)10稱為三維形狀模型。通過與由點集合所構(gòu)成的或者通過連接點所構(gòu)成的平面有關(guān)的信息、以及與構(gòu)成該平面的線段有關(guān)的信息來定義三維形狀模型。將三維形狀模型存儲在位置姿勢估計校驗數(shù)據(jù)存儲單元110中，并且將其輸入給位置姿勢計算單元160。
二維圖像拍攝設(shè)備20是用于拍攝可以是灰度圖像或彩色圖像的正常二維圖像的照相機。根據(jù)本典型實施例，二維圖像拍攝設(shè)備20輸出灰度圖像。將處于第一位置姿勢的二維圖像拍攝設(shè)備20所拍攝的二維圖像經(jīng)由二維圖像輸入單元120輸入給信息處理設(shè)備
Io通過參考要使用的裝置的說明書，獲取照相機的焦距和主點以及諸如鏡頭變形參數(shù)等的內(nèi)部參數(shù)。此外，使用[R.Y.Tsai,“A versatile camera calibration techniquefor high-accuracy 3D machine vision metrology using off-the-shelf TV camerasand lenses”, IEEE Journal of Robotics and Automation, vol. RA-3,No. 4,1987]中所述的方法預(yù)先校準(zhǔn)照相機的焦距、主點和內(nèi)部參數(shù)。距離圖像拍攝設(shè)備30以第二位置姿勢拍攝距離圖像，以測量測量物體表面上的點的三維信息。距離圖像拍攝設(shè)備30然后經(jīng)由距離圖像輸入單元130將所拍攝的距離圖像輸入給信息處理設(shè)備I。使用輸出距離圖像的距離傳感器作為距離圖像拍攝設(shè)備30。距離圖像是各像素具有深度信息的圖像。根據(jù)本典型實施例，使用單觸主動式距離傳感器。這類距離傳感器利用配有不同波長的顏色識別(ID)的多狹縫線照射物體。距離傳感器然后使用照相機拍攝反射光，并且采用三角測量來測量距離。然而，距離傳感器不局限于以上所述，并且可以是使用光的飛行時間的飛行時間型距離傳感器。此外，傳感器可以是使用三角測量、根據(jù)通過立體照相機所拍攝的圖像來計算各像素的深度的被動式傳感器。此外，在不會改變本發(fā)明的本質(zhì)的情況下，可以使用能夠測量距離圖像的任何類型的傳感器。距離圖像拍攝設(shè)備30因此經(jīng)由距離圖像輸入單元130將測量的距離圖像輸入給信息處理設(shè)備I。根據(jù)本典型實施例，距離圖像拍攝設(shè)備30的光軸與二維圖像拍攝設(shè)備20的光軸相一致。此外，從二維圖像拍攝設(shè)備20輸出的灰度圖像中各像素和從距離圖像拍攝設(shè)備30輸出的距離圖像中的各像素之間的對應(yīng)關(guān)系是已知的。機器人40包括由轉(zhuǎn)動軸或平移軸構(gòu)成的多個可移動軸。機器人40是用于改變包括二維圖像拍攝設(shè)備20和距離圖像拍攝設(shè)備30的攝像設(shè)備的位置姿勢的可移動裝置。下面，將包括二維圖像拍攝設(shè)備20和距離圖像拍攝設(shè)備30的裝置稱為攝像設(shè)備230。根據(jù)本典型實施例，使用具有由六個可轉(zhuǎn)動軸構(gòu)成的六自由度的機器臂，并且將攝像設(shè)備230安裝在機器臂的末端。將與這六個可轉(zhuǎn)動軸有關(guān)的信息經(jīng)由相對位置姿勢信息輸入單兀150輸入給信息處理設(shè)備I。預(yù)先計算裝配在臂的末端的攝像設(shè)備230的從臂的末端到攝像設(shè)備230的位置姿勢，作為攝像設(shè)備230的偏移位置姿勢，并且將其存儲為不變值?？梢酝ㄟ^使用偏移位置姿勢而偏移臂的末端的位置姿勢，來計算攝像設(shè)備230的位置姿勢。作為機器人40所使用的裝置不局限于以上所述的裝置，并且可以是具有7自由度的垂直多關(guān)節(jié)機器人、標(biāo)量型機器人或并聯(lián)機器人。機器人可以是任何類型的，只要機器人包括具有轉(zhuǎn)動運動軸或平移運動軸的多個可移動軸，并且能夠獲取運動信息。粗略位置姿勢輸入單元140輸入物體相對于包括二維圖像拍攝設(shè)備20和距離圖像拍攝設(shè)備30的攝像設(shè)備230的位置姿勢的粗略值。根據(jù)本典型實施例，信息處理設(shè)備I在時間軸的方向上連續(xù)進行測量。因此使用前一測量值(即前一次所測量出的值)作為粗略位置姿勢。然而，用于輸入位置姿勢的粗略值的方法不局限于以上所述的方法。例如，可以使用時序濾波器以基于過去所測量出的位置姿勢來估計物體的速度或角速度。然后可以根據(jù)過去的位置姿勢、以及估計的速度和加速度來預(yù)測當(dāng)前位置姿勢。此外，可以將以各種姿勢所拍攝的對象物體的圖像存儲為模板，并且在針對輸入的圖像進行模板匹配時使用該圖像來粗略估計對象物體的位置姿勢。此外，如果可以使用其它傳感器測量物體的位置姿勢，則可以使用其它傳感器的輸出值作為位置姿勢的粗略值。傳感器可以是通過使用裝配至物體的接收器而檢測由發(fā)送器所生成的磁場來測量位置姿勢的磁性傳感器。此外，傳感器可以是通過使用在場景中固定的照相機拍攝設(shè)置在物體上的標(biāo)記來測量位置姿勢的光學(xué)傳感器?？梢允褂萌魏蝹鞲衅鳎灰獋鞲衅髂軌驕y量6自由度的位置姿勢。此外，如果預(yù)先已知物體所處的近似位置姿勢，則可以使用這一值作為粗略值。相對位置姿勢輸入單元150輸入在攝像設(shè)備230拍攝二維圖像時和在攝像設(shè)備230拍攝距離圖像時之間移動的機器人40的位置姿勢移位量。根據(jù)本典型實施例，根據(jù)在上述攝像時間之間的臂的末端的位置姿勢之間的差，計算位置姿勢移位。在可以從機器人40中的控制模塊直接獲取臂的末端的位置姿勢的情況下，計算位置姿勢移位。然而，用于計算攝像時間之間的攝像設(shè)備230的移位的方法不局限于以上所述的方法。例如，從對于機器人40的各可移動軸所設(shè)置的旋轉(zhuǎn)編碼器獲取各軸的轉(zhuǎn)動量。然后使用正向運動計算，根據(jù)各軸的轉(zhuǎn)動量和機器人40的連桿長度來計算臂的末端的位置姿勢。因此可以計算被置于臂的末端處的攝像設(shè)備230的位置姿勢移位?？梢圆捎萌魏畏椒?，只要可以計算在攝像時間之間移動的臂的末端的位置姿勢移位量。位置姿勢計算單元160進行三維形狀模型與通過二維圖像拍攝設(shè)備20所拍攝的灰度圖像和通過距離圖像拍攝設(shè)備30所拍攝的距離圖像的匹配。在進行匹配時使用存儲在位置姿勢估計校驗數(shù)據(jù)存儲單元110中的三維形狀模型。位置姿勢計算單元160這樣測量測量物體50的位置姿勢。下面將詳細(xì)說明位置姿勢計算處理。信息處理設(shè)備I包括計算機。該計算機包括諸如中央處理單元(CPU)等的主控制單元、以及諸如只讀存儲器(ROM)、隨機存取存儲器(RAM)和硬盤驅(qū)動器(HDD)等的存儲單
J Li o此外，該計算機可以包括諸如按鈕等的輸入/輸出單元、顯示器和觸摸面板，并且還可以包括諸如網(wǎng)絡(luò)卡等的通信單元。通過總線連接上述組件，并且通過主控制單元執(zhí)行存儲在存儲單元中的程序?qū)ι鲜鼋M件進行控制。下面說明根據(jù)本典型實施例用于估計位置姿勢的處理。圖4是示出根據(jù)本典型實施例的用于估計位置姿勢的處理的流程圖。在步驟S401，信息處理設(shè)備I拍攝灰度圖像，并且獲取粗略位置姿勢。根據(jù)本典型實施例，二維圖像攝像設(shè)備20拍攝灰度圖像。粗略位置姿勢輸入單元140然后向位置姿勢計算單元160輸入在二維圖像拍攝設(shè)備20拍攝灰度圖像時的攝像設(shè)備230和物體的相對位置姿勢的粗略值(圖3所示的位置姿勢310)。如上所述，根據(jù)本典型實施例，使用前一次所測量出的位置姿勢作為物體的粗略位置姿勢。在步驟S402，距離圖像拍攝設(shè)備30獲取距離圖像。根據(jù)本典型實施例，距離圖像包含從攝像設(shè)備230到測量物體50的表面的距離。如上所述，二維圖像拍攝設(shè)備20的光軸與距離圖像拍攝設(shè)備30的光軸相一致，因此已知灰度圖像中的各像素和距離圖像中的各像素之間的對應(yīng)關(guān)系。在步驟S403，信息處理設(shè)備I通過使用相對位置姿勢信息輸入單元150，計算在攝像時間之間移動的攝像設(shè)備230的位置姿勢的移位量。更具體地，信息處理設(shè)備I經(jīng)由相對位置姿勢信息輸入單元150從機器人40中的控制模塊，獲取機器臂的末端的位置姿勢。信息處理設(shè)備I然后根據(jù)從機器臂的末端到攝像設(shè)備230的偏移位置姿勢，偏移所獲取的位置姿勢。結(jié)果，計算在攝像設(shè)備230拍攝灰度圖像時和在攝像設(shè)備230拍攝距離圖像時的攝像設(shè)備230的位置姿勢。信息處理設(shè)備I然后通過獲取在這兩個攝像時間時的攝像設(shè)備230的位置姿勢之間的差，計算這兩個攝像時間之間的攝像設(shè)備230的位置姿勢移位量(圖3所示的位置姿勢移位量330)。信息處理設(shè)備I將所計算出的位置姿勢移位量應(yīng)用于在拍攝灰度圖像時的粗略位置姿勢(圖3所示的位置姿勢310)。這樣計算在攝像設(shè)備230拍攝距離圖像時的粗略位置姿勢(圖3所示的位置姿勢320)。在步驟S404，信息處理設(shè)備I計算在步驟S401輸入的灰度圖像和在步驟S402輸入的距離圖像與三維形狀模型之間的對應(yīng)關(guān)系。信息處理設(shè)備I然后基于該對應(yīng)關(guān)系結(jié)果，計算測量物體50的位置姿勢。根據(jù)本典型實施例，信息處理設(shè)備I基于在步驟S403所計算出的、在拍攝距離圖像時的攝像設(shè)備230和測量物體的相對位置姿勢的粗略值(圖3所示的位置姿勢320)，計算測量物體50的位置姿勢。下面將參考圖5所示的流程圖詳細(xì)說明在圖4的流程圖所示的步驟S404所進行的用于計算位置姿勢的處理。在步驟S501，信息處理設(shè)備I基于在拍攝距離圖像時的粗略位置姿勢，將在步驟S402中所測量出的距離圖像中的三維點組與三維形狀模型相關(guān)聯(lián)。更具體地，信息處理設(shè)備I使用在拍攝距離圖像時的粗略位置姿勢、以及距離圖像拍攝設(shè)備30的校正后的內(nèi)部參數(shù)，將構(gòu)成三維形狀模型的各平面投影至該距離圖像。信息處理設(shè)備I將與各投影平面相對應(yīng)的距離圖像中的距離點組存儲為與各平面相對應(yīng)的三維點。信息處理設(shè)備I然后將灰度圖像的邊緣與三維形狀模型相關(guān)聯(lián)。更具體地，信息處理設(shè)備I從在拍攝距離圖像時的粗略位置姿勢(圖3所示的位置姿勢320)減去在步驟S403所計算出的攝像設(shè)備230在攝像時間之間的位置姿勢移位量(圖3所示的位置姿勢移位量330)。信息處理設(shè)備I這樣計算在拍攝灰度圖像時的粗略位置姿勢(圖3所示的位置姿勢310)。信息處理設(shè)備I然后使用所計算出的粗略位置姿勢、以及二維圖像拍攝設(shè)備20的校正后的內(nèi)部參數(shù)，將三維形狀模型中的各線段投影至該圖像。在步驟S501，信息處理設(shè)備I這樣將在該圖像中所檢測到的邊緣與三維形狀模型相關(guān)聯(lián)。如果信息處理設(shè)備I檢測到多個邊緣與各控制點相關(guān)聯(lián)，則信息處理設(shè)備I然后將這多個所檢測到的邊緣中最接近投影的線段的圖像中的邊緣與三維形狀模型相關(guān)聯(lián)。
在步驟S502，信息處理設(shè)備I計算測量物體50的位置姿勢。信息處理設(shè)備I基于在步驟S501所檢測到的與三維形狀模型中的各線段相關(guān)聯(lián)的灰度圖像中的邊緣、以及與三維形狀模型中的各平面相關(guān)聯(lián)的距離圖像中的三維點的關(guān)聯(lián)數(shù)據(jù)進行計算。換句話說，信息處理設(shè)備I基于所計算出的關(guān)聯(lián)數(shù)據(jù)，通過求解線性聯(lián)立方程來更新位置姿勢，從而使得測量數(shù)據(jù)和三維形狀模型之間的差最小化。由于圖像中距離和三維空間中的距離的尺度不同，所以如果單純求解聯(lián)立方程，則貢獻率變得偏于測量數(shù)據(jù)中的一個。為解決這一問題，根據(jù)本典型實施例，信息處理設(shè)備I基于如非專利文獻2所述的最大似然估計來進行優(yōu)化。信息處理設(shè)備I這樣估計尺度相一致的位置姿勢。用于基于最大似然估計進行位置姿勢估計的方法與本發(fā)明的本質(zhì)無關(guān)，因此省略詳細(xì)說明(詳細(xì)參考非專利文獻2)。用于計算測量物體50的位置姿勢的方法不局限于非專利文獻2所述的方法。例如，可以進行根據(jù)Levenberg-Marquardt方法的迭代運算，或者可以進行作為更簡化方法的最陡下降法。此外，可以采用諸如共軛梯度方法或不完全Cholesky共軛梯度算法等的其它非線性優(yōu)化計算方法。在步驟S503，信息處理設(shè)備I判斷步驟S502中更新后的位置姿勢是否收斂(即，是否需要進行迭代運算)。如果位置姿勢沒有收斂(步驟S503為“否”)，則使用更新后的位置姿勢進行步驟S501的關(guān)聯(lián)處理。如果校正值約為0，或者如果校正前后的誤差矢量的平方和之間的差約為0，則信息處理設(shè)備I判斷為位置姿勢收斂。如果位置姿勢收斂(步驟S503為“是”)，則結(jié)束該處理。信息處理設(shè)備I這樣確定攝像設(shè)備230和測量物體50之間的相對位置姿勢的估計值?；氐綀D4的流程圖，在步驟S405，信息處理設(shè)備I基于在步驟S404所估計的位置姿勢，向機器人40輸出控制命令值。根據(jù)本典型實施例，信息處理設(shè)備I將在步驟S404進行估計之前和進行估計之后的測量物體50的位置姿勢之間的差轉(zhuǎn)換成機器人坐標(biāo)系統(tǒng)中的值。信息處理設(shè)備I這樣計算輸出給機器人40的控制命令值。信息處理設(shè)備I將控制命令值輸出給機器人40中的控制模塊，以操作位置姿勢從而向測量物體50移動機器人40的臂的末端。在向機器人40輸出控制命令值時,處理進入步驟S406。在步驟S406，信息處理設(shè)備I判斷是否接收到用于結(jié)束位置姿勢估計處理的輸入。如果接收到了這一輸入(步驟S406為“是”)，則結(jié)束該處理。如果沒有接收到這一輸A (步驟S406為“否”)，則處理返回到步驟S401。信息處理設(shè)備I然后獲取新的圖像，并且再次計算位置姿勢。如上所述，根據(jù)本典型實施例，即使在攝像設(shè)備230在拍攝二維圖像時和在拍攝距離圖像時的時間之間移動時，從與機器人的可移動軸有關(guān)的信息獲取攝像設(shè)備230的位置姿勢移位信息。結(jié)果，可以使用二維圖像和距離圖像進行高精度的位置姿勢估計。接著下面將說明上述典型實施例的變形例。
_0] 可以按照任何順序來拍攝距離圖像和灰度圖像的例子根據(jù)上述典型實施例，信息處理設(shè)備I在拍攝灰度圖像之后拍攝距離圖像。然而，用于進行攝像的順序沒有特別限制，只要可以正常拍攝灰度圖像和距離圖像即可。例如，信息處理設(shè)備I可以首先拍攝距離圖像，然后拍攝灰度圖像。在這種情況下，按照與上述典型實施例相反的順序，信息處理設(shè)備I在圖4所示的步驟S401拍攝距離圖像，并且在步驟S402拍攝灰度圖像。類似地，在步驟S404，信息處理設(shè)備I將從相對位置姿勢輸入單元150所獲取的攝像設(shè)備230的位置姿勢移位量應(yīng)用于在拍攝距離圖像時所獲取的粗略位置姿勢。結(jié)果，信息處理設(shè)備I獲取在拍攝灰度圖像時的粗略位置姿勢。與上述典型實施例相比，這也是相反的順序。如上所述，用于拍攝灰度圖像和距離圖像的順序沒有特別限制，并且可以按照任何順序拍攝圖像。
_4] 僅拍攝距離圖像的例子根據(jù)上述典型實施例，信息處理設(shè)備I拍攝灰度圖像和距離圖像。然而，信息處理設(shè)備I不局限于攝像設(shè)備I拍攝灰度圖像和距離圖像兩者的情況。例如，攝像設(shè)備I可以應(yīng)用于信息處理設(shè)備I通過改變攝像的時間來僅拍攝距離圖像的情況。在這種情況下，信息處理設(shè)備I如下估計測量物體50的位置姿勢。信息處理設(shè)備I同與位置姿勢根據(jù)攝像時間而不同的多個距離圖像(即第一距離圖像和第二距離圖像)有關(guān)的信息一起使用機器人40的運動信息。除二維圖像拍攝設(shè)備20和二維圖像輸入單元120以外，本變形例中的信息處理設(shè)備I的結(jié)構(gòu)與圖1所示的結(jié)構(gòu)相同。此外，根據(jù)該變形例所進行的位置姿勢估計處理與根據(jù)上述典型實施例的位置姿勢估計處理不同在于，信息處理設(shè)備I在圖4所示的步驟S401拍攝距離圖像而不是灰度圖像。此外，利用用于通過將距離圖像中的點與三維形狀模型相關(guān)聯(lián)的處理，代替步驟S404中的用于從灰度圖像進行邊緣檢測的處理。其它處理與根據(jù)上述典型實施例的相同。僅拍攝距離圖像的處理還使用在攝像設(shè)備230移動時所拍攝的多個距離圖像、以及從與機器人40的可移動軸有關(guān)的信息所獲取的攝像設(shè)備230的位置姿勢移位量信息。因此可以使用從多個視點所拍攝的距離圖像來進行高精度的位置姿勢估計。固定攝像設(shè)備、并且移動由機器臂所保持的對象物體的例子根據(jù)上述典型實施例，將攝像設(shè)備230安裝在如圖2A所示的機器臂的末端。根據(jù)本發(fā)明的信息處理設(shè)備因此應(yīng)用于下面的情況作為機器臂的移動的結(jié)果，攝像設(shè)備230的位置姿勢改變。然而，根據(jù)本發(fā)明的信息處理設(shè)備不局限于上述情況。例如，該信息處理設(shè)備可以類似地應(yīng)用于下面的情況固定攝像設(shè)備230，并且隨著臂的移動來移動通過機器臂所保持的對象物體50，如圖2B所示。根據(jù)上述典型實施例，在圖4所示的步驟S403從相對位置姿勢信息輸入單元150所獲取的位置姿勢移位量信息是在拍攝該圖像時移動的攝像設(shè)備的位置姿勢移位量信息。相反，根據(jù)本例子，所獲取的位置姿勢移位量信息是在拍攝測量物體50的圖像時移動的測量物體50的位置姿勢移位量信息。然而，由于在步驟S404所計算出的位置姿勢是攝像設(shè)備230和測量物體50之間的相對位置姿勢，所以該處理沒有不同于根據(jù)上述典型實施例的處理。如上所述，根據(jù)本發(fā)明的信息處理設(shè)備可應(yīng)用于下面的兩種情況移動攝像設(shè)備230和固定測量物體50的情況、以及固定攝像設(shè)備230和移動測量物體的情況。在幾何校IH距離圖像之后講行位置姿勢估計處理的例子根據(jù)上述典型實施例，當(dāng)信息處理設(shè)備I在圖4所示的步驟S404計算位置姿勢時，信息處理設(shè)備I基于攝像時間之間的位置姿勢移位量來進行校正。更具體地，信息處理設(shè)備I基于在攝像時間之間移動的攝像設(shè)備230的位置姿勢移位量，校正位置姿勢。信息處理設(shè)備I這樣校正在拍攝灰度圖像時和在拍攝距離圖像時之間攝像設(shè)備230和測量物體50的相對位置姿勢的差。然而，用于基于攝像時間之間的位置姿勢移位進行校正的方法不局限于這一方法。例如，在信息處理設(shè)備I拍攝距離圖像、然后拍攝灰度圖像的情況下，進行以下處理。信息處理設(shè)備I將從距離圖像所獲取的測量物體50的表面上的三維點組的坐標(biāo)轉(zhuǎn)換成以在拍攝灰度圖像時的攝像設(shè)備230的位置姿勢為基準(zhǔn)的坐標(biāo)。信息處理設(shè)備I使用攝像時間之間的位置姿勢移位量進行這一轉(zhuǎn)換。信息處理設(shè)備I然后通過應(yīng)用非專利文獻2所述的方法進行關(guān)聯(lián)處理，從而計算測量物體50的位置姿勢。如上所述，可以通過校正位置姿勢信息來校正在拍攝灰度圖像時和在拍攝距離圖像時的攝像設(shè)備230和測量物體50的相對位置姿勢之間的差。還可以通過校正測量數(shù)據(jù)的坐標(biāo)來校正該差。對方法的選擇沒有特別限制，只要該方法用于基于位置姿勢移位量來進行校正。不必基于誤差最小化進行位置姿勢估計的例子根據(jù)上述典型實施例，信息處理設(shè)備I通過最小化灰度圖像中的邊緣和距離圖像中的三維點與三維形狀模型之間的誤差來估計位置姿勢。然而，用于估計位置姿勢的方法不局限于以上所述的。例如，信息處理設(shè)備I可以從各種方向預(yù)先拍攝對象物體圖像，并且提取對于各觀察姿勢的灰度圖像模板和距離圖像模板。信息處理設(shè)備I然后在運行時間期間使用所提取的模板對實際所拍攝的灰度圖像和距離圖像進行模板匹配。信息處理設(shè)備I這樣估計測量物體的位置姿勢。在這種情況下，信息處理設(shè)備I添加針對灰度圖像的相似度和針對距離圖像的相似度來計算模板匹配處理中的相似度。信息處理設(shè)備I這樣使用灰度圖像和距離圖像兩者進行模板匹配。如果信息處理設(shè)備I針對灰度圖像進行匹配，則信息處理設(shè)備I在進行模板匹配之前，校正粗略位置姿勢來獲取在拍攝灰度圖像時的位置姿勢(圖3所示的位置姿勢310)。信息處理設(shè)備I然后進行模板匹配。獲得攝像設(shè)備的移動動作不局限于使用機器人運動信息的例子在上述實施例中，在二維圖像的拍攝時間和距離圖像的拍攝時間之間，作為用于計算攝像設(shè)備230的移動的位置姿勢相減量的方法，說明了用于根據(jù)攝像時間間隔的機器人40的臂末端位置姿勢的相減來計算位置姿勢相減量的方法。然而，用于計算攝像設(shè)備230的移動量的方法不局限于使用機器人運動信息的方法。例如，在向攝像設(shè)備230安裝磁性傳感器和超聲傳感器等的用于測量六自由度位置姿勢的物理傳感器的情況下，通過使用該測量結(jié)果，可以計算攝像時間間隔的位置姿勢相減量。如果攝像間隔內(nèi)的攝像設(shè)備230的移動局限于轉(zhuǎn)動運動，則在向攝像設(shè)備230安裝陀螺儀傳感器的情況下，可以僅測量轉(zhuǎn)動相減量。只要可以計算攝像時間間隔內(nèi)的攝像設(shè)備230的位置姿勢相減量，可以使用任一類型的方法。機器人操作工作物體的例子
在上述實施例中，說明了用于通過安裝至機器人40的臂末端的攝像設(shè)備來計算固定測量物體50的三維位置姿勢的方法。然而，信息處理設(shè)備I的功能不局限于計算工作物體的三維位置姿勢，通過使用所計算出的位置姿勢，機器人40可以操作工作物體。例如，在將能夠把持工作物體的端部執(zhí)行器安裝至機器人40的臂末端的情況下，機器人40可以把持工作物體。在這種情況下，作為端部執(zhí)行器，可以使用通過電動機驅(qū)動所操作的手或者用于吸附工作物體的吸附墊。只要選擇了與對工作物體的操作有關(guān)的適當(dāng)裝置，端部執(zhí)行器的選擇沒有限制。在執(zhí)行本實施例之前，通過常用技術(shù)進行機器臂和端部執(zhí)行器的相對位置姿勢的校準(zhǔn)。這樣，可以將通過位置姿勢計算單元160所計算出的位置姿勢轉(zhuǎn)換成被固定成具有選用區(qū)(palette)的空間的工作空間坐標(biāo)系統(tǒng)。此外，可以控制機器人40以使得將手設(shè)置至在工作空間坐標(biāo)系統(tǒng)中所指定的位置姿勢。作為用于工作物體的端部執(zhí)行器的操作，可以操作測量物體50的拼版工作、表面檢查和其它工作。對于測量物體50的機器人40的工作沒有限制。此外，如果信息處理設(shè)備I要進行與距離圖像的匹配，則信息處理設(shè)備I使用通過在攝像時間之間的移動所生成的位置姿勢移位量(圖3所示的位置姿勢移位量330)，校正粗略位置姿勢。信息處理設(shè)備I這樣獲取在拍攝距離圖像時的位置姿勢(圖3所示的位置姿勢320)，并且進行模板匹配。用于估計位置姿勢的方法不局限于上述方法?？梢圆捎萌魏畏椒?，只要可以基于灰度圖像和距離圖像估計對象物體或攝像設(shè)備的位置姿勢。還可以通過讀出并執(zhí)行記錄在存儲器裝置上的程序以進行上述實施例的功能的系統(tǒng)或設(shè)備的計算機(或者CPU或MPU等裝置)以及通過以下的方法來實現(xiàn)本發(fā)明的各方面，其中，系統(tǒng)或設(shè)備的計算機通過例如讀出并執(zhí)行記錄在存儲器裝置上的程序以進行上述實施例的功能來進行該方法的各步驟。為了該目的，例如經(jīng)由網(wǎng)絡(luò)或者通過用作存儲器裝置的各種類型的記錄介質(zhì)(例如，計算機可讀介質(zhì))向計算機提供該程序。在這種情況下，該系統(tǒng)或設(shè)備以及存儲該程序的記錄介質(zhì)包括在本發(fā)明的范圍內(nèi)。盡管參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有修改、等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種信息處理設(shè)備，用于使用能夠拍攝二維圖像和距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理設(shè)備包括 數(shù)據(jù)存儲單元，用于存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢； 二維圖像輸入單元，用于輸入所述攝像設(shè)備在第一位置姿勢所拍攝的二維圖像； 距離圖像輸入單元，用于輸入所述攝像設(shè)備在第二位置姿勢所拍攝的距離圖像； 獲取單元，用于獲取作為所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息的位置姿勢差信息；以及 計算單元，用于基于所述位置姿勢差信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與所述二維圖像和所述距離圖像中的相應(yīng)形狀相匹配。
2.一種信息處理設(shè)備，用于使用能夠拍攝二維圖像和距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理設(shè)備包括 數(shù)據(jù)存儲單元，用于存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢； 二維圖像輸入單元，用于輸入在所述物體處于第一位置姿勢時所拍攝的二維圖像； 距離圖像輸入單元，用于輸入在所述物體處于第二位置姿勢時所拍攝的距離圖像； 獲取單元，用于獲取作為所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息的位置姿勢差信息；以及 計算單元，用于基于所述位置姿勢差信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與所述二維圖像和所述距離圖像中的相應(yīng)形狀相匹配。
3.一種信息處理設(shè)備，用于使用能夠拍攝距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理設(shè)備包括 數(shù)據(jù)存儲單元，用于存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢； 距離圖像輸入單元，用于輸入所述攝像設(shè)備在第一位置姿勢所拍攝的第一距離圖像、以及所述攝像設(shè)備在第二位置姿勢所拍攝的第二距離圖像； 獲取單元，用于獲取所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息；以及 計算單元，用于基于所述相對位置姿勢信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與在所述第一位置姿勢和所述第二位置姿勢所拍攝的距離圖像中的相應(yīng)形狀相匹配。
4.一種信息處理設(shè)備，用于使用能夠拍攝距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理設(shè)備包括 數(shù)據(jù)存儲單元，用于存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢； 距離圖像輸入單元，用于輸入在所述物體處于第一位置姿勢時所拍攝的第一距離圖像、以及在所述物體處于第二位置姿勢時所拍攝的第二距離圖像；獲取單元，用于獲取所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息；以及 計算單元，用于基于所述相對位置姿勢信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與在所述第一位置姿勢和所述第二位置姿勢所拍攝的距離圖像中的相應(yīng)形狀相匹配。
5.根據(jù)權(quán)利要求1或3所述的信息處理設(shè)備，其特征在于，所述計算單元包括粗略位置姿勢輸入單元，所述粗略位置姿勢輸入單元用于輸入在所述第一位置姿勢時所述物體的粗略位置姿勢， 其中，所述信息處理設(shè)備基于從所述粗略位置姿勢輸入單元所輸入的在所述第一位置姿勢時所述物體的粗略位置姿勢、以及所述相對位置姿勢信息，獲取在所述第二位置姿勢時所述物體的粗略位置姿勢，并且使用二維圖像和距離圖像中的至少一個來進行位置姿勢估計。
6.根據(jù)權(quán)利要求1至4中任一項所述的信息處理設(shè)備，其特征在于，所述計算單元基于所述相對位置姿勢信息，將在所述第一位置姿勢或所述第二位置姿勢時的距離圖像轉(zhuǎn)換成在與在所述第二位置姿勢或所述第一位置姿勢分別進行拍攝時的位置相同的位置處所拍攝的距離圖像，并且使用二維圖像和距離圖像中的至少一個來進行位置姿勢估計。
7.根據(jù)權(quán)利要求1至4中任一項所述的信息處理設(shè)備，其特征在于，所述獲取單元包括用于獲取位置和姿勢中的至少一個的傳感器，并且從具有可移動軸的機器人的可移動軸信息獲取所述相對位置姿勢信息，其中，所述可移動軸包括轉(zhuǎn)動軸和平移軸中的至少一個。
8.根據(jù)權(quán)利要求1至4中任一項所述的信息處理設(shè)備，其特征在于，還包括位置姿勢操作單元，所述位置姿勢操作單元用于基于所述計算單元所計算出的物體的位置姿勢，使用具有多個可移動軸的機器人來改變所述物體或所述攝像設(shè)備的位置姿勢，其中，各所述可移動軸包括轉(zhuǎn)動軸和平移軸中的至少一個。
9.一種信息處理方法，用于使用能夠拍攝二維圖像和距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理方法包括以下步驟 存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢； 輸入所述攝像設(shè)備在第一位置姿勢所拍攝的二維圖像； 輸入所述攝像設(shè)備在第二位置姿勢所拍攝的距離圖像； 獲取作為所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息的位置姿勢差信息；以及 基于所述位置姿勢差信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與所述二維圖像和所述距離圖像中的相應(yīng)形狀相匹配。
10.一種信息處理方法，用于使用能夠拍攝二維圖像和距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理方法包括以下步驟 存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢； 輸入在所述物體處于第一位置姿勢時所拍攝的二維圖像； 輸入在所述物體處于第二位置姿勢時所拍攝的距離圖像；獲取作為所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息的位置姿勢差信息；以及 基于所述位置姿勢差信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與所述二維圖像和所述距離圖像中的相應(yīng)形狀相匹配。
11.一種信息處理方法，用于使用能夠拍攝距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理方法包括以下步驟 存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢； 輸入作為所述攝像設(shè)備在第一位置姿勢所拍攝的距離圖像的第一距離圖像、以及作為所述攝像設(shè)備在第二位置姿勢所拍攝的距離圖像的第二距離圖像； 獲取所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息；以及 基于所述相對位置姿勢信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與在所述第一位置姿勢和所述第二位置姿勢所拍攝的距離圖像中的相應(yīng)形狀相匹配。
12.一種信息處理方法，用于使用能夠拍攝距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，所述信息處理方法包括以下步驟 存儲表示要測量的物體的形狀的校驗數(shù)據(jù)，其中，所述校驗數(shù)據(jù)用于估計所述物體的位置姿勢； 輸入在所述物體處于第一位置姿勢時所拍攝的第一距離圖像、以及在所述物體處于第二位置姿勢時所拍攝的第二距離圖像； 獲取所述第一位置姿勢與所述第二位置姿勢之間的相對位置姿勢信息；以及 基于所述相對位置姿勢信息，計算所述物體的位置姿勢，使得由用于估計位置姿勢的所述校驗數(shù)據(jù)所表示的物體的形狀與在所述第一位置姿勢和所述第二位置姿勢所拍攝的距離圖像中的相應(yīng)形狀相匹配。
全文摘要
本發(fā)明提供一種信息處理設(shè)備和信息處理方法。信息處理設(shè)備使用能夠拍攝二維圖像和距離圖像的攝像設(shè)備來估計物體的三維位置姿勢，信息處理設(shè)備包括數(shù)據(jù)存儲單元，用于存儲用于估計測量物體的位置姿勢的校驗數(shù)據(jù)；二維圖像輸入單元，用于輸入攝像設(shè)備在第一位置姿勢所拍攝的二維圖像；距離圖像輸入單元，用于輸入攝像設(shè)備在第二位置姿勢所拍攝的距離圖像；位置姿勢信息輸入單元，用于獲取作為第一位置姿勢與第二位置姿勢的相對位置姿勢信息的位置姿勢差信息；以及計算單元，用于基于位置姿勢差信息，計算測量物體的位置姿勢，使得用于估計位置姿勢的校驗數(shù)據(jù)與二維圖像和距離圖像相匹配。
文檔編號G01B11/24GK103020952SQ20121023722
公開日2013年4月3日 申請日期2012年7月9日 優(yōu)先權(quán)日2011年7月8日
發(fā)明者立野圭祐, 內(nèi)山晉二 申請人:佳能株式會社