專利名稱：信息處理設(shè)備和信息處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種信息處理設(shè)備和信息處理方法。本發(fā)明尤其涉及一種適用于測量三維形狀已知的物體的位置姿勢的技術(shù)。
背景技術(shù)：
近年來，通過機(jī)器人代替進(jìn)行諸如工業(yè)產(chǎn)品的組裝等的過去用手工進(jìn)行的復(fù)雜任務(wù)。在機(jī)器人組裝這類工業(yè)產(chǎn)品時，機(jī)器人通過諸如手等的端部執(zhí)行器把持組件，因此變得需要精確測量組件和機(jī)器人(即，機(jī)器手)之間的相對位置姿勢。存在一種用于同時使用照相機(jī)所獲取的二維圖像(例如，灰度圖像或彩色圖像)和距離傳感器所獲取到的距離圖像來精確估計物體的位置姿勢的技術(shù)。在[Y. Hel-Or andΜ· Werman, “Pose estimation by fusing noisy data of different dimensions”，IEEETransactions on Pattern Analysis and Machine Intelligence,vol. 17,No. 2,pp. 195 -201,1995]中說明了這一用于精確測量物體的位置姿勢的技術(shù)。上述文獻(xiàn)說明了針對按照時序輸入的二維圖像和距離圖像，將二維圖像的特征當(dāng)作為深度不確定的三維點(diǎn)。然后使用卡爾曼濾波器更新物體的位置姿勢，從而使得二維圖像的特征和三維模型之間的誤差、以及距離圖像的三維點(diǎn)和三維模型之間的誤差最小化。用于使用二維圖像和距離圖像來估計物體的位置姿勢的傳統(tǒng)技術(shù)假定攝像設(shè)備自由移動。因此在按照時序所輸入的多個測量數(shù)據(jù)之間的相對幾何關(guān)系未知的前提下進(jìn)行估計。結(jié)果，如果攝像設(shè)備在用于攝像的時間之間移動大，則穩(wěn)定性喪失，或者估計精度降低。另一方面，存在通過將攝像設(shè)備安裝到機(jī)器臂上并且移動攝像設(shè)備來測量物體的情況、或者使用固定攝像設(shè)備來測量通過機(jī)器臂所保持的移動的被攝體的情況。在這些情況下，可以參考機(jī)器人的運(yùn)動信息作為用于觀測攝像時間之間的攝像設(shè)備或測量物體的移動的信息。機(jī)器人的運(yùn)動信息包括諸如控制機(jī)器人的重復(fù)精度方面的誤差和校準(zhǔn)精度方面的誤差等的誤差因素。然而，運(yùn)動信息是估計位置姿勢時所使用的高精確且有用的信息。然而，根據(jù)傳統(tǒng)技術(shù)，即使可以獲取到機(jī)器人的運(yùn)動信息，也不能有效使用機(jī)器人運(yùn)動作為觀測信息。此外，日本特開2005-201824說明了一種僅使用運(yùn)動信息的被稱為運(yùn)動立體攝影術(shù)(motion stereo)的已知技術(shù)。這一技術(shù)通過向粗略位置姿勢相加從運(yùn)動信息所獲取的位置姿勢的差來估計位置姿勢。然而，如上所述，機(jī)器人運(yùn)動信息包括預(yù)定量的模糊。因此希望在考慮到模糊的情況下更新位置姿勢。

發(fā)明內(nèi)容
本發(fā)明旨在即使在測量設(shè)備和測量物體之間的位置和姿勢中的至少一個的關(guān)系包括模糊時，也使得能夠高精度地測量物體的位置姿勢。根據(jù)本發(fā)明的一個方面，一種信息處理設(shè)備，用于使用攝像設(shè)備來估計測量物體的位置姿勢，所述信息處理設(shè)備包括三維形狀模型存儲單元，用于存儲所述測量物體的三維形狀模型的數(shù)據(jù)；圖像輸入單元，用于獲取所拍攝的所述測量物體的圖像；粗略位置姿勢輸入單元，用于輸入所述攝像設(shè)備和所述測量物體之間的相對的粗略位置姿勢；第一位置姿勢更新單元，用于使用所述粗略位置姿勢，通過將所述三維形狀模型與所述圖像相匹配來更新所述粗略位置姿勢；位置姿勢差信息輸入單元，用于計算和獲取在所述攝像設(shè)備拍攝了所述測量物體的圖像之后或者在前次獲取了位置姿勢差信息之后進(jìn)行了移動后的、所述攝像設(shè)備相對于所述測量物體的位置姿勢差量；以及第二位置姿勢更新單元，用于使用所述第一位置姿勢更新單元所更新后的粗略位置姿勢，基于所述位置姿勢差量來更新該粗略位置姿勢。根據(jù)本發(fā)明的另一方面，一種信息處理方法，用于使用攝像設(shè)備來估計測量物體的位置姿勢，所述信息處理方法包括以下步驟存儲所述測量物體的三維形狀模型的數(shù)據(jù)；獲取所拍攝的所述測量物體的圖像；輸入所述攝像設(shè)備和所述測量物體之間的相對的粗略位置姿勢；使用所述粗略位置姿勢，通過將所述三維形狀模型與所述圖像相匹配來更新所述粗略位置姿勢；計算和獲取在所述攝像設(shè)備拍攝了所述測量物體的圖像之后或者在前次獲取了位置姿勢差信息之后進(jìn)行了移動后的、所述攝像設(shè)備相對于所述測量物體的位置姿勢差量；以及使用所更新后的粗略位置姿勢，基于所述位置姿勢差量來更新該粗略位置姿勢。通過以下參考附圖對典型實(shí)施例的詳細(xì)說明，本發(fā)明的其它特征和方面將顯而易見。


包含在說明書中并構(gòu)成說明書的一部分的附圖，示出本發(fā)明的典型實(shí)施例、特征和方面，并與說明書一起用來解釋本發(fā)明的原理。圖I示出根據(jù)本發(fā)明典型實(shí)施例的信息處理設(shè)備的結(jié)構(gòu)。圖2A和2B示出機(jī)器臂、攝像設(shè)備和要測量的組件之間的關(guān)系。圖3是示出用于估計位置姿勢的處理的流程圖。
具體實(shí)施例方式下面將參考附圖詳細(xì)說明本發(fā)明的各種典型實(shí)施例、特征和方面。根據(jù)本發(fā)明的典型實(shí)施例，信息處理設(shè)備在如下場景中應(yīng)用用于估計物體位置姿勢的技術(shù)。將攝像設(shè)備安裝在機(jī)器臂的末端，并且移動機(jī)器臂，從而使得拍攝固定測量物體50的圖像，如圖2A所示。根據(jù)本典型實(shí)施例，信息處理設(shè)備在一次測量中依次進(jìn)行灰度圖像的拍攝、距離圖像的拍攝和機(jī)器人運(yùn)動的獲取。在信息處理設(shè)備拍攝圖像(即，灰度圖像或距離圖像)時，信息處理設(shè)備通過匹配三維形狀模型和圖像來更新測量物體50的位置姿勢。信息處理設(shè)備在每次獲取圖像時都更新該位置姿勢。此外，信息處理設(shè)備從機(jī)器臂的運(yùn)動信息獲取由于機(jī)器臂的移動所生成的攝像設(shè)
5備在攝像操作之間的位置姿勢差量。信息處理設(shè)備然后基于運(yùn)動信息來更新測量物體50的位置姿勢。除與灰度圖像和距離圖像有關(guān)的信息以外，信息處理設(shè)備還使用基于機(jī)器人運(yùn)動的信息來更新測量物體50的位置姿勢。結(jié)果，高精度地估計測量物體50的位置姿勢。圖I示出根據(jù)本發(fā)明典型實(shí)施例的信息處理設(shè)備I的結(jié)構(gòu)的例子。參考圖1，信息處理設(shè)備I包括三維形狀模型存儲單元110、圖像輸入單元120、粗略位置姿勢輸入單元130、位置姿勢差信息輸入單元140、第一位置姿勢更新單元150、以及第二位置姿勢更新單元 160。三維形狀模型存儲單元110存儲表示測量物體的幾何特征的三維形狀模型數(shù)據(jù)，并且與第一位置姿勢更新單元150連接。此外，二維圖像拍攝設(shè)備20和距離圖像拍攝設(shè)備30與圖像輸入單元120連接。此外，機(jī)器人40與位置姿勢差信息輸入單元140連接。根據(jù)本典型實(shí)施例，在存儲在三維形狀模型存儲單元110中的三維形狀模型數(shù)據(jù)10與實(shí)際要拍攝其圖像的測量物體50的形狀一致的情況下，可應(yīng)用信息處理設(shè)備I。三維形狀模型數(shù)據(jù)10 (以下稱為三維形狀模型)是表示要測量的物體(以下稱為測量物體50或簡稱為物體)的形狀的三維幾何信息。通過與由點(diǎn)組合所構(gòu)成或者通過連接點(diǎn)所構(gòu)成的平面有關(guān)的信息、以及與構(gòu)成該平面的線段有關(guān)的信息來定義三維形狀模型10。將三維形狀模型10存儲在三維形狀模型存儲單元110中，并且將其輸入給第一位置姿勢更新單元150。二維圖像拍攝設(shè)備20是正常拍攝可以是灰度圖像或彩色圖像的二維圖像的照相機(jī)。根據(jù)本典型實(shí)施例，二維圖像拍攝設(shè)備20輸出灰度圖像。二維圖像拍攝設(shè)備20經(jīng)由圖像輸入單元120將這樣所拍攝的圖像輸入給信息處理設(shè)備I。通過參考要使用的裝置的說明書，獲取諸如焦距和主點(diǎn)位置以及鏡頭變形參數(shù)等的照相機(jī)內(nèi)部參數(shù)。此外，可以使用[R. Y. Tsai, uK versatile camera calibrationtechnique for high—accuracy 3D machine vision metrology using off-the-shelfTV cameras and lenses，，，IEEE Journal of Robotics and Automation, vol. RA-3, No. 4,1987]中所述的方法預(yù)先校準(zhǔn)照相機(jī)的內(nèi)部參數(shù)。距離圖像拍攝設(shè)備30用作用于測量測量物體表面上的點(diǎn)的三維信息的距離數(shù)據(jù)測量單元。根據(jù)本典型實(shí)施例，使用用于輸出距離圖像的距離傳感器作為距離圖像拍攝設(shè)備30。距離圖像是各像素均具有深度信息的圖像。此外，根據(jù)本典型實(shí)施例，使用單觸主動式距離傳感器。這類距離傳感器利用配有不同波長的顏色識別(ID)的多狹縫線照射物體。距離傳感器然后使用照相機(jī)拍攝反射光，并且采用三角測量來測量距離。然而，距離傳感器不局限于以上所述的，并且可以是使用光的飛行時間的飛行時間型距離傳感器。此外，距離傳感器可以是使用三角測量、根據(jù)通過立體照相機(jī)所拍攝的圖像來計算各像素的深度的被動式傳感器。此外，在不改變本發(fā)明的本質(zhì)的情況下，可以使用能夠測量距離圖像的任何類型的距離傳感器。距離圖像拍攝設(shè)備30經(jīng)由距離圖像輸入單元120將所獲取的距離圖像輸入給信息處理設(shè)備I。距離圖像拍攝設(shè)備30的光軸與二維圖像拍攝設(shè)備20的光軸相一致。因此，從二維圖像拍攝設(shè)備20輸出的灰度圖像中的各像素和從距離圖像拍攝設(shè)備30輸出的距離圖像中的各像素之間的對應(yīng)關(guān)系是已知的。機(jī)器人40包括由轉(zhuǎn)動軸或平移軸構(gòu)成的多個可移動軸。機(jī)器人40是用于改變包括二維圖像拍攝設(shè)備20和距離圖像拍攝設(shè)備30的攝像設(shè)備的位置姿勢的可移動裝置。下面，將包括二維圖像拍攝設(shè)備20和距離圖像拍攝設(shè)備30的裝置稱為攝像設(shè)備230。根據(jù)本典型實(shí)施例，使用具有由六個可轉(zhuǎn)動軸構(gòu)成的六自由度的機(jī)器臂，并且將攝像設(shè)備230安裝在該機(jī)器臂的末端。將與機(jī)器人40的六個可轉(zhuǎn)動軸有關(guān)的信息經(jīng)由位置姿勢差信息輸入單元140輸入給信息處理設(shè)備I。預(yù)先計算裝配在臂的末端的攝像設(shè)備230的從臂的末端到攝像設(shè)備230的位置姿勢，作為攝像設(shè)備230的偏移位置姿勢，并且將其存儲為不變值?？梢酝ㄟ^使用該偏移位置姿勢而偏移臂的末端的位置姿勢，來計算攝像設(shè)備230的位置姿勢。作為機(jī)器人40所使用的裝置不局限于以上所述的，并且可以是具有七自由度的垂直多關(guān)節(jié)機(jī)器人、標(biāo)量型機(jī)器人或并聯(lián)機(jī)器人。機(jī)器人可以是任何類型的，只要機(jī)器人包括具有轉(zhuǎn)動軸或平移軸的多個可移動軸，并且能夠獲取運(yùn)動信息。粗略位置姿勢輸入單元130輸入物體相對于攝像設(shè)備230的位置姿勢的粗略值。根據(jù)本典型實(shí)施例，信息處理設(shè)備I在時間軸的方向上連續(xù)進(jìn)行測量。因此使用前一測量值(即，前一次所測量出的值)作為粗略位置姿勢。然而，用于輸入位置姿勢的粗略值的方法不局限于以上所述的。例如，可以存儲并使用以各種姿勢所拍攝的對象物體的圖像作為在針對輸入圖像進(jìn)行模板匹配時的模板來粗略估計對象物體的位置姿勢。此外，如果存在能夠測量物體的位置姿勢的其他傳感器，則可以使用其他傳感器的輸出值作為位置姿勢的粗略值。傳感器可以是通過使用裝配至物體的接收器而檢測由發(fā)送器所生成的磁場來測量位置姿勢的磁性傳感器。此外，傳感器可以是通過使用在場景中固定的照相機(jī)拍攝設(shè)置在物體上的標(biāo)記來測量位置姿勢的光學(xué)傳感器。可以使用任何傳感器，只要傳感器能夠測量六自由度的位置姿勢。此外，如果預(yù)先已知物體所處的粗略位置姿勢，則可以使用這一值作為粗略值。位置姿勢差信息輸入單元140輸入在拍攝了二維圖像或者距離圖像之后、或者在從在機(jī)器人40獲取位置姿勢差信息之后進(jìn)行了移動后的機(jī)器人40的位置姿勢差量。根據(jù)本典型實(shí)施例，根據(jù)在攝像時間之間臂的末端的位置姿勢的差，計算位置姿勢差量。在可以從機(jī)器人40中的控制模塊直接獲取臂的末端的位置姿勢的情況下，計算位置姿勢差量。然而，用于計算在攝像時間之間攝像設(shè)備230的差量的方法不局限于以上所述的。例如，從與機(jī)器人40的可移動軸對準(zhǔn)安裝的旋轉(zhuǎn)編碼器獲取各軸的轉(zhuǎn)動量。然后使用正向運(yùn)動計算，根據(jù)各軸的轉(zhuǎn)動量和機(jī)器人40的連桿長度來計算臂的末端的位置姿勢。因此可以計算被置于臂的末端處的攝像設(shè)備230的位置姿勢差量?？梢圆捎萌魏畏椒?，只要可以計算在攝像時間之間移動的臂的末端的位置姿勢差量。第一位置姿勢更新單元150將存儲在三維形狀模型存儲單元110中的三維形狀模型10與通過二維圖像拍攝設(shè)備20所拍攝的灰度圖像和/或通過距離圖像拍攝設(shè)備30所拍攝的距離圖像相關(guān)聯(lián)。第一位置姿勢更新單元150然后基于測量物體50的位置姿勢的粗略值，更新測量物體50的位置姿勢。第一位置姿勢更新單元150交替進(jìn)行基于二維圖像的粗略位置姿勢的更新、以及基于距離圖像的粗略位置姿勢的更新。下面將詳細(xì)說明該更新處理。第二位置姿勢更新單元160基于通過第一位置姿勢更新單元150更新了的測量物體50的位置姿勢，使用通過位置姿勢差信息輸入單元140所獲取的位置姿勢差信息，更新測量物體50的位置姿勢。后面將詳細(xì)說明該更新處理。信息處理設(shè)備I包括計算機(jī)。該計算機(jī)包括諸如中央處理單元(CPU)等的主控制單元、以及諸如只讀存儲器(ROM)、隨機(jī)存取存儲器(RAM)和硬盤驅(qū)動器(HDD)等的存儲單元。此外，該計算機(jī)可以包括諸如按鈕、顯示器和觸摸面板等的輸入/輸出單元，并且還可以包括諸如網(wǎng)絡(luò)卡等的通信單元。通過總線連接上述組件，并且通過主控制單元執(zhí)行存儲在存儲單元中的程序?qū)ι鲜鼋M件進(jìn)行控制。下面說明根據(jù)本典型實(shí)施例的用于估計位置姿勢的處理。圖3是示出根據(jù)本典型實(shí)施例的用于估計位置姿勢的處理的流程圖。在步驟S301，信息處理設(shè)備I進(jìn)行初始化。更具體地，粗略位置姿勢輸入單元130輸入在拍攝灰度圖像時的攝像設(shè)備230和物體之間的相對位置姿勢的粗略值。如上所述，根據(jù)本典型實(shí)施例，信息處理設(shè)備I使用在前一次所測量出的位置姿勢作為測量物體50的粗略位置姿勢。在步驟S302，二維圖像拍攝設(shè)備20拍攝灰度圖像。在拍攝灰度圖像的情況下，處理進(jìn)入步驟S303。在步驟S303，第一位置姿勢更新單元150基于在步驟S301所輸入的測量物體50的粗略位置姿勢，更新測量物體50的位置姿勢，從而使得三維形狀模型10與在步驟S302所輸入的灰度圖像相匹配。下面將詳細(xì)說明在步驟S303所進(jìn)行的用于使用灰度圖像更新位置姿勢的處理。第一位置姿勢更新單元150基于測量物體50的粗略位置姿勢，將三維形狀模型10與在步驟S302所拍攝的灰度圖像上的邊緣相關(guān)聯(lián)。更具體地，第一位置姿勢更新單元150使用測量物體50的粗略位置姿勢、以及二維圖像拍攝設(shè)備20的內(nèi)部參數(shù)，將三維形狀模型10中的各線段投影至灰度圖像上。第一位置姿勢更新單元150然后將在該圖像上所檢測到的邊緣與三維形狀模型10相關(guān)聯(lián)。如果檢測到了與各控制點(diǎn)相對應(yīng)的多個邊緣，則第一位置姿勢更新單元150將該圖像上的這多個所檢測到的邊緣中最接近投影的線段的邊緣與控制點(diǎn)相關(guān)聯(lián)。第一位置姿勢更新單元150基于測量物體50的粗略位置姿勢，使用所計算出的關(guān)聯(lián)數(shù)據(jù)更新位置姿勢，從而使得三維形狀模型10中的各線段和灰度圖像上的邊緣之間的誤差最小化。更具體地，第一位置姿勢更新單元150通過使用擴(kuò)展卡爾曼濾波器進(jìn)行濾波，來使用所計算出的關(guān)聯(lián)數(shù)據(jù)更新位置姿勢。使用在灰度圖像上所檢測到的邊緣的坐標(biāo)，作為使用擴(kuò)展卡爾曼濾波器的濾波處理中的觀測數(shù)據(jù)。下面將詳細(xì)說明用于使用擴(kuò)展卡爾曼濾波器更新測量物體50的位置姿勢所進(jìn)行的處理?？柭鼮V波器是非線性濾波器的例子。卡爾曼濾波器的狀態(tài)空間模型包括用于預(yù)測隨后的狀態(tài)的狀態(tài)轉(zhuǎn)移方程、以及表示狀態(tài)和觀測之間的關(guān)系的觀測方程。根據(jù)本典型實(shí)施例，假定在如下情況下進(jìn)行公式化僅在基于幀內(nèi)的關(guān)聯(lián)數(shù)據(jù)來更新位置姿勢時使用采用卡爾曼濾波器所進(jìn)行的狀態(tài)估計。因此假定不進(jìn)行幀間時序?yàn)V波。此外，對于測量物體50的狀態(tài)，沒有假定特定的運(yùn)動模型，而是采用靜態(tài)模型。另外，狀態(tài)矢量僅包含六自由度的位置姿勢。如下定義狀態(tài)轉(zhuǎn)移方程xi+1=FXi+w(I)
在公式(I)中，Xi是狀態(tài)矢量，F(xiàn)是狀態(tài)轉(zhuǎn)移矩陣，w是系統(tǒng)噪聲，并且i是要輸入給卡爾曼濾波器的觀測數(shù)據(jù)(即，在灰度圖像上所檢測到的邊緣)的指數(shù)。系統(tǒng)噪聲w的誤差協(xié)方差Σ w是表示在更新處理之間發(fā)生的意外誤差的參數(shù)，并且通常是調(diào)整參數(shù)。根據(jù)本典型實(shí)施例，給出系統(tǒng)噪聲的協(xié)方差矩陣作為零矩陣。如下定義包括位置姿勢的六自由度的狀態(tài)矢量xk= [tx ty tx wx wy wz]T(2)在公式(2)中，tx、ty和tz分別表示在X軸、y軸和z軸的方向上的位置,并且wx、wy和wz分別表示沿X軸、y軸和z軸的轉(zhuǎn)動。此外，由于狀態(tài)矢量僅包含位置姿勢，所以狀態(tài)轉(zhuǎn)移矩陣變成單位矩陣。如下定義觀測方程yj=h (Xi) +v(3)在公式(3)中，yi是觀測矢量(即，在灰度圖像上所檢測到的邊緣的坐標(biāo))，h(Xi)是表示基于狀態(tài)Xi下的圖像的觀測的方程(即，三維形狀模型10在灰度圖像上的投影)，并且V表示觀測噪聲。觀測噪聲的協(xié)方差矩陣Σ V是定義觀測矢量的模糊的參數(shù)。在步驟S303，協(xié)方差矩陣Σ V表示在灰度圖像中所檢測到的邊緣坐標(biāo)的模糊。所檢測到的坐標(biāo)的模糊是受到灰度圖像的攝像環(huán)境或邊緣檢測方法很大影響的參數(shù)。根據(jù)本典型實(shí)施例，假定包含平均值為O、并且標(biāo)準(zhǔn)偏差為O. 5像素的噪聲來定義觀測噪聲的協(xié)方差矩陣Σ V。在擴(kuò)展卡爾曼濾波處理中，通過基于如上所述定義的狀態(tài)轉(zhuǎn)移方程和觀測方程，通過重復(fù)預(yù)測處理和更新處理來更新狀態(tài)矢量(即，測量物體50的位置姿勢)。下面將詳細(xì)說明用于進(jìn)行預(yù)測和更新的處理。在預(yù)測處理中，預(yù)測狀態(tài)矢量和狀態(tài)矢量的誤差協(xié)方差Pp使用下面的公式預(yù)測狀態(tài)矢量Xi=Fxi _1(4)由于狀態(tài)轉(zhuǎn)移矩陣是單位矢量，所以狀態(tài)矢量的值在預(yù)測處理中不改變。在下述公式，使用以上定義的系統(tǒng)噪聲的誤差協(xié)方差Σw來預(yù)測狀態(tài)矢量的誤差協(xié)方差已。P1=FP^1Ft+ Σ w(5)在公式(5)中，在預(yù)測處理的初始步驟中，需要設(shè)置誤差協(xié)方差矩陣Pi的初始值。由于狀態(tài)矢量的誤差協(xié)方差矩陣Pi是表示當(dāng)前狀態(tài)矢量的模糊的參數(shù)，所以隨后的觀測數(shù)據(jù)的更新量受到初始值的設(shè)置的極大影響。定性地說，如果誤差協(xié)方差大，則基于觀測數(shù)據(jù)的更新量變大，并且如果誤差協(xié)方差小，則基于觀測數(shù)據(jù)的更新量變小。根據(jù)本典型實(shí)施例，假定存在下面的模糊的范圍來設(shè)置誤差協(xié)方差的初始值PO :平均值為0，對于位置的標(biāo)準(zhǔn)偏差為測量物體50的大小的10%，并且對于姿勢的標(biāo)準(zhǔn)偏差為10度?？紤]到在攝像操作之間發(fā)生的測量物體50的意外差量，在上述范圍內(nèi)設(shè)置初始值PO。在更新處理中，基于觀測數(shù)據(jù)來更新狀態(tài)矢量及其誤差協(xié)方差。使用下面的公式更新狀態(tài)矢量Xw=XfKi (Yi - h (Xi))(6)Ki是通過觀測數(shù)據(jù)所計算出的應(yīng)用于誤差的卡爾曼增益。使用以上定義的觀測噪聲的協(xié)方差矩陣Σ V，通過下面的公式來計算卡爾曼增益。
Ki=PiH1 (HP1Ht+ Σ v)(7)在公式(7)中，通過Xi對表示圖像的觀測的方程h(x)進(jìn)行偏微分獲得通常稱為圖像雅可比的H。由于表示圖像的觀測的方程h(x)、使用邊緣的誤差校準(zhǔn)方法以及基于邊緣生成圖像雅可比，這些與本發(fā)明的本質(zhì)無關(guān)，因而省略詳細(xì)說明。對于該處理的細(xì)節(jié)，參考[Tateno, Kotake, Uchiyama, “A Model fitting method using intensity and rangeimages for bin-picking applications”，13th Meeting on Image and Recognition Understanding(MIRU2010), 0S5-1, 2010]。此外，使用下面的公式更新狀態(tài)矢量的誤差協(xié)方差矩陣Pw=(I-KiH)Pi⑶第一位置姿勢更新單元150對于許多所獲取的觀測數(shù)據(jù)(即，在灰度圖像中所檢測到的邊緣)重復(fù)上述預(yù)測處理和更新處理，從而更新測量物體50的位置姿勢。在使用所有觀測數(shù)據(jù)進(jìn)行更新處理時，處理進(jìn)入步驟S304。在步驟S304，距離圖像拍攝設(shè)備30獲取距離圖像。根據(jù)本典型實(shí)施例，距離圖像包含從攝像設(shè)備230到測量物體50表面的距離。如上所述，由于二維圖像拍攝設(shè)備20的光軸與距離圖像拍攝設(shè)備30的光軸相一致，所以灰度圖像中的各像素和距離圖像中的各像素之間的對應(yīng)關(guān)系是已知的。在步驟S305，第一位置姿勢更新單元150更新測量物體50的位置姿勢，從而使得三維形狀模型10與在步驟S304所輸入的距離圖像相匹配。第一位置姿勢更新單元150基于在步驟S303更新后的測量物體的位置姿勢，更新測量物體50的位置姿勢。下面將詳細(xì)說明在步驟S305所進(jìn)行的用于使用距離圖像更新位置姿勢的處理。第一位置姿勢更新單元150基于在步驟S303更新后的測量物體50的位置姿勢，將三維形狀模型10與在步驟S304所測量出的距離圖像中的三維點(diǎn)組相關(guān)聯(lián)。更具體地，第一位置姿勢更新單元150使用測量物體50的位置姿勢、以及距離圖像拍攝設(shè)備30的校正后的內(nèi)部參數(shù)，將構(gòu)成三維形狀模型10的各平面投影至距離圖像上。第一位置姿勢更新單元150然后存儲與各投影平面相對應(yīng)的距離圖像上的距離點(diǎn)組，作為與各平面相對應(yīng)的三維點(diǎn)。第一位置姿勢更新單元150然后基于在步驟S303更新后的測量物體50的位置姿勢，使用所檢測到的關(guān)聯(lián)數(shù)據(jù)來更新位置姿勢，從而使得三維形狀模型10中的各平面和與其相對應(yīng)的距離圖像中的三維點(diǎn)之間的三維空間的誤差最小化。更具體地，第一位置姿勢更新單元150通過使用擴(kuò)展卡爾曼濾波器進(jìn)行濾波，來使用所檢測到的關(guān)聯(lián)數(shù)據(jù)而更新位置姿勢。第一位置姿勢更新單元150使用與三維模型中的各平面相對應(yīng)的距離圖像中的距離點(diǎn)的坐標(biāo)作為觀測數(shù)據(jù)來進(jìn)行濾波。在步驟S305，繼續(xù)使用在步驟S303進(jìn)行更新所使用的狀態(tài)矢量Xi作為狀態(tài)矢量Xj。另一方面，考慮到在步驟S304估計位置姿勢之后在測量物體50處所生成的未知差量，如在步驟S303所進(jìn)行的誤差協(xié)方差初始化一樣，類似地初始化誤差協(xié)方差I(lǐng)V要進(jìn)行的處理與在步驟S303所進(jìn)行的處理大體相同。與步驟S303所進(jìn)行的處理的不同之處在于觀測值的誤差協(xié)方差矩陣Σ V、表示觀測的方程h(x)、用于測量測量數(shù)據(jù)中的誤差的方法、以及基于測量數(shù)據(jù)的圖像雅可比。觀測噪聲的誤差協(xié)方差矩陣Σ V表示距離圖像中的距離點(diǎn)組的觀測的模糊。距離
10點(diǎn)組的模糊是極大影響距離圖像拍攝設(shè)備30的距離圖像拍攝方法和攝像環(huán)境的參數(shù)。根據(jù)本典型實(shí)施例，假定包含平均值為O、并且標(biāo)準(zhǔn)偏差為Imm的噪聲來設(shè)置距離點(diǎn)組的觀測值的誤差協(xié)方差矩陣Σ V。此外，通過如下替換在步驟S303所進(jìn)行的處理中的要素來進(jìn)行步驟S305中的處理。以表示三維空間下的觀測的方程替換方程h(x)，以對于三維點(diǎn)和三維平面的誤差測量來替換觀測數(shù)據(jù)的誤差測量方法，并且以基于三維平面和點(diǎn)的圖像雅可比替換圖像雅可比。由于方程h(x)的推導(dǎo)、誤差測量方法和圖像雅可比與本發(fā)明的本質(zhì)無關(guān)，所以省略詳細(xì)說明。對于該處理的細(xì)節(jié)，參考[Tateno, Kotake, Uchiyama, “A Model fittingmethod using intensity and range images for bin-picking applications，，，13thMeeting on Image and Recognition Understanding (MIRU2010)，0S5-1, 2010]。第一位置姿勢更新單元150針對許多所獲取的觀測數(shù)據(jù)(即，與三維形狀模型10中的各平面相對應(yīng)的距離圖像中的距離點(diǎn)組)，重復(fù)上述預(yù)測處理和更新處理，類似于步驟S303。第一位置姿勢更新單元150從而更新測量物體50的位置姿勢。在使用所有觀測數(shù)據(jù)進(jìn)行更新處理時，處理進(jìn)入步驟S306。在步驟S306，信息處理設(shè)備I使用位置姿勢差信息輸入單元140計算在步驟S304拍攝距離圖像之后進(jìn)行了移動后的攝像設(shè)備230的位置姿勢差量。更具體地，信息處理設(shè)備I經(jīng)由位置姿勢差信息輸入單元140從機(jī)器臂的控制模塊獲取機(jī)器臂的末端的位置姿勢。信息處理設(shè)備I然后偏移從機(jī)器臂的末端到攝像設(shè)備230的位置姿勢。信息處理設(shè)備I從而計算在步驟S304拍攝距離圖像時的攝像設(shè)備230的位置姿勢、以及當(dāng)前位置姿勢(即，在進(jìn)行步驟S306時)。信息處理設(shè)備I然后獲取攝像設(shè)備230的所計算出的位置姿勢之間的差，并且計算在拍攝距離圖像之后進(jìn)行了移動后的攝像設(shè)備230的位置姿勢差量。在步驟S307，第二位置姿勢更新單元160基于在步驟S305更新后的測量物體50的位置姿勢，使用在步驟S306所計算出的位置姿勢差量，更新測量物體50的位置姿勢。下面將詳細(xì)說明在步驟S307所進(jìn)行的用于使用位置姿勢差量來更新位置姿勢的處理。更具體地，第二位置姿勢更新單元160基于在步驟S306所計算出的位置姿勢差量及其模糊，更新位置姿勢。繼續(xù)使用在步驟S303所進(jìn)行的更新處理中所使用的狀態(tài)矢量\作為狀態(tài)矢量X。另一方面，考慮到在步驟S306估計位置姿勢之后在測量物體50處所生成的未知差量，如在步驟S303所進(jìn)行的誤差協(xié)方差初始化一樣，類似地初始化誤差協(xié)方差P。要進(jìn)行的處理與在步驟S303所進(jìn)行的處理大體相同。然而，步驟S307的處理與步驟S303所進(jìn)行的處理的不同之處在于步驟S307的觀測方程是線性方程。如下定義根據(jù)步驟S307的觀測方程y=Hx+v(9)在公式(9)中，y是觀測矢量(即，作為使用位置姿勢差量的更新結(jié)果的位置姿勢)，H是觀測矩陣(單位矩陣)，并且V是觀測噪聲。觀測噪聲的協(xié)方差Σ V是定義觀測矢量(即，在步驟S306所計算出的位置姿勢差量)的模糊的參數(shù)。根據(jù)本典型實(shí)施例，獲取位置姿勢差量作為機(jī)器臂的末端的位置姿勢的差。位置姿勢差量的模糊因此與機(jī)器臂的末端的位置姿勢的模糊同義。
根據(jù)如下各種因素生成機(jī)器臂的末端的位置姿勢的模糊。該模糊歸因于諸如臂剛性和后沖等的機(jī)械因素、以及諸如電動機(jī)的控制精度和減少機(jī)械振動的效果等的控制因素。定性地說，模糊隨著可移動軸的數(shù)量的增多而增大，并且隨著在同一方向上重疊的可移動軸的方向的增多而增大。根據(jù)本典型實(shí)施例，假定在六自由度的位置姿勢中均等地發(fā)生誤差。因此設(shè)置發(fā)生平均值為O、并且標(biāo)準(zhǔn)偏差在位置姿勢差量的1%的范圍內(nèi)的位置姿勢差量的模糊。此外，在步驟S307所進(jìn)行的更新處理使用在步驟S303和步驟S305所使用的公式￠)、公式
(7)和公式(8)。然而，直接使用公式(9)中的觀測矩陣作為公式(7)和公式⑶中的H，而不是圖像雅可比。公式(9)是線性時序?yàn)V波器的例子?？梢允褂闷渌愋偷臑V波器來進(jìn)行更新處理。此外，在步驟S303和步驟S305，使用與三維形狀模型10相對應(yīng)的全部邊緣或者全部距離點(diǎn)組作為觀測數(shù)據(jù)。然而，步驟S307中的觀測數(shù)據(jù)僅是在步驟S306所計算出的位置姿勢差量。結(jié)果，第二位置姿勢更新單元160通過對于一個觀測矢量進(jìn)行預(yù)測處理和更新處理，更新測量物體50的位置姿勢。在基于位置姿勢差量進(jìn)行更新處理的情況下，處理進(jìn)入步驟S308。在步驟S308，信息處理設(shè)備I基于在步驟S307所估計的位置姿勢，向機(jī)器人40輸出控制命令值。根據(jù)本典型實(shí)施例，信息處理設(shè)備I將在步驟S304進(jìn)行估計之前和在步驟S307進(jìn)行估計之后的測量物體50的位置姿勢之間的差轉(zhuǎn)換成機(jī)器人坐標(biāo)系統(tǒng)中的值。信息處理設(shè)備I這樣計算要輸出給機(jī)器人40的控制命令值。信息處理設(shè)備I向機(jī)器人40中的控制模塊輸出控制命令值，以操作用于向測量物體50移動機(jī)器人40的臂的末端的位置姿勢。在向機(jī)器人40輸出控制命令值的情況下，處理進(jìn)入步驟S309。在步驟S309，信息處理設(shè)備I判斷是否進(jìn)行了結(jié)束位置姿勢估計處理的輸入。如果存在這一輸入(步驟S309為“是”)，則結(jié)束該處理。如果不存在這一輸入(步驟S309為“否”)，則處理返回到步驟S302。信息處理設(shè)備I然后獲取新的圖像，并且再次計算位置姿勢。如上所述，根據(jù)本典型實(shí)施例，在信息處理設(shè)備I獲取與拍攝二維圖像和拍攝距離圖像之間的測量物體50或攝像設(shè)備的移動相關(guān)聯(lián)的機(jī)器人40的運(yùn)動信息時，信息處理設(shè)備I進(jìn)行下面的處理。信息處理設(shè)備I與二維圖像和距離圖像一起使用攝像時間之間的機(jī)器人40的運(yùn)動信息，作為觀測信息。結(jié)果，信息處理設(shè)備I能夠?qū)ο笪矬w的位置姿勢進(jìn)行聞精度的估計。根據(jù)上述典型實(shí)施例，信息處理設(shè)備I以下面的順序獲取觀測數(shù)據(jù)。信息處理設(shè)備I拍攝灰度圖像，拍攝距離圖像，然后獲取機(jī)器人40的運(yùn)動信息。然而，用于獲取觀測數(shù)據(jù)的順序沒有特別限制，并且信息處理設(shè)備I可以以任意順序獲取觀測數(shù)據(jù)。例如，信息處理設(shè)備I可以獲取機(jī)器人40的運(yùn)動信息和更新位置姿勢。信息處理設(shè)備I然后可以拍攝距離圖像并更新位置姿勢。此外，信息處理設(shè)備I可以拍攝灰度圖像并更新位置姿勢，然后獲取機(jī)器人的運(yùn)動信息并且更新位置姿勢。用于獲取觀測數(shù)據(jù)以及更新位置姿勢的順序沒有特別限制，并且可以以任意順序進(jìn)行該處理。根據(jù)上述典型實(shí)施例，信息處理設(shè)備I拍攝灰度圖像和距離圖像兩者，并且進(jìn)行該處理。然而，根據(jù)本發(fā)明的信息處理設(shè)備不局限于拍攝灰度圖像和距離圖像兩者的情況。CN 102914293 A
書
明
說
10/11 頁例如，根據(jù)本發(fā)明的信息處理設(shè)備可應(yīng)用于僅拍攝距離圖像或者僅拍攝灰度圖像的情況。在這種情況下，從上述典型實(shí)施例所進(jìn)行的處理省略僅針對灰度圖像或距離圖像所進(jìn)行的處理，因而處理本身并未改變。此外，如該變形例所述，拍攝圖像和獲取機(jī)器人運(yùn)動信息的順序沒有特別限制。省略灰度圖像或距離圖像的獲取處理沒有特別限制，只要拍攝灰度圖像或距離圖像，并且可以進(jìn)行這些方法中的任一個即可。·
根據(jù)上述典型實(shí)施例，根據(jù)本發(fā)明的信息處理設(shè)備可應(yīng)用于下面的情況。在如圖2A所示，將攝像設(shè)備230安裝在機(jī)器臂的末端，并且作為機(jī)器臂的移動的結(jié)果，改變攝像設(shè)備230的位置姿勢。然而，根據(jù)本發(fā)明的信息處理設(shè)備不局限于應(yīng)用于上述情況。例如，該信息處理設(shè)備可以類似地應(yīng)用于下面的情況固定攝像設(shè)備230，并且通過隨臂的移動一起移動機(jī)器臂所把持的對象物體50，如圖2B所示。在這種情況下，位置姿勢差信息與上述典型實(shí)施例的不同。根據(jù)上述典型實(shí)施例，圖3所示步驟S306中的位置姿勢差信息是在攝像操作之間移動的攝像設(shè)備230的位置姿勢差信息。相反，根據(jù)本例子，位置姿勢差信息變成在攝像操作之間移動的測量物體50的位置姿勢差信息。然而，由于通過信息處理設(shè)備所計算出的位置姿勢是攝像設(shè)備230和測量物體50之間的相對位置姿勢，所以處理與根據(jù)上述典型實(shí)施例的處理沒有差異。如上所述，根據(jù)本發(fā)明的信息處理設(shè)備可應(yīng)用于下面兩個情況移動攝像設(shè)備230、并且固定測量物體50的情況；以及固定攝像設(shè)備230、并且移動測量物體50的情況。在該處理上沒有特別限制。根據(jù)上述典型實(shí)施例，基于使用擴(kuò)展卡爾曼濾波器和卡爾曼濾波器的處理，進(jìn)行用于使用觀測數(shù)據(jù)以及粗略位置姿勢而更新位置姿勢的處理。然而，用于更新位置姿勢的方法不局限于以上所述。例如，在更新處理中可以使用粒子濾波器作為適用于非線性方程的非線性時序?yàn)V波器。在這種情況下，基于被稱為粒子的狀態(tài)矢量的假設(shè)，在預(yù)定范圍內(nèi)進(jìn)行隨機(jī)采樣，而不是如在使用卡爾曼濾波器時那樣進(jìn)行觀測的線性化。結(jié)果，對狀態(tài)矢量進(jìn)行合適的更新。如上所述，對于用于更新測量物體50的位置姿勢的方法的選擇沒有特別限制，只要基于觀測數(shù)據(jù)及其模糊來更新位置姿勢即可。獲得攝像設(shè)備的移動動作不局限于使用機(jī)器人運(yùn)動信息的例子在上述實(shí)施例中，作為用于計算攝像設(shè)備230的移動的位置姿勢相減量的方法，說明了用于根據(jù)攝像時間間隔的機(jī)器人40的臂末端位置姿勢的相減來計算位置姿勢相減量的方法。然而，用于計算攝像設(shè)備230的移動量的方法不局限于使用機(jī)器人運(yùn)動信息的方法。例如，在向攝像設(shè)備230安裝磁性傳感器和超聲傳感器等的、用于測量六自由度位置姿勢的物理傳感器的情況下，通過使用該測量結(jié)果，可以計算攝像時間間隔的位置姿勢相減量。如果以攝像間隔的攝像設(shè)備230的移動局限于轉(zhuǎn)動運(yùn)動，則在向攝像設(shè)備230安裝陀螺儀傳感器的情況下，可以僅測量轉(zhuǎn)動相減量。只要可以計算以攝像時間間隔的攝像設(shè)備230的位置姿勢相減量，可以使用任一類型的方法。機(jī)器人操作工作物體的例子
13
在上述實(shí)施例中，說明了用于通過安裝至機(jī)器人40的臂末端的攝像設(shè)備來計算固定測量物體50的三維位置姿勢的方法。然而，信息處理設(shè)備I的功能不局限于計算工作物體的三維位置姿勢，通過使用所計算出的位置姿勢，機(jī)器人40可以操作工作物體。例如，在將能夠把持工作物體的端部執(zhí)行器安裝至機(jī)器人40的臂末端的情況下，機(jī)器人40可以把持工作物體。在這種情況下，作為端部執(zhí)行器，可以使用通過電動機(jī)驅(qū)動所操作的手或者用于吸附工作物體的吸附墊。只要選擇了與對工作物體的操作有關(guān)的適當(dāng)裝置，端部執(zhí)行器的選擇沒有限制。在執(zhí)行本實(shí)施例之前，通過常用技術(shù)進(jìn)行機(jī)器臂和端部執(zhí)行器的相對位置姿勢的校準(zhǔn)。這樣，可以將通過位置姿勢更新單元160所更新后的位置姿勢轉(zhuǎn)換成被固定至具有選用區(qū)(palette)的空間的工作空間坐標(biāo)系統(tǒng)。此外，可以控制機(jī)器人40以使得將手設(shè)置至在工作空間坐標(biāo)系統(tǒng)中所指定的位
置姿勢。作為用于工作物體的端部執(zhí)行器的操作，可以操作測量物體50的拼版工作、表面檢查和其它工作。對于測量物體50的機(jī)器人40的工作沒有限制。還可以通過讀出并執(zhí)行記錄在存儲器裝置上的程序以進(jìn)行上述實(shí)施例的功能的系統(tǒng)或設(shè)備的計算機(jī)(或者CPU或MPU等裝置)以及通過以下的方法來實(shí)現(xiàn)本發(fā)明的各方面，其中，系統(tǒng)或設(shè)備的計算機(jī)通過例如讀出并執(zhí)行記錄在存儲器裝置上的程序以進(jìn)行上述實(shí)施例的功能來進(jìn)行該方法的各步驟。為了該目的，例如經(jīng)由網(wǎng)絡(luò)或者通過用作存儲器裝置的各種類型的記錄介質(zhì)(例如，計算機(jī)可讀介質(zhì))向計算機(jī)提供該程序。盡管參考典型實(shí)施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的典型實(shí)施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有修改、等同結(jié)構(gòu)和功能。
1權(quán)利要求
1.一種信息處理設(shè)備，用于使用攝像設(shè)備來估計測量物體的位置姿勢，所述信息處理設(shè)備包括三維形狀模型存儲單元，用于存儲所述測量物體的三維形狀模型的數(shù)據(jù)；圖像輸入單元，用于獲取所拍攝的所述測量物體的圖像；粗略位置姿勢輸入單元，用于輸入所述攝像設(shè)備和所述測量物體之間的相對的粗略位置姿勢；第一位置姿勢更新單元，用于使用所述粗略位置姿勢，通過將所述三維形狀模型與所述圖像相匹配來更新所述粗略位置姿勢；位置姿勢差信息輸入單元，用于計算和獲取在所述攝像設(shè)備拍攝了所述測量物體的圖像之后或者在前次獲取了位置姿勢差信息之后進(jìn)行了移動后的、所述攝像設(shè)備相對于所述測量物體的位置姿勢差量；以及第二位置姿勢更新單元，用于使用所述第一位置姿勢更新單元所更新后的粗略位置姿勢，基于所述位置姿勢差量來更新該粗略位置姿勢。
2.根據(jù)權(quán)利要求I所述的信息處理設(shè)備，其特征在于，所述圖像輸入單元用于獲取二維圖像和距離圖像中的至少一個，其中，所述第一位置姿勢更新單元通過將所述三維形狀模型與所述二維圖像和所述距離圖像中的所述至少一個相匹配來更新所述粗略位置姿勢。
3.根據(jù)權(quán)利要求2所述的信息處理設(shè)備，其特征在于，所述第一位置姿勢更新單元交替進(jìn)行基于所述二維圖像的粗略位置姿勢的更新、以及基于所述距離圖像的粗略位置姿勢的更新。
4.根據(jù)權(quán)利要求I所述的信息處理設(shè)備，其特征在于，所述第一位置姿勢更新單元使用非線性時序?yàn)V波器來更新粗略位置姿勢，以及所述第二位置姿勢更新單元使用線性或非線性時序?yàn)V波器來更新粗略位置姿勢。
5.根據(jù)權(quán)利要求I所述的信息處理設(shè)備，其特征在于，所述位置姿勢差信息輸入單元從與具有可移動軸的機(jī)器人的所述可移動軸有關(guān)的信息獲取位置和姿勢中的至少一個的差量，其中，所述可移動軸包括轉(zhuǎn)動軸和平移軸中的至少一個。
6.根據(jù)權(quán)利要求I所述的信息處理設(shè)備，其特征在于，還包括位置姿勢操作單元，所述位置姿勢操作單元用于基于所述第二位置姿勢更新單元所更新后的粗略位置姿勢，使用具有可移動軸的機(jī)器人來改變所述測量物體或所述攝像設(shè)備的位置和姿勢中的至少一個，其中，所述可移動軸包括轉(zhuǎn)動軸和平移軸中的至少一個。
7.一種信息處理方法，用于使用攝像設(shè)備來估計測量物體的位置姿勢，所述信息處理方法包括以下步驟存儲所述測量物體的三維形狀模型的數(shù)據(jù)；獲取所拍攝的所述測量物體的圖像；輸入所述攝像設(shè)備和所述測量物體之間的相對的粗略位置姿勢；使用所述粗略位置姿勢，通過將所述三維形狀模型與所述圖像相匹配來更新所述粗略位置姿勢；計算和獲取在所述攝像設(shè)備拍攝了所述測量物體的圖像之后或者在前次獲取了位置姿勢差信息之后進(jìn)行了移動后的、所述攝像設(shè)備相對于所述測量物體的位置姿勢差量；以及使用所更新后的粗略位置姿勢，基于所述位置姿勢差量來更新該粗略位置姿勢。
全文摘要
本發(fā)明提供一種信息處理設(shè)備和信息處理方法。信息處理設(shè)備用于使用攝像設(shè)備來估計測量物體的位置姿勢，信息處理設(shè)備包括粗略位置姿勢輸入單元，用于輸入攝像設(shè)備和測量物體之間的相對粗略位置姿勢；第一位置姿勢更新單元，用于通過將三維形狀模型與拍攝的圖像相匹配來更新粗略位置姿勢；位置姿勢差信息輸入單元，用于在攝像設(shè)備拍攝了測量物體的圖像之后或者在前次獲取了位置姿勢差信息之后進(jìn)行了移動后的、攝像設(shè)備相對于測量物體的位置姿勢差量；以及第二位置姿勢更新單元，用于基于位置姿勢差量更新粗略位置姿勢。
文檔編號G01C11/00GK102914293SQ201210237519
公開日2013年2月6日 申請日期2012年7月9日 優(yōu)先權(quán)日2011年7月8日
發(fā)明者立野圭祐, 小竹大輔, 內(nèi)山晉二 申請人:佳能株式會社