專利名稱：三維計(jì)測(cè)方法以及三維計(jì)測(cè)裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種利用由多臺(tái)照相機(jī)所生成的圖像來(lái)對(duì)上述照相機(jī)的視場(chǎng)重合的范圍執(zhí)行三維計(jì)測(cè)處理的方法、以及用于執(zhí)行該方法的三維計(jì)測(cè)裝置。
背景技術(shù)：
在基于雙目視覺(jué)原理的三維計(jì)測(cè)處理中，由兩臺(tái)以上的照相機(jī)從不同方向拍攝計(jì)測(cè)對(duì)象物，并在所生成的圖像之間對(duì)表示同樣圖像的特征點(diǎn)的彼此建立對(duì)應(yīng)關(guān)系。然后，將從各圖像提取的特征點(diǎn)的坐標(biāo)代入到基于三角計(jì)測(cè)原理的計(jì)算式中，從而計(jì)算出三維坐標(biāo)(參照專利文獻(xiàn)1)。
專利文獻(xiàn)1JP特開2002-99902公報(bào)要進(jìn)行如上述專利文獻(xiàn)1所示的計(jì)測(cè)處理，則計(jì)測(cè)對(duì)象的各點(diǎn)必須得包含在所有照相機(jī)的視場(chǎng)內(nèi)。因此，為確保三維計(jì)測(cè)的精度，必須基于計(jì)測(cè)對(duì)象物所包含的范圍和計(jì)測(cè)對(duì)象物可能會(huì)采用的高度范圍來(lái)調(diào)整各照相機(jī)的位置關(guān)系。
但是，判別各照相機(jī)的視場(chǎng)重合的范圍或高度非常困難。特別是，當(dāng)由缺乏關(guān)于三維計(jì)測(cè)的專業(yè)知識(shí)的用戶使用裝置時(shí)，不知道怎樣調(diào)整照相機(jī)才可變成適于計(jì)測(cè)的狀態(tài)，而以嘗試法進(jìn)行調(diào)整，因而當(dāng)進(jìn)行調(diào)整操作時(shí)有可能花費(fèi)極大的勞力和時(shí)間。

發(fā)明內(nèi)容
本發(fā)明是著眼于上述問(wèn)題而提出的，其目的在于能夠簡(jiǎn)單地執(zhí)行將各照相機(jī)設(shè)定為對(duì)應(yīng)于計(jì)測(cè)目的的狀態(tài)、或者確認(rèn)是否設(shè)定成這樣的設(shè)定的處理。
在假設(shè)通過(guò)多臺(tái)照相機(jī)來(lái)拍攝位于規(guī)定的高度位置的平面的情況下，在所生成的圖像之間相對(duì)應(yīng)的像素的坐標(biāo)關(guān)系是通過(guò)利用被稱為單應(yīng)矩陣的矩陣的式子來(lái)表示(參照下述非專利文獻(xiàn)1)。
非專利文獻(xiàn)1見(jiàn)市伸裕，和田俊和，松山隆司“關(guān)于投影機(jī)及照相機(jī)系統(tǒng)的標(biāo)定(Calibration)的研究”，“平成17年6月1日檢索”，網(wǎng)址<URLhttp//vision.kuee.kyoto-u.ac.jp/Research/Thesis_PDF/Miichi_2002_P_147.pdf>
因此，若弄清楚照相機(jī)之間的照相機(jī)坐標(biāo)系的關(guān)系(原點(diǎn)之間的距離、坐標(biāo)軸的旋轉(zhuǎn)錯(cuò)位等)，則當(dāng)位于空間內(nèi)的規(guī)定的高度位置的一點(diǎn)成像在一臺(tái)照相機(jī)的拍攝面上時(shí)，通過(guò)將該成像位置的坐標(biāo)代入到利用對(duì)應(yīng)于上述點(diǎn)的高度的單應(yīng)矩陣的關(guān)系式中，而能夠?qū)⑸鲜鲎鴺?biāo)變換為其他照相機(jī)的拍攝面上的坐標(biāo)。若該變換后的坐標(biāo)包含在照相機(jī)的實(shí)際拍攝面的范圍內(nèi)，則能夠認(rèn)為上述空間內(nèi)的一點(diǎn)為被包含在所有照相機(jī)的視場(chǎng)的點(diǎn)、且為能夠進(jìn)行三維計(jì)測(cè)的點(diǎn)。
在這里，為了使說(shuō)明變得簡(jiǎn)單，照相機(jī)采用A、B兩臺(tái)，并將具有特定的高度、且面積無(wú)限大的假設(shè)平面作為計(jì)測(cè)對(duì)象。這時(shí)，對(duì)任意的照相機(jī)都能夠認(rèn)為分別位于上述假設(shè)平面上的任意的位置的點(diǎn)成像在構(gòu)成其拍攝面的所有像素上。因此，當(dāng)對(duì)于構(gòu)成一方照相機(jī)A的圖像的全部像素，分別利用對(duì)應(yīng)于上述假設(shè)平面的高度的單應(yīng)矩陣來(lái)求出照相機(jī)B側(cè)圖像的對(duì)應(yīng)點(diǎn)的坐標(biāo)時(shí)，能夠認(rèn)為在這些坐標(biāo)中，包含在照相機(jī)B的實(shí)際圖像的范圍內(nèi)的坐標(biāo)，與共同包含在照相機(jī)A、B的視場(chǎng)的點(diǎn)相對(duì)應(yīng)。換而言之，可以認(rèn)為上述對(duì)應(yīng)點(diǎn)的坐標(biāo)的集合表示能夠計(jì)算出上述假設(shè)平面上的三維坐標(biāo)的范圍。
以下，將在該圖像上的、能夠進(jìn)行三維計(jì)測(cè)的范圍稱為“可計(jì)測(cè)范圍”。
此外，由于照相機(jī)的拍攝面為長(zhǎng)方形形狀，所以，即使沒(méi)有如上述所述那樣對(duì)于圖像中的全部像素求出對(duì)應(yīng)點(diǎn)，也能夠?qū)ξ挥趫D像的各頂點(diǎn)的四個(gè)點(diǎn)求出對(duì)應(yīng)點(diǎn)的坐標(biāo)，并將連結(jié)這些對(duì)應(yīng)點(diǎn)的矩形區(qū)域作為上述可計(jì)測(cè)范圍。進(jìn)而，對(duì)于照相機(jī)A的拍攝面，也同樣地提取與照相機(jī)B的全部像素對(duì)應(yīng)的區(qū)域，并將其作為可計(jì)測(cè)范圍。
還有，當(dāng)上述假設(shè)平面的高度以規(guī)定的范圍變化時(shí)，對(duì)應(yīng)于該高度變化的單應(yīng)矩陣也變化，從而可計(jì)測(cè)范圍也發(fā)生變化。這時(shí)，為了確實(shí)地計(jì)測(cè)位于高度變化的幅度內(nèi)的點(diǎn)，有必要將包含與該高度范圍中的各高度對(duì)應(yīng)的所有可計(jì)測(cè)范圍的范圍、即所有可計(jì)測(cè)范圍重合的范圍限定為計(jì)測(cè)對(duì)象。
本發(fā)明是基于上述研究而提出的，是一種這樣的發(fā)明，即，在利用由多臺(tái)照相機(jī)所生成的圖像來(lái)對(duì)上述各照相機(jī)的視場(chǎng)重合的范圍執(zhí)行三維計(jì)測(cè)處理的方法以及裝置中，使用戶能夠簡(jiǎn)單地判別可計(jì)測(cè)范圍(計(jì)測(cè)對(duì)象物的支承面上的范圍、或者高度范圍)。
此外，在該說(shuō)明書中，計(jì)測(cè)對(duì)象物的“支承面”并不僅限于水平面，還包括面的方向朝向水平以外的方向的面。還有，對(duì)于“高度”，也能夠換個(gè)說(shuō)法為“從支承面的距離”。
首先，在本發(fā)明的第一三維計(jì)測(cè)方法中，執(zhí)行以下步驟第一步驟，針對(duì)應(yīng)計(jì)測(cè)的高度范圍接受指定；第二步驟，針對(duì)至少一臺(tái)照相機(jī)，利用各照相機(jī)之間的照相機(jī)坐標(biāo)系的關(guān)系，提取出由該照相機(jī)生成的圖像內(nèi)的點(diǎn)中的、即使位于在上述第一步驟中被指定的高度的任意范圍內(nèi)也包含在所有照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)出現(xiàn)在圖像上的范圍。
在上述內(nèi)容中，在第一步驟能夠使用戶對(duì)高度的上限值以及下限值指定任意的值。
在第二步驟，通過(guò)前面所說(shuō)明過(guò)的方法，對(duì)每個(gè)來(lái)自各照相機(jī)的圖像，能夠求出涉及上述高度范圍的上限值以及下限值的可計(jì)測(cè)范圍，并將這些范圍重合的部分作為位于上述高度范圍內(nèi)、且包含在所有照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)出現(xiàn)的范圍(與上述高度范圍對(duì)應(yīng)的可計(jì)測(cè)范圍)。
在本發(fā)明優(yōu)選的一實(shí)施方式中，進(jìn)一步執(zhí)行第三步驟，該第三步驟將由上述第二步驟的處理對(duì)象的照相機(jī)生成的圖像與在上述第二步驟中提取的范圍一起顯示。
在第三步驟，例如，能夠顯示在由上述第二步驟的處理對(duì)象的照相機(jī)生成的圖像上再加上在第二步驟中提取的范圍的輪廓線的圖像。或者，也可以將上述范圍內(nèi)的圖像以規(guī)定的色彩進(jìn)行著色等，從而顯示在范圍內(nèi)外的顯示方式不同的圖像。還有，也可以僅顯示包含在上述范圍內(nèi)的圖像。
根據(jù)上述的方法，可通過(guò)指定用戶想要計(jì)測(cè)的高度范圍，對(duì)至少一臺(tái)照相機(jī)，顯示表示該照相機(jī)的視場(chǎng)和可計(jì)測(cè)范圍的關(guān)系的圖像，因此用戶能夠輕易地判別能夠計(jì)測(cè)所指定范圍內(nèi)的高度的范圍，從而能夠判斷各照相機(jī)是否設(shè)定成適于計(jì)測(cè)目的的設(shè)定。
在本發(fā)明的優(yōu)選的一實(shí)施方式中，上述第一步驟還針對(duì)計(jì)測(cè)對(duì)象物的支承面上的計(jì)測(cè)對(duì)象范圍也接受指定，執(zhí)行以下步驟第四步驟，針對(duì)上述第二步驟的處理對(duì)象的照相機(jī)，判別其圖像上的上述計(jì)測(cè)對(duì)象范圍是否包含在上述第二步驟中所提取的范圍內(nèi)；第五步驟，輸出上述第四步驟的判別結(jié)果。
在第一步驟中，根據(jù)計(jì)測(cè)對(duì)象物的大小或者計(jì)測(cè)對(duì)象物可能會(huì)取的位置，能夠指定任意的計(jì)測(cè)對(duì)象范圍。如后所述，該指定最好是在來(lái)自任意一臺(tái)照相機(jī)的圖像的顯示畫面上進(jìn)行，但是也不僅限于此。例如，在對(duì)象物的支承面上標(biāo)出計(jì)測(cè)對(duì)象范圍的輪廓線，并將其由在多臺(tái)照相機(jī)中的至少一臺(tái)來(lái)拍攝，然后從所生成的圖像中提取上述輪廓線，從而能夠判別計(jì)測(cè)對(duì)象范圍?；蛘撸ㄟ^(guò)代入計(jì)測(cè)對(duì)象范圍的各頂點(diǎn)的具體三維坐標(biāo)的方法，也能夠指定計(jì)測(cè)對(duì)象范圍。
在上述的實(shí)施方式中，若用戶同時(shí)指定高度范圍和計(jì)測(cè)對(duì)象范圍，則通過(guò)第二步驟以與上述第一方法同樣的原理可提取與高度范圍對(duì)應(yīng)的可計(jì)測(cè)范圍。進(jìn)而，在第四步驟中，判別上述所指定的計(jì)測(cè)對(duì)象范圍是否包含在可計(jì)測(cè)范圍內(nèi)。
在第五步驟中，能夠?qū)⒃撆袆e結(jié)果與來(lái)自照相機(jī)的圖像一起顯示。還有，在計(jì)測(cè)對(duì)象范圍超出可計(jì)測(cè)范圍的情況下，即使是在該計(jì)測(cè)對(duì)象范圍內(nèi)被指定的高度范圍內(nèi)的對(duì)象物，也有可能無(wú)法計(jì)測(cè)該高度，因此最好輸出向用戶報(bào)知范圍指定不適當(dāng)?shù)男畔ⅲ顼@示警告信息、或者發(fā)出警告音等。
在本發(fā)明的優(yōu)選的一實(shí)施方式中，進(jìn)一步執(zhí)行第六步驟，該第六步驟顯示來(lái)自上述第二步驟的處理對(duì)象的照相機(jī)的圖像的同時(shí)，在其顯示畫面上與在上述第二步驟中提取的范圍對(duì)應(yīng)的區(qū)域中接受計(jì)測(cè)對(duì)象范圍的指定。
在上述實(shí)施方式中，用戶指定了要計(jì)測(cè)的高度范圍之后，在來(lái)自任意一臺(tái)照相機(jī)的圖像的顯示畫面上進(jìn)行指定計(jì)測(cè)對(duì)象范圍的操作。根據(jù)上述第三步驟，可指定的范圍作為計(jì)測(cè)對(duì)象范圍而限定在能夠確實(shí)地計(jì)測(cè)位于前面被指定的高度范圍內(nèi)的點(diǎn)的范圍內(nèi)，因此不會(huì)指定不可計(jì)測(cè)的范圍，從而能夠確保計(jì)測(cè)精度。
此外，例如，若對(duì)計(jì)測(cè)對(duì)象范圍指定左上以及右下的各頂點(diǎn)，則在第六步驟中能夠以向可計(jì)測(cè)范圍的外側(cè)光標(biāo)不移動(dòng)的方式限制光標(biāo)的設(shè)定范圍。此外，也可以僅顯示可計(jì)測(cè)范圍的圖像，而僅限于在該被顯示的范圍內(nèi)接受指定操作。
本發(fā)明的第二三維計(jì)測(cè)方法中，執(zhí)行以下各步驟第七步驟，針對(duì)計(jì)測(cè)對(duì)象物的支承面上的計(jì)測(cè)對(duì)象范圍接受指定；第八步驟，利用各照相機(jī)之間的照相機(jī)坐標(biāo)系的關(guān)系，來(lái)求出屬于上述計(jì)測(cè)對(duì)象范圍的點(diǎn)中包含在所有照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)的高度范圍；第九步驟，輸出在上述第八步驟中求出的高度范圍。
在上述第八步驟中，一邊將上述假想平面的高度每次移動(dòng)規(guī)定的單位，一邊對(duì)每個(gè)高度提取與該高度對(duì)應(yīng)的可計(jì)測(cè)范圍，從而能夠求出與可計(jì)測(cè)范圍對(duì)應(yīng)的高度，該可計(jì)測(cè)范圍可包含在第七步驟被指定的計(jì)測(cè)范圍。由此，能夠從這些高度的集合求出高度范圍。
根據(jù)第二方法，通過(guò)指定用戶認(rèn)為必要的計(jì)測(cè)對(duì)象范圍，能夠向用戶報(bào)知屬于該范圍內(nèi)的各種高度的點(diǎn)中包含在所有照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)、即可進(jìn)行三維計(jì)測(cè)的點(diǎn)的高度范圍。
上述第一、二的方法，在作為目的的計(jì)測(cè)之前，也可以為如下的目的而實(shí)施設(shè)定照相機(jī)以使該計(jì)測(cè)正確進(jìn)行，或者確認(rèn)是否處于這樣的設(shè)定狀態(tài)。還有，也可以為這樣的目的而實(shí)施，即，在利用三維計(jì)測(cè)的檢查中，當(dāng)非不良品而作出不良判斷時(shí)，確認(rèn)是否正確執(zhí)行了三維計(jì)測(cè)。
執(zhí)行上述第一三維計(jì)測(cè)處理方法的裝置具有輸入裝置，其輸入應(yīng)計(jì)測(cè)的高度范圍；范圍提取裝置，其針對(duì)上述多臺(tái)照相機(jī)中的至少一臺(tái)，利用各照相機(jī)之間的照相機(jī)坐標(biāo)系的關(guān)系，提取出由該照相機(jī)生成的圖像內(nèi)的點(diǎn)中的、即使位于由上述輸入裝置輸入的高度的任意范圍內(nèi)也包含在所有照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)出現(xiàn)在圖像上的范圍。
上述輸入裝置可以由鼠標(biāo)、控制臺(tái)、鍵盤等構(gòu)成。范圍提取裝置能夠由存儲(chǔ)有有關(guān)該裝置的處理的程序的計(jì)算機(jī)來(lái)構(gòu)成。
本發(fā)明的優(yōu)選的一實(shí)施方式，還具有如下的各裝置顯示用圖像生成裝置，其生成顯示用圖像，該顯示用圖像是將由上述范圍提取裝置的處理對(duì)象的照相機(jī)生成的圖像與由上述范圍提取裝置提取的范圍一起顯示的圖像；圖像輸出裝置，其輸出上述顯示用圖像。
顯示用圖像生成裝置可以由存儲(chǔ)有有關(guān)該裝置的處理的程序的計(jì)算機(jī)來(lái)構(gòu)成。圖像輸出裝置可以作為對(duì)于圖像顯示用顯示裝置的接口電路而構(gòu)成。
本發(fā)明的優(yōu)選的一實(shí)施方式，還具有第一范圍指定接受裝置，其顯示來(lái)自上述多臺(tái)照相機(jī)中的任意一臺(tái)的圖像的同時(shí)，在其顯示畫面上接受計(jì)測(cè)對(duì)象范圍的指定操作；判別裝置，其判別上述所指定的計(jì)測(cè)對(duì)象范圍是否包含在由上述范圍提取裝置提取的范圍內(nèi)；輸出裝置，其輸出上述判別裝置的判別結(jié)果，上述范圍提取裝置通過(guò)上述范圍接受裝置來(lái)對(duì)作為范圍指定的對(duì)象的照相機(jī)進(jìn)行上述范圍的提取。
輸入裝置是與第一裝置同樣的裝置。其他的裝置可以分別由存儲(chǔ)有有關(guān)該裝置的處理的程序的計(jì)算機(jī)來(lái)構(gòu)成，但是，輸出裝置最好包含對(duì)于顯示器或者外部設(shè)備的接口電路。
第一范圍指定接受裝置能夠作為人機(jī)接口而構(gòu)成，該人機(jī)接口，將來(lái)自規(guī)定的照相機(jī)的圖像顯示在顯示裝置上，并在該顯示圖像上重疊顯示范圍指定用光標(biāo)等而接受指定操作。
上述范圍提取裝置基本上與前面的實(shí)施方式相同，但是，只要至少對(duì)作為上述范圍指定的對(duì)象的照相機(jī)的圖像執(zhí)行提取處理即可。
輸出裝置可以作為在與上述指定范圍時(shí)同樣的圖像的顯示畫面上顯示上述范圍指定是否適當(dāng)?shù)男畔⒌难b置而構(gòu)成。此外，在此基礎(chǔ)上，當(dāng)范圍指定不適當(dāng)時(shí)，也可以以輸出警告音的方式構(gòu)成。
本發(fā)明的優(yōu)選的一實(shí)施方式，具有第二范圍指定接受裝置，該第二范圍指定接受裝置顯示來(lái)自上述范圍提取裝置的處理對(duì)象的照相機(jī)的圖像，并在該圖像上由上述范圍提取裝置提取的范圍內(nèi)接受計(jì)測(cè)范圍的指定。
進(jìn)而，用于執(zhí)行第二三維計(jì)測(cè)方法的裝置具有范圍指定接受裝置，其顯示來(lái)自上述多臺(tái)照相機(jī)中的任意一臺(tái)的圖像的同時(shí)，接受在其顯示畫面上的計(jì)測(cè)對(duì)象范圍的指定操作；高度范圍提取裝置，其對(duì)應(yīng)于所指定的上述計(jì)測(cè)對(duì)象范圍，利用各照相機(jī)之間的照相機(jī)坐標(biāo)系的關(guān)系，來(lái)求出在空間內(nèi)屬于該計(jì)測(cè)對(duì)象范圍的點(diǎn)中包含在所有照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)的高度范圍；輸出裝置，其輸出由上述高度范圍提取裝置求出的高度范圍。
第二裝置的輸出裝置最好作為顯示上述高度范圍的裝置而構(gòu)成(例如，由生成顯示用的信息而控制顯示器的顯示動(dòng)作的計(jì)算機(jī)以及顯示用接口來(lái)構(gòu)成)。這時(shí)的顯示并不僅限于單純的數(shù)值顯示，例如，也可以對(duì)計(jì)測(cè)對(duì)象物的支承面視為基準(zhǔn)的高度范圍進(jìn)行圖形顯示。
進(jìn)而，在上述第一、第二三維計(jì)測(cè)裝置中，能夠采用將作為上述計(jì)測(cè)對(duì)象區(qū)域的指定對(duì)象的照相機(jī)，相對(duì)計(jì)測(cè)對(duì)象物的支承面以垂直光軸的狀態(tài)設(shè)置的結(jié)構(gòu)。根據(jù)這樣的結(jié)構(gòu)，能夠生成從正面拍攝到的計(jì)測(cè)對(duì)象物和其支承面的圖像，因此，能夠以與在實(shí)際支承面上指定范圍同樣的間隔來(lái)指定計(jì)測(cè)對(duì)象范圍。
進(jìn)而，可以在本發(fā)明的三維計(jì)測(cè)裝置設(shè)置用于將計(jì)測(cè)處理結(jié)果輸出到外部(也包括顯示)的裝置。還有，當(dāng)將該裝置以檢查的目的使用時(shí)，可以設(shè)置將計(jì)測(cè)處理結(jié)果與規(guī)定的閾值進(jìn)行比較的裝置、基于該比較結(jié)果輸出OK(合格的判定信號(hào))或者NG(不良的判定信號(hào))的裝置等。
根據(jù)本發(fā)明，用戶能夠簡(jiǎn)單地確認(rèn)是否能夠確實(shí)地計(jì)測(cè)位于想要計(jì)測(cè)的范圍內(nèi)的各點(diǎn)，因此，即使是缺乏有關(guān)三維計(jì)測(cè)知識(shí)的用戶，也能夠簡(jiǎn)單地進(jìn)行照相機(jī)的設(shè)定和調(diào)整。還有，在計(jì)測(cè)處理中，也能夠向用戶通知支承面上的可計(jì)測(cè)范圍和可計(jì)測(cè)的高度范圍，因此能夠簡(jiǎn)單地把握是否設(shè)定有能夠正確地執(zhí)行作為目的的三維計(jì)測(cè)的條件。


圖1是同設(shè)置例一起表示應(yīng)用了本發(fā)明的檢查裝置的拍攝部的結(jié)構(gòu)的立體圖。
圖2是檢查裝置的框圖。
圖3是表示拍攝了標(biāo)定用工件時(shí)的顯示畫面的說(shuō)明圖。
圖4是表示可計(jì)測(cè)范圍的顯示例。
圖5是表示各圖像之間的對(duì)應(yīng)點(diǎn)的關(guān)系的說(shuō)明圖。
圖6是表示可計(jì)測(cè)范圍的提取方法的說(shuō)明圖。
圖7是表示在顯示可計(jì)測(cè)范圍的同時(shí)進(jìn)行照相機(jī)的設(shè)定的情況下的處理步驟的流程圖。
圖8是表示計(jì)測(cè)區(qū)域的指定例子的說(shuō)明圖。
圖9是表示在設(shè)定適合于可計(jì)測(cè)范圍的計(jì)測(cè)區(qū)域的情況下的處理步驟的流程圖。
圖10是表示在接受計(jì)測(cè)區(qū)域的指定而顯示可計(jì)測(cè)的高度范圍的情況下的處理步驟的流程圖。
具體實(shí)施例方式
圖1將應(yīng)用了本發(fā)明的檢查裝置的拍攝部的結(jié)構(gòu)，同其設(shè)置例一起表示。
該實(shí)施例的檢查裝置具有三維以及二維兩方面的計(jì)測(cè)處理功能，由拍攝部1依次拍攝被搬送在工場(chǎng)的檢查流水線L的檢查對(duì)象物W(以下，稱為“工件W”)，并進(jìn)行對(duì)應(yīng)于各種檢查目的的計(jì)測(cè)處理合判別處理。
上述拍攝部1具有在規(guī)定大小的框體15內(nèi)裝入兩臺(tái)照相機(jī)C0、C1的結(jié)構(gòu)，并且設(shè)置在上述檢查流水線L的上方。一方的照相機(jī)C0以將其光軸朝向垂直方向的狀態(tài)被設(shè)置。另一方的照相機(jī)C1以與上述照相機(jī)C0視場(chǎng)重合的方式、且以使光軸傾斜的狀態(tài)被設(shè)置。通過(guò)這樣的設(shè)定，在照相機(jī)C0中，生成表示從正面看到上述工件W的上表面的狀態(tài)的圖像(以下，將該照相機(jī)C0側(cè)的圖像稱為“正視圖像”)。并在另一方的照相機(jī)C1中，可生成處于向斜向傾斜狀態(tài)的工件W的圖像(以下，稱為“斜視圖像”)。
圖2是表示上述檢查裝置的全體結(jié)構(gòu)的框圖。該檢查裝置除了上述拍攝部1以外，還由主體部2、顯示器3、控制臺(tái)4等構(gòu)成。在主體部2分別設(shè)置有對(duì)于各照相機(jī)C0、C1的圖像輸入部10、11；照相機(jī)驅(qū)動(dòng)部12；運(yùn)算處理部20；輸出部28等。
上述照相機(jī)驅(qū)動(dòng)部12，接收來(lái)自未圖示的工件檢測(cè)用傳感器的檢測(cè)信號(hào)來(lái)同時(shí)驅(qū)動(dòng)各照相機(jī)C0、C1。由各照相機(jī)C0、C1所生成的圖像信號(hào)輸入到各自的圖像輸入部10、11，而被進(jìn)行數(shù)字轉(zhuǎn)換。由此，分別在每臺(tái)照相機(jī)上生成計(jì)測(cè)處理用數(shù)字圖像(上述正視圖像以及斜視圖像)。
上述運(yùn)算處理部20是由計(jì)算機(jī)構(gòu)成的，其執(zhí)行了利用每個(gè)上述照相機(jī)的圖像的計(jì)測(cè)處理之后，從該處理結(jié)果判定上述工件W是否適當(dāng)。輸出部28是用于將上述計(jì)測(cè)處理和判定處理的結(jié)果輸出到PLC等外部設(shè)備的輸出用接口。
在運(yùn)算處理部20中，除了用于存儲(chǔ)圖像A0、A1的圖像存儲(chǔ)器21之外，還設(shè)有圖像處理部22、計(jì)測(cè)處理部23、判定部24、顯示控制部25、參數(shù)計(jì)算部26、參數(shù)存儲(chǔ)部27等。此外，在圖像存儲(chǔ)器21以及參數(shù)存儲(chǔ)部27以外的各部是，通過(guò)專用程序來(lái)設(shè)定在上述計(jì)算機(jī)中的功能。圖像存儲(chǔ)器21和參數(shù)存儲(chǔ)部27設(shè)定在上述計(jì)算機(jī)的存儲(chǔ)器(RAM等)中。
此外，雖在圖2中沒(méi)有表示，但在運(yùn)算處理部20還設(shè)有用于登錄檢查所需的信息(檢查區(qū)域的設(shè)定條件和模型的圖像等)的存儲(chǔ)器等(以下，將該存儲(chǔ)器稱為“登錄用存儲(chǔ)器”)。對(duì)向該登錄用存儲(chǔ)器的登錄處理、以及運(yùn)算處理部20的各處理部執(zhí)行的處理的設(shè)定或者變更，能夠適當(dāng)?shù)馗鶕?jù)控制臺(tái)4的操作來(lái)進(jìn)行。
圖像處理部22對(duì)于上述工件W的檢查對(duì)象部位，從上述正視圖像提取計(jì)測(cè)對(duì)象的點(diǎn)之后，在斜視圖像中檢索與該點(diǎn)對(duì)應(yīng)的點(diǎn)。計(jì)測(cè)處理部23通過(guò)利用由上述圖像處理部22提取的各點(diǎn)的坐標(biāo)的運(yùn)算，來(lái)計(jì)算出與這些點(diǎn)對(duì)應(yīng)的三維坐標(biāo)。
判定部24將由上述計(jì)測(cè)處理部23求出的三維坐標(biāo)與規(guī)定的基準(zhǔn)位置坐標(biāo)進(jìn)行比較等，來(lái)判定工件W的合格與否。該判定結(jié)果被輸出到輸出部28以及顯示控制部25中。
上述顯示控制部25用于控制上述顯示器3的顯示動(dòng)作，并能夠在一個(gè)畫面內(nèi)并列顯示在上述圖像輸入部10、11所生成的正視圖像和斜視圖像。進(jìn)而，能夠適當(dāng)?shù)亟邮請(qǐng)D像處理部22、計(jì)測(cè)處理部23、判定部24的處理結(jié)果，并與上述圖像一起進(jìn)行顯示。
在參數(shù)存儲(chǔ)部27中保存用于三維計(jì)測(cè)的運(yùn)算式所包含的各種系數(shù)。這些系數(shù)的值，根據(jù)由各照相機(jī)構(gòu)成的照相機(jī)坐標(biāo)系和表示在實(shí)際空間中的位置的空間坐標(biāo)系的關(guān)系(各坐標(biāo)的原點(diǎn)之間的距離、相對(duì)空間坐標(biāo)系的立體坐標(biāo)系的旋轉(zhuǎn)錯(cuò)位量等)來(lái)變化(以下，將這些系數(shù)稱為“參數(shù)”)。在檢查之前，通過(guò)圖像處理部22以及參數(shù)計(jì)算部26來(lái)計(jì)算出這些參數(shù)，并存儲(chǔ)在上述參數(shù)存儲(chǔ)部27中。另外，在該參數(shù)存儲(chǔ)部27中還保存有構(gòu)成后述運(yùn)算式(1)的單應(yīng)矩陣的參數(shù)。
此外，在計(jì)算上述參數(shù)的處理中，使用具有多個(gè)特征點(diǎn)的標(biāo)定用工件。
進(jìn)而，在本實(shí)施例的檢查裝置中，執(zhí)行了上述標(biāo)定之后，在畫面上能夠確認(rèn)可執(zhí)行三維計(jì)測(cè)的范圍(可計(jì)測(cè)范圍)是否適當(dāng)。該處理是利用由被設(shè)定在上述參數(shù)存儲(chǔ)部27中的參數(shù)組合而成的單應(yīng)矩陣、和圖像處理部22、計(jì)測(cè)處理部23以及顯示處理部25的功能來(lái)進(jìn)行的處理。
圖3是表示由各照相機(jī)C0、C1來(lái)拍攝了上述標(biāo)定用工件時(shí)的顯示器3的畫面。該實(shí)施例的畫面在垂直方向分為3部分，在中央?yún)^(qū)域30顯示來(lái)自各照相機(jī)C0、C1的圖像，而在上下區(qū)域31、32顯示各種信息和設(shè)定值的輸入狀態(tài)等。進(jìn)而，圖像的顯示區(qū)域30沿左右被分割，分別在左側(cè)顯示來(lái)自照相機(jī)C0的正視圖像A0，在右側(cè)表示來(lái)自照相機(jī)C1的斜視圖像A1。
在該實(shí)施例的標(biāo)定用工件上，形成有在水平和垂直的各方向上分別等間隔地配置多條直線的圖案(格子狀圖案)。另外，為了使標(biāo)定用工件的定位變得輕易、且為了確定工件上的各特征點(diǎn)(格子狀圖案的交點(diǎn))的位置關(guān)系，而使各方向的中央的直線比其他直線更粗。
在上述區(qū)域30的圖像A0、A1之間，出現(xiàn)伴隨照相機(jī)C0、C1之間的照相機(jī)坐標(biāo)系的關(guān)系的視差。還有，在斜視圖像A1上的各直線相對(duì)水平、垂直方向稍微傾斜。
在該實(shí)施例中，通過(guò)使用戶指定要計(jì)測(cè)的高度范圍(以下，稱為“高度計(jì)測(cè)范圍”)，來(lái)求出位于該高度計(jì)測(cè)范圍內(nèi)、且包含在照相機(jī)C0、C1雙方的視場(chǎng)內(nèi)的點(diǎn)出現(xiàn)在各照相機(jī)的圖像上的范圍(與上述高度計(jì)測(cè)范圍對(duì)應(yīng)的可計(jì)測(cè)范圍)，并顯示反映了該可計(jì)測(cè)范圍的圖像A0、A1。圖4表示該顯示例。此外，在該例子中的高度是將規(guī)定的高度位置設(shè)為0并以此為基準(zhǔn)而表示的，且單位是mm。
在圖4中，(a)是表示將高度計(jì)測(cè)范圍設(shè)定在0～20mm時(shí)的顯示例，(b)是表示將高度計(jì)測(cè)范圍設(shè)定在-20～40mm時(shí)的顯示例，(c)是表示將高度計(jì)測(cè)范圍設(shè)定在9～10mm時(shí)的顯示例。在任何一個(gè)例子中，與高度計(jì)測(cè)范圍對(duì)應(yīng)的在圖像A0、A1上的可計(jì)測(cè)范圍都由規(guī)定的色彩進(jìn)行了著色(在圖4中，通過(guò)對(duì)色彩部分用規(guī)定的圖案進(jìn)行全面涂敷來(lái)表示)。由此，用戶根據(jù)可能會(huì)包含工件W的范圍是否被著色，能夠判別是否為能夠正確地執(zhí)行對(duì)于該工件W的三維計(jì)測(cè)的設(shè)定。
進(jìn)而，在圖4的例子的畫面最下邊的信息顯示區(qū)域32中顯示有現(xiàn)在被設(shè)定的高度計(jì)測(cè)范圍、與用于變更該范圍的操作有關(guān)的信息(上下箭頭)等。通過(guò)在該狀態(tài)下操作控制臺(tái)的上下箭頭鍵(未圖示)，能夠變更高度計(jì)測(cè)范圍。由此，即使在所顯示的可計(jì)測(cè)范圍不適當(dāng)?shù)那闆r下，用戶也能夠通過(guò)變更高度計(jì)測(cè)范圍來(lái)進(jìn)行調(diào)整，以使可計(jì)測(cè)范圍變?yōu)檫m當(dāng)。
接著，對(duì)于求出上述可計(jì)測(cè)范圍的方法進(jìn)行說(shuō)明。
圖5表示位于空間內(nèi)的任意高度位置的平面D上的一點(diǎn)P分別成像為在上述照相機(jī)C0、C1的拍攝面F0、F1上的點(diǎn)p0、p1的狀態(tài)。另外，在圖5中，X、Y、Z是表示三維空間的坐標(biāo)軸，D與XY平面平行。此外，在拍攝面F0上設(shè)有由x0、y0軸構(gòu)成的二維坐標(biāo)系，而在拍攝面F1上設(shè)有由x1、y1軸構(gòu)成的二維坐標(biāo)系。通過(guò)來(lái)自這些拍攝面F0、F1上的各受光單元的信號(hào)來(lái)生成上述圖像A0、A1。
在上述中，將拍攝面F0上的點(diǎn)P的成像位置(點(diǎn)p0)的坐標(biāo)設(shè)為(xcam0，ycam0)，并將拍攝面F1上的點(diǎn)P的成像位置(點(diǎn)p1)的坐標(biāo)設(shè)為(xcam1，ycam1)。在這里，假設(shè)上述平面D的高度Z從ZA變化到ZB(ZA＜ZB)，則能夠?qū)⑸鲜鳇c(diǎn)p0、p1之間的關(guān)系由下面的式(1)、(2)來(lái)表示。此外，式(1)、(2)中的dH是可通過(guò)式(3)來(lái)求出。
公式1λxcam0ycam01=(HZA+Z·dH)xcam1ycam11---(1)]]>公式2λ′xcam1ycam11=(HZA-1+Z·dH-1)xcam0ycam01---(2)]]>公式3dH=1(ZB-ZA)(HZB-HZA)---(3)]]>在式(1)～(3)中，HZA是與上述高度ZA對(duì)應(yīng)的單應(yīng)矩陣，HZB是與高度ZB對(duì)應(yīng)的單應(yīng)矩陣。這些矩陣HZA、HZB的大小都是3×3。此外，λ、λ′是規(guī)定的常數(shù)。
上述的式(1)是能夠在從圖像A1的點(diǎn)p1的坐標(biāo)求出圖像A0上的對(duì)應(yīng)點(diǎn)p0的坐標(biāo)時(shí)使用。還有式(2)是能夠在從圖像A0上的點(diǎn)p0的坐標(biāo)求出圖像A1上的對(duì)應(yīng)點(diǎn)p1的坐標(biāo)時(shí)使用。通過(guò)將任意的高度代入到這些式子的Z中，從而對(duì)位于該高度的點(diǎn)，能夠檢測(cè)出圖像A0、A1之間的對(duì)應(yīng)點(diǎn)。
在該實(shí)施例中，以任意的范圍接受高度計(jì)測(cè)范圍的指定，并基于在“發(fā)明內(nèi)容”中說(shuō)明過(guò)的原理來(lái)提取與上述高度計(jì)測(cè)范圍對(duì)應(yīng)的可計(jì)測(cè)范圍。
此外，提取該可計(jì)測(cè)范圍時(shí)使用各圖像A0、A1的四個(gè)頂點(diǎn)的坐標(biāo)，而且，由于這些圖像的尺寸相同，因此各圖像的四個(gè)頂點(diǎn)的坐標(biāo)相同。例如，若水平方向的像數(shù)為512、垂直方向的像數(shù)為484，則各頂點(diǎn)的坐標(biāo)為(0，0)(511，0)(511，483)(0，483)。
圖6具體表示上述可計(jì)測(cè)范圍的提取方法。
在該例中，將高度計(jì)測(cè)范圍的下限值設(shè)為ZL、將上限值設(shè)為ZU，并對(duì)于Z＝ZL以及Z＝ZU的情況，分別將上述圖像的四個(gè)頂點(diǎn)的坐標(biāo)設(shè)為(xcom1，ycam1)并執(zhí)行式(1)，從而作為每個(gè)高度ZL、ZU的(xcom0，ycam0)而得到四個(gè)點(diǎn)，并將把這些作為頂點(diǎn)的區(qū)域5L、5U設(shè)定在上述圖像A0上(即，連接假設(shè)Z＝ZL并執(zhí)行式(1)而得到的四個(gè)點(diǎn)的區(qū)域?yàn)閰^(qū)域5L，連接假設(shè)Z＝ZU并執(zhí)行式(1)而得到的四個(gè)點(diǎn)的區(qū)域?yàn)閰^(qū)域5U)。而且，將在圖像A0的坐標(biāo)范圍內(nèi)區(qū)域5L、5U重合的部分50作為與上述高度計(jì)測(cè)范圍對(duì)應(yīng)的可計(jì)測(cè)范圍而進(jìn)行提取。
簡(jiǎn)單地說(shuō)明一下上述提取處理的根據(jù)。對(duì)任何圖像A0、A1，位于高度ZL、ZU的點(diǎn)都可能會(huì)出現(xiàn)在圖像上的任意位置，因此，當(dāng)使用對(duì)應(yīng)于各自高度的單應(yīng)矩陣來(lái)將圖像A1的全體范圍變換為圖像A0時(shí)，該變換后的區(qū)域5L對(duì)應(yīng)于在位于高度ZL的點(diǎn)中包含在照相機(jī)C1的視場(chǎng)內(nèi)的點(diǎn)。同樣地，區(qū)域5U對(duì)應(yīng)于在位于高度ZU的點(diǎn)中包含在照相機(jī)C1的視場(chǎng)內(nèi)的點(diǎn)。因而，只要是在這些區(qū)域5L、5U中包含在圖像A0的范圍內(nèi)的部分50(包含在照相機(jī)C0的視場(chǎng)內(nèi)的部分)，則可進(jìn)行三維坐標(biāo)的計(jì)測(cè)，因此可稱為可計(jì)測(cè)范圍。
對(duì)圖像A1，也基于同樣的原理，對(duì)Z＝ZL、以及Z＝ZU的情況，分別將上述圖像的四個(gè)頂點(diǎn)的坐標(biāo)設(shè)為(xcom0，ycam0)并執(zhí)行式(2)，而設(shè)定將作為(xcom1，ycam1)而得到的四個(gè)點(diǎn)作為頂點(diǎn)的區(qū)域6L、6U。然后，將在實(shí)際圖像的坐標(biāo)范圍內(nèi)上述區(qū)域6L、6U重合的部分60，作為與上述高度計(jì)測(cè)范圍對(duì)應(yīng)的可計(jì)測(cè)范圍來(lái)進(jìn)行提取。
圖7是表示計(jì)測(cè)處理前的設(shè)定所涉及的一系列步驟。
將上述標(biāo)定用工件設(shè)置在拍攝對(duì)象位置，并將各照相機(jī)C0、C1定位在其上方，再調(diào)整各照相機(jī)的放大率和照相機(jī)C1的光軸的傾斜等之后開始該順序。
首先，在最初的ST1(ST是“步驟”的簡(jiǎn)寫。以下也相同)中，通過(guò)各照相機(jī)C0、C1來(lái)拍攝上述標(biāo)定用工件，并利用所生成的正視圖像A1以及斜視圖像A2來(lái)計(jì)算出三維計(jì)測(cè)所需的各種參數(shù)。
此外，為了求出在三維計(jì)測(cè)所需的所有參數(shù)，而需要一邊改變標(biāo)定用工件的高度一邊進(jìn)行多次拍攝，從而從各圖像分別提取標(biāo)定所需的多個(gè)特征點(diǎn)。通過(guò)正確求出這些參數(shù)，而三維計(jì)測(cè)變得可能，同時(shí)能夠求出上述單應(yīng)矩陣HZA、HZB。
上述的標(biāo)定一結(jié)束，就在ST2中接受上述高度計(jì)測(cè)范圍的輸入。然后，在下一個(gè)ST3中，通過(guò)在上述圖6所示的方法來(lái)提取各圖像A0、A1中的可計(jì)測(cè)范圍50、60。進(jìn)而，如上述圖4所示，基于該提取結(jié)果，對(duì)顯示器3上的圖像A0、A1的可計(jì)測(cè)范圍50、60進(jìn)行著色顯示。
用戶通過(guò)觀察該顯示畫面來(lái)判斷可計(jì)測(cè)范圍是否適當(dāng)。這時(shí)，若在可計(jì)測(cè)范圍存在一些問(wèn)題，則用戶可以變更高度計(jì)測(cè)范圍。由該指定范圍的變更ST4變?yōu)椤笆恰倍祷氐絊T3，并重新提取與變更后的高度計(jì)測(cè)范圍對(duì)應(yīng)的可計(jì)測(cè)范圍。另外，顯示器3的顯示也對(duì)應(yīng)于可計(jì)測(cè)范圍的重新提取而被更新。
另一方面，在想要調(diào)整可計(jì)測(cè)范圍而不變更高度計(jì)測(cè)范圍的情況下，用戶變更照相機(jī)的設(shè)定條件。這時(shí)，ST5變?yōu)椤笆恰倍祷氐絊T1，從標(biāo)定開始重新進(jìn)行處理。
另一方面，只要可計(jì)測(cè)范圍適當(dāng)，則用戶不需變更高度計(jì)測(cè)范圍或照相機(jī)的設(shè)定條件，而執(zhí)行登錄操作。由此，ST4、ST5都變?yōu)椤胺瘛倍M(jìn)到ST6，并將由上述標(biāo)定中求出的參數(shù)等登錄到參數(shù)存儲(chǔ)部27中。
根據(jù)上述實(shí)施例，用戶通過(guò)指定高度計(jì)測(cè)范圍，對(duì)該高度計(jì)測(cè)范圍內(nèi)的點(diǎn)，能夠簡(jiǎn)單地確認(rèn)能夠計(jì)測(cè)什么程度的大小范圍。特別是，由于正視圖像A0表示從正上方觀察到工件W和其支承面的狀態(tài)，因此能夠確認(rèn)到與對(duì)于實(shí)際工件W和其支承面的可計(jì)測(cè)范圍同樣的關(guān)系。
因此，即使不具有關(guān)于三維計(jì)測(cè)的專業(yè)知識(shí)，也能夠簡(jiǎn)單且適當(dāng)?shù)剡M(jìn)行照相機(jī)的設(shè)定。還有，由于能夠自由地指定高度計(jì)測(cè)范圍，所以能夠應(yīng)對(duì)各種工件W，從而能夠提供一種通用性高的檢查裝置。
此外，在上述實(shí)施例中，根據(jù)標(biāo)定處理來(lái)顯示可計(jì)測(cè)范圍，但是該顯示也能夠在計(jì)測(cè)處理中進(jìn)行。這時(shí)，由于用戶能夠一邊確認(rèn)工件W是否正確進(jìn)入到畫面上的可計(jì)測(cè)范圍50、60內(nèi)而一邊執(zhí)行計(jì)測(cè)，因此當(dāng)檢測(cè)出不良時(shí)，能夠輕易地判斷出它是真的不良、還是由于工件的位置或姿勢(shì)的不正確而產(chǎn)生的不良。
下面的實(shí)施例適用于結(jié)束了標(biāo)定之后，利用合格工件W來(lái)設(shè)定計(jì)測(cè)區(qū)域，并登錄該設(shè)定條件(區(qū)域的位置或大小)的處理。
圖8表示計(jì)測(cè)區(qū)域的設(shè)定例。在該例子中，也將照相機(jī)C0、C1同時(shí)驅(qū)動(dòng)，并將所得到的正視圖像A0以及斜視圖像A1并列顯示在上述區(qū)域30上。進(jìn)而，通過(guò)在正視圖像A0的顯示畫面上進(jìn)行范圍指定用的光標(biāo)(未圖示)的設(shè)定等，而接受計(jì)測(cè)區(qū)域7的指定。
若上述的計(jì)測(cè)區(qū)域7的設(shè)定條件被登錄并開始了計(jì)測(cè)，則對(duì)每小時(shí)的工件W，基于上述所登錄的條件來(lái)設(shè)定計(jì)測(cè)區(qū)域7，并執(zhí)行將包含在該區(qū)域7內(nèi)的點(diǎn)作為對(duì)象的計(jì)測(cè)處理。但是，在與圖像A1側(cè)的上述計(jì)測(cè)區(qū)域7對(duì)應(yīng)的區(qū)域內(nèi)不出現(xiàn)位于作為目的的高度范圍的點(diǎn)的情況下，無(wú)法計(jì)測(cè)該點(diǎn)的三維坐標(biāo)。
鑒于上述問(wèn)題，在第二實(shí)施例中，在指定計(jì)測(cè)區(qū)域7之前接受高度計(jì)測(cè)范圍的指定，并提取與該所指定的高度計(jì)測(cè)范圍對(duì)應(yīng)的可計(jì)測(cè)范圍。而且，在上述計(jì)測(cè)區(qū)域7被指定為超出該可計(jì)測(cè)范圍的范圍時(shí)，不接受該指定而顯示出錯(cuò)。
圖9表示有關(guān)上述計(jì)測(cè)區(qū)域7的設(shè)定的一系列步驟。該步驟是結(jié)束上述標(biāo)定之后進(jìn)行的步驟，在最初的ST11中拍攝上述合格品工件W。在下一個(gè)ST12中，將在ST11所生成的正視圖像A0以及斜視圖像A1顯示在顯示器3上。
在下面的ST13中，接受對(duì)上述高度計(jì)測(cè)范圍的指定。在ST14中提取對(duì)應(yīng)于該指定的可計(jì)測(cè)范圍。此外，在該實(shí)施例中，為了判斷計(jì)測(cè)區(qū)域7對(duì)于正視圖像A0是否適當(dāng)而需要知道可計(jì)測(cè)范圍，因此僅提取正視圖像A0中的可計(jì)測(cè)范圍也可以。
在ST15中，接受對(duì)計(jì)測(cè)區(qū)域7的指定。這時(shí)，若所指定的計(jì)測(cè)區(qū)域7包含在上述可計(jì)測(cè)范圍內(nèi)，則ST16變?yōu)椤笆恰倍M(jìn)到ST20，并對(duì)計(jì)測(cè)區(qū)域7的設(shè)定條件進(jìn)行登錄。
另一方面，當(dāng)計(jì)測(cè)區(qū)域7被指定為超出上述可計(jì)測(cè)范圍的范圍時(shí)，ST16變?yōu)椤胺瘛倍M(jìn)到ST17，并在上述信息顯示用區(qū)域31上顯示規(guī)定的出錯(cuò)信息。若根據(jù)該顯示用戶變更計(jì)測(cè)區(qū)域7，則ST18變?yōu)椤笆恰倍祷氐絊T16。由此，若被變更的計(jì)測(cè)區(qū)域7包含在可計(jì)測(cè)范圍內(nèi)，則進(jìn)到ST20，并對(duì)上述被變更的計(jì)測(cè)區(qū)域7的設(shè)定條件進(jìn)行登錄。
另一方面，在用戶不想變更計(jì)測(cè)區(qū)域7的情況下，對(duì)高度計(jì)測(cè)范圍進(jìn)行變更。在這種情況下，ST18變?yōu)椤胺瘛?、ST19變?yōu)椤笆恰保瑥亩鴱纳鲜鯯T14開始重新進(jìn)行處理。
此外，在用戶對(duì)計(jì)測(cè)范圍7和高度計(jì)測(cè)范圍均都不想變更時(shí)，需要取消該圖9的處理且變更照相機(jī)的設(shè)定條件，并從標(biāo)定開始重新進(jìn)行處理。
根據(jù)上述處理，不會(huì)將計(jì)測(cè)區(qū)域7設(shè)定在不能計(jì)測(cè)位于所指定的高度計(jì)測(cè)范圍內(nèi)的點(diǎn)的范圍內(nèi)，所以能夠進(jìn)行穩(wěn)定的計(jì)測(cè)。此外，在上述實(shí)施例中，當(dāng)對(duì)計(jì)測(cè)區(qū)域7的指定不適當(dāng)時(shí)進(jìn)行出錯(cuò)顯示，但是也可以將其代替而限制可指定計(jì)測(cè)區(qū)域7的范圍。例如，可以不使光標(biāo)移動(dòng)到所提取的計(jì)測(cè)范圍之外，或者可以將圖像A0的顯示限定在可計(jì)測(cè)范圍內(nèi)，并僅在該所顯示的范圍內(nèi)指定計(jì)測(cè)區(qū)域7。
在下面的圖10所示的實(shí)施例中，在正視圖像A0上接受上述計(jì)測(cè)區(qū)域7的指定之后，在所指定的計(jì)測(cè)區(qū)域內(nèi)計(jì)算出可計(jì)測(cè)的高度范圍，并將該計(jì)算結(jié)果顯示在顯示器3上。以下，按照?qǐng)D10的流程進(jìn)行說(shuō)明。
在最初的ST31中，對(duì)標(biāo)記f進(jìn)行零復(fù)位。此外，該標(biāo)記f是用于記憶設(shè)定有上述高度范圍的下限值ZL的。
在下面的ST32中，將高度Z設(shè)定成規(guī)定的初始值Z0。在下一個(gè)ST33中，以與上述圖8所示的方法同樣的方法，在正視圖像A0上接受對(duì)計(jì)測(cè)區(qū)域7的指定。指定一結(jié)束，就進(jìn)到ST34，并從上述正視圖像A0提取計(jì)測(cè)區(qū)域各頂點(diǎn)的坐標(biāo)。
在ST35中，通過(guò)將上述四個(gè)頂點(diǎn)的坐標(biāo)分別代入上述式(2)，而將各坐標(biāo)變換為斜視圖像A1側(cè)的坐標(biāo)。此外，對(duì)該ST35最初進(jìn)行設(shè)定時(shí)，向式(2)的Z代入上述初始值Z0。
在ST36中，判別由上述ST35求出的頂點(diǎn)的坐標(biāo)是否進(jìn)入圖像A1的坐標(biāo)范圍內(nèi)。在這里，只要任意一點(diǎn)位于圖像A1之外，則ST36變?yōu)椤胺瘛倍M(jìn)到ST43。由于在這個(gè)時(shí)刻上述標(biāo)記f為0，因此ST43也變?yōu)椤胺瘛倍M(jìn)到ST40。
在下一個(gè)ST40中，將高度Z的當(dāng)前值與預(yù)先確定的極限值ZOVER進(jìn)行比較。當(dāng)Z為初始值Z0時(shí)Z＜ZOVER，因此ST40變?yōu)椤胺瘛倍M(jìn)到ST41，并將上述Z更新為增加規(guī)定值d的值。此后，返回到ST35，并通過(guò)代入了更新后的Z的式(2)，來(lái)執(zhí)行對(duì)上述計(jì)測(cè)區(qū)域7的頂點(diǎn)的變換處理。
反復(fù)進(jìn)行上述的流程的結(jié)果，高度Z變?yōu)橐?guī)定值時(shí)，若判斷為在ST35求出的所有頂點(diǎn)包含在圖像A1的范圍內(nèi)，則ST36變?yōu)椤笆恰薄＝邮茉摗笆恰钡呐卸?，而在下一個(gè)ST37中檢查標(biāo)記f，但是，由于在此階段f＝0，所以進(jìn)到ST38。
在ST38中，將高度Z的當(dāng)前值設(shè)定為下限值ZL的同時(shí)，將上述標(biāo)記f置為1。
此后，也一邊使上述高度Z每次變高規(guī)定值d，一邊執(zhí)行ST35、36。將上述標(biāo)記f置為1之后，若ST36的判定變?yōu)椤笆恰?，則下一個(gè)ST37變?yōu)椤胺瘛保蚨M(jìn)到ST39，并將高度Z的當(dāng)前值設(shè)定為上述高度范圍的上限值ZU。
此后也是，只要是由被更新的高度Z求出的圖像A1側(cè)的計(jì)測(cè)區(qū)域位于該圖像A1的范圍內(nèi)，則以ST36、37、39的流程進(jìn)行處理，從而上述高度范圍的上限值ZU被更新。
此后，若圖像A1側(cè)的計(jì)測(cè)區(qū)域超出圖像A1的范圍，則ST36變?yōu)椤胺瘛?、ST43變?yōu)椤笆恰?，而進(jìn)到ST42。還有，即使上述計(jì)測(cè)區(qū)域位于圖像A1的范圍內(nèi)，但是，若上述高度Z達(dá)到極限值ZOVER，則ST40變?yōu)椤笆恰倍M(jìn)到ST42。
在ST42中，通過(guò)將此時(shí)刻的下限值ZL以及上限值ZU顯示在顯示器3上，而向用戶報(bào)知可計(jì)測(cè)的高度范圍。
在上述實(shí)施例中，用戶通過(guò)指定計(jì)測(cè)范圍7，而能夠知道在該區(qū)域7內(nèi)可計(jì)測(cè)的高度范圍，因此能夠輕易地判別是否能夠進(jìn)行根據(jù)目的的計(jì)測(cè)。此外，在該實(shí)施例中，當(dāng)高度范圍不符合目的時(shí)，通過(guò)重新進(jìn)行對(duì)計(jì)測(cè)區(qū)域7的指定而能夠進(jìn)行應(yīng)對(duì)，但是，若不想變更對(duì)計(jì)測(cè)區(qū)域7的設(shè)定時(shí)，有必要變更照相機(jī)的設(shè)定條件，并再次進(jìn)行標(biāo)定。
權(quán)利要求
1.一種三維計(jì)測(cè)方法，利用由多臺(tái)照相機(jī)生成的圖像，對(duì)上述各照相機(jī)的視場(chǎng)重合的范圍執(zhí)行三維計(jì)測(cè)處理，其特征在于，執(zhí)行以下步驟第一步驟，針對(duì)應(yīng)計(jì)測(cè)的高度范圍接受指定；第二步驟，針對(duì)至少一臺(tái)照相機(jī)，利用各照相機(jī)之間的照相機(jī)坐標(biāo)系的關(guān)系，提取出由該照相機(jī)生成的圖像內(nèi)的點(diǎn)中的、即使位于在上述第一步驟中被指定的高度的任意范圍內(nèi)也包含在所有照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)出現(xiàn)在圖像上的范圍。
2.如權(quán)利要求1所記載的三維計(jì)測(cè)方法，其特征在于，執(zhí)行第三步驟，該第三步驟將由上述第二步驟的處理對(duì)象的照相機(jī)生成的圖像與在上述第二步驟中提取的范圍一起顯示。
3.如權(quán)利要求1所記載的三維計(jì)測(cè)方法，其特征在于，上述第一步驟還針對(duì)計(jì)測(cè)對(duì)象物的支承面上的計(jì)測(cè)對(duì)象范圍也接受指定，執(zhí)行以下步驟第四步驟，針對(duì)上述第二步驟的處理對(duì)象的照相機(jī)，判別其圖像上的上述計(jì)測(cè)對(duì)象范圍是否包含在上述第二步驟中所提取的范圍內(nèi)；第五步驟，輸出上述第四步驟的判別結(jié)果。
4.如權(quán)利要求1所記載的三維計(jì)測(cè)方法，其特征在于，執(zhí)行第六步驟，該第六步驟顯示來(lái)自上述第二步驟的處理對(duì)象的照相機(jī)的圖像的同時(shí)，在其顯示畫面上與在上述第二步驟中提取的范圍對(duì)應(yīng)的區(qū)域中接受計(jì)測(cè)對(duì)象范圍的指定。
5.一種三維計(jì)測(cè)方法，利用由多臺(tái)照相機(jī)生成的圖像，對(duì)上述各照相機(jī)的視場(chǎng)重合的范圍執(zhí)行三維計(jì)測(cè)處理，其特征在于，執(zhí)行以下步驟第七步驟，針對(duì)計(jì)測(cè)對(duì)象物的支承面上的計(jì)測(cè)對(duì)象范圍接受指定；第八步驟，利用各照相機(jī)之間的照相機(jī)坐標(biāo)系的關(guān)系，來(lái)求出屬于上述計(jì)測(cè)對(duì)象范圍的點(diǎn)中包含在所有照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)的高度范圍；第九步驟，輸出在上述第八步驟中求出的高度范圍。
6.一種三維計(jì)測(cè)裝置，是利用由多臺(tái)照相機(jī)生成的圖像對(duì)上述各照相機(jī)的視場(chǎng)重合的范圍執(zhí)行三維計(jì)測(cè)處理的裝置，其特征在于，具有輸入裝置，其輸入應(yīng)計(jì)測(cè)的高度范圍；范圍提取裝置，其針對(duì)上述多臺(tái)照相機(jī)中的至少一臺(tái)，利用各照相機(jī)之間的照相機(jī)坐標(biāo)系的關(guān)系，提取出由該照相機(jī)生成的圖像內(nèi)的點(diǎn)中的、即使位于由上述輸入裝置輸入的高度的任意范圍內(nèi)也包含在所有照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)出現(xiàn)在圖像上的范圍。
7.如權(quán)利要求6所記載的三維計(jì)測(cè)裝置，其特征在于，還具有顯示用圖像生成裝置，其生成顯示用圖像，該顯示用圖像是將由上述范圍提取裝置的處理對(duì)象的照相機(jī)生成的圖像與由上述范圍提取裝置提取的范圍一起顯示的圖像；圖像輸出裝置，其輸出上述顯示用圖像。
8.如權(quán)利要求6所記載的三維計(jì)測(cè)裝置，其特征在于，還具有第一范圍指定接受裝置，其顯示來(lái)自上述多臺(tái)照相機(jī)中的任意一臺(tái)的圖像的同時(shí)，在其顯示畫面上接受計(jì)測(cè)對(duì)象范圍的指定操作；判別裝置，其判別上述所指定的計(jì)測(cè)對(duì)象范圍是否包含在由上述范圍提取裝置提取的范圍內(nèi)；輸出裝置，其輸出上述判別裝置的判別結(jié)果，上述范圍提取裝置通過(guò)上述范圍接受裝置來(lái)對(duì)作為范圍指定的對(duì)象的照相機(jī)進(jìn)行上述范圍的提取。
9.如權(quán)利要求6所記載的三維計(jì)測(cè)裝置，其特征在于，具有第二范圍指定接受裝置，該第二范圍指定接受裝置顯示來(lái)自上述范圍提取裝置的處理對(duì)象的照相機(jī)的圖像，并在該圖像上由上述范圍提取裝置提取的范圍內(nèi)接受計(jì)測(cè)范圍的指定。
10.一種三維計(jì)測(cè)裝置，是利用由多臺(tái)照相機(jī)生成的圖像對(duì)上述各照相機(jī)的視場(chǎng)重合的范圍執(zhí)行三維計(jì)測(cè)處理的裝置，其特征在于，具有范圍指定接受裝置，其顯示來(lái)自上述多臺(tái)照相機(jī)中的任意一臺(tái)的圖像的同時(shí)，接受在其顯示畫面上的計(jì)測(cè)對(duì)象范圍的指定操作；高度范圍提取裝置，其對(duì)應(yīng)于所指定的上述計(jì)測(cè)對(duì)象范圍，利用各照相機(jī)之間的照相機(jī)坐標(biāo)系的關(guān)系，來(lái)求出在空間內(nèi)屬于該計(jì)測(cè)對(duì)象范圍的點(diǎn)中包含在所有照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)的高度范圍；輸出裝置，其輸出由上述高度范圍提取裝置求出的高度范圍。
全文摘要
本發(fā)明涉及一種三維計(jì)測(cè)方法以及三維計(jì)測(cè)裝置。通過(guò)本發(fā)明，能夠簡(jiǎn)單地實(shí)施將各照相機(jī)設(shè)定為對(duì)應(yīng)于計(jì)測(cè)目的的狀態(tài)、或者確認(rèn)是否設(shè)定成這樣的設(shè)定的處理。結(jié)束了用于三維計(jì)測(cè)的標(biāo)定之后，接受對(duì)想要計(jì)測(cè)的高度范圍的指定，并對(duì)每個(gè)來(lái)自各照相機(jī)的圖像(A0、A1)，利用與上述所指定的范圍對(duì)應(yīng)的單應(yīng)矩陣，來(lái)提取位于所指定的高度范圍內(nèi)的點(diǎn)中包含在雙方的照相機(jī)的視場(chǎng)內(nèi)的點(diǎn)出現(xiàn)的范圍。進(jìn)而，將提取過(guò)的范圍作為可計(jì)測(cè)范圍而著色顯示在圖像(A0、A1)上。
文檔編號(hào)G01B11/03GK1880912SQ20061009286
公開日2006年12月20日 申請(qǐng)日期2006年6月16日 優(yōu)先權(quán)日2005年6月17日
發(fā)明者藤枝紫朗, 池田泰之 申請(qǐng)人:歐姆龍株式會(huì)社