用于確定物體的三維坐標(biāo)的方法和裝置的制造方法
【專利說明】用于確定物體的三維坐標(biāo)的方法和裝置
[0001]本發(fā)明涉及用于確定物體的三維坐標(biāo)的方法和裝置。
[0002]在多個技術(shù)領(lǐng)域中，存在大量需要精確地確定物體的三維(3D)坐標(biāo)的應(yīng)用；這些技術(shù)領(lǐng)域是，例如，機(jī)械工程、汽車、陶瓷、采礦、骨科、口腔修復(fù)以及珠寶。待測量的物體可以具有任意形狀和尺寸。
[0003]確定物體的3D坐標(biāo)的一個特別應(yīng)用涉及土方工程操作，其中，運(yùn)土機(jī)械(諸如，帶鏟斗的挖掘機(jī)或帶刮鏟的推土機(jī))改變一個地點(diǎn)的地勢。土方工程操作的進(jìn)展由確定地點(diǎn)實(shí)際3D形狀和運(yùn)土機(jī)械的鏟斗或刮鏟的3D位置的光學(xué)測量裝置勘測?；谥貜?fù)地確定地點(diǎn)的3D形狀表示以及鏟斗或刮鏟的3D位置表示，檢測到該地點(diǎn)的取平后的3D形狀表示的差異和偏差并且確定了土方工程操作的進(jìn)展。
[0004]光學(xué)測量裝置利用無接觸傳感器(諸如，結(jié)構(gòu)光3D掃描儀)。在這種系統(tǒng)中，投影儀用來以預(yù)定的圖案照射物體。照相機(jī)捕捉從該物體反射的該圖案的二維(2D)圖像。捕捉的圖案相對于已知的參考圖案失真。這種失真是由物體的3D形狀表示引起的。每個物點(diǎn)的標(biāo)識可以被空間編碼(以單一圖案)、時間編碼(以圖案序列)或以空間和時間兩者的組合編碼。物點(diǎn)的數(shù)目越大，帶有獨(dú)立碼字的圖像點(diǎn)的數(shù)目越大，因此該圖案的結(jié)構(gòu)越復(fù)雜O
[0005]通過以時變圖案(諸如，以二進(jìn)制編碼或格雷編碼的條紋圖案)序列照射物體，捕捉到具有反射的條紋圖案的黑和白亮度值的2D圖像的時間序列。測量捕捉到的2D圖像序列中的一個相同2D圖像點(diǎn)的亮度值，允許將該2D圖像點(diǎn)與從物點(diǎn)反射的單獨(dú)條紋相關(guān)聯(lián)。由于投影儀的條紋圖案上的單獨(dú)條紋和照相機(jī)的2D圖像點(diǎn)被間隔開設(shè)備距離，并且由于投影的以及捕捉的條紋圖案的投影儀設(shè)備的軸線圍成一個照射角，知道設(shè)備距離和照射角使得能夠?qū)ο嚓P(guān)聯(lián)的物點(diǎn)3D坐標(biāo)進(jìn)行三角測量。
[0006]在WO 2008/046663 A2中，公開了一種現(xiàn)有技術(shù)的結(jié)構(gòu)光3D掃描儀，該結(jié)構(gòu)光3D掃描儀具有位于一個公共殼體中的投影儀和兩個光電傳感器陣列(PSA)照相機(jī)。所述兩個PSA照相機(jī)具有擁有數(shù)百萬像素的電荷耦合器件(CCD)傳感器。每個PSA照相機(jī)的2D圖像捕捉到從物體反射的、分辨率為數(shù)百萬個圖像點(diǎn)的條紋圖案。PSA照相機(jī)同時從不同的視點(diǎn)捕捉條紋圖案。PSA照相機(jī)的光軸具有5°到20°的偏移角。PSA照相機(jī)以穩(wěn)固的方式安裝在所述殼體內(nèi)，并且與所述殼體具有恒定的相互距離。根據(jù)極線約束，兩個PSA照相機(jī)中的第一個的每個2D像點(diǎn)在兩個PSA照相機(jī)中的第二個的已知極線上具有對應(yīng)的2D圖像點(diǎn)。在已知相互距離和已知偏移角的情況下，可以應(yīng)用正弦定理針對兩個PSA照相機(jī)的相應(yīng)2D圖像點(diǎn)的測定的亮度值序列來計算相關(guān)物點(diǎn)的3D坐標(biāo)。
[0007]按照WO 2008/046663 A2中描述的解決方案，為了精確地確定物體的3D坐標(biāo)，必須以5到10個條紋的圖案的序列照射物體。對于具有典型的重復(fù)率30Hz的投影儀而言，物體的3D坐標(biāo)的所得的測量時間在160ms和370ms的范圍中，并且因此相當(dāng)?shù)汀τ诒磺度氲降攸c(diǎn)的物體的完全確定，來自不同視點(diǎn)的多個序列的組合是必要的。因此，對嵌入的物體的3D坐標(biāo)的確定是更加費(fèi)時的，并且另外針對來自不同視點(diǎn)的多個序列的組合需要提高的計算性能。然而，這個解決方案是非常昂貴的。
[0008]此外，環(huán)境光線的強(qiáng)度和性質(zhì)可以影響捕捉的2D圖像的置信水平。在工作條件下，在戶外以及在任何氣候條件下，環(huán)境光線可以誘發(fā)所捕捉的2D圖像的模糊，環(huán)境光線改變了黑白亮度圖案，并且使得正確地測量亮度值和計算相關(guān)物體的3D坐標(biāo)變得困難。
[0009]此外，即使沒有環(huán)境光線的影響，用2D圖像也不能明確地分辨物體的特定形狀。這種模糊隨后可導(dǎo)致物體特征的位置或形狀的錯誤解釋。例如，在某些情況下，在沒有捕捉另外的2D圖像的情況下，不能發(fā)現(xiàn)球體的表面是否是正拱形或負(fù)拱形，或者斜線墻(diagonal wall)的表面哪一邊距離更遠(yuǎn)。
[0010]因此，需要快速且低成本地確定物體的3D坐標(biāo)。還需要即使是在土方工程操作的條件下同樣可靠地確定物體的3D坐標(biāo)。此外，需要無模糊地確定物體的3D坐標(biāo)。
[0011]因此，本發(fā)明的目的是為了提供一種用于清晰地和可靠地確定物體3D坐標(biāo)的方法和裝置。
[0012]進(jìn)一步的目的是為了提供這樣一種用于在環(huán)境光線條件下和土方工程操作條件下使用的方法和設(shè)備。
[0013]本發(fā)明的另一個目的是為了提供這樣一種允許較快速地確定物體的3D坐標(biāo)且成本低的方法和裝置。
[0014]這些目的中的至少一個通過根據(jù)權(quán)利要求1的用于確定物體3D坐標(biāo)的方法、根據(jù)權(quán)利要求8的光學(xué)測量裝置和/或本發(fā)明從屬權(quán)利要求實(shí)現(xiàn)。
[0015]根據(jù)本發(fā)明，一種使用光電傳感器陣列(PSA)照相機(jī)通過結(jié)構(gòu)光來確定物體的3D坐標(biāo)的裝置另外包括范圍照相機(jī)(range camera)，該范圍照相機(jī)具有傳感器陣列形式的范圍圖像(range image)傳感器。這種范圍照相機(jī)例如在WO 2010/136 507 Al中被公開。根據(jù)本發(fā)明的范圍照相機(jī)適于指向物體，并且能夠提供物體的范圍圖像，例如，通過飛行時間(TOF)測量。范圍圖像的范圍像素對應(yīng)于物體的物點(diǎn)的3D位置，并且可以用于創(chuàng)建物體的點(diǎn)云。詞語“范圍圖像”在本發(fā)明的術(shù)語中通常意味著范圍圖像序列拍攝，但是也意味由流式范圍照相機(jī)拍攝的范圍圖像流。
[0016]范圍成像(RM)通常被認(rèn)為是一種用于產(chǎn)生顯示從特定點(diǎn)到場景中的點(diǎn)的距離的2D圖像的技術(shù)。所生成的圖像通常被叫做范圍圖像，所述圖像具有對應(yīng)于物體上的各個物點(diǎn)的距離的像素值。例如，較亮的值意味著較短的距離或反之亦然。甚至可能正確地校正產(chǎn)生這種使得可以直接以諸如米的物理單位給出像素值的范圍圖像的傳感器。針對范圍圖像的每個像素(范圍像素)，分配了一個能夠測量距離的單獨(dú)傳感器。由于分配到各個傳感器的物點(diǎn)的距離是已知的，物點(diǎn)的3D位置可以被精確地確定。因此，通過使用范圍成像技術(shù)，可以標(biāo)識物體的每個測量點(diǎn)，并且甚至確定每個測量點(diǎn)的3D數(shù)據(jù)。然而，用這種方式確定的3D位置可能不足夠精確，因為相比于SPA照相機(jī)，范圍圖像的像素量相當(dāng)少，信息仍然足夠用來確定范圍圖像中的待測量物體的形狀。
[0017]采用物體的范圍圖像，使得減少或消除在對于物體形狀的結(jié)構(gòu)光測量中的模糊是可能的。
[0018]根據(jù)本發(fā)明，一種用于通過光學(xué)測量設(shè)備確定物體3D坐標(biāo)的方法包括結(jié)構(gòu)光測量，其中:
[0019]?以預(yù)定圖案或預(yù)定圖案序列照射物體；
[0020]籲捕捉從物體反射的圖案的2D圖像或2D圖像序列；
[0021]?從所述2D圖像測量至少一個2D圖像點(diǎn)的亮度值；以及
[0022]籲計算與所述2D圖像點(diǎn)的測得的亮度值序列相關(guān)聯(lián)的物點(diǎn)的3D坐標(biāo)。
[0023]根據(jù)本發(fā)明，該方法還包括用范圍照相機(jī)捕捉所述物體的至少一個范圍圖像，所述范圍圖像包括物體的多個點(diǎn)的距離信息。根據(jù)本發(fā)明，隨后在3D坐標(biāo)的計算中考慮該范圍圖像。具體地，該范圍照相機(jī)根據(jù)飛行時間原理工作。
[0024]根據(jù)本發(fā)明，彩色圖案也可以被投影；術(shù)語“亮度值”因此也以這種方式理解，即，它可包括反射光的其他屬性，諸如波長或顏色。
[0025]在優(yōu)選實(shí)施方式中，范圍圖像被用于在計算3D坐標(biāo)的過程中消除模糊:如果結(jié)構(gòu)光測量在物體的特定特征上的一組物點(diǎn)的3D坐標(biāo)中產(chǎn)生模糊，則范圍圖像點(diǎn)或一組范圍圖像點(diǎn)的距離信息可以用于快速并可信賴地消除模糊。
[0026]例如，如果特征的形狀或這組物點(diǎn)的位置不能僅通過結(jié)構(gòu)光測量沒有模糊地確定，-即，如果存在能夠從由結(jié)構(gòu)光測量產(chǎn)生的數(shù)據(jù)計算出的超過一個可能形狀或位置-一個或更多個范圍圖像點(diǎn)傳遞關(guān)于特有特征的(粗)形狀和/或該組圖像點(diǎn)的至少一個圖像點(diǎn)的精確的位置的信息，以使得模糊被消除-即，檢測到多個可能形狀中的正確形狀或多個可能位置中的正確位置。
[0027]可以通過驗證模糊的可能性中的一個或通過證明除了一種可能性以外都是假的來消除模糊。如果由于范圍圖像的較低分辨率，沒有針對特定模糊的一組圖像點(diǎn)的匹配數(shù)據(jù)，則也可以通過基于范圍圖像驗證每個圖像的擬真性來消除模糊。
[0028]在一個實(shí)施方式中，該方法還包括:
[0029]籲確定特定的2D圖像點(diǎn)的亮度值或亮度值序列是否包含模糊；以及
[0030]籲在包含模糊的情況下，使用物體的多個點(diǎn)中的至少一個點(diǎn)的距離信息來消除模糊。
[0031]根據(jù)本發(fā)明的另一個方面，該方法包括使用范圍照相機(jī)捕捉物體的幅度圖像，所述幅度圖像包括多個點(diǎn)中的每個點(diǎn)的亮度信息，特別是其中，用于消除在3D坐標(biāo)計算中的模糊，范圍圖像和幅度圖像組合成物體的3D圖像。因此，本發(fā)明提供額外的物體3D圖像捕捉以及基于來自額外地捕捉的3D圖像的距離信息的相關(guān)物點(diǎn)的3D坐標(biāo)的提取。
[0032]根據(jù)本發(fā)明的又一個方面，如果在捕捉的2D圖像中存在模糊，則阻止與2D圖像中的2D圖像點(diǎn)相關(guān)的物點(diǎn)的3D坐標(biāo)的計算。針對每個3D圖像點(diǎn)，3D圖像包括所述3D圖像點(diǎn)和物點(diǎn)之間的徑向測得的距離信息。由于一個3D圖像包括數(shù)千個圖像點(diǎn)，因此可以對多個物點(diǎn)重復(fù)這種方法，使得能夠快速、低成本且可信賴地確定物體的3D坐標(biāo)。
[0033]根據(jù)本發(fā)明的又一個方面，該方法包括確定特定的2D圖像點(diǎn)的亮度值序列是否包含模糊；以及在包含模糊的情況下，將特定的2D圖像點(diǎn)與特定相關(guān)物點(diǎn)的特定3D圖像點(diǎn)鏈接起來，并且從鏈接的特定3D圖像點(diǎn)提取特定相關(guān)物點(diǎn)的3D坐標(biāo)。
[0034]所以，在模糊的情況下，如果從特定的2D圖像點(diǎn)的亮度值序列計算特定相關(guān)物點(diǎn)的3D坐標(biāo)是不可能的，則捕捉包含特定相關(guān)物點(diǎn)的特定3D圖像點(diǎn)的3D圖像。特定2D圖像點(diǎn)被鏈接到所捕捉的特定3D圖像點(diǎn)以提取特定相關(guān)物點(diǎn)的3D坐標(biāo)，鏈接是通過使用鏈接的特定3D圖像點(diǎn)和特定相關(guān)物點(diǎn)之間的徑向測定距離信息實(shí)現(xiàn)的。此外，可以對多個物點(diǎn)重復(fù)這種方法，使得能夠快速、低成本且可信賴地確定物體的3D坐標(biāo)。
[0035]下面將通過參考具有附圖的示例性實(shí)施方式進(jìn)行詳細(xì)說明本發(fā)明，其中，
[0036]圖1a至圖1b示意性地示出現(xiàn)有技術(shù)的光學(xué)測量裝置；
[0037]圖2示意性地示出根據(jù)圖1a至圖1d的具有額外的TOF照相機(jī)的光學(xué)測量裝置；
[0038]圖3a至圖3d示意性地示出在產(chǎn)生模糊的不同測量條件下投影儀裝置的預(yù)定圖案；
[0039]圖4a至圖4b示意性地示出現(xiàn)有技術(shù)的光學(xué)測量裝置；
[0040]圖5示意性地示出根據(jù)圖4a至圖4d的具有額外的TOF照相機(jī)的光學(xué)測量裝置；
[0041]圖6示意性地示出根據(jù)本發(fā)明光學(xué)測量裝置的