使用二維圖像處理來(lái)檢查三維物體的方法
【專利摘要】本公開(kāi)內(nèi)容提供了一種系統(tǒng)及方法，以將三維數(shù)據(jù)轉(zhuǎn)換為二維高度位移映射圖，并且使用二維圖像處理技術(shù)來(lái)提取三維物體的三維特征及尺寸。該系統(tǒng)的照明源使用線激光器跨越工作空間來(lái)掃描，并且生成該工作空間的二維高度位移映射圖。單獨(dú)的像素位置表示實(shí)際工作空間采樣位置。像素灰階強(qiáng)度表示在像素位置處的Z位移高度。處理裝置使用二維圖像處理將二維圖像內(nèi)的特征及尺寸處理成灰階，所述二維圖像處理諸如為圖案匹配、區(qū)塊檢測(cè)、卷積檢測(cè)及邊緣檢測(cè)。
【專利說(shuō)明】
使用二維圖像處理來(lái)檢查三維物體的方法
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及所制造的零件的三維特征和/或尺寸的測(cè)量。更具體地，本發(fā)明涉及在二維高度位移映射圖上使用二維圖像處理方法測(cè)量三維特征和/或尺寸。
【背景技術(shù)】
[0002]已設(shè)計(jì)使用光斑激光器和/或線激光器來(lái)檢查所制造的物體的三維特征的多種檢查方法。對(duì)于相對(duì)較為簡(jiǎn)單的三維物體特征，這些方法測(cè)量三維物體的高度差。為了測(cè)量復(fù)雜的三維物體特征，這些方法需要復(fù)雜的算法以及長(zhǎng)的測(cè)量時(shí)間來(lái)處理數(shù)據(jù)并判定物體是否滿足制造商的規(guī)格。
[0003]在使用光斑激光器的系統(tǒng)中，將激光束移動(dòng)至目標(biāo)的不同位置來(lái)執(zhí)行測(cè)量。這種系統(tǒng)中提供的傳感器一次僅測(cè)量一個(gè)點(diǎn)。測(cè)量結(jié)果可為例如傳感器上最大強(qiáng)度的反射光的位置，其可繼而指示三維物體上特定點(diǎn)的高度。因此，所測(cè)量的點(diǎn)的數(shù)量有限，且光斑激光器在兩個(gè)點(diǎn)之間的移動(dòng)緩慢。這些系統(tǒng)的缺點(diǎn)在于，在檢查之前必須精確地知道目標(biāo)位置。此外，所取回的三維特征和/或尺寸信息可由于位置誤差而十分有限且易出錯(cuò)。
[0004]在使用線激光器的系統(tǒng)中，跨越目標(biāo)投射激光線。使激光線移動(dòng)跨越目標(biāo)以掃描該目標(biāo)，并且收集信息以執(zhí)行該目標(biāo)的三維表面的測(cè)量。特別地，可在每個(gè)位置測(cè)量目標(biāo)的線型輪廓橫截面。在該線型輪廓內(nèi)，可以高精度地測(cè)量線內(nèi)的相關(guān)區(qū)域。這些系統(tǒng)的缺點(diǎn)在于，在檢查之前必須在移動(dòng)方向上精確地知道目標(biāo)的位置。此外，計(jì)算線型輪廓上的三維特征和/或尺寸同時(shí)掃描目標(biāo)需要長(zhǎng)的計(jì)算時(shí)間，這是因?yàn)檫@種系統(tǒng)需要復(fù)雜的三維算法來(lái)處理數(shù)據(jù)。盡管可以增加測(cè)量的點(diǎn)的數(shù)量，但測(cè)量速度緩慢。
[0005]因此，需要一種以簡(jiǎn)單且高效的方式來(lái)檢查三維物體的三維特征和/或尺寸的系統(tǒng)/方法。

【發(fā)明內(nèi)容】

[0006]提供以下概述以便于理解在公開(kāi)的實(shí)施方案中獨(dú)有的一些創(chuàng)新特征，而并非旨在完整描述。通過(guò)將整個(gè)說(shuō)明書(shū)、權(quán)利要求、附圖及摘要作為整體來(lái)考慮，可以獲得對(duì)本文公開(kāi)的實(shí)施方案的各個(gè)方面的完整理解。
[0007]因此，所公開(kāi)的實(shí)施方案的一個(gè)目的是提供一種測(cè)量物體上的一個(gè)位置的高度的方法，該方法包括:將至少一條輻射線投射到物體上;檢測(cè)從包括半透明表面的物體反射的至少一條輻射線；由所檢測(cè)到的輻射線生成至少一個(gè)二維高度位移映射圖，其中該二維高度位移映射圖包含多個(gè)光斑；以及使用二維圖像處理技術(shù)將所述多個(gè)光斑中的每個(gè)光斑的強(qiáng)度處理成灰階，以測(cè)量物體在該點(diǎn)的特征或尺寸。
[0008]所公開(kāi)實(shí)施方案的另一個(gè)目的是提供一種用于測(cè)量物體上的一個(gè)位置的高度的裝置，該裝置包括:至少一個(gè)照明源，被配置成將至少一條輻射線輸出到該物體上；至少一個(gè)圖像捕獲單元，被配置成檢測(cè)從該物體反射的至少一條輻射線；以及至少一個(gè)處理單元，被配置成由所檢測(cè)到的輻射線生成二維高度位移映射圖，其中該二維高度位移映射圖包含多個(gè)光斑;其中所有該處理單元使用二維圖像處理技術(shù)將所述多個(gè)光斑中的每個(gè)光斑的強(qiáng)度處理成灰階，以計(jì)算物體在該點(diǎn)處的高度。
[0009]所公開(kāi)的實(shí)施方案的另一個(gè)目的是該照明源為線光源。
[0010]所公開(kāi)的實(shí)施方案的另一個(gè)目的是提供一種作為三維物體的物體。
[0011]所公開(kāi)的實(shí)施方案的一個(gè)目的是二維圖像處理技術(shù)還包括以下技術(shù)中的至少一種:邊緣檢測(cè)技術(shù)、卷積技術(shù)、區(qū)塊(blob)分析技術(shù)以及圖案匹配技術(shù)。
[0012]本發(fā)明的其他方面和優(yōu)點(diǎn)將根據(jù)以下結(jié)合附圖以舉例的方式說(shuō)明本發(fā)明的原理的詳細(xì)描述變得顯而易見(jiàn)。
【附圖說(shuō)明】
[0013]當(dāng)結(jié)合附圖閱讀時(shí)，將會(huì)更好地理解上面的概述以及以下對(duì)說(shuō)明性實(shí)施方案的詳細(xì)描述。出于說(shuō)明本公開(kāi)內(nèi)容的目的，在附圖中示出了本公開(kāi)內(nèi)容的示范性構(gòu)造。然而，本公開(kāi)內(nèi)容不限于本文公開(kāi)的特定方法及手段。此外，本領(lǐng)域的普通技術(shù)人員將理解，附圖未按比例繪制。在可能情況下，類似要素由相同數(shù)字來(lái)指示。
[0014]圖1例示了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于測(cè)量跨越一條線的一個(gè)或多個(gè)點(diǎn)的照明源及圖像捕獲單元組件。
[0015]圖2例示了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的被投射在物體上的照明源及圖像捕獲單元及傳感器組件。
[0016]圖3描繪了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的由傳感器在一列中感測(cè)的反射激光線的強(qiáng)度的示范性圖解。
[0017]圖4a描繪了在Y坐標(biāo)等于O的第一觸發(fā)位置處捕獲的圖像。
[0018]圖4b描繪了在Y坐標(biāo)等于I的第二觸發(fā)位置處捕獲的圖像。
[0019]圖4c描繪了在Y坐標(biāo)等于2的第三觸發(fā)位置處捕獲的圖像。
[0020]圖4d描繪了在Y坐標(biāo)等于N的第N觸發(fā)位置處捕獲的圖像。
[0021]圖5描繪了根據(jù)本發(fā)明的一個(gè)實(shí)施方案二維高度位移映射。
【具體實(shí)施方式】
[0022]這些非限制性實(shí)施例中所討論的特定值和構(gòu)造可以被改變，且引用這些特定值和構(gòu)造只是為了說(shuō)明至少一個(gè)實(shí)施方案，并非旨在限制其范圍。
[0023]圖1例示了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的用于測(cè)量跨越一條線的一個(gè)或多個(gè)點(diǎn)的照明和圖像捕獲單元組件。該組件包括向工作空間106投射的照明源102和圖像捕獲單元104。使用產(chǎn)生具有預(yù)定束寬(beam width)的光束的照明源102，諸如，線激光器或激光元件。向投影器(在照明源102內(nèi)部，未圖示)提供該光束，該投影器將該光束轉(zhuǎn)換為掃描線。掃描線可以是隨后從照明源102輸出的單個(gè)線或多個(gè)平行線。示范性的激光源包括LED線投影器、DLP投影器、LED多線投影器、多線激光器、結(jié)構(gòu)化光投影器。
[0024]舉例而言，圖1示出了根據(jù)本發(fā)明的系統(tǒng)，其中線激光器照明源102在置放三維物體的工作空間106上投射光束108。此外，該系統(tǒng)跨越工作空間106從已知參考位置點(diǎn)A掃描到已知參考終止位置點(diǎn)B。三維物體是其特征和/或尺寸待被測(cè)量的任何物體，并且被放置在測(cè)量的線上，例如，沿如圖中所示的點(diǎn)A與點(diǎn)B之間的線放置。特征可以包括期望的特征(諸如，觸點(diǎn))或不希望的特征(諸如，異物、觸點(diǎn)上延伸至觸點(diǎn)表面中的損傷)。觸點(diǎn)可以包括用于檢測(cè)的物體，諸如，BGA球、QFP引線、LGA焊盤或QFN焊盤。諸如空隙(S卩，空泡)、翹曲及壓痕的缺陷可損壞觸點(diǎn)。尺寸指的是特征的長(zhǎng)度、高度及面積，以及特征之間的長(zhǎng)度差、高度差及角度差。
[0025]在各種實(shí)施方案中，基于其尺寸和/或特征待被測(cè)量的物體的位置來(lái)選擇測(cè)量的線。將光束108(例如，平面光束)投射到物體上，該光束在觸及其高度待被確定的物體時(shí)被反射回來(lái)。光束108可以包括投射到工作空間106的一個(gè)區(qū)域上的多條激光線，物體(諸如，盒子)將在該區(qū)域上被測(cè)量。圖像捕獲單元104(諸如，攝像機(jī))捕獲圖像形式的反射光。圖像捕獲單元104可以配置成以預(yù)限定的間隔捕獲圖像。雖然由圖像捕獲單元104接收光的表面區(qū)域被示出為工作空間106的頂部表面的特定區(qū)域，但它可以替代地對(duì)應(yīng)于其上安置待測(cè)量物體的任何平坦表面。處理單元(參考圖2描述的)處理從圖像捕獲單元104接收的數(shù)據(jù)。
[0026]投射到工作空間106的平坦表面上的光束108是直線的形式。當(dāng)這些直線以特定的角度觸及平坦表面時(shí)，這些直線被反射回來(lái)。如果光束108的光線照到具有高度的物體，則它們被反射回來(lái)而不必經(jīng)過(guò)工作空間106的平坦表面。因此，這種反射的光線的光強(qiáng)度位移比由工作空間106的表面所反射的光線的光強(qiáng)度位移更大。因此，光強(qiáng)度被用作為一個(gè)因子來(lái)計(jì)算反射光的物體上的一點(diǎn)的高度。
[0027]對(duì)物體的高度的確定取決于激光至攝像機(jī)的角度。隨著激光至攝像機(jī)的角度接近90度，分辨率增大。當(dāng)光束108照到具有高度的物體時(shí)，光線朝攝像機(jī)反射。攝像機(jī)包含感測(cè)反射光的強(qiáng)度的傳感器。該傳感器包括作為攝像機(jī)的一部分的CCD或CMOS傳感器。如果物體較高，則光束將到達(dá)該物體并且被反射到傳感器的上部中。傳感器指示在對(duì)應(yīng)于反射表面的位置處的較高強(qiáng)度。傳感器上無(wú)反射光的其他位置顯得暗淡。在傳感器中出現(xiàn)的最高強(qiáng)度及最顯著強(qiáng)度將指示表面高度。通過(guò)計(jì)算落入相鄰像素上的光的量，可以獲得子像素高度精度。例如，當(dāng)未放置物體時(shí)，反射光束的光強(qiáng)度將為零，因此，高度將視為零。
[0028]本發(fā)明的裝置可在物體置放于介質(zhì)轉(zhuǎn)移體(mediatransfer)(諸如，托盤、磁帶或匣盒)上時(shí)測(cè)量物體的高度。如果存在背景介質(zhì)轉(zhuǎn)移體(background media transfer)，則該高度將是介質(zhì)轉(zhuǎn)移體高度。當(dāng)具有高度的物體處于光線的路徑上時(shí)，光從物體表面反射，并且被傳感器捕獲。由傳感器所分析的強(qiáng)度位移取決于物體表面的高度。然后評(píng)估光線反射位置來(lái)測(cè)量物體的高度。
[0029]圖2例示了根據(jù)本發(fā)明的一個(gè)實(shí)施方案的向物體202上投射的照明源102和圖像捕獲單元104組件。在一個(gè)實(shí)施方案中，圖像捕獲單元104包括攝像機(jī)，該攝像機(jī)具有傳感器204以及一個(gè)或多個(gè)透鏡206。傳感器204根據(jù)所感知的光強(qiáng)度指示亮點(diǎn)和暗點(diǎn)。攝像機(jī)可以是單個(gè)攝像機(jī)，或者放在一起的多個(gè)攝像機(jī)。在多個(gè)攝像機(jī)的情況下，可使用由不同攝像機(jī)捕獲的光線束以更佳精度地計(jì)算高度，并且消除由單個(gè)攝像機(jī)所導(dǎo)致的遮擋。當(dāng)需要聚焦在小區(qū)域中時(shí)，可平行地放置攝像機(jī)和透鏡?；蛘撸哥R可以基于沙姆普弗魯克原理(Scheimpflug principle)被傾斜，以使激光平面處于焦距中并且進(jìn)一步增加景深(DOF)。如圖2中示出的，照明源102和圖像捕獲單元104可以容納在單個(gè)掃描頭208內(nèi)。掃描頭208被耦合到處理裝置，該處理裝置處理由圖像捕獲單元104捕獲的數(shù)據(jù)。掃描頭208安裝在可移動(dòng)組件上，該可移動(dòng)組件以例如恒定速度移動(dòng)掃描頭。此外，掃描頭208位于工作空間106的測(cè)量場(chǎng)的上方，如圖2中示出的。攝像機(jī)可以被放置在相對(duì)于物體的側(cè)面或底部。雖然照明源102和圖像捕獲單元104被示出為單個(gè)掃描頭的一部分，但是也可以將它們提供為單獨(dú)的單元。
[0030]為了測(cè)量物體202的高度，掃描頭208投射由線激光源102跨越測(cè)量場(chǎng)所產(chǎn)生的平面激光束210。平面激光束210在觸及位于工作空間106上的物體202之后被反射回來(lái)。與掃描頭208—起提供的透鏡206捕獲來(lái)自物體202的反射光212。當(dāng)掃描頭208跨越工作空間106移動(dòng)時(shí)，與圖像捕獲單元104—起提供的編碼器(未圖標(biāo))觸發(fā)攝像機(jī)以在從點(diǎn)A開(kāi)始到點(diǎn)B的預(yù)限定的間隔距離(例如，10微米)捕獲圖像。在每次觸發(fā)，捕獲單個(gè)圖像，將該圖像處理成單行的二維高度位移映射圖。將反射的激光線投射為在包括多個(gè)點(diǎn)的圖像上的線型輪廓。在圖3中描繪了一個(gè)示范性二維高度位移映射圖。在圖3中，點(diǎn)302描繪了各個(gè)像素的光強(qiáng)度，所述像素對(duì)應(yīng)于對(duì)于Y軸的固定位置，平面光束210落在物體202上的點(diǎn)。換言之，單獨(dú)的像素位置表示對(duì)于Y軸的固定位置的實(shí)際工作空間采樣位置。使用點(diǎn)的光強(qiáng)度位移來(lái)確定物體202上對(duì)應(yīng)點(diǎn)的Z位移高度。例如，像素灰階強(qiáng)度表示在像素位置處的Z位移高度。
[0031]處理單元(例如，計(jì)算機(jī))處理圖像中的每一列。圖像上的列(例如，如圖3中示出的)表示二維高度位移映射圖上的X位置。處理單元檢查一行中的光斑是否是來(lái)自物體202該列中的亮激光反射光斑。亮激光反射光斑指示高度。在一個(gè)實(shí)施方案中，通過(guò)以子像素精度來(lái)測(cè)量光斑，可以進(jìn)一步增加高度位移測(cè)量精度。通過(guò)下式來(lái)計(jì)算物體的高度:
[0032]物體高度=傳感器上的高度/(XcOsine(90度_(激光角度+攝像機(jī)角度)))/cosine(激光角度)，
[0033]其中傳感器的高度表示該傳感器上具有最大強(qiáng)度的像素的y位置的高度；
[0034]其中激光角度是激光束與從垂直于工作站的物體引出的線之間的角度，以及
[0035]其中攝像機(jī)角度是反射光線與從垂直于工作站的物體引出的線之間的角度。
[0036]如前所述，掃描頭208從點(diǎn)A至點(diǎn)B掃描工作空間106，從而捕獲大量圖像。這些圖像被用于生成物體202的二維高度位移映射圖。使用此二維高度位移映像圖，可以使用二維圖像處理定位物體202的特征和/或尺寸。
[0037]可以使用的二維圖像處理技術(shù)是邊緣檢測(cè)，其用于呈現(xiàn)出三維物體的外形，從而將這些外形與已知模型匹配以定位物體位置與定向。使用邊緣檢測(cè)來(lái)找出物體的尺寸及特征。另一種二維圖像處理技術(shù)包括圖案匹配，以針對(duì)具有圖案的模型來(lái)匹配灰階強(qiáng)度圖案以定位該物體，從而根據(jù)模型匹配物體以找出額外特征或缺失特征。另一種二維圖像處理技術(shù)包括區(qū)塊(blob)分析，以將區(qū)塊特征與模型匹配來(lái)定位目標(biāo)物體。測(cè)量區(qū)塊三維特征的大小、定向及高度。另一種技術(shù)是使用卷積來(lái)找出表面的拐角、表面紋理及曲率?？梢越M合這些特征來(lái)計(jì)算更復(fù)雜的測(cè)量值。例如:翹曲、共面、變位(stand-of f)、彎曲及扭轉(zhuǎn)。
[0038]二維映射圖圖像可以通過(guò)掃描已知高度的物體來(lái)校準(zhǔn)，例如:掃描兩個(gè)已知厚度的平坦平面生成兩張灰階圖像，其表示跨越測(cè)量場(chǎng)的兩個(gè)高度。可以將此圖像進(jìn)行內(nèi)插以將所有灰階值的查找表校準(zhǔn)至測(cè)量高度。然后，一旦定位了物體202，就可以通過(guò)將在任一點(diǎn)處的強(qiáng)度轉(zhuǎn)換成校準(zhǔn)的高度值來(lái)精確地測(cè)量特征。
[0039]現(xiàn)將使用圖4(a_d)及圖5中描繪的實(shí)施例來(lái)描述本發(fā)明。
[0040]圖4a描繪了在Y坐標(biāo)等于O的第一觸發(fā)位置處捕獲的圖像，S卩，處理Y= O的行的第一圖像。圖4b描繪了在Y坐標(biāo)等于I的第二觸發(fā)位置處捕獲的圖像，S卩，處理Y=I的行的第二圖像。圖4c描繪了在Y坐標(biāo)等于2的第三觸發(fā)位置處捕獲的圖像，S卩，處理Y = 2的行的第三圖像。圖4d描繪了在Y坐標(biāo)等于N的第N觸發(fā)位置處捕獲的圖像，S卩，處理Y = N-1的行的第N圖像。因此，二維高度位移映射圖含有與觸發(fā)一樣多的行。例如，如果存在10，000次觸發(fā)，則二維高度位移映射圖將含有10，000行。
[0041 ]按一個(gè)序列捕獲圖4 (a-d)的圖像，例如，按通過(guò)攝像機(jī)104捕獲的相同序列來(lái)捕獲。圖像在該序列中的位置指示相對(duì)于點(diǎn)A的圖像位置。如果編碼器設(shè)定成以10微米的間隔進(jìn)行觸發(fā)，則二維高度位移映射圖中的每一行表示從點(diǎn)A偏移YX 10微米。圖4(a-d)的圖像被描繪為根據(jù)本發(fā)明的一個(gè)實(shí)施方案的圖5的二維高度位移映射圖。
[0042]通過(guò)以上描述，可理解，測(cè)量三維特征的這種系統(tǒng)既快速又簡(jiǎn)單。本發(fā)明未使用復(fù)雜的三維圖像處理算法，而是使用迅速且高效處理數(shù)據(jù)的二維算法。此外，在掃描之前無(wú)需精確地知道目標(biāo)的位置。因此，掃描得以簡(jiǎn)化并快速地完成。
[0043]應(yīng)理解，上文所公開(kāi)的實(shí)施方案的變化方案以及它們的其他特征和功能或者其替代實(shí)施方案可根據(jù)需要被結(jié)合至許多其他不同的系統(tǒng)或應(yīng)用中。此外，本領(lǐng)域的技術(shù)人員可以隨后對(duì)其做出目前未預(yù)見(jiàn)或未預(yù)料的各種替代、修改、變化或改進(jìn)，這些也旨在由以下權(quán)利要求所涵蓋。
[0044]盡管已經(jīng)全面而詳細(xì)地描述了本公開(kāi)內(nèi)容的實(shí)施方案以涵蓋可能的方面，但本領(lǐng)域技術(shù)人員將認(rèn)識(shí)到，本公開(kāi)內(nèi)容的其他形式也是可能的。
【主權(quán)項(xiàng)】
1.一種測(cè)量物體上的一個(gè)位置的高度的方法，該方法包括: 將至少一條輻射線投射到該物體上； 檢測(cè)從包括半透明表面的該物體反射的至少一條輻射線；以及 由所檢測(cè)到的輻射線生成至少一個(gè)二維高度位移映射圖，其中該二維高度位移映射圖包含多個(gè)光斑；以及 使用二維圖像處理技術(shù)將所述多個(gè)光斑中的每個(gè)光斑的強(qiáng)度處理成灰階，以計(jì)算該物體在該點(diǎn)處的高度。2.根據(jù)權(quán)利要求1所述的方法，其中該物體是三維物體。3.根據(jù)權(quán)利要求1所述的方法，其中該二維圖像處理技術(shù)還包括以下技術(shù)中的至少一種:邊緣檢測(cè)技術(shù)、卷積技術(shù)、區(qū)塊分析技術(shù)及圖案匹配技術(shù)。4.一種用于測(cè)量物體上的一個(gè)位置的高度的裝置，該裝置包括: 至少一個(gè)照明源，被配置成將至少一條輻射線輸出到該物體上； 至少一個(gè)圖像捕獲單元，被配置成檢測(cè)從該物體反射的至少一條輻射線；以及 至少一個(gè)處理單元，被配置成由所檢測(cè)到的輻射線生成二維高度位移映射圖，其中該二維高度位移映射圖包含多個(gè)光斑； 其中所有該處理單元使用二維圖像處理技術(shù)將所述多個(gè)光斑中的每個(gè)光斑的強(qiáng)度處理成灰階，以計(jì)算該物體在該點(diǎn)處的高度。5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中該物體是三維物體。6.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中該照明源是線光源。7.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中該二維圖像處理技術(shù)還包括以下技術(shù)中的至少一種:邊緣檢測(cè)技術(shù)、區(qū)塊分析技術(shù)及圖案匹配技術(shù)。
【文檔編號(hào)】G01B11/00GK105960569SQ201580003504
【公開(kāi)日】2016年9月21日
【申請(qǐng)日】2015年4月29日
【發(fā)明人】黃國(guó)榮, 歐陽(yáng)作佳, 葛漢成, 曹睿妮
【申請(qǐng)人】精益視覺(jué)科技私人有限公司