專利名稱：對電子元件的球和類似突起作三維視覺以及檢查的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于以三維視覺檢查對象的方法，包括檢查電子 元件，其特征紋理需要詳細(xì)到次像素級別的檢查。也公開了一種實(shí)施 此方法的裝置。
背景技術(shù)：
在制造大量高精密小對象的高精密制造環(huán)境(諸如元件的微電子 制作和封裝)中，對于諸如微電子封裝之類的每個(gè)成品對象來說，為 了質(zhì)量控制目的經(jīng)常需要接受檢查。由于量大，此檢查必須是自動(dòng)化 的，并且由于檢查包括細(xì)查封裝的特定關(guān)鍵特征——諸如在球柵陣列
(BGA)設(shè)備中處于球形態(tài)的接觸元件的共面性，需要三維視覺。
一些視覺系統(tǒng)將單軸的照相機(jī)與多個(gè)反射表面一起使用來獲得對 象的不同視圖以^皮整合到單個(gè)圖像中，諸如在US-6，055，054 ( Beaty等 人)，WO01/04567以及US-2002/37098中所公開的視覺系統(tǒng)。通常， 以軟件的形式的算法用來處理對象的不同反射視圖以被整合到待檢查 的單個(gè)圖像中。
在真實(shí)的立體視覺中的三維視圖僅可以通過具有至少兩個(gè)照相機(jī) 而獲得，諸如US-6，778，282 (ICOS Vision Systems) ，US誦6，064，756以 及US-6，064,757 (兩者都由Beaty等人)所公開的照相機(jī)。這些視覺 系統(tǒng)通常利用第一照相機(jī)來捕捉對象的入射視圖以及利用第二照相機(jī) 來從另 一角度直接或經(jīng)由反射表面間接拍下第二視圖。
用于檢查對象的立體視覺的本方法利用德國慕尼黑MVTec軟件 股份有限公司的HalconTM成像處理庫(7.1版)的某些功能。從網(wǎng)址 http:〃www.mvtee.com/download/documentatiefit/dociimeiitation.html 可得到 一 些 HalCOiiTM 參考資料，包括在 http:〃www.mvtec.com/download/documentation/pdf-7.1/3DMachineVi sion.pdf可4尋至'J的才示題為《Machine Vision in World Coordinates》的 關(guān)于三維視覺系統(tǒng)的用戶手冊，該用戶手冊連同其他相關(guān)的HalconTM
6出版物一起通過引用納入本說明書。
該立體照相機(jī)系統(tǒng)包括從不同位置瞄準(zhǔn)在同一對象上的兩個(gè)照相 機(jī)。以一對照相機(jī)，可以從對象上一點(diǎn)的投影捕捉一對圖像點(diǎn)。該圖 像點(diǎn)經(jīng)常被稱作"共軛點(diǎn)"或"對應(yīng)點(diǎn)"。通過利用兩個(gè)照相機(jī)的內(nèi)部參 數(shù)以及在先前校準(zhǔn)過程期間獲得的第二照相機(jī)關(guān)于第一照相機(jī)的相對
姿態(tài)(relative pose )，可以確定所述對象點(diǎn)與立體照相4幾的iE巨離。
可在圖l(現(xiàn)有技術(shù))中示出具有相同內(nèi)部參數(shù)的兩個(gè)平行瞄準(zhǔn) 的單維照相機(jī)的簡化布局?；€，即，連接兩個(gè)照相機(jī)的兩個(gè)光學(xué)中 心的直線，可以被假定為與第一照相機(jī)的x軸重合。然后，點(diǎn)P的投 影的圖像平面坐標(biāo)(xe， zc)可以如下表示成兩個(gè)圖像m和u2:
其中f為焦距且b為基線的長度。共軛點(diǎn)的兩個(gè)圖像位置之間的差被
稱作差距d,其可以如下計(jì)算
給定照相機(jī)參數(shù)以及兩個(gè)共軛點(diǎn)的圖像坐標(biāo)，那么相應(yīng)的對象點(diǎn)
P的ze坐標(biāo)，即，該對象點(diǎn)與立體照相機(jī)的距離，可以從下面等式計(jì)
算
力
應(yīng)注意，兩個(gè)照相機(jī)的內(nèi)部照相機(jī)參數(shù)以及第二照相機(jī)關(guān)于第一 照相機(jī)的相對姿態(tài)是必需的以確定p與立體照相機(jī)系統(tǒng)的距離。
對于常規(guī)的立體視覺需要解決的兩個(gè)基本操作是
步驟i——確定兩個(gè)照相機(jī)的內(nèi)部參數(shù)以及在初始組裝期間它們
之間的相對姿態(tài)，以及
步驟2——為每個(gè)感興趣的對象點(diǎn)確定一對共軛點(diǎn)以計(jì)算在檢查 期間捕獲的立體圖像對中的所述對象點(diǎn)與立體照相機(jī)系統(tǒng)的距離。
第一操作包括對立體照相機(jī)系統(tǒng)的校準(zhǔn)，由此校準(zhǔn)盤被放置為使 得校準(zhǔn)盤完全位于立體圖像對的兩個(gè)視野中。使用HalconTM成像處理 庫，可以用被稱為"雙目校準(zhǔn)"的算子同時(shí)對兩個(gè)圖像進(jìn)行校準(zhǔn)[見2005
7年7月出版的《Machine Vision in World Coordinates, Edition 2， HalconTM7J.0》第94頁7.3節(jié)。在成功校準(zhǔn)之后，將構(gòu)建被稱為校 正立體照相機(jī)系統(tǒng)的虛擬立體照相機(jī)系統(tǒng)，其中的校正坐標(biāo)系是關(guān)于 第一照相機(jī)的。
因?yàn)槿S圖像表示的準(zhǔn)確度受放置照相機(jī)的方式影響，所以重要 的是在校準(zhǔn)過程期間或在校準(zhǔn)過程之間，以及在校準(zhǔn)立體照相機(jī)系統(tǒng) 的后續(xù)應(yīng)用期間，兩個(gè)照相機(jī)的內(nèi)部照相機(jī)參數(shù)(例如焦距)和相對 姿態(tài)(例如兩個(gè)照相機(jī)之間的距離和方位)都不改變。因此，最好將 兩個(gè)照相機(jī)安裝在一個(gè)穩(wěn)定平臺(tái)上。
第二操作包括被稱為"立體匹配過程"的過程，其在HalconTM處理 中包括調(diào)用算子"雙目差距"或"雙目距離"[見前面引用的書第97頁7.4 節(jié)],該算子處理必需的計(jì)算以從立體圖像獲取世界坐標(biāo)。在HaIconTM 處理中，來自立體圖像對的兩個(gè)圖像點(diǎn)被稱為共軛點(diǎn)，該立體圖像對 是從同一對象點(diǎn)捕捉的。根據(jù)立體視覺的原理，共軛點(diǎn)的圖像位置之 間的差數(shù)可以用來計(jì)算對象點(diǎn)與校正立體照相機(jī)系統(tǒng)的距離，該差數(shù) 被稱為"差距"。
Halccm 庫提供單獨(dú)的函數(shù)來計(jì)算立體圖像對的整個(gè)重疊區(qū)域的 差距或距離。在可以計(jì)算該區(qū)域的差距或距離輪廓之前，這些函數(shù)必 須首先執(zhí)行匹配操作以為立體圖像對的重疊區(qū)域內(nèi)的所有圖像點(diǎn)建立 共輥點(diǎn)。必須首先根據(jù)從校準(zhǔn)收集來的信息校正立體圖像對以使它們 全部的Y圖像坐標(biāo)對準(zhǔn)。因此，后續(xù)的匹配過程主要用來找出共軛點(diǎn) 在X圖像坐標(biāo)的差數(shù)。有3個(gè)不同的方法可供匹配函數(shù)，即，"對絕 對差求和"、"對平方差求和"以及"對互相關(guān)標(biāo)準(zhǔn)化"，并且所有3個(gè)方 法都是基于對小匹配窗內(nèi)的灰度圖案作比較。為了獲得準(zhǔn)確結(jié)果，對 象的表面必須有足夠的紋理信息以供捕捉。
不幸地，當(dāng)確定到具有變化的表面彎曲的小特征——諸如球柵陣 列半導(dǎo)體封裝的接觸焊球尖端——的距離(因變化的表面彎曲而為可 變的距離)時(shí)，該方法不可用。為了確定到每個(gè)球或象球似的突起的 彎曲表面的中心點(diǎn)的距離，使用HalconTM匹配方法是麻煩的且不準(zhǔn)確 的，因?yàn)榍虮砻鏇]有紋理特征，因此不適于HalconTM匹配方法。
然而，HalconTM方法還提供函數(shù)來計(jì)算與共軛點(diǎn)的差距的距離或者直接計(jì)算與共軛點(diǎn)的距離，由此共軛點(diǎn)將由用戶確定。應(yīng)注意，可 以將共軛點(diǎn)看作原始圖像坐標(biāo)的校正坐標(biāo)。
我們現(xiàn)已能夠使用我們自己的方法檢測球尖端的共輒點(diǎn)并且還能
夠使用Halcon函數(shù)計(jì)算每個(gè)球尖端與校正立體照相機(jī)的距離。可以從 以下的公開內(nèi)容中更容易理解我們的過程。

發(fā)明內(nèi)容
本發(fā)明涉及一種三維視覺檢查對象的方法，該對象包括微電子元 件，其具有作為待檢查特征的突起，其中該突起具有非平面的表面和/ 或諸如針或球的尖端的彎曲。在一般的實(shí)施方案中，該方法包括以下 步驟
(a )提供具有相似內(nèi)部參數(shù)的至少 一對圖像捕捉裝置，其以立體 視覺布局被布置；
(b) 校準(zhǔn)每個(gè)所述圖像捕捉裝置以確定所述圖像捕捉裝置的內(nèi)部 和外部參數(shù)；
(c) 由兩個(gè)圖像捕捉裝置的參數(shù)形成校正的坐標(biāo)系，該參數(shù)是在 前面就第二圖像捕捉裝置關(guān)于第一圖像捕捉裝置的相對姿態(tài)而確定 的；
(d) 使用每個(gè)所述圖像捕捉裝置捕捉待檢查對象的圖像，其中所 述對象具有多個(gè)共面的突起并且捕捉的所述圖像具有每個(gè)所述突起的 至少一個(gè)表面彎曲；
(e) 校正每個(gè)圖像的坐標(biāo)以在所述校正的坐標(biāo)系中產(chǎn)生一對校正
圖像；
(f) 為在每個(gè)所捕捉該對圖像上的每個(gè)突起的中心確定共軛點(diǎn)；
(g) 測量每個(gè)突起在校正的坐標(biāo)系內(nèi)與至少 一個(gè)圖像捕捉裝置的 距離以及突起的共面性。
在該方法的一優(yōu)選實(shí)施方案中，上述步驟(g)——測量每個(gè)突起 與至少一個(gè)圖像捕捉裝置的距離以及計(jì)算突起的共面性——包括使用 建立的數(shù)學(xué)函數(shù)從校正的坐標(biāo)確定每個(gè)突起與至少 一個(gè)圖像捕捉裝置 的距離。
該方法的另一優(yōu)選實(shí)施方案中進(jìn)一步包括步驟(h)，即，根據(jù)每個(gè)突起的距離計(jì)算突起的共面性以使用標(biāo)準(zhǔn)的最佳匹配(best-fit)平 面算法形成座落平面(seating plane )。優(yōu)選地，該方法進(jìn)一步還包括 步驟(.i),即，計(jì)算突起的高度，其中參考校正的坐標(biāo)確定基平面； 以及將突起到基平面的垂直距離看作突起高度。
本發(fā)明的一方面，計(jì)算突起高度，通過(i)近似第二平面——除 了第一座落平面之外——其由具有良好共面性值的突起構(gòu)建；(ii)將 所述第二平面移動(dòng)標(biāo)稱突起高度的量以形成基平面；以及(iii)將突 起的高度看作所述突起到基平面的垂直距離。
在一優(yōu)選實(shí)施方案中，相對于測量平面確定步驟(b)中的校準(zhǔn)。 優(yōu)選地，該測量平面以校準(zhǔn)柵的形式提供。
在另一優(yōu)選實(shí)施方案中，步驟(f)中確定每個(gè)突起的共軛點(diǎn)包括 (i)在每個(gè)校正的圖像中定位對象的邊以畫出對象的邊界；以及(ii) 進(jìn)行標(biāo)準(zhǔn)的斑點(diǎn)分析以確定每個(gè)突起的大致位置。優(yōu)選地，步驟(f) 進(jìn)一步包括(iii)在每個(gè)突起上投影兩個(gè)"邊-檢測，，窗以確定其頂邊 和底邊的位置達(dá)到次像素準(zhǔn)確度；(iv)從突起的中心豎直位置投影 第三"邊-檢測"窗以在右圖中檢測突起的左邊以及在左圖中檢測突起 的右邊達(dá)到次像素準(zhǔn)確度；以及(v)將共軛點(diǎn)分派為突起的右邊和左 邊。
在本發(fā)明的又一實(shí)施方案中，步驟(g)進(jìn)一步包括(vi)將突起 的差距計(jì)算為所述右邊和左邊的位置之間的差；以及(vii)利用該差 距和在校準(zhǔn)期間計(jì)算的相對姿態(tài)確定突起與立體照相機(jī)布局的距離。
優(yōu)選地，在本方法中的待檢查突起具有圓邊或球尖端中的至少一 個(gè)，所述圓邊或球尖端包括針柵陣列(PGA)封裝的針、球柵陣列 (BGA)的球以及類似的微電子封裝。
本發(fā)明的另一方面，提供一種用于三維視覺檢查非平面對象的裝 置，該非平面對象包括微電子元件，其中，為了校準(zhǔn)和/或測量目的， 本裝置包括
(a )具有相似內(nèi)部參數(shù)的至少一對圖像捕捉裝置，該圖像捕捉裝
置以立體視覺布局^:布置；
(b)—對反射表面，用于反射待檢查對象的圖像以被每個(gè)所述圖 像捕捉裝置捕捉；以及
10(C )固定所述待檢查對象以使得所述對象的圖像能夠被如此反射
和如此捕捉的裝置；
其中所述對象在至少一個(gè)表面或基層上具有多個(gè)共面的突起。
優(yōu)選地，待檢查對象被放置在光源的環(huán)內(nèi)，從而被照亮。更優(yōu)選 地，光源包括多個(gè)發(fā)光二極管(LED)，該發(fā)光二極管的光束被定位 為朝向待檢查對象約25。的傾角。優(yōu)選地，可進(jìn)一步提供背景光源。
作為一優(yōu)選實(shí)施方案，圖像捕捉裝置包括照相機(jī)和幀捕獲器 (frame grabber )，并且優(yōu)選地，該幀捕獲器經(jīng)由包括IEEE-1394總 線(也稱為"Firewire，，)的高速數(shù)據(jù)傳輸總線進(jìn)一步連接到數(shù)據(jù)處理 裝置。優(yōu)選地，數(shù)據(jù)處理裝置是計(jì)算機(jī)，其能夠運(yùn)行至少一個(gè)用于校 準(zhǔn)、校正以及處理捕捉到的圖像的程序。
在一替換的實(shí)施方案中，該裝置可以進(jìn)一步包括用于另一成像過 程的第三圖像捕捉裝置。優(yōu)選地，第三圖像捕捉裝置被放置入該對前 面兩個(gè)圖像捕捉裝置之間，并被構(gòu)造為檢查對象的另一類型特征，或 者另一類型對象。
在另 一替換的實(shí)施方案中，提供校準(zhǔn)標(biāo)線片，該校準(zhǔn)標(biāo)線片使其 圖像為校準(zhǔn)過程而被捕捉，該校準(zhǔn)標(biāo)線片被可移去地安裝。
優(yōu)選地，反射表面以與平行軸線約22.5。的傾角朝向待檢查對象定 位，以使得所述對象的圖像被平行地反射進(jìn)入圖像捕捉裝置。
參考附圖以及下文中的詳細(xì)描述可更好地理解本發(fā)明的這些以及 其他優(yōu)點(diǎn)。


現(xiàn)將參考以下附圖詳細(xì)描述本.發(fā)明，其中具體的實(shí)施方案被描述 為本發(fā)明的工作方式的非限制實(shí)施例或例子，其中
圖1 (現(xiàn)有技術(shù))示出了具有相同內(nèi)部參數(shù)的兩個(gè)平行瞄準(zhǔn)的單 維照相機(jī)的簡化布局，該簡化布局用在諸如Halcon 的常規(guī)成像系統(tǒng)
中；
圖2以主視圖示出了裝置的基本實(shí)施方案，該裝置實(shí)現(xiàn)根據(jù)本發(fā) 明的方法；
圖3以示意圖示出了裝置的實(shí)施方案，該裝置為了校準(zhǔn)目的包括背景光源；
圖4示出了以正方形塊的形式的校準(zhǔn)柵以用在本發(fā)明的校準(zhǔn)步
驟；
圖5為了檢查目的以示意圖示出了裝置的實(shí)施方案； 圖6以示意圖示出了裝置的第二實(shí)施方案，該裝置包括用于二維/ 三維引腳成像的第三照相機(jī)、光源以及鏡子；
圖7為了檢查目的以示意圖示出了裝置的第三實(shí)施方案； 圖8為了檢查目的以示意圖示出了裝置的第四實(shí)施方案； 圖9為了檢查目的以示意圖示出了裝置的第五實(shí)施方案。
具體實(shí)施例方式
在一般實(shí)施方案中，可以通過設(shè)置或布置一對照相機(jī)(10， 12) 以及其他元件，諸如包括環(huán)形燈(16)的照明元件以及反射表面或鏡 子(18)來實(shí)施本發(fā)明的方法，如在圖2中以主視圖所示的。
用于三維視覺檢查的本新穎方法處理諸如微電子元件的對象，該 微電子元件具有待檢測特征，該特征可以包括從封裝突出的輸入-輸出 接觸點(diǎn)，諸如微電子封裝的針和球，該微電子封裝包括針柵陣列(PGA) 封裝、球柵陣列(BGA)以及類似封裝。
本方法包括以下步驟
(a )提供具有相似內(nèi)部參數(shù)的至少 一對圖像捕捉裝置，其以立體 視覺布局被布置；
(b )校準(zhǔn)每個(gè)所述圖像捕捉裝置以確定所述圖像捕捉裝置的內(nèi)部 和外部參數(shù)；
(c) 從兩個(gè)圖像捕捉裝置的參數(shù)形成校正的坐標(biāo)系，該參數(shù)是在 前面就第二圖像捕捉裝置關(guān)于第一圖像捕捉裝置的相對姿態(tài)而確定
的；
(d) 使用每個(gè)所述圖像捕捉裝置捕捉待檢查對象的圖像，其中所 述對象具有多個(gè)共面的突起并且捕捉的所述圖像具有每個(gè)所述突起的
至少一個(gè)表面彎曲；
(e )校正每個(gè)圖像的坐標(biāo)以在所述校正的坐標(biāo)系中產(chǎn)生一對校正
圖像；(f) 為在捕捉的該對圖像的每個(gè)上的每個(gè)突起的中心確定共輒
點(diǎn)；以及
(g) 測量每個(gè)突起在校正的坐標(biāo)系內(nèi)與至少 一個(gè)圖像捕捉裝置的 距離以及突起的共面性。
理論上，在雙目校準(zhǔn)之后，可以確定在立體照相機(jī)系統(tǒng)前面的所 有事物的距離。即使從雙目校準(zhǔn)得出的相對姿態(tài)在其中具有所謂的"測 量平面"(世界坐標(biāo)z=0),它在三維測量中也是不重要的。實(shí)際上， 可以正確測量落入立體照相機(jī)系統(tǒng)的聚焦范圍內(nèi)的所有對象點(diǎn)的距 離。測量平面更適于二維測量，由此對象是平面的并且總是實(shí)質(zhì)上位 于測量平面上。
在本說明書中使用的術(shù)語"圖像捕捉裝置"用來包括照相機(jī)和幀捕 獲器。照相機(jī)可以包括照相機(jī)(still camera )或攝像機(jī)。術(shù)語"至少一 對，，包括兩個(gè)或更多個(gè)照相機(jī)，其中至少兩個(gè)照相機(jī)用于立體視覺，而 第三以及后續(xù)照相機(jī)是可選的并且可以或不必涉及檢查來自待檢查對 象的球形突起。"外部參數(shù)"包括限定第二照相機(jī)關(guān)于世界坐標(biāo)中第一 照相機(jī)的空間布置的參數(shù)。
如圖2所示，實(shí)施上面概括的校準(zhǔn)和/或測量步驟的裝置布局可以 包括
(a) 具有相似內(nèi)部參數(shù)的至少 一對圖像捕捉裝置，該圖像捕捉裝 置以立體視覺布局的方式布置；
(b) —對反射表面，用于反射待檢查對象的圖像以被每個(gè)所述圖 像捕捉裝置捕捉；以及
(c) 固定所述待檢查對象以使得所述對象的圖像能夠被如此反射 和如此捕捉的裝置；
其中所述對象在至少一個(gè)表面或基層上具有多個(gè)共面的突起。 在本方法的一優(yōu)選實(shí)施方案中，步驟(g)——測量每個(gè)突起與至 少 一個(gè)圖像捕捉裝置的距離以及計(jì)算突起的共面性——可以包括使用 建立的數(shù)學(xué)函數(shù)從校正的坐標(biāo)確定每個(gè)突起與至少 一個(gè)圖像捕捉裝置 的距離。
優(yōu)選地，該方法進(jìn)一步包括根據(jù)每個(gè)突起的距離計(jì)算突起的共面 性以使用標(biāo)準(zhǔn)的最佳匹配平面算法形成座落平面的步驟。優(yōu)選地，如上所述的用于三維視覺的本方法可以進(jìn)一步包括通過
以下步驟計(jì)算突起高度
(i) 近似第二平面——除了第一座落平面之外——其由具有良好 共面性值的突起構(gòu)建；
(ii) 移動(dòng)所述第二平面標(biāo)稱突起高度的量以形成基平面；以及
(iii) 將突起的高度看作所述突起到基平面的垂直距離。 優(yōu)選地，可以相對于測量平面確定上述校準(zhǔn)步驟(b),該測量平
面可以優(yōu)選地以校準(zhǔn)柵的形式提供。
步驟(f)中的確定每個(gè)突起的共軛點(diǎn)包括(i)在每個(gè)校正的圖像 中定位對象的邊以畫出對象的邊界；以及(ii)進(jìn)行標(biāo)準(zhǔn)的斑點(diǎn)分析以 確定每個(gè)突起的大致位置。優(yōu)選地，步驟(f)進(jìn)一步包括(iii)在每 個(gè)突起上投影兩個(gè)"邊-檢測"窗以確定其頂邊和底邊的位置達(dá)到次4象 素準(zhǔn)確度；(iv)從突起的中心豎直位置投影第三"邊-檢測，，窗以在右 圖中檢測突起的左邊以及在左圖中檢測突起的右邊達(dá)到次像素準(zhǔn)確 度；以及步驟(f)可優(yōu)選地進(jìn)一步包括(v)將共軛點(diǎn)分派為突起的 右邊和左邊。
作為另一優(yōu)選實(shí)施方案，步驟(g)可以進(jìn)一步包括(vi)將突起 的差距計(jì)算為所述右邊和左邊的位置之間的差；以及(vii)利用該差 距和在校準(zhǔn)期間計(jì)算的相對姿態(tài)確定突起與立體照相機(jī)布局的距離。
優(yōu)選地，步驟(g)的測量每個(gè)突起的距離可以包括(i)將突起 的差距計(jì)算為共軛點(diǎn)的位置之間的差。(ii)利用該差距和在校準(zhǔn)期間
計(jì)算的相對姿態(tài)確定突起與立體照相機(jī)系統(tǒng)的距離。
在此應(yīng)解釋，術(shù)語"相對姿態(tài)"用在本說明書中是指圖像捕捉裝置 的"外部參數(shù)，，或者三維照相機(jī)相對彼此的位置，以及三維照相機(jī)相對 待檢查對象的位置。也可以認(rèn)為"相對姿態(tài)"術(shù)語是指在HalconTM方法 中所用的"三維姿態(tài)"。在HalcoiTM中，三維姿態(tài)是指具有6個(gè)參數(shù)的 剛性變換表示法，即，3個(gè)旋轉(zhuǎn)參數(shù)以及3個(gè)平移參數(shù)(Rotl， Rot2， Rot3， TransX， TransY, TransZ )。姿態(tài)的原理是，甚至繞任意軸線 的平移仍可以用繞坐標(biāo)系的X、 Y以及Z軸的連續(xù)3個(gè)旋轉(zhuǎn)表示。
如圖2所示，待檢查對象優(yōu)選地被放置在光源的環(huán)內(nèi)，并被其照 亮。光源環(huán)包括多個(gè)發(fā)光二極管(LED),該發(fā)光二極管的光束被定位為朝向待檢查對象約25。的傾角。優(yōu)選地，進(jìn)一步辨供背景光源。
在一優(yōu)選實(shí)施方案中，如圖3所示，照相機(jī)經(jīng)由包括IEEE-1394 總線(也稱為"Firewire")的高速數(shù)據(jù)傳輸總線連接到數(shù)據(jù)處理裝置。 以計(jì)算機(jī)的形式提供了數(shù)據(jù)處理裝置，該計(jì)算機(jī)能夠運(yùn)行至少一個(gè)用 于校準(zhǔn)、校正以及處理捕捉到的圖像的程序。反射表面可以被設(shè)置為 朝向待檢查對象與平行軸線約22.5。的傾角，以使得所述對象的圖像被 平行反射入圖像捕捉裝置。
為了校準(zhǔn)目的，在步驟(b)和/或(c)中，"校準(zhǔn)柵"，也稱為"校 準(zhǔn)標(biāo)線片"，可以被設(shè)置作為可移去地安裝的塊來使其圖像為校準(zhǔn)過程 被立體照相機(jī)系統(tǒng)所捕捉。該塊優(yōu)選為矩形板，該矩形板在矩形邊界 內(nèi)設(shè)有精密點(diǎn)陣列，如圖4所示，可以被使用。作為示例性校準(zhǔn)過程， 點(diǎn)的20個(gè)位置可以在每個(gè)照相機(jī)的視野內(nèi)被捕捉。然后，這些位置中 至少10個(gè)可以被選擇用于校準(zhǔn)過程。
在校準(zhǔn)過程期間，依次讀取圖像對以獲得邊界內(nèi)的點(diǎn)位置。因?yàn)?點(diǎn)之間的精確空間關(guān)系為已知，HalconTM函數(shù)可以用來計(jì)算內(nèi)部照相 機(jī)參數(shù)以及兩個(gè)照相機(jī)之間的空間關(guān)系。4吏用這些信息，可以4艮據(jù) HalconTM方法建立被稱為"校正立體照相機(jī)系統(tǒng)"的虛擬立體照相機(jī)系 統(tǒng)，其中關(guān)于第一照相機(jī)確定該"校正立體照相機(jī)系統(tǒng)"。
可以根據(jù)待檢測及待處理對象的特征來改變照相機(jī)以及照明裝置 的空間布置。例如，如圖3所示，其圖像待捕捉的對象(14)可以被 放置在環(huán)形燈(16)內(nèi)以給對象(14)提供周邊照明。另外可以設(shè)置 后光以提供背景照明。
從對象(14)反射的圖像不必直接由照相機(jī)(10， 12)捕捉。事 實(shí)上，因?yàn)閷ο蟠笮】赡苁切〉奈⑿托酒撐⑿托酒缃袷俏㈦?子封裝的常見形狀因素，所以難于平行安裝照相機(jī)(10, 12)來直接 捕捉圖像。更實(shí)用的是，使得圖像間接——即，經(jīng)由反射表面或鏡子 (22， 24)被照相機(jī)(10, 12)捕捉，以使得照相機(jī)(10， 12)可以 被分開放置但仍相互平行。優(yōu)選地，鏡子(22， 24)被放置得與指向 對象的平行軸線約22.5°的傾角(或者與其上放置有待檢查對象的平面 或視野67.5°的傾角)。
圖5示出了替換的布置，其中待檢查對象(14)仍#1放置在包括LED元件(17)的環(huán)形燈內(nèi)。在該布置中，照相機(jī)被定位為在每側(cè)與 對象(14)的入射軸約成45。。
圖6示出了另一替換的實(shí)施方案，其中待檢查對象是含引腳的微 電子封裝(15),其中以從封裝的側(cè)面突出的引腳(15a)為特征。示 出了封裝(15),其由真空棍拾起，該真空棍包括拾取頭(30)以及拾 取臂(32)?？梢栽O(shè)置反光或反射鏡(34)，以使得可以從背景照亮封 裝(15)。示出了桿形燈(36),其被設(shè)置來照亮封裝(15)的側(cè)面， 尤其是在引腳從封裝體突出的外圍部分?？梢栽谂c引腳的同一高度上 設(shè)置反射表面或鏡子(38)以將圖像反射到照相機(jī)(10, 12)。優(yōu)選地， 通過光學(xué)元件(40)傳遞圖像以增加圖像的對比度，該光學(xué)元件包括 非線性光學(xué)元件、濾光器等等。
應(yīng)注意，可選地，可以在兩個(gè)照相機(jī)(IO, 12)中間或之間設(shè)置 第三照相機(jī)(ll)以使得整體上捕捉的、來自封裝底面的圖像能夠與 封裝(15)每側(cè)的引腳的各個(gè)外圍圖像比較或校正。與該對照相機(jī)(IO, 12 )—樣，該第三照相機(jī)(11 )可以經(jīng)由諸如Firewire連接(或IEEE-1394 總線)的高速數(shù)據(jù)傳輸總線連接?？蛇x地，可以設(shè)置以計(jì)算機(jī)(50) 的形式的數(shù)據(jù)處理裝置，該計(jì)算機(jī)運(yùn)行一用于校準(zhǔn)、校正以及處理所 捕捉的圖像的程序。
圖7示出了圖3的布置的變型，其中相似地設(shè)置第三照相機(jī)(11) 作為可選布局。不使用高速數(shù)據(jù)傳輸總線和靜止照相機(jī)，攝像機(jī)可以 用于微電子封裝或其他的待檢查對象的快速徹底檢查，其中幀捕獲器 (42)(或其他外部設(shè)備)可以和每個(gè)攝像機(jī)串聯(lián)使用，以使得視頻圖 像可以被數(shù)字化以供在計(jì)算機(jī)(50)中處理，如圖8和9所示。
在Halcon 圖像函數(shù)和算子中的、由多線程編程以及多核處理裝 置實(shí)現(xiàn)的某些平行化過程或平行式圖形處理可以用來加快處理時(shí)間。 包括幀捕獲器接口的其他第三方圖像處理算法也可以與HakonTM整 體用于加快本說明書中描述的新穎方法的某些過程。此種改型、擴(kuò)展 或者適應(yīng)不應(yīng)認(rèn)為脫離本發(fā)明的在下面權(quán)利要求中限定的范圍。
1權(quán)利要求
1. 一種三維視覺檢查對象的方法，該對象包括微電子元件，其具有作為待檢查特征的突起，其中所述突起具有非平面的和/或彎曲的表面，所述方法包括以下步驟(a)提供具有相似內(nèi)部參數(shù)的至少一對圖像捕捉裝置，其以立體視覺布局被布置；(b)校準(zhǔn)每個(gè)所述圖像捕捉裝置以確定所述圖像捕捉裝置的內(nèi)部和外部參數(shù)；(c)由兩個(gè)圖像捕捉裝置的參數(shù)形成校正的坐標(biāo)系，該參數(shù)是在前面就第二圖像捕捉裝置關(guān)于第一圖像捕捉裝置的相對姿態(tài)而確定的；(d)使用每個(gè)所述圖像捕捉裝置捕捉待檢查對象的圖像，其中所述對象具有多個(gè)共面的突起并且捕捉的所述圖像具有每個(gè)所述突起的至少一個(gè)表面彎曲；(e)校正每個(gè)圖像的坐標(biāo)以在所述校正的坐標(biāo)系中產(chǎn)生一對校正圖像；(f)為在每個(gè)所捕捉該對圖像上的每個(gè)突起的中心確定共軛點(diǎn)；以及(g)測量每個(gè)突起在校正的坐標(biāo)系內(nèi)與至少一個(gè)圖像捕捉裝置的距離以及突起的共面性。
2. 根據(jù)權(quán)利要求l的三維視覺的方法，其中，測量每個(gè)突起與至 少一個(gè)圖像捕捉裝置的距離以及計(jì)算突起的共面性的步驟(g)包括使用建立的數(shù)學(xué)函數(shù)從校正的坐標(biāo)確定每個(gè)突起與至少一個(gè)圖像 捕捉裝置的距離。
3. 根據(jù)權(quán)利要求l的三維視覺的方法，還包括步驟(h) 根據(jù)每個(gè)突起的距離計(jì)算突起的共面性以使用標(biāo)準(zhǔn)的最佳匹 配平面算法形成座落平面。
4. 根據(jù)權(quán)利要求3的三維視覺的方法，還包括步驟(i) 計(jì)算突起的高度，其中—參考校正的坐標(biāo)確定基平面；以及 一將突起到基平面的垂直距離看作突起高度。
5. 根據(jù)權(quán)利要求4的三維視覺的方法，其中突起高度計(jì)算如下(i) 近似第二平面，除了第一座落平面之外，其由具有良好共面 性值的突起構(gòu)建；(ii) 將所述第二平面移動(dòng)標(biāo)稱突起高度的量以形成基平面；以及(iii) 將突起的高度看作所述突起到基平面的垂直距離。
6. 根據(jù)權(quán)利要求1的三維視覺的方法，其中相對于測量平面確定 步驟(b)中的校準(zhǔn)。
7. 根據(jù)權(quán)利要求6的方法，其中該測量平面以校準(zhǔn)柵的形式提供。
8. 根據(jù)權(quán)利要求1的三維視覺的方法，其中步驟(f)中確定每個(gè) 突起的共軛點(diǎn)包括(i) 在每個(gè)校正的圖像中定位對象的邊以畫出對象的邊界；以及(ii) 進(jìn)行標(biāo)準(zhǔn)的斑點(diǎn)分析以確定每個(gè)突起的大致位置。
9. 根據(jù)權(quán)利要求1的三維視覺的方法，其中步驟(f)還包括(iii) 在每個(gè)突起上投影兩個(gè)"邊-檢測，，窗以確定其頂邊和底邊 的位置達(dá)到次像素準(zhǔn)確度；(iv) 從突起的中心豎直位置投影笫三"邊-檢測，，窗以在右圖中 檢測突起的左邊以及在左圖中檢測突起的右邊達(dá)到次像素準(zhǔn)確度；以 及(v) 將共軛點(diǎn)分派為突起的右邊和左邊。
10. 根據(jù)權(quán)利要求9的三維視覺的方法，其中步驟(g)還包括(vi) 將突起的差距計(jì)算為所述右邊和左邊的位置之間的差；以及(vii) 利用該差距和在校準(zhǔn)期間計(jì)算的相對姿態(tài)確定突起與立體 照相機(jī)布局的距離。
11. 根據(jù)前述權(quán)利要求中任一項(xiàng)的三維視覺的方法，其中待檢查 突起具有圓邊或球尖端中的至少一個(gè)，所述圓邊或球尖端包括針柵陣 列(PGA)封裝的針、球柵陣列(BGA)的球以及類似的微電子封裝。
12. —種用于三維視覺檢查非平面對象的裝置，該非平面對象包 括微電子元件，其中，為了校準(zhǔn)和/或測量目的，所述裝置包括(a )具有相似內(nèi)部參數(shù)的至少一對圖像捕捉裝置，該圖像捕捉裝 置以立體視覺布局被布置；(b) —對反射表面，用于反射待檢查對象的圖像以被每個(gè)所述圖像捕捉裝置捕捉；以及(c) 固定所述待檢查對象以使所述對象的圖像能夠被如此反射和 如此捕捉的裝置；其中所述對象在至少一個(gè)表面或基層上具有多個(gè)共面的突起。
13. 根據(jù)權(quán)利要求12的用于三維視覺檢查的裝置，其中待檢查對 象被放置在光源的環(huán)內(nèi)，從而被照亮。
14. 根據(jù)權(quán)利要求13的用于三維視覺檢查的裝置，其中該光源包 括多個(gè)發(fā)光二極管(LED ),該發(fā)光二極管的光束被定位為朝向待檢查 對象約25。的傾角。
15. 根據(jù)權(quán)利要求14的用于三維視覺檢查的裝置，其中還提供背 景光源。
16. 根據(jù)權(quán)利要求12的用于三維視覺檢查的裝置，其中該圖像捕 捉裝置包括照相機(jī)和幀捕獲器。
17. 根據(jù)權(quán)利要求16的用于三維視覺檢查的裝置，其中所述幀捕 獲器經(jīng)由包括IEEE-1394總線(也稱為"Firewire")的高速數(shù)據(jù)傳輸 總線連接到數(shù)據(jù)處理裝置。
18. 根據(jù)權(quán)利要求17的用于三維視覺檢查的裝置，其中該數(shù)據(jù)處 理裝置是計(jì)算機(jī)，其能夠運(yùn)行至少一個(gè)用于校準(zhǔn)、校正以及處理所捕 捉圖像的程序。
19. 根據(jù)權(quán)利要求12-18中任一項(xiàng)的用于三維視覺檢查的裝置，還 包括用于另 一成像過程的第三圖像捕捉裝置。
20. 根據(jù)權(quán)利要求19的用于三維視覺檢查的裝置，其中該第三圖 像捕捉裝置被放置入該對前兩個(gè)圖像捕捉裝置之間，并被構(gòu)造為檢查 對象的另一類型特征，或者另一類型對象。
21. 根據(jù)權(quán)利要求12的用于三維視覺檢查的裝置，其中提供校準(zhǔn) 標(biāo)線片，該校準(zhǔn)標(biāo)線片使其圖像為校準(zhǔn)過程而被捕捉，該校準(zhǔn)標(biāo)線片 ,皮可移去地安裝。
22. 根據(jù)權(quán)利要求12的用于三維視覺檢查的裝置，其中所述反射 表面以與平行軸線約22.5。的傾角朝向待檢查對象定位，以使得所述對 象的圖像被平行地反射進(jìn)入圖像捕捉裝置。
23. —種對象，其已根據(jù)權(quán)利要求l-ll的方法中的任一項(xiàng)所檢查， 或已使用根據(jù)權(quán)利要求12-22中任一項(xiàng)的裝置所檢查。
24. 根據(jù)權(quán)利要求23的對象，該對象是微電子針球陣列(PGA) 和球柵陣列(BGA)封裝中的任一個(gè)。
25. —種設(shè)施，其中安裝有根據(jù)權(quán)利要求12-22中任一項(xiàng)的裝置。
全文摘要
公開了一種三維視覺檢查對象諸如電子元件的方法，該電子元件具有作為待檢查特征的突起，諸如輸入/輸出接觸球。該方法包括以下步驟確定一對照相機(jī)的內(nèi)部和外部參數(shù)；由兩個(gè)照相機(jī)的參數(shù)形成校正的坐標(biāo)系，該參數(shù)是在前面就第二圖像捕捉裝置關(guān)于第一圖像捕捉裝置的相對姿態(tài)而確定的。由照相機(jī)系統(tǒng)捕捉對象的一對圖像，該對象在一表面上具有多個(gè)共面的突起，其中圖像的圖像坐標(biāo)被變換成校正的坐標(biāo)系的坐標(biāo)。然后，為測量每個(gè)突起的共面性以及高度，確定每個(gè)突起的共軛點(diǎn)。也公開了用于捕捉圖像和處理圖像數(shù)據(jù)的裝置的不同布局。
文檔編號G01N21/00GK101506614SQ200780030439
公開日2009年8月12日 申請日期2007年3月30日 優(yōu)先權(quán)日2006年6月21日
發(fā)明者張順富, 潘榮裕, 陳學(xué)偉 申請人:精益視覺科技私人有限公司