本申請(qǐng)基于申請(qǐng)?zhí)枮?2/201,723、名稱為在引導(dǎo)裝配環(huán)境中將機(jī)器視覺坐標(biāo)空間關(guān)聯(lián)在一起的系統(tǒng)和方法、申請(qǐng)日為2015年8月6日的美國(guó)共同未決臨時(shí)專利申請(qǐng)?zhí)岢?，并要求該臨時(shí)專利申請(qǐng)的優(yōu)先權(quán)，本專利申請(qǐng)的教導(dǎo)示例在此明確引入本文中作為參考。

技術(shù)領(lǐng)域

本發(fā)明涉及一種機(jī)器視覺系統(tǒng)，尤其涉及在制造和引導(dǎo)裝配環(huán)境中用于引導(dǎo)工件及其他對(duì)象的裝配的視覺系統(tǒng)。

背景技術(shù)：

在機(jī)器視覺系統(tǒng)(本文中也稱作“視覺系統(tǒng)”)中，一個(gè)或多個(gè)相機(jī)用于在圖像場(chǎng)景中在對(duì)象或表面上執(zhí)行視覺系統(tǒng)流程。這些流程包括檢查、符號(hào)解碼、對(duì)齊以及若干其他自動(dòng)化任務(wù)。尤其是，該視覺系統(tǒng)可用于檢測(cè)通過圖像場(chǎng)景的扁平物體。通常情況下，場(chǎng)景由包括內(nèi)部或外部視覺系統(tǒng)處理器的一個(gè)或多個(gè)視覺系統(tǒng)相機(jī)進(jìn)行拍攝，其中的視覺系統(tǒng)處理器運(yùn)行相關(guān)的視覺系統(tǒng)進(jìn)程，以生成結(jié)果。標(biāo)定一個(gè)或多個(gè)相機(jī)，使其足夠準(zhǔn)確和可靠地執(zhí)行視覺任務(wù)?？刹捎脴?biāo)定板標(biāo)定相機(jī)并建立公共(全局)坐標(biāo)空間(也稱作坐標(biāo)“系”)，以使全部相機(jī)的像素位置映射至該坐標(biāo)空間中的相關(guān)坐標(biāo)點(diǎn)，從而將所有相機(jī)中的特征圖像定位于該坐標(biāo)空間內(nèi)。在采用運(yùn)動(dòng)平臺(tái)引導(dǎo)對(duì)象裝配的專利申請(qǐng)中，標(biāo)定流程包括在運(yùn)動(dòng)平臺(tái)(也稱作“運(yùn)動(dòng)坐標(biāo)空間”)與公共坐標(biāo)空間之間建立關(guān)聯(lián)。此類標(biāo)定可采用已知的“手眼”標(biāo)定技術(shù)完成。

視覺系統(tǒng)的一個(gè)顯著任務(wù)是通過自動(dòng)裝配機(jī)構(gòu)幫助引導(dǎo)和驗(yàn)證對(duì)象(也稱作“工件”)的裝配，其中，自動(dòng)裝配機(jī)構(gòu)包括滑臺(tái)(運(yùn)動(dòng)平臺(tái))，用于將工件準(zhǔn)確支撐在裝配位置；操縱器(如：執(zhí)行“拾取和放置”操作的機(jī)械手或機(jī)械臂，或者其他類型的運(yùn)動(dòng)設(shè)備或運(yùn)動(dòng)平臺(tái))，用于將另一個(gè)處于“裝配運(yùn)動(dòng)”狀態(tài)的工件移動(dòng)至用于安裝該工件的重疊對(duì)齊位置。特殊的拾放操作包括將一個(gè)工件與另一個(gè)工件對(duì)齊。舉例來說，操縱器可通過拾放操作拾取觸摸屏并將其放入置于運(yùn)動(dòng)平臺(tái)上的手機(jī)凹槽中，其中，操縱器從拾取位置移動(dòng)各觸摸屏，并將其放置在待裝配手機(jī)機(jī)體上的放置位置(有時(shí)也稱作“放置站點(diǎn)”)。這就要求觸摸屏與手機(jī)機(jī)體適當(dāng)且準(zhǔn)確地對(duì)齊。

由于一些示例性系統(tǒng)經(jīng)過初始校準(zhǔn)，因此，各工件在系統(tǒng)運(yùn)行操作期間可與其他工件正確對(duì)齊。在校準(zhǔn)期間，這些工件被定位在其各自的位置或站點(diǎn)，因此，校準(zhǔn)后，在裝配時(shí)，已裝配的工件具有了預(yù)定的相互位置關(guān)系。之后，為了體現(xiàn)所有的放置或尺寸偏差，在運(yùn)行期間利用視覺系統(tǒng)控制位置上的相關(guān)運(yùn)動(dòng)平臺(tái)，將一個(gè)工件或二者工件重新定位到各自的位置，然后再進(jìn)行裝配。因此，通過調(diào)整運(yùn)動(dòng)平臺(tái)，可使工件處于與其校準(zhǔn)時(shí)期相同的相互位置關(guān)系(預(yù)期位置關(guān)系)。其他示例性系統(tǒng)可忽略校準(zhǔn)流程，舉例來說，可在運(yùn)行期間利用裝配件的幾何形狀的系統(tǒng)，如：當(dāng)?shù)谝痪匦渭缘诙匦渭橹行臅r(shí)。

作為最后用于計(jì)算運(yùn)動(dòng)平臺(tái)運(yùn)動(dòng)參數(shù)的流程的一部分，在拍攝工件場(chǎng)景后，應(yīng)提取各工件的所屬特征并映射至公共坐標(biāo)空間，其中的運(yùn)動(dòng)參數(shù)可能會(huì)用于實(shí)現(xiàn)預(yù)期裝配。公共坐標(biāo)空間映射是出于標(biāo)定流程的需要。在許多裝配系統(tǒng)中，標(biāo)定流程包括：利用傳送零件的重復(fù)型操縱器在位置之間傳送特殊標(biāo)定板，并在二者位置上拍攝標(biāo)定板圖像。該技術(shù)存在若干缺點(diǎn)。舉例來說，由于工件與標(biāo)定板在形狀、重量或其他特征方面存在差異，因此，用于傳送零件的拾放抓手可能無法用于傳送標(biāo)定板。也就是說，標(biāo)定板與抓手參數(shù)不匹配。在此類系統(tǒng)中，用戶須手動(dòng)輸入公共坐標(biāo)空間的映射參數(shù)，這常常會(huì)造成標(biāo)定效果不理想。此外，由于零件和標(biāo)定板的特征差異(如厚度差異或其他特征差異)，在標(biāo)定和運(yùn)行期間拾放操縱器的運(yùn)行路徑可能不同。這樣將導(dǎo)致標(biāo)定出現(xiàn)誤差，這是因?yàn)椴倏v器在運(yùn)行期間和校準(zhǔn)期間的運(yùn)行步驟存在差異。概括地說，由于需額外步驟進(jìn)行設(shè)置等操作，因此，給用戶在標(biāo)定期間使用單獨(dú)的標(biāo)定板造成極大方便。

此外，現(xiàn)有標(biāo)定技術(shù)的缺點(diǎn)還在于其對(duì)某些機(jī)械原理和/或反復(fù)試驗(yàn)及誤差原則的依賴，這些原理和原則存在局限性和/或操作不方便，并且耗時(shí)。例如：在某一技術(shù)中，允許構(gòu)建機(jī)械系統(tǒng)，因而，第一位置的坐標(biāo)空間與第二位置的坐標(biāo)空間之間的關(guān)系是已知且既定的。該技術(shù)對(duì)靈活性形成了限制，并且不能體現(xiàn)位置隨時(shí)間變化而可能出現(xiàn)的移動(dòng)或變化。在另一技術(shù)中，需初步估算兩位置之間的關(guān)系，并利用裝配件的質(zhì)量反復(fù)優(yōu)化該位置關(guān)系。該技術(shù)耗時(shí)，且需依賴多重迭代才可達(dá)到預(yù)期準(zhǔn)確度。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明通過提供一種利用運(yùn)行時(shí)工件的特征在標(biāo)定期間將兩個(gè)位置的坐標(biāo)空間關(guān)聯(lián)在一起的標(biāo)定系統(tǒng)和方法，克服了現(xiàn)有技術(shù)中由于采用操縱器(和相關(guān)抓手)在拾取與放置位置之間傳送標(biāo)定板所產(chǎn)生的問題導(dǎo)致的缺點(diǎn)。該系統(tǒng)和方法至少累積了三種不同的方案或技術(shù)：一種是可在二者位置上拍攝具有相同特征的工件的圖像并進(jìn)行識(shí)別；另一種是拍攝到的運(yùn)行時(shí)工件的特征圖像在各個(gè)位置均不同(其中，可采用CAD或工件測(cè)量再現(xiàn))；再一種是利用手眼標(biāo)定將含有運(yùn)動(dòng)平臺(tái)的第一位置標(biāo)定到運(yùn)動(dòng)平臺(tái)，并通過在位置之間往復(fù)傳送運(yùn)行時(shí)零件，將第二位置手眼標(biāo)定至相同的運(yùn)動(dòng)平臺(tái)。舉例來說，可通過運(yùn)行多個(gè)運(yùn)行時(shí)工件(每個(gè)工件姿態(tài)不同)，提取特征并累積每個(gè)位置上的此類特征，然后利用累積的特征將兩個(gè)坐標(biāo)空間關(guān)聯(lián)起來，以提高前兩種技術(shù)的質(zhì)量。概括地說，該系統(tǒng)和方法對(duì)兩個(gè)位置進(jìn)行獨(dú)立標(biāo)定，并通過工件傳送利用工件的特征(而非標(biāo)定板的特征)將兩個(gè)位置的坐標(biāo)空間關(guān)聯(lián)在一起，其中，在裝配期間，構(gòu)建、設(shè)置/利用操縱器來傳送工件。

在一說明性實(shí)施例中，提供了一種在操縱器將第一位置的第一工件傳送至第二位置的環(huán)境中用于標(biāo)定視覺系統(tǒng)的系統(tǒng)和方法。在第一工件上執(zhí)行操作，該操作依賴于將第一位置和第二位置的坐標(biāo)空間關(guān)聯(lián)在一起。至少設(shè)置一個(gè)視覺系統(tǒng)相機(jī)，當(dāng)?shù)谝还ぜㄎ挥诘谝晃恢脮r(shí)，用于拍攝第一工件的圖像，并且當(dāng)?shù)谝还ぜㄎ挥诘诙恢脮r(shí)，用于拍攝第一工件的圖像。相對(duì)于第一位置標(biāo)定至少一個(gè)視覺系統(tǒng)相機(jī)，以獲得限定第一坐標(biāo)空間的第一標(biāo)定數(shù)據(jù)，以及相對(duì)于第二位置標(biāo)定至少一個(gè)視覺系統(tǒng)相機(jī)(可能為同一或相同的相機(jī))，以獲得限定第二坐標(biāo)空間的第二標(biāo)定數(shù)據(jù)。至少第一工件的特征可根據(jù)第一工件的第一圖像在第一位置進(jìn)行識(shí)別?；诘谝粓D像中的識(shí)別特征，在相對(duì)于第一位置的第一坐標(biāo)空間中定位第一工件。第一工件至少被操縱器抓取和移動(dòng)一次至第二位置上的操縱器預(yù)定位置，并在第二位獲得第一工件的第二圖像?；诘诙D像中的識(shí)別特征，在相對(duì)于第二位置的第二坐標(biāo)空間中定位第一工件。為此，第一坐標(biāo)空間和第二坐標(biāo)空間被關(guān)聯(lián)在一起。舉例來說，如果第一圖像中的識(shí)別特征與第二圖像中的識(shí)別特征相同，那么該系統(tǒng)和方法包括：(a)映射相對(duì)于第一標(biāo)定數(shù)據(jù)的第一圖像中的識(shí)別特征的位置，(b)映射相對(duì)于第二標(biāo)定數(shù)據(jù)的第二圖像中的識(shí)別特征的位置，以及(c)計(jì)算將第二位置的映射特征映射至第一位置的映射特征的變換。或者，如果第一圖像中的某些識(shí)別特征與第二圖像中的識(shí)別特征不同，那么該系統(tǒng)和方法包括：(a)映射相對(duì)于第一標(biāo)定數(shù)據(jù)的第一圖像中的識(shí)別特征的位置，(b)計(jì)算相對(duì)于存儲(chǔ)的第一工件特征位置規(guī)范的變換，(c)映射相對(duì)于第二標(biāo)定數(shù)據(jù)的第二圖像中的識(shí)別特征的位置，(d)工件在第一位置時(shí)，利用步驟(b)中計(jì)算得出的映射變換，從第一坐標(biāo)空間中的第二圖像中得出識(shí)別特征的位置，以及(e)計(jì)算將第二位置的映射特征映射至第一位置的相應(yīng)轉(zhuǎn)換特征的變換。第一工件規(guī)范可基于第一工件的CAD模型或第一工件的測(cè)量模型(CMM測(cè)量)。舉例來說，該系統(tǒng)和方法可包括：(a)通過促動(dòng)裝置在第一位置或第二位置迭代移動(dòng)第一工件，使其形成若干不同的姿態(tài)，(b)識(shí)別第一位置和第二位置中的每一個(gè)位置上的每種姿態(tài)的特征，以及(c)累積特征識(shí)別信息，以增強(qiáng)準(zhǔn)確性；其中，第一工件可為相同的工件或?yàn)槿舾呻x散工件中的一個(gè)。在各個(gè)實(shí)施例中，該系統(tǒng)和方法，包括：從圖像坐標(biāo)系映射第一位置的標(biāo)定坐標(biāo)系，并且其中的映射為一個(gè)整體。在實(shí)施例中，第二位置具有第二工件，其中，第一工件以預(yù)定對(duì)齊方式與第二工件嚙合，和/或第二工件為用于進(jìn)一步處理第一工件的零件、容器或框架。此外，在各種實(shí)施例中，操作是指相對(duì)于另一對(duì)象的對(duì)齊操作、第一工件的打印操作和第一工件的應(yīng)用操作中的至少一個(gè)，并且可在至少遠(yuǎn)離第一位置和第二位置的位置部分地執(zhí)行所述操作。

在另一說明性實(shí)施例中，提供了一種在操縱器將第一位置的第一工件傳送至第二位置的環(huán)境中用于標(biāo)定視覺系統(tǒng)的系統(tǒng)和方法，其中，在第一工件上執(zhí)行的操作依賴于將第一位置和第二位置的坐標(biāo)空間關(guān)聯(lián)在一起，并且位置中的至少一個(gè)需手眼標(biāo)定。至少設(shè)置一個(gè)視覺系統(tǒng)相機(jī)，以拍攝第一位置的第一工件的圖像和第二位置的第一工件的圖像。相對(duì)于第一位置手眼標(biāo)定視覺系統(tǒng)相機(jī)，以獲得第一標(biāo)定數(shù)據(jù)，將第一工件定位于第一位置。舉例來說，第一工件通過操縱器從第一位置移動(dòng)至第二位置，并獲得圖像；通過獲得的圖像，第一工件的特征可定位。之后，第一工件通過操縱器從第二位置移動(dòng)至第一位置，并通過促動(dòng)裝置在第一位置使第一工件的姿態(tài)改變?yōu)樾碌囊阎藨B(tài)。促動(dòng)裝置可在任何一個(gè)位置進(jìn)行定位，而由促動(dòng)裝置所致的姿態(tài)變化可在操縱器將第一工件從第二位置移動(dòng)至第一位置之前或之后發(fā)生。

重復(fù)上述步驟直至累積并存儲(chǔ)到特征位置和其他與手眼標(biāo)定相關(guān)的數(shù)據(jù)，之后利用累積數(shù)據(jù)相對(duì)于第二位置對(duì)至少一個(gè)視覺系統(tǒng)相機(jī)進(jìn)行手眼標(biāo)定。這樣就可通過相對(duì)于促動(dòng)裝置(通過手眼標(biāo)定獲得)的公共坐標(biāo)空間，將第一坐標(biāo)空間和第二坐標(biāo)空間關(guān)聯(lián)在一起。舉例來說，第二位置在促動(dòng)裝置上具有第二工件，其中，第一工件以預(yù)定對(duì)齊方式與第二工件嚙合。第二工件可以是用于進(jìn)一步處理第一工件的零件、容器或框架，而操作可以是相對(duì)于另一對(duì)象的對(duì)齊操作、第一工件上的打印操作和第一工件的應(yīng)用操作中的至少一個(gè)。

附圖說明

結(jié)合附圖對(duì)本發(fā)明做以下說明，其中：

圖1是相對(duì)于示例性拾取和放置裝配環(huán)境設(shè)置的多相機(jī)視覺系統(tǒng)的示圖，示出了位于拾取位置的拾放操縱器提取工件，并將其傳送至放置位置，其中一個(gè)位置包括與工件裝配系統(tǒng)相結(jié)合使用的示例性運(yùn)動(dòng)平臺(tái)，以及具有相關(guān)工具和標(biāo)定、校準(zhǔn)及運(yùn)行操作流程的視覺處理器；

圖2是相對(duì)于示例性拾取和放置裝配裝置設(shè)置的雙相機(jī)視覺系統(tǒng)的示圖，其中，一個(gè)工件與另一個(gè)工件對(duì)齊，該圖示出了位于放置位置的拾放操縱器將拾取到的第一工件放置到第二工件上；

圖3是一種基于操縱器在各位置抓取到的運(yùn)行時(shí)工件的圖像將第一位置的第一坐標(biāo)空間與第二位置的第二坐標(biāo)空間關(guān)聯(lián)起來的方法的廣義總體流程圖，其中，相機(jī)系統(tǒng)相對(duì)于位置中的一個(gè)進(jìn)行標(biāo)定；

圖4是圖3中概述的利用各位置上的運(yùn)行時(shí)工件圖像特征將第一位置的坐標(biāo)空間與第二位置的坐標(biāo)空間關(guān)聯(lián)起來的方法的更詳細(xì)的流程圖，其中，各位置上的特征相同；

圖5是圖3中概述的利用各位置上的運(yùn)行時(shí)工件圖像特征將第一位置的坐標(biāo)空間與第二位置的坐標(biāo)空間關(guān)聯(lián)起來的方法的更詳細(xì)的流程圖，其中，各位置上的至少某些特征因各自視場(chǎng)的視覺差而有所不同；

圖6是一種通過在第一位置和第二位置分別實(shí)施手眼標(biāo)定將第一位置的坐標(biāo)空間與第二位置的坐標(biāo)空間關(guān)聯(lián)起來的方法的流程圖；和

圖7是相對(duì)于圖4和圖5中的方法的其他工藝的流程圖，其中的特征在若干已知姿態(tài)下進(jìn)行提取，并將累積特征用于關(guān)聯(lián)各位置的坐標(biāo)空間。

具體實(shí)施方式

圖1是根據(jù)一實(shí)施例的具有示例性拾放機(jī)構(gòu)120(操縱器)的裝配系統(tǒng)100的示圖，該系統(tǒng)100可通過對(duì)象(第一工件)來應(yīng)用標(biāo)定系統(tǒng)和標(biāo)定方法，其中的對(duì)象(第一工件)在裝配運(yùn)行時(shí)操作中被操縱器操縱(在位置/站點(diǎn)之間傳送)至第二位置上的第二工件。這些位置具體包括：拾取位置122，被轉(zhuǎn)移的運(yùn)行時(shí)工件124在拾取位置122進(jìn)行初始定位；以及放置位置110，配接第一工件124的第二工件112被定位于該放置位置110。操縱器包括抓手，抓手包括如吸盤125，用于選擇性地吸附第一工件124。操縱器120選擇性地拾取(箭頭130)第一工件124，并將其傳送(箭頭132)至第二工件112上的對(duì)齊位置126。在本示例中，設(shè)有軌道128，以沿重復(fù)性路徑引導(dǎo)操縱器120。該軌道為選配軌道，并且任何允許操縱器120在拾取位置與放置位置之間做重復(fù)性運(yùn)動(dòng)的模式均可明確預(yù)見。舉例來說，操縱器通過Xm、Ym和Zm軸定義坐標(biāo)空間134，其中，該操縱器120至少沿Ym軸和Zm軸的拾取/放置方向移動(dòng)。圖中還示出了θzm繞Zm軸旋轉(zhuǎn)，但操縱器可能會(huì)，也可能不會(huì)按此進(jìn)行操作。操縱器的運(yùn)動(dòng)是任意的，并且視覺系統(tǒng)的操作通常獨(dú)立于此類運(yùn)動(dòng)(將舉例說明)。

拾取位置122和/或放置位置110每個(gè)定義一個(gè)平臺(tái)，各個(gè)工件124和112在拾取/放置操作之前被定位在該平臺(tái)上。工件124和112可通過任何可接受的技術(shù)放置到位置/平臺(tái)(分別為112、110)上，如：源自工件的輸送機(jī)、機(jī)械操作手、用戶手動(dòng)放置等。在其他實(shí)施例中，工件124可被操縱器夾持在第一位置110，而非置于位置/平臺(tái)122上。在示例性系統(tǒng)中，位置/平臺(tái)122、110中的任何一個(gè)均可包括一個(gè)運(yùn)動(dòng)平臺(tái)，該運(yùn)動(dòng)平臺(tái)以一個(gè)或多個(gè)自由度按預(yù)定準(zhǔn)確度移動(dòng)。通過運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)，工件之間可在重復(fù)性拾取和放置運(yùn)動(dòng)之前或之后建立對(duì)齊。也就是說，工件中的一個(gè)通過運(yùn)動(dòng)平臺(tái)預(yù)先對(duì)齊，然后，當(dāng)該工件移動(dòng)通過定義路徑時(shí)，通過拾取/放置操作使其保持預(yù)定對(duì)齊?；蛘撸ぜㄟ^拾取/放置操作移動(dòng)后，在裝配/放置運(yùn)動(dòng)前最終對(duì)齊。每個(gè)平臺(tái)(任一平臺(tái)可包括一個(gè)運(yùn)動(dòng)平臺(tái))各自定義其坐標(biāo)空間，該坐標(biāo)空間可以是位置的局部坐標(biāo)空間，也可以是標(biāo)定坐標(biāo)空間。也就是說，拾取平臺(tái)122定義第一坐標(biāo)空間Xs1、Ys1、Zs1(正交軸135)，而放置平臺(tái)110定義第二坐標(biāo)空間Xs2、Ys2、Zs2(正交軸137)。其中，任一平臺(tái)包括一個(gè)運(yùn)動(dòng)平臺(tái)，運(yùn)動(dòng)平臺(tái)可沿上述坐標(biāo)軸中的一個(gè)或多個(gè)移動(dòng)，并且可以選擇性地以至少一個(gè)合理的自由度移動(dòng)(如，沿所述的θzs1或θzs2移動(dòng))。

在該示例性系統(tǒng)環(huán)境/配置110中，各個(gè)位置(122、110)上至少分別有一個(gè)相機(jī)142、140進(jìn)行拍攝。或者，單一相機(jī)或多個(gè)相機(jī)可在單一視場(chǎng)(FOV)中對(duì)二者位置進(jìn)行拍攝。如本文中所述，通常可以預(yù)見的是，當(dāng)工件定位于各位置上時(shí)，一個(gè)或多個(gè)相機(jī)對(duì)各位置上的工件的相同或不同特征是可見的。相機(jī)140、142與視覺流程(處理器)160互連。一個(gè)位置或位置二者122、110均可選擇性地包括附加相機(jī)144(如陰影所示)。該視覺流程(處理器)160還在相關(guān)位置與一個(gè)運(yùn)動(dòng)平臺(tái)運(yùn)動(dòng)控制器170可操作性地互連，從而使該控制器170向處理器160提供運(yùn)動(dòng)信息172(如：解碼器或步進(jìn)機(jī)距離/脈沖信息)，用于判認(rèn)運(yùn)動(dòng)平臺(tái)和相關(guān)工件的物理位置。由于運(yùn)動(dòng)平臺(tái)可選擇性地定位于任一位置122或110，因此，二者位置上的控制器170和相關(guān)運(yùn)動(dòng)信息均相似。在手眼標(biāo)定(下文將做進(jìn)一步說明)期間，記錄并將運(yùn)動(dòng)信息與獲得的圖像相關(guān)聯(lián)時(shí)，運(yùn)動(dòng)平臺(tái)移動(dòng)。

相機(jī)140、142、144各自與視覺系統(tǒng)處理器和相關(guān)的視覺系統(tǒng)流程160可操作連接，該處理器和流程160可在一個(gè)或多個(gè)相機(jī)外殼中全部或部分地集成為一個(gè)自定義視覺處理器電路，或者設(shè)置在一個(gè)互連的計(jì)算裝置180中，以協(xié)助進(jìn)行設(shè)置(標(biāo)定)、校準(zhǔn)和/或運(yùn)行操作；其中，計(jì)算裝置180包括但不限于：電腦、筆記本電腦、平板電腦、智能手機(jī)或具有圖形用戶界面(GUI，如：顯示器和/或觸摸屏182、鍵盤184和/或鼠標(biāo)186)的類似設(shè)備。注意，在采用一個(gè)以上相機(jī)的裝配系統(tǒng)中，每臺(tái)相機(jī)都將用于將其獲得的圖像或從圖像提取到的信息發(fā)送給中央處理器。然后，由中央處理器集成整合各相機(jī)采集到的裝配期間的信息。視覺流程(處理器)160執(zhí)行視覺系統(tǒng)的各流程(或元件/模塊)，包括各視覺工具162，如：尋邊器、斑點(diǎn)分析器、搜索工具和卡尺工具等。舉例來說，該視覺流程(處理器)160包括對(duì)齊流程(處理器)，該對(duì)齊流程(處理器)以下述方式對(duì)齊兩個(gè)工件的圖像數(shù)據(jù)。標(biāo)定流程(處理器)166便于對(duì)相機(jī)執(zhí)行標(biāo)定和手眼標(biāo)定(下文將做進(jìn)一步說明)。舉例來說，校準(zhǔn)流程(處理器)168可執(zhí)行本文中可預(yù)見的各種校準(zhǔn)程序，以重新定位工件，從而相對(duì)于第一工件準(zhǔn)確裝配第二工件。注意，視覺處理器160可構(gòu)建成為由若干相機(jī)互連的處理器(或其他裝置)，或單一相機(jī)組件(或遠(yuǎn)程計(jì)算裝置)中的中央處理器。

還應(yīng)注意，本申請(qǐng)各實(shí)施例中所述的工件裝配物理配置包括任意數(shù)量的、可拍攝滑臺(tái)/運(yùn)動(dòng)平臺(tái)各區(qū)域的相機(jī)。在不同的配置中，用于拍攝每個(gè)位置(和/或整體裝配環(huán)境)的相機(jī)的數(shù)量是高度變化的。同樣地，在整個(gè)系統(tǒng)中，操縱器執(zhí)行任務(wù)的位置的數(shù)量也是高度變化的。

此外，所述裝配環(huán)境為各種配置的示例是顯而易見的，其中，第一工件通過如重復(fù)性操縱器從第一位置傳送至另一位置，在該位置，對(duì)第一工件實(shí)施操作。該操作可包括以預(yù)定對(duì)齊方式嚙合第二工件，或者利用適當(dāng)機(jī)構(gòu)直接在第一工件上實(shí)施操作。例如，第二工件可以是配接第一工件的零件、第一工件放置其中的容器/盒和/或第一工件放置其中的框架，如：作為工具箱配置零件。除此類放置操作外，操作還可包括打印或封裝第一工件、將第一工件暴露在激光、切削工具、刀具頭或其他設(shè)備之下和/或其他任何用于修整第一工件的工藝流程。操作和第二工件的進(jìn)一步定義，見下文。通常情況下，可以預(yù)見的主要是系統(tǒng)和方法允許將拍攝第一位置和第二位置的相機(jī)的坐標(biāo)空間關(guān)聯(lián)在一起，從而以預(yù)期方式進(jìn)行操作。

在進(jìn)一步詳細(xì)描述說明性系統(tǒng)和方法之前，應(yīng)參考下列定義，以幫助閱讀者理解本申請(qǐng)中所述的概念：

定義

簡(jiǎn)單參照?qǐng)D2，所示操縱器120已沿軌道180從第一位置122移動(dòng)至第二位置110，其中，第一工件124在其抓手150中。如圖所示，操縱器120正準(zhǔn)確地將第一工件126放入(箭頭250)第二工件250上的對(duì)齊接收位置126。工件通過相機(jī)140、142和相關(guān)視覺系統(tǒng)流程(處理器)160基于公共坐標(biāo)空間來移動(dòng)運(yùn)動(dòng)平臺(tái)進(jìn)行對(duì)齊。該公共坐標(biāo)空間是在標(biāo)定期間通過將兩個(gè)位置122、110中的每一個(gè)位置的標(biāo)定坐標(biāo)空間關(guān)聯(lián)在一起建立的?，F(xiàn)在將在下面對(duì)其進(jìn)行介紹。

通過對(duì)某些標(biāo)定原理的整體理解可發(fā)現(xiàn)，剛性體(如標(biāo)定板)的運(yùn)動(dòng)特征在于姿態(tài)成對(duì)出現(xiàn)：運(yùn)動(dòng)前立即出現(xiàn)起始姿態(tài)，以及運(yùn)動(dòng)發(fā)生后立即出現(xiàn)終止姿態(tài)。本申請(qǐng)中的“姿態(tài)”的定義為在某些基礎(chǔ)坐標(biāo)空間(剛性體的虛擬表征)中用于及時(shí)描述剛性體在任何一個(gè)特定瞬間的位置和方向的數(shù)值集。例如，在二維空間中，一種姿態(tài)可通過三個(gè)數(shù)值表征：X軸上的偏移量、Y軸上的偏移量，以及旋轉(zhuǎn)量R(或θ)。標(biāo)定板的姿態(tài)描述了標(biāo)定在呈現(xiàn)給相機(jī)的形態(tài)。通常情況下，在所謂的標(biāo)準(zhǔn)“手眼標(biāo)定”中，標(biāo)定板相被促動(dòng)裝置對(duì)于相機(jī)移動(dòng)成為若干不同的姿態(tài)，而每臺(tái)相機(jī)獲取標(biāo)定板在每種姿態(tài)下的圖像。該手眼標(biāo)定的目的是在單一坐標(biāo)空間(也可稱作“標(biāo)定坐標(biāo)空間”)中判認(rèn)相機(jī)的姿態(tài)、標(biāo)定板的姿態(tài)以及促動(dòng)裝置的姿態(tài)?！斑\(yùn)動(dòng)”通常由可提供物理運(yùn)動(dòng)的實(shí)際設(shè)備提供，如：機(jī)械臂或運(yùn)動(dòng)平臺(tái)或起重機(jī)。注意，標(biāo)定板可相對(duì)于一個(gè)或多個(gè)固定式相機(jī)移動(dòng)，或者相機(jī)可相對(duì)于固定式標(biāo)定板移動(dòng)，如：當(dāng)相機(jī)安裝到提供運(yùn)動(dòng)的實(shí)際設(shè)備上時(shí)。促動(dòng)裝置的控制器利用數(shù)值(如姿態(tài))命令促動(dòng)裝置提供任何所需的運(yùn)動(dòng)，而這些數(shù)值則在移動(dòng)設(shè)備的本地坐標(biāo)空間(本申請(qǐng)中也稱作“運(yùn)動(dòng)坐標(biāo)空間”)中進(jìn)行解釋?，F(xiàn)參照?qǐng)D3，對(duì)一種整體標(biāo)定流程300進(jìn)行描述，該流程300通過利用操縱器在位置之間移動(dòng)運(yùn)行時(shí)工件，將兩個(gè)離散位置(如拾取和放置位置)的坐標(biāo)空間關(guān)聯(lián)起來。顯然，使用運(yùn)行時(shí)工件可避免使用標(biāo)定板所產(chǎn)生的相關(guān)缺點(diǎn)，并且允許用戶方便地使用相同的結(jié)構(gòu)，即可在運(yùn)行操作中使用操縱器搬運(yùn)。流程300從步驟310開始，即設(shè)置一個(gè)或多個(gè)相機(jī)，以拍攝/獲取第一位置和第二位置的圖像。相機(jī)拍攝每個(gè)位置上的運(yùn)行時(shí)工件的特征，其中，各位置上的工件特征可全部或部分相同，或者各位置上的特征均不相同。在步驟320中，將拍攝第一位置或第二位置上的特征的相機(jī)標(biāo)定在各自的標(biāo)定坐標(biāo)空間上。這包括通過運(yùn)動(dòng)平臺(tái)移動(dòng)標(biāo)定板進(jìn)行手眼標(biāo)定，并基于該運(yùn)動(dòng)建立坐標(biāo)空間，其中的運(yùn)動(dòng)是與運(yùn)動(dòng)平臺(tái)提供的運(yùn)動(dòng)信息相關(guān)的運(yùn)動(dòng)。或者，這還包括一個(gè)標(biāo)定流程，該流程可利用特殊標(biāo)定板(如棋盤格標(biāo)定板)的圖像完成，從而將位置上的所有相機(jī)與各自的坐標(biāo)空間關(guān)聯(lián)起來。在步驟330中，運(yùn)行時(shí)工件的圖像可通過一個(gè)或多個(gè)用于拍攝第一位置上的工件的相機(jī)獲得，并且該運(yùn)行時(shí)工件上的位置特征可在第一位置上進(jìn)行識(shí)別/提取。然后，將該識(shí)別/提取到的特征用于關(guān)聯(lián)工件與第一標(biāo)定坐標(biāo)空間(通常與步驟340中的第一位置相關(guān)聯(lián))。這些特征可以是工件上的任何可識(shí)別的視覺元素，尤其是那些可獨(dú)立地或組合地對(duì)工件的方向和位置進(jìn)行唯一定義的元素。因此，如果將邊緣和角用作識(shí)別特征，那么這些邊緣和角對(duì)于整個(gè)工件上的某些位置(如：工件一側(cè)上的凹槽)而言是唯一的。對(duì)于本領(lǐng)域技術(shù)人員而言，可利用各種視覺系統(tǒng)工具162(如：邊緣檢測(cè)器和斑點(diǎn)分析器等)(圖1)來完成特征的提取。

在步驟350中，操縱器夾持住運(yùn)行時(shí)工件(例如，在圖1中，向運(yùn)行時(shí)工件124施加吸盤125)，并將該工件移至第二位置。這種移動(dòng)應(yīng)至少發(fā)生一次(并且可參考下圖7，通過利用圖中所示的不同姿態(tài)進(jìn)行多次移動(dòng))。之后，在步驟360中，第二位置上的相機(jī)(第二位置上用于拍攝工件特征的相機(jī))獲得工件(在圖像坐標(biāo)空間中)的一張或多張圖像。與第一位置上拍攝到的特征相同或不同的特征被用于在第二位置上查找第二位置上的工件的位置。如果特征相同，那么兩個(gè)坐標(biāo)空間可直接關(guān)聯(lián)在一起。如果特征不同，那么工件規(guī)范，如CAD繪圖或測(cè)量重現(xiàn)/再現(xiàn)(例如，利用坐標(biāo)測(cè)量機(jī)CMM測(cè)量工件，并存儲(chǔ)尺寸)允許各個(gè)位置上的特征與視覺系統(tǒng)的標(biāo)定流程相對(duì)應(yīng)。之后，對(duì)應(yīng)的特征使各坐標(biāo)空間關(guān)聯(lián)在一起。注意，如果位置中的一個(gè)通過步驟320手眼標(biāo)定，那么計(jì)算得出的共同坐標(biāo)空間可與運(yùn)動(dòng)平臺(tái)的運(yùn)動(dòng)坐標(biāo)空間相同。

圖4和圖5中對(duì)兩種離散方法/流程400和500進(jìn)行了更加詳細(xì)的描述，其中的方法/流程用于根據(jù)圖3中的廣義流程將第一位置和第二位置的坐標(biāo)空間關(guān)聯(lián)在一起。在圖4中，流程400包括步驟410，其中，設(shè)置一個(gè)或多個(gè)相機(jī)，以拍攝兩個(gè)位置，兩個(gè)位置中的一個(gè)可包括一個(gè)運(yùn)動(dòng)平臺(tái)。如上所述，可通過一個(gè)設(shè)有運(yùn)動(dòng)平臺(tái)的用于拍攝位置圖像的相機(jī)選擇性地進(jìn)行手眼標(biāo)定，以建立標(biāo)定坐標(biāo)空間。更通俗地說，在步驟420和430中，可利用適合的標(biāo)定板對(duì)拍攝第一和第二位置的相機(jī)進(jìn)行標(biāo)定。在步驟440中，相機(jī)獲得工件在第一位置上的一張或多張圖像，并利用這些圖像featuresImage1(特征圖像1)通過適合的視覺系統(tǒng)工具(步驟450)在工件上進(jìn)行特征定位?？蓪⑦@些特征映射至第一位置的標(biāo)定坐標(biāo)空間，featuresCalibrated1＝Calibrated1FromImage1*featuresImage1(標(biāo)定特征1＝圖像1的標(biāo)定1*特征圖像1)。之后，操縱器抓取運(yùn)行時(shí)工件，并將其移動(dòng)至第二位置。其中，相機(jī)獲取運(yùn)行時(shí)對(duì)象的圖像(步驟460)。在該項(xiàng)技術(shù)中，相機(jī)對(duì)于與第二位置上的特征(featuresImage2，特征圖像2)相同的特征(featuresImage1，特征圖像1)同樣可見。因此，在步驟470中，第二位置上的相機(jī)對(duì)運(yùn)行時(shí)工件上的相同特征進(jìn)行定位，而流程400則基于第二位置上的標(biāo)定數(shù)據(jù)進(jìn)行位置映射(featuresCalibrated2＝Calibrated2FromImage2*featuresImage2，標(biāo)定特征2＝圖像2的標(biāo)定2*特征圖像2)。接著，在步驟480中，流程400計(jì)算將featuresCalibrated2(標(biāo)定特征2)映射至featuresCalibrated1(標(biāo)定特征1)的映射變換Calibrated1FromCalibrated2(來自標(biāo)定2的標(biāo)定1)(從步驟450開始)。該映射變換用于按照下列關(guān)系式將兩個(gè)位置的坐標(biāo)空間關(guān)聯(lián)在一起：

featuresCalibrated1＝Calibrated1FromCalibrated2*featuresCalibrated2

如果含有平臺(tái)的位置已選擇性地進(jìn)行了手眼標(biāo)定，那么可將映射變換Calibrated1FromCalibrated2與手眼標(biāo)定結(jié)果相結(jié)合使用，以便在運(yùn)行期間引導(dǎo)零件的裝配。

在圖5中，流程500包括步驟510，其中，設(shè)置一個(gè)或多個(gè)相機(jī)，以拍攝兩個(gè)位置的圖像，兩個(gè)位置中的一個(gè)可包括一個(gè)運(yùn)動(dòng)平臺(tái)。如上所述，可通過設(shè)有運(yùn)動(dòng)平臺(tái)的用于拍攝位置圖像的相機(jī)選擇性地進(jìn)行手眼標(biāo)定，以建立標(biāo)定坐標(biāo)空間。在步驟520和530中，可用適合的標(biāo)定板對(duì)第一和第二位置進(jìn)行標(biāo)定。在步驟540中，相機(jī)獲得第一位置上的工件的一張或多張圖像，并且可利用這些圖像featuresImage1通過適合的視覺系統(tǒng)工具對(duì)工件上的特征進(jìn)行定位。在步驟550中，可將這些特征映射至第一位置的標(biāo)定坐標(biāo)空間featuresCalibrated1。在步驟560中，流程500按照下列關(guān)系式計(jì)算將第一位置上的第一標(biāo)定坐標(biāo)空間中的工件特征featuresCalibrated1(從步驟550開始)映射至存儲(chǔ)的工件坐標(biāo)空間的映射變換WorkpieceFromCalibrated1：

featuresWorkpiece＝WorkpieceFromCalibrated1*featuresCalibrated1該工件坐標(biāo)空間基于工件的CAD模型(特征參數(shù)再現(xiàn))建立。或者，可通過物理測(cè)量工件來建立運(yùn)行時(shí)工件的坐標(biāo)空間規(guī)范，例如，利用普通技術(shù)人員可用的坐標(biāo)測(cè)量機(jī)(CMM)進(jìn)行物理測(cè)量。存儲(chǔ)參數(shù)，以供映射流程中使用。

之后，操縱器將運(yùn)行時(shí)工件夾持住，并將其移動(dòng)至第二位置。其中，相機(jī)獲取運(yùn)行時(shí)對(duì)象(步驟570)的圖像。在此項(xiàng)技術(shù)中，在第二位置上觀察到的一個(gè)或多個(gè)特征與在第一位置上觀察/拍攝到的特征不同。這可能會(huì)導(dǎo)致相機(jī)在二者位置上因障礙物和相機(jī)視場(chǎng)(FOV)等原因而無法觀察到相同的特征。在步驟580中，在第二位置上的相機(jī)將可見特征featVisIn2Image2定位到運(yùn)行時(shí)工件上，并基于第二位置的標(biāo)定數(shù)據(jù)進(jìn)行位置映射(featVisIn2Calibrated2＝Calibrated2FromImage2*featVisIn2Image2)。之后，在工件坐標(biāo)空間中找到相應(yīng)的點(diǎn)featVisIn2Workpiece。接著，在步驟590中，當(dāng)可見特征位于第一位置時(shí)，流程500利用步驟560中的逆變換WorkpieceFromCalibrated1計(jì)算第一標(biāo)定坐標(biāo)空間中的第二位置上的可見特征的位置：

featVisIn2Calibrated1＝Calibrated1FromWorkpiece*featVisIn2Workpiece在步驟592中，按照下列關(guān)系式，利用從第一位置計(jì)算得出的特征位置以及在第二位置上檢測(cè)到的相應(yīng)特征位置，將每個(gè)位置上的坐標(biāo)空間關(guān)聯(lián)在一起：

featVisIn2Calibrated1＝Calibrated1FromCalibrated2*featVisIn2Calibrated2

如果含有平臺(tái)的位置已選擇性地進(jìn)行了手眼標(biāo)定，那么可將映射變換Calibrated1FromCalibrated2與手眼標(biāo)定結(jié)果相結(jié)合使用，以便在運(yùn)行期間引導(dǎo)零件的裝配。

注意，在各個(gè)實(shí)施方案中，可以明確預(yù)見的是，在第一位置從圖像坐標(biāo)空間映射至標(biāo)定坐標(biāo)空間的映射是一個(gè)整體。該技術(shù)適用于多種配置，其中，第二位置被標(biāo)定，且第一位置的圖像特征被映射至第二位置的標(biāo)定坐標(biāo)空間(如圖3-5所示)。

圖6詳細(xì)介紹了根據(jù)另一設(shè)想技術(shù)的一種用于將兩個(gè)離散位置的坐標(biāo)空間關(guān)聯(lián)在一起的方法/流程600，其中，第一位置的相機(jī)和第二位置的相機(jī)二者均無需標(biāo)定。在該配置中，可以預(yù)見的是，每個(gè)位置均可分別進(jìn)行手眼標(biāo)定，二者位置均相對(duì)于運(yùn)動(dòng)平臺(tái)與相同的共同坐標(biāo)空間相關(guān)聯(lián)。在步驟610中，設(shè)置相機(jī)，以拍攝各位置的圖像。在步驟620中，手眼標(biāo)定含有平臺(tái)的位置(如，第一位置)。接著，在步驟630中，將運(yùn)行時(shí)工件放置于含有平臺(tái)的第一位置上。然后，在步驟640中，夾持運(yùn)行時(shí)工件，并將其移動(dòng)至第二位置，其中，通過相機(jī)獲取一張或多張圖像。在步驟650中，對(duì)工件上的特征進(jìn)行定位?；蛘?，如果工件的CAD或CMM規(guī)范可用，此類特征可與工件坐標(biāo)空間的CAD或CMM表達(dá)相對(duì)應(yīng)。將通過特征獲得的姿態(tài)存儲(chǔ)在Xl1中。在步驟660中，再次夾持工件，并將其移回第一位置/平臺(tái)位置。當(dāng)移動(dòng)平臺(tái)通過每次迭代(步驟680)建立新姿態(tài)時(shí)，重復(fù)步驟640、650和660，直至采集到足夠的數(shù)據(jù)并將其存儲(chǔ)在列表Xl1中。接著，在步驟690中，執(zhí)行流程600(通過決策步驟670)，利用從步驟650(列表Xl1)中累積獲得的數(shù)據(jù)手眼標(biāo)定第二位置上的相機(jī)。因此，在二者位置上的相機(jī)的標(biāo)定坐標(biāo)空間通過相對(duì)于運(yùn)動(dòng)平臺(tái)的公共坐標(biāo)空間關(guān)聯(lián)在一起。

可從運(yùn)行時(shí)工件上迭代提取特征來強(qiáng)化方法/流程400和500(圖4中的步驟450、470和圖5中的步驟550、580)。圖7中對(duì)該強(qiáng)化流程700進(jìn)行了概述。在步驟710中，獲取第一位置上的運(yùn)行時(shí)工件的一張或多張圖像，并提取/識(shí)別其特征。接著，在步驟720中，操縱器夾持并移動(dòng)工件，且提取/識(shí)別其特征(如上所述的相同或不同特征)。操縱器將工件迭代返回第一位置，每次操作均使姿態(tài)大致發(fā)生變化(步驟730)，或者傳送若干個(gè)姿態(tài)大致不同的復(fù)制工件。也就是說，可在同一系列的相同工件上或不同的工件上通過若干次迭代提取和累積特征來強(qiáng)化標(biāo)定的準(zhǔn)確性和魯棒性，其中，每個(gè)工件需在位置之間經(jīng)歷一個(gè)運(yùn)動(dòng)周期。在每次迭代期間，通過步驟710和720在第一位置和第二位置上提取圖像特征，直至獲得足夠的特征數(shù)據(jù)。該閾值可以以一定數(shù)量的迭代次數(shù)或其他度量標(biāo)準(zhǔn)為基礎(chǔ)。之后，在步驟750中，執(zhí)行流程700(通過決策步驟740)，其中，如上所述，將從若干姿態(tài)累積得到的特征數(shù)據(jù)用于關(guān)聯(lián)各位置上的坐標(biāo)空間。

顯然，上述技術(shù)利用運(yùn)行時(shí)工件將裝配過程中的兩個(gè)離散位置的坐標(biāo)空間關(guān)聯(lián)在一起，從而避免了因使用標(biāo)定板而導(dǎo)致的相關(guān)缺點(diǎn)。這些技術(shù)的方式靈活，其中，相機(jī)可相對(duì)于每個(gè)位置進(jìn)行設(shè)置。這些技術(shù)還允許通過迭代各個(gè)步驟(如，特征提取)來強(qiáng)化/改善準(zhǔn)確度。此外，這些技術(shù)還避免了上述現(xiàn)有技術(shù)中存在的缺點(diǎn)，現(xiàn)有技術(shù)依賴于已知的機(jī)械裝置或反復(fù)試驗(yàn)和誤差方法。

上文中已經(jīng)對(duì)本發(fā)明的說明性實(shí)施例進(jìn)行了詳細(xì)介紹。在不脫離本發(fā)明的精神和范圍的情況下，可對(duì)本發(fā)明做各種修改和增添。上述各實(shí)施例中的每一個(gè)實(shí)施例的特征均可酌情與其他實(shí)施例的特征相結(jié)合，以便為相關(guān)的新實(shí)施例提供多重性特征組合。此外，雖然上文中對(duì)本發(fā)明的裝置和方法的若干獨(dú)立實(shí)施例進(jìn)行描述，但是，本文中的描述僅用于對(duì)本發(fā)明的原理應(yīng)用進(jìn)行說明。舉例來說，本文中所用的術(shù)語(yǔ)“流程”和/或“處理器”應(yīng)從廣義上理解為包括基于各種電子硬件和/或軟件的功能和部件(或者也可稱為功能性“模塊”或“元件”)。此外，所描述的流程或處理器可與其他流程和/或處理器相結(jié)合或分為各種子流程或子處理器。此類子流程和/或子處理器可根據(jù)本文中的實(shí)施例進(jìn)行各種組合。同樣地，可以明確預(yù)見的是，本文的任何功能、流程和/或處理器可利用電子硬件、軟件(含程序指令的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì))或硬件和軟件組合執(zhí)行。此外，本文中所用的各種方向和方位術(shù)語(yǔ)，如“垂直”、“水平”、“上”、“下”、“底部”、“頂部”、“側(cè)面”、“前”、“后”、“左”、“右”等僅用作相對(duì)性用語(yǔ)，而非固定坐標(biāo)空間或坐標(biāo)系的絕對(duì)方位，如：重力作用方向。舉例來說，一個(gè)位置包括一個(gè)位置平臺(tái)，但是，可以預(yù)見的是，多個(gè)位置可包括多個(gè)平臺(tái)，例如，如果第一運(yùn)動(dòng)平臺(tái)沿一軸移動(dòng)工件，那么第二運(yùn)動(dòng)平臺(tái)將沿另一正交軸移動(dòng)工件(或第一平臺(tái)不提供旋轉(zhuǎn)操作)。因此，該描述僅作示例之用，而非旨在限制本發(fā)明的范圍。