專利名稱：用于裝配檢查的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明整體涉及用于檢查的系統(tǒng)和方法，更具體地，涉及用于裝配檢查的系統(tǒng)和 方法。
背景技術(shù)：
工業(yè)發(fā)動機(jī)和非高速路設(shè)備的生產(chǎn)通常涉及多種撓性系統(tǒng)，例如液壓軟管和電線 束的裝配。裝配故障可引起產(chǎn)品故障或效率低下。裝配故障可包括例如遺漏緊固件和軟 管；軟管或配線的引線不當(dāng)；軟管、配線或帶的摩擦；軟管或帶的尺寸錯誤等。為了確保系 統(tǒng)和零件正確裝配，需要在裝配過程中進(jìn)行產(chǎn)品檢查。裝配檢查通常由有經(jīng)驗的檢查員手 動進(jìn)行。在手檢過程中，檢查員通常將裝配的產(chǎn)品與設(shè)計圖進(jìn)行對比，當(dāng)兩者出現(xiàn)差別時檢 查出裝配故障。然而，手檢并不精確并且可能導(dǎo)致缺陷檢查過程的不確定。裝配的產(chǎn)品之間可能 看起來不同，因此，直接將其與設(shè)計圖進(jìn)行匹配可能在視覺檢查過程中引起失誤。例如，諸 如液壓軟管的撓性組件可能與設(shè)計圖中的撓性組件的定向或形狀不同。另外，手檢需要熟 練勞動力并且很耗時。因此，希望使機(jī)器裝配的檢查過程自動化。已經(jīng)發(fā)展出了利用數(shù)字圖像處理技術(shù)進(jìn)行裝配檢查的若干自動檢查系統(tǒng)。Sakai 等人的美國專利公開文獻(xiàn)No. 2005/0147287 (‘ 287公開文獻(xiàn))中公開了這樣的自動檢查系 統(tǒng)的一個例子。具體地，’ 287公開文獻(xiàn)公開了一種揭露檢查目標(biāo)缺陷的圖形缺陷檢查方 法和設(shè)備。該圖形缺陷檢查設(shè)備將兩個所形成的應(yīng)該相同的圖形的相應(yīng)區(qū)域的圖像進(jìn)行對 比，圖像之間如果出現(xiàn)任何不匹配則可以識別缺陷。特別地，可以同時對多個區(qū)域進(jìn)行圖像 對比過程。此外，該圖形缺陷檢查設(shè)備還在多個不同過程的每一個中對對比圖像的圖像信 號的灰度等級進(jìn)行轉(zhuǎn)化，從而可以適當(dāng)?shù)乇容^圖形相同但亮度不同的圖像。盡管'287公開文獻(xiàn)的方法和設(shè)備可減輕手動裝配檢查的一些問題，但它也存在 問題。首先，該過程仍然不精確。一個產(chǎn)品可包括多個組件。盡管每個組件正確裝配很重 要，但不同產(chǎn)品多個組件的相對位置可能不同。‘287公開文獻(xiàn)公開的檢查設(shè)備利用圖像 的整體圖形，而不是各個部件的圖像區(qū)域，并且依賴圖像之間的全局匹配。因此，可能錯誤 地檢查出缺陷，因為撓性組件和其他部件之間的相對位置可能不同于設(shè)計圖中所標(biāo)明的。 例如，‘287公開文獻(xiàn)中公開的電路布線可能是正確的，但撓性電線的相對位置或定向可 能與設(shè)計圖中的圖形不同。這種電路可能被'287公開文獻(xiàn)錯誤地確定為缺陷。另外，由 于沒有提取和識別圖像中的目標(biāo)，除了檢測出存在這種故障之外，‘287公開文獻(xiàn)可能無 助于鑒別具體部件的裝配故障并提供信息化診斷報告。本發(fā)明的系統(tǒng)和方法旨在克服上述的一個或多個局限。

發(fā)明內(nèi)容
在一個方面，本發(fā)明涉及一種用于裝配檢查的方法。該方法可包括獲得裝配產(chǎn)品 的數(shù)字圖像，從裝配產(chǎn)品的數(shù)字圖像提取一個或多個目標(biāo)的圖像，根據(jù)提取的圖像和標(biāo)準(zhǔn)部件庫將一個或多個目標(biāo)中的每一個辨認(rèn)為部件。該方法還包括識別每個所辨認(rèn)部件的一 個或多個特征；將一個或多個識別特征中的每一個與相應(yīng)標(biāo)準(zhǔn)部件的相應(yīng)標(biāo)準(zhǔn)特征進(jìn)行比 較，以及如果所述一個或多個識別特征中的至少一個與所述相應(yīng)標(biāo)準(zhǔn)特征不匹配，則確定
裝配故障。在另一方面，本發(fā)明涉及一種用于裝配檢查的系統(tǒng)。該系統(tǒng)可包括能夠獲得裝配 產(chǎn)品的數(shù)字圖像的成像裝置以及能夠存儲裝配檢查工具、標(biāo)準(zhǔn)部件庫以及每個標(biāo)準(zhǔn)部件的 一個或多個標(biāo)準(zhǔn)特征的存儲裝置。該系統(tǒng)還可包括處理器，該處理器能夠執(zhí)行裝配檢查工 具以從裝配產(chǎn)品的數(shù)字圖像提取一個或多個目標(biāo)的圖像，并基于提取的圖像和標(biāo)準(zhǔn)部件庫 將一個或多個目標(biāo)中的每一個辨認(rèn)為部件。處理器還能夠執(zhí)行裝配檢查工具以識別每個所 辨認(rèn)部件的一個或多個特征，將一個或多個識別特征中的每一個與相應(yīng)標(biāo)準(zhǔn)部件的相應(yīng)標(biāo) 準(zhǔn)特征進(jìn)行比較，并且如果一個或多個識別特征的至少一個與相應(yīng)標(biāo)準(zhǔn)特征不匹配，則確 定裝配故障。處理器還能夠執(zhí)行裝配檢查工具以對裝配故障進(jìn)行診斷并確定裝配故障的類 型和位置。


圖1是根據(jù)本發(fā)明的示例性實施方式的裝配檢查系統(tǒng)的示意圖；圖2是與圖1所示的公開實施方式一致的裝配檢查工具的示意圖；圖3是與圖1所示的公開實施方式一致的裝配檢查系統(tǒng)的示例性操作過程的流程 圖；圖4是與圖3所示的步驟33 —致的目標(biāo)提取模塊的示例性操作過程的流程圖；圖5是與圖3所示的步驟34 —致的目標(biāo)辨認(rèn)模塊的示例性操作過程的流程圖。
具體實施例方式圖1是根據(jù)本發(fā)明的一種示例性實施方式的裝配檢查系統(tǒng)10的示意圖。裝配檢 查系統(tǒng)10可包括成像裝置110、裝配檢查控制臺120以及連接成像裝置110和裝配檢查控 制臺120的傳送裝置130。裝配檢查系統(tǒng)10能夠以自動方式檢查裝配產(chǎn)品101并檢測裝配 故障。例如，裝配產(chǎn)品101可以是其中安裝有諸如液壓軟管和電線束等多個撓性系統(tǒng)的發(fā) 動機(jī)。然而，本領(lǐng)域技術(shù)人員可知裝配產(chǎn)品101可以是包括多種任何其他類型合適組件的 任何其他設(shè)備。成像裝置110可包括光學(xué)發(fā)射器111、光學(xué)檢測器112和轉(zhuǎn)換器113等。例如，成 像裝置110可以是數(shù)字照相機(jī)。光學(xué)發(fā)射器111可包括能夠施加第一光學(xué)信號用于照亮裝 配產(chǎn)品101的一個或多個光學(xué)發(fā)射裝置，例如發(fā)光二極管(LED)。根據(jù)一種公開實施方式， 光學(xué)發(fā)射器111能夠僅在圍繞裝配產(chǎn)品101的周圍光線不充足時操作，類似于數(shù)字照相機(jī) 的閃光。光學(xué)檢測器112可包括能夠接收含有裝配產(chǎn)品101的結(jié)構(gòu)信息的第二光學(xué)信號的 一個或多個光學(xué)接收裝置，例如光電二極管或電荷耦合器件(CCD)。根據(jù)一種公開實施方 式，光學(xué)發(fā)射器111和光學(xué)檢測器112可設(shè)置在裝配產(chǎn)品101的同一側(cè)，且第二光學(xué)信號可 以與裝配產(chǎn)品101反射的第一光學(xué)信號的反射信號相關(guān)。根據(jù)另一公開實施方式，光學(xué)發(fā) 射器111和光學(xué)檢測器112可設(shè)置在裝配產(chǎn)品101的相對側(cè)，且第二光學(xué)信號可以與被裝 配產(chǎn)品101衰減的第一光學(xué)信號的殘余相關(guān)。成像裝置110可進(jìn)一步包括能夠?qū)⒔邮盏墓鈱W(xué)信號轉(zhuǎn)換成數(shù)字圖像的轉(zhuǎn)換器113，其中，數(shù)字圖像的每個像素值均與每個像素處接收的 信號強(qiáng)度成比例。成像裝置110獲得的數(shù)字圖像可以經(jīng)傳送裝置130傳送至裝配檢查控制臺120。 根據(jù)一種公開實施方式，裝配檢查控制臺120可以定位在成像裝置110附近，傳送裝置130 可以是物理傳送裝置，例如電纜。根據(jù)另一公開實施方式，裝配檢查控制臺120可定位在距 成像裝置110 —定距離處，且傳送裝置130可以是無線傳送裝置，例如無線網(wǎng)絡(luò)。根據(jù)一種公開實施方式，成像裝置110可進(jìn)一步包括數(shù)據(jù)壓縮器(未示出)以壓 縮數(shù)字圖像，從而降低圖像傳送成本和/或減少圖像傳送時間。例如，壓縮的數(shù)字圖像可要 求傳送裝置130具有更小的帶寬。因此，被壓縮的圖像可經(jīng)傳送裝置130更有效地傳送。裝配檢查控制臺120可包括一個或多個計算機(jī)組件，其能夠基于從成像裝置110 接收的數(shù)字圖像檢測與裝配產(chǎn)品101相關(guān)的裝配故障。裝配檢查控制臺120可以與例如包 括裝配檢查工具200的一個或多個軟件應(yīng)用程序相關(guān)。裝配檢查工具200可運行在裝配檢 查控制臺120上并可由授權(quán)用戶訪問。裝配檢查工具200可以存儲在計算機(jī)可讀介質(zhì)，例 如硬盤驅(qū)動器、計算機(jī)盤、CD-ROM或任何其他合適的介質(zhì)上。裝配檢查控制臺120可包括處理器121、隨機(jī)存取存儲器(RAM) 122、只讀存儲器 (ROM) 123、存儲裝置124、數(shù)據(jù)庫125、顯示裝置126和輸入界面127?？梢栽O(shè)想，裝配檢查控 制臺120可包括比上面列明的更多、更少和/或不同的部件?？梢岳斫?，上面列舉的裝置的 類型和數(shù)量僅僅是示例性的，不應(yīng)當(dāng)是限制性的。處理器121可以是中央處理單元(CPU)。處理器121可執(zhí)行計算機(jī)程序指令序列 以進(jìn)行各種過程，下文中更加詳細(xì)地對其進(jìn)行解釋。計算機(jī)程序指令可以從ROM 123或任 何其他合適的存儲位置存取和讀取，并加載到RAM 122中，用以由處理器121執(zhí)行。根據(jù)使 用的裝配檢查控制臺120的類型，處理器121可包括一個或多個印刷電路板和/或微處理 器芯片。處理器121可進(jìn)一步包括能夠?qū)Τ上裱b置110壓縮的數(shù)字圖像進(jìn)行解壓縮的數(shù)據(jù) 解壓縮器(未示出)。存儲裝置124可包括適于存儲信息的任意類型的大容量存儲器。例如，存儲裝置 124可包括一個或多個硬盤裝置、光盤裝置或提供數(shù)據(jù)存儲空間的任何其他存儲裝置。在 本發(fā)明的一種實施方式中，數(shù)據(jù)庫125可存儲關(guān)于裝配檢查過程的數(shù)據(jù)，例如裝配產(chǎn)品101 的計算機(jī)輔助設(shè)計(CAD)圖、由CAD設(shè)計圖轉(zhuǎn)換的標(biāo)準(zhǔn)部件以及每個標(biāo)準(zhǔn)部件的標(biāo)準(zhǔn)特征。 數(shù)據(jù)庫125還可包括用于分析和組織所含信息的分析和組織工具。裝配檢查控制臺120可由用戶利用輸入界面127訪問和控制。裝配檢查控制臺 120還可借助顯示裝置126向用戶提供直觀信息。例如，顯示裝置126可包括計算機(jī)屏(未 示出)并向用戶提供圖形用戶界面(GUI)。顯示裝置126還可向用戶顯示表示裝配故障類 型和位置的檢查報告。可向用戶提供輸入界面127，以向裝配檢查控制臺120輸入信息，輸 入界面127可以包括例如鍵盤、鼠標(biāo)和/或光學(xué)或無線計算機(jī)輸入裝置(未示出)。用戶可 借助輸入界面127輸入控制指令并控制成像裝置110的操作。用戶還可輸入?yún)?shù)來調(diào)節(jié)裝 配檢查控制臺120的操作。裝配檢查控制臺120能夠執(zhí)行裝配檢查工具200。裝配檢查工具200可包括一個 或多個模塊。圖2是與圖1所示的公開實施方式一致的裝配檢查工具的示意圖。如圖2所示，裝配檢查工具200可包括CAD轉(zhuǎn)換模塊210、目標(biāo)提取模塊220、目標(biāo)辨認(rèn)模塊230和故障檢測模塊240。CAD轉(zhuǎn)換模塊210可從數(shù)據(jù)庫215接收裝配產(chǎn)品101 的CAD設(shè)計圖。CAD轉(zhuǎn)換模塊210能夠?qū)⒃撛O(shè)計圖轉(zhuǎn)換成標(biāo)準(zhǔn)部件庫。CAD轉(zhuǎn)換模塊210 能夠進(jìn)一步識別每個標(biāo)準(zhǔn)部件的一個或多個標(biāo)準(zhǔn)特征。標(biāo)準(zhǔn)部件及其相應(yīng)的標(biāo)準(zhǔn)特征庫可 以由CAD轉(zhuǎn)換模塊210輸出并存儲在數(shù)據(jù)庫215中。目標(biāo)提取模塊220可接收成像裝置110獲得的裝配產(chǎn)品101的數(shù)字圖像，作為輸 入。目標(biāo)提取模塊220能夠從數(shù)字圖像提取一個或多個目標(biāo)的圖像。根據(jù)與本發(fā)明一致的 一種實施方式，目標(biāo)提取模塊220能夠首先提取一個或多個剛性目標(biāo)，例如緊固件的圖像。 剛性目標(biāo)的位置可以基于CAD設(shè)計圖很好地預(yù)測。目標(biāo)提取模塊220能夠進(jìn)一步基于一個 或多個剛性目標(biāo)的提取圖像形成一個或多個撓性目標(biāo)，例如連接到緊固件的軟管的圖像。 例如，軟管的圖像可以形成在兩個連接緊固件之間。與CAD設(shè)計圖中的相比，撓性目標(biāo)通常 以不同的定向或形狀出現(xiàn)。目標(biāo)提取模塊220還能夠進(jìn)一步提取一個或多個撓性目標(biāo)的圖 像。這些提取的圖像可由目標(biāo)提取模塊220輸出，并且可由目標(biāo)辨認(rèn)模塊230接收作為輸 入。目標(biāo)辨認(rèn)模塊230能夠基于其提取的圖像和標(biāo)準(zhǔn)部件庫辨認(rèn)每個目標(biāo)。目標(biāo)辨認(rèn)模塊 230還能夠進(jìn)一步識別每個辨認(rèn)部件的一個或多個特征。識別的辨認(rèn)部件的特征可以由目標(biāo)辨認(rèn)模塊230輸出并由故障檢測模塊240接收 作為輸入。故障檢測模塊240能夠?qū)⑦@些特征與存儲在數(shù)據(jù)庫215中的相應(yīng)標(biāo)準(zhǔn)部件的相 應(yīng)標(biāo)準(zhǔn)特征進(jìn)行比較，如果這些特征的至少一個與相應(yīng)的標(biāo)準(zhǔn)特征不匹配，就識別出裝配 故障。故障檢測模塊240能夠進(jìn)一步診斷裝配故障并確定故障的類型和位置。故障檢測模 塊240能夠生成輸出250。例如，輸出250可以是包括檢測的故障及其類型和位置的檢查報 告。輸出250可進(jìn)一步包括新路線或連接的建議，以清除故障。裝配檢查工具200能夠?qū)?輸出250發(fā)送到顯示裝置126，用于顯示。圖3是與圖1所示的公開實施方式一致的裝配檢查系統(tǒng)10的一種示例性操作過 程30的流程圖。裝配檢查工具200能夠?qū)⒀b配產(chǎn)品101的CAD設(shè)計圖轉(zhuǎn)換成標(biāo)準(zhǔn)部件庫 (步驟31)?；诿總€轉(zhuǎn)換的標(biāo)準(zhǔn)部件，識別一個或多個標(biāo)準(zhǔn)特征(步驟32)。例如，可以從 裝配發(fā)動機(jī)的CAD設(shè)計圖轉(zhuǎn)換標(biāo)準(zhǔn)軟管部件和標(biāo)準(zhǔn)緊固件部件。針對標(biāo)準(zhǔn)軟管部件可識別 尺寸、顏色和定向特征，針對標(biāo)準(zhǔn)緊固件部件可識別長度和形狀特征。裝配檢查工具200能夠利用圖像處理技術(shù)提取目標(biāo)的圖像(步驟33)。目標(biāo)的提 取可基于目標(biāo)的輪廓和/或目標(biāo)的亮度分割。步驟33可包括提取剛性目標(biāo)和撓性目標(biāo)，其 中，撓性目標(biāo)可基于剛性目標(biāo)形成。圖4中更加詳細(xì)地描述了步驟33的目標(biāo)提取過程。步 驟33中提取的目標(biāo)可以被辨認(rèn)為與圖像具有最高關(guān)聯(lián)性的部件(步驟34)。例如，提取的 圖像可以與從CAD設(shè)計圖轉(zhuǎn)換的每個標(biāo)準(zhǔn)部件進(jìn)行比較并確定它們之間的關(guān)聯(lián)性。提取的 目標(biāo)可以標(biāo)記為與目標(biāo)具有最高關(guān)聯(lián)性的部件。例如，提取的目標(biāo)可以被辨認(rèn)為軟管。圖 5中更加詳細(xì)地描述步驟34的目標(biāo)辨認(rèn)過程。針對步驟34中辨認(rèn)出的每個部件，裝配檢查工具200能夠基于其提取的圖像識別 該部件的一個或多個特征(步驟35)。特征的例子可以包括顏色、形狀、尺寸和定向。然后， 裝配檢查工具200能夠?qū)⑦@些識別的特征與相應(yīng)標(biāo)準(zhǔn)部件的相應(yīng)標(biāo)準(zhǔn)特征進(jìn)行比較(步驟 36)并判斷識別的特征是否與相應(yīng)的標(biāo)準(zhǔn)特征匹配(步驟37)。如果這些識別特征的至少一個與相應(yīng)的標(biāo)準(zhǔn)特征不匹配(步驟37 否)，則裝配檢 查工具200能夠診斷故障(步驟381)?；诿總€識別特征及其相應(yīng)標(biāo)準(zhǔn)特征之間的差別，可判斷故障的類型。例如，如果軟管目標(biāo)的識別定向與標(biāo)準(zhǔn)軟管部件的標(biāo)準(zhǔn)定向不匹配，但 所有其他識別特征基本與相應(yīng)的標(biāo)準(zhǔn)特征匹配，則可判斷發(fā)生了引線錯誤故障。裝配故障 的其他例子包括遺漏部件、兩個部件摩擦、部件尺寸錯誤等。故障的位置也可以基于數(shù)字圖 像中辨認(rèn)的部件的相對位置確定。根據(jù)一種公開實施方式，可生成包括檢測的故障及其類 型和位置的檢查報告。故障可以顯示在顯示裝置126上(步驟382)。故障顯示可進(jìn)一步包 括顯示新路線或連接以清除故障的建議。如果所有識別的特征都與相應(yīng)的標(biāo)準(zhǔn)特征匹配(步驟37 是)或者已經(jīng)診斷和顯 示了故障(步驟382)，則可進(jìn)行過程40以判斷是否已經(jīng)檢查了數(shù)字圖像中包含的所有部 件(步驟39)。如果尚有至少一個未檢查部件(步驟39 否)，則裝配檢查工具200可提取 下一個目標(biāo)的圖像并重復(fù)步驟33-39。如果圖像中包含的全部部件都已進(jìn)行了檢查(步驟 39:是)，則結(jié)束過程40。圖4是與圖3所示的步驟33 —致的目標(biāo)提取模塊220的一種示例性操作過程的 流程圖。該過程可包括剛性目標(biāo)提取階段41和撓性目標(biāo)提取階段42。當(dāng)剛性目標(biāo)提取階 段41開始時，目標(biāo)提取模塊220可在裝配產(chǎn)品101的數(shù)字圖像上應(yīng)用邊緣檢測程序，以確 定每個目標(biāo)的輪廓(步驟411)。目標(biāo)的邊緣可以與發(fā)生明顯亮度改變的位置相關(guān)。例如， 可應(yīng)用Canny邊緣檢測算法，在顏色改變顯著的位置可發(fā)現(xiàn)目標(biāo)的輪廓。另外，目標(biāo)提取模 塊220還能夠借助變換算法，例如Hough變換檢測與每個目標(biāo)相關(guān)的線條(步驟412)。同時，目標(biāo)提取模塊220能夠?qū)?shù)字圖像分割成多個圖像區(qū)域(步驟413)。圖像 分割可以與步驟411的邊緣檢測和步驟412的線條檢測并行進(jìn)行。圖像分割可基于數(shù)字 圖像的亮度映射。例如，具有均質(zhì)顏色的亮度區(qū)域可被分割成一個目標(biāo)圖像。圖像分割可 包括降噪步驟，例如使用均值位移方法(mean shift method)來降低高頻噪聲并使圖像平 滑。圖像分割可進(jìn)一步包括直方圖變換和分離步驟。可以計算數(shù)字圖像的直方圖(即，亮 度圖)，且該直方圖通?？删哂卸鄠€分離峰值?？苫诙鄠€分離峰值確定亮度閾值，且可基 于確定的閾值分割數(shù)字圖像。然后，目標(biāo)提取模塊220能夠合并邊緣檢測(步驟411)、線條檢測(步驟412)和 圖像分割(步驟413)的結(jié)果，并針對每個剛性目標(biāo)獲得提取圖像(步驟414)?？梢詫υ搱D 像進(jìn)行濾波以提高圖像的信噪比(步驟415)。在剛性目標(biāo)提取階段41，目標(biāo)提取模塊220 能夠重復(fù)步驟411-415，直到從數(shù)字圖像提取了所有剛性目標(biāo)的圖像，之后可以開始撓性目 標(biāo)提取階段。在撓性目標(biāo)提取階段42，目標(biāo)提取模塊220能夠識別例如連接緊固件的剛性連接 目標(biāo)(步驟421)。目標(biāo)提取模塊220能夠進(jìn)一步形成連接在每兩個剛性連接目標(biāo)之間的撓 性目標(biāo)，例如連接在兩個連接緊固件之間的軟管(步驟422)?？梢允褂镁垲愃惴?、區(qū)域增長 算法、濾波算法或者這些算法的任意組合來形成撓性目標(biāo)。例如，可以從一個剛性目標(biāo)的邊 界開始形成撓性目標(biāo)，并且，如果圖像像素的亮度處于預(yù)先限定的范圍內(nèi)，則鄰近增長前沿 的該像素可識別為撓性目標(biāo)的一部分。替代地，在一些情形下，剛性連接部件中的一個可能沒有顯示在數(shù)字圖像中，且因 此撓性組件看起來可能與剛性終端部件連接。目標(biāo)提取模塊220能夠識別例如終端緊固件 的剛性終端目標(biāo)(步驟423)，并形成與每個剛性終端目標(biāo)連接的撓性目標(biāo)，例如與終端緊 固件連接的軟管(步驟424)。
然后，目標(biāo)提取模塊220能夠提取步驟422和424中形成的撓性目標(biāo)的圖像(步 驟425)。可以對這些圖像進(jìn)行濾波以提高圖像的信噪比或者排除不屬于撓性目標(biāo)的圖像區(qū) 域(步驟426)。在撓性目標(biāo)提取階段41，目標(biāo)提取模塊220能夠重復(fù)步驟421-426，直到從 數(shù)字圖像提取了所有的撓性目標(biāo)的圖像。圖5是與圖3的步驟34 —致的目標(biāo)辨認(rèn)模塊230的示例性操作過程的流程圖。目 標(biāo)辨認(rèn)模塊230能夠接收步驟33中獲得的每個提取目標(biāo)的圖像?？墒紫葘D像應(yīng)用消噪 過程以去除噪點(步驟341)。在目標(biāo)辨認(rèn)過程中，目標(biāo)辨認(rèn)模塊230能夠與數(shù)據(jù)庫215通 信以便每次獲得一個標(biāo)準(zhǔn)部件，并將提取的目標(biāo)與該標(biāo)準(zhǔn)部件進(jìn)行比較。如圖3所示，可以進(jìn)行提取目標(biāo)圖像和標(biāo)準(zhǔn)部件之間的邊界擬合(步驟342)，并可 確定兩者之間的平行度(步驟343)。相應(yīng)地，可以確定表示擬合率的邊界擬合系數(shù)和表示 平行率的平行度因子。因此，還可以比較兩個圖像的顏色和兩個目標(biāo)的形狀(步驟344和 步驟345)，確定它們各自的相似率?；诓襟E342-345，可以計算提取目標(biāo)和標(biāo)準(zhǔn)部件之間的關(guān)聯(lián)性(步驟346)。例 如，該關(guān)聯(lián)性可以確定為邊界擬合系數(shù)、平行度因子、顏色相似率和形狀相似率的加權(quán)平 均。通常，高關(guān)聯(lián)性與提取目標(biāo)和標(biāo)準(zhǔn)部件之間較高的相似性對應(yīng)。確定了與數(shù)據(jù)庫215 中的所有標(biāo)準(zhǔn)部件對應(yīng)的關(guān)聯(lián)性后，可以找出最高關(guān)聯(lián)性(步驟347)。提取的目標(biāo)可以被 標(biāo)記為與最高關(guān)聯(lián)性對應(yīng)的標(biāo)準(zhǔn)部件類型的部件(步驟348)。工業(yè)實用性本發(fā)明的系統(tǒng)和方法可以在涉及撓性組件的裝配檢查過程的企業(yè)機(jī)構(gòu)得以應(yīng)用。 裝配檢查系統(tǒng)10可包括成像裝置110和具有裝配檢查工具200的裝配檢查控制臺120。成 像裝置110可獲得裝配產(chǎn)品的數(shù)字圖像。裝配檢查工具200可根據(jù)數(shù)字圖像和該裝配產(chǎn)品 的CAD設(shè)計圖檢查裝配故障。例如，可以對裝配產(chǎn)品101進(jìn)行檢查。裝配產(chǎn)品101可以是具有液壓系統(tǒng)的發(fā)動 機(jī)。裝配產(chǎn)品101的數(shù)字圖像可由成像裝置110獲得，且該數(shù)字圖像可借助傳送裝置130傳 送至裝配檢查控制臺120。存儲于裝配檢查控制臺120上的裝配檢查工具200可包括CAD 轉(zhuǎn)換模塊210，其能夠?qū)⒀b配產(chǎn)品101的CAD設(shè)計圖轉(zhuǎn)換成包括例如多個軟管和緊固件的 標(biāo)準(zhǔn)部件庫。CAD轉(zhuǎn)換模塊210能夠進(jìn)一步識別這些標(biāo)準(zhǔn)部件的一個或多個標(biāo)準(zhǔn)特征，例 如顏色、形狀、尺寸和定向。裝配檢查工具200可進(jìn)一步包括能夠從成像裝置110獲得的數(shù) 字圖像提取一個或多個目標(biāo)的目標(biāo)提取模塊220和能夠?qū)⑻崛〉哪繕?biāo)辨認(rèn)為例如軟管的 部件的目標(biāo)辨認(rèn)模塊230。特別地，目標(biāo)提取模塊220能夠提取剛性目標(biāo)和撓性目標(biāo)，其中 撓性目標(biāo)可以基于剛性目標(biāo)形成。目標(biāo)辨認(rèn)模塊230能夠進(jìn)一步識別每個辨認(rèn)目標(biāo)的一個 或多個特征。裝配檢查工具200還可包括故障檢測模塊240。如果所辨認(rèn)目標(biāo)的至少一個 識別特征與相應(yīng)標(biāo)準(zhǔn)部件的相應(yīng)標(biāo)準(zhǔn)特征并不匹配，則故障檢測模塊240可檢測出裝配故 障。故障檢測模塊240可進(jìn)一步確定裝配故障的類型和位置。盡管結(jié)合裝配檢查過程對本發(fā)明的實施方式進(jìn)行了描述，但本發(fā)明的檢查工具和 檢查方法可用于各種檢查過程。本發(fā)明的檢查工具可高效且有效地檢測產(chǎn)品中的缺陷并確 保該產(chǎn)品基本符合其設(shè)計圖。例如，本發(fā)明的檢查過程具有提高的精度，因為為了故障檢 測，可以從圖像提取目標(biāo)并將其辨認(rèn)為特定的部件，然后將其特征與標(biāo)準(zhǔn)部件的特征進(jìn)行 比較。特別是，可從由剛性部件之間/由剛性部件形成的數(shù)字圖像精確地提取撓性組件的
9圖像，且可識別撓性組件的特征以用于診斷。因此，撓性組件和其他部件之間的相對位置不 會影響檢查結(jié)果。另外，與'287公開文獻(xiàn)中公開的僅在出現(xiàn)圖形不匹配時才檢測存在裝 配故障的自動檢查系統(tǒng)不同，本發(fā)明的檢查系統(tǒng)和方法能夠識別含有裝配故障的具體部件 并進(jìn)一步識別該故障的類型和位置。 本領(lǐng)域技術(shù)人員可以認(rèn)識到，可以對本發(fā)明的系統(tǒng)和方法進(jìn)行多種修改和變型， 而不脫離本發(fā)明的范圍。另外，本領(lǐng)域技術(shù)人員通過考慮說明書可以認(rèn)識到本發(fā)明的系統(tǒng) 和方法的其他實施方式。說明書和實施例僅應(yīng)當(dāng)被認(rèn)為是示例性的，本發(fā)明的真正范圍由 權(quán)力要求及其等同范圍指明。
權(quán)利要求
一種用于裝配檢查的方法，該方法包括獲得裝配產(chǎn)品(101)的數(shù)字圖像；從所述裝配產(chǎn)品的數(shù)字圖像提取一個或多個目標(biāo)的圖像；根據(jù)提取的圖像和標(biāo)準(zhǔn)部件庫將所述一個或多個目標(biāo)中的每一個辨認(rèn)為部件；識別每個所辨認(rèn)部件的一個或多個特征；將一個或多個識別特征中的每一個與相應(yīng)標(biāo)準(zhǔn)部件的相應(yīng)標(biāo)準(zhǔn)特征進(jìn)行比較；以及如果所述一個或多個識別特征中的至少一個與所述相應(yīng)標(biāo)準(zhǔn)特征不匹配，則確定裝配故障。
2.如權(quán)利要求1所述的方法，其中，提取一個或多個目標(biāo)的圖像包括 提取一個或多個剛性目標(biāo)的圖像；基于提取的一個或多個剛性目標(biāo)形成一個或多個撓性目標(biāo)的圖像；和 提取一個或多個撓性目標(biāo)的圖像。
3.如權(quán)利要求2所述的方法，其中，形成一個或多個撓性目標(biāo)的圖像包括形成兩個剛 性連接目標(biāo)之間的撓性目標(biāo)的圖像。
4.如權(quán)利要求1所述的方法，其中，所述標(biāo)準(zhǔn)部件庫通過如下方式生成 將所述裝配產(chǎn)品的設(shè)計圖轉(zhuǎn)換成標(biāo)準(zhǔn)部件庫；和識別針對每一個標(biāo)準(zhǔn)部件的一個或多個標(biāo)準(zhǔn)特征。
5.如權(quán)利要求1所述的方法，其中，確定裝配故障還包括 診斷所述裝配故障；和確定所述裝配故障的類型和位置。
6.如權(quán)利要求1所述的方法，其中，辨認(rèn)一個或多個目標(biāo)的每一個包括 在提取的圖像和所述標(biāo)準(zhǔn)部件庫中的每個標(biāo)準(zhǔn)部件之間進(jìn)行邊界擬合對比； 基于所述邊界擬合對比的結(jié)果進(jìn)行平行度判斷；計算提取的圖像和每個標(biāo)準(zhǔn)部件之間的關(guān)聯(lián)性；和 將提取的圖像標(biāo)記為對應(yīng)于最高關(guān)聯(lián)性的標(biāo)準(zhǔn)部件類型的部件。
7.如權(quán)利要求6所述的方法，其中，所述關(guān)聯(lián)性基于由提取的圖像限定的部件的顏色 和形狀中的至少一種確定。
8.一種用于裝配檢查的系統(tǒng)，包括成像裝置(110)，其能夠獲得裝配產(chǎn)品(101)的數(shù)字圖像；存儲裝置(124)，其能夠存儲裝配檢查工具(200)、標(biāo)準(zhǔn)部件庫以及每個標(biāo)準(zhǔn)部件的一 個或多個標(biāo)準(zhǔn)特征；和處理器(121)，其能夠執(zhí)行所述裝配檢查工具以從所述裝配產(chǎn)品的所述數(shù)字圖像提取一個或多個目標(biāo)的圖像；基于提取的圖像和標(biāo)準(zhǔn)部件庫將每個目標(biāo)辨認(rèn)為部件；識別每個辨認(rèn)部件的一個或多個特征；將每個識別特征與相應(yīng)標(biāo)準(zhǔn)部件的相應(yīng)標(biāo)準(zhǔn)特征進(jìn)行比較；如果一個或多個識別特征中的任何一個與所述相應(yīng)標(biāo)準(zhǔn)特征不匹配，則確定裝配故障；對所述裝配故障進(jìn)行診斷；以及確定所述裝配故障的類型和位置。
9.如權(quán)利要求8所述的系統(tǒng)，其中，所述成像裝置包括光學(xué)發(fā)射器(111)，其能夠施加第一光學(xué)信號用以照亮所述裝配產(chǎn)品； 光學(xué)檢測器(112)，其能夠接收含有所述裝配產(chǎn)品的結(jié)構(gòu)信息的第二光學(xué)信號；和 轉(zhuǎn)換器(113)，其能夠?qū)⑺龅诙鈱W(xué)信號轉(zhuǎn)換成數(shù)字圖像，其中，所述數(shù)字圖像的每 個像素值均與每個像素處接收的信號強(qiáng)度成比例。
10.如權(quán)利要求8所述的系統(tǒng)，還包括顯示裝置(126)，其能夠顯示檢查報告，所述檢查 報告包括所述裝配故障的類型和位置。
全文摘要
本發(fā)明公開用于裝配檢查的系統(tǒng)和方法。該方法可包括獲得裝配產(chǎn)品(101)的數(shù)字圖像，從裝配產(chǎn)品的數(shù)字圖像提取一個或多個目標(biāo)的圖像，根據(jù)提取的圖像和標(biāo)準(zhǔn)部件庫將一個或多個目標(biāo)中的每一個辨認(rèn)為部件。該方法還包括識別每個所辨認(rèn)部件的一個或多個特征；將一個或多個識別特征中的每一個與相應(yīng)標(biāo)準(zhǔn)部件的相應(yīng)標(biāo)準(zhǔn)特征進(jìn)行比較，以及如果所述一個或多個識別特征中的至少一個與所述相應(yīng)標(biāo)準(zhǔn)特征不匹配，則確定裝配故障。
文檔編號G06T1/20GK101960484SQ200980106784
公開日2011年1月26日 申請日期2009年1月27日 優(yōu)先權(quán)日2008年1月31日
發(fā)明者B·R·克拉克, J·E·諾林 申請人:卡特彼勒公司