用于被檢查對象的表面的檢查的方法和裝置制造方法
【專利摘要】本發(fā)明涉及一種用于檢查被檢查對象(2)的表面(3)的方法和裝置，其中，通過至少一個照射單元(8)照射所述表面(3)，并且通過至少一個面型圖像傳感器(6)記錄所述表面(3)，其中，記錄的圖像被進給至圖像分析裝置(11)，所述圖像分析裝置(11)被設(shè)計為在檢測處理中檢測作為缺陷區(qū)的表面異常，并且可選地在分割工藝中相對于彼此或者相對于圖像背景定界所述缺陷區(qū)，以在區(qū)域分析處理中組合關(guān)聯(lián)的缺陷區(qū)，和/或在特征提取中從缺陷面或者缺陷區(qū)域?qū)С鎏匦匀毕?，其中，將所述面型圖像傳感器(6)三維地標定到選擇的坐標系統(tǒng)(5)上，并且相對于所述面型圖像傳感器(6)移動具有所述表面(3)的所述被檢查對象(2)。通過三維地標定到選擇的坐標系統(tǒng)(5)的投影裝置(8)，將圖形(10)投影到所述表面(3)的區(qū)域上，通過面型圖像傳感器(6)記錄所述區(qū)域，并且在選擇的坐標系統(tǒng)中確定所述投影圖形(10)在所述對象(2)的所述表面(3)上的限定的圖形部分的位置。
【專利說明】用于被檢查對象的表面的檢查的方法和裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用于被檢查對象的表面的檢查方法和裝置，其中表面被通過照射單元照射，并且至少被一個面型圖像傳感器所捕獲。面型圖像傳感器特別為也被稱為矩陣相機的面掃描傳感器，其中，圖像細節(jié)與面掃描相機的一個像素相關(guān)聯(lián)，其中，捕獲的照片的一個像素呈現(xiàn)作為獲得的圖像細節(jié)的特性的值。該值特別為強度值，其中，可以單色方式(例如，作為灰度值圖像、紅外圖像或者單色圖像)以及以多色方式(彩色圖片)來捕獲照片。通過與矩陣相機或者面型圖像傳感器的相應(yīng)像素相關(guān)聯(lián)的顏色傳感器(例如，紅、綠，藍、紅外和/或類似的波長選擇顏色傳感器)的強度值來限定顏色。根據(jù)本發(fā)明，面型圖像傳感器或者矩陣相機優(yōu)選不是僅具有一個圖像線的線掃描相機，即，在一行中彼此鄰近的若干像素形成一個圖像線。


【發(fā)明內(nèi)容】

[0002]在提出的檢查方法中，俘獲的圖像被發(fā)送至圖像分析單元，所述分析單元被配置為以在檢測中特別地通過圖像評估程序?qū)⒈砻娈惓４_定為缺陷區(qū)。為此，所述圖像評估程序包括用于評估單個像素或者像素區(qū)，例如被分配到單個像素的顏色傳感器的強度值，的合適算法。對于單色圖像，顏色傳感器為一個傳感器，對于彩色圖像，顏色傳感器為若干傳感器。按需要，在所述圖像分析單元中，所述缺陷區(qū)也可被特別地通過圖像細節(jié)評估程序而相對于彼此或者相對圖像背景以分割(segmentat1n)的形式定界，在區(qū)域分析中屬于一起的缺陷區(qū)被特別地通過圖像評估程序而總結(jié)，和/或在特征提取中特別地通過圖像評估程序而從缺陷區(qū)或者缺陷區(qū)域?qū)С鎏匦匀毕萏卣?，其然后作為或被用于隨后的缺陷分類。
[0003]通過本發(fā)明，面型圖像傳感器被三維地標定到選擇的坐標系統(tǒng)上。“三維地標定”意味著布置，即，所述面型圖像傳感器的位置和取向以及例如相機型號的其成像性質(zhì)，是已知的，以便通過利用在所述選擇的坐標系統(tǒng)和/或在另一坐標系統(tǒng)中已知的合適的特征(所述特征被映射在獲得的照片中)，能確定這些特征和/或所獲得的被檢查或者要被檢查的對象的位置。例如，這些特征為在對象坐標系統(tǒng)中已知的對象的特性特征。這樣的圖像評估方法通常是已知的，并且從而不需要在這里詳細描述。
[0004]當實施根據(jù)本發(fā)明所提出的方法時，相對于優(yōu)選的靜止面型圖像傳感器在所述選擇的坐標系統(tǒng)中移動被檢查或者要被檢查的所述對象的表面。所選的坐標系統(tǒng)例如為環(huán)境的世界坐標系統(tǒng)。
[0005]本發(fā)明從而涉及用于對象的形態(tài)性質(zhì)和反射性質(zhì)的高分辨率、全面且非接觸捕獲的方法，連同用于在材料制造或者材料處理工業(yè)中針對中面積或大面積表面的檢查的數(shù)據(jù)融合和數(shù)據(jù)分析的方法。這樣的系統(tǒng)允許表面的反射性質(zhì)的實時捕獲，并且可以被用作用于表面質(zhì)量檢查以及用于工藝分析和工藝控制的表面檢查系統(tǒng)。
[0006]用于中面積或者大面積表面的非接觸式檢查的已知系統(tǒng)被限制為所述表面的反射性質(zhì)的感官捕獲，并且出于此目的，使用圖像傳感器而利用表面的二維掃描，例如使用具有將待捕獲的圖像區(qū)映射到CCD元件上的成像光學部件(optics)的CCD元件。這些圖像傳感器也被稱為相機。
[0007]在表面的二維圖像的輔助下，測量反射特性，二維圖像被具有單色或者多色(彩色的)照射的黑白或者彩色相機捕獲并且，根據(jù)需要，使用合適的光濾波器。使用的相機可為面掃描或者線掃描相機以及恰當?shù)恼丈鋯卧Ｋ稣丈浜鸵暯且约八褂玫恼丈洳ㄩL(單色或者多色)被適應(yīng)為適合相應(yīng)的檢查任務(wù)。使用的圖像傳感器供應(yīng)單或多通道圖像的連續(xù)數(shù)據(jù)流，其中，圖像信息(特別地，用于一個或者不同波長的強度值)能夠作為用于所述面掃描相機的每個像素或者每個像素區(qū)的單或者多通道信息。
[0008]為了定位、評估或者分類表面缺陷，捕獲的圖像(灰度圖像或者彩色圖像)經(jīng)受自動圖像分析，在此期間圖像分析算法初始發(fā)現(xiàn)表面異常(檢測)，相對于彼此及和所述背景定界缺陷區(qū)域(分割)并且，按要求，總結(jié)屬于一起的缺陷區(qū)(區(qū)域分析)。為了將識別的表面異常分類并且評估到應(yīng)用和特定表面缺陷種類中，從缺陷區(qū)域內(nèi)的圖像函數(shù)導(dǎo)出特性圖像特征(特征提取)。然后，在分類處理中，每個發(fā)現(xiàn)的顯現(xiàn)性(conspicuity)被分配有缺陷類別以及，取決于相應(yīng)的應(yīng)用，嚴重性的度。未被評估為表面缺陷的顯現(xiàn)性，被分類為所謂的“偽缺陷”。
[0009]然而，要被檢查的所述表面的二維圖像的信息內(nèi)容(用于表面檢查的已知系統(tǒng)所獲得的)是受限的。特定表面特性根本不適合于測量反射性質(zhì)。同樣地，強度或者顏色信息，甚至對于最佳的傳感器結(jié)構(gòu)和對于最佳的數(shù)據(jù)評估，也未供應(yīng)用于有缺陷和無缺陷的表面結(jié)構(gòu)之間的可靠分離的足夠證據(jù)。例如，對于諸如坯(slab)表面的極度重結(jié)構(gòu)化表面，由于通常不加鑒別的材料結(jié)構(gòu)在顏色或者強度圖像中顯示為全體顯現(xiàn)性，大量的偽缺陷被頻繁獨立于檢查工藝本身而觀察到，這些偽缺陷被探測為表面異常從而作為缺陷區(qū)域。
[0010]因此，用已知的檢查工藝，當實際上這些不是表面缺陷而是公知材料結(jié)構(gòu)時，顯現(xiàn)性在材料表面到處顯示。在另一方面，通過強度或者彩色圖片，難于從這些偽缺陷區(qū)分諸如裂縫或者壓痕的相關(guān)表面異常。對于下游分類處理，主要取決于檢查任務(wù)，在實際缺陷和偽缺陷之間做區(qū)分可能是具有很大的不確定性的，會引起相當多的誤報，這導(dǎo)致相當多的人工再處理。
[0011]因而，改善在表面的檢查期間并且特別地對于重結(jié)構(gòu)化的表面的缺陷識別的可靠性以降低檢測的偽缺陷的數(shù)目，是本發(fā)明的要求。
[0012]根據(jù)本發(fā)明，通過具有權(quán)利要求1的特性和具有權(quán)利要求12的特性的裝置滿足所述要求。根據(jù)本發(fā)明，提供了，特別地，通過三維地標定到所選擇的坐標系統(tǒng)上的投影單元，圖形被投影到所述面型圖像傳感器捕獲的所述圖像的所述表面的區(qū)上，以及在所述對象的所述表面上的所述投影圖形的限定的圖形部分的位置被在所述選擇的坐標系統(tǒng)中確定并且被轉(zhuǎn)譯(按要求)到另一坐標系統(tǒng)種，例如到對象坐標系統(tǒng)中。
[0013]將圖形投影到所述表面的所述區(qū)上可以以受所述面型圖像傳感器的分辨率限制的所需的分辨率捕獲所述表面的所述結(jié)構(gòu)作為深度信息，并且同時，能與在每個像素中捕獲的顏色或者的強度信息一起使用以用于缺陷區(qū)域的檢測和分類。根據(jù)本發(fā)明，這導(dǎo)致在檢測性能的顯著改善，由于源于高分辨率二維強度和彩色圖像連同結(jié)構(gòu)圖像的同時捕獲、融合和分析，用于評估異常的附加信息(深度信息)是可獲得的。根據(jù)本發(fā)明，可以用低于、等于或者高于所述強度或者顏色信息的分辨率生成所述結(jié)構(gòu)信息。
[0014]根據(jù)本發(fā)明，“三維標定投影單元”，意味著通過所述圖形在空間中的投影形成的面的形狀為已知的，并且取決于圖形的類型，這可以形成直(平面)或者彎曲的面。在作為圖形的投影的線的情況下，面的形狀因而是平面的面。用其它圖形，彎曲面或者面形狀由以相對彼此的限定的方式布置的若干面組成，例如對于投影的交叉圖形或者如干間隔開的線(條紋圖形)。
[0015]整體上，該限定的圖形部分為所述投影圖形的部分段，其中，可以對應(yīng)于所需分辨率選擇位置正被確定的圖形部分的尺寸，用所述分辨率可以通過投影到表面上的圖形確定的所述對象的所述表面的行進(run)應(yīng)被了解。用于分辨率的限制和測量為所述面型圖像傳感器的像素尺寸，其中，圖形部分可以在其縱向和/或橫向擴展上對應(yīng)于所述面型圖像傳感器的恰好一個像素或者若干組合的像素。
[0016]根據(jù)本發(fā)明，通過標定到所述選擇的坐標系統(tǒng)上的運輸單元，優(yōu)選實現(xiàn)將所述表面移動經(jīng)過面型圖像傳感器，所述運輸單元允許所述表面相對于所述面型圖像傳感器和所述投影圖形的限定的運動。所述運動的速度連同圖像捕獲速度的基準為所述所需的分辨率。
[0017]本發(fā)明的優(yōu)選應(yīng)用以反射布置實施，在該反射布置中所述面型圖像傳感器捕獲在表面上反射的所述照射單元的所述光。
[0018]根據(jù)本發(fā)明的優(yōu)選實施例，從所述圖形部分的確定的位置確定所述表面的深度分布。通過三角剖分評估確定所述圖形部分在所述表面上的各位置，所述三角剖分評估被已知是基于所述投影單元和相機被三維地標定到所述選擇的坐標系統(tǒng)上這一事實。
[0019]從而，根據(jù)本發(fā)明，通過以深度信息補充所捕獲的反射表面數(shù)據(jù)，實現(xiàn)表面檢查系統(tǒng)的總性能的改善，其中，這是基于表示所述表面的反射性質(zhì)的二維圖像和表示作為深度邊緣(表面形貌(topography))的所述表面三維幾何形狀的三維圖像的同時捕獲和分析。通過利用該附加的深度信息，改善檢測可靠性、缺陷位置的準確度和分類并且通過關(guān)于所述缺陷形貌的信息補充所述缺陷描述，其中就針對整個表面的表面形貌而言，所述深度信息能作為整個表面的深度分布可得。
[0020]特別地在高度結(jié)構(gòu)化的表面上，這允許誤報率最小化，因為可以通過深度信息解釋在評估所述表面的反射性質(zhì)的所述二維圖像中的特定圖形，該深度信息反映了表面的垂直結(jié)構(gòu)。整體來看，除了歸因于表面缺陷和表面二者的三維可視化之外，可以改善顯現(xiàn)性的說明。
[0021]根據(jù)上述方法的優(yōu)選實施例，投影的圖形可為線圖形(確切地由一個線組成)或者條紋圖形(至少由兩個線組成)，其中，所述線圖形和所述條紋圖形都由被配置為條紋投影機的投影單元生成。
[0022]從而根據(jù)本發(fā)明，優(yōu)選根據(jù)利用這樣的條紋投影的光分段(light-sect1n)處理，捕獲所述表面形貌。同時將要被檢查的所述表面移動經(jīng)過所述傳感器，投影單元將從一個或多個線產(chǎn)生的所述圖形映射到表面上。所述圖形被映射到矩陣相機的所述光敏表面中(即，所述面型圖像傳感器的像素)，并且使用所產(chǎn)生的圖像信息來導(dǎo)出所述表面的直線(linear)深度分布。這意味著逐分布地(profile by profile)捕獲所述深度信息。
[0023]通過連續(xù)捕獲和將單個的線分布串在一起，產(chǎn)生表面的區(qū)三維模型。優(yōu)選將所述線捕獲速度調(diào)整到相對于所述面型圖像傳感器的表面的進給速率，以便以恒定的橫向分辨率測量深度。從而，源于遮光而發(fā)生的任何間隙是小的或者可以通過使用進一步的面型圖像傳感器(相機)而被避免。
[0024]由于這時的評估特別簡單，可以優(yōu)選將線配置成直線。線寬度對應(yīng)于所需分辨率，并且優(yōu)選進行相對于線方向橫向地產(chǎn)生表面相對于投影線的運動。優(yōu)選線寬度大于在所述矩陣相機中或者在所述運動的方向上的圖像的分辨率，以便確保這些圖形也作為在其中可以評估表面缺陷的面區(qū)域(areal reg1n)而出現(xiàn)。
[0025]本發(fā)明的特定優(yōu)勢從而在于(適用于中面積和/或大面積表面)投影單元和面型圖像傳感器的組合的所述選擇，其中照射單元，即，用于捕獲表面的所述反射性質(zhì)的照射單元和用于捕獲深度信息的用于圖形的投影的照射單元(投影單元)，甚至可能是相同的，其中可以用一個且相同的面型圖像傳感器并優(yōu)選用具有足夠速度的一個且相同的圖像確定所述深度信息和關(guān)于表面反射性質(zhì)的信息。
[0026]取決于所使用用于生成光分段的照射，用于捕獲所述反射性質(zhì)的所述圖像由相應(yīng)被照射的部分組成?？煽缛舾上袼囟a(chǎn)生集成(integrat1n)，以便抑制干擾。結(jié)果是N+1-通道圖像，其中N-通道包括關(guān)于所述表面的反射性質(zhì)的所述信息，并且其中所述第N+1通道包括從而形成所述深度圖像的所述深度信息。從而在所述彩色圖像和所述深度圖像之間產(chǎn)生精確的局部匹配，即，所述彩色圖像的每個圖像段(例如一個像素)，其包括關(guān)于所述表面的所述反射性質(zhì)的所述信息，由此具有在傳感器中已經(jīng)直接分配到其的相關(guān)的深度信息。
[0027]根據(jù)本發(fā)明，現(xiàn)在可以與關(guān)于所述反射性質(zhì)的所述信息一起使用所述深度信息，以便識別在所述材料表面上的缺陷，所述缺陷僅被由其諸如裂縫或者壓痕的形貌或者拓撲(topology)而區(qū)分。這允許形貌的缺陷的可靠探測和分類。特別對于分類的目的，與常規(guī)檢查系統(tǒng)相比，根據(jù)本發(fā)明因而明顯更多信息是可用的，以便在表面缺陷和偽缺陷之間或者在污跡和形貌缺陷之間達成清晰的分離，并且根據(jù)所述表面缺陷的嚴重度度的程度而將所述表面缺陷分類。
[0028]根據(jù)本發(fā)明，所述圖形可被投影為亮區(qū)，優(yōu)選為具有暗中間空間的線。在這種情況下，從所述三維圖像的所述圖形部分的所述位置的確定和在所述表面的所述二維圖像中的缺陷區(qū)域的所述檢測可以以特別簡單的方式相一致，即，發(fā)生在所述相同圖像區(qū)中。原則上，所述圖像區(qū)是分離的也當然是可能的，因為在不同于所述圖形的所述投影圖形的區(qū)中，用于照射所述表面的窗口是空白的。這可以通過條紋投影以特別簡單的方式來實現(xiàn)，其中除條紋之外的所有光被取消。備選地，在分離的二維圖像區(qū)中，所述光可不被取消，以便具有用于缺陷區(qū)域的所述探測的圖像區(qū)，其優(yōu)選地在相對于所述投影圖形的所述縱向方向的橫向方向上偏移。
[0029]根據(jù)本發(fā)明，在備選的發(fā)展中，所述圖形可被投影為暗區(qū)，優(yōu)選為具有亮中間空間的線。在這種情況下，用于表面缺陷的檢測的所述圖形部分和所述表面的所述二維圖像的所述位置被分離地確定，或者可直接彼此相鄰或者重疊(用于光暗場表面檢查)，因為該暗區(qū)被聯(lián)合使用作為暗場。在這種情況下，投影圖形被配置為透明的且具有用于所述投影的變暗圖形區(qū)，其中，甚至該暗區(qū)可以允許一些光透過，以致所述暗區(qū)也不位于在所述圖像中實現(xiàn)的對比度(contrast)的邊緣上，并且包括特定標記。這則可以被用于在反射布置中的表面缺陷的所述檢測。
[0030]另外，可通過激光線投影生成所述圖形，其中，所述激光投影機，由于所述激光光的足夠快的運動，也可以被用于所述二維照射。同樣，所述激光束被加寬用于照射，可能通過具有合適光學部件的分束器，以便除所述線投影之外還生成面照射。
[0031]在全部上述變化中，所述照射單元能夠生成亮暗場照射。
[0032]根據(jù)本發(fā)明，若在所述捕獲的圖像中的所述投影圖形和所述照射的表面在圍繞投影圖形的所述區(qū)中包括不同亮度，則是特別優(yōu)選的，其中，所述投影圖形和/或所述照射的表面不位于在由所述面型圖像傳感器可分辨的所述對比度的所述邊緣(邊界)上。針對反射可識別的表面缺陷，這允許所述獲得的圖像的區(qū)，即，所述投影圖形的區(qū)和所述照射的區(qū)，按常規(guī)被同時評估。出于偏好，所述圖形，甚至當被配置為線時，具有面形狀，即，所述圖形在其最短擴展方向上的所述擴展覆蓋在所述運動方向上的所述面型圖像傳感器和/或所述圖像的若干像素。這意味著所述投影線也具有面形狀。根據(jù)本發(fā)明，優(yōu)選沿著圖形和照射的表面的對比度轉(zhuǎn)變產(chǎn)生所述幾何形狀的評估(用于確定所述深度信息)，在這所述捕獲的圖像中是容易識別的。優(yōu)選地，所述圖形比所述照射的表面的其余部分更亮?？梢酝ㄟ^相對于表面照射單元也是可移動的單獨投影單元以特別簡單的方式，實現(xiàn)所述亮圖形的投影。原則上，使用組合的投影和照射單元也是可能的，例如通過使用恰當?shù)臑V波器。
[0033]按照根據(jù)本發(fā)明所提出的方法進一步發(fā)展，進行捕獲所述投影圖形和所述照射的表面，即，在所述面型圖像傳感器的相同圖像中的被所述照射單元照射的所述對象的所述表面的所述區(qū)。以此方式，所述深度分布和表面缺陷的探測可以在相同圖像中發(fā)生，從而避免用于確定在所述二維圖像和所述三維圖像之間的幾何關(guān)系的任何支出，所述二維圖像用于表面缺陷的探測并且所述三維圖像用于確定圖形分布的所述位置，即，確定所述表面的所述深度分布。建立此幾何關(guān)系也被稱為圖像配準，由于用于將所述反射信息分配至所述深度信息的幾何關(guān)系可以不再產(chǎn)生誤差，當達到較高準確度時，特別地需要較少計算。通過在相同的照射和相機單元中集成所述強度傳感器和所述深度傳感器，能夠構(gòu)造低成本且節(jié)省空間的傳感器，在許多地方特別是在狹窄的裝配線中，這一事實開啟了用于在要被檢查的對象的制造中集成深度傳感器的可能性。
[0034]根據(jù)本發(fā)明，可以進一步以這樣的方式進行協(xié)調(diào)所述圖像捕獲和所述對象的所述運動:所述對象進給確切地為在所獲得的兩個連續(xù)圖片之間的所述面型圖像傳感器的一個圖像線，優(yōu)選至少在所述投影圖形的所述區(qū)中，或者在用于位置確定的所述圖形的部分中，例如由若干線組成的用于條紋投影的標記的線或者另外的標記的圖像區(qū)。以此方式，能夠?qū)崿F(xiàn)整個表面的完全的深度分布和用于定位不同表面區(qū)的表面的簡單標引。一個圖像線優(yōu)選地包括一個像素或者若干鄰近像素的高度，這取決于所述所需的分辨率。
[0035]對于圖像配準，即，對于確定在用于評估所述反射性質(zhì)的所述二維圖像和用于產(chǎn)生所述深度分布的所述三維圖像之間的所述幾何關(guān)系，現(xiàn)在不發(fā)生任何支出，由于在所述面型圖像傳感器中的所述顏色和所述深度信息已經(jīng)被像素-精確地彼此關(guān)聯(lián)，其中，像素-精確意味著一個像素或者組合像素的區(qū)。其結(jié)果是，所述圖像配準段在所述數(shù)據(jù)分析中不再呈現(xiàn)可能的誤差源。特別地對于被以此方式而設(shè)計的方法，將選擇的表面區(qū)和多通道圖像信息相關(guān)聯(lián)是有道理的，其一個通道包括位置依賴深度信息并且進一步的通道或者若干進一步的通道包括位置依賴顏色信息。從而在所述面型圖像傳感器中，N+1通道圖像是已經(jīng)可得的，其中，第一通道包含在像素(r，c)處的深度信息T (r，c)，并且其它通道K包含在像素(r，c)處的關(guān)于所述表面的位置依賴反射性質(zhì)RK (r，c)的信息。
[0036]顏色信息，在此背景下，為所述總強度(例如，單色或者灰度圖像的總強度)和/或與各單個顏色(彩色圖像)關(guān)聯(lián)的所述強度，其中，顏色被理解為從所述總波長譜的波長選擇性選擇，例如，這除了通常的顏色紅、綠、藍之外，可還包括紅外。當使用RGB顏色相機(紅、黃、藍)時，所得到的圖像將包括，例如，四通道R、R、G和B(深度、紅、綠和藍)。從而所述第一通道代表如通過本發(fā)明所限定的所述深度信息，并且所述其它通道分別代表所述彩色圖片的所述譜的紅、綠和藍色部分。如果添加紅外通道I，得到包括通道T(深度)、T(紅)、G(綠)、B(藍)和1(紅外)的五通道圖像。
[0037]根據(jù)本發(fā)明，所述選擇的表面對應(yīng)于，至少在標記的圖像區(qū)中，恰好所述面型圖像傳感器的一個像素或者所述面型圖像傳感器的若干像素的組合。如上所述，如果所述多通道圖像信息已經(jīng)在所述面型圖像傳感器中與單個圖像區(qū)相關(guān)聯(lián)，則是特別有利的，例如，通過在所述面型圖像傳感器中提供的微處理器用于其控制。這導(dǎo)致在評估期間的協(xié)同作用，并且向上述方法和適用于實施此方法的所述裝置增加實時能力。
[0038]由于通過用相同的照射和相機單元集成所述顏色和所述深度信息，從而解決了配準問題，不再發(fā)生計算成本，也沒有任何與彩色圖像信息和深度信息的隨后的關(guān)聯(lián)相聯(lián)系的不準確。從一開始，協(xié)調(diào)的配準信息就是可用的，以致基于此信息的使用連同分析的鏈，協(xié)同作用導(dǎo)致表面的所述檢查和表面檢查結(jié)果的驗證，其中利用了此附加的信息。
[0039]本發(fā)明進一步涉及根據(jù)權(quán)利要求11的用于被檢查對象表面的檢查的裝置。根據(jù)本發(fā)明，此裝置配備有用于照射所述表面的照射單元、用于將圖形投影到所述表面上的投影單元、用于捕獲所述照射的表面的圖像和所述投影圖形的面型圖像傳感器、用于作為缺陷異常的表面區(qū)的檢測的圖像分析單元和用于相對于所述面型圖像傳感器移動所述表面的運輸單元，其中，所述照射單元、所述投影單元、所述面型圖像傳感器和/或所述運輸單元被布置用于進行上述方法或其部分。為此，各單元包括微處理器和/或被與適用于運行程序的常規(guī)微處理器相連接，該程序是用于進行該方法或其部分。
[0040]本質(zhì)上，本發(fā)明因此由合適的傳感器部件和方法的組合組成，該部件用于以傳感器進行廣泛表面的幾何形狀和反射性質(zhì)的同時綜合拍攝，該方法用以融合并同時分析所述幾何形狀和所述反射數(shù)據(jù)，以便改善自動化支持且全自動化的表面檢查系統(tǒng)的缺陷檢測和缺陷定位性能。
[0041]在下面示例性實施例的描述和【專利附圖】

【附圖說明】中，公開了本發(fā)明的進一步的特征、優(yōu)點和可能的應(yīng)用。所描述和/或圖示說明的所有特征，獨立地或者以任何組合，形成本發(fā)明的主體，獨立于其在權(quán)利要求中的總結(jié)和其參考。

【專利附圖】

【附圖說明】
[0042]圖1示出根據(jù)本發(fā)明，用于進行所提出的方法的優(yōu)選實施例的裝置的三維示意圖；
[0043]圖2示出根據(jù)第一實施例的獲得表面的照片；以及
[0044]圖3示出根據(jù)本發(fā)明，依照所提出的方法的第二特別優(yōu)選實施例的獲得的表面的照片。

【具體實施方式】
[0045]圖1示出根據(jù)本發(fā)明的用于表面3的檢查的裝置，即，被檢查或者要被檢查的對象2的至少一個表面3。對象2被布置在運輸單元4上，該運輸單元4被三維地標定在固定坐標系統(tǒng)5上，通過該運輸單元4，具有表面3的對象2被移動或者可以被移動經(jīng)過相機7的面型圖像傳感器6。在此過程期間，相機7精確地獲取這樣的區(qū)中的對象2的表面3的照片，在此區(qū)中表面3被組合的照射和投影裝置8照射，如在圖1中通過被示為虛線的照射區(qū)9所示。在此照射區(qū)9中，一旦已經(jīng)通過相機7或者通過相機的面型圖像傳感器6拍攝表面3的照片，表面3的反射性質(zhì)被評估。
[0046]在示出的實例中，在照射區(qū)9中可以看到線10，線10被組合的照射和投影裝置8在此區(qū)中投影成圖形。這意味著還以投影到表面3上的線10的形式獲得條紋圖形的照片，該表面3要被具有面型圖像傳感器6的陣相機7掃描，同時對象3被移動經(jīng)過由相機7以及照射和投影裝置8形成的掃描單元?？焖佾@得照片，以在便在兩個連續(xù)照片中，對象精確按照面型圖像傳感器6的一個照片行高度(row height)前進。照片行高度正好對應(yīng)于面型圖像傳感器6的一個或者若干鄰近像素的高度。
[0047]由于相機7以及照射和投影裝置8被三維地標定在所標記的坐標系統(tǒng)5上，可以在三角剖分算法的輔助下，在所得到的圖像中確定高度分布(profile)，并且在對應(yīng)于照射區(qū)9的特定的圖像區(qū)中的相同照片中，可以捕獲二維圖像，在該二維圖像中表面異常被探測為缺陷區(qū)域。
[0048]在示出的實例中，在一個區(qū)中提供投影圖形10和照射區(qū)9。取決于照射和投影裝置8的配置和選擇的投影圖形，可以單獨地和/或通過激光線投影交替地形成這些區(qū)。
[0049]在連接到相機的圖像分析單元11中評估由面型圖像傳感器6供應(yīng)的數(shù)據(jù)，在該圖像分析單元中，由面型圖像傳感器6所產(chǎn)生的圖像可作為用于選定的圖像區(qū)的N通道圖像信息，例如，一個像素或者若干組合的像素。從而對于每個圖像區(qū)，在本發(fā)明的表示法(notat1n)中的深度信息和包括紅外性質(zhì)的各自的反射性質(zhì)均可以作為多通道圖像信息。
[0050]由面型圖像傳感器7供應(yīng)的這些原始數(shù)據(jù)，即，在以可靠地定位和分類表面異常為目標的所謂的初步處理中的第一處理步驟中，表征和準備反射信息和深度信息。這特別地包括關(guān)于信號質(zhì)量的參數(shù)的評價，用于圖像恢復(fù)和圖像改進的處理的應(yīng)用，例如測量噪聲的抑制或者對比度突顯或者和任何俘獲的透視圖像的修正。
[0051]已知的表面檢查系統(tǒng)僅存取彩色圖像本身的信息，而本發(fā)明利用在顏色通道和深度通道之間的內(nèi)涵(connotat1n)用于數(shù)據(jù)準備。例如，使用關(guān)于用于顏色通道的亮度校正的源自深度圖像的局部表面傾斜的信息補償由傾斜導(dǎo)致的強度變化。使用源自深度圖的彩色圖像的基準變化用于修正彩色圖像，并且使用源自深度圖的表面曲率用于構(gòu)建用于彩色圖像的重構(gòu)的平滑濾波器(smoothing filter)。進而利用彩色圖像本身用于產(chǎn)生關(guān)于表面異常的位置和取向的假設(shè)，以便平滑深度圖。
[0052]圖2示出由相機7的面型圖像傳感器6所獲得的照片，其代表表面3的照射區(qū)9，SP，包括由若干平行線組成的圖形10的投影的被照射的表面3。對于平面表面3，圖形10的線在圖像中也將是平行的。圖形10的線的變形是其為表面3中的深度結(jié)構(gòu)的指示，并且其也要根據(jù)本發(fā)明而評估。在圖2中，圖形10的線被形成為在表面3的照射區(qū)9中的暗窄區(qū)，這使得深度信息非常清楚。然而，在圖像中位于圖像的對比度區(qū)(contrast area)的暗邊緣處并且其中幾乎沒有任何結(jié)構(gòu)可識別的暗條紋的區(qū)中，幾乎沒有任何可通過反射而捕獲的表面缺陷可以被識別。
[0053]這就是為什么提供在圖3中所示的尤其優(yōu)選的實施例，其中，在獲得的照片中的投影圖形10和被照射的表面3包括不同的亮度，其中，投影圖形10和/或被照射的表面3不位于由面型圖像傳感器6可分辨的對比度的邊緣處。這里圖形10的線可以被識別為甚至比照射的表面更亮的條紋。此外，線被以面的形式示為寬條紋，在這個意義上，它們被面型圖像傳感器6呈現(xiàn)為若干像素。在此布置中，在面型圖像傳感器6的相同圖像中的圖形10的區(qū)中能識別可反射地識別的缺陷，這也被用于確定深度信息。深度信息的評估優(yōu)選地沿著從被照射的表面3至圖形10的線的對比度過渡進行。
[0054]根據(jù)本發(fā)明，在此布置中的圖形10的條紋當然也可以比被照射的表面3更暗。
[0055]在稱為檢測的第二評估步驟中，根據(jù)本發(fā)明提出的系統(tǒng)利用深度信息連同反射信息以用于定位表面異常。使用新檢測算法，其從用于該環(huán)境的顏色和深度信息導(dǎo)出表面特性的均勻組(在局部窗口中均勻)，例如缺陷深度、缺陷體積(volume)、曲率值?；谶@些特性，通過二元決策方法做出決策，是否局部鄰近信號圖形被視為缺陷。決策方法是適應(yīng)性的，即，其這樣適應(yīng)于信號特性:它鏈接所施加的決策規(guī)則例如與測量以用于表征信號質(zhì)量。此外，使用檢測算法用于通過標記形狀定位表面異常，例如，點狀或者線狀異常，并且這些算法尋找在深度圖像中的點或者線結(jié)構(gòu)。為此使用表面曲率測量，該測量源自深度圖像。
[0056]在被稱為分割的進一步評估步驟中，使用深度信息連同反射信息用于分割表面異常。使用新分割方法用于三維配準的(registered)彩色圖像，該方法是適應(yīng)性的，即，其這樣適應(yīng)于信號特性:它鏈接所施加的決策規(guī)則例如與測量，以用于表征信號質(zhì)量。
[0057]在被稱為特征提取的進一步評估步驟中，根據(jù)本發(fā)明提出的方法，通過源自深度圖像的表面的進一步特征，從彩色圖像的分析(強度圖像)補充所使用的特征空間。為此，對于組合的顏色和深度圖像，初始地從彩色圖像分析(強度圖像)再次導(dǎo)出已知的所有特征，從而加倍總數(shù)。此外，從深度圖像確定基于深度圖像的特定性質(zhì)的進一步特征，例如缺陷體積或者缺陷表面和缺陷高度之間的比率。另外，生成選擇性鏈接彩色圖像(強度圖像)的信息與深度圖像的信息的特征，例如，用圖像亮度加權(quán)的缺陷的高度提升的變化。
[0058]表面缺陷的分類是基于上面解釋的擴展的特征向量，其中可有300以及更多的缺陷的性質(zhì)。由于這些特征的眾多，使用選擇性分類方法，其進行特征檢測和/或特征空間的正交。
[0059]當定位缺陷時，本發(fā)明利用深度信息與準確度以用于改善精確度，這樣，確定關(guān)于檢查對象的邊緣的表面異常的位置。通過集成深度信息和用于檢測和定位材料邊緣的方法，達到初始改善。而對于常規(guī)的表面檢查，僅利用顏色信息，并且支持邊緣識別作為在圖像中材料邊緣的表現(xiàn)的模型，可以使用弱的多的假設(shè)和較大可靠性地，更直接地從深度圖像導(dǎo)出材料邊緣。同樣地，背景的性質(zhì)對材料邊緣的位置的確定幾乎沒有任何的影響。
[0060]特定表面缺陷的特征在于，它們由一組單個事件(events)組成。對于這樣的缺陷，單個事件必須被團聚，以使用合適的方法形成主缺陷。這被在用于缺陷團聚的評估步驟中進行。本發(fā)明使用深度信息，以便總結(jié)具有相同深度分布和相同缺陷種類的鄰近的異常，從而形成主缺陷。
[0061]除了在檢查性能中通過上述特征達到的改善之外，根據(jù)本發(fā)明所提出的方法和裝置還開拓了自動表面檢查的應(yīng)用的新領(lǐng)域，這直到現(xiàn)在對于常規(guī)的表面檢查系統(tǒng)都是遙不可及的。根據(jù)本發(fā)明的這些新應(yīng)用指的是，例如，測量平整度和厚度，測量三維材料結(jié)構(gòu)，測量粗糙度和孔隙度，包括測量壓花深度、壓花特征的自動讀取、測量壓花深度的構(gòu)圖表面(例如金屬片)的三維檢查、三維焊縫檢查，同時的表面和形式檢查(例如，軌檢查)和/或周期性出現(xiàn)的材料厚度波動的識別。
[0062]連同新獲得的深度信息，也得到在工藝檢驗和工藝控制中用于對象的制造方法的這樣的新可能性:例如，關(guān)于寬度和深度的選擇性材料加工、取決于表面分布的選擇性軋制壓力控制和/或選擇性修飾(varnish)和/或取決于表面粗糙度的填充物施加。
[0063]此外，本發(fā)明提供這樣的可能性:以三維表示清楚地向人類觀察者描繪了表面缺陷。只有通過接觸或者所謂的手指試驗而被檢查人員注意到的缺陷，現(xiàn)在可以以三維表示而清楚地可視化。這簡化了檢查結(jié)果的評估。
[0064]參考符號:
[0065]I用于要被檢查的對象的表面檢查的裝置
[0066]2要被檢查的對象
[0067]3 表面
[0068]4運輸單元
[0069]5坐標系統(tǒng)
[0070]6面型圖像傳感器
[0071]7 相機
[0072]8照射和投影裝置
[0073]9照射的區(qū)
[0074]10圖形、線
[0075]11圖像分析單元
【權(quán)利要求】
1.一種用于檢查被檢查對象(2)的表面(3)的方法，其中，所述表面(3)被至少一個照射單元(8)照射并且被至少一個面型圖像傳感器(6)捕獲，其中，捕獲的圖像被發(fā)送至圖像分析單元(11),所述圖像分析單元(11)被配置為在檢測中將表面異常確定為缺陷區(qū)以及，若需要，將所述缺陷區(qū)相對于彼此或者相對于圖像背景以分割的形式定界，以在區(qū)域分析中總結(jié)屬于一起的缺陷區(qū)和/或在特征提取中從缺陷區(qū)或者缺陷區(qū)域?qū)С鎏匦匀毕?，其中，將所述面型圖像傳感器(6)三維地標定到選擇的坐標系統(tǒng)(5)上，并且相對于所述面型圖像傳感器(6)移動具有所述表面(3)的所述被檢查對象(2),其特征在于，通過被三維地標定到所述選擇的坐標系統(tǒng)(5)上的投影單元(8),將圖形(10)投影到所述對象(2)的所述表面(3)的區(qū)上，通過所述面型圖像傳感器(6)捕獲所述區(qū)，并且在于，在所述選擇的坐標系統(tǒng)中，確定在所述對象(2)的所述表面(3)上的投影圖形(10)的限定的圖形部分的位置。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，從所述圖形部分的所述位置確定所述表面⑶的深度分布。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，投影的所述圖形(10)為線圖形或者條紋圖形。
4.根據(jù)上述權(quán)利要求中任一項的方法，其特征在于，所述圖形(10)被投影為具有暗中間空間的亮區(qū)。
5.根據(jù)權(quán)利要求1至3中任一項的方法，其特征在于，所述圖形(10)被投影為具有亮中間空間的暗區(qū)。
6.根據(jù)權(quán)利要求1至3中任一項的方法，其特征在于，用激光線投影生成所述圖形(陳
7.根據(jù)上述權(quán)利要求中任一項的方法，其特征在于，在所述捕獲的圖像中的投影圖形(10)和照射的表面(3)包括不同亮度，其中，所述投影圖形(10)和/或所述照射的表面(3)不位于在由所述面型圖像傳感器(6)可分辨的對比度的邊界上。
8.根據(jù)上述權(quán)利要求中任一項的方法，其特征在于，捕獲所述投影圖形(10)和捕獲所述照射的表面(3)發(fā)生在所述面型圖像傳感器(6)的相同圖像中。
9.根據(jù)上述權(quán)利要求中任一項的方法，其特征在于，捕獲所述圖像和移動所述對象(2)被以這樣的方式協(xié)調(diào)，在兩個連續(xù)捕獲之間的對象進給確切地為所述面型圖像傳感器(6)的一個圖像線。
10.根據(jù)上述權(quán)利要求中任一項的方法，其特征在于，選擇的表面區(qū)具有與其關(guān)聯(lián)的多通道圖像信息，其中，一個通道包括位置依賴深度信息，并且一個進一步的通道或者若干進一步的通道包括位置依賴顏色信息。
11.根據(jù)權(quán)利要求所述的方法10，其特征在于，早在所述面型圖像傳感器￠)中，就發(fā)生所述多通道圖像信息的關(guān)聯(lián)。
12.一種用于檢查被檢查對象(2)的表面(3)的裝置，其具有用于照射所述表面(3)的照射裝置(8)、用于將圖形(10)投影到所述表面(3)上的投影單元(8)、用于捕獲照射的表面⑶和投影圖形(10)的照片的面型圖像傳感器(6)、用于檢測作為缺陷異常的表面區(qū)的圖像分析單元(11)和用于相對于所述面型圖像傳感器(6)移動所述表面⑶的運輸單元(4),其特征在于，所述照射裝置(8)、所述投影單元(8)、所述面型圖像傳感器￠)、所述圖像分析單元(11)和/或所述運輸單元(4)被布置為用于實施根據(jù)權(quán)利要求1至11中一項所述的方法。
【文檔編號】G01B11/30GK104508423SQ201380026084
【公開日】2015年4月8日 申請日期:2013年5月14日 優(yōu)先權(quán)日:2012年5月16日
【發(fā)明者】M·陸森, J·埃爾克斯萊本 申請人:伊斯拉視像系統(tǒng)股份公司