本發(fā)明涉及一種機(jī)械制造在線質(zhì)量檢測方法，具體涉及一種基于視覺系統(tǒng)的機(jī)械制造業(yè)在線質(zhì)量監(jiān)測方法。
背景技術(shù)：
：工業(yè)生產(chǎn)對(duì)基于圖像的測量系統(tǒng)在產(chǎn)品檢驗(yàn)中所展現(xiàn)的優(yōu)勢有著強(qiáng)烈的興趣。非接觸的產(chǎn)品檢測意味著減少侵蝕，減少成本，更有利的零件抽樣結(jié)果在統(tǒng)計(jì)學(xué)中的意義以及更好的認(rèn)識(shí)到運(yùn)營商線路運(yùn)行的情況。在傳統(tǒng)領(lǐng)域，人工視覺系統(tǒng)已經(jīng)取得成功，包括制成品，如汽車，半導(dǎo)體芯片，食品和藥品的非接觸性的檢測。我們要以降低成本為目標(biāo)，通過人類干預(yù)缺陷分析，以及丟棄有缺陷的零件來確保一致的產(chǎn)品質(zhì)量，基于圖像的系統(tǒng)也可以通過控制像工業(yè)機(jī)器人手臂等設(shè)備來使產(chǎn)品生產(chǎn)自動(dòng)化。機(jī)器視覺系統(tǒng)也在機(jī)械(沖壓金屬)組件的測量中扮演著重要的角色，來確保測量區(qū)域的數(shù)據(jù)落在給定的規(guī)范限制里，利用機(jī)器視覺系統(tǒng)檢測成功的關(guān)鍵在于它有一些特有的屬性，例如靈活性、可靠性、較高的運(yùn)行速度、一致性和精確性，如果和傳統(tǒng)測量系統(tǒng)相比，這種測量方式更有競爭力。在設(shè)計(jì)模型時(shí)，軟件庫組件以及通用視覺硬件的廣泛應(yīng)用，對(duì)人工視覺系統(tǒng)的發(fā)展有著強(qiáng)烈的影響。因此，所選擇的應(yīng)用程序體系結(jié)構(gòu)，以及單一加工階段所采用的算法，往往依賴于以往的經(jīng)驗(yàn)和反復(fù)試驗(yàn)，以此來完成自動(dòng)系統(tǒng)的最終調(diào)整。因此，本發(fā)明提出將機(jī)器視覺技術(shù)應(yīng)用于機(jī)械制造業(yè)的在線監(jiān)測，以有效的降低產(chǎn)品的誤差率，提高生產(chǎn)效率，保證系統(tǒng)運(yùn)行的實(shí)時(shí)性與精確性。技術(shù)實(shí)現(xiàn)要素：為了優(yōu)化機(jī)械制造開發(fā)周期，本發(fā)明提供一種基于視覺系統(tǒng)的機(jī)械制造業(yè)在線質(zhì)量監(jiān)測方法，根據(jù)機(jī)器視覺的原理對(duì)機(jī)電零件進(jìn)行在線監(jiān)測，測量機(jī)電零件的各個(gè)尺寸，并檢測是否出現(xiàn)松線現(xiàn)象，減少在工業(yè)生產(chǎn)中可能出現(xiàn)缺陷的零件，使其在生產(chǎn)過程中能夠檢測出零件的缺陷，改善在校準(zhǔn)和測量評(píng)價(jià)階段的不確定性。本發(fā)明可具體檢測機(jī)電零件的整體長度、寬度及高度，包括零件中金屬葉片的尺寸以及相對(duì)零件基線的角度，檢測零件是否有松動(dòng)線圈。本發(fā)明的目的是采用如下技術(shù)方案實(shí)現(xiàn)的：一種基于視覺系統(tǒng)的機(jī)械制造業(yè)在線質(zhì)量監(jiān)測方法，其特征在于，包括以下步驟：步驟一、圖像采集：分別采用頂置相機(jī)和前置相機(jī)獲取零件的頂置圖像和前置圖像；步驟二、頂置圖像處理：在步驟一獲得的零件頂置圖像中測量零件各項(xiàng)尺寸，以及零件各個(gè)部件的尺寸；步驟三、前置圖像處理：在步驟一獲得的零件前置圖像中測量零件在頂置圖像中不可見部分的各項(xiàng)尺寸，包括不可見部分的外形尺寸、相應(yīng)的傾角和線圈的錐度比；步驟四、松線檢測：對(duì)頂置圖像和前置圖像進(jìn)行松線檢測；步驟五、對(duì)獲取的數(shù)據(jù)進(jìn)行誤差校正：采用校正塊分別對(duì)頂置相機(jī)和前置相機(jī)進(jìn)行校準(zhǔn)，并分析關(guān)于測量對(duì)象的非平面性造成的誤差，進(jìn)行系統(tǒng)深度誤差矯正。與現(xiàn)有技術(shù)相比本發(fā)明的有益效果是：1.確定了較為全面的質(zhì)量檢測標(biāo)準(zhǔn)。利用雙目結(jié)構(gòu)是為了突出所需的所有在線測量中的細(xì)節(jié)。為了保證有效的在線運(yùn)行，設(shè)計(jì)應(yīng)考慮到接口與實(shí)時(shí)的問題。通過本發(fā)明進(jìn)行測量，將檢查機(jī)電部件的匹配生產(chǎn)要求可以分為不同的類別：(1)給定零件的寬度和高度，(2)線和參考線之間的距離，(3)線和參考線之間的角度，(4)存在不必要的缺陷。2.提高了機(jī)械制造生產(chǎn)效率，降低成本，減少廢物的產(chǎn)生。本發(fā)明采用非接觸式的產(chǎn)品檢測方法，有利于減少侵蝕，降低成本。測量系統(tǒng)的處理時(shí)間約為300毫秒，大大提高了生產(chǎn)效率。相比于人工抽樣檢測，視覺檢測結(jié)果更加精確，有效的降低生產(chǎn)過程中廢物的產(chǎn)生。3.對(duì)系統(tǒng)誤差進(jìn)行矯正，減少機(jī)械零件在檢測過程中的誤檢率及錯(cuò)檢率。利用矯正塊對(duì)相機(jī)進(jìn)行校準(zhǔn)，并詳細(xì)分析了關(guān)于測量對(duì)象的非平面性造成的誤差，對(duì)系統(tǒng)深度誤差進(jìn)行矯正，提高系統(tǒng)檢測精度，從而進(jìn)一步的降低誤檢率及錯(cuò)檢率。附圖說明圖1基于視覺系統(tǒng)的機(jī)械制造業(yè)在線質(zhì)量監(jiān)控系統(tǒng)技術(shù)路線圖圖2視覺系統(tǒng)組件布局圖3前置攝像機(jī)圖像測量圖4松線檢測算法框圖圖5矯正塊示意圖圖6深度變化誤差示意圖圖7測量系統(tǒng)示意圖圖中：1、前置相機(jī)，2、頂置相機(jī)，3、線性電磁制動(dòng)器，4、白光led燈，5、led背光照明具體實(shí)施方式以下結(jié)合附圖詳細(xì)介紹本發(fā)明的技術(shù)方案：一種基于視覺系統(tǒng)的機(jī)械制造業(yè)在線質(zhì)量監(jiān)測方法，其中，視覺系統(tǒng)的組件的布局如圖2所示，包括前置相機(jī)1、頂置相機(jī)2、線性電磁制動(dòng)器3、白光led燈4、led背光照明5，當(dāng)機(jī)電零件在生產(chǎn)線上進(jìn)行檢測時(shí)，分別通過頂置相機(jī)1和前置相機(jī)2獲取零件的頂置圖像和前置圖像，白光led燈4不斷進(jìn)行照明，從而削弱從前置相機(jī)1相反方向?qū)Ξa(chǎn)品的光照，而led背光照明5只有在前置相機(jī)1圖像采集過程中才被開啟?；谝曈X系統(tǒng)的機(jī)械制造業(yè)在線質(zhì)量監(jiān)測方法包括以下步驟：步驟一、圖像采集：通過視覺系統(tǒng)的頂置相機(jī)和前置相機(jī)分別獲取零件的頂置圖像和前置圖像。頂置圖像和前置圖像進(jìn)行完全分離的處理程序：當(dāng)零件進(jìn)入生產(chǎn)線中檢測系統(tǒng)，先由頂置相機(jī)進(jìn)行零件頂置圖像采集，然后打開led背光照明，由前置相機(jī)進(jìn)行前置圖像采集，并將采集的頂置圖像和前置圖像傳入pc端進(jìn)行處理。步驟二、頂置圖像處理：頂置圖像中需要測量零件各項(xiàng)尺寸的長度及寬度，以及零件各個(gè)部件(其他金屬葉片)的尺寸，這些在設(shè)計(jì)中屬于關(guān)鍵的數(shù)據(jù)。該算法使用典型的圖像處理功能，所有的測量函數(shù)應(yīng)用于所需測量的矩形區(qū)域中(rois)，由用戶相對(duì)地定義一個(gè)主要的參考坐標(biāo)系固定在產(chǎn)品的左上角。頂置圖像處理算法的主要步驟如下：1)獲取rgb圖像的亮度和飽和度平面；2)利用形態(tài)學(xué)和閾值算子在亮度圖像中的應(yīng)用，以補(bǔ)償亮度的微小變化；3)搜索主參考坐標(biāo)系的位置和方向，其目的是：(1)以此來檢測相對(duì)于期望位置，圖像中物體位置的可能的微小變化，(2)通過相應(yīng)旋轉(zhuǎn)平移rois區(qū)域進(jìn)行補(bǔ)償。4)對(duì)于長度測量，應(yīng)搜索邊緣直線作為參考線，搜尋這些線應(yīng)有兩個(gè)過程：(1)在搜索區(qū)域內(nèi)，沿一組搜索線(水平或垂直)的邊緣點(diǎn)的定位；(2)計(jì)算檢測邊緣點(diǎn)的正交最佳擬合線。5)測量機(jī)電零件的各項(xiàng)尺寸，使其相對(duì)于參考線之間的距離在合適的距離區(qū)間內(nèi)。6)機(jī)電零件中其他金屬葉片的測量，例如在銅質(zhì)零件中測量鍍錫部分尺寸。使用圖像閾值功能進(jìn)行檢測，從而將圖像從背景中分離出來，然后定位、計(jì)數(shù)、測量矩形搜索區(qū)域內(nèi)的對(duì)象。這項(xiàng)研究是在圖像的飽和平面上進(jìn)行。實(shí)驗(yàn)驗(yàn)證，飽和度分量是一個(gè)最好的突出的銅和錫之間的差異的指標(biāo)。步驟三、前置圖像處理：前置圖像處理的目的是實(shí)現(xiàn)對(duì)零件從頂置圖像中不可見的部分的測量。重點(diǎn)是關(guān)注金屬葉片的外形尺寸，相應(yīng)的傾角和線圈的錐度比。使用led背光照明獲得的是零件前置圖象。通過一個(gè)閾值創(chuàng)建一個(gè)二進(jìn)制圖像，該閾值等于在一個(gè)固定區(qū)域內(nèi)的背景平均亮度值的75％。前置圖像處理算法的主要步驟如下：1)確定前置圖像搜索參考坐標(biāo)系的位置和方向，一般位于左上角。參考坐標(biāo)系的正確定位是非常重要的，通過旋轉(zhuǎn)轉(zhuǎn)換前置圖像的矩形區(qū)域(rois)來確定一個(gè)相對(duì)位置固定的參考坐標(biāo)系。通過這種方式，物體相對(duì)于相機(jī)的一些小的位移就會(huì)得到考慮和補(bǔ)償。2)尋找基線ib，如圖3所示?；€是左葉片的左側(cè)和右葉片右側(cè)的水平的輪廓點(diǎn)的最小二乘線。3)提取左右金屬葉片的輪廓點(diǎn)，如圖3所示。輪廓曲線是一系列邊緣點(diǎn)的集合，它們連接后形成一個(gè)連續(xù)的輪廓；搜索點(diǎn)a、b、c，點(diǎn)a和c在葉片輪廓中是最右點(diǎn)和最高點(diǎn)?？紤]到左側(cè)葉片，從左側(cè)輪廓開始搜索，b為斜率大于零的第一點(diǎn)，斜率是相對(duì)于基線ib定義的。因?yàn)樾枰胊、b來測量直線之間的角度，謹(jǐn)慎的選擇和定位這個(gè)兩點(diǎn)是非常重要的。在觀察許多產(chǎn)品中葉片實(shí)際形狀的變化后，基于線性的最小二乘法的不同解決方案失效，主要是由于葉片厚度的高變化性。尖點(diǎn)a更加穩(wěn)定，因此選擇a點(diǎn)。4)測量：位于基線ib與ba部分之間的角度α；估算ba部分在基線ib投影的長度w；估算cb部分在基線ib投影的長度h；用同樣的方法測量α’，w’，h’在右葉片的數(shù)據(jù)。5)測量線圈的錐度比d，即線圈輪廓點(diǎn)的垂直坐標(biāo)最大值和最小值的差值。步驟四、松線檢測：對(duì)步驟二和步驟三處理后的頂置圖像和前置圖像進(jìn)行松線檢測，松線檢測過程是尋找一個(gè)特定的缺陷：由于線圈生產(chǎn)中的錯(cuò)誤，會(huì)產(chǎn)生松動(dòng)的銅線。松線檢測算法包括以下步驟，算法框如圖4：1)對(duì)輸入的彩色圖像進(jìn)行預(yù)處理，獲得一個(gè)二進(jìn)制圖像a：(1)將彩色圖像轉(zhuǎn)換成單色圖像；(2)使用自適應(yīng)閾值對(duì)轉(zhuǎn)換后的圖像進(jìn)行二值化處理。2)通過向圖像a應(yīng)用形態(tài)閉合算子來創(chuàng)建圖像b。3)從圖像a中減去圖像b。4)圖像中物體的定位，計(jì)數(shù)與測量。使用像素強(qiáng)度的閾值來將對(duì)象從其背景中分割出來。5)對(duì)象的過濾和篩選。松線只能保持在基線以上且必須有一個(gè)最小尺寸。其中一些處理步驟是非常耗時(shí)的，例如形態(tài)學(xué)和卷積運(yùn)算。為了加快運(yùn)算速度，只要可能，就要引入掩模，以便只在其內(nèi)部進(jìn)行處理。步驟五、誤差校正：1)相機(jī)校準(zhǔn)：對(duì)于頂置相機(jī)和前置相機(jī)，它們和物體之間的相對(duì)幾何結(jié)構(gòu)是剛性約束的。一般來說，工作距離，即相機(jī)透鏡中心和對(duì)象之間的距離，可以認(rèn)為是恒定不變的。待確定模型的參數(shù)數(shù)量少，校準(zhǔn)難度小，允許減少不確定性來源的影響，并避免某些校準(zhǔn)算法的數(shù)值不穩(wěn)定?；旧希謩e引入水平和垂直方向的兩個(gè)比例系數(shù)βx和βy，以便關(guān)聯(lián)真實(shí)點(diǎn)的度量橫向坐標(biāo)和其圖像的像素坐標(biāo)：系數(shù)βx和βy，其單位為毫米/像素，必須在校準(zhǔn)階段進(jìn)行評(píng)估，它們需要每個(gè)相機(jī)對(duì)矯正塊進(jìn)行單個(gè)圖像的采集，矯正塊模型如圖5所示，其特征尺寸lx和ly是一個(gè)給定的精度。垂直參考尺寸ly在兩個(gè)視圖中是不同的：要么ly，上為頂部視圖，要么ly，前為前部視圖。以下將一個(gè)通用的程序，分別應(yīng)用于這兩種視圖，提供適當(dāng)ly的選擇?；谧钚《朔ǖ奶幚沓绦驈膱D像中提取像素長度，得到lu和lv這兩個(gè)相同的尺寸。接著根據(jù)等式(2)會(huì)求解出βx和βy：矯正塊放置在相機(jī)的前面，因此透鏡和參考物體表面的采集尺寸距離為zcal，大約等于與實(shí)際測量對(duì)象的最大與最小距離的平均值。2)系統(tǒng)深度誤差矯正，分析了關(guān)于測量和由于對(duì)象的非平面性造成的誤差。獲得兩個(gè)比例系數(shù)之后，長度的測量可以用兩點(diǎn)之間(dmx,dmy)的歐氏距離進(jìn)行表示，并用公式(1)進(jìn)行計(jì)算?？紤]到應(yīng)用，所有測量都是沿水平或者豎直方向，將水平和垂直方程分離。長度的測量取決于平面到相機(jī)的距離(zcal+z)，這與在校準(zhǔn)過程中采用的距離zcal不同，會(huì)產(chǎn)生誤差。該誤差的水平分量ex在圖6中表示出來。γx是攝像機(jī)軸線z和攝像機(jī)水平坐標(biāo)成像點(diǎn)xp與像素在水平方向坐標(biāo)up連線之間的角度的水平分量。f是相機(jī)常數(shù)，近似等于透鏡焦距。引進(jìn)水平像素密度ku即為水平分辨率大小的倒數(shù)(大多數(shù)工業(yè)相機(jī)在3毫米和7毫米之間)，ku單位為像素/毫米，裝置的值可以用相機(jī)本身所提供的參數(shù)來表示，沿水平方向和垂直方向的誤差分別為ex、ey：在目前的情況下，當(dāng)預(yù)期的真實(shí)點(diǎn)δz是已知時(shí)，可以通過公式(3a)和(3b)來確定水平和垂直方向所需矯正的誤差的分量ex、ey，通過公式(1)來估算未經(jīng)修正的值dmx和dmy，根據(jù)公式(4)求得深度誤差矯正后的坐標(biāo)值dcx、dcy：實(shí)施例：為了評(píng)估本發(fā)明的計(jì)量性能，現(xiàn)對(duì)所有所需數(shù)據(jù)進(jìn)行測量。為了這個(gè)目的，收集合適的線性電磁制動(dòng)器驗(yàn)證集，并對(duì)該組零件進(jìn)行重復(fù)觀察。1實(shí)驗(yàn)所需系統(tǒng)描述：線性電磁制動(dòng)器質(zhì)量檢測系統(tǒng)是由兩個(gè)相機(jī)通過以太網(wǎng)總線連接到一個(gè)控制工業(yè)pc。系統(tǒng)組件如圖7所示。兩個(gè)相機(jī)，必須設(shè)置在頂部和前部，因?yàn)闇y量的長度可以觀察到產(chǎn)品的兩個(gè)不同的側(cè)面。還有一個(gè)國家儀器數(shù)據(jù)采集板nipci-6601通過usb總線連接到處理單元，它的數(shù)字i/o線用于與管理的生產(chǎn)線的plc(可編程邏輯控制器)進(jìn)行信息交換。在labview進(jìn)行軟件開發(fā)。兩張圖像是由兩個(gè)成像源dfk23g445gigabit以太網(wǎng)相機(jī)獲得的，配備了索尼icx445aqa逐行掃描ccd傳感器。隔行ccd的固態(tài)圖像傳感器的對(duì)角線為6毫米(1/3″)，正方形像素陣列和1.25米有效像素。漸進(jìn)掃描使所有的像素信號(hào)在1/22.5秒內(nèi)輸出。圖像大小為1280×960像素。相機(jī)使用富士龍鏡頭cf25ha-1與25毫米焦距，最大光圈值是1:1.4，光圈范圍為[1.4，22]，允許與物體最小的距離為0.1米。2基于視覺系統(tǒng)線性電磁制動(dòng)器在線質(zhì)量檢測仿真實(shí)驗(yàn)：2.1定量測量矩形感興趣區(qū)測量數(shù)據(jù)有18個(gè)：11個(gè)屬于頂部視圖，包括7個(gè)長度的測量(l1……l4，l’2……l’4)，四個(gè)鍍錫金屬刀片參考尺寸的測量(l5，l6，l’5，l’6)，6個(gè)是兩個(gè)金屬刀片的幾何特征(α，w，h，α’，w’，h’)，以及在前端圖像測量的錐度比d。驗(yàn)證集由50個(gè)機(jī)電零件組成較為合適，以再現(xiàn)大范圍的生產(chǎn)行為。更為詳細(xì)地說，驗(yàn)證集就是30％的件滿足所有規(guī)格，而其他件不滿足至少一個(gè)規(guī)范。驗(yàn)證件依次放在生產(chǎn)線的末端，并由測量系統(tǒng)進(jìn)行處理。這個(gè)單一的測量序列需重復(fù)30次。對(duì)于每一件，將獲得的測量值與參考值進(jìn)行比較，并計(jì)算錯(cuò)誤率。測量參考值是由專家質(zhì)量操作員手動(dòng)獲得。表1中，對(duì)結(jié)果進(jìn)行了總結(jié)。表1定量檢測數(shù)據(jù)總結(jié)正確的檢測率(cd)，是檢測多個(gè)件在平均測得值(重復(fù)檢測30次)之間的比例，這個(gè)值兼容了參考值和零件的數(shù)量；漏檢率(md)，即從規(guī)范(參考值)中所測得的數(shù)量與測試集個(gè)數(shù)相匹配的數(shù)量；誤報(bào)率(fd)，評(píng)價(jià)為在規(guī)格范圍內(nèi)(參考值)的件的數(shù)量，其中所測的值與公差和測試集的數(shù)量不匹配。在每一個(gè)測量的規(guī)格范圍內(nèi)，會(huì)觀察到的平均值和標(biāo)準(zhǔn)偏差的誤差，也會(huì)報(bào)告相對(duì)規(guī)范的正確檢測率(cd)，漏檢率(md)和誤報(bào)率(fd)。必須指出的是，在某些情況下，一個(gè)缺陷的發(fā)生可能使得另一個(gè)缺陷不能進(jìn)行測量。從質(zhì)量保證的角度來看，這個(gè)問題并不重要，因?yàn)槟莻€(gè)件肯定是要丟棄的。表1結(jié)果不包括測量粗差。2.2松線檢測對(duì)線性電磁制動(dòng)器進(jìn)行松線檢測。為了評(píng)估它的性能而收集另外一個(gè)驗(yàn)證集。它包含40件，其中20不存在任何松散的銅線，而其余的在不同的位置都有松散銅線。此外，在這種情況下，產(chǎn)品被系統(tǒng)在線處理并重復(fù)操作了10次，就是為了探索系統(tǒng)行為的可重復(fù)性。表2為松線檢測的性能總結(jié)：分類正確率(cc)：評(píng)價(jià)的是正確分類的比例(有或沒有松動(dòng)的銅線)和測試的數(shù)量(40×10)；漏檢率(md)：占檢測數(shù)的比例是與未檢測到的松動(dòng)銅線和檢測次數(shù)有關(guān)。錯(cuò)檢率(fd)：占檢測數(shù)的比例是與未有缺陷的件被錯(cuò)誤的識(shí)別為有松散銅線以及檢測的次數(shù)有關(guān)。表2松線檢測性能總結(jié)cdmdfd95.0％4.5％0.5％2.3處理時(shí)間該測量系統(tǒng)的處理時(shí)間約為300毫秒，使用普通的工業(yè)pc(i7處理器，4gb的ram)。這個(gè)值允許監(jiān)視100％的產(chǎn)品，而不降低實(shí)際的生產(chǎn)率。綜上所述，該系統(tǒng)對(duì)機(jī)電零件的臨界長度的尺寸進(jìn)行測量，描述了模型的測量以及誤差校正的分析發(fā)展。這個(gè)線上的非接觸式解決方案促使生產(chǎn)廢物急劇減少，因此減少了相關(guān)的成本，提高了生產(chǎn)效率。當(dāng)前第1頁12