一種基于二進制特征匹配的遮擋工件識別方法及裝置制造方法
【專利摘要】本發(fā)明涉及一種基于二進制特征匹配的遮擋工件識別方法及裝置，它在解決遮擋工件識別問題的同時，可以降低計算復雜度，減少存儲空間，提高匹配精度，而且對環(huán)境光線、視角變化和部分遮擋都具有較好的魯棒性，在不同干擾環(huán)境下都可以對遮擋工件進行識別，具有良好的識別效果。因此，本發(fā)明可以廣泛用于圖像識別領(lǐng)域。
【專利說明】-種基于二進制特征匹配的遮擋工件識別方法及裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種工件識別方法及裝置，特別是關(guān)于一種基于二進制特征匹配的遮 擋工件識別方法及裝置。

【背景技術(shù)】
[0002] 機器人在工業(yè)裝備制造中應(yīng)用廣泛，在工業(yè)生產(chǎn)中發(fā)揮了巨大作用。機器人既可 用于加工、裝配、搬運、分揀等單調(diào)繁瑣的重復性工作，又可用于焊接、噴涂、激光加工、壓力 鑄造等對人體有害的工藝操作。使用機器人不僅能節(jié)約人力、降低工人勞動強度、提高生產(chǎn) 效率、降低生產(chǎn)成本，而且生產(chǎn)的產(chǎn)品質(zhì)量穩(wěn)定。將機器視覺技術(shù)引入機器人控制中，使機 器人能模擬人類視覺認知和判斷的功能，通過獲取現(xiàn)場圖像，基于一定的圖像處理和模式 識別技術(shù)實現(xiàn)目標識別、分揀等，可極大提高機器人的智能化水平。
[0003] 工件識別是機器視覺應(yīng)用于工業(yè)領(lǐng)域的關(guān)鍵技術(shù)之一，目的是將一種類型的工件 從其它類型的工件中區(qū)分出來。在機械加工、裝配、分揀等自動化生產(chǎn)環(huán)節(jié)中，都需要先對 工件進行識別，但遮擋問題是工件識別過程中具有挑戰(zhàn)性的問題。在工業(yè)生產(chǎn)線或工作臺 上，工件的擺放位姿不固定，多個工件之間常存在遮擋，攝取的工件圖像信息不完整，導致 工件識別準確度顯著下降，甚至無法識別，導致生產(chǎn)效率的降低。
[0004] 現(xiàn)有的工件識別中的問題如下：
[0005] l)Liu ff,ffang P,Qiao H. Part-based adaptive detection of workpieces using differential evolution.Signal Processing,2012,92 (2):301-307.
[0006] 中提出一種部分遮擋工件的檢測方法，其基本思路是：利用基于形狀劃分的方法， 將模板工件的完整輪廓劃分成多個子輪廓，根據(jù)它們的辨別力賦予不同的權(quán)重，然后用差 分演化方法實現(xiàn)遮擋工件的檢測和定位。該方法檢測結(jié)果的準確性依賴于輪廓分段的合理 性，適用于輪廓變化比較多的工件，而對于輪廓變化比較少的工件，其檢測精度較低，適用 性較差。
[0007] 2)Liu Μ Y, Tuzel 0, Veeraraghavan A. Fast object localization and pose estimation in heavy clutter for robotic bin picking. The International Journal of Robotics Research，2012, 31 (8) :951-973.中提出一種適用于遮擋工件識別設(shè)備及方 法，其基本思路是：利用多角度曝光攝像頭拍攝圖像，計算出工件邊緣的深度信息，然后利 用快速形狀匹配算法，實現(xiàn)工件識別和姿態(tài)判定。以上兩種方法設(shè)備復雜，成本較高；數(shù)據(jù) 獲取和處理過程復雜，計算量較大。
[0008] 3) Wang X H, Fu ff P, Zhu D X. Research on recognition of work-piece based on improved SIFT algorithm. International Conference on Electronic Measurement&Instruments，Beijing，China，20091:417-421.中提出一種基于改進 SIFT(Scale Invariant Feature Transform,尺度不變特征變換）算法的工件識別方法。其 基本思路是：利用SIFT算法獲取圖像在平移、旋轉(zhuǎn)、縮放和遮擋等情況下的穩(wěn)定特征，應(yīng)用 棋盤距離和街區(qū)距離的線性組合取代歐氏距離，并采用動態(tài)減少計算距離過程中所涉及的 特征數(shù)目來提高算法的效率，有效的解決了遮擋工件的識別問題。該方法利用SIFT算法提 取特征點和生成特征描述子的過程復雜，計算量大；特征描述子用浮點數(shù)表示，內(nèi)存占用量 大，匹配速度低。
[0009] 4)桂振文，劉越，王涌天.一種適用于移動終端的視覺搜索方法.中國專利： 103530649A，2014-01-22.中 申請人:公開了一種適用于移動終端的視覺搜索方法。其基 本思路是：利用移動終端采集當前場景的待識別工件圖像，并獲取采集圖像時移動終端的 重力方向和當前場景的GPS信息；采用二進制局部特征檢測算法BRISK (Binary Robust Invariant Scalable Keypoints，二進制魯棒伸縮不變性關(guān)鍵點）對待識別工件圖像進行 特征點檢測，得到待識別工件圖像的特征點；根據(jù)所述重力方向，用特征描述符FREAK (Fast Retina Keypoint，快速視網(wǎng)膜關(guān)鍵點）對所述特征點進行描述，獲得待識別工件圖像的二 進制局部特征向量；將GPS信息和二進制局部特征向量打包成一描述符文件，從樣本庫中 尋找與待識別工件圖像最相近的樣本圖像，實現(xiàn)視覺搜索。該專利存在以下問題：（1)利 用FREAK算法建立描述子時采用固定采樣模式，只抽取有限的采樣點個數(shù)，這種方法雖然 計算量下降，但是由于受到抽樣點個數(shù)和位置的影響，描述子的辨別力差，匹配精度低。（2) FREAK算法在獲取最優(yōu)采樣點對位置時，只用采樣點對的均值與0. 5的距離表示采樣點對 的辨別力，然后簡單地去除相關(guān)性大于某個閾值的采樣點對，忽略了相關(guān)性對辨別力的影 響，難以達到令人滿意的匹配結(jié)果。
[0010] 綜上所述，現(xiàn)有的工件識別方法存在如下技術(shù)問題：（1)針對某些特定工件進行 識別，普適性較差，應(yīng)用領(lǐng)域受限；（2)借助多角度曝光攝像頭等復雜設(shè)備實現(xiàn)工件識別， 致使成本較高，數(shù)據(jù)獲取和處理過程復雜，計算量較大；（3)利用SIFT算法實現(xiàn)遮擋工件識 另IJ，計算量和存儲空間大；(4) FREAK算法獲得的描述子辨別力低，匹配效果不理想。


【發(fā)明內(nèi)容】

[0011] 針對上述問題，本發(fā)明的目的是提供一種基于二進制特征匹配的遮擋工件識別方 法及裝置。
[0012] 為實現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案：一種基于二進制特征匹配的遮擋工 件識別方法，它包括以下步驟：1)采用攝像頭拍攝工件模板圖像和待識別工件圖像；2)將 工件模板圖像進行預處理，并采用BRISK算法提取工件模板圖像上的特征點，并將其轉(zhuǎn)換 成二進制特征描述子；3)采用步驟2)相同的方法提取待識別工件圖像上的特征點，并將其 轉(zhuǎn)換成二進制特征描述子；4)采用近似最近鄰方法尋找待識別工件圖像與工件模板圖像 相匹配的特征點，得到所有相匹配的初始匹配點集合；5)采用RANSAC算法剔除得到所有相 匹配的初始匹配點集合中的錯誤匹配點對，得到正確匹配點對，進而完成工件識別。
[0013] 所述步驟2)中包括以下步驟：①將工件模板圖像進行預處理，得到濾波后的平滑 圖像；②采用BRISK算法提取濾波后的平滑工件模板圖像上的特征點，其包括以下步驟： I、構(gòu)建尺度空間金字塔；II、在尺度空間金字塔的每一層，采用FAST算法獲取濾波后的平 滑圖像的潛在特征點；III、對每一潛在特征點在尺度空間中進行非極大值抑制，并剔除一些 非極大值的特征點，得到初步的特征點；IV、對每個初步的特征點進行亞像素和尺度校正， 得到精確的特征點位置和尺度；③通過比較FREAK方法獲取最優(yōu)采樣點對的灰度值大小來 構(gòu)造描述子，將工件模板圖像上的特征點轉(zhuǎn)化為二進制特征描述子，其包括以下步驟：I、 采用FREAK方法獲取最優(yōu)采樣點對的位置；II、利用灰度質(zhì)心法確定每個特征點的主方向； III、將最優(yōu)采樣點對的位置和特征點的主方向構(gòu)建二進制特征描述子。
[0014] 所述步驟4)中包括以下步驟：設(shè)工件模板圖像為P= {Pl，p2，…，pm}，其特征描述 子集合為VP= {vppvp^u'vpj ;待識別工件圖像中的特征點集合為Q= 特征描述子集合為VQ = {vqp vq2，…，vqn}，每個描述子用二進制特征向量表示，長度為512 個比特；搜索表示模糊信息的512個比特中的前N個比特的描述特征，剩余512-N個比特， 其中N彡128 ;如果匹配距離小于所設(shè)閾值，則進行后面特征的匹配，其具體步驟如下：①對 于工件模板圖像中的特征描述子vPi，計算v Pi前N個比特和待識別工件圖像中的特征描述 子Vqj前N個比特的漢明距離HD」

【權(quán)利要求】
1. 一種基于二進制特征匹配的遮擋工件識別方法，它包括以下步驟： 1) 采用攝像頭拍攝工件模板圖像和待識別工件圖像； 2) 將工件模板圖像進行預處理，并采用BRISK算法提取工件模板圖像上的特征點，并 將其轉(zhuǎn)換成二進制特征描述子； 3) 采用步驟2)相同的方法提取待識別工件圖像上的特征點，并將其轉(zhuǎn)換成二進制特 征描述子； 4) 采用近似最近鄰方法尋找待識別工件圖像與工件模板圖像相匹配的特征點，得到所 有相匹配的初始匹配點集合； 5) 采用RANSAC算法剔除得到所有相匹配的初始匹配點集合中的錯誤匹配點對，得到 正確匹配點對，進而完成工件識別。
2. 如權(quán)利要求1所述的一種基于二進制特征匹配的遮擋工件識別方法，其特征在于： 所述步驟2)中包括以下步驟： ① 將工件模板圖像進行預處理，得到濾波后的平滑圖像； ② 采用BRISK算法提取濾波后的平滑工件模板圖像上的特征點，其包括以下步驟： I、 構(gòu)建尺度空間金字塔； II、 在尺度空間金字塔的每一層，采用FAST算法獲取濾波后的平滑圖像的潛在特征 占. III、 對每一潛在特征點在尺度空間中進行非極大值抑制，并剔除一些非極大值的特征 點，得到初步的特征點； IV、 對每個初步的特征點進行亞像素和尺度校正，得到精確的特征點位置和尺度； ③ 通過比較FREAK方法獲取最優(yōu)采樣點對的灰度值大小來構(gòu)造描述子，將工件模板圖 像上的特征點轉(zhuǎn)化為二進制特征描述子，其包括以下步驟： I、 采用FREAK方法獲取最優(yōu)采樣點對的位置； II、 利用灰度質(zhì)心法確定每個特征點的主方向； III、 將最優(yōu)采樣點對的位置和特征點的主方向構(gòu)建二進制特征描述子。
3. 如權(quán)利要求1所述的一種基于二進制特征匹配的遮擋工件識別方法，其特征在于： 所述步驟4)中包括以下步驟： 設(shè)工件模板圖像為P=(P1, P2,…，PnJ，其特征描述子集合為VP = Ivp1, VP2,…，VP1J ;待 識別工件圖像中的特征點集合為Q=Iq1,q2,…，qn}，其特征描述子集合為VQ=Ivq1,vq2,… ，vqn}，每個描述子用二進制特征向量表示，長度為512個比特； 搜索表示模糊信息的512個比特中的前N個比特的描述特征，剩余512-N個比特，其中N彡128 ;如果匹配距離小于所設(shè)閾值，則進行后面特征的匹配，其具體步驟如下： ① 對于工件模板圖像中的特征描述子vPi，計算VPi前N個比特和待識別工件圖像中的 特征描述子Vqj前N個比特的漢明距離HDj :
其中，?表示異或操作； ② 如果HDj大于等于設(shè)定閾值T1，取30?50,則判定Vpi和Vqj為不匹配的特征向量； ③ 如果HDj小于設(shè)定閾值T1，則計算vPi剩余512-N個比特與Vqj剩余512-N個比特的 漢明距離，加上前N個比特的漢明距離，得到Vpi和Vqj整個512個比特的漢明距離HD'」； ④ 尋找最小漢明距離HD'min和次最小漢明距離HD' se。，當
時，則判定vpJP vqmin為匹配的特征向量，對應(yīng)的特征點Pi和qmin為一對匹配的特征點； ⑤ 重復步驟①?④，遍歷工件模板圖像中的特征描述子集合VP中的所有元素，得到所 有相匹配的初始匹配點集合。
4. 如權(quán)利要求2所述的一種基于二進制特征匹配的遮擋工件識別方法，其特征在于： 所述步驟4)中包括以下步驟： 設(shè)工件模板圖像為P=(P1, P2,…，PnJ，其特征描述子集合為VP=Ivp1,VP2,…，VP1J;待 識別工件圖像中的特征點集合為Q=Iq1,q2,…，qn}，其特征描述子集合為VQ=Ivq1,vq2,… ，vqn}，每個描述子用二進制特征向量表示，長度為512個比特； 搜索表示模糊信息的512個比特中的前N個比特的描述特征，剩余512-N個比特，其中N彡128 ;如果匹配距離小于所設(shè)閾值，則進行后面特征的匹配，其具體步驟如下： ① 對于工件模板圖像中的特征描述子vPi，計算VPi前N個比特和待識別工件圖像中的 特征描述子Vqj前N個比特的漢明距離HDj :
其中，?表示異或操作； ② 如果HDj大于等于設(shè)定閾值T1，取30?50,則判定Vpi和Vqj為不匹配的特征向量； ③ 如果HDj小于設(shè)定閾值T1，則計算Vpi剩余512-N個比特與Vqj剩余512-N個比特的 漢明距離，加上前N個比特的漢明距離，得到Vpi和Vqj整個512個比特的漢明距離HD'」； ④ 尋找最小漢明距離HD'min和次最小漢明距離HD'se。，當'
時，則判定VPi和 Vqmin為匹配的特征向量，對應(yīng)的特征點Pi和qmin為一對匹配的特征點； ⑤ 重復步驟①?④，遍歷工件模板圖像中的特征描述子集合VP中的所有元素，得到所 有相匹配的初始匹配點集合。
5. 如權(quán)利要求1或2或3或4所述的一種基于二進制特征匹配的遮擋工件識別方法， 其特征在于：所述步驟5)中包括以下步驟： 設(shè)點集E為工件模板圖像上得到的初始匹配點集合，F(xiàn)為待識別工件圖像上得到 的初始匹配點集合，工件模板圖像與待識別工件圖像之間的變換關(guān)系用投影變換矩陣
來描述；對圖像中的一點P(x，y)，該點通過投影變換矩陣H變換到點 (x/ ,y/ )：
其中，投影變換模型H可通過四對匹配點求出； RANSAC算法剔除得到所有相匹配的初始匹配點集合中的錯誤匹配點對的具體步驟如 下： ① 在集合E和F中，隨機選取4對匹配點對，計算這四對點對的投影變換矩陣； ② 在集合F余下特征點中，選取特征點（x2,y2)，用步驟①中計算得到的投影變換矩陣 H對其進行變換，得到變換后的坐標值（X' 2,y' 2)，若E中對應(yīng)特征點的坐標值（Xl，yi)與 (x' 2,y' 2)滿足.
，則認為匹配點對（Xl，Y1)和（x2,y2)符合模型H， 稱為內(nèi)點，其中e為內(nèi)外點距離閾值，取3或4; ③ 重復步驟②，遍歷集合F余下所有特征點，統(tǒng)計符合投影變換矩陣的匹配點對數(shù)，即 內(nèi)點集的大?。? ④ 重復步驟①?③，找到內(nèi)點對數(shù)量最多的一次變換，將該次變換得到的內(nèi)點對集合 作為新的點集E和F，進行新一輪的迭代； ⑤ 當?shù)玫降膬?nèi)點對數(shù)目與此次迭代前點集E和F中的點對數(shù)目一致時，迭代終止， 最后這次迭代的E和F，就是剔除誤匹配后的匹配點集合，得到正確匹配點對，進而完成工 件識別。
6. -種實現(xiàn)如權(quán)利要求1?5任一項所述的基于二進制特征匹配的遮擋工件識別方法 的裝置，其特征在于：它包括圖像采集單元、工件模板圖像特征提取單元、待識別工件圖像 特征提取單元、特征匹配單元和剔除誤匹配單元； 其中，所述圖像采集單元攝取工件模板圖像和待識別工件圖像，并對應(yīng)傳送給所述工 件模板圖像特征提取單元和所述待識別工件圖像特征提取單元；所述工件模板圖像特征提 取單元提取工件模板圖像上的特征點，并將其轉(zhuǎn)換成二進制特征描述子，并傳送給所述特 征匹配單元；所述待識別工件圖像特征提取單元提取待識別工件圖像上的特征點，將其轉(zhuǎn) 化為二進制特征描述子進行表示，并將其傳送給所述特征匹配單元；所述特征匹配單元采 用漢明距離作為匹配準則尋找待識別工件圖像與工件模板圖像相匹配的特征點，得到所有 相匹配的初始匹配點，并將所有初始匹配點傳送給所述剔除誤匹配單元；所述剔除誤匹配 單元剔除得到所有相匹配的初始匹配點集合中的錯誤匹配點對，得到正確匹配點對，進而 完成工件識別。
7. 如權(quán)利要求6所述的一種基于二進制特征匹配的遮擋工件識別裝置，其特征在于： 所述工件模板圖像特征提取單元和所述待識別工件圖像特征提取單元都包括圖像預處理 模塊、特征點檢測模塊和特征點描述模塊；所述圖像預處理模塊將提取的圖像進行灰度變 換和中值濾波處理后傳送給所述特征點檢測模塊，所述特征點檢測模塊采用BRISK算法檢 測圖像中的特征點，并將圖像上的特征點傳送給所述特征點描述模塊；所述特征點描述模 塊將特征點轉(zhuǎn)化為二進制特征描述子，并傳送給所述特征匹配單元。
8. 如權(quán)利要求6或7所述的一種基于二進制特征匹配的遮擋工件識別裝置，其特征在 于：所述圖像采集單元采用單目攝像頭。
【文檔編號】G06K9/66GK104268602SQ201410543452
【公開日】2015年1月7日 申請日期:2014年10月14日 優(yōu)先權(quán)日:2014年10月14日
【發(fā)明者】陳喆, 殷福亮, 李騰 申請人:大連理工大學