本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體說是一種基于小樣本訓(xùn)練的工件識(shí)別方法。

背景技術(shù)：

1、在生產(chǎn)裝配環(huán)節(jié)中，零件型號(hào)的識(shí)別是重要的環(huán)節(jié)。傳統(tǒng)的零件識(shí)別方法易受光線和噪聲的影響，且不適合大規(guī)模多種類型的識(shí)別任務(wù)，而深度學(xué)習(xí)目標(biāo)識(shí)別方法可以避免傳統(tǒng)方法的缺點(diǎn)，突破其性能瓶頸，提高識(shí)別零件的速度和正確度，但裝配零件通常具有小樣本的特性，難以使用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)。

2、小樣本工件的特點(diǎn)首先樣本數(shù)量非常有限，可能只有幾十個(gè)甚至更少。這種情況下，傳統(tǒng)的深度學(xué)習(xí)模型(如卷積神經(jīng)網(wǎng)絡(luò))難以從這些少量樣本中學(xué)習(xí)到足夠的特征，導(dǎo)致模型的泛化能力較差，容易出現(xiàn)過擬合現(xiàn)象。并且小樣本數(shù)據(jù)往往存在類別不均衡的問題，某些類別的樣本數(shù)量極少，這使得模型在訓(xùn)練過程中難以充分學(xué)習(xí)到這些類別的特征，導(dǎo)致識(shí)別效果不佳。yolov8算法的核心在于其高效的特征提取和目標(biāo)檢測(cè)機(jī)制，但在小樣本情況下，其特征提取模塊(如卷積層、池化層等)可能無法從有限的樣本中提取出足夠有代表性的特征。具體來說，yolov8的特征金字塔網(wǎng)絡(luò)(fpn)和多尺度檢測(cè)機(jī)制在小樣本數(shù)據(jù)上可能無法充分發(fā)揮作用，導(dǎo)致檢測(cè)效果不佳。

技術(shù)實(shí)現(xiàn)思路

1、為了更好地解決現(xiàn)有技術(shù)中的上述不足，本發(fā)明提出了一種基于小樣本訓(xùn)練的工件識(shí)別方法，通過：1)建立互增強(qiáng)結(jié)構(gòu)對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)；2)利用mllattention模塊對(duì)yolov8網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)并訓(xùn)練，實(shí)現(xiàn)未知目標(biāo)的快速有效的識(shí)別和分割工件，對(duì)后續(xù)工業(yè)生產(chǎn)環(huán)節(jié)和工業(yè)自動(dòng)化工藝加工過程進(jìn)行支持。

2、本發(fā)明為實(shí)現(xiàn)上述目的所采用的技術(shù)方案是：一種基于小樣本訓(xùn)練的工件識(shí)別方法，包括以下步驟：

3、s1、獲取工件表面圖像，進(jìn)行標(biāo)簽處理，制作標(biāo)簽-圖像對(duì)數(shù)據(jù)集；

4、s2、建立互增強(qiáng)結(jié)構(gòu)的小樣本數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)，包括數(shù)據(jù)挖掘模型和對(duì)比學(xué)習(xí)模型，所述數(shù)據(jù)挖掘模型用于挖掘已有標(biāo)簽-圖像對(duì)數(shù)據(jù)間的內(nèi)在聯(lián)系、生成圖像數(shù)據(jù)及對(duì)應(yīng)標(biāo)簽；所述對(duì)比學(xué)習(xí)模型用于將數(shù)據(jù)挖掘模型生成的圖像數(shù)據(jù)與原始真實(shí)圖像比較，從而判斷生成圖像數(shù)據(jù)的質(zhì)量，并回調(diào)挖掘模型的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使其滿足質(zhì)量精度要求，得到理想的小樣本數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)，用于數(shù)據(jù)擴(kuò)充；

5、s3、改進(jìn)yolov8網(wǎng)絡(luò)結(jié)構(gòu)，以數(shù)據(jù)擴(kuò)充后的標(biāo)簽-圖像對(duì)數(shù)據(jù)集迭代訓(xùn)練該網(wǎng)絡(luò)，并反向傳播優(yōu)化網(wǎng)絡(luò)參數(shù)得到最優(yōu)的改進(jìn)yolov8網(wǎng)絡(luò)結(jié)構(gòu)，使其能識(shí)別定位圖像中目標(biāo)工件，輸出工件的標(biāo)簽；

6、s4、將待檢測(cè)的未知目標(biāo)圖像輸入最優(yōu)的改進(jìn)yolov8網(wǎng)絡(luò)結(jié)構(gòu)，自動(dòng)輸出未知工件的類別標(biāo)簽及位置回歸框。

7、所述工件表面圖像為工業(yè)現(xiàn)場(chǎng)高像素相機(jī)拍攝，且在有無遮擋的情況下對(duì)工件表面圖像進(jìn)行多角度拍攝，以及采用開源數(shù)據(jù)集的多種類型的工件圖像。

8、所述標(biāo)簽處理為人工對(duì)當(dāng)前工件標(biāo)注信息：工件類型、顏色、尺寸形狀信息，以及標(biāo)畫工件輪廓的外接矩形。

9、所述數(shù)據(jù)挖掘模型采用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)。

10、所述對(duì)比學(xué)習(xí)模型采用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行質(zhì)量誤差比對(duì)計(jì)算。

11、所述改進(jìn)yolov8網(wǎng)絡(luò)結(jié)構(gòu)包括：分別在原有檢測(cè)頭網(wǎng)絡(luò)中的各檢測(cè)單元末尾的c2f模塊之后添加mllattention模塊，再次進(jìn)行注意力特征提取，加深網(wǎng)絡(luò)特征提取能力，將mllattention模塊的輸出作為檢測(cè)識(shí)別結(jié)果，實(shí)現(xiàn)多尺度分辨像素級(jí)的識(shí)別分割定位。

12、所述改進(jìn)后的yolov8網(wǎng)絡(luò)結(jié)構(gòu)包括骨干網(wǎng)絡(luò)、檢測(cè)頭網(wǎng)絡(luò)；

13、骨干網(wǎng)絡(luò)包括依次串聯(lián)的一系卷積conv和c2f模塊構(gòu)成的組合單元，以及最后的池化金字塔sppf模塊，輸出若干個(gè)不同尺度的特征；

14、檢測(cè)頭網(wǎng)絡(luò)包括若干個(gè)檢測(cè)單元，所述每個(gè)檢測(cè)單元拼接上一級(jí)檢測(cè)單元的輸出特征和骨干網(wǎng)絡(luò)輸出的特征并利用c2f模塊、mllattention模塊進(jìn)一步提取深層特征再輸出。

15、所述步驟s3迭代訓(xùn)練該網(wǎng)絡(luò)包括：

16、設(shè)置網(wǎng)絡(luò)參數(shù)、損失函數(shù)、優(yōu)化器、訓(xùn)練批次及迭代輪次；

17、將數(shù)據(jù)擴(kuò)充后的數(shù)據(jù)劃分為訓(xùn)練集和驗(yàn)證集，利用訓(xùn)練集數(shù)據(jù)訓(xùn)練該網(wǎng)絡(luò)，以驗(yàn)證集數(shù)據(jù)驗(yàn)證模型精度進(jìn)行迭代訓(xùn)練。

18、一種基于小樣本訓(xùn)練的工件識(shí)別系統(tǒng)，包括控制后臺(tái)、前端界面；

19、所述控制后臺(tái)設(shè)有如下模塊，各模塊相互配合實(shí)現(xiàn)對(duì)未知目標(biāo)圖像的工件識(shí)別定位；數(shù)據(jù)集模塊，用于獲取工件表面圖像，進(jìn)行標(biāo)簽處理，制作標(biāo)簽-圖像對(duì)數(shù)據(jù)集；數(shù)據(jù)增強(qiáng)模塊，用于建立互增強(qiáng)結(jié)構(gòu)的小樣本數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)，包括數(shù)據(jù)挖掘模型和對(duì)比學(xué)習(xí)模型，所述數(shù)據(jù)挖掘模型用于挖掘已有標(biāo)簽-圖像對(duì)數(shù)據(jù)間的內(nèi)在聯(lián)系、生成圖像數(shù)據(jù)及對(duì)應(yīng)標(biāo)簽；所述對(duì)比學(xué)習(xí)模型用于將數(shù)據(jù)挖掘模型生成的圖像數(shù)據(jù)與原始真實(shí)圖像比較，從而判斷生成圖像數(shù)據(jù)的質(zhì)量，并回調(diào)挖掘模型的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，使其滿足質(zhì)量精度要求，得到理想的小樣本數(shù)據(jù)增強(qiáng)網(wǎng)絡(luò)，用于數(shù)據(jù)擴(kuò)充；工件識(shí)別模塊，用于建立改進(jìn)的yolov8網(wǎng)絡(luò)結(jié)構(gòu)，以數(shù)據(jù)擴(kuò)充后的標(biāo)簽-圖像對(duì)數(shù)據(jù)集迭代訓(xùn)練該網(wǎng)絡(luò)，并反向傳播優(yōu)化網(wǎng)絡(luò)參數(shù)得到最優(yōu)的改進(jìn)yolov8網(wǎng)絡(luò)結(jié)構(gòu)，使其能識(shí)別定位圖像中目標(biāo)工件，輸出工件的標(biāo)簽；

20、前端界面，用人機(jī)交互，采集待檢測(cè)圖像，設(shè)置網(wǎng)絡(luò)參數(shù)、損失函數(shù)、優(yōu)化器、訓(xùn)練批次及迭代輪次，以及可視化展示控制后臺(tái)計(jì)算處理的工件識(shí)別定位結(jié)果，包括：工件的位置、類別和識(shí)別分?jǐn)?shù)，用于判斷工件的狀態(tài)。

21、本發(fā)明具有以下有益效果及優(yōu)點(diǎn)：

22、1.可視化。改進(jìn)后的yolov8算法能夠?qū)⒐ぜR(shí)別的結(jié)果實(shí)時(shí)顯示在監(jiān)控界面上，用戶可以清晰地看到工件的位置、類別和識(shí)別分?jǐn)?shù)，方便快速判斷工件的狀態(tài)。

23、2.交互式分析：用戶可以通過點(diǎn)擊屏幕上的工件圖標(biāo)，查看工件的詳細(xì)信息，包括工件的歷史記錄、質(zhì)量檢測(cè)結(jié)果等。

24、3.準(zhǔn)確性。通過改進(jìn)后的yolov8算法，在移動(dòng)設(shè)備上執(zhí)行對(duì)象檢測(cè)和分割任務(wù)的速度和準(zhǔn)確性得到了顯著提高。

技術(shù)特征：

1.一種基于小樣本訓(xùn)練的工件識(shí)別方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于小樣本訓(xùn)練的工件識(shí)別方法，其特征在于，所述工件表面圖像為工業(yè)現(xiàn)場(chǎng)高像素相機(jī)拍攝，且在有無遮擋的情況下對(duì)工件表面圖像進(jìn)行多角度拍攝，以及采用開源數(shù)據(jù)集的多種類型的工件圖像。

3.根據(jù)權(quán)利要求1所述的一種基于小樣本訓(xùn)練的工件識(shí)別方法，其特征在于，所述標(biāo)簽處理為人工對(duì)當(dāng)前工件標(biāo)注信息：工件類型、顏色、尺寸形狀信息，以及標(biāo)畫工件輪廓的外接矩形。

4.根據(jù)權(quán)利要求1所述的一種基于小樣本訓(xùn)練的工件識(shí)別方法，其特征在于，所述數(shù)據(jù)挖掘模型采用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)。

5.根據(jù)權(quán)利要求1所述的一種基于小樣本訓(xùn)練的工件識(shí)別方法，其特征在于，所述對(duì)比學(xué)習(xí)模型采用卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)數(shù)據(jù)進(jìn)行質(zhì)量誤差比對(duì)計(jì)算。

6.根據(jù)權(quán)利要求1所述的一種基于小樣本訓(xùn)練的工件識(shí)別方法，其特征在于，所述改進(jìn)yolov8網(wǎng)絡(luò)結(jié)構(gòu)包括：分別在原有檢測(cè)頭網(wǎng)絡(luò)中的各檢測(cè)單元末尾的c2f模塊之后添加mllattention模塊，再次進(jìn)行注意力特征提取，加深網(wǎng)絡(luò)特征提取能力，將mllattention模塊的輸出作為檢測(cè)識(shí)別結(jié)果，實(shí)現(xiàn)多尺度分辨像素級(jí)的識(shí)別分割定位。

7.根據(jù)權(quán)利要求6所述的一種基于小樣本訓(xùn)練的工件識(shí)別方法，其特征在于，所述改進(jìn)后的yolov8網(wǎng)絡(luò)結(jié)構(gòu)包括骨干網(wǎng)絡(luò)、檢測(cè)頭網(wǎng)絡(luò)；

8.根據(jù)權(quán)利要求6所述的一種基于小樣本訓(xùn)練的工件識(shí)別方法，其特征在于，所述步驟s3迭代訓(xùn)練該網(wǎng)絡(luò)包括：

9.根據(jù)權(quán)利要求1-8任意一項(xiàng)所述的一種基于小樣本訓(xùn)練的工件識(shí)別系統(tǒng)，其特征在于，包括控制后臺(tái)、前端界面；

技術(shù)總結(jié)
本發(fā)明涉及一種基于小樣本訓(xùn)練的工件識(shí)別方法。該方法主要是利用高像素相機(jī)來捕捉工件的形狀和尺寸。通過基于一致性的互增強(qiáng)結(jié)構(gòu)進(jìn)行小樣本數(shù)據(jù)增強(qiáng)，通過引入高效、輕量級(jí)的Mamba?Like?Linear?Attention模塊，該模型在移動(dòng)設(shè)備上執(zhí)行對(duì)象檢測(cè)和分割任務(wù)的速度和準(zhǔn)確性得到了顯著提高。實(shí)驗(yàn)結(jié)果表明，在原始YOLOv8進(jìn)行改進(jìn)，與原始YOLOv8模型相比，帶有MLLA模塊的模型在分割精度和識(shí)別精度方面都有所提高。

技術(shù)研發(fā)人員：王鴻亮,修鵬飛,王開柱,李雪嬈,周星宇,郭旭麗,周冬石
受保護(hù)的技術(shù)使用者：中國科學(xué)院沈陽計(jì)算技術(shù)研究所有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10