本發(fā)明涉及機(jī)器人目標(biāo)識(shí)別的，尤其涉及一種基于深度學(xué)習(xí)的工業(yè)機(jī)器人目標(biāo)識(shí)別方法和系統(tǒng)。

背景技術(shù)：

1、在現(xiàn)代制造業(yè)和工業(yè)應(yīng)用中，工業(yè)機(jī)器人在自動(dòng)化和智能化生產(chǎn)過(guò)程中扮演著重要的角色。其中，機(jī)器人的目標(biāo)識(shí)別和感知能力對(duì)于安全、精確性和效率至關(guān)重要，將工件和工人頭盔的誤識(shí)別導(dǎo)致的后續(xù)操作輕則損壞工件，重則傷及工人，造成嚴(yán)重后果。深度學(xué)習(xí)技術(shù)的快速發(fā)展極大推進(jìn)了工業(yè)機(jī)器人領(lǐng)域的發(fā)展，為機(jī)器人系統(tǒng)提供了更高級(jí)的目標(biāo)識(shí)別能力，更靈活的目標(biāo)識(shí)別方法。

2、然而，現(xiàn)有技術(shù)大都是基于圖片和二維傳統(tǒng)卷積操作的目標(biāo)識(shí)別工作，缺乏現(xiàn)實(shí)世界中三維坐標(biāo)的感知能力。已有的三維物體目標(biāo)檢測(cè)方法主要基于三維圖像和三維卷積技術(shù)，但該技術(shù)對(duì)gpu要求過(guò)高，以256像素的三維圖片和u-net為例，顯存至少需要20g，單幅圖片模型訓(xùn)練時(shí)間達(dá)2小時(shí)；也有少部分工作以點(diǎn)云為基礎(chǔ)，這些工作主要是基于點(diǎn)對(duì)特征技術(shù)(ppf)和最近點(diǎn)迭代技術(shù)(icp)的改進(jìn)，但這兩項(xiàng)技術(shù)的對(duì)數(shù)據(jù)完整性要求高，易受到遮擋、工件紋理、光照等因素的影響。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供一種基于深度學(xué)習(xí)的工業(yè)機(jī)器人目標(biāo)識(shí)別方法和系統(tǒng)，目的在于1)研發(fā)一種工業(yè)機(jī)器人目標(biāo)識(shí)別系統(tǒng)，能夠在這些復(fù)雜堆疊場(chǎng)景中，即使目標(biāo)物體僅露出一部分，也能夠準(zhǔn)確地識(shí)別它們，這種功能對(duì)于提高生產(chǎn)效率和減少人工干預(yù)非常關(guān)鍵，例如，工業(yè)機(jī)器人可以在堆積如山的貨物中精確地辨識(shí)和提取所需的零部件，而無(wú)需事先清除或重新排列物料；2)確保工業(yè)機(jī)器人具備高精度的目標(biāo)識(shí)別能力，具體而言，系統(tǒng)需要識(shí)別目標(biāo)物體的確切位置和姿態(tài)，以便機(jī)器人能夠進(jìn)行高精度的操作和控制，這對(duì)于任務(wù)如裝配、焊接、切割、質(zhì)檢以及精密定位至關(guān)重要，通過(guò)實(shí)現(xiàn)此目的，可以提高制造流程的可重復(fù)性和質(zhì)量控制，減少人工干預(yù)，提高產(chǎn)品質(zhì)量；3)開(kāi)發(fā)輕量級(jí)、高效的深度學(xué)習(xí)模型，專門用于點(diǎn)云數(shù)據(jù)的處理，這些模型不僅能夠運(yùn)行在相對(duì)較低的硬件配置上，還能夠高效地處理點(diǎn)云數(shù)據(jù)，以減少機(jī)器人系統(tǒng)的成本和能耗，通過(guò)實(shí)現(xiàn)此目的，可以使更多的工業(yè)機(jī)器人受益于先進(jìn)的目標(biāo)識(shí)別技術(shù)，而無(wú)需進(jìn)行昂貴的硬件升級(jí)，這對(duì)于小型制造企業(yè)或資源受限的環(huán)境尤為有益。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供的一種基于深度學(xué)習(xí)的工業(yè)機(jī)器人目標(biāo)識(shí)別方法，包括以下步驟：

3、步驟s1：使用深度相機(jī)采集待識(shí)別目標(biāo)物體的深度圖像，并轉(zhuǎn)化為物體三維點(diǎn)云數(shù)據(jù)，標(biāo)注目標(biāo)物體的種類，構(gòu)建目標(biāo)物體數(shù)據(jù)庫(kù)d；

4、步驟s2：使用深度相機(jī)采集多個(gè)已知的多物體堆疊場(chǎng)景深度圖像，并轉(zhuǎn)化為場(chǎng)景三維點(diǎn)云數(shù)據(jù)，標(biāo)注場(chǎng)景中待識(shí)別目標(biāo)物體的位置與姿態(tài)，構(gòu)建場(chǎng)景數(shù)據(jù)庫(kù)dc；

5、步驟s3：構(gòu)建基于場(chǎng)景三維點(diǎn)云數(shù)據(jù)的場(chǎng)景語(yǔ)義分割模型，構(gòu)建基于物體三維點(diǎn)云數(shù)據(jù)的目標(biāo)種類判別模型，構(gòu)建基于場(chǎng)景三維點(diǎn)云數(shù)據(jù)的目標(biāo)姿態(tài)識(shí)別模型；

6、步驟s4：使用s1及s2構(gòu)建的目標(biāo)物體數(shù)據(jù)庫(kù)d和場(chǎng)景數(shù)據(jù)庫(kù)dc對(duì)s3構(gòu)建的場(chǎng)景語(yǔ)義分割模型、目標(biāo)種類判別模型和目標(biāo)姿態(tài)識(shí)別模型依次訓(xùn)練；

7、步驟s5：使用深度相機(jī)采集待識(shí)別的多物體堆疊場(chǎng)景的場(chǎng)景三維點(diǎn)云數(shù)據(jù)，使用s4訓(xùn)練完成的三個(gè)模型對(duì)需要目標(biāo)識(shí)別的場(chǎng)景進(jìn)行識(shí)別測(cè)試，滿足測(cè)試要求則保存模型數(shù)據(jù)，不滿足測(cè)試要求則返回s4重新訓(xùn)練；

8、所述的深度相機(jī)，用于采集目標(biāo)物體或者場(chǎng)景的深度圖像，同時(shí)具有將圖像實(shí)時(shí)傳輸至數(shù)據(jù)處理服務(wù)器的能力。

9、作為本發(fā)明的進(jìn)一步改進(jìn)方法：

10、可選的，所述步驟s1中待識(shí)別目標(biāo)物體深度圖像轉(zhuǎn)化為物體三維點(diǎn)云數(shù)據(jù)的過(guò)程，為將深度圖每個(gè)像素點(diǎn)的二維坐標(biāo)和深度值，轉(zhuǎn)換為點(diǎn)云數(shù)據(jù)的三維坐標(biāo)和顏色值，本發(fā)明使用世界坐標(biāo)系下的三維點(diǎn)云數(shù)據(jù)；這個(gè)過(guò)程需要用到深度相機(jī)的內(nèi)參和外參；相機(jī)的內(nèi)參是一些固定的參數(shù)，它描述了相機(jī)的內(nèi)部結(jié)構(gòu)和成像特性，比如焦距、主點(diǎn)、畸變等；深度相機(jī)的內(nèi)參用一個(gè)3x3的矩陣n來(lái)表示，它的形式如下：

11、

12、其中，jx為相機(jī)的水平焦距，jy為相機(jī)的垂直焦距，zx為相機(jī)的主點(diǎn)橫坐標(biāo)，zy為相機(jī)的主點(diǎn)縱坐標(biāo)；深度相機(jī)的內(nèi)參矩陣n將一個(gè)深度圖像上二維點(diǎn)的圖像坐標(biāo)，轉(zhuǎn)換為一個(gè)相機(jī)坐標(biāo)系下的物體三維點(diǎn)云數(shù)據(jù)點(diǎn)的坐標(biāo)，公式如下：

13、

14、其中，sx、sy、sz分別為在深度相機(jī)坐標(biāo)系下的三維點(diǎn)云的具體坐標(biāo)信息，eu、ev為二維深度圖像的坐標(biāo)信息，ez為二維深度圖像的在eu、ev位置的深度信息，n-1為相機(jī)內(nèi)參矩陣n的逆矩陣；深度相機(jī)的外參是一些變化的參數(shù)，它描述了相機(jī)在世界坐標(biāo)系中的位置和姿態(tài)，比如平移和旋轉(zhuǎn)，外參用一個(gè)4x4的矩陣w來(lái)表示：

15、

16、其中，x為一個(gè)3x3的旋轉(zhuǎn)矩陣，q為一個(gè)3x1的平移向量；相機(jī)的外參矩陣w將一個(gè)相機(jī)坐標(biāo)系下的三維點(diǎn)坐標(biāo)，轉(zhuǎn)換為一個(gè)世界坐標(biāo)系下的三維點(diǎn)坐標(biāo)，公式如下：

17、

18、其中，x-1為旋轉(zhuǎn)矩陣x的逆矩陣，gx，gy，gz分別為世界坐標(biāo)系下的三維點(diǎn)云的具體坐標(biāo)信息。

19、所述步驟s1中標(biāo)注物體種類，構(gòu)建目標(biāo)物體數(shù)據(jù)庫(kù)是建立世界坐標(biāo)系下的物體三維點(diǎn)云數(shù)據(jù)p與物體的實(shí)際類別c的對(duì)應(yīng)關(guān)系，得到目標(biāo)物體數(shù)據(jù)庫(kù)d，目標(biāo)數(shù)據(jù)庫(kù)d包含n組數(shù)據(jù)，n為目標(biāo)物體總的種類數(shù)；

20、d＝{[p1,c1],[p2,c2],...,[pn,cn]}

21、其中，所有下角標(biāo)均為順序指代，p1…pn為不同物體的三維點(diǎn)云數(shù)據(jù)，c1…cn為物體點(diǎn)云數(shù)據(jù)的實(shí)際類別c。

22、可選的，所述步驟s2中場(chǎng)景深度圖轉(zhuǎn)化為場(chǎng)景三維點(diǎn)云數(shù)據(jù)的過(guò)程與步驟s1中的相同，所述步驟s2中標(biāo)注場(chǎng)景中待識(shí)別目標(biāo)物體的位置與姿態(tài)，構(gòu)建場(chǎng)景數(shù)據(jù)庫(kù)是建立世界坐標(biāo)系下的場(chǎng)景三維點(diǎn)云數(shù)據(jù)po，場(chǎng)景語(yǔ)義標(biāo)簽lb，與場(chǎng)景中所包含的所有目標(biāo)物體的種類c、位置pos、姿態(tài)ges的對(duì)應(yīng)關(guān)系，得到場(chǎng)景數(shù)據(jù)庫(kù)dc，dc包含m組數(shù)據(jù)，m為所采集的場(chǎng)景數(shù)量；

23、

24、其中，po1…pom為不同的場(chǎng)景三維點(diǎn)云數(shù)據(jù)po，lb1…lbm分別為對(duì)應(yīng)的場(chǎng)景語(yǔ)義標(biāo)簽lb，cm1…cmk為場(chǎng)景三維點(diǎn)云數(shù)據(jù)pom中各物體的實(shí)際類別c，posm1…posmk為場(chǎng)景三維點(diǎn)云數(shù)據(jù)pom中各物體的位置pos，gesm1…gesmk為場(chǎng)景三維點(diǎn)云數(shù)據(jù)pom中各物體的姿態(tài)ges。

25、可選的，所述步驟s3的構(gòu)建基于點(diǎn)云數(shù)據(jù)的場(chǎng)景語(yǔ)義分割模型，具體結(jié)構(gòu)為：

26、場(chǎng)景語(yǔ)義分割模型包含有點(diǎn)云特征提取模塊neta、多尺度分組模塊netb、特征融合模塊netc及分割輸出頭模塊netout；

27、所述點(diǎn)云特征提取模塊neta包含有多個(gè)點(diǎn)云特征提取子模塊，每個(gè)子模塊包含一個(gè)點(diǎn)云采樣層和兩個(gè)串聯(lián)的卷積層；卷積層采用mlp結(jié)構(gòu)，第一個(gè)卷積層的mlp維度為64、64、128，第二個(gè)卷積層的mlp維度為128、128、256；所述neta輸入為num?x?3的場(chǎng)景點(diǎn)云數(shù)據(jù)po，輸出為ke?x?256的高維特征向量集合gt1，其中num為點(diǎn)云中的點(diǎn)數(shù)，ke為采樣后的關(guān)鍵點(diǎn)數(shù)；

28、gt1＝neta(po)

29、所述多尺度分組模塊netb包含有多個(gè)并行的子模塊，每個(gè)子模塊對(duì)應(yīng)一個(gè)尺度的鄰域半徑，一個(gè)尺度一般當(dāng)作是一個(gè)隨時(shí)初始化的量；每個(gè)子模塊包含一個(gè)采樣層，一個(gè)球形查詢層，和兩個(gè)串聯(lián)的卷積層；卷積層采用mlp結(jié)構(gòu)，第一個(gè)卷積層的mlp維度為128、128、256，第二個(gè)卷積層的mlp維度為256、256、512；所述netb輸入為ke?x?256的特征向量集合gt1，輸出為ke?x?512的多尺度特征向量集合gt2；

30、gt2＝netb(gt1)

31、所述特征融合模塊netc為一個(gè)逐點(diǎn)特征融合網(wǎng)絡(luò)，包含串聯(lián)的多層卷積層，每層卷積的mlp維度為256、256、512；所述netc輸入為ke?x?512的多尺度特征向量集合gt2，輸出為ke?x?512的融合特征向量集合gt3；

32、gt3＝netc(gt2)

33、所述的分割輸出頭模塊netout包含有多層卷積層，每層卷積的mlp維度為512、256、128，最后一層為一個(gè)1x1卷積層，用于將特征向量映射到每個(gè)點(diǎn)的類別；所述netout輸入為ke?x?512的融合特征向量集合，輸出為num?x?cas的分類結(jié)果r_seg，其中num為點(diǎn)云中的點(diǎn)數(shù)，cas為場(chǎng)景語(yǔ)義分割類別數(shù)，具體計(jì)算方式為：

34、r_seg＝netout(gt3)

35、cas＝n+1

36、其中，n為目標(biāo)物體總的種類數(shù)。

37、所述步驟s3的構(gòu)建基于點(diǎn)云數(shù)據(jù)的目標(biāo)種類判別模型，具體結(jié)構(gòu)為：

38、目標(biāo)種類判別模型包含有特征提取模塊nete、低維特征融合模塊netf、高維特征融合模塊netg及分類輸出頭模塊neth；目標(biāo)判別模型運(yùn)行的次數(shù)等于場(chǎng)景語(yǔ)義分割模型識(shí)別到的目標(biāo)物體數(shù)量fn；

39、所述特征提取模塊nete包含串聯(lián)的六層網(wǎng)絡(luò)，用于初步提取點(diǎn)云數(shù)據(jù)的特征；第1、3、5層為卷積層，卷積核數(shù)量分別為8、16、32，卷積核大小均為3，步長(zhǎng)均為1，填充方式為"same"，激活函數(shù)使用relu；第2、4、6層為池化層，使用最大池化，池化核大小為2x2，步長(zhǎng)為2，填充方式為"same"；nete的輸入為場(chǎng)景語(yǔ)義分割模型輸出的語(yǔ)義分割結(jié)果中的單個(gè)目標(biāo)點(diǎn)云r_seg_part，為ns×3的點(diǎn)云數(shù)據(jù)，輸出為ns×32的一次特征向量dt1，其中ns為r_seg_part中的點(diǎn)數(shù)；

40、r_seg_part∈r_seg

41、dt1＝nete(r_seg_part)

42、所述低維特征融合模塊netf將點(diǎn)云特征進(jìn)一步融合與加工；netf包括兩個(gè)并聯(lián)的特征融合子網(wǎng)絡(luò)netf1和netf2；每個(gè)子網(wǎng)絡(luò)包含10層網(wǎng)絡(luò)，結(jié)構(gòu)如下：第1、3、5、7、9層為卷積層，卷積核數(shù)量分別為32、64、128、256、512，卷積核大小均為1，步長(zhǎng)為1，填充方式為"same"，激活函數(shù)使用relu；第2、4、6、8、10層為池化層，使用最大池化，池化核大小為2，步長(zhǎng)為2，填充方式為"valid"；nete的輸入為netf的輸出dt1，輸出為n×512的二次特征向量dt2；

43、dt2＝netf(dt1)＝netf1(dt1)⊕netf2(dt2)

44、其中，⊕為特征向量按照元素順序求和；

45、所述高維特征融合模塊netg通過(guò)上采樣和融合，提高特征的空間分辨率；netg包含三層反卷積層，卷積核數(shù)量分別為256、128、64，卷積核大小均為3，步長(zhǎng)為2，填充方式為"same"，激活函數(shù)使用relu；netg的輸入為netf的輸出dt2，輸出為n×64的特征二次特征向量dt3；

46、dt3＝netg(dt2)

47、所述分類輸出頭模塊neth用于生成最終的分類結(jié)果；neth包含兩層網(wǎng)絡(luò)，第一層為卷積層，卷積核數(shù)量為64，卷積核大小為1，步長(zhǎng)為1，填充方式為"same"，激活函數(shù)使用relu；第二層為卷積層，卷積核數(shù)量為目標(biāo)物體總的種類數(shù)n，卷積核大小為1，步長(zhǎng)為1，填充方式為"same"，使用softmax激活函數(shù)；neth的輸入為netg的輸出dt3，輸出為r_cls，為單個(gè)目標(biāo)點(diǎn)云r_seg_part在每個(gè)類別上的分類概率；

48、r_cls＝neth(dt3)。

49、所述步驟s3的構(gòu)建基于點(diǎn)云數(shù)據(jù)的目標(biāo)姿態(tài)識(shí)別模型，具體結(jié)構(gòu)為：

50、目標(biāo)姿態(tài)識(shí)別模型包含有特征提取模塊neti和姿態(tài)識(shí)別輸出頭模塊netj；目標(biāo)姿態(tài)識(shí)別模型運(yùn)行的次數(shù)等于場(chǎng)景語(yǔ)義分割模型識(shí)別到的目標(biāo)物體數(shù)量fn；

51、所述特征提取模塊neti包含6層網(wǎng)絡(luò)，專門設(shè)計(jì)用于從點(diǎn)云數(shù)據(jù)中提取關(guān)鍵特征；第1、3、5層為卷積層，卷積核數(shù)量分別為8、16、32，卷積核大小均為3，步長(zhǎng)為1，填充方式為"same"，激活函數(shù)使用relu；第2、4、6層為池化層，采用最大池化方式，池化核大小為2，步長(zhǎng)為2，填充方式為"same"；neti的輸入為ns×3的點(diǎn)云數(shù)據(jù)，輸出為ns×32的姿態(tài)特征向量zt1，其中ns為r_seg_part中的點(diǎn)數(shù)；

52、zt1＝neti(r_seg_part)

53、所述姿態(tài)識(shí)別輸出頭模塊netj用于生成最終的姿態(tài)識(shí)別結(jié)果；netj包含兩層網(wǎng)絡(luò)，第一層為卷積層，卷積核數(shù)量為64，卷積核大小為1，步長(zhǎng)為1，填充方式為"same"，激活函數(shù)使用relu；第二層為全連接層，輸出為6維向量loc_ges，前三維表示位置，后三維表示姿態(tài)；

54、loc_ges＝netj(zt1)。

55、可選的，所述步驟s4的場(chǎng)景語(yǔ)義分割模型、目標(biāo)種類判別模型和目標(biāo)姿態(tài)識(shí)別模型依次訓(xùn)練，具體包含以下3個(gè)步驟：

56、步驟s401，訓(xùn)練語(yǔ)義分割模型，使用步驟s2構(gòu)建的場(chǎng)景數(shù)據(jù)庫(kù)dc作為訓(xùn)練數(shù)據(jù)，對(duì)語(yǔ)義分割模型進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程的損失函數(shù)選用交叉熵?fù)p失，具體計(jì)算公式為：

57、

58、其中，num為點(diǎn)云的點(diǎn)數(shù)，cas為分類數(shù)，rij為所述場(chǎng)景數(shù)據(jù)庫(kù)內(nèi)語(yǔ)義標(biāo)簽lb展平為一行后的one-hot編碼，表示第i個(gè)點(diǎn)屬于第j個(gè)分類的情況，tij則為深度學(xué)習(xí)模型輸出的預(yù)測(cè)結(jié)果，取值大小代表第i個(gè)點(diǎn)屬于第j個(gè)分類的情況的概率，i、j含義與所述rij的含義相同；訓(xùn)練過(guò)程的優(yōu)化器選用adam優(yōu)化器，學(xué)習(xí)率α1范圍為：

59、α1∈[0.0001,0.01]

60、步驟s402，訓(xùn)練目標(biāo)種類判別模型，包括：

61、步驟b1，目標(biāo)物體數(shù)據(jù)庫(kù)d的數(shù)據(jù)增強(qiáng)，包括隨機(jī)裁剪、旋轉(zhuǎn)、縮放，隨機(jī)裁剪、旋轉(zhuǎn)、縮放操作均是針對(duì)點(diǎn)云數(shù)據(jù)p進(jìn)行的，最終得到具有n2個(gè)點(diǎn)云數(shù)據(jù)p的增強(qiáng)后的目標(biāo)物體數(shù)據(jù)庫(kù)d2，n2>>n，n2的取值范圍為[100，1000]；將得到的目標(biāo)物體數(shù)據(jù)庫(kù)d2的90％作為訓(xùn)練數(shù)據(jù)kd_train，10％作為測(cè)試數(shù)據(jù)kd_test；

62、kd＝data_aug(d2)

63、＝data_aug({p,c})

64、＝{data_aug(p),data_aug(c)}

65、kd_train,kd_test＝random_split(kd,0.9,0.1)

66、其中，data_aug()表示對(duì)點(diǎn)云的隨機(jī)裁剪、翻轉(zhuǎn)、旋轉(zhuǎn)、縮放，random_split()表示對(duì)數(shù)據(jù)集按比例劃分，比例由后兩個(gè)元素表示；

67、步驟b2，使用kd_train對(duì)目標(biāo)種類判別模型進(jìn)行模型訓(xùn)練，訓(xùn)練過(guò)程的損失函數(shù)選用交叉熵?fù)p失，具體計(jì)算公式為：

68、

69、其中，n2為目標(biāo)物體數(shù)據(jù)庫(kù)d2的數(shù)據(jù)數(shù)量，n為目標(biāo)物體種類數(shù)，rqw為目標(biāo)物體數(shù)據(jù)庫(kù)d2內(nèi)標(biāo)第q個(gè)元素屬于第w個(gè)分類的情況，tqw則為目標(biāo)種類判別模型輸出的預(yù)測(cè)結(jié)果，tqw∈[0,1]，取值大小代表存在劃痕或不存在劃痕的概率，q、w含義與所述rqw的含義相同；訓(xùn)練過(guò)程的優(yōu)化器選用adam優(yōu)化器，學(xué)習(xí)率α2范圍為：

70、α2∈[0.0001,0.01]

71、步驟s403，訓(xùn)練目標(biāo)姿態(tài)識(shí)別模型，使用步驟s2構(gòu)建的場(chǎng)景數(shù)據(jù)庫(kù)dc作為訓(xùn)練數(shù)據(jù)，對(duì)目標(biāo)姿態(tài)識(shí)別模型進(jìn)行訓(xùn)練，訓(xùn)練過(guò)程針對(duì)位置信息的訓(xùn)練使用l1損失函數(shù)，針對(duì)姿態(tài)信息的訓(xùn)練使用l2損失函數(shù)，具體計(jì)算公式為：

72、l1＝|loc_ges[:3]-pos|

73、

74、其中，loc_ges目標(biāo)姿態(tài)識(shí)別模型輸出的6維向量，pos為場(chǎng)景數(shù)據(jù)庫(kù)中r_seg_part對(duì)應(yīng)的位置信息、ges為場(chǎng)景數(shù)據(jù)庫(kù)中r_seg_part對(duì)應(yīng)的姿態(tài)信息；訓(xùn)練過(guò)程的優(yōu)化器選用sgd優(yōu)化器，學(xué)習(xí)率α3范圍為：

75、α3∈[0.0001,0.01]。

76、可選的，所述步驟s5中使用s4訓(xùn)練完成的三個(gè)模型對(duì)需要目標(biāo)識(shí)別的場(chǎng)景進(jìn)行識(shí)別測(cè)試，滿足測(cè)試要求則保存模型數(shù)據(jù)，不滿足測(cè)試要求則返回s4重新訓(xùn)練；對(duì)于場(chǎng)景語(yǔ)義分割模型采用miou評(píng)價(jià)指標(biāo)，對(duì)于目標(biāo)種類判別模型采用全局準(zhǔn)確率acc評(píng)價(jià)指標(biāo)，對(duì)于姿態(tài)識(shí)別模型采用姿態(tài)誤差err評(píng)價(jià)指標(biāo)：

77、err＝l1+l2

78、其中，l1為針對(duì)位置信息的損失函數(shù)，l2為針對(duì)姿態(tài)信息的損失函數(shù)。

79、對(duì)于訓(xùn)練完成的深度學(xué)習(xí)模型，即可用于目標(biāo)識(shí)別和位置姿態(tài)信息的估計(jì)。

80、本發(fā)明還提供了一種基于深度學(xué)習(xí)的機(jī)器人目標(biāo)識(shí)別系統(tǒng)，包括：

81、深度相機(jī)：用于獲取目標(biāo)物體和場(chǎng)景的深度圖像，需提前知內(nèi)外參；

82、工控機(jī)：用于獲取深度圖像并將其轉(zhuǎn)化為三維點(diǎn)云信息、訓(xùn)練基于深度學(xué)習(xí)方法的機(jī)器人目標(biāo)識(shí)別方法提供的三個(gè)深度學(xué)習(xí)模型并存儲(chǔ)模型數(shù)據(jù)、測(cè)試三個(gè)深度學(xué)習(xí)模型、驅(qū)動(dòng)機(jī)器人執(zhí)行操作；

83、機(jī)器人：用于搭載深度相機(jī)和工控機(jī)。

84、以實(shí)現(xiàn)上述基于深度學(xué)習(xí)的工業(yè)機(jī)器人目標(biāo)識(shí)別方法。

85、本發(fā)明提供的技術(shù)方案帶來(lái)的有益效果至少包括：

86、數(shù)據(jù)處理的優(yōu)化：通過(guò)使用深度相機(jī)采集的深度圖像和轉(zhuǎn)化為三維點(diǎn)云數(shù)據(jù)，結(jié)合場(chǎng)景語(yǔ)義分割、目標(biāo)種類判別及姿態(tài)識(shí)別，本系統(tǒng)在數(shù)據(jù)處理和模型訓(xùn)練方面具有較高的效率和準(zhǔn)確性，優(yōu)化了整個(gè)識(shí)別流程。

87、提高識(shí)別精度和效率：通過(guò)結(jié)合深度學(xué)習(xí)技術(shù)和三維點(diǎn)云數(shù)據(jù)處理，本系統(tǒng)能夠在復(fù)雜的堆疊場(chǎng)景中準(zhǔn)確識(shí)別目標(biāo)物體。即使目標(biāo)物體僅露出一部分，系統(tǒng)也能夠準(zhǔn)確地進(jìn)行識(shí)別。這種高精度識(shí)別功能對(duì)于提高生產(chǎn)效率和減少人工干預(yù)極為關(guān)鍵。

88、增強(qiáng)操作的精確性和安全性：系統(tǒng)能夠識(shí)別目標(biāo)物體的確切位置和姿態(tài)，這對(duì)于執(zhí)行精密的任務(wù)(如裝配、焊接、切割和質(zhì)量檢查)至關(guān)重要。通過(guò)準(zhǔn)確的識(shí)別和操作，可以顯著減少因誤識(shí)別導(dǎo)致的工件損壞和工人傷害的風(fēng)險(xiǎn)。

89、成本和能耗的降低：本發(fā)明中開(kāi)發(fā)的輕量級(jí)深度學(xué)習(xí)模型，旨在降低對(duì)高性能硬件的依賴。這使得系統(tǒng)不僅能在較低的硬件配置上運(yùn)行，而且還能高效處理點(diǎn)云數(shù)據(jù)，從而減少機(jī)器人系統(tǒng)的整體成本和能耗。這種系統(tǒng)特別適用于小型制造企業(yè)或資源受限的環(huán)境，使更多工業(yè)機(jī)器人能夠受益于先進(jìn)的目標(biāo)識(shí)別技術(shù)，而無(wú)需進(jìn)行昂貴的硬件升級(jí)。