本發(fā)明屬于機(jī)器視覺及圖像處理，特別是一種基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法。

背景技術(shù)：

1、長期以來，蓮蓬采摘主要依靠人工，該方式效率低且面臨勞動(dòng)力短缺問題。近年來，果蔬自動(dòng)采摘技術(shù)發(fā)展迅速，研究快速有效的果實(shí)或果梗采摘點(diǎn)定位方法則是實(shí)現(xiàn)自動(dòng)采摘的關(guān)鍵。現(xiàn)有采摘點(diǎn)定位方法主要包括基于傳統(tǒng)圖像處理和基于深度學(xué)習(xí)兩種方式。相比于傳統(tǒng)圖像處理方法，基于深度學(xué)習(xí)的采摘點(diǎn)定位方法可以實(shí)現(xiàn)對(duì)果實(shí)、果梗目標(biāo)的端對(duì)端檢測(cè)，并能夠利用目標(biāo)檢測(cè)框及掩膜結(jié)果為采摘點(diǎn)定位計(jì)算提供可靠支撐。

2、目前，有關(guān)蓮蓬采摘點(diǎn)定位技術(shù)的相關(guān)報(bào)道較少。傳統(tǒng)的果蔬自動(dòng)采摘多采用單視角觀測(cè)，通常通過單視角即可完成果實(shí)目標(biāo)的識(shí)別與采摘點(diǎn)定位。但蓮蓬姿態(tài)多變、朝向各異。在單一視角下，荷梗采摘段易被蓮蓬自身或者其他物體遮擋，導(dǎo)致難以被完整、有效地觀測(cè)，進(jìn)而無法計(jì)算采摘點(diǎn)位置及荷梗采摘段向量信息。最終導(dǎo)致采摘機(jī)器人難以執(zhí)行采摘作業(yè)，影響自動(dòng)采摘的經(jīng)濟(jì)性與連續(xù)性。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問題，本發(fā)明提供一種基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法，其綜合利用多視角觀測(cè)、深度視覺和深度學(xué)習(xí)等手段，可實(shí)現(xiàn)對(duì)不同姿態(tài)朝向蓮蓬的荷梗采摘段采摘點(diǎn)坐標(biāo)、采摘向量的有效計(jì)算。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供以下技術(shù)方案：一種基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法，包括以下步驟：

3、步驟1，采用若干臺(tái)深度相機(jī)，建立多視角觀測(cè)體系，通過標(biāo)定確定各視角對(duì)應(yīng)的相機(jī)坐標(biāo)系間的位置關(guān)系；在所述多視角觀測(cè)體系中設(shè)立一主坐標(biāo)系；

4、步驟2，從多個(gè)視角采集蓮蓬的rgb圖像和深度數(shù)據(jù)信息；

5、步驟3，利用目標(biāo)檢測(cè)模型對(duì)所述rgb圖像進(jìn)行檢測(cè)，獲得各視角下蓮蓬和荷梗采摘段的檢測(cè)邊界框及掩膜數(shù)據(jù)；基于所述檢測(cè)邊界框及掩膜數(shù)據(jù)設(shè)立蓮蓬位置特征點(diǎn)、荷梗姿態(tài)特征點(diǎn)，分別表征rgb圖像中的蓮蓬位置和荷梗采摘段的位置及姿態(tài)；計(jì)算蓮蓬位置特征點(diǎn)和荷梗姿態(tài)特征點(diǎn)的像素坐標(biāo)；

6、步驟4，結(jié)合蓮蓬位置特征點(diǎn)和荷梗姿態(tài)特征點(diǎn)的像素坐標(biāo)和步驟2所述深度數(shù)據(jù)信息，獲取各特征點(diǎn)在相機(jī)坐標(biāo)系中的三維坐標(biāo)；

7、步驟5，進(jìn)行各單視角中的蓮蓬位置特征點(diǎn)和荷梗姿態(tài)特征點(diǎn)的從屬配對(duì)，完成各單個(gè)視角中的采摘信息計(jì)算，所述采摘信息包括荷梗采摘點(diǎn)坐標(biāo)和采摘向量；

8、步驟6，將各單視角下采摘信息數(shù)據(jù)轉(zhuǎn)換至主坐標(biāo)系中表達(dá)；在主坐標(biāo)系中完成各蓮蓬目標(biāo)與對(duì)應(yīng)的各單視角下的采摘信息的從屬匹配；進(jìn)行多視角采摘信息的數(shù)據(jù)合成，形成最終采摘信息，完成定位。

9、進(jìn)一步的，上述基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法中，所述步驟3中蓮蓬位置特征點(diǎn)為蓮蓬掩膜區(qū)域的質(zhì)心點(diǎn)和蓮蓬檢測(cè)邊界框中心點(diǎn)中的一種；所述荷梗采摘段為緊鄰蓮蓬的短小荷梗段。

10、進(jìn)一步的，上述基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法中，所述步驟3中荷梗姿態(tài)特征點(diǎn)的像素坐標(biāo)的計(jì)算步驟包括：

11、步驟a1，提取荷梗采摘段檢測(cè)邊界框內(nèi)的像素?cái)?shù)據(jù)；沿與檢測(cè)邊界框短邊相垂直的方向步進(jìn)提取屬于荷梗采摘段掩膜中的像素點(diǎn)，具體地，所述步進(jìn)提取過程是以水平方向?yàn)橹鹆刑崛?、豎直方向?yàn)橹鹦刑崛橐?guī)則；

12、步驟a2，計(jì)算步進(jìn)提取過程各次提取的屬于荷梗采摘段掩膜中的像素點(diǎn)的質(zhì)心點(diǎn)；

13、步驟a3，使用線性回歸方法將所述各質(zhì)心點(diǎn)擬合為直線；

14、步驟a4，計(jì)算擬合直線與荷梗采摘段檢測(cè)邊界框的交點(diǎn)，確定兩交點(diǎn)所連成線段的中點(diǎn)o2和兩個(gè)四分位點(diǎn)o1，o3；將所述中點(diǎn)和兩個(gè)四分位點(diǎn)作為荷梗姿態(tài)特征點(diǎn)。

15、進(jìn)一步的，上述基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法中，所述步驟3中目標(biāo)檢測(cè)模型為實(shí)例分割模型。

16、進(jìn)一步的，上述基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法中，所述步驟5中進(jìn)行各單視角中的蓮蓬位置特征點(diǎn)和荷梗姿態(tài)特征點(diǎn)的從屬配對(duì)的步驟包括：

17、步驟b1，將各蓮蓬位置特征點(diǎn)記為ki（i?=?1，2…），將各荷梗姿態(tài)特征點(diǎn)記為o1j，o2j，o3j（j?=?1，2…）；

18、步驟b2，任意選定一組荷梗姿態(tài)特征點(diǎn)o1j，o2j，o3j，分別計(jì)算選定的荷梗姿態(tài)特征點(diǎn)與所有蓮蓬位置特征點(diǎn)ki之間的歐氏距離d1ij，d2ij，d3ij；

19、步驟b3，執(zhí)行第一次配對(duì)，當(dāng)一組歐氏距離d1ij，d2ij，d3ij均小于預(yù)設(shè)距離閾值時(shí)，對(duì)應(yīng)的蓮蓬位置特征點(diǎn)ki與所選定的荷梗姿態(tài)特征點(diǎn)o1j，o2j，o3j被認(rèn)為屬于同一蓮蓬；

20、步驟b4，連續(xù)執(zhí)行步驟b2與步驟b3，直至所有的蓮蓬位置特征點(diǎn)或荷梗姿態(tài)特征點(diǎn)全部完成配對(duì)。

21、進(jìn)一步的，上述基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法中，所述步驟5中單視角下荷梗采摘點(diǎn)坐標(biāo)和采摘向量的計(jì)算步驟包括：

22、步驟c1，提取形成配對(duì)的蓮蓬位置特征點(diǎn)與荷梗姿態(tài)特征點(diǎn)，提取所述各特征點(diǎn)的三維坐標(biāo)；將荷梗姿態(tài)特征點(diǎn)中的中點(diǎn)o2視為采摘點(diǎn)；

23、步驟c2，分別計(jì)算o1，o3與蓮蓬位置特征點(diǎn)k之間的歐式距離d1，d3；

24、步驟c3，以d1，d3中數(shù)值較大者對(duì)應(yīng)的荷梗姿態(tài)特征點(diǎn)為向量起點(diǎn)，以數(shù)值較小者對(duì)應(yīng)的荷梗姿態(tài)特征點(diǎn)為向量終點(diǎn)，計(jì)算出采摘向量。

25、進(jìn)一步的，上述基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法中，所述步驟6中各蓮蓬目標(biāo)與對(duì)應(yīng)的各單視角下的采摘信息的從屬匹配步驟包括：

26、步驟d1，選擇任意采摘點(diǎn)，以該點(diǎn)為球心構(gòu)造一個(gè)判斷球；

27、步驟d2，依次判斷其余采摘點(diǎn)是否位于判斷球內(nèi)，若位于判斷球內(nèi)且相互之間的距離均小于等于判斷球的半徑，則認(rèn)為這些采摘點(diǎn)屬于同株蓮蓬，并且與其對(duì)應(yīng)的采摘向量也屬于該蓮蓬；

28、步驟d3，對(duì)未匹配的采摘點(diǎn)再次執(zhí)行步驟d1與步驟d2，直至所有采摘點(diǎn)匹配完成。

29、進(jìn)一步的，上述基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法中，所述步驟6中進(jìn)行多視角采摘信息的數(shù)據(jù)合成的方法為：

30、當(dāng)目標(biāo)蓮蓬在n（n?>?1）個(gè)視角下獲得采摘信息時(shí)，計(jì)算目標(biāo)蓮蓬匹配到的各采摘點(diǎn)之間的質(zhì)心點(diǎn)，并將該點(diǎn)作為最終采摘點(diǎn)；對(duì)與各采摘點(diǎn)對(duì)應(yīng)的各采摘向量求坐標(biāo)均值，并將該坐標(biāo)均值對(duì)應(yīng)的向量作為最終采摘向量；當(dāng)目標(biāo)蓮蓬僅在1個(gè)視角下獲得采摘信息時(shí)，則以該視角下得出的采摘點(diǎn)坐標(biāo)和采摘向量作為最終采摘信息。

31、進(jìn)一步的，上述基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法中，所述預(yù)設(shè)距離閾值為100?mm。

32、進(jìn)一步的，上述基于多視角觀測(cè)的蓮蓬采摘點(diǎn)定位方法中，所述判斷球的半徑為20?mm。

33、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

34、（1）本發(fā)明通過建立多視角觀測(cè)體系實(shí)現(xiàn)同時(shí)對(duì)目標(biāo)蓮蓬的多角度觀測(cè)，及多個(gè)視角下rgb圖像與深度數(shù)據(jù)信息的獲取，有效提升了對(duì)任意姿態(tài)蓮蓬、受遮擋蓮蓬表面測(cè)量點(diǎn)觀測(cè)的全面性。

35、（2）本發(fā)明通過實(shí)例分割模型獲得蓮蓬和荷梗采摘段的檢測(cè)邊界框及掩膜數(shù)據(jù)，完成單視角中的蓮蓬采摘信息的有效計(jì)算；在實(shí)現(xiàn)各視角相機(jī)坐標(biāo)系標(biāo)定的基礎(chǔ)上，完成各單視角下的采摘信息的從屬匹配，并實(shí)現(xiàn)多視角采摘信息的數(shù)據(jù)合成，最終可有效獲得蓮蓬目標(biāo)的采摘信息。

36、（3）本發(fā)明能夠?qū)θ我庾藨B(tài)蓮蓬、受遮擋蓮蓬的荷梗采摘段進(jìn)行有效觀測(cè)，可為蓮蓬采摘機(jī)器人執(zhí)行采摘?jiǎng)幼魈峁?zhǔn)確的采摘點(diǎn)定位以及采摘段定向信息。