本申請(qǐng)涉及計(jì)算機(jī)，尤其涉及一種物品抓取方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品。

背景技術(shù)：

1、隨著智能化的普及，具有物品抓取能力的機(jī)器人廣泛應(yīng)用于多種復(fù)雜場景，例如家庭或者工廠。

2、目前，現(xiàn)有的物品抓取方法為先使用低階信息的語義分割網(wǎng)絡(luò)首先分割物品，之后利用抓取生成器生成分割后物體的抓取位姿，實(shí)現(xiàn)對(duì)物品的抓取。但現(xiàn)有的帶實(shí)例分割的抓取生成器在雜亂環(huán)境下進(jìn)行抓取時(shí)，對(duì)于堆疊的物品，低階信息不利于物體實(shí)例分割，影響物品抓取結(jié)果，導(dǎo)致抓取正確率降低。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)的主要目的在于提供一種物品抓取方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品，旨在解決如何提高雜亂環(huán)境下物品抓取的正確率的技術(shù)問題。

2、為實(shí)現(xiàn)上述目的，本申請(qǐng)?zhí)岢鲆环N物品抓取方法，所述物品抓取包括：

3、獲取待抓取物品的3d點(diǎn)云；

4、基于所述3d點(diǎn)云，通過預(yù)設(shè)的實(shí)例分割模型，對(duì)所述3d點(diǎn)云進(jìn)行高階泰勒函數(shù)的特征信息提取，得到物品特征圖，其中，所述物品特征圖為具有高階特征信息的特征圖；

5、基于所述物品特征圖和所述3d點(diǎn)云，確定實(shí)例分割掩碼；

6、基于所述實(shí)例分割掩碼，對(duì)所述待抓取物品進(jìn)行抓取。

7、在一實(shí)施例中，所述基于所述3d點(diǎn)云，通過預(yù)設(shè)的實(shí)例分割模型，對(duì)所述3d點(diǎn)云進(jìn)行高階泰勒函數(shù)的特征信息提取，得到物品特征圖的步驟包括：

8、通過預(yù)設(shè)的實(shí)例分割模型中的局部泰勒神經(jīng)網(wǎng)絡(luò)，對(duì)所述3d點(diǎn)云進(jìn)行局部特征提取，得到局部特征圖；

9、對(duì)所述局部特征圖進(jìn)行高階泰勒特征信息提取，得到物品特征圖。

10、在一實(shí)施例中，所述基于所述物品特征圖和所述3d點(diǎn)云，確定實(shí)例分割掩碼的步驟包括：

11、確定所述物品特征圖的語義掩碼與中心偏移，其中，所述語義掩碼用于標(biāo)記待抓取物品，所述中心偏移用于定位所述待抓取物品的中心點(diǎn)；

12、將所述3d點(diǎn)云與所述中心偏移進(jìn)行結(jié)合，得到結(jié)合圖；

13、基于所述語義掩碼，對(duì)所述結(jié)合圖進(jìn)行均值漂移聚類計(jì)算，得到實(shí)例分割掩碼。

14、在一實(shí)施例中，所述基于所述實(shí)例分割掩碼，對(duì)所述待抓取物品進(jìn)行抓取的步驟包括：

15、根據(jù)所述實(shí)例分割掩碼，對(duì)所述待抓取物品進(jìn)行分類，得到無遮擋物品和遮擋物品，其中，所述遮擋物品包括重疊物品和相交物品；

16、并分別對(duì)所述無遮擋物品、所述重疊物品和所述相交物品進(jìn)行依次抓取。

17、在一實(shí)施例中，所述根據(jù)所述實(shí)例分割掩碼，對(duì)所述待抓取物品進(jìn)行分類，得到無遮擋物品和遮擋物品，其中，所述遮擋物品包括重疊物品和相交物品的步驟包括：

18、基于所述實(shí)例分割掩碼，確定待抓取物品的外圍輪廓信息和面積；

19、分別對(duì)各所述待抓取物品的外圍輪廓信息進(jìn)行刪除，得到剩余外圍輪廓信息；

20、將所述剩余外圍輪廓信息與所述外圍輪廓信息進(jìn)行比較，若所述剩余外圍輪廓信息內(nèi)的輪廓數(shù)量小于所述外圍輪廓信息內(nèi)的輪廓數(shù)量，則所述待抓取物品為無遮擋物品，若所述剩余外圍輪廓信息內(nèi)的輪廓數(shù)量等于或大于所述外圍輪廓信息內(nèi)的輪廓數(shù)量，則所述待抓取物品為遮擋物品；

21、基于所述遮擋物品的面積進(jìn)行分類計(jì)算，確定重疊物品和相交物品；

22、在一實(shí)施例中，所基于所述遮擋物品的面積進(jìn)行分類計(jì)算，確定重疊物品和相交物品的步驟包括：

23、將所述遮擋物品的面積與所述遮擋物品的相鄰物品的面積相加，得到相加結(jié)果；

24、將所述相加結(jié)果與所述遮擋物品的面積進(jìn)行比較，若所述相加結(jié)果與所述遮擋物品的面積相等則所述待抓取物品為重疊物品，若所述相加結(jié)果與所述遮擋物品的面積不相等則所述待抓取物品為相交物品。

25、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種物品抓取裝置，所述物品抓取裝置包括：

26、獲取模塊，用于得到待抓取物品的3d點(diǎn)云；

27、實(shí)例模塊，用于基于所述待抓取物品的3d點(diǎn)云，通過預(yù)設(shè)的實(shí)例分割模型中的局部泰勒神經(jīng)網(wǎng)絡(luò)對(duì)二階泰勒函數(shù)特征信息進(jìn)行提取，得到局部特征圖，并對(duì)局部特征圖進(jìn)行高階泰勒函數(shù)特征信息提取，得到物品特征圖；

28、轉(zhuǎn)換模塊，用于基于所述物品特征圖，得到實(shí)例分割掩碼；

29、抓取模塊，用于根據(jù)所述實(shí)例分割掩碼對(duì)待抓取物品進(jìn)行抓取。

30、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種物品抓取設(shè)備，所述物品抓取設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的物品抓取方法的步驟。

31、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提出一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的物品抓取方法的步驟。

32、此外，為實(shí)現(xiàn)上述目的，本申請(qǐng)還提供一種產(chǎn)品，所述產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上文所述的物品抓取方法的步驟。

33、本申請(qǐng)通過泰勒神經(jīng)網(wǎng)絡(luò)對(duì)待抓取物品的3d點(diǎn)云進(jìn)行高階泰勒函數(shù)特征提取，高階泰勒函數(shù)提取的特征有利于物品邊界的分割，對(duì)物品進(jìn)行分層抓取，先抓取無遮擋物品，可以更加準(zhǔn)確的實(shí)現(xiàn)在雜亂環(huán)境下的物品抓取。

技術(shù)特征：

1.一種物品抓取方法，其特征在于，所述的物品抓取方法包括：

2.如權(quán)利要求1所述的物品抓取方法，其特征在于，所述基于所述3d點(diǎn)云，通過預(yù)設(shè)的實(shí)例分割模型，對(duì)所述3d點(diǎn)云進(jìn)行高階泰勒函數(shù)的特征信息提取，得到物品特征圖的步驟包括：

3.如權(quán)利要求1所述的物品抓取方法，其特征在于，所述基于所述物品特征圖和所述3d點(diǎn)云，確定實(shí)例分割掩碼的步驟包括：

4.如權(quán)利要求1所述的物品抓取方法，其特征在于，所述基于所述實(shí)例分割掩碼，對(duì)所述待抓取物品進(jìn)行抓取的步驟包括：

5.如權(quán)利要求4所述的物品抓取方法，其特征在于，所述根據(jù)所述實(shí)例分割掩碼，對(duì)所述待抓取物品進(jìn)行分類，得到無遮擋物品和遮擋物品，其中，所述遮擋物品包括重疊物品和相交物品的步驟包括：

6.如權(quán)利要求5所述的物品抓取方法，其特征在于，所述基于所述遮擋物品的面積進(jìn)行分類計(jì)算，確定重疊物品和相交物品的步驟包括：

7.一種物品抓取裝置，其特征在于，所述裝置包括：

8.一種物品抓取設(shè)備，其特征在于，所述設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序配置為實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的物品抓取方法的步驟。

9.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的物品抓取方法的步驟。

10.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的物品抓取方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開了一種物品抓取方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及產(chǎn)品，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，所述物品抓取方法包括：獲取待抓取物品的3D點(diǎn)云；基于所述3D點(diǎn)云，通過預(yù)設(shè)的實(shí)例分割模型，對(duì)所述3D點(diǎn)云進(jìn)行高階泰勒函數(shù)的特征信息提取，得到物品特征圖，其中，所述物品特征圖為具有高階特征信息的特征圖；基于所述物品特征圖和所述3D點(diǎn)云，確定實(shí)例分割掩碼，其中所述實(shí)例掩碼定義了所述待抓取物品確切的邊界；基于所述實(shí)例分割掩碼，對(duì)所述待抓取物品進(jìn)行抓取。本申請(qǐng)可以更加準(zhǔn)確的實(shí)現(xiàn)在雜亂環(huán)境下的物品抓取。

技術(shù)研發(fā)人員：付奎,彭建盛,覃曼萍,徐詠,韋慶進(jìn),覃勇,何奇文,葉和敏
受保護(hù)的技術(shù)使用者：河池學(xué)院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19