本發(fā)明涉及機(jī)器人技能學(xué)習(xí)領(lǐng)域，尤其涉及一種基于slam的機(jī)器人操作數(shù)據(jù)收集方法。

背景技術(shù)：

1、在當(dāng)今的機(jī)器人技術(shù)領(lǐng)域，尤其是在自主導(dǎo)航和環(huán)境感知方面，slam(simultaneous?localization?and?mapping，即時定位與地圖構(gòu)建)技術(shù)已成為研究和應(yīng)用的熱點(diǎn)。slam技術(shù)通過傳感器(如攝像頭、激光雷達(dá)等)獲取環(huán)境數(shù)據(jù)，并實(shí)時構(gòu)建地圖，同時確定機(jī)器人在地圖中的位置。傳統(tǒng)的導(dǎo)航方法，如基于gps的定位，在室內(nèi)和信號不穩(wěn)定的環(huán)境中效果不佳，而slam技術(shù)能夠在這些場景中實(shí)現(xiàn)高精度的定位和地圖構(gòu)建，極大地拓展了機(jī)器人應(yīng)用的范圍。

2、在機(jī)器人技能學(xué)習(xí)領(lǐng)域(機(jī)器人強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)、具身智能)中，常常需要收集大量的技能操作數(shù)據(jù)，以用于后續(xù)的分析、優(yōu)化和技能學(xué)習(xí)模型的訓(xùn)練。例如，在服務(wù)機(jī)器人倒水技能的訓(xùn)練中，需要大量記錄末端軌跡路徑、環(huán)境圖像等信息。這些數(shù)據(jù)的數(shù)據(jù)量、準(zhǔn)確性和完整性直接影響到機(jī)器人技能學(xué)習(xí)訓(xùn)練的效率和質(zhì)量。然而，目前的機(jī)器人技能操作數(shù)據(jù)收集面臨著多種挑戰(zhàn)。首先，傳統(tǒng)的數(shù)據(jù)收集方法依賴于預(yù)先設(shè)定的傳感器和固定的操作路徑，難以高效泛化多條操作軌跡以適應(yīng)動態(tài)和復(fù)雜的工作環(huán)境。其次，數(shù)據(jù)的準(zhǔn)確性依賴于傳感器的精度和穩(wěn)定性，傳感器誤差和環(huán)境噪聲會導(dǎo)致數(shù)據(jù)偏差。特別是在多機(jī)器人協(xié)作的場景中，機(jī)器人之間的相對位置和動作協(xié)調(diào)需要高精度的定位和同步，傳統(tǒng)方法難以滿足這種需求。最后，數(shù)據(jù)收集的過程往往耗時費(fèi)力，需要人工遙控機(jī)械臂反復(fù)收集，難以實(shí)現(xiàn)高效的自動化。

3、slam技術(shù)在機(jī)器人技能操作數(shù)據(jù)收集中的應(yīng)用具有顯著的優(yōu)越性。首先，slam技術(shù)能夠在復(fù)雜環(huán)境中實(shí)現(xiàn)高精度的定位和地圖構(gòu)建，為機(jī)器人提供準(zhǔn)確的環(huán)境模型和位置信息。其次，slam技術(shù)能夠?qū)崟r更新地圖和定位信息，使機(jī)器人能夠適應(yīng)動態(tài)變化的工作環(huán)境，自動調(diào)整操作路徑，提升工作效率和數(shù)據(jù)收集的準(zhǔn)確性。此外，slam技術(shù)還可以結(jié)合其他傳感器數(shù)據(jù)(如imu、深度相機(jī)等)，實(shí)現(xiàn)多傳感器融合，提高數(shù)據(jù)的完整性和魯棒性。

技術(shù)實(shí)現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)中存在的上述技術(shù)問題，本發(fā)明提出了一種基于slam的機(jī)器人操作數(shù)據(jù)收集方法，通過相機(jī)系統(tǒng)工具來采集原始數(shù)據(jù)，基于單目視覺慣性slam的數(shù)據(jù)處理算法，并通過aruco標(biāo)志檢測算法實(shí)現(xiàn)坐標(biāo)系轉(zhuǎn)換和夾爪手指寬度識別，最終獲得系統(tǒng)工具坐標(biāo)系在世界坐標(biāo)系中的定位坐標(biāo)以及幀同步的視頻信息，其具體技術(shù)方案如下：

2、一種基于slam的機(jī)器人操作數(shù)據(jù)收集方法，包括以下步驟：

3、步驟一，使用帶相機(jī)的手持夾爪工具，通過設(shè)置aruco標(biāo)志采集其操作視頻；

4、步驟二，使用單目視覺慣性slam算法對采集的視頻進(jìn)行相機(jī)的追蹤定位，估計(jì)出相機(jī)在空間中的位姿，并構(gòu)出三維環(huán)境地圖，之后周期性的檢測相機(jī)定位并更新地圖，獲取相機(jī)軌跡；

5、步驟三，通過aruco標(biāo)志檢測，利用相機(jī)軌跡坐標(biāo)來獲得夾爪工具坐標(biāo)系在世界坐標(biāo)系中的定位坐標(biāo)和夾爪工具末端執(zhí)行器夾爪手指的寬度，從而得到手持夾爪工具的軌跡和夾爪手指的寬度變化數(shù)據(jù)；

6、步驟四，輸出并保存操作視頻的圖像數(shù)據(jù)、手持夾爪工具的軌跡數(shù)據(jù)、夾爪手指的寬度變化數(shù)據(jù)以及數(shù)據(jù)時間戳。

7、進(jìn)一步的，所述步驟一包括：

8、在手持夾爪的兩個夾爪手指座上和拍攝環(huán)境中粘貼aruco標(biāo)志；

9、將手持夾爪工具面對標(biāo)定棋盤格拍攝視頻并標(biāo)定，獲得相機(jī)內(nèi)參；

10、使用手持夾爪工具錄制其連續(xù)操作視頻。

11、進(jìn)一步的，所述步驟二包括：

12、循環(huán)的通過orb特征提取器提取視頻中當(dāng)前輸入幀圖像的特征點(diǎn)，

13、跟蹤特征點(diǎn)并估計(jì)出相機(jī)在三維環(huán)境地圖中的位姿，

14、使用特征點(diǎn)和imu數(shù)據(jù)優(yōu)化更新相機(jī)位姿和三維環(huán)境地圖，

15、得到相機(jī)的軌跡點(diǎn)位。

16、進(jìn)一步的，orb特征提取器提取當(dāng)前輸入幀圖像的orb特征點(diǎn)pcur和描述子dcur，并保存；

17、所述跟蹤特征點(diǎn)并估計(jì)出相機(jī)在三維環(huán)境地圖中的位姿，具體為：檢查當(dāng)前輸入幀是否為第一幀，如果是第一幀，則將相機(jī)位姿初始化為初始位置如果不是第一幀，則從上一幀獲取orb特征點(diǎn)ppre和描述子dpre，使用flann匹配器匹配當(dāng)前幀和上一幀的描述子，過濾匹配結(jié)果，選擇最優(yōu)匹配點(diǎn)對并提取匹配的來自地圖的3d點(diǎn)和來自當(dāng)前幀圖像的2d點(diǎn)，然后獲取相機(jī)內(nèi)參矩陣，使用epnp算法計(jì)算相機(jī)的位姿，包括旋轉(zhuǎn)向量和平移向量，最后將旋轉(zhuǎn)向量和平移向量轉(zhuǎn)換為齊次坐標(biāo)變換矩陣即相機(jī)基于slam坐標(biāo)系的位姿坐標(biāo)

18、進(jìn)一步的，所述使用特征點(diǎn)和imu數(shù)據(jù)優(yōu)化更新相機(jī)位姿和三維環(huán)境地圖，具體為：使用當(dāng)前幀的特征點(diǎn)[pcur,dcur]和imu數(shù)據(jù)[acur,wcur]更新局部地圖，使用局部束調(diào)整優(yōu)化局部地圖；在地圖中尋找閉環(huán)，通過識別特征點(diǎn)的相似性檢測閉環(huán)，如果發(fā)現(xiàn)閉環(huán)，使用位姿圖優(yōu)化進(jìn)行全局優(yōu)化，減少累積誤差；如果特征點(diǎn)出現(xiàn)漂移或跟蹤丟失，則進(jìn)行重定位，重新匹配特征以糾正位姿。

19、進(jìn)一步的，所述步驟三包括：

20、使用opencv的aruco庫從采集視頻的當(dāng)前幀圖像中檢測aruco標(biāo)志，并識別其四個角點(diǎn)及id，通過角點(diǎn)距離相機(jī)的平均距離和id篩選并過濾干擾與誤識別；

21、相機(jī)使用aruco庫中標(biāo)志位姿檢測算法來識別基于當(dāng)前相機(jī)坐標(biāo)系的左右夾爪aruco標(biāo)志的位姿并計(jì)算二者均值獲得從相機(jī)坐標(biāo)系到手持夾爪工具坐標(biāo)系的齊次變換矩陣tcam→tcp，計(jì)算二者x軸差值的絕對值獲得夾爪寬度fwidth；

22、使用epnp算法計(jì)算獲得基于slam建圖坐標(biāo)系的桌面aruco標(biāo)志位姿并計(jì)算從原點(diǎn)為桌面aruco標(biāo)志的世界坐標(biāo)系到slam坐標(biāo)系的齊次變換矩陣ttag→slam，計(jì)算手持夾爪工具坐標(biāo)系基于世界坐標(biāo)系的軌跡依據(jù)坐標(biāo)變換公式：ttcp＝ttag→slam×tcam×tcam→tcp。

23、進(jìn)一步的，所述手持夾爪工具通過仿實(shí)體夾爪設(shè)計(jì)和人體工學(xué)設(shè)計(jì)，夾爪主體采用pla材質(zhì)，夾爪手指采用tpu材質(zhì)。

24、本發(fā)明的有益效果是：提出了一種基于人類演示和slam定位的機(jī)器人操作數(shù)據(jù)收集軟硬件結(jié)合方法，通過簡易低成本硬件設(shè)計(jì)，高效快速且低門檻的人類技能演示，結(jié)合單目視覺慣性slam技術(shù)對人手持夾爪運(yùn)動進(jìn)行實(shí)時追蹤定位，最后基于aruco標(biāo)志識別進(jìn)行tcp坐標(biāo)變換，實(shí)現(xiàn)多種類高精度快速的機(jī)器人通用操作數(shù)據(jù)收集。進(jìn)一步的，通過該方法快速低成本的構(gòu)建多種類機(jī)器人技能操作數(shù)據(jù)集，降低了機(jī)器人技能學(xué)習(xí)的訓(xùn)練成本，有效提升了訓(xùn)練精度，特別是對于機(jī)器人技能強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)、具身智能等領(lǐng)域的訓(xùn)練降低了成本。

技術(shù)特征：

1.一種基于slam的機(jī)器人操作數(shù)據(jù)收集方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于slam的機(jī)器人操作數(shù)據(jù)收集方法，其特征在于，所述步驟一包括：

3.根據(jù)權(quán)利要求1所述的基于slam的機(jī)器人操作數(shù)據(jù)收集方法，其特征在于，所述步驟二包括：

4.根據(jù)權(quán)利要求3所述的基于slam的機(jī)器人操作數(shù)據(jù)收集方法，其特征在于，orb特征提取器提取當(dāng)前輸入幀圖像的orb特征點(diǎn)pcur和描述子dcur，并保存；

5.根據(jù)權(quán)利要求4所述的基于slam的機(jī)器人操作數(shù)據(jù)收集方法，其特征在于，所述使用特征點(diǎn)和imu數(shù)據(jù)優(yōu)化更新相機(jī)位姿和三維環(huán)境地圖，具體為：使用當(dāng)前幀的特征點(diǎn)[pcur,dcur]和imu數(shù)據(jù)[acur,wcur]更新局部地圖，使用局部束調(diào)整優(yōu)化局部地圖；在地圖中尋找閉環(huán)，通過識別特征點(diǎn)的相似性檢測閉環(huán)，如果發(fā)現(xiàn)閉環(huán)，使用位姿圖優(yōu)化進(jìn)行全局優(yōu)化，減少累積誤差；如果特征點(diǎn)出現(xiàn)漂移或跟蹤丟失，則進(jìn)行重定位，重新匹配特征以糾正位姿。

6.根據(jù)權(quán)利要求1所述的基于slam的機(jī)器人操作數(shù)據(jù)收集方法，其特征在于，所述步驟三包括：

7.根據(jù)權(quán)利要求1所述的基于slam的機(jī)器人操作數(shù)據(jù)收集方法，其特征在于，所述手持夾爪工具通過仿實(shí)體夾爪設(shè)計(jì)和人體工學(xué)設(shè)計(jì)，夾爪主體采用pla材質(zhì)，夾爪手指采用tpu材質(zhì)。

技術(shù)總結(jié)
本發(fā)明涉及機(jī)器人技能學(xué)習(xí)領(lǐng)域，尤其涉及一種基于SLAM的機(jī)器人操作數(shù)據(jù)收集方法，在硬件部分設(shè)計(jì)一個手持夾爪工具來采集原始數(shù)據(jù)，軟件部分基于單目視覺慣性SLAM的數(shù)據(jù)處理算法，并通過ArUco標(biāo)志檢測算法實(shí)現(xiàn)坐標(biāo)系轉(zhuǎn)換和夾爪手指寬度識別，最終獲得夾爪工具坐標(biāo)系在世界坐標(biāo)系中的定位坐標(biāo)和末端執(zhí)行器即夾爪手指的寬度，以及幀同步的視頻信息。本發(fā)明方法能夠快速低成本的構(gòu)建多種類機(jī)器人技能操作數(shù)據(jù)集，降低了機(jī)器人技能學(xué)習(xí)的訓(xùn)練成本，有效提升了訓(xùn)練精度，特別是對于機(jī)器人技能強(qiáng)化學(xué)習(xí)、模仿學(xué)習(xí)、具身智能等領(lǐng)域的訓(xùn)練降低了成本。

技術(shù)研發(fā)人員：朱俊杰,王進(jìn),賈森蕓,張海運(yùn),陸國棟
受保護(hù)的技術(shù)使用者：余姚市機(jī)器人研究中心
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9