本發(fā)明涉及海洋工程領(lǐng)域，具體涉及融合體感與視覺(jué)的機(jī)械臂方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、海洋蘊(yùn)藏資源豐富，人類對(duì)海洋的探索從遠(yuǎn)古一直延續(xù)至今，水下機(jī)器人是重要的水下研究平臺(tái)，用于探索海洋環(huán)境，發(fā)展海洋科技。水下機(jī)械臂是常用的水下機(jī)器人搭載設(shè)備，在水下重型工程基建、密閉空間探測(cè)、軍工排雷、清理海洋生物和海洋生態(tài)保護(hù)等方面有廣泛應(yīng)用，在上述應(yīng)用功能中，抓取是水下機(jī)械臂的核心動(dòng)作，這一動(dòng)作要求操作準(zhǔn)確、迅速，所以水下機(jī)械臂控制方式的效率和精確度就成了這個(gè)階段需要重點(diǎn)解決的水下作業(yè)問(wèn)題。

2、目前市面上常見(jiàn)的水下機(jī)械臂控制技術(shù)多為主從控制方案，操作者通過(guò)遙控器、上位機(jī)等方式對(duì)機(jī)械臂的運(yùn)動(dòng)進(jìn)行人工控制，由此帶來(lái)了一系列問(wèn)題，如操作難度大、控制效率低、多關(guān)節(jié)機(jī)械臂控制依賴人工等。而隨著現(xiàn)階段水下工程作業(yè)要求的提高，水下機(jī)械臂的結(jié)構(gòu)變得更加復(fù)雜，功能更加豐富；此外操作者通過(guò)上位機(jī)看到的畫面進(jìn)行操作，不僅操作緩慢人機(jī)交互程度低，而且二維畫面產(chǎn)生視覺(jué)偏差，會(huì)導(dǎo)致操作準(zhǔn)確性降低或者誤操作，近年來(lái)。隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，水下機(jī)械臂控制系統(tǒng)對(duì)周圍的環(huán)境有著更強(qiáng)的感知能力。融合視覺(jué)測(cè)量的位置信息進(jìn)行抓取作業(yè)，實(shí)現(xiàn)手眼協(xié)同控制或者自動(dòng)控制來(lái)輔助人工操作，是現(xiàn)階段提升水下機(jī)械臂控制的主流發(fā)展方向。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中提到的問(wèn)題，本發(fā)明提出融合體感與視覺(jué)的機(jī)械臂方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，以解決背景技術(shù)中的問(wèn)題。

2、本發(fā)明融合體感與視覺(jué)的機(jī)械臂控制方法，包括以下步驟：

3、s1：獲取機(jī)械臂輸出的目標(biāo)角度、視覺(jué)數(shù)據(jù)以及體感設(shè)備輸出數(shù)據(jù)；

4、s2：根據(jù)視覺(jué)數(shù)據(jù)和體感設(shè)備輸出數(shù)據(jù)，采用自適應(yīng)權(quán)重計(jì)算得到每一次遞歸后機(jī)械臂末端位姿變化增量；

5、s3：根據(jù)每一次遞歸機(jī)械臂末端位姿變化增量更新機(jī)械臂末端實(shí)時(shí)位姿；

6、s4：判斷機(jī)械臂目標(biāo)位置與更新后的機(jī)械臂末端位姿是否一致，若是則機(jī)械臂到達(dá)目標(biāo)位置，若否則返回步驟s2。

7、優(yōu)選地，所述步驟s1中機(jī)械臂輸出的目標(biāo)角度φ的過(guò)程是：機(jī)械臂中的相機(jī)對(duì)目標(biāo)物進(jìn)行識(shí)別測(cè)距，得到目標(biāo)位置相對(duì)相機(jī)的三坐標(biāo)位置數(shù)據(jù)，通過(guò)坐標(biāo)系變換，將相機(jī)采集的位置數(shù)據(jù)換算成機(jī)械臂坐標(biāo)系的位置數(shù)據(jù)，將機(jī)械臂末端三坐標(biāo)位置數(shù)據(jù)應(yīng)與其重合，代入運(yùn)動(dòng)學(xué)逆解，可以求得機(jī)械臂末端達(dá)到目標(biāo)位置時(shí)機(jī)械臂輸出的目標(biāo)角度。

8、優(yōu)選地，所述步驟s1中獲取視覺(jué)數(shù)據(jù)iv是機(jī)械臂輸出的目標(biāo)角度φ與機(jī)械臂末端實(shí)時(shí)位姿ψ的差值。

9、優(yōu)選地，所述步驟s1中獲取體感設(shè)備輸出數(shù)據(jù)im包括機(jī)械臂的輸出角度以及機(jī)械臂大小臂的控制角度；

10、獲取機(jī)械臂的輸出角度的過(guò)程是：

11、根據(jù)人手轉(zhuǎn)動(dòng)角度θ1，機(jī)械臂轉(zhuǎn)動(dòng)角度θ2，通過(guò)下列公式定義比例系數(shù)：

12、a＝θ2/θ1

13、根據(jù)比例系數(shù)以及體感設(shè)備輸出角度對(duì)應(yīng)的角速度計(jì)算得到機(jī)械臂的輸出角度θ，計(jì)算公式如下：

14、

15、式中：ω是體感設(shè)備輸出角度對(duì)應(yīng)的角速度；b＝1/t0,t0是串口數(shù)據(jù)傳輸時(shí)間間隔；δθ為獲取的兩個(gè)相鄰角度的差值；

16、所述獲取機(jī)械臂大小臂的控制角度的過(guò)程是：

17、建立機(jī)械臂大臂小臂運(yùn)動(dòng)模型；

18、定義大臂與過(guò)圓心垂線的夾角為α，大臂與水平位置的夾角為β，數(shù)據(jù)手套采集俯仰角為pitch，大小臂之間的夾角定義為θ3，計(jì)算公式如下：

19、θ3＝pitch+δβ＝pitch-δα

20、式中：θ3為大小臂之間的夾角；δα為大臂與過(guò)圓心垂線的夾角增量；δβ為大臂與水平位置的夾角的增量。

21、優(yōu)選地，所述步驟s2中采用自適應(yīng)權(quán)重計(jì)算得到每一次遞歸后機(jī)械臂末端位姿變化增量的公式如下：

22、δi＝δim+wiv

23、式中：δi代表每一次遞歸機(jī)械臂末端位姿變化增量；δim則代表體感設(shè)備輸出數(shù)據(jù)的差量；w代表調(diào)節(jié)體感設(shè)備輸出數(shù)據(jù)與視覺(jué)數(shù)據(jù)比例的自適應(yīng)權(quán)重。

24、優(yōu)選地，所述自適應(yīng)權(quán)重w的計(jì)算公式如下：

25、

26、式中：ψ0代表一次抓取操作開(kāi)始時(shí)，機(jī)械臂末端的起始位姿數(shù)據(jù)；ψ代表機(jī)械臂末端實(shí)時(shí)位姿數(shù)據(jù)；φ代表機(jī)械臂輸出的目標(biāo)角度。

27、優(yōu)選地，所述步驟s3中更新機(jī)械臂末端實(shí)時(shí)位姿的計(jì)算公式如下：

28、ψt＝ψt-1+δi

29、式中：ψt代表機(jī)械臂末端實(shí)時(shí)位姿數(shù)據(jù)；δi代表每一次遞歸機(jī)械臂末端位姿變化增量；ψt-1代表機(jī)械臂上一次末端實(shí)時(shí)位姿數(shù)據(jù)。

30、融合體感與視覺(jué)的機(jī)械臂控制系統(tǒng)，包括：

31、獲取數(shù)據(jù)模塊，獲取機(jī)械臂目標(biāo)位置、視覺(jué)數(shù)據(jù)以及體感設(shè)備輸出數(shù)據(jù)；

32、計(jì)算模塊，根據(jù)視覺(jué)數(shù)據(jù)和體感設(shè)備輸出數(shù)據(jù)，采用自適應(yīng)權(quán)重計(jì)算得到每一次遞歸后機(jī)械臂末端位姿變化增量；

33、更新模塊，根據(jù)每一次遞歸機(jī)械臂末端位姿變化增量更新機(jī)械臂末端實(shí)時(shí)位姿；

34、判斷模塊，判斷機(jī)械臂目標(biāo)位置與更新后的機(jī)械臂末端位姿是否一致，若是則機(jī)械臂到達(dá)目標(biāo)位置，若否則返回步驟s2。

35、融合體感與視覺(jué)的機(jī)械臂控制設(shè)備，包括處理器和存儲(chǔ)器，其中，所述處理器執(zhí)行所述存儲(chǔ)器中保存的計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的融合體感與視覺(jué)的機(jī)械臂控制方法。

36、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的融合體感與視覺(jué)的機(jī)械臂控制方法。

37、本發(fā)明相對(duì)于現(xiàn)有技術(shù)，取得了以下的技術(shù)效果：

38、本發(fā)明將視覺(jué)與體感融合至水下機(jī)械臂，實(shí)現(xiàn)了視覺(jué)與機(jī)械運(yùn)動(dòng)統(tǒng)一，體感設(shè)備的使用捕捉了操作者身體更多信息用于控制，使得多自由度機(jī)械臂運(yùn)動(dòng)更加貼合人體手臂運(yùn)動(dòng)，這在減小控制難度的同時(shí)，提高了水下機(jī)械臂控制的人機(jī)交互程度；由于視覺(jué)信息融入，機(jī)械臂控制系統(tǒng)可以鎖定目標(biāo)物位置，這可以減小水下機(jī)械臂抓取作業(yè)所需時(shí)間，提升作業(yè)效率；同時(shí)根據(jù)視覺(jué)提供信息，機(jī)械臂姿態(tài)向抓取成功姿態(tài)靠近，最終各關(guān)節(jié)固定在目標(biāo)輸出角度，提升了抓取準(zhǔn)確性。

技術(shù)特征：

1.融合體感與視覺(jué)的機(jī)械臂控制方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述融合體感與視覺(jué)的機(jī)械臂控制方法，其特征在于，所述步驟s1中機(jī)械臂輸出的目標(biāo)角度φ的過(guò)程是：機(jī)械臂中的相機(jī)對(duì)目標(biāo)物進(jìn)行識(shí)別測(cè)距，得到目標(biāo)位置相對(duì)相機(jī)的三坐標(biāo)位置數(shù)據(jù)，通過(guò)坐標(biāo)系變換，將相機(jī)采集的位置數(shù)據(jù)換算成機(jī)械臂坐標(biāo)系的位置數(shù)據(jù)，將機(jī)械臂末端三坐標(biāo)位置數(shù)據(jù)應(yīng)與其重合，代入運(yùn)動(dòng)學(xué)逆解，可以求得機(jī)械臂末端達(dá)到目標(biāo)位置時(shí)機(jī)械臂輸出的目標(biāo)角度。

3.根據(jù)權(quán)利要求1所述融合體感與視覺(jué)的機(jī)械臂控制方法，其特征在于，所述步驟s1中獲取視覺(jué)數(shù)據(jù)iv是機(jī)械臂輸出的目標(biāo)角度φ與機(jī)械臂末端實(shí)時(shí)位姿ψ的差值。

4.根據(jù)權(quán)利要求1所述融合體感與視覺(jué)的機(jī)械臂控制方法，其特征在于，所述步驟s1中獲取體感設(shè)備輸出數(shù)據(jù)im包括機(jī)械臂的輸出角度以及機(jī)械臂大小臂的控制角度；

5.根據(jù)權(quán)利要求4所述融合體感與視覺(jué)的機(jī)械臂控制方法，其特征在于，所述步驟s2中采用自適應(yīng)權(quán)重計(jì)算得到每一次遞歸后機(jī)械臂末端位姿變化增量的公式如下：

6.根據(jù)權(quán)利要求5所述融合體感與視覺(jué)的機(jī)械臂控制方法，其特征在于，所述自適應(yīng)權(quán)重w的計(jì)算公式如下：

7.根據(jù)權(quán)利要求1所述融合體感與視覺(jué)的機(jī)械臂控制方法，其特征在于，所述步驟s3中更新機(jī)械臂末端實(shí)時(shí)位姿的計(jì)算公式如下：

8.融合體感與視覺(jué)的機(jī)械臂控制系統(tǒng)，其特征在于，包括：

9.融合體感與視覺(jué)的機(jī)械臂控制設(shè)備，其特征在于，包括處理器和存儲(chǔ)器，其中，所述處理器執(zhí)行所述存儲(chǔ)器中保存的計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的融合體感與視覺(jué)的機(jī)械臂控制方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，用于存儲(chǔ)計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的融合體感與視覺(jué)的機(jī)械臂控制方法。

技術(shù)總結(jié)
本發(fā)明涉及海洋工程領(lǐng)域，具體涉及融合體感與視覺(jué)的機(jī)械臂方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)。融合體感與視覺(jué)的機(jī)械臂控制方法，包括以下步驟：獲取機(jī)械臂輸出的目標(biāo)角度、視覺(jué)數(shù)據(jù)以及體感設(shè)備輸出數(shù)據(jù)；根據(jù)視覺(jué)數(shù)據(jù)和體感設(shè)備輸出數(shù)據(jù)，采用自適應(yīng)權(quán)重計(jì)算得到每一次遞歸后機(jī)械臂末端位姿變化增量。本發(fā)明將視覺(jué)與體感融合至水下機(jī)械臂中，提高了人機(jī)交互程度，實(shí)現(xiàn)了視覺(jué)與機(jī)械運(yùn)動(dòng)統(tǒng)一，體感設(shè)備的使用捕捉了操作者身體更多信息用于控制，使得多自由度機(jī)械臂運(yùn)動(dòng)更加貼合人體手臂運(yùn)動(dòng)，這在減小控制難度。

技術(shù)研發(fā)人員：胡橋,崔智博,張明明,徐新權(quán),符運(yùn)龍,程祖鈺
受保護(hù)的技術(shù)使用者：西安交通大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/19