本發(fā)明涉及自動控制，具體而言，涉及一種機械手臂的路徑規(guī)劃方法及裝置、存儲介質(zhì)。

背景技術(shù)：

1、相關(guān)技術(shù)中，在機器人系統(tǒng)中集成人工智能可以促進人機協(xié)作，尤其是動態(tài)場景的復(fù)雜任務(wù)中。傳統(tǒng)的機器人系統(tǒng)通常依賴于預(yù)先編程的任務(wù)和受控環(huán)境，自由度有限。然而，在真實世界的任務(wù)中，尤其是機器人需要與人類實時互動時，就要求機器人有更高的適應(yīng)性和精度。試想一下，工人需要一個助手機器人在車間雜物中夾起一把工具，比如剪刀、錘子、螺絲刀等。機器人必須持續(xù)檢測并抓取工具。這個簡單的例子包含三個獨立任務(wù)：自然語言理解、實時物體定位與跟蹤和實時路徑規(guī)劃。進行自然語言理解的任務(wù)，使機器人能夠確定具體目標(biāo)；實時物體定位與跟蹤是避障和路徑規(guī)劃的必要條件；實時路徑規(guī)劃保證機器人避障和將抓取的物體送到目標(biāo)位置。此前的一些方法都側(cè)重于基于預(yù)定義的大模型技能數(shù)據(jù)集的端到端方法。這些端到端方法常常忽略運動學(xué)約束，進而導(dǎo)致機器人運行不安全和不準確。這些約束和要求對于滿足工業(yè)標(biāo)準至關(guān)重要，且精確可靠的操作是重中之重。

2、相關(guān)技術(shù)中，類似人機協(xié)作的方案使用封閉詞典，導(dǎo)致能夠識別的物體類型不足，靈活度有限，前的方案大多使用遞進的路徑優(yōu)化方法，規(guī)劃速度慢的同時平滑度也不足。

3、針對相關(guān)技術(shù)中存在的上述問題，暫未發(fā)現(xiàn)高效且準確的解決方案。

技術(shù)實現(xiàn)思路

1、本發(fā)明提供了一種機械手臂的路徑規(guī)劃方法及裝置、存儲介質(zhì)，以解決相關(guān)技術(shù)中的技術(shù)問題。

2、根據(jù)本發(fā)明的一個實施例，提供了一種機械手臂的路徑規(guī)劃方法，包括：接收語音抓取指令，其中，所述語音抓取指令用于指示抓取目標(biāo)對象；獲取攝像機采集的所述目標(biāo)對象所在位置的場景圖像，并基于所述場景圖像檢測所述目標(biāo)對象的初始位姿；基于所述初始位姿確定所述機械手臂的預(yù)抓取位姿，其中，所述預(yù)抓取位姿是所述機械手臂在抓取所述目標(biāo)對象前的準備位姿；根據(jù)所述預(yù)抓取位姿實時規(guī)劃機械手臂的移動路徑。

3、可選地，基于所述場景圖像檢測所述目標(biāo)對象的初始位姿包括：將所述場景圖像輸入對象識別模型，輸出所述目標(biāo)對象的邊界框，其中，所述對象識別模型為開放詞典大模型；采用所述邊界框生成二值掩碼；根據(jù)所述二值掩碼檢測所述目標(biāo)對象的初始位姿。

4、可選地，根據(jù)所述二值掩碼檢測所述目標(biāo)對象的初始位姿包括：獲取所述攝像機的深度數(shù)據(jù)；將所述二值掩碼和所述深度數(shù)據(jù)輸入預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，輸出所述目標(biāo)對象的粗略位姿，其中，所述粗略位姿包括初始位置和粗略姿態(tài)；對所述粗略位姿中的粗略姿態(tài)進行平移更新和旋轉(zhuǎn)更新，得到所述目標(biāo)對象校正后的初始位姿。

5、可選地，對所述粗略位姿中的粗略姿態(tài)進行平移更新和旋轉(zhuǎn)更新，得到所述目標(biāo)對象校正后的初始位姿包括：將所述粗略姿態(tài)分別輸入預(yù)訓(xùn)練的平移編碼器和旋轉(zhuǎn)編碼器，得到對應(yīng)的平移校正結(jié)果和旋轉(zhuǎn)校正結(jié)果，其中，所述平移編碼器和所述旋轉(zhuǎn)編碼器均為自注意力編碼器；將所述平移校正結(jié)果和所述旋轉(zhuǎn)校正結(jié)果輸入姿態(tài)排名編碼器，輸出多個姿態(tài)假設(shè)的特征嵌入；將所述特征嵌入線性投影至卡爾曼濾波器，得到多個與姿態(tài)相關(guān)聯(lián)的分數(shù)值；選擇分數(shù)值最高的姿態(tài)為所述目標(biāo)對象校正后的初始位姿。

6、可選地，根據(jù)所述預(yù)抓取位姿實時規(guī)劃機械手臂的移動路徑包括：基于所述預(yù)抓取姿態(tài)確定所述機械手臂的抓取位姿；以預(yù)抓取位姿為起始位置，所述抓取位姿為終點位置創(chuàng)建無碰撞約束的預(yù)抓取路徑；基于所述語音抓取指令解析所述目標(biāo)對象的目標(biāo)位置；以所述抓取位姿為起始位置，所述目標(biāo)位置為終點位置創(chuàng)建無碰撞約束的抓取路徑，并基于所述抓取路徑實時規(guī)劃所述機械手臂的控制力矩，其中，所述移動路徑包括所述預(yù)抓取路徑和所述抓取路徑。

7、可選地，基于所述抓取路徑實時規(guī)劃所述機械手臂的控制力矩包括：構(gòu)建所述機械手臂的剛體動力學(xué)模型；確定所述移動路徑的約束條件，基于所述約束條件將所述剛體動力學(xué)模型轉(zhuǎn)換為狀態(tài)轉(zhuǎn)移方程和目標(biāo)代價函數(shù)，其中，所述狀態(tài)轉(zhuǎn)移方程用于求解所述目標(biāo)對象的當(dāng)前位置，所述目標(biāo)代價函數(shù)用于求解所述機械手臂到達下一最優(yōu)路徑點的控制力矩；從起始位置開始，迭代執(zhí)行以下步驟，直到所述目標(biāo)對象到達所述目標(biāo)位置：獲取所述機械手臂在當(dāng)前控制周期的當(dāng)前狀態(tài)變量和當(dāng)前控制力矩，將所述當(dāng)前狀態(tài)變量和所述當(dāng)前控制力矩輸入狀態(tài)轉(zhuǎn)移方程和目標(biāo)代價函數(shù)，輸出所述機械手臂在下一控制周期的目標(biāo)狀態(tài)變量和目標(biāo)控制力矩；基于所述目標(biāo)狀態(tài)變量判斷所述目標(biāo)對象是否到達所述目標(biāo)位置，若所述目標(biāo)對象未到達所述目標(biāo)位置，向所述機械手臂輸出所述目標(biāo)控制力矩。

8、可選地，將所述當(dāng)前狀態(tài)變量和所述當(dāng)前控制力矩輸入狀態(tài)轉(zhuǎn)移方程和目標(biāo)代價函數(shù)，輸出所述機械手臂在下一控制周期的目標(biāo)狀態(tài)變量，包括：采用以下公式計算所述機械手臂在k+1周期的目標(biāo)狀態(tài)變量：：其中，為k周期的狀態(tài)變量，為k周期的控制力矩，為k+1周期的控制力矩，n為所述移動路徑的總路徑點數(shù)，n為當(dāng)前周期的最大迭代次數(shù)，k≤n，，，表示克羅內(nèi)克積，是大小為的單位矩陣，h為周期時間。

9、可選地，將所述當(dāng)前狀態(tài)變量和所述當(dāng)前控制力矩輸入狀態(tài)轉(zhuǎn)移方程和目標(biāo)代價函數(shù)，輸出所述機械手臂在下一控制周期的目標(biāo)狀態(tài)變量和目標(biāo)控制力矩，包括：采用以下目標(biāo)代價函數(shù)最小化計算所述機械手臂在k+1周期的目標(biāo)控制力矩:

10、；

11、其中，、、分別是權(quán)重系數(shù)，為k周期的狀態(tài)變量，為k周期的控制力矩，為所述攝像機視野可達的路徑中點，n為移動路徑的總路徑點數(shù)，n為，為路徑跟蹤代價函數(shù)，用于最小化路徑點與移動路徑之間的偏差，為目標(biāo)位置代價函數(shù)，用于最小化所述機械手臂的最終位置與所述目標(biāo)位置之間的偏差，為避障代價函數(shù)，用于實現(xiàn)所述機械手臂的無碰撞約束。

12、根據(jù)本發(fā)明的另一個實施例，提供了一種機械手臂的路徑規(guī)劃裝置，包括：接收模塊，用于接收語音抓取指令，其中，所述語音抓取指令用于指示抓取目標(biāo)對象；檢測模塊，用于獲取攝像機采集的所述目標(biāo)對象所在位置的場景圖像，并基于所述場景圖像檢測所述目標(biāo)對象的初始位姿；確定模塊，用于基于所述初始位姿確定所述機械手臂的預(yù)抓取位姿，其中，所述預(yù)抓取位姿是所述機械手臂在抓取所述目標(biāo)對象前的準備位姿；規(guī)劃模塊，用于根據(jù)所述預(yù)抓取位姿實時規(guī)劃機械手臂的移動路徑。

13、可選地，所述檢測模塊包括：輸出單元，用于將所述場景圖像輸入對象識別模型，輸出所述目標(biāo)對象的邊界框，其中，所述對象識別模型為開放詞典大模型；生成單元，用于采用所述邊界框生成二值掩碼；檢測單元，用于根據(jù)所述二值掩碼檢測所述目標(biāo)對象的初始位姿。

14、可選地，所述檢測單元包括：獲取子單元，用于獲取所述攝像機的深度數(shù)據(jù)；輸出子單元，用于將所述二值掩碼和所述深度數(shù)據(jù)輸入預(yù)訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)，輸出所述目標(biāo)對象的粗略位姿，其中，所述粗略位姿包括初始位置和粗略姿態(tài)；轉(zhuǎn)換子單元，用于對所述粗略位姿中的粗略姿態(tài)進行平移更新和旋轉(zhuǎn)更新，得到所述目標(biāo)對象校正后的初始位姿。

15、可選地，所述轉(zhuǎn)換子單元還用于：將所述粗略姿態(tài)分別輸入預(yù)訓(xùn)練的平移編碼器和旋轉(zhuǎn)編碼器，得到對應(yīng)的平移校正結(jié)果和旋轉(zhuǎn)校正結(jié)果，其中，所述平移編碼器和所述旋轉(zhuǎn)編碼器均為自注意力編碼器；將所述平移校正結(jié)果和所述旋轉(zhuǎn)校正結(jié)果輸入姿態(tài)排名編碼器，輸出多個姿態(tài)假設(shè)的特征嵌入；將所述特征嵌入線性投影至卡爾曼濾波器，得到多個與姿態(tài)相關(guān)聯(lián)的分數(shù)值；選擇分數(shù)值最高的姿態(tài)為所述目標(biāo)對象校正后的初始位姿。

16、可選地，所述規(guī)劃模塊包括：確定單元，用于基于所述預(yù)抓取姿態(tài)確定所述機械手臂的抓取位姿；創(chuàng)建單元，用于以預(yù)抓取位姿為起始位置，所述抓取位姿為終點位置創(chuàng)建無碰撞約束的預(yù)抓取路徑；解析單元，用于基于所述語音抓取指令解析所述目標(biāo)對象的目標(biāo)位置；規(guī)劃單元，用于以所述抓取位姿為起始位置，所述目標(biāo)位置為終點位置創(chuàng)建無碰撞約束的抓取路徑，并基于所述抓取路徑實時規(guī)劃所述機械手臂的控制力矩，其中，所述移動路徑包括所述預(yù)抓取路徑和所述抓取路徑。

17、可選地，所述規(guī)劃單元包括：構(gòu)建子單元，用于構(gòu)建所述機械手臂的剛體動力學(xué)模型；轉(zhuǎn)換子單元，用于確定所述移動路徑的約束條件，基于所述約束條件將所述剛體動力學(xué)模型轉(zhuǎn)換為狀態(tài)轉(zhuǎn)移方程和目標(biāo)代價函數(shù)，其中，所述狀態(tài)轉(zhuǎn)移方程用于求解所述目標(biāo)對象的當(dāng)前位置，所述目標(biāo)代價函數(shù)用于求解所述機械手臂到達下一最優(yōu)路徑點的控制力矩；迭代子單元，用于從起始位置開始，迭代執(zhí)行以下步驟，直到所述目標(biāo)對象到達所述目標(biāo)位置：獲取所述機械手臂在當(dāng)前控制周期的當(dāng)前狀態(tài)變量和當(dāng)前控制力矩，將所述當(dāng)前狀態(tài)變量和所述當(dāng)前控制力矩輸入狀態(tài)轉(zhuǎn)移方程和目標(biāo)代價函數(shù)，輸出所述機械手臂在下一控制周期的目標(biāo)狀態(tài)變量和目標(biāo)控制力矩；基于所述目標(biāo)狀態(tài)變量判斷所述目標(biāo)對象是否到達所述目標(biāo)位置，若所述目標(biāo)對象未到達所述目標(biāo)位置，向所述機械手臂輸出所述目標(biāo)控制力矩。

18、可選地，所述迭代子單元還用于：采用以下公式計算所述機械手臂在k+1周期的目標(biāo)狀態(tài)變量：；其中，為k周期的狀態(tài)變量，為k周期的控制力矩，為k+1周期的控制力矩，n為所述移動路徑的總路徑點數(shù)，當(dāng)前周期的最大迭代次數(shù)，k≤n，

19、，，表示克羅內(nèi)克積，是大小為的單位矩陣，h為周期時間。

20、可選地，所述迭代子單元還用于：采用以下目標(biāo)代價函數(shù)最小化計算所述機械手臂在k+1周期的目標(biāo)控制力矩:

21、；

22、其中，、、分別是權(quán)重系數(shù)，為k周期的狀態(tài)變量，為k周期的控制力矩，為所述攝像機視野可達的路徑中點，n為移動路徑的總路徑點數(shù)，n為，為路徑跟蹤代價函數(shù)，用于最小化路徑點與移動路徑之間的偏差，為目標(biāo)位置代價函數(shù)，用于最小化所述機械手臂的最終位置與所述目標(biāo)位置之間的偏差，為避障代價函數(shù)，用于實現(xiàn)所述機械手臂的無碰撞約束。

23、根據(jù)本技術(shù)實施例的另一方面，還提供了一種存儲介質(zhì)，該存儲介質(zhì)包括存儲的程序，程序運行時執(zhí)行上述的步驟。

24、根據(jù)本技術(shù)實施例的另一方面，還提供了一種電子設(shè)備，包括處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信；其中：存儲器，用于存放計算機程序；處理器，用于通過運行存儲器上所存放的程序來執(zhí)行上述方法中的步驟。

25、根據(jù)本發(fā)明的又一個實施例，還提供了一種存儲介質(zhì)，所述存儲介質(zhì)中存儲有計算機程序，其中，所述計算機程序被設(shè)置為運行時執(zhí)行上述任一項裝置實施例中的步驟。

26、通過本發(fā)明實施例，接收語音抓取指令，其中，所述語音抓取指令用于指示抓取目標(biāo)對象；獲取攝像機采集的所述目標(biāo)對象所在位置的場景圖像，并基于所述場景圖像檢測所述目標(biāo)對象的初始位姿；基于所述初始位姿確定所述機械手臂的預(yù)抓取位姿，通過語音抓取指令檢測和確定的目標(biāo)對象的預(yù)抓取位姿進行目標(biāo)跟蹤和路徑規(guī)劃，從預(yù)抓取位姿開始規(guī)劃路徑，在保證避障等約束條件的同時，完成人機協(xié)作任務(wù)，解決了相關(guān)技術(shù)中機械手臂路徑規(guī)劃效率低的技術(shù)問題，提高了機器手臂的路徑規(guī)劃效率。