本發(fā)明涉及人工智能，尤其涉及一種基于深度學習和人機交互的機械臂控制方法和系統(tǒng)。

背景技術(shù)：

1、物聯(lián)網(wǎng)系統(tǒng)已經(jīng)被廣泛應(yīng)用于智能制造領(lǐng)域，通過集成各種傳感器、網(wǎng)絡(luò)和設(shè)備，極大地提升了生產(chǎn)效率和精度。在這些應(yīng)用中，基于人機交互的機械臂控制已成為一個重要的研究方向，特別是在需要高精度和靈活操作的場景中。當前，機械臂的控制大多依賴于人工遠程控制，這種控制方式包括按鍵控制、語音控制或跟隨控制。在這種模式中，人類扮演著“駕駛員”的角色，類似于操作車輛或飛機的模式來操縱機械臂完成任務(wù)。然而，由于機械臂在三維空間操作的復雜性，人類駕駛員在“駕駛員”模式下很難完成預(yù)設(shè)任務(wù)。

2、近年來，腦機接口研究的最新趨勢表明，人類的意圖可以通過解析神經(jīng)信號，轉(zhuǎn)化為對物聯(lián)網(wǎng)系統(tǒng)中機械臂的控制指令?；谀X機接口技術(shù)，通過識別人類意圖，使用者可以以“具身者”的控制模式實現(xiàn)更加自然的機械臂操作，就像控制自己的肢體一樣。腦機接口技術(shù)是近年來發(fā)展起來的一種新型人機交互方式。腦機接口利用人腦在認知和反應(yīng)方面的天然優(yōu)勢，提供了一種全新的操控方式。腦機接口通過采集和記錄腦電信號，將其轉(zhuǎn)化為可操作的指令。

3、然而，在現(xiàn)有的基于腦機接口的機械臂控制系統(tǒng)中，使用者均是在二維空間操作處于三維場景中的機械臂。使用者并非真正的與三維場景進行交互。使用者的注意力始終集中在二維屏幕的視覺刺激上，限制了使用者通過三維場景的環(huán)境信息進行分析判斷。這導致現(xiàn)有的基于腦機接口的腦控機械臂系統(tǒng)存在的人機交互不自然的問題，難以在實際場景中得到應(yīng)用。不僅如此，由于機械臂在三維空間操作的復雜性，使用者在使用基于人類意圖的控制指令操作機械臂進行運動時，往往需要進行復雜的轉(zhuǎn)換操作。這意味著，為了控制機械臂到達預(yù)定目標，使用者需要產(chǎn)生大量的基于人類意圖的控制指令，這也增加了使用者的工作負擔。因此，如何將腦機接口技術(shù)應(yīng)用于三維場景中的機械臂操作，是一個具有挑戰(zhàn)性的問題。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有的基于腦機接口的機械臂控制系統(tǒng)中交互不自然和用戶負擔重的問題，本發(fā)明提出了一種基于深度學習和人機交互的機械臂控制方法和系統(tǒng)用以解決上述問題；同時，本發(fā)明在物聯(lián)網(wǎng)的智能制造場景中具有重要的應(yīng)用價值，可以為物聯(lián)網(wǎng)的三維制造場景中的機械臂操作提供新的解決方案，推動了腦機接口與物聯(lián)網(wǎng)技術(shù)的融合發(fā)展。

2、為實現(xiàn)上述目的，本發(fā)明提供了一種基于深度學習和人機交互的機械臂控制方法，包括：

3、采集智能制造場景中的畫面，識別畫面中每個靶目標的位姿，并對畫面進行渲染，生成使用者的操作界面；

4、基于使用者產(chǎn)生的對靶目標的控制意圖，并通過注視場景中的所述靶目標誘發(fā)腦電波，對所述腦電波進行解碼，獲得使用者的操作意圖；

5、通過機械臂控制器接收所述使用者的操作意圖，基于運動規(guī)劃方法獲得所述機械臂的運行軌跡，根據(jù)所述運行軌跡，使用動力學模型驅(qū)動機械臂的各個關(guān)節(jié)執(zhí)行抓取和放置任務(wù)。

6、優(yōu)選地，生成所述使用者的操作界面，包括：

7、使用攝像頭以使用者第一人稱視角采集智能制造場景中的畫面，通過深度學習算法識別出畫面中的每個靶目標的位姿，為場景中的每一個靶目標疊加正弦波編碼的透明度效果，并對畫面進行渲染，將疊加正弦波編碼的透明度效果的智能制造場景中的畫面實時呈現(xiàn)給使用者，生成所述使用者的操作界面。

8、優(yōu)選地，所述深度學習算法為基于遷移學習方法實現(xiàn)的神經(jīng)網(wǎng)絡(luò)模型，所述神經(jīng)網(wǎng)絡(luò)模型接收所述智能制造場景中的畫面，通過vgg16提取特征后，分別通過平移分支和旋轉(zhuǎn)分支進行姿態(tài)估計，識別所述靶目標的位姿；

9、其中，所述平移分支用于位置估計，輸出三維向量表示物體在三維空間中的位置；所述旋轉(zhuǎn)分支用于姿態(tài)估計，輸出四維向量表示物體的四元數(shù)旋轉(zhuǎn)；所述平移分支由三層全連接層組成，分別將特征向量映射到256維、64維，最終輸出3維位置向量；所述旋轉(zhuǎn)分支由三層全連接層組成，輸出4維四元數(shù)向量，并通過自定義的歸一化層對四元數(shù)進行歸一化處理。

10、優(yōu)選地，所述正弦波編碼的透明度為：

11、alpha(t)＝0.5·sin(2πft+δφ)+0.5

12、其中，alpha(t)為靶目標在時刻t的透明度，f為正弦波的頻率，δφ為相位差。

13、優(yōu)選地，基于增量式自主學習方法對所述腦電波進行解碼，包括：

14、步驟1：對所述腦電波進行預(yù)處理與窗口化；

15、對腦電波進行預(yù)處理，包括去除基線和帶通濾波；

16、通過高通濾波器去除基線，具體為：

17、y(t)＝highpassfilter(x(t),fcutoff)

18、其中，fcutoff為高通濾波器的截止頻率，x(t)為原始腦電波，y(t)為高通濾波器濾波后的信號，highpassfilter()為高通濾波；

19、對所述腦電波進行帶通濾波的過程為：

20、z(t)＝bandstopfilter(y(t),50hz)

21、其中，帶通濾波后的信號為z(t)，bandstopfilter()為帶阻濾波；

22、將預(yù)處理后的腦電波按預(yù)設(shè)時間窗口進行切片，且每個窗口包含一定數(shù)量的樣本點n，具體為：

23、zk＝[z(tk),z(tk+1),...,z(tk+n-1)]

24、zk為窗口化后的信號；

25、步驟2：構(gòu)建初始腦電波模板；

26、根據(jù)靶對象上的正弦波編碼的刺激頻率fi，構(gòu)建刺激頻率fi對應(yīng)的正弦和余弦參考信號：

27、

28、其中，m為諧波數(shù)量，i為目標對象的id，k為離散化的時間點，為刺激頻率fi對應(yīng)的正弦和余弦參考信號；

29、步驟3：計算相關(guān)值；

30、使用零相位的i型切比雪夫濾波器將所述窗口化后的信號zk分解成若干子頻帶

31、將標準典型相關(guān)分析算法分別應(yīng)用至每個子頻帶成分，獲得每個子頻帶成分與預(yù)定義的參考信號之間的相關(guān)值，具體為：

32、

33、其中，ρk為第k個模版信號對應(yīng)的相關(guān)值，為第n個子頻帶的相關(guān)值；

34、將ρk中n個子頻帶成分進行加權(quán)平方和融合，即：

35、

36、其中，為加權(quán)平方和融合后的相關(guān)性輸出結(jié)果，為第n個子頻帶的相關(guān)值，w(n)為加權(quán)函數(shù)；

37、加權(quán)函數(shù)w(n)的定義為：

38、w(n)＝n-a+b,n∈[1,n]

39、其中，a和b均為常量。

40、優(yōu)選地，獲得所述使用者的操作意圖，包括：

41、收集使用者產(chǎn)生的腦電波數(shù)據(jù)，當每種靶目標上的正弦波編碼的頻率所對應(yīng)的數(shù)據(jù)數(shù)量均超過m時，則獲得一個批次的用戶特異性模板，使用所述用戶特異性模版生成新的相關(guān)值，表示為其中，當每次收集到新的用戶特異性模板時，則丟棄上一個用戶特異性模版；

42、最終，得到s種靶目標上的正弦波編碼的刺激頻率對應(yīng)的s個加權(quán)相關(guān)值取其中最大的對應(yīng)的靶目標，即為識別的所述使用者的操作意圖；

43、用戶特異性模板定義為：

44、

45、其中，m為一個批次用戶特異性模板收集的數(shù)據(jù)數(shù)量；c為一個腦電信號通道數(shù)量，為用戶特異性模板，為單試次單通道的腦電數(shù)據(jù)；

46、優(yōu)化后的相關(guān)值為：

47、

48、其中，α為更新權(quán)重參數(shù)，為最優(yōu)化相關(guān)值；

49、所述使用者的操作意圖為：

50、

51、其中，為預(yù)設(shè)閾值，ftarget為識別的靶目標id，為第s個靶目標對應(yīng)的最優(yōu)化相關(guān)值。

52、優(yōu)選地，基于運動規(guī)劃方法獲得所述機械臂的運行軌跡，包括：

53、使用五次多項式插值生成所述運行軌跡，通過比例-微分控制糾正所述運行軌跡與期望路徑的偏差，且當使用者持續(xù)輸出操作意圖時，機械臂才會持續(xù)執(zhí)行自主運動規(guī)劃的路徑，否則，機械臂停止運動；

54、其中，生成所述運行軌跡的方法為：

55、q(t)＝a0+a1t+a2t2+a3t3+a4t4+a5t5

56、式中，多項式系數(shù)a0,a1,...,a5通過設(shè)定邊界條件進行求解，q(t)為運行軌跡；

57、通過比例-微分控制用于糾正與期望路徑的偏差，方法為：

58、

59、式中，τ為控制輸入，kp和kd分別為比例和微分增益矩陣，qdesired和分別為期望的關(guān)節(jié)位置和速度，qactual和分別為實際的關(guān)節(jié)位置和速度。

60、優(yōu)選地，使用所述動力學模型驅(qū)動機械臂的各個關(guān)節(jié)執(zhí)行抓取和放置任務(wù)，包括：

61、基于所述機械臂的各個關(guān)節(jié)的變換矩陣獲得總體的變換矩陣，并通過所述動力學模型描述產(chǎn)生所需關(guān)節(jié)運動的力和力矩，包括慣性、科里奧利力和重力效應(yīng)；

62、其中，各個關(guān)節(jié)的變換矩陣ti為：

63、

64、式中，θi為關(guān)節(jié)角度，di為連桿位移，ai為連桿長度，αi為連桿扭角；

65、總體的變換矩陣t從基座到末端執(zhí)行器通過將各個關(guān)節(jié)的變換矩陣相乘得到：

66、t＝t1t2t3t4t5t6；

67、使用lagrange方法描述所述動力學模型，具體為：

68、

69、式中，τ為關(guān)節(jié)力矩向量，m(θ)為關(guān)節(jié)空間慣性矩陣，為科里奧利力和離心力矩陣，g(θ)為重力力矩向量，為關(guān)節(jié)加速度向量，為關(guān)節(jié)速度向量；

70、所述關(guān)節(jié)空間慣性矩陣m(θ)代表機器人的質(zhì)量和配置對加速度的抵抗，具體為：

71、

72、式中，m11(θ)為關(guān)節(jié)1和關(guān)節(jié)1之間的慣性耦合效應(yīng)；

73、所述科里奧利力和離心力矩陣反映機器人運動時作用在其上的力，具體為：

74、

75、式中，c11為關(guān)節(jié)1和關(guān)節(jié)1之間的科里奧利力和離心力耦合效應(yīng)；

76、所述重力力矩向量g(θ)表示作用在機器人連桿上的重力力矩，具體為：

77、

78、式中，g1(θ)為關(guān)節(jié)1上的重力力矩。

79、另一方面，為實現(xiàn)上述目的，本發(fā)明還提供了一種基于深度學習和人機交互的機械臂控制系統(tǒng)，包括：

80、操作界面生成模塊、使用者操作意圖解碼模塊和機械臂運動控制模塊；

81、其中，所述操作界面生成模塊用于將疊加正弦波編碼的透明度效果的智能制造場景中的畫面實時呈現(xiàn)給使用者，生成操作界面；

82、所述使用者操作意圖解碼模塊用于使用增量式自學習算法對腦電波進行解碼，獲得使用者的操作意圖；

83、所述機械臂運動控制模塊用于控制機械臂執(zhí)行抓取和放置任務(wù)。

84、與現(xiàn)有技術(shù)相比，本發(fā)明具有如下優(yōu)點和技術(shù)效果：

85、(1)交互自然性增強

86、本發(fā)明通過使用攝像頭采集用戶第一人稱視角的畫面，并使用深度學習算法識別靶目標的位姿，系統(tǒng)可以將用戶的視野與機械臂操作環(huán)境無縫結(jié)合；這種具身感知增強了用戶的沉浸感，使得機械臂操作更加自然、直觀；

87、為靶目標疊加正弦波編碼的透明度效果，使得多個靶目標在同一場景中被有效區(qū)分；這不僅減少了視覺疲勞，還提高了用戶對目標的選擇和操作精度，減少了操作的復雜度。

88、(2)降低用戶工作負擔

89、傳統(tǒng)的基于腦機接口的機械臂控制系統(tǒng)往往需要長時間的訓練和校準，而本發(fā)明采用增量式自學習算法，使得系統(tǒng)能夠?qū)崟r適應(yīng)用戶的操作習慣和意圖，減少了用戶的學習負擔；同時，該算法可以持續(xù)優(yōu)化腦電波的解碼精度，提高系統(tǒng)的響應(yīng)速度和準確性；

90、通過深度學習技術(shù)對靶目標進行自動識別和標注，并將這些信息實時呈現(xiàn)給用戶，用戶只需通過注視特定目標即可觸發(fā)控制意圖；相比傳統(tǒng)的機械臂控制方式，這種方法極大地減少了用戶的主動操作負擔。

91、(3)系統(tǒng)的魯棒性和適應(yīng)性提升

92、本發(fā)明通過正弦波編碼的透明度效果，系統(tǒng)能夠在復雜的智能制造場景中同時處理多個靶目標的操作需求，這種多目標操作能力使得系統(tǒng)在應(yīng)對多任務(wù)、多場景時更加靈活和高效，提升了系統(tǒng)的魯棒性；

93、使用深度學習算法實時識別和定位場景中的靶目標，使得系統(tǒng)在各種復雜場景下都能準確解讀環(huán)境信息，并做出最優(yōu)的機械臂操作決策，進一步提高了系統(tǒng)的適應(yīng)性。

94、(4)推動腦機接口與物聯(lián)網(wǎng)技術(shù)的融合

95、本發(fā)明在物聯(lián)網(wǎng)智能制造場景中，通過融合腦機接口技術(shù)和深度學習算法，提供了全新的機械臂控制解決方案，這種融合推動了腦機技術(shù)在物聯(lián)網(wǎng)中的應(yīng)用，有助于實現(xiàn)更智能化、更高效的制造流程。