本發(fā)明主要涉及及醫(yī)療機器人，具體涉及一種基于深度強化學習算法的醫(yī)療機器人控制系統。

背景技術：

1、磁控式小型化醫(yī)療機器人能夠被外部磁場隔空控制，在人體狹窄腔道內主動運動，檢查并治療人體深層的病變區(qū)域，在臨床醫(yī)療領域具有巨大的潛力，根據尺度不同，磁控式小型化醫(yī)療機器人可分為厘米毫米尺度的膠囊機器人、毫米微米尺度的連續(xù)體機器人、微米納米尺度的微型機器人，系統總結各自磁控原理、結構設計和潛在醫(yī)療應用，并綜述最新研究進展，當前的磁控式小型化醫(yī)療機器人存在醫(yī)療功能單一、欠缺自動化、智能化等問題，為此本申請現提出一種基于深度強化學習算法的醫(yī)療機器人控制系統。

技術實現思路

1、本發(fā)明主要提供了一種基于深度強化學習算法的醫(yī)療機器人控制系統用以解決上述背景技術中提出的技術問題。

2、本發(fā)明解決上述技術問題采用的技術方案為：

3、一種基于深度強化學習算法的醫(yī)療機器人控制系統，包括磁控式小型化醫(yī)療機器人的磁控模塊、機器人機械臂模塊、機器人機械臂運動學分析與控制系統設計、機械臂控制系統設計與搭建、通訊系統與人機交互操作設計，所述基于深度強化學習的控制系統設計，包括感知、決策和執(zhí)行三個環(huán)節(jié)，所述機械臂控制系統設計與搭建包含控制器設計、硬件搭建，所述通訊系統與人機交互操作設計包含通訊系統設計與人機交互操作設計，機器人控制系統實施具體步驟如下：

4、s1、磁控模塊通過外部磁場與機器人內部的磁性物質相互作用，控制機器人的運動軌跡和速度；

5、s2、機器人機械臂模塊負責執(zhí)行具體的醫(yī)療任務；

6、s3、通過對機器人機械臂的運動學特性進行分析，建立機器人的運動學模型；

7、s4、感知環(huán)節(jié)通過傳感器獲取機器人和環(huán)境的實時信息；

8、s5、根據控制系統設計，選擇適當的硬件設備搭建完整的機械臂控制系統；

9、s6、通訊系統采用無線通訊技術，實現機器人與遠程控制臺、醫(yī)生或其他設備的實時通訊和數據傳輸。

10、進一步的，在本發(fā)明中，所述磁控模塊包括磁控原理，當磁控式小型化機器人處于一定磁感應強度的磁場中時，外部磁場與機器人內部磁性物質產生磁fm與磁轉矩tm，其中：

11、

12、tm＝m*b；

13、若磁性物質的磁化方向與外部磁場相同，產生磁力驅動機器人沿磁場方向運動，此時磁性物質不受到磁轉矩作用，當磁性物質的磁化方向與外部磁場磁感應強度方向不一致時，會產生磁轉矩驅動磁性物質偏轉直至其磁化方向與外部磁場磁感應強度方向共線，磁力與磁轉矩是外部磁場驅動磁控式小型化機器人的基本原理。

14、進一步的，在本發(fā)明中，所述機械臂模塊包含強化學習基本原理、柔順控制基本原理、柔順控制方法、深度強化學習與柔順控制的結合；

15、所述強化學習需要一個獎勵信號來指導學習過程，不斷嘗試各種行動與環(huán)境交互并獲得獎勵信號，來進行學習和調整自身的控制策略；

16、所述柔順控制基本原理：在機械臂上應用柔順控制技術可以增加機械臂的柔順性和適應性；

17、所述深度強化學習與柔順控制的結合：通過深度強化學習訓練機器人學習如何自適應地調整阻抗參數，從而在執(zhí)行任務時更好地適應不同的環(huán)境和任務需求。

18、進一步的，在本發(fā)明中，所述機器人機械臂運動學分析與控制系統設計，其中運動學分析包含以下步驟：

19、s301、建立機械臂的運動學模型，在該步驟需要確定機械臂的d-h參數；

20、s302、計算關節(jié)變量，關節(jié)變量指的是機械臂每個關節(jié)的角度或位移；

21、s303、計算齊次變換矩陣，根據d-h參數和關節(jié)變量，計算出每個關節(jié)的齊次變換矩陣，即從前一個關節(jié)到當前關節(jié)的變換矩陣；

22、機械臂逆運動學分析包含以下步驟：

23、s3011、建立機械臂的運動學模型，與正運動學分析一樣，在該步驟需要確定機械臂的d-h參數；

24、s3012、確定末端執(zhí)行器的位置和姿態(tài)；

25、s3013、計算關節(jié)變量；

26、s3014、驗證結果，通過仿真或實際操作機械臂，驗證計算出的關節(jié)角度是否能夠實現期望的末端執(zhí)行位置和姿態(tài)。

27、進一步的，在本發(fā)明中，所述機械臂控制系統設計與搭建包括控制系統結構設計、控制系統平臺搭建，所述控制系統結構設計：使用深度強化學習方法作為控制系統，需要機械臂與環(huán)境不斷進行交互，通過試錯來獲取數據，進而學習控制策略；所述控制系統平臺搭建包括控制器、電機、傳感器、工具、通信模塊、電源和信號線。

28、進一步的，在本發(fā)明中，所述通訊系統與人機交互操作設計中電氣自動化安裝的操作流程如下：

29、s501、現場人員應將電柜卸至指定區(qū)按要求放置，操作人員應通過手持終端發(fā)出操作指令；

30、s502、該命令從無線通信系統傳輸到終端控制系統，終端控制系統接收該命令并指令機器人控制系統執(zhí)行該任務；

31、s503、接收到任務命令后，機器人控制系統控制底層驅動單元根據計劃路徑執(zhí)行任務命令；

32、s504、機器人從待機區(qū)開始，按照計劃的路徑行進到指定的電器柜所在的工作站，通過電器柜頂部的工具自動提升電器柜；

33、s505、按計劃路線驅動到變電站，并將電器柜放置在任務說明書中指定的安裝位置；

34、s506、在機器人完成任務后，如果有新的命令，機器人將繼續(xù)執(zhí)行，直到沒有任務命令發(fā)出；若沒有新的命令，機器人將返回待機區(qū)域并等待任務命令。

35、與現有技術相比，本發(fā)明的有益效果為：

36、1、該基于深度強化學習算法的醫(yī)療機器人控制系統，醫(yī)療機器人能夠通過與環(huán)境的交互來自主地學習如何執(zhí)行任務，無需提前進行詳細的程序設計，深度強化學習結合了深度學習和強化學習的優(yōu)點，使得醫(yī)療機器人能夠處理大量的高維醫(yī)療數據，并在面對復雜、不確定的醫(yī)療環(huán)境時具有較強的適應性和泛化能力，基于深度強化學習的醫(yī)療機器人控制系統可以幫助機器人實現與人類醫(yī)生、患者和其他機器人的交互和溝通，提高機器人的智能性和適應性，自動化智能化程度高。

37、2、該基于深度強化學習算法的醫(yī)療機器人控制系統，深度強化學習算法可以幫助醫(yī)療機器人實現更加自然和高效的運動，尤其是在執(zhí)行復雜的肢體和動作時，通過對醫(yī)療機器人動作策略的優(yōu)化，可以顯著提升醫(yī)療機器人在執(zhí)行手術、康復訓練等任務時的靈活性和準確性。

38、以下將結合附圖與具體的實施例對本發(fā)明進行詳細的解釋說明。

技術特征：

1.一種基于深度強化學習算法的醫(yī)療機器人控制系統，其特征在于：包括磁控式小型化醫(yī)療機器人的磁控模塊、機器人機械臂模塊、機器人機械臂運動學分析與控制系統設計、機械臂控制系統設計與搭建、通訊系統與人機交互操作設計，所述基于深度強化學習的控制系統設計，包括感知、決策和執(zhí)行三個環(huán)節(jié)，所述機械臂控制系統設計與搭建包含控制器設計、硬件搭建，所述通訊系統與人機交互操作設計包含通訊系統設計與人機交互操作設計，機器人控制系統實施具體步驟如下：

2.根據權利要求1所述的一種基于深度強化學習算法的醫(yī)療機器人控制系統，其特征在于，所述磁控模塊包括磁控原理，當磁控式小型化機器人處于一定磁感應強度的磁場中時，外部磁場與機器人內部磁性物質產生磁fm與磁轉矩tm，其中：

3.根據權利要求1所述的一種基于深度強化學習算法的醫(yī)療機器人控制系統，其特征在于，所述機械臂模塊包含強化學習基本原理、柔順控制基本原理、柔順控制方法、深度強化學習與柔順控制的結合；

4.根據權利要求1所述的一種基于深度強化學習算法的醫(yī)療機器人控制系統，其特征在于，所述機器人機械臂運動學分析與控制系統設計，其中運動學分析包含以下步驟：

5.根據權利要求1所述的一種基于深度強化學習算法的醫(yī)療機器人控制系統，其特征在于，所述機械臂控制系統設計與搭建包括控制系統結構設計、控制系統平臺搭建，所述控制系統結構設計：使用深度強化學習方法作為控制系統，需要機械臂與環(huán)境不斷進行交互，通過試錯來獲取數據，進而學習控制策略；所述控制系統平臺搭建包括控制器、電機、傳感器、工具、通信模塊、電源和信號線。

6.根據權利要求1所述的一種基于深度強化學習算法的醫(yī)療機器人控制系統，其特征在于，所述通訊系統與人機交互操作設計中電氣自動化安裝的操作流程如下：

技術總結
本發(fā)明提供了一種基于深度強化學習算法的醫(yī)療機器人控制系統，涉及醫(yī)療機器人技術領域，包括磁控式小型化醫(yī)療機器人的磁控模塊、機器人機械臂模塊、機器人機械臂運動學分析與控制系統設計、機械臂控制系統設計與搭建、通訊系統與人機交互操作設計。該基于深度強化學習算法的醫(yī)療機器人控制系統，醫(yī)療機器人能夠通過與環(huán)境的交互來自主地學習如何執(zhí)行任務，無需提前進行詳細的程序設計，醫(yī)療機器人能夠處理大量的高維醫(yī)療數據，并在面對復雜的醫(yī)療環(huán)境時具有較強的適應性和泛化能力，基于深度強化學習的醫(yī)療機器人控制系統可以幫助機器人實現與人類醫(yī)生、患者和其他機器人的交互和溝通，提高機器人的智能性和適應性，自動化智能化程度高。

技術研發(fā)人員：王云龍
受保護的技術使用者：安徽信息工程學院
技術研發(fā)日：
技術公布日：2024/12/17