本發(fā)明涉及計算機算法，尤其是涉及一種基于數(shù)字孿生的r2r分簇計算卸載方法。

背景技術：

1、隨著智能制造的普及，機器人之間的協(xié)作在工業(yè)自動化中的應用越來越廣泛。隨著任務復雜度和數(shù)據(jù)量的增加，單個機器人在計算資源和處理能力方面的限制日益顯現(xiàn)，影響了任務執(zhí)行效率和系統(tǒng)的整體性能。因此，計算卸載（computation?offloading）技術被引入，結(jié)合邊緣計算（edge?computing）來提升機器人的性能和任務執(zhí)行效率。機器人在執(zhí)行任務過程中，會產(chǎn)生大量的傳感器數(shù)據(jù)（如視覺、力覺、溫度等）。將這些數(shù)據(jù)實時卸載到邊緣服務器進行處理和分析，可以實現(xiàn)對環(huán)境和任務的快速響應，提高協(xié)作機器人的實時性和靈活性；某些任務（如路徑規(guī)劃、故障檢測、預測性維護等）計算量大、復雜度高，機器人自身難以快速完成。通過將這些任務卸載到邊緣服務器，可以利用更強大的計算資源和先進的算法，快速得到最優(yōu)解決方案，提高任務執(zhí)行效率和準確性。然而，傳統(tǒng)的機器人到邊緣節(jié)點的卸載方法可能會帶來額外的延遲和能源消耗。例如，大量的任務占用了有限的邊緣節(jié)點的計算資源，導致邊緣節(jié)點的計算負擔過重，因此需要額外的等待時間。

2、機器人可以被認為是一個分布式計算系統(tǒng)，因為它們配備了不斷增加的計算資源。robot?to?robot（r2r）卸載可以使機器人能夠?qū)⑷蝿招遁d到區(qū)域內(nèi)的其他機器人，即資源有限的機器人可以通過r2r將任務轉(zhuǎn)移給有可用資源的同工種的機器人執(zhí)行。此外，多機器人系統(tǒng)能夠通過分工合作，通過部分卸載將大任務分解為多個小任務，從而提高整體的處理效率和響應速度。這種協(xié)作方式不僅能夠更好地應對復雜的任務要求，還能增強系統(tǒng)的魯棒性和靈活性。在多機器人協(xié)作環(huán)境中，不同機器人之間需要進行任務分配和協(xié)同工作。通過邊緣計算節(jié)點的統(tǒng)一調(diào)度，可以實現(xiàn)任務的智能分配和優(yōu)化，確保各機器人高效協(xié)作，避免資源浪費和任務沖突。然而，這一想法仍然面臨著一些挑戰(zhàn)。首先，由于邊緣服務器的動態(tài)變化，機器人的可用計算資源是不斷變化的。例如，對于一些特定功能的機器人，它們在執(zhí)行任務的過程中，會產(chǎn)生大量的傳感數(shù)據(jù)，這意味著該任務是對時間敏感的。因此，任務卸載的性能可能會受到上述問題的影響，導致較大的延遲。因此數(shù)字孿生（digitaltwin，dt）被提出。

3、dt是一種基于數(shù)字技術的概念，它是指對于現(xiàn)實世界中的物理實體或系統(tǒng)，通過數(shù)字化的方式建立一個虛擬的、與之相對應的數(shù)字化模型，從而實現(xiàn)對物理實體或系統(tǒng)的監(jiān)測、仿真、預測和優(yōu)化等操作。這種虛擬模型可以精確地反映出實體對象的結(jié)構(gòu)、行為和性能特征，使得用戶能夠在數(shù)字環(huán)境中進行仿真、分析和優(yōu)化，以實現(xiàn)更有效的設計、生產(chǎn)和運營。通過在dt中創(chuàng)建與物理網(wǎng)絡相對應的數(shù)字孿生體，實時監(jiān)控整個網(wǎng)絡的運行狀態(tài)，并向機器人直接提供準確、及時的卸載決策，使得物理網(wǎng)絡中的協(xié)同計算卸載過程更加智能高效。雖然構(gòu)建孿生模型時應盡可能準確地表征真實網(wǎng)絡的運行狀態(tài),但由于數(shù)字孿生建模方法和獲取建模數(shù)據(jù)等因素的限制，仍然存在輕微的模型誤差。此外，考慮無線網(wǎng)絡傳輸環(huán)境的隨機性，真實網(wǎng)絡狀態(tài)信息傳輸?shù)牟铄e和延遲將進一步增加孿生模型的誤差，即存在虛實映射誤差；因此傳統(tǒng)優(yōu)化方法不能很好地適應孿生模型的虛實映射誤差，從而不能做出最優(yōu)決策；

4、中國專利（公告號：cn117555306a）公開了一種基于數(shù)字孿生的多生產(chǎn)線任務自適應調(diào)度方法及系統(tǒng)；該專利在數(shù)字孿生環(huán)境中，基于強化學習算法，對任務調(diào)度模型進行離線預訓練，隨后再在現(xiàn)實工廠環(huán)境中，對離線預訓練后的任務調(diào)度模型的參數(shù)進行微調(diào)，得到訓練好的任務調(diào)度模型，可對根據(jù)多生產(chǎn)線任務訂單構(gòu)建的析取圖特征進行調(diào)度，確定出多生產(chǎn)線任務訂單每一工序的加工機器和每一加工機器處理工序的順序；但該專利未考慮由于網(wǎng)絡狀態(tài)信息傳輸?shù)牟铄e和延遲導致數(shù)字孿生模型和實際操作中存在的誤差。

技術實現(xiàn)思路

1、為了克服背景技術中的不足，本發(fā)明公開了一種基于數(shù)字孿生的r2r分簇計算卸載方法。

2、為實現(xiàn)上述發(fā)明目的，本發(fā)明采用如下技術方案：

3、一種基于數(shù)字孿生的r2r分簇計算卸載方法，包含以下步驟：

4、s1、獲取機器人的位置信息、任務信息、邊緣節(jié)點的算力信息，構(gòu)建機器人的數(shù)字孿生模型dt，并通過引入數(shù)字孿生層和物理層之間的偏差值，以減少兩者之間的誤差；

5、s2、獲取機器人之間的工種相似度、歷史協(xié)作成功率、任務完成時間的信息來確定機器人之間的協(xié)作關系值；

6、s3、在dt模型中，通過引入?yún)f(xié)作關系值得到改良算法，得到算法，對機器人進行分簇處理，以減少不必要的卸載決策；

7、s4、通過ddpg算法對機器人的計算任務及執(zhí)行模式進行調(diào)度，計算任務及執(zhí)行模式包括本地模式、r2m卸載模式和r2r卸載模式；通過最小化總消耗，更新迭代出最優(yōu)的卸載決策，利用激活函數(shù)對總消耗進行歸一化處理以得到更優(yōu)的結(jié)果。

8、首選，所述步驟s1中，在邊緣節(jié)點(edge?node)en中構(gòu)建機器人和微型邊緣節(jié)點(micro?edge?node)men的數(shù)字孿生模型；

9、第個機器人的數(shù)字孿生模型表示為：

10、

11、其中，表示機器人中收集的數(shù)據(jù)，包含機器人的cpu頻率數(shù)據(jù)、發(fā)射功率數(shù)據(jù)；表示機器人的運行狀態(tài)信息和信道狀態(tài)數(shù)據(jù)；表示數(shù)字孿生體和機器人的交互狀態(tài)數(shù)據(jù)偏差；

12、第個men的數(shù)字孿生模型表示為：

13、

14、其中，表示men的狀態(tài)數(shù)據(jù)，包含men的cpu頻率數(shù)據(jù)；是men的運行狀態(tài)信息、連接數(shù)據(jù)和信道狀態(tài)數(shù)據(jù)；是數(shù)字孿生體和men的交互狀態(tài)數(shù)據(jù)偏差。

15、所述s2步驟中，任意兩個機器人之間的協(xié)作關系值：

16、

17、

18、

19、其中表示機器人的工種相似度，的值越大表示兩個機器人的工種相似度越高；表示歷史協(xié)作成功值，表示兩個機器人之間曾經(jīng)是否有協(xié)同完成任務的經(jīng)歷，表示曾經(jīng)沒有協(xié)作過，表示曾經(jīng)協(xié)作過：表示兩個機器人曾經(jīng)協(xié)同完成任務的時間，時，時為任意值：

20、根據(jù)不同的協(xié)作關系值來確定其之間的協(xié)作關系的強弱，如下所示：

21、

22、其中為0.5。

23、所述s3步驟中，設機器人和機器人之間的協(xié)作關系值為；將所有機器人分成個聚合組；每個聚合組包含一個men和若干個機器人；使用機器人和機器人之間的歐式距離和協(xié)作關系值的加權(quán)和來進行分簇，定義如下:

24、

25、

26、

27、其中表示協(xié)作指數(shù)因子，與協(xié)作關系值成正比；表示基于距離因子，與機器人之間的距離成反比；和是權(quán)重系數(shù)，機器人之間的距離越近，的權(quán)重就越大；對于每個機器人，計算其與每個聚類中心（men）的距離和協(xié)作關系值的加權(quán)和，將其分配到距離最近的聚類中心所代表的簇中。

28、所述s4步驟中，使用當前的actor-network來與環(huán)境進行交互；狀態(tài)空間是從dt中的信息中作為actor-network的輸入而獲得的；actor-network負責根據(jù)當前狀態(tài)選擇當前動作，用于與環(huán)境交互以生成和；然后將四元組放入經(jīng)驗池中；

29、更新當前的critic-network的參數(shù)；從經(jīng)驗池中隨機抽取樣本進行訓練；然后將中的和輸入critic-network，評估當前狀態(tài)下的動作，得到真實的值；

30、從將輸入到actor-network，得到，并在和輸入到目標critic-network得到目標值，其中目標值的計算如下：

31、

32、使用梯度下降法更新當前critic-network的參數(shù)，使更接近。其更新公式為：

33、

34、其中，?和分別表示衰減因子和batch的大??；

35、更新當前actor-network的參數(shù)；通過更新當前行為網(wǎng)絡的參數(shù)來最大化輸出，采用梯度上升法進行更新：

36、

37、最后，利用actor-network和critic-network的參數(shù)對目標網(wǎng)絡進行軟目標更新：

38、。

39、由于采用如上所述的技術方案，本發(fā)明具有如下有益效果：

40、（1）本發(fā)明公開的一種基于數(shù)字孿生的r2r分簇計算卸載方法，改良了傳統(tǒng)的k均值聚類算法，得到ck-means算法；采用機器人之間的協(xié)作值和歐氏距離的加權(quán)和作為聚類的度量標準，這樣會將有一定協(xié)作關系的機器人聚合到同一個聚合組內(nèi)，減少了不必要的決策，提高了機器人任務協(xié)作的效率和效果。

41、（2）在實驗和模型訓練過程中引入了關鍵數(shù)據(jù)的偏差值；通過模擬和加入實際環(huán)境中可能存在的數(shù)據(jù)偏移，能夠更好地調(diào)整和優(yōu)化數(shù)字孿生模型，使其更貼近實際操作中的情況，從而提升模型的魯棒性和準確性。

42、（3）采用ddpg算法，以時延和能耗的加權(quán)和作為優(yōu)化目標，通過激活函數(shù)對加權(quán)和進行歸一化處理，從而實現(xiàn)對工業(yè)機器人計算任務的高效分配和執(zhí)行；不僅考慮任務時延和能耗之間的權(quán)衡，還結(jié)合了cpu剩余率的判斷，增強了優(yōu)化目標函數(shù)的自適應能力；通過動態(tài)調(diào)整任務分配，可以在保證系統(tǒng)響應速度的同時，有效降低能耗。