本發(fā)明屬于無人集群系統(tǒng)，具體涉及一種基于大模型的人機(jī)混合系統(tǒng)感控方法。

背景技術(shù)：

1、無人集群系統(tǒng)在國防、地質(zhì)、救援等領(lǐng)域具有重要應(yīng)用價值。集群系統(tǒng)中無人平臺數(shù)量的增加，對集群系統(tǒng)的態(tài)勢感知和控制提出更高的要求。預(yù)訓(xùn)練的大模型具有強(qiáng)大的自然語言理解能力，將大模型應(yīng)用于人機(jī)混合系統(tǒng)的態(tài)勢感知和控制具有極為重要的意義。

2、目前，在單一人類操作員控制的無人集群系統(tǒng)中，包含數(shù)十到數(shù)百架異構(gòu)無人平臺，態(tài)勢和狀態(tài)信息量大，集群控制復(fù)雜，人類操作員的認(rèn)知負(fù)荷大，無人集群的安全性難以保證。因此，亟需一種基于大模型的人機(jī)混合系統(tǒng)感控方法，以提高人機(jī)混合系統(tǒng)的感知和控制效率。

技術(shù)實現(xiàn)思路

1、(一)要解決的技術(shù)問題

2、本發(fā)明要解決的技術(shù)問題是：在單一人類操作員控制的無人集群系統(tǒng)中，包含數(shù)十到數(shù)百架異構(gòu)無人平臺，態(tài)勢和狀態(tài)信息量大，集群控制復(fù)雜，人類操作員的認(rèn)知負(fù)荷大，無人集群的安全性難以保證。因此，為了提高人機(jī)混合系統(tǒng)的感知和控制效率，需要提出一種基于大模型的人機(jī)混合系統(tǒng)感控方法，將集群狀態(tài)信息、帶有目標(biāo)邊框的圖像、目標(biāo)類別、目標(biāo)定位信息和態(tài)勢評估復(fù)雜度指標(biāo)輸入多模態(tài)大模型，多模態(tài)大模型從無人集群收集的大量數(shù)據(jù)中提取關(guān)鍵信息給人類操作員，人類操作員發(fā)出符合人類語言習(xí)慣的集群控制語音指令，通過語音識別算法將人類操作員的語音指令轉(zhuǎn)化為自然語言文本，并輸入給多模態(tài)大模型，多模態(tài)大模型輸出滿足無人平臺自主控制算法格式的高級集群控制指令，使無人集群直接根據(jù)人類操作員的意圖采取行動，有效提升人機(jī)協(xié)同效率。

3、(二)技術(shù)方案

4、為解決上述技術(shù)問題，本發(fā)明提供為解決現(xiàn)有技術(shù)問題，本發(fā)明提供一種基于大模型的人機(jī)混合系統(tǒng)感控方法，其特征在于，所述基于大模型的人機(jī)混合系統(tǒng)感控方法，用于提高人機(jī)混合系統(tǒng)的感知和控制效率；

5、所述人機(jī)混合系統(tǒng)包括無人集群系統(tǒng)和人類操作員；無人集群系統(tǒng)收集環(huán)境信息并發(fā)送給人類操作員，并接收來自人類操作員的控制指令；人類操作員根據(jù)無人集群系統(tǒng)收集的環(huán)境信息做出控制決策，向無人集群系統(tǒng)發(fā)送控制指令；

6、無人集群系統(tǒng)由多架無人機(jī)和多架無人車組成，每架無人機(jī)和無人車都是一個無人平臺；無人平臺中搭載嵌入式計算機(jī)、位姿測量模塊、運動控制模塊、電池、電池監(jiān)測模塊、通訊電臺、雙目相機(jī)、自毀模塊；

7、嵌入式計算機(jī)是單架無人平臺的控制核心，與位姿測量模塊、運動控制模塊、電池、電池監(jiān)測模塊、通訊電臺、雙目相機(jī)、自毀模塊進(jìn)行數(shù)據(jù)交換；嵌入式計算機(jī)接收位姿測量模塊的位置和姿態(tài)信息，接收電池監(jiān)測模塊的電池電壓信息，接收雙目相機(jī)的視覺圖像，通過通訊電臺接收來自人類操作員的高級集群控制指令，通過通訊電臺向人類操作員發(fā)送集群狀態(tài)信息和圖像信息，向運動控制模塊發(fā)送運動控制指令，向自毀模塊發(fā)送自毀指令；在嵌入式計算機(jī)中部署具有路徑規(guī)劃、避障、任務(wù)分配、自毀功能的自主控制算法，用于接收高級集群控制指令和其他模塊的數(shù)據(jù)，通過任務(wù)分配將高級集群控制指令轉(zhuǎn)化為無人平臺的運動控制指令和自毀指令；

8、位姿測量模塊測量無人平臺的位置和姿態(tài)信息，包括定位信息、速度、加速度、角速度和姿態(tài)信息；位姿測量模塊將測量的位置和姿態(tài)信息發(fā)送給嵌入式計算機(jī)；

9、運動控制模塊接收嵌入式計算機(jī)發(fā)出的運動控制指令，控制無人平臺電機(jī)的輸出功率；

10、電池為無人平臺提供電力；

11、電池監(jiān)測模塊測量電池的電壓并轉(zhuǎn)化為剩余電量信息，發(fā)送給嵌入式計算機(jī)；

12、通訊電臺接收來自人類操作員的高級控制指令并發(fā)送給嵌入式計算機(jī)，接收嵌入式計算機(jī)匯總的無人平臺狀態(tài)信息和圖像信息并發(fā)送給人類操作員；

13、雙目相機(jī)拍攝無人平臺正前方的圖像，將圖像發(fā)送給嵌入式計算機(jī)；

14、自毀模塊接收嵌入式計算機(jī)的自毀指令，根據(jù)自毀指令觸發(fā)自毀操作，實現(xiàn)無人平臺破障；

15、人類操作員攜帶背負(fù)式服務(wù)器、心率傳感器、麥克風(fēng)、操作終端、通訊電臺；人類操作員通過操作終端讀取態(tài)勢評估結(jié)果，通過麥克風(fēng)發(fā)出集群控制語音指令；

16、背負(fù)式服務(wù)器與心率傳感器、麥克風(fēng)、通訊電臺、操作終端進(jìn)行數(shù)據(jù)交換；背負(fù)式服務(wù)器接收心率傳感器測量的心率數(shù)據(jù)，通過麥克風(fēng)接收人類操作員的語音信號，通過通訊電臺接收無人集群的集群狀態(tài)信息和圖像信息，通過通訊電臺向無人集群發(fā)送高級集群控制指令，向操作終端顯示自然語言態(tài)勢評估；在背負(fù)式服務(wù)器中部署多模態(tài)大模型、語音識別算法、目標(biāo)檢測和定位算法、安全評估算法；多模態(tài)大模型根據(jù)人類操作員的心率數(shù)據(jù)調(diào)整輸出的態(tài)勢評估的語言復(fù)雜度，根據(jù)無人集群的集群狀態(tài)信息和圖像信息輸出自然語言態(tài)勢評估，根據(jù)人類操作員的自然語言集群控制指令生成高級集群控制指令；語音識別算法將人類操作員的語音信號轉(zhuǎn)化為自然語言文本；目標(biāo)檢測和定位算法根據(jù)集群采集的圖像檢測圖像中的人類和物體并測量人類和物體的相對位置；安全評估算法根據(jù)安全策略對高級集群控制指令進(jìn)行評估；

17、心率傳感器測量人類操作員的心率，安裝于人類操作員的心臟位置；

18、麥克風(fēng)接收人類操作員的語音信號；

19、通訊電臺接收來自無人集群的狀態(tài)信息和圖像信息并發(fā)送給背負(fù)式服務(wù)器，接收人類操作員的高級控制指令并發(fā)送給無人集群；

20、操作終端包括顯示屏和操作按鈕，顯示屏顯示人類操作員的高級控制指令和自然語言態(tài)勢評估，操作按鈕控制無人集群的啟動和關(guān)閉；

21、所述人機(jī)混合系統(tǒng)感控方法，包括如下步驟：

22、步驟1：人類操作員穿戴心率傳感器、麥克風(fēng)，攜帶通訊電臺和背負(fù)式服務(wù)器，手持操作終端；人類操作員通過操作終端啟動無人集群系統(tǒng)；

23、步驟2：心率傳感器采集人類操作員心率數(shù)據(jù)，計算態(tài)勢評估復(fù)雜度指標(biāo)，并輸入多模態(tài)大模型，多模態(tài)大模型根據(jù)復(fù)雜度指標(biāo)調(diào)整態(tài)勢評估的語言復(fù)雜度；通過心率計算態(tài)勢評估復(fù)雜度指標(biāo)，反映人類的認(rèn)知負(fù)荷，使多模態(tài)大模型根據(jù)人類認(rèn)知負(fù)荷的大小自適應(yīng)調(diào)整態(tài)勢評估的語言復(fù)雜度，提高人類操作員的態(tài)勢感知體驗和決策效率，進(jìn)而提高人機(jī)混合系統(tǒng)的感知和控制效率；態(tài)勢評估復(fù)雜度指標(biāo)由下式計算：

24、

25、其中，x為瞬時心率，k1為人類操作員靜息心率，k2為人類操作員年齡，ε為防止分母為0的一個小正數(shù)，φ為態(tài)勢評估復(fù)雜度指標(biāo)；

26、步驟3：無人集群系統(tǒng)中的所有無人平臺采集平臺狀態(tài)信息和環(huán)境圖像，通過通訊電臺將平臺狀態(tài)信息和圖像發(fā)送給背負(fù)式服務(wù)器；

27、步驟4：背負(fù)式服務(wù)器將平臺狀態(tài)信息匯總為集群狀態(tài)信息，并調(diào)整為多模態(tài)大模型的文本輸入格式；

28、步驟5：背負(fù)式服務(wù)器對圖像運行目標(biāo)檢測和定位算法，輸出帶有目標(biāo)邊框的圖像、目標(biāo)類別和目標(biāo)定位信息；

29、步驟6：將集群狀態(tài)信息、帶有目標(biāo)邊框的圖像、目標(biāo)類別、目標(biāo)定位信息和態(tài)勢評估復(fù)雜度指標(biāo)輸入多模態(tài)大模型，多模態(tài)大模型生成自然語言態(tài)勢評估；態(tài)勢評估的語言復(fù)雜度與態(tài)勢評估復(fù)雜度指標(biāo)有關(guān)，進(jìn)而與人類的認(rèn)知負(fù)荷有關(guān)，從而可以根據(jù)人類的認(rèn)知負(fù)荷調(diào)整態(tài)勢評估的語言復(fù)雜度，提高人的態(tài)勢感知體驗和決策效率；多模態(tài)大模型從無人集群系統(tǒng)收集的大量數(shù)據(jù)中提取關(guān)鍵信息，丟棄無效或冗余信息，將精簡的自然語言態(tài)勢評估輸出給人類操作員，從而提高無人集群系統(tǒng)信息的利用效率，提高人機(jī)混合系統(tǒng)的感知效率；

30、步驟7：人類操作員通過操作終端讀取自然語言態(tài)勢評估，通過麥克風(fēng)發(fā)出集群控制語音指令；

31、步驟8：背負(fù)式服務(wù)器通過語音識別算法將人類操作員的語音信號轉(zhuǎn)化為自然語言文本并輸入給多模態(tài)大模型，多模態(tài)大模型輸出高級集群控制指令；人類操作員發(fā)出符合人類語言習(xí)慣的語音指令，高級集群控制指令滿足直接輸入給無人平臺的自主控制算法的格式，使無人集群系統(tǒng)直接根據(jù)人類操作員的意圖采取行動，從而提升人機(jī)混合系統(tǒng)的控制效率；

32、步驟9：將多模態(tài)大模型生成的高級集群控制指令輸入安全評估算法，安全評估算法對高級集群控制指令的軌跡安全和自毀安全進(jìn)行評估；若高級集群控制指令無安全風(fēng)險，則將高級集群控制指令發(fā)送給無人集群系統(tǒng)執(zhí)行，否則多模態(tài)大模型重新生成高級集群控制指令；對多模態(tài)大模型生成的高級集群控制指令進(jìn)行安全評估，減小操作失誤風(fēng)險，進(jìn)而減少無人集群系統(tǒng)發(fā)生意外事件的可能，提高無人集群系統(tǒng)控制的安全性。

33、步驟9-1：評估高級集群控制指令的軌跡安全，判斷無人平臺之間是否發(fā)生碰撞，根據(jù)集群狀態(tài)信息計算軌跡安全性指標(biāo)；計算預(yù)測時間范圍內(nèi)的所有預(yù)測軌跡：

34、xpre,t＝x+t·v,t＝dt,2dt,...,t

35、其中，xpre,t為在t預(yù)測步下的預(yù)測軌跡，x為集群位置矩陣，v為集群速度矩陣，t為預(yù)測時間范圍，t為預(yù)測時間，dt為預(yù)測時間分辨力；

36、預(yù)測時間范圍內(nèi)在每個預(yù)測步下無人平臺預(yù)測軌跡的最小間距為：

37、dmin＝min(||xpre,t(i)-xpre,t(j)||2),i,j＝1,2,...,m+n?and?i≠j,t＝dt,2dt,...,t

38、其中，dmin為每個預(yù)測步下無人平臺預(yù)測軌跡的最小間距，m+n為無人平臺總數(shù)，m為無人車數(shù)量，n為無人機(jī)數(shù)量，i和j為無人平臺編號，min()表示求最小值；

39、預(yù)測時間范圍內(nèi)在每個預(yù)測步下無人平臺預(yù)測軌跡的最大間距為：

40、dmax＝max(||xpre,t(i)-xpre,t(j)||2),i,j＝1,2,...,m+n?and?i≠j,t＝dt,2dt,...,t

41、其中，dmax為每個預(yù)測步下無人平臺預(yù)測軌跡的最大間距；

42、則軌跡安全性指標(biāo)由下式計算：

43、

44、其中，safetraj為軌跡安全性指標(biāo)，d1為最小安全間距，d2為絕對安全間距，'notsafe'表示軌跡不安全，'complete?safe'表示軌跡絕對安全，std()表示對矩陣的每一列求方差；

45、無人集群軌跡安全的條件為：

46、safetraj＝'complete?safe'或safetraj＞safetraj_threshold

47、其中，safetraj_threshold為軌跡安全閾值；

48、步驟9-2：若高級集群控制指令包含自毀指令，則評估高級集群控制指令的自毀安全，判斷無人平臺自毀是否威脅到人類操作員和其他無人平臺，否則跳過該步驟；根據(jù)集群狀態(tài)信息計算自毀安全性指標(biāo)；自毀毀傷半徑由下式計算：

49、

50、其中，r為自毀毀傷半徑，k為毀傷系數(shù)，q為無人平臺自毀模塊中裝載的tnt當(dāng)量；

51、將要自毀的無人平臺的位置由下式計算：

52、xblast＝x·c

53、其中，xblast為自毀的無人平臺的位置矩陣，x為集群位置矩陣，c為自毀控制矩陣；

54、計算將要自毀的無人平臺到其他無人平臺的最小間距：

55、dblast_platform＝min(||x(i)-xblast(k)||2),i＝1,2,...,m+n,k＝1,2,...,l?and?i≠k

56、其中，k為自毀的無人平臺編號，l為自毀的無人平臺數(shù)量；

57、計算將要自毀的無人平臺到人類操作員的最小間距：

58、dblast_human＝min(||xhuman-xblast(k)||2),k＝1,2,...,l

59、其中，xhuman為人類操作員位置；

60、則自毀安全性指標(biāo)由下式計算：

61、

62、其中，safeblast為自毀安全性指標(biāo)，'not?safe'表示自毀不安全，'safe'表示自毀安全；

63、無人集群自毀安全的條件為：

64、safeblast＝'safe'。

65、(三)有益效果

66、與現(xiàn)有技術(shù)相比較，本發(fā)明提出的一種基于大模型的人機(jī)混合系統(tǒng)感控方法，將集群狀態(tài)信息、帶有目標(biāo)邊框的圖像、目標(biāo)類別、目標(biāo)定位信息和態(tài)勢評估復(fù)雜度指標(biāo)輸入多模態(tài)大模型，多模態(tài)大模型從無人集群收集的大量數(shù)據(jù)中提取關(guān)鍵信息，生成精簡的自然語言態(tài)勢評估給人類操作員，人類操作員發(fā)出符合人類語言習(xí)慣的集群控制語音指令，通過語音識別算法將人類操作員的語音指令轉(zhuǎn)化為自然語言文本，并輸入給多模態(tài)大模型，多模態(tài)大模型輸出滿足無人平臺自主控制算法格式的高級集群控制指令，使無人集群直接根據(jù)人類操作員的意圖采取行動，提高人機(jī)混合系統(tǒng)的感知和控制效率。

67、本發(fā)明提出的一種基于大模型的人機(jī)混合系統(tǒng)感控方法，將集群狀態(tài)信息、帶有目標(biāo)邊框的圖像、目標(biāo)類別、目標(biāo)定位信息和態(tài)勢評估復(fù)雜度指標(biāo)輸入多模態(tài)大模型，多模態(tài)大模型從無人集群收集的大量數(shù)據(jù)中提取關(guān)鍵信息，丟棄無效或冗余信息，生成精簡的自然語言態(tài)勢評估給人類操作員，從而提高無人集群信息的利用效率，提高人機(jī)混合系統(tǒng)的感知效率。

68、本發(fā)明提出的一種基于大模型的人機(jī)混合系統(tǒng)感控方法，人類操作員發(fā)出符合人類語言習(xí)慣的集群控制語音指令，通過語音識別算法將人類操作員的語音指令轉(zhuǎn)化為自然語言文本，并輸入給多模態(tài)大模型，多模態(tài)大模型輸出滿足無人平臺自主控制算法格式的高級集群控制指令，使無人集群直接根據(jù)人類操作員的意圖采取行動，從而提升人機(jī)混合系統(tǒng)的控制效率。

69、本發(fā)明提出的一種基于大模型的人機(jī)混合系統(tǒng)感控方法，心率傳感器采集人類操作員心率數(shù)據(jù)，計算態(tài)勢評估復(fù)雜度指標(biāo)，并輸入多模態(tài)大模型，多模態(tài)大模型根據(jù)復(fù)雜度指標(biāo)調(diào)整態(tài)勢評估的語言復(fù)雜度。通過心率計算態(tài)勢評估復(fù)雜度指標(biāo)，反映人類的認(rèn)知負(fù)荷，使多模態(tài)大模型根據(jù)人類認(rèn)知負(fù)荷的大小自適應(yīng)調(diào)整態(tài)勢評估的語言復(fù)雜度，提高人類操作員的態(tài)勢感知體驗和決策效率，進(jìn)而提高人機(jī)混合系統(tǒng)的感知和控制效率。

70、本發(fā)明提出的一種基于大模型的人機(jī)混合系統(tǒng)感控方法，將多模態(tài)大模型生成的高級集群控制指令輸入安全評估算法，安全評估算法對高級集群控制指令的軌跡安全和自毀安全進(jìn)行評估，減小操作失誤風(fēng)險，進(jìn)而減少無人集群發(fā)生意外事件的可能，提高無人集群控制的安全性。

71、本發(fā)明專利通過多模態(tài)大模型和語音識別算法處理人類操作員的語音指令，輸出高級集群控制指令，將多模態(tài)大模型和語音識別算法更換為能夠直接輸入音頻信號的多模態(tài)大模型，可認(rèn)為是同種方案。