本發(fā)明屬于港口智能裝備，具體涉及一種基于大語言模型的多清艙機器人交互式控制方法及系統(tǒng)。

背景技術(shù)：

1、新一代航運系統(tǒng)的建設(shè)對水路交通運輸過程的智能化水平提出了更高的要求，在這個過程中，散貨港口智能化和自動化作業(yè)技術(shù)備受關(guān)注。盡管如今散貨船港口的門機自動化水平較高，但受限于人工清艙，整體自動化卸貨仍未完全實現(xiàn)。少部分發(fā)達(dá)地區(qū)的港口實現(xiàn)了簡單的遠(yuǎn)程控制清艙作業(yè)，但依舊存在岸端門機/卸船設(shè)備與艙內(nèi)清艙機器人混合作業(yè)協(xié)同性差、混合作業(yè)危險系數(shù)高和遠(yuǎn)程作業(yè)智能化程度低等問題。作為實現(xiàn)散貨船全自動卸貨的最后障礙，清艙一直影響著卸貨過程的自動化程度和工作效率。

2、受限于復(fù)雜的清艙工藝流程，現(xiàn)階段艙內(nèi)清艙設(shè)備難以實現(xiàn)無人化全自主清艙作業(yè)，而人工一對一地遠(yuǎn)程操控艙內(nèi)清艙設(shè)備又無法降低人工成本，同時清艙作業(yè)效率也不高，影響整體的自動化程度和工作效率。

3、因此，需要設(shè)計一種新的清艙機器人控制方法，提高清艙作業(yè)效率。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提出了一種基于大語言模型的多清艙機器人交互式控制方法及系統(tǒng)，用于解決散貨船清艙機器人的清艙作業(yè)效率不高的問題。

2、本發(fā)明第一方面，公開了一種基于大語言模型的多清艙機器人交互式控制方法，所述方法包括：

3、構(gòu)建清艙指令范式模版，通過清艙指令范式模版將清艙語音指令轉(zhuǎn)換為清艙機器人可執(zhí)行的清艙指令范式，并建立清艙數(shù)據(jù)集；

4、通過清艙數(shù)據(jù)集訓(xùn)練大語言模型，得到清艙語言理解模型；

5、獲取待處理的散貨船艙的清艙語音指令，并根據(jù)清艙語言理解模型生成清艙指令范式；

6、建立散貨船艙內(nèi)的實時地圖，結(jié)合清艙指令范式進行各個清艙機器人的路徑規(guī)劃；

7、分別按照清艙指令范式對應(yīng)的路徑規(guī)劃結(jié)果進行多艙室、多清艙機器人協(xié)同作業(yè)。

8、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述清艙指令范式模版包括作業(yè)順序、起點、終點、動作關(guān)鍵詞、清艙作業(yè)效果、循環(huán)判斷、暫停作業(yè)和輔助信息；

9、所述作業(yè)順序為清艙機器人在不同作業(yè)位置之間的移動作業(yè)順序；

10、所述起點和終點為單次作業(yè)中的起始點和終止點；

11、所述動作關(guān)鍵詞是單次作業(yè)中兩個位置之間的清艙動作；所述動作關(guān)鍵詞包括鏟、推、堆、刮和卸料；

12、所述清艙作業(yè)效果按照清艙作業(yè)的需求設(shè)置；

13、所述循環(huán)判斷用于根據(jù)循環(huán)判斷條件判斷單次作業(yè)的是否需要重復(fù)執(zhí)行；

14、所述暫停作業(yè)用于記錄需要臨時停止動作的時間；

15、所述輔助信息用于功能拓展。

16、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述建立清艙數(shù)據(jù)集具體包括：

17、以清艙語音指令為樣本屬性、以對應(yīng)的清艙指令范式為樣本標(biāo)簽構(gòu)建樣本數(shù)據(jù)，形成清艙數(shù)據(jù)集；

18、構(gòu)建標(biāo)準(zhǔn)清艙動作庫，用于存儲清艙作業(yè)的動作關(guān)鍵詞；

19、從語言習(xí)慣、動作關(guān)鍵詞兩個角度對清艙數(shù)據(jù)集進行擴充。

20、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述結(jié)合清艙指令范式進行各個清艙機器人的路徑規(guī)劃具體包括：

21、根據(jù)散貨船艙內(nèi)的實時地圖確定清艙機器人的位置與堆料的位置；

22、根據(jù)清艙指令范式確定清艙作業(yè)的起點和終點；

23、通過自適應(yīng)改進的a-star算法為清艙機器人規(guī)劃最優(yōu)路徑；所述自適應(yīng)改進的a-star算法的評價函數(shù)為：

24、；

25、其中， i表示當(dāng)前節(jié)點， i=1,2,…, n， n表示節(jié)點總數(shù)，為起點通過當(dāng)前節(jié)點到終點的代價值，為綜合代價函數(shù)，用于計算起點到當(dāng)前節(jié)點的代價值；為啟發(fā)函數(shù)，用于計算當(dāng)前節(jié)點到終點的估計值；

26、所述綜合代價函數(shù)的表達(dá)式如下：

27、

28、其中，分別代表物料代價函數(shù)、清艙動作代價函數(shù)、清艙作業(yè)效果代價函數(shù)、清艙拐角平滑代價函數(shù)，分別為對應(yīng)的權(quán)重系數(shù)；

29、所述啟發(fā)函數(shù)的表達(dá)式如下：

30、

31、其中，為起點坐標(biāo)，為終點坐標(biāo)。

32、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，其特征在于，所述物料代價函數(shù)的表達(dá)式為：

33、

34、其中，表示第個節(jié)點的物料高度，表示物料成本最大時的物料高度，表示物料成本隨物料高度變化的程度，表示臨界狀態(tài)下的物料高度，和均為常系數(shù)。

35、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，其特征在于，所述清艙動作代價函數(shù)的表達(dá)式如下：

36、

37、其中，分別為清艙動作鏟、推、堆、刮代、卸料的代價值，分別為各清艙動作代價值的權(quán)重系數(shù)；

38、所述清艙作業(yè)效果代價函數(shù)的表達(dá)式如下：

39、

40、其中，分別為四類清艙作業(yè)效果的代價值，分別為各清艙作業(yè)效果代價值的權(quán)重系數(shù)。

41、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述清艙拐角平滑代價函數(shù)的數(shù)學(xué)表達(dá)式為：

42、

43、其中，為對已知的 m個拐角路徑樣例數(shù)據(jù)進行線性回歸擬合得到的目標(biāo)函數(shù)，為第 t個樣例數(shù)據(jù)的輸入值，為第 t個樣例數(shù)據(jù)的擬合輸出值，為第 t個樣例數(shù)據(jù)的真實輸出值， m代表樣本數(shù)據(jù)的總量， t=1,2,…, m。

44、本發(fā)明第二方面，公開了一種基于大語言模型的多清艙機器人交互式控制系統(tǒng)，所述系統(tǒng)包括：

45、多機遠(yuǎn)程模擬駕駛器：用于通過人機交互界面、操縱手柄和遠(yuǎn)程切換按鈕進行多個清艙機器人的遠(yuǎn)程控制；

46、多艙室視景顯示系統(tǒng)：用于展示各個清艙機器人的工作狀態(tài)和艙室內(nèi)的實時點云；

47、智能清艙交互系統(tǒng)：用于建立交互式多清艙作業(yè)模式，分別按照對應(yīng)的作業(yè)模式和路徑規(guī)劃結(jié)果控制多機器人遠(yuǎn)程操控系統(tǒng)進行多艙室、多清艙機器人協(xié)同作業(yè)，并根據(jù)清艙進度自動切換各個艙清機器人的作業(yè)模式；

48、多機器人遠(yuǎn)程操控系統(tǒng)：用于建立各個清艙機器人與多機遠(yuǎn)程模擬駕駛器、智能清艙交互系統(tǒng)的通信，并接收多機器人遠(yuǎn)程操控系統(tǒng)和智能清艙交互系統(tǒng)的控制指令，進行各個清艙機器人的操控。

49、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述建立交互式多清艙作業(yè)模式，分別按照對應(yīng)的作業(yè)模式和路徑規(guī)劃結(jié)果進行多艙室、多清艙機器人協(xié)同作業(yè)具體包括：

50、將清艙過程順次劃分為機器人自主清艙、語音交互清艙和人工遠(yuǎn)程操控清艙三個環(huán)節(jié)；

51、為三個環(huán)節(jié)分別設(shè)計對應(yīng)的自主清艙作業(yè)模式、語音交互清艙作業(yè)模式和人工遠(yuǎn)程操控清艙作業(yè)模式；

52、其中，自主清艙作業(yè)模式是指在艙室內(nèi)有大量物料的情況下，清艙機器人在艙室內(nèi)實現(xiàn)自主導(dǎo)航、避障和路徑規(guī)劃，并執(zhí)行清艙任務(wù)；

53、語音交互清艙作業(yè)模式是通過構(gòu)建清艙指令范式模版將清艙語音指令轉(zhuǎn)換為清艙機器人可執(zhí)行的清艙指令范式，并建立清艙數(shù)據(jù)集；通過清艙數(shù)據(jù)集訓(xùn)練大語言模型，得到清艙語言理解模型；在艙室內(nèi)剩下分散物料時，操作人員輸入清艙語音指令，清艙語言理解模型根據(jù)清艙語音指令生成清艙指令范式，建立散貨船艙內(nèi)的實時地圖，結(jié)合清艙指令范式進行各個清艙機器人的路徑規(guī)劃；清艙機器人在艙室內(nèi)按照清艙指令范式對應(yīng)的路徑規(guī)劃結(jié)果執(zhí)行清艙任務(wù)；

54、人工遠(yuǎn)程操控清艙作業(yè)模式是指操作人員通過多機遠(yuǎn)程模擬駕駛器遠(yuǎn)程控制清艙機器人在易發(fā)生碰撞的危險區(qū)域執(zhí)行清艙任務(wù)；

55、多個艙室的清艙機器人分別按照對應(yīng)的作業(yè)模式同時進行對應(yīng)艙室的清艙作業(yè)。

56、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述根據(jù)清艙進度自動切換各個艙清機器人的作業(yè)模式具體包括：

57、建立艙清機器人作業(yè)模式自適應(yīng)切換評價指標(biāo)，所述評價指標(biāo)包括鏟裝作業(yè)時間、鏟裝作業(yè)的完成度、與船艙側(cè)壁的距離、機器人周圍的障礙物程度、規(guī)劃路徑的曲折度和作業(yè)路徑與規(guī)劃路徑重復(fù)度；通過作業(yè)模式自適應(yīng)切換評價體系評價各個清艙機器人的任務(wù)完成等級；

58、利用多層次的模糊綜合評價法構(gòu)建作業(yè)模式自適應(yīng)切換評價體系，并計算各個評價指標(biāo)的權(quán)重；

59、根據(jù)各個清艙機器人的任務(wù)完成等級判斷是否需要切換作業(yè)模式，進行作業(yè)模式自動切換。

60、本發(fā)明相對于現(xiàn)有技術(shù)具有以下有益效果：

61、1）本發(fā)明通過構(gòu)建清艙指令范式模版來構(gòu)建清艙數(shù)據(jù)集，并訓(xùn)練大語言模型，實現(xiàn)了操作人員的清艙語音指令至清艙機器人可執(zhí)行的清艙指令范式的轉(zhuǎn)換，可以基于語音交互控制對特定的區(qū)域進行精細(xì)化的清艙作業(yè)，強化了清艙的無人作業(yè)能力，并可以實現(xiàn)散貨船內(nèi)多個貨艙同時進行無人化清艙作業(yè)，無需人員跨艙/艙內(nèi)作業(yè)，從而降低清艙作業(yè)的人力成本和設(shè)備待機時間，有效提升清艙作業(yè)的安全性和清艙效率。

62、2）本發(fā)明構(gòu)建了標(biāo)準(zhǔn)清艙動作庫，充分考慮多語種、多方言、語言表達(dá)邏輯和表達(dá)流暢性的影響，從語言習(xí)慣、動作關(guān)鍵詞兩個角度對清艙數(shù)據(jù)集進行擴充，該數(shù)據(jù)集擴充方式豐富了清艙數(shù)據(jù)集，一方面，可以幫助清艙語言理解模型更好地處理語言變體和方言細(xì)微差異，改善對特定語境的理解、翻譯和容錯能力，極大降低了操作人員在語音交互時的難度，提高處理多語言場景下的準(zhǔn)確率和性能表現(xiàn)；另一方面豐富了清艙動作關(guān)鍵詞，使得清艙語言理解模型生成更準(zhǔn)確的清艙指令范式，極大降低了操作人員在語音交互時的難度，進而提升清艙作業(yè)的準(zhǔn)確度。

63、3）本發(fā)明結(jié)合清艙指令范式，通過自適應(yīng)改進的a-star算法對各個清艙機器人進行路徑規(guī)劃，優(yōu)化了a-star算法的啟發(fā)函數(shù)，相較于常見的歐式距離、曼哈頓距離等方式，本發(fā)明優(yōu)化后的啟發(fā)函數(shù)訪問節(jié)點更少路徑更貼近實際的節(jié)點；此外，本發(fā)明從物料代價、清艙動作、清艙作業(yè)效果，清艙拐角的平滑四個層次考慮清艙機器人在進行作業(yè)時的綜合代價函數(shù)，為清艙機器人規(guī)劃最優(yōu)路徑，可以有效提高語音交互清艙作業(yè)的效率、質(zhì)量和節(jié)能水平。

64、4）本發(fā)明設(shè)計了基于大語言模型的多清艙機器人交互式控制系統(tǒng)，將清艙過程順次劃分為清艙機器人自主清艙、語音交互清艙和人工遠(yuǎn)程操控清艙三個環(huán)節(jié)，并為每個環(huán)節(jié)設(shè)計了對應(yīng)的清艙作業(yè)模式，使一個操作人員可以控制多個清艙機器人在多個船艙內(nèi)同時作業(yè)，實現(xiàn)“單人對多機”清艙作業(yè)，在提升自動化水平的基礎(chǔ)上實現(xiàn)降本增效，提高作業(yè)效率。

65、5）本發(fā)明利用多層次的模糊綜合評價法建立了作業(yè)模式自適應(yīng)切換評價體系，來評價各個清艙機器人的任務(wù)完成等級，根據(jù)各個清艙機器人的任務(wù)完成等級自主切換作業(yè)模式，實現(xiàn)了機器人自主清艙、語音交互清艙和人工遠(yuǎn)程操控清艙三種清艙作業(yè)模式的實時動態(tài)調(diào)整，可以優(yōu)化資源配置，并能快速適應(yīng)變化的工作環(huán)境和要求，提高清艙速度和靈活性。

66、6）本發(fā)明的基于大語言模型的多清艙機器人交互式控制系統(tǒng)能有效降低清艙過程的危險性并提高清工作效率，有利于散貨碼頭行業(yè)內(nèi)裝備技術(shù)水平以及港口整體運行效率的提升，應(yīng)用潛力巨大，推廣前景廣闊。