本發(fā)明涉及救援機器人，特別是涉及基于多模態(tài)大模型的腿足機器人自主行為控制方法及系統(tǒng)。

背景技術(shù)：

1、在智能機器人領(lǐng)域，腿足機器人(雙足、四足、六足、人形機器人等)因其卓越的運動能力和適應(yīng)性而備受關(guān)注。腿足機器人作為智能機器人領(lǐng)域的一個重要分支，因其獨特的運動能力和適應(yīng)性，在搜索救援、家庭服務(wù)、工業(yè)檢測等多種場景中展現(xiàn)出巨大的應(yīng)用潛力。腿足機器人的設(shè)計和控制技術(shù)一直是機器人研究領(lǐng)域的熱點問題。

2、盡管腿足機器人在多個領(lǐng)域具有廣泛的應(yīng)用前景，但現(xiàn)有技術(shù)中存在一些亟待解決的問題。

3、特別是在環(huán)境感知方面，腿足機器人在光線強烈變化的條件下，目標識別能力受限，難以準確捕捉和分析環(huán)境信息。

4、此外，當(dāng)前腿足機器人技術(shù)在自然語言交互方面的能力尚顯初級，主要表現(xiàn)在對人類復(fù)雜的語法結(jié)構(gòu)、上下文依賴關(guān)系、新型詞匯的表達方式以及隱含語義等修辭手法的理解推理能力不足，限制了機器人在交互過程中對用戶意圖的準確把握，大大降低了人機交互效率和用戶體驗。

5、在自主行為控制方面，現(xiàn)有腿足機器人技術(shù)在處理需要實時決策和策略調(diào)整的復(fù)雜動態(tài)環(huán)境中表現(xiàn)欠佳，當(dāng)機器人遭遇未知障礙或環(huán)境布局發(fā)生變化時，機器人往往難以做出最優(yōu)決策，導(dǎo)致導(dǎo)航和任務(wù)執(zhí)行效率低下。

技術(shù)實現(xiàn)思路

1、為了解決現(xiàn)有技術(shù)的不足，本發(fā)明提供了基于多模態(tài)大模型的腿足機器人自主行為控制方法及系統(tǒng)；利用大語言模型的強大語義理解能力，更深入地解析用戶復(fù)雜的語義指令，改善人機交互的準確性和效率；通過大語言模型對視覺圖像、語音等多模態(tài)信息深度融合與智能分析，賦予機器人對復(fù)雜環(huán)境的全面理解與精確感知能力；基于大語言模型的持續(xù)學(xué)習(xí)和自我優(yōu)化的能力，使機器人能夠在復(fù)雜動態(tài)環(huán)境中基于當(dāng)前的環(huán)境狀態(tài)和預(yù)期目標快速生成并執(zhí)行最優(yōu)的行為策略。

2、一方面，提供了基于多模態(tài)大模型的腿足機器人自主行為控制方法，應(yīng)用于機器人的控制器，包括：

3、獲取救援指令，對所述救援指令進行指令分析，得到救援任務(wù)和救援目的地；

4、對機器人當(dāng)前所處的環(huán)境進行感知：首先，進行地形識別；然后，采用建圖算法定位機器人當(dāng)前所處的位置；最后，根據(jù)機器人當(dāng)前所處的位置和救援目的地，進行導(dǎo)航路徑規(guī)劃；

5、按照規(guī)劃的導(dǎo)航路徑，機器人進行行進，在機器人行進的過程中，按照環(huán)境自適應(yīng)策略，對機器人進行步態(tài)調(diào)整、速度調(diào)整和路徑優(yōu)化；

6、對機器人進行錯誤檢測，如果發(fā)現(xiàn)錯誤，則對錯誤進行糾正；

7、機器人到達救援目的地后，執(zhí)行救援任務(wù)。

8、另一方面，提供了基于多模態(tài)大模型的腿足機器人自主行為控制系統(tǒng)，包括：

9、獲取模塊，其被配置為：獲取救援指令，對所述救援指令進行指令分析，得到救援任務(wù)和救援目的地；

10、感知模塊，其被配置為：對機器人當(dāng)前所處的環(huán)境進行感知：首先，進行地形識別；然后，采用建圖算法定位機器人當(dāng)前所處的位置；最后，根據(jù)機器人當(dāng)前所處的位置和救援目的地，進行導(dǎo)航路徑規(guī)劃；

11、優(yōu)化模塊，其被配置為：按照規(guī)劃的導(dǎo)航路徑，機器人進行行進，在機器人行進的過程中，按照環(huán)境自適應(yīng)策略，對機器人進行步態(tài)調(diào)整、速度調(diào)整和路徑優(yōu)化；

12、檢測模塊，其被配置為：對機器人進行錯誤檢測，如果發(fā)現(xiàn)錯誤，則對錯誤進行糾正；

13、輸出模塊，其被配置為：機器人到達救援目的地后，執(zhí)行救援任務(wù)。

14、上述技術(shù)方案具有如下優(yōu)點或有益效果：

15、在環(huán)境感知方面，提出了一種融合大語言模型的腿足機器人多模感知與指令式導(dǎo)航方法。通過集成雷達、相機和語音傳感器等多種設(shè)備，實現(xiàn)了對環(huán)境信息的全面采集，利用大語言模型對多模態(tài)感知數(shù)據(jù)進行高效融合與分析，提升了機器人對環(huán)境中關(guān)鍵特征和動態(tài)變化的目標物體感知、識別和理解能力。指令式導(dǎo)航技術(shù)通過深度學(xué)習(xí)與大語言模型的結(jié)合，實現(xiàn)了對環(huán)境的深度感知和理解，以及對目標指令的解析和路徑規(guī)劃，利用最優(yōu)軌跡優(yōu)化器和反向傳播機制，以最小化代價函數(shù)實現(xiàn)運動軌跡的優(yōu)化，使得機器人在未知環(huán)境中能夠?qū)崟r做出決策以實現(xiàn)安全、高效的導(dǎo)航。

16、在自然語言交互方面，發(fā)明了一種自然語言交互下腿足機器人運動、學(xué)習(xí)和情感交互方法。通過融合大語言模型技術(shù)，為腿足機器人提供邏輯推理能力，能夠使其對人類的自然語言指令以及圖像信息進行深入的語義解析，進而更準確地理解用戶意圖并據(jù)此執(zhí)行相應(yīng)的動作或任務(wù)。大語言模型還賦予了機器人自主學(xué)習(xí)和情感交互的能力，提供更加個性化的互動體驗，大大提高了用戶的使用體驗。

17、在自主行為控制方面，設(shè)計了一種基于大語言模型的腿足機器人智能行為調(diào)度方法。將輸入信息轉(zhuǎn)化為機器人可執(zhí)行的語義信息，并通過生成任務(wù)子函數(shù)實現(xiàn)高層次的行為規(guī)劃與動態(tài)調(diào)整。集成的高層反饋機制確保了任務(wù)規(guī)劃的準確性和執(zhí)行效率，而運動狀態(tài)機與運動規(guī)劃技術(shù)的整合則將抽象規(guī)劃具體化為機器人的精確運動。實時評估與自適應(yīng)控制進一步提升了運動的流暢性和安全性，底層反饋機制則為應(yīng)對環(huán)境變化和任務(wù)需求提供了強有力的支持。此外，持續(xù)的監(jiān)控和優(yōu)化機制保障了機器人行為的持續(xù)改進，跨模塊協(xié)調(diào)能力確保了系統(tǒng)的整體一致性和協(xié)同性。智能行為調(diào)度方法提升了腿足機器人的自主性和適應(yīng)性，支持其在多樣化任務(wù)場景中的應(yīng)用。

技術(shù)特征：

1.基于多模態(tài)大模型的腿足機器人自主行為控制方法，其特征是，應(yīng)用于機器人的控制器，包括：

2.如權(quán)利要求1所述的基于多模態(tài)大模型的腿足機器人自主行為控制方法，其特征是，對所述救援指令進行指令分析，得到救援任務(wù)和救援目的地，具體指定分析過程包括：

3.如權(quán)利要求2所述的基于多模態(tài)大模型的腿足機器人自主行為控制方法，其特征是，對預(yù)處理操作后的文本救援指令，采用線性時序邏輯方式進行解析，得到若干個子任務(wù)，具體包括：

4.如權(quán)利要求1所述的基于多模態(tài)大模型的腿足機器人自主行為控制方法，其特征是，對機器人當(dāng)前所處的環(huán)境進行感知：首先，進行地形識別；其中，地形識別的具體過程包括：將深度相機采集到的rgb圖像和深度圖像，傳輸給大語言模型進行解析，大語言模型提取圖像中的特征信息，以進行地形識別和推理機器人正前方所處的環(huán)境。

5.如權(quán)利要求1所述的基于多模態(tài)大模型的腿足機器人自主行為控制方法，其特征是，采用建圖算法定位機器人當(dāng)前所處的位置，具體包括：

6.如權(quán)利要求5所述的基于多模態(tài)大模型的腿足機器人自主行為控制方法，其特征是，所述計算點的平滑度，識別出特征點，包括：

7.如權(quán)利要求1所述的基于多模態(tài)大模型的腿足機器人自主行為控制方法，其特征是，根據(jù)機器人當(dāng)前所處的位置和救援目的地，進行導(dǎo)航路徑規(guī)劃，具體包括：

8.如權(quán)利要求1所述的基于多模態(tài)大模型的腿足機器人自主行為控制方法，其特征是，按照規(guī)劃的導(dǎo)航路徑，機器人進行行進，在機器人行進的過程中，按照環(huán)境自適應(yīng)策略，對機器人進行步態(tài)調(diào)整、速度調(diào)整和路徑優(yōu)化，具體包括：

9.如權(quán)利要求1所述的基于多模態(tài)大模型的腿足機器人自主行為控制方法，其特征是，對機器人進行錯誤檢測，如果發(fā)現(xiàn)錯誤，則對錯誤進行糾正，所述錯誤檢測的具體過程包括：

10.基于多模態(tài)大模型的腿足機器人自主行為控制系統(tǒng)，其特征是，包括：

技術(shù)總結(jié)
本發(fā)明公開了基于多模態(tài)大模型的腿足機器人自主行為控制方法及系統(tǒng)，所述方法應(yīng)用于機器人的控制器，包括：獲取救援指令，對所述救援指令進行指令分析，得到救援任務(wù)和救援目的地；對機器人當(dāng)前所處的環(huán)境進行感知：首先，進行地形識別；然后，采用建圖算法定位機器人當(dāng)前所處的位置；最后，根據(jù)機器人當(dāng)前所處的位置和救援目的地，進行導(dǎo)航路徑規(guī)劃；按照規(guī)劃的導(dǎo)航路徑，機器人進行行進，在機器人行進的過程中，按照環(huán)境自適應(yīng)策略，對機器人進行步態(tài)調(diào)整、速度調(diào)整和路徑優(yōu)化；對機器人進行錯誤檢測，如果發(fā)現(xiàn)錯誤，則對錯誤進行糾正；機器人到達救援目的地后，執(zhí)行救援任務(wù)。

技術(shù)研發(fā)人員：陳騰,肖仕鈞,榮學(xué)文,趙志成,師新源,馬昕,李貽斌
受保護的技術(shù)使用者：山東大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10