本發(fā)明涉及車輛，特別是涉及一種多模態(tài)交互引導(dǎo)車輛操作的方法、系統(tǒng)、電子設(shè)備、存儲介質(zhì)及車輛。

背景技術(shù)：

1、目前，用車助手主要依賴于單一的交互方式，如語音交互或簡單的觸摸操作。在提供車輛操作指導(dǎo)時，通常采用固定的模式，例如通過車機屏幕顯示文字說明或靜態(tài)圖片、通用視頻。

2、現(xiàn)有技術(shù)存在以下問題：

3、1、交互方式有限：僅能通過單一的輸入方式接收用戶指令，無法滿足用戶在不同場景下的多樣化交互需求。例如，通過語音交互時，需要用戶在語音中準(zhǔn)確的描述問題，如果用戶不知道怎么準(zhǔn)確描述自己要詢問的內(nèi)容、或不知道某個部件的名稱，很難成功得到答案。

4、2、指導(dǎo)不夠直觀和精準(zhǔn)：固定的文字說明和靜態(tài)圖片對于復(fù)雜的車輛操作指導(dǎo)效果不佳，用戶可能難以理解和準(zhǔn)確執(zhí)行操作。

5、3、缺乏對用戶和車輛狀態(tài)的感知：不能根據(jù)用戶的實際位置、姿態(tài)以及車輛的實時狀態(tài)來提供個性化和適應(yīng)性的引導(dǎo)。

6、因此，本申請?zhí)峁┮环N多模態(tài)交互引導(dǎo)車輛操作的方法以解決上述技術(shù)問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種多模態(tài)交互引導(dǎo)車輛操作的方法、系統(tǒng)、電子設(shè)備、存儲介質(zhì)及車輛，用以解決現(xiàn)有技術(shù)中引導(dǎo)車輛操作時交互方式有限，不能根據(jù)用戶實際情況進行引導(dǎo)的技術(shù)問題。

2、為了解決上述技術(shù)問題，本發(fā)明提供了一種多模態(tài)交互引導(dǎo)車輛操作的方法，包括：

3、數(shù)據(jù)采集與準(zhǔn)備步驟，包括響應(yīng)于采集的原始數(shù)據(jù)，對所述原始數(shù)據(jù)進行標(biāo)注，分配相應(yīng)的樣本標(biāo)簽，其中，所述原始數(shù)據(jù)包括用戶行為數(shù)據(jù)、車輛狀態(tài)數(shù)據(jù)以及語音指令數(shù)據(jù)；

4、模型訓(xùn)練步驟，包括響應(yīng)于標(biāo)注后的所述原始數(shù)據(jù)，對所述原始數(shù)據(jù)進行訓(xùn)練，構(gòu)建多模態(tài)感知模型以及引導(dǎo)策略生成模型，以識別用戶行為以及車輛狀態(tài)，并生成引導(dǎo)策略；

5、多模態(tài)感知步驟，包括響應(yīng)于車輛使用過程中，基于訓(xùn)練好的所述多模態(tài)感知模型對車輛使用數(shù)據(jù)進行分析，以感知用戶和車輛的狀態(tài)；

6、引導(dǎo)策略輸出步驟，包括響應(yīng)于感知的所述車輛使用數(shù)據(jù)，基于訓(xùn)練好的所述引導(dǎo)策略生成模型，生成并輸出符合用戶當(dāng)前需求的引導(dǎo)策略。

7、在其中一些具體實施例中，數(shù)據(jù)采集與準(zhǔn)備步驟，包括響應(yīng)于采集的原始數(shù)據(jù)，對所述原始數(shù)據(jù)進行標(biāo)注，分配相應(yīng)的樣本標(biāo)簽，其中，所述原始數(shù)據(jù)包括用戶行為數(shù)據(jù)、車輛狀態(tài)數(shù)據(jù)以及語音指令數(shù)據(jù)，進一步包括：

8、采集所述用戶行為數(shù)據(jù)，包括用戶的肢體動作、眼神方向以及面部表情數(shù)據(jù)；

9、采集所述車輛狀態(tài)數(shù)據(jù)，包括車輛的速度、姿態(tài)以及部件狀態(tài)數(shù)據(jù)；

10、對采集的所述用戶行為、車輛狀態(tài)以及語音指令數(shù)據(jù)進行標(biāo)注，為每個樣本分配相應(yīng)的用戶行為標(biāo)簽以及車輛狀態(tài)標(biāo)簽，并對標(biāo)注后的數(shù)據(jù)進行清洗處理。

11、在其中一些具體實施例中，模型訓(xùn)練步驟，包括響應(yīng)于標(biāo)注后的所述原始數(shù)據(jù)，對所述原始數(shù)據(jù)進行訓(xùn)練，構(gòu)建多模態(tài)感知模型以及引導(dǎo)策略生成模型，以識別用戶行為以及車輛狀態(tài)，并生成引導(dǎo)策略，進一步包括：

12、基于深度學(xué)習(xí)算法，對標(biāo)注后的所述用戶行為數(shù)據(jù)、車輛狀態(tài)數(shù)據(jù)以及語音指令數(shù)據(jù)進行分析，構(gòu)建并優(yōu)化所述多模態(tài)感知模型，以使所述多模態(tài)感知模型能夠識別用戶位置、姿態(tài)、眼神方向以及車輛狀態(tài)信息；

13、基于大模型框架，結(jié)合車輛操作知識庫以及用戶習(xí)慣，構(gòu)建并優(yōu)化所述引導(dǎo)策略生成模型，以使所述引導(dǎo)策略生成模型生成符合用戶實際情況的所述引導(dǎo)策略。

14、在其中一些具體實施例中，多模態(tài)感知步驟，包括響應(yīng)于車輛使用過程中，基于訓(xùn)練好的所述多模態(tài)感知模型對車輛使用數(shù)據(jù)進行分析，以感知用戶和車輛的狀態(tài)，進一步包括：

15、實時接收所述車輛使用數(shù)據(jù)，包括反映用戶和車輛的實時狀態(tài)信息；

16、基于訓(xùn)練好的所述多模態(tài)感知模型對車輛使用數(shù)據(jù)進行分析，提取出用戶的位置、姿態(tài)、眼神方向以及車輛狀態(tài)信息；

17、將不同來源的數(shù)據(jù)進行融合，以形成對用戶和車輛狀態(tài)的全面感知。

18、在其中一些具體實施例中，引導(dǎo)策略輸出步驟，包括響應(yīng)于感知的所述車輛使用數(shù)據(jù)，基于訓(xùn)練好的所述引導(dǎo)策略生成模型，生成并輸出符合用戶當(dāng)前需求的引導(dǎo)策略，進一步包括：

19、基于實時感知的所述車輛使用數(shù)據(jù)，分析用戶當(dāng)前的需求并預(yù)測用戶的操作意圖；

20、基于所述需求的分析結(jié)果，生成符合用戶實際情況的所述引導(dǎo)策略，其中，所述引導(dǎo)策略包括操作步驟、注意事項以及風(fēng)險提示；

21、響應(yīng)于用戶反饋，持續(xù)優(yōu)化所述引導(dǎo)策略，以提高所述引導(dǎo)策略的準(zhǔn)確度；

22、輸出所述引導(dǎo)策略，包括語音播報或動態(tài)圖像顯示或燈光提示以及組合輸出。

23、在其中一些具體實施例中，還包括反饋機制，用于收集用戶對所述引導(dǎo)策略的評價和反饋，并根據(jù)反饋進一步調(diào)整和優(yōu)化所述多模態(tài)感知模型、引導(dǎo)策略生成模型以及輸出方式。

24、基于同一構(gòu)思，本發(fā)明還提供一種多模態(tài)交互引導(dǎo)車輛操作的系統(tǒng)，包括：

25、數(shù)據(jù)采集與準(zhǔn)備模塊，配置為響應(yīng)于采集的原始數(shù)據(jù)，對所述原始數(shù)據(jù)進行標(biāo)注，分配相應(yīng)的樣本標(biāo)簽，其中，所述原始數(shù)據(jù)包括用戶行為數(shù)據(jù)、車輛狀態(tài)數(shù)據(jù)以及語音指令數(shù)據(jù)；

26、模型訓(xùn)練模塊，配置為響應(yīng)于標(biāo)注后的所述原始數(shù)據(jù)，對所述原始數(shù)據(jù)進行訓(xùn)練，構(gòu)建多模態(tài)感知模型以及引導(dǎo)策略生成模型，以識別用戶行為以及車輛狀態(tài)，并生成引導(dǎo)策略；

27、多模態(tài)感知模塊，配置為響應(yīng)于車輛使用過程中，基于訓(xùn)練好的所述多模態(tài)感知模型對車輛使用數(shù)據(jù)進行分析，以感知用戶和車輛的狀態(tài)；

28、引導(dǎo)策略輸出模塊，配置為響應(yīng)于感知的所述車輛使用數(shù)據(jù)，基于訓(xùn)練好的所述引導(dǎo)策略生成模型，生成并輸出符合用戶當(dāng)前需求的引導(dǎo)策略。

29、基于同一構(gòu)思，本發(fā)明還提供一種電子設(shè)備，包括：處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信；所述存儲器中存儲有計算機程序，當(dāng)所述計算機程序被所述處理器執(zhí)行時，使得所述處理器執(zhí)行多模態(tài)交互引導(dǎo)車輛操作的方法的步驟。

30、基于同一構(gòu)思，本發(fā)明還提供一種計算機可讀存儲介質(zhì)，其存儲有可由電子設(shè)備執(zhí)行的計算機程序，當(dāng)所述計算機程序在所述電子設(shè)備上運行時，使得所述電子設(shè)備執(zhí)行多模態(tài)交互引導(dǎo)車輛操作的方法的步驟。

31、基于同一構(gòu)思，本發(fā)明還提供一種車輛，所述車輛設(shè)置有如上所述的多模態(tài)交互引導(dǎo)車輛操作的系統(tǒng)。

32、與現(xiàn)有技術(shù)相比，其有益效果在于：

33、本發(fā)明公開了一種多模態(tài)交互引導(dǎo)車輛操作的方法、系統(tǒng)、電子設(shè)備、存儲介質(zhì)及車輛，可實時感知用戶和車輛狀態(tài)，根據(jù)用戶的實際情況提供相應(yīng)的引導(dǎo)策略，并提供相應(yīng)的交互方式，提升用戶的使用體驗。

技術(shù)特征：

1.一種多模態(tài)交互引導(dǎo)車輛操作的方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的多模態(tài)交互引導(dǎo)車輛操作的方法，其特征在于，數(shù)據(jù)采集與準(zhǔn)備步驟，包括響應(yīng)于采集的原始數(shù)據(jù)，對所述原始數(shù)據(jù)進行標(biāo)注，分配相應(yīng)的樣本標(biāo)簽，其中，所述原始數(shù)據(jù)包括用戶行為數(shù)據(jù)、車輛狀態(tài)數(shù)據(jù)以及語音指令數(shù)據(jù)，進一步包括：

3.根據(jù)權(quán)利要求1所述的多模態(tài)交互引導(dǎo)車輛操作的方法，其特征在于，模型訓(xùn)練步驟，包括響應(yīng)于標(biāo)注后的所述原始數(shù)據(jù)，對所述原始數(shù)據(jù)進行訓(xùn)練，構(gòu)建多模態(tài)感知模型以及引導(dǎo)策略生成模型，以識別用戶行為以及車輛狀態(tài)，并生成引導(dǎo)策略，進一步包括：

4.根據(jù)權(quán)利要求1所述的多模態(tài)交互引導(dǎo)車輛操作的方法，其特征在于，多模態(tài)感知步驟，包括響應(yīng)于車輛使用過程中，基于訓(xùn)練好的所述多模態(tài)感知模型對車輛使用數(shù)據(jù)進行分析，以感知用戶和車輛的狀態(tài)，進一步包括：

5.根據(jù)權(quán)利要求1所述的多模態(tài)交互引導(dǎo)車輛操作的方法，其特征在于，引導(dǎo)策略輸出步驟，包括響應(yīng)于感知的所述車輛使用數(shù)據(jù)，基于訓(xùn)練好的所述引導(dǎo)策略生成模型，生成并輸出符合用戶當(dāng)前需求的引導(dǎo)策略，進一步包括：

6.根據(jù)權(quán)利要求1所述的多模態(tài)交互引導(dǎo)車輛操作的方法，其特征在于，還包括反饋機制，用于收集用戶對所述引導(dǎo)策略的評價和反饋，并根據(jù)反饋進一步調(diào)整和優(yōu)化所述多模態(tài)感知模型、引導(dǎo)策略生成模型以及輸出方式。

7.一種多模態(tài)交互引導(dǎo)車輛操作的系統(tǒng)，其特征在于，包括：

8.一種電子設(shè)備，其特征在于，包括：處理器、通信接口、存儲器和通信總線，其中，處理器，通信接口，存儲器通過通信總線完成相互間的通信；所述存儲器中存儲有計算機程序，當(dāng)所述計算機程序被所述處理器執(zhí)行時，使得所述處理器執(zhí)行權(quán)利要求1至6中任一項所述方法的步驟。

9.一種計算機可讀存儲介質(zhì)，其特征在于，其存儲有可由電子設(shè)備執(zhí)行的計算機程序，當(dāng)所述計算機程序在所述電子設(shè)備上運行時，使得所述電子設(shè)備執(zhí)行權(quán)利要求1至6中任一項所述方法的步驟。

10.一種車輛，其特征在于，所述車輛設(shè)置有如權(quán)利要求7所述的多模態(tài)交互引導(dǎo)車輛操作的系統(tǒng)。

技術(shù)總結(jié)
本發(fā)明涉及車輛技術(shù)領(lǐng)域，公開了一種多模態(tài)交互引導(dǎo)車輛操作的方法、系統(tǒng)、電子設(shè)備、存儲介質(zhì)及車輛，包括響應(yīng)于采集的原始數(shù)據(jù)進行標(biāo)注，分配相應(yīng)的樣本標(biāo)簽，響應(yīng)于標(biāo)注后的原始數(shù)據(jù)，對原始數(shù)據(jù)進行訓(xùn)練，構(gòu)建多模態(tài)感知模型以及引導(dǎo)策略生成模型，以識別用戶行為以及車輛狀態(tài)，并生成引導(dǎo)策略；響應(yīng)于車輛使用過程中，基于訓(xùn)練好的所述多模態(tài)感知模型對車輛使用數(shù)據(jù)進行分析，以感知用戶和車輛的狀態(tài)；響應(yīng)于感知的所述車輛使用數(shù)據(jù)，基于訓(xùn)練好的所述引導(dǎo)策略生成模型，生成并輸出符合用戶當(dāng)前需求的引導(dǎo)策略。本發(fā)明可實時感知用戶和車輛狀態(tài)，根據(jù)用戶的實際情況提供相應(yīng)的引導(dǎo)策略，并提供相應(yīng)的交互方式，提升用戶的使用體驗。

技術(shù)研發(fā)人員：李靖怡,陳彩可,張文權(quán),李龍飛,張煒瑋,林孟超,葛溫清,陳若黎,吳啟蒙,吉培軒
受保護的技術(shù)使用者：中國第一汽車股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10