本申請涉及自動駕駛，尤其是涉及環(huán)境要素信息驅(qū)動的自動駕駛多模態(tài)動態(tài)融合方法及裝置。

背景技術(shù)：

1、當(dāng)前的自動駕駛感知系統(tǒng)主要依賴相機、激光雷達(dá)和毫米波雷達(dá)等傳感器來感知周圍環(huán)境，這些系統(tǒng)采用了動態(tài)訓(xùn)練和靜態(tài)推理的模型范式。在推理過程中，網(wǎng)絡(luò)模型的架構(gòu)和參數(shù)是固定不變的。這種方法在特定的、單一的場景感知任務(wù)中表現(xiàn)良好，但在面對現(xiàn)實駕駛環(huán)境中復(fù)雜多變的場景時，效果不佳。

2、實際道路環(huán)境是一個多元且復(fù)雜的場景，不僅包含車輛、行人等動態(tài)目標(biāo)信息，還包括道路狀況、天氣變化、光照強度等多種場景狀態(tài)要素。不同的場景狀態(tài)下，各種傳感器的優(yōu)勢和有效性也存在顯著差異。例如，在良好天氣條件下，激光雷達(dá)可以精確測量距離和形狀信息，但在雨雪天氣中，激光雷達(dá)的有效性會大幅降低。

3、在多模態(tài)融合中加入環(huán)境要素會提高場景感知的精度，但是目前還未有解決方案。

技術(shù)實現(xiàn)思路

1、有鑒于此，本申請?zhí)峁┝谁h(huán)境要素信息驅(qū)動的自動駕駛多模態(tài)動態(tài)融合方法及裝置，以解決上述技術(shù)問題。

2、第一方面，本申請實施例提供一種環(huán)境要素信息驅(qū)動的自動駕駛多模態(tài)動態(tài)融合方法，包括：

3、獲取當(dāng)前時刻自車上多個傳感器采集的多模態(tài)數(shù)據(jù)；

4、對所述多模態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)冗余審查，得到審核通過的多模態(tài)數(shù)據(jù)；

5、從審核通過的多模態(tài)數(shù)據(jù)中提取自車特征、環(huán)境特征、圖像特征和雷達(dá)特征，對自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行處理，得到場景狀態(tài)參數(shù)向量；

6、利用場景狀態(tài)參數(shù)向量對自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行融合，得到第一融合特征；

7、利用解碼器對所述第一融合特征進(jìn)行解碼，得到第二融合特征；

8、利用占據(jù)柵格網(wǎng)絡(luò)頭對所述第二融合特征進(jìn)行處理，得到第一感知結(jié)果；

9、利用交叉注意力網(wǎng)絡(luò)對所述第一感知結(jié)果進(jìn)行處理，得到第二感知結(jié)果。

10、進(jìn)一步地，所述第一模態(tài)數(shù)據(jù)至少包括：轉(zhuǎn)向角、速度、加速度、三維位置、氣象數(shù)據(jù)、光照、z方向的振動位移、音頻、rgb圖像和點云數(shù)據(jù)。

11、進(jìn)一步地，對所述多模態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)冗余審查，得到審核通過的多模態(tài)數(shù)據(jù)，包括：

12、步驟s1：判斷所述多模態(tài)數(shù)據(jù)中的各個分量是否存在零值，若為是，則確定所述多模態(tài)數(shù)據(jù)未審核通過；否則，進(jìn)入步驟s2；

13、步驟s2：將多模態(tài)數(shù)據(jù)劃分為主模態(tài)數(shù)據(jù)和非主模態(tài)數(shù)據(jù)，所述主模態(tài)數(shù)據(jù)包括rgb圖像和點云數(shù)據(jù)；所述非主模態(tài)數(shù)據(jù)包括轉(zhuǎn)向角、速度、加速度、三維位置、氣象數(shù)據(jù)、光照、z方向的振動位移和音頻；

14、步驟s3：判斷所述主模態(tài)數(shù)據(jù)中的各個分量與上一時刻的對應(yīng)分量是否存在重復(fù)值，若為是，則確定所述多模態(tài)數(shù)據(jù)未審核通過；否則，進(jìn)入步驟s4；

15、步驟s4：依次判斷所述非主模態(tài)數(shù)據(jù)的各個分量與所述主模態(tài)數(shù)據(jù)是否均存在關(guān)聯(lián)性，若為是，則確定所述多模態(tài)數(shù)據(jù)審核通過，否則，確定所述多模態(tài)數(shù)據(jù)未審核通過。

16、進(jìn)一步地，對所述自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行處理，得到場景狀態(tài)參數(shù)向量，包括：

17、利用傅里葉變換將拼接后的自車特征和環(huán)境特征轉(zhuǎn)換為頻譜特征；

18、利用3*3卷積層對拼接后的圖像特征和雷達(dá)特征進(jìn)行處理，得到第一特征；

19、對頻譜特征和第一特征進(jìn)行拼接，得到第二特征；

20、對第二特征進(jìn)行全局池化操作，得到第三特征；

21、利用預(yù)先訓(xùn)練得到的權(quán)重矩陣與第三特征進(jìn)行單點卷積，得到場景狀態(tài)參數(shù)向量。

22、進(jìn)一步地，利用場景狀態(tài)參數(shù)向量對所述自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行融合，得到第一融合特征；包括：

23、將所述自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行拼接，得到第四特征；

24、將場景狀態(tài)參數(shù)向量與第四特征進(jìn)行相乘，得到第一融合特征。

25、進(jìn)一步地，所述解碼器采用動態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括：n層路徑空間。

26、進(jìn)一步地，利用解碼器對所述第一融合特征進(jìn)行解碼，得到第二融合特征，包括：

27、利用第一層路徑空間對所述第一融合特征進(jìn)行處理，得到第一中間特征

28、

29、其中，dw(·)為深度可分離卷積，r(·)為relu激活函數(shù)，gate(·)為門控函數(shù)，為對第一融合特征進(jìn)行池化得到的分辨率為s/2的特征圖，為向量乘積，u(·)為上采樣；

30、利用第二層路徑空間對所述第一中間特征進(jìn)行處理，得到第二中間特征

31、

32、其中，為對第一中間特征進(jìn)行池化得到的分辨率為s/2的特征圖；

33、利用第n層路徑空間對所述第n-1中間特征進(jìn)行處理，得到第二中間特征

34、

35、其中，3≤n≤n；為第n-1中間特征進(jìn)行池化得到的分辨率為s/2的特征圖；

36、確定第n中間特征為第二融合特征。

37、第二方面，本申請實施例提供一種環(huán)境要素信息驅(qū)動的自動駕駛多模態(tài)動態(tài)融合裝置，包括：

38、獲取單元，用于獲取當(dāng)前時刻自車上多個傳感器采集的多模態(tài)數(shù)據(jù)；

39、審核單元，用于對所述多模態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)冗余審查，得到審核通過的多模態(tài)數(shù)據(jù)；

40、第一處理單元，用于從審核通過的多模態(tài)數(shù)據(jù)中提取自車特征、環(huán)境特征、圖像特征和雷達(dá)特征，對自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行處理，得到場景狀態(tài)參數(shù)向量；

41、第二處理單元，用于利用場景狀態(tài)參數(shù)向量對自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行融合，得到第一融合特征；

42、解碼單元，用于利用解碼器對所述第一融合特征進(jìn)行解碼，得到第二融合特征；

43、第一感知單元，用于利用占據(jù)柵格網(wǎng)絡(luò)頭對所述第二融合特征進(jìn)行處理，得到第一感知結(jié)果；

44、第二感知單元，用于利用交叉注意力網(wǎng)絡(luò)對所述第一感知結(jié)果進(jìn)行處理，得到第二感知結(jié)果。

45、第三方面，本申請實施例提供了一種電子設(shè)備，包括：存儲器、處理器和存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)本申請實施例的方法。

46、第四方面，本申請實施例一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器運行時實現(xiàn)本申請實施例的方法。

47、本申請能夠在復(fù)雜多變的實際駕駛環(huán)境中提供更高的感知精度和可靠性。

技術(shù)特征：

1.一種環(huán)境要素信息驅(qū)動的自動駕駛多模態(tài)動態(tài)融合方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一模態(tài)數(shù)據(jù)至少包括：轉(zhuǎn)向角、速度、加速度、三維位置、氣象數(shù)據(jù)、光照、z方向的振動位移、音頻、rgb圖像和點云數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，對所述多模態(tài)數(shù)據(jù)進(jìn)行數(shù)據(jù)冗余審查，得到審核通過的多模態(tài)數(shù)據(jù)，包括：

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行處理，得到場景狀態(tài)參數(shù)向量，包括：

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用場景狀態(tài)參數(shù)向量對所述自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行融合，得到第一融合特征；包括：

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述解碼器采用動態(tài)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括：n層路徑空間。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，利用解碼器對所述第一融合特征進(jìn)行解碼，得到第二融合特征，包括：

8.一種環(huán)境要素信息驅(qū)動的自動駕駛多模態(tài)動態(tài)融合裝置，其特征在于，包括：

9.一種電子設(shè)備，其特征在于，包括：存儲器、處理器和存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權(quán)利要求1-7任一項所述的方法。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲有計算機指令，所述計算機指令被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7任一項所述的方法。

技術(shù)總結(jié)
本申請?zhí)峁┉h(huán)境要素信息驅(qū)動的自動駕駛多模態(tài)動態(tài)融合方法及裝置，其中的方法包括：獲取當(dāng)前時刻自車上多個傳感器采集的多模態(tài)數(shù)據(jù)；從審核通過的多模態(tài)數(shù)據(jù)中提取自車特征、環(huán)境特征、圖像特征和雷達(dá)特征，對自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行處理，得到場景狀態(tài)參數(shù)向量；利用場景狀態(tài)參數(shù)向量對自車特征、環(huán)境特征、圖像特征和雷達(dá)特征進(jìn)行融合，得到第一融合特征；利用解碼器對所述第一融合特征進(jìn)行解碼，得到第二融合特征；利用占據(jù)柵格網(wǎng)絡(luò)頭對所述第二融合特征進(jìn)行處理，得到第一感知結(jié)果；利用交叉注意力網(wǎng)絡(luò)對所述第一感知結(jié)果進(jìn)行處理，得到第二感知結(jié)果。本申請能夠在復(fù)雜多變的實際駕駛環(huán)境中提供更高的感知精度和可靠性。

技術(shù)研發(fā)人員：張庭禎,李志偉,楊巧寧,程鵬,蔡樂嫣,劉旭東,崔文琪,魏全杰
受保護(hù)的技術(shù)使用者：北京化工大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19