本技術(shù)涉及自動駕駛領(lǐng)域，特別是涉及車輛的環(huán)境感知方法、系統(tǒng)和環(huán)境感知模型的訓(xùn)練方法。

背景技術(shù)：

1、自動駕駛感知技術(shù)對無人駕駛車來說是非常重要的模塊。感知主要包括了目標檢測、分割、深度估計以及預(yù)測等任務(wù)，能夠幫助車輛通過傳感器感知到道路環(huán)境信息。然而在相關(guān)技術(shù)中，環(huán)境感知方法主要依賴于單一的傳感器，如激光雷達或攝像頭，這些傳感器在復(fù)雜環(huán)境下往往難以提供全面、準確的環(huán)境信息。例如，在光線不足或天氣惡劣的情況下，攝像頭的感知能力會大大下降；而激光雷達雖然不受光線影響，但在某些復(fù)雜場景中可能難以區(qū)分不同物體，從而影響車輛環(huán)境感知的準確性。

2、目前針對相關(guān)技術(shù)中車輛環(huán)境感知的準確性低的問題，尚未提出有效的解決方案。

技術(shù)實現(xiàn)思路

1、本技術(shù)實施例提供了一種車輛的環(huán)境感知方法、系統(tǒng)和環(huán)境感知模型的訓(xùn)練方法，以至少解決相關(guān)技術(shù)中車輛環(huán)境感知的準確性低的問題。

2、第一方面，本技術(shù)實施例提供了一種車輛的環(huán)境感知方法，所述方法包括：

3、基于所述車輛上的圖像傳感器，獲取攜帶有紋理信息的圖像特征；

4、基于第一激光傳感器，獲取攜帶深度信息的鳥瞰點云特征；

5、基于第二激光傳感器，獲取攜帶有高度信息的距離點云特征；所述第一激光傳感器和所述第二激光傳感器在所述車輛上的安裝位置不同；

6、對所述圖像特征、所述鳥瞰點云特征和所述距離點云特征進行融合處理，生成包括所述紋理信息、所述深度信息和所述紋理信息的目標環(huán)境感知信息。

7、在其中一些實施例中，所述對所述圖像特征、所述鳥瞰點云特征和所述距離點云特征進行融合處理，生成目標環(huán)境感知信息，還包括：

8、對所述圖像特征和所述鳥瞰點云特征進行特征融合，得到第一融合特征；

9、對所述鳥瞰點云特征和所述距離點云特征進行特征融合，得到第二融合特征；

10、對所述第一融合特征和所述第二融合特征進行特征融合，得到所述目標環(huán)境感知信息。

11、在其中一些實施例中，獲取所述第一融合特征、所述第二融合特征和所述目標環(huán)境感知信息，包括：

12、將所述圖像特征和所述鳥瞰點云特征輸入至第一注意力機制網(wǎng)絡(luò)進行權(quán)重處理，得到權(quán)重分數(shù)，并基于所述權(quán)重分數(shù)對所述圖像特征和所述鳥瞰點云特征進行特征融合，得到所述第一融合特征；

13、將所述鳥瞰點云特征和所述距離點云特征輸入至第二注意力機制網(wǎng)絡(luò)進行特征融合，得到所述第二融合特征；

14、將所述第一融合特征和所述第二融合特征輸入至第三注意力機制網(wǎng)絡(luò)進行特征融合，得到所述目標環(huán)境感知信息；其中，所述第一注意力機制網(wǎng)絡(luò)、所述第二注意力機制網(wǎng)絡(luò)分別連接至所述第三注意力機制網(wǎng)絡(luò)。

15、在其中一些實施例中，獲取所述圖像特征、所述鳥瞰點云特征和所述距離點云特征，還包括：

16、將所述圖像傳感器采集的圖像信息輸入至第一編碼器模型進行特征提取處理，得到所述圖像特征；所述第一編碼器模型連接所述第一注意力機制網(wǎng)絡(luò)；

17、將所述第一激光傳感器采集的第一點云數(shù)據(jù)輸入至第二編碼器模型進行特征提取處理，得到所述鳥瞰點云特征；所述第二編碼器模型分別連接所述第一注意力機制網(wǎng)絡(luò)和所述第二注意力機制網(wǎng)絡(luò)；

18、將所述第二激光傳感器采集的第二點云數(shù)據(jù)輸入至第三編碼器模型進行特征提取處理，得到所述距離點云特征；所述第三編碼器模型連接所述第二注意力機制網(wǎng)絡(luò)。

19、在其中一些實施例中，所述對所述第一融合特征和所述第二融合特征進行特征融合，得到所述目標環(huán)境感知信息，還包括：

20、將所述第一融合特征和所述第二融合特征輸入至第三注意力機制網(wǎng)絡(luò)進行特征融合，得到目標融合特征；

21、將所述目標融合特征輸入至解碼器模型進行解碼處理，并輸出所述目標環(huán)境感知信息；其中，所述第三注意力機制網(wǎng)絡(luò)連接至所述解碼器模型。

22、在其中一些實施例中，所述第一激光傳感器設(shè)置于車輛頂部，所述第二激光傳感器設(shè)置于車輛前部；和/或，所述圖像傳感器有至少兩個，各所述圖像傳感器組成環(huán)視圖像傳感器。

23、第二方面，本技術(shù)實施例提供了一種環(huán)境感知模型的訓(xùn)練方法，所述方法包括：

24、獲取訓(xùn)練數(shù)據(jù)集；所述訓(xùn)練數(shù)據(jù)集攜帶有真實環(huán)境標簽；

25、將所述訓(xùn)練數(shù)據(jù)集分別輸入至第一初始編碼器、第二初始編碼器和第三初始編碼器，輸出對應(yīng)的第一訓(xùn)練特征、第二訓(xùn)練特征和第三訓(xùn)練特征；

26、將所述第一訓(xùn)練特征和所述第二訓(xùn)練特征輸入至第一初始注意力機制網(wǎng)絡(luò)，輸出第四訓(xùn)練特征；

27、將所述第二訓(xùn)練特征和所述第三訓(xùn)練特征輸入至第二初始注意力機制網(wǎng)絡(luò)，輸出第五訓(xùn)練特征；

28、將所述第四訓(xùn)練特征、所述第五訓(xùn)練特征輸入至第三初始注意力機制網(wǎng)絡(luò)，輸出訓(xùn)練融合特征；

29、將所述訓(xùn)練融合特征輸入至第一初始解碼器，輸出第一預(yù)測結(jié)果；

30、根據(jù)所述第一預(yù)測結(jié)果和所述真實環(huán)境標簽，計算第一損失函數(shù)結(jié)果，并將所述第一損失函數(shù)結(jié)果的梯度反向傳遞至所述第一初始解碼器進行迭代訓(xùn)練，生成訓(xùn)練后的環(huán)境感知模型。

31、在其中一些實施例中，所述將所述第一損失函數(shù)結(jié)果的梯度反向傳遞至所述第一初始解碼器進行迭代訓(xùn)練，生成訓(xùn)練后的環(huán)境感知模型，包括：

32、將所述第四訓(xùn)練特征輸入至第二初始解碼器，輸出第二預(yù)測結(jié)果；根據(jù)所述第二預(yù)測結(jié)果和所述真實環(huán)境標簽，計算第二損失函數(shù)結(jié)果；

33、將所述第五訓(xùn)練特征輸入至第三初始解碼器，輸出第三預(yù)測結(jié)果；根據(jù)所述第三預(yù)測結(jié)果和所述真實環(huán)境標簽，計算第三損失函數(shù)結(jié)果；

34、根據(jù)所述第一損失函數(shù)結(jié)果、所述第二損失函數(shù)結(jié)果和所述第三損失函數(shù)結(jié)果，計算總損失函數(shù)結(jié)果；

35、將所述總損失函數(shù)結(jié)果的梯度反向傳遞進行迭代訓(xùn)練，生成所述環(huán)境感知模型。

36、第三方面，本技術(shù)實施例提供了一種車輛的環(huán)境感知系統(tǒng)，包括圖像傳感器、第一激光傳感器、第二激光傳感器和控制器；

37、所述控制器，分別連接所述圖像傳感器、所述第一激光傳感器、和所述第二激光傳感器，用于執(zhí)行如上述第一方面所述的車輛的環(huán)境感知方法。

38、第四方面，本技術(shù)實施例提供了一種車輛，包括如上述第二方面所述的車輛的環(huán)境感知系統(tǒng)。

39、相比于相關(guān)技術(shù)，本技術(shù)實施例提供的車輛的環(huán)境感知方法、系統(tǒng)和環(huán)境感知模型的訓(xùn)練方法，通過基于車輛上的圖像傳感器，獲取攜帶有紋理信息的圖像特征；基于第一激光傳感器，獲取攜帶深度信息的鳥瞰點云特征；基于第二激光傳感器，獲取攜帶有高度信息的距離點云特征；第一激光傳感器和第二激光傳感器在車輛上的安裝位置不同；對圖像特征、鳥瞰點云特征和距離點云特征進行融合處理，生成包括紋理信息、深度信息和紋理信息的目標環(huán)境感知信息?；诖?，能夠?qū)ψ詣玉{駛車輛周圍環(huán)境進行精準的三維目標檢測，有效了提升對“鬼探頭”、“低矮障礙物”等目標的識別能力，在復(fù)雜環(huán)境下對近距離、盲區(qū)感知能力有顯著提升，對復(fù)雜環(huán)境和光照變化具有較強的適應(yīng)能力，從而解決了在復(fù)雜場景下車輛環(huán)境感知的準確性低的問題。

40、本技術(shù)的一個或多個實施例的細節(jié)在以下附圖和描述中提出，以使本技術(shù)的其他特征、目的和優(yōu)點更加簡明易懂。