本公開涉及障礙物檢測，尤其涉及一種障礙物特征識別模型的訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)：

1、自動駕駛汽車又稱無人駕駛汽車，是一種通過計(jì)算機(jī)設(shè)備控制車輛在道路上實(shí)現(xiàn)自動行駛的技術(shù)，自動駕駛的實(shí)現(xiàn)依賴于人工智能、視覺計(jì)算、雷達(dá)以及定位組件的協(xié)同合作。由于實(shí)際道路情況復(fù)雜，存在大量行人和車輛等障礙物，因此如何實(shí)現(xiàn)障礙物識別，明確障礙物在三維空間下的特征，進(jìn)而規(guī)劃出規(guī)避障礙物的行駛路線成為自動駕駛的關(guān)鍵。

2、現(xiàn)有的障礙物識別技術(shù)，由于攝像機(jī)的成本較低，主要基于攝像機(jī)采集的圖像進(jìn)行障礙物識別，雖然存在將攝像機(jī)采集的二維數(shù)據(jù)轉(zhuǎn)換為三維數(shù)據(jù)的技術(shù)，但是其精準(zhǔn)度欠佳，導(dǎo)致利用圖像和識別模型得到的障礙物特征在三維空間中精度不高，影響自動駕駛后續(xù)的決策工作。

3、因此如何得到一個能夠輸出高精度障礙物特征的識別模型就成為亟待解決的問題。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本公開的至少一個實(shí)施例提供了一種障礙物特征識別模型的訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)。

2、第一方面，本公開提供了一種障礙物特征識別模型的訓(xùn)練方法，包括：

3、獲取同一障礙物對應(yīng)的環(huán)視圖像及點(diǎn)云數(shù)據(jù)；

4、基于所述點(diǎn)云數(shù)據(jù)，以及對應(yīng)三維空間中預(yù)設(shè)的體素，確定所述障礙物在每個體素中對應(yīng)的障礙物真實(shí)特征；

5、將所述環(huán)視圖像輸入待訓(xùn)練的初始模型，得到所述障礙物對應(yīng)的障礙物預(yù)測特征，所述初始模型包括特征提取網(wǎng)絡(luò)、特征轉(zhuǎn)換網(wǎng)絡(luò)和障礙物特征預(yù)測網(wǎng)絡(luò)；

6、根據(jù)所述障礙物對應(yīng)的所述障礙物真實(shí)特征和所述障礙物預(yù)測特征對所述初始模型進(jìn)行訓(xùn)練，得到障礙物特征識別模型。

7、第二方面，本公開提供了一種障礙物特征的獲取方法，包括：

8、獲取障礙物的環(huán)視圖像；

9、將所述環(huán)視圖像輸入至預(yù)先訓(xùn)練完成的障礙物特征識別模型，得到所述障礙物對應(yīng)的障礙物預(yù)測特征；

10、其中，所述障礙物特征識別模型包括特征提取網(wǎng)絡(luò)、特征轉(zhuǎn)換網(wǎng)絡(luò)和障礙物特征預(yù)測網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)用于提取所述環(huán)視圖像對應(yīng)的二維特征，所述特征轉(zhuǎn)換網(wǎng)絡(luò)用于將所述二維特征轉(zhuǎn)換為三維特征，所述障礙物特征預(yù)測網(wǎng)絡(luò)用于根據(jù)所述三維特征預(yù)測得到所述障礙物對應(yīng)的障礙物預(yù)測特征。

11、第三方面，本公開提供了一種障礙物特征識別模型的訓(xùn)練裝置，包括：

12、第一獲取模塊，用于獲取同一障礙物對應(yīng)的環(huán)視圖像及點(diǎn)云數(shù)據(jù)；

13、確定模塊，用于基于所述點(diǎn)云數(shù)據(jù)，以及對應(yīng)三維空間中預(yù)設(shè)的體素，確定所述障礙物在每個體素中對應(yīng)的障礙物真實(shí)特征；

14、第二獲取模塊，用于將所述環(huán)視圖像輸入待訓(xùn)練的初始模型，得到所述障礙物對應(yīng)的障礙物預(yù)測特征，所述初始模型包括特征提取網(wǎng)絡(luò)、特征轉(zhuǎn)換網(wǎng)絡(luò)和障礙物特征預(yù)測網(wǎng)絡(luò)；

15、訓(xùn)練模塊，用于根據(jù)所述障礙物對應(yīng)的所述障礙物真實(shí)特征和所述障礙物預(yù)測特征對所述初始模型進(jìn)行訓(xùn)練，得到障礙物特征識別模型。

16、第四方面，本公開提供了一種障礙物特征的獲取裝置，包括：

17、圖像獲取模塊，用于獲取障礙物的環(huán)視圖像；

18、特征預(yù)測模塊，用于將所述環(huán)視圖像輸入至預(yù)先訓(xùn)練完成的障礙物特征識別模型，得到所述障礙物對應(yīng)的障礙物預(yù)測特征；

19、其中，所述障礙物特征識別模型包括特征提取網(wǎng)絡(luò)、特征轉(zhuǎn)換網(wǎng)絡(luò)和障礙物特征預(yù)測網(wǎng)絡(luò)，所述特征提取網(wǎng)絡(luò)用于提取所述環(huán)視圖像對應(yīng)的二維特征，所述特征轉(zhuǎn)換網(wǎng)絡(luò)用于將所述二維特征轉(zhuǎn)換為三維特征，所述障礙物特征預(yù)測網(wǎng)絡(luò)用于根據(jù)所述三維特征預(yù)測得到所述障礙物對應(yīng)的障礙物預(yù)測特征。

20、第五方面，本公開提供了一種計(jì)算機(jī)設(shè)備，包括：處理器和存儲器；

21、所述處理器通過調(diào)用所述存儲器存儲的程序或指令，用于執(zhí)行本公開實(shí)施例提供的任一所述的障礙物特征識別模型的訓(xùn)練方法，或者，執(zhí)行本公開實(shí)施例提供的任一所述的障礙物特征的獲取方法。

22、第六方面，本公開提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲程序或指令，所述程序或指令使計(jì)算機(jī)執(zhí)行本公開實(shí)施例提供的任一所述的障礙物特征識別模型的訓(xùn)練方法，或者，執(zhí)行本公開實(shí)施例提供的任一所述的障礙物特征的獲取方法。

23、第七方面，本公開提供了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品用于執(zhí)行本公開實(shí)施例提供的任一所述的障礙物特征識別模型的訓(xùn)練方法，或者，執(zhí)行本公開實(shí)施例提供的任一所述的障礙物特征的獲取方法。

24、本公開實(shí)施例提供的技術(shù)方案與現(xiàn)有技術(shù)相比至少具有如下優(yōu)點(diǎn)：

25、在本公開實(shí)施例中，獲取同一障礙物對應(yīng)的環(huán)視圖像及點(diǎn)云數(shù)據(jù)，并基于點(diǎn)云數(shù)據(jù)以及對應(yīng)三維空間中預(yù)設(shè)的體素，確定障礙物在每個體素中對應(yīng)的障礙物真實(shí)特征，以及將環(huán)視圖像輸入待訓(xùn)練的初始模型，得到障礙物對應(yīng)的障礙物預(yù)測特征，進(jìn)而根據(jù)障礙物對應(yīng)的障礙物真實(shí)特征和障礙物預(yù)測特征對初始模型進(jìn)行訓(xùn)練，得到障礙物特征識別模型。采用上述技術(shù)方案，利用初始模型對環(huán)視圖像進(jìn)行障礙物特征預(yù)測，并利用基于點(diǎn)云數(shù)據(jù)確定的障礙物真實(shí)特征作為訓(xùn)練目標(biāo)，對初始模型進(jìn)行訓(xùn)練以得到障礙物特征識別模型，使得訓(xùn)練后的模型能夠從環(huán)視圖像中學(xué)習(xí)到準(zhǔn)確的障礙物特征，提高障礙物特征識別模型對障礙物的3d特征的識別準(zhǔn)確度，從而有利于提高障礙物識別的準(zhǔn)確率。

技術(shù)特征：

1.一種障礙物特征識別模型的訓(xùn)練方法，其特征在于，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述障礙物真實(shí)特征包括體素占用真實(shí)信息，所述障礙物特征預(yù)測網(wǎng)絡(luò)包括體素占用預(yù)測網(wǎng)絡(luò)；

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述障礙物真實(shí)特征還包括體素對應(yīng)的體素位置真實(shí)信息及體素尺寸真實(shí)信息，所述障礙物特征預(yù)測網(wǎng)絡(luò)還包括體素位置預(yù)測網(wǎng)絡(luò)和體素尺寸預(yù)測網(wǎng)絡(luò)；

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述障礙物對應(yīng)的所述障礙物真實(shí)特征和所述障礙物預(yù)測特征對所述初始模型進(jìn)行訓(xùn)練，包括：

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其特征在于，所述基于所述點(diǎn)云數(shù)據(jù)，以及對應(yīng)三維空間中預(yù)設(shè)的體素，確定所述障礙物在每個體素中對應(yīng)的障礙物真實(shí)特征，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)所述多個體素中每個體素包含的所述點(diǎn)云數(shù)據(jù)，利用體素內(nèi)點(diǎn)云的關(guān)鍵點(diǎn)及點(diǎn)云的外接圖形生成所述障礙物在每個體素中對應(yīng)的障礙物真實(shí)特征，包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述位置確定規(guī)則，包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述位置確定規(guī)則，包括：

9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述利用所述非空體素中的至少一個點(diǎn)對應(yīng)的外接圖形，確定所述非空體素的體素尺寸真實(shí)信息，包括：

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述方法還包括：

11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述根據(jù)所述最小外接長方體的長寬高，確定所述非空體素的體素尺寸真實(shí)信息，包括：

12.一種障礙物特征的獲取方法，其特征在于，所述方法包括：

13.一種障礙物特征識別模型的訓(xùn)練裝置，其特征在于，所述裝置包括：

14.一種障礙物特征的獲取裝置，其特征在于，所述裝置包括：

15.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：處理器和存儲器；

16.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲程序或指令，所述程序或指令使計(jì)算機(jī)執(zhí)行如權(quán)利要求1至11任一項(xiàng)所述的障礙物特征識別模型的訓(xùn)練方法，或者，執(zhí)行如權(quán)利要求12所述的障礙物特征的獲取方法。

技術(shù)總結(jié)
本公開涉及一種障礙物特征識別模型的訓(xùn)練方法、裝置、設(shè)備及存儲介質(zhì)，其中，所述方法包括：獲取同一障礙物對應(yīng)的環(huán)視圖像及點(diǎn)云數(shù)據(jù)；基于所述點(diǎn)云數(shù)據(jù)，以及對應(yīng)三維空間中預(yù)設(shè)的體素，確定所述障礙物在每個體素中對應(yīng)的障礙物真實(shí)特征；將所述環(huán)視圖像輸入待訓(xùn)練的初始模型，得到所述障礙物對應(yīng)的障礙物預(yù)測特征，所述初始模型包括特征提取網(wǎng)絡(luò)、特征轉(zhuǎn)換網(wǎng)絡(luò)和障礙物特征預(yù)測網(wǎng)絡(luò)；根據(jù)所述障礙物對應(yīng)的所述障礙物真實(shí)特征和所述障礙物預(yù)測特征對所述初始模型進(jìn)行訓(xùn)練，得到障礙物特征識別模型。采用上述技術(shù)方案，使得訓(xùn)練后的模型能夠從環(huán)視圖像中學(xué)習(xí)到準(zhǔn)確的障礙物特征，提高障礙物特征識別模型對障礙物的3D特征的識別準(zhǔn)確度，從而有利于提高障礙物識別的準(zhǔn)確率。

技術(shù)研發(fā)人員：伍俊杰,王東偉
受保護(hù)的技術(shù)使用者：北京羅克維爾斯科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10