本發(fā)明涉及泊車相關(guān)的,具體涉及一種車輛在線建圖方法、系統(tǒng)、存儲(chǔ)介質(zhì)及車輛。
背景技術(shù):
1、現(xiàn)有的停車場(chǎng)高精地圖通常以離線的方式構(gòu)建,即利用地圖采集車的車載傳感器(激光雷達(dá)、相機(jī)、慣導(dǎo)傳感器等)進(jìn)行場(chǎng)景數(shù)據(jù)采集,然后通過(guò)自動(dòng)化和人工相結(jié)合的方式對(duì)數(shù)據(jù)進(jìn)行處理和矢量化語(yǔ)義標(biāo)注?;蛘咴诳尚旭倕^(qū)域內(nèi)通過(guò)智能駕駛車端傳感器(相機(jī)或激光雷達(dá))采用即時(shí)定位與地圖構(gòu)建(simultaneous?localization?and?mapping,slam)方式構(gòu)建離線地圖。
2、但是現(xiàn)有的這種離線建圖方案存在諸多不足之處:
3、對(duì)數(shù)據(jù)進(jìn)行采集、處理和標(biāo)注都需要耗費(fèi)大量的人力和時(shí)間成本,且流程繁瑣;同時(shí),slam離線建圖方案,需要車輛再次駛?cè)肽繕?biāo)區(qū)域內(nèi)才能完成自主泊車,其時(shí)效性較差,很難覆蓋到車輛初次駛?cè)氲耐\噲?chǎng)場(chǎng)景。
4、同時(shí),由于道路信息會(huì)動(dòng)態(tài)變化,且離線構(gòu)建的地圖時(shí)效性差,需要高頻更新來(lái)保證地圖的準(zhǔn)確性;當(dāng)拓展到大規(guī)模大范圍的高精地圖應(yīng)用時(shí),離線建圖在人力、時(shí)間和維護(hù)成本上需要花費(fèi)很大。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明所要解決的技術(shù)問(wèn)題在于,提供一種車輛在線建圖方法、系統(tǒng)、存儲(chǔ)介質(zhì)及車輛??梢詫?shí)現(xiàn)對(duì)停車場(chǎng)等場(chǎng)所進(jìn)行實(shí)時(shí)在線建圖,能提高車輛在可通行區(qū)域內(nèi)自主泊車的能力,且具有成本低、效率高及拓展性強(qiáng)的優(yōu)點(diǎn)。
2、為解決上述技術(shù)問(wèn)題,作為本發(fā)明的一方面,提供一種車輛在線建圖方法,其至少包括如下步驟:
3、獲取車輛的環(huán)視相機(jī)數(shù)據(jù)和車輛所在環(huán)境的導(dǎo)航地圖;
4、將所述環(huán)視相機(jī)數(shù)據(jù)和所述導(dǎo)航地圖輸入預(yù)先訓(xùn)練好的建圖模型,得到地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置;
5、根據(jù)不同車輛所獲得的地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置,進(jìn)行多旅程路網(wǎng)拓?fù)潢P(guān)聯(lián)處理,實(shí)時(shí)構(gòu)建所述所在環(huán)境的車道級(jí)路網(wǎng)的矢量地圖;
6、其中,所述預(yù)先訓(xùn)練好的建圖模型用于執(zhí)行如下處理:
7、對(duì)所述環(huán)視相機(jī)數(shù)據(jù)進(jìn)行時(shí)空融合處理,獲得車輛所在環(huán)境的地面鳥(niǎo)瞰圖;
8、對(duì)所述地面鳥(niǎo)瞰圖進(jìn)行特征提取,獲得所述所在環(huán)境的地圖語(yǔ)義要素,并將所述地圖語(yǔ)義要素進(jìn)行分類離散化表達(dá),得到地圖語(yǔ)義要素的幾何結(jié)構(gòu);
9、根據(jù)所述地圖語(yǔ)義要素的幾何結(jié)構(gòu)進(jìn)行語(yǔ)義實(shí)例匹配或節(jié)點(diǎn)匹配,結(jié)合所述導(dǎo)航地圖中道路級(jí)屬性信息和拓?fù)潢P(guān)系,獲得地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置。
10、其中,所述對(duì)所述地面鳥(niǎo)瞰圖進(jìn)行特征提取,獲得所述所在環(huán)境的地圖語(yǔ)義要素,并將所述地圖語(yǔ)義要素進(jìn)行分類離散化表達(dá),得到地圖語(yǔ)義要素的幾何結(jié)構(gòu),進(jìn)一步包括:
11、對(duì)所述地面鳥(niǎo)瞰圖進(jìn)行語(yǔ)義特征檢測(cè),并進(jìn)行分割提取出地圖語(yǔ)義要素,其中,所述地圖語(yǔ)義要素至少包括:道路、車道線、停車位線、地面箭頭、斑馬線、停止線;
12、將所述地圖語(yǔ)義元素進(jìn)行分類離散化表達(dá);將斑馬線、停車位線、交通標(biāo)識(shí)離散化以多邊形表示;將粗道路標(biāo)線離散化以多條線段或一條線段表示;將連續(xù)道路、車道標(biāo)線離散化以多條線段表示;
13、對(duì)所述離散化的地圖語(yǔ)義要素進(jìn)行等間隔采樣,將每個(gè)地圖語(yǔ)義元素按照排列組合的方式拆分成不同的節(jié)點(diǎn),并且按照拓?fù)浣Y(jié)構(gòu)描述節(jié)點(diǎn)之間的連接關(guān)系、排列方式,從而獲得地圖語(yǔ)義要素的幾何結(jié)構(gòu);其中,所述拓?fù)浣Y(jié)構(gòu)為線與線要素之間的相離、相鄰、相交和重合的空間關(guān)系。
14、其中,所述根據(jù)所述地圖語(yǔ)義要素的幾何結(jié)構(gòu)進(jìn)行語(yǔ)義實(shí)例匹配或節(jié)點(diǎn)匹配,并結(jié)合導(dǎo)航地圖中道路級(jí)屬性信息和拓?fù)潢P(guān)系,獲得地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置,進(jìn)一步包括:
15、對(duì)于多邊形表示的要素,將多邊形中的每個(gè)段與所述地面鳥(niǎo)瞰圖上的語(yǔ)義實(shí)例的輪廓像素進(jìn)行匹配;
16、對(duì)于多線段或一條線段表示的要素,進(jìn)行節(jié)點(diǎn)匹配,對(duì)于其中每一個(gè)地圖語(yǔ)義要素,從等效排列集合中找到最優(yōu)的排列,使得預(yù)測(cè)的節(jié)點(diǎn)和真實(shí)的節(jié)點(diǎn)一一對(duì)應(yīng)且點(diǎn)對(duì)之間的距離之和最??;
17、獲得導(dǎo)航地圖中道路級(jí)別精度的屬性信息和拓?fù)潢P(guān)系,所述屬性信息包括道路的曲率、坡度信息、車道線的數(shù)量以及寬度;所述拓?fù)潢P(guān)系至少包括:拓?fù)溥B接關(guān)系;
18、通過(guò)嵌入操作將所述屬性信息和拓?fù)潢P(guān)系與對(duì)所述地面鳥(niǎo)瞰圖進(jìn)行特征提取獲得的圖像特征信息統(tǒng)一到一個(gè)特征向量空間;
19、根據(jù)匹配的結(jié)果對(duì)地圖語(yǔ)義要素的類別預(yù)測(cè)、位置關(guān)系、方向一致性進(jìn)行約束,輸出地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置。
20、其中,所述根據(jù)不同車輛獲得的地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置,進(jìn)行多旅程路網(wǎng)拓?fù)潢P(guān)聯(lián)處理,實(shí)時(shí)構(gòu)建所述所在環(huán)境的車道級(jí)路網(wǎng)的矢量地圖并輸出,進(jìn)一步包括:
21、基于不同的車輛對(duì)所述所在環(huán)境不同空間角度和時(shí)間所觀測(cè)獲得的地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置,將多段旅程軌跡按照同一套規(guī)格的拓?fù)浣Y(jié)構(gòu)描述節(jié)點(diǎn)之間的連接關(guān)系、排列方式關(guān)聯(lián)起來(lái),形成車道級(jí)的道路路網(wǎng),獲得所述停車場(chǎng)的矢量地圖并輸出。
22、其中,所述對(duì)所述環(huán)視相機(jī)數(shù)據(jù)進(jìn)行時(shí)空融合處理,獲得車輛所在環(huán)境的地面鳥(niǎo)瞰圖,進(jìn)一步包括:
23、將所述環(huán)視相機(jī)數(shù)據(jù)映射到統(tǒng)一的車輛坐標(biāo)系中,融合形成所述所在環(huán)境的地面鳥(niǎo)瞰圖,并標(biāo)注時(shí)間信息。
24、其中,進(jìn)一步包括:
25、獲取初始建圖模型;
26、建立如下的損失函數(shù):
27、l=a*l1+b*l2+c*l3+d*l4
28、其中a、b、c、d是平衡不同損失項(xiàng)的權(quán)重,l1為分類損失函數(shù),l2為距離損失函數(shù),l3為方向損失函數(shù),l4為拓?fù)湎嗨菩該p失函數(shù);所述拓?fù)湎嗨菩該p失函數(shù)用于計(jì)算預(yù)測(cè)線群和真值線群所包含的拓?fù)潢P(guān)系的統(tǒng)計(jì)均值差異;
29、向所述初始建圖網(wǎng)絡(luò)模型輸入環(huán)視圖像樣本,通過(guò)損失函數(shù)使網(wǎng)絡(luò)的輸出與預(yù)期值相符,獲取所述初始建圖模型中的最優(yōu)權(quán)重參數(shù),從而獲得訓(xùn)練好的建圖模型。
30、相應(yīng)地,本發(fā)明的另一方面,還提供一種車輛在線建圖方法,其特征在于,包括如下步驟:
31、在導(dǎo)航地圖中根據(jù)停車場(chǎng)入口確定目標(biāo)停車區(qū)域;
32、在確定所述車輛進(jìn)入所述目標(biāo)停車區(qū)域后,檢測(cè)可行駛區(qū)域是否存在離線的高精度地圖,若可行駛區(qū)域不存在地圖,則采用如前述的方法實(shí)時(shí)形成在線矢量地圖,供泊車規(guī)劃使用;
33、若可行駛區(qū)域存在高精地圖,則采用如前述的方法實(shí)時(shí)形成在線矢量地圖,并將實(shí)時(shí)獲得的在線矢量地圖與離線的高精度地圖投影到同一個(gè)坐標(biāo)系下進(jìn)行融合,獲得實(shí)時(shí)的最新的矢量地圖,供泊車規(guī)劃使用。
34、相應(yīng)地,本發(fā)明的再一方面,還提供一種車輛在線建圖系統(tǒng),其包括:
35、初始數(shù)據(jù)獲取單元,用于獲取車輛的環(huán)視相機(jī)數(shù)據(jù)和車輛所在環(huán)境的導(dǎo)航地圖,
36、模型處理單元,用于將所述環(huán)視相機(jī)數(shù)據(jù)和所述導(dǎo)航地圖輸入預(yù)先訓(xùn)練好的建圖模型,得到地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置;
37、矢量地圖獲取單元,根據(jù)不同車輛所獲得的地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置,進(jìn)行多旅程路網(wǎng)拓?fù)潢P(guān)聯(lián)處理,實(shí)時(shí)構(gòu)建所述所在環(huán)境的車道級(jí)路網(wǎng)的矢量地圖;
38、其中,所述模型處理單元進(jìn)一步包括:
39、預(yù)處理模塊,用于對(duì)所述環(huán)視相機(jī)數(shù)據(jù)進(jìn)行時(shí)空融合處理,獲得車輛所在環(huán)境的地面鳥(niǎo)瞰圖;
40、特征提取模塊,用于對(duì)所述地面鳥(niǎo)瞰圖進(jìn)行特征提取,獲得所述所在環(huán)境的地圖語(yǔ)義要素,并將所述地圖語(yǔ)義要素進(jìn)行分類離散化表達(dá)得到地圖語(yǔ)義要素的幾何結(jié)構(gòu);
41、匹配模塊,用于根據(jù)所述地圖語(yǔ)義要素的幾何結(jié)構(gòu)進(jìn)行語(yǔ)義實(shí)例匹配或節(jié)點(diǎn)匹配,結(jié)合所述導(dǎo)航地圖中道路級(jí)屬性信息和拓?fù)潢P(guān)系,獲得地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置。
42、相應(yīng)地,本發(fā)明的再一方面,還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其上存儲(chǔ)有計(jì)算機(jī)程序,所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前述的方法的步驟。
43、相應(yīng)的,本發(fā)明的又一方面,還提供一種計(jì)算裝置,包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序,其特征在于,所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如前述方法的步驟。
44、相應(yīng)地,本發(fā)明的另一方面,還提供一種車輛,其上部署有如前述的車輛在線建圖的系統(tǒng)。
45、實(shí)施本發(fā)明實(shí)施例,具有如下的有益效果:
46、本發(fā)明提供一種車輛在線建圖方法、系統(tǒng)、存儲(chǔ)介質(zhì)及車輛。通過(guò)獲取車輛環(huán)視魚(yú)眼相機(jī)數(shù)據(jù),并結(jié)合低精度道路級(jí)的導(dǎo)航地圖數(shù)據(jù),可以輸出地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置,實(shí)時(shí)構(gòu)建車道級(jí)路網(wǎng),實(shí)現(xiàn)車輛在線實(shí)時(shí)生成矢量地圖。本發(fā)明中,對(duì)地圖語(yǔ)義要素分類別進(jìn)行幾何表示,并根據(jù)類別進(jìn)行匹配得到地圖語(yǔ)義要素的語(yǔ)義類別和節(jié)點(diǎn)位置,并進(jìn)一步添加道路級(jí)屬性信息和拓?fù)潢P(guān)系到網(wǎng)絡(luò)中,利用網(wǎng)絡(luò)結(jié)構(gòu)將這些特征信息進(jìn)行交互得到更準(zhǔn)確的位置信息以及更多的高精度地圖元素輸出,實(shí)現(xiàn)車輛在線實(shí)時(shí)生成矢量地圖。
47、本發(fā)明可用于諸如停車場(chǎng)等地圖無(wú)法完全覆蓋的區(qū)域中,通過(guò)車輛實(shí)時(shí)在線構(gòu)建矢量地圖,更靈活的解決車輛在可通行區(qū)域內(nèi)自主泊車的能力,優(yōu)化了自主泊車地圖與定位技術(shù)方案,靈活性更強(qiáng),且無(wú)需用戶繁雜的操作,提升自主泊車用戶使用體驗(yàn)感。
48、本發(fā)明提供的在線建圖方法,無(wú)需人工處理、標(biāo)注和維護(hù),相比傳統(tǒng)的離線建圖方式,具有成本低、拓展性強(qiáng)、易用性強(qiáng)以及效率高的優(yōu)點(diǎn),無(wú)需額外增加硬件成本。