本技術(shù)涉及車輛導(dǎo)航，特別是涉及一種ar-hud導(dǎo)航引導(dǎo)線生成方法及相關(guān)裝置。

背景技術(shù)：

1、增強(qiáng)現(xiàn)實(shí)(augmented?reality,ar)技術(shù)，是將計(jì)算機(jī)生成的虛擬信息疊加到用戶周圍的真實(shí)環(huán)境中，使用戶從感官效果上確信虛擬環(huán)境是其周圍真實(shí)環(huán)境的組成部分的技術(shù)。抬頭顯示(head-up?display,hud)技術(shù)是一種可以將重要信息(如車速、導(dǎo)航信息、安全警告等)直接投射到駕駛員視線前方的透明顯示屏或擋風(fēng)玻璃上的技術(shù)。應(yīng)用hud，駕駛員在駕駛過(guò)程中無(wú)需低頭查看儀表板或?qū)Ш狡聊?，就能?shí)時(shí)獲取所需信息，從而提高了駕駛的安全性和便利性。hud中文也可以翻譯為“平視顯示器”或者“抬頭顯示系統(tǒng)”。

2、增強(qiáng)現(xiàn)實(shí)型抬頭顯示(augmented?reality?head-up?display,ar-hud)技術(shù)是ar技術(shù)和hud技術(shù)的結(jié)合。ar-hud利用ar的成像技術(shù)，在駕駛員看到的真實(shí)場(chǎng)景中覆蓋數(shù)字圖像，使得hud投影出來(lái)的信息與真實(shí)的車外環(huán)境融為一體。ar-hud的基本原理與hud相似，即投影儀發(fā)出的光信息，經(jīng)過(guò)一系列的折射、反射等投影到擋風(fēng)玻璃上，人眼就能看到投射在上面的信息，感覺信息就像懸浮在前方一樣。但ar-hud通過(guò)更復(fù)雜的光學(xué)系統(tǒng)和算法，實(shí)現(xiàn)了將虛擬信息與真實(shí)環(huán)境的高度融合。目前，ar-hud已經(jīng)在多種車型上實(shí)現(xiàn)量產(chǎn)。隨著技術(shù)的不斷成熟和成本的降低，ar-hud有望在未來(lái)成為智能座艙的重要組成部分。

3、現(xiàn)有技術(shù)中，可以通過(guò)運(yùn)用ar-hud技術(shù)投影出導(dǎo)航引導(dǎo)線。作為示例，導(dǎo)航引導(dǎo)線可以是具有方向?qū)傩缘膯蜗蚣^的形式。導(dǎo)航引導(dǎo)線的顯示，引導(dǎo)駕駛員根據(jù)導(dǎo)航路徑駕駛其車輛駛?cè)虢ㄗh的車道。但是目前實(shí)際應(yīng)用中，存在ar-hud導(dǎo)航引導(dǎo)線與實(shí)景不貼合的問(wèn)題。圖1展示了當(dāng)前技術(shù)運(yùn)用ar-hud在實(shí)景中投影的導(dǎo)航引導(dǎo)線的效果。其中，綠色的箭頭表示導(dǎo)航引導(dǎo)線，根據(jù)圖1所示，當(dāng)前導(dǎo)航引導(dǎo)線的含義是建議駕駛員朝著右前方行駛，進(jìn)入匝道。但是結(jié)合圖1可以看出，導(dǎo)航引導(dǎo)線指向了右前方匝道的車道線邊緣位置，導(dǎo)致導(dǎo)航引導(dǎo)線與實(shí)景不貼合，視覺效果不佳。若駕駛員參照導(dǎo)航引導(dǎo)線駕駛，駕駛判斷很可能收到與實(shí)景不貼合的導(dǎo)航引導(dǎo)線的影響，容易駛?cè)脲e(cuò)誤的車道或者與其他障礙物相撞，造成道路交通安全問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、基于上述問(wèn)題，本技術(shù)提供了一種ar-hud導(dǎo)航引導(dǎo)線生成方法及相關(guān)裝置，目的是生成貼合實(shí)景的導(dǎo)航引導(dǎo)線，改善ar-hud展示的導(dǎo)航引導(dǎo)線的視覺效果，提高導(dǎo)航引導(dǎo)線對(duì)駕駛員駕駛引導(dǎo)的有效性和安全性。

2、本技術(shù)實(shí)施例公開了如下技術(shù)方案：

3、本技術(shù)第一方面提供了一種ar-hud導(dǎo)航引導(dǎo)線生成方法，該方法包括：

4、獲取車輛的實(shí)景圖像；

5、將所述圖像作為道路中心線信息查詢模型的輸入，由所述道路中心線信息查詢模型根據(jù)所述圖像進(jìn)行處理分析后輸出所述圖像中包含的多條道路中心線的信息；所述道路中心線的信息包括所述道路中心線上的點(diǎn)列坐標(biāo)及所述道路中心線的逐向?qū)Ш絫bt方向信息；

6、根據(jù)所述車輛的導(dǎo)航信息以及所述多條道路中心線的信息，從所述多條道路中心線中確定出與所述導(dǎo)航信息中tbt方向信息匹配的目標(biāo)道路中心線；

7、利用所述目標(biāo)道路中心線生成ar-hud導(dǎo)航引導(dǎo)線。

8、在第一方面第一種可選實(shí)現(xiàn)方式中，所述道路中心線信息查詢模型的訓(xùn)練步驟包括：

9、從視覺感知數(shù)據(jù)集中獲取訓(xùn)練樣本并輸入至待訓(xùn)練模型；所述訓(xùn)練樣本具有對(duì)應(yīng)的標(biāo)注數(shù)據(jù)；所述訓(xùn)練樣本包括樣本車輛的環(huán)視攝像頭拍攝的樣本圖像和所述環(huán)視攝像頭的內(nèi)外參標(biāo)定數(shù)據(jù)；所述標(biāo)注數(shù)據(jù)包括所述樣本圖像所對(duì)應(yīng)的地圖數(shù)據(jù)中包含的道路交通標(biāo)線上的點(diǎn)列的實(shí)際坐標(biāo)，以及所述道路交通標(biāo)線中道路中心線的tbt方向標(biāo)注信息；所述待訓(xùn)練模型包括前后連接的圖編碼器和圖解碼器；

10、通過(guò)所述圖編碼器對(duì)訓(xùn)練樣本中的所述樣本圖像進(jìn)行特征提??；

11、根據(jù)所述圖編碼器提取的特征以及所述內(nèi)外參標(biāo)定數(shù)據(jù)進(jìn)行逆透視變換，獲得實(shí)景鳥瞰特征；

12、基于所述實(shí)景鳥瞰特征構(gòu)建線查詢向量、點(diǎn)查詢向量和tbt方向查詢向量；

13、由所述圖解碼器基于所述線查詢向量、所述點(diǎn)查詢向量和所述tbt方向查詢向量進(jìn)行學(xué)習(xí)，輸出預(yù)測(cè)結(jié)果；所述預(yù)測(cè)結(jié)果包括第一預(yù)測(cè)內(nèi)容和第二預(yù)測(cè)內(nèi)容，所述第一預(yù)測(cè)內(nèi)容包括道路交通標(biāo)線上的點(diǎn)列的預(yù)測(cè)坐標(biāo)，所述第二預(yù)測(cè)內(nèi)容包括道路中心線的tbt方向預(yù)測(cè)結(jié)果；

14、根據(jù)所述第一預(yù)測(cè)內(nèi)容與所述標(biāo)注數(shù)據(jù)中相應(yīng)道路交通標(biāo)線上的點(diǎn)列的實(shí)際坐標(biāo)的差距，以及所述第二預(yù)測(cè)內(nèi)容與所述標(biāo)注數(shù)據(jù)中相應(yīng)道路中心線的tbt方向標(biāo)注信息的差距，判斷當(dāng)前是否已滿足訓(xùn)練截止條件，如果是，則停止訓(xùn)練，獲得道路中心線信息查詢模型；如果否，則調(diào)整所述待訓(xùn)練模型的參數(shù)后，重復(fù)執(zhí)行所述從視覺感知數(shù)據(jù)集中獲取訓(xùn)練樣本并輸入至待訓(xùn)練模型的步驟，直至滿足所述訓(xùn)練截止條件。

15、在第一方面第一種可選實(shí)現(xiàn)方式中，所述圖解碼器包括交叉設(shè)置的l個(gè)自注意力層和l個(gè)交叉注意力層；所述l為大于1的整數(shù)；

16、所述由所述圖解碼器基于所述線查詢向量、所述點(diǎn)查詢向量和所述tbt方向查詢向量進(jìn)行學(xué)習(xí)，輸出預(yù)測(cè)結(jié)果，包括：

17、將所述線查詢向量、所述點(diǎn)查詢向量和所述tbt方向查詢向量組合為初始分層查詢表示；

18、將所述初始分層查詢表示輸入至第1個(gè)自注意力層，依次通過(guò)交叉設(shè)置的l個(gè)自注意力層和l個(gè)交叉注意力層的學(xué)習(xí)，輸出預(yù)測(cè)結(jié)果；其中第i個(gè)自注意力層輸出的學(xué)習(xí)結(jié)果作為輸入至第i個(gè)交叉注意力層的分層查詢表示，i為1～l區(qū)間內(nèi)的任一整數(shù)。

19、在第一方面第二種可選實(shí)現(xiàn)方式中，所述道路中心線信息查詢模型的訓(xùn)練步驟包括：

20、從視覺感知數(shù)據(jù)集中獲取訓(xùn)練樣本并輸入至待訓(xùn)練模型；所述訓(xùn)練樣本具有對(duì)應(yīng)的標(biāo)注數(shù)據(jù)；所述訓(xùn)練樣本包括樣本車輛的環(huán)視攝像頭拍攝的樣本圖像和所述環(huán)視攝像頭的內(nèi)外參標(biāo)定數(shù)據(jù)；所述標(biāo)注數(shù)據(jù)包括所述樣本圖像所對(duì)應(yīng)的地圖數(shù)據(jù)中包含的道路交通標(biāo)線上的點(diǎn)列的實(shí)際坐標(biāo)，以及所述道路交通標(biāo)線中道路中心線的tbt方向標(biāo)注信息；所述待訓(xùn)練模型包括前后依次連接的圖編碼器、圖解碼器和多層感知機(jī)；

21、通過(guò)所述圖編碼器對(duì)訓(xùn)練樣本中的所述樣本圖像進(jìn)行特征提??；

22、根據(jù)所述圖編碼器提取的特征以及所述內(nèi)外參標(biāo)定數(shù)據(jù)進(jìn)行逆透視變換，獲得實(shí)景鳥瞰特征；

23、基于所述實(shí)景鳥瞰特征構(gòu)建線查詢向量和點(diǎn)查詢向量；

24、由所述圖解碼器基于所述線查詢向量和所述點(diǎn)查詢向量進(jìn)行學(xué)習(xí)，得到n維的輸出結(jié)果；所述n維的輸出結(jié)果包含第一預(yù)測(cè)內(nèi)容，所述第一預(yù)測(cè)內(nèi)容包括道路交通標(biāo)線上的點(diǎn)列的預(yù)測(cè)坐標(biāo)；

25、通過(guò)所述多層感知機(jī)將所述n維的輸出結(jié)果映射為8維tbt方向預(yù)測(cè)向量；所述8維tbt方向預(yù)測(cè)向量中每一個(gè)維度對(duì)應(yīng)一種tbt方向；

26、根據(jù)所述第一預(yù)測(cè)內(nèi)容與所述標(biāo)注數(shù)據(jù)中相應(yīng)道路交通標(biāo)線上的點(diǎn)列的實(shí)際坐標(biāo)的差距，以及所述8維tbt方向預(yù)測(cè)向量與所述標(biāo)注數(shù)據(jù)中相應(yīng)道路中心線的tbt方向標(biāo)注信息的差距，判斷當(dāng)前是否已滿足訓(xùn)練截止條件，如果是，則停止訓(xùn)練，獲得道路中心線信息查詢模型；如果否，則調(diào)整所述待訓(xùn)練模型的參數(shù)后，重復(fù)執(zhí)行所述從視覺感知數(shù)據(jù)集中獲取訓(xùn)練樣本并輸入至待訓(xùn)練模型的步驟，直至滿足所述訓(xùn)練截止條件。

27、可選地，所述根據(jù)所述車輛的導(dǎo)航信息以及所述多條道路中心線的信息，從所述多條道路中心線中確定出與所述導(dǎo)航信息中tbt方向信息匹配的目標(biāo)道路中心線，包括：

28、將所述多條道路中心線中與所述導(dǎo)航信息中的tbt方向信息一致的道路中心線加入到待選道路中心線集合中；

29、若所述待選道路中心線集合中包含的道路中心線的數(shù)量大于1，則根據(jù)所述車輛當(dāng)前的行駛方向和/或所述車輛當(dāng)前的位置信息，從所述待選道路中心線集合中確定出一條目標(biāo)道路中心線。

30、可選地，所述根據(jù)所述車輛當(dāng)前的行駛方向和/或所述車輛當(dāng)前的位置信息，從所述待選道路中心線集合中確定出一條目標(biāo)道路中心線，包括：

31、將所述待選道路中心線集合中，與所述車輛當(dāng)前的行駛方向一致且距離所述車輛當(dāng)前的位置最近的一條道路中心線作為目標(biāo)道路中心線。

32、可選地，所述根據(jù)所述車輛當(dāng)前的行駛方向和/或所述車輛當(dāng)前的位置信息，從所述待選道路中心線集合中確定出一條目標(biāo)道路中心線，包括：

33、從所述待選道路中心線集合中，使表達(dá)式的計(jì)算值達(dá)到最小的一條道路中心線作為目標(biāo)道路中心線；所述表達(dá)式為：

34、||dir(argmin?d(p,pcar))-dircar||+λmin?d(p,pcar)

35、式中，所述d(p,pcar)為道路中心線上的點(diǎn)與所述車輛當(dāng)前的位置的距離；

36、所述dir(argmin?d(p,pcar))為道路中心線上使d(p,pcar)達(dá)到最小的點(diǎn)相對(duì)于所述車輛當(dāng)前的位置的方向；

37、所述dircar為所述車輛當(dāng)前的行駛方向；

38、所述min?d(p,pcar)為道路中心線上的點(diǎn)與所述車輛當(dāng)前的位置的最小距離；

39、所述λ為針對(duì)min?d(p,pcar)的配置權(quán)重。

40、本技術(shù)第二方面提供了一種ar-hud導(dǎo)航引導(dǎo)線生成裝置，該裝置包括：

41、圖像獲取模塊，用于獲取車輛的實(shí)景圖像；

42、中心線信息獲取模塊，用于將所述圖像作為道路中心線信息查詢模型的輸入，由所述道路中心線信息查詢模型根據(jù)所述圖像進(jìn)行處理分析后輸出所述圖像中包含的多條道路中心線的信息；所述道路中心線的信息包括所述道路中心線上的點(diǎn)列坐標(biāo)及所述道路中心線的逐向?qū)Ш絫bt方向信息；

43、中心線匹配模塊，用于根據(jù)所述車輛的導(dǎo)航信息以及所述多條道路中心線的信息，從所述多條道路中心線中確定出與所述導(dǎo)航信息中tbt方向信息匹配的目標(biāo)道路中心線；

44、引導(dǎo)線生成模塊，用于利用所述目標(biāo)道路中心線生成ar-hud導(dǎo)航引導(dǎo)線。

45、本技術(shù)第三方面提供了一種處理器，用于運(yùn)行計(jì)算機(jī)程序，所述程序運(yùn)行時(shí)執(zhí)行如第一方面任一實(shí)現(xiàn)方式中介紹的ar-hud導(dǎo)航引導(dǎo)線生成方法。

46、本技術(shù)第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)程序，當(dāng)所述計(jì)算機(jī)程序被處理器運(yùn)行時(shí)，實(shí)現(xiàn)如第一方面任一實(shí)現(xiàn)方式中介紹的所述的ar-hud導(dǎo)航引導(dǎo)線生成方法。

47、本技術(shù)技術(shù)方案提供了一種ar-hud導(dǎo)航引導(dǎo)線生成方法、裝置、處理器及存儲(chǔ)介質(zhì)。在ar-hud導(dǎo)航引導(dǎo)線生成方法中，首先獲取車輛的實(shí)景圖像；接著，將獲取的圖像作為道路中心線信息查詢模型的輸入，由道路中心線信息查詢模型根據(jù)圖像進(jìn)行處理分析后輸出圖像中包含的多條道路中心線的信息；其中，道路中心線的信息包括道路中心線上的點(diǎn)列坐標(biāo)及道路中心線的逐向?qū)Ш絫bt方向信息。其后，根據(jù)車輛的導(dǎo)航信息以及多條道路中心線的信息，從多條道路中心線中確定出與導(dǎo)航信息中tbt方向信息匹配的目標(biāo)道路中心線；最后，利用目標(biāo)道路中心線生成ar-hud導(dǎo)航引導(dǎo)線。道路中心線查詢模型輸出的道路中心線的信息中包含了tbt方向信息，將這些道路中心線tbt方向信息與導(dǎo)航信息中的tbt方向信息匹配，最終確定出的目標(biāo)道路中心線一方面符合實(shí)景中道路中心線的位置，另一方面能夠從位置上較好地展示導(dǎo)航引導(dǎo)作用。從而，所生成的ar-hud導(dǎo)航引導(dǎo)線與實(shí)景貼合度更高，相比于現(xiàn)有技術(shù)生成的導(dǎo)航引導(dǎo)線，對(duì)駕駛員駕駛車道、駕駛方向的引導(dǎo)效果更加準(zhǔn)確，駕駛安全性的輔助效果更明顯。