本發(fā)明屬于自動(dòng)駕駛，具體涉及一種應(yīng)用于自動(dòng)駕駛的協(xié)同置信度融合感知方法。

背景技術(shù)：

1、隨著我國(guó)國(guó)內(nèi)國(guó)際市場(chǎng)雙循環(huán)產(chǎn)生新的機(jī)會(huì)與挑戰(zhàn)，中國(guó)已經(jīng)成為全球最大的汽車市場(chǎng)。電動(dòng)化、智能化持續(xù)發(fā)展不斷推動(dòng)著供給與需求循環(huán)增長(zhǎng)，網(wǎng)聯(lián)化、共享化的飛速進(jìn)步也逐漸鋪開了中國(guó)汽車行業(yè)的宏偉藍(lán)圖，其中自動(dòng)駕駛順應(yīng)時(shí)代浪潮。而感知作為自動(dòng)駕駛極其重要的上游條件之一，也順勢(shì)得到飛速的發(fā)展，但與“無人監(jiān)督”級(jí)別的自動(dòng)駕駛?cè)未嬖谝欢ú罹?，感知的魯棒性、?zhǔn)確性、時(shí)效性未能達(dá)到高級(jí)別自動(dòng)駕駛需求正是導(dǎo)致差距的關(guān)鍵原因之一。

2、現(xiàn)階段在單車感知的基礎(chǔ)上已經(jīng)做了很多的工作，多樣的自動(dòng)駕駛傳感器布置、高效的技術(shù)路線層出不窮，但單車感知存在一個(gè)致命缺陷就是感知范圍有限，且存在視野遮擋、傳感器特定環(huán)境失效等無法避免的情況，為了解決這些問題和應(yīng)對(duì)此類場(chǎng)合，車端需要不同視角、不同區(qū)域的智能感知體，比如路端智能感知體、他車智能感知體與自車進(jìn)行協(xié)同感知。

3、協(xié)同感知的本質(zhì)是不同智能感知體的融合感知，融合感知主流的技術(shù)方案是特征級(jí)融合，該方案存在不同智能感知體的特征類型不同(視覺特征、bev特征、稀疏查詢)的問題，這會(huì)導(dǎo)致不同類型的特征在未訓(xùn)練學(xué)習(xí)過的框架模型很難起效果，甚至?xí)档蜋z測(cè)效果。為了避免該問題，領(lǐng)域內(nèi)主要的解決思路是統(tǒng)一特征形式，現(xiàn)有的車路協(xié)同感知方案大都基于bev特征形式融合多模態(tài)特征，而bev特征需要準(zhǔn)確的坐標(biāo)位置，這使得擅長(zhǎng)語(yǔ)義理解但不擅長(zhǎng)深度理解的視覺圖片難以在框架內(nèi)部充分展現(xiàn)它的效果，導(dǎo)致語(yǔ)義特征的損失，即視覺圖片的能力弱化。

4、現(xiàn)有的主流協(xié)同感知算法是將特征統(tǒng)一到bev特征形式，這是因?yàn)榧す饫走_(dá)點(diǎn)云的體素在bev特征形式下能高準(zhǔn)確性的檢測(cè)出三維目標(biāo)框，但是這會(huì)導(dǎo)致視覺圖片的語(yǔ)義特征丟失。考慮到此類問題，跳過黑箱模型，不同的智能體不同數(shù)據(jù)類型采用專項(xiàng)化訓(xùn)練的模型網(wǎng)絡(luò)結(jié)構(gòu)以及特征形式，直接進(jìn)行結(jié)果級(jí)融合實(shí)現(xiàn)協(xié)同感知，但結(jié)果級(jí)融合一個(gè)核心問題在于，如何合理的評(píng)估不同智能感知體感知結(jié)果的置信度。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明所為了解決背景技術(shù)中存在的技術(shù)問題，目的在于提供了一種應(yīng)用于自動(dòng)駕駛的協(xié)同置信度融合感知方法。

2、為了解決技術(shù)問題，本發(fā)明的技術(shù)方案是：

3、s1：對(duì)獲取的多個(gè)原始智能感知體的三維目標(biāo)檢測(cè)結(jié)果進(jìn)行時(shí)間對(duì)齊處理，得到時(shí)間對(duì)齊后的智能感知體的檢測(cè)結(jié)果；

4、這一步驟是在多個(gè)感知體之間進(jìn)行時(shí)間同步，以確保來自不同傳感器的檢測(cè)結(jié)果可以在同一時(shí)間點(diǎn)上進(jìn)行比較和融合，為后續(xù)處理打下基礎(chǔ)。

5、s2：利用所述時(shí)間對(duì)齊后的三維目標(biāo)檢測(cè)結(jié)果評(píng)估每個(gè)智能感知體的環(huán)境感知能力，并對(duì)其檢測(cè)結(jié)果的置信度進(jìn)行局部修正，得到修正后的檢測(cè)結(jié)果及置信度；在這一步驟中，通過分析時(shí)間對(duì)齊后的結(jié)果，可以評(píng)估每個(gè)感知體的性能，利用該評(píng)估結(jié)果對(duì)檢測(cè)結(jié)果的置信度進(jìn)行局部修正，確保每個(gè)智能感知體的檢測(cè)結(jié)果更為可靠。

6、s3：基于修正后的檢測(cè)結(jié)果及置信度、離線地圖及智能感知體的坐標(biāo)，構(gòu)建鳥瞰視角bev空間置信度圖，為每個(gè)區(qū)域生成相應(yīng)的置信度信息；根據(jù)所述空間置信度圖和其他時(shí)間對(duì)齊后的智能感知體的檢測(cè)結(jié)果，對(duì)單個(gè)智能感知體的檢測(cè)結(jié)果進(jìn)行全局置信度修正，得到全局修正后的檢測(cè)結(jié)果及置信度；

7、此步驟中，通過將檢測(cè)結(jié)果與環(huán)境靜態(tài)信息(如離線地圖)結(jié)合，構(gòu)建空間置信度圖。根據(jù)這個(gè)置信度圖和其他感知體的結(jié)果，進(jìn)行全局置信度修正，從而得到更全面和可靠的檢測(cè)結(jié)果。

8、s4：對(duì)于重疊的檢測(cè)框，利用交并比iou評(píng)估重疊程度，聚合相近的目標(biāo)框，并使用溫度調(diào)節(jié)的softmax方法對(duì)所述全局修正后的檢測(cè)結(jié)果置信度進(jìn)行融合，得到最終的檢測(cè)框和置信度。

9、在這一步驟中，通過評(píng)估重疊框的情況，合并相似框，并對(duì)融合的置信度進(jìn)行處理，以生成最終的、優(yōu)化后的檢測(cè)框及其置信度。溫度調(diào)節(jié)的softmax方法有助于權(quán)衡各個(gè)框的貢獻(xiàn)，得到更平滑、合理的最終置信度值。

10、得到最終的檢測(cè)框和置信度后，系統(tǒng)可以依據(jù)這些信息進(jìn)行目標(biāo)跟蹤、決策、數(shù)據(jù)記錄和展示等一系列后續(xù)步驟，這些步驟能繼續(xù)推動(dòng)系統(tǒng)的目標(biāo)管理與環(huán)境交互。

11、進(jìn)一步，所述步驟s1包括：

12、采用線性插值的方法來對(duì)齊不同時(shí)間戳的三維檢測(cè)結(jié)果，以下是使用線性插值進(jìn)行時(shí)間對(duì)齊的過程，這種方法可以簡(jiǎn)化復(fù)雜的運(yùn)動(dòng)模式：

13、

14、是該感知智能體在時(shí)間戳t2的三維目標(biāo)檢測(cè)結(jié)果；

15、是該感知智能體在時(shí)間戳t1的三維目標(biāo)檢測(cè)結(jié)果；

16、rt是該感知智能體經(jīng)過時(shí)間對(duì)齊到時(shí)間戳t的三維目標(biāo)檢測(cè)結(jié)果，t2<t1<t；

17、線性插值法通過時(shí)間權(quán)重系數(shù)乘t1、t2兩個(gè)時(shí)間戳的檢測(cè)結(jié)果差對(duì)t時(shí)間戳的檢測(cè)結(jié)果進(jìn)行時(shí)間補(bǔ)償，從而獲得補(bǔ)償后t時(shí)間戳的檢測(cè)結(jié)果，該方法假設(shè)物體在t2、t1、t時(shí)間之間的運(yùn)動(dòng)是線性的，在感知結(jié)果更新頻率越快該方法的對(duì)齊效果越好。

18、進(jìn)一步，所述步驟s2具體包括：

19、在對(duì)每個(gè)智能感知體的三維檢測(cè)結(jié)果進(jìn)行置信度修正前，需要先對(duì)每個(gè)智能體的環(huán)境感知能力進(jìn)行評(píng)估：

20、ab＝f(e,m,s)

21、其中環(huán)境感知能力ab∈[0,1)，環(huán)境參數(shù)為e，感知模型為m，傳感器配置為s；

22、由n個(gè)智能感知體檢測(cè)得到的n組三維目標(biāo)框，內(nèi)部一般都會(huì)存在多個(gè)三維目標(biāo)框，為了削弱感知能力較差但過于自信的智能感知，增強(qiáng)感知能力強(qiáng)但相對(duì)保守的智能感知體，需要對(duì)n組三維目標(biāo)框分別進(jìn)行置信度局部修正，以達(dá)到匹配整個(gè)協(xié)同系統(tǒng)的感知的效果：

23、

24、其中局部修正后的單個(gè)置信度ci′∈[0,1)，局部修正前的單個(gè)置信度ci∈[0,1)，局部修正前的單個(gè)智能感知體的三維目標(biāo)框組置信度最小值cmin、最大值cmax。

25、進(jìn)一步，所述步驟s3具體包括：

26、路測(cè)的協(xié)同感知系統(tǒng)需要根據(jù)離線地圖以及各個(gè)智能感知體的坐標(biāo)構(gòu)建bev空間置信度圖，對(duì)每個(gè)智能感知體進(jìn)行區(qū)域置信度調(diào)整，對(duì)智能感知體的檢測(cè)結(jié)果進(jìn)行一個(gè)客觀評(píng)估，對(duì)一些檢測(cè)存在困難的智能感知體檢測(cè)出來的結(jié)果進(jìn)行全局修正、清除；

27、被檢測(cè)出來的三維目標(biāo)框處于該智能感知體的那一部分區(qū)域，該智能感知體對(duì)于這片區(qū)域是否存在中途遮擋，根據(jù)此對(duì)智能感知體在該區(qū)域檢測(cè)結(jié)果的置信度進(jìn)行修正，在a、b和c智能感知體的協(xié)同關(guān)系中，即為對(duì)于c目標(biāo)檢測(cè)物檢測(cè)結(jié)果進(jìn)行全局修正的參數(shù)。

28、進(jìn)一步，所述步驟s4具體包括：

29、為了得到更為準(zhǔn)確和一致的檢測(cè)結(jié)果，使用交并比iou來衡量不同感知體檢測(cè)結(jié)果的重疊程度，當(dāng)多個(gè)智能感知體的檢測(cè)結(jié)果在該三位目標(biāo)框內(nèi)重疊較多即iou值較高，認(rèn)為這些檢測(cè)區(qū)域代表的是同一個(gè)目標(biāo)物體，具體計(jì)算公式如下：

30、

31、其中，a為智能感知體的某個(gè)檢測(cè)目標(biāo)框，b為另一智能感知體的某個(gè)檢測(cè)目標(biāo)框，單個(gè)智能感知體的多個(gè)檢測(cè)目標(biāo)框聚合由智能感知體自身內(nèi)部完成計(jì)算，本方法計(jì)算的是多個(gè)智能感知體的三維目標(biāo)檢測(cè)結(jié)果之間的目標(biāo)框聚合情況；

32、然后將這些重疊區(qū)域進(jìn)行聚合，利用修正后的置信度概率系數(shù)進(jìn)行三維目標(biāo)框的融合，得到一個(gè)更為準(zhǔn)確的檢測(cè)結(jié)果，采用的方法是softmax函數(shù)的變種：溫度調(diào)節(jié)的softmax，在溫度參數(shù)在0.2的時(shí)候，增強(qiáng)高置信度(>0.5)結(jié)果的影響，同時(shí)抑制低置信度(<＝0.5)結(jié)果的影響，具體公式說明如下：

33、

34、其中，t為溫度參數(shù)，t∈(0,∞)；通過調(diào)節(jié)溫度t，可以控制權(quán)重的稀疏性，通過調(diào)節(jié)t＝0.20，以達(dá)到一個(gè)增強(qiáng)高置信度結(jié)果的效果，削弱低置信度結(jié)果的效果。

35、一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述中任一項(xiàng)所述的一種應(yīng)用于自動(dòng)駕駛的協(xié)同置信度融合感知方法。

36、一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述中任一項(xiàng)所述的一種應(yīng)用于自動(dòng)駕駛的協(xié)同置信度融合感知方法。

37、與現(xiàn)有技術(shù)相比，本發(fā)明的優(yōu)點(diǎn)在于：

38、本發(fā)明消除了不同智能體之間的模型差異，不同模態(tài)傳感器數(shù)據(jù)的擅長(zhǎng)他，避免了為了實(shí)現(xiàn)特征統(tǒng)一而強(qiáng)行將不擅長(zhǎng)提取bev特征的視覺圖片轉(zhuǎn)換為bev特征的操作，在充分發(fā)揮不同模態(tài)數(shù)據(jù)特征優(yōu)勢(shì)、特定模型擅長(zhǎng)學(xué)習(xí)適應(yīng)于該模型的特征的優(yōu)勢(shì)以及協(xié)同感知的系統(tǒng)性調(diào)整優(yōu)勢(shì)的基礎(chǔ)下，實(shí)現(xiàn)更好得協(xié)同感知效果。