本發(fā)明屬于車路協(xié)同，具體涉及一種非理想條件下的車路協(xié)同聯合感知方法及系統(tǒng)。

背景技術：

1、隨著人工智能等前沿科技的廣泛應用，自動駕駛逐漸成為社會關注的新焦點?？焖贉蚀_的環(huán)境感知是自動駕駛汽車進行科學合理的決策與精準實時控制的必要條件，環(huán)境感知結果直接影響自動駕駛汽車對行車風險的評估。傳統(tǒng)的單車感知技術受傳感器安裝位置和布置空間的限制，導致動靜態(tài)交通要素及路況的高精準無盲區(qū)感知面臨巨大挑戰(zhàn)。車路協(xié)同感知系統(tǒng)的發(fā)展為自動駕駛汽車獲取低時延、高可靠的道路交通信息提供了很好的契機。

2、為車路協(xié)同感知系統(tǒng)中信息交互提供支持的是車用無線通信技術(vehicle?toeverything，v2x)，目前v2x的主流技術標準主要包括專用短距離通信技術(dedicatedshort?range?communications，dsrc)和基于蜂窩移動通信系統(tǒng)的c-v2x(cellular-v2x)技術。

3、現有協(xié)同感知技術大都沒有考慮現實場景，僅基于理想通信條件進行。然而現實場景下c-v2x技術存在通信帶寬、通信速率和通信距離的限制，還存在一定的通信時延。

技術實現思路

1、針對現有技術的不足，本發(fā)明的目的在于提供一種非理想條件下的車路協(xié)同聯合感知方法及系統(tǒng)，解決了現有技術中的問題。

2、本發(fā)明的目的可以通過以下技術方案實現：

3、一種非理想條件下的車路協(xié)同聯合感知方法，包括以下步驟：

4、從智能汽車和智能路側基礎設施中選擇一個節(jié)點作為自我節(jié)點，圍繞自我節(jié)點構建v2x圖，共享元數據；

5、在各個節(jié)點上，使用pointpillar模型從激光雷達感知環(huán)境得到的點云圖像中提取視覺特征圖；

6、對提取的所述視覺特征圖，采用一系列1×1卷積沿通道維度逐步壓縮，然后各個節(jié)點使用車聯網通信信道共享視覺特征圖；

7、通過設置v2x注意力融合模塊和延遲補償模塊來修正自我節(jié)點接收的特征圖，自我節(jié)點聚合修正后的特征圖，并基于自注意力機制完成節(jié)點間的特征融合，得到融合特征圖；

8、將所述融合特征圖經過兩個1×1卷積層進行檢測框回歸和分類，輸出自我節(jié)點感知其他節(jié)點的3d檢測框結果。

9、進一步地，所述元數據包括：位姿、時間戳、外參以及節(jié)點類型。

10、進一步地，在所述特征圖聚合過程中，針對單幀點云存在的數據稀疏性問題，基于上下文感知信息來聚合來自先前幀的自我節(jié)點的上下文信息，捕獲信息豐富的時間線索和歷史幀上下文語義信息。

11、進一步地，所述v2x注意力融合模塊中采用兩個連續(xù)的縱橫交錯注意力模塊來實現點云數據中的v2x注意力機制，縱橫交錯注意模塊聚合水平和垂直方向的上下文信息，通過串行堆疊兩個縱橫交錯注意模塊從所有像素收集上下文信息。

12、進一步地，所述v2x注意力融合模塊包括：自我注意力組件和節(jié)點間注意力組件，v2x注意力模塊中最終的融合特征輸出aout為：

13、aout＝f(aintra+ainter)

14、式中，f表示一組最大池化層、平均池化層和卷積層，ainter表示考慮自我智能體與其他智能體之間協(xié)同得到的輸出特征圖的總和，aintra表示考慮特征圖的所有空間信息的自我智能體的輸出特征圖。

15、進一步地，所述延遲補償模塊包括特征-注意力共生估計組件和時間調制組件；特征-注意力共生估計組件獲取當前最具信息量的協(xié)作特征；時間調制組件融合了以延遲時間為條件的原始特征和估計特征，生成估計結果。

16、一種非理想條件下的車路協(xié)同聯合感知系統(tǒng)，包括：

17、元數據共享模塊：從智能汽車和智能路側基礎設施中選擇一個節(jié)點作為自我節(jié)點，圍繞自我節(jié)點構建v2x圖，共享元數據；

18、特征提取模塊：在各個節(jié)點上，使用pointpillar模型從激光雷達感知環(huán)境得到的點云圖像中提取視覺特征圖；

19、特征壓縮共享模塊：對提取的所述視覺特征圖，采用一系列1×1卷積沿通道維度逐步壓縮，然后各個節(jié)點使用車聯網通信信道共享視覺特征圖；

20、特征融合模塊：通過設置v2x注意力融合模塊和延遲補償模塊來修正自我節(jié)點接收的特征圖，自我節(jié)點聚合修正后的特征圖，并基于自注意力機制完成節(jié)點間的特征融合，得到融合特征圖；

21、以及，檢測模塊：將所述融合特征圖經過兩個1×1卷積層進行檢測框回歸和分類，輸出自我節(jié)點感知其他節(jié)點的3d檢測框結果。

22、一種計算機存儲介質，存儲有可讀程序，當程序運行時，能夠執(zhí)行上述的一種非理想條件下的車路協(xié)同聯合感知方法。

23、一種電子設備，包括：處理器、存儲器、通信接口和通信總線，其特征在于，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

24、所述存儲器用于存放至少一條可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如上述的一種非理想條件下的車路協(xié)同聯合感知方法對應的操作。

25、一種計算機程序產品，包括計算機指令，其特征在于，所述計算機指令指示計算設備執(zhí)行上述的一種非理想條件下的車路協(xié)同聯合感知方法對應的操作。

26、本發(fā)明的有益效果：

27、1、本發(fā)明的方法針對現實場景中可能存在的通信時延、傳感器位姿誤差等問題，使用v2x注意力融合方法增強自我節(jié)點與其他節(jié)點之間的交互，使用延遲補償方法降低通信時延帶來的感知誤差，進而提高聯合感知的魯棒性和準確性，使其更加貼近現實場景。

28、2、本發(fā)明的方法實現了智能汽車和智能路側設施之間感知信息安全、高效、準確而又快速的共享，為車路協(xié)同應用開發(fā)和自動駕駛汽車科學合理的決策提供信息保障，在車路協(xié)同感知系統(tǒng)的輔助下，減少交通事故的發(fā)生，提高交通通行效率。

技術特征：

1.一種非理想條件下的車路協(xié)同聯合感知方法，其特征在于，包括以下步驟：

2.根據權利要求1所述的一種非理想條件下的車路協(xié)同聯合感知方法，其特征在于，所述元數據包括：位姿、時間戳、外參以及節(jié)點類型。

3.根據權利要求1所述的一種非理想條件下的車路協(xié)同聯合感知方法，其特征在于，在所述特征圖聚合過程中，針對單幀點云存在的數據稀疏性問題，基于上下文感知信息來聚合來自先前幀的自我節(jié)點的上下文信息，捕獲信息豐富的時間線索和歷史幀上下文語義信息。

4.根據權利要求3所述的一種非理想條件下的車路協(xié)同聯合感知方法，其特征在于，所述v2x注意力融合模塊中采用兩個連續(xù)的縱橫交錯注意力模塊來實現點云數據中的v2x注意力機制，縱橫交錯注意模塊聚合水平和垂直方向的上下文信息，通過串行堆疊兩個縱橫交錯注意模塊從所有像素收集上下文信息。

5.根據權利要求4所述的一種非理想條件下的車路協(xié)同聯合感知方法，其特征在于，在所述v2x注意力融合模塊包括：自我注意力組件和節(jié)點間注意力組件，v2x注意力模塊中最終的融合特征輸出aout為：

6.根據權利要求5所述的一種非理想條件下的車路協(xié)同聯合感知方法，其特征在于，在所述延遲補償模塊包括特征-注意力共生估計組件和時間調制組件；特征-注意力共生估計組件獲取當前最具信息量的協(xié)作特征；時間調制組件融合了以延遲時間為條件的原始特征和估計特征，生成估計結果。

7.一種非理想條件下的車路協(xié)同聯合感知系統(tǒng)，其特征在于，包括：

8.一種計算機存儲介質，存儲有可讀程序，其特征在于，當程序運行時，能夠執(zhí)行權利要求1-6任一項所述的一種非理想條件下的車路協(xié)同聯合感知方法。

9.一種電子設備，包括：處理器、存儲器、通信接口和通信總線，其特征在于，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

10.一種計算機程序產品，包括計算機指令，其特征在于，所述計算機指令指示計算設備執(zhí)行如權利要求1-6中任一所述的一種非理想條件下的車路協(xié)同聯合感知方法對應的操作。

技術總結
本發(fā)明公開一種非理想條件下的車路協(xié)同聯合感知方法及系統(tǒng)，屬于車路協(xié)同技術領域；聯合感知方法包括：從智能汽車和智能路側基礎設施中選擇一個節(jié)點作為自我節(jié)點，圍繞自我節(jié)點構建V2X圖，共享元數據；在各個節(jié)點上，使用PointPillar模型從激光雷達感知環(huán)境得到的點云圖像中提取視覺特征圖；對提取的視覺特征圖，采用一系列1×1卷積沿通道維度逐步壓縮，各個節(jié)點使用車聯網通信信道共享視覺特征圖；通過設置V2X注意力融合模塊和延遲補償模塊來修正自我節(jié)點接收的特征圖，自我節(jié)點聚合修正后的特征圖，完成節(jié)點間的特征融合；將融合特征圖經過兩個1×1卷積層進行檢測框回歸和分類，輸出自我節(jié)點感知其他節(jié)點的3D檢測框結果。

技術研發(fā)人員：朱孔林,谷建,蔣翰文,張琳
受保護的技術使用者：北京郵電大學
技術研發(fā)日：
技術公布日：2024/12/10