本發(fā)明涉及車路協(xié)同，具體為交叉口復雜環(huán)境下多源感知融合及目標信息優(yōu)化方法。

背景技術(shù)：

1、隨著經(jīng)濟的快速發(fā)展，城市汽車保有量增長迅速，城市交通問題亦日趨嚴重，在城市用地性質(zhì)復雜，集聚住宅、辦公、娛樂、醫(yī)院等的區(qū)域，其交通需求往往大于交通供給，即出行存在擁堵、混亂、通行效率低下等問題，同時復雜交通場景的交通組織形式多樣，常見包括各類畸形交叉口、五路及以上交叉口、短距離內(nèi)的雙交叉口等情況，復雜交通場景因道路條件不同于t型交叉口或十字型交叉口，交通供給復雜、交通矛盾多樣。

2、車路協(xié)同作為貫穿新基建多個領(lǐng)域的重要技術(shù)，不僅是實現(xiàn)智慧交通、打造交通強國的重要橋梁，更能幫助規(guī)劃建設(shè)者合理規(guī)劃道路，提升交通通行效率，最終讓人們享受到便捷、安全、高效的出行服務，在車路協(xié)同的大框架下，目前更多關(guān)注的是如何使車輛獲取更準確、實時的交通數(shù)據(jù)，以滿足智能化車輛的發(fā)展需要，而對于路側(cè)行人的感知及具體行為分析則缺乏更加針對性的研究，國省道是連接省、市、縣等主要交通集散中心的重要通道，為了使基于車路協(xié)同的國省道安全預警系統(tǒng)能夠更加有效地體現(xiàn)“預防為主”的交通安全管理策略，實現(xiàn)對交通行為更加全面的監(jiān)控、預警、引導和控制，需要進一步完善預警系統(tǒng)中交通目標，尤其是行人的感知研究，目前，市場上用于車輛、行人的目標感知設(shè)備種類繁多，通過感知設(shè)備的設(shè)立對交叉口復雜環(huán)境進行感知。

3、但是，傳統(tǒng)的感知設(shè)備存在以下缺點：傳統(tǒng)的感知設(shè)備設(shè)立在車路協(xié)同安全預警系統(tǒng)內(nèi)，由于感知設(shè)備感知的精準度低且傳輸存在時間延時，導致車路協(xié)同安全預警系統(tǒng)存在信息冗余性、傳輸時延性等方面處理的不足。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供交叉口復雜環(huán)境下多源感知融合及目標信息優(yōu)化方法，以解決上述背景技術(shù)中提出的傳統(tǒng)的感知設(shè)備設(shè)立在車路協(xié)同安全預警系統(tǒng)內(nèi)，由于感知設(shè)備感知的精準度低且傳輸存在時間延時，導致車路協(xié)同安全預警系統(tǒng)存在信息冗余性、傳輸時延性等方面處理的不足的問題。

2、為實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：交叉口復雜環(huán)境下多源感知融合及目標信息優(yōu)化方法，包括以下步驟：

3、步驟一、確定感知設(shè)備：選擇通用款ai攝像機和毫米波雷達作為路側(cè)目標感知的主要設(shè)備；

4、步驟二、感知設(shè)備升級：分別對攝像機和雷達模組進行硬件升級優(yōu)化和軟件升級優(yōu)化；

5、步驟三、多源數(shù)據(jù)融合：感知設(shè)備升級后結(jié)合以毫米波雷達為主的路側(cè)其他感知設(shè)備的感知信息，并將其檢測結(jié)果采用km算法與同樣在路側(cè)的ai攝像機的檢測結(jié)果進行關(guān)聯(lián)融合，得到融合優(yōu)化后的路側(cè)目標信息并場景分析；

6、步驟四、信息優(yōu)化：對獲得的路側(cè)目標信息，建立多目標聯(lián)合優(yōu)化模型，并利用策略梯度下降算法更新神經(jīng)網(wǎng)絡參數(shù)，獲得深度強化學習的最優(yōu)行為策略，以獲取車路協(xié)同所需的最優(yōu)路側(cè)目標信息；

7、步驟五、信息傳輸：將得到的交叉口復雜環(huán)境的優(yōu)化信息通過rsu傳輸給車輛、預警單元以及云端。

8、作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟二硬件升級優(yōu)化具體為選用芯片進行攝像機內(nèi)置控制器和邊緣控制器的設(shè)計，對于部分應用場景，采用星光級ai攝像機，提升惡劣天氣情況下目標感知的有效性；借助算法優(yōu)化手段，使攝像模組和雷達模組具備輕量化、小型化優(yōu)勢，直接嵌入路側(cè)設(shè)備內(nèi)部使用，提升路側(cè)設(shè)備的集成度水平。

9、作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟二中軟件升級優(yōu)化具體為以yolov5目標檢測框架為基礎(chǔ)，采用mobilenetv2代替攝像模組的主干網(wǎng)絡，并將pan結(jié)構(gòu)的普通卷積替換成深度可分離卷積，大幅降低網(wǎng)絡模型的參數(shù)量，支撐攝像模組的輕量化、小型化設(shè)計；引入注意力機制，加強網(wǎng)絡結(jié)構(gòu)對特征信息中關(guān)鍵特征提取的能力，增強模型性能，提升攝像機的算法快速性和目標分類準確性，所述yolov5直接從原始圖像中檢測和定位目標，所述mobilenetv2由一系列堆疊的invertedresidual?block組成，每個invertedresidual?block包含以下三個層：1x1的升維層增加輸出通道數(shù)來擴展特征圖，深度可分離卷積層：通過應用空間深度可分離卷積來減少計算成本，該層包含3x3深度可分離卷積和批量標準化操作，線性瓶頸層：這是一個1x1的卷積層，減少了輸出通道數(shù)，并添加線性激活函數(shù)。

10、作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟三中采用km算法與同樣在路側(cè)的ai攝像機的檢測結(jié)果進行關(guān)聯(lián)融合的具體步驟為：s1、圖像初始化：將感知設(shè)備感知的圖中所有邊的權(quán)重初始化為0，構(gòu)建了一個初始的交錯樹t＝(x，y)，其中x、y分別表示兩個頂點集合；s2、判斷相等子圖：對感知設(shè)備內(nèi)初始化后圖片中t的每個頂點x進行統(tǒng)計，如果存在一條滿足lx+ly＝w，其中l(wèi)x是x在t中所有入樹邊的權(quán)重之和，ly是x在t中所有出樹邊的權(quán)重之和，w是x在原圖中的權(quán)重，則把x加入到相等子圖中；s3、尋找未匹配節(jié)點：在相等子圖中尋找未匹配節(jié)點，并標記為未匹配節(jié)點；s4、尋找增廣路徑：如果存在未匹配節(jié)點，則從中選擇一個起始節(jié)點，尋找一條與之交替出現(xiàn)的邊構(gòu)成的路徑，使路徑的最后一個邊是一條與未匹配節(jié)點關(guān)聯(lián)的邊；s5、修改標號：對于相等子圖中的每個頂點x，從已匹配節(jié)點中選擇一個與之關(guān)聯(lián)的頂點y，并計算d＝min(lx+ly-w)，其中w是x和y之間的邊的權(quán)重，為了使增廣路更優(yōu)，將t中所有x節(jié)點的入樹邊的權(quán)重減去d，將t中所有y節(jié)點的出樹邊的權(quán)重加上d；s6、更新交錯樹：將增廣路中的所有邊和t中的所有非樹邊進行調(diào)整，得到新的交錯樹。

11、作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟三中場景分析包括行人行為分析、車輛行為分析和車輛行人區(qū)分，所述行人行為分析對交叉口的行人行為進行具體分析，所述車輛行為分析對交叉口的車輛行為分別進行加速、減速、變道、變向和停車分析，所述車輛行人區(qū)分對交叉口的車輛和行人進行區(qū)分，所述行人行為分析內(nèi)設(shè)有多目標跟蹤分析和行人異常行為分析，所述多目標跟蹤分析對交叉口多個行人進行跟蹤和分析，所述行人異常行為分析對行人的徘徊或行為突變進行分析和警示。

12、作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟四中多目標聯(lián)合優(yōu)化模型的建立目標為以權(quán)衡系統(tǒng)的平均任務處理時延、平均車輛能耗、感知精度和感知范圍。

13、作為本發(fā)明的一種優(yōu)選技術(shù)方案，所述步驟四中深度強化學習對交叉口區(qū)域關(guān)聯(lián)融合后的目標信息進行優(yōu)化。

14、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

15、1、多源數(shù)據(jù)融合有利于提高系統(tǒng)對于路側(cè)不同向交通目標之間安全預警的可信度；有利于實現(xiàn)國省道重點交叉口或路段對于行人行為分析的有效應用，包括多目標跟蹤分析、行人異常行為分析如徘徊、行為突變，滿足更加精細化的場景應用；

16、2、交叉口目標信息優(yōu)化，獲取車路協(xié)同所需的最優(yōu)路側(cè)目標信息，并通過rsu傳輸給車輛、預警單元以及云端，滿足系統(tǒng)對于國省道道路環(huán)境感知需求的同時，減少信息傳輸時延以及資源的浪費；

17、3、對已有目標感知設(shè)備進行軟硬件優(yōu)化，并結(jié)合多源數(shù)據(jù)融合技術(shù)，彌補國省道已有路側(cè)感知設(shè)備在目標分類、行人行為分析、場景適用性方面的不足；同時，借助目標信息優(yōu)化技術(shù)，獲取系統(tǒng)所需的最優(yōu)路側(cè)目標信息，彌補現(xiàn)階段國省道車路協(xié)同安全預警系統(tǒng)在信息冗余性、傳輸時延性方面處理的不足，在合理利用信息資源的前提下，進一步降低感知單元與預警單元、車輛之間通信的時延，從而更加有效地防范國省道與其被道路交通目標之間與人有關(guān)的通行沖突，為后續(xù)研究車路協(xié)同信息服務模式、部署更加合理的路側(cè)預警方案提供可靠的前端技術(shù)支撐。