1.交叉口復(fù)雜環(huán)境下多源感知融合及目標(biāo)信息優(yōu)化方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的交叉口復(fù)雜環(huán)境下多源感知融合及目標(biāo)信息優(yōu)化方法,其特征在于:所述步驟二硬件升級(jí)優(yōu)化具體為選用芯片進(jìn)行攝像機(jī)內(nèi)置控制器和邊緣控制器的設(shè)計(jì),對(duì)于部分應(yīng)用場景,采用星光級(jí)ai攝像機(jī),提升惡劣天氣情況下目標(biāo)感知的有效性;借助算法優(yōu)化手段,使攝像模組和雷達(dá)模組具備輕量化、小型化優(yōu)勢,直接嵌入路側(cè)設(shè)備內(nèi)部使用,提升路側(cè)設(shè)備的集成度水平。
3.根據(jù)權(quán)利要求1所述的交叉口復(fù)雜環(huán)境下多源感知融合及目標(biāo)信息優(yōu)化方法,其特征在于:所述步驟二中軟件升級(jí)優(yōu)化具體為以yolov5目標(biāo)檢測框架為基礎(chǔ),采用mobilenetv2代替攝像模組的主干網(wǎng)絡(luò),并將pan結(jié)構(gòu)的普通卷積替換成深度可分離卷積,大幅降低網(wǎng)絡(luò)模型的參數(shù)量,支撐攝像模組的輕量化、小型化設(shè)計(jì);引入注意力機(jī)制,加強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)特征信息中關(guān)鍵特征提取的能力,增強(qiáng)模型性能,提升攝像機(jī)的算法快速性和目標(biāo)分類準(zhǔn)確性,所述yolov5直接從原始圖像中檢測和定位目標(biāo),所述mobilenetv2由一系列堆疊的invertedresidualblock組成,每個(gè)invertedresidualblock包含以下三個(gè)層:1x1的升維層增加輸出通道數(shù)來擴(kuò)展特征圖,深度可分離卷積層:通過應(yīng)用空間深度可分離卷積來減少計(jì)算成本,該層包含3x3深度可分離卷積和批量標(biāo)準(zhǔn)化操作,線性瓶頸層:這是一個(gè)1x1的卷積層,減少了輸出通道數(shù),并添加線性激活函數(shù)。
4.根據(jù)權(quán)利要求1所述的交叉口復(fù)雜環(huán)境下多源感知融合及目標(biāo)信息優(yōu)化方法,其特征在于:所述步驟三中采用km算法與同樣在路側(cè)的ai攝像機(jī)的檢測結(jié)果進(jìn)行關(guān)聯(lián)融合的具體步驟為:s1、圖像初始化:將感知設(shè)備感知的圖中所有邊的權(quán)重初始化為0,構(gòu)建了一個(gè)初始的交錯(cuò)樹t=(x,y),其中x、y分別表示兩個(gè)頂點(diǎn)集合;s2、判斷相等子圖:對(duì)感知設(shè)備內(nèi)初始化后圖片中t的每個(gè)頂點(diǎn)x進(jìn)行統(tǒng)計(jì),如果存在一條滿足lx+ly=w,其中l(wèi)x是x在t中所有入樹邊的權(quán)重之和,ly是x在t中所有出樹邊的權(quán)重之和,w是x在原圖中的權(quán)重,則把x加入到相等子圖中;s3、尋找未匹配節(jié)點(diǎn):在相等子圖中尋找未匹配節(jié)點(diǎn),并標(biāo)記為未匹配節(jié)點(diǎn);s4、尋找增廣路徑:如果存在未匹配節(jié)點(diǎn),則從中選擇一個(gè)起始節(jié)點(diǎn),尋找一條與之交替出現(xiàn)的邊構(gòu)成的路徑,使路徑的最后一個(gè)邊是一條與未匹配節(jié)點(diǎn)關(guān)聯(lián)的邊;s5、修改標(biāo)號(hào):對(duì)于相等子圖中的每個(gè)頂點(diǎn)x,從已匹配節(jié)點(diǎn)中選擇一個(gè)與之關(guān)聯(lián)的頂點(diǎn)y,并計(jì)算d=min(lx+ly-w),其中w是x和y之間的邊的權(quán)重,為了使增廣路更優(yōu),將t中所有x節(jié)點(diǎn)的入樹邊的權(quán)重減去d,將t中所有y節(jié)點(diǎn)的出樹邊的權(quán)重加上d;s6、更新交錯(cuò)樹:將增廣路中的所有邊和t中的所有非樹邊進(jìn)行調(diào)整,得到新的交錯(cuò)樹。
5.根據(jù)權(quán)利要求1所述的交叉口復(fù)雜環(huán)境下多源感知融合及目標(biāo)信息優(yōu)化方法,其特征在于:所述步驟三中場景分析包括行人行為分析、車輛行為分析和車輛行人區(qū)分,所述行人行為分析對(duì)交叉口的行人行為進(jìn)行具體分析,所述車輛行為分析對(duì)交叉口的車輛行為分別進(jìn)行加速、減速、變道、變向和停車分析,所述車輛行人區(qū)分對(duì)交叉口的車輛和行人進(jìn)行區(qū)分,所述行人行為分析內(nèi)設(shè)有多目標(biāo)跟蹤分析和行人異常行為分析,所述多目標(biāo)跟蹤分析對(duì)交叉口多個(gè)行人進(jìn)行跟蹤和分析,所述行人異常行為分析對(duì)行人的徘徊或行為突變進(jìn)行分析和警示。
6.根據(jù)權(quán)利要求1所述的交叉口復(fù)雜環(huán)境下多源感知融合及目標(biāo)信息優(yōu)化方法,其特征在于:所述步驟四中多目標(biāo)聯(lián)合優(yōu)化模型的建立目標(biāo)為以權(quán)衡系統(tǒng)的平均任務(wù)處理時(shí)延、平均車輛能耗、感知精度和感知范圍。
7.根據(jù)權(quán)利要求1所述的交叉口復(fù)雜環(huán)境下多源感知融合及目標(biāo)信息優(yōu)化方法,其特征在于:所述步驟四中深度強(qiáng)化學(xué)習(xí)對(duì)交叉口區(qū)域關(guān)聯(lián)融合后的目標(biāo)信息進(jìn)行優(yōu)化。