本發(fā)明涉及計(jì)算機(jī)視覺的目標(biāo)檢測(cè),具體涉及一種基于mamba架構(gòu)的紅外高速公路異物檢測(cè)方法。
背景技術(shù):
1、高速公路是交通網(wǎng)絡(luò)的重要組成部分,保障其安全暢通具有關(guān)鍵意義。然而,異物(如掉落的貨物、輪胎碎片、動(dòng)物等)可能對(duì)行車安全構(gòu)成嚴(yán)重威脅,導(dǎo)致事故,甚至造成人員傷亡。因此,部署一個(gè)可靠的異物檢測(cè)系統(tǒng)至關(guān)重要。目前,有研究在fasterr-cnn中引入dou-res殘差結(jié)構(gòu)進(jìn)行異物檢測(cè),這個(gè)方法無(wú)法對(duì)小目標(biāo)進(jìn)行有效的檢測(cè),改進(jìn)的yolov5算法通過(guò)計(jì)算圖像中的直線特征和采用clahe算法增強(qiáng)畫面對(duì)比度,改善了小目標(biāo)的檢測(cè)問(wèn)題,但是存在檢測(cè)精度低的問(wèn)題。高速公路異物檢測(cè)系統(tǒng)仍然面臨多種挑戰(zhàn),主要表現(xiàn)在以下幾個(gè)方面:一、多樣化的異物類型:?異物的種類和尺寸各不相同,從掉落的貨物、輪胎碎片到動(dòng)物、金屬物體等,每種異物的形態(tài)、材質(zhì)和顏色都有差異,導(dǎo)致檢測(cè)模型難以泛化以識(shí)別所有類型和大小的異物;二、環(huán)境條件復(fù)雜:?光照條件從白天的強(qiáng)光到夜間的微光變化劇烈,再加上天氣因素如雨、雪、霧等,以及濕滑路面的反光,這些復(fù)雜環(huán)境會(huì)干擾傳感器的檢測(cè)性能,增加了任務(wù)的復(fù)雜性;三、檢測(cè)速度和準(zhǔn)確性:?在高速公路上,系統(tǒng)必須在極短時(shí)間內(nèi)做出準(zhǔn)確的檢測(cè)判斷,然而過(guò)多的誤檢會(huì)影響系統(tǒng)的可信度,而漏檢則帶來(lái)安全隱患,因此需要在實(shí)時(shí)性與檢測(cè)精度之間取得平衡。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足,提供一種基于mamba架構(gòu)的紅外高速公路異物檢測(cè)方法。
2、本發(fā)明的目的是通過(guò)以下技術(shù)方案來(lái)實(shí)現(xiàn)的:
3、本發(fā)明提供了一種基于mamba架構(gòu)的紅外高速公路異物檢測(cè)方法,包括以下步驟:
4、s1、持續(xù)通過(guò)紅外傳感器,對(duì)不同光照條件下和不同天氣情況下的高速公路場(chǎng)景進(jìn)行數(shù)據(jù)采集,用于獲得紅外圖像數(shù)據(jù),通過(guò)數(shù)據(jù)增廣對(duì)紅外圖像數(shù)據(jù)進(jìn)行預(yù)處理,生成訓(xùn)練數(shù)據(jù),將所述訓(xùn)練數(shù)據(jù)按7:2:1的比例劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集;
5、s2、構(gòu)建基于mamba架構(gòu)的異物檢測(cè)網(wǎng)絡(luò),所述異物檢測(cè)網(wǎng)絡(luò)包括學(xué)生網(wǎng)絡(luò)和教師網(wǎng)絡(luò);
6、s3、基于所述訓(xùn)練集通過(guò)反向傳播算法訓(xùn)練教師網(wǎng)絡(luò);
7、s4、基于所述教師網(wǎng)絡(luò)的結(jié)果和真實(shí)數(shù)據(jù)來(lái)訓(xùn)練學(xué)生網(wǎng)絡(luò),得到目標(biāo)檢測(cè)網(wǎng)絡(luò);
8、s5、將待識(shí)別的圖像輸入目標(biāo)檢測(cè)網(wǎng)絡(luò),得到檢測(cè)結(jié)果。
9、進(jìn)一步地,所述步驟s2具體包括以下子步驟:
10、s21、輸入層將輸入圖像的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化和歸一化處理,調(diào)整輸入圖像的數(shù)據(jù)用于網(wǎng)絡(luò)處理,獲得第二圖像;
11、s22、通過(guò)多層次的卷積操作對(duì)第二圖像進(jìn)行多尺度特征提取,第二圖像經(jīng)過(guò)若干層的處理后,第二圖像的分辨率降低、通道數(shù)增加,獲得不同尺度的第三圖像;
12、s23、將不同尺度的第三圖像通過(guò)特征融合模塊進(jìn)行整合,獲得第四圖像;具體包括:特征融合模塊通過(guò)上采樣操作,對(duì)第三圖像的分辨率進(jìn)行恢復(fù),并將不同尺度的第三圖像的特征結(jié)合在一起,用于增強(qiáng)模型對(duì)不同大小目標(biāo)的處理能力;
13、s24、通過(guò)檢測(cè)頭對(duì)第四圖像進(jìn)行目標(biāo)檢測(cè),通過(guò)卷積和全連接,生成最終的檢測(cè)結(jié)果,包括目標(biāo)的類別和位置;將殘差模塊堆疊至四層作為教師網(wǎng)絡(luò),單層的淺層網(wǎng)絡(luò)作為學(xué)生網(wǎng)絡(luò);所述檢測(cè)頭還包括目標(biāo)一致性檢測(cè),結(jié)合視頻幀的時(shí)序信息,提升異物檢測(cè)的精度和魯棒性;對(duì)于僅在單幀中短暫出現(xiàn)的目標(biāo),系統(tǒng)會(huì)進(jìn)行二次確認(rèn),判斷其是否是環(huán)境噪聲或光線反射。
14、優(yōu)選地,所述步驟s22具體包括:先通過(guò)mamba?block模塊進(jìn)行第二圖像的特征提取,之后將第二圖像輸入到resnet?block模塊,通過(guò)resnet?block模塊對(duì)第二圖像的特征進(jìn)行深度提??;
15、所述mamba?block模塊操作包括:首先通過(guò)常規(guī)卷積操作提取第二圖像的局部特征,接著通過(guò)?ss2d操作對(duì)第二圖像的空間信息進(jìn)行偏移處理,然后通過(guò)深度可分離卷積來(lái)降低計(jì)算量,減少參數(shù)的同時(shí)保持模型的高效性,mamba?block?中還包括?batchnormalization?和?relu?激活函數(shù),用于確保特征在每個(gè)步驟中的穩(wěn)定性;
16、所述resnet?block?模塊通過(guò)兩層?3×3?卷積來(lái)提取第二圖像的高級(jí)特征;所述兩層?3×3?卷積還包括歸一化和?relu?激活函數(shù),用于確保高級(jí)特征的穩(wěn)定性,resnetblock?還包括殘差連接,用于緩解梯度消失。
17、優(yōu)選地,所述步驟s3具體包括以下步驟:
18、s31、首先對(duì)輸入圖像進(jìn)行標(biāo)準(zhǔn)化和數(shù)據(jù)增強(qiáng),用于網(wǎng)絡(luò)學(xué)習(xí)多樣化的場(chǎng)景信息,所述數(shù)據(jù)增強(qiáng)包括旋轉(zhuǎn)、翻轉(zhuǎn)和縮放,用于增加訓(xùn)練數(shù)據(jù)的多樣性,使教師網(wǎng)絡(luò)具備更強(qiáng)的泛化能力;
19、s32、然后輸入圖像通過(guò)教師網(wǎng)絡(luò)的多層?mamba?block?和?resnet?block?進(jìn)行前向傳播;在每一層,教師網(wǎng)絡(luò)通過(guò)卷積操作提取局部特征,再逐層下采樣以提取更多全局特征;所述局部特征和全局特征通過(guò)多尺度特征融合模塊進(jìn)行整合,用于網(wǎng)絡(luò)同時(shí)處理大小不同的目標(biāo);
20、s33、最終提取到的高級(jí)特征進(jìn)入檢測(cè)頭,通過(guò)檢測(cè)頭進(jìn)行目標(biāo)分類和邊界框回歸,生成每個(gè)目標(biāo)的類別置信度和位置。
21、優(yōu)選地,所述步驟s33還包括:教師網(wǎng)絡(luò)輸出結(jié)果的同時(shí)生成軟標(biāo)簽;所述軟標(biāo)簽包括每個(gè)類別的預(yù)測(cè)值和各類別之間的概率分布信息,用于為學(xué)生網(wǎng)絡(luò)提供更加細(xì)粒度的學(xué)習(xí)信號(hào);教師網(wǎng)絡(luò)通過(guò)計(jì)算第一損失函數(shù)來(lái)評(píng)估其預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間的誤差;所述第一損失函數(shù)包括分類損失和回歸損失:,其中為分類損失,是分類損失的權(quán)重,為回歸損失,是回歸損失的權(quán)重;之后通過(guò)反向傳播更新教師網(wǎng)絡(luò)的權(quán)重;第一損失函數(shù)的梯度從檢測(cè)頭開始逐層向后傳遞,直到輸入層;網(wǎng)絡(luò)參數(shù)通過(guò)選擇的優(yōu)化器進(jìn)行更新,優(yōu)化器根據(jù)第一損失函數(shù)的梯度調(diào)整網(wǎng)絡(luò)的權(quán)重,用于最小化誤差;
22、訓(xùn)練過(guò)程中,驗(yàn)證集數(shù)據(jù)還用于評(píng)估教師網(wǎng)絡(luò)的性能表現(xiàn);通過(guò)驗(yàn)證集的前向傳播,計(jì)算分類準(zhǔn)確率和平均精度均值判斷模型的準(zhǔn)確性和魯棒性,若驗(yàn)證集的性能達(dá)到了預(yù)設(shè)要求,則網(wǎng)絡(luò)訓(xùn)練效果良好繼續(xù)訓(xùn)練直到收斂。
23、優(yōu)選地,所述步驟s4具體包括:
24、通過(guò)輸入圖像和所對(duì)應(yīng)的真實(shí)標(biāo)簽輸入進(jìn)學(xué)生網(wǎng)絡(luò)進(jìn)行訓(xùn)練;學(xué)生網(wǎng)絡(luò)從教師網(wǎng)絡(luò)中獲取軟標(biāo)簽;輸入圖像經(jīng)過(guò)學(xué)生網(wǎng)絡(luò)的前向傳播,依次通過(guò)卷積層、mamba?block?和resnet?block?進(jìn)行特征提?。粚W(xué)生網(wǎng)絡(luò)的訓(xùn)練過(guò)程中,計(jì)算所對(duì)應(yīng)的第二損失函數(shù),所述第二損失函數(shù)包括硬標(biāo)簽損失和軟標(biāo)簽損失的加權(quán):,其中為硬標(biāo)簽損失,為硬標(biāo)簽損失的權(quán)重系數(shù),為軟標(biāo)簽損失,為軟標(biāo)簽損失的權(quán)重系數(shù);之后通過(guò)反向傳播算法來(lái)計(jì)算梯度,更新學(xué)生網(wǎng)絡(luò)的權(quán)重;若學(xué)生網(wǎng)絡(luò)在驗(yàn)證集上的表現(xiàn)達(dá)到預(yù)設(shè)精度,訓(xùn)練過(guò)程結(jié)束,保存模型的權(quán)重,所述學(xué)生網(wǎng)絡(luò)還經(jīng)過(guò)輕量化設(shè)計(jì),所述學(xué)生網(wǎng)絡(luò)通過(guò)知識(shí)蒸餾用于保持高效計(jì)算和高檢測(cè)精度的平衡。
25、優(yōu)選地,所述的步驟s5具體包括:網(wǎng)絡(luò)會(huì)預(yù)測(cè)每個(gè)目標(biāo)的類別,并為每個(gè)檢測(cè)到的目標(biāo)生成一個(gè)類別置信度,網(wǎng)絡(luò)選擇置信度最高的類別作為最終的預(yù)測(cè)結(jié)果;同時(shí)網(wǎng)絡(luò)還會(huì)輸出每個(gè)目標(biāo)的邊界框位置,通過(guò)非極大值抑制避免多個(gè)邊界框重復(fù)檢測(cè)同一目標(biāo),最終輸出一組檢測(cè)結(jié)果,每個(gè)檢測(cè)結(jié)果包含目標(biāo)的類別、置信度分?jǐn)?shù)和邊界框位置。
26、本發(fā)明的有益效果是:
27、1)本發(fā)明技術(shù)方案通過(guò)采用mamba新型網(wǎng)絡(luò)架構(gòu)、多尺度特征融合、知識(shí)蒸餾、紅外傳感器和視頻幀時(shí)序信息的結(jié)合,不僅克服了現(xiàn)有異物檢測(cè)系統(tǒng)的局限,還展現(xiàn)出多方面的顯著優(yōu)勢(shì)。首先,mamba網(wǎng)絡(luò)架構(gòu)結(jié)合多尺度特征融合技術(shù),能夠在不同尺寸和類型的異物檢測(cè)中實(shí)現(xiàn)更精準(zhǔn)的特征提取,特別是面對(duì)高速公路上小型碎片和大型障礙物時(shí),系統(tǒng)的檢測(cè)精度顯著提高。其次,通過(guò)引入知識(shí)蒸餾技術(shù),將復(fù)雜、高性能的教師模型中的知識(shí)提煉并傳遞給較輕量的學(xué)生模型,在保持檢測(cè)精度的同時(shí),大幅減少了模型的計(jì)算量和內(nèi)存需求。這一輕量化設(shè)計(jì)使得系統(tǒng)在邊緣設(shè)備上實(shí)現(xiàn)高效部署,顯著提升了實(shí)時(shí)性和響應(yīng)速度。
28、2)本發(fā)明結(jié)合紅外傳感器和視頻幀時(shí)序信息的技術(shù),系統(tǒng)能夠在夜間、低光照、強(qiáng)光反射、雨霧等復(fù)雜環(huán)境中保持穩(wěn)定的檢測(cè)效果。視頻幀時(shí)序信息進(jìn)一步通過(guò)分析幀間的連續(xù)性,降低了動(dòng)態(tài)背景和運(yùn)動(dòng)模糊帶來(lái)的誤檢和漏檢問(wèn)題,確保系統(tǒng)在復(fù)雜的動(dòng)態(tài)場(chǎng)景下依然具備高魯棒性。通過(guò)輕量化的知識(shí)蒸餾設(shè)計(jì),系統(tǒng)不再依賴高計(jì)算資源,能夠在邊緣設(shè)備上實(shí)現(xiàn)實(shí)時(shí)、高效的異物檢測(cè),并且大幅減少了數(shù)據(jù)傳輸?shù)膸捫枨蠛瓦\(yùn)行成本。整體而言,本發(fā)明方案在檢測(cè)精度、實(shí)時(shí)性、環(huán)境適應(yīng)性、誤檢與漏檢控制、以及邊緣設(shè)備部署等方面均優(yōu)于現(xiàn)有技術(shù),極大地提升了系統(tǒng)的實(shí)用性和商業(yè)化價(jià)值。