本發(fā)明涉及圖像識(shí)別，尤其涉及一種雙光目標(biāo)檢測(cè)增強(qiáng)方法、系統(tǒng)及電子設(shè)備。

背景技術(shù)：

1、隨著全球經(jīng)濟(jì)的數(shù)字化轉(zhuǎn)型，新質(zhì)生產(chǎn)力的培育和數(shù)字經(jīng)濟(jì)的發(fā)展已成為推動(dòng)社會(huì)進(jìn)步的關(guān)鍵動(dòng)力。特別是在人工智能(ai)技術(shù)的驅(qū)動(dòng)下，各行各業(yè)都在經(jīng)歷著前所未有的變革。在低空經(jīng)濟(jì)領(lǐng)域，無(wú)人機(jī)技術(shù)的應(yīng)用日益廣泛，無(wú)人機(jī)可以攜帶各種圖像傳感器進(jìn)行交通偵察、環(huán)境監(jiān)測(cè)和災(zāi)害救援等多種應(yīng)用。然而，在夜間和陰天等光線不足的低照度條件下，無(wú)人機(jī)航拍受到光照條件的限制，其航拍圖像的質(zhì)量往往難以滿足高精度目標(biāo)檢測(cè)的需求。這一局限性不僅限制了無(wú)人機(jī)在低空視覺(jué)監(jiān)測(cè)場(chǎng)景下的應(yīng)用，也影響了人工智能技術(shù)在這些場(chǎng)景下的適配度和應(yīng)用水平。

2、傳統(tǒng)ai視覺(jué)監(jiān)測(cè)場(chǎng)景下，可見(jiàn)光圖像因其具有較高的空間分辨率和豐富的色彩信息，能夠清晰顯示目標(biāo)的細(xì)節(jié)和外觀特征，容易被人眼識(shí)別和理解等特點(diǎn)而被廣泛使用。然而，在低照度條件下，可見(jiàn)光圖像的表現(xiàn)受到限制，可能出現(xiàn)噪聲增加、對(duì)比度降低等問(wèn)題，導(dǎo)致目標(biāo)檢測(cè)的準(zhǔn)確性下降。然而，紅外圖像通過(guò)捕獲目標(biāo)的熱輻射信息，不受光照條件限制，因此在夜間或低光條件下仍能有效地檢測(cè)目標(biāo)。但相比可見(jiàn)光圖像，紅外圖像的空間分辨率通常較低，難以展現(xiàn)目標(biāo)的細(xì)微結(jié)構(gòu)和細(xì)節(jié)特征，尤其是在復(fù)雜背景或目標(biāo)密集的場(chǎng)景中，可能無(wú)法準(zhǔn)確區(qū)分目標(biāo)和背景。

3、基于上述背景，在低照度條件下，雙光成像技術(shù)通過(guò)同時(shí)獲取目標(biāo)的可見(jiàn)光圖像和紅外圖像，利用兩種圖像的優(yōu)勢(shì)互補(bǔ)，可以顯著提高目標(biāo)檢測(cè)的準(zhǔn)確性?，F(xiàn)有雙光目標(biāo)檢測(cè)方法主要圍繞圖像配準(zhǔn)融合、深度特征融合以及后處理策略融合進(jìn)行研究。其中，圖像特征配準(zhǔn)算法利用圖像的內(nèi)在特征匹配關(guān)系進(jìn)行圖像配準(zhǔn)和融合，對(duì)于圖像中的紋理和形狀變化具有較好的適應(yīng)性，但在特征提取和匹配過(guò)程可能受噪聲影響，導(dǎo)致匹配錯(cuò)誤而增加融合過(guò)程中的信息損失。深度特征融合利用深度學(xué)習(xí)的特征提取能力分別提取兩種圖像的特征，然后在特征層面上進(jìn)行融合，然而由于雙光傳感器未對(duì)齊，融合模型難以學(xué)習(xí)到有用的特征表示。后處理策略融合首先對(duì)兩種數(shù)據(jù)分別進(jìn)行學(xué)習(xí)，然后根據(jù)兩種圖像的特性對(duì)輸出結(jié)果制定融合策略，可以靈活地根據(jù)圖像的特點(diǎn)選擇不同的融合策略，但后處理融合無(wú)法解決圖像之間的根本性差異，且依賴大量的先驗(yàn)知識(shí)，受限于后處理算法的設(shè)計(jì)?？梢?jiàn)，如何有效利用雙光數(shù)據(jù)的互補(bǔ)特性，減少信息損失，從而設(shè)計(jì)出在低照度條件下高精度和高魯棒性的雙光目標(biāo)檢測(cè)方法仍是現(xiàn)階段的研究重點(diǎn)與難點(diǎn)。

技術(shù)實(shí)現(xiàn)思路

1、針對(duì)現(xiàn)有技術(shù)中所存在的不足，本發(fā)明提供了一種雙光目標(biāo)檢測(cè)增強(qiáng)方法、系統(tǒng)及電子設(shè)備，其解決了現(xiàn)有技術(shù)中存在的缺乏低照度條件下高精度和高魯棒性的雙光目標(biāo)檢測(cè)的問(wèn)題。

2、第一方面，根據(jù)本發(fā)明的實(shí)施例，提供了一種雙光目標(biāo)檢測(cè)增強(qiáng)方法，用于在閾值照度以下時(shí)進(jìn)行增強(qiáng)目標(biāo)檢測(cè)，所述一種雙光目標(biāo)檢測(cè)增強(qiáng)方法包括以下步驟：s1、獲取可見(jiàn)光圖像和紅外圖像，并對(duì)所獲取的可見(jiàn)光圖像進(jìn)行圖像增強(qiáng)；s2、獲取紅外目標(biāo)檢測(cè)模型和可見(jiàn)光目標(biāo)檢測(cè)模型，其中，所述紅外目標(biāo)檢測(cè)模型和所述可見(jiàn)光目標(biāo)檢測(cè)模型分別對(duì)紅外圖像訓(xùn)練集和可見(jiàn)光圖像訓(xùn)練集訓(xùn)練得到，用于獲取圖像中的不同類別的目標(biāo)以及位置；s3、將增強(qiáng)后的可見(jiàn)光圖像輸入到所述可見(jiàn)光目標(biāo)檢測(cè)模型中，檢測(cè)到可見(jiàn)光圖像中相應(yīng)類別的目標(biāo)及位置；s4、將所獲取的紅外圖像輸入到所述紅外目標(biāo)檢測(cè)模型中，檢測(cè)到紅外圖像中相應(yīng)類別的目標(biāo)及位置；s5、使用局部特征網(wǎng)絡(luò)loftr圖像特征點(diǎn)匹配算法對(duì)增強(qiáng)后的可見(jiàn)光圖像和所獲取的紅外圖像進(jìn)行圖像配準(zhǔn)，以獲取配準(zhǔn)后的匹配特征點(diǎn)集；s6、根據(jù)匹配特征點(diǎn)集以及可見(jiàn)光圖像特征圖中的相應(yīng)類別的目標(biāo)計(jì)算檢測(cè)目標(biāo)對(duì)應(yīng)在可見(jiàn)光圖像和紅外圖像間的偏移量，再利用偏移量將可見(jiàn)光圖像的檢測(cè)結(jié)果映射到紅外圖像中的檢測(cè)結(jié)果并進(jìn)行檢測(cè)結(jié)果融合。

3、根據(jù)本發(fā)明的實(shí)施例，所述圖像增強(qiáng)采用多尺度retinex算法。

4、根據(jù)本發(fā)明的實(shí)施例，所述紅外目標(biāo)檢測(cè)模型和所述可見(jiàn)光目標(biāo)檢測(cè)模型采用yolo算法訓(xùn)練得到。

5、根據(jù)本發(fā)明的實(shí)施例，所述圖像配準(zhǔn)包括以下步驟：s51、由局部特征卷積神經(jīng)網(wǎng)絡(luò)提取所述紅外圖像和增強(qiáng)后的可見(jiàn)光圖像的粗粒度特征圖和細(xì)粒度特征圖；s52、利用局部特征網(wǎng)絡(luò)loftr進(jìn)一步對(duì)所述紅外圖像的粗粒度特征圖和可見(jiàn)光圖像的粗粒度特征圖進(jìn)行特征提取，以得到特征矩陣；s53、基于所述紅外圖像的特征矩陣和所述可見(jiàn)光圖像的特征矩陣，利用互近鄰算法得到粗粒度匹配特征點(diǎn)集；s54、將所得到的粗粒度匹配特征點(diǎn)集定位到對(duì)應(yīng)的細(xì)粒度特征圖中，截取預(yù)設(shè)大小的窗口，并使用與所述窗口對(duì)應(yīng)大小的局部特征網(wǎng)絡(luò)loftr對(duì)所述窗口內(nèi)的特征進(jìn)行轉(zhuǎn)換，以得到配準(zhǔn)后的匹配特征點(diǎn)集。

6、根據(jù)本發(fā)明的實(shí)施例，根據(jù)匹配特征點(diǎn)集以及可見(jiàn)光圖像特征圖中的相應(yīng)類別的目標(biāo)計(jì)算檢測(cè)目標(biāo)對(duì)應(yīng)在可見(jiàn)光圖像和紅外圖像間的偏移量包括以下步驟：s61、基于檢測(cè)到的相應(yīng)類別的目標(biāo)構(gòu)建容納所述類別的多個(gè)目標(biāo)檢測(cè)框，并基于所述多個(gè)目標(biāo)檢測(cè)框過(guò)濾所述匹配特征點(diǎn)集，以過(guò)濾待檢測(cè)類別以外的物體，并分別獲得紅外圖像和可見(jiàn)光圖像中的多個(gè)目標(biāo)檢測(cè)框內(nèi)的匹配特征點(diǎn)子集；s62、對(duì)于每個(gè)目標(biāo)檢測(cè)框，計(jì)算所述匹配特征點(diǎn)子集內(nèi)所有匹配特征點(diǎn)在水平軸和垂直軸的差值的平均值作為偏移量。

7、根據(jù)本發(fā)明的實(shí)施例，所述匹配特征點(diǎn)子集還基于預(yù)設(shè)偏移閾值進(jìn)行過(guò)濾。

8、根據(jù)本發(fā)明的實(shí)施例，每個(gè)匹配特征點(diǎn)子集還基于預(yù)設(shè)特征點(diǎn)數(shù)量閾值進(jìn)行過(guò)濾。

9、根據(jù)本發(fā)明的實(shí)施例，所述檢測(cè)結(jié)果融合基于加權(quán)框融合算法進(jìn)行。

10、第二方面，根據(jù)本發(fā)明的另一實(shí)施例，提供了一種雙光目標(biāo)檢測(cè)增強(qiáng)系統(tǒng)，被配置為采用如第一方面所述的一種雙光目標(biāo)檢測(cè)增強(qiáng)方法進(jìn)行增強(qiáng)目標(biāo)檢測(cè)，其特征在于，所述一種雙光目標(biāo)檢測(cè)增強(qiáng)系統(tǒng)包括：圖像獲取模塊，包括可見(jiàn)光相機(jī)和紅外相機(jī)，用于分別獲取可見(jiàn)光圖像和紅外圖像；數(shù)據(jù)增強(qiáng)模塊，用于對(duì)可見(jiàn)光圖像進(jìn)行數(shù)據(jù)增強(qiáng)；目標(biāo)檢測(cè)模塊，用于對(duì)可見(jiàn)光圖像和紅外圖像進(jìn)行檢測(cè)得到對(duì)應(yīng)圖像中各個(gè)目標(biāo)的類別以及位置信息；圖像配準(zhǔn)模塊，用于可見(jiàn)光圖像和紅外圖像的圖像配準(zhǔn)，以及可見(jiàn)光圖像檢測(cè)結(jié)果對(duì)應(yīng)在紅外圖像中的偏移量計(jì)算，從而將可見(jiàn)光檢測(cè)結(jié)果映射到紅外圖像中；結(jié)果融合模塊，用于將可見(jiàn)光圖像映射到紅外圖像的檢測(cè)結(jié)果與紅外圖像檢測(cè)結(jié)果的后處理融合過(guò)濾，得到最終的檢測(cè)結(jié)果。

11、第三方面，根據(jù)本發(fā)明的又一實(shí)施例，提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器；以及存儲(chǔ)器，其中存儲(chǔ)器用于存儲(chǔ)可執(zhí)行指令；所述一個(gè)或多個(gè)處理器被配置為經(jīng)由執(zhí)行所述可執(zhí)行指令以實(shí)現(xiàn)第一方面所述方法的步驟。

12、本發(fā)明的技術(shù)原理為：在局部特征網(wǎng)絡(luò)loftr圖像特征點(diǎn)匹配算法中，額外考慮了目標(biāo)檢測(cè)結(jié)果，并且針對(duì)每個(gè)檢測(cè)到的目標(biāo)進(jìn)行單獨(dú)的目標(biāo)匹配，以及后續(xù)的結(jié)果融合。

13、相比于現(xiàn)有技術(shù)，通過(guò)上述操作，使得圖像中目標(biāo)配準(zhǔn)更加準(zhǔn)確，使得最后得到的目標(biāo)檢測(cè)結(jié)果更精確。此外，該方法對(duì)于可見(jiàn)光圖像和紅外圖像存在時(shí)間差、雙光傳感器未對(duì)齊、以及圖像中的目標(biāo)存在相對(duì)運(yùn)動(dòng)的情況尤其有用。

技術(shù)特征：

1.一種雙光目標(biāo)檢測(cè)增強(qiáng)方法，用于在閾值照度以下時(shí)進(jìn)行增強(qiáng)目標(biāo)檢測(cè)，其特征在于，所述一種雙光目標(biāo)檢測(cè)增強(qiáng)方法包括以下步驟：

2.如權(quán)利要求1所述的一種雙光目標(biāo)檢測(cè)增強(qiáng)方法，其特征在于，所述圖像增強(qiáng)采用多尺度retinex算法。

3.如權(quán)利要求1所述的一種雙光目標(biāo)檢測(cè)增強(qiáng)方法，其特征在于，所述紅外目標(biāo)檢測(cè)模型和所述可見(jiàn)光目標(biāo)檢測(cè)模型采用yolo算法訓(xùn)練得到。

4.如權(quán)利要求1所述的一種雙光目標(biāo)檢測(cè)增強(qiáng)方法，其特征在于，所述圖像配準(zhǔn)包括以下步驟：

5.如權(quán)利要求1所述的一種雙光目標(biāo)檢測(cè)增強(qiáng)方法，其特征在于，根據(jù)匹配特征點(diǎn)集以及可見(jiàn)光圖像特征圖中的相應(yīng)類別的目標(biāo)計(jì)算檢測(cè)目標(biāo)對(duì)應(yīng)在可見(jiàn)光圖像和紅外圖像間的偏移量包括以下步驟：

6.如權(quán)利要求5所述的一種雙光目標(biāo)檢測(cè)增強(qiáng)方法，其特征在于，每個(gè)匹配特征點(diǎn)子集還基于預(yù)設(shè)特征點(diǎn)數(shù)量閾值進(jìn)行過(guò)濾。

7.如權(quán)利要求5所述的一種雙光目標(biāo)檢測(cè)增強(qiáng)方法，其特征在于，所述匹配特征點(diǎn)子集還基于預(yù)設(shè)偏移閾值進(jìn)行過(guò)濾。

8.如權(quán)利要求1所述的一種雙光目標(biāo)檢測(cè)增強(qiáng)方法，其特征在于，所述檢測(cè)結(jié)果融合基于加權(quán)框融合算法進(jìn)行。

9.一種雙光目標(biāo)檢測(cè)增強(qiáng)系統(tǒng)，被配置為采用如權(quán)利要求1-8中任一項(xiàng)所述的一種雙光目標(biāo)檢測(cè)增強(qiáng)方法進(jìn)行增強(qiáng)目標(biāo)檢測(cè)，其特征在于，所述一種雙光目標(biāo)檢測(cè)增強(qiáng)系統(tǒng)包括：

10.一種電子設(shè)備，其特征在于，包括：

技術(shù)總結(jié)
本發(fā)明提供了一種雙光目標(biāo)檢測(cè)增強(qiáng)方法、系統(tǒng)及電子設(shè)備。所述一種雙光目標(biāo)檢測(cè)增強(qiáng)方法在局部特征網(wǎng)絡(luò)LoFTR圖像特征點(diǎn)匹配算法中，額外考慮了目標(biāo)檢測(cè)結(jié)果，并且針對(duì)每個(gè)檢測(cè)到的目標(biāo)進(jìn)行單獨(dú)的目標(biāo)匹配，以及后續(xù)的結(jié)果融合。相比于現(xiàn)有技術(shù)，通過(guò)上述操作，使得圖像中目標(biāo)配準(zhǔn)更加準(zhǔn)確，使得最后得到的目標(biāo)檢測(cè)結(jié)果更精確。此外，該方法對(duì)于可見(jiàn)光圖像和紅外圖像存在時(shí)間差、雙光傳感器未對(duì)齊、以及圖像中的目標(biāo)存在相對(duì)運(yùn)動(dòng)的情況尤其有用。

技術(shù)研發(fā)人員：易長(zhǎng)江,尹覺(jué)新,田平,段崇禧,吳洋,茍藝頻,張婷婷
受保護(hù)的技術(shù)使用者：重慶市中冉數(shù)字科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10