本發(fā)明涉及圖像處理，更具體的說(shuō)是涉及一種低光照條件下的目標(biāo)檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、近年來(lái)，目標(biāo)檢測(cè)領(lǐng)域已經(jīng)取得顯著進(jìn)展，并在多個(gè)領(lǐng)域被廣泛使用，取得了突出成就。但是，目前大多數(shù)檢測(cè)器在特征信息充分的正常光照條件下能夠?qū)崿F(xiàn)良好的檢測(cè)效果，在低光照或黑暗環(huán)境中，特征信息不足時(shí)，其檢測(cè)精度不佳。而低光場(chǎng)景在實(shí)際情況中是不可避免的情況，如夜間、陰雨天和陰影條件。因此，加強(qiáng)對(duì)低光場(chǎng)景下的目標(biāo)檢測(cè)研究顯得尤為重要。

2、目前主流的實(shí)時(shí)檢測(cè)算法主要采用單階段檢測(cè)器，例如基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的yolo系列。同時(shí)，融合transformer和mamba的檢測(cè)器也逐漸被應(yīng)用于實(shí)時(shí)檢測(cè)。上述這些檢測(cè)算法通常先通過(guò)輕量化的主干網(wǎng)絡(luò)提取特征，然后將得到的不同尺度特征圖送入特征融合網(wǎng)絡(luò)進(jìn)行多尺度間的特征融合。大量的研究表明，主干網(wǎng)絡(luò)和特征融合網(wǎng)絡(luò)的配合使用能夠大大提高檢測(cè)精度，主干網(wǎng)絡(luò)對(duì)先對(duì)原始圖像進(jìn)行特征提取，在不同階段得到不同尺度的特征圖，然后將得到的多尺度特征圖送入特征融合網(wǎng)絡(luò)進(jìn)行不同尺度的特征融合，特征融合網(wǎng)絡(luò)的使用能夠大幅度增加檢測(cè)精度，對(duì)最終得到準(zhǔn)確的目標(biāo)語(yǔ)義信息至關(guān)重要。

3、上述的這些檢測(cè)器的主干網(wǎng)絡(luò)進(jìn)行特征提取時(shí)，使用增加特征圖通道數(shù)的下采樣方式獲取不同尺度的特征，在每個(gè)階段進(jìn)行特征提取完成后，垂直向上進(jìn)行下一階段的特征提取。隨著網(wǎng)絡(luò)深度的增加，網(wǎng)絡(luò)能夠捕獲到更高級(jí)別的語(yǔ)義信息。通常情況下，低層特征圖提取到的語(yǔ)義信息有助于檢測(cè)小目標(biāo)，高層特征圖提取到的信息專注于大目標(biāo)的檢測(cè)。這種特征提取方式雖能夠提取到絕大多數(shù)的有效信息，但可能會(huì)丟失部分細(xì)節(jié)信息。因?yàn)椋谙蛳虏蓸拥倪^(guò)程中得到的是更高層語(yǔ)義信息，保留的是上一階段特征圖相對(duì)于本階段來(lái)說(shuō)最重要的信息，但是會(huì)丟失一部分對(duì)于下一階段有用的信息，這會(huì)降低最終檢測(cè)效果。

4、在現(xiàn)有的特征提取網(wǎng)絡(luò)中，以特征金字塔網(wǎng)絡(luò)(fpn)的使用最為廣泛。fpn通過(guò)上自上而下的上采樣和橫向連接方式將相鄰特征圖進(jìn)行融合，結(jié)合高層特征圖具有豐富語(yǔ)義信息和低層特征圖具有豐富的位置信息的特點(diǎn)，得到具有更加豐富語(yǔ)義信息的新特征圖。為了使高層特征圖具有更加精確的位置信息，在fpn的基礎(chǔ)上產(chǎn)生了路徑聚合網(wǎng)絡(luò)(panet)，panet在多種數(shù)據(jù)集上表現(xiàn)優(yōu)異。panet也是目前大多數(shù)檢測(cè)器中被廣泛使用的特征融合網(wǎng)絡(luò)。

5、但是，這種融合方式存在尺度之間不一致的問(wèn)題，對(duì)于圖像中同時(shí)存在大目標(biāo)和小目標(biāo)時(shí)，不同尺寸的特征圖進(jìn)行融合后，對(duì)于目標(biāo)的關(guān)注度會(huì)發(fā)生沖突，出現(xiàn)高層特征的目標(biāo)被視為重要信息，從而忽略低層特征的目標(biāo)的重要程度，這將對(duì)梯度的計(jì)算產(chǎn)生影響，降低最終模型的檢測(cè)精度。

6、自適應(yīng)空間特征融合(asff)對(duì)不同特征圖的信息進(jìn)行過(guò)濾處理，緩解了尺度間不一致導(dǎo)致的語(yǔ)義沖突。雖然，asff能夠處理同一位置存在矛盾信息的問(wèn)題，但是，高層特征圖向低層特征圖進(jìn)行對(duì)齊時(shí)，由于高層特征圖的語(yǔ)義信息更為豐富，目標(biāo)的尺寸更大，更加容易被檢測(cè)到，會(huì)出在低層特征圖將高層中的目標(biāo)視為主要信息的情況。此外，由于高層特征圖的目標(biāo)大，也存在被高層特征圖中的目標(biāo)被低層特征圖視為背景的情況。針對(duì)這些問(wèn)題，在結(jié)合pafpn和asff的基礎(chǔ)上，提出前向空間自適應(yīng)補(bǔ)償特征融合網(wǎng)絡(luò)(fscff)，在高層特征圖與低層特征圖進(jìn)行互相之間充分融合之后，針對(duì)每層的特征圖進(jìn)行前向特征融合，只將低層特征圖像高層特征圖進(jìn)行自適應(yīng)的空間融合，防止出現(xiàn)高層特征在低層特征圖中占主導(dǎo)地位的情況。

7、因此，如何有效提高在低光條件下實(shí)時(shí)檢測(cè)器的檢測(cè)精度是本領(lǐng)域技術(shù)人員亟需解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種低光照條件下的目標(biāo)檢測(cè)方法及系統(tǒng)，以解決背景技術(shù)中的問(wèn)題。

2、為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

3、一方面，本發(fā)明公開(kāi)了一種低光照條件下的目標(biāo)檢測(cè)方法，包括：

4、獲取低光暗光數(shù)據(jù)構(gòu)建低光數(shù)據(jù)集；

5、利用低光數(shù)據(jù)集對(duì)rfsc-net檢測(cè)模型進(jìn)行訓(xùn)練，得到低光檢測(cè)模型；其中，所述rfsc-net檢測(cè)模型使用repelan作為主干網(wǎng)絡(luò)的主分支，進(jìn)行特征的提取，在主分支的每個(gè)階段，使用無(wú)參下采樣進(jìn)行圖像信息的細(xì)節(jié)保存；主分支與無(wú)參下采樣分支進(jìn)行可學(xué)習(xí)的特征融合，自適應(yīng)的進(jìn)行調(diào)節(jié)特征融合的權(quán)重比例；在特征融合網(wǎng)絡(luò)部分，使用gcgelan結(jié)構(gòu)進(jìn)行特征融合；在pafpn的基礎(chǔ)上，使用gcgelan以及同層的identity連接；使用lahsff將低層特征層向高層特征層進(jìn)行自適應(yīng)的特征融合；

6、將待檢測(cè)的低光圖像輸入低光檢測(cè)模型，獲得低光場(chǎng)景檢測(cè)結(jié)果。

7、優(yōu)選的，在上述的一種低光照條件下的目標(biāo)檢測(cè)方法中，主干網(wǎng)絡(luò)的主分支，repelan采用與elan的多分支結(jié)構(gòu)設(shè)計(jì)，使用多分支結(jié)構(gòu)進(jìn)行特征提取捕獲到不同大小感受野的特征，在多分支設(shè)計(jì)的基礎(chǔ)上，repealn去除了elan第一個(gè)分支中的1×1卷積，在進(jìn)行卷積后進(jìn)行多分支操作，drepbottleneck中使用的是兩個(gè)重參數(shù)化的3×3卷積，進(jìn)行shortcut連接。

8、優(yōu)選的，在上述的一種低光照條件下的目標(biāo)檢測(cè)方法中，在主分支的每個(gè)階段均設(shè)置有spd-conv；在每次的下采樣卷積操作之前進(jìn)行spd-conv下采樣操作，保留更多淺層的細(xì)節(jié)信息，補(bǔ)償?shù)礁邔犹卣鲌D。

9、優(yōu)選的，在上述的一種低光照條件下的目標(biāo)檢測(cè)方法中，補(bǔ)償?shù)礁邔犹卣鲌D具體步驟：

10、獲取與主分支相同輸入的特征圖；

11、對(duì)特征圖進(jìn)行無(wú)參下采樣進(jìn)行淺層語(yǔ)義信息的保存；

12、最后的輸出特征圖與主分支中repelan的輸出進(jìn)行融合。

13、優(yōu)選的，在上述的一種低光照條件下的目標(biāo)檢測(cè)方法中，可學(xué)習(xí)的特征融合使用快速歸一化融合方式進(jìn)行特征融合，權(quán)重歸一化融合的方式如下：

14、

15、其中wj是wi經(jīng)過(guò)激活函數(shù)silu后得到的，wi是可學(xué)習(xí)的參數(shù)，ii是進(jìn)行融合的第i個(gè)特征圖，ε是為了防止出現(xiàn)數(shù)值不穩(wěn)定設(shè)置的一個(gè)非常小的數(shù)，n是進(jìn)行融合的特征圖的個(gè)數(shù)，pi為融合過(guò)后輸出的特征圖。

16、優(yōu)選的，在上述的一種低光照條件下的目標(biāo)檢測(cè)方法中，在pafpn的基礎(chǔ)上，使用gcgelan以及同層的identity連接，結(jié)合cspnet和elan兩種架構(gòu)，在內(nèi)部，gelan使用repconv替換普通卷積，使用repncsp結(jié)構(gòu)，在csp結(jié)構(gòu)中使用重參數(shù)卷積，repncsp內(nèi)部的分支獲取到多分支的特征信息，提取到更豐富的語(yǔ)義信息，使用global?context注意力機(jī)制進(jìn)行特征的篩選處理，對(duì)identity的特征圖在先在空間上進(jìn)行空間注意力，然后串行連接通道注意力。

17、優(yōu)選的，在上述的一種低光照條件下的目標(biāo)檢測(cè)方法中，gcgelan結(jié)構(gòu)的操作具體步驟為：

18、經(jīng)過(guò)一個(gè)1×1的卷積后分別進(jìn)行g(shù)c注意力操作和gelan的操作；

19、兩個(gè)分分支的操作完成后進(jìn)行concat拼接和1×1卷積進(jìn)行特征融合。

20、優(yōu)選的，在上述的一種低光照條件下的目標(biāo)檢測(cè)方法中，使用lahsff將低層特征層向高層特征層進(jìn)行自適應(yīng)的特征融合的操作步驟：

21、lahsff先將不同層的特征圖進(jìn)行縮放到相同大?。?/p>

22、將縮放后的特征圖進(jìn)行自適應(yīng)融合操作；

23、輸出大小和通道數(shù)與本層的輸入相同融合后的特征圖。

24、優(yōu)選的，在上述的一種低光照條件下的目標(biāo)檢測(cè)方法中，特征圖進(jìn)行自適應(yīng)特征融合，融合的公式如下：

25、

26、其中，l表示當(dāng)前對(duì)應(yīng)的層數(shù)，k表示來(lái)自第k層的特征圖，xijk->l表示來(lái)自第k層的輸入縮放到第l層大小后的特征圖，其中ij表示特征圖中每個(gè)空間位置坐標(biāo)，αijk->l表示對(duì)應(yīng)特征圖的每個(gè)位置的權(quán)重，yijl表示特征融合后輸出的特征圖，由第l層的特征圖融合過(guò)后得到；αijk->l的計(jì)算公式如下：

27、

28、公式通過(guò)softmax激活函數(shù)完成，進(jìn)行歸一化處理后，權(quán)重系數(shù)的取值范圍被限制在區(qū)間[0-1]。

29、另一方面，本發(fā)明公開(kāi)了一種低光照條件下的目標(biāo)檢測(cè)系統(tǒng)，應(yīng)用上述方法，包括：

30、數(shù)據(jù)集獲取模塊，用于獲取低光暗光數(shù)據(jù)構(gòu)建低光數(shù)據(jù)集；

31、模型訓(xùn)練模塊，用于利用低光數(shù)據(jù)集對(duì)rfsc-net模型進(jìn)行訓(xùn)練，得到低光檢測(cè)模型；

32、低光檢測(cè)模塊，將待檢測(cè)的低光圖像輸入到低光檢測(cè)模型中，獲得行低光結(jié)果。

33、經(jīng)由上述的技術(shù)方案可知，與現(xiàn)有技術(shù)相比，本發(fā)明公開(kāi)提供了一種低光照條件下的目標(biāo)檢測(cè)方法及系統(tǒng)，通過(guò)使用repelan作為主干網(wǎng)絡(luò)的主分支，進(jìn)行特征的提取，減少網(wǎng)絡(luò)開(kāi)銷和提升網(wǎng)絡(luò)性能；在主分支的每個(gè)階段，使用無(wú)參下采樣進(jìn)行圖像信息的細(xì)節(jié)保存；主分支與無(wú)參下采樣分支進(jìn)行可學(xué)習(xí)的特征融合，模型可自適應(yīng)的進(jìn)行調(diào)節(jié)特征融合的權(quán)重比例；在特征融合網(wǎng)絡(luò)部分，使用gcgelan結(jié)構(gòu)進(jìn)行特征融合，在低參數(shù)量的情況下保證較高的精度；在pafpn的基礎(chǔ)上，對(duì)p4和p5特征層使用identity連接，彌補(bǔ)前向過(guò)程中信息的損失；使用lahsff將低層特征層向高層特征層進(jìn)行自適應(yīng)的特征融合，增加高層特征圖中的細(xì)節(jié)信息。本方法，有效的提高了在低光條件下實(shí)時(shí)檢測(cè)器的檢測(cè)精度。