本發(fā)明涉及一種基于特征重組分配的航拍圖像弱小目標(biāo)檢測方法、系統(tǒng)、介質(zhì)及產(chǎn)品?，屬于航拍圖像處理。

背景技術(shù)：

1、航拍圖像在無人機監(jiān)控、環(huán)境監(jiān)測及災(zāi)害響應(yīng)等領(lǐng)域展現(xiàn)出了不可或缺的價值，其廣泛覆蓋的區(qū)域特性尤為重要。然而，航拍圖像中常包含的小尺寸目標(biāo)，如行人、小型車輛等，因其在圖像中所占像素極少，給高效準(zhǔn)確的目標(biāo)檢測帶來了巨大挑戰(zhàn)?，F(xiàn)有技術(shù)中，目標(biāo)檢測方法多依賴于深度學(xué)習(xí)的骨干網(wǎng)絡(luò)backbone，在多次下采樣過程中容易削弱甚至丟失小尺寸目標(biāo)的特征信息，從而限制了檢測效果。

2、為了應(yīng)對上述難題，科研界推出了多種數(shù)據(jù)集，如microsoft?coco、pascal?voc以及專為遙感圖像設(shè)計的目標(biāo)檢測數(shù)據(jù)集，極大地豐富了研究環(huán)境，提供了多樣化的實驗場景。但值得注意的是，遙感圖像中的目標(biāo)檢測尤為復(fù)雜，因目標(biāo)尺寸微小、圖像間尺度與拍攝角度差異顯著，且易受氣象條件與自然環(huán)境干擾，背景信息極其復(fù)雜，進(jìn)一步加劇了檢測的難度。

3、在微小目標(biāo)檢測領(lǐng)域，基于卷積神經(jīng)網(wǎng)絡(luò)cnn的技術(shù)經(jīng)歷了從兩階段（如fasterrcnn）到單階段（如yolo系列），再到結(jié)合transformer的創(chuàng)新發(fā)展，上述方法在提高檢測精度的同時力求保持實時性。然而，面對數(shù)據(jù)集中富含微小物體的圖像時，現(xiàn)有方法的檢測性能仍顯不足。

4、為彌補這一缺陷，研究者們積極探索多種改進(jìn)策略，包括設(shè)計新型網(wǎng)絡(luò)結(jié)構(gòu)以優(yōu)化骨干網(wǎng)，通過增加網(wǎng)絡(luò)深度或?qū)挾葋碓鰪娞卣魈崛∧芰?，改進(jìn)交并比iou評估方法以提高定位精度，以及引入注意力機制來聚焦關(guān)鍵信息。此外，跨層特征融合技術(shù)也成為研究熱點，特征金字塔網(wǎng)絡(luò)fpn、路徑聚合網(wǎng)絡(luò)panet、自適應(yīng)空間特征融合asff等結(jié)構(gòu)及交叉注意力和自注意力機制的引入，有效提升了模型對多尺度目標(biāo)的檢測能力。然而，這些進(jìn)步往往伴隨著計算成本的增加和模型復(fù)雜度的提升，如何在保持高效性的同時進(jìn)一步優(yōu)化檢測性能，成為當(dāng)前研究的重要方向。

5、公開于該背景技術(shù)部分的信息僅僅旨在增加對本發(fā)明的總體背景的理解，而不應(yīng)當(dāng)被視為承認(rèn)或以任何形式暗示該信息構(gòu)成已為本領(lǐng)域普通技術(shù)人員所公知的現(xiàn)有技術(shù)。

技術(shù)實現(xiàn)思路

1、本發(fā)明所要解決的技術(shù)問題是：由于現(xiàn)有技術(shù)中因骨干網(wǎng)絡(luò)在多次下采樣過程中容易削弱甚至丟失小尺寸目標(biāo)的特征信息而導(dǎo)致航拍圖像弱小目標(biāo)檢測不準(zhǔn)確的問題。

2、為解決上述技術(shù)問題，本發(fā)明是采用下述技術(shù)方案實現(xiàn)的。

3、第一方面，本發(fā)明提供一種基于特征重組分配的航拍圖像弱小目標(biāo)檢測方法，包括

4、獲取待檢測的航拍圖像；

5、將待檢測的航拍圖像，輸入訓(xùn)練好的航拍圖像小目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行檢測，獲得小目標(biāo)識別結(jié)果；

6、將小目標(biāo)識別結(jié)果標(biāo)記到待檢測的航拍圖像的小目標(biāo)位置上，輸出包含小目標(biāo)識別結(jié)果的航拍圖像；

7、其中，所述航拍圖像小目標(biāo)檢測網(wǎng)絡(luò)包括：

8、下采樣骨干網(wǎng)絡(luò)，包括卷積模塊和跨層部分連接模塊；所述卷積模塊用于航拍圖像進(jìn)行特征提取，得到航拍特征圖，通過對航拍特征圖進(jìn)行多次下采樣操作，獲取最后三次下采樣獲得的每一層下采樣特征；所述跨層部分連接模塊用于在下采樣過程中，對每一層航拍特征圖進(jìn)行額外的卷積操作，調(diào)整每一層航拍特征圖維度；

9、特征重整模塊，用于從特征提取過程中產(chǎn)生的冗余或重復(fù)的特征信息中提煉信息，生成攜帶關(guān)鍵冗余特征信息的重整特征reif；

10、特征分配模塊，用于將重整特征reif和最后三次下采樣獲得的每一層下采樣特征依次進(jìn)行通道對齊和尺寸調(diào)整后，分別送入關(guān)鍵信息融合模塊的三個分支；

11、關(guān)鍵信息融合模塊，用于將重整特征reif中的小目標(biāo)特征與最后三次下采樣獲得的每一層下采樣特征分別進(jìn)行融合，得到融合后的三分支特征；

12、特征金字塔網(wǎng)絡(luò)fpn和目標(biāo)檢測頭，用于對融合后的三分支特征進(jìn)行小目標(biāo)識別。

13、進(jìn)一步地，還包括，在得到融合后的三分支特征之后，將融合后的三分支特征依次輸入特征金字塔網(wǎng)絡(luò)fpn和目標(biāo)檢測頭，進(jìn)行小目標(biāo)識別。

14、進(jìn)一步地，通過對航拍特征圖進(jìn)行多次下采樣操作，獲取最后三次下采樣獲得的每一層下采樣特征的方法，包括：

15、利用下采樣骨干網(wǎng)絡(luò)對航拍圖像，進(jìn)行特征分級提取得到航拍特征圖，通過五次下采樣操作，逐步降低航拍特征圖的尺寸，同時保持航拍特征圖中特征的語義信息，在最后三次下采樣完成時，獲得的每一層下采樣特征。

16、進(jìn)一步地，利用特征重整模塊從特征提取過程中產(chǎn)生的冗余或重復(fù)的特征信息中提煉信息，生成攜帶關(guān)鍵冗余特征信息的重整特征reif的方法，包括：

17、在最后四次下采樣操作完成后，獲取包含后四層下采樣特征的航拍特征圖；

18、將包含后四層下采樣特征的航拍特征圖，利用通道對齊卷積轉(zhuǎn)換為通道對齊特征圖，獲得對齊后的四個特征張量cap2，cap3，cap4，cap5；

19、將對齊后的四個特征張量進(jìn)行通道維度的concat拼接后，依次通過卷積，歸一化和relu激活操作，將通道數(shù)變換為后三個下采樣層的通道數(shù)之和，生成攜帶關(guān)鍵冗余特征信息的重整特征reif。

20、進(jìn)一步地，利用特征重整模塊從特征提取過程中產(chǎn)生的冗余或重復(fù)的特征信息中提煉信息，生成攜帶關(guān)鍵冗余特征信息的重整特征reif，將重整特征reif表示為：

21、；

22、式中，表示在通道維度的拼接操作，cap2表示第二層特征圖的通道對齊特征，cap3表示第三層特征圖的通道對齊特征，cap4表示第四層特征圖的通道對齊特征，cap5表示第五層特征圖的通道對齊特征。

23、進(jìn)一步地，在將重整特征reif中的小目標(biāo)特征與后三層下采樣特征分別進(jìn)行融合之前，對重整特征reif進(jìn)行分割操作，在通道維度上將重整特征reif分割為與包含下采樣特征的航拍特征圖通道數(shù)量相匹配的三部分。

24、進(jìn)一步地，利用尺度自適應(yīng)縮放操作將重整特征reif的特征尺寸和關(guān)鍵信息融合模塊三個分支中的下采樣特征尺寸對齊，包括：

25、當(dāng)包含下采樣特征的航拍特征圖尺寸過大時，對包含重整特征reif的航拍特征圖進(jìn)行平均池化，縮小包含重整特征reif的航拍特征圖尺寸，當(dāng)包含下采樣特征的航拍特征圖尺寸過小時，使用雙線性插值方法對包含下采樣特征的航拍特征圖尺寸進(jìn)行放大。

26、進(jìn)一步地，將對重整特征reif進(jìn)行尺度自適應(yīng)縮放操作表示為：

27、；

28、式中，表示尺寸調(diào)整后的重整特征，表示重整特征的尺寸，表示輸出分支p的特征層尺寸，averagepool（）表示使用平均池化方法對航拍特征圖尺寸進(jìn)行縮小操作，biliear（）表示使用雙線性插值方法對航拍特征圖尺寸進(jìn)行放大的操作。

29、第二方面，本發(fā)明還提供了一種基于特征重組分配的航拍圖像弱小目標(biāo)檢測系統(tǒng)，包括以下模塊：

30、圖像獲取模塊，用于獲取待檢測的航拍圖像；

31、圖像檢測模塊，用于將待檢測的航拍圖像，輸入訓(xùn)練好的航拍圖像小目標(biāo)檢測網(wǎng)絡(luò)進(jìn)行檢測，獲得小目標(biāo)識別結(jié)果；

32、識別結(jié)果標(biāo)記模塊，用于將小目標(biāo)識別結(jié)果標(biāo)記到待檢測的航拍圖像的小目標(biāo)位置上，

33、檢測結(jié)果輸出模塊，用于輸出包含小目標(biāo)識別結(jié)果的航拍圖像；

34、其中，所述航拍圖像小目標(biāo)檢測網(wǎng)絡(luò)包括：

35、下采樣骨干網(wǎng)絡(luò)，包括卷積模塊和跨層部分連接模塊；所述卷積模塊用于航拍圖像進(jìn)行特征提取，得到航拍特征圖，通過對航拍特征圖進(jìn)行多次下采樣操作，獲取最后三次下采樣獲得的每一層下采樣特征；所述跨層部分連接模塊用于在下采樣過程中，對每一層航拍特征圖進(jìn)行額外的卷積操作，調(diào)整每一層航拍特征圖維度；

36、特征重整模塊，用于從特征提取過程中產(chǎn)生的冗余或重復(fù)的特征信息中提煉信息，生成攜帶關(guān)鍵冗余特征信息的重整特征reif；

37、特征分配模塊，用于將重整特征reif和最后三次下采樣獲得的每一層下采樣特征依次進(jìn)行通道對齊和尺寸調(diào)整后，分別送入關(guān)鍵信息融合模塊的三個分支；

38、關(guān)鍵信息融合模塊，用于將重整特征reif中的小目標(biāo)特征與最后三次下采樣獲得的每一層下采樣特征分別進(jìn)行融合，得到融合后的三分支特征；

39、特征金字塔網(wǎng)絡(luò)fpn和目標(biāo)檢測頭，用于對融合后的三分支特征進(jìn)行小目標(biāo)識別。

40、第三方面，本發(fā)明還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序/指令，該計算機程序/指令被處理器執(zhí)行時實現(xiàn)第一方面所述方法的步驟。

41、第四方面，本發(fā)明還提供了第三方面，本發(fā)明還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序/指令，該計算機程序/指令被處理器執(zhí)行時實現(xiàn)第一方面所述方法的步驟。

42、與現(xiàn)有技術(shù)相比，本發(fā)明所達(dá)到的有益效果：

43、本發(fā)明提供的一種基于特征重組分配的航拍圖像弱小目標(biāo)檢測方法，顯著提升了小目標(biāo)的檢測精度和檢測效率。本發(fā)明利用訓(xùn)練好的航拍圖像小目標(biāo)檢測網(wǎng)絡(luò)，將待檢測的航拍圖像輸入并輸出檢測數(shù)據(jù)，實現(xiàn)了檢測流程的自動化和高效化。解決了現(xiàn)有技術(shù)中因骨干網(wǎng)絡(luò)在多次下采樣過程中容易削弱甚至丟失小尺寸目標(biāo)的特征信息而導(dǎo)致航拍圖像弱小目標(biāo)檢測不準(zhǔn)確的問題。

44、本發(fā)明首先通過下采樣骨干網(wǎng)絡(luò)提取多尺度特征，并在后三次下采樣后獲取關(guān)鍵的后三層特征圖，不僅有效保留了航拍圖像中的關(guān)鍵信息，還通過多尺度特征提取增強了航拍圖像小目標(biāo)檢測網(wǎng)絡(luò)對不同尺度目標(biāo)的適應(yīng)能力。隨后，特征重整模塊提煉出重整特征reif，使航拍圖像小目標(biāo)檢測網(wǎng)絡(luò)在檢測小目標(biāo)時更加敏銳和準(zhǔn)確。通過特征分配模塊，將重整特征reif與最后三次下采樣獲得的每一層下采樣特征進(jìn)行通道對齊和尺寸調(diào)整，并分別送入關(guān)鍵信息融合模塊的三個分支進(jìn)行進(jìn)一步處理，確保了不同來源的特征能夠在同一尺度上進(jìn)行有效融合。在關(guān)鍵信息融合模塊中，重整特征reif中的小目標(biāo)特征與最后三次下采樣獲得的每一層下采樣特征被有效融合，生成融合后的三分支特征，實現(xiàn)了特征之間的優(yōu)勢互補和信息共享。融合后的特征不僅包含了更多的目標(biāo)信息，還增強了網(wǎng)絡(luò)對復(fù)雜背景和多變尺度目標(biāo)的處理能力。

45、將融合后的特征送入特征金字塔網(wǎng)絡(luò)fpn和目標(biāo)檢測頭，進(jìn)一步增強了航拍圖像小目標(biāo)檢測網(wǎng)絡(luò)對不同尺度目標(biāo)的檢測能力；通過目標(biāo)檢測頭輸出高精度的檢測數(shù)據(jù)不僅提高了檢測的準(zhǔn)確性，還確保了檢測結(jié)果的實時性和可靠性。