本發(fā)明涉及圖像處理、人工智能和航空監(jiān)控，尤其涉及航空視頻流目標(biāo)識別處理方法及系統(tǒng)。

背景技術(shù)：

1、隨著無人機(jī)、航空偵察和監(jiān)控系統(tǒng)的廣泛應(yīng)用，實(shí)時且精確的目標(biāo)識別技術(shù)對航空安全和任務(wù)執(zhí)行至關(guān)重要?，F(xiàn)有技術(shù)（中國發(fā)明申請，公開號：cn116630849a，名稱：一種航空視頻流目標(biāo)識別算法性能提升方法）主要依賴于深度學(xué)習(xí)算法，如卷積神經(jīng)網(wǎng)絡(luò)（cnn）用于從圖像中提取特征并識別目標(biāo)。然而，在航空場景中，由于目標(biāo)通常較小、弱信號（低信噪比）、以及多模態(tài)數(shù)據(jù)的復(fù)雜性，現(xiàn)有技術(shù)面臨著以下不足：

2、現(xiàn)有技術(shù)對弱小目標(biāo)的檢測能力有限，特別是在復(fù)雜背景中，容易漏檢或誤檢；現(xiàn)有技術(shù)在面對航空場景中動態(tài)環(huán)境和多模態(tài)數(shù)據(jù)時，缺乏足夠的魯棒性；許多算法由于步驟復(fù)雜、依賴大量計算資源，難以在資源有限的場景（如衛(wèi)星或移動設(shè)備）上應(yīng)用；現(xiàn)有技術(shù)常需針對特定的場景或數(shù)據(jù)重新訓(xùn)練模型，缺乏即插即用的靈活性。

技術(shù)實(shí)現(xiàn)思路

1、針對上述現(xiàn)有技術(shù)存在的諸多問題，本發(fā)明提供一種航空視頻流目標(biāo)識別處理方法及系統(tǒng)，其通過自適應(yīng)加權(quán)融合、多模態(tài)數(shù)據(jù)交叉驗證、全局卷積優(yōu)化和未來運(yùn)動預(yù)測等技術(shù)，能夠在動態(tài)、復(fù)雜的航空環(huán)境中，實(shí)時精確地識別和跟蹤目標(biāo)。顯著提高了系統(tǒng)的魯棒性和識別準(zhǔn)確性，特別是在多模態(tài)數(shù)據(jù)和快速變化的環(huán)境下具有獨(dú)特的優(yōu)勢。

2、一種航空視頻流目標(biāo)識別處理方法，包括以下步驟：

3、通過對視頻數(shù)據(jù)、紅外數(shù)據(jù)和雷達(dá)數(shù)據(jù)進(jìn)行預(yù)處理，將各模態(tài)數(shù)據(jù)轉(zhuǎn)換為對應(yīng)的模態(tài)特征數(shù)據(jù)，并通過自適應(yīng)加權(quán)融合技術(shù)進(jìn)行融合，生成融合模態(tài)特征數(shù)據(jù)；

4、基于融合模態(tài)特征數(shù)據(jù)，進(jìn)行低層次、中層次和高層次的多階段視覺特征提取，通過全局卷積優(yōu)化技術(shù)對視覺特征進(jìn)行全局增強(qiáng)和優(yōu)化，生成全局優(yōu)化視覺特征數(shù)據(jù)；

5、通過對全局優(yōu)化視覺特征數(shù)據(jù)及目標(biāo)的歷史運(yùn)動軌跡進(jìn)行建模，結(jié)合未來運(yùn)動預(yù)測技術(shù)對目標(biāo)的未來運(yùn)動軌跡進(jìn)行預(yù)測，并根據(jù)目標(biāo)運(yùn)動預(yù)測數(shù)據(jù)修正目標(biāo)的當(dāng)前位置，生成修正目標(biāo)位置數(shù)據(jù)；

6、對修正目標(biāo)位置數(shù)據(jù)與視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)進(jìn)行交叉驗證，生成最終的目標(biāo)位置數(shù)據(jù)和目標(biāo)類別數(shù)據(jù)，并將最終的目標(biāo)位置數(shù)據(jù)和目標(biāo)類別數(shù)據(jù)輸出。

7、優(yōu)選的，對視頻數(shù)據(jù)、紅外數(shù)據(jù)和雷達(dá)數(shù)據(jù)進(jìn)行預(yù)處理，具體包括：

8、通過濾波算法對視頻數(shù)據(jù)中的噪聲進(jìn)行去除，使所述視頻數(shù)據(jù)的邊緣和細(xì)節(jié)信息更為清晰；

9、對紅外數(shù)據(jù)進(jìn)行像素值歸一化處理，以增強(qiáng)不同溫度區(qū)域之間的對比度，確保所述紅外數(shù)據(jù)能夠準(zhǔn)確反映溫度分布；

10、通過距離歸一化算法對雷達(dá)數(shù)據(jù)進(jìn)行處理，標(biāo)準(zhǔn)化所述雷達(dá)數(shù)據(jù)的反射信號強(qiáng)度，并增強(qiáng)距離信息的分辨率。

11、優(yōu)選的，所述自適應(yīng)加權(quán)融合技術(shù)通過計算各模態(tài)特征數(shù)據(jù)的置信度來確定加權(quán)因子，所述置信度根據(jù)每種模態(tài)數(shù)據(jù)的信號強(qiáng)度、清晰度及目標(biāo)在不同模態(tài)下的可識別性進(jìn)行計算，加權(quán)因子的計算方法為：

12、采用加權(quán)因子、和分別表示視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)的權(quán)重，其計算公式為：

13、；

14、其中，為視頻模態(tài)特征數(shù)據(jù)的加權(quán)因子；為紅外模態(tài)特征數(shù)據(jù)的加權(quán)因子；為雷達(dá)模態(tài)特征數(shù)據(jù)的加權(quán)因子；表示視頻模態(tài)特征數(shù)據(jù)的置信度；表示紅外模態(tài)特征數(shù)據(jù)的置信度；表示雷達(dá)模態(tài)特征數(shù)據(jù)的置信度。

15、優(yōu)選的，基于融合模態(tài)特征數(shù)據(jù)，進(jìn)行低層次、中層次和高層次的多階段視覺特征提取，具體包括：

16、通過大尺寸卷積核對低層次視覺特征進(jìn)行提取，提取出的所述低層次視覺特征主要包括物體的邊緣、簡單幾何形狀的基本特征；

17、通過中等尺寸卷積核對中層次視覺特征進(jìn)行提取，提取出的所述中層次視覺特征包括物體的形狀、紋理和細(xì)節(jié)信息；

18、通過小尺寸卷積核對高層次視覺特征進(jìn)行提取，提取出的所述高層次視覺特征包括目標(biāo)的整體輪廓和復(fù)雜形狀，確保在各層次上準(zhǔn)確捕捉目標(biāo)的不同視覺特征。

19、優(yōu)選的，所述全局卷積優(yōu)化技術(shù)通過全局卷積網(wǎng)絡(luò)對低層次視覺特征數(shù)據(jù)、中層次視覺特征數(shù)據(jù)和高層次視覺特征數(shù)據(jù)進(jìn)行統(tǒng)一優(yōu)化，所述全局卷積網(wǎng)絡(luò)通過分析目標(biāo)的整體空間分布，確保每個層次的視覺特征在全局范圍內(nèi)的一致性，所述全局卷積網(wǎng)絡(luò)通過卷積核覆蓋整個輸入特征空間，捕捉場景中的長距離關(guān)聯(lián)，生成全局優(yōu)化視覺特征數(shù)據(jù)。

20、優(yōu)選的，目標(biāo)的歷史運(yùn)動軌跡建?；跉v史運(yùn)動數(shù)據(jù)，通過分析目標(biāo)在過去若干幀中的位置信息、速度和運(yùn)動方向的動態(tài)特征進(jìn)行建模，所述歷史運(yùn)動數(shù)據(jù)包括目標(biāo)的每個位置、時間戳和運(yùn)動矢量，通過對所述歷史運(yùn)動數(shù)據(jù)進(jìn)行回歸分析，預(yù)測目標(biāo)的未來運(yùn)動趨勢并生成目標(biāo)運(yùn)動軌跡特征數(shù)據(jù)。

21、優(yōu)選的，所述未來運(yùn)動預(yù)測技術(shù)通過對目標(biāo)的運(yùn)動軌跡特征數(shù)據(jù)進(jìn)行時空推斷，所述時空推斷基于目標(biāo)的歷史運(yùn)動模式和環(huán)境變化因素，結(jié)合多幀歷史數(shù)據(jù)分析目標(biāo)的速度變化和方向調(diào)整，生成目標(biāo)未來運(yùn)動軌跡，并根據(jù)所述目標(biāo)未來運(yùn)動軌跡修正當(dāng)前的目標(biāo)位置，生成修正目標(biāo)位置數(shù)據(jù)。

22、優(yōu)選的，對修正目標(biāo)位置數(shù)據(jù)與視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)進(jìn)行交叉驗證，具體包括：通過對修正目標(biāo)位置數(shù)據(jù)與視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)進(jìn)行比較，計算目標(biāo)在不同模態(tài)中的位置偏差和形狀相似度，確保目標(biāo)在每種模態(tài)下的位置信息一致，對修正目標(biāo)位置數(shù)據(jù)與視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)進(jìn)行交叉驗證，具體包括：包括位置校正和形狀一致性校正，生成模態(tài)相似度數(shù)據(jù)。

23、優(yōu)選的，目標(biāo)在不同模態(tài)中的形狀相似度通過余弦相似度公式計算，余弦相似度表示修正目標(biāo)位置數(shù)據(jù)與模態(tài)特征數(shù)據(jù)之間的相似度，計算公式為：

24、

25、其中，為模態(tài)相似度；為修正目標(biāo)位置數(shù)據(jù)的向量表示；為模態(tài)特征數(shù)據(jù)的向量表示；表示向量點(diǎn)積運(yùn)算；表示向量的模長；所述余弦相似度用于確保目標(biāo)在不同模態(tài)下的形狀信息保持一致性。

26、一種用于實(shí)施所述的航空視頻流目標(biāo)識別處理方法的系統(tǒng)，包括：

27、預(yù)處理模塊，用于接收并處理視頻數(shù)據(jù)、紅外數(shù)據(jù)和雷達(dá)數(shù)據(jù)，將所述視頻數(shù)據(jù)、紅外數(shù)據(jù)和雷達(dá)數(shù)據(jù)分別轉(zhuǎn)換為視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)；

28、加權(quán)融合模塊，用于基于所述視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)，利用自適應(yīng)加權(quán)融合技術(shù)生成融合模態(tài)特征數(shù)據(jù)；

29、視覺特征提取與優(yōu)化模塊，用于基于所述融合模態(tài)特征數(shù)據(jù)進(jìn)行低層次、中層次和高層次的多階段視覺特征提取，并通過全局卷積優(yōu)化技術(shù)對提取的視覺特征進(jìn)行全局增強(qiáng)和優(yōu)化，生成全局優(yōu)化視覺特征數(shù)據(jù)；

30、運(yùn)動預(yù)測與修正模塊，用于基于所述全局優(yōu)化視覺特征數(shù)據(jù)及目標(biāo)的歷史運(yùn)動軌跡進(jìn)行建模，結(jié)合未來運(yùn)動預(yù)測技術(shù)預(yù)測目標(biāo)的未來運(yùn)動軌跡，并根據(jù)所述目標(biāo)運(yùn)動預(yù)測數(shù)據(jù)修正目標(biāo)的當(dāng)前位置，生成修正目標(biāo)位置數(shù)據(jù)；

31、交叉驗證模塊，用于對所述修正目標(biāo)位置數(shù)據(jù)與所述視頻模態(tài)特征數(shù)據(jù)、紅外模態(tài)特征數(shù)據(jù)和雷達(dá)模態(tài)特征數(shù)據(jù)進(jìn)行交叉驗證，生成最終的目標(biāo)位置數(shù)據(jù)和目標(biāo)類別數(shù)據(jù)；

32、輸出模塊，用于輸出所述最終的目標(biāo)位置數(shù)據(jù)和目標(biāo)類別數(shù)據(jù)，供系統(tǒng)控制或可視化展示。

33、相比于現(xiàn)有技術(shù)，本發(fā)明的優(yōu)點(diǎn)及有益效果在于：

34、本發(fā)明通過計算視頻、紅外和雷達(dá)數(shù)據(jù)的模態(tài)特征權(quán)重，動態(tài)調(diào)整各模態(tài)數(shù)據(jù)的貢獻(xiàn)，提升了目標(biāo)識別的準(zhǔn)確性和魯棒性；

35、本發(fā)明系統(tǒng)能夠逐步提取目標(biāo)的邊緣、形狀和復(fù)雜輪廓，確保目標(biāo)在不同視覺層次上的精確識別；

36、本發(fā)明通過目標(biāo)的歷史運(yùn)動數(shù)據(jù)，結(jié)合環(huán)境因素預(yù)測目標(biāo)的未來運(yùn)動軌跡，增強(qiáng)了系統(tǒng)在快速變化環(huán)境中的適應(yīng)能力；

37、本發(fā)明通過全局卷積優(yōu)化技術(shù)，實(shí)現(xiàn)了全局一致性的目標(biāo)識別，該技術(shù)確保了不同模態(tài)數(shù)據(jù)和不同層次視覺特征的全局一致性，減少了模態(tài)之間的偏差；

38、本發(fā)明通過多模態(tài)數(shù)據(jù)的比對，系統(tǒng)能夠有效修正模態(tài)之間的位置信息偏差，提升了整體識別的精度。