本發(fā)明涉及人工智能技術(shù)和目標(biāo)跟蹤，尤其是指一種基于環(huán)境感知的目標(biāo)跟蹤方法。

背景技術(shù)：

1、目標(biāo)跟蹤技術(shù)是從一個(gè)視頻幀中識(shí)別出特定目標(biāo)，然后在后續(xù)幀中連續(xù)追蹤這個(gè)目標(biāo)的位置和運(yùn)動(dòng)。在智能監(jiān)控、自動(dòng)駕駛等多個(gè)應(yīng)用場景中發(fā)揮著重要作用。傳統(tǒng)的目標(biāo)跟蹤方法包括基于特征的方法和基于相關(guān)性的方法。基于特征的方法通過提取目標(biāo)的特征點(diǎn)進(jìn)行匹配，但容易受到光照變化和遮擋的影響?；谙嚓P(guān)性的方法通過在搜索區(qū)域中計(jì)算目標(biāo)模板的相關(guān)性來定位目標(biāo)，但模型的泛化能力有限，在不同場景切換時(shí)容易受到干擾導(dǎo)致目標(biāo)丟失。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問題，本發(fā)明提供了一種基于環(huán)境感知的目標(biāo)跟蹤方法，所述目標(biāo)跟蹤方法通過結(jié)合目標(biāo)跟蹤和語義分割，持續(xù)監(jiān)控目標(biāo)對象的運(yùn)動(dòng)狀態(tài)，為決策提供支持，包括如下步驟：

2、步驟s1：使用光學(xué)鏡頭和相機(jī)的采集圖像，評估圖像平均亮度和方差信息，確定當(dāng)前圖像光照是否合適，完成圖像的預(yù)處理；

3、步驟s2：對圖像使用語義分割算法進(jìn)行逐像素的分割，確定環(huán)境區(qū)域，得到二值圖圖像；

4、步驟s3：對二值圖圖像使用基于形態(tài)學(xué)的膨脹和腐蝕算法求取不同環(huán)境區(qū)域的交界區(qū)域，擬合不同區(qū)域間的分界線；

5、步驟s4：使用目標(biāo)跟蹤算法對圖像中的物體進(jìn)行跟蹤，得到物體每一幀的坐標(biāo)信息；

6、步驟s5：判斷目標(biāo)坐標(biāo)與環(huán)境二值圖的交集關(guān)系，得到當(dāng)前目標(biāo)的環(huán)境區(qū)域；

7、步驟s6：計(jì)算目標(biāo)坐標(biāo)與分界線的距離關(guān)系，判斷當(dāng)前目標(biāo)是否在分界線區(qū)域存在跨區(qū)域的狀態(tài)；

8、步驟s7：根據(jù)步驟s5、s6得到的目標(biāo)所處區(qū)域和狀態(tài)，kcf跟蹤算法自動(dòng)進(jìn)行參數(shù)更新以適應(yīng)不同場景的穩(wěn)定跟蹤；

9、其中步驟s2對拍攝的圖像使用語義分割算法enet進(jìn)行逐像素的分割：enet(efficientneural?network)是一種用于語義分割的高效神經(jīng)網(wǎng)絡(luò)，旨在實(shí)現(xiàn)高精度的圖像語義分割。輸入圖像分辨率從416*416*3到1024*1024*3，以適應(yīng)不同計(jì)算平臺(tái)，包括海思hi3559a、瑞芯微rk3588和服務(wù)器端運(yùn)行環(huán)境。模型輸出為416*416*4分別包括天空、水面、建筑物和背景等環(huán)境區(qū)域二值圖。enet的模型結(jié)構(gòu)有20層主要包括卷積層bottleneck結(jié)構(gòu)、下采樣和上采樣模塊，輸出通道數(shù)從16上升到64再上升到128，最后又降維到4。其中空洞卷積部分分別采用空洞系數(shù)為2、4、8、16。

10、在本發(fā)明的一個(gè)實(shí)施例中，步驟s3還包括以下子步驟：

11、s301：對天空、水面、陸地建筑這些環(huán)境區(qū)域，三張二值圖分別使用3*3大小的卷積核進(jìn)行形態(tài)學(xué)膨脹操作，擴(kuò)充邊界區(qū)域并填充內(nèi)部孔洞；

12、s302：求取天空、水面，天空、陸地，水面、陸地兩兩之間二值圖的交集區(qū)域；

13、s303：對交集區(qū)域求取輪廓組成點(diǎn)，使用最小二乘法擬合得到兩兩不同區(qū)域間的分界線，包括天空水面分界線、天空陸地分界線以及陸地水面分界線。

14、在本發(fā)明的一個(gè)實(shí)施例中，步驟s5的交集關(guān)系具體為：

15、如果跟蹤目標(biāo)坐標(biāo)位于天空二值圖范圍內(nèi)，flag1＝1；如果跟蹤目標(biāo)坐標(biāo)位于水面二值圖范圍內(nèi)，flag1＝2；如果跟蹤目標(biāo)坐標(biāo)位于地面建筑物二值圖范圍內(nèi)，flag1＝3。

16、在本發(fā)明的一個(gè)實(shí)施例中，步驟s6中的判斷跟蹤目標(biāo)坐標(biāo)與多個(gè)環(huán)境間分界線的關(guān)系包括以下子步驟：

17、s601：求取跟蹤目標(biāo)框的中心坐標(biāo)和寬高；

18、s602：計(jì)算目標(biāo)框的中心坐標(biāo)與環(huán)境分界線每2個(gè)點(diǎn)之間的歐式距離，得到中心坐標(biāo)與分界線間的最小距離d；

19、s603：如果最小距離d大于目標(biāo)寬和高，認(rèn)為當(dāng)前目標(biāo)處于單一環(huán)境中flag2＝0；如果最小距離d小于等于目標(biāo)寬和高，認(rèn)為目標(biāo)與環(huán)境分界線相交正在進(jìn)行跨區(qū)域運(yùn)動(dòng)；如果目標(biāo)與天空水面分界線相交，flag2＝1；如果目標(biāo)與陸地水面分界線相交，flag2＝2；如果目標(biāo)與天空陸地分界線相交，flag2＝3。

20、在本發(fā)明的一個(gè)實(shí)施例中，步驟s7中kcf跟蹤算法根據(jù)環(huán)境分界線判斷自適應(yīng)的參數(shù)更新，包括以下子步驟：

21、s701：根據(jù)步驟s6的判斷目標(biāo)到達(dá)分界線，開啟搜索區(qū)域局部輪廓增強(qiáng)，防止目標(biāo)與背景相似，淹沒目標(biāo)；

22、s702：減小跟蹤搜索區(qū)域，減小目標(biāo)模板的更新速率；

23、s703：提升apce的值，讓目標(biāo)模板停止更新，實(shí)現(xiàn)記憶跟蹤，防止目標(biāo)在分界線區(qū)域模板受到污染。

24、本發(fā)明的上述技術(shù)方案相比現(xiàn)有技術(shù)具有以下優(yōu)點(diǎn)：

25、1.相較于傳統(tǒng)目標(biāo)跟蹤的方案，本系統(tǒng)方案通過結(jié)合語義分割算法和目標(biāo)跟蹤算法來實(shí)時(shí)感知周圍環(huán)境，可以適應(yīng)各種環(huán)境下的穩(wěn)定跟蹤。

26、2.通過語義分割的類別和分界信息來初始化目標(biāo)跟蹤過程，并在跟蹤過程中提供輔助信息，以應(yīng)對遮擋、光照和環(huán)境變化等復(fù)雜情況；

27、其中的語義分割技術(shù)則是通過識(shí)別圖像中每個(gè)像素的類別，如區(qū)分天空、水面、建筑等，以增強(qiáng)機(jī)器對周圍環(huán)境的感知能力。

28、通過結(jié)合目標(biāo)跟蹤和語義分割可以相互補(bǔ)充，提高系統(tǒng)對復(fù)雜環(huán)境的適應(yīng)性和魯棒性，為智能系統(tǒng)的發(fā)展提供了堅(jiān)實(shí)的基礎(chǔ)。

29、3.在實(shí)際應(yīng)用中，自動(dòng)參數(shù)更新模塊可以根據(jù)目標(biāo)所處的環(huán)境變化自動(dòng)進(jìn)行跟蹤算法的參數(shù)調(diào)整，避免了人為調(diào)整的繁雜并且兼顧了整套系統(tǒng)的智能化和靈活性。

技術(shù)特征：

1.一種基于環(huán)境感知的目標(biāo)跟蹤方法，所述目標(biāo)跟蹤方法通過結(jié)合目標(biāo)跟蹤和語義分割，持續(xù)監(jiān)控目標(biāo)對象的運(yùn)動(dòng)狀態(tài)，為決策提供支持，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于：步驟s3還包括以下子步驟：

3.根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于：步驟s5的交集關(guān)系具體為：

4.根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于：步驟s6中的判斷跟蹤目標(biāo)坐標(biāo)與多個(gè)環(huán)境間分界線的關(guān)系包括以下子步驟：

5.根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于：步驟s7中kcf跟蹤算法根據(jù)環(huán)境分界線判斷自適應(yīng)的參數(shù)更新，包括以下子步驟：

技術(shù)總結(jié)
本發(fā)明涉及一種基于環(huán)境感知的目標(biāo)跟蹤方法，屬于人工智能和目標(biāo)跟蹤領(lǐng)域，所述目標(biāo)跟蹤方法通過結(jié)合目標(biāo)跟蹤和語義分割，持續(xù)監(jiān)控目標(biāo)對象的運(yùn)動(dòng)狀態(tài)，為決策提供支持，包括圖像采集和預(yù)處理、環(huán)境感知語義分割、邊界擬合后處理、目標(biāo)跟蹤以及跟蹤參數(shù)自動(dòng)更新；基于環(huán)境感知的目標(biāo)跟蹤方法表現(xiàn)在語義分割可以提供了對場景的深入理解，包括目標(biāo)的位置、狀態(tài)和上下文信息，為決策提供支持，且通過結(jié)合目標(biāo)跟蹤和語義分割可以相互補(bǔ)充，提高系統(tǒng)對復(fù)雜環(huán)境的適應(yīng)性和魯棒性，為智能系統(tǒng)的發(fā)展提供了堅(jiān)實(shí)的基礎(chǔ)。目標(biāo)跟蹤參數(shù)自動(dòng)更新，保證了跨場景的穩(wěn)定跟蹤。

技術(shù)研發(fā)人員：章琦,呂璐,張俊,袁政,位門
受保護(hù)的技術(shù)使用者：中國電子科技集團(tuán)公司第五十八研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10