本發(fā)明涉及視頻圖像識(shí)別處理，具體是一種基于d-strongsort的多目標(biāo)水漂垃圾跟蹤方法。

背景技術(shù)：

1、多目標(biāo)跟蹤（multi-object?tracking，mot）是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)關(guān)鍵研究方向，旨在視頻序列中實(shí)時(shí)、準(zhǔn)確地檢測(cè)多個(gè)目標(biāo)的位置，并為每個(gè)目標(biāo)分配唯一標(biāo)識(shí)符，從而構(gòu)建連續(xù)幀中的完整運(yùn)動(dòng)軌跡。在mot中，相似度矩陣用于實(shí)時(shí)、準(zhǔn)確地檢測(cè)多個(gè)目標(biāo)的位置并幫助構(gòu)建完整的運(yùn)動(dòng)軌跡，而目標(biāo)的外觀特征是計(jì)算相似度矩陣的重要依據(jù)之一。

2、sun等人提出的深度親和網(wǎng)絡(luò)（deep?affinity?network，dan）成功地對(duì)非相鄰幀間目標(biāo)的外觀進(jìn)行了建模，并能夠準(zhǔn)確評(píng)估它們的相似性。yu等人基于googlenet設(shè)計(jì)了一個(gè)特征提取網(wǎng)絡(luò)，專門用于提取目標(biāo)的外觀特征，并將這些特征嵌入到跟蹤器中，從而實(shí)現(xiàn)了與先進(jìn)的離線跟蹤器相媲美的性能。

3、除了外觀特征，運(yùn)動(dòng)特征在mot中同樣占據(jù)重要地位。sort算法假設(shè)目標(biāo)在幀間的位移遵循線性勻速運(yùn)動(dòng)，并通過卡爾曼濾波器利用前一幀的目標(biāo)位置來(lái)預(yù)測(cè)當(dāng)前幀的位置。而cao等人提出的oc-sort算法則引入了以觀測(cè)為中心的更新策略，進(jìn)一步減少了累積誤差，提升了跟蹤的精度。

4、外觀模型和運(yùn)動(dòng)模型在性能上往往互為補(bǔ)充：外觀模型在處理復(fù)雜運(yùn)動(dòng)模式時(shí)表現(xiàn)出色，但其模型通常較大，且容易受到光照、遮擋等外部因素的影響；相對(duì)而言，運(yùn)動(dòng)模型速度更快，對(duì)檢測(cè)器的依賴較小，但在應(yīng)對(duì)復(fù)雜軌跡時(shí)可能會(huì)表現(xiàn)出跟蹤能力的下降。因此，結(jié)合外觀模型和運(yùn)動(dòng)模型優(yōu)勢(shì)的多目標(biāo)跟蹤技術(shù)，可以為實(shí)現(xiàn)更精準(zhǔn)、更魯棒的水面漂浮垃圾監(jiān)控提供有力支持。

5、deepsort通過引入深度學(xué)習(xí)中的重識(shí)別技術(shù)，在sort算法的基礎(chǔ)上進(jìn)一步增強(qiáng)了對(duì)目標(biāo)外觀特征的利用，從而提高了跟蹤的魯棒性和準(zhǔn)確性。strongsort對(duì)deepsort進(jìn)行了進(jìn)一步優(yōu)化，通過更精細(xì)的算法和策略，顯著提升了多目標(biāo)跟蹤的性能。然而，strongsort在水漂垃圾目標(biāo)匹配階段仍然采用iou作為關(guān)聯(lián)指標(biāo)，但iou僅考慮了預(yù)測(cè)框和檢測(cè)框之間的重疊程度，未能充分反映兩者之間的實(shí)際距離，從而影響了匹配的精度。

6、水漂垃圾跟蹤是一個(gè)動(dòng)態(tài)過程，水漂垃圾會(huì)隨著河流漂移，在該過程中各個(gè)水漂垃圾的空間形態(tài)相似度高，尺寸還會(huì)隨著水流沖擊不斷發(fā)生變化；同時(shí)，水漂垃圾相互堆疊遮擋現(xiàn)象也時(shí)常發(fā)生，此外，水漂垃圾運(yùn)動(dòng)軌跡復(fù)雜多變，針對(duì)以上問題，此次發(fā)明結(jié)合了外觀模型和運(yùn)動(dòng)模型的d-strongsort多目標(biāo)跟蹤算法以實(shí)現(xiàn)水漂垃圾的跟蹤，將上一個(gè)檢測(cè)結(jié)果視頻作為輸入，通過計(jì)算運(yùn)動(dòng)特征和外觀特征，將前一位置狀態(tài)與后一位置狀態(tài)關(guān)聯(lián)，能夠很好的實(shí)現(xiàn)目標(biāo)位置的預(yù)測(cè)和跟蹤。d-strongsort采用diou代替iou，以減少跟蹤目標(biāo)的id切換次數(shù)，采用自適應(yīng)卡爾曼濾波，減少了運(yùn)動(dòng)模型的誤差累計(jì)，且在外觀模型建立時(shí)，使用新的特征更新策略來(lái)匹配跟蹤目標(biāo)的外觀特征，通過設(shè)計(jì)自適應(yīng)加權(quán)代價(jià)矩陣計(jì)算，實(shí)現(xiàn)更好的運(yùn)動(dòng)模型和外觀模型關(guān)聯(lián)匹配。通過實(shí)驗(yàn)，驗(yàn)證了該算法能很好的完成水漂垃圾的跟蹤任務(wù)，跟蹤效果良好。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于d-strongsort的多目標(biāo)水漂垃圾跟蹤方法，以解決上述背景技術(shù)中提出的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種基于d-strongsort的多目標(biāo)水漂垃圾跟蹤方法，包括以下內(nèi)容：為更好的匹配跟蹤結(jié)果，在多目標(biāo)跟蹤模型d-strongsort跟蹤匹配過程中同時(shí)使用外觀信息和運(yùn)動(dòng)信息，構(gòu)建了運(yùn)動(dòng)模型和外觀模型的代價(jià)關(guān)聯(lián)模式，運(yùn)動(dòng)模型首先使用ecc對(duì)相機(jī)進(jìn)行補(bǔ)償，以減少因相機(jī)抖動(dòng)而造成的噪聲尺度過大的問題，然后使用自適應(yīng)卡爾曼濾波來(lái)預(yù)測(cè)目標(biāo)的未來(lái)位置，與檢測(cè)后的位置進(jìn)行關(guān)聯(lián)，計(jì)算出目標(biāo)的運(yùn)動(dòng)關(guān)聯(lián)代價(jià)；外觀模型使用resnest50來(lái)提取到更多的目標(biāo)外觀特征，使用ema特征更新策略，加快匹配速度，減少匹配時(shí)間，最后根據(jù)檢測(cè)結(jié)果，計(jì)算出目標(biāo)的外觀代價(jià)，將外觀代價(jià)和運(yùn)動(dòng)代價(jià)進(jìn)行加權(quán)融合，輸出匹配結(jié)果；

4、外觀模型

5、d-strongsort采用ema特征更新策略，取代直接從特征庫(kù)中匹配的方式，同時(shí)使用更強(qiáng)大的表觀特征提取器bot代替簡(jiǎn)單的cnn網(wǎng)絡(luò)，以resnest50作為主干并在dukemtmc-reid數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，以提取更多的外觀特征；

6、ema算法的核心思想是利用指數(shù)衰減來(lái)平滑歷史數(shù)據(jù)。在優(yōu)化算法中，ema主要利用調(diào)整參數(shù)的更新速度，使其更加適應(yīng)當(dāng)前數(shù)據(jù)的變化趨勢(shì)；

7、

8、其中，表示當(dāng)前時(shí)間步，是平滑因子，控制了歷史數(shù)據(jù)對(duì)當(dāng)前ema值得影響程度，是當(dāng)前數(shù)據(jù)值，是上一個(gè)時(shí)間步的ema值。通過不斷迭代計(jì)算，ema可以對(duì)歷史數(shù)據(jù)進(jìn)行平滑，并且能更快地適應(yīng)新的數(shù)據(jù)變化。

9、運(yùn)動(dòng)模型

10、d-strongsort在繼承strongsort框架的基礎(chǔ)上，引入了nsa-kalman算法和ecc算法，該算法通過自動(dòng)調(diào)節(jié)卡爾曼濾波算法中的數(shù)值參數(shù)，如測(cè)量噪聲與預(yù)測(cè)噪聲的協(xié)方差矩陣，以適應(yīng)不同的環(huán)境條件,這種自適應(yīng)調(diào)節(jié)機(jī)制使得濾波算法在動(dòng)態(tài)環(huán)境下的適用性更強(qiáng)，能夠更準(zhǔn)確地處理實(shí)時(shí)變化的數(shù)據(jù)；

11、在strongsort算法中，nsa-kalman算法和ecc算法相互配合，構(gòu)建了一個(gè)綜合的運(yùn)動(dòng)模型，在目標(biāo)跟蹤的過程中，首先利用nsa-kalman算法進(jìn)行目標(biāo)位置的預(yù)測(cè)和狀態(tài)更新，然后通過ecc算法對(duì)目標(biāo)的外觀進(jìn)行校準(zhǔn)，最終實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確跟蹤。

12、進(jìn)一步地，較于resnet網(wǎng)絡(luò)，resnest50將輸入特征按照通道數(shù)進(jìn)行切分，充分利用并行結(jié)構(gòu)，加快了網(wǎng)絡(luò)的推理速度，同時(shí)，在特征融合時(shí)采用切分注意力建立目標(biāo)在通道和空間上的關(guān)聯(lián)性，提高了外觀模型的可靠性。

13、進(jìn)一步地，d-strongsort還結(jié)合了diou距離度量。

14、進(jìn)一步地，所述ecc算法本質(zhì)是一個(gè)目標(biāo)函數(shù)：

15、(1)

16、其中，和分別代表兩張內(nèi)容差異小，但是存在光照、尺度、顏色、平移等變換影響的圖像。

17、(2)

18、其中，warp表示圖像的仿射變換。

19、通過反復(fù)迭代來(lái)優(yōu)化目標(biāo)函數(shù)的過程，從而求解式(4.8)中和所對(duì)應(yīng)的變換矩陣。

20、最后，d-strongsort算法在水漂垃圾目標(biāo)匹配階段使用diou，以減少跟蹤目標(biāo)的id切換次數(shù)，實(shí)現(xiàn)更好的目標(biāo)跟蹤效果。

21、(3)

22、其中，為水漂垃圾目標(biāo)的預(yù)測(cè)框和檢測(cè)框中心點(diǎn)的歐氏距離，為水漂垃圾目標(biāo)的預(yù)測(cè)框和檢測(cè)框的最小外接矩形框的對(duì)角線長(zhǎng)度。為原始交并比。

23、（4）

24、其中，為真實(shí)框與預(yù)測(cè)框的交集，為真實(shí)框與預(yù)測(cè)框的并集。

25、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

26、1.設(shè)計(jì)代價(jià)關(guān)聯(lián)模式：結(jié)合外觀模型和運(yùn)動(dòng)模型的d-strongsort多目標(biāo)跟蹤算法以實(shí)現(xiàn)水漂垃圾的跟蹤，運(yùn)動(dòng)模型采用ecc相機(jī)補(bǔ)償和nsa卡爾曼濾波器，外觀模型使用resnest50特征提取器和ema特征更新策略。d-strongsort采用diou代替iou，在減少跟蹤目標(biāo)的id切換次數(shù)的同時(shí)，能夠準(zhǔn)確捕捉了水漂垃圾的運(yùn)動(dòng)軌跡和外觀特征，采用自適應(yīng)卡爾曼濾波，減少了運(yùn)動(dòng)模型的誤差累計(jì)。

27、2.自適應(yīng)加權(quán)代價(jià)矩陣計(jì)算：在外觀模型建立時(shí)，使用新的特征更新策略來(lái)匹配跟蹤目標(biāo)的外觀特征，通過設(shè)計(jì)自適應(yīng)加權(quán)代價(jià)矩陣計(jì)算，實(shí)現(xiàn)更好的運(yùn)動(dòng)模型和外觀模型關(guān)聯(lián)匹配。

28、3.運(yùn)動(dòng)模型采用nsa-kalman算法和ecc算法：能夠適應(yīng)不同的環(huán)境條件,這種自適應(yīng)調(diào)節(jié)機(jī)制使得濾波算法在動(dòng)態(tài)環(huán)境下的適用性更強(qiáng)，能夠更準(zhǔn)確地處理實(shí)時(shí)變化的數(shù)據(jù)。nsa-kalman算法與strongsort中的ecc算法相輔相成，共同提升了目標(biāo)跟蹤的精度和穩(wěn)定性。