本申請涉及目標(biāo)跟蹤，具體涉及一種目標(biāo)跟蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在計(jì)算機(jī)視覺領(lǐng)域，目標(biāo)跟蹤技術(shù)旨在連續(xù)圖像序列中實(shí)現(xiàn)目標(biāo)對(duì)象的精確識(shí)別與持續(xù)追蹤。隨著技術(shù)演進(jìn)與應(yīng)用場景的擴(kuò)展，小目標(biāo)跟蹤的必要性愈發(fā)顯著，尤其在無人駕駛、視頻監(jiān)控、運(yùn)動(dòng)分析及體育競技等領(lǐng)域，其對(duì)于確保安全、獲取精準(zhǔn)數(shù)據(jù)及進(jìn)行有效決策具有決定性作用。

2、盡管如此，小目標(biāo)跟蹤技術(shù)仍面臨一系列技術(shù)挑戰(zhàn)：首先，目標(biāo)尺寸較小導(dǎo)致其在圖像中像素占比有限，極易受背景噪聲影響，從而加劇檢測難度；其次，復(fù)雜環(huán)境下的頻繁遮擋容易導(dǎo)致跟蹤中斷；再者，小目標(biāo)常呈現(xiàn)快速且不規(guī)則的運(yùn)動(dòng)軌跡，對(duì)跟蹤算法的穩(wěn)定性和準(zhǔn)確性提出更高要求；此外，光照條件的快速變化亦對(duì)小目標(biāo)檢測構(gòu)成挑戰(zhàn)；最后，實(shí)時(shí)性要求對(duì)算法計(jì)算效率設(shè)定嚴(yán)格標(biāo)準(zhǔn)，需在維持跟蹤精度的同時(shí)，提升處理速度。

技術(shù)實(shí)現(xiàn)思路

1、本申請?zhí)峁┮环N目標(biāo)跟蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，旨在解決如何提升小目標(biāo)跟蹤的檢測精度以實(shí)現(xiàn)準(zhǔn)確跟蹤的問題。

2、第一方面，本申請?zhí)峁┮环N目標(biāo)跟蹤方法，所述方法包括：

3、獲取目標(biāo)的連續(xù)多幀圖像序列，并將其輸入至預(yù)設(shè)的目標(biāo)檢測網(wǎng)絡(luò)，輸出目標(biāo)位置圖，所述目標(biāo)位置圖標(biāo)注了每一幀中目標(biāo)中心點(diǎn)的坐標(biāo)位置及其置信度；

4、獲取目標(biāo)狀態(tài)信息，并將其輸入至預(yù)設(shè)的目標(biāo)預(yù)測網(wǎng)絡(luò)，以輸出位置預(yù)測分布；所述目標(biāo)狀態(tài)信息包括目標(biāo)的歷史運(yùn)動(dòng)軌跡和當(dāng)前軌跡的初始位置，所述位置預(yù)測分布包含多個(gè)可能的未來位置預(yù)測點(diǎn)及其對(duì)應(yīng)的概率值；

5、將所述目標(biāo)位置圖和所述位置預(yù)測分布輸入至預(yù)設(shè)的軌跡生成網(wǎng)絡(luò)，以根據(jù)所述目標(biāo)位置圖中的目標(biāo)中心點(diǎn)與所述位置預(yù)測分布中的未來位置預(yù)測點(diǎn)的匹配結(jié)果，構(gòu)建軌跡樹，并輸出至少一條軌跡樹，軌跡樹表示跟蹤目標(biāo)的運(yùn)動(dòng)軌跡。

6、第二方面，本申請還提供一種目標(biāo)跟蹤裝置，所述裝置包括：

7、目標(biāo)檢測模塊，用于獲取目標(biāo)的連續(xù)多幀圖像序列，并將其輸入至預(yù)設(shè)的目標(biāo)檢測網(wǎng)絡(luò)，輸出目標(biāo)位置圖，所述目標(biāo)位置圖標(biāo)注了每一幀中目標(biāo)中心點(diǎn)的坐標(biāo)位置及其置信度；

8、目標(biāo)預(yù)測模塊，用于獲取目標(biāo)狀態(tài)信息，并將其輸入至預(yù)設(shè)的目標(biāo)預(yù)測網(wǎng)絡(luò)，以輸出位置預(yù)測分布；所述目標(biāo)狀態(tài)信息包括目標(biāo)的歷史運(yùn)動(dòng)軌跡和當(dāng)前軌跡的初始位置，所述位置預(yù)測分布包含多個(gè)可能的未來位置預(yù)測點(diǎn)及其對(duì)應(yīng)的概率值；

9、軌跡生成模塊，用于將所述目標(biāo)位置圖和所述位置預(yù)測分布輸入至預(yù)設(shè)的軌跡生成網(wǎng)絡(luò)，以根據(jù)所述目標(biāo)位置圖中的目標(biāo)中心點(diǎn)與所述位置預(yù)測分布中的未來位置預(yù)測點(diǎn)的匹配結(jié)果，構(gòu)建軌跡樹，并輸出至少一條軌跡樹，所述軌跡樹表示跟蹤目標(biāo)的運(yùn)動(dòng)軌跡。

10、第三方面，本申請?zhí)峁┮环N電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器并在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如第一方面中任一項(xiàng)所述目標(biāo)跟蹤方法的步驟。

11、第四方面，本申請?zhí)峁┮环N非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面中任一項(xiàng)所述目標(biāo)跟蹤方法的步驟。

12、本申請?zhí)峁┑囊环N目標(biāo)跟蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，旨在解決如何提升小目標(biāo)跟蹤的檢測精度以實(shí)現(xiàn)準(zhǔn)確跟蹤的問題。該方法通過使用預(yù)設(shè)的目標(biāo)檢測網(wǎng)絡(luò)，能夠從連續(xù)多幀圖像序列中準(zhǔn)確地檢測出目標(biāo)的中心點(diǎn)及其置信度。這對(duì)于小目標(biāo)尤其重要，因?yàn)樾∧繕?biāo)在圖像中占據(jù)的像素較少，容易受到背景噪聲的干擾。而目標(biāo)檢測網(wǎng)絡(luò)通過學(xué)習(xí)到的特征信息，能夠有效地識(shí)別和定位小目標(biāo)，從而提高檢測精度。目標(biāo)預(yù)測網(wǎng)絡(luò)利用目標(biāo)狀態(tài)信息，生成位置預(yù)測分布。該位置預(yù)測分布包含了多個(gè)可能的未來位置預(yù)測點(diǎn)及其對(duì)應(yīng)的概率值，為小目標(biāo)的動(dòng)態(tài)跟蹤提供了預(yù)測支持。通過預(yù)測小目標(biāo)的未來位置，能夠在目標(biāo)移動(dòng)過程中保持跟蹤，減少因目標(biāo)移動(dòng)過快或遮擋導(dǎo)致的跟蹤丟失。軌跡生成網(wǎng)絡(luò)根據(jù)目標(biāo)位置圖中的目標(biāo)中心點(diǎn)與位置預(yù)測分布中的預(yù)測點(diǎn)的匹配結(jié)果，構(gòu)建表示目標(biāo)軌跡的軌跡樹。這種軌跡樹的表示方法有助于系統(tǒng)在復(fù)雜環(huán)境中(如目標(biāo)密集或背景復(fù)雜)保持對(duì)小目標(biāo)的連續(xù)跟蹤。軌跡樹的輸出為多條軌跡，每條軌跡對(duì)應(yīng)一個(gè)目標(biāo)，這有助于系統(tǒng)在多目標(biāo)場景中區(qū)分和跟蹤各個(gè)小目標(biāo)。

13、因此，本申請通過目標(biāo)檢測網(wǎng)絡(luò)、目標(biāo)預(yù)測網(wǎng)絡(luò)以及軌跡生成網(wǎng)絡(luò)這三個(gè)網(wǎng)絡(luò)的協(xié)同工作，能夠有效地提升小目標(biāo)的檢測精度，并通過位置預(yù)測和軌跡生成來實(shí)現(xiàn)對(duì)小目標(biāo)的準(zhǔn)確和連續(xù)跟蹤，適用于小目標(biāo)在圖像中不易被檢測到，且容易受到環(huán)境干擾的場景。

技術(shù)特征：

1.一種目標(biāo)跟蹤方法，其特征在于，所述目標(biāo)跟蹤方法包括：

2.根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，所述目標(biāo)檢測網(wǎng)絡(luò)包含編碼器，所述編碼器采用了深度卷積神經(jīng)網(wǎng)絡(luò)中的殘差連接結(jié)構(gòu)；通過該殘差連接結(jié)構(gòu)，所述編碼器對(duì)輸入的連續(xù)多幀圖像序列進(jìn)行多層次的特征提取操作，并生成一系列層級(jí)特征圖，所述一系列層級(jí)特征圖捕捉了從低級(jí)到高級(jí)的視覺特征。

3.根據(jù)權(quán)利要求2所述的目標(biāo)跟蹤方法，其特征在于，所述目標(biāo)檢測網(wǎng)絡(luò)還包括解碼器，所述解碼器采用了卷積神經(jīng)網(wǎng)絡(luò)中的跳躍連接結(jié)構(gòu)，該跳躍連接結(jié)構(gòu)用于將所述編碼器中每個(gè)層級(jí)的特征圖直接傳遞到所述解碼器的相應(yīng)層級(jí)；所述解碼器將接收到的所述特征圖逐層進(jìn)行上采樣和特征融合處理，以生成所述目標(biāo)位置圖。

4.根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，所述將其輸入至預(yù)設(shè)的目標(biāo)檢測網(wǎng)絡(luò)，以輸出目標(biāo)位置圖的步驟包括：

5.根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，所述目標(biāo)預(yù)測網(wǎng)絡(luò)包括長短期記憶網(wǎng)絡(luò)和高斯混合密度網(wǎng)絡(luò)，所述長短期記憶網(wǎng)絡(luò)負(fù)責(zé)對(duì)目標(biāo)狀態(tài)信息進(jìn)行編碼，并通過時(shí)間序列的遞歸處理來捕捉動(dòng)態(tài)變化信息，所述動(dòng)態(tài)變化信息包含了目標(biāo)隨時(shí)間移動(dòng)的特征；所述高斯混合密度網(wǎng)絡(luò)根據(jù)所述長短期記憶網(wǎng)絡(luò)輸出的動(dòng)態(tài)變化信息，生成多個(gè)高斯分布，并對(duì)所述多個(gè)高斯分布混合進(jìn)行采樣，以輸出不同的預(yù)測點(diǎn)及其對(duì)應(yīng)的概率值。

6.根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，所述軌跡生成網(wǎng)絡(luò)采用多條軌跡樹來表示和維護(hù)多個(gè)目標(biāo)的運(yùn)動(dòng)軌跡，每條軌跡樹包括多個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)包含一個(gè)父節(jié)點(diǎn)和一個(gè)子節(jié)點(diǎn)集合；每個(gè)節(jié)點(diǎn)對(duì)應(yīng)的節(jié)點(diǎn)信息包括點(diǎn)的位置信息、是否為檢出點(diǎn)、置信度、隱藏狀態(tài)以及預(yù)測點(diǎn)集合及對(duì)應(yīng)置信度中的一個(gè)或多個(gè)的組合。

7.根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，所述根據(jù)所述目標(biāo)位置圖中的目標(biāo)中心點(diǎn)與所述位置預(yù)測分布中的未來位置預(yù)測點(diǎn)的匹配結(jié)果的步驟包括：

8.根據(jù)權(quán)利要求7所述的目標(biāo)跟蹤方法，其特征在于，所述根據(jù)所述目標(biāo)位置圖中的目標(biāo)中心點(diǎn)與所述位置預(yù)測分布中的未來位置預(yù)測點(diǎn)的匹配結(jié)果的步驟還包括：

9.根據(jù)權(quán)利要求1所述的目標(biāo)跟蹤方法，其特征在于，所述根據(jù)所述目標(biāo)位置圖中的目標(biāo)中心點(diǎn)與所述位置預(yù)測分布中的未來位置預(yù)測點(diǎn)的匹配結(jié)果的步驟還包括：

10.一種目標(biāo)跟蹤裝置，其特征在于，所述目標(biāo)跟蹤裝置包括：

11.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器并在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至10任一項(xiàng)所述的目標(biāo)跟蹤方法的步驟。

12.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至10任一項(xiàng)所述的目標(biāo)跟蹤方法的步驟。

技術(shù)總結(jié)
本申請?zhí)峁┮环N目標(biāo)跟蹤方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，屬于目標(biāo)跟蹤技術(shù)領(lǐng)域，該方法包括：獲取目標(biāo)的連續(xù)多幀圖像序列，并將其輸入至預(yù)設(shè)的目標(biāo)檢測網(wǎng)絡(luò)，輸出目標(biāo)位置圖；獲取目標(biāo)狀態(tài)信息，并將其輸入至預(yù)設(shè)的目標(biāo)預(yù)測網(wǎng)絡(luò)，以輸出位置預(yù)測分布；將所述目標(biāo)位置圖和所述位置預(yù)測分布輸入至預(yù)設(shè)的軌跡生成網(wǎng)絡(luò)，以根據(jù)所述目標(biāo)位置圖中的目標(biāo)中心點(diǎn)與所述位置預(yù)測分布中的未來位置預(yù)測點(diǎn)的匹配結(jié)果，構(gòu)建軌跡樹，并輸出至少一條軌跡樹，軌跡樹表示跟蹤目標(biāo)的運(yùn)動(dòng)軌跡。本申請能夠有效地提升小目標(biāo)的檢測精度，并通過位置預(yù)測和軌跡生成來實(shí)現(xiàn)對(duì)小目標(biāo)的準(zhǔn)確和連續(xù)跟蹤。

技術(shù)研發(fā)人員：丁東成,諶鵬,陳茂東,常歡,程大龍
受保護(hù)的技術(shù)使用者：科大訊飛華南人工智能研究院（廣州）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19