本發(fā)明屬于圖像處理及目標跟蹤領(lǐng)域，具體涉及基于注意力機制的單目標跟蹤模板更新方法。

背景技術(shù)：

1、目標跟蹤就是模型根據(jù)第一幀的目標標注來確定后續(xù)幀中目標出現(xiàn)的位置。目標跟蹤技術(shù)在自動駕駛、智能監(jiān)控等領(lǐng)域有著廣泛的應(yīng)用。常用的單目標跟蹤方法有人工挑選特征的傳統(tǒng)算法和基于深度學習自動提取特征的智能算法。智能算法的性能遠遠優(yōu)于傳統(tǒng)算法。智能算法通常是采用cnn結(jié)構(gòu)或者transformer結(jié)構(gòu)來提取特征。而在單目標跟蹤中，常用的cnn結(jié)構(gòu)是孿生網(wǎng)絡(luò)，即為跟蹤模板和搜索區(qū)域搭建一個對稱的雙分支提取特征的網(wǎng)絡(luò)，然后將兩個網(wǎng)絡(luò)的輸出進行濾波，最后在搜索區(qū)域上響應(yīng)最高的位置即為模型預測出的目標所在位置。孿生網(wǎng)絡(luò)因為結(jié)構(gòu)簡潔、性能優(yōu)越而被廣泛用來使用和研究。

2、孿生網(wǎng)絡(luò)在目標跟蹤整個過程中使用的模板一般都是第一幀，但是視頻流中的目標往往會隨著時間發(fā)生變形或者部分缺失，如果一直以第一幀中的目標形態(tài)作為模板，顯然是不可取的；但如果每一次預測都用前一幀預測結(jié)果作為模板，跟蹤結(jié)果可能更糟糕，因為預測結(jié)果不是完全可靠的。

3、目前已經(jīng)有不少針對單目標跟蹤模板更新的工作：（1）用線性積累的方式來累積之前的預測結(jié)果得到下一幀的模板，這種方法可以融合目標出現(xiàn)的所有形態(tài)，然而預測的跟蹤結(jié)果并不完全可靠，融合過程會帶入許多有害信息，而且累積參數(shù)也需要精心設(shè)置，最終導致該方法對提升目標跟蹤的性能非常有限。（2）建立一個模板池存儲一定量的模板，用相關(guān)指標來評判預測結(jié)果能否加入模板池，跟蹤時用的模板就是用某種融合方法將模板池中所有的模板融合得到的，但往往選定的相關(guān)指標都無法完全準確地挑選出可信或有效的模板。（3）采用多個指標信息來訓練一個線性網(wǎng)絡(luò)判斷預測模板的可靠性，但訓練網(wǎng)絡(luò)所用的數(shù)據(jù)大多都是基于預測結(jié)果，所以可靠程度也不高。

4、現(xiàn)有的模板更新方法對單目標跟蹤性能的提升都非常有限，且效果不穩(wěn)定，泛化性較差，因此，需要一種對提升單目標跟蹤性能顯著且穩(wěn)定的模板更新方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明針對單目標跟蹤領(lǐng)域現(xiàn)有的模板更新算法提升跟蹤性能不夠顯著、泛化性能差的現(xiàn)狀，提供了基于注意力機制的單目標跟蹤模板更新方法。該方法采用updatenet作為模板更新的基礎(chǔ)，將senet通道注意力機制引入到updatenet的兩層卷積之中，突出攜帶重要信息的通道，并用離線模型的跟蹤頭輸出的關(guān)于預測模板的置信度分數(shù)來決定本幀預測模板能不能參與模板積累過程；在實驗過程中，為模型提供更豐富的數(shù)據(jù)和參數(shù)，模型能更快地收斂。

2、本發(fā)明采用的技術(shù)方案如下：基于注意力機制的單目標跟蹤模板更新方法，包括以下四個步驟：

3、步驟一：在updatenet的兩層卷積中引入senet通道注意力機制來排序通道信息，完成初始模板、累積模板和預測模板的融合，得到跟蹤下一幀圖片的模板；

4、步驟二：在初始模板、累積模板和預測模板的融合過程中，使用離線模型跟蹤頭輸出的置信分數(shù)來決定本幀預測模板能不能參與積累；

5、步驟三：生成訓練模型的數(shù)據(jù)，其中，使用不同閾值來判斷跟蹤是否失敗，以生成不同閾值下的訓練數(shù)據(jù)；

6、步驟四：采用步驟三生成的訓練數(shù)據(jù)訓練模型，其中采用多種學習率。

7、有益效果：

8、通過提供多個用于判斷跟蹤是否失敗的閾值下產(chǎn)生的訓練數(shù)據(jù)以及訓練學習率，讓模型更快地達到收斂。

技術(shù)特征：

1.一種基于注意力機制的單目標跟蹤模板更新方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于注意力機制的單目標跟蹤模板更新方法，其特征在于，步驟一包括：初始模板、累積模板和預測模板的融合由四個部分組成：數(shù)據(jù)需要依次經(jīng)過第一卷積層、激活函數(shù)relu、通道注意力機制senet和第二卷積層處理，所有使用的模板尺寸為，將本幀的初始模板、累積模板和預測模板這三個相同大小的模板按通道拼接在一起，得到輸入數(shù)據(jù)，然后將拼接后的數(shù)據(jù)輸入到第一卷積層和激活函數(shù)中，得到數(shù)據(jù)，該數(shù)據(jù)被送進?senet?以對信息進行排序，senet首先對輸入數(shù)據(jù)執(zhí)行變換操作，輸出數(shù)據(jù)記為，然后senet對經(jīng)變換操作后的輸出數(shù)據(jù)執(zhí)行擠壓操作，得到數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的基于注意力機制的單目標跟蹤模板更新方法，其特征在于，senet對數(shù)據(jù)進行激勵操作，包括：讓輸入數(shù)據(jù)先經(jīng)過一個線性層進行通道降維，然后使用relu函數(shù)進行激活，再經(jīng)過一個線性層進行通道升維，使輸出數(shù)據(jù)通道的維度與輸入數(shù)據(jù)相同，最后，生成權(quán)重數(shù)據(jù)，計算過程如式(2)所示：

4.根據(jù)權(quán)利要求1所述的基于注意力機制的單目標跟蹤模板更新方法，其特征在于，步驟二包括：

5.根據(jù)權(quán)利要求4所述的基于注意力機制的單目標跟蹤模板更新方法，其特征在于，閾值?的設(shè)定由程序自動完成，該過程包括：從0到1每隔0.01嘗試設(shè)置一次閾值，選擇與跟蹤效果對應(yīng)的最佳閾值作為最終選擇的閾值。

6.根據(jù)權(quán)利要求1所述的基于注意力機制的單目標跟蹤模板更新方法，其特征在于，步驟三包括：

7.根據(jù)權(quán)利要求1所述的基于注意力機制的單目標跟蹤模板更新方法，其特征在于，步驟四中的訓練過程分為三個階段，每個階段包含兩個部分，同一階段的兩個部分使用同一模型生成的相同訓練數(shù)據(jù)，在訓練的每一部分，讓模型嘗試多種訓練學習率，使得模型有同一個離線模型不同閾值下生成的多個訓練數(shù)據(jù)和學習率供選擇，讓訓練數(shù)據(jù)和學習率自由匹配，使得更新模型獲得最好的訓練效果。

技術(shù)總結(jié)
本發(fā)明公開了一種基于注意力機制的單目標跟蹤模板更新方法，包括：步驟一：在UpdateNet的兩層卷積中引入SENet通道注意力機制來排序通道信息，完成初始模板、累積模板和預測模板的融合，得到跟蹤下一幀圖片的模板；步驟二：在初始模板、累積模板和預測模板的融合過程中，使用離線模型跟蹤頭輸出的置信分數(shù)來決定本幀預測模板能不能參與積累；步驟三：生成訓練模型的數(shù)據(jù)，其中，使用不同閾值來判斷跟蹤是否失敗，以生成不同閾值下的訓練數(shù)據(jù)；步驟四：采用步驟三生成的訓練數(shù)據(jù)訓練模型，其中采用多種學習率。訓練模型時，本發(fā)明通過提供多個用于判斷跟蹤是否失敗的閾值下產(chǎn)生的訓練數(shù)據(jù)以及訓練學習率，讓模型更快地達到收斂。

技術(shù)研發(fā)人員：陳瑩,張建林,魏宇星,左顥睿,嚴棚
受保護的技術(shù)使用者：中國科學院光電技術(shù)研究所
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19