跟蹤成功率的基于dsp的相關(guān)跟蹤方法
跟蹤成功率的基于dsp的相關(guān)跟蹤方法
【專利摘要】本發(fā)明公開了一種跟蹤成功率高的基于DSP的相關(guān)跟蹤方法，本采用基于歸一化積相關(guān)的模板匹配算法與遮擋判定、運動預(yù)估相結(jié)合的方式，通過Kalman運動預(yù)估設(shè)置搜索中心，采用基于NProd函數(shù)的子模板相關(guān)矩陣作為匹配度量，在波門中搜索目標；如果子模板之間的相關(guān)度誤差滿足遮擋條件，則中止模板更新，直接采用運動預(yù)估值作為最佳匹配位置，直到目標離開遮擋區(qū)域。本發(fā)明對存在復(fù)雜背景中的、與背景顏色分布相似的、突然出現(xiàn)大面積遮擋的目標進行有效跟蹤，采用基于子模板相關(guān)誤差的目標遮擋判斷算法，有效判斷目標是否進入遮擋。
【專利說明】跟蹤成功率的基于DSP的相關(guān)跟蹤方法
[0001]本申請是申請?zhí)?201310309831.2、申請日:2013.07.22、名稱基于DSP的相關(guān)
跟蹤方法”的分案申請。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種圖像處理技術(shù)，具體涉及的是一種基于DSP的目標相關(guān)跟蹤方法及其裝置。
【背景技術(shù)】
[0003]基于圖像處理的目標跟蹤在人機交互、智能視頻監(jiān)控及軍事應(yīng)用等領(lǐng)域具有很多實際應(yīng)用。但是難點在于如何使跟蹤過程具有較強的魯棒性，因為目標的形狀變化及遮擋等情況都會影響跟蹤的可靠性。
[0004]基于模板匹配的相關(guān)跟蹤方法是目標跟蹤中的一種方法，通過自動檢測或人工設(shè)定得到包含目標的模板圖像，然后采用一定的判定準則即匹配度量函數(shù)，在搜索圖像中找出最佳匹配位置，從而實現(xiàn)對目標的跟蹤。相關(guān)跟蹤方法具有精度高、跟蹤穩(wěn)定且對背景顏色分布不敏感的優(yōu)點，但是當(dāng)目標發(fā)生形變或者被遮擋時，跟蹤精度會降低甚至跟蹤失敗。通過對模板進行更新，可以在一定程度上抑制目標形變對跟蹤的影響，但是每一幀上的微小誤差會隨著相對運動過程逐漸積累，從而可能導(dǎo)致目標跟蹤點偏離原先瞄準中心越來越遠，即模板出現(xiàn)漂移。除此以外還需要特別注意當(dāng)目標進入遮擋時，如果不立即中止模板更新，會導(dǎo)致遮擋物進入模板，從而對后續(xù)跟蹤造成嚴重影響。
[0005]現(xiàn)有的技術(shù)系統(tǒng)一般難以應(yīng)對目標遮擋這種突變干擾，為了更加有效地提高相關(guān)跟蹤的魯棒性，可以同時從兩個方面開展研究:其一，構(gòu)造更加魯棒的匹配度量函數(shù)；其二，研究合適的模板更新方法。
【發(fā)明內(nèi)容】
[0006]本發(fā)明的目的在于提供一種利用可見光圖像對存在復(fù)雜背景中的，與背景顏色分布相似的，突然出現(xiàn)大面積遮擋的目標進行跟蹤，并可以將跟蹤圖像傳送給監(jiān)視器實時顯示，將跟蹤結(jié)果實時傳輸給上位機的基于DSP的相關(guān)跟蹤方法及專用裝置。
[0007]本發(fā)明的技術(shù)解決方案是:
[0008]一種基于DSP的相關(guān)跟蹤方法，包括以下步驟:
[0009]步驟一:模擬視頻信號由攝像機的視頻輸出端連接到視頻捕獲模塊實現(xiàn)視頻信號的輸入，輸入視頻信號通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號，輸入信號為標準視頻信號，為PAL制式或者NTSC制式，數(shù)字圖像信號的輸出格式為YUV ；
[0010]步驟二:控制波門位置及大小，手動選擇要跟蹤的目標，以對應(yīng)區(qū)域的圖像亮度信號(Y)建立目標模板，或者根據(jù)預(yù)先存儲的圖像數(shù)據(jù)設(shè)定目標模板；
[0011]步驟三:根據(jù)所建立的目標模板在波門內(nèi)搜索目標，采用基于NProd函數(shù)的子模板相關(guān)矩陣作為匹配度量計算當(dāng)前模板與目標模板的相似度，取相似度最高的點作為目標最佳匹配位置；
[0012]步驟四:根據(jù)計算的目標運動軌跡，采用Kalman濾波預(yù)估目標在下一幀中的最大可能位置，以該點為中心設(shè)置下一幀的搜索波門；
[0013]步驟五:根據(jù)子模板相關(guān)度誤差進行目標遮擋判斷，如果沒有遮擋，取當(dāng)前最佳匹配位置對應(yīng)圖像數(shù)據(jù)作為候選模板，與當(dāng)前目標模板共同構(gòu)造新模板；
[0014]步驟六:如果判斷目標存在遮擋，停止模板更新，取Kalman濾波預(yù)估點作為下一幀的最佳匹配位置，并將對應(yīng)圖像數(shù)據(jù)作為候選模板，通過計算其子模板相關(guān)度誤差進行目標遮擋判斷；
[0015]步驟七:根據(jù)當(dāng)前幀的目標最佳匹配位置在圖像上疊加波門，處理后的數(shù)字圖像信號輸入視頻顯示模塊，通過視頻編碼器轉(zhuǎn)換為模擬視頻信號供給監(jiān)視器，通過監(jiān)視器顯示當(dāng)前跟蹤情況；
[0016]步驟八:數(shù)據(jù)傳輸模塊將圖像跟蹤模塊計算出的目標實時位置、相關(guān)匹配中間參量及目標遮擋判斷參量等數(shù)據(jù)通過UART數(shù)據(jù)傳輸接口傳送給上位機。
[0017]一種基于DSP的相關(guān)跟蹤方法及其裝置，包括視頻捕獲模塊、圖像跟蹤模塊、視頻顯示模塊以及數(shù)據(jù)傳輸模塊，其中，攝像機與視頻捕獲模塊相連接，監(jiān)視器與視頻顯示模塊相連接，上位機通過UART接口與數(shù)據(jù)傳輸模塊相連接，圖像跟蹤模塊分別與視頻捕獲模塊、視頻顯示模塊及數(shù)據(jù)傳輸模塊相連接；攝像機將采集的模擬視頻信號傳送給視頻捕獲模塊，通過視頻解碼器轉(zhuǎn)換為數(shù)字圖像信號，傳送給圖像跟蹤模塊，圖像跟蹤模塊根據(jù)數(shù)字圖像信號執(zhí)行相關(guān)匹配計算、目標運動預(yù)估、目標遮擋判斷及模板更新，并將處理后的數(shù)字圖像信號傳送給視頻顯示模塊，將目標跟蹤參數(shù)傳送給數(shù)據(jù)傳輸模塊，視頻顯示模塊通過視頻編碼器將數(shù)據(jù)轉(zhuǎn)換成模擬視頻信號傳送給監(jiān)視器，數(shù)據(jù)傳輸模塊將數(shù)據(jù)通過UART 口傳送給上位機。
[0018]一種基于DSP的相關(guān)跟蹤方法及其裝置，其視頻捕獲模塊包括視頻輸入接口、視頻解碼器，視頻顯示模塊包括視頻輸出接口、視頻編碼器，圖像跟蹤模塊包括DSP處理器、電源電路、復(fù)位電路、時鐘電路、同步動態(tài)存儲SDRAM、非揮發(fā)性FLASH內(nèi)存，數(shù)據(jù)傳輸模塊包括調(diào)試接口、UART接口，其中，DSP處理器分別與電源電路、復(fù)位電路、時鐘電路、同步動態(tài)存儲SDRAM、非揮發(fā)性FLASH內(nèi)存、視頻解碼器、視頻編碼器、調(diào)試接口及UART接口相連接。
[0019]本發(fā)明與現(xiàn)有技術(shù)相比，具有如下顯著優(yōu)點:
[0020](I)本發(fā)明系統(tǒng)能通過可變波門手動選擇目標，也可通過預(yù)設(shè)目標圖像信息自動選擇目標；
[0021](2)本發(fā)明系統(tǒng)采用子模板相關(guān)度矩陣匹配算法，相對于一般的相關(guān)匹配算法，跟蹤的魯棒性有所提聞;
[0022](3)本發(fā)明系統(tǒng)采用了基于子模板相關(guān)誤差的目標遮擋判斷算法，可以有效判斷目標是否進入遮擋，并結(jié)合Kalman濾波運動預(yù)估有效提高目標在遮擋情況下的跟蹤成功率；
[0023](4)本發(fā)明系統(tǒng)單幀處理時間及CPU負載率滿足實時跟蹤要求，且體積小、功耗低，適用性強，具有新穎性與實用性。
[0024]下面結(jié)合附圖對本發(fā)明作進一步詳細描述【專利附圖】
【附圖說明】
[0025]圖1是本發(fā)明基于DSP的相關(guān)跟蹤裝置的結(jié)構(gòu)示意圖。
[0026]圖2是本發(fā)明基于DSP的相關(guān)跟蹤方法流程圖。
【具體實施方式】
[0027]由圖1可知，一種基于DSP的相關(guān)跟蹤方法及其裝置，其裝置包括視頻捕獲模塊、圖像跟蹤模塊、視頻顯示模塊以及數(shù)據(jù)傳輸模塊，其中，攝像機I與視頻捕獲模塊相連接，監(jiān)視器與視頻顯示模塊相連接，上位機通過UART接口與數(shù)據(jù)傳輸模塊相連接，圖像跟蹤模塊分別與視頻捕獲模塊、視頻顯示模塊及數(shù)據(jù)傳輸模塊相連接；攝像機將采集的模擬視頻信號傳送給視頻捕獲模塊，通過視頻解碼器轉(zhuǎn)換為數(shù)字圖像信號，傳送給圖像跟蹤模塊，圖像跟蹤模塊根據(jù)數(shù)字圖像信號執(zhí)行相關(guān)匹配計算、目標運動預(yù)估、目標遮擋判斷及模板更新，并將處理后的數(shù)字圖像信號傳送給視頻顯示模塊，將目標跟蹤參數(shù)傳送給數(shù)據(jù)傳輸模塊，視頻顯示模塊通過視頻編碼器將數(shù)據(jù)轉(zhuǎn)換成模擬視頻信號傳送給監(jiān)視器13，數(shù)據(jù)傳輸模塊將數(shù)據(jù)通過UART 口傳送給上位機12。
[0028]視頻捕獲模塊包括視頻輸入接口、視頻解碼器2，視頻顯示模塊包括視頻輸出接口、視頻編碼器3，圖像跟蹤模塊包括DSP處理器4、電源電路5、復(fù)位電路6、時鐘電路7、同步動態(tài)存儲SDRAM8、非揮發(fā)性FLASH內(nèi)存9，數(shù)據(jù)傳輸模塊包括調(diào)試接口 10、UART接口11，其中，DSP處理器分別與電源電路、復(fù)位電路、時鐘電路、同步動態(tài)存儲SDRAM、非揮發(fā)性FLASH內(nèi)存、視頻解碼器、視頻編碼器、調(diào)試接口及UART接口相連接。圖像跟蹤模塊為本系統(tǒng)的核心器件，它對基于可見光模擬視頻信號轉(zhuǎn)換而來的數(shù)字圖像進行處理，計算出目標當(dāng)前位置，判斷目標是否存在遮擋、實現(xiàn)模板更新并在數(shù)字圖像上疊加波門。本發(fā)明的DSP處理器選用DM642芯片 ，視頻解碼器選用TVP5150視頻解碼芯片，視頻編碼器選用SAA7104視頻編碼芯片。
[0029]由圖2可知，一種基于DSP的相關(guān)跟蹤方法，包括以下步驟:
[0030]1.1模擬視頻信號由攝像機的視頻輸出端連接到視頻捕獲模塊實現(xiàn)視頻信號的輸入，輸入視頻信號通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號，輸入信號為標準視頻信號，為PAL制式或者NTSC制式，數(shù)字圖像信號的輸出格式為YUV。
[0031]1.2控制波門位置及大小，手動選擇要跟蹤的目標，以對應(yīng)區(qū)域的圖像亮度信號(Y)建立目標模板，或者根據(jù)預(yù)先存儲的圖像數(shù)據(jù)設(shè)定目標模板。模板圖像的大小在32*32像素到64*64像素之間。
[0032]1.3根據(jù)所建立的目標模板在波門內(nèi)搜索目標，采用基于NP1d函數(shù)的子模板相關(guān)矩陣作為匹配度量計算當(dāng)前模板與目標模板的相似度，取相似度最高的點作為目標最佳匹配位置。具體如下:
[0033]子模板大小由模板圖像大小決定，在8*8像素到16*16像素之間，子模板的數(shù)量在16到64之間。將模板圖像與實時圖像對應(yīng)區(qū)域的圖像按同樣方式均勻分割成MXN個子模板，在每一個搜索位置按公式(I)計算子模板與子圖對應(yīng)位置子圖像的去均值歸一化相關(guān)系數(shù)Dkl(i，j) (O≤Dkl(i，j)≤1，1≤k≤M，1≤I≤N)，得到一個MXN維的相關(guān)度量矩陣S，將矩陣S存儲在一個數(shù)組之中。【專利附圖】
【附圖說明】
[0025]圖1是本發(fā)明基于DSP的相關(guān)跟蹤裝置的結(jié)構(gòu)示意圖。
[0026]圖2是本發(fā)明基于DSP的相關(guān)跟蹤方法流程圖。
【具體實施方式】
[0027]由圖1可知，一種基于DSP的相關(guān)跟蹤方法及其裝置，其裝置包括視頻捕獲模塊、圖像跟蹤模塊、視頻顯示模塊以及數(shù)據(jù)傳輸模塊，其中，攝像機I與視頻捕獲模塊相連接，監(jiān)視器與視頻顯示模塊相連接，上位機通過UART接口與數(shù)據(jù)傳輸模塊相連接，圖像跟蹤模塊分別與視頻捕獲模塊、視頻顯示模塊及數(shù)據(jù)傳輸模塊相連接；攝像機將采集的模擬視頻信號傳送給視頻捕獲模塊，通過視頻解碼器轉(zhuǎn)換為數(shù)字圖像信號，傳送給圖像跟蹤模塊，圖像跟蹤模塊根據(jù)數(shù)字圖像信號執(zhí)行相關(guān)匹配計算、目標運動預(yù)估、目標遮擋判斷及模板更新，并將處理后的數(shù)字圖像信號傳送給視頻顯示模塊，將目標跟蹤參數(shù)傳送給數(shù)據(jù)傳輸模塊，視頻顯示模塊通過視頻編碼器將數(shù)據(jù)轉(zhuǎn)換成模擬視頻信號傳送給監(jiān)視器13，數(shù)據(jù)傳輸模塊將數(shù)據(jù)通過UART 口傳送給上位機12。
[0028]視頻捕獲模塊包括視頻輸入接口、視頻解碼器2，視頻顯示模塊包括視頻輸出接口、視頻編碼器3，圖像跟蹤模塊包括DSP處理器4、電源電路5、復(fù)位電路6、時鐘電路7、同步動態(tài)存儲SDRAM8、非揮發(fā)性FLASH內(nèi)存9，數(shù)據(jù)傳輸模塊包括調(diào)試接口 10、UART接口11，其中，DSP處理器分別與電源電路、復(fù)位電路、時鐘電路、同步動態(tài)存儲SDRAM、非揮發(fā)性FLASH內(nèi)存、視頻解碼器、視頻編碼器、調(diào)試接口及UART接口相連接。圖像跟蹤模塊為本系統(tǒng)的核心器件，它對基于可見光模擬視頻信號轉(zhuǎn)換而來的數(shù)字圖像進行處理，計算出目標當(dāng)前位置，判斷目標是否存在遮擋、實現(xiàn)模板更新并在數(shù)字圖像上疊加波門。本發(fā)明的DSP處理器選用DM642芯片 ，視頻解碼器選用TVP5150視頻解碼芯片，視頻編碼器選用SAA7104視頻編碼芯片。
[0029]由圖2可知，一種基于DSP的相關(guān)跟蹤方法，包括以下步驟:
[0030]1.1模擬視頻信號由攝像機的視頻輸出端連接到視頻捕獲模塊實現(xiàn)視頻信號的輸入，輸入視頻信號通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號，輸入信號為標準視頻信號，為PAL制式或者NTSC制式，數(shù)字圖像信號的輸出格式為YUV。
[0031]1.2控制波門位置及大小，手動選擇要跟蹤的目標，以對應(yīng)區(qū)域的圖像亮度信號(Y)建立目標模板，或者根據(jù)預(yù)先存儲的圖像數(shù)據(jù)設(shè)定目標模板。模板圖像的大小在32*32像素到64*64像素之間。
[0032]1.3根據(jù)所建立的目標模板在波門內(nèi)搜索目標，采用基于NP1d函數(shù)的子模板相關(guān)矩陣作為匹配度量計算當(dāng)前模板與目標模板的相似度，取相似度最高的點作為目標最佳匹配位置。具體如下:
[0033]子模板大小由模板圖像大小決定，在8*8像素到16*16像素之間，子模板的數(shù)量在16到64之間。將模板圖像與實時圖像對應(yīng)區(qū)域的圖像按同樣方式均勻分割成MXN個子模板，在每一個搜索位置按公式(I)計算子模板與子圖對應(yīng)位置子圖像的去均值歸一化相關(guān)系數(shù)Dkl(i，j) (O≤Dkl(i，j)≤1，1≤k≤M，1≤I≤N)，得到一個MXN維的相關(guān)度量矩陣S，將矩陣S存儲在一個數(shù)組之中。
【權(quán)利要求】
1.一種跟蹤成功率的基于DSP的相關(guān)跟蹤方法，其特征是:包括以下步驟: 步驟一:模擬視頻信號由攝像機的視頻輸出端連接到視頻捕獲模塊實現(xiàn)視頻信號的輸入，輸入視頻信號通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號，輸入信號為標準視頻信號，為PAL制式或者NTSC制式，數(shù)字圖像信號的輸出格式為YUV ； 步驟二:控制波門位置及大小，手動選擇要跟蹤的目標，以對應(yīng)區(qū)域的圖像亮度信號Y建立目標模板，或者根據(jù)預(yù)先存儲的圖像數(shù)據(jù)設(shè)定目標模板； 步驟三:根據(jù)所建立的目標模板在波門內(nèi)搜索目標，采用基于NProd函數(shù)的子模板相關(guān)矩陣作為匹配度量計算當(dāng)前模板與目標模板的相似度，取相似度最高的點作為目標最佳匹配位置； 步驟四:根據(jù)計算的目標運動軌跡，采用Kalman濾波預(yù)估目標在下一幀中的最大可能位置，以該點為中心設(shè)置下一幀的搜索波門； 步驟五:根據(jù)子模板相關(guān)度誤差進行目標遮擋判斷，如果沒有遮擋，取當(dāng)前最佳匹配位置對應(yīng)圖像數(shù)據(jù)作為候選模板，與當(dāng)前目標模板共同構(gòu)造新模板； 步驟六:如果判斷目標存在遮擋，停止模板更新，取Kalman濾波預(yù)估點作為下一幀的最佳匹配位置，并將對應(yīng)圖像數(shù)據(jù)作為候選模板，通過計算其子模板相關(guān)度誤差進行目標遮擋判斷； 步驟七:根據(jù)當(dāng)前幀的目標最佳匹配位置在圖像上疊加波門，處理后的數(shù)字圖像信號輸入視頻顯示模塊，通過視頻編碼器轉(zhuǎn)換為模擬視頻信號供給監(jiān)視器，通過監(jiān)視器顯示當(dāng)iu跟蹤情況； 步驟八:數(shù)據(jù)傳輸模塊將圖像跟蹤模塊計算出的目標實時位置、相關(guān)匹配中間參量及目標遮擋判斷參量數(shù)據(jù)通過UART數(shù)據(jù)傳輸接口傳送給上位機； 步驟四中采用Kalman濾波預(yù)估目標在下一幀中的最大可能位置，其預(yù)估方法為: 步驟五中目標遮擋判斷方法式: 模板共分割為MXN個子模板，Tij表示第i行第j個子模板，Dij為Tu對應(yīng)子圖的基于公式(I)的相關(guān)系數(shù)值，整個模板的相關(guān)系數(shù)值為Ds，Du與Ds的差值定義為Λ Du，所有ADij的均值力Δδ有
2.根據(jù)權(quán)利要求1所述的基于DSP的相關(guān)跟蹤方法，其特征是:步驟二中控制波門位置及大小，手動選擇要跟蹤的目標，以對應(yīng)區(qū)域的圖像亮度信號建立目標模板，或者根據(jù)預(yù)先存儲的圖像數(shù)據(jù)設(shè)定目標模板，模板圖像的大小在32*32像素到64*64像素之間。
3.根據(jù)權(quán)利要求1所述的基于DSP的相關(guān)跟蹤方法，其特征是:如果判斷目標存在遮擋，停止模板更新，取Kalman濾波預(yù)估點作為下一幀的最佳匹配位置，并將對應(yīng)圖像數(shù)據(jù)作為候選模板，通過計算其子模板相關(guān)度誤差進行目標遮擋判斷。
【文檔編號】G06T7/20GK104038744SQ201410287611
【公開日】2014年9月10日 申請日期:2013年7月22日 優(yōu)先權(quán)日:2013年7月22日
【發(fā)明者】陸觀, 徐一鳴, 顧菊平, 華亮, 陳 峰, 陳娟 申請人:南通大學(xué)
【專利摘要】本發(fā)明公開了一種跟蹤成功率高的基于DSP的相關(guān)跟蹤方法，本采用基于歸一化積相關(guān)的模板匹配算法與遮擋判定、運動預(yù)估相結(jié)合的方式，通過Kalman運動預(yù)估設(shè)置搜索中心，采用基于NProd函數(shù)的子模板相關(guān)矩陣作為匹配度量，在波門中搜索目標；如果子模板之間的相關(guān)度誤差滿足遮擋條件，則中止模板更新，直接采用運動預(yù)估值作為最佳匹配位置，直到目標離開遮擋區(qū)域。本發(fā)明對存在復(fù)雜背景中的、與背景顏色分布相似的、突然出現(xiàn)大面積遮擋的目標進行有效跟蹤，采用基于子模板相關(guān)誤差的目標遮擋判斷算法，有效判斷目標是否進入遮擋。
【專利說明】跟蹤成功率的基于DSP的相關(guān)跟蹤方法
[0001]本申請是申請?zhí)?201310309831.2、申請日:2013.07.22、名稱基于DSP的相關(guān)
跟蹤方法”的分案申請。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及一種圖像處理技術(shù)，具體涉及的是一種基于DSP的目標相關(guān)跟蹤方法及其裝置。
【背景技術(shù)】
[0003]基于圖像處理的目標跟蹤在人機交互、智能視頻監(jiān)控及軍事應(yīng)用等領(lǐng)域具有很多實際應(yīng)用。但是難點在于如何使跟蹤過程具有較強的魯棒性，因為目標的形狀變化及遮擋等情況都會影響跟蹤的可靠性。
[0004]基于模板匹配的相關(guān)跟蹤方法是目標跟蹤中的一種方法，通過自動檢測或人工設(shè)定得到包含目標的模板圖像，然后采用一定的判定準則即匹配度量函數(shù)，在搜索圖像中找出最佳匹配位置，從而實現(xiàn)對目標的跟蹤。相關(guān)跟蹤方法具有精度高、跟蹤穩(wěn)定且對背景顏色分布不敏感的優(yōu)點，但是當(dāng)目標發(fā)生形變或者被遮擋時，跟蹤精度會降低甚至跟蹤失敗。通過對模板進行更新，可以在一定程度上抑制目標形變對跟蹤的影響，但是每一幀上的微小誤差會隨著相對運動過程逐漸積累，從而可能導(dǎo)致目標跟蹤點偏離原先瞄準中心越來越遠，即模板出現(xiàn)漂移。除此以外還需要特別注意當(dāng)目標進入遮擋時，如果不立即中止模板更新，會導(dǎo)致遮擋物進入模板，從而對后續(xù)跟蹤造成嚴重影響。
[0005]現(xiàn)有的技術(shù)系統(tǒng)一般難以應(yīng)對目標遮擋這種突變干擾，為了更加有效地提高相關(guān)跟蹤的魯棒性，可以同時從兩個方面開展研究:其一，構(gòu)造更加魯棒的匹配度量函數(shù)；其二，研究合適的模板更新方法。
【發(fā)明內(nèi)容】
[0006]本發(fā)明的目的在于提供一種利用可見光圖像對存在復(fù)雜背景中的，與背景顏色分布相似的，突然出現(xiàn)大面積遮擋的目標進行跟蹤，并可以將跟蹤圖像傳送給監(jiān)視器實時顯示，將跟蹤結(jié)果實時傳輸給上位機的基于DSP的相關(guān)跟蹤方法及專用裝置。
[0007]本發(fā)明的技術(shù)解決方案是:
[0008]一種基于DSP的相關(guān)跟蹤方法，包括以下步驟:
[0009]步驟一:模擬視頻信號由攝像機的視頻輸出端連接到視頻捕獲模塊實現(xiàn)視頻信號的輸入，輸入視頻信號通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號，輸入信號為標準視頻信號，為PAL制式或者NTSC制式，數(shù)字圖像信號的輸出格式為YUV ；
[0010]步驟二:控制波門位置及大小，手動選擇要跟蹤的目標，以對應(yīng)區(qū)域的圖像亮度信號(Y)建立目標模板，或者根據(jù)預(yù)先存儲的圖像數(shù)據(jù)設(shè)定目標模板；
[0011]步驟三:根據(jù)所建立的目標模板在波門內(nèi)搜索目標，采用基于NProd函數(shù)的子模板相關(guān)矩陣作為匹配度量計算當(dāng)前模板與目標模板的相似度，取相似度最高的點作為目標最佳匹配位置；
[0012]步驟四:根據(jù)計算的目標運動軌跡，采用Kalman濾波預(yù)估目標在下一幀中的最大可能位置，以該點為中心設(shè)置下一幀的搜索波門；
[0013]步驟五:根據(jù)子模板相關(guān)度誤差進行目標遮擋判斷，如果沒有遮擋，取當(dāng)前最佳匹配位置對應(yīng)圖像數(shù)據(jù)作為候選模板，與當(dāng)前目標模板共同構(gòu)造新模板；
[0014]步驟六:如果判斷目標存在遮擋，停止模板更新，取Kalman濾波預(yù)估點作為下一幀的最佳匹配位置，并將對應(yīng)圖像數(shù)據(jù)作為候選模板，通過計算其子模板相關(guān)度誤差進行目標遮擋判斷；
[0015]步驟七:根據(jù)當(dāng)前幀的目標最佳匹配位置在圖像上疊加波門，處理后的數(shù)字圖像信號輸入視頻顯示模塊，通過視頻編碼器轉(zhuǎn)換為模擬視頻信號供給監(jiān)視器，通過監(jiān)視器顯示當(dāng)前跟蹤情況；
[0016]步驟八:數(shù)據(jù)傳輸模塊將圖像跟蹤模塊計算出的目標實時位置、相關(guān)匹配中間參量及目標遮擋判斷參量等數(shù)據(jù)通過UART數(shù)據(jù)傳輸接口傳送給上位機。
[0017]一種基于DSP的相關(guān)跟蹤方法及其裝置，包括視頻捕獲模塊、圖像跟蹤模塊、視頻顯示模塊以及數(shù)據(jù)傳輸模塊，其中，攝像機與視頻捕獲模塊相連接，監(jiān)視器與視頻顯示模塊相連接，上位機通過UART接口與數(shù)據(jù)傳輸模塊相連接，圖像跟蹤模塊分別與視頻捕獲模塊、視頻顯示模塊及數(shù)據(jù)傳輸模塊相連接；攝像機將采集的模擬視頻信號傳送給視頻捕獲模塊，通過視頻解碼器轉(zhuǎn)換為數(shù)字圖像信號，傳送給圖像跟蹤模塊，圖像跟蹤模塊根據(jù)數(shù)字圖像信號執(zhí)行相關(guān)匹配計算、目標運動預(yù)估、目標遮擋判斷及模板更新，并將處理后的數(shù)字圖像信號傳送給視頻顯示模塊，將目標跟蹤參數(shù)傳送給數(shù)據(jù)傳輸模塊，視頻顯示模塊通過視頻編碼器將數(shù)據(jù)轉(zhuǎn)換成模擬視頻信號傳送給監(jiān)視器，數(shù)據(jù)傳輸模塊將數(shù)據(jù)通過UART 口傳送給上位機。
[0018]一種基于DSP的相關(guān)跟蹤方法及其裝置，其視頻捕獲模塊包括視頻輸入接口、視頻解碼器，視頻顯示模塊包括視頻輸出接口、視頻編碼器，圖像跟蹤模塊包括DSP處理器、電源電路、復(fù)位電路、時鐘電路、同步動態(tài)存儲SDRAM、非揮發(fā)性FLASH內(nèi)存，數(shù)據(jù)傳輸模塊包括調(diào)試接口、UART接口，其中，DSP處理器分別與電源電路、復(fù)位電路、時鐘電路、同步動態(tài)存儲SDRAM、非揮發(fā)性FLASH內(nèi)存、視頻解碼器、視頻編碼器、調(diào)試接口及UART接口相連接。
[0019]本發(fā)明與現(xiàn)有技術(shù)相比，具有如下顯著優(yōu)點:
[0020](I)本發(fā)明系統(tǒng)能通過可變波門手動選擇目標，也可通過預(yù)設(shè)目標圖像信息自動選擇目標；
[0021](2)本發(fā)明系統(tǒng)采用子模板相關(guān)度矩陣匹配算法，相對于一般的相關(guān)匹配算法，跟蹤的魯棒性有所提聞;
[0022](3)本發(fā)明系統(tǒng)采用了基于子模板相關(guān)誤差的目標遮擋判斷算法，可以有效判斷目標是否進入遮擋，并結(jié)合Kalman濾波運動預(yù)估有效提高目標在遮擋情況下的跟蹤成功率；
[0023](4)本發(fā)明系統(tǒng)單幀處理時間及CPU負載率滿足實時跟蹤要求，且體積小、功耗低，適用性強，具有新穎性與實用性。
[0024]下面結(jié)合附圖對本發(fā)明作進一步詳細描述【專利附圖】
【附圖說明】
[0025]圖1是本發(fā)明基于DSP的相關(guān)跟蹤裝置的結(jié)構(gòu)示意圖。
[0026]圖2是本發(fā)明基于DSP的相關(guān)跟蹤方法流程圖。
【具體實施方式】
[0027]由圖1可知，一種基于DSP的相關(guān)跟蹤方法及其裝置，其裝置包括視頻捕獲模塊、圖像跟蹤模塊、視頻顯示模塊以及數(shù)據(jù)傳輸模塊，其中，攝像機I與視頻捕獲模塊相連接，監(jiān)視器與視頻顯示模塊相連接，上位機通過UART接口與數(shù)據(jù)傳輸模塊相連接，圖像跟蹤模塊分別與視頻捕獲模塊、視頻顯示模塊及數(shù)據(jù)傳輸模塊相連接；攝像機將采集的模擬視頻信號傳送給視頻捕獲模塊，通過視頻解碼器轉(zhuǎn)換為數(shù)字圖像信號，傳送給圖像跟蹤模塊，圖像跟蹤模塊根據(jù)數(shù)字圖像信號執(zhí)行相關(guān)匹配計算、目標運動預(yù)估、目標遮擋判斷及模板更新，并將處理后的數(shù)字圖像信號傳送給視頻顯示模塊，將目標跟蹤參數(shù)傳送給數(shù)據(jù)傳輸模塊，視頻顯示模塊通過視頻編碼器將數(shù)據(jù)轉(zhuǎn)換成模擬視頻信號傳送給監(jiān)視器13，數(shù)據(jù)傳輸模塊將數(shù)據(jù)通過UART 口傳送給上位機12。
[0028]視頻捕獲模塊包括視頻輸入接口、視頻解碼器2，視頻顯示模塊包括視頻輸出接口、視頻編碼器3，圖像跟蹤模塊包括DSP處理器4、電源電路5、復(fù)位電路6、時鐘電路7、同步動態(tài)存儲SDRAM8、非揮發(fā)性FLASH內(nèi)存9，數(shù)據(jù)傳輸模塊包括調(diào)試接口 10、UART接口11，其中，DSP處理器分別與電源電路、復(fù)位電路、時鐘電路、同步動態(tài)存儲SDRAM、非揮發(fā)性FLASH內(nèi)存、視頻解碼器、視頻編碼器、調(diào)試接口及UART接口相連接。圖像跟蹤模塊為本系統(tǒng)的核心器件，它對基于可見光模擬視頻信號轉(zhuǎn)換而來的數(shù)字圖像進行處理，計算出目標當(dāng)前位置，判斷目標是否存在遮擋、實現(xiàn)模板更新并在數(shù)字圖像上疊加波門。本發(fā)明的DSP處理器選用DM642芯片 ，視頻解碼器選用TVP5150視頻解碼芯片，視頻編碼器選用SAA7104視頻編碼芯片。
[0029]由圖2可知，一種基于DSP的相關(guān)跟蹤方法，包括以下步驟:
[0030]1.1模擬視頻信號由攝像機的視頻輸出端連接到視頻捕獲模塊實現(xiàn)視頻信號的輸入，輸入視頻信號通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號，輸入信號為標準視頻信號，為PAL制式或者NTSC制式，數(shù)字圖像信號的輸出格式為YUV。
[0031]1.2控制波門位置及大小，手動選擇要跟蹤的目標，以對應(yīng)區(qū)域的圖像亮度信號(Y)建立目標模板，或者根據(jù)預(yù)先存儲的圖像數(shù)據(jù)設(shè)定目標模板。模板圖像的大小在32*32像素到64*64像素之間。
[0032]1.3根據(jù)所建立的目標模板在波門內(nèi)搜索目標，采用基于NP1d函數(shù)的子模板相關(guān)矩陣作為匹配度量計算當(dāng)前模板與目標模板的相似度，取相似度最高的點作為目標最佳匹配位置。具體如下:
[0033]子模板大小由模板圖像大小決定，在8*8像素到16*16像素之間，子模板的數(shù)量在16到64之間。將模板圖像與實時圖像對應(yīng)區(qū)域的圖像按同樣方式均勻分割成MXN個子模板，在每一個搜索位置按公式(I)計算子模板與子圖對應(yīng)位置子圖像的去均值歸一化相關(guān)系數(shù)Dkl(i，j) (O≤Dkl(i，j)≤1，1≤k≤M，1≤I≤N)，得到一個MXN維的相關(guān)度量矩陣S，將矩陣S存儲在一個數(shù)組之中。【專利附圖】
【附圖說明】
[0025]圖1是本發(fā)明基于DSP的相關(guān)跟蹤裝置的結(jié)構(gòu)示意圖。
[0026]圖2是本發(fā)明基于DSP的相關(guān)跟蹤方法流程圖。
【具體實施方式】
[0027]由圖1可知，一種基于DSP的相關(guān)跟蹤方法及其裝置，其裝置包括視頻捕獲模塊、圖像跟蹤模塊、視頻顯示模塊以及數(shù)據(jù)傳輸模塊，其中，攝像機I與視頻捕獲模塊相連接，監(jiān)視器與視頻顯示模塊相連接，上位機通過UART接口與數(shù)據(jù)傳輸模塊相連接，圖像跟蹤模塊分別與視頻捕獲模塊、視頻顯示模塊及數(shù)據(jù)傳輸模塊相連接；攝像機將采集的模擬視頻信號傳送給視頻捕獲模塊，通過視頻解碼器轉(zhuǎn)換為數(shù)字圖像信號，傳送給圖像跟蹤模塊，圖像跟蹤模塊根據(jù)數(shù)字圖像信號執(zhí)行相關(guān)匹配計算、目標運動預(yù)估、目標遮擋判斷及模板更新，并將處理后的數(shù)字圖像信號傳送給視頻顯示模塊，將目標跟蹤參數(shù)傳送給數(shù)據(jù)傳輸模塊，視頻顯示模塊通過視頻編碼器將數(shù)據(jù)轉(zhuǎn)換成模擬視頻信號傳送給監(jiān)視器13，數(shù)據(jù)傳輸模塊將數(shù)據(jù)通過UART 口傳送給上位機12。
[0028]視頻捕獲模塊包括視頻輸入接口、視頻解碼器2，視頻顯示模塊包括視頻輸出接口、視頻編碼器3，圖像跟蹤模塊包括DSP處理器4、電源電路5、復(fù)位電路6、時鐘電路7、同步動態(tài)存儲SDRAM8、非揮發(fā)性FLASH內(nèi)存9，數(shù)據(jù)傳輸模塊包括調(diào)試接口 10、UART接口11，其中，DSP處理器分別與電源電路、復(fù)位電路、時鐘電路、同步動態(tài)存儲SDRAM、非揮發(fā)性FLASH內(nèi)存、視頻解碼器、視頻編碼器、調(diào)試接口及UART接口相連接。圖像跟蹤模塊為本系統(tǒng)的核心器件，它對基于可見光模擬視頻信號轉(zhuǎn)換而來的數(shù)字圖像進行處理，計算出目標當(dāng)前位置，判斷目標是否存在遮擋、實現(xiàn)模板更新并在數(shù)字圖像上疊加波門。本發(fā)明的DSP處理器選用DM642芯片 ，視頻解碼器選用TVP5150視頻解碼芯片，視頻編碼器選用SAA7104視頻編碼芯片。
[0029]由圖2可知，一種基于DSP的相關(guān)跟蹤方法，包括以下步驟:
[0030]1.1模擬視頻信號由攝像機的視頻輸出端連接到視頻捕獲模塊實現(xiàn)視頻信號的輸入，輸入視頻信號通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號，輸入信號為標準視頻信號，為PAL制式或者NTSC制式，數(shù)字圖像信號的輸出格式為YUV。
[0031]1.2控制波門位置及大小，手動選擇要跟蹤的目標，以對應(yīng)區(qū)域的圖像亮度信號(Y)建立目標模板，或者根據(jù)預(yù)先存儲的圖像數(shù)據(jù)設(shè)定目標模板。模板圖像的大小在32*32像素到64*64像素之間。
[0032]1.3根據(jù)所建立的目標模板在波門內(nèi)搜索目標，采用基于NP1d函數(shù)的子模板相關(guān)矩陣作為匹配度量計算當(dāng)前模板與目標模板的相似度，取相似度最高的點作為目標最佳匹配位置。具體如下:
[0033]子模板大小由模板圖像大小決定，在8*8像素到16*16像素之間，子模板的數(shù)量在16到64之間。將模板圖像與實時圖像對應(yīng)區(qū)域的圖像按同樣方式均勻分割成MXN個子模板，在每一個搜索位置按公式(I)計算子模板與子圖對應(yīng)位置子圖像的去均值歸一化相關(guān)系數(shù)Dkl(i，j) (O≤Dkl(i，j)≤1，1≤k≤M，1≤I≤N)，得到一個MXN維的相關(guān)度量矩陣S，將矩陣S存儲在一個數(shù)組之中。
【權(quán)利要求】
1.一種跟蹤成功率的基于DSP的相關(guān)跟蹤方法，其特征是:包括以下步驟: 步驟一:模擬視頻信號由攝像機的視頻輸出端連接到視頻捕獲模塊實現(xiàn)視頻信號的輸入，輸入視頻信號通過視頻解碼器轉(zhuǎn)化為數(shù)字圖像信號，輸入信號為標準視頻信號，為PAL制式或者NTSC制式，數(shù)字圖像信號的輸出格式為YUV ； 步驟二:控制波門位置及大小，手動選擇要跟蹤的目標，以對應(yīng)區(qū)域的圖像亮度信號Y建立目標模板，或者根據(jù)預(yù)先存儲的圖像數(shù)據(jù)設(shè)定目標模板； 步驟三:根據(jù)所建立的目標模板在波門內(nèi)搜索目標，采用基于NProd函數(shù)的子模板相關(guān)矩陣作為匹配度量計算當(dāng)前模板與目標模板的相似度，取相似度最高的點作為目標最佳匹配位置； 步驟四:根據(jù)計算的目標運動軌跡，采用Kalman濾波預(yù)估目標在下一幀中的最大可能位置，以該點為中心設(shè)置下一幀的搜索波門； 步驟五:根據(jù)子模板相關(guān)度誤差進行目標遮擋判斷，如果沒有遮擋，取當(dāng)前最佳匹配位置對應(yīng)圖像數(shù)據(jù)作為候選模板，與當(dāng)前目標模板共同構(gòu)造新模板； 步驟六:如果判斷目標存在遮擋，停止模板更新，取Kalman濾波預(yù)估點作為下一幀的最佳匹配位置，并將對應(yīng)圖像數(shù)據(jù)作為候選模板，通過計算其子模板相關(guān)度誤差進行目標遮擋判斷； 步驟七:根據(jù)當(dāng)前幀的目標最佳匹配位置在圖像上疊加波門，處理后的數(shù)字圖像信號輸入視頻顯示模塊，通過視頻編碼器轉(zhuǎn)換為模擬視頻信號供給監(jiān)視器，通過監(jiān)視器顯示當(dāng)iu跟蹤情況； 步驟八:數(shù)據(jù)傳輸模塊將圖像跟蹤模塊計算出的目標實時位置、相關(guān)匹配中間參量及目標遮擋判斷參量數(shù)據(jù)通過UART數(shù)據(jù)傳輸接口傳送給上位機； 步驟四中采用Kalman濾波預(yù)估目標在下一幀中的最大可能位置，其預(yù)估方法為: 步驟五中目標遮擋判斷方法式: 模板共分割為MXN個子模板，Tij表示第i行第j個子模板，Dij為Tu對應(yīng)子圖的基于公式(I)的相關(guān)系數(shù)值，整個模板的相關(guān)系數(shù)值為Ds，Du與Ds的差值定義為Λ Du，所有ADij的均值力Δδ有
2.根據(jù)權(quán)利要求1所述的基于DSP的相關(guān)跟蹤方法，其特征是:步驟二中控制波門位置及大小，手動選擇要跟蹤的目標，以對應(yīng)區(qū)域的圖像亮度信號建立目標模板，或者根據(jù)預(yù)先存儲的圖像數(shù)據(jù)設(shè)定目標模板，模板圖像的大小在32*32像素到64*64像素之間。
3.根據(jù)權(quán)利要求1所述的基于DSP的相關(guān)跟蹤方法，其特征是:如果判斷目標存在遮擋，停止模板更新，取Kalman濾波預(yù)估點作為下一幀的最佳匹配位置，并將對應(yīng)圖像數(shù)據(jù)作為候選模板，通過計算其子模板相關(guān)度誤差進行目標遮擋判斷。
【文檔編號】G06T7/20GK104038744SQ201410287611
【公開日】2014年9月10日 申請日期:2013年7月22日 優(yōu)先權(quán)日:2013年7月22日
【發(fā)明者】陸觀, 徐一鳴, 顧菊平, 華亮, 陳 峰, 陳娟 申請人:南通大學(xué)
相關(guān)技術(shù)
網(wǎng)友詢問留言
已有0條留言
- 還沒有人留言評論。精彩留言會獲得點贊！
1