到匹配區(qū)域相應(yīng)的紋理特征及顏色特征。對(duì)距當(dāng)前Κ幀的匹配區(qū)域進(jìn)行平均得到這 Κ幀圖像平均后的匹配區(qū)域，對(duì)各匹配區(qū)域紋理特征及顏色特征進(jìn)行平均，得到這Κ幀圖像 的匹配區(qū)域紋理特征均值以及顏色特征均值，對(duì)應(yīng)地作為后續(xù)步驟的紋理特征模板及顏色 特征模板。
[0063] 紋理特征及顏色特征均可以使用現(xiàn)有的特征，例如紋理特征可以為Sobel算子， 顏色特征可以為當(dāng)前實(shí)施例中的灰度值，每次自適應(yīng)變倍完成后，對(duì)每一幀跟蹤目標(biāo)圖像 做灰度直方圖統(tǒng)計(jì)，由于各幀圖像之間灰度值差異會(huì)較大，不能直接將灰度值之間進(jìn)行匹 配，因此需要對(duì)其做歸一化計(jì)算，如下式所示： /2
[0064] p(.x) = -,,ve; η
[0065] ^表示灰度χ出現(xiàn)的次數(shù)，L是圖像中的所有灰度級(jí)，η是跟蹤目標(biāo)圖像中的像素 個(gè)數(shù)，這樣圖像中灰度為X的像素出現(xiàn)的概率P(x)取值為〇~1。對(duì)歸一化的灰度直方圖 進(jìn)行維護(hù)，取距當(dāng)前幀圖像K幀內(nèi)得到的一共K個(gè)跟蹤目標(biāo)圖像的歸一化灰度直方圖均值 作為后續(xù)匹配所示用的顏色特征模板。
[0066] ②記錄距當(dāng)前幀K幀內(nèi)跟蹤目標(biāo)的平面運(yùn)動(dòng)方向、運(yùn)動(dòng)軌跡、空間運(yùn)動(dòng)速度和位 置。
[0067] 當(dāng)前實(shí)施例采用金字塔LK跟蹤算法進(jìn)行目標(biāo)跟蹤，且記錄LK跟蹤算法中光流方 向作為當(dāng)前幀目標(biāo)的平面運(yùn)動(dòng)方向，并利用空間坐標(biāo)系記錄在水平和豎直方向上的空間運(yùn) 動(dòng)速度?？臻g運(yùn)動(dòng)速度計(jì)算公式如下：
[0068]
[0069] 公式中，lng'和lng分別為跟蹤目標(biāo)當(dāng)前幀經(jīng)度坐標(biāo)和前幀經(jīng)度坐標(biāo)，lat'和lat 分別為跟蹤目標(biāo)當(dāng)前幀煒度坐標(biāo)和前幀煒度坐標(biāo)，即公式（1)中的翁1和AT為兩幀之 間的時(shí)間間隔，vp代表水平方向的運(yùn)動(dòng)速度，以順時(shí)針方向?yàn)檎?，同理，vTR表豎直方向的 運(yùn)動(dòng)速度，以向上方向?yàn)檎?br>[0070] 運(yùn)用跟蹤算法進(jìn)行包括空間運(yùn)動(dòng)速度跟蹤目標(biāo)的運(yùn)動(dòng)信息記錄為現(xiàn)有技術(shù)，可以 采用其他方式進(jìn)行記錄，但現(xiàn)有技術(shù)并未將該運(yùn)動(dòng)信息用于跟蹤目標(biāo)的找回，本發(fā)明采用 記錄的運(yùn)動(dòng)信息的記錄可以提高跟蹤目標(biāo)的找回速度和準(zhǔn)確度。
[0071] ③記錄距當(dāng)前幀K幀內(nèi)目標(biāo)的平面運(yùn)動(dòng)速度的平均值。
[0072] B，跟蹤丟失判斷單元在跟蹤過程中判斷是否跟蹤丟失：如果是，則進(jìn)入步驟C ;否 則繼續(xù)跟蹤。
[0073] 本發(fā)明當(dāng)前實(shí)施例通過時(shí)間和空間上的雙重規(guī)則來判斷跟蹤丟失：
[0074] 時(shí)間上，每間隔一定時(shí)間周期ΔΙ\，查詢當(dāng)前跟蹤目標(biāo)在空間上的速度和當(dāng)前位 置，判斷隨幀記錄的維護(hù)信息，若連續(xù)η個(gè)△ 1\跟蹤裝置都未進(jìn)行轉(zhuǎn)動(dòng)，則初步判定跟蹤目 標(biāo)已丟失，此時(shí)通過空間上的NCC算法進(jìn)行進(jìn)一步的跟蹤丟失判定。
[0075] 在空間上使用基于紋理特征的模板進(jìn)行NCC算法精確匹配，以最終判斷跟蹤目標(biāo) 是否丟失：
[0076] 步驟b-Ι，對(duì)當(dāng)前幀的匹配區(qū)域進(jìn)行差分算子處理，獲取跟蹤目標(biāo)的紋理圖。
[0077] 步驟b_2,使用NCC算法進(jìn)行紋理特征的精確匹配。
[0078] 普通NCC計(jì)算公式如下所示：
[0079]
[0080] 本發(fā)明可以采用普通NCC計(jì)算進(jìn)行，在普通NCC計(jì)算中，IR(x+i,y+j)為當(dāng)前幀紋 理圖匹配區(qū)域中的點(diǎn)（x+i,y+j)處的值，Ijx+ty+j)為前K幀紋理圖匹配區(qū)域中的同一點(diǎn) (x+i,y+j)處的值，其中i和j的取值范圍分另U為（-η~η)和（-m~m)，NCC(x,y)SP為兩 塊區(qū)域的匹配值。其中當(dāng)前幀是指在初步判定跟蹤丟失的情況下，第一次檢測到跟蹤裝置 停止轉(zhuǎn)動(dòng)時(shí)刻的圖像幀（例如當(dāng)前時(shí)刻為若干個(gè)連續(xù)η個(gè)△?\周期檢測到跟蹤裝置停止 轉(zhuǎn)動(dòng)的時(shí)刻，則當(dāng)前幀為當(dāng)前時(shí)刻往回倒退η個(gè)△ 1\的圖像幀）；前Κ幀圖像是距當(dāng)前幀Κ 幀的各圖像幀。
[0081] 增強(qiáng)型NCC計(jì)算公式如下所示：
[0082] 1·' 'r.j.
·- ··.·
[0083] 針對(duì)普通NCC算法計(jì)算量大的特點(diǎn)，本發(fā)明當(dāng)前實(shí)施例使用增強(qiáng)型的NCC算法，先 對(duì)紋理圖做3階高斯平滑，然后計(jì)算紋理圖均值，通過減去圖像紋理均值的方式，減小計(jì)算 數(shù)值，降低計(jì)算量。
[0084] 增強(qiáng)型NCC計(jì)算公式中分別為當(dāng)前幀匹配區(qū)域的紋理特征平均值，廠為前K幀 圖像所得到的平均匹配區(qū)域的紋理特征的平均值（即對(duì)前K幀圖像匹配區(qū)域平均計(jì)算所得 匹配區(qū)域中的各像素點(diǎn)紋理特進(jìn)行平均之后所得到的值），與普通的NCC算法計(jì)算方法類 似，只是為了減少計(jì)算量，IR(x+i,y+j)和It(x+i，y+j)分別減去了^?和/, *NCCT(x,y)即為 增強(qiáng)型NCC計(jì)算出的兩塊區(qū)域的匹配值。
[0085] 步驟b-3,通過增強(qiáng)型NCC計(jì)算獲得前K幀匹配區(qū)域的紋理圖和當(dāng)前幀匹配區(qū)域紋 理圖的匹配值，若大于設(shè)定的閾值β，則認(rèn)為目標(biāo)仍存在，繼續(xù)進(jìn)行跟蹤，否則判定跟蹤目 標(biāo)已丟失。為了適應(yīng)變倍后發(fā)生變化的紋理特征，閾值β在每次模板更新時(shí)均通過大津法 進(jìn)行自適應(yīng)的更新計(jì)算，紋理特征越豐富，閾值β取值越大。
[0086] C，停止跟蹤裝置的運(yùn)動(dòng)命令，利用運(yùn)動(dòng)前景檢測算法檢測出當(dāng)前畫面中的前景目 標(biāo)。
[0087] D，位置預(yù)估單元在判斷跟蹤丟失時(shí)根據(jù)跟蹤目標(biāo)所處的丟失位置得到跟蹤目標(biāo) 的預(yù)估位置，根據(jù)預(yù)估位置以及丟失位置建立搜索區(qū)域，候選目標(biāo)獲取單元獲取處于搜索 區(qū)域內(nèi)的所有前景目標(biāo)作為候選目標(biāo)，由跟蹤目標(biāo)選取單元根據(jù)候選目標(biāo)的匹配值以及候 選目標(biāo)到預(yù)估位置的距離為各候選目標(biāo)賦予權(quán)重值，選取權(quán)重值最大的候選目標(biāo)作為原有 的跟蹤目標(biāo)繼續(xù)跟蹤。
[0088] 根據(jù)跟蹤目標(biāo)的運(yùn)動(dòng)軌跡以及特征將步驟C檢測出的前景目標(biāo)與跟蹤目標(biāo)進(jìn)行 匹配，在匹配成功的情況下進(jìn)行二次跟蹤，如果在一段預(yù)定時(shí)長1~ 2內(nèi)，都沒有檢出符合條件 的前景目標(biāo)，則回預(yù)置位進(jìn)行下一次跟蹤。預(yù)定時(shí)長Τ2為經(jīng)驗(yàn)取值，如果該預(yù)定時(shí)長均沒 有檢出符合條件的前景目標(biāo)則說明目標(biāo)已丟失，無法繼續(xù)跟蹤，從而進(jìn)行下一個(gè)目標(biāo)的檢 測及跟蹤。
[0089] 步驟D針對(duì)檢出的前景目標(biāo)，結(jié)合跟蹤目標(biāo)的運(yùn)動(dòng)軌跡，進(jìn)行過濾并根據(jù)前景目 標(biāo)所處位置賦予權(quán)重值，然后結(jié)合基于NCC算法的顏色特征匹配，選取綜合匹配可信度最 高的目標(biāo)，進(jìn)行二次跟蹤。
[0090] 步驟d-1，根據(jù)跟蹤目標(biāo)在距當(dāng)前幀Κ幀內(nèi)的運(yùn)動(dòng)方向和運(yùn)動(dòng)速度的平均值，可以 獲取跟蹤目標(biāo)當(dāng)前的運(yùn)動(dòng)趨勢(shì)。
[0091] 步驟d-2,構(gòu)建圖2中所示的搜索區(qū)域，獲取處于搜索區(qū)域內(nèi)的所有前景目標(biāo)作為 候選目標(biāo)。
[0092] 由于跟蹤目標(biāo)的運(yùn)動(dòng)軌跡通常不會(huì)發(fā)生非常急劇的變化，但考慮在此過程中跟蹤 目標(biāo)仍然會(huì)發(fā)生速度和方向上的變化，因此得到跟蹤目標(biāo)所在位置的大致范圍，從而排除 一些不太可能是原先的跟蹤目標(biāo)的前景目標(biāo)，提高重新獲取跟蹤目標(biāo)的速度。
[0093] 這里考慮到目標(biāo)運(yùn)動(dòng)速度和方向可能會(huì)有所變化，所以構(gòu)建搜索半徑為sR，圓心 角為Θ的扇形區(qū)域作為當(dāng)前檢出前景目標(biāo)的匹配區(qū)域，當(dāng)前實(shí)施例中s為1.5,Θ例如可 以為180°，圖2中以跟蹤丟失時(shí)跟蹤目標(biāo)所處的丟失位置0為頂點(diǎn)（丟失位置0為第一次 檢測到跟蹤裝置停止運(yùn)動(dòng)時(shí)跟蹤目標(biāo)所處的位置），1.5R為半徑，圓心角為Θ的扇形，其中 θ/V為跟蹤目標(biāo)當(dāng)前的運(yùn)動(dòng)方向，圖2中N為沿0M方向距離為1. 5R位置的點(diǎn)Θ取值范圍 根據(jù)實(shí)際情設(shè)定，R=VtXTpVtS結(jié)合其平面水平和豎直方向的運(yùn)動(dòng)速度計(jì)算出的跟蹤目 標(biāo)在當(dāng)前運(yùn)動(dòng)方向上的速度vt，?\為步驟中跟蹤裝置停止轉(zhuǎn)動(dòng)的時(shí)間，所得到的Μ點(diǎn)位置即 預(yù)估位置，根據(jù)歷史信息計(jì)算得到，歷史信息包括丟失位置以及距離初次檢測到跟蹤裝置 停止運(yùn)動(dòng)時(shí)圖像之前的Κ幀圖像計(jì)算得到的空間運(yùn)動(dòng)速度及方向。
[0094] 如圖2所示，通過設(shè)定扇形區(qū)域，將跟蹤目標(biāo)在運(yùn)動(dòng)過程中運(yùn)動(dòng)方向可能發(fā)生的 變化加以考慮，將預(yù)估位置的半徑乘以系數(shù)則考慮到運(yùn)動(dòng)速度變化所帶來的實(shí)際位置可能 比預(yù)估位置要遠(yuǎn)或近。這一搜索區(qū)域的設(shè)定，可以大大減少需要匹配的前景目標(biāo)數(shù)目，從而 提尚效率。
[0095] 在遍歷檢出的前景目標(biāo)后，將中心點(diǎn)不在扇形區(qū)域內(nèi)的目標(biāo)剔除，將剩余的處于 扇形區(qū)域內(nèi)的前景目標(biāo)作為候選目標(biāo)，分別計(jì)算各候選目標(biāo)到Μ點(diǎn)的距離。為候選目標(biāo)η分 配權(quán)重Wln，距離最近的目標(biāo)權(quán)重最大為1，其他目標(biāo)的權(quán)重以1為基準(zhǔn)跟它們到預(yù)估位置Μ 的距離成反比，比如距Μ點(diǎn)的距離最近的候選目標(biāo)距離為Si，為其分配距離權(quán)重值1，則 距Μ點(diǎn)距離為S2的候選目標(biāo)0 2的權(quán)重值為Si/心
[0096] 步驟d-3,對(duì)于篩選通過的前景目標(biāo)，候選目標(biāo)匹配單元將其作為候選目標(biāo)利用 NCC進(jìn)行精確的顏色匹配，當(dāng)前實(shí)施例中基于灰度進(jìn)行NCC匹配，在其