一種基于顯著度的柔性對象自然輪廓跟蹤方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及計算機視覺、圖像處理等技術(shù)領(lǐng)域，尤其是基于顯著度的柔性對象自 然輪廓跟蹤方法。
【背景技術(shù)】
[0002] 視頻對象跟蹤技術(shù)的應(yīng)用越來越廣泛，如在監(jiān)控系統(tǒng)、行為識別系統(tǒng)、軍事目標(biāo)檢 測等領(lǐng)域中的應(yīng)用。為滿足實際應(yīng)用的需要，許多具有魯棒性的跟蹤算法被提出，這些算法 主要是從速度、跟蹤準(zhǔn)確度兩個方向進(jìn)行改進(jìn)。然而，由于在視頻序列中柔性對象會發(fā)生形 變、尺度變化以及背景變化，所以柔性對象的精確跟蹤目前還存在著很多困難。這些復(fù)雜干 擾的來源可分為光照變化、劇烈運動、具有復(fù)雜背景的場景。因此，柔性對象外輪廓的精確 跟蹤是一項十分具有挑戰(zhàn)性的任務(wù)。雖然近期一些學(xué)者的相關(guān)工作已經(jīng)能夠得到不錯的柔 性對象實時跟蹤結(jié)果，但是這些算法的應(yīng)用仍是十分有限的：
[0003] 1)跟蹤結(jié)果的準(zhǔn)確性不是很高，特別是當(dāng)跟蹤對象發(fā)生形變和尺度變化的時候。
[0004] 2)有些算法通過增加離線學(xué)習(xí)的方法來實現(xiàn)柔性對象外輪廓的精確跟蹤，但是大 量手工模板的需要使得這種改進(jìn)所帶來的效果十分有限。
[0005] 3)跟蹤不穩(wěn)定，容易在跟蹤過程中出現(xiàn)漂移。
[0006] 4)受背景信息干擾大，像素級別的處理導(dǎo)致算法時間復(fù)雜度偏高。

【發(fā)明內(nèi)容】

[0007] 為了克服現(xiàn)有的柔性對象自然輪廓跟蹤方式的準(zhǔn)確性不高、穩(wěn)定性較差、時間復(fù) 雜度較高的不足，本發(fā)明提出了一種基于顯著圖的柔性對象自然輪廓跟蹤方法。
[0008] 本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：
[0009] 一種基于顯著度的柔性對象自然輪廓跟蹤方法，包括以下步驟：
[0010] (1)自然輪廓提取
[0011] 在利用簡單線性迭代聚類（Simplelineariterativeclustering，SLIC)算法對 第一幀視頻幀進(jìn)行超像素分割之后，每個像素點都擁有了標(biāo)識其所屬分割塊的標(biāo)簽；
[0012] 采用自然輪廓提取算法提取柔性對象的自然輪廓，不同分割塊擁有不同標(biāo)簽，屬 于相同分割塊的像素點擁有相同標(biāo)簽，利用標(biāo)簽的突變得到邊界像素點；SLIC算法中，規(guī) 定如果某像素點的四鄰域有一個以上的像素點的標(biāo)簽與其不同，則將該像素點視為邊界像 素點；
[0013] 使用標(biāo)簽Lftm對構(gòu)成柔性對象的分割塊進(jìn)行標(biāo)識，得到對象模型，將對象模型視 作由位于對象所在區(qū)域的像素點（x，y)組成的集合Uni，面向?qū)ο蟮哪Ｐ捅硎救缦拢?br>[0014] Um= {(x,y)IL(x,y)=Lfore, (x,y)GU}, (I.I)
[0015] 其中，L(x,y)是像素點（x,y)的標(biāo)簽，U是視頻幀像素點的集合，跟蹤對象的閉合 自然輪廓U。由下列等式得到：
[0016] Uc=Um-{(x,y) |L(x-l,y) =L(x+l,y) =L(x,y-1) =L(x,y+ 1)= Lfore，（X，y) E Um}，
[0017] (I. 2)
[0018] 其中，L(x_l,y)，L(x+1,y)，L(x,y-1)，L(x,y+1)分別為像素點（x,y)四鄰域像素 點（x-1，y)，（x+1，y)，（x，y-1)，（x，y+1)的標(biāo)簽；
[0019] (2)快速目標(biāo)定位，過程如下：
[0020] 2. 1).利用初始自然輪廓最小化的矩形框，以及目標(biāo)對象與其所處的周圍背景之 間的空間相關(guān)性，學(xué)習(xí)空間上下文模型；
[0021] 2. 2).利用已學(xué)習(xí)到的空間上下文模型去更新下一幀的時空上下文模型；
[0022] 2. 3).利用時空上下文信息計算置信圖；
[0023] 2. 4).通過置信圖的最大化分析目標(biāo)對象所處的最佳位置；
[0024] 2. 5).利用跟蹤所得輪廓的最小矩形框去重學(xué)習(xí)空間上下文模型，接著返回步驟 2.2)
[0025] (3)基于顯著度的輪廓跟蹤器
[0026] 通過步驟（2)得到包含目標(biāo)對象和部分背景信息的矩形塊，首先，對矩形塊進(jìn)行 SLIC超像素分割，接著利用基于圖的流形排序算法計算矩形塊的顯著圖，顯著圖中必須要 有不同于前景的背景信息，
[0027] Box2被作為基于顯著度的輪廓跟蹤器的輸出結(jié)果，在進(jìn)行SLIC超像素分割以及 基于圖的流形排序之后，Box2上的每一個像素點都擁有了一個標(biāo)識其所屬分割塊的標(biāo)簽， 每個分割塊都有一個顯著值；分割塊的聚類中心被稱為種子點，通過第一幀的初始自然輪 廓得到目標(biāo)對象塊，對于后續(xù)視頻幀，目標(biāo)對象塊由快速目標(biāo)定位過程計算得到，在對每個 幀序列的塊進(jìn)行超像素分割后，得到種子點NSt(t= 1，2,3…），t為視頻幀序列的索引值， 對每個分割塊的顯著值進(jìn)行降序排序，得到排序結(jié)果{Sail，Sal2,Sal3-SalNSt}，Sail是 最高顯著值，SalNSt是最低顯著值，基于顯著度的對象模型Usm中設(shè)置了一個閾值THD
[0028] Usal={SalSal2,Sal3,…，SalTHD} (3. 1)
[0029] Usm= {(X，y)IS(X，y)GUSal，（X，y)GUt(t= 2, 3, 4…）} (3. 2)
[0030] 其中，Usal為高于THD-th顯著值的顯著值集合，Ut為視頻幀t中目標(biāo)對象塊的像 素點集合，（x，y)為像素點的坐標(biāo)；
[0031] 最后，基于全局向量流的主動輪廓模型被用于輪廓擬合，在此基礎(chǔ)上最終得到柔 性對象的準(zhǔn)確自然輪廓。
[0032] 進(jìn)一步，所述步驟（3)中，閾值THD的確定過程如下：
[0033] 首先，利用初始輪廓或每幀的跟蹤輪廓構(gòu)建一個對象模型Unid
[0034] Umd= {(x,y)IL(x,y)=Lfore, (x,y)GUt(t=I, 2, 3---)} (3. 3)
[0035] 其中，L(x，y)表示像素點（x，y)的標(biāo)簽，Lf_表示目標(biāo)對象區(qū)域的標(biāo)簽；
[0036] 接著，利用視頻幀t的模型Umd統(tǒng)計位于目標(biāo)對象區(qū)域內(nèi)的種子點數(shù)目NISt，根據(jù) 時間上下文信息，得到以下等式：
【主權(quán)項】
1. 一種基于顯著度的柔性對象自然輪廓跟蹤方法，其特征在于：所述基于顯著度的柔 性對象自然輪廓跟蹤方法包括以下步驟： (1)自然輪廓提取 在利用簡單線性迭代聚類算法對第一幀視頻幀進(jìn)行超像素分割之后，每個像素點都擁 有了標(biāo)識其所屬分割塊的標(biāo)簽； 采用自然輪廓提取算法提取柔性對象的自然輪廓，不同分割塊擁有不同標(biāo)簽，屬于相 同分割塊的像素點擁有相同標(biāo)簽，利用標(biāo)簽的突變得到邊界像素點；SLIC算法中，規(guī)定如 果某像素點的四鄰域有一個以上的像素點的標(biāo)簽與其不同，則將該像素點視為邊界像素 占. 使用標(biāo)簽Lf_對構(gòu)成柔性對象的分割塊進(jìn)行標(biāo)識，得到對象模型，將對象模型視作由 位于對象所在區(qū)域的像素點（x，y)組成的集合Um，面向?qū)ο蟮哪Ｐ捅硎救缦拢? Um= {(x,y) |L(x,y) =Lfore, (x,y)GU}, (1.1) 其中，L(x,y)是像素點（x,y)的標(biāo)簽，U是視頻幀像素點的集合，跟蹤對象的閉合自然 輪廓U。由下列等式得到： Uc=Um-{(x,y) |L(x-l,y) =L(x+l,y) =L(x,y-1) =L(x,y+1) =Lfore, (x,y)GUm}， (1.2) 其中，L(x_l，y)，L(x+l，y)，L(x，y_l)，L(x，y+1)分別為像素點（x，y)四鄰域像素點 (x_l，y)，（x+l，y)，（x，y_l)，（x，y+l)的標(biāo)簽；（2)快速目標(biāo)定位，過程如下： 2. 1).利用初始自然輪廓最小化的矩形框，以及目標(biāo)對象與其所處的周圍背景之間的 空間相關(guān)性，學(xué)習(xí)空間上下文模型； 2. 2).利用已學(xué)習(xí)到的空間上下文模型去更新下一幀的時空上下文模型； 2.3) .利用時空上下文信息計算置信圖； 2.4) .通過置信圖的最大化分析目標(biāo)對象所處的最佳位置； 2. 5).利用跟蹤所得輪廓的最小矩形框去重學(xué)習(xí)空間上下文模型，接著返回步驟2. 2) (3)基于顯著度的輪廓跟蹤器 通過步驟（2)得到包含目標(biāo)對象和部分背景信息的矩形塊，首先，對矩形塊進(jìn)行SLIC超像素分割，接著利用基于圖的流形排序算法計算矩形塊的顯著圖，顯著圖中必須要有不 同于前景的背景信息， Box2被作為基于顯著度的輪廓跟蹤器的輸出結(jié)果，在進(jìn)行SLIC超像素分割以及基于 圖的流形排序之后，Box2上的每一個像素點都擁有了一個標(biāo)識其所屬分割塊的標(biāo)簽，每個 分割塊都有一個顯著值；分割塊的聚類中心被稱為種子點，通過第一幀的初始自然輪廓得 到目標(biāo)對象塊，對于后續(xù)視頻幀，目標(biāo)對象塊由快速目標(biāo)定位過程計算得到，在對每個幀序 列的塊進(jìn)行超像素分割后，得到種子點數(shù)目NSt(t= 1，2, 3…），t為視頻幀序列的索引值， 對每個分割塊的顯著值進(jìn)行降序排序，得到排序結(jié)果{Sail，Sal2,Sal3-SalNSt}，Sail是 最高顯著值，SalNSt是最低顯著值，基于顯著度的對象模型Usm中設(shè)置了一個閾值THD USal={SalSal2,Sal3,…，SalTm} (3. 1) Usm= {(x，y) |S(x，y)GUSal，（x，y)GUt(t= 2, 3, 4...)} (3. 2) 其中，USal為高于THD-th顯著值的顯著值集合，Ut為視頻幀t中目標(biāo)對象塊的像素點 集合，（x，y)為像素點的坐標(biāo)； 最后，基于全局向量流的主動輪廓模型被用于輪廓擬合，在此基礎(chǔ)上最終得到柔性對 象的準(zhǔn)確自然輪廓。
2.如權(quán)利要求1所述的一種基于顯著度的柔性對象自然輪廓跟蹤方法，其特征在于： 所述步驟（3)中，閾值THD的確定過程如下： 首先，利用初始輪廓或每幀的跟蹤輪廓構(gòu)建一個對象模型Um Umd= {(x,y) |L(x,y) =Lfore, (x,y)GUt(t= 1, 2, 3---)} (3. 3) 其中，L(x，y)表示像素點（x，y)的標(biāo)簽，Lf_表示目標(biāo)對象區(qū)域的標(biāo)簽； 接著，利用視頻幀t的模型Umd統(tǒng)計位于目標(biāo)對象區(qū)域內(nèi)的種子點數(shù)目NISt，根據(jù)時間 上下文信息，得到以下等式：
其中，t為視頻序列的索引值；NISt表示視頻幀t中位于目標(biāo)對象區(qū)域內(nèi)的種子點數(shù) 目，NSt表示視頻幀t中處于目標(biāo)對象塊內(nèi)的種子點數(shù)目；NISt_i表示前一幀視頻幀t-1中 位于目標(biāo)對象區(qū)域內(nèi)的種子點數(shù)目，NSt_i表示前一幀視頻幀t-1中處于目標(biāo)對象塊內(nèi)的種 子點數(shù)目； 接著，閾值THD與NISt相等，THD由下述計算方法得到：
【專利摘要】一種基于顯著度的柔性對象自然輪廓跟蹤方法，包括兩個階段，第一階段中，首先對第一幀視頻幀進(jìn)行超像素分割，再結(jié)合交互與面向?qū)ο蟮淖匀惠喞崛∷惴ǎ色@得跟蹤目標(biāo)的初始自然輪廓，分別初始化基于顯著度的對象模型和時空上下文模型。第二階段為柔性對象的輪廓跟蹤階段，首先利用時空上下文模型快速定位跟蹤目標(biāo)，然后對跟蹤目標(biāo)塊進(jìn)行超像素分割，最后，提出一種基于顯著度的輪廓跟蹤器用于實現(xiàn)柔性對象自然輪廓的精確跟蹤，與此同時，不斷更新上下文模型和對象模型。本發(fā)明有效地避免矩形框帶來的背景誤差，并且針對周圍環(huán)境以及柔性對象自身的一系列復(fù)雜情況，實現(xiàn)了柔性對象自然輪廓的精確跟蹤。
【IPC分類】G06T7-20
【公開號】CN104700431
【申請?zhí)枴緾N201510069974
【發(fā)明人】劉盛, 應(yīng)高選, 金亦挺, 劉哲敏, 廖峰峰
【申請人】浙江工業(yè)大學(xué)
【公開日】2015年6月10日
【申請日】2015年2月10日