專利名稱：一種基于復(fù)合相關(guān)相似度的圖像跟蹤算法的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺與模式分析技術(shù)領(lǐng)域，具體涉及一種基于復(fù)合相關(guān)相似度的圖像跟蹤算法。
背景技術(shù)：
圖像跟蹤系統(tǒng)能夠在一系列視頻圖像幀中識(shí)別并定位特定的目標(biāo)，被廣泛應(yīng)用于機(jī)器人技術(shù)、制導(dǎo)技術(shù)、自動(dòng)監(jiān)視等大量領(lǐng)域中。
圖像跟蹤系統(tǒng)最為常用的算法是基于塊匹配的搜索算法(Block Matching Algorithm，BMA)[1][2]。該算法針對(duì)被跟蹤目標(biāo)建立模板，并在當(dāng)前圖像幀中尋找與模板具有最佳匹配的區(qū)域，作為當(dāng)前幀中目標(biāo)位置的估計(jì)，即xtgt=argmaxx∈Ωsim(x)---(1)]]>其中x為候選區(qū)域的中心坐標(biāo)；Ω為圖像幀的坐標(biāo)集合；sim(·)為位于某一坐標(biāo)處的區(qū)域與模板之間的相似度函數(shù)，該區(qū)域與模板越匹配，函數(shù)值就越大；xtgt為當(dāng)前幀中目標(biāo)位置的估計(jì)。
一個(gè)圖像跟蹤程序的跟蹤效果很大程度上取決于相似度函數(shù)的選擇。應(yīng)用最為廣泛的一種相似度函數(shù)是基于平均絕對(duì)誤差(Mean Absolute Difference，MAD)或平方誤差和(Sumof Squared Difference，SSD)的相似度度量[3][4]。MAD與SSD本質(zhì)上是相同的，都衡量了兩個(gè)圖像塊之間對(duì)應(yīng)像素灰度值的幅度差別。其中MAD的定義如下dST=1MNΣi=1MΣj=1N|S(i,j)-T(i,j)|---(2)]]>式中S(i，j)與T(i，j)分別是圖像塊S與圖像塊T中第i行、第j列的像素灰度值；M與N分別是圖像塊的行數(shù)與列數(shù)。dST就是圖像塊S與圖像塊T之間的平均絕對(duì)誤差?；贛AD的相似度度量認(rèn)為，dST越小，表明兩個(gè)圖像塊對(duì)應(yīng)像素的灰度值就越接近，它們的相似度也就越高。因此，搜尋圖像幀中的目標(biāo)區(qū)域就成為了尋找MAD的極小值點(diǎn)xtgt=argminx∈ΩdST(x)---(3)]]>盡管基于MAD的相似度度量概念上很容易理解，但是由于它只包含了灰度幅度絕對(duì)值的差別而丟棄了十分重要的正負(fù)符號(hào)信息，因而在許多情況下它不能正確反映圖像塊之間的相似度。圖1明顯地體現(xiàn)了這一點(diǎn)。信號(hào)1與信號(hào)2具有和信號(hào)0相同的MAD，但是信號(hào)1與信號(hào)0之間的相似程度顯然高于信號(hào)2與信號(hào)0之間的相似程度。MAD未能正確反映相似度的根本原因就在于它僅考慮灰度誤差的絕對(duì)值，而將反映圖像結(jié)構(gòu)的誤差正負(fù)信息丟棄了。
由于基于MAD(或SSD)的相似度度量具有上述重大缺點(diǎn)，因而采用該相似度度量的圖像跟蹤算法的魯棒性較低。實(shí)驗(yàn)證明，在背景較為復(fù)雜的跟蹤應(yīng)用中，采用MAD作為相似度度量的圖像跟蹤算法經(jīng)常會(huì)丟失目標(biāo)。
本發(fā)明提出了基于復(fù)合相關(guān)的相似度度量。復(fù)合相關(guān)不僅避免了MAD的重大缺點(diǎn)，而且綜合了圖像塊之間的結(jié)構(gòu)相似度與直方圖相似度，極大程度地提高了相似程度衡量的準(zhǔn)確性。應(yīng)用了基于復(fù)合相關(guān)相似度的圖像跟蹤算法即使在背景很復(fù)雜的情況下也表現(xiàn)出了相當(dāng)高的魯棒性。
參考文獻(xiàn)[1]C.Smith，C.Richards，S.Brandt，and N.Papanikolopoulos，“Visual tracking forintelligent vehicle-highway systems”，in IEEE Trans.on Vehicle Technology，1996. T.Kaneko，and O.Hori，“Template update criterion for template matching of imagesequences”，in Proceedings of 16thInternational Conference on Pattern Recognition，vol.2，pages 1-5，2002. N.Papanikolopoulos，P.Khosla，and T.Kanade，“Visual Tracking of a Moving Target by aCamera Mounted on a RobotA Combination of Control and Vision”，in IEEE Trans.onRobotics and Automation，vol.9，pages 14-32，1993. I.Matthews，T.Ishikawa，and S.Baker，“The template update problem”，in IEEE Trans.on Pattern Analysis and Machine Intelligence，vol.26(6)，pages 810-815，2004發(fā)明內(nèi)容本發(fā)明的目的在于提出一種基于復(fù)合相關(guān)相似度度量的圖像跟蹤算法，以顯著提高其度量相似度的有效性，并明顯改善基于該相似度度量的圖像跟蹤算法在復(fù)雜背景條件下的魯棒性。
本發(fā)明提出的基于復(fù)合相關(guān)相似度的圖像跟蹤算法，是結(jié)合模板圖像與候選圖像之間的結(jié)構(gòu)相鄰度與直方圖相鄰度作為總的相鄰度度量。即采用空間域的線性相關(guān)系數(shù)與直方圖域的線性相關(guān)系數(shù)的線性組和作為圖像間相似程度的度量。前者稱為圖像間的結(jié)構(gòu)相似度，后者稱為圖像間的直方圖相似度。這種復(fù)合相似度度量不僅避免了MAD的不足，而且還綜合考慮了圖像的灰度值比例信息，更好地反映了圖像間的相似度。本發(fā)明中，以上述復(fù)合相鄰度作為各種塊匹配搜索算法的目標(biāo)函數(shù)，大大提高了圖像跟蹤算法的魯棒性。
1、結(jié)構(gòu)相似度圖像塊S與圖像塊T之間的結(jié)構(gòu)相似度就是空間域的線性相關(guān)系數(shù)rSTI=Σi=1NΣj=1M(S(i,j)-mS)(T(i,j)-mT)Σi=1NΣj=1M(S(i,j)-mS)2Σi=1NΣj=1M(T(i,j)-mT)2---(4)]]>式中S(i，j)與T(i，j)分別是圖像塊S與圖像塊T中第i行、第j列的像素灰度值；mS與mT分別是圖像塊S與圖像塊T所有像素的灰度平均值；M與N分別是圖像塊的行數(shù)與列數(shù)。rSTI就是圖像塊S與圖像塊T之間的結(jié)構(gòu)相似度。它綜合地反映了兩個(gè)圖像塊像素灰度值之間的相關(guān)性，而不是僅僅反映灰度差的絕對(duì)值的大小。例如，對(duì)于圖1所示的情況，信號(hào)1與信號(hào)0之間的結(jié)構(gòu)相似度為1，而信號(hào)2與信號(hào)0之間的結(jié)構(gòu)相似度僅為0.3435。
空間域線性相關(guān)系數(shù)不僅能夠十分有效地反映圖像塊之間的結(jié)構(gòu)相似度，而且還具有非常好的單峰特性，即在目標(biāo)所在位置的鄰域內(nèi)有且只有一個(gè)峰值，且峰十分尖銳，十分有利于各種快速搜索算法對(duì)目標(biāo)進(jìn)行精確定位。典型的結(jié)構(gòu)相似度峰如圖2所示。其中x-y平面是包含了目標(biāo)的部分圖像幀，z軸是中心位于x-y平面不同坐標(biāo)處的圖像塊與模板之間的結(jié)構(gòu)相似度。
2、直方圖相似度在某些圖像跟蹤的場(chǎng)合，背景十分復(fù)雜，一些背景物體的結(jié)構(gòu)與目標(biāo)十分相近，而該背景物體又正好位于目標(biāo)的近旁，這很容易使得圖像跟蹤算法誤認(rèn)為背景物體是目標(biāo)而丟失真正的目標(biāo)。比如跟蹤在公路上行駛的車輛時(shí)，如果有超車現(xiàn)象發(fā)生，則圖像跟蹤算法常會(huì)被另一輛車所“吸引”，破壞跟蹤的穩(wěn)定性，甚至丟失目標(biāo)車輛。
為了進(jìn)一步提高圖像跟蹤算法在復(fù)雜背景下的魯棒性，本發(fā)明引入了直方圖相似度來區(qū)分具有相同空間結(jié)構(gòu)但明暗程度不同的目標(biāo)與背景物體。若直方圖分為255個(gè)灰度階，則直方圖相似度的定義如下rSTH=Σg=0255(HS(g)-HS‾)(HT(g)-HT‾)Σg=0255(HS(g)-HS‾)2Σg=0255(HT(g)-HT‾)2---(5)]]>式中HS(g)與HT(g)分別是圖像塊S與圖像塊T的灰度直方圖在灰度值g處的取值； 與HT分別是圖像塊S與圖像塊T的灰度直方圖的平均值。rSTH就是圖像塊S與圖像塊T之間的直方圖相似度，其本質(zhì)上是兩個(gè)圖像塊的直方圖之間的一維線性相關(guān)系數(shù)。它衡量了兩個(gè)圖像塊灰度分布的相似程度。
圖3a至圖3c給出了直方圖相似度的例子。圖3b是模板圖像，圖3a與圖3c在結(jié)構(gòu)上與圖3b完全一致，因而它們與圖3b之間的結(jié)構(gòu)相似度都為1。然而，它們的明暗程度有一些差別，圖3c更亮些，這體現(xiàn)在了直方圖相似度上圖3a的直方圖相似度為0.8576，圖3c的直方圖相似度為0.4359。通過直方圖相似度就可以區(qū)分結(jié)構(gòu)相似度無法區(qū)分的圖像。
3、復(fù)合相關(guān)相似度為了將結(jié)構(gòu)相似度與直方圖相似度同時(shí)考慮進(jìn)去，本發(fā)明提出了基于復(fù)合相關(guān)的相似度度量。復(fù)合相關(guān)相似度定義為結(jié)構(gòu)相似度與直方圖相似度的線性組合sim=βrSTI+(1-β)rSTH---(6)]]>式中rSTH為結(jié)構(gòu)相似度；rSTH為直方圖相似度；β為線性組合系數(shù)，sim就是最終的復(fù)合相關(guān)相似度。由于圖像的主要信息都體現(xiàn)在結(jié)構(gòu)相似度上，而直方圖相似度僅在干擾物與目標(biāo)具有十分相近的結(jié)構(gòu)時(shí)作為輔助判斷標(biāo)準(zhǔn)，因此結(jié)構(gòu)相似度應(yīng)該獲得更大的權(quán)重。一般情況下，β取值為0.75-0.85較為合適。
舉例來說，假定圖3b是跟蹤模板，圖3a是真正的目標(biāo)，而圖3c干擾物。對(duì)于圖3a，其復(fù)合相關(guān)相似度為0.9751，而對(duì)于圖3c，其復(fù)合相關(guān)相似度為0.8872?？梢钥匆?，由于兩個(gè)比較圖像都與模板圖像較相似，因而它們都具有較高的復(fù)合相關(guān)相似度，可以將大多數(shù)其它不太相像的候選圖像排除掉。又由于圖3a的灰度分布與圖3b更為接近，因而其復(fù)合相關(guān)相似度更高，最終可以將作為干擾物的圖3c排除出去。
由上可見，基于復(fù)合相關(guān)的相似度度量具有很高的魯棒性，能極大地提高圖像跟蹤算法的性能。


圖1MAD未能正確反映信號(hào)相似度。
圖2空間域線性相關(guān)系數(shù)具有良好的空間定位特性。
圖3a比較圖像1。
圖3b模板圖像。
圖3c比較圖像2。
圖4a選取雜物堆中的狗作為被跟蹤目標(biāo)。
圖4b基于MAD的相似度曲面。
圖4c基于復(fù)合相關(guān)的相似度曲面。
圖4d在下一幀中，基于MAD相似度的圖像跟蹤算法偏離了目標(biāo)。
圖4e在下一幀中，基于復(fù)合相關(guān)相似度的圖像跟蹤算法繼續(xù)很好地鎖定目標(biāo)。
圖5不包含超車情況的跟蹤視頻截圖。
圖6包含超車情況的跟蹤視頻截圖。
具體實(shí)施例方式
下面通過對(duì)一些跟蹤實(shí)例的仿真進(jìn)一步介紹本發(fā)明的實(shí)施方式。仿真的平臺(tái)是Matlab6.5。
1、基于MAD相似度度量的圖像跟蹤算法與本發(fā)明算法的比較在這里，被跟蹤的目標(biāo)是一只在雜物堆里行走的狗，如圖4a所示。如果采用基于MAD的相似度度量，則在跟蹤的過程中，背景物體經(jīng)常獲得接近目標(biāo)甚至高于目標(biāo)的相似度，因而很容易丟失目標(biāo)。而采用基于復(fù)合相關(guān)的相似度度量，則能夠很好地區(qū)分目標(biāo)與背景，表現(xiàn)出很高的跟蹤魯棒性。圖4b與圖4c分別示出了基于MAD的相似度曲面和基于復(fù)合相關(guān)的相似度曲面，真正的目標(biāo)位于原點(diǎn)附近。曲面顏色的波長越長表明相似度越高?？梢园l(fā)現(xiàn)，基于MAD的相似度曲面在原點(diǎn)附近的局部極大值很不明顯，而全局極大值甚至在遠(yuǎn)離原點(diǎn)的區(qū)域?；趶?fù)合相關(guān)的相似度曲面在原點(diǎn)附近有十分明顯的局部極大值，而且也是全局極大值。相似度曲面的不同直接導(dǎo)致了下一幀跟蹤效果的差別基于MAD相似度的圖像跟蹤算法偏離了目標(biāo)，如圖4d所示；基于復(fù)合相關(guān)相似度的圖像跟蹤算法仍然準(zhǔn)確地鎖定目標(biāo)。
2、基于單純結(jié)構(gòu)相似度度量的圖像跟蹤算法與基于復(fù)合相似度度量的圖像跟蹤算法的比較。
同時(shí)包含結(jié)構(gòu)相似度與直方圖相似度的復(fù)合相似度能夠取得比單純的結(jié)構(gòu)相似度更好的跟蹤效果。兩種算法對(duì)于圖5與圖6的跟蹤效果數(shù)據(jù)如表1所示。其中跟蹤誤差指的是跟蹤算法確定的目標(biāo)位置與手動(dòng)確定的目標(biāo)位置之間的平均誤差；跟蹤誤差標(biāo)準(zhǔn)差反映的是所有圖像幀的跟蹤誤差的波動(dòng)程度。由仿真數(shù)據(jù)可見，將兩種算法分別應(yīng)用于跟蹤圖5中的車輛，由于沒有發(fā)生超車現(xiàn)象，背景也較簡單，所以兩種算法的跟蹤效果相差不是很大，基于復(fù)合相似度度量的跟蹤誤差下降了1.28％。但是，將兩種算法分別應(yīng)用于跟蹤圖6中的白色面包車時(shí)，由于途中被一輛黑色轎車超過，基于復(fù)合相關(guān)相似度的圖像跟蹤算法就明顯地體現(xiàn)出了它的優(yōu)越性，跟蹤誤差下降達(dá)50.9％，誤差標(biāo)準(zhǔn)差下降達(dá)33.2％。
綜上，基于復(fù)合相關(guān)相似度的圖像跟蹤算法具有很好的目標(biāo)識(shí)別特性，在背景較為復(fù)雜的圖像跟蹤應(yīng)用中表現(xiàn)了很高的魯棒性。

表1基于結(jié)構(gòu)相似度與復(fù)合相似度的圖像跟蹤算法效果比較(單位為像素)
權(quán)利要求
1.一種基于復(fù)合相關(guān)相似度的圖像跟蹤算法，其特征在于以模板圖像與候選圖像之間的結(jié)構(gòu)相似度與直方圖相似度的線性組合的復(fù)合相似度作為總的相似度度量sim=βrSTI+(1-β)rSTH...(6)]]>式中，rSTI為結(jié)構(gòu)相似度，rSTH為直方圖相似度，β為線性組合系數(shù)，sim為復(fù)合相似度；其中，rSTI=Σi=1NΣj=1M(S(i,j)-ms)(T(i,j)-mT)Σi=1NΣj=1M(S(i,j)-ms)2Σi=1NΣj=1M(T(i,j)-mT)2...(4)]]>式中S(i，j)與T(i，j)分別是圖像塊S與圖像塊T中第i行、第j列的像素灰度值；mS與mT分別是圖像塊S與圖像塊T所有像素的灰度平均值；M與N分別是圖像塊的行數(shù)與列數(shù)；rSTH=Σg=0255(HS(g)-HS‾)(HT(g)-HT‾)Σg=0255(HS(g)-HS‾)2Σg=0255(HT(g)-HT‾)2...(5)]]>式中HS(g)與HT(g)分別是圖像塊S與圖像塊T的灰度直方圖在灰度值g處的取值； 與 分別是圖像塊S與圖像塊T的灰度直方圖的平均值。
2.根據(jù)權(quán)利要求1所述的基于復(fù)合相關(guān)相似度的圖像跟蹤算法，其特征在于以復(fù)合相似度sim作為各種塊匹配搜索算法的目標(biāo)函數(shù)。
全文摘要
本發(fā)明為一種基于復(fù)合相關(guān)相似度的圖像跟蹤算法。本發(fā)明通過結(jié)合結(jié)構(gòu)相似度與直方圖相似度構(gòu)造了一個(gè)能夠十分全面地反映圖像之間相似程度的度量公式，克服了通常所用的基于平均絕對(duì)誤差的相似度的缺點(diǎn)，并進(jìn)一步提高了辨別結(jié)構(gòu)相似但灰度分布不同于目標(biāo)的干擾物的能力。實(shí)驗(yàn)證明，本發(fā)明的圖像跟蹤算法即使在背景十分復(fù)雜的情況下仍然具有極高的跟蹤魯棒性。
文檔編號(hào)G06T7/20GK1811820SQ20061002430
公開日2006年8月2日 申請(qǐng)日期2006年3月2日 優(yōu)先權(quán)日2006年3月2日
發(fā)明者潘吉彥, 胡波, 麥克爾·費(fèi)希爾 申請(qǐng)人:復(fù)旦大學(xué)