專(zhuān)利名稱(chēng)：基于分類(lèi)識(shí)別的人臉跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉跟蹤的方法，特別涉及一種視頻中人臉跟蹤的方法。

背景技術(shù)：
人臉跟蹤技術(shù)在安全監(jiān)控、身份識(shí)別、虛擬游戲等方面具有廣泛的實(shí)際應(yīng)用價(jià)值。然而傳統(tǒng)的人臉跟蹤方法在實(shí)際應(yīng)用中還存在著一些性能和功能上的不足。尤其是對(duì)于同一個(gè)人臉間斷出現(xiàn)的情況(如被障礙物或其他人臉遮擋了幾幀)，由于中間跟蹤信息的丟失，當(dāng)同一個(gè)人再次出現(xiàn)時(shí)基于顏色的跟蹤方法將無(wú)法判別出重新檢測(cè)出來(lái)的人臉與之前跟蹤丟失的人臉是否為同一個(gè)人。
此外，在實(shí)時(shí)的視頻安全監(jiān)控的應(yīng)用中，一般的做法是對(duì)每一幀跟蹤到的所有人臉圖像都與數(shù)據(jù)庫(kù)的所有目標(biāo)模板進(jìn)行比對(duì)，當(dāng)比對(duì)發(fā)現(xiàn)與目標(biāo)模板匹配的時(shí)候發(fā)出警報(bào)。這樣做的一個(gè)缺點(diǎn)就是對(duì)每一幀出現(xiàn)的每一個(gè)人臉都要與數(shù)據(jù)庫(kù)模板比對(duì)一次，比對(duì)部分的運(yùn)算量比較大，尤其是在目標(biāo)模板的數(shù)量比較多的時(shí)候，比對(duì)部分的開(kāi)銷(xiāo)會(huì)直接影響到系統(tǒng)的負(fù)擔(dān)和處理速度，使得系統(tǒng)在實(shí)際應(yīng)用中受阻。
Timo Ojala在1996年提出的局部二元模式(Local Binary Pattern，簡(jiǎn)稱(chēng)LBP)是一種能有效表達(dá)圖像紋理信息的算子，在紋理信息處理方面得到了非常廣泛的應(yīng)用。而LBP的擴(kuò)展模式“統(tǒng)一模式”(Uniform Patterns)在人臉識(shí)別方面有著良好的表現(xiàn)，成為現(xiàn)在主流的人臉識(shí)別方法之一。Timo Ahonen等人系統(tǒng)地探討了如何利用LBP特征來(lái)進(jìn)行人臉識(shí)別，得出了令人滿(mǎn)意的結(jié)果。


發(fā)明內(nèi)容
本發(fā)明的目的在于克服現(xiàn)有的人臉跟蹤方法的不足，提供一種實(shí)用性強(qiáng)、不會(huì)造成跟蹤信息丟失、比對(duì)運(yùn)算量小的基于分類(lèi)識(shí)別的人臉跟蹤方法。
本發(fā)明的目的通過(guò)下述技術(shù)方案實(shí)現(xiàn)基于分類(lèi)識(shí)別的人臉跟蹤方法，其特征在于包括以下步驟 (一)從當(dāng)前幀跟蹤到的人臉序列{F1C，F(xiàn)2C……FiC}中截取出跟蹤到的人臉圖像，調(diào)整每一幀跟蹤到的人臉圖像，使其大小一致，保存到當(dāng)前幀待匹配人臉序列{F1C，F(xiàn)2C……FjC}；前面幀待匹配人臉序列為{F1L，F(xiàn)2L……FjL}； (二)依次取出當(dāng)前幀待匹配人臉序列中的每一個(gè)人臉圖像FmC，計(jì)算其對(duì)應(yīng)的LBP編碼圖； (三)得出人臉圖像FmC的LBP編碼圖后，與前面幀待匹配人臉序列{F1L，F(xiàn)2L……FjL}的LBP編碼圖比對(duì)，找出與FmC匹配度最高的FnL； (四)根據(jù)FmC與FmL的LBP特征匹配度、中心位置距離關(guān)系判斷它們是否為同一個(gè)人；如果是，則將同一個(gè)人物的人臉圖像歸為同一類(lèi)，如果不是，在前面幀待匹配人臉序列FL中添加 (五)重復(fù)步驟(二)-(四)，直到當(dāng)前幀待匹配人臉序列{F1C，F(xiàn)2C……FjC}被歷遍為止； (六)當(dāng)前面幀處理結(jié)束以后，回到第(一)步處理下一幀。
作為本發(fā)明的優(yōu)選方案，在上述基于分類(lèi)識(shí)別的人臉跟蹤方法的步驟(一)中，用于記錄前面幀待匹配人臉序列{F1L，F(xiàn)2L……FjL}中對(duì)應(yīng)的人臉目標(biāo)連續(xù)沒(méi)有出現(xiàn)的幀數(shù)的計(jì)時(shí)器序列為{C1，C2……Cj}，當(dāng)所對(duì)應(yīng)的人臉目標(biāo)出現(xiàn)時(shí)計(jì)時(shí)器清零，當(dāng)計(jì)時(shí)器超出允許的最大值CMAX時(shí)判別該人臉目標(biāo)已經(jīng)離開(kāi)畫(huà)面范圍；步驟(四)中，如果是同一個(gè)人時(shí)，把FnL替換為FmC，計(jì)時(shí)器Cn置零；如果不是同一個(gè)人時(shí)，還在計(jì)時(shí)器序列C中添加Cj+1＝0；步驟(六)中，當(dāng)前面幀處理結(jié)束以后，所有計(jì)時(shí)器的值加1。增加計(jì)算器序列后，本發(fā)明跟蹤方法可將一定長(zhǎng)時(shí)間內(nèi)未出現(xiàn)在視頻中的人物圖像刪除，從而減小了跟蹤時(shí)的比對(duì)運(yùn)算量；當(dāng)所刪除的人物再次出現(xiàn)時(shí)，就將該人物作為新的人物，增加到前面幀待匹配人臉序列中。
作為本發(fā)明的優(yōu)選方案，上述基于分類(lèi)識(shí)別的人臉跟蹤方法的步驟(二)計(jì)算LBP編碼圖的步驟如下提取中心像素點(diǎn)的原始LBP特征；根據(jù)原始LBP特征，計(jì)算旋轉(zhuǎn)的統(tǒng)一模式的LBP編碼，計(jì)算公式為 其中，gc為中心點(diǎn)的灰度值，g0……gP-1為鄰域中抽樣點(diǎn)的灰度值；s(x)為步函數(shù)，當(dāng)x大于等于0時(shí)取1，否則取0；下標(biāo)P表示在鄰域中取樣點(diǎn)的個(gè)數(shù)，R表示取樣鄰域的半徑。
步驟(三)比對(duì)的具體步驟為設(shè)兩個(gè)人臉的LBP編碼直方圖分別為H1和H2，H(i)為該直方圖對(duì)應(yīng)第i維上的值，兩個(gè)直方圖的卡方距離X2(H1，H2)為 X2(H1，H2)值最小的匹配度最高。
優(yōu)選地，本發(fā)明步驟(四)中，當(dāng)符合以下4個(gè)條件時(shí)，判別兩個(gè)人臉屬于同一個(gè)人 a)兩個(gè)人臉的LBP特征匹配度大于閾值α； b)在滿(mǎn)足a)的基礎(chǔ)上，兩個(gè)人臉的中心位置距離小于閾值β； c)如果有多個(gè)待匹配的人臉目標(biāo)，在滿(mǎn)足a)和b)的基礎(chǔ)上，當(dāng)前人臉與匹配人臉的LBP特征匹配度應(yīng)大于當(dāng)前人臉與其它待匹配人臉的LBP特征匹配度； d)兩個(gè)人臉?biāo)喔舻膸瑪?shù)小于或等于CMAX。
本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點(diǎn)及有益效果 1)本發(fā)明通過(guò)提取跟蹤目標(biāo)相關(guān)的LBP特征來(lái)對(duì)前后數(shù)幀中出現(xiàn)的人臉進(jìn)行匹配，達(dá)到具有分類(lèi)識(shí)別功能的效果，用分類(lèi)識(shí)別來(lái)補(bǔ)充跟蹤方面的不足，解決了人臉跟蹤系統(tǒng)中跟蹤信息丟失的技術(shù)問(wèn)題，提高人臉跟蹤系統(tǒng)的實(shí)際應(yīng)用價(jià)值，改善了人臉跟蹤系統(tǒng)的功能。
2)本發(fā)明用能夠識(shí)別人臉身份的LBP特征對(duì)先后出現(xiàn)的人臉圖像進(jìn)行身份比對(duì)，有效解決了跟蹤過(guò)程中人物被暫時(shí)遮擋的問(wèn)題，這是傳統(tǒng)的人臉跟蹤方法不能做到的。而且本發(fā)明所用的LBP特征的計(jì)算簡(jiǎn)單，系統(tǒng)具有實(shí)時(shí)性，符合實(shí)際應(yīng)用的要求。
3)本發(fā)明把視頻中一定時(shí)間范圍內(nèi)出現(xiàn)人臉圖像進(jìn)行分類(lèi)，使得同一個(gè)人的人臉歸為一類(lèi)。這種識(shí)別雖然不是直接確認(rèn)出該人臉的身份，但能對(duì)人臉的身份進(jìn)行分類(lèi)，用每一類(lèi)身份中的一張人臉與模板進(jìn)行比對(duì)，代替原來(lái)的每一張人臉與模板進(jìn)行比對(duì)，大大地減少比對(duì)的次數(shù)，減少了比對(duì)的運(yùn)算量。



圖1是本發(fā)明的算法流程圖； 圖2是LBP算子的計(jì)算過(guò)程； 圖3是人臉灰度圖像及其LBP編碼圖； 圖4是本發(fā)明測(cè)試用的6組人臉圖像； 圖5是本發(fā)明的分類(lèi)跟蹤結(jié)果示意圖。

具體實(shí)施例方式 下面結(jié)合實(shí)施例及附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)的描述，但本發(fā)明的實(shí)施方式不限于此。
實(shí)施例 本發(fā)明基于分類(lèi)識(shí)別的人臉跟蹤方法，其實(shí)施過(guò)程的算法流程如圖1所示，實(shí)施步驟如下 (1)以CAMShift算法為基礎(chǔ)建立基本的人臉跟蹤系統(tǒng)，具體見(jiàn)“Gary R.Bradski，‘Computer Vision Face Tracking For Use in a Perceptual User Interface’，Intel Technology Journal Q2’98”。
(2)從當(dāng)前幀跟蹤到的人臉序列{F1C，F(xiàn)2C……FiC}中截取出跟蹤到的人臉圖像，調(diào)整每一幀跟蹤到的人臉圖像，使其大小一致，保存到待匹配人臉序列{F1C，F(xiàn)2C……FjC}；前面幀保存的待匹配人臉序列為{F1L，F(xiàn)2L……FjL}，對(duì)應(yīng)的計(jì)時(shí)器為{C1，C2……Cj}(計(jì)時(shí)器用于記錄該人臉目標(biāo)連續(xù)沒(méi)有出現(xiàn)的幀數(shù)，當(dāng)該目標(biāo)出現(xiàn)時(shí)計(jì)時(shí)器清零，當(dāng)計(jì)時(shí)器超出允許的最大值時(shí)判別該目標(biāo)已經(jīng)離開(kāi)畫(huà)面范圍)，匹配度控制閾值為α，中心位置距離控制閾值為β。其中計(jì)時(shí)器允許的最大值為CMAX，因此人臉目標(biāo)若連續(xù)CMAX幀都沒(méi)出現(xiàn)，則系統(tǒng)將該人臉目標(biāo)的圖像刪除，從而進(jìn)一步減小了比對(duì)的運(yùn)算量。
需要說(shuō)明的是，本步驟將人臉圖像調(diào)整成相同大小只是為了計(jì)算LBP編碼圖，調(diào)整以后的圖像以序列的形式另存在一個(gè)內(nèi)存空間內(nèi)進(jìn)行比對(duì)運(yùn)算；而原來(lái)的人臉在圖像中的位置和大小信息還會(huì)被保留下來(lái)，用于衡量?jī)蓚€(gè)人臉之間的距離。在本實(shí)施例中，α為231，β為兩個(gè)人臉圖像比對(duì)時(shí)面積較大的一方的人臉框?qū)蔷€(xiàn)長(zhǎng)度的1.3倍，CMAX為15。
(3)依次取出當(dāng)前幀序列中的每一個(gè)人臉FmC，計(jì)算其對(duì)應(yīng)的LBP編碼圖(如圖3所示)。
計(jì)算LBP編碼圖時(shí)，首先要提取人臉圖像旋轉(zhuǎn)的統(tǒng)一模式的LBP特征。LBP特征的具體提取過(guò)程在“Timo Ahonen，Abdenour Hadid&Matti Pietikainen，‘FaceRecognition with Local Binary Patterns，Computer Vision Proceedings’，ECCV，Lecture Notes in Computer Science 3021，Springer，2004，pp.469-481”中有記載。
如圖2所示，LBP提取過(guò)程為采用一個(gè)3×3像素的窗口作為基本的LBP算子，每個(gè)窗口中的像素用其灰度值來(lái)表示，周?chē)?個(gè)像素點(diǎn)中灰度值大于或者等于中心點(diǎn)灰度值的話(huà)就先標(biāo)記為1，否則就標(biāo)記為0。然后按順時(shí)針?lè)较虬堰@些0、1標(biāo)記讀出，串連成為一個(gè)二進(jìn)制碼，作為該中心像素點(diǎn)的原始LBP特征值。
“統(tǒng)一模式”(Uniform Patterns)的LBP算子是原始LBP算子的另一種重要拓展，在人臉識(shí)別中具有重要的應(yīng)用價(jià)值?！敖y(tǒng)一模式”的LBP特征通過(guò)對(duì)原始LBP特征進(jìn)行降維，減少了匹配特征時(shí)的計(jì)算量，而且其識(shí)別性能比原始LBP特征要高。在LBP特征的二進(jìn)制模式串中，將模式串看作環(huán)形結(jié)構(gòu)，定義至多出現(xiàn)兩次0、1變換(0到1變換或1到0變換)的二進(jìn)制模式為“統(tǒng)一模式”的LBP碼，例如00000000、11000000。具有這種“統(tǒng)一”特性的LBP碼在LBP特征提取中具有重要作用。統(tǒng)計(jì)表明，在LBP8，1和LBP16，2編碼中，這種“統(tǒng)一”的LBP碼的比重分別占到90％以上和70％以上。所以LBP特征信息很大一部分都是集中在這種“統(tǒng)一”的LBP碼上。一種簡(jiǎn)單的能夠度量LBP碼的“統(tǒng)一性”的方法就是計(jì)算一個(gè)LBP碼移位一位后與原碼的差，如下式所示 ① 其中g(shù)c為中心點(diǎn)的灰度值，g0……gP-1為鄰域中抽樣點(diǎn)的灰度值，s(x)為步函數(shù)(當(dāng)x大于等于0時(shí)取1，否則取0)。用上式計(jì)算出來(lái)的“統(tǒng)一值”小于等于2的LBP碼就是“統(tǒng)一”的LBP碼。根據(jù)公式①可得00000000的“統(tǒng)一模式”LBP碼值為0，11000000的“統(tǒng)一模式”LBP碼值為2。
而“旋轉(zhuǎn)的統(tǒng)一模式”的LBP編碼是著重于區(qū)分“統(tǒng)一”的LBP特征，對(duì)于“非統(tǒng)一”的LBP特征看作同一類(lèi)來(lái)處理，從而減少了特征的維數(shù)。如圖2所示，中心像素點(diǎn)的LBP碼為01001001，屬于出現(xiàn)了三次0、1變換的二進(jìn)制模式，為“非統(tǒng)一”的LBP碼。用LBPP，Rriu2來(lái)表示“旋轉(zhuǎn)的統(tǒng)一模式”的LBP編碼(上標(biāo)riu2表示是“旋轉(zhuǎn)的統(tǒng)一模式”)，則有 ② 其中，gc為中心點(diǎn)的灰度值，g0……gP-1為鄰域中抽樣點(diǎn)的灰度值，s(x)為步函數(shù)(當(dāng)x大于等于0時(shí)取1，否則取0)，下標(biāo)P表示在鄰域中取樣點(diǎn)的個(gè)數(shù)，R表示取樣鄰域的半徑。根據(jù)公式②，圖2中心像素點(diǎn)為非統(tǒng)一LBP碼，P＝8，R＝1，它的“旋轉(zhuǎn)的統(tǒng)一模式”LBP碼為P+1＝9。
(4)得出人臉圖像FmC的LBP編碼圖后，就與前面幀{F1L，F(xiàn)2L……FjL}的LBP編碼圖比對(duì)，找出與FmC匹配度最高的FnL。
兩個(gè)人臉的LBP特征通過(guò)比較它們的LBP編碼直方圖來(lái)得到它們之間的匹配度。要說(shuō)明的是，為了得到更好的匹配準(zhǔn)確度，LBP編碼直方圖并不是直接統(tǒng)計(jì)整幅圖像的LBP編碼值得來(lái)。在統(tǒng)計(jì)直方圖之前應(yīng)把人臉圖像劃分為m×n個(gè)小區(qū)域(本文采用的是4×5)，統(tǒng)計(jì)出每個(gè)小區(qū)域的LBP編碼直方圖后再按順序把所有小區(qū)域的直方圖組合成整幅圖像的LBP編碼直方圖。如第一個(gè)小區(qū)域的直方圖h1各維的值分別為h1(0)＝1、h1(1)＝5、h1(2)＝0，第二個(gè)小區(qū)域的直方圖h2各維的值分別為h2(0)＝4、h2(1)＝2、h2(2)＝3，則由這兩個(gè)小區(qū)域直方圖組合出來(lái)的整幅圖像的直方圖H各維(維數(shù)為所有小區(qū)域直方圖維數(shù)之和)的值分別為H(0)＝1、H(1)＝5、H(2)＝0、H(3)＝4、H(4)＝2、H(5)＝3。
比對(duì)的具體步驟為設(shè)兩個(gè)人臉的LBP編碼直方圖分別為H1和H2，H(i)為該直方圖對(duì)應(yīng)第i維上的值。定義兩個(gè)直方圖的卡方距離X2(H1，H2)為 ③ 因此，計(jì)算得到的X2(H1，H2)的值越小，表明兩個(gè)人臉的LBP編碼直方圖越相似，匹配度越高。
(5)根據(jù)FmC與FnL的LBP特征匹配度、中心位置距離關(guān)系判斷它們是否為同一個(gè)人，是的話(huà)將同一個(gè)人物的人臉圖像歸為同一類(lèi)(類(lèi)別中保存該人物的類(lèi)別號(hào)和人物的最新一幅人臉圖像)，具體為把FnL替換為FmC，計(jì)時(shí)器Cn置零；不是的話(huà)表明出現(xiàn)新的人物，則增加新類(lèi)，具體為在FL序列中添加在C序列中添加Cj+1＝0。在本發(fā)明中，中心位置距離通過(guò)計(jì)算直方圖的卡方距離獲得。
在本發(fā)明中，當(dāng)符合以下4個(gè)條件時(shí)，判別兩個(gè)人臉屬于同一個(gè)人 a)兩個(gè)人臉的LBP特征匹配度大于閾值α； b)在滿(mǎn)足a)的基礎(chǔ)上，兩個(gè)人臉的中心位置距離小于閾值β； c)如果有多個(gè)待匹配的人臉目標(biāo)，在滿(mǎn)足a)和b)的基礎(chǔ)上，當(dāng)前人臉與匹配人臉的LBP特征匹配度應(yīng)大于當(dāng)前人臉與其它待匹配人臉的匹配度； d)兩個(gè)人臉出現(xiàn)的時(shí)間不能相差太遠(yuǎn)。
在本實(shí)施例中，兩個(gè)人臉出現(xiàn)的時(shí)間差通過(guò)計(jì)時(shí)器體現(xiàn)出來(lái)；條件d)等同于兩個(gè)人臉?biāo)喔舻膸瑪?shù)小于或等于CMAX。
(6)重復(fù)步驟(3)-(5)，直到當(dāng)前幀待匹配序列{F1C，F(xiàn)2C……FjC}被歷遍為止。
(7)當(dāng)前面幀處理結(jié)束以后所有計(jì)時(shí)器的值加1，并從FL序列中刪除計(jì)時(shí)器值大于CMAX的人臉(即對(duì)于已經(jīng)很長(zhǎng)時(shí)間都沒(méi)有出現(xiàn)的人物，則把其從類(lèi)序列中刪除)，回到第(2)步處理下一幀。
通過(guò)以上步驟，就可以組成一個(gè)能夠?qū)ο嗤矸莸娜宋镞M(jìn)行連續(xù)跟蹤的系統(tǒng)。
下面將結(jié)合例圖來(lái)說(shuō)明采用本發(fā)明的人臉跟蹤實(shí)驗(yàn)結(jié)果 為了說(shuō)明本方法采用的“旋轉(zhuǎn)的統(tǒng)一模式”LBP特征和LBP特征的匹配方法在人臉?lè)诸?lèi)識(shí)別中的有效性，首先采用靜態(tài)人臉圖片來(lái)做LBP特征匹配度比較的實(shí)驗(yàn)。如圖4所示為測(cè)試圖片，共有6組人臉圖像，其中每組里面有3張人臉圖像，同一組里的人臉對(duì)應(yīng)同一個(gè)人，處理的時(shí)候所有圖片的大小均統(tǒng)一調(diào)整為100×100像素，以便于后面的匹配。
對(duì)圖4中的18張人臉圖像分別計(jì)算其“旋轉(zhuǎn)的統(tǒng)一模式”LBP編碼圖，并用②式對(duì)這些LBP編碼圖進(jìn)行兩兩匹配，計(jì)算其直方圖的卡方距離值，結(jié)果如下表1所示 1-11-21-32-12-22-33-13-23-34-14-24-35-15-25-36-16-26-3 1-1 0168146786737776369334991252255266538510513321347339 1-2 0197793738779392628695321936295541530459301336301 1-30541813549323286876262292328405394380565600810 2-1 0139136323421417592644702313348350806677543 2-2 0 85332421403593612703364379385779719495 2-3 0331404389585611707359371394796723516 3-10182149268224270223245231384300221 3-2 0105268275277329336308390385313 3-3 0262257267302308314223279238 4-1 0 92181504507 1193325313255 4-20142483482 1399296298244 4-3 0501520463277302276 5-1 0 88114506436404 5-20112524476421 5-3 0488409393 6-1 0145228 6-2 0187 6-30 表1LBP編碼圖像兩兩匹配結(jié)果 從表1的匹配結(jié)果可以看到，相同圖像的卡方距離值基本上為0；同一個(gè)人的不同人臉圖像的卡方距離值都比較小，一般在200以下；而不同人的人臉圖像之間的卡方距離值則比較大，一般在300以上。由此可見(jiàn)，本文采用的“旋轉(zhuǎn)的統(tǒng)一模式”LBP特征是可以有效區(qū)分出不同人物的人臉圖像的，而比對(duì)所需的時(shí)間也很短，每次比對(duì)只需3毫秒左右，因此這種算法是符合實(shí)際應(yīng)用要求的。
接下來(lái)就按照?qǐng)D1的方法把人臉?lè)诸?lèi)識(shí)別加入到跟蹤系統(tǒng)中，測(cè)試整個(gè)系統(tǒng)的運(yùn)行情況。實(shí)驗(yàn)采用320×240大小的視頻序列作為輸入，分類(lèi)跟蹤的部分結(jié)果如圖5所示。
圖5中的矩形框?yàn)楦櫟降娜四?，框里的?shù)字表明該人臉的身份識(shí)別號(hào)碼，不同幀中具有相同數(shù)字的人臉判別為同一個(gè)人。用視頻中實(shí)際出現(xiàn)的人物數(shù)與系統(tǒng)跟蹤到的人物數(shù)作對(duì)比，統(tǒng)計(jì)結(jié)果如下表2所示(誤異判是指相同的人被判別為不同的人，誤同判是指不同的人被判別為相同的人) 表2分類(lèi)跟蹤結(jié)果統(tǒng)計(jì) 由圖5的結(jié)果可以看出 1、對(duì)于同一個(gè)人連續(xù)出現(xiàn)若干幀的情況，都能比較準(zhǔn)確地判別為相同身份，如圖5中的(a)、(b)所示。
2、對(duì)于新出現(xiàn)的人物，都能比較準(zhǔn)確地判別出來(lái)，為其分配一個(gè)新的身份識(shí)別號(hào)碼，如(b)到(c)。
3、對(duì)于人物在連續(xù)出現(xiàn)時(shí)有部分時(shí)間被遮擋的情況，在人物遮擋前后兩部分的人臉能判別為屬于同一個(gè)人，如(d)至(f)的8號(hào)，(h)至(j)的12、13號(hào)。
總體來(lái)說(shuō)，從結(jié)果可以看到本文采用的識(shí)別跟蹤方法是有效的，在大部分的情況下都能把出現(xiàn)進(jìn)行準(zhǔn)確的分類(lèi)。本方法在人臉跟蹤中加入的基于LBP特征的人臉?lè)诸?lèi)識(shí)別功能可以對(duì)一定時(shí)間范圍內(nèi)出現(xiàn)人臉圖像進(jìn)行快速的分類(lèi)，使得同一個(gè)人的人臉歸為一類(lèi)，使其在身份識(shí)別的應(yīng)用中能大大地減少比對(duì)次數(shù)，并解決了傳統(tǒng)人臉跟蹤方法中人物被暫時(shí)遮擋后信息隨之丟失的問(wèn)題，擴(kuò)展了人臉跟蹤系統(tǒng)的功能，提高了其應(yīng)用價(jià)值。
上述實(shí)施例為本發(fā)明較佳的實(shí)施方式，但本發(fā)明的實(shí)施方式并不受上述實(shí)施例的限制，其他的任何未背離本發(fā)明的精神實(shí)質(zhì)與原理下所作的改變、修飾、替代、組合、簡(jiǎn)化，均應(yīng)為等效的置換方式，都包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.基于分類(lèi)識(shí)別的人臉跟蹤方法，其特征在于包括以下步驟
(一)從當(dāng)前幀跟蹤到的人臉序列{F1C，F(xiàn)2C......FiC}中截取出跟蹤到的人臉圖像，調(diào)整每一幀跟蹤到的人臉圖像，使其大小一致，保存到當(dāng)前幀待匹配人臉序列{F1C，F(xiàn)2C......FiC}；前面幀待匹配人臉序列為{F1L，F(xiàn)2L......FjL}；
(二)依次取出當(dāng)前幀待匹配人臉序列中的每一個(gè)人臉圖像FmC，計(jì)算其對(duì)應(yīng)的LBP編碼(三)得出人臉圖像FmC的LBP編碼圖后，與前面幀待匹配人臉序列{F1L，F(xiàn)2L......FjL}的LBP編碼圖比對(duì)，找出與FmC匹配度最高的FnL；
(四)根據(jù)FmC與FnL的LBP特征匹配度、中心位置距離關(guān)系判斷它們是否為同一個(gè)人；如果是，則將同一個(gè)人物的人臉圖像歸為同一類(lèi)，如果不是，則在前面幀待匹配人臉序列FL中添加
(五)重復(fù)步驟(二)-(四)，直到當(dāng)前幀待匹配人臉序列{F1C，F(xiàn)2C......FjC}被歷遍為止；
(六)當(dāng)前面幀處理結(jié)束以后，回到第(一)步處理下一幀。
2.根據(jù)權(quán)利要求1所述的基于分類(lèi)識(shí)別的人臉跟蹤方法，其特征在于
步驟(一)中，用于記錄前面幀待匹配人臉序列{F1L，F(xiàn)2L......FjL}中對(duì)應(yīng)的人臉目標(biāo)連續(xù)沒(méi)有出現(xiàn)的幀數(shù)的計(jì)時(shí)器序列為{C1，C2......Cj}，當(dāng)所對(duì)應(yīng)的人臉目標(biāo)出現(xiàn)時(shí)計(jì)時(shí)器清零，當(dāng)計(jì)時(shí)器超出允許的最大值CMAX時(shí)判別該人臉目標(biāo)已經(jīng)離開(kāi)畫(huà)面范圍；
步驟(四)中，如果是同一個(gè)人時(shí)，把FnL替換為FmC，計(jì)時(shí)器Cn置零；如果不是同一個(gè)人時(shí)，還在計(jì)時(shí)器序列C中添加Cj+1＝0；
步驟(六)中，當(dāng)前面幀處理結(jié)束以后，所有計(jì)時(shí)器的值加1。
3.根據(jù)權(quán)利要求1所述的基于分類(lèi)識(shí)別的人臉跟蹤方法，其特征在于步驟(二)計(jì)算LBP編碼圖的步驟如下提取中心像素點(diǎn)的原始LBP特征；根據(jù)原始LBP特征，計(jì)算旋轉(zhuǎn)的統(tǒng)一模式的LBP編碼，計(jì)算公式為
其中，gc為中心點(diǎn)的灰度值，g0......gP-1為鄰域中抽樣點(diǎn)的灰度值；s(x)為步函數(shù)，當(dāng)x大于等于0時(shí)取1，否則取0；下標(biāo)P表示在鄰域中取樣點(diǎn)的個(gè)數(shù)，R表示取樣鄰域的半徑。
4.根據(jù)權(quán)利要求1所述的基于分類(lèi)識(shí)別的人臉跟蹤方法，其特征在于步驟(三)比對(duì)的具體步驟為設(shè)兩個(gè)人臉的LBP編碼直方圖分別為H1和H2，H(i)為該直方圖對(duì)應(yīng)第i維上的值，兩個(gè)直方圖的卡方距離X2(H1，H2)為
X2(H1，H2)值最小的匹配度最高。
5.根據(jù)權(quán)利要求1所述的基于分類(lèi)識(shí)別的人臉跟蹤方法，其特征在于
步驟(四)中，當(dāng)符合以下3個(gè)條件時(shí)，判別兩個(gè)人臉屬于同一個(gè)人
a)兩個(gè)人臉的LBP特征匹配度大于閾值α；
b)在滿(mǎn)足a)的基礎(chǔ)上，兩個(gè)人臉的中心位置距離小于閾值β；
c)如果有多個(gè)待匹配的人臉目標(biāo)，在滿(mǎn)足a)和b)的基礎(chǔ)上，當(dāng)前人臉與匹配人臉的LBP特征匹配度應(yīng)大于當(dāng)前人臉與其它待匹配人臉的LBP特征匹配度。
6.根據(jù)權(quán)利要求2所述的基于分類(lèi)識(shí)別的人臉跟蹤方法，其特征在于
步驟(四)中，當(dāng)符合以下4個(gè)條件時(shí)，判別兩個(gè)人臉屬于同一個(gè)人
a)兩個(gè)人臉的LBP特征匹配度大于閾值α；
b)在滿(mǎn)足a)的基礎(chǔ)上，兩個(gè)人臉的中心位置距離小于閾值β；
c)如果有多個(gè)待匹配的人臉目標(biāo)，在滿(mǎn)足a)和b)的基礎(chǔ)上，當(dāng)前人臉與匹配人臉的LBP特征匹配度應(yīng)大于當(dāng)前人臉與其它待匹配人臉的LBP特征匹配度；
d)兩個(gè)人臉?biāo)喔舻膸瑪?shù)小于或等于CMAX。
7.根據(jù)權(quán)利要求6所述的基于分類(lèi)識(shí)別的人臉跟蹤方法，其特征在于α為231，β為兩個(gè)人臉圖像比對(duì)時(shí)面積較大的一方的人臉框?qū)蔷€(xiàn)長(zhǎng)度的1.3倍，CMAX為15。
全文摘要
本發(fā)明提供一種帶分類(lèi)識(shí)別功能的人臉跟蹤方法，包括步驟(一)當(dāng)前幀的待匹配序列為{F1C，F(xiàn)2C…FjC}；前面幀的為{F1L，F(xiàn)2L…FjL}；(二)依次取出當(dāng)前幀的FmC計(jì)算其LBP編碼圖；(三)得出LBP編碼圖后與前面幀的LBP編碼圖比對(duì)，找出與FmC匹配度最高的FnL；(四)根據(jù)匹配度、中心位置距離關(guān)系判斷是否為同一個(gè)人；若是將同一人物的人臉圖像歸為同一類(lèi)，若不是在FL序列中添加Fj+1L＝FmC；(五)重復(fù)(二)-(四)，直到當(dāng)前幀待匹配序列被歷遍；(六)回到第(一)步處理下一幀。本發(fā)明采用旋轉(zhuǎn)的統(tǒng)一模式的LBP特征對(duì)人物身份進(jìn)行分類(lèi)判別，使同一人的人臉歸為一類(lèi)，解決了傳統(tǒng)人臉跟蹤方法中人物被遮擋后信息隨之丟失的問(wèn)題，擴(kuò)展了人臉跟蹤系統(tǒng)的功能，提高了其應(yīng)用價(jià)值。
文檔編號(hào)G06K9/00GK101567043SQ20091003982
公開(kāi)日2009年10月28日 申請(qǐng)日期2009年5月31日 優(yōu)先權(quán)日2009年5月31日
發(fā)明者賴(lài)劍煌, 黎立宏, 劍 黃 申請(qǐng)人:中山大學(xué)