一種基于高維lbp與卷積神經(jīng)網(wǎng)絡(luò)特征融合的人臉比對(duì)方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明提供了一種基于LBP特征與卷積神經(jīng)網(wǎng)絡(luò)特征融合的人臉比對(duì)方法。
【背景技術(shù)】
[0002] 隨著社會(huì)的高速發(fā)展和科技的迅猛進(jìn)步，諸如門禁、視頻安防監(jiān)控、人機(jī)交互等技 術(shù)的不斷發(fā)展，人們迫切需要一種準(zhǔn)確的身份識(shí)別方式。傳統(tǒng)的身份識(shí)別方式有:密匙、身 份證件、門禁卡等等，然而這些身份驗(yàn)證方式很容易被人竊取、偽造、盜用。這些傳統(tǒng)的身份 驗(yàn)證方式以及越來越無法滿足社會(huì)的需要。人臉識(shí)別技術(shù)正好彌補(bǔ)了這一空缺。目前，人臉 識(shí)別技術(shù)已經(jīng)取得了非常大的進(jìn)步，識(shí)別率非常高，速度也很快。然而，該技術(shù)目前還是存 在很多未被解決的難題，比如光照的變化、頭部飾品佩戴、人臉姿態(tài)的變化、人臉表情的變 化等問題帶來的識(shí)別上的干擾。因此，需要一種高效準(zhǔn)確的人臉識(shí)別新算法。
[0003] 常見的人臉特征提取的方式有如下幾種:基于幾何特征的方法、基于模型的方法、 基于統(tǒng)計(jì)的方法和基于神經(jīng)網(wǎng)絡(luò)的方法。
[0004] 基于幾何特征的方法，這種方法是最早期的一種人臉檢測和識(shí)別的方法。需要檢 測出重要的面部特征的形狀、相對(duì)位置以及這些特征之間的距離等相關(guān)參數(shù)，以構(gòu)成一個(gè) 能夠代表這個(gè)人臉的特征向量。其中的特征通常包括:兩個(gè)特征點(diǎn)之間的距離、曲率和角度 等等。這種方法準(zhǔn)確率低，魯棒性差。
[0005] 基于模型的方法，該算法主要思想是通過數(shù)學(xué)模型，將具有不同尺度和方向的不 同人臉實(shí)例的信息合并，因此該方法對(duì)于自然的人臉變形和光照條件具有更大的彈性。主 流使用的有些模型主要包括431^41、1^?、高維1^?等。這種方法能夠提取到局部信息的特 征，但是無法提取到全局的信息。因而，該方法的泛化能力弱。
[0006] 基于統(tǒng)計(jì)的方法，思想是將人臉圖像視為一個(gè)隨機(jī)變量，從而用一些統(tǒng)計(jì)方法來 進(jìn)行分析?；诮y(tǒng)計(jì)方法的典型的研究工作有:EigenFace、FisherFace、貝葉斯臉等。這種 方法對(duì)于正臉的檢測準(zhǔn)確率較高，但是魯棒性差，對(duì)于臉部姿態(tài)、表情變化大的人臉識(shí)別效 果差.
[0007] 基于卷積神經(jīng)網(wǎng)絡(luò)方法，在很多單一數(shù)據(jù)集下得到的準(zhǔn)確率比傳統(tǒng)特征要好，不 過由于卷積神經(jīng)網(wǎng)絡(luò)提取到的是全局的特征，而忽略了很多局部信息，因此，它的泛化能力 不強(qiáng)。
[0008] 為了解決上述問題，本發(fā)明提供了一種基于高維LBP特征與卷積神經(jīng)網(wǎng)絡(luò)CNN特征 融合的人臉比對(duì)方法，該方法能夠準(zhǔn)確高效地判斷兩張人臉是否為同一個(gè)人，且算法魯棒 性強(qiáng)。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明解決的技術(shù)問題是:克服了基于高維LBP特征的方法獲取全局信息能力差 和基于CNN特征的方法獲取局部信息能力的不足，提供了一種基于高維LBP與卷積神經(jīng)網(wǎng)絡(luò) 特征融合的人臉比對(duì)方法。
[0010]本發(fā)明采用的技術(shù)方案為:包括以下四個(gè)步驟：
[0011]步驟(1)、首先將從輸入的圖像中檢測到人臉區(qū)域并截取人臉區(qū)域圖像，然后將人 臉圖像對(duì)齊，縮放到特定尺寸，最后將圖像進(jìn)行直方圖均衡化；
[0012] 步驟(2)、所有訓(xùn)練圖像均通過步驟（1)預(yù)處理之后作為輸入，分別獲取人臉圖像 的傳統(tǒng)特征以及卷積神經(jīng)網(wǎng)絡(luò)特征進(jìn)行拼接得到6096維的特征向量，再通過PCA進(jìn)行降維， 得到最終的1024維特征作為圖像最后特征向量；
[0013] 步驟(3)、兩張人臉圖像均經(jīng)過步驟（1)和步驟(2)，得到兩個(gè)1024維的特征向量， 作為本步驟輸入，通過訓(xùn)練好的Joint Bayesian模型，得到相應(yīng)的對(duì)數(shù)似然比；
[0014] 步驟(4)、將步驟(3)得到的對(duì)數(shù)似然比與先驗(yàn)的閾值進(jìn)行比對(duì)，若對(duì)數(shù)似然比閾 值，則認(rèn)為這兩張人臉圖像為同一個(gè)人，否則不是同一個(gè)人。
[0015]進(jìn)一步地，步驟（1)中所述的人臉對(duì)齊是通過檢測到人臉中眼睛的位置，通過矯正 眼睛位置來進(jìn)行人臉對(duì)齊。
[0016] 進(jìn)一步地，步驟(2)中所述的高維LBP特征(4000維），卷積神經(jīng)網(wǎng)絡(luò)CNN(4096維）， 拼接之后是8096維，使用PCA降維目的是將其中最有用的特征保留下來。
[0017] 進(jìn)一步地，步驟(3)中所述的人臉比對(duì)方法Joint Bayesian通過類內(nèi)類間特征差 異的分布情況，通過聯(lián)合貝葉斯的思想得出一個(gè)對(duì)數(shù)似然比。
[0018] 進(jìn)一步地，步驟(4)中所述先驗(yàn)的閾值是通過之前訓(xùn)練得到，遍歷所有訓(xùn)練圖片的 對(duì)數(shù)似然比，找到一個(gè)使得人臉驗(yàn)證準(zhǔn)確率最高的閾值作為測試所有先驗(yàn)閾值。
[0019] 本發(fā)明的原理在于：
[0020] 本發(fā)明提供了一種基于高維LBP特征與卷積神經(jīng)網(wǎng)絡(luò)CNN特征融合的人臉比對(duì)方 法，本方法適用于多種場景下的人臉圖像輸入，具有高準(zhǔn)確率，高魯棒性的人臉比對(duì)特定。 本方法包含四個(gè)步驟:首先將從輸入的圖像中檢測到人臉區(qū)域并截取人臉區(qū)域圖像，然后 將人臉圖像對(duì)齊，縮放到特定尺寸，最后將圖像進(jìn)行直方圖均衡化;將預(yù)處理之后的圖像作 為輸入，分別獲取人臉圖像的傳統(tǒng)特征以及卷積神經(jīng)網(wǎng)絡(luò)特征進(jìn)行拼接得到8096維的特征 向量，再通過PCA進(jìn)行降維，得到最終的1024維特征作為圖像最后特征向量;通過訓(xùn)練好的 Joint Bayesian模型，得到相應(yīng)的對(duì)數(shù)似然比；將其比與先驗(yàn)的閾值進(jìn)行比對(duì)，若對(duì)數(shù)似然 比閾值，則認(rèn)為這兩張人臉圖像為同一個(gè)人，否則不是同一個(gè)人。
[0021] 本發(fā)明的內(nèi)容主要包括以下四個(gè)方面：
[0022]人臉圖像的預(yù)處理。人臉圖像的預(yù)處理是人臉比對(duì)算法的先決條件。由于輸入的 人臉圖像質(zhì)量、背景差異較大，因而需要一種有效的方法對(duì)圖像進(jìn)行預(yù)處理。本方法首先通 過檢測人臉區(qū)域來取人臉;從人臉圖像中檢測到眼睛作為圖像矯正的依據(jù);得到矯正好的 人臉圖像之后，再使用灰度直方圖均衡化來解決光照問題。
[0023] 高維LBP特征與卷積神經(jīng)網(wǎng)絡(luò)CNN特征融合。由于高維LBP特征獲取到的特征更多 的是圖像的局部信息，而卷積神經(jīng)網(wǎng)絡(luò)CNN獲取的是全局信息的特征。因此，本發(fā)明提出使 用這兩種特征融合的方法，得到一種具有更加完備信息的特征。首先分布使用高維LBP和卷 積神經(jīng)網(wǎng)絡(luò)CNN得到兩種獨(dú)立的特征，然后，通過拼接的方式，將這兩種特征融合到一起，得 到新的特征。
[0024]解決維度災(zāi)難的方法。本發(fā)明中，由于圖像經(jīng)過高維LBP特征提取器之后得到的特 征有4000維，而經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)CNN提取器之后得到的特征有4096維，如果簡單的拼接， 會(huì)導(dǎo)致維度過高，從而對(duì)后續(xù)的方法造成困難。而且，本發(fā)明采用PCA作為降維方式，首先將 這兩種特征拼接成8046維特征，再使用PCA降維到1024維作為最終的特征。
[0025]基于Joint Bayesian的人臉比對(duì)算法。本發(fā)明認(rèn)為人臉由兩個(gè)部分組成，μ來表示 區(qū)分不同人的特征，用ε表示同一人的特征差異(包括:光線，姿態(tài)，表情等變化）。通過μ和ε 的分布情況，算出當(dāng)前分布下對(duì)應(yīng)的對(duì)數(shù)似然比。將這個(gè)對(duì)數(shù)似然比與閾值進(jìn)行判斷，若大 于閾值，則判斷為同一人;否則，判斷為非同一個(gè)人。
[0026]本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于：
[0027] 1、本發(fā)明提出的特征融合方法，首先經(jīng)過預(yù)處理得到對(duì)齊好的人臉圖像，然后分 別提取高維LBP特征與卷積神經(jīng)網(wǎng)絡(luò)CNN特征，再將這兩種特征融合。由于高維LBP特征獲取 到的特征更多的是圖像的局部信息，而卷積神經(jīng)網(wǎng)絡(luò)CNN獲取的是全局信息的特征，因此局 部信息與全局信息融合能夠得到更加完備的信息。這樣能夠解決高維LBP魯棒性差，卷積神 經(jīng)網(wǎng)絡(luò)CNN泛化能力弱的不足，使得人臉比對(duì)的準(zhǔn)確率得到提升。
[0028] 2、本發(fā)明提出的人臉比對(duì)分類器的訓(xùn)練方法，首先提取高維LBP特征與卷積神經(jīng) 網(wǎng)絡(luò)CNN特征融合，再經(jīng)由PCA降維到1024維。融合了高維LBP特征與卷積神經(jīng)網(wǎng)絡(luò)CNN的人 臉比對(duì)分類器，通過計(jì)算類內(nèi)與類間的特征差異分布情況，得到對(duì)數(shù)似然比作為相似度的 度量方法，大大提升了人臉比對(duì)結(jié)果的準(zhǔn)確率。
[0029] 3、本發(fā)明提出的基于特征融合的人臉比對(duì)方法對(duì)背景、光照、姿態(tài)以及遮擋，具有 很好的魯棒性，并且能夠得到比單獨(dú)使用一種特征提取方式更高的準(zhǔn)確率。
【附圖說明】
[0030] 圖1為本發(fā)明的基于高維LBP和卷積神經(jīng)網(wǎng)絡(luò)CNN特征融合的人臉比對(duì)流程圖；
[0031] 圖2為高維LBP特征模板示意圖；