基于關(guān)鍵點的改進(jìn)sift人臉特征提取方法
【技術(shù)領(lǐng)域】
[0001 ]本發(fā)明涉及一種基于關(guān)鍵點的改進(jìn)SIFT (尺度不變特征變換)人臉特征提取方法， 屬于人臉識別領(lǐng)域。
【背景技術(shù)】
[0002]人臉識別是一種基于人的臉部特征信息進(jìn)行身份識別的生物識別技術(shù)。與其他生 物特征相比，人臉特征具有天然性、方便性和非接觸性等優(yōu)點，使其在安全監(jiān)控、身份驗證、 人機交互等方面具有巨大的應(yīng)用前景。因此，人臉識別技術(shù)非常具有研究價值。一般而言， 人臉識別過程分為兩個過程:人臉特征提取和人臉相似度得分值計算。人臉特征提取過程 是提取人臉圖片的一些關(guān)鍵特征形成人臉特征向量，人臉相似度得分值計算過程是計算兩 個人臉特征向量之間的相似度，相似度越高則表明兩張人臉圖片越有可能來自于同一個 人，反之，則越表明兩張人臉圖片來自于不同的人。在某些情況下，更關(guān)心的是人臉特征提 取部分。
[0003 ]現(xiàn)有的人臉特征提取方法包括LBP (局部二值模式)方法和它的變種方法等，這些 局部紋理特征提取方法通過對整張人臉圖片進(jìn)行分塊統(tǒng)計形成直方圖向量，并將各個塊的 直方圖向量級聯(lián)最終形成人臉特征向量。由于這種方法是對整張人臉進(jìn)行局部紋理特征提 取，因此，其所形成的特征向量維數(shù)是比較大的，并且其中包含了一些冗余信息。此外，這種 方式對于復(fù)雜環(huán)境下表情或姿態(tài)的變化并不魯棒。
[0004] SIFT特征提取方法已被廣泛應(yīng)用于一般物體的識別，它的主要思想是找到圖像在 不同尺度下的關(guān)鍵點，并用方向直方圖來描述關(guān)鍵點作為圖像的特征向量。然而，SIFT方法 用于人臉圖像時，不能準(zhǔn)確定位到人臉中的關(guān)鍵點，因為其主要適用于具有較高對比度的 一般物體的識別，而人臉圖像之間具有較高的相似性。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的主要目的是提供一種基于關(guān)鍵點的改進(jìn)SIFT人臉特征提取方法。
[0006] 區(qū)別于傳統(tǒng)的基于整張人臉的特征提取方法，本發(fā)明的具體創(chuàng)新點在于采用了基 于關(guān)鍵點的改進(jìn)SIFT人臉特征提取的方法。通過定位人臉中的五個關(guān)鍵像素點，并利用 SIFT方法中的方向直方圖來描述這五個關(guān)鍵點，從而形成魯棒的人臉圖像特征向量。所述 五個關(guān)鍵像素點分別為左眼中間位置的像素點，右眼中間位置的像素點，鼻尖上的像素點， 左嘴角的像素點以及右嘴角的像素點。
[0007] 本發(fā)明的技術(shù)方案具體來說，主要包括如下技術(shù)內(nèi)容：
[0008] 1、采用三層深度卷積網(wǎng)絡(luò)級聯(lián)定位人臉中的五個關(guān)鍵像素點（左眼中間位置的像 素點，右眼中間位置的像素點，鼻尖上的像素點，左嘴角的像素點以及右嘴角的像素點）。
[0009] 2、改進(jìn)SIFT特征提取方法:用人臉中的五個關(guān)鍵像素點來替換SIFT特征提取方法 自身檢測出的關(guān)鍵點，減少特征數(shù)據(jù)維數(shù)，剔除特征數(shù)據(jù)中的冗余信息。
[0010] 3、將人臉的特征向量映射到intra-personal子空間中，保證同一個人的不同人臉 圖片之間具有類內(nèi)不變性。
[0011] 4、結(jié)合雙線性相似度函數(shù)和馬氏距離來計算兩個人臉特征向量之間的相似度得 分值。該得分值越高則表明兩張人臉圖片越可能來自于同一個人，反之，該得分值越低則表 明兩張人臉圖片越可能來自于不同的人。
[0012] 5、采用KELM分類器(基于核的極限學(xué)習(xí)機)對相似度得分值進(jìn)行二值分類，得分值 較高的一類人臉圖片，兩張人臉圖片均被判為來自于同一個人，而得分值較低的一類人臉 圖片，兩張人臉圖片均被判為來自于不同的人。
[0013] 本發(fā)明的流程圖如圖1所示，實施流程如下：
[0014] 步驟1、讀取人臉圖片，并利用三層深度卷積網(wǎng)絡(luò)級聯(lián)定位人臉圖片上的五個關(guān)鍵 像素點（左眼中間位置的像素點，右眼中間位置的像素點，鼻尖上的像素點，左嘴角的像素 點以及右嘴角的像素點）。
[0015] 該步驟中所用的深度卷積網(wǎng)絡(luò)級聯(lián)包括三層。第一層利用深度卷積網(wǎng)絡(luò)對五個關(guān) 鍵像素點進(jìn)行準(zhǔn)確定位，其他兩層利用卷積網(wǎng)絡(luò)對第一層的定位結(jié)果進(jìn)行再次確認(rèn)。為了 保證定位的準(zhǔn)確性，每層中各個深度卷積網(wǎng)絡(luò)的定位結(jié)果被融合在一起取平均作為最終的 定位結(jié)果。深層卷積網(wǎng)絡(luò)包含四個卷積層、池化層和兩個全連接層，起始層獲取人臉圖片的 全局上下文信息，由于卷積網(wǎng)絡(luò)是對五個關(guān)鍵像素點同時進(jìn)行預(yù)測，所以各個關(guān)鍵像素點 間的相對位置在卷積網(wǎng)絡(luò)訓(xùn)練的同時也被進(jìn)行了編碼，進(jìn)而削弱了表情變化、光照變化以 及其他環(huán)境因素造成的影響。
[0016] 步驟2、對于步驟1中提取的五個關(guān)鍵像素點，利用SIFT方法進(jìn)行特征描述，提取人 臉圖片的特征。
[0017] SIFT特征提取方法是一種檢測局部特征的方法，不僅具有尺度不變性，同時具有 旋轉(zhuǎn)不變性。該方法一般包含四個過程：（1)構(gòu)建尺度空間，檢測關(guān)鍵點；（2)剔除不穩(wěn)定的 關(guān)鍵點；（3)為關(guān)鍵點賦值方向參數(shù)；（4)生成關(guān)鍵點的描述子。一般而言，SIFT特征提取方 法適用于具有較高對比度的一般物體的識別，而人臉圖片具有較低的對比度和邊緣響應(yīng)， 由于SIFT特征提取方法不能準(zhǔn)確定位人臉圖片中的關(guān)鍵點，因此用步驟1中定位關(guān)鍵像素 點的方法替換SIFT特征提取方法中的步驟(1)和步驟(2)。
[0018] 然后，對于步驟1中得到的五個關(guān)鍵像素點，取每個關(guān)鍵像素點領(lǐng)域內(nèi)的一些像素 點，計算每個像素點的梯度模值和方向。定義某個像素點的坐標(biāo)為P(x，y):
[0020] 0(x,y)=tan-1((P(x,y+l)-P(x,y-l))/(P(x+l,y)-P(x-l,y)))
[0021] 其中，m(x，y)為該像素點的梯度模值，0(x，y)為該像素點的梯度方向。
[0022] 根據(jù)上式的計算結(jié)果，利用直方圖統(tǒng)計領(lǐng)域內(nèi)像素點的梯度方向。為減少突變影 響，需要用高斯函數(shù)對直方圖進(jìn)行平滑。那么，直方圖的峰值代表了關(guān)鍵像素點領(lǐng)域像素點 的梯度主方向，也即關(guān)鍵像素點的方向。
[0023] 為了保持旋轉(zhuǎn)不變性，將坐標(biāo)軸旋轉(zhuǎn)為關(guān)鍵像素點的方向，然后以關(guān)鍵點為中心， 取16X16大小的領(lǐng)域窗口，在每4X4大小的格子中計算8個梯度方向的直方圖，最終形成4 X4X8 = 128維的SIFT人臉特征向量。
[0024] 步驟3、將步驟2中得到的特征向量映射到intra-personal子空間中。
[0025]在該步驟中，為了削弱噪聲的影響，首先需要將步驟2中得到的特征向量利用PCA 方法(主成分分析)進(jìn)行降維，形成特征臉。其協(xié)方差矩陣表達(dá)式如下：
[0027]其中，η為人臉樣本數(shù)量，^表示人臉向量，m為η個人臉向量的均值。由于協(xié)方差矩 陣描述了向量之間的相關(guān)性，因此上述協(xié)方差矩陣的特征向量形成映射矩陣，根據(jù)映射矩 陣對人臉圖像數(shù)據(jù)進(jìn)行映射，即可形成特征臉。然后，為了保證同一個人不同的人臉圖片之 間的類內(nèi)不變性，將特征臉映射到intra-personal子空間中，其協(xié)方差矩陣表達(dá)式如下：
[0029]其中，S表示同一個人的人臉圖片集合，XdPXj表示同一個人的人臉圖片集合中不 同的兩張人臉圖片的人臉向量。Λ = {心，...，Ak}和V= {V1，. . .，vk}分別表示上式協(xié)方差矩 陣的前k個特征值和特征向量。同樣地，前k個特征向量形成映射矩陣，將上述特征臉數(shù)據(jù)通 過該映射矩陣進(jìn)行映射，從而保證同一個人的人臉圖片之間的類內(nèi)不變性。如果Cs是可逆 的，那么，特征臉映射到intra-personal子空間用下式來表達(dá)：
[0032] 其中，V是由上述k個特征向量形成的映射矩陣，是由上述k個特 征值所組成的對角矩陣，I即最終形成的特征矩陣。
[0033] 步驟4、利用雙線性相似度函數(shù)和馬氏距離來計算兩個人臉特征向量之間的相似 度得分值。
[0034]馬氏距離已被廣泛用于人臉識別領(lǐng)域，但其識別效果不是特別好，而近幾年的研 究表明，雙線性相似度函數(shù)在圖片相似度搜索領(lǐng)域已獲得了很好的效果。因此，本方法中， 結(jié)合雙線性相似度函數(shù)和馬氏距離來計算兩個人臉特征向量之間的相似度得分值，其表達(dá) 式如下：
[0038]其中，&(5;，士)表示為和％特征矩陣之間的雙線性相似度函數(shù)，表示虱 和^特征矩陣之間的馬氏距離。G和Μ均為kXk大小的矩陣，需要訓(xùn)練合適的Μ和G來盡量保 證類內(nèi)不變性的同時保證類間的最大可辨別性。因此，將intra-personal子空間相似度量 學(xué)習(xí)的表達(dá)式定義成如下形式：
[0041 ] <? > Q, yf = (i j)e.P- S u D
[00