本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種結(jié)合局部和全局特征的無(wú)約束人臉驗(yàn)證方法。

背景技術(shù)：

人臉識(shí)別有兩個(gè)方向：人臉驗(yàn)證和人臉身份識(shí)別，其中，人臉驗(yàn)證指判斷兩張臉是否為同一個(gè)人，人臉身份識(shí)別從一個(gè)人臉庫(kù)中找到給定的這張人臉對(duì)應(yīng)的身份。由于室外無(wú)約束環(huán)境下的人臉圖片存在光照、姿態(tài)、年齡、裝束等多種影響，使得室外無(wú)約束環(huán)境下的人臉驗(yàn)證難度非常大。

近幾年提出了很多方法來(lái)改善無(wú)約束環(huán)境下的人臉驗(yàn)證，這些方法大概可以分為兩類：基于特征的方法和基于度量學(xué)習(xí)的方法。對(duì)于第一類方法，目標(biāo)在于提取魯棒的、有區(qū)分性的特征，希望不同人的人臉特征能盡可能的不同，經(jīng)典的人臉特征描述算子包括SIFT、LBP、PEM和fisher人臉等?；诙攘繉W(xué)習(xí)的方法則是通過(guò)帶標(biāo)記的樣本數(shù)據(jù)學(xué)習(xí)出一種距離度量算法，在該算法框架下，相同的人臉距離更小而不同的人臉距離更大，經(jīng)典的距離度量算法有LDML、CSML、PCCA和PMML等算法。

目前，已有一些人臉驗(yàn)證方法被公開，比如：中國(guó)發(fā)明專利“基于類內(nèi)類間距離的人臉驗(yàn)證方法201310589074.9”和“一種基于特征學(xué)習(xí)的跨年齡人臉驗(yàn)證方法201510270145.8”都是針對(duì)整張人臉提取全局特征，容易受到諸如被驗(yàn)證人戴帽子、眼鏡以及表情等局部屬性干擾。中國(guó)發(fā)明專利“一種基于多姿態(tài)識(shí)別的人臉驗(yàn)證方法及裝置201410795404.4”需要采集至少兩張人臉照片，當(dāng)樣本庫(kù)里只有一張人臉照片時(shí)，該方法就失效了。中國(guó)發(fā)明專利“一種基于分塊深度神經(jīng)網(wǎng)絡(luò)的非限制環(huán)境人臉驗(yàn)證方法201310664180.9”雖然將人臉劃分為多個(gè)區(qū)域，并按塊提取特征，但是其劃分區(qū)域是隨意劃分的，沒(méi)有考慮人臉的五官分布。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明要解決的技術(shù)問(wèn)題是提供一種結(jié)合局部和全局特征的無(wú)約束人臉驗(yàn)證方法，結(jié)合考慮了人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征這些局部特征和人臉的全局特征，通過(guò)級(jí)聯(lián)貝葉斯模型為兩張人臉的各部分特征相似度打分，最后取相似度均值，從而可以有效的規(guī)避局部裝束等外在影響造成的識(shí)別效果不佳。

為解決上述技術(shù)問(wèn)題，本發(fā)明的實(shí)施例提供一種結(jié)合局部和全局特征的無(wú)約束人臉驗(yàn)證方法，包括以下步驟：

步驟1，整理人臉訓(xùn)練樣本集，樣本集包含一萬(wàn)個(gè)人的人臉圖片，每個(gè)人包含至少15張以上不同姿態(tài)、不同環(huán)境、不同時(shí)間的人臉照；

步驟2，檢測(cè)樣本集圖片中的人臉區(qū)域并提取68個(gè)特征點(diǎn)，然后進(jìn)行人臉校準(zhǔn)和歸一化處理；

步驟3，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，提取人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征、以及人臉的全局特征；

步驟4，將步驟3得到的5種特征分別使用RBF核函數(shù)投影到易區(qū)分的非線性空間；

步驟5，將步驟4得到的5種特征分別使用級(jí)聯(lián)貝葉斯算法訓(xùn)練，得到5組協(xié)方差矩陣A和G；

步驟6，人臉驗(yàn)證階段，針對(duì)輸入的兩張圖片，使用步驟3中的方法得到兩張人臉照的5種特征，并投影到非線性空間，得到兩個(gè)人的5種特征，表示為和；

步驟7，使用步驟5中得到的兩個(gè)矩陣A和G，分別計(jì)算步驟6中的5對(duì)特征的相似度，計(jì)算公式為：；

步驟8，計(jì)算步驟7中5對(duì)相似度的平均值，得到最終的相似度值，與閾值相比從而判斷出兩個(gè)人是否為同一個(gè)人。

其中，所述步驟2中提取人臉上的68個(gè)特征點(diǎn)的具體步驟為：

步驟2-1，針對(duì)輸入圖片，采用基于Adaboost的人臉檢測(cè)算法檢測(cè)照片中的人臉，如果未檢測(cè)到人臉，返回，繼續(xù)處理下一張圖片，檢測(cè)到人臉則轉(zhuǎn)入步驟2-2；

步驟2-2，將步驟2-1得到的人臉區(qū)域圖片送入人臉特征點(diǎn)檢測(cè)模塊，得到人臉的68個(gè)特征點(diǎn)；

步驟2-3，根據(jù)步驟2-2得到的人臉特征點(diǎn)，進(jìn)行人臉校準(zhǔn)；

步驟2-4，人臉歸一化處理，消除光照影響。

其中，所述步驟3中提取人臉特征的具體步驟如下：

步驟3-1，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，任選一點(diǎn)作為基準(zhǔn)點(diǎn)P，以基準(zhǔn)點(diǎn)P為原點(diǎn)建立極坐標(biāo)，以10°為間距，極坐標(biāo)被劃分為36個(gè)區(qū)域，依次求取其余67個(gè)特征點(diǎn)與基準(zhǔn)點(diǎn)的連線同水平正方向形成的角度，得到以P為基準(zhǔn)點(diǎn)的角度直方圖；按照上述方法，選取眼、鼻、嘴三處6個(gè)點(diǎn)作為基準(zhǔn)點(diǎn)，得到6組直方圖，以該直方圖作為人臉的五官輪廓特征；

步驟3-2，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，定位眼部區(qū)域，計(jì)算眼部區(qū)域的密集LBP特征，進(jìn)行WPCA變換消除冗余提取主特征，以該特征作為眼部特征；

步驟3-3，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，定位嘴部區(qū)域，計(jì)算嘴部區(qū)域的密集LBP特征，進(jìn)行WPCA變換消除冗余提取主特征，以該特征作為嘴部特征；

步驟3-4，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，定位鼻部區(qū)域，計(jì)算鼻部區(qū)域的密集LBP特征，進(jìn)行WPCA變換消除冗余提取主特征，以該特征作為鼻部特征；

步驟3-5，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，定位人臉的整體區(qū)域，計(jì)算人臉整體區(qū)域的密集LBP特征，進(jìn)行WPCA變換消除冗余提取主特征，以該特征作為人臉的全局特征。

其中，所述步驟5中級(jí)聯(lián)貝葉斯算法訓(xùn)練的具體過(guò)程為：

步驟5-1，根據(jù)步驟3得到的人臉的五官輪廓特征，計(jì)算不同人和相同人特征之間的協(xié)方差矩陣和；

步驟5-2，根據(jù)步驟5-1計(jì)算得到的和，計(jì)算出和，其中，，；

步驟5-3，根據(jù)步驟3得到的眼部特征、嘴部特征、鼻部特征和人臉的全局特征，重復(fù)步驟5-1和5-2，最終得到度量矩陣和。

其中，所述步驟6包括如下具體步驟：

步驟6-1，讀取驗(yàn)證圖片1和圖片2，分別進(jìn)行人臉檢測(cè)，如果未檢測(cè)到兩張人臉，提示未檢測(cè)到人臉，結(jié)束匹配，否則進(jìn)入步驟6-2；

步驟6-2，檢測(cè)人臉1和人臉2的68個(gè)特征點(diǎn)，如果未檢測(cè)到，提示匹配失敗，結(jié)束匹配，否則進(jìn)入步驟6-3；

步驟6-3、根據(jù)步驟3所述方法，提取人臉1和人臉2的5種特征。

本發(fā)明的上述技術(shù)方案的有益效果如下：本發(fā)明結(jié)合考慮了人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征這些局部特征和人臉的全局特征，通過(guò)級(jí)聯(lián)貝葉斯模型為兩張人臉的各部分特征相似度打分，最后取相似度均值，從而可以有效的規(guī)避局部裝束等外在影響造成的識(shí)別效果不佳。

附圖說(shuō)明

圖1為本發(fā)明中68個(gè)人臉特征點(diǎn)的分布示意圖；

圖2為本發(fā)明的工作原理框圖；

圖3為本發(fā)明步驟6至步驟8的流程圖；

圖4為本發(fā)明實(shí)施例中人臉數(shù)據(jù)集的示意圖；

圖5為人臉的68個(gè)特征點(diǎn)分布示意圖。

具體實(shí)施方式

為使本發(fā)明要解決的技術(shù)問(wèn)題、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖及具體實(shí)施例進(jìn)行詳細(xì)描述。

如圖1、圖3所示，一種結(jié)合局部和全局特征的無(wú)約束人臉驗(yàn)證方法，包括以下步驟：

步驟1，整理人臉訓(xùn)練樣本集，樣本集包含一萬(wàn)個(gè)的人臉照片，每個(gè)人包含至少15張以上不同姿態(tài)、不同環(huán)境、不同時(shí)間的人臉照；

步驟2，檢測(cè)樣本集照片人臉并提取人臉上的68個(gè)特征點(diǎn)，如圖1所示，并進(jìn)行人臉校準(zhǔn)和歸一化處理；

其中，提取人臉上的68個(gè)特征點(diǎn)的具體步驟為：

步驟2-1，針對(duì)輸入圖片，采用基于Adaboost的人臉檢測(cè)算法檢測(cè)照片中的人臉，如果未檢測(cè)到人臉，返回，繼續(xù)處理下一張圖片，檢測(cè)到人臉則轉(zhuǎn)入步驟2-2；

步驟2-2，將步驟2-1得到的人臉區(qū)域圖片送入人臉特征點(diǎn)檢測(cè)模塊，得到人臉的68個(gè)特征點(diǎn)；

步驟2-3，根據(jù)步驟2-2得到的人臉特征點(diǎn)，進(jìn)行人臉校準(zhǔn)；

步驟2-4，人臉歸一化處理，消除光照影響。

步驟3，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，提取人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征、以及人臉的全局特征；

其中，提取人臉特征的具體步驟如下：

步驟3-1，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，任選一點(diǎn)作為基準(zhǔn)點(diǎn)P，以基準(zhǔn)點(diǎn)P為原點(diǎn)建立極坐標(biāo)，以10°為間距，極坐標(biāo)被劃分為36個(gè)區(qū)域，依次求取其余67個(gè)特征點(diǎn)與基準(zhǔn)點(diǎn)的連線同水平正方向形成的角度，得到以P為基準(zhǔn)點(diǎn)的角度直方圖；按照上述方法，選取眼、鼻、嘴三處6個(gè)點(diǎn)作為基準(zhǔn)點(diǎn)，得到6組直方圖，以該直方圖作為人臉的五官輪廓特征；

步驟3-2，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，定位眼部區(qū)域，計(jì)算眼部區(qū)域的密集LBP特征，進(jìn)行WPCA變換消除冗余提取主特征，以該特征作為眼部特征；

步驟3-3，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，定位嘴部區(qū)域，計(jì)算嘴部區(qū)域的密集LBP特征，進(jìn)行WPCA變換消除冗余提取主特征，以該特征作為嘴部特征；

步驟3-4，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，定位鼻部區(qū)域，計(jì)算鼻部區(qū)域的密集LBP特征，進(jìn)行WPCA變換消除冗余提取主特征，以該特征作為鼻部特征；

步驟3-5，根據(jù)步驟2得到的68個(gè)特征點(diǎn)，定位人臉的整體區(qū)域，計(jì)算人臉整體區(qū)域的密集LBP特征，進(jìn)行WPCA變換消除冗余提取主特征，以該特征作為人臉的全局特征。

步驟4，將步驟3得到的5種特征分別使用RBF核函數(shù)投影到易區(qū)分的非線性空間；

步驟5，將步驟4得到的5種特征分別使用級(jí)聯(lián)貝葉斯算法訓(xùn)練，得到5組協(xié)方差矩陣A和G；

其中，級(jí)聯(lián)貝葉斯算法訓(xùn)練的具體過(guò)程為：

步驟5-1，根據(jù)步驟3-1得到的人臉的五官輪廓特征，計(jì)算不同人和相同人特征之間的協(xié)方差矩陣和；

步驟5-2，根據(jù)步驟5-1計(jì)算得到的和，計(jì)算出和，其中，，；

步驟5-3，根據(jù)步驟3-2至步驟3-5得到的眼部特征、嘴部特征、鼻部特征和人臉的全局特征，重復(fù)步驟5-1和5-2，最終得到度量矩陣和。

步驟6，人臉驗(yàn)證階段，針對(duì)輸入的兩張圖片，檢測(cè)人臉并提取人臉描述特征，然后投影到非線性空間，得到兩個(gè)人的5種特征，表示為和；具體步驟如下：

步驟6-1，讀取驗(yàn)證圖片1和圖片2，分別進(jìn)行人臉檢測(cè)，如果未檢測(cè)到兩張人臉，提示未檢測(cè)到人臉，結(jié)束匹配，否則進(jìn)入步驟6-2；

步驟6-2，檢測(cè)人臉1和人臉2的68個(gè)特征點(diǎn)，如果未檢測(cè)到，提示匹配失敗，結(jié)束匹配，否則進(jìn)入步驟6-3；

步驟6-3、根據(jù)步驟3所述方法，提取人臉1和人臉2的5種特征。

步驟7，使用步驟5中得到的兩個(gè)矩陣A和G，分別計(jì)算步驟6中的5對(duì)特征的相似度，計(jì)算公式為：；

步驟8，計(jì)算步驟7中5對(duì)相似度的平均值，得到最終的相似度值，與閾值相比從而判斷出兩個(gè)人是否為同一個(gè)人。

本發(fā)明結(jié)合考慮了人臉的五官輪廓特征、眼部特征、嘴部特征、鼻部特征這些局部特征和人臉的全局特征，通過(guò)級(jí)聯(lián)貝葉斯模型為兩張人臉的各部分特征相似度打分，最后取相似度均值，從而可以有效的規(guī)避局部裝束等外在影響造成的識(shí)別效果不佳。

實(shí)施例：

模型訓(xùn)練階段包括步驟1到步驟5，人臉數(shù)據(jù)集如圖4，一萬(wàn)個(gè)人，每個(gè)人至少包含15張不同時(shí)期的人臉圖片。

步驟2，檢測(cè)人臉特征點(diǎn)，以圖5為例，檢測(cè)到人臉的68個(gè)特征點(diǎn)。

步驟3，提取5組局部特征和全局特征；

步驟4，使用RBF核函數(shù)將5組特征分別映射到核空間；

步驟5，使用級(jí)聯(lián)貝葉斯算法訓(xùn)練得到度量矩陣和，至此模型訓(xùn)練階段結(jié)束。

利用訓(xùn)練好的模型，即度量矩陣和，根據(jù)步驟6到步驟8可以判斷兩張人臉圖片是否為同一個(gè)人，該技術(shù)可以應(yīng)用到諸多系統(tǒng)中，如：

（1）簽到點(diǎn)名系統(tǒng)，系統(tǒng)中只需保存一個(gè)人一張人臉圖片即可，將輸入的人臉圖片與系統(tǒng)中保存的人臉一一對(duì)比驗(yàn)證，識(shí)別到此人即完成點(diǎn)名簽到。

（2）犯罪分子人臉檢索，公安系統(tǒng)中保存一張個(gè)人的身份證頭像圖片，輸入犯罪分子人臉圖片，與系統(tǒng)中保存的人臉圖片一一對(duì)比，根據(jù)相似度值排序，給出最相近的若干人。

以上所述是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明所述原理的前提下，還可以作出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。