人臉表示和相似度計算方法
【專利摘要】本發(fā)明公開了一種人臉表示和相似度計算算法。在離線訓(xùn)練階段收集帶有標(biāo)注的人臉訓(xùn)練集，每人包含 50-100 張人臉圖像，將集合中圖像歸一化后劃分為 2*2 個相同大小的人臉塊。對每個人臉塊，稠密的提取 k*k 像素的小塊，進(jìn)行均值歸零，方差歸一預(yù)處理后，基于 K-means 聚類學(xué)習(xí)卷積核。每個人臉塊得到 K 個卷積圖像，對整張輸入人臉的 K*2*2 個卷積圖像，分別進(jìn)行均值 Pooling 操作和 ReLU 非線性操作后將所有響應(yīng)圖的特征拉直。對拉直后的特征，學(xué)習(xí)主成分分析（ PCA ）投影，經(jīng)過 PCA 降低維度后，基于線性判別分析（ LDA ）算法學(xué)習(xí)判別投影，得到緊湊、魯棒的人臉表示，對兩幅圖像的人臉表示進(jìn)行內(nèi)積運(yùn)算得到相似度。
【專利說明】人臉表示和相似度計算方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于計算機(jī)視覺和圖像處理【技術(shù)領(lǐng)域】，特別的涉及人臉的表示和相似度計 算方法。

【背景技術(shù)】
[0002] 計算機(jī)人臉識別是指基于已知的人臉樣本庫，利用計算機(jī)分析圖像和模式識別技 術(shù)從靜態(tài)或動態(tài)場景中，識別或驗(yàn)證一個或多個人臉，利用特征提取技術(shù)抽取人臉的多個 可能的特征表示，該技術(shù)被廣泛的應(yīng)用于公共安全，身份證明等重要場合，有效的進(jìn)行人臉 識別的關(guān)鍵在于快速，準(zhǔn)確的進(jìn)行人臉特征表示?，F(xiàn)有技術(shù)中已經(jīng)有一些人臉特征表示算 法，利用卷積核對輸入人臉圖像進(jìn)行卷積處理得到人臉的多維特征向量表示，運(yùn)算涉及的 卷積核選取沒有充分利用豐富的人臉訓(xùn)練數(shù)據(jù)，特征向量的維度設(shè)置過小影響精度，設(shè)置 過大影響速度，從而整體上制約了人臉特征表示以及相似度計算的準(zhǔn)確性。
[0003] 為克服現(xiàn)有技術(shù)的上述不足之處，本發(fā)明提出了一種基于卷積核學(xué)習(xí)的人臉表示 算法和相似度計算方法，利用訓(xùn)練集離線學(xué)習(xí)得到的卷積核參與到人臉圖像的卷積操作 中，利用訓(xùn)練集學(xué)習(xí)得到的降維和分析矩陣進(jìn)行人臉判別特征提取，在得到緊湊、魯棒的人 臉表示后，能夠快速的得到圖像之間的相似度，實(shí)現(xiàn)了準(zhǔn)確，快讀，魯棒的人臉表示和相似 度計算。


【發(fā)明內(nèi)容】

[0004] 本發(fā)明提出了一種人臉表示和相似度計算方法，其特征在于： (1) 收集生成網(wǎng)絡(luò)人臉訓(xùn)練集； (2) 利用訓(xùn)練集中的人臉圖像訓(xùn)練得到卷積核； (3) 利用所述卷積核，對訓(xùn)練集中的人臉圖像進(jìn)行特征表示； (4) 利用所述卷積核，對輸入人臉圖像進(jìn)行特征表示； (5) 在訓(xùn)練集中的人臉圖像特征表示中提取判別特征； (6) 在輸入人臉圖像特征表示中提取判別特征； (7) 利用判別特征，計算圖像相似度。
[0005] 優(yōu)選的是，其中步驟⑴具體為：選擇C個名人，其中c=l，2,……，C，名 人對應(yīng)有張圖像，其中50〈 W〈100,名人對應(yīng)的所有圖像集合為，將訓(xùn)練集記為

【權(quán)利要求】
1. 一種人臉表示和相似度計算方法，其特征在于： (1) 收集生成網(wǎng)絡(luò)人臉訓(xùn)練集； (2) 利用訓(xùn)練集中的人臉圖像訓(xùn)練得到卷積核； (3) 利用所述卷積核，對訓(xùn)練集中的人臉圖像進(jìn)行特征表示； (4) 利用所述卷積核，對輸入人臉圖像進(jìn)行特征表示； (5) 在訓(xùn)練集中的人臉圖像特征表示中提取判別特征； (6) 在輸入人臉圖像特征表示中提取判別特征； (7) 利用判別特征，計算圖像相似度。
2. 如權(quán)利要求1所述的方法，其中步驟⑴具體為：選擇C個名人 其中c=l，2,……，C，名人/丨對應(yīng)有張圖像，其中50〈 .Y,.,〈100,名人/丨對應(yīng)的所有圖 像集合為/p，將訓(xùn)練集記為
，訓(xùn)練集合中的圖像丨，其中 i=l,2,……，N，體現(xiàn)姿態(tài)、光照和表情的變化。
3. 如權(quán)利要求2所述的方法，其中步驟（2)具體為：將訓(xùn)練集中的人臉圖像對齊，對齊 后的人臉圖像大小為128*80像素，將每幅圖像I劃分為2*2個大小相同的人臉塊，每個 人臉塊圖像大小為64*40像素，對所有圖像的所有人臉塊分別進(jìn)行處理，得到卷積核。
4. 如權(quán)利要求3所述的方法，其中對所有圖像的所有人臉塊分別進(jìn)行處理，得到 卷積核的步驟具體為：每幅圖像對應(yīng)位置j的人臉塊記為其中i=l，2,……N， ?i-r j=l, 2, 3, 4,在每個人臉塊i上提取k*k大小的小塊，步長為1，則該人臉塊，w表不為：
，其中l(wèi)〈k〈40,m=64-k+l，n=40_k+l， 計算
，將^咸去該均值\，并將每一維特征的方差歸一，得到每幅圖像X對 應(yīng)位置j的人臉塊表示：
，對所有N幅圖像對應(yīng)位置j的 人臉塊依次處理，將得到的N個表示I連接起來,得到訓(xùn)練集中N幅圖像的位置j的人臉 塊表示為
對該f;進(jìn)行K-means聚類學(xué)習(xí)，得到K個 聚類中心，記為：
，其中心表示其中的第t個聚類中心， t=l，2,……K，每個聚類中心作為一個獨(dú)立的卷積核，對所有圖像的所有位置j的人臉塊都 按照上述步驟分別進(jìn)行卷積核學(xué)習(xí)，得到！/) ,j=l，2, 3, 4}。
5. 如權(quán)利要求4所述的方法，其中步驟（3)具體為：對人臉圖像卷積操作后進(jìn)行 Pooling操作和ReLU操作以進(jìn)行特征表示。
6. 如權(quán)利要求5所述的方法，其中的卷積操作具體為：將每個聚類中心心做為一 個卷積核，進(jìn)行內(nèi)積運(yùn)算
，將拉直的卷積向量€還原為二維圖像，對 訓(xùn)練集中的人臉圖像X中的所有f,j=l，2, 3, 4,進(jìn)行上述內(nèi)積運(yùn)算，相同位置的人臉塊 對應(yīng)相同位置訓(xùn)練得出的卷積核，共得到2*2*K個卷積圖像，其中每個卷積圖像的大小為m*n〇
7. 如權(quán)利要求6所述的方法，其中的Pooling操作具體為：利用均值Pooling操作來 提取不變特征，將每個m*n的卷積圖像劃分為4*4像素大小的不重疊的網(wǎng)格，計算每個網(wǎng)格 的均值，得到均值Pooling后的響應(yīng)圖，經(jīng)過Pooling操作后，每個響應(yīng)圖的大小為（m/4)* (n/4)。
8.如權(quán)利要求7所述的方法，其中的ReLU操作具體為：將均值Pooling操作后輸出的 響應(yīng)圖中的負(fù)響應(yīng)值歸0，保留正響應(yīng)值，通過ReLU操作，加入了特征的非線性，對于輸入 的
，將ReLU操作后的所有響應(yīng)圖拉直后得到的人臉塊 表示為/，特征維度為K* (m/4)* (n/4)，將2*2個位置得到的人臉塊表示/;依次連接起 來，得到訓(xùn)練集人臉圖像.1的特征表示特征維度是A=2*2*K* (m/4)* (n/4)維。
9. 如權(quán)利要求4所述的方法，其中步驟（4)具體為：對人臉圖像卷積操作后進(jìn)行 Pooling和ReLU操作以進(jìn)行特征表示。
10. 如權(quán)利要求9所述的方法，其中的卷積操作具體為：對輸入人臉圖像7,對齊為 128*80像素的人臉圖像，將其劃分為2*2個大小相同的人臉塊，每個人臉塊圖像大小為 64*40像素，對應(yīng)位置j的人臉塊記為F, ,j=l，2, 3, 4,在每個人臉塊F:上提取k*k大小的 小塊，步長為1，則該人臉塊|丨表示為：
，其中
l〈k〈40,m=64-k+l，n=40-k+l，計算 ，將t.減去該均值，并將每一維特征的方 ' -- 1 差歸一，得到該圖像f的第j位置人臉塊的表示
，將每個聚 類中心心做為一個卷積核，進(jìn)行內(nèi)積運(yùn)算
，將拉直的卷積向量f還 原為二維圖像，對輸入人臉圖像7中的所有K,進(jìn)行上述內(nèi)積運(yùn)算，j=l，2, 3, 4,相同位置的 人臉塊對應(yīng)相同位置訓(xùn)練得出的卷積核，共得到2*2*K個卷積圖像，其中每個卷積圖像的 大小為m*n。
11. 如權(quán)利要求10所述的方法，其中的Pooling操作具體為：利用均值Pooling操作 來提取不變特征，將每個m*n的卷積圖像劃分為4*4像素大小的不重疊的網(wǎng)格，計算每個網(wǎng) 格的均值，得到均值Pooling后的響應(yīng)圖，經(jīng)過Pooling操作后，每個響應(yīng)圖的大小為（m/4) * (n/4)。
12.如權(quán)利要求11所述的方法，其中的ReLU操作具體為：將均值Pooling后輸出的響 應(yīng)圖中的負(fù)響應(yīng)值歸〇,保留正響應(yīng)值，通過ReLU操作，加入了特征的非線性，對于輸入的
，將ReLU操作后的所有響應(yīng)圖拉直后得到的人臉塊表示為 /；，特征維度為K* (m/4)* (n/4)，將2*2個位置得到的人臉塊表示/；依次連接起來，得到 輸入人臉圖像7的表示/'，特征維度是A=2*2*K* (m/4)* (n/4)維。
13. 如權(quán)利要求12所述的方法，其中步驟（5)具體為：對人臉圖像特征表示經(jīng)過主成 分分析降維計算和線性判別分析得到判別特征。
14. 如權(quán)利要求13所述的方法，其中主成分分析降維計算的步驟具體為：計算訓(xùn) 練集特征表示的協(xié)方差矩陣
，其中^是訓(xùn)練集中所有N幅 圖像的特征表示&的均值，令
其中 ?^ri對應(yīng)孚的前r個最大特征值對應(yīng)的特征向量，對于輸A特征A，經(jīng)過主 成分分析降維后得到，
訓(xùn)練集中的所有人臉圖像的特征表示經(jīng)過降 維后記為，,=|/|:，/s，......《，!/}。
15. 如權(quán)利要求13所述的方法，其中線性判別分析具體 歸另"十胃關(guān)B陳€ $瞧旬體&錢_誠M
，A表不第作個 人所有圖像~的特征向量主成分分析降維度后的均值，A是訓(xùn)練集中所有圖像的特 征表示Z的均值，
，PCA_Dim=r，其中 {rJI=U,……，fi是以下泛化特征值問題最大的q個特征值H，=u........j對應(yīng) 的特征向量
，對/k.進(jìn)行判別特征提取，得到判別特征
16. 如權(quán)利要求15所述的方法，其中步驟（6)具體為：對人臉圖像特征表示經(jīng)過主成分 分析降維計算和線性判別分析得到判別特征。
17. 如權(quán)利要求16所述的方法，其中的主成分分析降維計算具體步驟為：對輸入圖像7 的特征表示&，計算
得到^后，計算得到判別特征
18. 如權(quán)利要求16所述的方法，其中步驟（7)具體為：對~進(jìn)行二范數(shù) 歸一得到
，對~進(jìn)行二范數(shù)歸一得到
進(jìn)行內(nèi)積計算 得到輸入圖像7和訓(xùn)練集人臉圖像x的相似度。
i
【文檔編號】G06K9/66GK104408405SQ201410604043
【公開日】2015年3月11日 申請日期:2014年11月3日 優(yōu)先權(quán)日:2014年11月3日
【發(fā)明者】不公告發(fā)明人 申請人:北京暢景立達(dá)軟件技術(shù)有限公司