一種基于雙線性聯(lián)合cnn的人臉驗證方法
【專利摘要】本發(fā)明公開了一種基于雙線性卷積神經(jīng)網(wǎng)絡的人臉驗證方法。包括下述步驟：1)使用預先準備的人臉圖像進行卷積神經(jīng)網(wǎng)絡（下簡稱CNN）的訓練；2）使用訓練集中的人臉圖片，進行雙線性CNN的微調(diào)；3)輸入待驗證的人臉圖片，將兩張圖片進行切分，提取雙線性CNN輸出的聯(lián)合特征。4)得到的向量經(jīng)過一個自編碼網(wǎng)絡訓練，得到最終的驗證結(jié)果。本發(fā)明基于雙線性的CNN的方法，并且通過將原始的雙線性神經(jīng)網(wǎng)絡的兩個重復輸入替換成不同的人臉驗證輸入圖像，提出了一種新的人臉驗證描述子，它對光照，遮擋和姿態(tài)變化具有魯棒性，且雙線性CNN提取的特征比一般CNN全鏈接層特征維數(shù)更小，減少了參數(shù)量，從而使得后續(xù)的深度信念網(wǎng)絡訓練更加容易，提高人臉驗證的準確率。
【專利說明】
一種基于雙線性聯(lián)合CNN的人臉驗證方法
技術(shù)領域
[0001]本發(fā)明涉及計算機視覺領域，更具體地，涉及一種基于雙線性聯(lián)合卷積神經(jīng)網(wǎng)絡(CNN)的人臉驗證方法。
【背景技術(shù)】
[0002]人臉識別可以說是人們?nèi)粘Ｉ钪凶畛Ｓ玫纳矸菡J證手段，也是當前最熱門的模式識別研究課題之一。人臉識別就是通過與計算機相連的攝像頭動態(tài)捕捉人的面部，同時把捕捉到的人臉與預先錄用的人員庫存中的人臉進行比較識別。其他生物特征識別方法都需要人的行為配合，而人臉識別不需要被動配合，可以用在某些隱蔽的場合，可以稱為一種最友好的生物特征身份認證技術(shù)。人臉驗證是人臉識別問題中的一個子問題，解決的是如何判斷圖像中的人臉是否是指定的人，是不是某人的問題，是一對一的匹配過程。由于人臉識別分類與驗證均有很大的實際應用價值，所以此課題作為一個研究熱點已經(jīng)持續(xù)了多年時間，很多種方法都被提出，而人臉驗證算法絕大多數(shù)從檢測人臉的某些特征開始，經(jīng)過處理后利用各種概率模型或分類器得出驗證結(jié)果。其中包括了，基于經(jīng)典的SIFT，H0G，Gabor等特征的方法和基于CNN的方法，這其中通過CNN進行人臉識別能夠取得目前最好的結(jié)果。然而，深層CNN網(wǎng)絡由于有大量的參數(shù)需要通過學習獲得，而目前很多人臉數(shù)據(jù)集并不能滿足深層CNN網(wǎng)絡學習所需的規(guī)模，因此深層CNN網(wǎng)絡實現(xiàn)必須基于大量人臉數(shù)據(jù)集進行訓練，這限制了它在人臉識別領域的應用。此外，深層CNN網(wǎng)絡的訓練過程所耗費的時間相當多，對參數(shù)進行優(yōu)化是一個長期的過程。而CNN網(wǎng)絡大部分參數(shù)來源于維數(shù)較高的全鏈接層，通過將兩個CNN網(wǎng)絡的尾部結(jié)合并降維的方法可以減少網(wǎng)絡的參數(shù)，且保留了良好的識別效果。因此我們的人臉驗證研究將會針對基于CNN的方法。
[0003]基于CNN的方法的主要思想是:首先，對輸入圖像利用的CNN進行卷積提取局部特征，然后在全鏈接層通過矩陣相乘減少維數(shù)，同時通過反向傳導的梯度下降法調(diào)整參數(shù)使得整個網(wǎng)絡結(jié)構(gòu)能輸出與訓練集結(jié)果相差最小的分類結(jié)果。網(wǎng)絡中倒數(shù)第二，第三層的特征可被視為原圖像的全局特征，在人臉驗證模型中，這些特征將會使用各種方法組合計算出兩張人臉圖像屬于同一個人的概率，通過與參考集一一比對以完成最終的識別過程。很多學者在這個基礎上進行了探索和改進。Sun.Y等人提出了一種增加原始CNN模型中的多個局部卷積結(jié)果到全鏈接層的鏈接，并將這些特征聯(lián)立起來增強表達能力，以此提升識別效果。Aruni等人將兩個CNN模型通過互相反向鏈式求導的方法進行相乘結(jié)合，提出了雙線性的CNN模型，減少了特征的冗余，提高了計算速度。Wang等人采用了深度信念模型將人臉分解所得到的多幅圖像的CNN特征相結(jié)合，通過多個RBM層編碼進行人臉驗證。上述方法都取得了較好的效果，但是現(xiàn)存的基于CNN的人臉驗證研究通常忽略了人臉驗證本身任務的特性，直接采用單幅人臉圖像作為訓練樣本提取特征，而兩幅輸入人臉的關系線索對于提高基于CNN的識別準確率是有幫助的。

【發(fā)明內(nèi)容】

[0004]為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于雙線性的聯(lián)合CNN的人臉驗證方法。該方法將獲得的人臉正面圖像作為輸入，進行人臉圖像特征提取和識別，與參考集人臉進行兩兩對比，最后輸出此人是否與參考人臉屬于同一個人的分類結(jié)果。
[0005]為了達到上述目的，本發(fā)明采用的技術(shù)方案是:
[0006]—種基于雙線性聯(lián)合CNN的人臉驗證方法，包括以下步驟:
[0007](I)對輸入的人臉圖像，分別以多尺度矩形框截取人臉圖像的多個部分的圖像，作為CNN的輸入，利用訓練集中的人臉圖像對CNN進行預訓練，獲得初始CNN模型；
[0008](2)將兩個具有相同參數(shù)的初始CNN模型相結(jié)合形成新的雙線性聯(lián)合CNN;其卷積-池化層的初始化參數(shù)由上述步驟(I)給出，兩個CNN模型各自的全鏈接層則替換為一個聯(lián)合的三層全鏈接層，這個三層全鏈接層的輸入是由兩個初始CNN最后一層卷積-池化層輸出矩陣相乘獲得，最后一層的softmax多類分類器結(jié)構(gòu)更換成用于判斷是否為同一人臉的二分類器，然后這三層全鏈接層的參數(shù)均初始化為零均值方差為σ的高斯分布隨機值；
[0009](3)將訓練集中的人臉圖像進行兩兩配對，然后分別輸入新的雙線性聯(lián)合CNN的兩端，根據(jù)分類訓練結(jié)果對整個雙線性CNN網(wǎng)絡的所有參數(shù)進行微調(diào);微調(diào)時每次先固定雙線性CNN模型其中一邊結(jié)構(gòu)的參數(shù)，然后對另一邊CNN模型的參數(shù)進行調(diào)整，經(jīng)過多次迭代微調(diào)以后，獲得用于人臉驗證的雙線性CNN模型；
[0010](4)將采用多尺度多通道多區(qū)域的方式所截取的參考人臉圖像與檢測人臉圖像采用三層深度自編碼網(wǎng)絡進行特征二分類，最終輸出人臉驗證的識別準確率。
[0011]優(yōu)選的，所述步驟(I)中，利用人臉圖像的對稱性，以不同的尺度分別截取人臉圖像的上部、左上部、右上部、中部、左部、右部、下部、左下部、右下部及原圖，即人臉圖片共分為10個不同的人臉輸入截圖；利用訓練集中人臉圖像對CNN進行預訓練，直到CNN網(wǎng)絡的損失函數(shù)收斂，這個訓練好的CNN網(wǎng)絡結(jié)構(gòu)中的卷積-池化層的參數(shù)將作為下一步兩個CNN模型各自卷積池化層參數(shù)的初始值。
[0012]優(yōu)選的，所述步驟(I)中，對輸入的人臉圖像，分別以多尺度矩形框截取人臉圖像的多個部分的圖像，作為CNN的輸入，利用訓練集中的人臉圖像對CNN進行預訓練;其中CNN網(wǎng)絡結(jié)構(gòu)模型使用19層VGG網(wǎng)絡模型，由5個卷積-池化聯(lián)合層加上三層全鏈接層組成，前兩層為普通神經(jīng)網(wǎng)絡方法的連接層，第三層全鏈接層為softmax分類器層，完成分類任務和導數(shù)反向傳播，每個卷積-池化層包括若干個卷積層和一個池化層，所有層的參數(shù)由人臉圖像的softmax分類器分類結(jié)果使用反向梯度傳播算法進行由后一層到前一層的逐層調(diào)整，從而獲得初始CNN模型。
[0013]優(yōu)選的，全鏈接層設定為3層，采用方差為0.01的零均值高斯白噪聲作為全鏈接層參數(shù)的初始值。
[0014]優(yōu)選的，所述步驟(3)中，將訓練集中的人臉圖像進行兩兩配對，根據(jù)訓練集中人臉圖像是否是同一個人作為分類結(jié)果，兩張人臉圖片根據(jù)方向和順序不同，分別分次輸入雙線性聯(lián)合CNN，利用網(wǎng)絡分類結(jié)果和實際分類結(jié)果的差的均方值作為優(yōu)化準則函數(shù)對網(wǎng)絡的參數(shù)使用梯度下降法進行微調(diào)，在梯度反向傳播的時候，在兩個CNN模型的卷積-池化層輸出層，亦即全鏈接層的輸入層，由于矩陣相乘運算對各自矩陣可導，在計算微調(diào)參數(shù)導數(shù)時，每次迭代過程先固定其中一個CNN模型的參數(shù)，對另一個CNN模型進行參數(shù)微調(diào)，然后反過來固定另一個CNN模型的參數(shù)，對第一個CNN模型的參數(shù)進行微調(diào)，經(jīng)過多次迭代自動調(diào)參過程以后，模型總損失函數(shù)收斂，從而獲得用于人臉驗證的雙線性CNN模型。
[0015]優(yōu)選的，所述步驟(4)中，對每一張輸入的待驗證人臉圖片與每一張參考集圖片，使用所截得的10張不同的圖片兩兩配對，分別輸入新的雙線性聯(lián)合CNN，將雙線性聯(lián)合CNN的全鏈接層作為特征向量，然后將所有這些特征向量進行聯(lián)立，利用一個三層的深度自編碼網(wǎng)絡進行數(shù)據(jù)降維和二分類，最后得到人臉驗證的結(jié)果，也就是二分類結(jié)果，若深度自編碼網(wǎng)絡輸出“屬于同一人”的神經(jīng)元值比“不屬同一人”的神經(jīng)元值大;則認為輸入圖片是同一個人，若用作人臉分類任務，可將輸入待分類人臉與參考人臉輸出屬于同一人的神經(jīng)元值中最高的一個所對應的參考人臉作為分類結(jié)果。
[0016]本發(fā)明公開了一種基于雙線性卷積神經(jīng)網(wǎng)絡的人臉驗證方法。包括下述步驟:I)使用預先準備的數(shù)據(jù)集中的大量人臉圖像進行卷積神經(jīng)網(wǎng)絡(下簡稱CNN)的訓練;2)使用訓練集中的人臉圖片，利用CNN的預訓練結(jié)果，進行雙線性CNN的微調(diào);3)輸入待驗證的兩張人臉圖片，將兩張圖片進行多尺度多通道多區(qū)域的切分，分別作為雙線性CNN的兩端，提取雙線性CNN輸出的聯(lián)合特征。4)把得到的向量連接起來，經(jīng)過一個深度自編碼網(wǎng)絡訓練，得到最終的是否同一個人二分類結(jié)果，將二分類神經(jīng)元中“是”的輸出最大者作為人臉識別分類結(jié)果，得到識別準確率。本發(fā)明基于雙線性的CNN的方法，并且通過將原始的雙線性神經(jīng)網(wǎng)絡的兩個重復輸入替換成不同的人臉驗證輸入圖像，提出了一種新的人臉驗證描述子，它能夠有效地獲取人臉的局部特征和全局特征，并且保留了 CNN的位移與旋轉(zhuǎn)不變性，對光照，遮擋和部分姿態(tài)變化具有很好的魯棒性，而且經(jīng)過雙線性神經(jīng)網(wǎng)絡得到的特征向量比一般神經(jīng)網(wǎng)絡特征向量維數(shù)較小，減少了計算量，從而使得后續(xù)的深度信念網(wǎng)絡訓練更加容易，顯著提高了人臉驗證的準確率。
[0017]與現(xiàn)有技術(shù)相比，本發(fā)明技術(shù)方案的有益效果是:
[0018]1、本發(fā)明提出了一種新的適合人臉驗證任務的描述子特征來獲取不同人的人臉圖像中具有身份識別能力的圖像特征。
[0019]2、本發(fā)明利用的中心區(qū)域能夠有效地自適應提取對光照，遮擋問題魯棒的人臉圖像特征，且使用雙線性聯(lián)合CNN模型，降低了特征向量的維數(shù)。
[0020]3、本發(fā)明將雙線性CNN結(jié)合深度自編碼網(wǎng)絡進行人臉識別，提升了識別效果。
【附圖說明】
[0021 ]圖1為本發(fā)明的總體流程圖。
[0022]圖2為本發(fā)明的雙線性聯(lián)合卷積神經(jīng)網(wǎng)絡的結(jié)構(gòu)和訓練流程圖
【具體實施方式】
[0023]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。此外，下面所描述的本發(fā)明各個實施方式中所涉及到的技術(shù)特征只要彼此之間未構(gòu)成沖突就可以相互組合。
[0024]附圖1給出了本發(fā)明的操作過程，如圖所示，一種基于雙線性卷積神經(jīng)網(wǎng)絡的人臉驗證方法，包括以下步驟:
[0025](I)對輸入人臉圖像，分別以多尺度矩形框截取人臉圖像的多個部分的圖像，作為CNN的輸入，利用預先準備訓練集中的大量人臉圖像對CNN進行預訓練，CNN網(wǎng)絡結(jié)構(gòu)模型使用19層VGG網(wǎng)絡模型，由5個卷積-池化聯(lián)合層加上三層全鏈接層組成，前兩層全鏈接層為普通神經(jīng)網(wǎng)絡方法的連接層，第三層全鏈接層為softmax分類器層，完成分類任務和導數(shù)反向傳播，每個卷積-池化層包括若干個卷積層和一個池化層，所有層的參數(shù)由人臉圖像的softmax分類器分類結(jié)果使用反向梯度傳播算法進行由后一層到前一層的逐層調(diào)整，從而獲得初始CNN模型；
[0026](2)將兩個具有相同參數(shù)的初始CNN模型相結(jié)合形成新的雙線性聯(lián)合CNN。其卷積-池化層的初始化參數(shù)由上述步驟(I)給出，兩個CNN模型各自的全鏈接層則替換為一個聯(lián)合的三層全鏈接層，這個三層全鏈接層的輸入是由兩個初始CNN最后一層卷積-池化層輸出矩陣相乘獲得，最后一層的softmax多類分類器結(jié)構(gòu)更換成用于判斷是否為同一人臉的二分類器，然后這三層全鏈接層的參數(shù)均初始化為零均值小方差高斯分布隨機值；
[0027](3)將訓練集中的人臉圖像進行兩兩配對，然后分別輸入新的雙線性聯(lián)合CNN的兩端，根據(jù)分類訓練結(jié)果對整個雙線性CNN網(wǎng)絡的所有參數(shù)進行微調(diào)。微調(diào)時每次先固定雙線性CNN模型其中一邊結(jié)構(gòu)的參數(shù)，然后對另一邊CNN模型的參數(shù)進行調(diào)整，經(jīng)過30次迭代微調(diào)以后，獲得用于人臉驗證的雙線性CNN模型；
[0028](4)將多尺度多通道多區(qū)域的方式所截取的參考與檢測人臉圖像采用三層深度自編碼網(wǎng)絡進行特征二分類，最終輸出人臉驗證的識別準確率。進一步地，步驟(I)中的具體過程如下:利用人臉圖像的對稱性，以不同的尺度分別截取人臉圖像的上部，左上部，中部，左部，下部，左下部，還有原圖，各人臉圖片共分為10個不同的人臉輸入截圖，以提高CNN模型的魯棒性。利用常用的CASIA等人臉大數(shù)據(jù)集獲得大量人臉圖片進行CNN的訓練，訓練好的網(wǎng)絡作為下一步的預訓練基礎。
[0029]步驟(2)中的具體過程如下:構(gòu)造一個雙線性的聯(lián)合CNN，此網(wǎng)絡初始化時，它的兩路卷積層分別采用所述步驟(I)訓練的CNN卷積層權(quán)重初始化，其全鏈接層設定為3層，采用方差的零均值高斯分布進行隨機初始化。
[0030]步驟(3)中，將訓練集中的人臉圖像進行兩兩配對，根據(jù)訓練集中人臉圖像是否是同一個人作為分類結(jié)果，兩張人臉圖片根據(jù)方向和順序不同，分別分次輸入雙線性聯(lián)合CNN，利用網(wǎng)絡分類結(jié)果和實際分類結(jié)果的差的均方值作為優(yōu)化準則函數(shù)對網(wǎng)絡的參數(shù)使用梯度下降法進行微調(diào)，在梯度反向傳播的時候，在兩個CNN模型的卷積-池化層輸出層，亦即全鏈接層的輸入層，由于矩陣相乘運算對各自矩陣可導，在計算微調(diào)參數(shù)導數(shù)時，每次迭代過程先固定其中一個CNN模型的參數(shù)，對另一個CNN模型進行參數(shù)微調(diào)，然后反過來固定另一個CNN模型的參數(shù)，對第一個CNN模型的參數(shù)進行微調(diào)，整個網(wǎng)絡模型具體結(jié)構(gòu)見圖2。經(jīng)過約30次迭代自動調(diào)參過程以后，模型總損失函數(shù)收斂，從而獲得用于人臉驗證的雙線性CNN模型。
[0031]所述步驟(4)中，對每一張輸入的待驗證人臉圖片與每一張參考集圖片，使用所截得的10張不同的圖片兩兩配對，分別輸入新的雙線性聯(lián)合CNN，將雙線性聯(lián)合CNN的全鏈接層作為特征向量，然后將所有這些特征向量進行聯(lián)立，利用一個三層的深度自編碼網(wǎng)絡進行數(shù)據(jù)降維和二分類，最后得到人臉驗證的結(jié)果，也就是二分類結(jié)果，若深度自編碼網(wǎng)絡輸出“屬于同一人”的神經(jīng)元值比“不屬同一人”的神經(jīng)元值大。則認為輸入圖片是同一個人，若用作人臉分類任務，可將輸入待分類人臉與參考人臉輸出屬于同一人的神經(jīng)元值中最高的一個所對應的參考人臉作為分類結(jié)果。步驟(3)中的具體過程如下:將訓練集中的人臉圖像進行兩兩配對，根據(jù)訓練集中人臉圖像是否是同一個人作為分類結(jié)果，兩張人臉圖片根據(jù)方向和順序不同，分別分次輸入雙線性聯(lián)合CNN，利用網(wǎng)絡分類結(jié)果和實際分類結(jié)果的差的均方值作為優(yōu)化準則函數(shù)對網(wǎng)絡的參數(shù)使用梯度下降法進行微調(diào)，獲得用于人臉驗證的雙線性CNN模型。
[0032]步驟(4)中的具體過程如下:對每一張輸入的待驗證人臉圖片與每一張參考集圖片，使用所述步驟(I)所截得的10張不同的圖片兩兩配對，分別輸入雙線性聯(lián)合CNN以后，將雙線性聯(lián)合CNN的全鏈接層作為特征向量，然后將所有這些特征向量進行聯(lián)立，利用一個三層的深度自編碼網(wǎng)絡進行數(shù)據(jù)降維和二分類，最后得到人臉驗證的結(jié)果，也就是二分類結(jié)果，若深度自編碼網(wǎng)絡輸出“屬于同一人”的神經(jīng)元值比“不屬同一人”的神經(jīng)元值大。則認為輸入圖片是同一個人，若用作人臉分類任務，可將輸入待分類人臉與參考人臉輸出屬于同一人的神經(jīng)元值中最高的一個所對應的參考人臉作為分類結(jié)果。
[0033]顯然，本發(fā)明的上述實施例僅僅是為清楚地說明本發(fā)明所作的舉例，而并非是對本發(fā)明的實施方式的限定。對于所屬領域的普通技術(shù)人員來說，在上述說明的基礎上還可以做出其它不同形式的變化或變動。這里無需也無法對所有的實施方式予以窮舉。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應包含在本發(fā)明權(quán)利要求的保護范圍之內(nèi)。
【主權(quán)項】
1.一種基于雙線性聯(lián)合CNN的人臉驗證方法，其特征在于，包括以下步驟: (1)對輸入的人臉圖像，分別以多尺度矩形框截取人臉圖像的多個部分的圖像，作為CNN的輸入，利用訓練集中的人臉圖像對CNN進行預訓練，獲得初始CNN模型； (2)將兩個具有相同參數(shù)的初始CNN模型相結(jié)合形成新的雙線性聯(lián)合CNN;其卷積-池化層的初始化參數(shù)由上述步驟(I)給出，兩個CNN模型各自的全鏈接層則替換為一個聯(lián)合的三層全鏈接層，這個三層全鏈接層的輸入是由兩個初始CNN最后一層卷積-池化層輸出矩陣相乘獲得，最后一層的softmax多類分類器結(jié)構(gòu)更換成用于判斷是否為同一人臉的二分類器，然后這三層全鏈接層的參數(shù)均初始化為零均值方差為σ的高斯分布隨機值； (3)將訓練集中的人臉圖像進行兩兩配對，然后分別輸入新的雙線性聯(lián)合CNN的兩端，根據(jù)分類訓練結(jié)果對整個雙線性CNN網(wǎng)絡的所有參數(shù)進行微調(diào)(Fine Tuning);微調(diào)時每次先固定雙線性CNN模型其中一邊結(jié)構(gòu)的參數(shù)，然后對另一邊CNN模型的參數(shù)使用梯度下降法進行調(diào)整，經(jīng)過多次迭代微調(diào)以后，獲得用于人臉驗證的雙線性CNN模型； (4)將采用多尺度多通道多區(qū)域的方式所截取的參考人臉圖像與檢測人臉圖像采用三層深度自編碼網(wǎng)絡進行特征二分類，最終輸出人臉驗證的識別準確率。2.根據(jù)權(quán)利要求1所述的基于雙線性聯(lián)合CNN的人臉驗證方法，其特征在于，所述步驟(I)中，利用人臉圖像的對稱性，以不同的尺度分別截取人臉圖像的上部、左上部、右上部、中部、左部、右部、下部、左下部、右下部及原圖，每一張人臉圖片共分為10個不同的人臉輸入截圖；利用訓練集中人臉圖像對CNN進行預訓練，直到CNN網(wǎng)絡的損失函數(shù)收斂，這個訓練好的CNN網(wǎng)絡結(jié)構(gòu)中的卷積-池化層的參數(shù)將作為下一步兩個CNN模型各自卷積池化層參數(shù)的初始值。3.根據(jù)權(quán)利要求1所述的基于雙線性聯(lián)合CNN的人臉驗證方法，其特征在于，所述步驟(I)中，對輸入的人臉圖像，分別以多尺度矩形框截取人臉圖像的多個部分的圖像，作為CNN的輸入，利用訓練集中的人臉圖像對CNN進行預訓練;其中CNN網(wǎng)絡結(jié)構(gòu)模型使用19層VGG網(wǎng)絡模型，由5個卷積-池化聯(lián)合層加上三層全鏈接層組成，前兩層為普通神經(jīng)網(wǎng)絡方法的連接層，第三層全鏈接層為softmax分類器層，完成分類任務和導數(shù)反向傳播，每個卷積-池化層包括若干個卷積層和一個池化層，所有層的參數(shù)由人臉圖像的softmax分類器分類結(jié)果使用反向梯度傳播算法進行由后一層到前一層的逐層調(diào)整，從而獲得初始CNN模型。4.根據(jù)權(quán)利要求1所述的基于雙線性聯(lián)合CNN的人臉驗證方法，其特征在于，全鏈接層設定為3層，采用方差為0.01的零均值高斯白噪聲作為全鏈接層參數(shù)的初始值。5.根據(jù)權(quán)利要求1所述的基于雙線性聯(lián)合CNN的人臉驗證方法，其特征在于，所述步驟(3)中，將訓練集中的人臉圖像進行兩兩配對，根據(jù)訓練集中人臉圖像是否是同一個人作為分類結(jié)果，兩張人臉圖片根據(jù)方向和順序不同，分別分次輸入雙線性聯(lián)合CNN，利用網(wǎng)絡分類結(jié)果和實際分類結(jié)果的差的均方值作為優(yōu)化準則函數(shù)對網(wǎng)絡的參數(shù)使用梯度下降法進行微調(diào)，在梯度反向傳播的時候，在兩個CNN模型的卷積-池化層輸出層，亦即全鏈接層的輸入層，由于矩陣相乘運算對各自矩陣可導，在計算微調(diào)參數(shù)導數(shù)時，每次迭代過程先固定其中一個CNN模型的參數(shù)，對另一個CNN模型進行參數(shù)微調(diào)，然后反過來固定另一個CNN模型的參數(shù)，對第一個CNN模型的參數(shù)進行微調(diào)，經(jīng)過多次迭代自動調(diào)參過程以后，模型總損失函數(shù)收斂，從而獲得用于人臉驗證的雙線性CNN模型。6.根據(jù)權(quán)利要求2所述的基于雙線性聯(lián)合CNN的人臉驗證方法，其特征在于，所述步驟(4)中，對每一張輸入的待驗證人臉圖片與每一張參考集圖片，使用所截得的10張不同的圖片兩兩配對，分別輸入新的雙線性聯(lián)合CNN，將雙線性聯(lián)合CNN的全鏈接層作為特征向量，然后將所有這些特征向量進行聯(lián)立，利用一個三層的深度自編碼網(wǎng)絡進行數(shù)據(jù)降維和二分類，最后得到人臉驗證的結(jié)果，也就是二分類結(jié)果，若深度自編碼網(wǎng)絡輸出“屬于同一人”的神經(jīng)元值比“不屬同一人”的神經(jīng)元值大；則認為輸入圖片是同一個人，若用作人臉分類任務，可將輸入待分類人臉與參考人臉輸出屬于同一人的神經(jīng)元值中最高的一個所對應的參考人臉作為分類結(jié)果;這一自編碼網(wǎng)絡首先采用高斯限制玻爾茲曼機(Gaussian RBM)模型進行參數(shù)初始化，網(wǎng)絡參數(shù)首先由方差極小的高斯分布白噪聲隨機初始化，訓練出RBM模型層;再用這些參數(shù)作為初始值訓練自編碼網(wǎng)絡。
【文檔編號】G06K9/00GK106096535SQ201610399704
【公開日】2016年11月9日
【申請日】2016年6月7日
【發(fā)明人】胡海峰, 李昊曦, 顧建權(quán), 胡偉鵬
【申請人】廣東順德中山大學卡內(nèi)基梅隆大學國際聯(lián)合研究院