本發(fā)明涉及生物特征識別技術領域，特別是涉及一種基于圖像唇語識別的活體檢測方法及裝置。

背景技術：

隨著生物特征識別技術的發(fā)展，人臉識別方法已經(jīng)成為一種確認用戶身份的常用方法。現(xiàn)有技術中，一些人臉識別方法中增加了人臉活體鑒別的方法，可以較好的進行人臉檢測與識。

然而，現(xiàn)有人臉識別過程，特別是基于面部識別的過程中，非法登錄者可以通過偽造人臉來“欺騙”攝像頭或者其他圖像采集設備，使得圖像采集設備獲取的照片并非是活體人臉照片。例如使用注冊者的人臉照片或者人臉視頻片段置于圖像采集設備之前，圖像采集設備所獲取的當前用戶的面部照片實則是來自于照片或者視頻片段，或者，非法登錄者還可以偽造三維人臉模型，將該三維人臉模型置于圖像采集設備之前，此時圖像采集設備所獲取的人臉照片為三維人臉模型的照片，但是在進行基于五官的特征和分布的比對時，是無法察覺這一點的，這就造成了身份識別系統(tǒng)的防偽能力弱，安全性低的問題。

技術實現(xiàn)要素：

鑒于以上所述現(xiàn)有技術的缺點，本發(fā)明的目的在于提供一種活體檢測方法及裝置，用于解決現(xiàn)有技術中無法確定檢測對象的人臉是否為活體，導致身份識別系統(tǒng)的防偽能力弱，安全性低的問題。

為實現(xiàn)上述目的及其他相關目的，本發(fā)明提供一種活體檢測方法，用于檢測鑒別對象的人臉圖像以識別其是否為活人，所述活體檢測方法包括：

采集鑒別對象讀取隨機驗證碼的視頻圖像；

獲取每幀所述視頻圖像中嘴唇區(qū)域的嘴唇圖像序列的特征向量；

根據(jù)連續(xù)多幀所述特征向量調(diào)用預先訓練的唇語識別模型識別鑒別對象的嘴唇信息；

檢測所述嘴唇信息與隨機驗證碼中字符是否一致；當所述嘴唇信息與隨機驗證碼中字符一致時，鑒別對象為活體。

本發(fā)明的另一目的在于提供活體檢測裝置，用于檢測鑒別對象的人臉圖像以識別其是否為活人，包括：

采集模塊，用于采集鑒別對象讀取隨機驗證碼的視頻圖像；

特征提取模塊，用于獲取每幀所述視頻圖像中嘴唇區(qū)域的嘴唇圖像序列的特征向量；

唇語識別模塊，用于根據(jù)連續(xù)多幀所述特征向量調(diào)用預先訓練的唇語識別模型識別鑒別對象的嘴唇信息；

檢測模塊，用于檢測所述嘴唇信息與隨機驗證碼中字符是否一致；當所述嘴唇信息與隨機驗證碼中字符一致時，鑒別對象為活體。

如上所述，本發(fā)明的活體檢測方法及裝置，具有以下有益效果：

通過采集鑒別對象讀取隨機驗證碼的視頻圖像，依次對該視頻圖像進行預處理、分割、對齊，從而提取到鑒別對象的嘴唇圖像序列的特征向量；根據(jù)預設訓練的唇語識別模型識別嘴唇圖像序列的特征向量的對應的唇語信息，檢測所述唇語信息與隨機驗證碼中字符是否一致，根據(jù)字符是否完全一致確定鑒別對象是否為活體。相對于傳統(tǒng)鑒別方法在使用時，攝像設備采集人臉的同時也采集了嘴唇特征，無需額外新增任何硬件設備，減少了驗證系統(tǒng)的成本，更加方便使用；鑒別對象讀取隨機驗證碼就可直接判斷是否為活體，不僅提高了識別系統(tǒng)的安全性與防偽能力，還提高了活體驗證的效率。

附圖說明

圖1顯示為本發(fā)明提供的一種活體檢測方法流程圖；

圖2顯示為本發(fā)明提供的一種活體檢測方法中步驟S2的流程圖；

圖3顯示為本發(fā)明提供的基于唇部圖像分割對齊結構示意框圖；

圖4顯示為本發(fā)明提供的時刻特征提取方式結構框圖；

圖5顯示為本發(fā)明提供的ISA網(wǎng)絡結構框圖；

圖6顯示為本發(fā)明提供的基于堆疊卷積ISA網(wǎng)絡結構框圖；

圖7顯示為本發(fā)明提供的基于堆疊卷積ISA網(wǎng)絡計算視頻特征的流程圖；

圖8顯示為本發(fā)明提供的基于時間序列切分與隱馬爾科夫模型產(chǎn)生觀測分布的流程圖；

圖9顯示為本發(fā)明提供的隱馬爾科夫模型狀態(tài)轉(zhuǎn)移圖；

圖10顯示為本發(fā)明提供的一種活體檢測方法中步驟S3的流程圖；

圖11顯示為本發(fā)明提供的一種活體檢測方法中步驟S4的流程圖；

圖12顯示為本發(fā)明提供的一種活體檢測裝置結構框圖；

圖13顯示為本發(fā)明提供的一種活體檢測裝置中特征提取模塊的結構框圖；

圖14顯示為本發(fā)明提供的一種活體檢測裝置中唇語識別模塊的結構框圖；

圖15顯示為本發(fā)明提供的一種活體檢測裝置中檢測模塊的結構框圖。

具體實施方式

以下通過特定的具體實例說明本發(fā)明的實施方式，本領域技術人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點與功效。本發(fā)明還可以通過另外不同的具體實施方式加以實施或應用，本說明書中的各項細節(jié)也可以基于不同觀點與應用，在沒有背離本發(fā)明的精神下進行各種修飾或改變。需說明的是，在不沖突的情況下，以下實施例及實施例中的特征可以相互組合。

需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構想，遂圖式中僅顯示與本發(fā)明中有關的組件而非按照實際實施時的組件數(shù)目、形狀及尺寸繪制，其實際實施時各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復雜。

請參閱圖1，本發(fā)明提供一種活體檢測方法流程圖，用于檢測鑒別對象的人臉圖像以識別其是否為活人，所述活體檢測方法包括：

步驟S1，采集鑒別對象讀取隨機驗證碼的視頻圖像；

具體地，所述隨機驗證碼是根據(jù)預先的訓練集中隨機生成的，通過圖像采集設備采集鑒別對象讀取隨機驗證碼的視頻圖像，其中，需要通過相關的圖像采集設備進行人臉圖像的獲??；即時通過圖像采集設備進行獲取，這樣，可以保證所獲取的圖像是當前處于圖像采集設備的圖像采集區(qū)域的人的圖像。

步驟S2，獲取每幀所述視頻圖像中嘴唇區(qū)域的嘴唇圖像序列的特征向量；

具體地，本申請中嘴唇區(qū)域所對應嘴唇變化包含唇部形狀、唇部紋理與唇部顏色中任意一種，其中，嘴唇圖像序列包含唇部形狀序列、唇部紋理序列與唇部顏色序列中任意一種，而嘴唇變化與嘴唇圖像序列一一對應。

步驟S3，根據(jù)連續(xù)多幀所述特征向量調(diào)用預先訓練的唇語識別模型識別鑒別對象的嘴唇信息；

具體地，在使用唇語識別模型之前，以隱馬爾科夫模型為基礎采用大量字符所對應的唇部圖像序列(狀態(tài)轉(zhuǎn)移矩陣)對所述唇語識別模型進行訓練，然后，以隨機驗證碼將鑒別對象所對應的嘴唇圖像序列的特征向量反向識別，識別出嘴唇讀取隨機驗證碼的嘴唇信息。

步驟S4，檢測所述嘴唇信息與隨機驗證碼中字符是否一致；當所述嘴唇信息與隨機驗證碼中字符一致時，鑒別對象為活體。

具體地，如圖11所示，為本發(fā)明提供的一種活體檢測方法中步驟S4的流程圖，包括：

步驟S401，檢測鑒別對象的唇語信息與隨機驗證碼中字符是否一致；

步驟S402，當所述唇語信息與隨機驗證碼中字符一致時，鑒別對象為活體；

步驟S403，當所述唇語信息與隨機驗證碼中字符不一致時，鑒別對象不為活體。

目前常見的人臉活體鑒別方法是通過輔助光源利用紅外熱成像探測溫度來確定被鑒別對象是否為活體；或者通過接收預設指令，頭部進行偏轉(zhuǎn)，以確認鑒別對象是否為活體。

在本實施例中，在使用時，攝像設備采集人臉的同時也采集了嘴唇特征，無需額外新增任何硬件設備，減少了驗證系統(tǒng)的成本，更加方便使用；鑒別對象讀取隨機驗證碼就可直接判斷是否為活體，不僅提高了識別系統(tǒng)的安全性與防偽能力，還提高了活體驗證的效率。

請參閱圖2，為本發(fā)明提供的一種活體檢測方法中步驟S2的流程圖，詳述如下：

步驟S201，對每幀所述視頻圖像進行預處理得到預設規(guī)格的視頻圖像；

步驟S202，分割預設規(guī)格的視頻圖像得到嘴唇區(qū)域，對所述嘴唇區(qū)域進行仿射變換得到對齊的嘴唇圖像序列；

步驟S203，基于堆疊卷積獨立子空間分析網(wǎng)絡的特征提取算法計算所述嘴唇圖像序列的特征向量。

在本實施例中，基于人臉檢測技術與關鍵點提取技術，定位所述視頻圖像中人臉嘴唇；如圖3所示，所述人臉圖像中嘴唇的關鍵點為13個，嘴角的兩個關鍵點為角點，采用兩個關鍵點計算相對于標準嘴的平移與旋轉(zhuǎn)因子。由于不同人和不同幀的人臉圖像嘴部大小各異，為了排除尺寸大小對識別的影響，所處預處理除了旋轉(zhuǎn)和平移變換之外，還要對所有圖像進行基于標準嘴的尺度變換?，F(xiàn)有技術中，仿射變換只需嘴部的3個關鍵點即可，按照上述角點采用幾何關系即可完成歸一化對齊。然而，該方式將失去的幀間相對變化性，因為基于嘴角關鍵點進行變換會使所有分割對齊后的嘴部具有相同的寬度。嘴唇的對齊難點在于如何保留幀間的相對變化，又將不同幀的嘴歸一化到相同的尺度下。

為克服不同人的嘴唇厚度和寬度差異較大的問題，使用眼間距作為基準來將不同人的嘴唇變換到相同的尺度；具體地，在圖3中基于唇部圖像分割對齊結構示意框圖，眼角的兩個關鍵點并根據(jù)眼間距來計算尺度因子，得到了仿射變換的平移、旋轉(zhuǎn)和尺度因子；對人臉圖像進行上述基于關鍵點的嘴唇分割和仿射變換后便得到對齊的嘴唇圖像序列。

為了得到具有一致性與類間區(qū)分性特征向量，便于后續(xù)識別特征向量；例如，傳統(tǒng)的唇動視覺特征包括：由關鍵點的位置及其差分向量構成的特征，如，HoG、SIFT等圖像統(tǒng)計特征等。傳統(tǒng)特征提取的算法是人工根據(jù)經(jīng)驗和對問題的分析來設計的，由于影響特征表達能力的因素非常多，因而上述特征的魯棒性都存在明顯的局限。因為采集的視頻圖像中同時同時包含人臉與嘴部圖像以及其運動信息，因此，一個特征向量從多幀連續(xù)圖像形成的子圖像序列中提取，如圖4所示，為本發(fā)明中時刻特征提取方式結構框圖，為了確保特征包含盡量多的有用信息，子圖像序列之間有一定幀數(shù)的重疊，即，每個特征向量序列對應的多個子圖像序列F均與其它特征向量序列有幀數(shù)重疊。

如圖5所示，為本發(fā)明提供的ISA網(wǎng)絡結構框圖，構成堆疊卷積ISA網(wǎng)絡的基礎是ISA網(wǎng)絡，它是一個兩層神經(jīng)網(wǎng)絡，第一層和第二層的非線性節(jié)點分別執(zhí)行平方和開方運算，輸入節(jié)點和第一層節(jié)點之間、第二層和第三層節(jié)點之間分別依靠權重矩陣W和V來連接。令輸入向量為x^t，那么第二層的第i個節(jié)點的響應為其中，W、V分別為權重矩陣，x^t為輸入向量，m、n、i、j分別為大于1的整數(shù)。ISA網(wǎng)絡中的參數(shù)W和V通過投影梯度下降法解決優(yōu)化問題，具體如下：為最小值，T為采樣樣本，subject to為約束條件。

subject to WW^T＝I

采用了基于堆疊卷積獨立子空間分析網(wǎng)絡的特征提取算法。堆疊卷積獨立子空間分析(ISA)網(wǎng)絡是一種為提取視頻特征而設計的深度學習算法，它的優(yōu)點包括：1)提取的特征同時包含圖像和運動信息，適用于嘴唇動作的識別；2)非線性單元簡單，運算速度快，適用于從視頻高維大數(shù)據(jù)中提取特征；3)網(wǎng)絡結構簡單清晰，易于實現(xiàn)；4)訓練方式是無監(jiān)督的，無需人工標注大量數(shù)據(jù)，非常方便。

如圖6所示，基于堆疊卷積ISA網(wǎng)絡結構框圖，當輸入視頻像素為高維數(shù)據(jù)時，ISA網(wǎng)絡的訓練過程十分緩慢，采用堆疊卷積ISA網(wǎng)絡可克服該問題。堆疊卷積ISA網(wǎng)絡由ISA和主成分分析(PCA)逐層堆疊構成。堆疊卷積ISA網(wǎng)絡計算視頻特征的方式，如圖7所示，為本發(fā)明提供的基于堆疊卷積ISA網(wǎng)絡計算視頻特征的流程圖，首先，將較小的視頻塊內(nèi)的像素拉成一個向量后輸入到第一層ISA網(wǎng)絡，然后，更大區(qū)域內(nèi)相鄰的視頻塊的ISA輸出被聯(lián)合起來，經(jīng)過PCA降維預處理后，輸入到第二層ISA網(wǎng)絡，并以此類推，最后，每層ISA網(wǎng)絡的輸出被串聯(lián)成一個向量作為該視頻塊的特征向量。由于每一層ISA網(wǎng)絡的輸入數(shù)據(jù)的維數(shù)都不會太高，并且可以逐層訓練，因此可提高堆疊卷積ISA網(wǎng)絡的訓練速度。

為了得到特征向量F_t，由多張連續(xù)唇語圖像構成的視頻塊被劃分為多個如圖7所示的小視頻塊，每個小視頻塊被輸入到堆疊卷積ISA網(wǎng)絡中提取特征向量，最終，將各個小視頻塊的特征向量串聯(lián)成得到的特征向量F_t。

優(yōu)選地，所述預先訓練的唇語識別模型，包括：

訓練集包含若干個字符，所述隨機驗證碼為訓練集中隨機生成；所述訓練集內(nèi)每個字符均基于隱馬爾科夫模型進行訓練得到對應唯一的預測模型序列，所述隱馬爾科夫模型包含N個預測模型，N≥1；計算隱馬爾科夫模型的狀態(tài)轉(zhuǎn)移矩陣與混合高斯模型，得到預設訓練的唇語識別模型；其中，每個字符對應的時間序列片段由隱馬爾科夫模型產(chǎn)生；且所述時間序列片段中每個時刻均對應一個隱狀態(tài)，將所述隱狀態(tài)的變化由狀態(tài)轉(zhuǎn)移矩陣表示，每個隱狀態(tài)還對應一個觀測分布，將所述觀測分布建模為混合高斯模型。

在本實施例中，如圖8所示，為本發(fā)明提供的基于時間序列切分與隱馬爾科夫模型產(chǎn)生觀測分布的流程圖，從一段唇語特征序列中識別出其中包含的多個單字需要對時間序列進行分段，并識別出各段所對應的單字，該過程與語音識別相似，因此可利用語音識別中常用的隱馬爾可夫模型(HMM)來實現(xiàn)唇語識別。具體地，每個單字所對應的時間序列片段由一個HMM產(chǎn)生，片段中的每個時刻t對應一個隱狀態(tài)St，如S1為初始狀態(tài)，St為最終狀態(tài)。如圖9所示，隱馬爾科夫模型狀態(tài)轉(zhuǎn)移圖，在HMM中，每個時刻的隱狀態(tài)St的產(chǎn)生概率只與上一個時刻的隱狀態(tài)St-1有關，相鄰時刻的隱狀態(tài)依靠狀態(tài)轉(zhuǎn)移矩陣A來聯(lián)結，A中第i行第j列的元素aij表示由狀態(tài)i轉(zhuǎn)移到狀態(tài)j的概率，狀態(tài)轉(zhuǎn)移矩陣可由狀態(tài)轉(zhuǎn)移圖來更直觀地表示，如圖9所示。每個狀態(tài)擁有一個屬于自己的觀測分布，并從中產(chǎn)生特征向量，該觀測分布被建模為混合高斯模型(GMM)，它可以表示復雜的多模態(tài)分布。

唇語識別模型學習的目的是估計HMM模型中的狀態(tài)轉(zhuǎn)移矩陣和GMM參數(shù)。唇語在線識別則是在模型參數(shù)已經(jīng)確定的情況下，估計出待識別的特征序列的一條最佳狀態(tài)路徑，并由狀態(tài)路徑組合成單字路徑，這一任務由著名的維特比(Viterbi)解碼算法來完成?；贖MM的唇語識別模型學習和識別可借助語音識別領域的一些成熟的工具箱如Kaldi和HTK來完成。

圖10顯示為本發(fā)明提供的一種活體檢測方法中步驟S3的流程圖，包括：

步驟S301，根據(jù)隱馬爾科夫模型匹配嘴唇圖像序列的特征向量，按照時間序列計算所述嘴唇圖像序列的特征向量的最佳狀態(tài)路徑，根據(jù)所述最佳狀態(tài)路徑識別單個字符；

在本實施例中，運用時間序列的連續(xù)隱馬爾科夫模型，逐幀解析語音，根據(jù)每幀語音的靜態(tài)特征以及相對于前一幀的動態(tài)變化即動態(tài)特征，判斷出當前幀所對應的字符以及在該宇符的標準語音信號中所處的時間狀態(tài)，串聯(lián)每幀的解析結果，即獲得用戶音頻信號的語音信息以識別為對應字符。其中，所采用的時間序列的連續(xù)隱馬爾科夫模型為兩級結構:第一級是字符級別的隱馬爾科夫時間序列模型，每個字符的標準語音由一個包含四個語音狀態(tài)的一階時間序列模型表示，每一個語音狀態(tài)的變化只和前一個語音狀態(tài)相關，如圖9所示，其中0.4為起始狀態(tài)，1為終止狀態(tài)，每個狀態(tài)的高斯混合度為4；第二級是字符串級別的連續(xù)隱馬爾科夫模型，隨機驗證碼的標準語音由任意串聯(lián)字符"隱馬爾科夫"級別的模型所構成，其中含N個預測模型，N≥1。

步驟S302，將所述特征向量所對應識別的單個字符按時間序列組合生成鑒別對象的唇語信息。

根據(jù)特征向量對應識別的單個字符，將單個字符按照時間序列排列，即可得到鑒別對象讀取隨機驗證碼的唇語信息。

請參閱圖12，本發(fā)明的另一目的在于提供活體檢測裝置，用于檢測鑒別對象的人臉圖像以識別其是否為活人，包括：

采集模塊1，用于采集鑒別對象讀取隨機驗證碼的視頻圖像；

特征提取模塊2，用于獲取每幀所述視頻圖像中嘴唇區(qū)域的嘴唇圖像序列的特征向量；

唇語識別模塊3，用于根據(jù)連續(xù)多幀所述特征向量調(diào)用預先訓練的唇語識別模型識別鑒別對象的嘴唇信息；

檢測模塊4，用于檢測所述嘴唇信息與隨機驗證碼中字符是否一致；當所述嘴唇信息與隨機驗證碼中字符一致時，鑒別對象為活體。

請參閱圖13，為本發(fā)明提供的一種活體檢測裝置中特征提取模塊的結構框圖，包括：

預處理單元21，用于對每幀所述視頻圖像進行預處理得到預設規(guī)格的視頻圖像；

分割對齊單元22，用于分割已預設處理的視頻圖像得到嘴唇區(qū)域，對所述嘴唇區(qū)域進行仿射變換得到對齊的嘴唇圖像序列；

特征提取單元23，用于基于堆疊卷積獨立子空間分析網(wǎng)絡的特征提取算法計算所述嘴唇圖像序列的特征向量。

優(yōu)選地，預先訓練所述唇語識別模型具體為：

訓練集包含若干個字符，所述隨機驗證碼為訓練集中隨機生成；所述訓練集內(nèi)每個字符均基于隱馬爾科夫模型進行訓練得到對應唯一的預測模型序列，所述隱馬爾科夫模型包含N個預測模型，N≥1；計算隱馬爾科夫模型的狀態(tài)轉(zhuǎn)移矩陣與混合高斯模型，得到預設訓練的唇語識別模型；其中，每個字符對應的時間序列片段由隱馬爾科夫模型產(chǎn)生；且所述時間序列片段中每個時刻均對應一個隱狀態(tài)，將所述隱狀態(tài)的變化由狀態(tài)轉(zhuǎn)移矩陣表示，每個隱狀態(tài)還對應一個觀測分布，將所述觀測分布建模為混合高斯模型。

請參閱圖14，為本發(fā)明提供的一種活體檢測裝置中唇語識別模塊的結構框圖，包括：

識別單元31，用于根據(jù)隱馬爾科夫模型匹配嘴唇圖像序列的特征向量，計算所述嘴唇圖像序列的特征向量的最佳狀態(tài)路徑，按照圖像采集的時間序列將狀態(tài)路徑組合確定單字路徑以識別單個字符；

組合單元32，用于將所述特征向量所對應識別的單個字符按時間序列組合生成鑒別對象的唇語信息。

請參閱圖15，為本發(fā)明提供的一種活體檢測裝置中檢測模塊的結構框圖，包括：

檢測單元42，用于檢測鑒別對象的唇語信息與隨機驗證碼中字符是否一致；

第一確認單元42，用于當所述唇語信息與隨機驗證碼中字符一致時，鑒別對象為活體；

第二確認單元43，用于當所述唇語信息與隨機驗證碼中字符不一致時，鑒別對象不為活體。

綜上所述，本發(fā)明通過采集鑒別對象讀取隨機驗證碼的視頻圖像，依次對該視頻圖像進行預處理、分割、對齊，從而提取到鑒別對象的嘴唇圖像序列的特征向量；根據(jù)預設訓練的唇語識別模型識別嘴唇圖像序列的特征向量的對應的唇語信息，檢測所述唇語信息與隨機驗證碼中字符是否一致，根據(jù)字符是否完全一致確定鑒別對象是否為活體。相對于傳統(tǒng)鑒別方法在使用時，攝像設備采集人臉的同時也采集了嘴唇特征，無需額外新增任何硬件設備，減少了驗證系統(tǒng)的成本，更加方便使用；鑒別對象讀取隨機驗證碼就可直接判斷是否為活體，不僅提高了識別系統(tǒng)的安全性與防偽能力，還提高了活體驗證的效率。所以，本發(fā)明有效克服了現(xiàn)有技術中的種種缺點而具高度產(chǎn)業(yè)利用價值。

上述實施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟悉此技術的人士皆可在不違背本發(fā)明的精神及范疇下，對上述實施例進行修飾或改變。因此，舉凡所屬技術領域中具有通常知識者在未脫離本發(fā)明所揭示的精神與技術思想下所完成的一切等效修飾或改變，仍應由本發(fā)明的權利要求所涵蓋。