一種多模態(tài)生物特征身份認證方法及系統(tǒng)的制作方法
【專利摘要】本發(fā)明涉及一種多模態(tài)生物特征身份認證方法及系統(tǒng)，包括圖像獲取模塊、語音獲取模塊、主處理模塊和存儲模塊，主處理模塊進一步包括：與所述圖像獲取模塊和語音獲取模塊電連接的控制單元，與所述控制單元電連接的人臉識別單元、語音識別單元和唇形與語音同步檢測單元；存儲模塊分別與所述人臉識別單元和語音識別單元連接；所述控制單元根據所述身份認證裝置的當前識別流程將從圖像獲取模塊和語音獲取模塊接收到的生物特征圖像或語音信息發(fā)送給人臉識別單元、語音識別單元或唇形與語音同步檢測單元進行識別，獲得識別結果；本發(fā)明的優(yōu)點在于通過綜合人臉、唇形、語音三種生物特征，并將發(fā)音特征與唇形特征同步檢測進行識別降低了系統(tǒng)識別錯誤率。
【專利說明】一種多模態(tài)生物特征身份認證方法及系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及一種身份認證方法，尤其是涉及一種基于發(fā)音唇形動態(tài)特征的多模態(tài)生物特征身份認證方法及系統(tǒng)。
【背景技術】
[0002]隨著生物特征識別技術的廣泛應用，在某些對身份認證要求較高的應用領域，如安防、金融機構等，提出了多生物特征身份認證的需求。
[0003]現(xiàn)有多生物特征識別技術常用的有人臉特征與指紋相結合、虹膜與人臉特征相結合、指紋與簽名相結合等方法。現(xiàn)有的多模態(tài)生物特征識別技術往往要求完全不同的生物特征采集設備，例如人臉識別與指紋識別雙認證系統(tǒng)，其人臉識別采用攝像機或者攝像頭作為圖像輸入設備，指紋識別采用指紋采集儀作為指紋采集設備；再如，虹膜與人臉識別雙認證系統(tǒng)的采集設備也是完全不同的。提供一種只需要生物特征采集設備的低成本的多模態(tài)生物特征認證方法成為一個待解決的問題。并且，這些方法存在著系統(tǒng)識別錯誤率高的問題，與上述一些多生物特征識別技術相比，人臉唇形特征與語音特征結合起來有著無可比擬的優(yōu)勢。
[0004]中國專利200920307190.6公開了一種具有人臉識別功能的指紋識別裝置，所述裝置包括指紋采集系統(tǒng)、人臉圖像采集系統(tǒng)、以及與上述各系統(tǒng)相連的人臉指紋識別運算系統(tǒng)，而所述人臉圖像采集系統(tǒng)包括有一輔助光源和電子圖像采集裝置，所述人臉圖像采集系統(tǒng)設置有一根據環(huán)境光強度控制調節(jié)所述輔助光源強度的動態(tài)調節(jié)補光電路。這種多模態(tài)識別系統(tǒng)可以提高人臉圖像質量、并提高圖像的采集速度，但此識別裝置要求兩種生物特征采集設備，識別效率不高。
[0005]中國專利200510094438.1公開了一種基于虹膜和人臉的多模態(tài)生物特征身份識別系統(tǒng)，所述方法包括:1)生物特征采集單元利用兩個獨立的采集通道同時采集虹膜和人臉圖像，其采集支撐平臺可使不同身高的使用者自然、舒適地輸入人臉和虹膜圖像；2)生物特征識別單元利用圖像處理和小波變換技術得到特征模板，分別計算虹膜特征模板的匹配百分數(shù)和人臉特征模板的嚙合度，利用統(tǒng)計數(shù)據融合的方法計算最終的識別結果；3)生物特征數(shù)據庫單元只存儲最后生成的特征模板，并將虹膜特征模板疊加于人臉模板，以保護生物特征數(shù)據的隱私權，增強識別系統(tǒng)自身的安全性。
[0006]中國專利201110334658.2公開了一種基于唇讀技術的唇語輸入方法,所述方法主要解決針對常用漢字及阿拉伯數(shù)字等模式分析、理解和分類計算的問題，方法內容包括:對所拍攝的嘴部唇動視頻進行關鍵幀提取，利用灰度處理、中值濾波、動態(tài)閾值二值化處理及掃描去除噪點對提取的圖像進行規(guī)格化處理，之后進行特征向量提取獲取具有唇形特征的參數(shù)，與口型模板庫進行匹配將圖片識別為漢語拼音字母序列，最終結合輸入法模塊獲得對應的漢字或阿拉伯數(shù)字。該發(fā)明與本發(fā)明所用唇讀技術的不同之處在于，其將提取的唇形特征參數(shù)與口型模板庫進行匹配將圖片識別為漢語拼音字母序列，而本發(fā)明的方法是用來將所提取的唇形特征信息與語音特征信息通過唇讀技術進行同步性檢測，用以檢測唇形與語音是否同步，從而得到一個量化結果，作為生物特征身份認證的一部分。
[0007]中國專利200910263558.8公開了一種語音驅動唇形動畫的方法，所述方法包括以下步驟:將漢語中的音節(jié)結構采用Consonant—Vowel分類；采集若干個人的原始音頻數(shù)據和視頻數(shù)據；獲取對應唇形信息；獲取語音特征數(shù)據；對所獲取的唇形信息和語音特征數(shù)據進行訓練和建模，依據訓練的模型實時輸入語音合成的唇形運動序列。
[0008]中國專利200910003083.9公開了一種語音驅動嘴唇形狀變化的方法、獲取嘴唇動畫的方法及裝置，所述方法包括:獲取音頻信號，根據所述音頻信號的特征得到嘴唇形狀的運動幅度比例；獲取初始的嘴唇形狀模型，根據所述初始的嘴唇形狀模型和所述嘴唇形狀的運動幅度比例生成嘴唇形狀的運動幅度值；根據所述嘴唇形狀的運動幅度值和預先建立的嘴唇發(fā)音模型庫，生成變化的嘴唇形狀網格模型集合。該方法操作復雜，可行性不聞。
[0009]以上方法存在著系統(tǒng)識別錯誤率高的問題，與上述一些多生物特征識別技術相比，本發(fā)明采用人臉識別、語音識別、唇形與語音同步識別相結合的多模態(tài)生物特征身份認證方法及系統(tǒng)，具有更高的識別精度。
【發(fā)明內容】
[0010]本發(fā)明所要解決的問題在于針對上述現(xiàn)有技術的不足，提供一種基于發(fā)音唇形動態(tài)特征的多模態(tài)生物特征身份認證方法及系統(tǒng)，運用這種系統(tǒng)，系統(tǒng)錯誤率明顯降低，通過多重檢測可以大大提高識別的可靠程度，防止高仿真照片、人皮面具等作弊行為的干擾。
[0011]為解決上述技術問題，本發(fā)明采用的技術方案是:一種多模態(tài)生物特征身份認證系統(tǒng)，包括圖像獲取模塊、語音獲取模塊、主處理模塊和存儲模塊，其特征在于:所述主處理模塊進一步包括:與所述圖像獲取模塊和語音獲取模塊電連接的控制單元，與所述控制單元電連接的人臉識別單元、語音識別單元和唇形與語音同步檢測單元；存儲模塊分別與所述人臉識別單元和語音識別單元連接；所述控制單元根據所述身份認證裝置的當前識別流程將從圖像獲取模塊和語音獲取模塊接收到的生物特征圖像或語音信息發(fā)送給人臉識別單元、語音識別單元或唇形與語音同步檢測單元進行識別，獲得識別結果；當控制單元根據預設的身份認證流程判斷所述身份認證裝置的當前識別流程為人臉識別時，將接收到的生物特征圖像發(fā)送給所述人臉識別單元進行識別；當控制單元根據預設的身份認證流程判斷所述身份認證裝置的當前識別流程為語音識別時，將接收到的生物特征圖像發(fā)送給所述語音識別單元進行識別；當控制單元根據預設的身份認證流程判斷所述身份認證裝置的當前識別流程為唇形與語音同步識別時，將接收到的生物特征圖像和語音信息發(fā)送給所述唇形與語音同步檢測單元進行識別。
[0012]一種上所述的多模態(tài)生物特征身份認證系統(tǒng)的認證方法，其認證方法如下:
1)信息獲取:通過圖像獲取模塊獲取用戶的臉部圖像信息，通過語音獲取模塊獲取用戶的語音信息；
2)人臉檢測及識別:采用預置的人臉識別指令對得到的圖像進行識別；所述采用預置的人臉識別指令對所述待認證的人臉圖像進行識別步驟具體包括預處理、人臉檢測、人臉關鍵點定位、歸一化、人臉特征提取等操作進行人臉識別，同時獲得人臉唇形信息，并在數(shù)據庫中尋找最相似人臉，獲取相似度； 3)語音檢測及識別:采用預置的語音識別指令對得到的語音進行識別；所述采用預置的語音識別指令對所述待認證的語音信息進行識別步驟具體包括對采集到的語音信息進行聲音信號的分割，采用線性預測倒譜技術(LPCC)或者Mel頻率倒譜系數(shù)(MFCC)等方法對語音特征參數(shù)進行提取，使用模板匹配方法、最近鄰方法、神經網絡方法、混合馬爾可夫模型方法或混合高斯模型(GMM)方法中的一種對說話人的語音進行識別，并在數(shù)據庫中尋找最佳擬合，獲取相似度；
4)唇形與語音同步檢測:采用預置的唇形與語音同步檢測指令對在步驟2)中得到的唇形特征信息和在步驟3)中得到的語音特征信息進行同步性檢測；所述采用預置的唇形與語音同步性檢測指令對所述待認證唇形與語音同步性進行檢測步驟具體包括將得到的唇形特征信息與語音特征信息進行口型語音同步檢測，例如本技術方案中采用基于口型分類法，檢測發(fā)音與唇形是否同步，并獲取同步性指標；
5)識別結果判定:將人臉識別結果及其相似度、語音識別結果及其相似度、發(fā)音與唇形同步性指標作為參量，在訓練集上建立合適的分類模型，例如本技術方案中所使用的支持向量機(SVM)分類模型，在特征空間中構建最優(yōu)分割超平面，獲取最佳權重；在識別過程中，將2)、3)和4)步結果代入，若計算結果大于預設的閾值時，則認證成功；若該計算結果小于或等于預設的閾值時，則認證不成功。
[0013]本發(fā)明的優(yōu)點在于通過綜合人臉、唇形、語音三種生物特征，并將發(fā)音特征與唇形特征同步檢測進行識別降低了系統(tǒng)識別錯誤率，通過多重檢測可以大大提高識別的可靠程度，防止高仿真照片、人皮面具等作弊行為的干擾。
【專利附圖】
【附圖說明】
[0014]圖1為本發(fā)明身份認證系統(tǒng)及方法結構示意圖。
【具體實施方式】
[0015]如圖1所示，一種多模態(tài)生物特征身份認證系統(tǒng)，包括圖像獲取模塊、語音獲取模塊、主處理模塊和存儲模塊，所述主處理模塊進一步包括:與所述圖像獲取模塊和語音獲取模塊電連接的控制單元，與所述控制單元電連接的人臉識別單元、語音識別單元和唇形與語音同步檢測單元；存儲模塊分別與所述人臉識別單元和語音識別單元連接；所述控制單元根據所述身份認證裝置的當前識別流程將從圖像獲取模塊和語音獲取模塊接收到的生物特征圖像或語音信息發(fā)送給人臉識別單元、語音識別單元或唇形與語音同步檢測單元進行識別，獲得識別結果；當控制單元根據預設的身份認證流程判斷所述身份認證裝置的當前識別流程為人臉識別時，將接收到的生物特征圖像發(fā)送給所述人臉識別單元進行識別；當控制單元根據預設的身份認證流程判斷所述身份認證裝置的當前識別流程為語音識別時，將接收到的生物特征圖像發(fā)送給所述語音識別單元進行識別；當控制單元根據預設的身份認證流程判斷所述身份認證裝置的當前識別流程為唇形與語音同步識別時，將接收到的生物特征圖像和語音信息發(fā)送給所述唇形與語音同步檢測單元進行識別。
[0016]一種如上所述的多模態(tài)生物特征身份認證系統(tǒng)的認證方法，其特征在于，其認證方法如下:
I)信息獲取:通過圖像獲取模塊獲取用戶的臉部圖像信息，通過語音獲取模塊獲取用戶的語音信息；
2)人臉檢測及識別:采用預置的人臉識別指令對得到的圖像進行識別；所述采用預置的人臉識別指令對所述待認證的人臉圖像進行識別步驟具體包括預處理、人臉檢測、人臉關鍵點定位、歸一化、人臉特征提取等操作進行人臉識別，同時獲得人臉唇形信息，并在數(shù)據庫中尋找最相似人臉，獲取相似度；
3)語音檢測及識別:采用預置的語音識別指令對得到的語音進行識別；所述采用預置的語音識別指令對所述待認證的語音信息進行識別步驟具體包括對采集到的語音信息進行聲音信號的分割，采用線性預測倒譜技術(LPCC)或者Mel頻率倒譜系數(shù)(MFCC)等方法對語音特征參數(shù)進行提取，使用模板匹配方法、最近鄰方法、神經網絡方法、混合馬爾可夫模型方法或混合高斯模型(GMM)方法中的一種對說話人的語音進行識別，并在數(shù)據庫中尋找最佳擬合，獲取相似度；
4)唇形與語音同步檢測:采用預置的唇形與語音同步檢測指令對在步驟2)中得到的唇形特征信息和在步驟3)中得到的語音特征信息進行同步性檢測；所述采用預置的唇形與語音同步性檢測指令對所述待認證唇形與語音同步性進行檢測步驟具體包括將得到的唇形特征信息與語音特征信息進行口型語音同步檢測，例如本技術方案中采用基于口型分類法，檢測發(fā)音與唇形是否同步，并獲取同步性指標；
5)識別結果判定:將人臉識別結果及其相似度、語音識別結果及其相似度、發(fā)音與唇形同步性指標作為參量，在訓練集上建立合適的分類模型，例如本技術方案中所使用的支持向量機(SVM)分類模型，在特征空間中構建最優(yōu)分割超平面，獲取最佳權重；在識別過程中，將2)、3)和4)步結果代入，若計算結果大于預設的閾值時，則認證成功；若該計算結果小于或等于預設的閾值時，則認證不成功。
[0017]下面通過具體實施例進一步詳細描述本發(fā)明的內容，但本發(fā)明并不僅僅限于此。
[0018]實施例1:本發(fā)明提供的一種基于發(fā)音唇形動態(tài)特征的多模態(tài)生物特征身份認證方法，如圖1所示，包括:步驟101，獲取人臉圖像；步驟102，獲取語音信息；步驟103，調用人臉識別指令對獲取的人臉圖像進行識別，獲得人臉識別結果；步驟104，調用語音識別指令對獲取的語音信息進行識別，獲得語音識別結果；步驟105，調用唇形與語音同步檢測指令對唇形與語音特征進行同步檢測，獲得唇形與語音同步指標結果；步驟106，根據獲得的人臉識別結果、語音識別結果和唇形與語音同步性指標結果判斷身份認證是否通過。
[0019]在獲取人臉圖像和用戶語音信息時，可以根據預設的流程通過聲音或界面提示用戶獲取人臉圖像或語音信息。比如，首先通過語音提示用戶人臉對準圖像獲取裝置，在圖像獲取裝置獲取到人臉圖像后，再通過語音提示用戶讀出語音或界面提示的文字，以便語音獲取裝置獲取用戶語音信息。當然，提示的方式還可以是通過身份認證裝置的界面顯示提示信息，或者語音提示和界面顯示提示信息相結合的方式，本發(fā)明對此不作限定。上述步驟101和步驟102的順序可以任意調換，即本發(fā)明對獲取人臉圖像和掌紋圖像的順序不作限定。在獲取人臉圖像和用戶語音信息時，可以每次只獲取一張人臉圖像和語音信息，也可以一次獲取多張人臉圖像和語音信息，根據身份認證裝置的存儲空間確定，本發(fā)明對此不作限定。
[0020]上述步驟103和步驟104的順序也可以任意調換，本發(fā)明對此不做限定。優(yōu)選的，步驟101執(zhí)行之后立即執(zhí)行步驟103、步驟102執(zhí)行之后立即執(zhí)行步驟104，需要注意的是，步驟105需要在步驟103和步驟104之后進行。
[0021]上述步驟106中，根據步驟103獲得的人臉識別結果，步驟104獲得語音識別結果，步驟105獲得的唇形與語音同步結果判斷身份認證是否通過。將人臉識別結果及其相似度、語音識別結果及其相似度、發(fā)音與唇形同步性指標作為參量，在訓練集上建立支持向量機(SVM)分類模型，在特征空間中構建最優(yōu)分割超平面，獲取最佳權重。在識別過程中，將103、104、105步結果代入，若計算結果大于預設的閾值時，則認證成功；若該計算結果小于或等于預設的閾值時，則認證不成功。
[0022]實施例2:為了提高身份認證的效率，本發(fā)明的另一實施例提供的一種人臉和語音融合識別的身份認證方法，包括以下步驟:步驟201，獲取人臉圖像；步驟202，調用人臉識別指令對獲取的人臉圖像進行識別，獲得人臉識別結果及其相似度；步驟203，人臉識別結果判定:當人臉識別相似度大于預設的人臉識別閾值時，人臉識別認證成功；當人臉識別相似度小于或等于預設的人臉識別閾值時，人臉識別認證失??；步驟204，獲取語音信息；步驟205，調用語音識別指令對獲取的語音信息進行識別，獲得語音識別結果及其相似度；步驟206，語音識別結果判定:當語音識別相似度大于預設的語音識別閾值時，語音識別認證成功；當語音識別相似度小于或等于預設的語音識別閾值時，語音識別認證失??；步驟207，調用唇形與語音同步檢測指令對唇形與語音特征進行同步檢測，獲得唇形與語音同步指標結果；步驟208，唇形與語音同步性檢測判定:當唇形與語音同步性指標大于預設的閾值時，身份認證成功；當唇形與語音同步性指標小于或等于預設的閾值時，身份認證失敗。
[0023]上述步驟201-203和步驟204-206的順序可以調換，本發(fā)明對此不做限定。
[0024]通過本發(fā)明提供的身份認證方法，采用基于發(fā)音唇形動態(tài)特征的多模態(tài)生物特征身份認證方法，保證了身份認證的安全性。
【權利要求】
1.一種多模態(tài)生物特征身份認證系統(tǒng)，包括圖像獲取模塊、語音獲取模塊、主處理模塊和存儲模塊，其特征在于:所述主處理模塊進一步包括:與所述圖像獲取模塊和語音獲取模塊電連接的控制單元，與所述控制單元電連接的人臉識別單元、語音識別單元和唇形與語音同步檢測單元；存儲模塊分別與所述人臉識別單元和語音識別單元連接；所述控制單元根據所述身份認證裝置的當前識別流程將從圖像獲取模塊和語音獲取模塊接收到的生物特征圖像或語音信息發(fā)送給人臉識別單元、語音識別單元或唇形與語音同步檢測單元進行識別，獲得識別結果；當控制單元根據預設的身份認證流程判斷所述身份認證裝置的當前識別流程為人臉識別時，將接收到的生物特征圖像發(fā)送給所述人臉識別單元進行識別；當控制單元根據預設的身份認證流程判斷所述身份認證裝置的當前識別流程為語音識別時，將接收到的生物特征圖像發(fā)送給所述語音識別單元進行識別；當控制單元根據預設的身份認證流程判斷所述身份認證裝置的當前識別流程為唇形與語音同步識別時，將接收到的生物特征圖像和語音信息發(fā)送給所述唇形與語音同步檢測單元進行識別。
2.一種如權利要求1所述的多模態(tài)生物特征身份認證系統(tǒng)的認證方法，其特征在于，其認證方法如下: 1)信息獲取:通過圖像獲取模塊獲取用戶的臉部圖像信息，通過語音獲取模塊獲取用戶的語音信息； 2)人臉檢測及識別:采用預置的人臉識別指令對得到的圖像進行識別；所述采用預置的人臉識別指令對所述待認證的人臉圖像進行識別步驟具體包括預處理、人臉檢測、人臉關鍵點定位、歸一化、人臉特征提取等操作進行人臉識別，同時獲得人臉唇形信息，并在數(shù)據庫中尋找最相似人臉，獲取相似度； 3)語音檢測及識別:采用預置的語音識別指令對得到的語音進行識別；所述采用預置的語音識別指令對所述待認證的語音信息進行識別步驟具體包括對采集到的語音信息進行聲音信號的分割，采用線性預測倒譜技術(LPCC)或者Mel頻率倒譜系數(shù)(MFCC)等方法對語音特征參數(shù)進行提取，使用模板匹配方法、最近鄰方法、神經網絡方法、混合馬爾可夫模型方法或混合高斯模型(GMM)方法中的一種對說話人的語音進行識別，并在數(shù)據庫中尋找最佳擬合，獲取相似度； 4)唇形與語音同步檢測:采用預置的唇形與語音同步檢測指令對在步驟2)中得到的唇形特征信息和在步驟3)中得到的語音特征信息進行同步性檢測；所述采用預置的唇形與語音同步性檢測指令對所述待認證唇形與語音同步性進行檢測步驟具體包括將得到的唇形特征信息與語音特征信息進行口型語音同步檢測，例如本技術方案中采用基于口型分類法，檢測發(fā)音與唇形是否同步，并獲取同步性指標； 5)識別結果判定:將人臉識別結果及其相似度、語音識別結果及其相似度、發(fā)音與唇形同步性指標作為參量，在訓練集上建立合適的分類模型，例如本技術方案中所使用的支持向量機(SVM)分類模型，在特征空間中構建最優(yōu)分割超平面，獲取最佳權重；在識別過程中，將2)、3)和4)步結果代入，若計算結果大于預設的閾值時，則認證成功；若該計算結果小于或等于預設的閾值時，則認證不成功。
【文檔編號】G06K9/00GK104361276SQ201410652633
【公開日】2015年2月18日 申請日期:2014年11月18日 優(yōu)先權日:2014年11月18日
【發(fā)明者】邵彥超, 張振京, 姬豪杰, 華夢陽, 呂培, 許威威, 徐明亮 申請人:新開普電子股份有限公司