本發(fā)明涉及計算機數(shù)據(jù)處理技術(shù)，具體地，涉及一種用于多模態(tài)生物特征識別的方法、裝置及系統(tǒng)。

背景技術(shù)：

生物特征是人體天然攜帶的信息，與傳統(tǒng)的密碼、身份信息相比，具有唯一性、穩(wěn)定性、防偽性、不可抵賴性。所謂唯一性，指任何兩個人該特征都是不同的；所謂穩(wěn)定性，指該特征在一段時間內(nèi)，不會隨條件的變化而變化；所謂防偽性，指這個生物特征無法被惡意假冒；所謂不可抵賴性，指該生物特征是可以作為唯一標(biāo)示識別出對應(yīng)的用戶，具有不可抵賴性。

目前，用于身份識別的人體生物特征有人臉、掌紋、虹膜、指紋、dna(脫氧核糖核酸)等，行為特征有步態(tài)、簽名等。在實際應(yīng)用的過程中，單獨一種生物特征的使用在不同程度上遇到以下的問題困擾：

1.噪聲

傳感器在實際應(yīng)用中，由于物理缺陷或其他的外部因素干擾，采集到的數(shù)據(jù)會產(chǎn)生部分噪聲，從而影響到身份認(rèn)證的準(zhǔn)確性。例如：光照條件影響得到人臉圖像會有影響。

2.非普遍適用性

一些個體無法提供特定的生物特征。例如，失去雙手的殘疾人無法提供指紋信息。

3.安全性

生物特征容易被竊取，如利用人臉的相片可以騙過基于人臉的生物特征識別系統(tǒng)。

4.類間相似

對用戶數(shù)量比較龐大的生物特征識別系統(tǒng)，不同的用戶在生物特征之間可能有一定的重疊，例如有些雙胞胎的人臉信息是非常類似的。

5.類內(nèi)變化

隨著時間的推移，用戶的生物特征可能產(chǎn)生部分變化，如小孩子長大后聲紋信息發(fā)送了變化，因此其生物識別產(chǎn)生差異，影響系統(tǒng)性能。

可見，目前的單獨一種生物特征的使用具有一定局限性。

技術(shù)實現(xiàn)要素：

鑒于現(xiàn)有技術(shù)的上述缺陷，各種不同實施方式提供了一種用于多模態(tài)生物特征識別的方法、裝置及系統(tǒng)。

根據(jù)一種實施方式提供的用于多模態(tài)生物特征識別的方法可以包括，但不限于：

針對輸入的不同類型生物特征分別進行單模態(tài)識別；

將不同類型生物特征的單模態(tài)識別結(jié)果進行融合計算得到多模態(tài)識別結(jié)果。

根據(jù)另一種實施方式提供的用于多模態(tài)生物特征識別的裝置可以包括，但不限于：

單模態(tài)識別模塊，用于針對輸入的不同類型生物特征分別進行單模態(tài)識別；

融合計算模塊，用于將不同類型生物特征的單模態(tài)識別結(jié)果進行融合計算得到多模態(tài)識別結(jié)果。

根據(jù)另一種實施方式提供的用于多模態(tài)生物特征識別的系統(tǒng)至少可以包括：

一個或多個處理器；

存儲器，所述存儲器中存儲有一個或多個程序，所述一個或多個程序被所述一個或多個處理器執(zhí)行時本文各實施方式所述的方法中的操作。

根據(jù)各種不同實施方式，在多模態(tài)生物識別場景下，多種生物特征融合構(gòu)成用戶的生物特征數(shù)據(jù)立方體，更加全面的描述客戶的生物特征信息，避免單一識別算法的場景局限性。

具體而言，多模態(tài)生物特征識別有以下三個優(yōu)點：

1.系統(tǒng)可靠性更高，通過對不同類型的數(shù)據(jù)進行融合可以提高系統(tǒng)的性能和容錯能力、減少噪聲等不確定因素的影響，達(dá)到更高的準(zhǔn)確率。

2.系統(tǒng)適用性更廣，使用多模態(tài)生物特征識別，可以使身份識別系統(tǒng)適用于更廣泛的人群。

3.系統(tǒng)安全性更強，偽造多個身份特征比偽造一個生物特征的難度提高了，因此系統(tǒng)更加安全。

附圖說明

圖1是示出了根據(jù)一種實施方式的用于多模態(tài)生物特征識別的方法的流程圖；

圖2是示出了根據(jù)另一種實施方式的用于多模態(tài)生物特征識別的方法的流程圖；

圖3示出了根據(jù)又一種實施方式的用于多模態(tài)生物特征識別的方法的流程圖；

圖4示出了根據(jù)一種實施方式的用于多模態(tài)生物特征識別的裝置的示意性框圖；

圖5示出了根據(jù)各種實施方式的多模態(tài)生物特征識別復(fù)合模型。

具體實施方式

為了便于理解本發(fā)明技術(shù)方案的各個方面、特征以及優(yōu)點，下面結(jié)合附圖對本發(fā)明進行具體描述。應(yīng)當(dāng)理解，下述的各種實施方式只用于舉例說明，而非用于限制本發(fā)明的保護范圍。

根據(jù)一種實施方式，如圖1所示，本實施方式提供的用于多模態(tài)生物特征識別的方法可以包括：

s101.針對輸入的不同類型生物特征分別進行單模態(tài)識別；所述不同類型生物特征包括dna、指紋、虹膜、人臉、視網(wǎng)膜、指靜脈、耳型、聲紋、掌形等中的一種或多種。

s103.將不同類型生物特征的單模態(tài)識別結(jié)果進行融合計算得到多模態(tài)識別結(jié)果。

根據(jù)本實施方式，通過將多種生物特征融合構(gòu)成用戶的生物特征數(shù)據(jù)立方體，更加全面的描述客戶的生物特征信息，避免單一識別算法的場景局限性。

舉個例子，采用聲紋識別和指紋識別相結(jié)合，避免單獨聲紋識別場景中背景音嘈雜，或者指紋識別場景中指紋不清晰等偶然情況，通過設(shè)置適當(dāng)?shù)慕M合計算方式，其識別準(zhǔn)確率大大提高。

在可選實施方式中，處理s101可以包括針對所述不同類型生物特征的訓(xùn)練元組進行有放回抽樣得到所述不同類型生物特征各自的訓(xùn)練集，將所述不同類型生物特征各自的訓(xùn)練集放入各自的生物特征識別的算法模型進行分類，以得到所述不同類型生物特征各自的單模態(tài)識別結(jié)果。進一步地，處理s103可以包括針對所述不同類型生物特征，計算所述分類的錯誤分類率；根據(jù)所述不同類型生物特征各自的錯誤分類率計算所述不同類型生物特征各自的權(quán)重；根據(jù)所述不同類型生物特征各自的單模態(tài)識別結(jié)果和各自的權(quán)重進行融合計算得到多模態(tài)識別結(jié)果。

根據(jù)另一種實施方式，如圖2所示，該實施方式提供的用于多模態(tài)生物特征識別的方法可以包括：

s201.針對所述不同類型生物特征的訓(xùn)練元組進行有放回抽樣得到所述不同類型生物特征各自的訓(xùn)練集；

s203.將所述不同類型生物特征各自的訓(xùn)練集放入各自的生物特征識別的算法模型進行分類，以得到所述不同類型生物特征各自的單模態(tài)識別結(jié)果；

s205.將不同類型生物特征的單模態(tài)識別結(jié)果進行融合計算得到多模態(tài)識別結(jié)果。

同樣地，根據(jù)本實施方式，通過將多種生物特征融合構(gòu)成用戶的生物特征數(shù)據(jù)立方體，更加全面的描述客戶的生物特征信息，避免單一識別算法的場景局限性。

根據(jù)又一種實施方式，如圖3所示，該實施方式提供的用于多模態(tài)生物特征識別的方法可以包括：

s302.針對所述不同類型生物特征的訓(xùn)練元組進行有放回抽樣得到所述不同類型生物特征各自的訓(xùn)練集；

s304.將所述不同類型生物特征各自的訓(xùn)練集放入各自的生物特征識別的算法模型進行分類，以得到所述不同類型生物特征各自的單模態(tài)識別結(jié)果；

s306.針對所述不同類型生物特征，計算所述分類的錯誤分類率；

s308.根據(jù)所述不同類型生物特征各自的錯誤分類率計算所述不同類型生物特征各自的權(quán)重，例如，可以按照下述公式計算所述權(quán)重：

其中，wi表示第i類生物特征的權(quán)重，error(mi)表示錯誤分類率，i為自然數(shù)。

s310.根據(jù)所述不同類型生物特征各自的單模態(tài)識別結(jié)果和各自的權(quán)重進行融合計算得到多模態(tài)識別結(jié)果，例如，可以按照下述公式進行所述融合計算：

其中，r表示多模態(tài)識別結(jié)果，ri表示第i類生物特征的單模態(tài)識別結(jié)果，k表示所述不同類型生物特征的類型數(shù)，i為1到k的自然數(shù)。

本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，在上述實施方式中，用于多模態(tài)生物特征識別的方法的各個處理、操作雖然是按照一定順序進行描述，但是，所述各處理、操作不一定必須按照上述順序執(zhí)行。

下面描述根據(jù)一種實施方式的用于多模態(tài)生物特征識別的裝置。

如圖4所示，用于多模態(tài)生物特征識別的裝置包括但不限于：

單模態(tài)識別模塊410，用于針對輸入的不同類型生物特征分別進行單模態(tài)識別；

融合計算模塊420，用于將不同類型生物特征的單模態(tài)識別結(jié)果進行融合計算得到多模態(tài)識別結(jié)果。

在另一實施方式中，所述單模態(tài)識別模塊410針對輸入的不同類型生物特征分別進行單模態(tài)識別可以包括：

針對所述不同類型生物特征的訓(xùn)練元組進行有放回抽樣得到所述不同類型生物特征各自的訓(xùn)練集；

將所述不同類型生物特征各自的訓(xùn)練集放入各自的生物特征識別的算法模型進行分類，以得到所述不同類型生物特征各自的單模態(tài)識別結(jié)果。

可選地，所述融合計算模塊420將不同類型生物特征的單模態(tài)識別結(jié)果進行融合計算得到多模態(tài)識別結(jié)果可以包括：

針對所述不同類型生物特征，計算所述分類的錯誤分類率；

根據(jù)所述不同類型生物特征各自的錯誤分類率計算所述不同類型生物特征各自的權(quán)重；

根據(jù)所述不同類型生物特征各自的單模態(tài)識別結(jié)果和各自的權(quán)重進行融合計算得到多模態(tài)識別結(jié)果。

根據(jù)各實施方式所述的用于多模態(tài)生物特征識別的裝置，通過將多種生物特征融合構(gòu)成用戶的生物特征數(shù)據(jù)立方體，更加全面的描述客戶的生物特征信息，避免單一識別算法的場景局限性。

下面結(jié)合具體示例對本發(fā)明的技術(shù)方案進行詳細(xì)說明。

根據(jù)上述各種實施方式可知，本發(fā)明的實現(xiàn)方法在多模態(tài)生物識別的結(jié)果反饋，多模態(tài)生物識別過程是基于多個單模態(tài)的識別結(jié)果計算的復(fù)合模型，如圖5所示。例如，首先，對于輸入的不同類型生物特征分別進行單模態(tài)識別，將單模態(tài)生物識別的相似度反饋為一個百分制的數(shù)字；其次，將上述相似度進行結(jié)果融合計算；最后，計算出一個多模態(tài)識別相似度。單模態(tài)的識別過程可以分配到不同的cpu(中央處理單元)上，因此，多模態(tài)生物識別過程是可以并行的。

如圖5所示，對單一客戶采集其生物信息數(shù)據(jù)d(d1,d2,d3,…)，其中di分別代表某一種生物特征，如d1代表人臉，d2代表聲紋，d3代表指紋，d4代表虹膜，d5代表指靜脈等。這些生物特征分別通過對應(yīng)的單模態(tài)生物特征識別模型m1、m2、m3、m4、m5進行識別，得到相似度r1、r2、r3…，相似度可以是一個1-100的分值。上述相似度通過結(jié)果融合模型mmix進行結(jié)果融合，最后得到相似度r，在通過閾值進行判斷識別結(jié)果。對于融合模型mmix的算法，例如，可以采用下述方式。

給定數(shù)據(jù)集d，它包含2個類標(biāo)記的元組，其中是誤分類n個與正確分類y個。

輸入：

·d：類標(biāo)記的訓(xùn)練元組集，假設(shè)當(dāng)前有5種生物特征識別，d1代表人臉，d2代表聲紋，d3代表指紋，d4代表虹膜，d5代表指靜脈的訓(xùn)練元組.

·k：生物特征的類型數(shù)，k＝5

·mi：生物特征識別的算法模型，其中m1代表人臉，m2代表聲紋，m3代表指紋，m4代表虹膜，m5代表指靜脈算法模型

輸出：一個多模態(tài)復(fù)合模型

方法：

獲取每個算法模型的錯誤率

(1)將d中其中d1代表人臉，d2代表聲紋，d3代表指紋，d4代表虹膜，d5代表指靜脈的訓(xùn)練元組的每個元組的權(quán)重初始化為1/2；

(2)fori＝1tokdo

(3)針對人臉、聲紋、指紋、虹膜、指靜脈的訓(xùn)練元組進行有放回抽樣得到di；

(4)使用訓(xùn)練集di放入模型mi進行分類，得到ri；該模型mi為各個生物特征識別的算法模型,ri是一個1～100分?jǐn)?shù)，表示識別結(jié)果；

(5)利用算法模型mi分類后，計算mi的錯誤分類率，如下：

其中誤分類n個與正確分類y個；

(6)endfor

使用組合分類器對待測試生物特征元組x進行分類：

(1)將每個類的權(quán)重初始化為0；

(2)fori＝1tokdo

(3)每個生物特征的分?jǐn)?shù)權(quán)重如下：

(4)測試出每個生物特征識別算法的分?jǐn)?shù)ri＝mi(x)；

(5)將wi加到ri的權(quán)重

(6)endfor

(7)

在所述實施方式中，通過5種生物特征進行識別，基于這樣的識別方法可以獲得如下優(yōu)點：

1.系統(tǒng)可靠性更高，通過對不同類型的數(shù)據(jù)進行融合可以提高系統(tǒng)的性能和容錯能力、減少噪聲等不確定因素的影響，達(dá)到更高的準(zhǔn)確率。

2.系統(tǒng)適用性更廣，使用多模態(tài)生物特征識別，可以使身份識別系統(tǒng)適用于更廣泛的人群。

3.系統(tǒng)安全性更強，偽造多個身份特征比偽造一個生物特征的難度提高了，因此系統(tǒng)更加安全。

此外，各種實施方式還提供了一種用于多模態(tài)生物特征識別的系統(tǒng)，所述系統(tǒng)可以包括：

一個或多個處理器；

存儲器，所述存儲器中存儲有一個或多個程序；

所述一個或多個處理器執(zhí)行所述一個或多個程序時進行如下操作：

針對輸入的不同類型生物特征分別進行單模態(tài)識別；

將不同類型生物特征的單模態(tài)識別結(jié)果進行融合計算得到多模態(tài)識別結(jié)果。

根據(jù)另一實施方式，所述一個或多個處理器執(zhí)行所述一個或多個程序時進行如下操作：

針對所述不同類型生物特征的訓(xùn)練元組進行有放回抽樣得到所述不同類型生物特征各自的訓(xùn)練集；

將所述不同類型生物特征各自的訓(xùn)練集放入各自的生物特征識別的算法模型進行分類，以得到所述不同類型生物特征各自的單模態(tài)識別結(jié)果。

根據(jù)另一實施方式，所述一個或多個處理器執(zhí)行所述一個或多個程序時進行如下操作：

針對所述不同類型生物特征，計算所述分類的錯誤分類率；

根據(jù)所述不同類型生物特征各自的錯誤分類率計算所述不同類型生物特征各自的權(quán)重；

根據(jù)所述不同類型生物特征各自的單模態(tài)識別結(jié)果和各自的權(quán)重進行融合計算得到多模態(tài)識別結(jié)果。

其中，按照下述公式計算所述權(quán)重：

其中，wi表示第i類生物特征的權(quán)重，error(mi)表示錯誤分類率，i為自然數(shù)。

其中，按照下述公式進行所述融合計算：

其中，r表示多模態(tài)識別結(jié)果，ri表示第i類生物特征的單模態(tài)識別結(jié)果，k表示所述不同類型生物特征的類型數(shù)，i為1到k的自然數(shù)。

通過以上的實施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到本發(fā)明可借助軟件結(jié)合硬件平臺的方式來實現(xiàn)。基于這樣的理解，本發(fā)明的技術(shù)方案對背景技術(shù)做出貢獻(xiàn)的全部或者部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計算機軟件產(chǎn)品可以存儲在存儲介質(zhì)中，如rom/ram、磁碟、光盤等，包括若干指令用以使得一臺計算機設(shè)備(可以是個人計算機，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行本發(fā)明各個實施例或者實施例的某些部分所述的方法。本領(lǐng)技術(shù)人員應(yīng)當(dāng)理解，以上所公開的僅為本發(fā)明的實施方式而已，當(dāng)然不能以此來限定本發(fā)明之權(quán)利范圍，依本發(fā)明實施方式所作的等同變化，仍屬本發(fā)明權(quán)利要求所涵蓋的范圍。