本發(fā)明涉及圖象處理領(lǐng)域，具體的來說是涉及一種基于可見光與紅外圖像融合的笑臉識(shí)別方法。

背景技術(shù)：

表情識(shí)別是一個(gè)交叉性的研究課題，涉及了心理學(xué)、生理學(xué)、神經(jīng)學(xué)、醫(yī)學(xué)、計(jì)算機(jī)視覺等領(lǐng)域。笑容是人與人交流中一種比較常見和重要的表情,人們通常用笑容表示其內(nèi)心的喜悅、激動(dòng)、滿足、幸福等情感。笑臉識(shí)別在生活中具有非常重要的實(shí)際應(yīng)用價(jià)值，例如在自閉兒童情感研究中，可通過笑臉識(shí)別獲知自閉兒童高興等積極情緒；在電影評(píng)價(jià)分析系統(tǒng)中，可通過笑臉識(shí)別獲得觀影者的喜悅情緒，進(jìn)而分析電影的喜劇效果；在攝影設(shè)備或應(yīng)用軟件中，可通過笑臉識(shí)別實(shí)現(xiàn)自動(dòng)拍照功能；在視頻會(huì)議中，可通過笑臉識(shí)別獲取參會(huì)人員的笑臉，從而統(tǒng)計(jì)會(huì)議的滿意度。笑臉識(shí)別的發(fā)展在很大程度上能推動(dòng)表情識(shí)別的發(fā)展。

目前，關(guān)于笑臉識(shí)別的研究逐漸受到廣泛關(guān)注。2011年，郭禮華發(fā)明了一種改進(jìn)線性鑒別分析降維的笑臉識(shí)別方法，提取人臉的gabor特征，然后改進(jìn)線性鑒別分析對(duì)所提取的gabor特征矢量進(jìn)行降維，最后使用支持向量機(jī)進(jìn)行分類識(shí)別。2012年，王俊艷等人發(fā)明了一種笑臉圖像的識(shí)別方法和識(shí)別裝置，該方法將人臉區(qū)域劃分為n個(gè)互相嵌套的幾分區(qū)域，將每個(gè)幾分區(qū)域進(jìn)行橫向積分投影，將投影向量和峰谷點(diǎn)作為特征向量，最后使用支持向量機(jī)進(jìn)行分類識(shí)別。2015年，黃永禎等人發(fā)明了一種人臉圖像的笑臉識(shí)別方法及其裝置，該發(fā)明使用卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉表情特征進(jìn)行訓(xùn)練和識(shí)別。2016年，于力等人發(fā)明了基于唇部特征和深度學(xué)習(xí)的笑臉識(shí)別方法，該發(fā)明方法將唇部作為訓(xùn)練樣本，并對(duì)其提取特征，用深度神經(jīng)網(wǎng)絡(luò)對(duì)特征向量進(jìn)行訓(xùn)練分類，但該方法只考慮了嘴巴變化，實(shí)際上，人們?cè)谖⑿r(shí)，除了嘴部運(yùn)動(dòng)外，還有很多其他的變化。

綜上，目前關(guān)于笑臉識(shí)別的研究大多是在可見光環(huán)境下進(jìn)行的，而可見光笑臉識(shí)別的結(jié)果容易受環(huán)境、復(fù)雜的背景、以及光照的變化等因素的影響。如何降低光照對(duì)識(shí)別率的影響，是有待解決的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明提供一種基于可見光與紅外圖像融合的笑臉識(shí)別方法，解決現(xiàn)有技術(shù)中光照對(duì)笑臉識(shí)別結(jié)果的不良影響的問題

本發(fā)明通過以下技術(shù)方案解決上述問題：

一種基于可見光與紅外圖像融合的笑臉識(shí)別方法，

包括如下步驟：

步驟1：對(duì)可見光訓(xùn)練樣本圖片和紅外訓(xùn)練樣本圖片分別進(jìn)行人臉檢測(cè)和分割，獲得可見光人臉區(qū)域圖和紅外臉區(qū)域圖；

步驟2：將可見光人臉區(qū)域圖和紅外人臉區(qū)域圖進(jìn)行配準(zhǔn)，得到配準(zhǔn)后的可見光人臉區(qū)域圖和紅外人臉區(qū)域圖；

步驟3：應(yīng)用對(duì)比度金字塔原理對(duì)配準(zhǔn)后的可見光人臉區(qū)域圖和紅外人臉區(qū)域圖進(jìn)行圖像融合處理，得到融合圖像；

步驟4：對(duì)融合圖像進(jìn)行特征值提取，得到局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量；

步驟5：把局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量和訓(xùn)練集的標(biāo)簽輸?shù)街С窒蛄繖C(jī)中進(jìn)行訓(xùn)練學(xué)習(xí)，得到lbp特征訓(xùn)練的支持向量機(jī)分類器和ldp特征訓(xùn)練的支持向量機(jī)分類器；

步驟6：將測(cè)試集的可見光圖像和紅外圖像根據(jù)步驟1-步驟4的原理進(jìn)行處理得到測(cè)試集融合圖像的局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量；

步驟7：將測(cè)試集的局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量分別輸入到lbp特征訓(xùn)練的支持向量機(jī)分類器和ldp特征訓(xùn)練的支持向量機(jī)分類器進(jìn)行分類識(shí)別，得到分類結(jié)果；

步驟8：把分類結(jié)果與測(cè)試集原標(biāo)簽進(jìn)行對(duì)比，即可計(jì)算出笑臉識(shí)別率，最終完成測(cè)試；

上述方案中，優(yōu)選的是步驟1中可見光訓(xùn)練樣本圖片和紅外訓(xùn)練樣本圖片分別進(jìn)行人臉檢測(cè)和分割的過程為：

步驟1.1：對(duì)可見光訓(xùn)練樣本圖片進(jìn)行直方圖均衡化、圖像旋轉(zhuǎn)和縮放處理，然后采用基于haar特征和adaboost算法對(duì)處理后的可見光圖像進(jìn)行人臉檢測(cè)，獲取可見光人臉區(qū)域圖；

步驟1.2：對(duì)紅外訓(xùn)練樣本圖片進(jìn)行二值化，并對(duì)二值化的圖像進(jìn)行腐蝕和膨脹操作，獲得完整的人物輪廓，然后再進(jìn)行邊緣檢測(cè)，獲得人物的輪廓邊緣，最后進(jìn)行水平投影和垂直投影，根據(jù)投影確定人臉區(qū)域范圍，并對(duì)此范圍進(jìn)行分割，最終獲得紅外人臉圖像。

上述方案中，優(yōu)選的是步驟2中將可見光人臉區(qū)域圖和紅外訓(xùn)人臉區(qū)域圖進(jìn)行配準(zhǔn)的過程為：分別在可見光人臉區(qū)域圖和紅外人臉區(qū)域圖中選取7個(gè)特征點(diǎn)，并將7個(gè)特征點(diǎn)按順序一一匹配，完成可見光人臉圖像與紅外人臉圖像的配準(zhǔn)。

上述方案中，優(yōu)選的是選取7個(gè)特征點(diǎn)的過程為：對(duì)于戴眼鏡的人臉區(qū)域圖分別選取左眼鏡框的左右邊框兩個(gè)點(diǎn)，右眼鏡框左右邊框的兩個(gè)點(diǎn)、鼻翼一個(gè)點(diǎn)和嘴角兩個(gè)點(diǎn)；對(duì)于不戴眼鏡的人臉圖像分別選取左右眼睛的眼角和眼尾的四個(gè)點(diǎn)、鼻翼一個(gè)點(diǎn)和嘴角兩個(gè)點(diǎn)。

上述方案中，優(yōu)選的是步驟3中應(yīng)用對(duì)比度金字塔原理對(duì)配準(zhǔn)后的可見光人臉區(qū)域圖和紅外人臉區(qū)域圖進(jìn)行融合處理的過程為：

步驟3.1：分別對(duì)配準(zhǔn)后的可見光人臉區(qū)域圖和紅外人臉區(qū)域圖進(jìn)行高斯(gauss)分解，得到可見光圖像的高斯(gauss)金字塔和紅外圖像的高斯(gauss)金字塔，分別由可見光圖像和紅外圖像的高斯(gauss)金字塔建立可見光圖像的對(duì)比度金字塔和紅外圖像的對(duì)比度金字塔；

步驟3.1.1：設(shè)置配準(zhǔn)后的可見光人臉區(qū)域圖的高斯(gauss)金字塔和紅外人臉區(qū)域圖的高斯(gauss)金字塔?？梢姽馊四槄^(qū)域圖像和紅外人臉區(qū)域圖像的高斯(gauss)金字塔的層數(shù)都為n+1層，g0表示高斯(gauss)金字塔的第0層(最底層)，即為原圖像，gn表示高斯(gauss)金字塔的最頂層，g0,g1,...,gn構(gòu)成的金字塔就是圖像的高斯(gauss)金字塔，其中，n為正整數(shù)，gx表示高斯(gauss)金字塔的第x層；

高斯(gauss)金字塔第x層gx的數(shù)學(xué)表達(dá)式為：

其中，0＜x≤n,0＜i≤cx，0＜j≤rx，其中g(shù)x和rx分別表示高斯(gauss)金字塔的第x層圖像的列數(shù)和行數(shù)，w(m,n)為5x5的高斯卷積核，即權(quán)函數(shù)表達(dá)式為：

步驟3.1.2：由可見光圖像和紅外圖像的高斯(gauss)金字塔分別建立可見光圖像的對(duì)比度金字塔和紅外圖像的對(duì)比度金字塔。首先將高斯(gauss)金字塔第x層的gx內(nèi)插放大，使gx的尺寸與gx的一層gx-1的尺寸相同，記為的表達(dá)式為：

其中，0＜x≤n,0＜i≤cx，0＜j≤rx，x、n、i和j均為正整數(shù)，

c為圖像對(duì)比度上式中g(shù)x表示圖像x處的灰度值，gb表示該處的背景灰度值，ig表示單位灰度值圖像；

用cpx表示圖像第x層的對(duì)比度金字塔，數(shù)學(xué)表達(dá)式為：

其中，x、n為正整數(shù)，ig表示單位灰度值圖像，cp0,cp1,...,cpn構(gòu)成的金字塔即為圖像的對(duì)比度金字塔；

步驟3.2：將可見光對(duì)比度金字塔和紅外對(duì)比度金字塔相應(yīng)的每一層圖像采用像素灰度平均法進(jìn)行融合，得到融合對(duì)比度金字塔；

步驟3.2.1：融合對(duì)比度金字塔的第x層圖像fpx的表達(dá)式為：

其中，x、n、i和j均為正整數(shù)，0＜x≤n,0＜i≤cx，0＜j≤rx，cpvx(i,j)表示可見光圖像第x層的對(duì)比度金字塔，cpix(i,j)表示紅外圖像第x層的對(duì)比度金字塔表達(dá)式；

步驟3.3：利用金字塔生成的逆運(yùn)算對(duì)融合對(duì)比度金字塔重構(gòu)出融合圖像，金字塔的逆運(yùn)算的數(shù)學(xué)表達(dá)式為：

其中，x和n均為正整數(shù)，依次令x＝n,n-1,...,0；逐層由上而下依次計(jì)算對(duì)應(yīng)的融合高斯(gauss)金字塔，當(dāng)x＝0時(shí)，fg0為融合高斯(gauss)金字塔的第0層(最底層)，即fg0為融合圖像。。

上述方案中，優(yōu)選的是步驟4中提取融合圖像的局部二值模式(lbp)特征和提取局部方向模式(ldp)特征的過程為：

步驟4.1：提取融合圖像的lbp特征，通過lbp編碼的數(shù)學(xué)表達(dá)式如下：

其中，

上式中p,r表示在半徑為r的鄰域內(nèi)，中心像素點(diǎn)相鄰采樣點(diǎn)個(gè)數(shù)為p個(gè)，r的鄰域尺寸為(8,1)；(xc,yc)表示中心像素點(diǎn)的坐標(biāo)；s(ii,ic)為邏輯判斷函數(shù)，其中ii表示第i個(gè)采樣點(diǎn)的灰度值，ic表示中心像素點(diǎn)的灰度值，從而獲得局部二值模式(lbp)特征lbpp,r(xc,yc)；

步驟4.2：提取融合圖像的局部方向模式(ldp)特征，具體過程為：通過計(jì)算每個(gè)像素位置上的八個(gè)方向上的邊緣響應(yīng)值，并根據(jù)響應(yīng)相對(duì)強(qiáng)度的大小進(jìn)行編碼，使用kirsch算子計(jì)算邊緣響應(yīng)，8個(gè)方向的kirsch算子掩膜為：

上式中，m0～m7分別表示東，東北，北，西北，西，西南，南，東南8個(gè)方向的kirsch算子。融合圖像i(x,y)的中心像素為ic，中心像素與其八個(gè)方向上的像素可構(gòu)成一個(gè)3x3的矩陣：

i0～i7分別表示中心像素的東，東北，北，西北，西，西南，南，東南8個(gè)方向的像素，8個(gè)方向的邊緣響應(yīng)用{mi}表示，其中i＝0,1,2,...,7，

中心像素八個(gè)方向的邊緣響應(yīng){mi}值取決于每個(gè)方向上的kirsch算子，mi的值可用下式計(jì)算：

其中，表示矩陣i中各行各列中的元素與矩陣mi^t中對(duì)應(yīng)的元素分別相乘后得到新的矩陣，再對(duì)新的矩陣中所有元素進(jìn)行求和，

ldp編碼為將前k個(gè)最大響應(yīng)值編碼為1，其余響應(yīng)編碼為0，其中，k＝3，從東南方向?yàn)殚_始方向，進(jìn)行逆時(shí)針，即m7為起始方向，具體表達(dá)式為：

其中，

mk是前k個(gè)最大響應(yīng)值的第k個(gè)最大響應(yīng)值，m、i和k均為正整數(shù)，得到融合圖像的局部方向模式(ldp)特征值ldpk。

本發(fā)明的優(yōu)點(diǎn)與效果是：

1、本發(fā)明考慮到可見光圖像對(duì)光照變化的敏感問題，而紅外圖像對(duì)光照變化具有很強(qiáng)的魯棒性，本發(fā)明將可見光與紅外圖像進(jìn)行融合，彌補(bǔ)了可見光圖像對(duì)光照敏感的缺陷，解決了光照對(duì)識(shí)別率影響的問題。

2、先融合后提取特征的方法，不但提取表面紋理特征，還對(duì)人臉表情的溫度特征進(jìn)行統(tǒng)計(jì)，實(shí)現(xiàn)了內(nèi)外結(jié)合，較單一光源圖像而言，本發(fā)明提出的基于可見光與紅外圖像融合的笑臉識(shí)別方法的笑臉識(shí)別的準(zhǔn)確率明顯提高。

附圖說明

圖1為本發(fā)明的具體流程圖；

圖2為本發(fā)明對(duì)比度金字塔分解的可見光與紅外圖像融合的流程圖；

圖3為本發(fā)明八個(gè)方向的邊緣響應(yīng)位置圖。

具體實(shí)施方式

以下結(jié)合實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。

一種基于可見光與紅外圖像融合的笑臉識(shí)別方法，如圖1所示，包括如下步驟：

步驟1：對(duì)可見光訓(xùn)練樣本圖片和紅外訓(xùn)練樣本圖片分別進(jìn)行人臉檢測(cè)和分割，獲得可見光人臉區(qū)域圖和紅外人臉區(qū)域圖。

分別對(duì)可見光訓(xùn)練樣本圖片和紅外訓(xùn)練樣本圖片進(jìn)行人臉檢測(cè)和分割的過程為：

步驟1.1：對(duì)可見光訓(xùn)練樣本圖像進(jìn)行直方圖均衡化、圖像旋轉(zhuǎn)、縮放等預(yù)處理，然后采用基于haar特征和adaboost算法對(duì)預(yù)處理后的可見光圖像進(jìn)行人臉檢測(cè)，獲取可見光人臉區(qū)域圖像；

步驟1.2：對(duì)紅外訓(xùn)練樣本圖像進(jìn)行二值化，并對(duì)二值化的圖像進(jìn)行腐蝕和膨脹操作，獲得完整的人物輪廓，然后再進(jìn)行邊緣檢測(cè)，獲得人物的輪廓邊緣，最后進(jìn)行水平投影和垂直投影，根據(jù)投影確定人臉區(qū)域范圍，并對(duì)此范圍進(jìn)行分割最終獲得紅外人臉區(qū)域圖像。

步驟2：將可見光人臉區(qū)域圖和紅外人臉區(qū)域圖進(jìn)行配準(zhǔn)，得到配準(zhǔn)后的可見光人臉區(qū)域圖和紅外人臉區(qū)域圖。將可見光人臉區(qū)域圖和紅外人臉區(qū)域圖進(jìn)行配準(zhǔn)的過程為：分別在可見光人臉區(qū)域圖和紅外人臉區(qū)域圖中選取7個(gè)特征點(diǎn)，并將7個(gè)特征點(diǎn)按順序一一匹配，完成可見光人臉圖像與紅外人臉圖像的配準(zhǔn)。選取7個(gè)特征點(diǎn)的過程為：對(duì)于戴眼鏡的人臉區(qū)域圖分別選取左眼鏡框的左右邊框兩個(gè)點(diǎn)，右眼鏡框左右邊框的兩個(gè)點(diǎn)、鼻翼一個(gè)點(diǎn)和嘴角兩個(gè)點(diǎn)；對(duì)于不戴眼鏡的人臉圖像分別選取左右眼睛的眼角和眼尾的四個(gè)點(diǎn)、鼻翼一個(gè)點(diǎn)和嘴角兩個(gè)點(diǎn)。

步驟3：應(yīng)用對(duì)比度金字塔原理對(duì)配準(zhǔn)后的可見光人臉區(qū)域圖和紅外人臉區(qū)域圖進(jìn)行融合處理，得到融合圖像。

應(yīng)用對(duì)比度金字塔原理對(duì)配準(zhǔn)后的可見光人臉區(qū)域圖和紅外人臉區(qū)域圖進(jìn)行融合處理的過程為：

步驟3.1：分別對(duì)配準(zhǔn)后的可見光人臉區(qū)域圖和紅外人臉區(qū)域圖高斯(gauss)分解，得到可見光圖像的高斯(gauss)金字塔和紅外圖像的高斯(gauss)金字塔，分別由可見光圖像和紅外圖像的高斯(gauss)金字塔建立可見光圖像的對(duì)比度金字塔和紅外圖像對(duì)比度金字塔；

步驟3.1.1：設(shè)置配準(zhǔn)后的可見光人臉區(qū)域圖的高斯(gauss)金字塔和紅外人臉區(qū)域圖的高斯(gauss)金字塔。如圖2所示，可見光人臉區(qū)域圖像和紅外人臉區(qū)域圖像的高斯(gauss)金字塔的層數(shù)都為n+1層，g0表示高斯(gauss)金字塔的第0層(最底層)，即為原圖像，gn表示高斯(gauss)金字塔的最頂層，g0,g1,...,gn構(gòu)成的金字塔就是圖像的高斯(gauss)金字塔，其中，n為正整數(shù)，gx表示高斯(gauss)金字塔的第x層；

高斯(gauss)金字塔第x層gx的數(shù)學(xué)表達(dá)式為：

其中，0＜x≤n,0＜i≤cx，0＜j≤rx，其中g(shù)x和rx分別表示高斯(gauss)金字塔的第x層圖像的列數(shù)和行數(shù)，w(m,n)為5x5的高斯卷積核，即權(quán)函數(shù)，表達(dá)式為：

步驟3.1.2：由可見光圖像和紅外圖像的高斯(gauss)金字塔分別建立可見光圖像的對(duì)比度金字塔和紅外圖像的對(duì)比度金字塔。首先將高斯(gauss)金字塔第x層gx內(nèi)插放大，使gx的尺寸與gx的一層gx-1的尺寸相同，記為的表達(dá)式為：

其中，0＜x≤n,0＜i≤cx，0＜j≤rx，x、n、i和j均為正整數(shù)，

圖像對(duì)比度c定義為：

上式中g(shù)x表示圖像x處的灰度值，gb表示該處的背景灰度值，ig表示單位灰度值圖像；

用cpx表示圖像第x層的對(duì)比度金字塔，數(shù)學(xué)表達(dá)式為：

其中，x、n為正整數(shù)，ig表示單位灰度值圖像，cp0,cp1,...,cpn構(gòu)成的金字塔即為圖像的對(duì)比度金字塔；

步驟3.2：將可見光對(duì)比度金字塔和紅外對(duì)比度金字塔的每一層圖像進(jìn)行融合，得到融合對(duì)比度金字塔，融合規(guī)則為像素灰度平均法；

步驟3.2.1：融合對(duì)比度金字塔的第x層圖像fpx的表達(dá)式為：

其中，x、n、i和j均為正整數(shù)，0＜x≤n,0＜i≤cx，0＜j≤rx，cpvx(i,j)表示可見光圖像第x層的對(duì)比度金字塔，cpix(i,j)表示紅外圖像第x層的對(duì)比度金字塔；

步驟3.3：利用金字塔生成的逆運(yùn)算對(duì)融合對(duì)比度金字塔重構(gòu)出融合圖像，金字塔的逆運(yùn)算的數(shù)學(xué)表達(dá)式為：

其中，x和n均為正整數(shù)，依次令x＝n,n-1,...,0；逐層由上而下依次計(jì)算對(duì)應(yīng)的融合高斯(gauss)金字塔，當(dāng)x＝0時(shí)，fg0為融合高斯(gauss)金字塔的第0層(最底層)，即fg0為融合圖像。

可見光人臉圖像具有較為清晰的紋理特征，而紅外人臉圖像的紋理特征較為模糊，但其圖像的灰度變化能反映人臉表面溫度的分布情況，經(jīng)過對(duì)比度金字塔分解融合后的融合人臉圖像，不僅保留了可見光人臉圖像表面紋理特征，同時(shí)還保留了紅外人臉圖像反映面部溫度分布的特征，即實(shí)現(xiàn)了可見光與紅外圖像的互補(bǔ)。

步驟4：對(duì)融合圖像進(jìn)行特征值提取，本發(fā)明選用局部二值模式(lbp)特征和局部方向模式(ldp)特征作為表情特征。

提取融合圖像局部二值模式(lbp)特征和局部方向模式(ldp)特征的提取過程為：

步驟4.1：提取融合圖像的局部二值模式(lbp)特征，lbp編碼的數(shù)學(xué)表達(dá)式如下：

其中，

上式中p,r表示在半徑為r的鄰域內(nèi)，中心像素點(diǎn)相鄰采樣點(diǎn)個(gè)數(shù)為p個(gè)，r的鄰域尺寸為(8,1)；(xc,yc)表示中心像素點(diǎn)的坐標(biāo)；s(ii,ic)為邏輯判斷函數(shù)，其中ii表示第i個(gè)采樣點(diǎn)的灰度值，ic表示中心像素點(diǎn)的灰度值。由上式獲得融合圖像的局部二值模式(lbp)特征lbpp,r(xc,yc)；

步驟4.2：提取融合圖像局部方向模式(ldp)特征，具體過程為：通過計(jì)算每個(gè)像素位置上的八個(gè)方向上的邊緣響應(yīng)值，并根據(jù)響應(yīng)相對(duì)強(qiáng)度的大小進(jìn)行編碼。ldp中使用kirsch算子計(jì)算邊緣響應(yīng)。8個(gè)方向的kirsch算子掩膜為：

上式中，m0～m7分別表示東，東北，北，西北，西，西南，南，東南8個(gè)方向的kirsch算子。融合圖像i(x,y)的中心像素為ic，中心像素與其八個(gè)方向上的像素可構(gòu)成一個(gè)3x3的矩陣：

i0～i7分別表示中心像素的東，東北，北，西北，西，西南，南，東南8個(gè)方向的像素。如圖3所示，8個(gè)方向的邊緣響應(yīng)用{mi}表示，其中i＝0,1,2,...,7，

中心像素八個(gè)方向的邊緣響應(yīng){mi}值取決于每個(gè)方向上的kirsch算子，mi的值可用下式計(jì)算：

上式中，表示矩陣a中各行各列中的元素與矩陣b中對(duì)應(yīng)的元素分別相乘后得到新的矩陣，再對(duì)新的矩陣中所有元素進(jìn)行求和。

ldp編碼就是將前k個(gè)最大響應(yīng)值編碼為1，其余響應(yīng)編碼為0，其中，k＝3，從東南方向?yàn)殚_始方向，進(jìn)行逆時(shí)針，即m7為起始方向，具體表達(dá)式為：

其中，

mk是前k個(gè)最大響應(yīng)值的第k個(gè)最大響應(yīng)值，m、i和k均為正整數(shù)，由上式得到融合圖像的局部方向模式(ldp)特征值ldpk。

步驟5：對(duì)步驟4提取的局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量和訓(xùn)練集的標(biāo)簽輸?shù)街С窒蛄繖C(jī)中進(jìn)行訓(xùn)練學(xué)習(xí)，最終得到兩組訓(xùn)練好的支持向量機(jī)分類器，分別是由lbp特征訓(xùn)練的支持向量機(jī)分類器和由ldp特征訓(xùn)練的支持向量機(jī)分類器；

本發(fā)明使用支持向量機(jī)(svm)分類方法實(shí)現(xiàn)二分類問題，即將表情分為笑臉和非笑臉，考慮到rbf函數(shù)具有參數(shù)少，復(fù)雜程度低，數(shù)值計(jì)算困難度相對(duì)于多項(xiàng)式核函數(shù)小等優(yōu)點(diǎn)，且在笑臉識(shí)別中映射效果比較好，本發(fā)明選擇rbf核函數(shù)作為svm的核函數(shù)。

支持向量機(jī)是由vapnik等人提出的用于解決模式分類與非線性映射問題的分類方法，其核心思想是建立一個(gè)最優(yōu)決策平面，使得該平面兩側(cè)距離平面最近的兩類樣本之間的距離最大。支持向量機(jī)是一種有監(jiān)督學(xué)習(xí)方法，即訓(xùn)練集中數(shù)據(jù)的類別為已知，通過訓(xùn)練，求訓(xùn)練集數(shù)據(jù)與類別之間的對(duì)應(yīng)關(guān)系，最后將訓(xùn)練集數(shù)據(jù)按照類別進(jìn)行分類，從而達(dá)到預(yù)測(cè)新的數(shù)據(jù)對(duì)應(yīng)的類別。

步驟6：測(cè)試階段，將測(cè)試集的可見光圖像和紅外圖像根據(jù)步驟1-步驟3的原理進(jìn)行預(yù)處理、圖像配準(zhǔn)和圖像融合，根據(jù)步驟4的特征提取方法，提取測(cè)試集融合圖像的局部二值模式(lbp)特征和局部方向模式(ldp)特征。

步驟7：將測(cè)試集的局部二值模式(lbp)特征矢量和局部方向模式(ldp)特征矢量分別輸入到由lbp特征訓(xùn)練的支持向量機(jī)分類器和由ldp特征訓(xùn)練的支持向量機(jī)分類器進(jìn)行分類識(shí)別，得到分類結(jié)果。標(biāo)簽為指的是類別，訓(xùn)練分類器就是把大量已知的數(shù)據(jù)送進(jìn)去訓(xùn)練學(xué)習(xí)，得到特征與類別的某種關(guān)系。測(cè)試就是將測(cè)試的用前面訓(xùn)練好的分類器預(yù)測(cè)類別。

步驟8：把步驟7的測(cè)試分類結(jié)果與測(cè)試集原標(biāo)簽進(jìn)行對(duì)比，對(duì)比為相除比對(duì)模式或其他的比對(duì)模式，即可計(jì)算出笑臉識(shí)別率，最終完成測(cè)試。

為了說明本發(fā)明的笑臉識(shí)別效果，本發(fā)明根據(jù)上述步驟進(jìn)行了實(shí)驗(yàn)仿真驗(yàn)證，實(shí)驗(yàn)在visualstudio2012開發(fā)軟件中完成，調(diào)用opencv視覺庫，使用c++語言進(jìn)行編程。實(shí)驗(yàn)數(shù)據(jù)庫選用ustc-nvie(naturalvisibleandinfraredfacialexpressions)自發(fā)表情庫。從ustc-nvie自發(fā)表情數(shù)據(jù)庫中隨機(jī)挑選120個(gè)不同個(gè)體在不同光照條件下的表情圖片，每人每種表情選5-10張不等。其中笑臉集包含1160張笑臉，非笑臉集中包含了生氣、厭惡、驚訝、悲傷、恐懼以及中性表情，一共1045張。所有表情圖像都?xì)w一為100x100大小。實(shí)驗(yàn)分別對(duì)可見光、紅外、融合圖像做基于lbp與svm的笑臉識(shí)別以及基于ldp與svm的笑臉識(shí)別實(shí)驗(yàn)。隨機(jī)選取每個(gè)樣本集的1/5作為測(cè)試集，剩余的4/5作為訓(xùn)練集，每組實(shí)驗(yàn)分別做5次實(shí)驗(yàn)，取平均識(shí)別率。本文用總體識(shí)別率(笑臉與非笑臉識(shí)別正確率)和笑臉識(shí)別率來統(tǒng)計(jì)實(shí)驗(yàn)結(jié)果。表1和表2分別給出了三種圖像的lbp特征和ldp特征的笑臉識(shí)別率和總體識(shí)別率的對(duì)比結(jié)果。

表1

表2

由表1和表2可看出，在提取lbp特征的笑臉識(shí)別實(shí)驗(yàn)中，使用本發(fā)明的基于可見光與紅外圖像融合的笑臉識(shí)別方法比單獨(dú)使用紅外圖像的笑臉識(shí)別率提高了約5.2％，總體識(shí)別率比紅外圖像提高了約8.3％，而比單獨(dú)使用可見光的笑臉識(shí)別率提高了約1％，總體識(shí)別率比可見光提高了約1.4％。在提取ldp特征的實(shí)驗(yàn)中，使用本發(fā)明的基于可見光與紅外圖像融合的笑臉識(shí)別方法比單獨(dú)使用紅外圖像的笑臉識(shí)別率提高了約5.6％，總體識(shí)別率比紅外圖像提高了約6％，而比單獨(dú)使用可見光的笑臉識(shí)別率提高了約1％，總體識(shí)別率比可見光提高了約1.6％。這說明本發(fā)明的基于可見光與紅外圖像融合的笑臉識(shí)別方法具有很好的泛化能力。

以上已對(duì)本發(fā)明創(chuàng)造的較佳實(shí)施例進(jìn)行了具體說明，但本發(fā)明并不限于實(shí)施例，熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明創(chuàng)造精神的前提下還可以作出種種的等同的變型或替換，這些等同的變型或替換均包含在本申請(qǐng)的范圍內(nèi)。