度特征的生成過程與實施 例1相同，得到10000個300維的多尺度特征。這種通過卷積神經(jīng)網(wǎng)絡自動提取的特征避免了 人為選擇特征的片面性和復雜性。
[0100] 3、訓練支持向量機分類器
[0101]訓練支持向量機分類器步驟與實施例1相同。
[0102] 本實施例的測試步驟與實施例1相同。
[0103] 實施例3
[0104] 本實施例的人臉圖像來自多任務人臉標注(the Multi-Task Facial Landmark， MTFL)數(shù)據(jù)庫。該庫包括12995幅人臉圖像，其中10000幅圖像為訓練樣本，2995幅圖像為測 試樣本。
[0105] 本實施例微笑表情深度卷積神經(jīng)網(wǎng)絡的檢測方法由訓練步驟和測試步驟組成，訓 練步驟如下：
[0106] 1、對10000幅訓練樣本圖像進行預處理
[0107] 包括圖像灰度化、嘴巴子圖定位、大小歸一化以及亮度調節(jié)步驟。
[0108] 10000幅圖像灰度化:該步驟與實施例1相同，得到10000幅灰度圖像。
[0109] 10000幅嘴巴子圖定位：用五個關鍵點橫坐標的平均值作為中心點的橫坐標X，用 五個關鍵點縱坐標的平均值作為中心點的縱坐標y，用（10)式計算五個關鍵點到中心點的 棋盤距離：
[0110] di=max( | xi_x |，| yi_y | ) (10)
[0111] 式中i = l，2,3,4,5,分別為左眼、右眼、左嘴角、右嘴角和鼻子五個關鍵點，cU分別 為五個關鍵點到中心點的棋盤距離，Xl分別為五個關鍵點的橫坐標， yi分別為五個關鍵點的 縱坐標。
[0112] 用（11)式計算上述五個距離的最小距離：
[0113] D=min(di，d2，d3，d4，d5) (11)
[0114] 以（（x-0.77D)，y)為左上角，裁剪成寬為1.58D、高為1.78D的矩形，得到10000幅嘴 巴子圖。
[0115] 10000幅嘴巴子圖大小歸一化、對10000幅嘴巴子圖進行亮度調節(jié)步驟與實施例1 相同，得到1 〇〇〇〇幅32 X 32標準嘴巴圖像。
[0116] 2、訓練卷積神經(jīng)網(wǎng)絡
[0117] 訓練卷積神經(jīng)網(wǎng)絡的參數(shù)設定為：10000幅訓練樣本分批訓練，每批圖像150幅，學 習步長設為1. 〇，最大迭代次數(shù)為300。
[0118] 將10000幅訓練樣本預處理后得到的10000幅32X32標準嘴巴圖像輸入卷積神經(jīng) 網(wǎng)絡，經(jīng)前向傳播和反向傳播兩個步驟反復循環(huán)至達到設定的最大迭代次數(shù)，得到卷積神 經(jīng)網(wǎng)絡和10000幅訓練樣本的多尺度特征，多尺度特征的生成過程按照卷積神經(jīng)網(wǎng)絡進行 具體設計。
[0119] 本實施例的卷積神經(jīng)網(wǎng)絡的結構與實施例1相同，多尺度特征的生成過程與實施 例1相同，得到10000個300維的多尺度特征。這種通過卷積神經(jīng)網(wǎng)絡自動提取的特征避免了 人為選擇特征的片面性和復雜性。
[0120] 3、訓練支持向量機分類器
[0121 ]訓練支持向量機分類器步驟與實施例1相同。
[0122]本實施例的測試步驟與實施例1相同。
【主權項】
1. 一種對人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡的檢測方法，它是由訓練步驟和測試步 驟組成，所述的訓練步驟為： (1) 對訓練樣本圖像進行預處理 包括圖像灰度化、嘴巴子圖定位、大小歸一化以及亮度調節(jié)步驟； 圖像灰度化：用（1)式對被訓練的樣本圖像進行灰度化處理，將彩色圖像轉為灰度圖 像： I=ffrXR+ffgXG+ffbXB (1) 式中I為灰度化后的亮度，R為彩色圖像的紅色分量，G為彩色圖像的綠色分量，B為彩色 圖像的藍色分量，Wr為彩色圖像的紅色分量的權重，Wg為彩色圖像的綠色分量的權重，Wb為 彩色圖像的藍色分量的權重； 嘴巴子圖定位：用五個關鍵點橫坐標的平均值作為中心點的橫坐標X，用五個關鍵點縱 坐標的平均值作為中心點的縱坐標y，用歐式距離或曼哈頓距離或棋盤距離計算五個關鍵 點到中心點的距離；計算上述五個距離的最大距離D或平均距離D或最小距離D，以（（X-(0.75~0.77)0)， 7)為左上角，裁剪成寬為（1.5~1.58)0、高為（1.7~1.78)0的矩形，得到 嘴巴子圖； 嘴巴子圖大小歸一化:將上述嘴巴子圖用雙三次插值法或B樣條插值法或三次樣條插 值法或等距插值法或四次樣條插值法或拉格朗日插值法，歸一化為32 X 32嘴巴子圖，像素 總個數(shù)為322; 對嘴巴子圖進行亮度調節(jié):采用自適應亮度調節(jié)法或分段線性拉伸法或直方圖均衡化 算法，獲得亮度調節(jié)后的嘴巴子圖； 自適應亮度調節(jié)法，用(4)式計算32X32嘴巴子圖的直方圖h(x)累加和與像素總個數(shù) 的比值cdf (X):(4) 式中xe [〇 ,255]，在cdf (X)中尋找第一個大于0.01的索引值ilow和第一個大于0.99的 索引值ihigh; 用(5)式得到亮度范圍[low，high]: low= (i low-1 )/255, high = (ihigh-1 )/255 (5) 用(6)式計算調節(jié)后的亮度值J J= (tmp-low)/(high-low) (6) 式中1^=11^(1〇￥，111；[11〇1丨811，1))，1為灰度化后的亮度，得到32\32標準嘴巴圖像； (2) 訓練卷積神經(jīng)網(wǎng)絡 將訓練樣本預處理后得到的32X32標準嘴巴圖像輸入卷積神經(jīng)網(wǎng)絡，經(jīng)前向傳播和反 向傳播兩個步驟反復循環(huán)至達到設定的最大迭代次數(shù)，得到卷積神經(jīng)網(wǎng)絡和訓練樣本的多 尺度特征； (3) 訓練支持向量機分類器 把多尺度特征輸入支持向量機，支持向量機根據(jù)多尺度特征尋找最優(yōu)分類超平面，得 到支持向量機分類器，該分類器的輸出是1或〇，1為微笑，〇為不微笑； 所述的測試步驟為： (1) 對測試樣本圖像進行預處理 測試樣本圖像的預處理與對訓練樣本圖像進行預處理步驟(1)相同； (2) 用預處理后的測試樣本輸入到卷積神經(jīng)網(wǎng)絡中，提取測試樣本的多尺度特征； (3) 將多尺度特征輸入到支持向量機分類器中，得到檢測結果，即是否微笑。2. 根據(jù)權利要求1所述的對人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡的檢測方法，其特征 在于所述的卷積神經(jīng)網(wǎng)絡的結構為:輸入層是32X32的標準嘴巴圖像;C1層是第一個卷積 層，有10個28 X 28的特征圖，每個特征圖中的1個像素點與輸入層的1個5 X 5區(qū)域相連接，共 (5 X 5+1) X 10 = 260個訓練參數(shù);S2層是下2采樣層，有10個14 X 14特征圖，每個特征圖中的 1個像素點與C1層相應特征圖的1個2X2區(qū)域相連接，共IX 10個偏置參數(shù);C3層是第二個卷 積層，有12個10 X 10的特征圖，每個特征圖中的1個像素點與S2層相應的1個5 X 5區(qū)域相連 接，共(5 X 5+1) X 10 X 12 = 3120個參數(shù);S4層為第二個下2采樣層，有12個5 X 5的特征圖，共 IX 12個偏置參數(shù);F5層是S4中12個5X5的特征圖以列序為主序依次排列生成的1個300維 的多尺度特征;輸出層由2個結點1和0組成，F(xiàn)5層與輸出層之間全連接，共300X2 = 600個參 數(shù);該深度卷積神經(jīng)網(wǎng)絡共260+10+3120+12+600 = 4002個參數(shù)，通過前向傳播和反向傳播 反復循環(huán)至達到設定的最大迭代次數(shù)，確定網(wǎng)絡參數(shù)。3. 根據(jù)權利要求1所述的對人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡的檢測方法，其特征 在于所述的支持向量機為:支持向量機的核函數(shù)選擇徑向基函數(shù)，其參數(shù)gamma = 0.05，支 持向量機的輸入是從卷積神經(jīng)網(wǎng)絡得到的多尺度特征，輸出是1或〇，1為微笑，〇為不微笑。4. 根據(jù)權利要求1或2或3所述的對人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡的檢測方法， 其特征在于所述的多尺度特征的生成過程為:將32 X 32的標準嘴巴圖像輸入到卷積神經(jīng)網(wǎng) 絡的輸入層中，經(jīng)C1層、S2層、C3層和S4層的2次卷積和下2采樣，得到12個5X5的特征圖，以 列序為主序依次排列生成的1個300維的多尺度特征。
【專利摘要】一種對人體面部微笑表情深度卷積神經(jīng)網(wǎng)絡的檢測方法，由訓練步驟和測試步驟組成。訓練步驟為：對訓練樣本圖像進行預處理、訓練卷積神經(jīng)網(wǎng)、訓練支持向量機分類器步驟；測試步驟為：對測試樣本圖像進行預處理，用預處理后的測試樣本輸入到卷積神經(jīng)網(wǎng)絡中提取測試樣本的多尺度特征，將多尺度特征輸入到支持向量機分類器中，得到檢測結果，即是否微笑。本發(fā)明從大量樣本圖像中自動地提取微笑特征，避免了人工設計特征的復雜性和片面性，再利用支持向量機分類器進行微笑檢測，提高了檢測的準確率，可用于新產(chǎn)品用戶體驗評價、服務人員微笑服務評價、相機微笑快門控制及照片選擇等。
【IPC分類】G06K9/00
【公開號】CN105608447
【申請?zhí)枴緾N201610089191
【發(fā)明人】馬苗, 朱青青, 鄭雪, 孫莉, 裴炤, 郭敏
【申請人】陜西師范大學
【公開日】2016年5月25日
【申請日】2016年2月17日