基于深度圖像的三維人臉描述方法及裝置制造方法
【專利摘要】一種基于深度圖像的三維人臉描述裝置及其方法，該裝置包括：用于選取表情魯棒區(qū)域的選擇單元；用于存儲(chǔ)蓋博濾波器系數(shù)的第一存儲(chǔ)單元；利用蓋博濾波器系數(shù)對(duì)選取的三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計(jì)算的蓋博響應(yīng)計(jì)算單元；用于存儲(chǔ)三維人臉數(shù)據(jù)的視覺(jué)詞典的第二存儲(chǔ)單元；以及獲得第一數(shù)據(jù)計(jì)算單元通過(guò)計(jì)算得到的每個(gè)像素獲得的蓋博響應(yīng)向量，并將其與視覺(jué)詞典進(jìn)行直方圖映射的映射算單元。本發(fā)明通過(guò)蓋博濾波提取三維人臉數(shù)據(jù)細(xì)節(jié)紋理，通過(guò)直方圖映射獲取三維人臉數(shù)據(jù)全局屬性，通過(guò)視覺(jué)詞典方式把細(xì)節(jié)紋理的描述性和直方圖的魯棒性結(jié)合起來(lái)，兼顧深度三維人臉數(shù)據(jù)細(xì)節(jié)紋理有效性和全局紋理魯棒性，有效提升三維人臉特征向量的描述能力。
【專利說(shuō)明】基于深度圖像的三維人臉描述方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及人臉識(shí)別【技術(shù)領(lǐng)域】，尤其是指基于深度圖像的三維人臉描述方法及裝置。
【背景技術(shù)】
[0002]三維人臉的特征描述是諸如三維人臉識(shí)別、三維人臉?lè)N族分類以及情感狀態(tài)分析等眾多應(yīng)用的基礎(chǔ)性工作。因此，在三維數(shù)據(jù)采集技術(shù)飛速發(fā)展以及三維數(shù)據(jù)的質(zhì)量和精度大大提升之后，很多研究者都將研究重點(diǎn)投入到該領(lǐng)域中。
[0003]其中，于2010年12月29日公開(kāi)的201010256907.6號(hào)中國(guó)發(fā)明專利申請(qǐng)?zhí)岢隽?br> 采用三維彎曲不變量的相關(guān)特征用來(lái)進(jìn)行人臉特性描述的方法，該方法通過(guò)編碼三維人臉表面相鄰節(jié)點(diǎn)的彎曲不變量的局部特征，提取彎曲不變量相關(guān)特征；對(duì)所述彎曲不變量的相關(guān)特征進(jìn)行簽名并采用譜回歸進(jìn)行降維，獲得主成分，并運(yùn)用K最近鄰分類方法對(duì)三維人臉進(jìn)行識(shí)別。但是由于提取變量相關(guān)特征時(shí)需要復(fù)雜的計(jì)算量，因此在效率上限制了該方法的進(jìn)一步應(yīng)用。
[0004]而2011年5月4日公開(kāi)的200910197378.4號(hào)中國(guó)發(fā)明專利申請(qǐng)則提出了一種全自動(dòng)三維人臉檢測(cè)和姿勢(shì)糾正的方法，該方法通過(guò)對(duì)人臉三維曲面進(jìn)行多尺度的矩分析，提出了臉部區(qū)域特征來(lái)粗糙地檢測(cè)人臉曲面，及提出鼻尖區(qū)域特征來(lái)準(zhǔn)確地定位鼻尖的位置，然后進(jìn)一步精確地分割出完整的人臉曲面，根據(jù)人臉曲面的距離信息提出鼻根區(qū)域特征來(lái)檢測(cè)鼻根的位置后，建立了一個(gè)人臉坐標(biāo)系，并據(jù)此自動(dòng)地進(jìn)行人臉姿勢(shì)的糾正應(yīng)用。該方法目的在于對(duì)三維人臉數(shù)據(jù)的姿態(tài)進(jìn)行估計(jì)，屬于三維人臉識(shí)別系統(tǒng)的數(shù)據(jù)預(yù)處理階段。
[0005]有效而魯棒的描述三維人臉數(shù)據(jù)是三維人臉領(lǐng)域中許多應(yīng)用的基礎(chǔ)性工作。因此，該領(lǐng)域的初始工作大部分是利用三維數(shù)據(jù)的信息:如曲率、深度等數(shù)據(jù)對(duì)人臉進(jìn)行描述，但是由于三維數(shù)據(jù)的采集中有很多數(shù)據(jù)的噪點(diǎn)，因此曲率等特征數(shù)據(jù)由于其本身對(duì)于噪音的敏感特性，使得其作為三維人臉的特征描述向量在識(shí)別結(jié)果上精度不高。在將三維數(shù)據(jù)映射到深度圖數(shù)據(jù)后，很多二維人臉的表象特征開(kāi)始應(yīng)用到該領(lǐng)域，如主成分分析(PCA)以及蓋博(Gabor)濾波器特征；但是這些特征也有各自的缺點(diǎn):(I)對(duì)于PCA特征，由于其隸屬于全局的表象特征，因此對(duì)于三維數(shù)據(jù)的細(xì)節(jié)紋理描述能力不足(2)對(duì)于蓋博濾波器特征，由于三維數(shù)據(jù)的噪音問(wèn)題，導(dǎo)致其對(duì)于三維人臉數(shù)據(jù)的描述能力依賴于獲取的三維人臉數(shù)據(jù)的質(zhì)量。

【發(fā)明內(nèi)容】

[0006]本發(fā)明所要解決的技術(shù)問(wèn)題在于，提供一種基于深度圖像的三維人臉描述裝置，以兼顧深度三維人臉數(shù)據(jù)細(xì)節(jié)紋理有效性以及全局紋理魯棒性。
[0007]本發(fā)明進(jìn)一步所要解決的技術(shù)問(wèn)題在于，提供一種基于深度圖像的三維人臉描述方法，以兼顧深度三維人臉數(shù)據(jù)細(xì)節(jié)紋理有效性以及全局紋理魯棒性。[0008]為解決上述技術(shù)問(wèn)題，本發(fā)明提供如下技術(shù)方案:一種基于深度圖像的三維人臉描述裝置，其包括:
用于選取原始三維人臉數(shù)據(jù)的表情魯棒區(qū)域的選擇單元；
用于存儲(chǔ)不同尺度和方向的蓋博濾波器系數(shù)的第一存儲(chǔ)單元；
利用不同尺度和方向的蓋博濾波器系數(shù)對(duì)選擇單元所選取的三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計(jì)算的蓋博響應(yīng)計(jì)算單元；
用于存儲(chǔ)訓(xùn)練獲得的三維人臉數(shù)據(jù)的視覺(jué)詞典的第二存儲(chǔ)單元；以及獲得第一數(shù)據(jù)計(jì)算單元通過(guò)計(jì)算得到的每個(gè)像素獲得的蓋博響應(yīng)向量，并將其與從第二存儲(chǔ)單元中讀取到的視覺(jué)詞典進(jìn)行直方圖映射的映射算單元。
[0009]另一方面，本發(fā)明還提供一種基于深度圖像的三維人臉描述方法，包括如下步驟:
選擇步驟，由選擇單元選取三維人臉數(shù)據(jù)表情魯棒區(qū)域；
蓋博響應(yīng)計(jì)算步驟，第一數(shù)據(jù)計(jì)算單元利用預(yù)定義好并存儲(chǔ)于第一存儲(chǔ)單元中的不同尺度和方向的蓋博濾波器系數(shù)對(duì)選擇單元所選取的三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計(jì)算；
直方圖映射步驟，由第二計(jì)算單元獲得第一數(shù)據(jù)計(jì)算單元通過(guò)計(jì)算得到的每個(gè)像素獲得的蓋博響應(yīng)向量，并將其與從第二存儲(chǔ)單元中讀取到的視覺(jué)詞典進(jìn)行直方圖映射，從而得到視覺(jué)詞典直方圖。
[0010]進(jìn)一步地，所述選擇步驟中，選擇單元對(duì)原始三維人臉數(shù)據(jù)的表情魯棒區(qū)域進(jìn)行截取，提取人臉到鼻子的局部有效區(qū)域，并直接過(guò)濾額頭、嘴唇以及嘴角區(qū)域。
[0011]進(jìn)一步地，所述蓋博響應(yīng)計(jì)算步驟中，所述第一數(shù)據(jù)計(jì)算單元基于深度三維人臉數(shù)據(jù)，提取其表象特征，并利用預(yù)定義好的蓋博濾波器系數(shù)，對(duì)三維人臉深度圖像進(jìn)行卷積運(yùn)算，對(duì)每個(gè)深度圖像像素獲取得到其對(duì)應(yīng)的蓋博濾波響應(yīng)向量。
[0012]進(jìn)一步地，所述蓋博響應(yīng)計(jì)算步驟中，所述蓋博濾波器系數(shù)的定義如下:
【權(quán)利要求】
1.一種基于深度圖像的三維人臉描述裝置，其特征在于，其包括: 用于選取原始三維人臉數(shù)據(jù)的表情魯棒區(qū)域的選擇單元； 用于存儲(chǔ)不同尺度和方向的蓋博濾波器系數(shù)的第一存儲(chǔ)單元； 利用不同尺度和方向的蓋博濾波器系數(shù)對(duì)選擇單元所選取的三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計(jì)算的蓋博響應(yīng)計(jì)算單元； 用于存儲(chǔ)訓(xùn)練獲得的三維人臉數(shù)據(jù)的視覺(jué)詞典的第二存儲(chǔ)單元；以及 獲得第一數(shù)據(jù)計(jì)算單元通過(guò)計(jì)算得到的每個(gè)像素獲得的蓋博響應(yīng)向量，并將其與從第二存儲(chǔ)單元中讀取到的視覺(jué)詞典進(jìn)行直方圖映射的映射算單元。
2.一種基于深度圖像的三維人臉描述方法，其特征在于，包括如下步驟: 選擇步驟，由選擇單元選取三維人臉數(shù)據(jù)表情魯棒區(qū)域； 蓋博響應(yīng)計(jì)算步驟，第一數(shù)據(jù)計(jì)算單元利用預(yù)定義好并存儲(chǔ)于第一存儲(chǔ)單元中的不同尺度和方向的蓋博濾波器系數(shù)對(duì)選擇單元所選取的三維人臉數(shù)據(jù)進(jìn)行不同尺度和方向的響應(yīng)計(jì)算； 直方圖映射步驟，由第二計(jì)算單元獲得第一數(shù)據(jù)計(jì)算單元通過(guò)計(jì)算得到的每個(gè)像素獲得的蓋博響應(yīng)向量，并將其與從第二存儲(chǔ)單元中讀取到的視覺(jué)詞典進(jìn)行直方圖映射，從而得到視覺(jué)詞典直方圖。
3.如權(quán)利要求2所述的基于深度圖像的三維人臉描述方法，其特征在于，所述選擇步驟中，選擇單元對(duì)原始三維人臉數(shù)據(jù)的表情魯棒區(qū)域進(jìn)行截取，提取人臉到鼻子的局部有效區(qū)域，并直接過(guò)濾額頭、嘴唇以及嘴角區(qū)域。
4.如權(quán)利要求2所述的基于深度圖像的三維人臉描述方法，其特征在于，所述蓋博響應(yīng)計(jì)算步驟中，所述第一數(shù)據(jù)計(jì)算單元基于深度三維人臉數(shù)據(jù)，提取其表象特征，并利用預(yù)定義好的蓋博濾波器系數(shù)，對(duì)三維人臉深度圖像進(jìn)行卷積運(yùn)算，對(duì)每個(gè)深度圖像像素獲取得到其對(duì)應(yīng)的蓋博濾波響應(yīng)向量。
5.如權(quán)利要求2或4所述的基于深度圖像的三維人臉描述方法，其特征在于，所述蓋博響應(yīng)計(jì)算步驟中，所述蓋博濾波器系數(shù)的定義如下:
6.如權(quán)利要求2所述的基于深度圖像的三維人臉描述方法，其特征在于，所述方法還包括獲取視覺(jué)詞典步驟，利用訓(xùn)練集中的三維人臉圖像的蓋博響應(yīng)向量集合，通過(guò)聚類算法，以其聚類中心作為視覺(jué)詞匯，將所有的詞匯匯集在一起獲取視覺(jué)詞典。
7.如權(quán)利要求6所述的基于深度圖像的三維人臉描述方法，其特征在于，所述聚類算法為K均值算法，包括如下步驟: 步驟1，對(duì)于數(shù)據(jù)對(duì)象集，任意選取K個(gè)對(duì)象作為初始的類中心；步驟2，根據(jù)類中對(duì)象的平均值，將每個(gè)對(duì)象重新賦給最相似的類； 步驟3，更新類的平均值，即計(jì)算每個(gè)類中對(duì)象的平均值； 步驟4，跳回步驟2，循環(huán)進(jìn)行步驟2和步驟3，直至所得平均值不再發(fā)生變化即停止。
8.如權(quán)利要求2所述的基于深度圖像的三維人臉描述方法，其特征在于，所述第二儲(chǔ)存單元中所儲(chǔ)存的蓋博響應(yīng)向量組是min的數(shù)據(jù)矩陣，其中，m為獲取的聚類中心個(gè)數(shù)，η為蓋博響應(yīng)向量的維數(shù)。
9.如權(quán)利要求2所述的基于深度圖像的三維人臉描述方法，其特征在于，所述直方圖映射步驟中，通過(guò)計(jì)算每個(gè)像素蓋博響應(yīng)后的向量與其距離最近的視覺(jué)詞匯，構(gòu)建基于視覺(jué)詞典的直方圖描述，第二儲(chǔ)存單元中存儲(chǔ)的聚類中心為m個(gè)，則得到的對(duì)于三維人臉數(shù)據(jù)的直方圖描述向量也為m維。
10.如權(quán)利要求9所述的基于深度圖像的三維人臉描述方法，其特征在于，所述直方圖映射步驟的具體步驟如下: 將三維人臉深度圖像分割成一些局部紋理區(qū)域； 對(duì)每個(gè)蓋博濾波響應(yīng)向量，按照位置的不同將其映射到其對(duì)應(yīng)的視覺(jué)分詞典的詞匯中，并以此為基礎(chǔ)建立視覺(jué)詞典直方圖向量作為三維人臉的特征表達(dá)； 最近鄰分類器被用來(lái)作為最后的人臉識(shí)別，并以LI距離作為距離度量，所述LI距離的
定義為
【文檔編號(hào)】G06K9/46GK103971122SQ201410182357
【公開(kāi)日】2014年8月6日 申請(qǐng)日期:2014年4月30日 優(yōu)先權(quán)日:2014年4月30日
【發(fā)明者】夏春秋 申請(qǐng)人:深圳市唯特視科技有限公司