基于深度信念網(wǎng)絡(luò)的光場人臉識別方法
【專利摘要】一種基于深度信念網(wǎng)絡(luò)的光場人臉識別方法，包括如下步驟：a.基于光場相機所采集的人臉圖像，重構(gòu)人臉識別所需的4D光場子孔圖像陣列，得到訓(xùn)練集；b.使用光場相機對識別對象進行人臉圖像采集，基于識別對象的人臉圖像重構(gòu)4D光場子孔圖像陣列，得到測試集；c.將所述訓(xùn)練集輸入DBN分類器，對所述DBN分類器進行訓(xùn)練；d.將所述測試集輸入經(jīng)訓(xùn)練后的DBN分類器，由所述DBN分類器確定并輸出識別結(jié)果。該方法在人臉識別上能夠獲得十分好的效果，并且具有2D人臉圖像的易采集易操作等特性，有廣闊的應(yīng)用前景。
【專利說明】基于深度信念網(wǎng)絡(luò)的光場人臉識別方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理【技術(shù)領(lǐng)域】，特別是涉及一種基于深度信念網(wǎng)絡(luò)(De印BeliefNetworks,簡稱DBN)的光場人臉識別方法。
【背景技術(shù)】
[0002]很多現(xiàn)代人臉識別方法基于圖像的局部二值特征、SIFT特征等圖像特征，與其說嘗試去尋找新的圖像特征，不如應(yīng)用機器學(xué)習(xí)的相關(guān)方法自動學(xué)習(xí)相關(guān)特征。近些年，深度學(xué)習(xí)在二維人臉識別上的研究取得了一定成果。但是，目前三維人臉識別方面進展相對落后。

【發(fā)明內(nèi)容】

[0003]本發(fā)明的主要目的在于針對現(xiàn)有技術(shù)的不足，提供一種基于深度信念網(wǎng)絡(luò)的光場人臉識別方法。
[0004]為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案:
[0005]一種基于深度信念網(wǎng)絡(luò)的光場人臉識別方法，包括如下步驟:
[0006]a.基于光場相機所采集的人臉圖像，重構(gòu)人臉識別所需的4D光場子孔圖像陣列，得到訓(xùn)練集；
[0007]b.使用光場相機對識別對象進行人臉圖像采集，基于識別對象的人臉圖像重構(gòu)4D光場子孔圖像陣列，得到測試集；
[0008]c.將所述訓(xùn)練集輸入DBN分類器，對所述DBN分類器進行訓(xùn)練；
[0009]d.將所述測試集輸入經(jīng)訓(xùn)練后的DBN分類器，由所述DBN分類器確定并輸出識別
結(jié)果;
[0010]步驟a和步驟b中，重構(gòu)4D光場子孔圖像陣列的過程包括:
[0011]對于從光場相機采集的人臉圖像所得的微透鏡圖像陣列，確定陣列中各個微透鏡圖像的中心位置，并根據(jù)微透鏡圖像的中心位置坐標的小數(shù)部分數(shù)值(0.fx, 0.fy)，給予呈方形陣列的相鄰四個像素對應(yīng)的權(quán)重，重構(gòu)像素值P = waPt+wbPr+wePl+wdPd，其中P為提取的像素值，Pt、Pr、P1、Pd為微透鏡圖像的中心位置對應(yīng)的相鄰四個像素值，wa、wb、w。、wd為四個像素值依據(jù)微透鏡圖像的中心位置所確定的權(quán)重，wa+Wb+We+Wd = 1，由此提取出重構(gòu)的像素，并基于所提取的這些像素合成各子孔圖像，以構(gòu)成4D光場子孔圖像陣列。
[0012]根據(jù)優(yōu)選的實施例，本發(fā)明的技術(shù)方案還可能包括以下一些技術(shù)特征:
[0013]在構(gòu)成4D光場子孔圖像陣列之前還包括以下步驟:
[0014]對于各子孔圖像，偶數(shù)行的像素用相鄰的像素進行線性插值得到中間像素，而奇數(shù)行的像素不操作，基于線性插值的結(jié)果將呈菱形的像素排列恢復(fù)成正常的像素排列。
[0015]微透鏡圖像的中心位置的確定包括以下步驟:
[0016]通過檢測光場相機采集的源圖像的水平梯度圖和垂直梯度圖，得到梯度峰值點；
[0017]進行水平線性擬合與垂直擬合，得到每個水平直線與垂直直線交叉點的位置；[0018]利用交叉點的坐標，得到每個微透鏡圖像的中心坐標以及中心坐標之間距離的參
數(shù)信息。
[0019]步驟a包括使用光場相機進行人臉圖像采集。
[0020]步驟a和步驟b還包括對4D光場子孔圖像陣列中的每幅子孔圖像進行人臉位置的檢測和提取。
[0021 ] 步驟a中，對于每個4D光場子孔圖像陣列，選取覆蓋范圍小于整個子孔圖像陣列、處在中央?yún)^(qū)域的子孔圖像子陣列用作DBN分類器的訓(xùn)練輸入。
[0022]步驟b中，只重構(gòu)微透鏡圖像的中心位置上像素所合成的一個子孔圖像，用作經(jīng)訓(xùn)練后的DBN分類器的識別輸入。
[0023]步驟a中，所采集的人臉圖像包括不同光照條件和/或不同姿態(tài)和/或不同遮擋程度下采集的圖像。
[0024]在確定微透鏡圖像陣列中各個微透鏡圖像的中心位置之前，包括對光場相機采集的源圖像進行源文件解析、去除馬賽克以及對齊微透鏡圖像陣列的步驟。
[0025]在重構(gòu)4D光場子孔圖像陣列之后，還包括對4D光場子孔圖像陣列進行顏色修正的步驟。
[0026]本發(fā)明的有益效果:
[0027]本發(fā)明基于DBN的光場人臉識別方法，使用光場相機作為圖像采集工具，且能夠?qū)θ四樀墓鈭鱿鄼C數(shù)據(jù)作出快速、準確的處理分析，精確獲得微透鏡位置，其所實現(xiàn)的4D光場重構(gòu)以及利用DBN分類器深度學(xué)習(xí)的優(yōu)點使其在人臉識別上能夠獲得十分好的效果，并且具有2D人臉圖像的易采集易操作等特性，有廣闊的應(yīng)用前景。
【專利附圖】

【附圖說明】
[0028]圖1本發(fā)明基于DBN的光場人臉識別方法實施例的流程圖；
[0029]圖2本發(fā)明一種實施例中的4D光場重構(gòu)過程的流程圖；
[0030]圖3a_3c為獲得每個微透鏡圖像的中心坐標參數(shù)信息的線性擬合示意圖；
[0031]圖4為本發(fā)明一種實施例中對微透鏡圖像的中心位置提取相應(yīng)像素的示意圖；
[0032]圖5a和圖5b為本發(fā)明一種實施例中提取像素之后的菱形的像素排列以及通過插值恢復(fù)的正常的像素排列；
【具體實施方式】
[0033]以下結(jié)合附圖對本發(fā)明的實施方式作詳細說明。應(yīng)該強調(diào)的是，下述說明僅僅是示例性的，而不是為了限制本發(fā)明的范圍及其應(yīng)用。
[0034]根據(jù)本發(fā)明的實施例，如圖1所示，基于DBN的光場人臉識別方法可以包括4個部分:光場相機圖像采集、4D光場重構(gòu)、圖像預(yù)處理以及DBN分類器處理。
[0035]一、光場相機圖像采集
[0036]該部分使用光場相機采集人臉數(shù)據(jù)，可以采集光線較強的情況下人的正臉、側(cè)臉以及眼鏡遮擋照等，也可以采集光線較暗情況下的正臉、側(cè)臉和眼鏡遮擋照，建立起人臉圖像數(shù)據(jù)庫。光場相機可以采用已知的Lytix)相機。
[0037]二、4D光場重構(gòu)[0038]如圖2所示，4D光場重構(gòu)可以包括以下步驟:解析源文件、去馬賽克、對齊、光場重構(gòu)以及顏色修正。
[0039]解析源文件:
[0040]可以獲取的文件只有光場相機提供的.1fp格式的源文件，其中的XXX.1fp文件包含了圖像數(shù)據(jù)以及需要的所有元數(shù)據(jù)，通過解析該Ifp源文件，獲取圖像數(shù)據(jù)，以及解碼所需的相機參數(shù)信息metadata。
[0041].1fp文件格式如下表1。
[0042]表1
【權(quán)利要求】
1.一種基于深度信念網(wǎng)絡(luò)的光場人臉識別方法，其特征在于，包括如下步驟: a.基于光場相機所采集的人臉圖像，重構(gòu)人臉識別所需的4D光場子孔圖像陣列，得到訓(xùn)練集； b.使用光場相機對識別對象進行人臉圖像采集，基于識別對象的人臉圖像重構(gòu)4D光場子孔圖像陣列，得到測試集； c.將所述訓(xùn)練集輸入DBN分類器，對所述DBN分類器進行訓(xùn)練； d.將所述測試集輸入經(jīng)訓(xùn)練后的DBN分類器，由所述DBN分類器確定并輸出識別結(jié)果; 步驟a和步驟b中，重構(gòu)4D光場子孔圖像陣列的過程包括: 對于從光場相機采集的人臉圖像所得的微透鏡圖像陣列，確定陣列中各個微透鏡圖像的中心位置，并根據(jù)微透鏡圖像的中心位置坐標的小數(shù)部分數(shù)值(0.fx, 0.fy)，給予呈方形陣列的相鄰四個像素對應(yīng)的權(quán)重，重構(gòu)像素值P = waPt+wbPr+wePl+wdPd，其中P為提取的像素值，Pt、Pr、P1、Pd為微透鏡圖像的中心位置對應(yīng)的相鄰四個像素值，wa、wb、w。、wd為四個像素值依據(jù)微透鏡圖像的中心位置所確定的權(quán)重，wa+wb+we+wd = 1，由此提取出重構(gòu)的像素，并基于所提取的這些像素合成各子孔圖像，以構(gòu)成4D光場子孔圖像陣列。
2.如權(quán)利要求1所述的光場人臉識別方法，其特征在于，在構(gòu)成4D光場子孔圖像陣列之前還包括以下步驟: 對于各子孔圖像，偶數(shù)行的像素用相鄰的像素進行線性插值得到中間像素，而奇數(shù)行的像素不操作，基于線性插值的結(jié)果將呈菱形的像素排列恢復(fù)成正常的像素排列。
3.如權(quán)利要求1或2所述的光場人臉識別方法，其特征在于，微透鏡圖像的中心位置的確定包括以下步驟: 通過檢測光場相機采集的源圖像的水平梯度圖和垂直梯度圖，得到梯度峰值點； 進行水平線性擬合與垂直擬合，得到每個水平直線與垂直直線交叉點的位置； 利用交叉點的坐標，得到每個微透鏡圖像的中心坐標以及中心坐標之間距離的參數(shù)信肩、O
4.如權(quán)利要求1至3任一項所述的光場人臉識別方法，其特征在于，步驟a包括使用光場相機進行人臉圖像采集。
5.如權(quán)利要求1至3任一項所述的光場人臉識別方法，其特征在于，步驟a和步驟b還包括對4D光場子孔圖像陣列中的每幅子孔圖像進行人臉位置的檢測和提取。
6.如權(quán)利要求1至3任一項所述的光場人臉識別方法，其特征在于，步驟a中，對于每個4D光場子孔圖像陣列，選取覆蓋范圍小于整個子孔圖像陣列、處在中央?yún)^(qū)域的子孔圖像子陣列用作DBN分類器的訓(xùn)練輸入。
7.如權(quán)利要求1至3任一項所述的光場人臉識別方法，其特征在于，步驟b中，只重構(gòu)微透鏡圖像的中心位置上像素所合成的一個子孔圖像，用作經(jīng)訓(xùn)練后的DBN分類器的識別輸入。
8.如權(quán)利要求1至3任一項所述的光場人臉識別方法，其特征在于，步驟a中，所采集的人臉圖像包括不同光照條件和/或不同姿態(tài)和/或不同遮擋程度下采集的圖像。
9.如權(quán)利要求1至3任一項所述的光場人臉識別方法，其特征在于，在確定微透鏡圖像陣列中各個微透鏡圖像的中心位置之前，包括對光場相機采集的源圖像進行源文件解析、去除馬賽克以及對齊微透鏡圖像陣列的步驟。
10.如權(quán)利要求1至3任一項所述的光場人臉識別方法，其特征在于，在重構(gòu)4D光場子孔圖像陣列之后，還包括 對4D光場子孔圖像陣列進行顏色修正的步驟。
【文檔編號】G06K9/00GK103996023SQ201410199207
【公開日】2014年8月20日 申請日期:2014年5月9日 優(yōu)先權(quán)日:2014年5月9日
【發(fā)明者】袁春, 顧兵 申請人:清華大學(xué)深圳研究生院