基于方向圖模型的人臉畫像合成方法
【專利摘要】本發(fā)明公開了一種基于方向圖模型的人臉畫像合成方法，主要解決現(xiàn)有方法在對人臉圖像合成細(xì)節(jié)不明顯的問題。其實現(xiàn)步驟是：(1)劃分訓(xùn)練畫像樣本集、訓(xùn)練照片樣本集和測試照片樣本集；(2)對訓(xùn)練畫像樣本集中的畫像、訓(xùn)練照片樣本集中的照片和測試照片進(jìn)行塊劃分；(3)根據(jù)劃分的圖像塊組成待選擇照片塊集和待選擇畫像塊集；(4)對訓(xùn)練畫像和照片樣本塊集提取像素值特征及方向特征；(5)計算待選擇畫像塊權(quán)值集；(6)根據(jù)待選擇畫像塊權(quán)值集計算偽畫像塊集；(7)根據(jù)偽畫像塊集，生成偽畫像。本發(fā)明由于考慮了人臉圖像本身的領(lǐng)域約束，使得生成的人臉畫像細(xì)節(jié)部位明顯，可用于公共安全領(lǐng)域中人臉檢索與識別。
【專利說明】
基于方向圖模型的人臉畫像合成方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，尤其涉及一種人臉畫像合成方法，可用于公共安 全領(lǐng)域中人臉檢索與識別。
【背景技術(shù)】
[0002] 基于人臉的身份識別技術(shù)是公共安全管理中最便捷有效的身份認(rèn)證技術(shù)之一。例 如在刑偵破案當(dāng)中，由于客觀原因?qū)е孪右煞傅恼掌y以獲得時，可以根據(jù)目擊證人的描 述，由法醫(yī)繪制出嫌疑犯的畫像。但是由于照片和畫像成像原理不同，在形狀和紋理方面均 存在較大的差異，給基于畫像的人臉識別帶來諸多困難。人臉畫像合成技術(shù)是通過圖像處 理技術(shù)將警方人臉數(shù)據(jù)庫中的照片轉(zhuǎn)化為偽畫像，之后可以將嫌疑犯的畫像在偽畫像數(shù)據(jù) 庫中進(jìn)行識別，是提高基于畫像的人臉識別的有效技術(shù)之一，因此受到廣泛的關(guān)注。
[0003] 現(xiàn)有的人臉畫像合成方法大多是基于線性合成的。比如X. Tang等人在文獻(xiàn)"Face photo recognition using sketch, in Proceedings of IEEE International Conference on Image Processing,2002，ρρ·Ι_257·"中提出一種基于特征變化的方法。該 方法將人臉畫像合成過程看作線性組合的過程，用主成分分析的方法進(jìn)行畫像合成。該類 方法存在的不足之處在于，通過線性組合的方法可以看作由低通濾波器進(jìn)行濾波，會過濾 掉一些高頻細(xì)節(jié)信息，導(dǎo)致最終合成的人臉畫像細(xì)節(jié)失真。
[0004] 為了克服上述問題，N.Wang等人在文獻(xiàn)"Heterogeneous image transformation, Pattern Recognition Letters，vol ·34，ηο· 1，ρρ·77_84,2013." 中提出一種基于稀疏特征 選擇的方法。該方法通過自適應(yīng)的領(lǐng)域選擇有效的解決了噪聲引入和邊緣模糊等影響。但 該方法忽略了領(lǐng)域約束，而且它是個兩步框架，增加了人臉畫像合成的復(fù)雜度。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的在于針對上述現(xiàn)有方法的不足，提出一種基于方法圖模型的人臉畫 像合成方法，以提高生成的偽畫像的質(zhì)量，使得生成的偽畫像的細(xì)節(jié)部位更明顯。
[0006] 實現(xiàn)本發(fā)明目的的技術(shù)方案包括如下步驟：
[0007] (1)從畫像-照片對集中取出L張畫像組成訓(xùn)練畫像樣本集TR，并取出與訓(xùn)練畫像 樣本集T R中的畫像一一對應(yīng)的L張照片組成訓(xùn)練照片樣本集TE，將剩余畫像-照片對組成測 試樣本集，從測試樣本集中選取一張測試照片A;
[0008] (2)將訓(xùn)練畫像樣本集TR中的畫像和訓(xùn)練照片樣本集TE中的照片分別劃分為相互 重疊大小相同的塊；
[0009] (3)將測試照片A劃分為同樣大小及同樣重疊程度的塊，用集合SiiS^Ss，···， Si，…，SN}表示，1 < i < N;并對每個測試照片塊Si進(jìn)行像素值特征提取，根據(jù)特征距離從訓(xùn) 練照片塊中尋找近鄰數(shù)K個相近的照片塊作為待選擇照片塊集，記作PiiiP^Pu，···， P1; J，~P1>K}，1 < j < K;同時從訓(xùn)練畫像塊中選擇對應(yīng)的畫像塊作為待選畫像塊集，記作Qi = {Qi，i，Qi,2，."，Qi，j，."，Qi，K}，1 < j <K;
[0010] ⑷對訓(xùn)練畫像樣本集TR和照片樣本集TE中的所有塊 像素值特征提取，其中1 < c < Z，Z為圖像塊的總個數(shù)；
[0011] (5)對訓(xùn)練畫像樣本集TR和照片樣本集TE中的所有塊M，利用Gabor濾波器提取圖像 塊的方向特征；
[0012] (6)利用步驟⑷得到的圖像塊像素值特征和步驟(5)得到的圖像塊方向特征，通 過交替迭代的方法求解馬爾科夫網(wǎng)絡(luò)模型，得到每個測試照片塊兩個特征之間的權(quán)值 集同時得到每個測試照片塊對應(yīng)的待選擇照片塊集{P^PU，…，PU，··· Pi,K}的權(quán)值集Wi= {wi,l，Wi,2,…，Wi,j，…，Wi,K};
[0013] (7)根據(jù)待選擇畫像塊集{Qi, i，Qi, 2，· · ·，Qi, j，· · ·，Qi,K}和待選擇照片塊權(quán)值集{Wi, i， w1>2，…，，…，Wl,K}，按照下式得到每個測試照片塊Sd#應(yīng)的待合成偽畫像塊t
[0014] X： =Qm, ^ / = 1,2-··, ；
[0015] (8)將偽畫像塊集，…，ΧΝ}中的Ν個偽畫像塊進(jìn)行組合，得到與測試照 片Α對應(yīng)的偽畫像。
[0016] 本發(fā)明利用人臉圖像的方向約束信息，實現(xiàn)人臉畫像合成，與現(xiàn)有方法相比，由于 考慮了人臉圖像方向約束信息，使得生成的圖像細(xì)節(jié)部位明顯，克服了現(xiàn)有方法中對人臉 圖像忽略高頻信息帶來的細(xì)節(jié)不明顯的問題。
[0017] 以下面結(jié)合附圖，對本發(fā)明實現(xiàn)的步驟作進(jìn)一步的詳細(xì)描述。
【附圖說明】
[0018] 圖1為本發(fā)明的實現(xiàn)流程圖；
[0019] 圖2為本發(fā)明與現(xiàn)有的兩種方法在CUHK student數(shù)據(jù)庫上生成的偽畫像的對比結(jié) 果圖。
【具體實施方式】
[0020] 參照圖1，本發(fā)明的實現(xiàn)步驟如下：
[0021 ]步驟1，劃分訓(xùn)練畫像樣本集、訓(xùn)練照片樣本集和測試樣本集。
[0022] 從畫像-照片對集中取出L張畫像組成訓(xùn)練畫像樣本集TR，并取出與訓(xùn)練畫像樣本 集TR中的畫像一一對應(yīng)的L張照片組成訓(xùn)練照片樣本集T E，將剩余畫像-照片對組成測試樣 本集，從測試樣本集中選取一張測試照片A。
[0023] 步驟2,對訓(xùn)練畫像樣本集中的畫像、訓(xùn)練照片樣本集中的照片進(jìn)行塊劃分。
[0024]將訓(xùn)練畫像樣本集TR中的畫像和訓(xùn)練照片樣本集TE中的照片分別劃分為相互重疊 大小相同的塊。
[0025] 步驟3,組成待選擇照片塊集和待選擇畫像塊集。
[0026] 按照步驟2將測試照片A劃分為同樣大小及同樣重疊程度的塊，用集合S= {Si， S2，…，Si，…，SN}表示，1 < i < N;并對每個測試照片塊Si進(jìn)行像素值特征提取，根據(jù)特征距 離從訓(xùn)練照片塊中尋找近鄰數(shù)K個相近的照片塊作為待選擇照片塊集，記作PiiiPn Pi, 2,…，Pi, j，···Pi.d，1 < j < K;同時從訓(xùn)練畫像塊中選擇對應(yīng)的畫像塊作為待選畫像塊集， 記作Qi = {Qi，i，Qi，2,…，Qi,j，…，Qi，d，1 < j < K。
[0027] 步驟4，對訓(xùn)練畫像樣本集TR和照片樣本集TE中的所有圖像塊M提取像素值特征。
[0028] 對訓(xùn)練畫像樣本集TR和照片樣本集TE中的所有塊Μ= {Μ!，M2，…，MC，…，Mz}按如下 公式進(jìn)行像素值特征提?。?br>[0029] Vc = f(Mc)
[0030] 其中l(wèi)<c<Z，Z為圖像塊的總個數(shù)，f表示灰度化圖像過程。
[0031 ]步驟5，對訓(xùn)練畫像樣本集TR和照片樣本集TE中的所有圖像塊Μ提取方向特征。
[0032] 對訓(xùn)練畫像樣本集TR和照片樣本集ΤΕ中的圖像塊Μ提取方向特征，可采用現(xiàn)有的二 進(jìn)小波變換，離散小波變換和Gabor變換方法進(jìn)行，本發(fā)明選用但不局限于Gabor變換法，具 體步驟如下：
[0033] (5a)將圖像塊Mc與尺度為b、方向為d的Gabor函數(shù)Gs,d進(jìn)行卷積，結(jié)果為D c,(b,d):
[0034] Dt'(h.d) = L ? Gb.d '
[0035] 其中0<b<2，d = 0° ,10° ,20°，···，350°，?表示卷積過程；
[0036] (5b)取D。, (μ)的最大值得到圖像塊M。的方向特征D。：
[0037] Dc=max{Dc,(b,d)} 〇
[0038] 步驟6,利用馬爾科夫網(wǎng)絡(luò)模型計算待選擇照片塊權(quán)值集。
[0039] 利用步驟(4)得到的圖像塊像素值特征和步驟(5)得到的圖像塊方向特征，通過交 替迭代的方法求解馬爾科夫網(wǎng)絡(luò)模型，得到每個測試照片塊3 1的兩個特征之間的權(quán)值集yi 二卜&叫山同時得到每個測試照片塊對應(yīng)的待選擇照片塊集仍^力^…上^-中^} 的權(quán)值集Wi= {wi,l，Wi,2，···，Wi,j，···，Wi,K};
[0040] 所述的通過交替迭代的方法求解步驟具體為：
[0041 ] (6a)對每個測試照片塊Si均隨機(jī)初始化兩個特征之間的權(quán)值講；
[0042] (6b)根據(jù)待選擇照片塊與測試照片塊的兩個特征之間的距離，計算測試照片塊與 待選擇照片塊之間的關(guān)系；
[0043] (6c)根據(jù)相鄰位置的待選擇畫像塊的像素值之間的距離，計算相鄰位置的待選擇 畫像塊之間的關(guān)系；
[0044] (6d)將步驟(6b)和步驟(6c)的結(jié)果，帶入到馬爾可夫模型；
[0045] (6e)利用馬爾可夫模型，在給定兩個特征之間的權(quán)值以1的情況下，預(yù)測待選擇照 片塊的權(quán)值Wi;
[0046] (6f)將待選擇照片塊的權(quán)值^再帶入馬爾可夫模型，預(yù)測兩個特征之間的權(quán)值μ1;
[0047] (6g)迭代執(zhí)行步驟(6b)至步驟(6f)，直至每個測試照片塊對應(yīng)的待選擇照片塊的 權(quán)值 Wl不再變化或者達(dá)到預(yù)設(shè)的迭代次數(shù)，得到每個測試照片塊的兩個特征之間的權(quán)值μι 和待選擇照片塊的權(quán)值Wi。
[0048]步驟7,計算偽畫像塊集。
[0049] 根據(jù)待選擇畫像塊集％,1義,2，一義,」，~義,1(}和待選擇照片塊權(quán)值集{^, 1， w1>2，…，wu，…，Wl,K}，按照下式得到每個測試照片塊Sd#應(yīng)的待合成偽畫像塊t
[0050] Xl=Ql'.vl，i = \
[0051 ]步驟8，將偽畫像塊集{Χι，Χ2，…，Xi，…，Χν}中的Ν個偽畫像塊進(jìn)行組合，得到與測 試照片Α對應(yīng)的偽畫像。
[0052]在組合過程中，將每個偽畫像塊照測試照片塊位置順序進(jìn)行排列，i = 1， 2，···，N，對具有重疊區(qū)域的兩個偽畫像塊，將它們在重疊區(qū)域的像素值取平均，得到與測試 照片S對應(yīng)的偽畫像。
[0053]本發(fā)明的效果可以通過以下仿真實驗做進(jìn)一步的說明。
[0054] 1.仿真條件
[0055] 本發(fā)明是在0?1]為1的61(1〇(：〇代17-47903.606取、內(nèi)存166、￥1冊0￥5 7操作系統(tǒng) 上，使用美國Mathworks公司開發(fā)的MATLAB軟件進(jìn)行的仿真。
[0056] 實驗中所用的對比方法包括如下2種：
[0057] -是基于局部線性嵌入的方法，實驗中記為LLE ;參考文獻(xiàn)為Q . Liu，X . Tang， Η. Jin,Η.Lu,and S.Ma. A Nonlinear Approach for Face Sketch Synthesis and Recognition.In Proc.IEEE Int.Conference on Computer Vision,pp.1005-1010,2005；
[0058] 二是基于馬爾可夫權(quán)重場模型的方法，實驗中記作MWF;參考文獻(xiàn)為H. Zhou， Z.Kuang,and K·Wong·Markov Weight Fields for Face Sketch Synthesis . In Proc. IEEE Int.Conference on Computer Vision,pp.1091-1097,2012。
[0059] 實驗中使用的畫像數(shù)據(jù)庫為香港中文大學(xué)公開的CUHK student畫像數(shù)據(jù)庫。
[0060] 2.仿真內(nèi)容
[00611實驗1:利用本發(fā)明和現(xiàn)有的LLE方法和MWF方法在⑶HK student畫像數(shù)據(jù)庫上進(jìn) 行偽畫像的生成，結(jié)果如圖2,其中圖2(a)是測試照片，圖2(b)是LLE方法生成的偽畫像，圖2 (c)是MW F方法生成的偽畫像，圖2 (d)是本發(fā)明方法生成的偽畫像。
[0062]由圖2可見，由于本發(fā)明方法考慮了領(lǐng)域約束，使得生成的偽畫像細(xì)節(jié)部位明顯， 清晰度高，克服了現(xiàn)有方法對人臉圖像分塊時忽略領(lǐng)域約束帶來的細(xì)節(jié)不明顯的問題。 [0063]實驗2:利用特征相似度FS頂兩個評價指標(biāo)對實驗1用三種方法生成的偽畫像分別 統(tǒng)計平均值進(jìn)行質(zhì)量評價，F(xiàn)S頂越大，說明生成的偽畫像的質(zhì)量越好，三種方法的對比結(jié)果 如表1所示：
[0064]表1三種方法生成偽畫像的質(zhì)量評價
[0066]從表1可見，本發(fā)明方法生成的偽畫像的平均FS頂均高于三種對比方法，說明本發(fā) 明方法生成的偽畫像和原始畫像相似程度更高，可以取得較好的生成效果，進(jìn)一步驗證了 本發(fā)明的先進(jìn)性。
【主權(quán)項】
1. 基于方向圖模型的人臉畫像合成方法，其特征在于，包括： (1) 從畫像-照片對集中取出L張畫像組成訓(xùn)練畫像樣本集TR，并取出與訓(xùn)練畫像樣本集 Tr中的畫像一一對應(yīng)的L張照片組成訓(xùn)練照片樣本集TE，將剩余畫像-照片對組成測試樣本 集，從測試樣本集中選取一張測試照片A; (2) 將訓(xùn)練畫像樣本集TR中的畫像和訓(xùn)練照片樣本集TE中的照片分別劃分為相互重疊 大小相同的塊； (3) 將測試照片A劃分為同樣大小及同樣重疊程度的塊，用集合，…，SN} 表示，1 < i 并對每個測試照片塊Si進(jìn)行像素值特征提取，根據(jù)特征距離從訓(xùn)練照片塊 中尋找近鄰數(shù)K個相近的照片塊作為待選擇照片塊集，記作…，Ρ^,-Ρ^κ}， 1 <Κ;同時從訓(xùn)練畫像塊中選擇對應(yīng)的畫像塊作為待選畫像塊集，記作(^={0^， Qi,2,---,QiJ,---,Qi,K} ,1 < j <Κ； (4) 對訓(xùn)練畫像樣本集Tr和照片樣本集Τε中的所有塊Μ= {Μι ,Μ2，…,Μ。,…,Μζ}進(jìn)行像素 值特征提取，其中1 < c < Ζ，Ζ為圖像塊的總個數(shù)； (5) 對訓(xùn)練畫像樣本集Tr和照片樣本集ΤΕ中的所有塊Μ，利用Gabor濾波器提取圖像塊的 方向特征； (6) 利用步驟(4)得到的圖像塊像素值特征和步驟(5)得到的圖像塊方向特征，通過交 替迭代的方法求解馬爾科夫網(wǎng)絡(luò)模型，得到每個測試照片塊3 1的兩個特征之間的權(quán)值集yi ={μ&μ^}，同時得到每個測試照片塊對應(yīng)的待選擇照片塊集{P1;…，Ρ^Γ-Pi,κ} 的權(quán)值集Wi= {wi,l，Wi,2，···，Wi,j，···，Wi,K}; (7) 根據(jù)待選擇畫像塊集{Qi, i，Qi, 2，…，Qi, j，…，Qi, K}和待選擇照片塊權(quán)值集{Wi, i， ?1,2，一，《^，一，《1,1(}，按照下式得到每個測試照片塊5 1對應(yīng)的待合成偽畫像塊父1 Xi = QiWi，i = l，2，.·_，N; (8) 將偽畫像塊集，…，XN}中的N個偽畫像塊進(jìn)行組合，得到與測試照片A對 應(yīng)的偽畫像。2. 根據(jù)權(quán)利要求1中的基于方向圖模型的人臉畫像合成方法，其特征在于，步驟(4)中 對圖像塊進(jìn)行像素值特征提取，按如下公式進(jìn)行： 圖像塊M。的像素特征值V。： Vc = f(Mc)； f表示灰度化圖像過程。3. 根據(jù)權(quán)利要求1中的基于方向圖模型的人臉畫像合成方法，其特征在于，步驟(5)中 利用Gabor濾波器提取圖像塊的方向特征，按如下步驟進(jìn)行： (5a)將圖像塊M。與尺度為b、方向為d的Gabor函數(shù)Gs,d進(jìn)行卷積，結(jié)果DdM)為：其中0<b<2，d = 0°，10°，20°，···，350°表示卷積過程； (5b)取D。, (Μ)的最大值得到圖像塊Μ。的方向特征D。： Dc-Γηειχ {Dc，(b，d)} 〇4. 根據(jù)權(quán)利要求1中的基于方向圖模型的人臉畫像合成方法，其特征在于，步驟(6)中 通過交替迭代的方法求解馬爾可夫網(wǎng)絡(luò)模型，按如下步驟進(jìn)行： (6a)對每個測試照片塊&均隨機(jī)初始化兩個特征之間的權(quán)值μ1; (6b)根據(jù)待選擇照片塊與測試照片塊的兩個特征之間的距離，計算測試照片塊與待選 擇照片塊之間的關(guān)系； (6c)根據(jù)相鄰位置的待選擇畫像塊的像素值之間的距離，計算相鄰位置的待選擇畫像 塊之間的關(guān)系； (6d)將步驟(6b)和步驟(6c)的結(jié)果，帶入到馬爾可夫模型； (6e)利用馬爾可夫模型，在給定兩個特征之間的權(quán)值叫的情況下，預(yù)測待選擇照片塊的 權(quán)值Wi ; (6f)將待選擇照片塊的權(quán)值^再帶入馬爾可夫模型，預(yù)測兩個特征之間的權(quán)值μ1; (6g)迭代執(zhí)行步驟(6b)至步驟(6f)，直至每個測試照片塊對應(yīng)的待選擇照片塊的權(quán)值 Wl不再變化或者達(dá)到預(yù)設(shè)的迭代次數(shù)，得到每個測試照片塊的兩個特征之間的權(quán)值μι和待 選擇照片塊的權(quán)值Wi。
【文檔編號】G06K9/00GK105869134SQ201610171867
【公開日】2016年8月17日
【申請日】2016年3月24日
【發(fā)明人】高新波, 張宇航, 王楠楠, 李潔, 孫雷雨, 朱明瑞, 于昕曄, 彭春蕾, 馬卓奇, 曹兵, 查文錦
【申請人】西安電子科技大學(xué)