專利名稱：一種面向整體特征分析的人臉圖像可逆幾何歸一化方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種人臉圖像幾何歸一化方法，特別涉及一種人臉圖像處理領(lǐng)域的基于二次仿射變換的人臉圖像可逆幾何歸一化方法。
背景技術(shù)：
隨著計(jì)算機(jī)和多媒體技術(shù)的發(fā)展和社會(huì)的不斷進(jìn)步，安全監(jiān)控、可視通信、醫(yī)學(xué)影像、衛(wèi)星遙感、電子娛樂、計(jì)算機(jī)視覺等各種領(lǐng)域?qū)Ω哔|(zhì)量圖像和視頻提出了廣泛的需求，高質(zhì)量的圖像/視頻能夠提供更豐富的信息和更真實(shí)的視覺感受，是很多實(shí)際應(yīng)用的基礎(chǔ)?？臻g分辨率指圖像中存儲的信息量，是衡量圖像細(xì)節(jié)表現(xiàn)力的重要指標(biāo)。真實(shí)世界的連續(xù)場景本身具有豐富的信息，但是受到成像設(shè)備、成像環(huán)境、噪聲等各種因素的影響，由成像設(shè)備獲取的數(shù)字圖像通常是低分辨率圖像，難以滿足不斷提高的實(shí)際應(yīng)用要求。尤其是來自于各種手持設(shè)備、車載視頻采集設(shè)備、無線視頻傳感器網(wǎng)絡(luò)以及惡劣自然條件下的視頻監(jiān)控設(shè)備等的圖像/視頻，在分辨率上通常難以令人滿意。因此，圖像/視頻超分辨率(Super-Resolution, SR)技術(shù)已成為近年來圖像處理領(lǐng)域的一個(gè)研究熱點(diǎn)。人臉是圖像處理與分析中的重要對象，針對人臉圖像的超分辨率復(fù)原引起了廣泛的關(guān)注。針對人臉圖像，基于整體人臉特征分析的方法得到了很好的實(shí)驗(yàn)結(jié)果。這類方法將人臉圖像作為一個(gè)整體進(jìn)行特征分析。對成對的高分辨率人臉圖像和相應(yīng)的低分辨率人臉圖像構(gòu)成的樣本庫進(jìn)行PCA(Principle Component Analysis)或ICA(Idendity ComponentAnalysis)分析。通過PCA將人臉整體分解為不同的特征臉的線性組合。樣本庫表現(xiàn)為一組低分辨率特征臉和對應(yīng)的高分辨率特征臉進(jìn)行PCA分解后的本征臉集合。超分辨率復(fù)原即首先將低分辨率人臉分解為若干個(gè)低分辨率特征臉的線性組合，得到組合系數(shù)。然后將這組系數(shù)直接應(yīng)用到對應(yīng)的高分辨本征臉上，組合出新的高分辨率人臉。這類方法能夠得到分辨率較高的結(jié)果，但是重建結(jié)果的人臉效果好壞很大程度上依賴樣本庫中圖像是否很好的幾何歸一化?，F(xiàn)實(shí)中人臉大小不一、五官位置更是因人而異，因此面向整體特征的人臉圖像幾何歸一化就起到了關(guān)鍵作用，是決定超分辨復(fù)原后圖像結(jié)果的一項(xiàng)重要因素。現(xiàn)有的方法通常通過對雙眼位置的歸一化實(shí)現(xiàn)的。即經(jīng)過對人臉圖像的全局旋轉(zhuǎn)、按比例縮放以及裁剪使得人眼的坐標(biāo)位置固定。這樣做仍會(huì)使沒有對齊的鼻子和嘴復(fù)原后產(chǎn)應(yīng)明顯膺像，問題并沒有得到根本的解決。同時(shí)，這些方法通常不考慮幾何歸一化對人臉個(gè)性化比例特征的改變。輸入圖像一經(jīng)修改就破壞了原始的人臉個(gè)性化比例特征。

發(fā)明內(nèi)容
本發(fā)明的目的在于，通過基于二次仿射變換的方法實(shí)現(xiàn)可逆的人臉圖像幾何歸一化，根據(jù)人臉標(biāo)準(zhǔn)幾何結(jié)構(gòu)的定義，分別采用全局仿射變換、局部仿射變換和圖像邊緣融合
三種方法。本發(fā)明是采用以下技術(shù)手段實(shí)現(xiàn)的
—種基于二次仿射變換的人臉幾何歸一化方法，由視頻采集設(shè)備將人臉圖像采集，將目標(biāo)圖像的光學(xué)信號轉(zhuǎn)化為數(shù)字圖像信號，存儲在采集設(shè)備存儲器中；計(jì)算機(jī)通過現(xiàn)有的USB、紅外接口讀入圖像，在處理器中進(jìn)行基于二次仿射變換的人臉幾何歸一化；所述的歸一化結(jié)果可以以數(shù)據(jù)庫的形式存放并直接存儲在本地硬盤，或通過網(wǎng)絡(luò)存儲設(shè)備或進(jìn)行網(wǎng)絡(luò)存儲；所述的歸一化方法主要包括人臉標(biāo)準(zhǔn)幾何結(jié)構(gòu)定義，全局仿射變換步驟，局部仿射變換步驟和圖像邊緣融合步驟。所述全局仿射變換步驟中，人臉圖像按照人臉的標(biāo)準(zhǔn)結(jié)構(gòu)定義(圖I)標(biāo)注后，進(jìn)行全局的旋轉(zhuǎn)、縮放和裁剪，使得輸入人臉圖像達(dá)到雙眼坐標(biāo)處于同一水平線、雙眼中心距離按照標(biāo)準(zhǔn)結(jié)構(gòu)的參數(shù)d進(jìn)行歸一化，并使人臉的橫向與縱向比例與標(biāo)準(zhǔn)結(jié)構(gòu)一致；所述局部仿射變換步驟中，針對嘴區(qū)域進(jìn)行幾何位置歸一化。主要步驟為嘴區(qū)域 劃分，局部旋轉(zhuǎn)和縮放以及變換后的嘴區(qū)域；所述圖像邊緣融合步驟中，針對全局變換圖像與局部變換圖像進(jìn)行邊緣的融合，達(dá)到形成標(biāo)準(zhǔn)幾何歸一化人臉圖像；圖像歸一化方法包括下述步驟從數(shù)據(jù)庫中讀入采集后的人臉圖像；由6個(gè)特征點(diǎn)坐標(biāo)及其相對位置描述人臉圖像，選取P1 P6(其對應(yīng)坐標(biāo)為(X1,Y1) (X6，y6))，分別對應(yīng)左眼中心、右眼中心、鼻尖、左側(cè)嘴角，嘴中心和右側(cè)嘴角坐標(biāo)；計(jì)算特征點(diǎn)之間相對位置關(guān)系F = (d, r1； r2, r3)。其中，
_5] d = ^(X1 -X2)2 +(y, -y2f(I)=^Tl(2)
ar2 = y5 2(3).3=^ = ^(4)
aa即d為雙眼中心之間的歐式距離，Γι為雙眼連線到鼻尖的垂直距離與d的比值；r2為鼻尖到嘴中心點(diǎn)的距離與d的比值，r3為嘴中心點(diǎn)到嘴角距離與d的比值。人臉圖像的長和寬定義為2d，眼睛中心距最近的圖像邊緣為O. 5d ；通過對人臉圖像樣本庫特征點(diǎn)標(biāo)注并求統(tǒng)計(jì)平均得到針對不同人種人臉圖像的標(biāo)準(zhǔn)結(jié)構(gòu)參數(shù)F ；對人臉標(biāo)準(zhǔn)結(jié)構(gòu)定義后的圖像進(jìn)行全局仿射變換，通過全局的旋轉(zhuǎn)、縮放和裁剪，使得輸入人臉圖像達(dá)到雙眼坐標(biāo)處于同一水平線、雙眼中心距離按照標(biāo)準(zhǔn)結(jié)構(gòu)的參數(shù)d進(jìn)行歸一化，并使人臉的橫向與縱向比例與標(biāo)準(zhǔn)結(jié)構(gòu)一致；進(jìn)行局部仿射變換針對嘴區(qū)域進(jìn)行幾何位置歸一化。主要步驟為嘴區(qū)域劃分，局部旋轉(zhuǎn)和縮放以及變換后的嘴區(qū)域與原圖像的邊緣融合。嘴部局部圖像與全局圖像邊緣融合，完成人臉圖像幾何歸一化；幾何歸一化后的人臉圖像存入數(shù)據(jù)庫中，并在本地進(jìn)行存儲或通過網(wǎng)絡(luò)存儲設(shè)備進(jìn)行遠(yuǎn)程傳輸?shù)炔僮鳎荒鏆w一化過程與上述的幾何歸一化過程相反，先從局部逆仿射開始，再到全局逆仿射；
前述全局仿射變換步驟如下對于輸入的人臉圖像，進(jìn)行人工特征點(diǎn)(P1 P6)標(biāo)注，根據(jù)P1和P2坐標(biāo)計(jì)算全局圖像旋轉(zhuǎn)角度，如式(5)所示
,ry2 - 、a = arctg(-)
X2-X1 (5)其中，α為P1與P2連線與水平線的角度。對圖像進(jìn)行角度為θ = -α的旋轉(zhuǎn)。旋轉(zhuǎn)前后對應(yīng)的坐標(biāo)如式(6)所示rU(c^ !b:!|S；]
i L 111 rtf技# j(6)定義旋轉(zhuǎn)后圖像的左上角為新的坐標(biāo)系統(tǒng)原點(diǎn)，則坐標(biāo)原點(diǎn)相對于原圖像原點(diǎn)還進(jìn)行了平移，設(shè)原圖像的寬和高分別為W和H，則，進(jìn)行逆時(shí)針旋轉(zhuǎn)的圖像坐標(biāo)變換關(guān)系如式⑵所示
X = xcos^+ ysin^< ,
[y = -xcos^ + _ycos^ + fF sin^(7)其中(X，y)為原圖像坐標(biāo)，(X’，γ，)為旋轉(zhuǎn)后的圖像坐標(biāo)。類似地，順時(shí)針旋轉(zhuǎn)圖像與原圖像對應(yīng)的坐標(biāo)關(guān)系為
I .Y' = · ;cr - ν ；η# — λ
V = -^,cc Sr — ; '；Ci r(8)旋轉(zhuǎn)后的圖像雙眼特征點(diǎn)處于同一水平線。計(jì)算橫向和縱向縮放比例系數(shù)，并進(jìn)行裁剪，使得雙眼坐標(biāo)和鼻尖的縱坐標(biāo)與人臉標(biāo)準(zhǔn)幾何結(jié)構(gòu)一致。橫向和縱向縮放比例系數(shù)分別如式(9)、(10)所示Sh= U1 2-x' ^ /d (9)Sy = (y' 3~y/ i)/rid(10)其中，坐標(biāo)點(diǎn)X' pX' 2、y' 1和太3為旋轉(zhuǎn)后的特征點(diǎn)坐標(biāo)，!■1和(1為公式(2)定義的標(biāo)準(zhǔn)結(jié)構(gòu)參數(shù)，即d為雙眼中心之間的歐式距離，Γι為雙眼連線到鼻尖的垂直距離與d的比值。為了確保歸一化的可逆性，參數(shù)α和橫向與縱向縮放系數(shù)的比值S = Sh/Sv作為逆變換參數(shù)保存。前述局部仿射變換，針對嘴部區(qū)域幾何歸一化具體步驟如下采用矩形劃定嘴區(qū)域，矩形的長和高分別如式(11)、(12)所示w = B1 (X6-X4)(11)h = a2 (y5-y3)(12)矩形的左上角頂點(diǎn)坐標(biāo)如式(13)所示(X。，y。)= (x5-w/2, (y5+y3)/2) (13)將矩形左下角和右下角三角區(qū)排除在嘴區(qū)之外。三角區(qū)的兩條直角邊分別為w/4和h/4。通過對CAS-PEAL-R1數(shù)據(jù)庫的測試，選取B1 = I. 7，a2 = I. I ;通過特征點(diǎn)P4 P6坐標(biāo)計(jì)算嘴區(qū)的局部旋轉(zhuǎn)角度如式(14)所示
權(quán)利要求
1.一種面向整體特征分析的人臉圖像可逆幾何歸一化方法，由視頻采集設(shè)備將人臉圖像采集，將目標(biāo)圖像的光學(xué)信號轉(zhuǎn)化為數(shù)字圖像信號，存儲在采集設(shè)備存儲器中；計(jì)算機(jī)通過現(xiàn)有的USB、紅外接口讀入圖像，在處理器中進(jìn)行基于二次仿射變換的人臉幾何歸一化；所述的歸一化結(jié)果可以以數(shù)據(jù)庫的形式存放并直接存儲在本地硬盤，或通過網(wǎng)絡(luò)存儲設(shè)備或進(jìn)行網(wǎng)絡(luò)存儲；所述的歸一化方法主要包括人臉標(biāo)準(zhǔn)幾何結(jié)構(gòu)定義，全局仿射變換步驟，局部仿射變換步驟和圖像邊緣融合步驟； 所述全局仿射變換步驟中，人臉圖像按照人臉的標(biāo)準(zhǔn)結(jié)構(gòu)定義后進(jìn)行全局的旋轉(zhuǎn)、縮放和裁剪，使得輸入人臉圖像達(dá)到雙眼坐標(biāo)處于同一水平線、雙眼中心距離按照標(biāo)準(zhǔn)結(jié)構(gòu)的參數(shù)d進(jìn)行歸一化，并使人臉的橫向與縱向比例與標(biāo)準(zhǔn)結(jié)構(gòu)一致； 所述局部仿射變換步驟中，針對嘴區(qū)域進(jìn)行幾何位置歸一化，主要步驟為嘴區(qū)域劃分，局部旋轉(zhuǎn)和縮放以及變換后的嘴區(qū)域； 所述圖像邊緣融合步驟中，針對全局變換圖像與局部變換圖像進(jìn)行邊緣的融合，達(dá)到形成標(biāo)準(zhǔn)幾何歸一化人臉圖像； 圖像歸一化算法包括下述步驟 從數(shù)據(jù)庫中讀入采集后的人臉圖像； 由6個(gè)特征點(diǎn)坐標(biāo)及其相對位置描述人臉圖像，選取P1 P6 (其對應(yīng)坐標(biāo)為(X1, yi) (x6, y6))，分別對應(yīng)左眼中心、右眼中心、鼻尖、左側(cè)嘴角，嘴中心和右側(cè)嘴角坐標(biāo)； 計(jì)算特征點(diǎn)之間相對位置關(guān)系F = (d, r1； r2, r3);其中， d = ^(xx-X2)2 +(^1 -y2f (I) (2)r2-y~^(3) a X5-X4 X6-X5“、 r3 = ~^~ = ~^~(4) aa 即d為雙眼中心之間的歐式距離，r:為雙眼連線到鼻尖的垂直距離與d的比值；r2為鼻尖到嘴中心點(diǎn)的距離與d的比值，r3為嘴中心點(diǎn)到嘴角距離與d的比值；人臉圖像的長和寬定義為2d，眼睛中心距最近的圖像邊緣為0. 5d ； 通過對人臉圖像樣本庫特征點(diǎn)標(biāo)注并求統(tǒng)計(jì)平均得到針對不同人種人臉圖像的標(biāo)準(zhǔn)結(jié)構(gòu)參數(shù)F ； 對人臉標(biāo)準(zhǔn)結(jié)構(gòu)定義后的圖像進(jìn)行全局仿射變換，通過全局的旋轉(zhuǎn)、縮放和裁剪，使得輸入人臉圖像達(dá)到雙眼坐標(biāo)處于同一水平線、雙眼中心距離按照標(biāo)準(zhǔn)結(jié)構(gòu)的參數(shù)d進(jìn)行歸一化，并使人臉的橫向與縱向比例與標(biāo)準(zhǔn)結(jié)構(gòu)一致； 進(jìn)行局部仿射變換針對嘴區(qū)域進(jìn)行幾何位置歸一化；主要步驟為嘴區(qū)域劃分，局部旋轉(zhuǎn)和縮放以及變換后的嘴區(qū)域與原圖像的邊緣融合； 嘴部局部圖像與全局圖像邊緣融合，完成人臉圖像幾何歸一化； 幾何歸一化后的人臉圖像存入數(shù)據(jù)庫中，并在本地進(jìn)行存儲或通過網(wǎng)絡(luò)存儲設(shè)備進(jìn)行遠(yuǎn)程傳輸?shù)炔僮?；逆歸一化過程與上述的幾何歸一化過程相反，先從局部逆仿射開始，再到全局逆仿射。
2.根據(jù)權(quán)利要求I所述的一種面向整體特征分析的人臉圖像可逆幾何歸一化方法，其特征在于所述的全局仿射變換，具體步驟如下 2. I :對于輸入的人臉圖像，進(jìn)行人工特征點(diǎn)(P1 P6)標(biāo)注，根據(jù)P1和P2坐標(biāo)計(jì)算全局圖像旋轉(zhuǎn)角度，如式(5)所示
3.根據(jù)權(quán)利要求I所述的一種面向整體特征分析的人臉圖像可逆幾何歸一化方法，其特征在于所述的局部仿射變換，針對嘴部區(qū)域幾何歸一化具體步驟如下 3.I :采用矩形劃定嘴區(qū)域，矩形的長和高分別如式(11)、(12)所示 W = H1 (X6~X4)(H) h = a2 (y5-y3)(12) 矩形的左上角頂點(diǎn)坐標(biāo)如式(13)所示
4.根據(jù)權(quán)利要求I所述的一種面向整體特征分析的人臉圖像可逆幾何歸一化方法，其特征在于所述的全局變換圖像與局部變換圖像進(jìn)行邊緣的融合，具體步驟如下 .4.I :建立標(biāo)記圖像Label ;標(biāo)記圖像大小為2dX 2d ; .4.2 :對圖像每個(gè)像素點(diǎn)以數(shù)值O 3標(biāo)記；圖像所有標(biāo)記值初始化為O ;劃定嘴區(qū)后，處于嘴區(qū)的相應(yīng)位置像素，標(biāo)記圖像取值為I ;經(jīng)過局部旋轉(zhuǎn)、縮放和平移后，新的嘴區(qū)覆蓋的區(qū)與相應(yīng)的標(biāo)記圖像標(biāo)記值為2 ;這樣標(biāo)記圖像的具體含義為取值O的位置為局部變換為涉及的像素區(qū)域；取值為I的區(qū)與為屬于原嘴區(qū)，且不被新嘴區(qū)所覆蓋的像素；取值為2的像素為新嘴區(qū)域且不與原嘴區(qū)域重合的位置；區(qū)值為3的像素位置為新嘴區(qū)與原嘴區(qū)重合的位置； 對于O區(qū)像素，直接采用全局圖像中的像素作為為最終的歸一化圖像像素； 對與2區(qū)像素，由于局部仿射變換后新嘴區(qū)覆蓋了原始像素點(diǎn)，因此將新嘴區(qū)的像素直接代替覆蓋的原圖像素點(diǎn)； . 3區(qū)為新的嘴區(qū)域與原圖像非嘴區(qū)與的重合部分，采用加權(quán)平均的方法得到融合結(jié)果，以避免圖像中出現(xiàn)明顯的邊緣贗像；權(quán)值定義如下以局部仿射變換后的P5(x5，Y5)為中心構(gòu)造二維高斯函數(shù)如式(16)所示 一制 (16) 其中i = x-x5, i = y-y5,均為局部圖像中的圖像坐標(biāo):wj、2' -::n . C,C;)),Or =hml(2,, -r. )，Wm = wXSm和hm = hXSm分別為局部仿射變換后嘴部圖像的寬和聞; 重疊區(qū)(i，j)的合成像素如式(17)所示
全文摘要
本發(fā)明公開了一種面向整體特征分析的人臉圖像可逆幾何歸一化方法，采用基于二次仿射變換的方法，首先進(jìn)行全局仿射即對人臉圖像按照人臉的標(biāo)準(zhǔn)結(jié)構(gòu)定義進(jìn)行全局的旋轉(zhuǎn)、縮放和裁剪，使得輸入人臉圖像達(dá)到雙眼坐標(biāo)處于同一水平線、雙眼中心距離按照標(biāo)準(zhǔn)結(jié)構(gòu)的參數(shù)d進(jìn)行歸一化，并使人臉的橫向與縱向比例與標(biāo)準(zhǔn)結(jié)構(gòu)一致。將圖像裁剪為2d×2d大小。然后通過局部仿射變換針對嘴區(qū)域進(jìn)行幾何位置歸一化。最后利用圖像邊緣融合達(dá)到最終形成標(biāo)準(zhǔn)幾何歸一化人臉圖像。逆歸一化過程即根據(jù)逆變換參數(shù)將標(biāo)準(zhǔn)結(jié)構(gòu)人臉圖像通過二次仿射逆變換恢復(fù)到幾何歸一化之前的幾何結(jié)構(gòu)特征，以便保持不同人臉特征點(diǎn)的個(gè)性化拓?fù)浣Y(jié)構(gòu)。經(jīng)過幾何歸一化的人臉圖像可用于基于整體特征的人臉分析，如用于人臉圖像的超分辨率重建，人臉識別等。
文檔編號G06K9/00GK102663361SQ20121009659
公開日2012年9月12日 申請日期2012年4月1日 優(yōu)先權(quán)日2012年4月1日
發(fā)明者卓力, 夏青, 李曉光, 李風(fēng)慧 申請人:北京工業(yè)大學(xué)