專利名稱：一種制作超低分辨率人臉模擬像的方法
技術領域：
本發(fā)明屬于圖像處理、模式識別技術領域，特別涉及一種制作超低分辨率人臉模
擬像的方法。

發(fā)明內(nèi)容
當前，視頻監(jiān)控得到了迅速的發(fā)展，在安防工作中發(fā)揮了越來越多的積極作用。在 視頻監(jiān)控的圖像中，記錄了許多與案件相關的信息，而且在許多案件中是唯一的信息，其重 要性是不言而喻的。但是，由于視頻監(jiān)控的涉案人臉圖像分辨率往往很低，而且具有不同的 姿態(tài)，因此無法分辨涉案人，致使許多案件的辦案工作陷入了困境。在2006RFVT的人臉識 別性能的測試中，低分辨率人臉圖像的兩眼距離為75個象素，人臉圖像的兩眼距離小于30 個象素的人臉圖像，稱為超低分辨率人臉圖像。 人像組合技術已經(jīng)廣泛應用于目擊者記憶的人臉圖像的制作方面，取得了許多實 際應用的成功案例，該項技術應用的成敗主要依靠目擊者的記憶程度、表達能力和人像組 合技術操作員的技能水平，以人工因素為主。而對于視頻監(jiān)控的超低分辨率人臉圖像的恢 復問題，則是困難重重。 一是操作員無法看清人臉(如五官長像)，二是不同姿態(tài)，也難以繪 制成正面像。顯然，視頻監(jiān)控的超低分辨率人臉圖像的恢復問題，是目前凸現(xiàn)的極具挑戰(zhàn)性 的重大應用問題。


發(fā)明內(nèi)容
本發(fā)明的目的是為解決視頻監(jiān)控的超低分辨率人臉圖像的恢復問題，提出一種制 作超低分辨率人臉模擬像的方法，較好地解決了這一難題。 本發(fā)明提出的一種制作超低分辨率人臉的模擬像的方法，該方法包括模糊人像復 原、三維模型成像、人臉識別、仿射變換、人像修改技術的綜合應用，其特征在于包括以下 方法和步驟 1)對含有超低分辨率人臉圖像進行放大，對放大后的圖像進行裁減，所獲得的放 大后的模糊人臉圖像的高度大于150個像素； 2)對裁減后的模糊人臉圖像進行模糊圖像復原處理，得到一幅較清楚的復原人臉 圖像； 3)對步驟2)得到的人臉圖像，人工標出人臉形狀特征點； 4)采用三維模型成像的方法，由步驟2)得到的人臉圖像和步驟3)得到的人臉形 狀特征點形成該超低分辨率人臉的三維模型正面像并生成該正面像的人臉形狀特征點；
5)用步驟4)得到的三維模型正面像，在人臉識別系統(tǒng)進行查詢識別，得到一張與 超低分辨率人臉圖像最相象的三維模型正面像的識別像； 6)利用主動形狀模型(ASM)方法，提取出步驟5)得到的三維模型正面像的識別像 的人臉形狀特征點； 7)以步驟4)得到的正面人臉圖像作為形狀圖像、以步驟5)得到的三維模型正面 像的識別像作為紋理圖像，使用正面人臉圖像的人臉形狀特征點和三維模型正面像的識別像的人臉形狀特征點，進行仿射變換，得到超低分辨率人臉的模擬像。
本發(fā)明的特點及有益效果 本發(fā)明首先采用模糊圖像復原的方法，來對視頻監(jiān)控的超低分辨率人臉圖像進行 復原處理，然后參照復原圖像，利用人像組合技術再繪制模擬像。再采用三維人臉技術解決 多姿態(tài)問題，制作出超低分辨率人臉的正面模擬像，較好地解決了視頻監(jiān)控的超低分辨率 人臉圖像的恢復難題。


圖1為本發(fā)明方法的稠密點插值示意圖。 圖2為本實施例的包含超低分辨率人臉的原始圖像。 圖3為本實施例的截取的超低分辨率人臉的放大圖像。 圖4為本實施例的超低分辨率人臉的復原圖像效果圖。 圖5為本實施例的在復原圖像上標注105個人臉形狀特征點的圖像。 圖6為本實施例中利用三維模擬像技術形成的正面人臉圖像效果圖。 圖7為本實施例中利用三維正面人臉圖像得到的三維模型像三維模型正面像的
識別像效果圖。 圖8為本實施例中的仿射后的人臉模擬圖像效果圖。 圖9為本實施經(jīng)人工修改后的最終超低分辨率人臉的模擬像效果圖。
具體實施例方式
本發(fā)明提出的一種制作超低分辨率人臉模擬像的方法結合附圖及實施例詳細說 明如下 本發(fā)明提出的一種制作超低分辨率人臉模擬像的方法實施例，該方法包括模糊人 像復原、三維模型成像、人臉識別、仿射變換、人像修改技術的綜合應用，其特征在于包括 以下步驟 1)對含有超低分辨率人臉的圖像進行放大(可采用Windows自帶的圖像放大功能 實現(xiàn)也可采用其它圖像放大方法實現(xiàn))，并對放大后的圖像進行裁減，所獲得的放大后的模 糊人臉圖像的高度大于150個像素 2)對放大后的模糊人臉圖像進行模糊圖像復原處理，得到一幅較清楚的復原人臉 圖像；具體實現(xiàn)方法(屬于已有技術)為
散焦模糊復原點擴散函數(shù)模型為式(1)。
一 1,
>2
2
(1)
其它 式中，R為點擴散半徑，i為水平坐標，j為垂直坐標c
維納濾波的表達式為式(2)。
4<formula>formula see original document page 5</formula> 式(2)中r = Sm(u，V)/Sff(u， v)是圖像信噪比的倒數(shù)，Sm(u， v)和Sff(u， v)分別 是噪聲和原始圖像的功率譜密度。r 一般用一個小的正常數(shù)來代替，數(shù)值在0. 0001 1之 間。 在實際應用中，式(1)的R和式(2)中的r采用有限遍歷的方法得到，例如R分別 取為10、12、14、 ...、40， r分別為0. 001、0. 006、0. 0011、 ...、0. 096，得到320張復原圖像。 在320張復原圖像中，人工選取一幅最清楚的圖像作為超低分辨率人臉圖像的復原人臉圖 像； 3)對步驟2)得到的人臉圖像，標出人臉形狀特征點(用已知的人工標定的方 法)，人臉形狀特征點包括人臉外輪廓點、眉毛輪廓點、眼睛輪廓點、嘴輪廓點、鼻子輪廓點。 本實施例選用的人臉形狀特征點為105點； 4)采用三維模型成像的方法，由步驟2)得到的人臉圖像和步驟3)得到的105個 人臉形狀特征點，形成該超低分辨率人臉的正面人臉圖像并獲得包含正面人臉圖像的105 個人臉形狀特征點； 三維模型成像，其輸入的是由步驟2)得到的復原人臉圖像和步驟3得到的105個 人臉形狀特征點，輸出的是合成的正面人臉圖像(360*480)和包含正面人臉圖像的105個 人臉形狀特征點，使用的模型是三維形狀模型和二維紋理模型；具體包括
4-1)模型建立 模型包括三維形狀模型和二維紋理模型。三維形狀模型和二維紋理模型是用 PCA(主分量分析)方法訓練得到的，三維形狀模型的訓練圖像應采用不小于200人的三維 人臉圖像；二維紋理模型的訓練圖像應采用不小于200人的二維人臉圖像。
4-2)人臉姿態(tài)參數(shù)估計 輸入的人臉圖像是多姿態(tài)的人臉圖像及其105個人臉形狀特征點，將輸入圖像的 左右偏轉(zhuǎn)角度分為七類，即-45° ，-30° ，-15° ，0° ，+15° ，+30° ，+45° (向右轉(zhuǎn)為正， 向左轉(zhuǎn)為負)，用人工判斷的方法給出輸入人臉姿態(tài)的類別；
4-3)人臉形狀重建
4-3-1)特征形狀估計 在得到姿態(tài)類別后，就可以利用& = sURZi+t+ e以及特征形狀的PCA模型 z^^ +尸6來計算模型參數(shù)b。其中，&是二維點坐標，s為縮放比例，U為投影矩陣，R為旋 轉(zhuǎn)矩陣，Zi是三維點坐標，t為二維平移向量，e為量化噪聲，5是z的平均模型，P為特征 向量構成的矩陣，b為模型參數(shù)。求解b的過程實質(zhì)上是一個最小二乘問題，需要最小化表 達式I I s認+t-D |2。其中Z = [Zl z2. zN] ， D = [4 d2. . dN] ， N為特征點數(shù)。對于所有 的105個人臉形狀特征點，它們的三維坐標則是利用當前得到的模型參數(shù)b回代計算得到。
4-3-2)稠密形狀重建 在得到105個人臉形狀特征點之后，下一步需要恢復出稠密的三維人臉模型的形 狀點。這里利用三角化的三角形頂點來插值得到稠密的形狀點。 設完整的三維人臉形狀為S = (Xl， yi， Zl， . . . ， xM， yM， zM)T， 105個人臉特征形狀點 為z = (Xl， yi， Zl， . . . ， xN， yN， zN)，形狀稠密點插值的過程是如圖1所示。
三角形AA^2A3已經(jīng)有稠密的內(nèi)點，對應于平均三維人臉形狀S ;而三角 形ABAB3沒有稠密的內(nèi)點，對應于特征形狀z。兩個三角形三頂點坐標均已知， 問題即為已知A AiA2A3中的 一 點在A B^^3中找到相對應的位置P2。按照
zZ爿可得到一組系數(shù)a 1， a 2， a 3，使P
1111"3
a,a2+ct3: lo 其中，Pi為AAi^As中的一稠密內(nèi)點，a p a 2， a 3為一組系數(shù)，9 ， z為對應的柱 面坐標。 將這組系數(shù)應用到AB^^3中即可得到P2。接著就可以得到重建的三維人臉形狀 的部分(丟失了深度信息)Spart = (Xl， Zl， . . . ， xM， zM)T。由于Spart是S的子集，假設Spart 與S具有共同的形狀參數(shù)b，即 5 = 5 + /^ (3) ^= + p W
。戸rt 一 O戸rt t廠part " 「7 》是平均的完整的三維人臉形狀，P是訓練得到的特征向量，因而可以在得到Spart 的情況下利用部分的模型計算出參數(shù)b，再通過完整的模型得到最終的三維人臉形狀S。
4-4)三維紋理映射方法 在得到輸入的二維圖像的三維人臉形狀之后，需要從輸入的二維圖像中提取紋理 信息。在三維紋理映射的時候，首先將三維人臉按照二維人臉圖像姿態(tài)估計的結果投影到 平面上，投影后的三角區(qū)域與二維圖中的三角區(qū)域就有了嚴格對應關系。紋理映射類似于 稠密點的插值計算過程，即在二維人臉圖中尋找三維人臉形狀的對應點，該點的灰度值就 為待求的灰度值。 這里需要注意的是根據(jù)單張多姿態(tài)人臉來進行重建，只能得到正對用戶的半邊
臉的紋理信息。因而，在后續(xù)圖像合成中，是根據(jù)這半邊臉的紋理，結合二維紋理模型"推
測"整個臉的紋理信息。 4-5)正面人臉圖像的合成 三維人臉的基本單元是三維頂點。像素是緊緊相鄰的，有明確的上下左右相鄰像
素的概念；頂點是不緊鄰的，因為實數(shù)稠密性，任意兩個頂點之間可以插入無數(shù)個頂點；因
此，直接將三維頂點投影到二維會出現(xiàn)"空洞像素"，這是不對的。反過來則行得通根據(jù)二
維像素，反求所對應的三維頂點，再利用上節(jié)的三維紋理映射方法，通過稠密點的插值計算
方法得到完整的二維人臉圖像； 4-5-1) 二維正面人臉三角形區(qū)域的劃分 步驟4-3-2)得到了三維人臉的特征形狀之后，正面投影，再按照正面人臉圖像的 歸一化原則進行縮放平移則能得到對應于360*480人臉圖像的特征點分布。利用這些特征 點所劃分的整個人臉區(qū)域信息，以及三角化的區(qū)域信息，即可計算出某一個像素屬于哪一 個三角形，以及對應于該三角形3頂點的插值系數(shù)。 4-5-2) 二維像素的灰度計算(針對面向用戶的半邊臉區(qū)域的像素)
在確定了某一個像素的插值系數(shù)之后，使用同樣的系數(shù)，在三維特征形狀的對應 三角形中，對三維的x、 z坐標進行插值得到該像素所對應的三維點的x、 z信息。利用已有 的三維模型頂點計算出加權系數(shù)，利用這個加權系數(shù)，將已有的三維模型頂點的y坐標加 權得到待插值點的y坐標。這樣就確定了二維像素點所對應的三維點坐標。 接著，按照三維紋理映射方法，即可得到該像素的灰度值。
4-5-3)紋理合成 得到了面向用戶半邊臉區(qū)域的像素值后，還需要計算出另外半邊臉的像素值(因 為訓練的紋理模型，要求左半臉和右半臉有特定的像素個數(shù)，而特定人臉區(qū)域所含的像素 個數(shù)必然是參差不齊的)，用模型訓練時的"插值系數(shù)模型"文件和"模型像素所在三角形" 文件，對已求的半邊臉區(qū)域的像素進行重采樣，即雙線性插值，再拉成列向量，則得到對應 于紋理模型的一部分Tpart。 Tpart是完整紋理T的子集(前半部分或者后半部分)，假設 Ppart是P的子集，如下式所示，假設Ppart與P也具有相同的系數(shù)b，則在已知Tpart的條 件下，反求b，再求T就得到了整個人臉紋理T。
r二f+P6 (5)S，w = 7>w +6 (6) 其中，T為完整人臉紋理，f為T的平均值，T,t為完整紋理T的子集，C為Tpart的
平均值，P為特征向量構成的矩陣，Ppart為P的子集，b為紋理參數(shù)。
至此，二維正面人臉合成就完成了。 5)用步驟4)得到的三維模型正面像，在人臉識別系統(tǒng)進行查詢識別(屬于已有技 術)，得到一張與超低分辨率人臉圖像最相象的三維模型正面像的識別像。人臉識別系統(tǒng)是 使用辯識人臉識別系統(tǒng)，其人臉識別數(shù)據(jù)庫至少不低于1萬人； 6)利用ASM方法(屬于已有技術)，提取出步驟4)得到的三維模型正面像的識別 像的105個人臉形狀特征點； 7)以步驟4)得到的正面人臉圖像作為形狀圖像、以步驟5)得到的三維模型正面 像的識別像作為紋理圖像，使用正面人臉圖像的105個人臉形狀特征點和三維模型正面像 的識別像的105個人臉形狀特征點，進行仿射變換，得到超低分辨率人臉的模擬像。
仿射變換的具體過程如下(屬于已有技術) 首先，要進行三角化處理。對于人臉確定的105個人臉形狀特征點，存在一種唯一 的三角化，這種三角化滿足所有三角形的最小內(nèi)角和最大的條件，換句話來說，該三角化生 成的三角形都將盡可能接近等邊三角形。以三維正面人臉圖像的105個人臉形狀特征點的 每一點作為三角形的頂點，采用三角化處理，將三維正面人臉圖像區(qū)域劃分為N個三角形。 同理，以三維模型正面像的識別像的105個人臉形狀特征點的每一點作為三角形的頂點， 采用三角化處理，將三維模型正面像的識別像區(qū)域劃分為N個三角形。仿射變換在fp文件 中序號相同的三個頂點的兩個三角形區(qū)域之間進行，即仿射變換在三維正面人臉圖像的一 個三角形區(qū)域和對應的三維模型正面像的識別像的一個三角形區(qū)域之間進行。具體做法是 將三維模型正面像的識別像的一個三角形區(qū)域內(nèi)點的紋理作為三維正面人臉圖像的一個 三角形區(qū)域內(nèi)點的紋理。三維模型正面像的識別像的一個三角形區(qū)域內(nèi)點的坐標和三維正 面人臉圖像的一個三角形區(qū)域內(nèi)點坐標的對應關系如(7)所式。<formula>formula see original document page 8</formula>
(7)式中，x、y是三維模型正面像的識別像的一個三角形A的區(qū)域內(nèi)點的坐標， x' 、y'是三維正面人臉圖像的對應三角形B的區(qū)域內(nèi)點的坐標，兩個三角形的頂點具有 一一對應的關系，三角形對應序號的頂點具有一一映射關系。將三角形A已知的三個頂點 坐標(x" y》，(x2， y2) ， (x3， y3)分別帶入7式右端，對應地將三角形B已知的三個頂點坐標 (x' py'》，(x' 2，y' 2)，(x' 3，y' 3)分別帶入7式左端，即可解出其中的6個參數(shù)即 a、 b、 c、 d、 0X、 0y。 為得到更好的效果本發(fā)明方法還進一步包括 8)參照超低分辨率人臉和步驟2)形成的復原人臉圖像，對步驟7)得到的仿射像 人工進行修正，得到超低分辨率人臉的更好的模擬像。 本發(fā)明以技術手段為主，再進一步加入人工操作為輔。實驗表明，本發(fā)明制作的模
擬像，達到了和本人很相像的效果。 本發(fā)明的一個實施例步驟及效果說明如下 1)以圖2為實施例的原始圖像，圖中的框內(nèi)人臉隱隱約約可見，其x方向的像素僅 有5個像素。采用Windows自帶的圖像放大功能，對框中所示的圖像進行放大。在放大后 的圖像上截取包含人臉的圖像，得到放大后的人臉圖像的高度為427個像素，如圖3所示；
2)采用維納濾波的方法對放大后的模糊人臉圖像進行散焦模糊圖像復原處理，處 理結果如圖4所示； 3)對圖4的人臉圖像，用手工標定的方法，標出105個人臉形狀特征點，如圖5所 示； 4)利用圖4的人臉圖像和圖5的105個人臉形狀特征點，采用三維模型成像的方 法得到如圖6所示的正面人臉圖像和圖6所示的正面人臉圖像的105個人臉形狀特征點；
5)以圖7所示的正面人臉圖像作為待識別的人臉圖像，在一個數(shù)據(jù)庫具有10萬人 的人臉識別系統(tǒng)中進行人臉識別，得到一張圖7所示的與超低分辨率人臉圖像最相象的三 維模型正面像的識別像； 6)利用ASM方法，提取出圖7所示的三維模型正面像的識別像的105個人臉形狀 特征點； 7)輸入圖6所示的正面人臉圖像和圖6所示的正面人臉圖像的105個人臉形狀 特征點以及圖7所示的三維模型正面像的識別像和圖7所示的三維模型正面像的識別像的 105個人臉形狀特征點，進行仿射變換，得到如圖8所示的仿射人臉圖像。仿射變換中，以圖 6所示的正面人臉圖像作為形狀圖像，以圖7所示的三維模型正面像的識別像為紋理圖像；
8)參考圖3所示的超低分辨率人臉的原始圖像和圖4所示的超低分辨率人臉的復 原圖像，人工對圖8所示的仿射人臉圖像進行修正，得到如圖9所示的最終的模擬像。
權利要求
一種制作超低分辨率人臉的模擬像的方法，該方法包括模糊人像復原、三維模型成像、人臉識別、仿射變換、人像修改技術的綜合應用，其特征在于包括以下方法和步驟1)對含有超低分辨率人臉圖像進行放大，對放大后的圖像進行裁減，所獲得的放大后的模糊人臉圖像的高度大于150個像素；2)對裁減后的模糊人臉圖像進行模糊圖像復原處理，得到一幅較清楚的復原人臉圖像；3)對步驟2)得到的人臉圖像，人工標出人臉形狀特征點；4)采用三維模型成像的方法，由步驟2)得到的人臉圖像和步驟3)得到的人臉形狀特征點形成該超低分辨率人臉的三維模型正面像并生成該正面像的人臉形狀特征點；5)用步驟4)得到的三維模型正面像，在人臉識別系統(tǒng)進行查詢識別，得到一張與超低分辨率人臉圖像最相象的三維模型正面像的識別像；6)利用主動形狀模型(ASM)方法，提取出步驟5)得到的三維模型正面像的識別像的人臉形狀特征點；7)以步驟4)得到的正面人臉圖像作為形狀圖像、以步驟5)得到的三維模型正面像的識別像作為紋理圖像，使用正面人臉圖像的人臉形狀特征點和三維模型正面像的識別像的人臉形狀特征點，進行仿射變換，得到超低分辨率人臉的模擬像。
2. 如權利要求1所述的方法，其特征在于，還進一步包括8) 參照原始的超低分辨率的人臉圖像和步驟2)形成的復原人臉圖像，人工對步驟7) 得到的模擬像進行修正，得到超低分辨率人臉的模擬像。
全文摘要
本發(fā)明涉及一種制作超低分辨率人臉模擬像的方法，屬于圖像處理、模式識別技術領域；該方法包括對含有超低分辨率人臉圖像進行放大，對放大后的圖像進行裁減，再進行模糊圖像復原處理后，人工標出人臉形狀特征點；采用三維模型成像的方法，形成該超低分辨率人臉的三維模型正面像和人臉形狀特征點；在人臉識別系統(tǒng)進行查詢識別，得到一張與超低分辨率人臉圖像最相象的三維模型正面像的識別像；提取出人臉形狀特征點；再進行仿射變換，得到超低分辨率人臉的模擬像。本方法較好地解決了視頻監(jiān)控的超低分辨率人臉圖像的恢復難題。
文檔編號G06K9/00GK101739676SQ20091024174
公開日2010年6月16日 申請日期2009年12月4日 優(yōu)先權日2009年12月4日
發(fā)明者任小龍, 劉炯鑫, 王晶, 蘇光大 申請人:清華大學