專利名稱：用二維輪廓進行人臉特征點新位置搜索的方法
技術領域：
本發(fā)明涉及一種圖像處理技術領域的方法，具體是一種用二維輪廓進行人臉特征點新位置搜索的方法。
背景技術：
人臉識別作為生物特征識別的重要分支受到越來越廣泛的關注，該領域在過去十年取得了非常多的研究成果，其中有一些已經(jīng)應用到實際生活中，如人臉檢測，人臉識別等，而人臉特征點定位是人臉識別中的核心技術，其特征點定位的精確性直接影響到識別的精度。因此，精確地定位大量的人臉特征點可以極大地提高識別的精度。現(xiàn)有的人臉特征定位方法主要分為兩類其一是局部特征定位方法，其二是全局特征點定位方法。局部人臉特征定位方法雖然速度快，但只能給出很少的特征點，且部魯棒，達不到識別的要求，相對于局部人臉特征定位方法，全局特征點定位方法，如ASM(活動形狀模型)方法可以同時定位很多人臉特征點，速度快，且其對光照、背景的變化不很敏感，因而被廣泛地應用于特征點定位。
經(jīng)對現(xiàn)有技術文獻的檢索發(fā)現(xiàn)，在《Image Processing and Analysis》(《圖像處理與分析》)的第七章“Model-based Methods in Analysis of BiomedicalImages”(“生物醫(yī)學圖像分析中基于模型的方法”)的第223頁到248頁(該書于2001年在于牛津大學出版社出版)介紹了T.F.Cootes等提出的ASM方法，該方法中，當進行特征點新位置搜索時把搜索范圍限制在垂直于前后兩個特征點連線的方向上的一維輪廓上，而實際情況是特征點的真正的新位置不一定在該輪廓上，這就給搜索結果帶來了一定的誤差，如果每個特征點在搜索新位置時都遇到這種情況，那么整個人臉特征點定位的誤差將會非常大，從而難以讓人接受。

發(fā)明內容
針對ASM方法中搜索特征點位置的搜索范圍為一維輪廓這一缺陷，本發(fā)明提出了一種用二維輪廓進行人臉特征點新位置搜索的方法，從而能夠使當前特征點找到其真正的位置，即以原始ASM方法中的一維輪廓為中心，兩邊各選s個與該一維輪廓等長度同方向的輪廓，這樣搜索范圍就從原來的一維輪廓拓展到二維輪廓。當搜索范圍從一維拓展到二維時，就很容易找到當前特征點的真正的新位置，從而大大地提高了特征點定位的精度。
本發(fā)明是使用以下技術方案實現(xiàn)的，包括如下步驟(1)在給定的圖像上進行人臉檢測，給出人臉區(qū)域的位置坐標；(2)在找到的人臉區(qū)域上進行眼睛定位，找到兩眼的位置；(3)計算兩眼中點的坐標[X1，Y1]、兩眼之間的距離ds1、兩眼連線的角度angle1；(4)建立ASM模型；(5)對ASM模型的初始位置進行仿射變換得到初始模型；(6)用初始模型作為ASM搜索的起始位置，并使用二維輪廓進行特征點定位。
所述的步驟(1)，是指利用adaboost(自適應增強)方法進行人臉檢測。
所述的步驟(2)，是指利用方差投影函數(shù)進行眼睛的準確定位。
所述的步驟(4)，是指首先在訓練集的每一個訓練樣本圖像上手工選擇k個人臉的主要特征點，這k個特征點組成的形狀可以由一個向量x(i)＝[x1，x2，...，xk，y1，y2，...，yk]來表示，具有相同編號的特征點在不同的圖像中代表了相同的特征，n個訓練樣本圖像就對應有n個形狀向量，然后校準這n個向量從而使得它們所表示的形狀在大小、方向和位置上最為接近。然后對n個校準后的形狀向量進行PCA(主元分析)處理，最終任何一個形狀都可以表示為x＝x+Pb，其中b＝PT.(x-x)，b代表了前t個最大的模式的變化情況。然后為訓練樣本圖像中每個特征點建立局部紋理，以當前特征點為中心在垂直于當前特征點的前后兩特征點連線方向上兩邊各選擇m個像素，計算這m個像素的灰度值導數(shù)并歸一化從而得到一個輪廓。記第i個形狀向量中第j個特征點的輪廓為gij，則第j個特征點輪廓的平均，gj‾=1nΣi=1ngij,]]>其方差為Cj=1nΣi=1n(gij-gj‾)·(gij-gj‾)T,]]>對k個特征點都計算其輪廓的平均和方差，從而就得到了k個特征點的局部紋理。
所述的步驟(5)，是指以兩眼中點的位置、兩眼之間的距離、兩眼連線的角度對ASM模型的平均形狀進行仿射變換從而得到初始模型。
所述的仿射變換，是指對訓練得到的平均形狀模型x，分別計算左眼球和右眼球周圍的四個特征點的中心作為左眼睛和右眼睛位置，然后計算該平均形狀模型中兩眼的距離ds2、兩眼連線的角度angle2以及兩眼的中點坐標[X2，Y2]，再對平均形狀模型x進行仿射變換，即將把整個平均形狀模型x平移[X1-X2，Y1-Y2]，然后以該模型的中心旋轉angle1-angle2，最后再以ds1/ds2的比例進行縮放。
所述的仿射變換，由X＝M(s，θ)[x]+Xc來表示，該式表示對x以其中心逆時針旋轉θ縮放s，然后再平移Xc，其中Xc＝(Xc，Yc，Xc，Yc，...，Xc，Yc)。
所述的步驟(6)，是指用仿射變換后初始模型在新的圖像中搜索目標形狀，使搜索到的最終形狀中的特征點和相對應的真正特征點最為接近，這個搜索過程主要是通過仿射變換和參數(shù)b的變化來實現(xiàn)。具體通過反復迭代如下兩步來實現(xiàn)1)搜索特征點的新位置首先把初始模型覆蓋在圖像上，對于模型中第j個特征點，在垂直于其前后兩個特征點連線方向上以其為中心兩邊各選擇1(1大于m)個像素，這樣就形成了一個長度為(2m+1)的一維向量，然后再以該一維向量為中心，兩邊各選擇s個與其長度相同，方向相同的一維向量，這樣就形成了一個長為2m+1，寬為2s+1的二維矩陣，計算這個二維矩陣每一行中像素灰度值的導數(shù)并歸一化從而就得到了一個長度為2m，寬度為2s+1的二維輪廓。定義一個能量函數(shù)fj(p)=(temp(p)-gj‾)·Cj-1·(temp(p)-gj‾)T,]]>用此能量函數(shù)評判當前子輪廓與 之間的相似性。在上述二維輪廓的每一行上進行如下操作在當前行中從前往后依次選取長度為m的子輪廓記為temp(P)，計算對應得能量函數(shù)，記錄下使能量函數(shù)達到最小的子輪廓的中心位置，對2s+1行都進行這樣的操作就會得到2s+1個這樣的位置，然后從這2s+1個位置中選出其對應的能量函數(shù)最小的位置，該位置即為當前特征點的新位置，同時計算該特征點位置的變化dXj，對每個特征點都進行這樣的計算就得到k個位置變化dXi，i＝1，2，...，k，并組成一個向量dX＝(dX1，dX2，...，dXk)。
2)仿射變換中的參數(shù)和b的更新由公式X＝M(s，θ)[x]+Xc得M(s(1+ds)，(θ+dθ))[x+dx]+(Xc+dXc)＝(X+dX)，M(s(1+ds)，(θ+dθ))[x+dx]＝M(s，θ)[x]+dX+Xc-(Xc+dXc)，同時由式x＝x+Pb，期望找到db使得x+dx＝x+P(b+db)，由式x＝x+Pb可得db＝P-1dx，這樣就可以對參數(shù)作如下更新Xc＝Xc+wldXc，Yc＝Yc+wldYc，θ＝θ+wθdθ，b＝b+Wbdb，式中wl，wθ，ws，Wb用于控制參數(shù)變化的權值，這樣就可以由式x＝x+Pb得到新的形狀。
本發(fā)明提出的人臉特征點定位方法具有較高的精度。由于在搜索特征點新位置時使用的是二維輪廓，因此特征點就更容易找到其真正的位置，這樣整個特征點定位的精度就得到了大大的提高。用拍攝的人臉庫(包含有2273幅人臉圖像)對比本發(fā)明提出的用二維輪廓進行的特征點定位方法和原始ASM方法中用一維輪廓進行特征點定位的方法，前者的特征點定位的平均誤差分別是3.2個像素，而后者特征點定位的平均誤差分別是4.5個像素，實驗表明本發(fā)明提出的用二維輪廓定位特征點的方法在精度上比其他人臉特征點定位方法有很大的改善。


圖1為人臉檢測的結果。
圖2為眼睛定位的結果。
圖3為標有特征點的人臉圖像。
圖4為仿射變換后的結果。
圖5為用本發(fā)明提出的二維輪廓的示意圖。
圖6為原始ASM方法中的一維輪廓示意圖。
圖7為用仿射變換后的初始模型并利用二維輪廓進行ASM搜索得到的結果。
具體實施例方式
以下結合一個具體的實施例對本發(fā)明的技術方案作進一步詳細的描述。
實施例采用的圖像來自拍攝的人臉圖像庫。整個實現(xiàn)過程如下1.用adaboost方法進行人臉檢測，檢測結果如圖1所示。圖中的用白線畫出的長方形區(qū)域即為找到的人臉區(qū)域，該長方形左上角坐標是(189，113)，右下角坐標是(438，412)。
2.眼睛定位，在找到的人臉區(qū)域里進行眼睛檢測找到兩眼的位置，如圖2所示。
圖中左眼睛上的白色星型圖案即為找到的左眼睛位置，其坐標為(270，208)，右眼睛上的白色星型圖案即為找到的右眼睛位置，其坐標為(360，208)。
3.計算仿射變換的參數(shù)，即兩眼中點的坐標、兩眼之間的距離、兩眼連線的角度。
根據(jù)兩眼的坐標位置可求得兩眼中點坐標為(315，208)，兩眼之間的距離為90個像素，兩眼連線的角度為0度。
4.從人臉庫中選擇400個標好特征點的人臉圖像建立ASM模型。標好特征點的人臉圖像如圖3所示。即首先在訓練集的每一個訓練樣本圖像上選擇60個特征點，這60個特征點組成的形狀可以由一個向量x(i)＝[x1，x2，...，x60，y1，y2，...，y60]來表示，具有相同編號的特征點在不同的圖像中表示相同的特征，400個訓練樣本圖像就有400個形狀向量，然后對這400個向量進行校準操作，使這些形狀向量所表示的形狀在大小、方向和位置上最為接近。然后對400個校準后的形狀向量進行PCA(主元分析)處理，這樣任何一個形狀都可以表示為x＝x+Pb，式中b＝PT.(x-x)，b的值表示了前22個模式的變化情況。對于訓練樣本圖像中每個特征點需要建立其局部紋理，即在垂直于當前特征點的前后兩特征點連線方向上以當前特征點為中心兩邊各選擇5個像素，計算這11(2*5+1)個像素的灰度值導數(shù)并歸一化從而得到一個長度為10的一維輪廓。記第i個形狀向量中第j個特征點的輪廓為gij，則第j個特征點輪廓的平均，gj‾=1nΣi=1ngij,]]>其方差為Cj=1nΣi=1n(gij-gj‾)·(gij-gj‾)T,]]>對k個特征點都計算其輪廓的平均和方差，從而就得到了k個特征點的局部紋理。
5.以兩眼中點的位置、兩眼之間的距離、兩眼連線的角度對ASM模型初始位置進行仿射變換，即先求得ASM初始模型上兩眼中點坐標、兩眼距離、兩眼連線的角度，它們分別是(113，145)，90，12，然后對這個初始模型做如下操作把該模型在X方向上平移-202(113-315)個像素，在Y方向上平移63(145-208)個像素，以其中心旋轉12(12-0)度，并按1(90/90)的比例進行縮放。仿射變換后的初始模型如圖4所示。
6.以初始模型作為起始位置并用二維輪廓(如圖5所示)而不是一維輪廓(如圖6所示)進行ASM搜索得到人臉特征點的位置，即把初始模型覆蓋在圖像上，對模型中第j個特征點，在垂直于其前后兩個特征點連線方向上以其為中心兩邊各選擇15個像素，這樣就形成了一個長度為31(2*15+1)的一維向量，然后再以該一維向量為中心，兩邊各選擇5個與其長度相同，方向相同的一維向量，這樣就形成了一個長為31(2*15+1)，寬為11(2*5+1)的二維矩陣，計算這個二維矩陣每一行中像素灰度值的導數(shù)并歸一化從而就得到了一個長度為30，寬度為11的二維輪廓。定義一個能量函數(shù)fj(p)=(temp(p)-gj‾)·Cj-1·(temp(p)-gj‾)T,]]>用此能量函數(shù)評判當前子輪廓與 之間的相似性。在上述這個二維輪廓的每一行上進行如下操作在當前行中從前向后依次取長度為10的子輪廓記為temp(P)，記錄下使能量函數(shù)達到最小的子輪廓的中心位置，對11行都進行這樣的操作就會得到11個這樣的位置，然后從這11個位置中選出其對應的能量函數(shù)最小的位置，該位置即為當前特征點的新位置，同時計算該特征點位置的變化dXj，對每個特征點都進行這樣的計算就得到k個位置變化dX，i＝1，2，...，k，并組成一個向量dX＝(dX1，dX2，...，dXk)。然后再根據(jù)上述dX計算仿射變換參數(shù)和b的變化，經(jīng)過24步迭代就可以最終定位60個特征點，如圖7所示。
本發(fā)明提出的人臉特征點定位方法具有較高的精度。以上實施例總耗時為0.49秒，誤差為3.1個像素。
權利要求
1.一種用二維輪廓進行人臉特征點新位置搜索的方法，其特征在于，包括如下步驟(1)在給定的圖像上進行人臉檢測，給出人臉區(qū)域的位置坐標；(2)在找到的人臉區(qū)域上進行眼睛定位，找到兩眼的位置；(3)計算兩眼中點的坐標[X1，Y1]、兩眼之間的距離ds1、兩眼連線的角度angle1；(4)建立ASM模型；(5)對ASM模型的初始位置進行仿射變換得到初始模型；(6)用初始模型作為ASM搜索的起始位置，并使用二維輪廓進行特征點定位。
2.根據(jù)權利要求1所述的用二維輪廓進行人臉特征點新位置搜索的方法，其特征是，所述的步驟(1)，是指利用adaboost方法進行人臉檢測。
3.根據(jù)權利要求1所述的用二維輪廓進行人臉特征點新位置搜索的方法，其特征是，所述的步驟(2)，是指利用方差投影函數(shù)進行眼睛的準確定位。
4.根據(jù)權利要求1所述的用二維輪廓進行人臉特征點新位置搜索的方法，其特征是，所述的步驟(4)，是指首先在訓練集的每一個訓練樣本圖像上手工選擇k個特征點，這k個特征點組成的形狀由一個向量x(i)＝[x1，x2，...，xk，y1，y2，...，yk]來表示，具有相同編號的特征點在圖像中表示相同的特征，n個訓練樣本圖像就有n個形狀向量，對這些形狀向量進行校準操作，然后對校準后的形狀向量進行PCA處理，這樣任何一個形狀都能表示為x＝x+Pb，式中b＝PT.(x-x)，b的值表示了前t個模式的變化情況；對于訓練樣本圖像中每個特征點需要建立其局部紋理，即對k個特征點都計算其輪廓的平均和方差，從而就得到了k個特征點的局部紋理。
5.根據(jù)權利要求1所述的用二維輪廓進行人臉特征點新位置搜索的方法，其特征是，所述的步驟(5)，是指以兩眼中點的位置、兩眼之間的距離、兩眼連線的角度對ASM模型的平均形狀進行仿射變換從而得到初始模型。
6.根據(jù)權利要求1或者5所述的用二維輪廓進行人臉特征點新位置搜索的方法，其特征是，所述的仿射變換，是指對訓練得到的平均形狀模型x，分別計算左眼球和右眼球周圍的四個特征點的中心作為左眼睛和右眼睛位置，然后計算該平均形狀模型中兩眼的距離ds2、兩眼連線的角度angle2以及兩眼的中點坐標[X2，Y2]，再對平均形狀模型x進行仿射變換，即將把整個平均形狀模型x平移[X1-X2，Y1-Y2]，然后以該模型的中心旋轉angle1-angle2，最后再以ds1/ds2的比例進行縮放。
7.根據(jù)權利要求1或者5所述的用二維輪廓進行人臉特征點新位置搜索的方法，其特征是，所述的仿射變換，由X＝M(s，θ)[x]+Xc來表示，該式表示對x以其中心逆時針旋轉θ縮放s，然后再平移Xc，其中Xc＝(Xc，Yc，Xc，Yc，...，Xc，Yc)。
8.根據(jù)權利要求1所述的用二維輪廓進行人臉特征點新位置搜索的方法，其特征是，所述的步驟(6)，是指用仿射變換后初始模型在新的圖像中搜索目標形狀，使搜索到的最終形狀中的特征點和相對應的真正特征點最為接近，這個搜索過程主要是通過仿射變換和參數(shù)b的變化來實現(xiàn)。
9.根據(jù)權利要求1或者8所述的用二維輪廓進行人臉特征點新位置搜索的方法，其特征是，所述的步驟(6)，具體通過反復如下兩步來實現(xiàn)1)計算每個特征點的新位置首先把初始模型覆蓋在圖像上，對于模型中第j個特征點，在垂直于其前后兩個特征點連線方向上以其為中心兩邊各選擇1個像素，其中1大于m，這樣就形成了一個長度為2m+1的一維向量，然后再以該一維向量為中心，兩邊各選擇s個與其長度相同，方向相同的一維向量，這樣就形成了一個長為2m+1，寬為2s+1的二維矩陣，計算這個二維矩陣每一行中像素灰度值的導數(shù)并歸一化從而就得到了一個長度為2m，寬度為2s+1的二維輪廓，在該二維輪廓中找到使得馬氏距離最小的長度為m的子輪廓，該子輪廓的中心即為當前特征點的新位置，同時計算該特征點位置的變化dXj，對每個特征點都進行這樣的計算就得到k個位置變化dXi，i＝1，2，...，k，并組成一個向量dX＝(dX1，dX2，...，dXk)；2)仿射變換中的參數(shù)和b的更新對參數(shù)作如下更新Xc＝Xc+wtdXc，Yc＝Yc+wtdYc，θ＝θ+Wθdθ，b＝b+Wbdb，式中wt，wθ，ws，Wb是用于控制參數(shù)變化的權值，這樣由式x＝x+Pb得到新的形狀。
全文摘要
一種圖像處理技術領域的用二維輪廓進行人臉特征點新位置搜索的方法，包括如下步驟(1)在給定的圖像上進行人臉檢測，給出人臉區(qū)域的位置坐標；(2)在找到的人臉區(qū)域上進行眼睛定位，找到兩眼的位置；(3)計算兩眼中點的坐標、兩眼之間的距離、兩眼連線的角度；(4)建立ASM模型；(5)對ASM模型的初始位置進行仿射變換得到初始模型；(6)用初始模型作為ASM搜索的起始位置，并使用二維輪廓進行特征點定位。本發(fā)明提出的涉及了人臉檢測、眼睛檢測、二維輪廓、ASM特征點定位的人臉特征點定位方法可以進一步應用于人臉識別，性別識別、表情識別、年齡估計等方面，其具較高的精度。
文檔編號G06K9/00GK1786980SQ20051011122
公開日2006年6月14日 申請日期2005年12月8日 優(yōu)先權日2005年12月8日
發(fā)明者杜春華, 楊杰 申請人:上海交通大學