一種人臉對齊方法和系統(tǒng)的制作方法
【專利摘要】本發(fā)明提供一種人臉對齊方法和系統(tǒng)，所述方法包括：在參考集中找到與輸入人臉圖像在圖像特征上最相似的K個近鄰人臉圖像樣本，其中所述參考集包括已標定面部特征點的多個人臉圖像樣本；從K個近鄰人臉圖像樣本的面部特征點中得到所述輸入人臉圖像的面部特征點。所述方法還包括：對所述輸入人臉圖像的面部特征點和所述輸入人臉圖像的邊界點做分塊三角剖分，每塊單獨計算仿射變換，對齊到指定的臉。采用本發(fā)明可以較準確地獲得多個面部特征點的位置，能夠在保持身份信息的同時盡量去除姿態(tài)、表情的不一致對人臉識別的影響，提升人臉識別性能。
【專利說明】一種人臉對齊方法和系統(tǒng)
【技術領域】
[0001]本發(fā)明涉及計算機圖像處理【技術領域】，具體涉及一種人臉對齊方法和系統(tǒng)。
【背景技術】
[0002]隨著人類視覺技術的發(fā)展和計算機科學的進步，用計算機處理圖像認知已成為可能。作為計算視覺領域的一個研究熱點，人臉識別已經(jīng)在生活娛樂、信息安全、視頻監(jiān)控等諸多方面得到了廣泛應用。人臉識別的步驟一般分為人臉檢測、人臉對齊和人臉比對，其中人臉對齊是人臉識別不可或缺的一個關鍵步驟。
[0003]盡管AdaBoost技術的提出很好地解決了人臉檢測問題，但人臉對齊的問題卻沒有得到很好的解決。很多研究人員致力于研究人臉面部特征點定位，根據(jù)面部特征點定位的結果來完成人臉對齊的任務，使得人臉對齊后可以在相同的配置條件下完成人臉比對，即完成人臉識別。目前，人臉對齊的方法主要分為兩大類:基于全局仿射變換的人臉對齊方法和基于局部仿射變換的人臉對齊方法。前者通過使用若干面部特征點計算全局仿射變換參數(shù)來對齊人臉；后者基于多個面部特征點做三角剖分，通過計算分塊仿射變換來對齊人臉。圖1示出了使用兩眼位置來對齊人臉的結果，而圖2示出了基于68個面部特征點來對齊不同人臉的結果。
[0004]然而，從圖1可見，盡管基于全局仿射變換的人臉對齊方法可以保持大量的身份信息(例如，眼睛大小、鼻子大小等)，但是沒能去除姿態(tài)、表情等影響，不利于進行人臉識另|J。從圖2可見，基于局部仿射變換的人臉對齊方法不能很好地保持身份信息。此外，基于局部仿射變換的人臉對齊方法通常需要得到多個面部特征點位置，然而使用目前常用的ASM、AAM等方法很難得到準確的面部特征點位置(尤其是在姿態(tài)變化比較大的情況下)，且對于outlier的特征點(即異常特征點，指定位結果出錯的特征點)敏感，這可能會導致人臉識別性能的嚴重下降。
[0005]綜上所述，基于全局仿射變換的人臉對齊方法由于沒有去除姿態(tài)等影響，可能導致同一個人在不同的姿態(tài)和表情下被識別成不同的人。而基于局部仿射變換的人臉對齊方法在采用錯誤的特征點位置對齊后人臉會出現(xiàn)嚴重的變形，且無法大量保持身份信息，從而導致人臉識別性能的嚴重下降。為解決上述問題，當前需要一種人臉對齊方法能夠在保持身份信息的同時盡量去除姿態(tài)、表情的不一致給人臉識別帶來的影響，從而提升人臉識別的性能。

【發(fā)明內容】

[0006]根據(jù)本發(fā)明的一個實施例，提供一種人臉對齊方法，包括:
[0007]步驟I)、在參考集中找到與輸入人臉圖像在圖像特征上最相似的K個近鄰人臉圖像樣本，其中所述參考集包括已標定面部特征點的多個人臉圖像樣本；
[0008]步驟2)、從所述K個近鄰人臉圖像樣本的面部特征點中得到所述輸入人臉圖像的面部特征點；[0009]步驟3)、對所述輸入人臉圖像的面部特征點和所述輸入人臉圖像的邊界點做分塊三角剖分，每塊單獨計算仿射變換，對齊到指定的臉。
[0010]在一個實施例中，步驟I)之前還包括:
[0011]使用全局仿射變換對齊所述參考集中的人臉圖像樣本和所述輸入人臉圖像。
[0012]在一個實施例中，步驟I)包括:
[0013]步驟111)、提取所述輸入人臉圖像的圖像特征和所述參考集中每個人臉圖像樣本的圖像特征；
[0014]步驟112)、基于所述圖像特征計算所述輸入人臉圖像與所述參考集中每個人臉圖像樣本的距離；
[0015]步驟113)、根據(jù)距離對所述參考集中的人臉圖像樣本進行排序，選擇距離最小的K個近鄰人臉圖像樣本。
[0016]在一個實施例中，所述圖形特征包括全局紋理特征。
[0017]在另一個實施例中，所述圖像特征包括局部紋理特征。
[0018]在另一個實施例中，步驟I)包括:
[0019]步驟121)、提取所述輸入人臉圖像的圖像特征和所述參考集中每個人臉圖像樣本的圖像特征；
[0020]步驟122)、對所述圖像特征進行降維得到衍生特征，在低維空間中求取所述輸入圖像的衍生特征的L個近鄰，得到所述參考集中相應的L個人臉圖像樣本；
[0021]步驟123)、基于所述圖像特征計算所述輸入人臉圖像與所述L個人臉圖像樣本中每個人臉圖像樣本的距離；
[0022]步驟124)、根據(jù)距離對所述參考集中的人臉圖像樣本進行排序，選擇距離最小的K個近鄰人臉圖像樣本，其中K是小于等于L的正整數(shù)。
[0023]在一個實施例中，步驟2 )包括:
[0024]將所述K個近鄰人臉圖像樣本的全部面部特征點作為所述輸入人臉圖像的面部特征點。
[0025]在另一個實施例中，步驟2)包括:
[0026]步驟21)、對K個近鄰人臉圖像樣本中的面部特征點設置權重；
[0027]步驟22)、選擇權重高于預定閾值的面部特征點作為輸入人臉圖像的面部特征點。
[0028]在一個實施例中，步驟3 )之前還包括:
[0029]根據(jù)所述輸入人臉圖像的面部特征點估計所述輸入人臉圖像的邊界。
[0030]在進一步的實施例中，所述輸入人臉圖像的面部特征點包括左右眼和左右嘴角。
[0031]在一個實施例中，指定的臉包括平均臉。
[0032]根據(jù)本發(fā)明的一個實施例，還提供一種人臉對齊系統(tǒng)，包括:
[0033]匹配模塊，用于在參考集中找到與輸入人臉圖像在圖像特征上最相似的K個近鄰人臉圖像樣本，其中所述參考集包括已標定面部特征點的多個人臉圖像樣本；
[0034]融合模塊，用于從所述K個近鄰人臉圖像樣本的面部特征點中得到所述輸入人臉圖像的面部特征點；以及
[0035]對齊模塊，用于對所述輸入人臉圖像的面部特征點和所述輸入人臉圖像的邊界點做分塊三角剖分，每塊單獨計算仿射變換，對齊到指定的臉。[0036]采用本發(fā)明可以達到如下有益效果:
[0037]通過近鄰搜索的方法可以較準確地獲得多個面部特征點的位置，進而根據(jù)多個面部特征點的位置對齊人臉，可以在保持身份信息的同時盡量去除姿態(tài)、表情的不一致對人臉識別的影響，達到提升人臉識別性能的效果。
【專利附圖】

【附圖說明】
[0038]圖1是采用全局仿射變換使用兩眼位置對齊后的人臉示意圖；
[0039]圖2是采用局部仿射變換基于68個面部特征點對齊后的人臉示意圖；
[0040]圖3是根據(jù)本發(fā)明一個實施例的人臉對齊方法的流程圖；
[0041]圖4是基于全局紋理特征的KNN面部特征點定位方法的流程圖；
[0042]圖5是基于局部紋理特征的KNN面部特征點定位方法的流程圖；
[0043]圖6是基于全局HoG特征和Hashing索引技術的面部特征點定位方法的流程圖；
[0044]圖7是定義人臉邊界的示意圖；
[0045]圖8是基于人臉邊界的點和面部特征點做三角剖分后的平均臉模型示意圖；
[0046]圖9是將輸入人臉圖像對齊到平均臉的流程圖；
[0047]圖10是采用本發(fā)明提供的人臉對齊方法與現(xiàn)有方法進行人臉確認實驗的結果；以及
[0048]圖11是采用本發(fā)明提供的人臉對齊方法與現(xiàn)有方法進行另一個人臉確認實驗的結果。
【具體實施方式】
[0049]下面結合附圖及實施例對本發(fā)明進行詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0050]根據(jù)本發(fā)明的一個實施例，提供一種人臉對齊方法。圖3示出了該人臉對齊方法的步驟，概括說來包括:步驟1、建立參考集；步驟2、對人臉圖像X進行初步對齊，得到圖像V ;步驟3、在參考集中尋找圖像X’的近鄰圖像，從近鄰圖像的面部特征點的位置得到人臉圖像X的面部特征點定位結果；步驟4、根據(jù)上一步得到的人臉圖像X的面部特征點位置來估計人臉邊界；步驟5、根據(jù)面部特征點和人臉邊界點做分塊三角剖分，將人臉圖像X對齊到指定的臉(該指定的臉可包括任何人臉或者平均臉，即人臉形狀的平均值)，得到人臉對齊結果。
[0051]現(xiàn)結合實施例，繼續(xù)參考圖3對每個步驟進行詳細描述。
[0052]步驟1、建立參考集，該參考集包括已標定面部特征點的多個人臉圖像
[0053]在一個實施例中，要建立任意大小的包含各種姿態(tài)或表情變化的人臉圖像的參考集，可以根據(jù)具體的應用背景從現(xiàn)有的公開人臉數(shù)據(jù)庫中選取具有相關姿態(tài)、表情的人臉圖片來構建。例如，如果某個應用是準正面條件下的人臉識別，那么只需要從現(xiàn)有的人臉數(shù)據(jù)庫中選取一些準正面姿態(tài)的人臉圖片建立參考集，而不需要引入更多姿態(tài)的數(shù)據(jù)。其中，可以根據(jù)具體應用來動態(tài)調整參考集的大小。
[0054]在另一個實施例中，可以根據(jù)某個人臉訓練集自動地選取它的若干近鄰樣本來建立參考集。例如，可以從待識別的人臉圖像中隨機選擇一部分圖像集S，在人臉數(shù)據(jù)庫中選擇圖像集S的K近鄰樣本來建立參考集。除此之外，還可以根據(jù)經(jīng)驗來手工地建立參考集。
[0055]為定位待識別圖像(或稱待對齊圖像、輸入人臉圖像)的面部特征點(將在步驟3進行詳細描述)，首先要對齊參考集中的人臉圖像。在一個實施例中，在建立參考集之后，還可以包括以下步驟:
[0056]i )、基于全局仿射變換對齊參考集中的人臉圖像。例如，根據(jù)若干面部特征點的位置來對齊參考集中的人臉圖像，以去除平面內旋轉和尺度變化的影響；
[0057]ii)、對參考集中的每個人臉圖像提取圖像特征。例如，可提取全局的HoG、SIFT等紋理特征；在已標定的面部特征點周圍提取局部的HoG、SIFT等紋理特征；以及對HoG、SIFT等紋理特征降維后的衍生特征。
[0058]步驟2、對待識別的人臉圖像進行初步對齊
[0059]在一個實施例中，可基于全局仿射變換來初步對齊待識別的人臉圖像，使初步對齊后的人臉圖像X’可與參考集中的人臉圖像進行匹配(參見步驟3)。例如，可使用Adaboost人臉檢測算法檢測人臉，根據(jù)檢測到的人臉區(qū)域初步對齊人臉得到X’，諸如通過簡單的旋轉、平移和縮放操作?；蛘?，可首先使用Adaboost等面部特征點定位算法來確定兩眼位置，接著根據(jù)兩眼位置來初步對齊人臉圖像得到V。
[0060]步驟3、面部特征點定位
[0061]在一個實施例中，面部特征點定位可包括以下過程:
[0062]首先，提取待識別人臉圖像中的圖像特征(如HoG、SIFT紋理特征等)。接著，基于該圖像特征采用近鄰搜索方法尋找參考集中的K近鄰樣本，該近鄰樣本與待識別人臉圖像在姿態(tài)、表情上接近且臉型、五官等身份信息相似。最后，從這K個近鄰樣本的已標定面部特征點中獲得待識別人臉圖像X的特征點定位結果。其中，從近鄰樣本的已標定面部特征點中獲得待識別人臉圖像的特征點定位結果也稱作融合過程。
[0063]在一個實施例中，可提取待識別人臉圖像的全局的HoG、SIFT等紋理特征，基于該全局特征將待識別的人臉圖像與參考集中的樣本圖像計算Euclidean距離或者Cosine距離，根據(jù)計算的距離對參考集中的樣本進行排序。選取參考集中前K個近鄰樣本(即K個最相似樣本)，將這些近鄰樣本的面部特征點位置的均值作為圖像X的特征點定位的結果?；蛘?，在進一步的實施例中，可根據(jù)待識別人臉圖像與近鄰樣本的距離大小設定每個近鄰樣本的面部特征點的權重，選擇權重高于預定閾值的面部特征點作為圖像X的面部特征點。或者，也可以人為設定面部特征點的權重。圖4示出了基于全局紋理特征的KNN面部特征點定位方法的流程圖。
[0064]在另一個實施例中，步驟3還可以根據(jù)參考集中每個樣本圖像的面部特征點位置，在輸入圖像X的相應位置提取局部HoG、SIFT紋理特征，基于該局部HoG、SIFT紋理特征與參考集中的樣本圖像計算Euclidean距離或者Cosine距離,選擇前K個近鄰樣本。從參考集中該前K個近鄰樣本圖像的特征點位置得到圖像X的特征點定位的結果。如上文所述，可以對每個特征點進行加權來選擇其中權重較高的部分特征點。圖5示出了基于局部紋理特征的KNN面部特征點定位方法的流程圖。
[0065]在又一個實施例中，步驟3中還可以基于由主成分分析(PCA)對HoG、SIFT紋理特征降維后的衍生特征來計算K近鄰，以達到提速和降低空間存儲的目的。
[0066]例如，可以采用各類索引技術(如Hashing)進行加速。圖6描述了基于全局HoG特征和Hashing索引技術的面部特征點定位方法,其中Coarse-to_Fine的搜索過程包含兩個子步驟:
[0067]i )、使用ITQ技術將HoG特征Hashing到低維空間，在低維空間中求取L個(例如L取1000)近鄰；
[0068]ii )、使用HoG特征，從參考集中的對應的L個近鄰樣本圖像中選取K個近鄰(如50個)，融合這50個近鄰樣本圖像的面部特征點位置作為待識別圖像的面部特征點定位結果。
[0069]步驟4、估計人臉邊界
[0070]在一個實施例中，可以根據(jù)面部特征點位置(例如，根據(jù)左右眼和左右嘴角的位置)估計出人臉的邊界(或稱外邊界)，如圖7所示。其中，d為兩眼間距，A、B、C、D分別為人臉區(qū)域的左右邊界和上下邊界?？梢酝ㄟ^統(tǒng)計大量的人臉樣本，來得到圖7中xd，yd, zd, Id的值，從而獲取人臉的邊界。除了左右眼和左右嘴角，在其他實施例中，還可以根據(jù)更多的特征點位置來估計人臉的邊界。
[0071]步驟5、將人臉圖像對齊到指定的臉
[0072]在指定的臉為平均臉的實施例中，可采用以下方法來得到平均臉:
[0073]首先從人臉數(shù)據(jù)庫中挑選若干準正面的人臉樣本；接著使用動態(tài)形狀模型(ASM)訓練得到平均臉S。
[0074]將待識別的人臉圖像對齊到平均臉包括:根據(jù)步驟3中得到的面部特征點和步驟4中估計的人臉邊界點做分塊三角剖分，每塊單獨計算仿射變換，對齊到平均臉S。對齊后的人臉圖像可以做后續(xù)的人臉識別。
[0075]應理解，除了將輸入人臉圖像與平均臉S對齊，在其他實施例中，還可以采用本發(fā)明提供的方法將輸入人臉圖像與另外一幅或多幅人臉對齊。
[0076]以下給出一個示例，用以描述如何實現(xiàn)本發(fā)明提供的人臉對齊方法。
[0077]發(fā)明人根據(jù)從CAS_PEAL、FERET, HOAP和MultiPIE數(shù)據(jù)庫建立的參考集進行人臉對齊。該人臉對齊過程包括以下步驟:
[0078]步驟1、建立參考集:
[0079]發(fā)明人從CAS_PEAL、FERET, HOAP和MultiPIE四個數(shù)據(jù)庫分別選取若干樣本建立參考集Refl。如表1所示，參考集Refl的水平平面外旋轉(Yaw)變化為-40°~40°，垂直俯仰(Tilt)變化為0°~22.5°，其中包含光照和表情變化。建立參考集后，在每個樣本圖像中根據(jù)兩眼位置截取64x80的人臉區(qū)域，左右眼位置為(17，31)和(46，31 )。針對64x80的人臉區(qū)域提取全局的HoG特征。
[0080]表1
[0081]
【權利要求】
1.一種人臉對齊方法，包括: 步驟I)、在參考集中找到與輸入人臉圖像在圖像特征上最相似的K個近鄰人臉圖像樣本，其中所述參考集包括已標定面部特征點的多個人臉圖像樣本； 步驟2)、從所述K個近鄰人臉圖像樣本的面部特征點中得到所述輸入人臉圖像的面部特征點； 步驟3)、對所述輸入人臉圖像的面部特征點和所述輸入人臉圖像的邊界點做分塊三角剖分，每塊單獨計算仿射變換，對齊到指定的臉。
2.根據(jù)權利要求1所述的方法，其中，步驟I)之前還包括: 使用全局仿射變換對齊所述參考集中的人臉圖像樣本和所述輸入人臉圖像。
3.根據(jù)權利要求1所述的方法，其中，步驟I)包括: 步驟111)、提取所述輸入人臉圖像的圖像特征和所述參考集中每個人臉圖像樣本的圖像特征； 步驟112)、基于所述圖像特征計算所述輸入人臉圖像與所述參考集中每個人臉圖像樣本的距離； 步驟113)、根據(jù)距離對所述參考集中的人臉圖像樣本進行排序，選擇距離最小的K個近鄰人臉圖像樣本。
4.根據(jù)權利要求3所述的方法，其中，所述圖形特征包括全局紋理特征。
5.根據(jù)權利要求3所述的方法，其中，所述圖像特征包括局部紋理特征。
6.根據(jù)權利要求1所述的方法，其中，步驟I)包括: 步驟121)、提取所述輸入人臉圖像的圖像特征和所述參考集中每個人臉圖像樣本的圖像特征； 步驟122)、對所述圖像特征進行降維得到衍生特征，在低維空間中求取所述輸入圖像的衍生特征的L個近鄰，得到所述參考集中相應的L個人臉圖像樣本； 步驟123)、基于所述圖像特征計算所述輸入人臉圖像與所述L個人臉圖像樣本中每個人臉圖像樣本的距離； 步驟124)、根據(jù)距離對所述參考集中的人臉圖像樣本進行排序，選擇距離最小的K個近鄰人臉圖像樣本，其中K是小于等于L的正整數(shù)。
7.根據(jù)權利要求1-6中任何一個所述的方法，其中，步驟2)包括: 將所述K個近鄰人臉圖像樣本的全部面部特征點作為所述輸入人臉圖像的面部特征點。
8.根據(jù)權利要求1-6中任何一個所述的方法，其中，步驟2)包括: 步驟21)、對K個近鄰人臉圖像樣本中的面部特征點設置權重； 步驟22)、選擇權重高于預定閾值的面部特征點作為輸入人臉圖像的面部特征點。
9.根據(jù)權利要求1-6中任何一個所述的方法，其中，步驟3)之前還包括: 根據(jù)所述輸入人臉圖像的面部特征點估計所述輸入人臉圖像的邊界。
10.根據(jù)權利要求9所述的方法，其中，所述輸入人臉圖像的面部特征點包括左右眼和左右嘴角。
11.根據(jù)權利要求1-6中任何一個所述的方法，其中，指定的臉包括平均臉。
12.一種人臉對齊系統(tǒng)，包括:匹配模塊，用于在參考集中找到與輸入人臉圖像在圖像特征上最相似的K個近鄰人臉圖像樣本，其中所述參考集包括已標定面部特征點的多個人臉圖像樣本； 融合模塊，用于從所述K個近鄰人臉圖像樣本的面部特征點中得到所述輸入人臉圖像的面部特征點；以及 對齊模塊，用于對所述輸入人臉圖像的面部特征點和所述輸入人臉圖像的邊界點做分塊三角剖分，每塊單獨計算 仿射變換，對齊到指定的臉。
【文檔編號】G06K9/00GK103577815SQ201310628537
【公開日】2014年2月12日 申請日期:2013年11月29日 優(yōu)先權日:2013年11月29日
【發(fā)明者】山世光, 張 杰, 趙小偉, 陳熙霖 申請人:中國科學院計算技術研究所