臉部特征提取裝置、臉部特征提取方法、圖像處理設(shè)備和圖像處理方法
【專利摘要】本公開涉及臉部特征提取裝置、臉部特征提取方法、圖像處理設(shè)備和圖像處理方法。一種臉部特征提取裝置，用于從臉部圖像中提取特征，所述臉部特征提取裝置包括：檢測單元，檢測臉部圖像中的多個特征點；歸一化單元，基于檢測單元檢測的所述多個特征點，對所述臉部圖像中的臉部歸一化，由此得到歸一化臉部和所述歸一化臉部上的與所述臉部圖像中的多個特征點對應(yīng)的多個歸一化特征點；估計單元，估計所述臉部圖像中的臉部姿態(tài)；定位單元，基于歸一化臉部上的歸一化特征點和估計單元所估計的所述臉部圖像中的臉部姿態(tài)，定位所述歸一化臉部中的特征區(qū)域；以及提取單元，從所述歸一化臉部中的特征區(qū)域來提取特征。
【專利說明】
臉部特征提取裝置、臉部特征提取方法、圖像處理設(shè)備和圖 像處理方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明一般地設(shè)及圖像處理、計算機(jī)視覺和模式識別，更具體地，設(shè)及臉部特征提 取裝置和臉部特征提取方法W及圖像處理設(shè)備和圖像處理方法。
【背景技術(shù)】
[0002] 一般地，使用臉部特征來幫助識別臉部屬性，諸如臉部表情、人員身份（要用于身 份識別）、年齡、種族、性別、是否戴眼鏡、是否有胡子等。因此，臉部特征的提取在圖像處理、 計算機(jī)視覺和模式識別領(lǐng)域中，尤其在臉部屬性識別領(lǐng)域中是重要的。
[0003] 現(xiàn)在，將W臉部表情識別作為臉部屬性識別的例子。
[0004] 在臉部表情識別的常用方法（將稱為方法1)中，臉部區(qū)域（粗略臉部區(qū)域中的臉 部圖像）被輸入到特征點檢測模塊。然后，根據(jù)由特征點檢測模塊檢測的臉部特征點（例 如，臉部關(guān)鍵位置上的點）來歸一化臉部。顯著區(qū)域（例如，器官區(qū)域：眼睛、鼻子和嘴等本 文中也被稱為特征區(qū)域）定位于歸一化臉部上，并且在顯著區(qū)域內(nèi)的子區(qū)域（在模板中是 預(yù)定的）上提取臉部特征。將臉部特征輸入到預(yù)先訓(xùn)練的表情分類模型，來預(yù)測表情類別。 該方法的工作流程如圖1所示。
[0005] 在該方法中，顯著區(qū)域的尺寸是固定的，并且根據(jù)特征點的位置來對其進(jìn)行定位。 W左眼區(qū)域為例，該區(qū)域的寬度是Μ個像素（固定值），高度是N個像素（固定值）。區(qū)域 中屯、與左眼中屯、相同。
[0006] 但是，在該方法中，當(dāng)臉部姿態(tài)（其也可W表示為例如偏轉(zhuǎn)角α和俯仰角β)改 變時，所定位的顯著區(qū)域?qū)⒉缓线m。如圖2所示，在圖2所示的圖像1中，有非常小的偏轉(zhuǎn) 角（α)和俯仰角（β)，因此，由淺色矩形表示的顯著區(qū)域定位良好。對于圖2中所示的圖 像2,所定位的顯著區(qū)域包括一些無效區(qū)域（包含臉部區(qū)域之外的紋理的區(qū)域），因為臉部 的偏轉(zhuǎn)角變大了。在圖2所示的圖像3中，偏轉(zhuǎn)角更大了，因此顯著區(qū)域中包括的無效區(qū)域 更大。在圖2所示的圖像4和5中，除了更大的偏轉(zhuǎn)角之外，臉部還有更大的俯仰角，因此 顯著區(qū)域不恰當(dāng)。
[0007] 然后，在方法1中，根據(jù)預(yù)先定義的模板選擇顯著區(qū)域中的由深色矩形表示的一 些子區(qū)域。先定位子區(qū)域的位置，在圖2中用虛線矩形示出。當(dāng)臉部姿態(tài)改變時，子區(qū)域的 位置在不同視角的臉部之間失配。例如，在圖2所示的圖像1和2中，圖像1中的子區(qū)域包 含表情的紋理信息，而圖像2中的子區(qū)域是無效的。
[000引總之，在該常用方法1中有如下兩個問題。
[0009] 1.在一些顯著區(qū)域中有無效區(qū)域，例如其不包含臉部的紋理信息，或者該區(qū)域沒 有良好定位。
[0010] 2.所選子區(qū)域的位置在不同視角的臉部（例如偏轉(zhuǎn)角不同）之間失配。
[0011] 運(yùn)兩個問題將影響從顯著區(qū)域或子區(qū)域提取的特征。當(dāng)所述特征不是有效的時， 表情識別的性能將劣化。
[0012] 另外，多視角識別模型也用于提高對于不同姿態(tài)臉部的表情識別準(zhǔn)確度，例如，在 Multi-View Facial Expression Recognition(Yuxiao Hu, Zhihong Zeng, Xi Zhou, Thomas S. Huang, Automatic Face&Gesture Recognition, 2008. FG'08. 8th IEEE International Conference, 17-19Seipt. 2008, Pages 1-6)中提出的方法（將稱為方法 2)。
[0013] 在上述方法2的表情識別處理中，如圖3所示，首先，檢測臉部特征點并且臉部被 歸一化。根據(jù)檢測的特征點，在歸一化的臉部上定位顯著區(qū)域。從顯著區(qū)域提取臉部特征 W用于臉部視角分類和表情識別。然后，輸入臉部的視角（例如，0度，30度，45度，60度， 或90度）被分類。指定視角的識別模型（例如，30度）將被用于識別表情類別，其中指定 視角的每個識別模型（例如，30度）用其姿態(tài)接近該視角角度（例如，在[20度，40度]的 范圍中）的臉部圖像訓(xùn)練，運(yùn)樣，用于特征提取的顯著區(qū)域更準(zhǔn)確。
[0014] 然而，多視角表情識別模型（例如上述的方法2)的最大問題是較大的模型尺寸。 考慮2維（例如，偏轉(zhuǎn)角和俯仰角）的臉部姿態(tài)的變型：如果有Μ個俯仰角類別（例如，Μ 為扣和Ν個偏轉(zhuǎn)角類別（例如，Ν為W，則模型尺寸為單視角表情識別模型的ΜΧΝ倍。
[0015] 此外，在專利申請文獻(xiàn)US 2012/0169895Α1中提出了基于半監(jiān)督學(xué)習(xí)的多視角臉 部表情識別方法（將被稱為方法3)，其包括：收集η個不同的人的η個正臉臉部表情和η個 側(cè)臉臉部表情W構(gòu)造訓(xùn)練集X和測試集S，分割將正臉和側(cè)臉圖像上的臉部區(qū)域分區(qū)，使用 直方圖均衡化來減小照明影響，然后使用線性判別方法來提取特征W識別測試集的表情。 并且，該方法利用基于歐氏距離的最近鄰居來根據(jù)已標(biāo)記的樣本標(biāo)記未標(biāo)記樣本，從而訓(xùn) 練表情分類模型，運(yùn)是一個半監(jiān)督學(xué)習(xí)過程。

【發(fā)明內(nèi)容】

[0016] 上述方法1從具有固定尺寸的顯著區(qū)域中提取特征，當(dāng)臉部姿態(tài)改變時，表情識 別的性能可能劣化。
[0017] 上述方法2具有模型尺寸較大的嚴(yán)重問題，較大的模型尺寸需要更多的處理和存 儲資源，并且運(yùn)些資源在例如智能系統(tǒng)和/或嵌入式系統(tǒng)中是稀缺的和有限的。
[0018] 上述方法3在姿態(tài)不同的臉部上在具有固定位置和尺寸的區(qū)域中提取特征，而沒 有考慮臉部姿態(tài)，該方法在臉部有大的偏轉(zhuǎn)角或俯仰角時無法良好地定位顯著區(qū)域。
[0019] 因此，上述方法1和3均沒有認(rèn)識到臉部姿態(tài)對于定位顯著區(qū)域乃至識別準(zhǔn)確度 的影響，因此均沒有考慮它。上述方法3基于半監(jiān)督學(xué)習(xí)，它需要更大的模型尺寸，因此，它 不適合資源有限的系統(tǒng)。
[0020] 本發(fā)明旨在解決上述的問題。本發(fā)明的一個目的是提供一種用于提取臉部特征的 設(shè)備和方法W及用于處理圖像的設(shè)備和方法，W解決上述問題之一。
[0021] 本公開利用臉部姿態(tài)和特征點信息來得到顯著區(qū)域/子區(qū)域的恰當(dāng)?shù)奈恢煤统?寸，然后提取顯著區(qū)域/子區(qū)域的特征。
[0022] 具體地，對于具有粗略臉部區(qū)域的輸入臉部圖像，檢測特征點，并且將臉部歸一 化，然后估計臉部姿態(tài)（偏轉(zhuǎn)角和俯仰角），接著，可W根據(jù)檢測的特征點和估計的臉部姿 態(tài)來定位顯著區(qū)域。然后，可W從顯著區(qū)域提取臉部特征。
[0023] 通過在提取臉部特征之前考慮臉部姿態(tài)并且還利用臉部姿態(tài)信息來定位顯著區(qū) 域W便于從顯著區(qū)域提取臉部特征，可提高提取的特征的準(zhǔn)確度。
[0024] 作為替代方案，臉部上每個顯著區(qū)域中的子區(qū)域可W基于在定位顯著區(qū)域時生成 的變換矩陣來定位。然后，可W從子區(qū)域提取臉部特征。運(yùn)樣，即便是W不同的臉部姿態(tài)， 定位的顯著區(qū)域和子區(qū)域也可W基本上在人臉的相同位置，也就是說，所獲得的顯著區(qū)域 和子區(qū)域更接近臉部上的那些真實的顯著區(qū)域和子區(qū)域。
[00巧]通過先定位顯著區(qū)域（較大的區(qū)域）并且然后定位每個顯著區(qū)域中的子區(qū)域（較 小的區(qū)域），可W提高計算效率（顯著區(qū)域較大并且需要更多的計算量），并且還可W進(jìn)一 步提高提取的特征的準(zhǔn)確度，因為在不同姿態(tài)的人臉之中，從顯著區(qū)域和子區(qū)域提取的特 征是可W匹配的。
[0026] 還作為替代方案，可W不用先定位顯著區(qū)域而直接定位子區(qū)域（較小的區(qū)域），然 后從定位的子區(qū)域提取特征。
[0027] 運(yùn)樣，與僅定位顯著區(qū)域相比，也可W提高計算效率并且還可W進(jìn)一步提高提取 的特征的準(zhǔn)確度。
[0028] 此外，提取的特征可W輸入到預(yù)先訓(xùn)練的模型（例如，表情分類模型，ID識別模 型，年齡識別模型，等等），從而可W確定臉部特征。
[0029] 運(yùn)里，在本公開中使用術(shù)語"臉部特征"和"臉部屬性"。具體地，臉部屬性至少包 括表情、身份、年齡、種族、性別、有無眼鏡、有無胡須等等。另外，術(shù)語"臉部特征"可W指用 于表示臉部屬性的特征，例如，表情類別，并且其還可W指用于表示其他事物的特征，盡管 在本說明書中，其僅在臉部屬性的背景中使用。也就是說，應(yīng)當(dāng)注意，運(yùn)里的術(shù)語"臉部特 征"不限于指用于表示臉部屬性的特征。
[0030] 根據(jù)本公開的第一方面，提供一種臉部特征提取裝置，用于從臉部圖像中提取特 征，所述臉部特征提取裝置包括：檢測單元，檢測臉部圖像中的多個特征點；歸一化單元， 基于檢測單元檢測的所述多個特征點，對所述臉部圖像中的臉部歸一化，由此得到歸一化 臉部和所述歸一化臉部上的與所述臉部圖像中的多個特征點對應(yīng)的多個歸一化特征點；估 計單元，估計所述臉部圖像中的臉部姿態(tài)；定位單元，基于歸一化臉部上的歸一化特征點和 估計單元所估計的所述臉部圖像中的臉部姿態(tài)，定位所述歸一化臉部中的特征區(qū)域；W及 提取單元，從所述歸一化臉部中的特征區(qū)域來提取特征。
[0031] 根據(jù)本公開的第二方面，提供一種圖像處理設(shè)備，包括：臉部圖像供給裝置，提供 要被處理的臉部圖像；如上所述的臉部特征提取裝置，所述臉部特征提取裝置從所述臉部 圖像供給裝置提供的臉部圖像中提取特征；W及臉部屬性識別裝置，基于臉部特征提取裝 置所提取的特征，識別所述臉部圖像中的臉部的屬性。
[0032] 根據(jù)本公開的第Ξ方面，提供一種臉部特征提取方法，用于從臉部圖像中提取特 征，所述臉部特征提取方法包括：檢測步驟，檢測臉部圖像中的多個特征點；歸一化步驟， 基于在檢測步驟檢測的所述多個特征點，對所述臉部圖像中的臉部歸一化，由此得到歸一 化臉部和所述歸一化臉部上的與所述臉部圖像中的多個特征點對應(yīng)的多個歸一化特征點； 估計步驟，估計所述臉部圖像中的臉部姿態(tài)；定位步驟，基于歸一化臉部上的歸一化特征點 和在估計步驟所估計的所述臉部圖像中的臉部姿態(tài)，定位所述歸一化臉部中的特征區(qū)域； W及提取步驟，從所述歸一化臉部中的特征區(qū)域來提取特征。
[0033] 根據(jù)本公開的第四方面，提供一種圖像處理方法，包括：臉部圖像供給步驟，提供 要被處理的臉部圖像；特征提取步驟，通過使用如上所述的臉部特征提取方法，從所提供的 臉部圖像中提取特征；w及臉部屬性識別步驟，基于通過所述臉部特征提取方法所提取的 特征，識別所述臉部圖像中的臉部的屬性。
[0034] 根據(jù)本公開的第五方面，提供一種表情識別方法，包括：臉部圖像供給步驟，提供 要被處理的臉部圖像；特征提取步驟，通過使用如上所述的臉部特征提取方法，從所提供的 臉部圖像中提取特征；W及表情確定步驟，基于通過所述臉部特征提取方法所提取的特征， 確定所述臉部圖像中的臉部的表情。
[0035] 根據(jù)本公開的第六方面，提供一種表情識別裝置，包括：臉部圖像供給單元，提供 要被處理的臉部圖像；特征提取單元，通過使用如上所述的臉部特征提取裝置，從所提供的 臉部圖像中提取特征；W及表情確定單元，基于通過所述臉部特征提取裝置所提取的特征， 確定所述臉部圖像中的臉部的表情。
[0036] 此外，在檢測特征點之前，可W從臉部圖像中獲取粗略臉部區(qū)域，在運(yùn)種情況下， 從所獲得的粗略臉部區(qū)域來檢測所述特征點。
[0037] 其中，上述特征包括臉部部位的位置有關(guān)的信息、臉部上的紋理有關(guān)的信息、臉部 上的像素灰度值、臉部上的肌肉有關(guān)的信息、W及它們的任意組合。
[0038] 另外，上述用于反映臉部姿態(tài)的參數(shù)包括：在所述歸一化臉部上，臉部部位有關(guān)的 度量信息W及在所述臉部部位上的作為參考點的特征點的位置有關(guān)信息。更具體地，上述 用于反映臉部姿態(tài)的參數(shù)包括所述歸一化臉部上鼻尖與鼻基點之間的距離和鼻尖的位置。
[0039] 參照附圖閱讀示例性實施例的W下描述，本發(fā)明的其他特性特征和優(yōu)點將變得清 晰。
【附圖說明】
[0040] 并入到說明書中并且構(gòu)成說明書一部分的附圖示出了本發(fā)明的實施例，并且與描 述一起用于解釋本發(fā)明的原理。在運(yùn)些附圖中，類似的附圖標(biāo)記用于表示類似的項。
[0041] 圖1是常用表情識別方法的流程圖。
[0042] 圖2示例性地示出通過使用上述常用表情識別方法在臉部定位的顯著區(qū)域的幾 個例子。
[0043] 圖3示例性地示出現(xiàn)有技術(shù)中的多視角表情識別方法的流程圖。 W44] 圖4是示出可W實現(xiàn)本公開的實施例的計算機(jī)系統(tǒng)1000的示例性硬件配置的框 圖。
[0045] 圖5示例性地示出根據(jù)本公開的實施例的臉部特征提取方法的流程圖。
[0046] 圖6示例性地示出根據(jù)本公開的實施例的臉部特征提取裝置的框圖。
[0047] 圖7是特征點的示意圖。
[0048] 圖8示例性地示出根據(jù)本公開的實施例的用于估計臉部姿態(tài)的方法的流程圖。 W例圖9示例性地示出得到用于反映臉部姿態(tài)的參數(shù)的具體例子。
[0050] 圖10示例性地示出在估計臉部姿態(tài)期間采用的變換處理中使用的兩個坐標(biāo)系的 具體例子。
[0051] 圖11示例性地示出定位特征點的處理的流程圖。
[0052] 圖12是平均歸一化正臉上的特征區(qū)域的例子。
[0053] 圖13示例性地示出歸一化臉部的點和真實正臉的點之間的變換的例子。
[0054] 圖14示例性地示出根據(jù)本公開的定位處理和后續(xù)的處理的例子。
[0055] 圖15示例性地示出根據(jù)本公開的用于獲得臉部特征子區(qū)域的變換的一種變換。
[0056] 圖16示例性地示出根據(jù)本公開的圖像處理方法的例子。
[0057] 圖17示例性地示出根據(jù)本公開的另一實施例的臉部特征提取裝置的框圖。
[005引圖18示例性地示出根據(jù)本公開的實施例的定位單元的框圖。
[0059] 圖19示例性地示出根據(jù)本公開的另一實施例的定位單元的框圖。
[0060] 圖20示例性地示出根據(jù)本公開的另一實施例的區(qū)域定位處理和子區(qū)域定位處理 的流程圖。
[0061] 圖21示例性地示出根據(jù)本公開的實施例的圖像處理設(shè)備的框圖。
【具體實施方式】
[0062] 應(yīng)當(dāng)注意，W下的實施例并不意欲限制所附權(quán)利要求的范圍，并且在實施例中描 述的特征的所有組合對于解決本發(fā)明的技術(shù)問題并不一定是必需的。W下描述的本發(fā)明的 實施例中的每一個都可單獨(dú)地實施，或者在必要的情況下或在單個實施例中組合來自各個 實施例的要素或特征是有益的情況下作為多個實施例或者它們的特征的組合來實施。
[0063] 由于圖中類似的附圖標(biāo)記用于表示類似的元件，因此，將不在說明書中重復(fù)描述 運(yùn)些類似的元件，并且，本領(lǐng)域普通技術(shù)人員將理解運(yùn)些類似的元件表示類似的含義。
[0064] 在本公開中，可W通過軟件、硬件、固件或者其任意組合來實施本公開的每個單 元、部件和/或組件，并且，如果要由運(yùn)些單元、部件和/或組件執(zhí)行的操作與要由根據(jù)本公 開的方法執(zhí)行的步驟類似，則為了簡潔起見，可能僅詳細(xì)描述相應(yīng)的步驟而省略對操作的 詳細(xì)描述。但是，本領(lǐng)域普通技術(shù)人員將明白由運(yùn)些單元、部件和/或組件執(zhí)行的操作的具 體內(nèi)容。也就是說，盡管可能W裝置為背景來描述一些方面，但是顯然，運(yùn)些方面也代表對 應(yīng)方法的描述，其中塊或單元對應(yīng)于方法步驟或方法步驟的特征。類似地，在方法步驟的背 景中描述的方面也代表對應(yīng)裝置的對應(yīng)塊或項或特征。另外，可W通過軟件、硬件、固件或 者其任意組合來實施根據(jù)本公開的方法。也就是說，本公開的方法和系統(tǒng)不限于其實現(xiàn)方 式，并且，本發(fā)明的保護(hù)范圍僅由所附的權(quán)利要求限定。 陽〇化]而且，在本公開中，步驟的執(zhí)行順序不是必須要按照流程圖所示出和實施例中所 提到的那樣，而是可W根據(jù)實際情況來靈活變通的，即，本發(fā)明不應(yīng)該受到流程圖所示出的 步驟的執(zhí)行順序的限制。
[0066] 在本公開中，提出了新穎的臉部特征提取方法和裝置，其中，提取臉部特征點（臉 部上顯眼的點或者臉部的關(guān)鍵位置上的點）并且將臉部歸一化；根據(jù)歸一化臉部上的特 征點來估計臉部姿態(tài)（偏轉(zhuǎn)角和俯仰角）；建立用于關(guān)于所獲得的偏轉(zhuǎn)角和俯仰角將正臉 (真實正臉）上的區(qū)域映射到非正臉（歸一化臉部）的變換矩陣；定位正臉中的顯著區(qū)域， 然后根據(jù)變換矩陣將其映射到非正臉；提取非正臉中的區(qū)域的特征。
[0067] 此外，提取的特征可W用于確定臉部屬性。例如，預(yù)先訓(xùn)練的表情分類模型可W用 于確定表情類別。 W側(cè)另外，還可W定位顯著區(qū)域中的子區(qū)域并且然后可W提取子區(qū)域中的特征W確定 臉部屬性。 W例下面，將參照附圖來詳細(xì)描述本公開的示例性實施例。
[0070] 圖4是示出可w實現(xiàn)本公開的實施例的計算機(jī)系統(tǒng)1000的示例性硬件配置的框 圖。
[0071] 如圖4中所示，計算機(jī)系統(tǒng)1000包括計算機(jī)1110。計算機(jī)1110包括經(jīng)由系統(tǒng)總 線1121連接的處理單元1120、系統(tǒng)存儲器1130、固定非易失性存儲器接口 1140、可移動非 易失性存儲器接口 1150、用戶輸入接口 1160、網(wǎng)絡(luò)接口 1170、視頻接口 1190和輸出外圍接 日 1195。
[0072] 系統(tǒng)存儲器1130包括ROM(只讀存儲器）1131和RAM(隨機(jī)存取存儲器）1132。 BIOS (基本輸入輸出系統(tǒng)）1133駐留在ROM 1131中。操作系統(tǒng)1134、應(yīng)用程序1135、其他 程序模塊1136和某些程序數(shù)據(jù)1137駐留在RAM 1132中。
[0073] 諸如硬盤之類的固定非易失性存儲器1141連接到固定非易失性存儲器接口 1140。固定非易失性存儲器1141例如可W存儲操作系統(tǒng)1144、應(yīng)用程序1145、其他程序模 塊1146和某些程序數(shù)據(jù)1147。
[0074] 諸如軟盤驅(qū)動器1151和CD-ROM驅(qū)動器1155之類的可移動非易失性存儲器連接 到可移動非易失性存儲器接口 1150。例如，軟盤1152可W被插入到軟盤驅(qū)動器1151中，W 及CD (光盤）1156可W被插入到CD-ROM驅(qū)動器1155中。 陽075] 諸如麥克風(fēng)1161和鍵盤1162之類的輸入設(shè)備被連接到用戶輸入接口 1160。
[0076] 計算機(jī)1110可W通過網(wǎng)絡(luò)接口 1170連接到遠(yuǎn)程計算機(jī)1180。例如，網(wǎng)絡(luò)接口 1170可W經(jīng)由局域網(wǎng)1171連接到遠(yuǎn)程計算機(jī)1180。或者，網(wǎng)絡(luò)接口 1170可W連接到調(diào)制 解調(diào)器（調(diào)制器一解調(diào)器）1172, W及調(diào)制解調(diào)器1172經(jīng)由廣域網(wǎng)1173連接到遠(yuǎn)程計算機(jī) 1180。
[0077] 遠(yuǎn)程計算機(jī)1180可W包括諸如硬盤之類的存儲器1181，其存儲遠(yuǎn)程應(yīng)用程序 1185。 陽07引視頻接口 1190連接到監(jiān)視器1191。
[0079] 輸出外圍接口 1195連接到打印機(jī)1196和揚(yáng)聲器1197。
[0080] 圖4所示的計算機(jī)系統(tǒng)1000只是示例性的，并且決不意圖限制本發(fā)明、本發(fā)明的 應(yīng)用或用途。
[0081] 圖4所示的計算機(jī)系統(tǒng)可W被實施于任何實施例，可作為獨(dú)立計算機(jī)，或者也可 作為設(shè)備中的處理系統(tǒng)，可W移除一個或更多個不必要的部件，也可W向其添加一個或更 多個附加的部件。
[0082] 圖4所示的計算機(jī)系統(tǒng)可任何方式被用戶使用，本公開對于用戶使用計算機(jī) 系統(tǒng)的方式不作任何限制。
[0083] 顯然地，圖4所示的計算機(jī)系統(tǒng)僅是示例性的，其絕不會限制本公開、本公開的應(yīng) 用或者用途。
[0084] 接著，將在下面描述本公開的實施例。
[0085] [根據(jù)本公開的實施例的方法]
[0086] 首先，將參照圖5來描述本公開的一個方法實施例。
[0087] 圖5示例性地示出根據(jù)本公開的實施例的臉部特征提取方法的流程圖。 陽0蝴如圖5所示，在檢測步驟S101，檢測臉部圖像中的多個特征點。
[0089] 然后，在歸一化步驟S102,基于在檢測步驟S101檢測的所述多個特征點，對所述 臉部圖像中的臉部歸一化，由此得到歸一化臉部和所述歸一化臉部上的與所述臉部圖像中 的多個特征點對應(yīng)的多個歸一化特征點。
[0090] 接著，在估計步驟S103,估計所述臉部圖像中的臉部姿態(tài)。
[0091] 優(yōu)選地，從歸一化臉部上的所述歸一化特征點得到用于反映臉部姿態(tài)的參數(shù)，并 且基于所述用于反映臉部姿態(tài)的參數(shù)和所述歸一化特征點來估計所述臉部圖像中的臉部 姿態(tài)。其中，所述用于反映臉部姿態(tài)的參數(shù)的數(shù)值能夠隨臉部姿態(tài)的不同而變化。
[0092] 然后，在定位步驟S104,基于歸一化臉部上的歸一化特征點和在估計步驟所估計 的所述臉部圖像中的臉部姿態(tài)，定位所述歸一化臉部中的特征區(qū)域。
[0093] 然后，在提取步驟S105,從所述歸一化臉部中的特征區(qū)域來提取特征。
[0094] 此外，根據(jù)本公開的另一實施例，所述臉部特征提取方法可W進(jìn)一步包括粗略區(qū) 域獲取步驟S111，從臉部圖像中獲取粗略臉部區(qū)域，如圖5所示（用虛線包圍的框）。運(yùn) 里，上述粗略臉部區(qū)域可W通過使用現(xiàn)有技術(shù)中任何已知的或現(xiàn)有的臉部檢測方法或裝置 來獲得。
[0095] 在該情況下，在所述檢測步驟S101，可W從所述粗略臉部區(qū)域檢測所述特征點。
[0096] 下面將具體地描述關(guān)于每個步驟的詳細(xì)過程W便容易被本領(lǐng)域普通技術(shù)人員理 解，但是，應(yīng)當(dāng)注意，不是要描述的每一個元件都是對于解決本發(fā)明的技術(shù)問題一定必須 的，也就是說，不是所有運(yùn)些特征都是解決本發(fā)明的技術(shù)問題的必要技術(shù)特征。
[0097] 具體地，在檢測步驟S101，檢測臉部特征點。
[0098] 作為例子，可W例如基于預(yù)先確定的模板，從臉部圖像檢測到7個特征點。運(yùn)7個 特征點可W是兩個眼睛中的每個眼睛的兩個眼角、鼻尖和兩個嘴角，如圖7所示。應(yīng)當(dāng)注意 的是，運(yùn)7個特征點只是例示，可W在本公開的各種實施例中檢測更多或更少的特征點。
[0099] 而且，運(yùn)里，例如可W利用主動形狀模型（ASM) (COMPUTER VISION AND IMAGE UN肥 RSTANDING，Vol. 61，No. 1，January,卵.38-59, 1995)來檢測特征點。當(dāng)然，本領(lǐng)域普通技術(shù) 人員已知的或者W后將要開發(fā)的其他模型或方法也可W用來檢測特征點，本公開對于檢測 特征點的方式不作任何限制。
[0100] 然后，在歸一化步驟S102,根據(jù)通過檢測步驟S101檢測的特征點，將所述臉部圖 像中的臉部歸一化到平均正臉。 陽101] 接著，為了易于理解，下面將描述根據(jù)特征點將所述臉部圖像中的臉部歸一化到 平均正臉的例子。但是，本領(lǐng)域普通技術(shù)人員將明白，本發(fā)明不限于運(yùn)樣的例子。
[0102] 首先，W運(yùn)7個點作為特征點的例子，可W從被人工地標(biāo)定的樣本（將被稱為人 工標(biāo)定的樣本）計算運(yùn)7個點的平均位置。假定有η個標(biāo)定的樣本，運(yùn)7個點的平均位置 Pi (Xi，Yi) (i = 1~7)被計算為 陽 103]
陽104] 其中，X。和y。分別是第j (j = 1~η)個標(biāo)定的樣本沿X軸和y軸的坐標(biāo)值。
[0105] 然后，將平均化后的7個點Pi(Xi，yi) α = 1~7)定義為目標(biāo)臉部的特征點，并且 可W利用仿射映射（也稱為仿射變換）處理來對齊（歸一化）輸入臉部和目標(biāo)臉部。運(yùn)樣， 根據(jù)在步驟S101檢測的7個特征點，將臉部圖像仿射到歸一化臉部上。運(yùn)里，對齊的（歸 一化的）臉部的尺寸可W是例如200X200像素。 陽106] 運(yùn)里，下面將給出一個例子來描述仿射映射。也就是說，利用仿射映射處理來通過 利用檢測的輸入臉部的特征點與人工標(biāo)定的樣本的平均特征點之間的仿射變換（如下式 所示）對齊（歸一化）輸入臉部到目標(biāo)臉部。
[0107] [檢測的特征點的矩陣][仿射變換矩陣]=[平均化后的7個點的矩陣]
[0108] 由此，可W基于檢測的多個特征點獲得歸一化的臉部。此外，可W例如通過使用 ASM來直接獲得歸一化臉部中的特征點（為了易于區(qū)分，它們將被稱為歸一化特征點）。
[0109] 此外，應(yīng)當(dāng)注意，對于人工標(biāo)定的樣本的特征點的平均化操作僅是示例性的，本發(fā) 明不僅限于W上一種方式，例如，可W執(zhí)行對于人工標(biāo)定的樣本的特征點的加權(quán)操作或者 平均加權(quán)操作等來獲得如上所述的目標(biāo)臉部。
[0110] 運(yùn)里，應(yīng)當(dāng)注意，本文中的歸一化用于將任何角度的輸入臉部圖像的特征點歸一 化到歸一化臉部中的相同位置。 陽111] 然后，在步驟S103,根據(jù)歸一化的特征點來估計歸一化臉部中的臉部姿態(tài)（也是 臉部圖像中的臉部姿態(tài)，因為上述歸一化操作僅消除旋轉(zhuǎn)的影響，而不改變其偏轉(zhuǎn)角和俯 仰角）。
[0112] 具體地，從歸一化臉部上的所述歸一化特征點得到用于反映臉部姿態(tài)的參數(shù)，并 且基于所述用于反映臉部姿態(tài)的參數(shù)和所述歸一化特征點來估計所述臉部圖像中的臉部 姿態(tài)。
[0113] 其中，所述用于反映臉部姿態(tài)的參數(shù)的數(shù)值能夠隨臉部姿態(tài)的不同而變化。另外， 例如，所述用于反映臉部姿態(tài)的參數(shù)可W包括：在所述歸一化臉部上，臉部部位有關(guān)的度量 信息W及在所述臉部部位上的作為參考點的特征點的位置有關(guān)信息。
[0114] 具體地，與臉部部位有關(guān)的度量信息可W包括例如與臉部部位有關(guān)的距離、長度、 高度、或?qū)挾鹊龋缒槻繄D像上臉部的最大寬度、臉部圖像上臉部的最小寬度、臉部圖像 上的眼睛寬度、臉部圖像上的眼睛寬度、臉部圖像上的鼻子寬度、臉部圖像上眼睛的高度、 下己底部到額頭頂部之間的高度等等。但是，應(yīng)當(dāng)注意，本發(fā)明不限于運(yùn)些舉出的例子。
[0115] 此外，臉部部位中的某個特征點（其將被用作參考點）可W是臉部圖像中的臉部 的邊緣點，例如，眼角、嘴角、臉部圖像中的鼻子底部的邊緣點、臉部圖像中的眼睛底部的邊 緣點、下己底部、前額頂部、鼻尖等等。但是，應(yīng)當(dāng)注意，本發(fā)明不限于運(yùn)些舉出的例子。
[0116] 接著，為了易于理解，下面將給出一個非常詳細(xì)的例子，參考圖8和9描述姿態(tài)估 計方法。在圖8中示出了示例性的姿態(tài)估計方法的詳細(xì)流程圖。圖9示出了用于根據(jù)歸一 化臉部中的歸一化特征點確定用于反映臉部姿態(tài)的參數(shù)的具體例子。
[0117] 首先，在步驟S1031，可W得到虛擬鼻基點。如圖9的（a)中所示，歸一化臉部中的 特征點A，B，C和D (也稱為歸一化特征點）幾乎在同一個平面中，點Μ和N分別是AB和CD 的中點。點Q是鼻尖（歸一化臉部中的7個特征點之一）。從Q向線MN畫一條垂線，然后 交點是P。所獲得的點P將被稱為虛擬鼻基。
[0118] 然后，可W在步驟S1031得到鼻子高度。例如，圖9的化）（其中，一個不同的人的 全側(cè)臉，即，一個全側(cè)臉的樣本被示出）示出了一個估計鼻子高度d的處理的例子，其中，E' 是直接連接兩個內(nèi)眼角的線的中點，F(xiàn)'是兩個嘴角的中點，P'是鼻基，Q'是鼻尖，Q' P'垂 直于E' F'。 陽119] 運(yùn)里，如果P' Q' /E' F'的值等于丫，則可確定丫 = P' Q' /E' F' = d/E' F'。由 此，例如可W基于丫的值和E'F'的長度得到目標(biāo)距離d(歸一化臉部的鼻子高度，等于 P' Q'的長度），如下所示。 陽 120] d = P，Q，= E，F(xiàn)，X 丫 陽121] 其中，d是鼻子高度（從鼻尖到虛擬鼻基點的距離），圖9的化）中的E'F'可W對 應(yīng)于圖9的（a)中的麗（即，E'和F'可W分別對應(yīng)于Μ和腳，并且丫是P'Q'/E'F'的 值。運(yùn)里，E' F'和丫的值可W例如從全側(cè)臉的樣本確定。 陽122] 具體地，關(guān)于從全側(cè)臉的樣本得到P' Q' /E' F'的值的方式，可W通過將多個全側(cè) 臉的樣本平均而得到P' Q' /E' F' = 0. 340,并且可W類似地得到E' F'的值。另外，應(yīng)當(dāng)注 意，可其他方式得到丫（P' Q' /E' F')的值，例如，可W通過經(jīng)驗或者試驗或者本領(lǐng)域 普通技術(shù)人員能夠想到的任何其他方式得到，本發(fā)明對此不作任何限制。再例如，也可W從 同一個人的全側(cè)臉的樣本得到丫的值，運(yùn)樣，所獲得的d值將更準(zhǔn)確。 陽123] 接著，在步驟S1032,將使用一個Ξ維模型來估計臉部姿態(tài)（偏轉(zhuǎn)角和俯仰角）。在 圖10中示出了示例性的和詳細(xì)的處理。
[0124] 為了解釋估計處理，在圖10的（a)中，示例性地示出正臉的Ξ維坐標(biāo)，其原點可W 位于鼻基點。對于圖10的化）中的歸一化臉部（也稱為非正臉），在Ξ維坐標(biāo)x'rz'中， 其原點也可W位于鼻基點，并且鼻尖Q可W表示為B (0, 0, d) T。在坐標(biāo)XYZ中，特征點Q (即， 歸一化臉部中的歸一化特征點）的坐標(biāo)可W表示為A (X。，y。，Z) T，其中，X。、y?？蒞通過在二 維坐標(biāo)系中將Q的坐標(biāo)和P的坐標(biāo)相減而計算得到。可W通過兩個Ξ維坐標(biāo)的變換而將B 變換到A。假設(shè)偏轉(zhuǎn)角是α，俯仰角是β，旋轉(zhuǎn)角是Θ。根據(jù)計算圖形學(xué)，在Ξ維空間中， 從X' r Ζ'到ΧΥΖ的變換可W表示如下： 陽 12 引 T = Rz(目）Ry(c〇Rx(i3)， 陽 126]
[0127] 其中，Κζ(θ)是圍繞Z軸的旋轉(zhuǎn)矩陣，Ry(a)是圍繞Y軸的旋轉(zhuǎn)矩陣，Κχ(β)是圍 繞X軸的旋轉(zhuǎn)矩陣。
[0128] 在臉部歸一化步驟中，旋轉(zhuǎn)角Θ已減至〇，R,(0)變?yōu)閱挝痪仃?，因此，變換矩陣 T可W表示如下。 陽 129]
陽132] 所W， 陽 1；33]
[0134] 現(xiàn)在，可W基于用于反映臉部姿態(tài)的參數(shù)（例如d)和歸一化特征點（例如歸一化 特征點Q的坐標(biāo)，即xe，y。）而得到臉部圖像（也稱為非正臉）中的臉部的偏轉(zhuǎn)角和俯仰角。
[0135] 總之，在上述例子中，用于反映臉部姿態(tài)的參數(shù)可W是鼻子高度（d)和虛擬鼻基 點的位置（P)，并且鼻尖的位置（曲屬于歸一化特征點之一。
[0136] 運(yùn)里，應(yīng)當(dāng)注意，盡管上述例子使用了鼻子高度（d)和虛擬鼻基點的位置（巧作為 用于反映臉部姿態(tài)的參數(shù)，并且還使用全側(cè)臉的樣本來得到用于反映臉部姿態(tài)的參數(shù)，本 發(fā)明卻不限于上述例子，也就是說，可W使用其他的用于反映臉部姿態(tài)的參數(shù)，諸如上面提 到的那些和其他能夠想到的參數(shù)，并且還可W使用其他的方式來得到運(yùn)樣的參數(shù)。
[0137] 另外，在本公開中，估計臉部姿態(tài)的參數(shù)的方式不是僅限于上面的例子中示出的 (比如幾何變換矩陣），而是任何能夠想到的估計臉部姿態(tài)的方式都可W包含在本公開的 保護(hù)范圍內(nèi)。
[0138] 然后，在圖5所示的步驟S104,根據(jù)歸一化臉部上的歸一化特征點和所述臉部圖 像中的估計的臉部姿態(tài)，定位所述歸一化臉部中的顯著區(qū)域。 陽139] 由于已經(jīng)獲得了可W由例如偏轉(zhuǎn)角α和俯仰角β表示的臉部姿態(tài)，現(xiàn)在可W定 位歸一化臉部的特征區(qū)域。圖11示例性地示出了用于定位特征點的處理的流程圖。
[0140] 首先，在歸一化特征區(qū)域獲得步驟S1041，從歸一化正臉樣本獲得平均歸一化正臉 和平均歸一化正臉中的特征區(qū)域，并且基于歸一化臉部中的歸一化特征點和平均歸一化正 臉中的特征區(qū)域，獲得正臉的特征區(qū)域。 陽141] 具體地，作為一個詳細(xì)的例子，可W通過W下步驟獲得正臉上的顯著區(qū)域。
[0142] 1)通過將每個像素的灰度值平均化，得到多個歸一化正臉樣本的平均歸一化正 臉。
[0143] 運(yùn)里，還可W通過將所有歸一化正臉樣本的對應(yīng)臉部特征點平均化，得到平均歸 一化正臉的臉部特征點，與上面所述的從正臉樣本得到歸一化臉部的方式類似。
[0144] 應(yīng)當(dāng)注意，上述平均歸一化正臉不是上面提到的歸一化臉部（平均正臉），它是從 多個歸一化正臉樣本獲得的。
[0145] 2)分別在平均歸一化正臉上定位兩只眼睛、鼻子和嘴的顯著區(qū)域（也稱為特征區(qū) 域）。
[0146] 例如，對于左眼區(qū)域，覆蓋左眼和其眉毛，并且區(qū)域中屯、是左眼的兩個特征點（左 眼角點）的中點。
[0147] 對于右眼區(qū)域，覆蓋右眼和其眉毛，并且區(qū)域中屯、是右眼的兩個特征點（右眼角 點）的中點。
[0148] 對于鼻子區(qū)域，覆蓋鼻子和兩頰，并且區(qū)域中屯、是鼻基點。
[0149] 對于嘴部區(qū)域，覆蓋嘴和嘴角，并且區(qū)域中屯、是嘴的兩個特征點的中點（嘴角 點）。
[0150] 接著，在定位顯著區(qū)域時，可W遵循一個規(guī)則：顯著區(qū)域應(yīng)當(dāng)覆蓋不同表情時臉部 的變化。 陽151] 為了易于理解，在圖12中示出了一個在平均歸一化正臉上的特征區(qū)域的例子。 陽152] 3)基于歸一化臉部上的歸一化特征點和平均歸一化正臉上的特征區(qū)域，定位正臉 上的顯著區(qū)域。
[0153] 接著，將在下面描述一個詳細(xì)的例子。運(yùn)里，可W假設(shè)歸一化臉部的尺寸是 200X200 像素。 陽154] 對于左眼區(qū)域，兩個左眼角的中點被設(shè)為區(qū)域中屯、，區(qū)域的尺寸與平均歸一化正 臉上的左眼區(qū)域相同（例如，80X60像素）。 陽155] 對于右眼區(qū)域，兩個右眼角的中點被設(shè)為區(qū)域中屯、，區(qū)域的尺寸與平均歸一化正 臉上的右眼區(qū)域相同（例如，80X60像素）。
[0156] 對于鼻子區(qū)域，鼻基點被設(shè)為區(qū)域中屯、，區(qū)域的尺寸與平均歸一化正臉上的鼻子 區(qū)域相同（例如，120X40像素）。
[0157] 對于嘴部區(qū)域，兩個嘴角的中點被設(shè)為區(qū)域中屯、，區(qū)域的尺寸與平均歸一化正臉 上的嘴部區(qū)域相同（例如，130X80像素）。
[0158] 然后，在臉部特征區(qū)域獲得步驟S1042,基于估計的臉部姿態(tài)，將正臉的特征區(qū)域 映射到歸一化臉部的特征區(qū)域。
[0159] 在圖13中，使用左眼區(qū)域作為例子。對于圖13的（a)中的正臉，坐標(biāo)原點位于兩 個眼角的中間。對于圖13的化）中的歸一化臉部，針對兩個眼角（7個檢測的特征點中的 2個）的信息，將坐標(biāo)原點設(shè)在眼角的中間。右眼區(qū)域和嘴部區(qū)域是類似的，而鼻子區(qū)域是 特殊情況。鼻子區(qū)域中的坐標(biāo)原點直接位于虛擬鼻基點。
[0160] 上面的映射處理（即，變換）可W分解成如圖13的（a)和化）所示的兩步。首 先，正臉W角度α (偏轉(zhuǎn)角）圍繞Y軸旋轉(zhuǎn)，然后W角度β (俯仰角）圍繞X軸旋轉(zhuǎn)。對于 左眼區(qū)域中的任何點以變換后的點是歸一化臉部中的L'。假設(shè)L和L'的Ξ維坐標(biāo)分別是 (x，y，z)τ和（χ'，y'，z'）τ，則上述的變換可W表示如下：
[0161]
陽162] 通過上面的變換矩陣Τ，圖13的（a)中的左眼區(qū)域中的每個點（正臉中的任意點） 可W變換到圖13的化）中的對應(yīng)點（歸一化臉部中的對應(yīng)點）。使用變換矩陣來映射正臉 的左眼區(qū)域的四個頂點W得到歸一化臉部上的四個頂點。連接獲得的運(yùn)四個頂點，在歸一 化臉部上得到左眼區(qū)域。對于其他顯著區(qū)域，映射處理與上面所述的類似。
[0163] 應(yīng)當(dāng)注意，盡管圖中所示的特征區(qū)域較大，例如，嘴部區(qū)域覆蓋整個嘴甚至還有其 周圍，但是，根據(jù)本公開的特征區(qū)域可W較小，例如，嘴附近的特征區(qū)域可W僅覆蓋嘴角和/ 或其周圍。因此，根據(jù)本公開，特征區(qū)域可W大，并且它們也可W小。當(dāng)特征區(qū)域大時，計算 過程可能花費(fèi)較長的時間，相反，當(dāng)特征區(qū)域小時，計算過程可能花費(fèi)較短的時間。采用大 的特征區(qū)域還是小的特征區(qū)域取決于實際情況，比如可用的處理資源和/或任務(wù)需要等。
[0164] 然后，在如圖5所示的提取步驟S105,從所述歸一化臉部中的特征區(qū)域來提取特 征。
[0165] 運(yùn)里，上述特征可W包括臉部部位的位置有關(guān)的信息、臉部上的紋理有關(guān)的信息、 臉部上的像素灰度值、臉部上的肌肉有關(guān)的信息、W及它們的任意組合。無論如何，本公開 不對于要提取和處理的特征的形式進(jìn)行任何限制。 陽166] 作為一個例子，特征提取方法可W采用局部二值模式（LB巧（"Multiresolution Gray Scale and Rotation Invariant Texture Classification with Local Binary Patterns", Timo Ojala 等,IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 7, July 2002)或局部相位量化（LP 曲（"Blur Insensitive Texture Classification Using Local Phase Quantization", Ville Ojansivu等，ICISP 2008, LNCS 5099,卵.236 - 243, 2008)。 陽167] 例如，在LBP特征的情況下，塊尺寸與區(qū)分塊的尺寸相同，并且二值化in)的總數(shù) 是59個。由此，每個塊-LBP特征化lock-LBP feature)的大?。╠imension)為59。特征 計算處理如下所示。
[0168] 1)為歸一化臉部的特征區(qū)域（或子區(qū)域）中的每個像素計算LBP&1 陽169] a)得到作為當(dāng)前像素的中屯、像素的值。 陽170] b)提取8個相鄰區(qū)域中的像素值。
[0171] C)通過雙線性內(nèi)插法計算gp，（P = 0, 1，. . .，7)。
[0172] d)通過
開算LBP值。 陽17引運(yùn)里，gp是鄰接像素的灰度值，g。是中屯、像素的灰度值，并且 陽 174]
陽175] 其中，TH是闊值。 陽176] 2)通過將塊中的每個像素的所述LBP相加來建立59個巧9-dimension)的LBP柱 狀圖。 陽177] 此外，根據(jù)本公開的另一實施例，可W定位特征區(qū)域（較大區(qū)域）中的子區(qū)域（較 小區(qū)域），然后可W提取特征。圖14示例性地示出了具體的處理。
[0178] 作為替代方案，根據(jù)本公開的另一實施例，在區(qū)域定位步驟S1041'中定位特征區(qū) 域之后，可W進(jìn)一步在子區(qū)域定位步驟S1042'中定位歸一化臉部的每個特征區(qū)域的特征子 區(qū)域，如圖14所示。
[0179] 其中，在區(qū)域定位步驟S1041'，可W基于歸一化臉部中的歸一化特征點和臉部圖 像中的估計的臉部姿態(tài)來定位歸一化臉部中的特征區(qū)域，并且在子區(qū)域定位步驟S1042'， 可W定位歸一化臉部的每個特征區(qū)域中的特征子區(qū)域，并且在提取步驟S105,可W從歸一 化臉部中的特征子區(qū)域中提取特征，如圖14所示。 陽180] 具體地，區(qū)域定位步驟S1041'可W包括：歸一化特征區(qū)域獲得步驟S10411'，從歸 一化正臉樣本得到平均歸一化正臉和平均歸一化正臉上的特征區(qū)域，并且基于歸一化臉部 上的歸一化特征點和平均歸一化正臉上的特征區(qū)域，得到正臉的特征區(qū)域；W及臉部特征 區(qū)域獲得步驟S10412'，基于估計的臉部姿態(tài)，將所述正臉的特征區(qū)域映射為所述歸一化臉 部的特征區(qū)域，如圖20所示。 陽181] 運(yùn)里，如圖20所示的上述步驟S10411'和S10412'與圖11所示的上述步驟S1041 和S1042類似，因此為了簡潔起見，將省略運(yùn)些細(xì)節(jié)。 陽182] 此外，子區(qū)域定位步驟S1042'可W包括臉部特征子區(qū)域獲得步驟S10421'（如圖 20所示），所述臉部特征子區(qū)域獲得步驟S10421'基于針對所述平均歸一化正臉的每個特 征區(qū)域的特征子區(qū)域模板，將正臉的特征子區(qū)域映射為所述歸一化臉部的特征子區(qū)域。
[0183] 此外，根據(jù)本公開的另一實施例的臉部特征提取方法可W進(jìn)一步包括組合步驟 S1055 (如圖14所示），所述組合步驟S1055將在提取步驟提取的所述特征子區(qū)域中的特征 進(jìn)行組合，使得組合后的特征能夠用于確定臉部的屬性。
[0184] 作為替代方案，上述組合步驟可W包含在提取步驟S105中，而不是作為在提取步 驟之后的單獨(dú)的步驟。為了簡潔起見，運(yùn)里省略詳細(xì)的描述和相關(guān)的圖，但是本領(lǐng)域普通技 術(shù)人員能夠從上面描述的內(nèi)容明白運(yùn)些。 陽化日]接著，將在下面參照圖15來描述臉部特征子區(qū)域獲得步驟S10421'的具體例子。 陽186] 在平均歸一化正臉中，有對于每個顯著區(qū)域的子區(qū)域的模板（由于關(guān)于子區(qū)域的 模板的知識對于本領(lǐng)域普通技術(shù)人員是已知的，因此為了簡潔起見本文將省略細(xì)節(jié)），其包 含更多的區(qū)分特征。對于左眼區(qū)域的子區(qū)域的模板（較小的矩形）在圖15的（a)和化） 中示出。對于其他顯著區(qū)域，子區(qū)域的模板類似。 陽187] 圖15的（a)中的正臉上的一個子區(qū)域R變換成圖15的化）中所示的歸一化臉部 上的子區(qū)域R'。因為如上面所述已在定位步驟S104 (如圖5所示）獲得變換矩陣T，所W 通過變換矩陣T將R的每個頂點映射到對應(yīng)的頂點。連接所獲得的四個頂點，得到對應(yīng)的 子區(qū)域R'。所有其他特征子區(qū)域類似地如上述那樣被處理，由此獲得歸一化臉部的所有特 征子區(qū)域。
[0188] 然后，在提取步驟S105提取歸一化臉部上的特征子區(qū)域中的特征，運(yùn)在前面已經(jīng) 被描述，因此將在此被省略。
[0189] 此外，如上所述，歸一化臉部中的特征子區(qū)域的所有特征可W在步驟S1055被連 結(jié)（組合），由此獲得用于表情識別的最終特征。
[0190] 運(yùn)里，應(yīng)當(dāng)注意，盡管在上面的描述中，在估計步驟S103、區(qū)域定位步驟S104、子 區(qū)域定位步驟S1042'執(zhí)行了同樣的變換處理，但是，也可W在運(yùn)些步驟執(zhí)行不同的變換處 理，甚至可W在運(yùn)些步驟中的每一步驟處執(zhí)行的是不同的變換處理。也就是說，上述變換處 理僅是一個例子，本發(fā)明不限于該例子，而是任何種類的變換都可W用于本公開的實施例 中，只要它們能夠?qū)崿F(xiàn)對應(yīng)的功能（比如定位或歸一化等）即可。 陽191] 此外，根據(jù)本公開的另一實施例，可W將所獲得的特征例如輸入到分類器W便確 定臉部圖像中的臉部屬性，W便預(yù)測表情的類別。
[0192] 具體地，如圖16所示，根據(jù)本公開的實施例的圖像處理方法可W包括W下步驟： 臉部圖像供給步驟S100,用于提供要被處理的臉部圖像；特征提取步驟S200,用于通過使 用上面描述的臉部特征提取方法，從所提供的臉部圖像中提取特征；W及臉部屬性識別步 驟S300,用于基于通過上面描述的臉部特征提取方法所提取的特征，識別所述臉部圖像中 的臉部的屬性。
[019引運(yùn)里，可W利用線性SVM作為分類器。將獲得的特征輸入到分類器，其預(yù)測最終的 臉部屬性，例如，表情類別。
[0194]其中，在表情確定的情況下，如果學(xué)習(xí)的模型是在一個對所有的模式 (one-against-all mode)下訓(xùn)練的，則分類器直接預(yù)測表情類別，而如果學(xué)習(xí)的模型是在 一對一的模式（one-against-one mode)下訓(xùn)練的，則分類器在任何兩個表情之間預(yù)測類 另IJ，工作片2輪，其中，η是總的表情類別。然后，C。2個結(jié)果的投票確定最終表情類別。
[0195] 另外，在臉部圖像供給步驟S100,可W通過使用至少W下方式之一來提供臉部圖 像： 陽196] 1)從外部獲取所述臉部圖像；
[0197] 2)從其中存儲有臉部圖像的存儲器獲取所述臉部圖像；W及
[0198] 3)從拍攝裝置實時獲取所述臉部圖像。
[0199] 如上所述，本公開的實施例提供了用于提取臉部特征的方法和用于處理圖像的方 法。通過在提取臉部特征之前考慮臉部姿態(tài)并且還利用臉部姿態(tài)信息來定位顯著區(qū)域W便 于從顯著區(qū)域提取臉部特征，能夠提高所提取特征的準(zhǔn)確度。
[0200] 此外，與僅定位顯著區(qū)域的方式相比，通過在定位特征區(qū)域（顯著區(qū)域）之后定位 特征子區(qū)域，可W大大地提高計算效率并且還可W進(jìn)一步提高提取特征的準(zhǔn)確度。 陽201] 另外，應(yīng)當(dāng)注意，由于如上所述，歸一化臉部中的特征被提取并且然后被提供給分 類器W確定臉部屬性，可W通過使用歸一化樣本來訓(xùn)練分類器，W使得歸一化臉部中的特 征和分類器中的特征匹配良好。但是，其他的處理方式也可W適用于本發(fā)明。
[0202][根據(jù)本公開的實施例的裝置和設(shè)備] 陽203] 接著，將在下面參照圖6和17描述根據(jù)本公開的實施例的臉部特征提取裝置和圖 像處理設(shè)備。 陽204] 圖6示例性地示出了根據(jù)本公開的實施例的臉部特征提取裝置的框圖。 陽205] 如圖6所示，根據(jù)本公開的實施例的臉部特征提取裝置200 (其從臉部圖像提取特 征）可W包括：檢測單元101，檢測臉部圖像中的多個特征點；歸一化單元102,基于檢測單 元101檢測的所述多個特征點，對所述臉部圖像中的臉部歸一化，由此得到歸一化臉部和 所述歸一化臉部上的與所述臉部圖像中的多個特征點對應(yīng)的多個歸一化特征點；估計單元 103,估計所述臉部圖像中的臉部姿態(tài)；定位單元104,基于歸一化臉部上的歸一化特征點 和估計單元所估計的所述臉部圖像中的臉部姿態(tài)，定位所述歸一化臉部中的特征區(qū)域；W 及提取單元105,從所述歸一化臉部中的特征區(qū)域來提取特征。 陽206] 優(yōu)選地，所述估計單元103從歸一化臉部上的所述歸一化特征點得到用于反映臉 部姿態(tài)的參數(shù)，并且基于所述用于反映臉部姿態(tài)的參數(shù)和所述歸一化特征點來估計所述臉 部圖像中的臉部姿態(tài)。 陽207] 其中，所述用于反映臉部姿態(tài)的參數(shù)的數(shù)值能夠隨臉部姿態(tài)的不同而變化。 陽20引此外，根據(jù)本公開的另一實施例的臉部特征提取裝置可W進(jìn)一步包括從臉部圖像 中獲取粗略臉部區(qū)域的粗略區(qū)域獲取單元111，如圖17所示。運(yùn)里，可W通過利用現(xiàn)有技術(shù) 中任何已知或現(xiàn)有的臉部檢測方法或裝置來獲得上述粗略臉部區(qū)域。舉例來說，所述粗略 臉部區(qū)域可W指初步得到的近似的（不那么準(zhǔn)確的）臉部輪廓圍起的區(qū)域。 陽209] 其中，所述檢測單元可W從所述粗略區(qū)域獲取單元111獲取的粗略臉部區(qū)域來檢 測所述特征點。
[0210] 另外，根據(jù)本公開的另一實施例，如圖18所示，所述定位單元104可W包括：歸一 化特征區(qū)域獲得部件1041，從歸一化正臉樣本得到平均歸一化正臉和平均歸一化正臉上的 特征區(qū)域，基于歸一化臉部上的歸一化特征點和平均歸一化正臉上的特征區(qū)域，得到正臉 的特征區(qū)域；和臉部特征區(qū)域獲得部件1042,基于估計單元103所估計的臉部姿態(tài)，將所述 正臉的特征區(qū)域映射為所述歸一化臉部的特征區(qū)域。 陽211] 作為替代方案，根據(jù)本公開的另一實施例，由于在特征區(qū)域中，可W包含特征子區(qū) 域，因此所述定位單元104可W包括針對特征區(qū)域的區(qū)域定位單元1041'和/或針對特征 子區(qū)域的子區(qū)域定位單元1042'，如圖19所示。
[0212] 由此，基于歸一化臉部上的歸一化特征點和估計單元所估計的所述臉部圖像中的 臉部姿態(tài)，所述區(qū)域定位單元104Γ定位所述歸一化臉部中的特征區(qū)域，并且所述子區(qū)域定 位單元1042'定位所述歸一化臉部中的每個特征區(qū)域中的特征子區(qū)域。由此，所述提取單 元105可W從所述歸一化臉部中的所述特征子區(qū)域中提取特征。 陽213] 此外，如圖19所示，所述區(qū)域定位單元1041'可W包括：歸一化特征區(qū)域獲得部 件1041Γ，從歸一化正臉樣本得到平均歸一化正臉和平均歸一化正臉上的特征區(qū)域，基于 歸一化臉部上的歸一化特征點和平均歸一化正臉上的特征區(qū)域，得到正臉的特征區(qū)域；和 臉部特征區(qū)域獲得部件10412'，基于估計單元103所估計的臉部姿態(tài)，將所述正臉的特征 區(qū)域映射為所述歸一化臉部的特征區(qū)域。
[0214] 此外，如圖19所示，所述子區(qū)域定位單元1042'可W包括：臉部特征子區(qū)域獲得部 件1042Γ，基于針對所述平均歸一化正臉的每個特征區(qū)域的特征子區(qū)域模板，將正臉的特 征子區(qū)域映射為所述歸一化臉部的特征子區(qū)域。
[0215] 此外，如圖17所示，根據(jù)本公開的另一實施例的臉部特征提取裝置可W進(jìn)一步包 括組合單元1055,將所述提取單元105提取的所述特征子區(qū)域中的特征進(jìn)行組合，使得組 合后的特征能夠用于確定臉部的屬性。
[0216] 作為替代方案，上述組合單元可W包含在提取單元105中，而不是作為一個單獨(dú) 的單元。為了簡潔起見，運(yùn)里省略詳細(xì)的描述和相關(guān)的圖，但是本領(lǐng)域普通技術(shù)人員能夠從 上面描述的內(nèi)容明白運(yùn)些。
[0217] 此外，根據(jù)本公開的另一實施例的臉部特征提取裝置可W進(jìn)一步包括用于進(jìn)行幾 何變換的變換部件106,如圖17所示。由此，估計單元103通過利用由變換部件106執(zhí)行 的幾何變換來估計臉部姿態(tài)，并且所述臉部特征區(qū)域獲得部件10412'通過利用由變換部件 106執(zhí)行的幾何變換來得到所述歸一化臉部的特征區(qū)域，并且，所述臉部特征子區(qū)域獲得部 件10421'也通過利用由變換部件106執(zhí)行的幾何變換來得到所述歸一化臉部的特征子區(qū) 域。
[0218] 運(yùn)里，上述的相應(yīng)單元執(zhí)行與如上所述的對應(yīng)方法的相應(yīng)步驟相似的操作。因此， 為了簡潔起見，在此將省略運(yùn)些單元的詳細(xì)操作的描述，本領(lǐng)域普通技術(shù)人員會從對應(yīng)步 驟的操作容易知道運(yùn)些。 陽219] 另外，圖21示例性地示出了根據(jù)本公開的實施例的圖像處理設(shè)備，其可W包括： 提供要被處理的臉部圖像的臉部圖像供給裝置100 ;如上所述的臉部特征提取裝置200,從 所述臉部圖像供給裝置100提供的臉部圖像中提取特征；W及臉部屬性識別裝置300,基于 臉部特征提取裝置200所提取的特征，識別所述臉部圖像中的臉部的屬性。
[0220] 此外，所述臉部圖像供給裝置100可W通過W下方式中的至少一種提供所述臉部 圖像給所述臉部特征提取裝置200 : 陽221] 1)從外部獲取所述臉部圖像； 陽222] 2)從所述圖像處理設(shè)備中包含的、其中存儲有臉部圖像的存儲器獲取所述臉部圖 像；化及 陽223] 3)從拍攝裝置實時獲取所述臉部圖像。
[0224] 此外，臉部屬性可W至少包括康情、身份、年齡、種族、性別、有無眼鏡、W及有無 胡須。 陽225] 通過根據(jù)本公開的各種實施例的臉部特征提取裝置或圖像處理設(shè)備，可W獲得與 如上所述的方法類似的效果。 陽226][應(yīng)用例子] 陽227] 本公開的實施例可W用在很多應(yīng)用中，例如，用于識別臉部的屬性。例子之一是臉 部表情分析，將簡單地對其進(jìn)行描述W容易理解本文所提出的創(chuàng)新的技術(shù)方案。
[0228] 在該示例性的臉部表情系統(tǒng)中，監(jiān)視照相機(jī)觀察觀眾在整個電影放映期間的表情 和動作。實時多視角臉部檢測技術(shù)檢測和跟蹤每個觀眾的臉部。根據(jù)本公開的實施例的多 視角面部表情識別技術(shù)識別每個觀眾在每個時刻的表情。然后，總結(jié)觀眾組在該時刻的情 緒。然后，觀眾在電影放映期間的情緒變化可W被得到。
[0229] 該示例性的臉部表情系統(tǒng)可W用于分析觀眾對于整個電影的感受和反應(yīng)，W及其 在特定時刻的情緒。此外，可W在顫峰表情或特定情緒時刻保存快照。
[0230] [試驗結(jié)果] 陽231] 為了對比效果，針對側(cè)臉數(shù)據(jù)集評估了本發(fā)明。側(cè)臉數(shù)據(jù)是從網(wǎng)站收集的：40%的 側(cè)臉數(shù)據(jù)有較大的偏轉(zhuǎn)角（30~60度），在運(yùn)40%的側(cè)臉數(shù)據(jù)中，有80%左右的臉部有明 顯的俯仰角。
[0232] 下表1描述了側(cè)臉數(shù)據(jù)的評估集的分布，下表2關(guān)于web數(shù)據(jù)集示出了本發(fā)明相 對于常用方法的性能。試驗是針對真實的臉部特征點進(jìn)行的。 陽233] 表1側(cè)臉數(shù)據(jù)集的評估集的分布 陽234]
?？垡鶕?jù)表2胃，本發(fā)明可W更好抽1處理具有不同的偏轉(zhuǎn)角或俯仰角的臉部圖像，由此可 W提高訓(xùn)練的表情分類模型的性能。
[0236] 在web數(shù)據(jù)中，40%的臉部有較大的偏轉(zhuǎn)角（〉30度），80%左右的臉部圖像有較大 的俯仰角。識別率在整個數(shù)據(jù)集上增加了 3. 3%。因此，可W推斷，本發(fā)明對于處理具有較 大偏轉(zhuǎn)角的臉部圖像或者具有較大俯仰角的臉部圖像是有效的。
[0237] 表2針對web樣本的本發(fā)明方法和常用方法的性能比較 陽23引
[0239] 盡管已經(jīng)參照附圖描述了本公開，但是實施例不限于上面描述的那些。本領(lǐng)域普 通技術(shù)人員將明白，其他實施例也可W適用于本公開。另外，實施例中所示的組件僅是例 子，它們并不限于運(yùn)樣的形式，而是可W是單個的組件或者可W彼此組合。 陽240] 另外，請注意，可W用許多方式實施本公開的方法和設(shè)備。例如，可W通過軟件、硬 件、固件、或其任何組合來實施本公開的方法和設(shè)備。上述的方法步驟的次序僅是示例性 的，本公開的方法步驟不限于W上具體描述的次序，除非W其他方式明確說明。此外，在一 些實施例中，本公開還可W被實施為記錄在記錄介質(zhì)中的程序，其包括用于實現(xiàn)根據(jù)本公 開的方法的機(jī)器可讀指令。因而，本公開還覆蓋存儲用于實現(xiàn)根據(jù)本公開的方法的程序的 記錄介質(zhì)。 陽241] 在上面的描述中，雖然已通過示例詳細(xì)展示了本公開的一些具體實施例，但是本 領(lǐng)域普通技術(shù)人員應(yīng)當(dāng)理解，上述例子僅意圖是示例性的而非限制本公開的范圍。本領(lǐng)域 普通技術(shù)人員應(yīng)當(dāng)理解，上述實施例可W被修改而不脫離本公開的范圍和實質(zhì)。本公開的 范圍是通過所附的權(quán)利要求來限定的。
【主權(quán)項】
1. 一種臉部特征提取裝置，用于從臉部圖像中提取特征，所述臉部特征提取裝置包 括： 檢測單元，檢測臉部圖像中的多個特征點； 歸一化單元，基于檢測單元檢測的所述多個特征點，對所述臉部圖像中的臉部歸一化， 由此得到歸一化臉部和所述歸一化臉部上的與所述臉部圖像中的多個特征點對應(yīng)的多個 歸一化特征點； 估計單元，估計所述臉部圖像中的臉部姿態(tài)； 定位單元，基于歸一化臉部上的歸一化特征點和估計單元所估計的所述臉部圖像中的 臉部姿態(tài)，定位所述歸一化臉部中的特征區(qū)域；以及 提取單元，從所述歸一化臉部中的特征區(qū)域來提取特征。2. 根據(jù)權(quán)利要求1所述的臉部特征提取裝置，其中，所述估計單元從歸一化臉部上的 所述歸一化特征點得到用于反映臉部姿態(tài)的參數(shù)，并且基于所述用于反映臉部姿態(tài)的參數(shù) 和所述歸一化特征點來估計所述臉部圖像中的臉部姿態(tài)。3. 根據(jù)權(quán)利要求2所述的臉部特征提取裝置，其中，所述用于反映臉部姿態(tài)的參數(shù)的 數(shù)值能夠隨臉部姿態(tài)的不同而變化。4. 根據(jù)權(quán)利要求1所述的臉部特征提取裝置，其中，所述歸一化單元的歸一化操作在 不改變臉部的偏轉(zhuǎn)角和俯仰角的情況下歸一化臉部的大小。5. 根據(jù)權(quán)利要求1所述的臉部特征提取裝置，還包括： 粗略區(qū)域獲取單元，從臉部圖像中獲取粗略臉部區(qū)域， 其中，所述檢測單元從所述粗略區(qū)域獲取單元獲取的粗略臉部區(qū)域來檢測所述特征 點。6. 根據(jù)權(quán)利要求1所述的臉部特征提取裝置，其中，所述歸一化單元通過利用由檢測 單元檢測的特征點的位置與人工標(biāo)定的樣本中所述特征點的位置之間的仿射變換來對所 述臉部圖像進(jìn)行歸一化。7. 根據(jù)權(quán)利要求1所述的臉部特征提取裝置，其中，所述特征包括臉部部位的位置有 關(guān)的信息、臉部上的紋理有關(guān)的信息、臉部上的像素灰度值、臉部上的肌肉有關(guān)的信息、以 及它們的任意組合。8. 根據(jù)權(quán)利要求2所述的臉部特征提取裝置，其中，用于反映臉部姿態(tài)的參數(shù)包括：在 所述歸一化臉部上，臉部部位有關(guān)的度量信息以及在所述臉部部位上的作為參考點的特征 點的位置有關(guān)信息。9. 根據(jù)權(quán)利要求1所述的臉部特征提取裝置，其中，所述定位單元包括： 歸一化特征區(qū)域獲得部件，從歸一化正臉樣本得到平均歸一化正臉和平均歸一化正臉 上的特征區(qū)域，基于歸一化臉部上的歸一化特征點和平均歸一化正臉上的特征區(qū)域，得到 正臉的特征區(qū)域；和 臉部特征區(qū)域獲得部件，基于估計單元所估計的臉部姿態(tài)，將所述正臉的特征區(qū)域映 射為所述歸一化臉部的特征區(qū)域。10. 根據(jù)權(quán)利要求1所述的臉部特征提取裝置，其中，所述特征區(qū)域中包括特征子區(qū) 域，所述定位單元包括針對特征區(qū)域的區(qū)域定位單元和/或針對特征子區(qū)域的子區(qū)域定位 單元。11. 根據(jù)權(quán)利要求10所述的臉部特征提取裝置，其中，基于歸一化臉部上的歸一化特 征點和估計單元所估計的所述臉部圖像中的臉部姿態(tài)，所述區(qū)域定位單元定位所述歸一化 臉部中的特征區(qū)域；并且 所述子區(qū)域定位單元定位所述歸一化臉部中的每個特征區(qū)域中的特征子區(qū)域，其中， 所述提取單元從所述歸一化臉部中的所述特征子區(qū)域中提取特征。12. 根據(jù)權(quán)利要求10所述的臉部特征提取裝置，其中， 所述區(qū)域定位單元包括： 歸一化特征區(qū)域獲得部件，從歸一化正臉樣本得到平均歸一化正臉和平均歸一化正臉 上的特征區(qū)域，基于歸一化臉部上的歸一化特征點和平均歸一化正臉上的特征區(qū)域，得到 正臉的特征區(qū)域；和 臉部特征區(qū)域獲得部件，基于估計單元所估計的臉部姿態(tài)，將所述正臉的特征區(qū)域映 射為所述歸一化臉部的特征區(qū)域，以及其中， 所述子區(qū)域定位單元包括： 臉部特征子區(qū)域獲得部件，基于針對所述平均歸一化正臉的每個特征區(qū)域的特征子區(qū) 域模板，將正臉的特征子區(qū)域映射為所述歸一化臉部的特征子區(qū)域。13. 根據(jù)權(quán)利要求11所述的臉部特征提取裝置，還包括： 組合單元，將所述提取單元提取的所述特征子區(qū)域中的特征進(jìn)行組合，使得組合后的 特征能夠用于確定臉部的屬性。14. 根據(jù)權(quán)利要求8所述的臉部特征提取裝置，其中，用于反映臉部姿態(tài)的參數(shù)包括所 述歸一化臉部上鼻尖與鼻基點之間的距離和鼻尖的位置。15. 根據(jù)權(quán)利要求1、9、12中的任意一項的臉部特征提取裝置，還包括： 變換部件，用于進(jìn)行幾何變換，其中， 估計單元通過利用由變換部件執(zhí)行的幾何變換來估計臉部姿態(tài)， 所述臉部特征區(qū)域獲得部件通過利用由變換部件執(zhí)行的幾何變換來得到所述歸一化 臉部的特征區(qū)域，以及 所述臉部特征子區(qū)域獲得部件通過利用由變換部件執(zhí)行的幾何變換來得到所述歸一 化臉部的特征子區(qū)域。16. -種圖像處理設(shè)備，包括： 臉部圖像供給裝置，提供要被處理的臉部圖像； 權(quán)利要求1-15中的任意一項所述的臉部特征提取裝置，所述臉部特征提取裝置從所 述臉部圖像供給裝置提供的臉部圖像中提取特征；以及 臉部屬性識別裝置，基于臉部特征提取裝置所提取的特征，識別所述臉部圖像中的臉 部的屬性。17. 根據(jù)權(quán)利要求16的圖像處理設(shè)備，其中，所述臉部圖像供給裝置通過利用以下方 式中的至少一種來提供所述臉部圖像給所述臉部特征提取裝置： 1) 從外部獲取所述臉部圖像； 2) 從所述圖像處理設(shè)備中包含的、其中存儲有臉部圖像的存儲器獲取所述臉部圖像； 以及 3) 從拍攝裝置實時獲取所述臉部圖像。18. 根據(jù)權(quán)利要求16的圖像處理設(shè)備，其中，臉部的屬性至少包括：表情、身份、年齡、 種族、性別、有無眼鏡、有無胡須。19. 一種臉部特征提取方法，用于從臉部圖像中提取特征，所述臉部特征提取方法包 括： 檢測步驟，檢測臉部圖像中的多個特征點； 歸一化步驟，基于在檢測步驟檢測的所述多個特征點，對所述臉部圖像中的臉部歸一 化，由此得到歸一化臉部和所述歸一化臉部上的與所述臉部圖像中的多個特征點對應(yīng)的多 個歸一化特征點； 估計步驟，估計所述臉部圖像中的臉部姿態(tài)； 定位步驟，基于歸一化臉部上的歸一化特征點和在估計步驟所估計的所述臉部圖像中 的臉部姿態(tài)，定位所述歸一化臉部中的特征區(qū)域；以及 提取步驟，從所述歸一化臉部中的特征區(qū)域來提取特征。
【文檔編號】G06K9/00GK105989331SQ201510070684
【公開日】2016年10月5日
【申請日】2015年2月11日
【發(fā)明人】王喜順, 李獻(xiàn), 胡琦
【申請人】佳能株式會社