本發(fā)明涉及用于圖像處理的方法及裝置，尤其涉及例如用于面部表情識(shí)別和面部識(shí)別的方法及裝置。

背景技術(shù)：

近年來(lái)，在圖像處理、計(jì)算機(jī)視覺(jué)與模式識(shí)別的領(lǐng)域中，普遍應(yīng)用了面部表情識(shí)別。一般而言，在存儲(chǔ)設(shè)備的大小不受限制的面部表情識(shí)別系統(tǒng)中，通常會(huì)從輸入圖像中提取具有高維數(shù)的面部表情特征，而后用于面部表情識(shí)別中，這是因?yàn)?，識(shí)別精度總是依賴于使用的面部表情特征的維數(shù)(即，使用的面部表情特征具有的維數(shù)越高，則能夠?qū)崿F(xiàn)的識(shí)別精度越高)。然而，對(duì)于存儲(chǔ)設(shè)備的大小受限制的面部表情識(shí)別系統(tǒng)，諸如照相機(jī)、數(shù)字照相機(jī)、電視攝像機(jī)、視頻攝像機(jī)、移動(dòng)電話、個(gè)人數(shù)據(jù)助理(PDA)或其他適合的電子設(shè)備，存在如下的需要，即，使用具有較低維數(shù)的面部表情特征，同時(shí)識(shí)別精度不會(huì)變差。

在“A Half Face Recognition Scheme”(Shidu Dong,Bo He,Qun Jiang,Huaqiu Wang,Tongyuan Huang,SNPD,2007,2010 11th ACIS International Conference on Software Engineering,Artificial Intelligence,Networking and Parallel/Distributed Computing,2010 11th ACIS International Conference on Software Engineering,Artificial Intelligence,Networking and Parallel/Distributed Computing 2007,pp.355-358,doi:10.1109/SNPD.2007.415)中，公開(kāi)了一種通過(guò)使用具有低維數(shù)的面部表情特征來(lái)識(shí)別面部表情的示例性技術(shù)。上述技術(shù)主要公開(kāi)了以下操作：第一，在包含面部的輸入圖像中定位顯著區(qū)域，其中這些顯著區(qū)域能夠代表輸入圖像中的面部的屬性，諸如眼部區(qū)域、鼻部區(qū)域、嘴部區(qū)域等；第二，在輸入圖像中確定具有較高光照的半邊臉，諸如，圖1A中所示的矩形框代表具有較高光照的左半邊臉，并且圖1B中所示的矩形框代表具有較高光照的右半邊臉；第三，選擇在確定的半邊臉上的顯著區(qū)域；而后，從選擇的顯著區(qū)域中提取面部表情特征，用于面部表情識(shí)別。

在上述技術(shù)中，僅從確定的半邊臉中提取面部表情特征，因此，能夠減少用于面部表情識(shí)別的面部表情特征的維數(shù)。然而，通過(guò)比較輸入的面部的兩個(gè)半邊臉的光照，來(lái)確定用于提取面部表情特征的半邊臉，因此，兩個(gè)半邊臉的光照差異越明顯，則能夠確定的用于提取面部表情特征的半邊臉越具有辨別力，進(jìn)而，能夠?qū)崿F(xiàn)的識(shí)別精度越高。

換言之，如果兩個(gè)半邊臉的光照差異不明顯(即，輸入圖像具有正常的光照)，則對(duì)于上述技術(shù)而言，將難以確定最具有辨別力的半邊臉。并且，由于上述技術(shù)在識(shí)別面部表情時(shí)僅使用面部的一半的面部表情信息，因此，識(shí)別精度相比于通過(guò)在識(shí)別面部表情時(shí)使用整個(gè)面部的面部表情信息而實(shí)現(xiàn)的識(shí)別精度將變差。也即，對(duì)于具有正常光照的圖像而言，雖然用于面部表情識(shí)別的面部表情特征的維數(shù)能夠被減少，但是上述技術(shù)將實(shí)現(xiàn)較差的識(shí)別精度。

技術(shù)實(shí)現(xiàn)要素：

因此，鑒于上面背景技術(shù)中的敘述，本公開(kāi)旨在解決如上所述的問(wèn)題。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種圖像處理裝置，該圖像處理裝置包括：圖像獲取單元，其被構(gòu)造為獲取包含面部的圖像；區(qū)域定位單元，其被構(gòu)造為在獲取到的圖像中，定位代表所述面部的屬性的至少一個(gè)區(qū)域；特征提取單元，其被構(gòu)造為從定位的區(qū)域中提取特征；以及特征整合單元，其被構(gòu)造為對(duì)基于所述面部的對(duì)稱性而彼此對(duì)稱的、定位的區(qū)域的特征，進(jìn)行整合。

利用本發(fā)明，能夠減少用于圖像處理的特征的維數(shù)，并且能夠保持圖像處理精度。

通過(guò)以下參照附圖的描述，本發(fā)明的進(jìn)一步的特征及優(yōu)點(diǎn)將變得清楚。

附圖說(shuō)明

被并入說(shuō)明書并構(gòu)成說(shuō)明書的一部分的附圖例示了本發(fā)明的實(shí)施例，并且與文字描述一起用來(lái)說(shuō)明本發(fā)明的原理。

圖1A及圖1B示意性地示出了根據(jù)現(xiàn)有技術(shù)的具有光照差異的人臉圖像。

圖2A至圖2C示意性地示出了各自包括不同面部表情的人臉圖像。

圖3是示意性地示出根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的硬件配置的框圖。

圖4是例示根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置的配置的框圖。

圖5A至圖5C示意性地示出了被檢測(cè)特征點(diǎn)和相應(yīng)的定位的顯著區(qū)域的示例。

圖6A及圖6B示意性地示出了被檢測(cè)特征點(diǎn)和相應(yīng)的定位的顯著區(qū)域的另一示例。

圖7A及圖7B示意性地示出了與眼睛相關(guān)的一個(gè)定位的顯著區(qū)域的劃分塊、以及從劃分塊中提取的特征的示例。

圖8是例示本發(fā)明的圖4中所示的特征整合單元440的詳細(xì)配置的框圖。

圖9是示意性地示出圖8中所示的特征整合單元440的處理的詳細(xì)過(guò)程的流程圖。

圖10是示意性地示出圖9中所示的步驟S910的處理的詳細(xì)過(guò)程的流程圖。

圖11示意性地示出了部分的人臉被頭發(fā)遮擋的人臉。

圖12A及圖12B是示意性地示出關(guān)于左、右眼區(qū)域是否被遮擋的判斷的圖。

圖13A至圖13D是示意性地示出基于面部的對(duì)稱性而彼此對(duì)稱的兩個(gè)定位的顯著區(qū)域、以及從這兩個(gè)定位的顯著區(qū)域中提取的相應(yīng)特征的圖。

圖14A至圖14D是示意性地示出按面部的對(duì)稱性而被劃分為兩個(gè)部分的定位的顯著區(qū)域、以及從這兩個(gè)部分中提取的相應(yīng)特征的圖。

圖15示意性地示出了定位的顯著區(qū)域的一些塊被面部的對(duì)稱線劃分為兩個(gè)部分的情況。

圖16是示意性地示出根據(jù)第一實(shí)施例的總體處理的過(guò)程的流程圖。

圖17是例示根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置的配置的框圖。

圖18是示意性地示出根據(jù)第二實(shí)施例的總體處理的過(guò)程的流程圖。

圖19是示出根據(jù)第二實(shí)施例的、應(yīng)用面部表情識(shí)別的在線教育評(píng)價(jià)系統(tǒng)的整體構(gòu)造的框圖。

圖20是例示根據(jù)本發(fā)明的第三實(shí)施例的圖像處理裝置的配置的框圖。

圖21是示意性地示出根據(jù)第三實(shí)施例的總體處理的過(guò)程的流程圖。

具體實(shí)施方式

下面，將參照附圖來(lái)詳細(xì)描述本發(fā)明的示例性實(shí)施例。應(yīng)當(dāng)指出，以下的描述實(shí)質(zhì)上僅是說(shuō)明性和示例性的，并且決不意在限制本發(fā)明及其應(yīng)用或用途。在實(shí)施例中提出的構(gòu)成要素及步驟的相對(duì)布置、數(shù)值表達(dá)式以及數(shù)值并不限制本發(fā)明的范圍，除非另外特別說(shuō)明。此外，本領(lǐng)域技術(shù)人員已知的技術(shù)、方法及設(shè)備可能不作詳細(xì)討論，但在適當(dāng)?shù)那闆r下應(yīng)當(dāng)作為本說(shuō)明書的一部分。

請(qǐng)注意，類似的附圖標(biāo)記及字母指代圖中的類似項(xiàng)目，因而，一旦項(xiàng)目在一個(gè)圖中被定義，則對(duì)于之后的圖不需要再討論該項(xiàng)目。

統(tǒng)計(jì)數(shù)據(jù)表明，人臉具有對(duì)稱性。換言之，不僅對(duì)于具有中性表情(如圖2A所示)的面部，而且對(duì)于具有諸如微笑表情(如圖2B所示)、悲傷表情(如圖2C所示)等其他表情的面部，人臉都幾乎是左右對(duì)稱的，其中，圖2中所示的虛線是面部的對(duì)稱線。因此，本發(fā)明人發(fā)現(xiàn)，能夠利用面部的對(duì)稱性，來(lái)減少在識(shí)別面部表情時(shí)的面部表情特征的維數(shù)。同時(shí)，能夠盡可能地保持圖像處理精度。

(圖像處理裝置的硬件配置)

首先，將參照?qǐng)D3，來(lái)描述能夠?qū)崿F(xiàn)下文所述的技術(shù)的圖像處理裝置的硬件配置。圖3是示意性地示出根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置的硬件配置300的框圖。通過(guò)諸如個(gè)人計(jì)算機(jī)(PC)、照相機(jī)、數(shù)字照相機(jī)、電視攝像機(jī)、視頻攝像機(jī)、移動(dòng)電話、個(gè)人數(shù)據(jù)助理(PDA)或其他適合的電子設(shè)備，來(lái)實(shí)施根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置。

圖像處理裝置的硬件配置300可以包括中央處理單元(CPU)310、隨機(jī)存取存儲(chǔ)器(RAM)320、只讀存儲(chǔ)器(ROM)330、硬盤340、輸入設(shè)備350、輸出設(shè)備360、網(wǎng)絡(luò)接口370及系統(tǒng)總線380。

CPU 310可以是任何適合的可編程控制設(shè)備，并且能夠通過(guò)執(zhí)行存儲(chǔ)在ROM 330或硬盤340中的各種應(yīng)用程序，來(lái)執(zhí)行下文所述的各種功能。RAM 320用來(lái)臨時(shí)存儲(chǔ)從ROM 330或硬盤340中加載的程序或數(shù)據(jù)，并且還用作如下的空間，在該空間中，CPU 310執(zhí)行各種程序，諸如實(shí)施下文將參照?qǐng)D4至圖21詳細(xì)描述的技術(shù)以及由圖像處理裝置執(zhí)行的其他功能。硬盤340能夠存儲(chǔ)許多種類的信息，諸如操作系統(tǒng)(OS)、各種應(yīng)用、控制程序，以及由制造商預(yù)生成或設(shè)置的數(shù)據(jù)，其中，所述數(shù)據(jù)例如可以是下文所述的閾值(TH)、面部表情模型、面部模型。

在一種實(shí)施方式中，輸入設(shè)備350可以是輸入接口，并且能夠接收從圖像獲取設(shè)備輸出的圖像，所述圖像獲取設(shè)備是諸如下文將參照?qǐng)D19描述的圖像獲取設(shè)備1910。并且，輸出設(shè)備360可以是輸出接口，并且能夠?qū)⑻幚斫Y(jié)果輸出至后續(xù)操作，諸如識(shí)別面部表情、識(shí)別面部、評(píng)價(jià)在線教育的質(zhì)量，或者基于識(shí)別的面部將捕獲圖像存儲(chǔ)在數(shù)字照相機(jī)中，并且所有這些操作均將在下文中進(jìn)行描述。

在另一實(shí)施方式中，輸入設(shè)備350能夠允許用戶與圖像處理裝置交互，諸如用戶能夠通過(guò)輸入設(shè)備350來(lái)輸入圖像。并且，輸入設(shè)備350可以采用諸如按鈕、小鍵盤、轉(zhuǎn)盤、觸控輪或觸摸屏等的各種形式。輸出設(shè)備360可以包括陰極射線管(CRT)或液晶顯示器，并且能夠向用戶顯示處理結(jié)果。此外，如果圖像處理裝置是所謂的諸如智能移動(dòng)電話、PDA、平板計(jì)算機(jī)或其他適合的個(gè)人設(shè)備等的設(shè)備，則輸入設(shè)備350和輸出設(shè)備360可以被合并為一體。此外，如果圖像處理裝置是所謂的諸如傳統(tǒng)移動(dòng)電話、筆記本電腦、臺(tái)式電腦或其他適合的個(gè)人設(shè)備等的設(shè)備，則輸入設(shè)備350和輸出設(shè)備360可以分開(kāi)地被合并。

網(wǎng)絡(luò)接口370提供用于將圖像處理裝置連接到網(wǎng)絡(luò)(未示出)的接口。例如，圖像處理裝置能夠經(jīng)由網(wǎng)絡(luò)接口370，與經(jīng)由網(wǎng)絡(luò)連接的其他電子設(shè)備(諸如圖19中所示的圖像獲取設(shè)備1910和/或監(jiān)視設(shè)備1920)進(jìn)行數(shù)據(jù)通信。作為另一選擇，可以為圖像處理裝置配設(shè)無(wú)線接口，以進(jìn)行無(wú)線數(shù)據(jù)通信。系統(tǒng)總線380可以提供如下的數(shù)據(jù)傳送路徑，該數(shù)據(jù)傳送路徑用于在CPU 310、RAM 320、ROM 330、硬盤340、輸入設(shè)備350、輸出設(shè)備360及網(wǎng)絡(luò)接口370等之間相互傳送數(shù)據(jù)。雖然被稱為總線，但是，系統(tǒng)總線380并不局限于任何特定的數(shù)據(jù)傳送技術(shù)。

作為替代，可以使用實(shí)現(xiàn)與上述硬件設(shè)備相同的功能的軟件。

在諸如圖像處理等的本發(fā)明的一個(gè)實(shí)施例的示例中，稍后將參照?qǐng)D9至圖10及圖16描述的本實(shí)施例的程序可以被預(yù)先安裝在硬盤340中，并且在CPU 310需要執(zhí)行本實(shí)施例的程序時(shí)，被從硬盤340中加載到RAM 320。在其他示例中，本實(shí)施例的程序可以被記錄在ROM 330中，并且直接由CPU 310執(zhí)行。此外，也可以通過(guò)相同的方式，來(lái)存儲(chǔ)和執(zhí)行諸如稍后將參照?qǐng)D18及圖21描述的面部表情識(shí)別及面部識(shí)別等的其他實(shí)施例的程序。

圖3中所示的圖像處理裝置的上述硬件配置300僅是說(shuō)明性的，并且決不意在限制本發(fā)明及其應(yīng)用或用途。并且，為了簡(jiǎn)單起見(jiàn)，圖3中僅示出了一種硬件配置。然而，也可以根據(jù)需要使用多個(gè)硬件配置。

(圖像處理裝置的配置)

接下來(lái)，將參照?qǐng)D4，來(lái)描述用于上述圖像處理裝置的圖像處理的配置。圖4是例示根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置400的配置的框圖。

圖4中所示的模塊被實(shí)現(xiàn)為上面參照?qǐng)D3所述的圖像處理裝置的CPU 310，并且用于執(zhí)行被加載到RAM 320的程序，以及用于與圖3中所示的各硬件協(xié)作。可以由專用的硬件來(lái)實(shí)現(xiàn)部分或全部的模塊。

如圖4所示，根據(jù)本發(fā)明的第一實(shí)施例的圖像處理裝置400包括：圖像獲取單元410、區(qū)域定位單元420、特征提取單元430及特征整合單元440。并且，圖像處理裝置400可以進(jìn)一步包括面部特征獲得單元450。

如上所述，首先，圖3中所示的輸入設(shè)備350將接收包含面部的一個(gè)圖像(諸如圖2A中所示的人臉圖像)，該圖像是從圖像獲取設(shè)備輸出的，或者是由用戶輸入的。其次，輸入設(shè)備350將經(jīng)由系統(tǒng)總線380，將獲取到的圖像傳送到圖像獲取單元410。

而后，如圖4所示，首先，圖像獲取單元410將通過(guò)系統(tǒng)總線380，從輸入設(shè)備350來(lái)獲取包含面部的圖像。

其次，區(qū)域定位單元420將在獲取到的圖像中，定位代表面部的屬性的至少一個(gè)區(qū)域。在一種實(shí)施方式中，屬性可以是關(guān)于面部表情識(shí)別的面部的表情屬性。在另一實(shí)施方式中，屬性也可以是關(guān)于面部識(shí)別的面部的紋理屬性。此外，代表面部的屬性的區(qū)域在本發(fā)明中可以被視為顯著區(qū)域，并且，面部中的眼部區(qū)域、鼻部區(qū)域、嘴部區(qū)域及其他區(qū)域可以被視為上述的顯著區(qū)域。在下文中，顯著區(qū)域?qū)⒂脕?lái)代表用于代表面部的屬性的區(qū)域。

區(qū)域定位單元420可以僅定位一個(gè)顯著區(qū)域，所述一個(gè)顯著區(qū)域同時(shí)包含兩個(gè)眼部區(qū)域、一個(gè)鼻部區(qū)域和一個(gè)嘴部區(qū)域。此外，區(qū)域定位單元420也可以定位多于一個(gè)的顯著區(qū)域。在一個(gè)實(shí)例中，區(qū)域定位單元420能夠定位兩個(gè)顯著區(qū)域，諸如一個(gè)顯著區(qū)域包含兩個(gè)眼部區(qū)域，并且另一個(gè)包含鼻部區(qū)域和嘴部區(qū)域。在另一實(shí)例中，區(qū)域定位單元420能夠定位3個(gè)顯著區(qū)域，諸如第一個(gè)顯著區(qū)域包含兩個(gè)眼部區(qū)域，第二個(gè)顯著區(qū)域包含鼻部區(qū)域，并且第三個(gè)顯著區(qū)域包含嘴部區(qū)域。

為了獲得更準(zhǔn)確的顯著區(qū)域，以使下文所述的特征提取單元430及特征整合單元440能夠獲得更準(zhǔn)確的特征，作為優(yōu)選方案，區(qū)域定位單元420可以包括特征點(diǎn)檢測(cè)單元421及區(qū)域確定單元422，如圖4所示。

首先，特征點(diǎn)檢測(cè)單元421能夠在獲取的圖像中檢測(cè)特征點(diǎn)。許多現(xiàn)有方法能夠用于檢測(cè)特征點(diǎn)，諸如常用的主動(dòng)外觀模型(Active Appearance Model,AAM)法。在一種實(shí)施方式中，可以在特征點(diǎn)檢測(cè)單元421中，使用在“Supervised descent method and its application to face alignment”(Xuehan Xiong,Fernando De la Torre,CVPR,2013,2013 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2013 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)2013,pp.532-539,doi:10.1109/CVPR.2013.75)中公開(kāi)的方法，來(lái)檢測(cè)特征點(diǎn)。

在本發(fā)明中，被檢測(cè)特征點(diǎn)的數(shù)量不是固定的。一般而言，眼部區(qū)域、鼻部區(qū)域及嘴部區(qū)域能夠包含面部的更多的屬性，因此，經(jīng)常從這種區(qū)域中檢測(cè)特征點(diǎn)。在一種實(shí)施方式中，可以在獲取的圖像中檢測(cè)7個(gè)特征點(diǎn)，其中所述7個(gè)特征點(diǎn)包括各眼部區(qū)域上的兩個(gè)特征點(diǎn)、鼻部區(qū)域上的一個(gè)特征點(diǎn)，以及嘴部區(qū)域上的兩個(gè)特征點(diǎn)。并且，圖5A中所示的黑點(diǎn)是示例性的被檢測(cè)特征點(diǎn)。在另一實(shí)施方式中，為了獲得用于后續(xù)操作的面部的更多屬性，可以在獲取的圖像中檢測(cè)15個(gè)特征點(diǎn)，其中所述15個(gè)特征點(diǎn)包括各眼部區(qū)域上的4個(gè)特征點(diǎn)、鼻部區(qū)域上的3個(gè)特征點(diǎn)，以及嘴部區(qū)域上的4個(gè)特征點(diǎn)。并且，圖6A中所示的黑點(diǎn)是示例性的被檢測(cè)特征點(diǎn)。

在特征點(diǎn)檢測(cè)單元421在獲取的圖像中檢測(cè)了特征點(diǎn)之后，區(qū)域確定單元422將基于被檢測(cè)特征點(diǎn)，來(lái)確定顯著區(qū)域。依據(jù)制造商的設(shè)置，顯著區(qū)域可以是諸如矩形、正方形等的任何形狀，并且可以是任何大小。此外，顯著區(qū)域的數(shù)量不是固定的，并且也可以基于制造商的設(shè)置來(lái)決定。

針對(duì)圖5A中所示的被檢測(cè)特征點(diǎn)，在一個(gè)實(shí)例中，區(qū)域確定單元422能夠定位4個(gè)顯著區(qū)域，其中所述4個(gè)顯著區(qū)域包括兩個(gè)眼部區(qū)域、一個(gè)鼻部區(qū)域和一個(gè)嘴部區(qū)域，如圖5B所示。在另一實(shí)例中，為了獲得用于后續(xù)操作的面部的更多屬性，區(qū)域確定單元422也可以定位7個(gè)顯著區(qū)域，如圖5C所示。在該實(shí)例中，例如，圖5C中所示的各定位的顯著區(qū)域能夠以一個(gè)被檢測(cè)特征點(diǎn)為中心。并且，如果定位的顯著區(qū)域是正方形，則可以把各定位的顯著區(qū)域的寬度和長(zhǎng)度，均設(shè)置為獲取的圖像的長(zhǎng)度的20％～45％。或者，如果定位的顯著區(qū)域是矩形，則可以把各定位的顯著區(qū)域的寬度和長(zhǎng)度，分別設(shè)置為獲取的圖像的寬度和長(zhǎng)度的20％～45％。

針對(duì)圖6A中所示的被檢測(cè)特征點(diǎn)，在一個(gè)實(shí)例中，區(qū)域確定單元422能夠定位15個(gè)顯著區(qū)域，如圖6B所示。并且，用于定位圖6B中所示的各顯著區(qū)域的方法，與用于定位圖5C中所示的各顯著區(qū)域的上述方法相同。以具有200*200像素的大小的獲取圖像為例，各定位的顯著區(qū)域能夠以一個(gè)被檢測(cè)特征點(diǎn)為中心，并且可以具有60*60像素的大小。

現(xiàn)在，返回到圖4，在區(qū)域定位單元420在獲取的圖像中定位了上述的顯著區(qū)域之后，特征提取單元430將從定位的顯著區(qū)域中提取特征。例如，如上所述，對(duì)于面部表情識(shí)別，與面部的屬性相對(duì)應(yīng)的提取的特征可以是表情特征；并且對(duì)于面部識(shí)別，與面部的屬性相對(duì)應(yīng)的提取的特征可以是紋理特征。

為了獲得更準(zhǔn)確的特征，以使下文所述的特征整合單元440能夠獲得更準(zhǔn)確的整合特征，作為優(yōu)選方案，針對(duì)各定位的顯著區(qū)域，特征提取單元430首先將定位的顯著區(qū)域劃分為具有相同面積大小的多個(gè)塊，其中根據(jù)定位的顯著區(qū)域的大小，塊的面積大小以及塊的數(shù)量可以是不同的。為了方便下文所述的特征整合單元440的整合操作，塊的數(shù)量可以是偶數(shù)。如上所述，以具有60*60像素的大小的定位的顯著區(qū)域?yàn)槔?，定位的顯著區(qū)域的劃分模式可以是4乘4模式，換言之，各塊的寬度和高度均為15像素，這意味著，各顯著區(qū)域被劃分為具有相同面積大小的16個(gè)塊。

其次，特征提取單元430將從各劃分的塊中提取特征。在特征提取單元430中可以使用許多圖像特征描述符，以從劃分的塊中提取特征，諸如尺度不變特征變換(Scale-invariant Feature Transform,SIFT)、快速魯棒特征(Speeded Up Robust Features,SURF)、局部二進(jìn)制模式(Local Binary Pattern,LBP)等。圖7A示意性地示出了與眼睛相關(guān)的一個(gè)定位的顯著區(qū)域的劃分塊、以及從劃分塊中提取的特征的示例，其中圖7A中所示的‘子向量n’代表從第N個(gè)塊中提取的特征。

此外，特征提取單元430還能夠?qū)膭澐值膲K中提取的特征鏈接在一起，以構(gòu)造顯著區(qū)域的一個(gè)鏈接特征。特征的鏈接順序不受限制，只要各顯著區(qū)域具有相同的特征鏈接順序即可。在一個(gè)實(shí)例中，一個(gè)顯著區(qū)域中的特征的鏈接順序可以是將從上部塊中提取的特征鏈接到底部塊，并且從左部塊到右部塊，諸如圖7B中所示的鏈接特征。

現(xiàn)在，返回到圖4，特征提取單元430從定位的顯著區(qū)域中提取了特征之后，其中對(duì)于一個(gè)定位的顯著區(qū)域，特征可以是上述的顯著區(qū)域的鏈接特征、上述的從各劃分的塊中提取的特征，或者直接從顯著區(qū)域中提取的特征，為了減少特征的維數(shù)，特征整合單元440將對(duì)基于面部的對(duì)稱性而彼此對(duì)稱的定位的顯著區(qū)域的特征進(jìn)行整合，其中如果兩個(gè)定位的顯著區(qū)域基于面部的對(duì)稱性而彼此對(duì)稱，則意味著，這兩個(gè)定位的顯著區(qū)域的中心基于面部的對(duì)稱性而彼此對(duì)稱。在下文中，將參照?qǐng)D9至圖15來(lái)描述詳細(xì)的處理。

此外，在特征整合單元440基于面部的對(duì)稱性來(lái)對(duì)定位的顯著區(qū)域的特征進(jìn)行整合之后，面部特征獲得單元450可以進(jìn)一步將整合特征鏈接在一起，以獲得整個(gè)面部的鏈接特征；并且，鏈接順序不受限制，只要各面部圖像的鏈接順序相同即可。

最后，面部特征獲得單元450將經(jīng)由系統(tǒng)總線380，將整個(gè)面部的鏈接特征傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如識(shí)別面部表情、識(shí)別面部等。

(特征整合的詳細(xì)配置及處理)

圖8示出了例示圖4中所示的特征整合單元440的詳細(xì)配置的框圖。如圖8所示，首先，特征整合單元440包括特征組合單元443。針對(duì)一個(gè)定位的顯著區(qū)域，特征組合單元443首先將進(jìn)行如下的判斷，即定位的顯著區(qū)域的中心(如果如上所述，定位的顯著區(qū)域以被檢測(cè)特征點(diǎn)為中心，則為被檢測(cè)特征點(diǎn))是否在面部的對(duì)稱線上。而后，如果定位的顯著區(qū)域的中心被判斷為不在面部的對(duì)稱線上，則特征組合單元443將把定位的顯著區(qū)域的特征，與該定位的顯著區(qū)域的對(duì)稱區(qū)域的特征進(jìn)行組合。并且，如果定位的顯著區(qū)域的中心被判斷為在面部的對(duì)稱線上，則特征組合單元443將把定位的顯著區(qū)域的第一子區(qū)域(諸如左子區(qū)域)的特征，與定位的顯著區(qū)域的第二子區(qū)域(諸如右子區(qū)域)的特征進(jìn)行組合，其中定位的區(qū)域被面部的對(duì)稱線劃分為第一子區(qū)域和第二子區(qū)域。在下文中，將參照?qǐng)D9來(lái)描述詳細(xì)的處理。

在日常生活中，人臉經(jīng)常被其他物體遮擋，諸如前額的一部分經(jīng)常被頭發(fā)遮擋，眼睛的一部分經(jīng)常被眼鏡遮擋，等等。由于從被其他物體遮擋的區(qū)域中提取的特征將引起一定的噪聲，而該噪聲將影響提取的特征的精度，因此，為了減少在對(duì)特征進(jìn)行整合時(shí)由遮擋造成的影響，并且為了獲得更準(zhǔn)確的整合特征，特征整合單元440可以進(jìn)一步包括遮擋區(qū)域確定單元441及特征重新確定單元442，如圖8所示。首先，針對(duì)一個(gè)定位的顯著區(qū)域，遮擋區(qū)域確定單元441將確定定位的顯著區(qū)域是否為遮擋區(qū)域，其中所述遮擋區(qū)域例如可以是被頭發(fā)遮擋的顯著區(qū)域，或者被眼鏡遮擋的顯著區(qū)域。其次，針對(duì)一個(gè)遮擋區(qū)域，特征重新確定單元442將根據(jù)基于面部的對(duì)稱性而與遮擋區(qū)域?qū)ΨQ的、相應(yīng)的定位的顯著區(qū)域的特征，來(lái)重新確定遮擋區(qū)域的特征。在下文中，將參照?qǐng)D9來(lái)描述詳細(xì)的整合處理。

圖9是示意性地示出圖8中所示的特征整合單元440的處理的詳細(xì)過(guò)程的流程圖900。針對(duì)一個(gè)定位的顯著區(qū)域，如圖9所示，在步驟S910中，圖8中所示的遮擋區(qū)域確定單元441將確定定位的顯著區(qū)域是否為遮擋區(qū)域。作為優(yōu)選方案，遮擋區(qū)域確定單元441可以基于定位的顯著區(qū)域的黑色像素密度，來(lái)確定定位的顯著區(qū)域是否為遮擋區(qū)域，并且在下文中，將參照?qǐng)D10、圖11以及圖12A及圖12B來(lái)描述詳細(xì)的處理。此外，除了基于黑色像素密度之外，遮擋區(qū)域確定單元441還可以使用其他現(xiàn)有方法來(lái)判斷定位的顯著區(qū)域是否為遮擋區(qū)域，諸如基于模糊主成分分析(fuzzy principal component analysis)的方法、基于B樣條主動(dòng)輪廓和皮膚顏色信息(B-spline active contour and skin color information)的方法，或者基于GraphCut的檢測(cè)方法。

圖10是示意性地示出圖9中所示的步驟S910的處理的詳細(xì)過(guò)程的流程圖。如圖10所示，在步驟S911中，遮擋區(qū)域確定單元441將通過(guò)使用諸如OSTU算法、自適應(yīng)閾值化算法、閾值化算法等現(xiàn)有的二值算法，對(duì)與定位的顯著區(qū)域(諸如圖11中所示的定位的顯著區(qū)域中的一個(gè)，其中圖11中所示的人臉的一部分被頭發(fā)遮擋)相對(duì)應(yīng)的圖像進(jìn)行二值化。在步驟S912中，遮擋區(qū)域確定單元441將通過(guò)使用下面的函數(shù)，來(lái)計(jì)算定位的顯著區(qū)域的黑色像素密度：

其中，α代表黑色像素密度。

而后，在步驟S913中，遮擋區(qū)域確定單元441將進(jìn)行如下的判斷，即定位的顯著區(qū)域的黑色像素密度是否大于預(yù)定閾值(TH)，其中TH可以由制造商來(lái)設(shè)置。如果黑色像素密度大于TH，則定位的顯著區(qū)域?qū)⒈慌袛酁檎趽鯀^(qū)域；否則，定位的顯著區(qū)域不是遮擋區(qū)域。

如上所述，遮擋區(qū)域確定單元441需要計(jì)算各定位的顯著區(qū)域的黑色像素密度。然而，一般而言，僅眼部區(qū)域更經(jīng)常被頭發(fā)遮擋，諸如圖11中所示的人臉，而人臉的其他部分很少被其他物體遮擋。因此，為了簡(jiǎn)化計(jì)算，作為優(yōu)選方案，遮擋區(qū)域確定單元441可以僅判斷眼部區(qū)域(諸如圖12A中所示的左眼區(qū)域及右眼區(qū)域)是否被遮擋。并且，如果眼部區(qū)域中的一個(gè)(諸如圖12A中所示的左眼區(qū)域)被判斷為遮擋區(qū)域，則圖8中所示的特征重新確定單元442可以把提取的與右眼區(qū)域相關(guān)的特征，直接確定為與左眼區(qū)域相關(guān)的特征。并且，如果兩眼部區(qū)域均被判斷為遮擋區(qū)域，則圖8中所示的特征重新確定單元442可以基于左眼區(qū)域和右眼區(qū)域的遮擋面積大小，重新確定與左眼區(qū)域相關(guān)的特征或者與右眼區(qū)域相關(guān)的特征。換言之，特征重新確定單元442在左眼區(qū)域的遮擋面積大小大于右眼區(qū)域的遮擋面積大小的情況下，將把與右眼區(qū)域相關(guān)的特征確定為與左眼區(qū)域相關(guān)的特征；否則，將把與左眼區(qū)域相關(guān)的特征確定為與右眼區(qū)域相關(guān)的特征。

作為實(shí)例，在圖12A及圖12B中，示出了示意性地示出關(guān)于左、右眼區(qū)域是否被遮擋的判斷的圖。如圖12A所示，首先，遮擋區(qū)域確定單元441將確定覆蓋左眼區(qū)域及左眉毛的區(qū)域1，以及覆蓋右眼區(qū)域及右眉毛的區(qū)域2。只要確定的區(qū)域能夠覆蓋眼部區(qū)域和眉毛，確定的區(qū)域可以是諸如矩形、正方形等的任何形狀，并且可以是任何大小。以區(qū)域1為例，作為優(yōu)選方案，首先，根據(jù)由特征點(diǎn)檢測(cè)單元421檢測(cè)的左眼的4個(gè)特征點(diǎn)，遮擋區(qū)域確定單元441能夠計(jì)算出左眼的高度和左眼的寬度。其次，遮擋區(qū)域確定單元441可以根據(jù)計(jì)算出的左眼的高度以及特征點(diǎn)A的位置，來(lái)估計(jì)左眉毛的位置。一般而言，從特征點(diǎn)A到眉毛的距離等于眼睛的高度。而后，遮擋區(qū)域確定單元441可以基于左眼的寬度和左眉毛的位置，來(lái)確定區(qū)域1。

然后，如圖12B所示，區(qū)域1可以在眉毛的位置被劃分為兩個(gè)部分，即A1和A2，并且區(qū)域2也可以被劃分為兩個(gè)部分，即B1和B2。如上所述，遮擋區(qū)域確定單元441將對(duì)與各部分相對(duì)應(yīng)的圖像進(jìn)行二值化，并且通過(guò)使用下面的函數(shù)來(lái)計(jì)算各部分的黑色像素密度：

其中，αA1、αA2、αB1、αB2分別代表A1的黑色像素密度、A2的黑色像素密度、B1的黑色像素密度和B2的黑色像素密度。

最后，遮擋區(qū)域確定單元441將判斷各部分的黑色像素密度是否大于相應(yīng)的預(yù)定閾值(TH1及TH2)，其中TH1及TH2可以由制造商來(lái)設(shè)置，并且TH1及TH2例如可以在0.65～0.8的范圍內(nèi)。對(duì)于一個(gè)眼部區(qū)域，如果兩部分的黑色像素密度均大于相應(yīng)的TH，則眼部區(qū)域?qū)⒈慌袛酁檎趽鯀^(qū)域；否則，眼部區(qū)域不是遮擋區(qū)域。如圖12B所示，由于遮擋區(qū)域確定單元441判斷A1的黑色像素密度大于TH1，并且A2的黑色像素密度大于TH2，因此，左眼區(qū)域?qū)⒈慌袛酁檎趽鯀^(qū)域。此外，由于遮擋區(qū)域確定單元441判斷出B1的黑色像素密度小于TH1，并且B2的黑色像素密度小于TH2，因此，右眼區(qū)域不是遮擋區(qū)域。

現(xiàn)在，返回到圖9，在步驟S910中，如果遮擋區(qū)域確定單元441確定定位的顯著區(qū)域是遮擋區(qū)域，則過(guò)程將進(jìn)入到步驟S920；否則，過(guò)程將進(jìn)入到步驟S9120。

在步驟S920中，特征重新確定單元442將判斷遮擋區(qū)域的中心是否在面部的對(duì)稱線上。如果遮擋區(qū)域的中心被判斷為不在面部的對(duì)稱線上，則過(guò)程將轉(zhuǎn)入到步驟S930；否則，過(guò)程將轉(zhuǎn)入到步驟S970。

在步驟S930中，特征重新確定單元442將判斷遮擋區(qū)域的對(duì)稱區(qū)域是否為遮擋區(qū)域，并且，相應(yīng)的判斷類似于如上所述的步驟S910的判斷。如果遮擋區(qū)域的對(duì)稱區(qū)域被判斷為遮擋區(qū)域，則過(guò)程將進(jìn)入到步驟S950；否則，過(guò)程將進(jìn)入到步驟S940。

在步驟S940中，特征重新確定單元442將把對(duì)稱區(qū)域的特征確定為遮擋區(qū)域的特征。

在步驟S950中，特征重新確定單元442將進(jìn)行如下的判斷，即對(duì)稱區(qū)域的遮擋面積大小是否小于遮擋區(qū)域的遮擋面積大小。并且，如果對(duì)稱區(qū)域的遮擋面積大小小于遮擋區(qū)域的遮擋面積大小，則特征重新確定單元442將把對(duì)稱區(qū)域的特征確定為遮擋區(qū)域的特征，如在步驟S940中所述。否則，在步驟S960中，特征重新確定單元442將把遮擋區(qū)域的特征確定為對(duì)稱區(qū)域的特征。此外，如果對(duì)稱區(qū)域的遮擋面積大小等于遮擋區(qū)域的遮擋面積大小，則特征重新確定單元442也可以不重新確定遮擋區(qū)域的特征和對(duì)稱區(qū)域的特征。

如上面在步驟S920中所述，如果遮擋區(qū)域的中心被判斷為在面部的對(duì)稱線上，則在步驟S970中，特征重新確定單元442將進(jìn)行如下的判斷，即遮擋區(qū)域的第一子區(qū)域(諸如左子區(qū)域)的遮擋面積大小是否大于遮擋區(qū)域的第二子區(qū)域(諸如右子區(qū)域)的遮擋面積大小。并且，如果第一子區(qū)域的遮擋面積大小大于第二子區(qū)域的遮擋面積大小，則在步驟S980中，特征重新確定單元442將把第二子區(qū)域的特征確定為第一子區(qū)域的特征；否則，在步驟S990中，特征重新確定單元442將把第一子區(qū)域的特征確定為第二子區(qū)域的特征。此外，如果第一子區(qū)域的遮擋面積大小等于第二子區(qū)域的遮擋面積大小，則特征重新確定單元442也可以不重新確定第一子區(qū)域的特征和第二子區(qū)域的特征。

如上所述，步驟S920～S990的主要操作如下：如果遮擋區(qū)域的中心不在面部的對(duì)稱線上，則特征重新確定單元442將基于遮擋區(qū)域的遮擋面積大小和遮擋區(qū)域的對(duì)稱區(qū)域的遮擋面積的大小，重新確定遮擋區(qū)域的特征或者對(duì)稱區(qū)域的特征；并且如果遮擋區(qū)域的中心在面部的對(duì)稱線上，則特征重新確定單元442將基于遮擋區(qū)域的第一子區(qū)域的遮擋面積大小和遮擋區(qū)域的第二子區(qū)域的遮擋面積大小，重新確定第一子區(qū)域或第二子區(qū)域的特征。

現(xiàn)在，返回到圖9，在特征重新確定單元442根據(jù)上述的步驟S930～S960重新確定遮擋區(qū)域的特征之后，在步驟S9100中，圖8中所示的特征組合單元443將把定位的顯著區(qū)域的特征，與該定位的顯著區(qū)域的對(duì)稱區(qū)域的特征進(jìn)行組合。并且，在特征重新確定單元442根據(jù)上述的步驟S970～S990重新確定遮擋區(qū)域的特征之后，在步驟S9110中，特征組合單元443將把定位的顯著區(qū)域的第一子區(qū)域的特征，與定位的顯著區(qū)域的第二子區(qū)域的特征進(jìn)行組合。

如在步驟S910中所述，如果遮擋區(qū)域確定單元441確定定位的顯著區(qū)域不是遮擋區(qū)域，則過(guò)程將進(jìn)入到步驟S9120。在步驟S9120中，特征組合單元443將判斷定位的顯著區(qū)域的中心是否在面部的對(duì)稱線上。如果定位的顯著區(qū)域的中心被判斷為不在面部的對(duì)稱線上，則過(guò)程將進(jìn)入到上述的步驟S9100；否則，過(guò)程將進(jìn)入到上述的步驟S9110。

在步驟S9100中，由于面部的對(duì)稱性，定位的顯著區(qū)域中的劃分塊和定位的顯著區(qū)域的對(duì)稱區(qū)域中的劃分塊將具有不同的位置。因此，特征組合單元443首先將基于面部的對(duì)稱性，使定位的顯著區(qū)域中的劃分塊和定位的顯著區(qū)域的對(duì)稱區(qū)域中的劃分塊具有相同的位置，而后將融合定位的顯著區(qū)域的特征和定位的顯著區(qū)域的對(duì)稱區(qū)域的特征，其中所述融合操作可以是某類算術(shù)運(yùn)算，諸如加法運(yùn)算、乘法運(yùn)算、求平均算子等。在下文中，將參照?qǐng)D13A至圖13D來(lái)描述示例性的處理。

圖13A至圖13D是示意性地示出基于面部的對(duì)稱性而彼此對(duì)稱的兩個(gè)定位的顯著區(qū)域、以及從這兩個(gè)定位的顯著區(qū)域中提取的相應(yīng)特征的圖。在圖13A中，示出了一個(gè)定位的顯著區(qū)域(即，顯著區(qū)域A)和另一定位的顯著區(qū)域(即，顯著區(qū)域B)，其中這兩個(gè)顯著區(qū)域基于面部的對(duì)稱性(即，圖13A中所示的虛線)而彼此對(duì)稱。作為示例，兩個(gè)顯著區(qū)域均被劃分為相同數(shù)量的塊(諸如圖13A中所示的m*n)，并且各塊具有相同的面積大小。在顯著區(qū)域A的左上角的一個(gè)塊是S1，并且在顯著區(qū)域B的右上角的另一個(gè)塊是S2。顯然，塊S1與塊S2對(duì)稱。

如上所述，圖4中所示的特征提取單元430能夠?qū)膭澐謮K中提取的特征鏈接在一起，以構(gòu)造顯著區(qū)域的鏈接特征，并且各顯著區(qū)域的特征的鏈接順序是相同的。假設(shè)特征的鏈接順序是將從上部塊中提取的特征鏈接到底部塊，并且從左部塊到右部塊，由此，塊S1的特征首先被鏈接，以構(gòu)造顯著區(qū)域A的鏈接特征(諸如圖13B中所示的鏈接特征V1)，而當(dāng)構(gòu)造顯著區(qū)域B的鏈接特征(諸如圖13C中所示的鏈接特征V2)時(shí)，塊S2的特征不首先被鏈接。這意味著，塊S1的位置與塊S2的位置不同。

因此，應(yīng)當(dāng)進(jìn)行一些調(diào)整。以顯著區(qū)域A作為基準(zhǔn)(即，顯著區(qū)域A中的各塊的位置是不變的)，顯著區(qū)域B中的各塊的位置需要被變換。如圖13D所示，通過(guò)基于面部的對(duì)稱性來(lái)調(diào)整各塊的索引，鏈接特征V2將被變換為鏈接特征V2’(諸如特征的鏈接順序是將從上部塊中提取的特征鏈接到底部塊，并且從右部塊到左部塊)，使得顯著區(qū)域A中的劃分塊和顯著區(qū)域B中的劃分塊能夠具有相同的位置。

現(xiàn)在，返回到圖9，在步驟S9110中，由于面部的對(duì)稱性，第一子區(qū)域中的劃分塊和第二子區(qū)域中的劃分塊將具有不同的位置。因此，特征組合單元443首先將基于面部的對(duì)稱性，使第一子區(qū)域中的劃分塊和第二子區(qū)域中的劃分塊具有相同的位置，而后將融合第一子區(qū)域的特征和第二子區(qū)域的特征，其中所述融合操作可以是上述的算術(shù)運(yùn)算，諸如加法運(yùn)算、乘法運(yùn)算、求平均算子等。在下文中，將參照?qǐng)D14A至圖14D來(lái)描述示例性的處理。

圖14A至圖14D是示意性地示出按面部的對(duì)稱性而被劃分為兩個(gè)部分的定位的顯著區(qū)域、以及從這兩個(gè)部分中提取的相應(yīng)特征的圖。在圖14A中，示出了按面部的對(duì)稱性(即，虛線)而劃分的一個(gè)定位的顯著區(qū)域，其中該定位的顯著區(qū)域的左子區(qū)域是第一子區(qū)域，并且該定位的顯著區(qū)域的右子區(qū)域是第二子區(qū)域。

與圖13A至圖13D中的描述相同，塊S3與塊S4對(duì)稱，并且塊S3的位置與塊S4的位置不同。因此，以第一子區(qū)域作為基準(zhǔn)，第二子區(qū)域中的各塊的位置需要被變換。如圖14B至圖14D所示，在圖14B中示出了第一子區(qū)域的鏈接特征V3，在圖14C中示出了第二子區(qū)域的鏈接特征V4，并且在圖14D中示出了第二子區(qū)域的變換的鏈接特征V4’。由此，第一子區(qū)域中的劃分塊和第二子區(qū)域中的劃分塊能夠具有相同的位置。

此外，對(duì)于顯著區(qū)域，如上所述，塊的數(shù)量一般是偶數(shù)，因此，一般不存在面部的對(duì)稱線將一些塊劃分為兩個(gè)部分的情況。然而，如果塊的數(shù)量是奇數(shù)，則面部的對(duì)稱線將把一些塊劃分為兩個(gè)部分，諸如圖15中所示的情況。在這樣的情況下，針對(duì)被面部的對(duì)稱線劃分為兩個(gè)部分的各塊(諸如圖15中所示的第一子塊和第二子塊)，首先，圖4中所示的特征提取單元430將從各子塊中重新提取特征，而后，圖8中所示的特征組合單元443將執(zhí)行在步驟S9110中所述的相應(yīng)處理。

如上所述，由于本發(fā)明利用面部的對(duì)稱性來(lái)確定彼此對(duì)稱的顯著區(qū)域?qū)?，并且將各?duì)顯著區(qū)域的提取的特征整合為一個(gè)特征，因此，能夠減少用于圖像處理的特征的維數(shù)。

以圖6A及圖6B中所示的人臉為例，如上所述，圖4中所示的區(qū)域確定單元422定位15個(gè)顯著區(qū)域，并且，所述15個(gè)顯著區(qū)域分別是各眼部區(qū)域上的4個(gè)顯著區(qū)域、鼻部區(qū)域上的3個(gè)顯著區(qū)域，以及嘴部區(qū)域上的4個(gè)顯著區(qū)域。而后，特征提取單元430將構(gòu)造各定位的顯著區(qū)域的一個(gè)鏈接特征，換言之，特征提取單元430將構(gòu)造15個(gè)鏈接特征。根據(jù)本發(fā)明，特征整合單元440將找到彼此對(duì)稱的6對(duì)顯著區(qū)域，以及在面部的對(duì)稱線上的3個(gè)顯著區(qū)域。因此，特征整合單元440將把15個(gè)鏈接特征整合為9個(gè)整合特征，并且所述9個(gè)整合特征分別是兩個(gè)眼部區(qū)域的4個(gè)整合特征、鼻部區(qū)域的2個(gè)整合特征，以及嘴部區(qū)域的3個(gè)整合特征。因此，能夠減少用于圖像處理的圖6A及圖6B中所示的人臉的特征的維數(shù)。

另外，由于本發(fā)明從輸入圖像中包含的整個(gè)面部來(lái)提取特征，并且考慮到遮擋，因此，能夠保持圖像處理精度。

(總體處理)

下面，將參照?qǐng)D16，來(lái)描述由第一實(shí)施例的配置執(zhí)行的總體處理。圖16是示意性地示出根據(jù)第一實(shí)施例的總體處理的過(guò)程的流程圖1600。

如上所述，首先，圖3中所示的輸入設(shè)備350將接收包含面部的一個(gè)圖像，所述圖像是從圖像獲取設(shè)備輸出的，或者是由用戶輸入的。其次，輸入設(shè)備350將經(jīng)由系統(tǒng)總線380，將獲取到的圖像傳送到圖4中所示的圖像獲取單元410。

而后，如圖16所示，在圖像獲取步驟S1610中，圖像獲取單元410將通過(guò)系統(tǒng)總線380，從輸入設(shè)備350來(lái)獲取包含面部的圖像。

在特征點(diǎn)檢測(cè)步驟S1620中，區(qū)域定位單元420將通過(guò)使用現(xiàn)有方法，在獲取到的圖像中檢測(cè)特征點(diǎn)。

在區(qū)域定位步驟S1630中，區(qū)域定位單元420將在獲取到的圖像中，定位代表面部的屬性的至少一個(gè)區(qū)域。在本發(fā)明中，代表面部的屬性的區(qū)域可以被視為顯著區(qū)域，并且面部中的眼部區(qū)域、鼻部區(qū)域、嘴部區(qū)域及其他區(qū)域可以被視為上述的顯著區(qū)域。

在塊劃分步驟S1640中，特征提取單元430將把定位的顯著區(qū)域，劃分為具有相同面積大小的多個(gè)塊。為了方便特征整合單元440的整合操作，塊的數(shù)量可以是偶數(shù)。

在特征提取步驟S1650中，特征提取單元430將從各劃分塊中提取特征。

在遮擋區(qū)域確定步驟S1660中，針對(duì)各定位的顯著區(qū)域，特征整合單元440將確定定位的顯著區(qū)域是否為遮擋區(qū)域，其中所述遮擋區(qū)域例如可以是被頭發(fā)遮擋的顯著區(qū)域，或者被眼鏡遮擋的顯著區(qū)域。如果定位的顯著區(qū)域被判斷為遮擋區(qū)域，則過(guò)程將進(jìn)入到步驟S1670；否則，過(guò)程將進(jìn)入到步驟S1680。

在特征重新確定步驟S1670中，針對(duì)一個(gè)遮擋區(qū)域，特征整合單元440將根據(jù)基于面部的對(duì)稱性而與遮擋區(qū)域?qū)ΨQ的、相應(yīng)的定位的顯著區(qū)域的特征，來(lái)重新確定遮擋區(qū)域的特征。

在特征整合步驟S1680中，特征整合單元440將整合基于面部的對(duì)稱性而彼此對(duì)稱的定位的顯著區(qū)域的特征，其中，如果兩個(gè)定位的顯著區(qū)域基于面部的對(duì)稱性而彼此對(duì)稱，則意味著，這兩個(gè)定位的顯著區(qū)域的中心基于面部的對(duì)稱性而彼此對(duì)稱。

在面部特征獲得步驟S1690中，面部特征獲得單元450可以進(jìn)一步將整合特征鏈接在一起，以獲得整個(gè)面部的鏈接特征，其中鏈接順序不受限制，只要各面部圖像的鏈接順序相同即可。

最后，面部特征獲得單元450將經(jīng)由系統(tǒng)總線380，將整個(gè)面部的鏈接特征傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如識(shí)別面部表情、識(shí)別面部等。

(面部表情識(shí)別系統(tǒng)的配置)

如在第一實(shí)施例中所述，從圖4中所示的圖像處理裝置400輸出的處理結(jié)果(即，整個(gè)面部的鏈接特征)能夠用于識(shí)別面部表情。接下來(lái)，在第二實(shí)施例中，將參照?qǐng)D17，來(lái)描述用于上面參照?qǐng)D3所述的圖像處理裝置的圖像處理(即，面部表情識(shí)別)的配置。也可以被視為圖像處理裝置的本實(shí)施例的面部表情識(shí)別系統(tǒng)具有與圖3中所述相同的硬件配置。

圖17是例示根據(jù)本發(fā)明的第二實(shí)施例的圖像處理裝置(即，面部表情識(shí)別系統(tǒng)1700)的配置的框圖。

圖17中所示的模塊被實(shí)現(xiàn)為上面參照?qǐng)D3所述的圖像處理裝置的CPU 310，并且用于執(zhí)行被加載到RAM 320的程序，以及用于與圖3中所示的各硬件協(xié)作?？梢杂蓪Ｓ糜布?lái)實(shí)現(xiàn)部分或全部的模塊。

如圖17所示，根據(jù)本發(fā)明的第二實(shí)施例的面部表情識(shí)別系統(tǒng)1700包括：上述的圖像處理裝置400、面部表情識(shí)別單元1710，以及預(yù)生成的面部表情模型1720。

針對(duì)包含面部的輸入圖像，首先，圖像處理裝置400將根據(jù)上面參照?qǐng)D4至圖16的描述，來(lái)獲得整個(gè)面部的鏈接特征。

而后，面部表情識(shí)別單元1710將基于獲得的整個(gè)面部的鏈接特征以及預(yù)生成的面部表情模型1720，識(shí)別輸入圖像中的面部的面部表情類別，其中一個(gè)面部表情類別對(duì)應(yīng)于一個(gè)預(yù)生成的面部表情模型，預(yù)生成的面部表情模型1720可以由制造商預(yù)先基于具有各種不同表情(諸如憤怒表情、微笑表情、中性表情、悲傷表情等)的多個(gè)圖像樣本而生成或訓(xùn)練，并且可以被存儲(chǔ)在圖3中所示的ROM 330或硬盤340中。作為示例，預(yù)生成的面部表情模型1720可以基于支持向量機(jī)(Support Vector Machine,SVM)算法而生成，其中用于生成面部表情模型的特征可以是根據(jù)本發(fā)明而獲得的特征。

最后，面部表情識(shí)別單元1710將經(jīng)由系統(tǒng)總線380，把識(shí)別出的面部的面部表情類別傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如評(píng)價(jià)在線教育的質(zhì)量等。

此外，面部表情識(shí)別單元1710可以通過(guò)各種方式來(lái)實(shí)現(xiàn)識(shí)別。例如，在一種實(shí)施方式中，面部表情識(shí)別單元1710可以通過(guò)所謂的“一對(duì)所有(one-against-all)”方式來(lái)實(shí)現(xiàn)識(shí)別。以這種方式，面部表情識(shí)別單元1710將計(jì)算整個(gè)面部的鏈接特征與生成的面部表情模型1720之間的置信分?jǐn)?shù)，而后將直接基于計(jì)算出的置信分?jǐn)?shù)來(lái)識(shí)別面部的面部表情類別，諸如可以把與最高置信分?jǐn)?shù)相對(duì)應(yīng)的面部表情類別，識(shí)別為面部的面部表情類別。

在另一實(shí)施方式中，面部表情識(shí)別單元1710可以通過(guò)所謂的“一對(duì)一(one-against-one)”方式來(lái)實(shí)現(xiàn)識(shí)別。以這種方式，面部表情識(shí)別單元1710將計(jì)算整個(gè)面部的鏈接特征與生成的面部表情模型1720之間的置信分?jǐn)?shù)，并且將在每?jī)蓚€(gè)預(yù)生成的面部表情模型之間進(jìn)行投票，其中所述投票需要被循環(huán)操作次，并且n是預(yù)生成的面部表情模型的總數(shù)。而后，面部表情識(shí)別單元1710將進(jìn)行如下的識(shí)別，即把與具有最高投票分?jǐn)?shù)的預(yù)生成的面部表情模型相對(duì)應(yīng)的面部表情類別，識(shí)別為面部的面部表情類別。

如在第一實(shí)施例中所述，能夠減少在圖像處理裝置400中使用的特征的維數(shù)，并且圖像處理裝置400能夠保持圖像處理精度(即，能夠保持將用于面部表情識(shí)別的特征的精度)，因此，也能夠減少在面部表情識(shí)別系統(tǒng)1700中使用的特征的維數(shù)，并且也能夠保持面部表情識(shí)別的精度。

(總體處理)

下面，將參照?qǐng)D18，來(lái)描述由第二實(shí)施例的配置執(zhí)行的總體處理。圖18是示意性地示出根據(jù)第二實(shí)施例的總體處理的過(guò)程的流程圖1800。

首先，在圖像處理步驟S1810中，針對(duì)包含面部的輸入圖像，圖像處理裝置400將根據(jù)上面參照?qǐng)D4至圖16的描述，來(lái)獲得整個(gè)面部的鏈接特征。

而后，在面部表情識(shí)別步驟S1820中，面部表情識(shí)別單元1710將基于獲得的整個(gè)面部的鏈接特征以及預(yù)生成的面部表情模型1720，識(shí)別輸入圖像中的面部的面部表情類別，諸如微笑表情或悲傷表情或者其他面部表情。

最后，面部表情識(shí)別單元1710將經(jīng)由系統(tǒng)總線380，把識(shí)別出的面部的面部表情類別傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如評(píng)價(jià)在線教育的質(zhì)量等。

(在線教育評(píng)價(jià)系統(tǒng))

如上所述，可以把從圖17中所示的面部表情識(shí)別系統(tǒng)1700輸出的識(shí)別結(jié)果(即，識(shí)別出的面部的面部表情類別)用于評(píng)價(jià)在線教育的質(zhì)量。因此，作為上述面部表情識(shí)別的示例性應(yīng)用，接下來(lái)將參照?qǐng)D19，來(lái)描述在線教育評(píng)價(jià)系統(tǒng)的整體配置。圖19是示出根據(jù)第二實(shí)施例的、應(yīng)用面部表情識(shí)別的在線教育評(píng)價(jià)系統(tǒng)1900的整體配置的框圖。

如圖19所示，根據(jù)本發(fā)明的在線教育評(píng)價(jià)系統(tǒng)1900包括圖像獲取設(shè)備1910、上述的面部表情識(shí)別系統(tǒng)1700，以及監(jiān)視設(shè)備1920。

在一個(gè)在線教育課堂中，圖像獲取設(shè)備1910能夠?qū)崟r(shí)地跟蹤并捕獲每個(gè)學(xué)生的面部圖像。如上面在圖3中所述，圖像獲取設(shè)備1910例如能夠經(jīng)由網(wǎng)絡(luò)，與面部表情識(shí)別系統(tǒng)1700連接。并且，圖像獲取設(shè)備1910可以是任何種類的電子設(shè)備，只要能夠跟蹤并捕獲圖像即可，諸如可以是網(wǎng)絡(luò)攝像頭、數(shù)字照相機(jī)、電視攝像機(jī)、視頻攝像機(jī)、移動(dòng)電話、個(gè)人數(shù)據(jù)助理(PDA)、筆記本電腦，或者其他適合的電子設(shè)備。

并且，可以把由圖像獲取設(shè)備1910捕獲的每個(gè)學(xué)生的面部圖像，發(fā)送到面部表情識(shí)別系統(tǒng)1700的輸入設(shè)備350。面部表情識(shí)別系統(tǒng)1700將根據(jù)上面參照?qǐng)D17至圖18的描述，識(shí)別每個(gè)獲取到的面部圖像中的面部的面部表情類別。

而后，面部表情識(shí)別系統(tǒng)1700的輸出設(shè)備360將把面部表情識(shí)別結(jié)果輸出到監(jiān)視設(shè)備1920。如上面在圖3中所述，監(jiān)視設(shè)備1920例如也能夠經(jīng)由網(wǎng)絡(luò)，與面部表情識(shí)別系統(tǒng)1700連接。并且，監(jiān)視設(shè)備1920可以是任何種類的電子設(shè)備，只要能夠向用戶顯示面部表情識(shí)別結(jié)果即可，諸如可以是液晶顯示器。

在整個(gè)課堂中，如果識(shí)別出的關(guān)于大多數(shù)學(xué)生的面部表情類別是微笑表情，則可能意味著，大多數(shù)學(xué)生喜愛(ài)該在線課程。因此，在線教育評(píng)價(jià)系統(tǒng)1900能夠通過(guò)利用學(xué)生的面部表情，來(lái)評(píng)價(jià)和提高在線教育的質(zhì)量。

(面部識(shí)別系統(tǒng)的配置)

如在第一實(shí)施例中所述，從圖4中所示的圖像處理裝置400輸出的處理結(jié)果(即，整個(gè)面部的鏈接特征)能夠用于識(shí)別面部。接下來(lái)，在第三實(shí)施例中，將參照?qǐng)D20，來(lái)描述用于上面參照?qǐng)D3所述的圖像處理裝置的圖像處理(即，面部識(shí)別)的配置。也可以被視為圖像處理裝置的本實(shí)施例的面部識(shí)別系統(tǒng)具有與圖3中所述相同的硬件配置。

圖20是例示根據(jù)本發(fā)明的第三實(shí)施例的圖像處理裝置(即，面部識(shí)別系統(tǒng)2000)的結(jié)構(gòu)的框圖。

圖20中所示的模塊被實(shí)現(xiàn)為上面參照?qǐng)D3所述的圖像處理裝置的CPU 310，并且用于執(zhí)行被加載到RAM 320的程序，以及用于與圖3中所示的各硬件協(xié)作。可以由專用硬件來(lái)實(shí)現(xiàn)部分或全部的模塊。

如圖20所示，根據(jù)本發(fā)明的第三實(shí)施例的面部識(shí)別系統(tǒng)2000包括：上述的圖像處理裝置400、面部識(shí)別單元2010，以及預(yù)生成的面部模型2020。

針對(duì)包含面部的輸入圖像，首先，圖像處理裝置400將根據(jù)上面參照?qǐng)D4至圖16的描述，來(lái)獲得整個(gè)面部的鏈接特征。

而后，面部識(shí)別單元2010將基于獲得的整個(gè)面部的鏈接特征以及預(yù)生成的面部模型2020，識(shí)別輸入圖像中的面部，其中一個(gè)面部對(duì)應(yīng)于一個(gè)預(yù)生成的面部模型，預(yù)生成的面部模型2020可以由制造商預(yù)先基于關(guān)于不同人的多個(gè)圖像樣本而生成或訓(xùn)練，并且可以被存儲(chǔ)在圖3中所示的ROM 330或硬盤340中。作為示例，預(yù)生成的面部模型2020也可以基于SVM算法而生成，其中用于生成面部模型的特征可以是根據(jù)本發(fā)明而獲得的特征。

最后，面部識(shí)別單元2010將經(jīng)由系統(tǒng)總線380，把識(shí)別出的面部傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如基于識(shí)別出的面部將捕獲圖像存儲(chǔ)在數(shù)字照相機(jī)中，等等。

此外，面部識(shí)別單元2010也可以通過(guò)各種方式來(lái)實(shí)現(xiàn)識(shí)別，諸如通過(guò)第二實(shí)施例中描述的“一對(duì)所有”方式及“一對(duì)一”方式。

如在第一實(shí)施例中所述，能夠減少在圖像處理裝置400中使用的特征的維數(shù)，并且圖像處理裝置400能夠保持圖像處理精度(即，能夠保持將用于面部識(shí)別的特征的精度)，因此，也能夠減少在面部識(shí)別系統(tǒng)2000中使用的特征的維數(shù)，并且也能夠保持面部識(shí)別的精度。

(總體處理)

下面，將參照?qǐng)D21，來(lái)描述由第三實(shí)施例的配置執(zhí)行的總體處理。圖21是示意性地示出根據(jù)第三實(shí)施例的總體處理的過(guò)程的流程圖2100。

首先，在圖像處理步驟S2110中，針對(duì)包含面部的輸入圖像，圖像處理裝置400將根據(jù)上面參照?qǐng)D4至圖16的描述，來(lái)獲得整個(gè)面部的鏈接特征。

而后，在面部識(shí)別步驟S2120中，面部識(shí)別單元2010將基于獲得的整個(gè)面部的鏈接特征以及預(yù)生成的面部模型2020，識(shí)別輸入圖像中的面部，諸如人A的面部或人B的面部或者其他人的面部。

最后，面部識(shí)別單元2010將經(jīng)由系統(tǒng)總線380，把識(shí)別出的面部傳送到圖3中所示的輸出設(shè)備360，以用于向用戶顯示處理結(jié)果，或者用于下文所述的后續(xù)操作，諸如基于識(shí)別出的面部將捕獲圖像存儲(chǔ)在數(shù)字照相機(jī)中，等等。

以由數(shù)字照相機(jī)捕獲的、并且包含人A的面部的圖像為例，其中在所述數(shù)字照相機(jī)中應(yīng)用了參照?qǐng)D20所述的面部識(shí)別系統(tǒng)2000，在面部識(shí)別系統(tǒng)2000識(shí)別出該捕獲圖像中的面部是人A的面部之后，該數(shù)字照相機(jī)能夠?qū)⒃摬东@圖像，存儲(chǔ)到專門用來(lái)存儲(chǔ)人A的圖像的文件夾中。此外，面部識(shí)別系統(tǒng)2000可以由數(shù)字照相機(jī)中的硬件和/或軟件來(lái)實(shí)現(xiàn)。在一種實(shí)施方式中，可以向數(shù)字照相機(jī)中并入能夠?qū)嵤┟娌孔R(shí)別的模塊或裝置，因而，數(shù)字照相機(jī)將具有相應(yīng)的面部識(shí)別功能。在另一實(shí)現(xiàn)方式中，可以在數(shù)字照相機(jī)的存儲(chǔ)設(shè)備中，存儲(chǔ)能夠?qū)嵤┟娌孔R(shí)別的軟件程序，因而，數(shù)字照相機(jī)也將具有相應(yīng)的面部識(shí)別功能。

上述所有的單元均是用于實(shí)現(xiàn)本公開(kāi)中描述的處理的示例性和/或優(yōu)選的模塊。這些單元可以是硬件單元(諸如現(xiàn)場(chǎng)可編程門陣列(FPGA)、數(shù)字信號(hào)處理器、專用集成電路等)和/或軟件模塊(諸如計(jì)算機(jī)可讀程序)。上面未詳盡地描述用于實(shí)現(xiàn)各種步驟的單元。然而，在存在進(jìn)行某一處理的步驟的情況下，可以存在用于實(shí)現(xiàn)相同處理的相應(yīng)模塊或單元(由硬件和/或軟件實(shí)現(xiàn))。在本申請(qǐng)的公開(kāi)中，包括基于描述的步驟以及與這些步驟相對(duì)應(yīng)的單元的全部組合的技術(shù)方案，只要所構(gòu)成的這些技術(shù)方案是完整的且適用的即可。

此外，如果部分地或全部地通過(guò)軟件，來(lái)構(gòu)造由各種單元構(gòu)成的、圖4中所示的圖像處理裝置400或者圖17中所示的面部表情識(shí)別系統(tǒng)1700或者面部識(shí)別系統(tǒng)2000，則所述軟件可以被存儲(chǔ)在圖3中所示的硬盤340中。在另一方面，如果部分地或全部地通過(guò)硬件或固件，來(lái)構(gòu)造圖4中所示的圖像處理裝置400或者圖17中所示的面部表情識(shí)別系統(tǒng)1700或者面部識(shí)別系統(tǒng)2000，則只要有在諸如數(shù)字照相機(jī)等的電子設(shè)備中處理圖像的需求，所述硬件或固件也可以作為模塊被并入到所述電子設(shè)備中。

可以通過(guò)多種方式來(lái)實(shí)施本發(fā)明的方法及裝置。例如，可以通過(guò)軟件、硬件、固件或這三者的任意組合，來(lái)實(shí)施本發(fā)明的方法及裝置。上面描述的方法的步驟的順序僅旨在說(shuō)明性的，并且，本發(fā)明的方法的步驟并不局限于上面具體描述的順序，除非另外特別說(shuō)明。此外，在一些實(shí)施方式中，本發(fā)明還可以體現(xiàn)為記錄在記錄介質(zhì)中的程序，包括用于實(shí)施根據(jù)本發(fā)明的方法的機(jī)器可讀指令。因此，本發(fā)明還涵蓋存儲(chǔ)有用于實(shí)現(xiàn)根據(jù)本發(fā)明的方法的程序的記錄介質(zhì)。

雖然利用示例詳細(xì)說(shuō)明了本發(fā)明的一些具體實(shí)施例，但是，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，上述的示例僅旨在說(shuō)明性的，而不是限制本發(fā)明的范圍。本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，可以在不偏離本發(fā)明的范圍和精神的情況下，對(duì)上述實(shí)施例進(jìn)行修改。本發(fā)明的范圍是由所附的權(quán)利要求來(lái)定義的。