專利名稱：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種執(zhí)行圖像數(shù)據(jù)中的對(duì)象的識(shí)別處理的圖像 處理設(shè)備和圖像處理方法。
背景技術(shù)：
已知這樣的技術(shù)從圖像檢測是否存在人臉，并通過檢測 此人的臉部特征，來識(shí)別此人的臉部表情。例如，已知這樣的方法(例如，參見專利文獻(xiàn)l):從圖像 中提取與易于顯現(xiàn)人的臉部表情的預(yù)定區(qū)域相對(duì)應(yīng)的部分，計(jì) 算所提取的部分的小波變換，以計(jì)算各頻帶的平均能量，并且 基于與從無表情的臉部所獲得的平均能量的差異，來檢測臉部 表情。另外，已知這樣的方法(例如，參見專利文獻(xiàn)2):基于 預(yù)先準(zhǔn)備的無表情臉部和待識(shí)別臉部的特征量之間的差異，來 檢測識(shí)別臉部表情所需的預(yù)定特征的變化，并根據(jù)預(yù)定特征的 變化來計(jì)算各種臉部表情的分值，以識(shí)別臉部表情。然而，當(dāng)利用上述技術(shù)時(shí)，由于諸如陰影、附屬物等的影 響，常常不能準(zhǔn)確地;險(xiǎn)測識(shí)別處理中使用的特征。因此，作為即使當(dāng)這些影響發(fā)生時(shí)也能實(shí)現(xiàn)識(shí)別處理的技 術(shù)，已經(jīng)提出了下列技術(shù)。下面的專利文獻(xiàn)3的技術(shù)公開了以下方法。即，將整個(gè)的所 輸入的臉部圖像劃分成多個(gè)塊，計(jì)算從這些塊所獲得的特征向 量與從預(yù)先準(zhǔn)備的所登記的圖像組所獲得的相應(yīng)塊的平均特征 向量之間的距離，并針對(duì)各個(gè)塊對(duì)特征向量進(jìn)行加權(quán)。此后， 基于加權(quán)后的特征向量來計(jì)算^人證分值，從而執(zhí)行認(rèn)證處理。 另外，下面的專利文獻(xiàn)4的技術(shù)公開了這樣的方法在臉部部分檢測技術(shù)中，通過對(duì)去除了諸如眼鏡的具有閃亮反射表面的對(duì) 象的反射圖像的圖像進(jìn)行處理，來以高精度檢測臉部部分。[專利文獻(xiàn)l]日本專利2840816 [專利文獻(xiàn)2]曰本凈爭開2005 —56388專利文獻(xiàn)3]曰本凈爭開2003—323622 [專利文獻(xiàn)4]曰本特開2002-352229 [專利文獻(xiàn)5]曰本特開2000-30065[非專利文南大l] Edgar Osuna, Robert Freund， Federico Girosi "Training Support Vector Machines: an Application to Face Detection" Proceedings of CVPR'97, pp. 130 - 136, 1997[非專利文獻(xiàn)2J Yann LeCun and Yoshua Bengio "Convolutional Networks for Images, Speech, and Time Series" The Handbook of Brain Theory and Neural Networks, pp. 255 -258， 1995[非專利文獻(xiàn)3] Watanabe， S. and Pakvasa, N. (1973). Subspace method of pattern recognition, Proceedings of 1st International Joint Conference of Pattern Recognition, pp. 25 - 32可以通過諸如眉毛、眼睛、嘴部、臉頰等的部分的運(yùn)動(dòng)的 組合，來表示人的臉部表情。在識(shí)別臉部表情時(shí)，只設(shè)置易于 顯現(xiàn)表情運(yùn)動(dòng)的區(qū)域，并且在所設(shè)置的這些區(qū)域中進(jìn)行分析， 而不是僅將臉部區(qū)域劃分成幾個(gè)區(qū)域并在所有區(qū)域中執(zhí)行分 析，從而導(dǎo)致處理成本的降低。依賴于臉部表情，各區(qū)域具有不同的重要等級(jí)(例如，當(dāng) 微笑時(shí)，嘴部周圍的區(qū)域容易變化較大，而眼睛周圍的區(qū)域不 會(huì)變化如此大)。因此，期望根據(jù)待識(shí)別的臉部表情，對(duì)易于顯 現(xiàn)表情運(yùn)動(dòng)的、構(gòu)成臉部的諸如眼睛、嘴部等的各部分，或者 對(duì)在將臉部區(qū)域劃分成多個(gè)區(qū)域時(shí)的各區(qū)域進(jìn)行加權(quán)。在對(duì)人進(jìn)行認(rèn)證時(shí)，將臉部劃分成多個(gè)區(qū)域，只設(shè)置對(duì)個(gè) 人認(rèn)證重要的區(qū)域，并且只有所設(shè)置的區(qū)域需要進(jìn)行分析。在 這種情況下，從所設(shè)置的這些區(qū)域所獲得的特征具有不同的重 要等級(jí)。例如，相比于作為對(duì)人進(jìn)行認(rèn)證所需的特征的、從靠 近眼睛和嘴部的區(qū)域中提取出的特征，從不包括器官的諸如臉 頰的區(qū)域中提取出的特征通常具有較低的重要等級(jí)。作為如上所述的設(shè)置識(shí)別臉部表情所需的區(qū)域的方法，例 如，可以使用通過某方法提取眼睛和嘴部的位置，并使用這些 位置來設(shè)置區(qū)域的方法。然而，當(dāng)由于被諸如太陽鏡、胡須、陰影等物體遮擋而不 能檢測到眼睛和嘴部的位置時(shí)，也不能設(shè)置易于顯現(xiàn)表情運(yùn)動(dòng) 的區(qū)域。在這種情況下，不能檢測到所有預(yù)定特征，因此不能 識(shí)別臉部表情。即使當(dāng)應(yīng)用某種圖像校正時(shí)，也不能很好地消 除太陽鏡、胡須、陰影等的影響。另一方面，同樣，在個(gè)人認(rèn)證的情況下，由于太陽鏡、胡 須、陰影等的影響，不能設(shè)置進(jìn)行個(gè)人認(rèn)證所需的預(yù)定區(qū)域， 并且不能提取預(yù)定特征。因此，在這種情況下通常不能對(duì)人進(jìn) 行認(rèn)證。發(fā)明內(nèi)容考慮到上述問題，提出了本發(fā)明，本發(fā)明的目的是即使當(dāng) 在執(zhí)行諸如人的臉部表情識(shí)別、個(gè)人認(rèn)證等的識(shí)別處理時(shí)有未 提取到的特征時(shí)，也能夠執(zhí)行高精度的識(shí)別處理。為了解決上述問題并實(shí)現(xiàn)該目的，根據(jù)本發(fā)明的第一方面，一種圖像處理設(shè)備，包括特征提取單元，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多 個(gè)預(yù)定的特征；權(quán)重設(shè)置單元，用于當(dāng)存在未被所述特征提取單元提取到的特征時(shí)，為由所述特征提取單元所提取的特征設(shè)置權(quán)重；以及識(shí)別處理單元，用于基于由所述權(quán)重設(shè)置單元進(jìn)行加權(quán)后 的特征，執(zhí)行所述對(duì)象的識(shí)別處理。為了解決上述問題并實(shí)現(xiàn)該目的，根據(jù)本發(fā)明的第二方面，一種圖像處理設(shè)備，包括特征提取單元，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多 個(gè)預(yù)定的特征；限制單元，用于當(dāng)存在未被所述特征提取單元提取到的特 征時(shí)，基于未提取到的特征，限制識(shí)別處理的范圍；以及識(shí)別處理單元，用于基于由所述限制單元限制后的所述范 圍，執(zhí)行所述對(duì)象的識(shí)別處理。為了解決上述問題并實(shí)現(xiàn)該目的，根據(jù)本發(fā)明的第三方面， 一種圖像處理設(shè)備，包括特征提取單元，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多 個(gè)預(yù)定的特征；補(bǔ)充單元，用于當(dāng)在多個(gè)特征中存在未被所述特征提取單 元提取到的特征時(shí)，基于由所述特征提取單元所提取的特征的 信息，補(bǔ)充未提取到的特征；以及識(shí)別處理單元，用于基于由所述補(bǔ)充單元所補(bǔ)充的未提取 到的特征以及由所述特征提取單元所提取的特征，執(zhí)行所述對(duì) 象的識(shí)別處理。為了解決上述問題并實(shí)現(xiàn)該目的，根據(jù)本發(fā)明的第四方面， 一種圖像處理方法，包括特征提取步驟，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多個(gè)預(yù)定的特征；權(quán)重設(shè)置步驟，用于當(dāng)存在未在所述特征提取步驟中提取 至lj的特征時(shí)，為在所述特征提取步驟中所提取的特征設(shè)置權(quán)重； 以及識(shí)別處理步驟，用于基于在所述權(quán)重設(shè)置步驟中進(jìn)行加權(quán) 后的特征，執(zhí)行所述對(duì)象的識(shí)別處理。為了解決上述問題并實(shí)現(xiàn)該目的，根據(jù)本發(fā)明的第五方面，一種圖像處理方法，包括特征提取步驟，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多 個(gè)預(yù)定的特征；限制步驟，用于當(dāng)存在未在所述特征提取步驟中提取到的 特征時(shí)，基于未提取到的特征，限制識(shí)別處理的范圍；以及識(shí)別處理步驟，用于基于在所述限制步驟中限制后的范圍， 執(zhí)行所述對(duì)象的識(shí)別處理。為了解決上述問題并實(shí)現(xiàn)該目的，根據(jù)本發(fā)明的第六方面， 一種圖像處理方法，包括特征提取步驟，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多 個(gè)預(yù)定的特征；補(bǔ)充步驟，用于當(dāng)在多個(gè)特征中存在未在所述特征提取步 驟中提取到的特征時(shí)，基于在所述特征提取步驟中所提取的特 征的信息，補(bǔ)充未提取到的特征；以及識(shí)別處理步驟，用于基于在所述補(bǔ)充步驟中所補(bǔ)充的未提 取到的特征以及在所述特征提取步驟中所提取的特征，執(zhí)行所 述對(duì)象的識(shí)別處理。通過下面參考附圖對(duì)示例性實(shí)施例的說明，本發(fā)明的其他 特征將變得顯而易見。


圖l是示出根據(jù)第一實(shí)施例的攝像裝置(圖像處理設(shè)備)的布置的示意性框圖；圖2是示出根據(jù)第一實(shí)施例的攝像裝置(圖像處理設(shè)備)的控制操作的流程圖；圖3是示出與由根據(jù)第 一 實(shí)施例的數(shù)字信號(hào)處理器所執(zhí)行的臉部表情識(shí)別處理相關(guān)聯(lián)的功能布置的框圖；圖4是示出作為眼睛/嘴部/臉部測單元的臉部檢測處理的結(jié)果所獲得的眼睛、嘴部和臉部位置的圖；圖5是用于說明圖像標(biāo)準(zhǔn)化單元的標(biāo)準(zhǔn)化處理的圖；圖6是示出由特征點(diǎn)檢測單元所檢測到的預(yù)定特征點(diǎn)的圖；圖7是示出由特征點(diǎn)檢測區(qū)域設(shè)置單元所執(zhí)行的、圖6中所示的與眉毛相關(guān)聯(lián)的特征點(diǎn)的檢測區(qū)域設(shè)置處理的圖；圖8是示出由特征點(diǎn)檢測區(qū)域設(shè)置單元所執(zhí)行的、圖6中所 示的與眉毛相關(guān)聯(lián)的特征點(diǎn)的檢測區(qū)域設(shè)置處理的圖；圖9是示出由特征點(diǎn)檢測區(qū)域設(shè)置單元所執(zhí)行的、圖6中所 示的與眼睛相關(guān)聯(lián)的特征點(diǎn)的檢測區(qū)域設(shè)置處理的圖；圖IO是示出由特征點(diǎn)檢測區(qū)域設(shè)置單元所執(zhí)行的、圖6中所 示的與眼睛相關(guān)聯(lián)的特征點(diǎn)的檢測區(qū)域設(shè)置處理的圖；圖ll是示出由特征點(diǎn)檢測區(qū)域設(shè)置單元所執(zhí)行的、圖6中所 示的與嘴部相關(guān)聯(lián)的特征點(diǎn)的檢測區(qū)域設(shè)置處理的圖；圖12是示出由特征點(diǎn)檢測區(qū)域設(shè)置單元所執(zhí)行的、圖6中所 示的與嘴部相關(guān)聯(lián)的特征點(diǎn)的檢測區(qū)域設(shè)置處理的圖；圖13是示出由特征量提取單元所提取的特征量的圖；圖14是示出在基于由特征量提取單元所提取的特征量來計(jì) 算變化時(shí)的處理的流程圖；圖15是示出權(quán)重設(shè)置單元基于特征量提取結(jié)果的權(quán)重設(shè)置 方法的流程圖；圖16A和圖16B是示出與各臉部表情編號(hào)相對(duì)應(yīng)的、所提取 的特征量的加權(quán)LUT(查找表格，Look Up Tables )的例子的圖；圖17是示出生成圖16A或16B所示的LUT ( LUT1 )的方法 的流程圖；圖18是示出從各特征點(diǎn)所提取的各特征量的重要等級(jí)(權(quán) 重)的例子的圖表；圖19是示出當(dāng)未提取到圖18所示的特征量中的特征量A 時(shí)，根據(jù)L U T1改變所提取的其他特征量B和C的權(quán)重的情況的 例子的圖表；圖20是示出與由根據(jù)第二實(shí)施例的數(shù)字信號(hào)處理器所執(zhí)行 的臉部表情識(shí)別處理相關(guān)聯(lián)的功能布置的框圖；圖21是示出由特征向量提取區(qū)域設(shè)置單元執(zhí)行來設(shè)置提取 特征向量的提取區(qū)域的處理的圖；圖2 2是示出在臉部表情限制單元執(zhí)行臉部表情限制處理時(shí) 所使用的LUT的例子的圖；圖23是示出由臉部表情限制單元所執(zhí)行的處理的流程圖；圖24是示出圖22所示的用于限制臉部表情的LUT ( LUT2) 的生成方法的流程圖；圖2 5是示出與由根據(jù)第三實(shí)施例的數(shù)字信號(hào)處理器所執(zhí)行 的臉部表情識(shí)別處理相關(guān)聯(lián)的功能布置的框圖；圖2 6是示出由特征點(diǎn)補(bǔ)充單元所執(zhí)行的未檢測到的特征點(diǎn) 的補(bǔ)充處理的流程圖；圖27是示出特征點(diǎn);險(xiǎn)測單元未才全測到 一 些特征點(diǎn)時(shí)的臉部 圖像數(shù)據(jù)的圖；圖28是示出補(bǔ)充圖27中所示的未檢測到的特征點(diǎn)的方法的圖；圖29是示出根據(jù)第四實(shí)施例的攝像裝置(圖像處理設(shè)備)的控制操作的流程圖；圖30是示出與由根據(jù)第四實(shí)施例的數(shù)字信號(hào)處理器所執(zhí)行的個(gè)人認(rèn)證處理相關(guān)聯(lián)的功能布置的框圖；圖31是示出由待認(rèn)證人限制單元所執(zhí)行的待認(rèn)證人限制處 理的流程圖；圖3 2是示出佩戴太陽鏡并且嘴部附近留有胡須的人的臉部 圖像數(shù)據(jù)的圖；圖33是示出登記在數(shù)據(jù)庫中的已登記的人以及與這些人相 對(duì)應(yīng)的關(guān)鍵詞的圖；圖34是示出將加權(quán)處理添加到由待認(rèn)證人限制單元所執(zhí)行 的待認(rèn)證人限制處理(圖31)的處理的流程圖；圖35是示出僅執(zhí)行所提取的特征向量的加權(quán)處理，而不執(zhí) 行圖34中所示的處理中的待認(rèn)證人限制處理的處理的流程圖； 以及圖36是示出提取區(qū)域1102被遮擋時(shí)的人的臉部圖像數(shù)據(jù)的圖。
具體實(shí)施方式
在下文中將參考附圖來詳細(xì)說明本發(fā)明的優(yōu)選實(shí)施例。注 意，將以攝像裝置的應(yīng)用例子作為根據(jù)本發(fā)明的圖像處理設(shè)備， 來給出下面的說明。第一實(shí)施例在下文中將參考附圖來詳細(xì)說明本發(fā)明的第 一 實(shí)施例。 圖1是示出根據(jù)第 一 實(shí)施例的攝像裝置(圖像處理設(shè)備)100的布置的示意性框圖。在本實(shí)施例中，數(shù)字靜止照相機(jī)用作攝像裝置100的例子。參考圖1,攝像鏡頭組101將被攝體的光學(xué)圖像引導(dǎo)到攝像裝置100中。光量調(diào)節(jié)單元102包括光圏結(jié)構(gòu)和快門結(jié)構(gòu)，并調(diào)節(jié)通過攝像鏡頭組101進(jìn)入的被攝體的光學(xué)圖像的光量。攝像元 件103將已經(jīng)穿過攝像鏡頭組101的被攝體的光學(xué)圖像(光束) 轉(zhuǎn)換成電信號(hào)，并包括例如CCD、 CMOS傳感器等。模擬信號(hào)處理器104對(duì)作為從攝像元件103輸出的電信號(hào)的 模擬信號(hào)應(yīng)用箝位處理、增益處理等。模數(shù)(在下文中筒寫為 "A/D")轉(zhuǎn)換器105將從模擬信號(hào)處理器104輸出的模擬信號(hào)轉(zhuǎn) 換成數(shù)字信號(hào)，并輸出該數(shù)字信號(hào)，作為圖像數(shù)據(jù)。數(shù)字信號(hào)處理器107對(duì)來自A/D轉(zhuǎn)換器105的或者來自存儲(chǔ) 器控制器106的圖像數(shù)據(jù)應(yīng)用預(yù)定的像素插值處理、顏色轉(zhuǎn)換處 理等。數(shù)字信號(hào)處理器107使用這些圖像數(shù)據(jù)來執(zhí)行預(yù)定運(yùn)算處 理，并且還基于所獲得的運(yùn)算結(jié)果，執(zhí)行TTL(通過鏡頭， through-the-lens ) AWB (自動(dòng)白平衡，auto white balance )處 理。另外，數(shù)字信號(hào)處理器107從圖像數(shù)據(jù)檢測特定對(duì)象，并在 系統(tǒng)控制器112 (稍后將說明)的控制下，對(duì)特定對(duì)象執(zhí)行臉部 表情識(shí)別處理。系統(tǒng)控制器112(稍后將說明)還執(zhí)行基于數(shù)字信號(hào)處理器 107的運(yùn)算結(jié)果對(duì)曝光控制器113和焦點(diǎn)控制器114執(zhí)行控制的 TTL AF (自動(dòng)調(diào)焦)處理、AE (自動(dòng)曝光)處理和EF (電子 閃光燈予貞發(fā)光，electronic flash pre-emission )處理。存儲(chǔ)器控制器106控制模擬信號(hào)處理器104 、 A/D轉(zhuǎn)換器 105、數(shù)字信號(hào)處理器107、存儲(chǔ)器108、數(shù)模(在下文中簡寫為 "D/A")轉(zhuǎn)換器109和接口 (I/F) 111。利用該控制，經(jīng)由數(shù)字 信號(hào)處理器107和存儲(chǔ)器控制器06，或者直接經(jīng)由存儲(chǔ)器控制 器106，將由A/D轉(zhuǎn)換器105 A/D轉(zhuǎn)換后的圖像數(shù)據(jù)寫(存儲(chǔ)) 在存儲(chǔ)器108中。存儲(chǔ)器108包括例如RAM,并存儲(chǔ)諸如要在顯示單元110上顯示的圖像數(shù)據(jù)等的各種數(shù)據(jù)。將存儲(chǔ)在該存儲(chǔ)器1 08中的圖像數(shù)據(jù)等經(jīng)由D/A轉(zhuǎn)換器109顯示在包括TFT、 LCD等的顯示單元 110上。存儲(chǔ)器108可以存儲(chǔ)與所拍攝的靜止圖像相關(guān)聯(lián)的圖像 數(shù)據(jù)以及與運(yùn)動(dòng)圖像相關(guān)聯(lián)的圖像數(shù)據(jù)，并具有足夠大的存儲(chǔ) 容量，以存儲(chǔ)與預(yù)定數(shù)量的靜止圖像相關(guān)聯(lián)的圖像數(shù)據(jù)以及與 預(yù)定時(shí)間段的運(yùn)動(dòng)圖像相關(guān)聯(lián)的圖像數(shù)據(jù)。因此，即使在用于連續(xù)拍攝多個(gè)靜止圖像的連續(xù)攝像和全 景攝像的情況下，也可以將圖像數(shù)據(jù)高速大量寫入存儲(chǔ)器10 8 中。另外，存儲(chǔ)器108可以用作系統(tǒng)控制器112的工作區(qū)。注意， 可以通過接口 (I/F) lll將與所拍攝的靜止圖像和運(yùn)動(dòng)圖像相 關(guān)聯(lián)的圖像數(shù)據(jù)寫入諸如CD-ROM、軟盤、石更盤、磁帶、磁光 盤、非易失性存儲(chǔ)卡等的存儲(chǔ)介質(zhì)中。顯示單元110顯示由攝像元件103所拍攝的圖像數(shù)據(jù)。在這 種情況下，當(dāng)在顯示單元110上依次顯示圖像數(shù)據(jù)時(shí)，顯示單元 110可以用作所謂的電子取景器。另外，在系統(tǒng)控制器112的控 制下，顯示單元110可以任意地打開/關(guān)閉它的顯示。當(dāng)顯示單 元110的顯示關(guān)閉時(shí)，相比于顯示打開的情況，可以顯著降低攝 像裝置IOO的功率消耗。顯示單元1 IO根據(jù)系統(tǒng)控制器112的程序 執(zhí)行，使用文本、圖像等，來顯示操作狀態(tài)、消息等。接口 (I/F) 111控制例如攝像裝置100和諸如存儲(chǔ)卡、硬盤 等的存儲(chǔ)介質(zhì)之間的連接。該接口 (I/F) lll可以用于與其他 計(jì)算機(jī)、諸如打印機(jī)的外圍裝置等交換圖像數(shù)據(jù)以及附加到圖 像數(shù)據(jù)的管理信息。當(dāng)該接口 ( I/F) lll被配置為符合PCMCIA 卡、CF ( CompactFlash )卡等的標(biāo)準(zhǔn)時(shí)，可以連接各種通信 卡。作為各種通信卡，可以使用諸如LAN卡、調(diào)制解調(diào)卡、USB 卡、1EEE1394卡、P1284卡、SCSI卡、PHS等的通信卡。系統(tǒng)控制器112系統(tǒng)地控制攝像裝置IOO的整體操作。系統(tǒng)控制器112在它的內(nèi)部存儲(chǔ)器中存儲(chǔ)它自身的操作程序，以及識(shí) 別特定對(duì)象的臉部和臉部表情所需的常量、變量、程序等。注'意，可以使用諸如CD-ROM、軟盤、硬盤、》茲帶、磁光盤、非 易失性存儲(chǔ)卡等的存儲(chǔ)介質(zhì)，來改變存儲(chǔ)在系統(tǒng)控制器112的內(nèi) 部存儲(chǔ)器中的這些常量、變量、程序等。系統(tǒng)控制器112的操作 程序以及識(shí)別特定對(duì)象的臉部和臉部表情所需的數(shù)據(jù)和程序可 以在執(zhí)行時(shí)從存儲(chǔ)介質(zhì)載入，而無需存儲(chǔ)在系統(tǒng)控制器112的內(nèi) 部存儲(chǔ)器中。曝光控制器113控制光量調(diào)節(jié)單元10 2的光圏結(jié)構(gòu)和快門結(jié) 構(gòu)。焦點(diǎn)控制器114控制攝像鏡頭組101的調(diào)焦和變焦。使用例 如TTL系統(tǒng)來控制曝光控制器113和焦點(diǎn)控制器114,并且系統(tǒng) 控制器112基于數(shù)字信號(hào)處理器107的圖像數(shù)據(jù)運(yùn)算結(jié)果，來控 制曝光控制器113和焦點(diǎn)控制器114 。下面將說明根據(jù)本實(shí)施例的攝像裝置10 0的控制操作。 圖2是示出根據(jù)第 一 實(shí)施例的攝像裝置(圖像處理設(shè)備)100 的控制操作的流程圖。注意，實(shí)現(xiàn)圖2中所示的處理所需的程序 存儲(chǔ)在系統(tǒng)控制器112的內(nèi)部存儲(chǔ)器中，并在系統(tǒng)控制器112的 控制下執(zhí)行。當(dāng)例如攝像裝置100接通電源時(shí)，開始圖2所示的 處理。在步驟S200中，系統(tǒng)控制器112通過初始化存儲(chǔ)在它的內(nèi) 部存儲(chǔ)器中的各種標(biāo)記、控制變量等，進(jìn)行初始化設(shè)置。在步驟S201中，系統(tǒng)控制器112檢測攝像裝置100的模式設(shè) 置狀態(tài)，以判斷所檢測到的設(shè)置模式。作為判斷結(jié)果，如果設(shè) 置模式是自動(dòng)攝像模式，則處理進(jìn)入步驟S203。另一方面，作 為步驟S201中的判斷結(jié)果，如果設(shè)置模式不是自動(dòng)攝像模式， 則在步驟S202中，系統(tǒng)控制器112執(zhí)行根據(jù)所選擇的設(shè)置模式 的處理，并且在完成該處理之后，處理返回步驟S201。在步驟S203中，系統(tǒng)控制器112判斷攝像裝置100的電源的剩余電量和運(yùn)行狀態(tài)是否會(huì)引起問題。作為判斷結(jié)果，如果電源會(huì)引起問題，則在步驟S204中，系統(tǒng)控制器112使用顯示單 元IIO生成預(yù)定的可一見或可聽的警告，然后，處理返回步-驟 S201。另一方面，作為步驟S203中的判斷結(jié)果，如果電源不會(huì)引 起任何問題，則在步驟S205中，系統(tǒng)控制器112判斷存儲(chǔ)介質(zhì) 是否會(huì)在攝像裝置100的操作(特別是關(guān)于存儲(chǔ)介質(zhì)的圖像數(shù)據(jù) 的記錄和再生)中引起問題。作為判斷結(jié)果，如果存儲(chǔ)介質(zhì)會(huì) 引起問題，則在步驟S204中，系統(tǒng)控制器112使用顯示單元110 生成預(yù)定的可視或可聽的警告，然后，處理返回步驟S201。另一方面，作為步驟S205中的判斷結(jié)果，如果存儲(chǔ)介質(zhì)不 會(huì)引起任何問題，則處理進(jìn)入步驟S206。在步驟S206中，系統(tǒng) 控制器112使用顯示單元110利用圖像、音頻等來顯示用戶界面 (在下文中簡寫為"UI"),該用戶界面允許用戶對(duì)攝像裝置IOO 進(jìn)行各種設(shè)置。以這種方式，用戶進(jìn)行各種設(shè)置。在步驟S207中，系統(tǒng)控制器112將顯示單元110上的拍攝圖 像顯示設(shè)置為打開狀態(tài)。在步驟S208中，系統(tǒng)控制器112設(shè)置直通顯示(through display)狀態(tài)，以基于所拍攝的圖像數(shù)據(jù)依次顯示所拍攝的圖 像。在該直通顯示狀態(tài)下，由于依次寫入存儲(chǔ)器108中的圖像數(shù) 據(jù)依次顯示在顯示單元110上，所以實(shí)現(xiàn)了電子取景器的功能。然后，在步驟S209中，系統(tǒng)控制器112判斷諸如攝影者等 的用戶是否按下攝像裝置100的快門開關(guān)(未示出)從而接通快 門開關(guān)。作為用戶沒有接通快門開關(guān)的判斷結(jié)果，處理返回步 驟S201。另一方面，作為步驟S209中的判斷結(jié)果，如果用戶接通了快門開關(guān)，則在步驟S210中，系統(tǒng)控制器112使曝光控制器113和焦點(diǎn)控制器114執(zhí)行預(yù)定的AE控制和AF控制，然后，執(zhí)行攝 像操作。注意，可以在接通快門開關(guān)之后以預(yù)定的時(shí)間間隔執(zhí) 行AE控制和AF控制，或者可以根據(jù)在步驟S212 (稍后將說明) 中的臉部表情識(shí)別處理中所執(zhí)行的臉部檢測處理的結(jié)果，再次 執(zhí)行AE控制和AF控制。在步驟S211中，系統(tǒng)控制器112在顯示單元110上直通顯示 作為步驟S210中的攝像操作的結(jié)果所獲得的圖像數(shù)據(jù)。在步驟S212中，系統(tǒng)控制器112控制數(shù)字信號(hào)處理器107, 以使用所拍攝的圖像數(shù)據(jù)來執(zhí)行臉部表情識(shí)別處理。下面將說明步驟S212中的人(對(duì)象)的臉部表情識(shí)別處理 的方法。圖3是示出與由數(shù)字信號(hào)處理器107所執(zhí)行的臉部表情識(shí)別 處理相關(guān)聯(lián)的功能布置的框圖。圖3中所示的眼睛/嘴部/臉部檢測單元150對(duì)從A/D轉(zhuǎn)換器 105輸出的圖像數(shù)據(jù)(數(shù)字信號(hào))應(yīng)用預(yù)定處理，以基于該圖像 數(shù)據(jù)，檢測圖像中的特定對(duì)象的臉部位置、眼睛位置和嘴部位 置。圖像標(biāo)準(zhǔn)化單元151基于由眼睛/嘴部/臉部檢測單元150所 檢測到的眼睛位置、嘴部位置和臉部位置的信息，對(duì)圖像數(shù)據(jù) 中的臉部圖像數(shù)據(jù)中的臉部圖像大小和旋轉(zhuǎn)方向(方位)執(zhí)行 標(biāo)準(zhǔn)化處理。特征點(diǎn)檢測區(qū)域設(shè)置單元152使用由圖像標(biāo)準(zhǔn)化單元151進(jìn) 行標(biāo)準(zhǔn)化后的臉部圖像數(shù)據(jù)以及由眼睛/嘴部/臉部檢測單元 150所檢測到的臉部、眼睛和嘴部位置的信息，來設(shè)置要檢測預(yù) 定特征點(diǎn)的區(qū)域。特征點(diǎn)檢測單元153從由圖像標(biāo)準(zhǔn)化單元151進(jìn)行標(biāo)準(zhǔn)化后的臉部圖像數(shù)據(jù)以及由特征點(diǎn)檢測區(qū)域設(shè)置單元1 52所設(shè)置的各設(shè)置區(qū)域檢測預(yù)定特征點(diǎn)。特征量提取單元15 4基于由特征點(diǎn) 檢測單元153所檢測到的預(yù)定特征點(diǎn)，提取在臉部表情識(shí)別中所 使用的預(yù)定特征量。注意，特征點(diǎn)檢測單元153和特征量提取單 元154構(gòu)成用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多個(gè)特征的 特征提取單元。當(dāng)不能提取到一些特征量時(shí)，權(quán)重設(shè)置單元155基于特征量 提取單元15 4的特征量提取結(jié)果，改變預(yù)定特征量的權(quán)重。臉部表情判斷單元156使用由特征量提取單元154所提取的 預(yù)定特征量以及由權(quán)重設(shè)置單元155所設(shè)置的權(quán)重，來判斷臉部 表情。注意，臉部表情判斷單元156構(gòu)成用于執(zhí)行所輸入的圖像 數(shù)據(jù)中的對(duì)象的識(shí)別處理的識(shí)別處理單元。下面將詳細(xì)說明圖3中所示的單元。眼睛/嘴部/臉部檢測單元150對(duì)從A/D轉(zhuǎn)換器105輸出的圖 像數(shù)據(jù)(數(shù)字信號(hào))應(yīng)用臉部檢測處理。圖4是示出作為由眼睛/嘴部/臉部檢測單元150所執(zhí)行的臉 部檢測處理的結(jié)果所獲得的人的眼睛、嘴部和臉部位置的圖。 注意，通過下列方法實(shí)現(xiàn)由眼睛/嘴部/臉部檢測單元15 0所執(zhí)行 的臉部位置的4全測處理。例如，如在以上非專利文獻(xiàn)l中所述， 預(yù)先準(zhǔn)備并利用支持向量機(jī)(Support Vector Machine )學(xué)習(xí)大 量的臉部圖像數(shù)據(jù)和非臉部圖像數(shù)據(jù)，并分開檢測臉部區(qū)域和 非臉部區(qū)域。作為結(jié)果，檢測到圖4中所示的臉部位置302。通過與臉部位置的檢測處理相同的方法，來實(shí)現(xiàn)眼睛和嘴 部位置的檢測處理。即，預(yù)先準(zhǔn)備并利用支持向量機(jī)學(xué)習(xí)大量 的眼睛和嘴部圖像數(shù)據(jù)以及非眼睛和非嘴部的圖像數(shù)據(jù)，以搜 索圖4中所示的所檢測到的臉部位置3 0 2的周圍部分。作為結(jié)果， 檢測到圖4中所示的眼睛位置300和301以及嘴部位置303 。作為另 一種方法，可以使用用于在所檢測到的臉部位置302的周圍檢測眼睛和嘴部位置的才莫板，來檢測圖4中所示的眼睛位置3 0 0和 301以及嘴部位置303。注意，眼睛位置300和301、嘴部位置303 和臉部位置302的一全測方法并不限于這些方法，可以〗吏用其他方 法檢測這些位置。如在非專利文獻(xiàn)2中所述，可以將巻積神經(jīng)網(wǎng) 絡(luò)(Convolutional Neural Network )應(yīng)用于臉部檢觀'J 。圖像標(biāo)準(zhǔn)化單元151使用由眼睛/嘴部/臉部才企測單元150所 檢測到的圖4中所示的臉部位置302以及眼睛位置300和301三點(diǎn) 的位置信息，對(duì)眼睛/嘴部/臉部檢測單元150所使用的臉部圖像 數(shù)據(jù)執(zhí)行大小和旋轉(zhuǎn)方向(方位)的標(biāo)準(zhǔn)化處理。圖5是用于說明由圖像標(biāo)準(zhǔn)化單元151所執(zhí)行的標(biāo)準(zhǔn)化處理 的圖。圖5示出當(dāng)臉部圖像數(shù)據(jù)的大小和旋轉(zhuǎn)方向經(jīng)歷標(biāo)準(zhǔn)化處 理時(shí)的臉部圖像數(shù)據(jù)。在本實(shí)施例中，如圖5所示，通過扭J亍仿射變換(Affine transformation),以4吏連接兩點(diǎn)，即眼睛位置300和301的直線 的傾斜具有預(yù)定的傾斜(在圖5的例子中，該傾斜與水平方向一 致)，并且眼睛位置300和301之間的距離具有預(yù)定的距離，來實(shí) 現(xiàn)標(biāo)準(zhǔn)化處理。即，在本實(shí)施例中，如圖5所示，臉部圖像數(shù)據(jù) 304的大小和旋轉(zhuǎn)方向(方位)被標(biāo)準(zhǔn)化為臉部圖像數(shù)據(jù)305。 注意，可以使用眼睛位置300和301以及嘴部位置303、臉部位置 3 0 2和嘴部位置3 0 3等，來執(zhí)行臉部圖像數(shù)據(jù)的大小和旋轉(zhuǎn)方向 的標(biāo)準(zhǔn)化處理。標(biāo)準(zhǔn)化處理并不限于這些方法，可以使用其他 的方法。圖6是示出由特征點(diǎn)檢測單元15 3所4企測到的預(yù)定特征點(diǎn)的 圖。特征點(diǎn)檢測區(qū)域設(shè)置單元15 2設(shè)置用于檢測圖6所示的特征 點(diǎn)350至367的區(qū)域。首先，將說明圖6所示的與眉毛相關(guān)聯(lián)的特征點(diǎn)350至355的檢測區(qū)域設(shè)置處理。圖7和圖8是示出由特征點(diǎn)檢測區(qū)域設(shè)置單元152所執(zhí)行的、 圖6所示的與眉毛相關(guān)聯(lián)的特征點(diǎn)的檢測區(qū)域設(shè)置處理的圖。如圖7所示，假定用于檢測圖6中的特征點(diǎn)350的檢測區(qū)域 400在x方向上的范圍從《(左眼位置300的x坐標(biāo))-(a/2) }延 伸至(左眼位置300的x坐標(biāo))。另外，如圖7所示，^底定^f全測區(qū) 域400在y方向上的范圍從((左眼位置300的y坐標(biāo))-(a/2 ) } 延伸至(左眼位置300的y坐標(biāo))。注意，值a對(duì)應(yīng)于左眼位置300 和右眼位置301之間的距離。如圖7所示，假定用于檢測圖6中的特征點(diǎn)352的檢觀'J區(qū)域 401在x方向上的范圍從(左眼位置300的x坐標(biāo))延伸至{(左眼 位置300的x坐標(biāo))+ ( a/2 ) }。另外，如圖7所示，假定檢測區(qū) 域401在y方向上的范圍從((左眼位置300的y坐標(biāo))-(a/2 ) } 延伸至(左眼位置300的y坐標(biāo))。如圖8所示，假定用于檢測圖6中的特征點(diǎn)3 51的檢測區(qū)域 404在x方向上的范圍從((左眼位置300的x坐標(biāo))-(a/8) }延 伸至{(左眼位置300的x坐標(biāo))+ ( a/8 ) }。另外，如圖8所示， 假定檢測區(qū)域404在y方向上的范圍從((左眼位置300的y坐標(biāo)) -(a/2) }延伸至(左眼位置300的y坐標(biāo))。已經(jīng)對(duì)用于檢測與左側(cè)眉毛相關(guān)聯(lián)的特征點(diǎn)3 5 0至3 5 2的檢 測區(qū)域401、 402和404的設(shè)置方法進(jìn)行了說明。注意，通過與用 于左側(cè)眉毛的方法相同的方法，來實(shí)現(xiàn)用于檢測與右側(cè)眉毛相 關(guān)聯(lián)的特征點(diǎn)353至355的檢測區(qū)域402、 403和405的設(shè)置方法。下面將說明圖6中所示的與眼睛相關(guān)聯(lián)的特征點(diǎn)3 5 6至3 6 3 的檢測區(qū)域設(shè)置處理。圖9和圖IO是示出由特征點(diǎn)檢測區(qū)域設(shè)置單元152所執(zhí)行 的、圖6中所示的與眼睛相關(guān)聯(lián)的特征點(diǎn)的檢測區(qū)域設(shè)置處理的圖。如圖9所示，假定用于檢測圖6中的特^正點(diǎn)356的檢測區(qū)域 406在x方向上的范圍從((左眼位置300的x坐標(biāo))-(a/2) }延 伸至(左眼位置300的x坐標(biāo))。另外，如圖9所示，假定檢測區(qū) 域406在y方向上的范圍從{(左眼位置300的y坐標(biāo))-(a/4 ) } 延伸至{(左眼位置300的y坐標(biāo))+ ( a/4 ) }。如圖9所示，假定用于檢測圖6中的特征點(diǎn)359的檢測區(qū)域 4070在x方向上的范圍從(左眼位置300的x坐標(biāo))延伸至{(左 眼位置300的x坐標(biāo))+ ( a/2 ) }。另外，如圖9所示，假定檢測 區(qū)域4070在y方向上的范圍從{(左眼位置300的y坐標(biāo))-(a/4 ) } 延伸至{(左眼位置300的y坐標(biāo))+ ( a/4) }。如圖IO所示，假定用于檢測圖6中的特征點(diǎn)357的檢測區(qū)域 410在x方向上的范圍從((左眼位置300的x坐標(biāo))-(a/8) }延 伸至{(左眼位置300的x坐標(biāo))+ ( a/8 ) }。另外，如圖10所示， 假定檢測區(qū)域410在y方向上的范圍從((左眼位置300的y坐標(biāo)) -(a/4) }延伸至(左眼位置300的y坐標(biāo))。如圖IO所示，假定用于檢測圖6中的特征點(diǎn)358的檢測區(qū)域 411在x方向上的范圍從{(左眼位置300的x坐標(biāo))-(a/8 ) }延 伸至{(左眼位置300的x坐標(biāo))+ ( a/8 ) }。另外，如圖10所示， 假定檢測區(qū)域411在y方向上的范圍從(左眼位置300的y坐標(biāo)) 延伸至{(左眼位置300的y坐標(biāo))+ ( a/4) }。已經(jīng)對(duì)用于測與左眼相關(guān)聯(lián)的特征點(diǎn)3 5 6至3 5 9的檢測區(qū) 域406和4070、 410和411的設(shè)置方法進(jìn)行了 i兌明。注意，通過與 用于左眼的方法相同的方法，來實(shí)現(xiàn)用于檢測與右眼相關(guān)聯(lián)的 特征點(diǎn)360至363的檢測區(qū)域408和409、 412和413的設(shè)置方法。下面將說明圖6中所示的與嘴部相關(guān)聯(lián)的特征點(diǎn)3 6 4至3 67 的檢測區(qū)域設(shè)置處理。圖ll和圖12是示出由特征點(diǎn)檢測區(qū)域設(shè)置單元152所執(zhí)行 的、圖6中所示的與嘴部相關(guān)聯(lián)的特征點(diǎn)的#r測區(qū)域i殳置處理的圖。如圖ll所示，假定用于檢測圖6中的特征點(diǎn)364的檢測區(qū)域 4"在乂方向上的范圍從{(嘴部位置303的乂坐標(biāo))-(3a/4) }延 伸至(嘴部位置303的x坐標(biāo))。另外，如圖11所示，假定檢測區(qū) 域414在y方向上的范圍從{(嘴部位置303的乂坐標(biāo))-(3a/8 ) } 延伸至{(嘴部位置303的y坐標(biāo))+ ( 3a/8 ) }。如圖ll所示，假定用于檢測圖6中的特4i點(diǎn)367的檢測區(qū)域 415在x方向上的范圍從(嘴部位置303的x坐標(biāo))延伸至{(嘴部 位置303的x坐標(biāo))+ ( 3a/4 ) }。另外，如圖11所示，假定檢測 區(qū)域415在y方向上的范圍從{(嘴部位置303的y坐標(biāo))-(3a/8 ) } 延伸至{(嘴部位置303的y坐標(biāo))+ ( 3a/8 ) }。如圖12所示，假定用于檢測圖6中的特征點(diǎn)365的檢測區(qū)域 "6在x方向上的范圍從((嘴部位置S(B的x坐標(biāo))-(a/8》}延 伸至{(嘴部位置303的x坐標(biāo))+ ( a/8 ) }。另外，如圖12所示， 假定檢測區(qū)域416在y方向上的范圍從{(嘴部位置3 0 3的y坐標(biāo)) -(3a/8) }延伸至(嘴部位置S(B的y坐標(biāo))。如圖12所示，假定用于檢測圖6中的特征點(diǎn)366的檢測區(qū)域 4H在x方向上的范圍從{(嘴部位置3(B的x坐標(biāo))-(a/8 ) }延 伸至{(嘴部位置303的x坐標(biāo))+ ( a/8) }。另外，如圖12所示， 假定檢測區(qū)域417在y方向上的范圍從(嘴部位置303的y坐標(biāo)) 延伸至{(嘴部位置S(B的y坐標(biāo))+ ( 3a/8 ) }。注意，圖像區(qū)域的上述劃分方法并不限于本實(shí)施例中所述 的那些。例如，劃分區(qū)域的數(shù)目可以進(jìn)一步增大。特征點(diǎn)檢測單元153使用已經(jīng)經(jīng)歷由圖像標(biāo)準(zhǔn)化單元151所 執(zhí)行的大小和旋轉(zhuǎn)方向的標(biāo)準(zhǔn)化處理的臉部圖像數(shù)據(jù)305以及由特征點(diǎn)沖全測區(qū)域設(shè)置單元152所設(shè)置的特征點(diǎn)4全測區(qū)域，來執(zhí) 行特征點(diǎn)檢測處理。作為這種情況下的特征點(diǎn)檢測方法，使用這樣的方法如臉部才企測中一樣，預(yù)先準(zhǔn)備斗全測-渚如內(nèi)外眼角 等的圖6所示的特征點(diǎn)3 5 0至3 6 7所需的模板，并在由特征點(diǎn)檢測 區(qū)域設(shè)置單元152所設(shè)置的特征點(diǎn)檢測區(qū)域內(nèi)進(jìn)行沖企測。注意， 特征點(diǎn)^r測方法并不限于這樣的特定方法，可以-使用其他的方法。圖13是示出要由特征量提取單元154提取的特征量的圖。特征量提取單元15 4從由特征點(diǎn)檢測單元1 5 3所檢測5 'J的特 征點(diǎn)350至367提取預(yù)定特征量450至464。特征量提取單元154提取下列預(yù)定特征量。即，單元154從 特征點(diǎn)352和353之間的x方向上的距離中拔:耳又眉毛距離450。單 元154從特征點(diǎn)351和357之間的y方向上的距離中提取眉毛-上 眼瞼距離451，并從特征點(diǎn)354和361之間的y方向上的距離中提 取眉毛-上眼瞼距離452。單元154從特征點(diǎn)352和359之間的y方 向上的距離中提取眉毛-內(nèi)眼角距離453,并從特征點(diǎn)353和360 之間的y方向上的距離中提取眉毛-內(nèi)眼角距離454。單元154從 特征點(diǎn)350和356之間的y方向上的距離中提取眉毛-外眼角距離 455,并從特征點(diǎn)355和363之間的y方向上的距離中提取眉毛-外眼角距離456。另夕卜，特征量提取單元154從特征點(diǎn)356和359之間的x方向 上的距離中提耳又外眼角-內(nèi)眼角距離457,并/人特征點(diǎn)360和363 之間的x方向上的距離中提取外眼角_內(nèi)眼角距離458。單元154 從特征點(diǎn)357和358之間的y方向上的距離中揭:取上眼險(xiǎn)-下眼瞼 距離459,并從特征點(diǎn)361和362之間的y方向上的距離中提取上 眼瞼-下眼瞼距離460。單元154從特征點(diǎn)356和364之間的y方向 上的距離中提取外眼角-嘴部端點(diǎn)距離461,并從特征點(diǎn)363和367之間的y方向上的距離中提取外眼角-嘴部端點(diǎn)距離462。單 元1 54從特征點(diǎn)364和367之間的x方向上的距離中提取嘴部端點(diǎn) 距離463 。單元154從特征點(diǎn)365和366之間的y方向上的距離中提 取上嘴唇-下嘴唇距離464。特征量提取單元15 4基于從預(yù)先準(zhǔn)備的無表情的臉部圖像 數(shù)據(jù)所獲得的特征量以及從要進(jìn)行臉部表情識(shí)別的圖像數(shù)據(jù)所 獲得的特征量，來計(jì)算特征量的變化。圖14是根據(jù)由特征量提取單元1 5 4所提取的特征量來計(jì)算 變化時(shí)的處理的流程圖。在步驟S300中，特征量提取單元154判斷由特征量提取單 元154所提取的特征量是不是預(yù)先準(zhǔn)備的無表情圖像數(shù)據(jù)的特 征量。作為判斷結(jié)果，如果由特征量提取單元154所提取的特征 量是無表情圖像數(shù)據(jù)的特征量，則在步驟S301中，特征量提取 單元154將由特征量提取單元154所提取的特征量存儲(chǔ)在例如它 的內(nèi)部存儲(chǔ)器中，作為基準(zhǔn)特征量。另一方面，作為步驟S300中的判斷結(jié)果，如果由特征量提 取單元154所提取的特征量不是無表情圖像數(shù)據(jù)的特征量，即， 如果特征量是要進(jìn)行臉部表情識(shí)別的圖像數(shù)據(jù)的特征量，則處 理進(jìn)入步驟S302。在步驟S302中，特征量提取單元154計(jì)算從 要進(jìn)行臉部表情識(shí)別的圖像數(shù)據(jù)中所提取的特征量和在步驟 S 3 01中登記的無表情圖像數(shù)據(jù)的特征量之間的差值或者比率， 從而計(jì)算相對(duì)于無表情圖像數(shù)據(jù)的變化。在這種情況下，可以通過使用前一幀圖像數(shù)據(jù)、自動(dòng)提取 的無表情數(shù)據(jù)或者平均無表情模型來計(jì)算差值或比率的方法， 來實(shí)現(xiàn)特征量變化的計(jì)算處理，從而計(jì)算變化。因此，該處理 并不限于本實(shí)施例中所述的方法。圖15是示出由權(quán)重設(shè)置單元155所執(zhí)行的基于特征量提取結(jié)果的權(quán)重設(shè)置方法的流程圖。圖16A和圖16B是示出與各臉部 表情編號(hào)相對(duì)應(yīng)的所提取的特征量的加權(quán)LUT (查找表格)的 例子的圖。圖16A和圖16B示出分配有根據(jù)臉部表情的類型的臉 部表情編號(hào)的LUT(下文稱為"LUT1");圖16A示出臉部表情編 號(hào)為1的LUT，圖16B示出臉部表情編號(hào)為2的LUT， ……。如圖15所示，在步驟S400中，權(quán)重設(shè)置單元155判斷特征 量提取單元15 4是否能夠提取所有的預(yù)定特征量。作為判斷結(jié) 杲，如果單元154可以提取所有的預(yù)定特征量，則在步驟S401 中，單元155使用預(yù)先為各臉部表情的各特征量設(shè)置的權(quán)重。另一方面，作為步驟S400中的判斷結(jié)果，如果特征量提取 單元154不能提取所有的預(yù)定特征量(它不能提取某些預(yù)定特征 量)，則在步驟S402中，對(duì)于可以提取的特征量，權(quán)重設(shè)置單 元155為各臉部表情的各特征量重新設(shè)置權(quán)重。在重新設(shè)置權(quán)重 時(shí)，單元155參考預(yù)先準(zhǔn)備的圖16A或圖16B所示的LUT1，以為 各臉部表情的各特征量重新設(shè)置權(quán)重。注意，在本實(shí)施例中，特征量提取失敗的原因包括特征 ,ig檢測單元15 3的特征點(diǎn)提取失敗、特征,與、檢測區(qū)域設(shè)置單元 152的用于提取特征點(diǎn)的檢測區(qū)域的設(shè)置失敗等。下面將說明LUT1的生成方法。圖17是示出圖16A或16B所示的LUT ( LUT1 )的生成方法 的流程圖。利用LUT1的該生成方法，根據(jù)未提取到的特征量的 數(shù)量來改變權(quán)重的總和。即，對(duì)于某種臉部表情，在步驟S500中，權(quán)重設(shè)置單元155 判斷未檢測到的特征量的數(shù)量是否小于n。作為判斷結(jié)果，如果 未檢測到的特征量的數(shù)量小于n,則在步驟S501中，單元155設(shè) 置權(quán)重，使得權(quán)重的總和等于a ( a是常量)。另一方面，作為步驟S500中的判斷結(jié)果，如果未檢測到的特征量的數(shù)量等于或大于n,則在步驟S502中，權(quán)重設(shè)置單元 155將權(quán)重的總和設(shè)置為a-p*n (卩是常量)，并且根據(jù)所提取的 特征量的重要等級(jí)，將權(quán)重分配給特征量。例如，如果11=1,則檢測到有未提取到的特征量時(shí)的權(quán)重 的總和與提取了所有特征量時(shí)的權(quán)重的總和不相等，而以與未 提取到的特征量的數(shù)量相對(duì)應(yīng)的方式降低權(quán)重的總和。即使當(dāng) 未檢測到的特征量的數(shù)量等于或大于n時(shí)，也可以進(jìn)行加權(quán)，使 得權(quán)重的總和等于a。下面將使用實(shí)際的例子來說明為什么根據(jù)未檢測到的特征 量來重新設(shè)置權(quán)重。圖18是示出從特征點(diǎn)中提取出的特征量的重要等級(jí)(權(quán)重) 的例子的圖表。例如，假定當(dāng)特征點(diǎn)檢測單元153不能檢測到某些特征點(diǎn)， 并且特征量提取單元154不能提取到特征量A時(shí)，執(zhí)行對(duì)臉部表 情中的微笑臉部表情進(jìn)行加權(quán)的處理。參考圖18,當(dāng)橫坐標(biāo)標(biāo)出特征量的變化而縱坐標(biāo)標(biāo)出分值 時(shí)，用于加權(quán)的各權(quán)重對(duì)應(yīng)于"斜率"。在這種情況下，相比于 其他特征量B 501和C 502,特征量A 500具有用于判斷是不是微 笑臉部表情的較高的重要等級(jí)(權(quán)重)。但是，由于不能提取到 特征量A 500，因此不能使用它。因此，通常使用具有大權(quán)重的特征量A 500以外的其他特征 量B 501和C 502,來判斷微笑臉部表情。但是，當(dāng)前所設(shè)置的 權(quán)重僅當(dāng)提取到所有的特征量A至C時(shí)才能用于判斷微笑臉部 表情。因此，當(dāng)使用這些權(quán)重來判斷微笑臉部表情時(shí)，由于不能 提取到的特征量A 5 0 0具有較大的影響，所以代表微笑臉部表情 的程度的總分值表現(xiàn)為非常小的值。因此，在本實(shí)施例中，根據(jù)圖16A或圖16B所示的LUT1來改變權(quán)重。圖19是示出當(dāng)不能提取到圖18所示的特征量中的特征量A 時(shí)，根據(jù)L U T1改變其他所提取的特征量B和C的權(quán)重的情況示 例的圖表。例如，如圖19所示，使用圖16A或圖16B所示的LUT1，將 所提取的特征量B 501的權(quán)重改變?yōu)樘卣髁緽' 503，將所提取的 特征量C 502的權(quán)重改變?yōu)樘卣髁緾' 504。在圖18和圖19的例子中，通過線性函數(shù)的斜率來定義各特 征量的權(quán)重。但是，在本實(shí)施例中，各特征量的權(quán)重并不限于 線性函數(shù)的斜率。以這種方式，通過為所有特征量中所提取到 的特征量重新設(shè)置權(quán)重，可以使用所提取到的特征量和它們的 權(quán)重來執(zhí)行臉部表情識(shí)別處理。臉部表情判斷單元156計(jì)算各臉部表情的分值，并將分值最 高的臉部表情判斷為要進(jìn)行臉部表情識(shí)別的圖像數(shù)據(jù)的人(對(duì) 象)的臉部表情。通過上述處理，實(shí)現(xiàn)圖2中的步驟S212中的 臉部表情識(shí)別處理。作為各臉部表情的分值的計(jì)算方法的例子，根據(jù)下面的等 式(1),基于編號(hào)為N的臉部表情的特征量i的特征量變化lj和 權(quán)重w,,使用預(yù)定函數(shù)func,來計(jì)算編號(hào)為N的臉部表情的該 特征量i的分值(Score,)。注意，預(yù)定函數(shù)func與圖18和圖19 所示的各線性函數(shù)相對(duì)應(yīng)。然后，根據(jù)下面的等式(2),將數(shù) 量與特征量的數(shù)量n相等的、所計(jì)算得到的分值(Scored )相加， 從而計(jì)算編號(hào)為N的臉部表情的臉部表情分值<formula>formula see original document page 27</formula>( 1 )<formula>formula see original document page 27</formula>(2) 其中，N:臉部表情編號(hào)，i:特征量編號(hào)，li:特征量i的變化，n:特征量的數(shù)量，WiN:編號(hào)為N的臉部表情的特征量i的權(quán)重， func:分值計(jì)算函數(shù)，Score,:從特征量i計(jì)算得到的編號(hào)為N 的臉部表情的分值，以及SumScoreN:編號(hào)為N的臉部表情的總 分值。將返回圖2進(jìn)行說明。在通過上述處理完成圖2中的步驟S212中的臉部表情識(shí)別 處理之后，處理進(jìn)入步驟S213。在步驟S213中，系統(tǒng)控制器U2判斷作為步驟S212中的臉 部表情識(shí)別處理的結(jié)果所判斷得到的臉部表情是不是預(yù)先設(shè)置 的預(yù)定臉部表情(例如，微笑)。作為判斷結(jié)果，如果作為步驟 S 212中的臉部表情識(shí)別處理的結(jié)果所判斷得到的臉部表情是 預(yù)先設(shè)置的預(yù)定臉部表情，則處理進(jìn)入步驟S214。在步驟S214中，系統(tǒng)控制器112進(jìn)行控制，以使用攝像元 件103執(zhí)行攝像操作，并將所獲得的圖像數(shù)據(jù)寫(存儲(chǔ))在存儲(chǔ) 器108中。在步驟S215中，系統(tǒng)控制器112進(jìn)行控制，以在顯示單元110 上顯示作為步驟S214中的攝像操作的結(jié)果所獲得的圖像數(shù)據(jù)， 作為快速回it 。在步驟S216中，系統(tǒng)控制器112控制例如數(shù)字信號(hào)處理器 107，以對(duì)寫入存儲(chǔ)器108中的所拍攝的圖像數(shù)據(jù)執(zhí)行圖像壓縮 處理，然后，執(zhí)行用于通過接口 lll將處理后的圖像數(shù)據(jù)記錄在 記錄介質(zhì)中的記錄處理。在記錄介質(zhì)中的記錄處理之前，可以 根據(jù)需要執(zhí)行諸如用于對(duì)高或低亮度顏色進(jìn)行消色的消色處理 等的其他圖像處理。在完成步驟S216中的處理之后，或者如果在步驟S213中判 斷為作為步驟S 212中的臉部表情識(shí)別處理的結(jié)果所判斷得到 的臉部表情不是預(yù)先設(shè)置的預(yù)定臉部表情，則處理進(jìn)入步驟S217。在步驟S217中，系統(tǒng)控制器112通過檢測例如用戶是否再 次按下攝像裝置100的快門開關(guān)(未示出)從而接通快門開關(guān)， 來判斷自動(dòng)攝像操作是否要結(jié)束。作為步驟S217中的判斷結(jié)果，如果自動(dòng)攝像操作不是要結(jié) 束，則處理返回步驟S211。另一方面，作為步驟S217中的判斷 結(jié)果，如果自動(dòng)攝像操作要結(jié)束，則結(jié)束圖2所示的流程圖中的 處理。根據(jù)第 一 實(shí)施例的攝像裝置，即使當(dāng)沒有檢測到所有的預(yù) 定特征量時(shí)，改變可以提取的預(yù)定特征量的權(quán)重，并識(shí)別圖像 數(shù)據(jù)中的人的臉部表情，從而實(shí)現(xiàn)高精度的識(shí)別處理。注意，第一實(shí)施例已經(jīng)說明了將數(shù)字靜止照相機(jī)應(yīng)用為攝 像裝置100的例子的情況。例如，可以應(yīng)用攝像機(jī)等。另外，可 以通過計(jì)算機(jī)執(zhí)行預(yù)定的程序，來在數(shù)據(jù)庫中的運(yùn)動(dòng)圖像數(shù)據(jù) 或靜止圖像數(shù)據(jù)中搜索預(yù)定臉部表情的臉部圖像數(shù)據(jù)。第二實(shí)施例在下文中將參考附圖來詳細(xì)說明本發(fā)明的第二實(shí)施例。除了數(shù)字信號(hào)處理器107的內(nèi)部布置之外，根據(jù)第二實(shí)施例 的攝像裝置(圖像處理設(shè)備)的布置與圖l所示的根據(jù)第一實(shí)施 例的攝像裝置的布置相同。即，本實(shí)施例采用圖20所示的數(shù)字 信號(hào)處理器207，來代替圖l所示的根據(jù)第一實(shí)施例的數(shù)字信號(hào) 處理器107。除了步驟S212中的臉部表情識(shí)別處理的內(nèi)容以外， 根據(jù)第二實(shí)施例的攝像裝置(圖像處理設(shè)備)的控制操作與圖2 所示的根據(jù)第 一 實(shí)施例的攝像裝置的控制操作相同。圖20是示出與要由第二實(shí)施例的數(shù)字信號(hào)處理器207執(zhí)行 的臉部表情識(shí)別處理相關(guān)聯(lián)的功能布置的框圖。通過對(duì)從A/D轉(zhuǎn)換器105輸出的圖像數(shù)據(jù)(數(shù)字信號(hào))應(yīng)用預(yù)定處理，圖2 0中所示的眼睛/嘴部/臉部檢測單元60 0檢測基于圖像數(shù)據(jù)的圖像中的特定對(duì)象的臉部、眼睛和嘴部的位置。圖像標(biāo)準(zhǔn)化單元601基于由眼睛/嘴部/臉部檢測單元600所 檢測到的眼睛、嘴部和臉部位置的信息，對(duì)圖像數(shù)據(jù)中的臉部 圖像數(shù)據(jù)中的臉部圖像大小和旋轉(zhuǎn)方向(方位)執(zhí)行標(biāo)準(zhǔn)化處理。特征向量提取區(qū)域設(shè)置單元602使用由眼睛/嘴部/臉部檢 測單元600所檢測到的眼睛、嘴部和臉部位置的信息以及由圖像 標(biāo)準(zhǔn)化單元601進(jìn)行標(biāo)準(zhǔn)化后的圖像數(shù)據(jù)，來設(shè)置用于提取特征 向量的各提取區(qū)域。特征向量提取單元6 0 3使用由特征向量提取區(qū)域設(shè)置單元 602所設(shè)置的提耳又區(qū)域以及由圖像標(biāo)準(zhǔn)化單元601進(jìn)行標(biāo)準(zhǔn)化后 的圖像數(shù)據(jù)，來提取特征向量。注意，特征向量提取單元603 構(gòu)成用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多個(gè)特征的特征提 取單元。臉部表情限制單元604基于特征向量提取單元603的特征向 量提取結(jié)果，來限制要進(jìn)行臉部表情識(shí)別處理的人的臉部表情 的范圍。權(quán)重設(shè)置單元605使用例如圖16A或圖16B所示的LUT1 ，對(duì) 由臉部表情限制單元6 04限制后的臉部表情中的特征向量進(jìn)行加權(quán)。臉部表情判斷單元606使用由臉部表情限制單元604限制后 的各臉部表情的信息、由權(quán)重設(shè)置單元605所設(shè)置的權(quán)重以及由 特征向量提取單元603所提取的特征向量，來執(zhí)行臉部表情識(shí)別 處理。作為臉部表情識(shí)別處理的結(jié)果，臉部表情判斷單元606 將由臉部表情限制單元604限制后的臉部表情中的具有最高分 值的臉部表情判斷為要進(jìn)行臉部表情識(shí)別的圖像數(shù)據(jù)的人(對(duì)象)的臉部表情。下面將詳細(xì)i兌明該臉部表情識(shí)別處理。目艮睛/嘴部/臉部檢測單元6 0 0和圖像標(biāo)準(zhǔn)化單元6 01分別執(zhí) 行與第 一 實(shí)施例中的眼睛/嘴部/臉部檢測單元150和圖像標(biāo)準(zhǔn) 化單元151的處理相同的處理。下面將說明特征向量提取區(qū)域設(shè)置單元6 02的處理的細(xì)節(jié)。圖21是示出由特征向量提取區(qū)域設(shè)置單元602執(zhí)行來設(shè)置 提取特征向量的提取區(qū)域的處理的圖。圖21示出由特征向量提 取區(qū)域設(shè)置單元602所設(shè)置的特征向量提取區(qū)域701至707。另 外，令a為左眼位置300和右眼位置301之間的x方向上的距離。假定圖21所示的特征向量提取區(qū)域701在x方向上的范圍從 {(左目艮4立置300的x坐才示)一(a/2 ) }延伸至{(左目艮4立置300的x 坐標(biāo))+ (a/2))。另外，假定特征向量提取區(qū)域701在y方向上 的范圍從{(左眼位置300的y坐標(biāo))-(3a/4) }延伸至{(左眼 位置300的y坐標(biāo))-(a/4 ) }。假定圖21所示的提取區(qū)域703在x方向上的范圍從{(左眼位 置300的x坐標(biāo))-(a/2 ) }延伸至{(左眼位置300的x坐標(biāo))+ (a/2)}。另外，假定提取區(qū)域703在y方向上的范圍從((左眼 位置300的y坐標(biāo))-(a/4 ) }延伸至{(左眼位置300的y坐標(biāo))+ (a/4 ) }。假定圖21所示的提取區(qū)域705在x方向上的范圍從{(臉部位 置302的x坐標(biāo))-a)延伸至(臉部位置302的x坐標(biāo))。另外，假 定提取區(qū)域705在y方向上的范圍從《(臉部位置302的y坐標(biāo))-(a/4 ) }延伸至{(臉部位置302的y坐標(biāo))+ ( a/4 ) }。已經(jīng)說明了臉部圖像數(shù)據(jù)左側(cè)的特征向量提取區(qū)域701 、 703和705的設(shè)置方法。同樣，通過與左側(cè)提取區(qū)域的方法相同 的方法，實(shí)現(xiàn)臉部圖像數(shù)據(jù)右側(cè)的提取區(qū)域702、 704和706的設(shè)置方法。假定圖21所示的提取區(qū)域707在X方向上的范圍從{(嘴部位置303的x坐標(biāo))-(3a/4 ) }延伸至{(嘴部位置303的x坐標(biāo))+ (3a/4)}。另外，假定提取區(qū)域707在y方向上的范圍從((嘴 部位置303的y坐標(biāo))-(3a/8 ) }延伸至{(嘴部位置303的y坐標(biāo)) + ( 3a/8 ) }。注意，圖像區(qū)域的上述劃分方法并不限于該實(shí)施例中所述 的方法。例如，劃分區(qū)域的數(shù)量可以進(jìn)一步增大。特征向量提取單元603通過對(duì)由圖像標(biāo)準(zhǔn)化單元601進(jìn)行標(biāo) 準(zhǔn)化后的圖像數(shù)據(jù)應(yīng)用諸如索貝爾(Sobel)濾波器等的邊緣檢 測濾波器，來生成邊緣圖像數(shù)據(jù)。然后，特征向量提取單元603使用由特征向量提取區(qū)域設(shè)置 單元602所設(shè)置的提取區(qū)域以及邊緣檢測濾波器的輸出值，提取 作為邊緣檢測濾波器的輸出值本身的特征向量。例如，令a ( i， j )為某nlxml像素區(qū)域中的(i, j )分量的 濾波器輸出值。然后，特征向量提取單元603計(jì)算(nlxml )維 特征向量A(..., a(i, j),...)。單元603以與預(yù)定提取區(qū)域的 數(shù)量相等的次數(shù)重復(fù)該計(jì)算，以從邊緣臉部圖像數(shù)據(jù)中提取數(shù) 量與預(yù)定提取區(qū)域的數(shù)量N相等的特征向量。在隨后的臉部表 情判斷處理中使用從預(yù)定提取區(qū)域中提取出的N個(gè)濾波器輸出 值的特征向量。注意，上述濾波器可以使用其他類型的濾波器，或者可以 使用標(biāo)準(zhǔn)亮度的圖像數(shù)據(jù)本身，而無需進(jìn)行任何濾波處理。在 本實(shí)施例中，特征向量提取失敗的原因包括預(yù)定濾波器的輸出值的獲取失敗、用于提取特征向量的提取區(qū)域的設(shè)置失敗等。 臉部表情限制單元604基于特征向量提取區(qū)域設(shè)置單元602的提取區(qū)域設(shè)置結(jié)果或者特征向量提取單元6 0 3的特征向量提取結(jié)果，來限制要進(jìn)行臉部表情識(shí)別處理的人的臉部表情的范圍。圖22是示出當(dāng)臉部表情限制單元604執(zhí)行臉部表情限制時(shí) 所使用的LUT的例子的圖。在下列說明中，圖22所示的LUT將 被稱為"LUT2"。當(dāng)不能從未設(shè)置的區(qū)域A，即，提取區(qū)域A提取特征向量時(shí)， 參考圖22所示的LUT2，僅對(duì)與編號(hào)為l的臉部表情、編號(hào)為2 的臉部表情.......相對(duì)應(yīng)的臉部表情應(yīng)用臉部表情識(shí)別處理。例如，當(dāng)由于一些附屬物而不能檢測到眼睛位置300和301， 并且不能設(shè)置圖21所示的特征向量提取區(qū)域701至704時(shí)，即， 當(dāng)不能從這些提取區(qū)域提取特征向量時(shí)，參考圖22所示的預(yù)先 準(zhǔn)備的L U T 2 ， <又執(zhí)行微笑臉部表情的臉部表情識(shí)別處理。如上所述，例如，由于微笑臉部表情的特征在于嘴部周圍 的部分通常變化較大，所以嘴部周圍的部分具有判斷微笑臉部 表情所需的高重要等級(jí)。因此，當(dāng)不能從特征向量提取區(qū)域701 至704提取特征向量時(shí)，基于從提取區(qū)域707中所提取的特征向 量，來分析嘴部周圍部分的變化。結(jié)果，只有具有較大程度的 變化的諸如微笑臉部表情等(即，可以進(jìn)行高精度的識(shí)別處理) 的限制后的臉部表情可以進(jìn)行識(shí)別處理。圖23是示出由臉部表情限制單元604所執(zhí)行的處理的流程圖。在步驟S600中，臉部表情限制單元604判斷特征向量提取 單元603是否提取了所有的(N個(gè))特征向量。作為步驟S600中的判斷結(jié)果，如果特征向量提取單元603 提取了所有的(N個(gè))特征向量，則在步驟S601中，臉部表情 限制單元604對(duì)所有的臉部表情應(yīng)用識(shí)別處理，而不限制要進(jìn)行 識(shí)別處理的臉部表情。另一方面，作為步驟S600中的判斷結(jié)果，如果特征向量提 取單元603不能提取所有的(N個(gè))特征向量(它不能提取一些 特征向量)，則處理進(jìn)入步驟S602。在步驟S602中，臉部表情 限制單元604使用例如上述LUT2，來限制要進(jìn)行識(shí)別處理的臉 部表情。圖24是示出用于限制臉部表情的圖22所示的LUT ( LUT2 ) 的生成方法的流程圖。在步驟S700中，臉部表情限制單元604對(duì)所有臉部表情中 的每種的特征向量進(jìn)行加權(quán)。在步驟S701中，臉部表情限制單元604假定不能提取某一 臉部表情X的特征向量Y。在步驟S702中，臉部表情限制單元604判斷特征向量Y的權(quán) 重是否落入臉部表情X中的前Z名之內(nèi)。作為步驟S702中的判斷結(jié)果，如果特征向量Y的權(quán)重沒有 落入臉部表情X中的前Z名之內(nèi)，則在步驟S703中，臉部表情限 制單元6 04將臉部表情X設(shè)置為即使當(dāng)沒有檢測到特征向量Y時(shí) 也可以進(jìn)行識(shí)別處理的臉部表情，即限制后的臉部表情。另一方面，作為步驟S702中的判斷結(jié)果，如果特征向量Y 的權(quán)重落入臉部表情X中的前Z名之內(nèi)，則在步驟S704中，臉部 表情限制單元6 04將臉部表情X設(shè)置為當(dāng)沒有檢測到特征向量Y 時(shí)就不進(jìn)行識(shí)別處理的臉部表情。如圖16A或圖16B所示的LUT1中一樣，權(quán)重設(shè)置單元605為 由臉部表情限制單元604限制后的臉部表情的特征向量預(yù)先準(zhǔn) 備加權(quán)LUT3，并參考加權(quán)LUT3來設(shè)置權(quán)重。臉部表情判斷單元606計(jì)算與由臉部表情限制單元604限制 后的各臉部表情相對(duì)應(yīng)的基準(zhǔn)特征向量與由特征向量提取單元 603所提取的特征向量之間的相似度。此后，臉部表情判斷單元6 0 6將從各臉部表情的各特征向量獲得的相似度累加，以計(jì)算臉部表情的總相似度，并將相似度最高的臉部表情判斷為要進(jìn)行 臉部表情識(shí)別的圖像數(shù)據(jù)的人(對(duì)象)的臉部表情。注意，上述基準(zhǔn)特征向量是通過準(zhǔn)備多個(gè)人的、包括每個(gè) 人的各種臉部表情的大量數(shù)據(jù)庫，從各臉部表情的各區(qū)域中所計(jì)算得到的特征向量的平均值。即，從人A的臉部表情1的區(qū)域 d中計(jì)算出特征向量1,從人B的臉部表情1的區(qū)域d中相似地計(jì) 算出特征向量2。對(duì)多個(gè)人進(jìn)行這樣的計(jì)算，并將所計(jì)算得到的這些特征向量的平均值用作基準(zhǔn)特征向量。下面將說明計(jì)算基準(zhǔn)特征向量和由特征向量提取單元603所提取的特征向量之間的相似度的方法。例如，如在以上非專利文獻(xiàn)3中所述，從各區(qū)域中所提取的 基準(zhǔn)特4i向量經(jīng)歷主成分分才斤(principal component analysis ), 以確定均由前k個(gè)本征向量構(gòu)成的局部空間。然后，將特征向量 投影到根據(jù)基準(zhǔn)特征向量所確定的局部空間中，并計(jì)算通過將 它們的歐幾里得(Euclidean)距離的倒婆t乘以由 一又重i殳置單元 605所設(shè)置的權(quán)重而獲得的值，作為各特征向量的相似度。在限 制后的臉部表情中，將相似度總和最大的臉部表情判斷為要進(jìn) 行臉部表情識(shí)別的圖像數(shù)據(jù)的人(對(duì)象)的臉部表情。注意，可以通過本實(shí)施例的方法以外的方法來提取基準(zhǔn)特 征向量。另外，可以使用歐幾里得距離以外的其他要素來計(jì)算 兩個(gè)特征向量之間的相似度?？梢圆捎脤⑼ㄟ^將歐幾里得距離 的倒數(shù)乘以權(quán)重而獲得的值定義為相似度的方法以外的方法。 另外，可以準(zhǔn)備多個(gè)輸入圖像，并且可以使用以上專利文獻(xiàn)5 中所述的有限共有局部空間的方法等。根據(jù)第二實(shí)施例的攝像裝置，即使當(dāng)不能提取到預(yù)定特征 向量時(shí)，由于限制了要進(jìn)行識(shí)別處理的臉部表情，因此可以對(duì)圖像數(shù)據(jù)中的人的臉部表情精確地執(zhí)行識(shí)別處理。注意，如第一實(shí)施例中一樣，第二實(shí)施例對(duì)將數(shù)字靜止照 相機(jī)應(yīng)用為攝像裝置100的例子的情況進(jìn)行了說明。例如，可以 應(yīng)用攝像機(jī)等。另外，可以通過計(jì)算機(jī)執(zhí)行預(yù)定程序，以在數(shù) 據(jù)庫中的運(yùn)動(dòng)圖像數(shù)據(jù)或靜止圖像數(shù)據(jù)中搜索預(yù)定臉部表情的臉部圖像數(shù)據(jù)。 第三實(shí)施例在下文中將參考附圖來詳細(xì)說明本發(fā)明的第三實(shí)施例。 除了數(shù)字信號(hào)處理器107的內(nèi)部布置以外，根據(jù)第三實(shí)施例 的攝像裝置(圖像處理設(shè)備)的布置與圖l所示的根據(jù)第一實(shí)施例的攝像裝置的布置相同。即，本實(shí)施例釆用圖25所示的數(shù)字 信號(hào)處理器307,來代替圖l所示的根據(jù)第一實(shí)施例的數(shù)字信號(hào) 處理器107。除了步驟S212中的臉部表情識(shí)別處理的內(nèi)容以外， 根據(jù)第三實(shí)施例的攝像裝置(圖像處理設(shè)備)的控制操作與圖2所示的根據(jù)第 一 實(shí)施例的攝像裝置的控制操作相同。圖2 5是示出與要由根據(jù)第三實(shí)施例的數(shù)字信號(hào)處理器3 0 7所執(zhí)行的臉部表情識(shí)別處理相關(guān)聯(lián)的功能布置的框圖。圖25所示的眼睛/嘴部/臉部檢測單元800通過對(duì)從A/D轉(zhuǎn)換 器105輸出的圖像數(shù)據(jù)(數(shù)字信號(hào))應(yīng)用預(yù)定處理，來檢測基于 圖像數(shù)據(jù)的圖像中的特定對(duì)象的臉部、眼睛和嘴部的位置。圖像標(biāo)準(zhǔn)化單元801基于由眼睛/嘴部/臉部檢測單元800所 檢測到的眼睛、嘴部和臉部位置的信息，對(duì)圖像數(shù)據(jù)中的臉部 圖像數(shù)據(jù)中的臉部圖像大小和旋轉(zhuǎn)方向(方位)執(zhí)行標(biāo)準(zhǔn)化處 理。特征點(diǎn)檢測區(qū)域設(shè)置單元802使用由圖像標(biāo)準(zhǔn)化單元801進(jìn) 行標(biāo)準(zhǔn)化后的臉部圖像數(shù)據(jù)以及由眼睛/嘴部/臉部檢測單元 800所檢測到的眼睛、嘴部和臉部位置的信息，來設(shè)置預(yù)定特征點(diǎn)4全測區(qū)i或。特征點(diǎn)檢測單元8 0 3根據(jù)由圖像標(biāo)準(zhǔn)化單元8 01進(jìn)行標(biāo)準(zhǔn)化 后的臉部圖像數(shù)據(jù)以及由特征點(diǎn)檢測區(qū)域設(shè)置單元802所設(shè)置 的設(shè)置區(qū)域，來檢測預(yù)定特征點(diǎn)。當(dāng)存在未被特征點(diǎn)檢測單元803檢測到的 一 些特征點(diǎn)時(shí)，特 征點(diǎn)補(bǔ)充單元804補(bǔ)充特征點(diǎn)。特征量提取單元805從由特征點(diǎn)檢測單元803所4企測到的預(yù) 定特征點(diǎn)以及由特征點(diǎn)補(bǔ)充單元804所補(bǔ)充的特4正點(diǎn)，提取用于 臉部表情識(shí)別的預(yù)定特征量。權(quán)重設(shè)置單元806為由特征量提取單元805所提取的特征量 設(shè)置權(quán)重。臉部表情判斷單元807使用由特征量提耳又單元805所提取的 預(yù)定特征量以及由權(quán)重設(shè)置單元806所設(shè)置的權(quán)重，來判斷臉部 表情。下面將詳細(xì)說明圖25所示的各單元。由于眼睛/嘴部/臉部檢測單元800、圖像標(biāo)準(zhǔn)化單元801 、 特征點(diǎn)檢測區(qū)域設(shè)置單元802以及特征點(diǎn)檢測單元803執(zhí)行與圖 3所示的具有相同名稱的單元所執(zhí)行的處理相同的處理，所以將 不會(huì)給出它們的詳細(xì)說明。下面將詳細(xì)說明特征點(diǎn)補(bǔ)充單元804。圖26是示出由特征點(diǎn)補(bǔ)充單元804所執(zhí)行的未檢測到的特 征點(diǎn)的補(bǔ)充處理的流程圖。圖27示出當(dāng)特征點(diǎn)檢測單元803不能 檢測到 一 些特征點(diǎn)360和363時(shí)的臉部圖像數(shù)據(jù)。圖28是示出補(bǔ) 充圖27所示的未檢測到的特征點(diǎn)的方法的圖。在圖26的步驟S800中，特征點(diǎn)補(bǔ)充單元804判斷當(dāng)特征點(diǎn) 檢測單元803檢測特征點(diǎn)時(shí)，是否存在未檢測到的特征點(diǎn)。作為 判斷結(jié)果，如果沒有未檢測到的特征點(diǎn)，則圖26所示的流程圖的處理結(jié)束。另一方面，作為步驟S800中的判斷結(jié)果，如果存在如圖27 所示的特征點(diǎn)3 6 0和3 6 3的未檢測到的特征點(diǎn)，則處理進(jìn)入步驟 S801。在步驟S801中，特征點(diǎn)補(bǔ)充單元804判斷是否^r測到位 于與未檢測到的特征點(diǎn)關(guān)于預(yù)定軸(特定軸)對(duì)稱的位置處的 特征點(diǎn)。即，如果未檢測到的特征點(diǎn)是特征點(diǎn)360，則單元804 判斷是否檢測到與特征點(diǎn)360關(guān)于穿過臉部區(qū)域中心(即圖28 所示的臉部位置302 )、作為中心軸(預(yù)定軸)的直線對(duì)稱的特 征點(diǎn)359。作為步驟S801中的判斷結(jié)果，如果檢測到位于與未檢測到 的特征點(diǎn)關(guān)于預(yù)定軸對(duì)稱的位置處的特征點(diǎn)，則在步驟S802 中，特征點(diǎn)補(bǔ)充單元804執(zhí)行未4企測到的該特征點(diǎn)的補(bǔ)充處理。在步驟S802中，如例如圖28所示，特征點(diǎn)補(bǔ)充單元8(M參 考臉部位置302,計(jì)算所檢測到的特征點(diǎn)359的相對(duì)坐標(biāo)(xl, yl )。然后，單元804使用臉部位置302 ( x， y)和相對(duì)坐標(biāo)(xl， yl),來計(jì)算坐標(biāo)(x+xl， y-yl),并將該坐標(biāo)設(shè)置為特征點(diǎn)360 的坐標(biāo)值。關(guān)于未檢測到的特征點(diǎn)363,單元804執(zhí)行與關(guān)于特 征點(diǎn)360所執(zhí)行的處理相同的處理，以計(jì)算特征點(diǎn)363的坐標(biāo)值。 以這種方式，對(duì)于幾乎沒有變化的特征點(diǎn)，使用所檢測到的特 征點(diǎn)來執(zhí)行補(bǔ)充處理。另一方面，作為步驟S801中的判斷結(jié)果，如果沒有檢測到 位于與未檢測到的特征點(diǎn)關(guān)于預(yù)定軸對(duì)稱的位置處的特征點(diǎn)， 則在步驟S803中，特征點(diǎn)補(bǔ)充單元804跳過未檢測到的特征點(diǎn) 的補(bǔ)充處理。如第 一 實(shí)施例的特征量提取單元154中 一樣，特征量提取單 元805提取與要進(jìn)行識(shí)別處理的圖像數(shù)據(jù)相關(guān)聯(lián)的特征量。此 后，單元805計(jì)算與要進(jìn)行識(shí)別處理的圖像數(shù)據(jù)相關(guān)聯(lián)的特征量和從預(yù)先準(zhǔn)備的無表情臉部圖像數(shù)據(jù)所獲得的特征量之間的差 值或者比率，從而計(jì)算要進(jìn)行識(shí)別處理的圖像數(shù)據(jù)的特征量的變化。如第 一實(shí)施例的權(quán)重設(shè)置單元155中 一樣，權(quán)重設(shè)置單元 806使用例如圖16A或圖16B所示的加權(quán)LUT1,對(duì)各臉部表情的 特征量進(jìn)行加權(quán)。如第 一 實(shí)施例的臉部表情判斷單元15 6中 一 樣，臉部表情判 斷單元807計(jì)算與各臉部表情相關(guān)聯(lián)的總分值，并將分值最高的 臉部表情判斷為要進(jìn)行識(shí)別處理的圖像數(shù)據(jù)的人的臉部表情。根據(jù)第三實(shí)施例的攝像裝置，當(dāng)存在未檢測到的特征點(diǎn)時(shí)， 在補(bǔ)充未檢測到的特征點(diǎn)之后執(zhí)行加權(quán)處理，從而圖像數(shù)據(jù)中 的人的臉部表情可以以高精度進(jìn)行識(shí)別處理。注意，如第一實(shí)施例中一樣，第三實(shí)施例對(duì)數(shù)字靜止照相 機(jī)應(yīng)用為攝像裝置100的例子的情況進(jìn)行了說明。例如，可以應(yīng) 用攝像機(jī)等。另外，可以通過計(jì)算機(jī)執(zhí)行預(yù)定程序，以在數(shù)據(jù) 庫中的運(yùn)動(dòng)圖像數(shù)據(jù)或靜止圖像數(shù)據(jù)中搜索預(yù)定臉部表情的臉 部圖像數(shù)據(jù)。第四實(shí)施例在下文中將參考附圖來詳細(xì)說明本發(fā)明的第四實(shí)施例。 除了數(shù)字信號(hào)處理器10 7的內(nèi)部布置以外，根據(jù)第四實(shí)施例 的攝像裝置(圖像處理設(shè)備)的布置與圖l所示的根據(jù)第一實(shí)施 例的攝像裝置的布置相同。即，本實(shí)施例采用圖30所示的數(shù)字 信號(hào)處理器407,來代替圖l所示的根據(jù)第一實(shí)施例的數(shù)字信號(hào) 處理器107。更具體地，第一實(shí)施例中(在第二和第三實(shí)施例中同樣) 的數(shù)字信號(hào)處理器執(zhí)行臉部表情識(shí)別處理。然而，第四實(shí)施例 的數(shù)字信號(hào)處理器407執(zhí)行稍后將要說明的個(gè)人認(rèn)證處理。除了用圖29所示的步驟S901和S902中的處理來代替圖2所示的步驟 S212和S213以外，根據(jù)第四實(shí)施例的攝像裝置(圖像處理設(shè)備) 的控制操作與圖2所示的根據(jù)第 一 實(shí)施例的攝像裝置的控制操作相同。圖29是示出根據(jù)第四實(shí)施例的攝像裝置(圖像處理設(shè)備) 100的控制操作的流程圖。注意，實(shí)現(xiàn)圖29所示的處理所需的程 序存儲(chǔ)在系統(tǒng)控制器112的內(nèi)部存儲(chǔ)器中，并在系統(tǒng)控制器112 的控制下執(zhí)行。在系統(tǒng)控制器112執(zhí)行圖2所示的步驟SS00到S"l中的處 理之后，在步驟S901中，它控制數(shù)字信號(hào)處理器407,來使用所拍攝的圖像數(shù)據(jù)執(zhí)行個(gè)人認(rèn)證處理。在步驟S902中，系統(tǒng)控制器1K判斷作為步驟S卯1中的個(gè) 人認(rèn)證處理的結(jié)果所判斷得到的人是不是預(yù)先設(shè)置的預(yù)定的 人。作為判斷結(jié)果，如果作為步驟S901中的個(gè)人認(rèn)證處理的結(jié) 果所判斷得到的人是預(yù)先設(shè)置的預(yù)定的人，則系統(tǒng)控制器112 執(zhí)行圖2所示的步驟S214至S217中的處理，然后，結(jié)束該流程 圖的處理。另一方面，作為步驟S902中的判斷結(jié)果，如果作為步驟 S901中的個(gè)人認(rèn)證處理的結(jié)果所判斷得到的人不是預(yù)先設(shè)置 的預(yù)定的人，則處理進(jìn)入步驟S217。如果在步驟S217中判斷為 自動(dòng)攝像操作將要結(jié)束，則該流程圖的處理結(jié)束。圖30是示出與要由第四實(shí)施例的數(shù)字信號(hào)處理器407所執(zhí) 行的個(gè)人認(rèn)證處理相關(guān)聯(lián)的功能布置的框圖。圖30所示的眼睛/嘴部/臉部檢測單元1 OOO通過對(duì)從A/D轉(zhuǎn) 換器105輸出的圖像數(shù)據(jù)(數(shù)字信號(hào))應(yīng)用預(yù)定處理，檢測基于 圖像數(shù)據(jù)的圖像中特定對(duì)象的臉部、眼睛和嘴部的位置。圖像標(biāo)準(zhǔn)化單元1001基于由眼睛/嘴部/臉部檢測單元1000所檢測到的眼睛、嘴部和臉部位置的信息，對(duì)圖像數(shù)據(jù)中的臉 部圖像數(shù)據(jù)中的臉部圖像大小和旋轉(zhuǎn)方向(方位)執(zhí)行標(biāo)準(zhǔn)化 處理。特征向量提取區(qū)域設(shè)置單元10 0 2使用由眼睛/嘴部/臉部抬r 測單元1000所檢測到的眼睛、嘴部和臉部位置的信息以及由圖 像標(biāo)準(zhǔn)化單元1001進(jìn)行標(biāo)準(zhǔn)化后的圖像數(shù)據(jù)，來設(shè)置用于提取 特征向量的各提取區(qū)域。特征向量提取單元1003使用由特征向量沖是取區(qū)域設(shè)置單元 10 0 2所設(shè)置的提取區(qū)域以及由圖像標(biāo)準(zhǔn)化單元10 01進(jìn)行標(biāo)準(zhǔn)化后的圖像數(shù)據(jù)，來提取特征向量。待認(rèn)證人限制單元1004基于特征向量提取單元1003的特征向量提取結(jié)果，來限制待認(rèn)證人的范圍。個(gè)人認(rèn)證單元1005使用由特征向量提取單元1003所提取的 特征向量，對(duì)由待認(rèn)證人限制單元10 0 4限制后的待認(rèn)證人應(yīng)用 個(gè)人i人i正處理。下面將詳細(xì)說明圖30所示的各單元。由于眼睛/嘴部/臉部檢測單元1000、圖j象標(biāo)準(zhǔn)化單元1001 、 特征向量提取區(qū)域設(shè)置單元1002以及特征向量提取單元1003執(zhí) 行與圖20所示的具有相同名稱的單元所執(zhí)行的處理相同的處 理，所以將不會(huì)給出它們的詳細(xì)說明。下面將詳細(xì)說明待認(rèn)證人限制單元10 04 。圖3 1是示出由待認(rèn)證人限制單元1004所執(zhí)行的待認(rèn)證人限 制處理的流程圖。在步驟S1000中，待認(rèn)證人限制單元1004判斷特征向量提 取單元1003是否提取了所有的特征向量。作為判斷結(jié)果，如果 特征向量提取單元1003提取了所有的特征向量，則在步驟 S1001中，單元1004選擇存儲(chǔ)在數(shù)據(jù)庫中的所有人作為待認(rèn)證人。另一方面，作為步驟S1000中的判斷結(jié)果，如果特征向量 提取單元1003沒有提取所有的特征向量(它沒有提取一些特征 向量)，則在步驟S1002中，待認(rèn)證人限制單元1004判斷未提取 到的特征向量的數(shù)量是否等于或小于預(yù)定值。作為步驟S1002中的判斷結(jié)果，如果未提取到的特征向量 的數(shù)量等于或小于預(yù)定值，則在步驟S1003中，待認(rèn)證人限制 單元1004執(zhí)行待認(rèn)證人限制處理。即，例如，當(dāng)不能從由特征 向量提取區(qū)域設(shè)置單元1002所設(shè)置的提取區(qū)域A中提取特征向 量時(shí)，單元10 0 4從預(yù)先準(zhǔn)備的數(shù)據(jù)庫中僅選擇在提取區(qū)域A以 外的提取區(qū)域中具有對(duì)個(gè)人認(rèn)證有效的特征的人。下面將參考 圖32來說明這種情況的實(shí)際例子。圖32示出佩戴太陽鏡并且嘴部附近留有胡須的人的臉部圖 像數(shù)據(jù)。注意，提取區(qū)域1101至1106是由特征向量提取區(qū)域設(shè) 置單元1002所設(shè)置的并用于提取特征向量的提取區(qū)域。圖33示出登記在數(shù)據(jù)庫中的已登記的人以及與這些人相對(duì)應(yīng)的關(guān)鍵:詞。當(dāng)不能從圖32所示的提取區(qū)域1101和1102中提取與眼睛區(qū) 域相關(guān)聯(lián)的特征向量時(shí)，待認(rèn)證人限制單元10 04將待認(rèn)證人限 制為預(yù)先準(zhǔn)備的數(shù)據(jù)庫中的在嘴部附近具有對(duì)個(gè)人認(rèn)證有效的 特征的人，例如，如圖32所示的在嘴部附近留有胡須的人等。 為了從數(shù)據(jù)庫中只選擇嘴部附近留有胡須的人，在登記人時(shí)將 圖33所示的關(guān)鍵詞"胡須"結(jié)合起來進(jìn)行登記。以這種方式， 可以容易地從數(shù)據(jù)庫中只選擇嘴部附近留有胡須的人。以這種方式，執(zhí)行圖31所示的步驟S1003中的待認(rèn)證人限 制處理。另一方面，作為圖31中的步驟S1002中的判斷結(jié)果，如果未提取到的特征向量的數(shù)量大于預(yù)定值，則在步驟S1004中，待認(rèn)證人限制單元1004跳過個(gè)人認(rèn)證處理。 下面將詳細(xì)說明個(gè)人認(rèn)證單元1005。如第二實(shí)施例中所述的方法中 一樣，個(gè)人認(rèn)證單元1005計(jì) 算來自為待認(rèn)證的某個(gè)人所準(zhǔn)備的多個(gè)圖像數(shù)據(jù)的相同區(qū)域的 特征向量。然后，單元1005計(jì)算所計(jì)算得到的特征向量的平均 值，以獲得平均特征向量。進(jìn)行主成分分析，并計(jì)算前k個(gè)本征向量，以確定它們的局部空 間。單元1005將由特征向量提取單元1003所提取的特征向量投 影到局部空間中，并基于它們的歐幾里德距離等來計(jì)算相似度。 然后，在已知的方法中，單元1005將與相似度總和最大的所登 記的圖像數(shù)據(jù)相對(duì)應(yīng)的人判斷為認(rèn)證出的人，該相似度是從特 征向量獲得的。注意，個(gè)人認(rèn)證方法可以使用本實(shí)施例的方法 之外的方法，并可以-使用歐幾里德距離之外的要素來計(jì)算相似 度。以這種方式，即使當(dāng)不能提取到預(yù)定特征向量時(shí)，如果所 提取到的特征向量包括對(duì)人進(jìn)行認(rèn)證所需的重要信息，則只有 具有作為關(guān)鍵詞的該信息的已登記的人被選擇，并進(jìn)行認(rèn)證處 理，從而實(shí)現(xiàn)對(duì)特定人的個(gè)人認(rèn)證。如上所述，即使當(dāng)沒有提 取到所有的特征向量時(shí)，也可以通過限制待認(rèn)證人的范圍，來 執(zhí)行對(duì)限制后的待認(rèn)證人的認(rèn)證處理。作為另 一種方法，不僅可以通過基于從所輸入的圖像數(shù)據(jù) 中所獲得的特征向量的提取結(jié)果來執(zhí)行待認(rèn)證人限制處理，而 且可以在改變所提取的特征向量的權(quán)重之后，來執(zhí)行認(rèn)證處理。 在改變特征向量的權(quán)重時(shí)，例如，使用預(yù)先準(zhǔn)備的LUT( LUT4 )。在這種情況下要使用的LUT4的生成方法中，當(dāng)存在未提取到的特征時(shí)，如在第一實(shí)施例中已經(jīng)說明的一樣，可以以與未 提取到的特征的數(shù)量相對(duì)應(yīng)的方式降低權(quán)重的總和，并根據(jù)未 提取到的特征以外的所提取的特征的重要等級(jí)來分配權(quán)重。例如，下面將對(duì)不能從圖32所示的^是取區(qū)域1101和1102中 提取特征向量的情況進(jìn)行說明。在這種情況下，在已登記的人 中只有嘴部附近留有胡須的人進(jìn)行認(rèn)證處理。然而，由于提取 區(qū)域1103至1106中的4是耳又區(qū)域1103和1104包4舌胡須，所以從這 些區(qū)域所提取的特征對(duì)于識(shí)別一個(gè)人很重要。因此，將提取區(qū) 域11 03和1104的權(quán)重設(shè)置為大于提取區(qū)域1105和1106的權(quán)重。 下面將參考流程圖來說明該加權(quán)處理。圖3 4是示出加權(quán)處理添加到由待認(rèn)證人限制單元10 0 4所執(zhí) 行的待認(rèn)證人限制處理(圖31)的處理的流程圖。在圖34中， 相同的步驟編號(hào)表示與圖31中的處理步驟相同的處理步驟。如圖31中一樣，在步驟S1000中，待認(rèn)證人限制單元1004 判斷特征向量提取單元1003是否提取了所有的特征向量。作為 判斷結(jié)果，如果特征向量提取單元1003提取了所有的特征向量， 則在步驟S1001中，單元1004選擇存儲(chǔ)在數(shù)據(jù)庫中的所有人作 為待認(rèn)證人。另一方面，作為步驟S1000中的判斷結(jié)果，如果特征向量 提取單元1003沒有提取到所有的特征向量(它沒有提取到一些 特征向量)，則如圖31中一樣，在步驟S1002中，待認(rèn)證人限制 單元1004判斷未提取到的特征向量的數(shù)量是否等于或小于預(yù)定值。作為步驟S1002中的判斷結(jié)果，如果未提取到的特征向量 的數(shù)量等于或小于預(yù)定值，則在步驟S1101中，待認(rèn)證人限制 單元1004使用上述LUT4等，對(duì)由特征向量提取單元1003所檢測 到的特征向量進(jìn)行加權(quán)。然后，在步驟S1102中，單元1004執(zhí)行待認(rèn)證人限制處理。另一方面，作為步驟S1002中的判斷結(jié)果，如果未提取到的特征向量的數(shù)量大于預(yù)定值，則如圖31中一樣，在步驟S1004 中，待認(rèn)證人限制單元1004跳過個(gè)人認(rèn)證處理。注意，在個(gè)人認(rèn)證單元執(zhí)行認(rèn)證處理時(shí)，相似度計(jì)算方法 使用在第二實(shí)施例中所述的方法等。如上所述，即使當(dāng)不能提取到預(yù)定特征向量時(shí)，也可以對(duì) 具有包括對(duì)他們進(jìn)行認(rèn)證所需的重要信,包、的所提取的特征向量 的人應(yīng)用個(gè)人認(rèn)證處理。在本實(shí)施例的攝像裝置中，當(dāng)沒有提 取到所有的特征向量時(shí)，改變所提取的特征向量的權(quán)重，以限 制待認(rèn)證人的范圍，從而允許對(duì)限制后的人進(jìn)行認(rèn)證處理。當(dāng)不能提取到某些特征向量時(shí)，可以在使用用于個(gè)人認(rèn)證 的L U T 5簡單地改變所提取的特征向量的權(quán)重之后，執(zhí)行認(rèn)證處 理，而不執(zhí)行用于限制待認(rèn)證人的處理。在這種情況下，在L U T 5 的生成方法中，根據(jù)未提取到的特征的數(shù)量，來降低權(quán)重的總 和，并以與所 一是取的特征的重要等級(jí)相對(duì)應(yīng)的方式分配這些#又重。在這種情況下，權(quán)重的總和可能不會(huì)根據(jù)未提取到的特征 的數(shù)量而減小。圖35是僅執(zhí)行所提取的特征向量的加權(quán)處理，而不執(zhí)行圖 34所示的處理中的待認(rèn)證人限制處理的處理的流程圖。更具體 地，當(dāng)不能提取到某些特征向量時(shí)，使用預(yù)先準(zhǔn)備的LUT5來改 變其他所提取的特征向量的權(quán)重，并對(duì)所有的待認(rèn)證人應(yīng)用認(rèn) 證處理。相同的步驟編號(hào)代表與圖3 4中的處理步驟相同的處理 步驟。將對(duì)各步驟給出說明。如圖34(圖31)中一樣，在步驟S1000中，待認(rèn)證人限制 單元1004判斷特征向量提取單元1003是否提取了所有的特征向 量。作為判斷結(jié)果，如果特征向量提取單元1003提取了所有的特征向量，則在步驟S1001中，單元1004選擇存儲(chǔ)在數(shù)據(jù)庫中 的所有的人作為待認(rèn)證人。另一方面，作為步驟S1000中的判斷結(jié)果，如果特征向量 提取單元1003沒有提取到所有的特征向量(它沒有提取到某些 特征向量)，則如圖31中一樣，在步驟S1002中，待認(rèn)證人限制 單元10 0 4判斷未提取到的特征向量的數(shù)量是否等于或小于預(yù)定 值。作為步驟S1002中的判斷結(jié)果，如果未提取到的特征向量 的數(shù)量等于或小于預(yù)定值，則在步驟S1201中，待認(rèn)證人限制 單元1004使用上述LUT5等，對(duì)由特征向量拔:取單元1003所檢測 到的特征向量進(jìn)行加權(quán)。即，如圖36所示，當(dāng)(由于遮擋等原 因)不能檢測到提取區(qū)域1102時(shí)，單元1004使用用于個(gè)人認(rèn)證量進(jìn)行加權(quán)。在圖35的情況下，然后，處理進(jìn)入步驟S1001, 以選擇存儲(chǔ)在數(shù)據(jù)庫中的所有的人作為待認(rèn)證人。另一方面，作為步驟S1002中的判斷結(jié)果，如果未提取到 的特征向量的數(shù)量大于預(yù)定值，則如圖31中一樣，在步驟S1004 中，待認(rèn)證人限制單元1004跳過個(gè)人認(rèn)證處理。注意，可以使 用如在第二實(shí)施例的臉部表情識(shí)別處理中所述的相似度，或者使用其他方法，來實(shí)現(xiàn)個(gè)人認(rèn)證方法。根據(jù)第四實(shí)施例的攝像裝置，即使當(dāng)沒有提取到所有的特 征向量時(shí)，也可以通過改變所提取的特征向量的權(quán)重，來以高 精度對(duì)圖像數(shù)據(jù)中的人執(zhí)行認(rèn)證處理。注意，如在其他實(shí)施例中一樣，第四實(shí)施例對(duì)將數(shù)字靜止 照相機(jī)應(yīng)用為攝像裝置100的例子的情況進(jìn)行了說明。例如，可 以應(yīng)用攝像機(jī)等。另外，可以通過計(jì)算機(jī)執(zhí)行預(yù)定的程序，以 在數(shù)據(jù)庫中的運(yùn)動(dòng)圖像數(shù)據(jù)或靜止圖像數(shù)據(jù)中搜索預(yù)定人的臉部圖像數(shù)據(jù)。在根據(jù)上述實(shí)施例的攝像裝置(圖形處理設(shè)備)100中，即 使當(dāng)執(zhí)行識(shí)別處理(臉部表情識(shí)別或者個(gè)人認(rèn)證)時(shí)存在一些 未提取到的特征時(shí)，基于這些特征來對(duì)所提取的特征重新進(jìn)行 加權(quán)，以實(shí)現(xiàn)識(shí)別處理?；蛘弋?dāng)存在一些未^是取到的特征時(shí)， 使用所提取的特征補(bǔ)充未提取到的特征，然后，在加權(quán)之后執(zhí) 行識(shí)別處理(臉部表情識(shí)別或者個(gè)人認(rèn)證)。利用該處理，即佳L 當(dāng)存在一些未提取到的特征時(shí)，也可以執(zhí)行高精度的識(shí)別處理 (人的臉部表情識(shí)別或者個(gè)人認(rèn)證)。另外，關(guān)于人的預(yù)定臉部表情，通常只有預(yù)定的特征或區(qū) 域變化較大。例如，在微笑臉部表情的情況下，靠近嘴部區(qū)域 的部分變化較大。另外，關(guān)于特定人的認(rèn)證，認(rèn)證中所使用的 并構(gòu)成臉部的特定部分或區(qū)域通常變成從其他人中區(qū)分給定人 所需的最重要的特征。例如，對(duì)于嘴部附近留有胡須的人，嘴 部附近的特征，而不是其他特征，通常變成用于從其他人中區(qū) 分他的最重要的特征。因此，在根據(jù)上述實(shí)施例的攝像裝置(圖像處理設(shè)備)100中，即使當(dāng)存在一些未提取到的特征時(shí)，限制要判斷的臉部表情或者待認(rèn)證的人，以執(zhí)行高精度的識(shí)別處理 (人的臉部表情識(shí)別或者個(gè)人認(rèn)證)。當(dāng)運(yùn)行存儲(chǔ)在計(jì)算機(jī)的ROM、 RAM等中的程序時(shí)，可以實(shí) 現(xiàn)圖l、圖3、圖20、圖25和圖30所示的、構(gòu)成根據(jù)上述實(shí)施例 的攝像裝置(圖像處理設(shè)備)IOO的單元，以及圖2、圖14、圖 15、圖17、圖23、圖24、圖26、圖29、圖31、圖34和圖35中的、 示出攝像裝置10 0中的圖像處理方法的各步驟。該程序以及記錄 該程序的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括在本發(fā)明中。更具體地，通過將該程序記錄在諸如CD-ROM等的存儲(chǔ)介 質(zhì)上，或者通過各種傳輸介質(zhì)，將該程序提供給計(jì)算機(jī)。作為記錄該程序的存^諸介質(zhì)，除CD-ROM外，還可以-使用軟盤、硬_ 盤、磁帶、磁光盤、非易失性存儲(chǔ)卡等。另一方面，作為該程 序的傳輸介質(zhì)，可以使用用于通過將程序信息作為載波發(fā)送以 提供該程序信息的計(jì)算機(jī)網(wǎng)絡(luò)(諸如互聯(lián)網(wǎng)的LAN、 WAN,無 線通信網(wǎng)絡(luò)，等)系統(tǒng)中的通信介質(zhì)。作為這種情況下的通信 介質(zhì)，可以使用諸如光纖等的有線線路、無線線路等。不僅在當(dāng)計(jì)算機(jī)執(zhí)行所提供的程序時(shí)實(shí)現(xiàn)了根據(jù)實(shí)施例的 攝像裝置100的功能的情況下，而且在通過與OS (操作系統(tǒng))、 其他應(yīng)用軟件等協(xié)作的程序?qū)崿F(xiàn)了根據(jù)實(shí)施例的攝像裝置10 0 的功能的情況下，或者在當(dāng)計(jì)算機(jī)的功能擴(kuò)展板或單元執(zhí)行所 提供的程序的全部或部分處理時(shí)實(shí)現(xiàn)了根據(jù)實(shí)施例的攝像裝置 100的功能的情況下，這樣的程序包括在本發(fā)明中。雖然已經(jīng)參考示例性實(shí)施例對(duì)本發(fā)明進(jìn)4亍了說明，但是應(yīng) 當(dāng)理解為本發(fā)明并不限于所公開的示例性實(shí)施例。所附權(quán)利要 求的范圍符合最寬的解釋，以包括所有這樣的修改以及等同結(jié) 構(gòu)和功能。
權(quán)利要求
1.一種圖像處理設(shè)備，包括特征提取單元，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多個(gè)預(yù)定的特征；權(quán)重設(shè)置單元，用于當(dāng)存在未被所述特征提取單元提取到的特征時(shí)，為由所述特征提取單元所提取的特征設(shè)置權(quán)重；以及識(shí)別處理單元，用于基于由所述權(quán)重設(shè)置單元進(jìn)行加權(quán)后的特征，執(zhí)行所述對(duì)象的識(shí)別處理。
2. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所 述對(duì)象是人，并且所述圖像處理設(shè)備還包括臉部檢測單元，所 述臉部檢測單元用于從所述圖像數(shù)據(jù)檢觀'J所述對(duì)象的臉部，其中，所迷特征提取單元從所述圖像數(shù)據(jù)提取由所述臉部 檢測單元所檢測到的所述對(duì)象的臉部上的多個(gè)預(yù)定的特征。
3. 根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其特征在于，還 包括標(biāo)準(zhǔn)化單元，用于對(duì)由所述臉部檢測單元所纟全測到的所述 對(duì)象的臉部的大小和方向進(jìn)行標(biāo)準(zhǔn)化，其中，所述特征提取單元從所述圖像數(shù)據(jù)提取由所述標(biāo)準(zhǔn) 化單元進(jìn)行標(biāo)準(zhǔn)化后的所述對(duì)象的臉部上的多個(gè)預(yù)定的特征。
4. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，還 包括區(qū)域設(shè)置單元，用于對(duì)所述圖像數(shù)據(jù)設(shè)置與待由所述特征 提取單元提取的多個(gè)特征相關(guān)聯(lián)的區(qū)域，其中，所述特征提取單元從由所述區(qū)域設(shè)置單元所設(shè)置的 所述區(qū)域提取所述多個(gè)特征。
5. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所 述特征提取單元計(jì)算與特征相關(guān)聯(lián)的變化，作為關(guān)于所述對(duì)象 的特征。
6. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，所述對(duì)象是人，并且所述識(shí)別處理單元執(zhí)行所述對(duì)象的臉部表情 的識(shí)別處理和所述對(duì)象的個(gè)人認(rèn)證之一 ，作為所述識(shí)別處理。
7. 根據(jù)權(quán)利要求l所述的圖像處理設(shè)備，其特征在于，還 包括存儲(chǔ)單元，用于基于所述識(shí)別處理單元的識(shí)別處理結(jié)果， 存儲(chǔ)所述圖像數(shù)據(jù)。
8. —種圖像處理設(shè)備，包括特征提取單元，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多 個(gè)預(yù)定的特征；限制單元，用于當(dāng)存在未被所述特征提取單元提取到的特 征時(shí)，基于未提取到的特征，限制識(shí)別處理的范圍；以及識(shí)別處理單元，用于基于由所述限制單元限制后的所述范 圍，執(zhí)行所述對(duì)象的識(shí)別處理。
9. 一種圖像處理設(shè)備，包括特征提取單元，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多 個(gè)預(yù)定的特征；補(bǔ)充單元，用于當(dāng)在多個(gè)特征中存在未被所述特征提取單 元提取到的特征時(shí)，基于由所述特征提取單元所提取的特征的 信息，補(bǔ)充未4是取到的特征；以及識(shí)別處理單元，用于基于由所述補(bǔ)充單元所補(bǔ)充的未提取 到的特征以及由所述特征提取單元所提取的特征，執(zhí)行所述對(duì) 象的識(shí)別處理。
10. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其特征在于，當(dāng) 存在未被所述特征提取單元提取到的特征時(shí)，所述補(bǔ)充單元基 于由所述特征提取單元所提取的并位于與未提取至'J的特征關(guān)于 所述對(duì)象的特定軸對(duì)稱的位置處的特征的信息，補(bǔ)充未提取到 的特征。
11. 一種圖像處理方法，包括特征提取步驟，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多 個(gè)預(yù)定的特征；權(quán)重設(shè)置步驟，用于當(dāng)存在未在所述特征提取步驟中提取到的特征時(shí)，為在所述特征提取步驟中所提取的特征設(shè)置權(quán)重； 以及識(shí)別處理步驟，用于基于在所述權(quán)重設(shè)置步驟中進(jìn)行加權(quán) 后的特征，執(zhí)行所述對(duì)象的識(shí)別處理。
12. —種圖像處理方法，包括特征提取步驟，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多 個(gè)預(yù)定的特征；限制步驟，用于當(dāng)存在未在所述特征提取步驟中提取到的 特征時(shí)，基于未提取到的特征，限制識(shí)別處理的范圍；以及識(shí)別處理步驟，用于基于在所述限制步驟中限制后的范圍， 執(zhí)行所述對(duì)象的識(shí)別處理。
13. —種圖像處理方法，包括特征提取步驟，用于從所輸入的圖像數(shù)據(jù)提取對(duì)象中的多 個(gè)預(yù)定的特征；補(bǔ)充步驟，用于當(dāng)在多個(gè)特征中存在未在所述特征提取步 驟中提取到的特征時(shí)，基于在所述特征提取步驟中所提取的特 征的信息，補(bǔ)充未提取到的特征；以及識(shí)別處理步驟，用于基于在所述補(bǔ)充步驟中所補(bǔ)充的未提 取到的特征以及在所述特征提取步驟中所提取的特征，執(zhí)行所 述對(duì)象的識(shí)別處理。
全文摘要
本發(fā)明提供了一種圖像處理設(shè)備和圖像處理方法。特征點(diǎn)檢測單元(153)和特征量提取單元(154)從所輸入的圖像數(shù)據(jù)提取對(duì)象的多個(gè)特征。當(dāng)在多個(gè)特征中存在未提取到的特征時(shí)，權(quán)重設(shè)置單元(155)為所提取的特征設(shè)置權(quán)重。臉部表情判斷單元(156)基于由所述權(quán)重設(shè)置單元(155)進(jìn)行加權(quán)后的特征，執(zhí)行所述對(duì)象的識(shí)別處理。
文檔編號(hào)G06K9/46GK101236600SQ20081000476
公開日2008年8月6日 申請(qǐng)日期2008年1月30日 優(yōu)先權(quán)日2007年1月30日
發(fā)明者森克彥, 真繼優(yōu)和, 金田雄司 申請(qǐng)人:佳能株式會(huì)社