專利名稱：攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及數(shù)碼相機、數(shù)碼攝像機等的攝像裝置。
背景技術(shù)：
在數(shù)碼相機或數(shù)碼攝像機中，由于從攝影圖像中檢測人物的面部的處 理已經(jīng)被實用化，因此提出一種關(guān)注所檢測出的面部、以執(zhí)行照相機控制 或各種應(yīng)用程序的方法。雖然有時從攝影圖像中檢測出多個面部，但是此 時可以從多個面部中設(shè)定應(yīng)關(guān)注的面部并對該應(yīng)關(guān)注的面部執(zhí)行照相機 控制或各種應(yīng)用程序。將該應(yīng)關(guān)注的面部稱為優(yōu)先面部。
例如，在具備面部檢測功能的以往的數(shù)碼相機中，在從一枚攝影圖像 (靜止圖像)中檢測出多個面部的情況下，基于攝影圖像的中心位置與攝 影圖像上的面部的位置之間的距離或攝影圖像上的面部的大小來設(shè)定優(yōu) 先面部，并以與該優(yōu)先面部對焦的方式執(zhí)行自動調(diào)焦控制。
在考慮運動圖像的情況下，要求在某一時刻， 一旦某個面部被設(shè)定 為優(yōu)先面部后，只要檢測出該面部、就將該面部繼續(xù)識別為優(yōu)先面部。因 此，在進行關(guān)注運動圖像上的優(yōu)先面部的照相機控制等的數(shù)碼相機中，通 過進行面部的識別處理來繼續(xù)跟蹤優(yōu)先面部。作為該識別處理， 一般利用 基于圖像上的面部的位置信息的識別處理。基于位置信息的識別處理是基 于圖像上的面部的時間方向上的位置變化具有連續(xù)性這一原理而進行的。
參照圖19 (a)及(b)，簡單說明基于位置信息的識別處理。考慮以 下的情況通過第一時刻的攝影而得到圖19 (a)所示的圖像901后，通 過第二時刻的攝影而得到圖19 (b)所示的圖像902。第一及第二時刻間 的時間長度，例如與運動圖像攝影時的幀周期一致。通過與圖像901及 卯2對應(yīng)的面部檢測處理，從圖像901中提取面部區(qū)域911及912，而從 圖像902中提取面部區(qū)域912及922。此時，在基于位置信息的識別處理 中，通過在圖像901及902之間比較面部區(qū)域的位置，將位置相近似的面部區(qū)域的面部判斷為同一面部，從而進行面部的識別。在圖19 (a)及(b)中所示的例子中，判斷為面部區(qū)域911及912所包含的面部是同一面部，并且面部區(qū)域921及92所包含的面部是同一面部。
雖然也存在利用面部識別技術(shù)并跟蹤特定的面部的技術(shù)，但是在面部識別技術(shù)中，需要從面部的圖像中提取個人的特征、以跟蹤特定的面部這樣復(fù)雜的處理。與此相對，僅基于上述的位置信息的識別處理由于可利用簡單的處理來跟蹤特定的面部，因此是有益的。
雖然如上所述可進行優(yōu)先面部的跟蹤，但是有時由什么原因而引起作為優(yōu)先面部所應(yīng)捕捉的關(guān)注面部暫時不能檢測。例如，在由于關(guān)注面部位于其他被攝物的后面而從照相機中看不到關(guān)注面部的情況下，即在發(fā)生了關(guān)注面部的遮蔽的情況下，在發(fā)生了該遮蔽的期間內(nèi)不能檢測關(guān)注面部。參照圖20 (a) ~ (c),說明此時所執(zhí)行的以往的識別處理。
圖20 (a)、 (b)及(c)的圖像950、 960及970分別是由第一、第二及第三時刻的攝影而得到的圖像。第一時刻之后訪問第二時刻，第二時刻之后訪問第三時刻。在第一、第二及第三時刻，在攝影相機的攝影區(qū)域內(nèi)存在兩個面部FC,及FC2。從圖像950中提取面部Fd及FC2對應(yīng)的面部區(qū)域951及952，在第一時刻，面部FC,被設(shè)定為優(yōu)先面部。在圖20(a) (c)(及后述的圖21 (a) ~ (c))中用粗實線包圍的面部表示優(yōu)先面部。
在第二時刻，由于被攝物的移動，面部FC,被隱藏到面部FC2的后面，因此從第二時刻的圖像960中無法檢測出面部Fd。符號962是從圖像960中提取的面部FC2的面部區(qū)域。面部區(qū)域962的位置接近在圖像960的最前面所得到的攝影圖像上的優(yōu)先面部的面部區(qū)域的位置(例如，面部區(qū)域951的位置)。還有，從圖像960中只能檢測到一個面部區(qū)域。因此，在第二時刻，代替面部FCp與面部區(qū)域962對應(yīng)的面部FC2被識別為優(yōu)先面部。
由于其后的被攝物的移動，從第三時刻的圖像970中撿測面部FC,及FC2,從圖像970中提取面部FC,及FC2的面部區(qū)域971及972。然而，由于雖然用戶關(guān)注的面部是面部FCp但是在第二時刻優(yōu)先面部從面部FC,遷移為面部FC2，故通過第二及第三時刻間的識別處 ，圖像970的優(yōu)先面部一直為面部FC2。
在圖20 (a) ~ (c)對應(yīng)的例子中，由于面部FC,被隱藏到面部FC2的后面，所以暫時不能檢測應(yīng)成為優(yōu)面部的面部FQ，但是即使在面部FC/暫時移到照相機的攝影區(qū)域外(視野外)的狀況下，也產(chǎn)生同樣的現(xiàn)象。參照圖21 (a) ~ (c)對與該狀況對應(yīng)的以往的優(yōu)先面部的設(shè)定方法進行說明。
圖21 (a)、 (b)及(c)的圖像950a、 960a及970a分別是由第一、第二及第三時刻的攝影所得到的圖像。從圖像950a中提取面部FC,及FC2的面部區(qū)域951a、 952a，在第一時刻，面部FC,被設(shè)定為優(yōu)先面部。若通過第一及第二時刻間的面部Fd的移動等，以不能檢測面部FC,的程度，面部FC,的全部或部分移到照相機的攝影區(qū)域外，則從圖像960a中無法檢測出面部FC,。此時，若從圖像960a中檢測面部FC2并提取面部FC2的面部區(qū)域962a，則照相機取代面部FC,而以面部FC2作為優(yōu)先面部進行重新設(shè)定。通過其后的面部FC,的移動或照相機的移動鏡頭等，即使在第三時刻從圖像970a檢測面部FC,及FC2并提取這些面部區(qū)域971a及972a，通過第二及第三時刻間的識別處理，圖像970a的優(yōu)先面部也一直為面部FC2。
由此，在暫時不能檢測作為優(yōu)先面部所應(yīng)捕捉的關(guān)注面部時，若利用與檢測關(guān)注面部的期間相同條件單一地執(zhí)行識別處理，則有時與關(guān)注面部不同的面部被設(shè)定為優(yōu)先面部。此時，不能繼續(xù)對關(guān)注面部進行照相機控制等。

發(fā)明內(nèi)容
本發(fā)明相關(guān)的攝像裝置具備攝像部，其通過反復(fù)攝影而取得在時間
序列方向上排列多個輸入圖像所形成的輸入圖像列；面部檢測部，其基于
所述輸入圖像列的圖像數(shù)據(jù)，從各輸入圖像中檢測人物的面部，并輸出表
示圖像上的檢測面部的位置的位置信息；優(yōu)先面部設(shè)定部，其從由所述面部檢測部所檢測的一個以上的面部中設(shè)定優(yōu)先面部；識別部，其基于由所述面部檢測部所檢測的面部的位置信息，在各輸入圖像內(nèi)探索所述優(yōu)先面部，并將所述優(yōu)先面部與其他的面部進行區(qū)別、檢測；和重新設(shè)定部，其由所述識別部從所述優(yōu)先面部的設(shè)定后得到的第一輸入圖像中能檢測優(yōu)先面部、而在由所述識別部從所述第一輸入圖像之后得到的第二輸入圖像中不能檢測所述優(yōu)先面部時，保持含有所述第一輸入圖像上的所述優(yōu)先面部的位置信息的保持信息，并利用所述保持信息執(zhí)行所述優(yōu)先面部的重新設(shè)定處理，其特征在于，所述重新設(shè)定部在所述重新設(shè)定處理中，基于所述保持信息和所述第二輸入圖像之后得到的第三輸入圖像上的面部的位置信息，利用與所述識別部的所述優(yōu)先面部的探索條件不同的探索條件，在所述第三輸入圖像內(nèi)探索作為優(yōu)先面部而應(yīng)重新設(shè)定的重新設(shè)定面部。
具體地說，例如，在由所述識別部檢測出所述優(yōu)先面部且在時間上連續(xù)的兩枚輸入圖像由第四及四五輸入P像構(gòu)成，并在第四輸入圖像的取得后取得所述第五輸入圖像的情況下，所述識別部對所述第五輸入圖像設(shè)定以所述第四輸入圖像上的所述優(yōu)先面部的位置為基準的第一探索范圍，在所述第一探索范圍內(nèi)進行所述第五輸入圖像上的所述優(yōu)先面部的探索，另一方面，所述重新設(shè)定部對所述第三輸入圖像設(shè)定以所述第一輸入圖像上的所述優(yōu)先面部的位置為基準的第二探索范圍，在所述第二探索范圍內(nèi)進行所述第三輸入圖像上的所述重新設(shè)定面部的探索，所述第二探索范圍的大小比所述第一探索范圍的大小還大。
并且，例如，所述重新設(shè)定部禁止將由所述第一輸入圖像檢測出的所述優(yōu)先面部以外的面部作為所述重新設(shè)定面部進行探索。
更具體地說，例如，所述識別部基于包含關(guān)注輸入圖像且在時間上連續(xù)的輸入圖像上的所述位置信息，按照每個面部進行由所述面部檢測部所檢測的面部的識別，根據(jù)該識別來判斷從所述關(guān)注輸入圖像中檢測到的面部是否是在所述關(guān)注輸入圖像中新檢測出的面部或者是否是在比所述關(guān)注輸入圖像更靠前的輸入圖像中檢測出的面部，所述重新設(shè)定部基于所述判斷的結(jié)果進行所述重新設(shè)定處理，以便將由所述面部檢測部從所述第三輸入圖像的所述第二探索范圍內(nèi)檢測的面部內(nèi)的從所述第二輸入圖像中檢測不出的面部、且在所述第三輸入圖像中新檢測出的面部作為所述重新設(shè)定面部進行探索。
另外，例如，該攝像裝置還具備移動檢測部，其檢測不同的輸入圖像間的優(yōu)先面部的移動，所述重新設(shè)定部按照在由所述識別部檢測出優(yōu)先面部期間內(nèi)所述優(yōu)先面部的移動，使所述第二探索范圍的形狀可變。
另外，例如所述保持信息中含有表示所述第一輸入圖像上的所述優(yōu)先
面部的特征的附加信息，所述重新設(shè)定部不僅基于所述優(yōu)先面部的位置信
息也基于所述附加信息來執(zhí)行所述重新設(shè)定處理。
本發(fā)明的意義或效果根據(jù)以下所示的實施方式的說明可以明顯地看
出。然而，以下的實施方式只是本發(fā)明的一個實施方式，本發(fā)明以及各構(gòu)
成要件的術(shù)語的意義并不限定于以下的實施方式中所記載的內(nèi)容。


圖1是本發(fā)明的實施方式相關(guān)的攝像裝置的整體框圖。
圖2是圖1的攝像部的內(nèi)部構(gòu)成圖。
圖3是圖1的攝像裝置中固有的面部處理組件的內(nèi)部框圖。圖4 (a) (c)是用于說明利用圖3的面部跟蹤部所執(zhí)行的識別處理的內(nèi)容的圖。
圖5是用于說明利用圖3的面部跟蹤部所執(zhí)行的識別處理的內(nèi)容的圖。
圖6是表示圖3的面部信息管理表的數(shù)據(jù)構(gòu)造的圖。圖7是表示面部區(qū)域的坐標值的圖。
圖8是用于說明圖3的優(yōu)先面部設(shè)定部執(zhí)行的優(yōu)先面部的設(shè)定方法的圖。
圖9是用于說明圖3的優(yōu)先面部設(shè)定部執(zhí)行的其他優(yōu)先面部的設(shè)定方法的圖。
圖10是用于說明圖3的優(yōu)先面部設(shè)定部執(zhí)行的又一優(yōu)先面部的設(shè)定方法的圖。
圖11是關(guān)注優(yōu)先面部的跟蹤的圖1的攝像裝置的動作流程圖。
圖12 (a) (e)是表示本發(fā)明的實施方式相關(guān)的兩個面部的位置的時間變化和優(yōu)先面部的設(shè)定的形態(tài)的圖。
圖13 (a) (e)是表示與圖12 (a) ~ (e)對應(yīng)的各時刻的面部信息管理表的數(shù)據(jù)內(nèi)容的圖。
圖14是表示關(guān)注的面部移到重新探索范圍外的形態(tài)的圖。圖15是表示本發(fā)明的實施方式的第一應(yīng)用例相關(guān)的優(yōu)先面部的重新探索范圍的圖。
圖16是表示面部的傾斜度的意義的圖。
圖17 (a) (c)是表示正臉、斜臉及側(cè)臉的意義的圖。
圖18 (a) ~ (e)是表示本發(fā)明的實施方式相關(guān)的兩個面部的位置的
時間變化和優(yōu)先面部的設(shè)定的形態(tài)的圖。
圖19 (a)及(b)是用于說明現(xiàn)有技術(shù)相關(guān)的識別處理的內(nèi)容的圖。圖20 (a) (c)是表示以往的識別處理的執(zhí)行時所觀測的優(yōu)先面部
的移動的形態(tài)的圖。
圖21 (a) ~ (c)是表示以往的識別處理的執(zhí)行時所觀測的優(yōu)先面部
的移動的其他形態(tài)的圖。
具體實施例方式
以下，參照附圖對本發(fā)明的實施方式進行具體說明。在所參照的各圖中，對同一部分添加同一符號，作為原則省略同一部分相關(guān)的重復(fù)的說明。
圖1是本發(fā)明的實施方式相關(guān)的攝像裝置1的整體框圖。攝像裝置1，例如是數(shù)碼攝像機。攝像裝置1可攝影運動圖像及靜止圖像，并且在運動圖像攝影中可同時攝影靜止圖像。
攝像裝置1具備攝像部11、 AFE (Analog Front End) 12、視頻信號處理部13、話筒14、聲音信號處理部15、壓縮處理部16、 DRAM(DynamicRandom Access Memory)或SDRAM (Synchronous Dynamic RandomAccess Memory)等的內(nèi)部存儲器17、 SD (Secure Digital)卡或磁盤等的外部存儲器18、擴展處理部19、視頻輸出電路20、聲音輸出電路21、TG (定時信號發(fā)生器)22、 CPU (Central Processing Unit) 23、總線24、總線25、操作部26、顯示部27和揚聲器28。操作部26具有錄像按鈕26a、快門按鈕26b及操作鍵26c等。攝像裝置1內(nèi)的各部分借助總線24及25進行各部分間的信號(數(shù)據(jù))的交換。
TG22生成用于控制攝像裝置1整體的各動作的時間的時間控制信號，并將所生成的時間控制信號提供給攝像裝置1內(nèi)的各部分。時間控制信號包含垂直同步信號Vsync和水平同步信號Hsync。 CPU23總體控制 攝像裝置l內(nèi)的各部分的動作。操作部26接受用戶的操作。對操作部26 的操作內(nèi)容被傳達到CPU23。攝像裝置1內(nèi)的各部分根據(jù)需要在信號處 理時將各種數(shù)據(jù)(數(shù)字信號)暫時存儲于內(nèi)部存儲器17。
圖2是圖1的攝像部11的內(nèi)部構(gòu)成圖。通過在攝像部11中利用彩色 濾波器等而使攝像裝置1構(gòu)成為能通過攝影來生成彩色圖像。
攝像部11具有光學(xué)系統(tǒng)35、光圈32、攝像元件33和驅(qū)動器34。光 學(xué)系統(tǒng)35構(gòu)成為具備包括變焦透鏡30及聚焦透鏡31的多枚透鏡。變焦 透鏡30及聚焦透鏡31可在光軸方向上移動。
驅(qū)動部34基于來自CPU23的控制信號，通過控制變焦透鏡30及聚 焦透鏡31的各位置及光圈32的開度，從而控制攝像部11的焦距(視場 角)及焦點位置及向攝像元件33的入射光量。來自被攝物的入射光借助 構(gòu)成光學(xué)系統(tǒng)35的各透鏡及光圈32而入射到攝像元件33。構(gòu)成光學(xué)系 統(tǒng)35的各透鏡使被攝物的光學(xué)像在攝像元件33上成像。TG22生成用于 驅(qū)動同步于上述時間控制信號且用于驅(qū)動攝像元件33的驅(qū)動脈沖，并將 該驅(qū)動脈沖提供給攝像元件33。
攝像元件33例如是由CCD (Charge Coupled Devices)或CMOS (Complementary Metal Oxide Semiconductor)圖像傳感器等構(gòu)成的固體 攝像元件。攝像元件33對經(jīng)由光學(xué)系統(tǒng)35及光圈32而入射的光學(xué)像進 行光電變換，并向AFE12輸出由該光電變換得到的電信號。更具體地說， 攝像元件33具備二維排列成矩陣狀的多個受光像素，在各攝影中，各受 光像素蓄積與曝光時間相對應(yīng)的電荷量的信號電荷。來自具有與所蓄積的 信號電荷的電荷量成正比的大小的各受光像素的電信號，按照來自TG22 的驅(qū)動脈沖被依次輸出到后級的AFE12中。在入射到光學(xué)系統(tǒng)35中的光 學(xué)像相同且光圈32的開度相同的情況下，來自攝像元件33的電信號的大 小(強度)與上述曝光時間成正比地增大。
AFE12對由攝像元件33輸出的模擬信號進行放大，并在將所放大的 模擬信號變化為數(shù)字信號之后輸出到視頻信號處理部13。 AFE12中的信 號放大的放大幅度由CPU23控制。視頻信號處理部13對由AFE12的輸 出信號所表示的圖像實施各種圖像處理，并生成圖像處理后的圖像相關(guān)的
1視頻信號。視頻信號由表示圖像的亮度的亮度信號Y和表示圖像的顏色 的色差信號U及V構(gòu)成。
話筒14將攝像裝置1的周邊聲音變換為模擬的聲音信號，聲音信號 處理部15將該模擬的聲音信號變換為數(shù)字的聲音信號。
壓縮處理部16利用規(guī)定的壓縮方式壓縮來自視頻信號處理部13的視 頻信號。在運動圖像或靜止圖像的攝影或記錄時，所壓縮的視頻信號被記 錄于外部存儲器18。另外，壓縮處理部16利用規(guī)定的壓縮方式壓縮來自 聲音信號處理部15的聲音信號。在運動圖像的攝影及記錄時，來自視頻 信號處理部13的視頻信號和來自聲音處理部15的聲音信號，在壓縮處理 部16中一邊在時間上相互關(guān)聯(lián)一邊被壓縮，壓縮后的信號被記錄于外部 存儲器18。
錄像按鈕26a是用于指示運動圖像的攝影或記錄的開始/結(jié)束的按鈕 開關(guān)，快門按鈕26b是用于指示靜止圖像的攝影或記錄的按鈕開關(guān)。
在攝像裝置1的動作模式中含有可攝影運動圖像及靜止圖像的攝影 模式和在顯示部27中再生顯示外部存儲器18所存儲的運動圖像及靜止圖 像的再生模式。按照操作鍵26c對應(yīng)的操作，實施各模式間的遷移。在攝 影模式中，在規(guī)定的幀周期內(nèi)依次進行攝影，由攝像元件33取得按照時 間序列排列的圖像列。將形成該圖像列的各像素稱為"幀圖像"。
在攝影模式中，若用戶按下錄像按鈕26a，則在CPU23的控制下，該 按下后所得到的各幀圖像的視頻信號及與其對應(yīng)的聲音信號經(jīng)由壓縮處 理部16而被依次記錄在外部存儲器18中。運動圖像攝影開始后，若用戶 再次按下錄像按鈕26a，則攝像信號及聲音信號向外部存儲器18的記錄 結(jié)束，即一個運動圖像的攝影結(jié)束。另外，在攝影模式中，若用戶按下快 門按鈕26b，則進行靜止圖像的攝影及記錄。
在再生模式中，若用戶對操作鍵26c實施規(guī)定的操作，則表示外部存 儲器18所記錄的運動圖像或靜止圖像且被壓縮的視頻信號，在擴展處理 部19中被擴展后被送到視頻輸出電路20中。另外，在攝影模式中，通常 與錄像按鈕26a及快門按鈕26b對應(yīng)的操作內(nèi)容無關(guān)，依次進行視頻信號 處理部13的視頻信號的生成，該視頻信號被送到視頻輸出電路20。
視頻輸出電路20將所給予的數(shù)字的視頻信號變換為利用顯示部27可顯示的形式的視頻信號(例如，模擬的視頻信號)并輸出。顯示部27是 包含液晶顯示面板及驅(qū)動其的集成電路等的顯示裝置，其顯示與由視頻輸
出電路io所輸出的視頻信號相對應(yīng)的圖像。
另外，在再生模式中，在再生運動圖像時，與外部存儲器18中所記 錄的運動圖像相對應(yīng)且被壓縮的聲音信號也被送到擴展處理部19。擴展 處理部19擴展所接收到的聲音信號并送到聲音輸出電路21中。聲音輸出 電路21將所給予的數(shù)字的聲音信號變換為利用揚聲器28可輸出的形式的 聲音信號(例如，模擬的聲音信號)并向揚聲器28輸出。揚聲器28將來 自聲音輸出電路21的聲音信號作為聲音并輸出到外部。
另外，借助設(shè)置在攝像裝置1中的外部輸出端子(未圖示)，可向外 部設(shè)備(外部的顯示裝置等)供給來自視頻輸出電路20的視頻信號及來 自聲音輸出電路21的聲音信號。
只要沒有特別描述，以下的說明就都是攝影模式中的攝像裝置1的動 作的說明。
攝像裝置1具備面部檢測功能，能夠利用面部檢測功能進行照相機控 制或執(zhí)行各種應(yīng)用程序。在圖3中表示特別關(guān)注面部檢測功能的攝像裝置 1的部分框圖。由按照符號51 54所參照的各部分構(gòu)成的面部處理組件 50主要通過視頻信號處理部13、 CPU23及存儲器14來實現(xiàn)。例如，面 部檢測部51被設(shè)置在視頻信號處理部13，面部跟蹤部52及優(yōu)先面部設(shè) 定部54通過視頻信號處理部13或通過CPU23和視頻信號處理部13來實 現(xiàn)。面部信息管理表53被設(shè)置在內(nèi)部存儲器17內(nèi)。另外，圖1中所示的 其他的部分也根據(jù)需要參與圖3中所示的各部分的功能的實現(xiàn)。
說明圖3中所示的各部位的功能。另夕卜，隨著時間的行進，以時刻t,、 t2、……、Vi、 tn、 tn+1、……的順序進行訪問(n為整數(shù))。在以下的說明 中，假設(shè)相鄰的時刻t。-,及tj司的時間長度與幀周期一致。因此，由時刻 U的攝影所得到的幀圖像和由時刻tn的攝影所得到的幀圖像是在時間上
連續(xù)得到的兩枚幀圖像。但是，也可以將時刻tn-,及tj旬的時間長度設(shè)為 幀周期的整數(shù)倍(例如，2倍或3倍)。以下，也將由時刻tn的攝影所得 到的幀圖像單獨稱為時刻t。的幀圖像(即使對于時刻t^等也一樣)。另外，關(guān)于某個圖像，將表示該圖像的信息的數(shù)據(jù)稱為圖像數(shù)據(jù)。對 于某個圖像，該圖像的圖像數(shù)據(jù)和該圖像的視頻信號都是表示該圖像的信 息。因此，能夠捕捉到與圖像數(shù)據(jù)和視頻信號等效的信息。
幀圖像的圖像數(shù)據(jù)作為與面部檢測部51相對的輸入圖像的圖像數(shù)據(jù)
而提供給面部檢測部51。面部檢測部51基于提供給自身的輸入圖像的圖 像數(shù)據(jù)，從輸入圖像中檢測人物的面部，并提取包含所檢測出的面部的面 部區(qū)域。作為檢測圖像中所包含的面部的方法，知道有各種方法，面部檢 測部51也可釆用任意的方法。
典型的是，例如將輸入圖像內(nèi)所設(shè)定的關(guān)注區(qū)域的圖像與具有規(guī)定的 圖像尺寸的標準面部圖像進行對比，并對兩圖像的相似度進行判斷，基于 該相似度來檢測關(guān)注區(qū)域中是否含有面部(關(guān)注區(qū)域是否為面部區(qū)域)。 在輸入圖像中，關(guān)注區(qū)域以像素為單位在左右方向或上下方向上偏移。并 且，對比偏移后的關(guān)注區(qū)域的圖像和標準面部圖像，并再次判斷兩圖像的 相似度，進行同樣的檢測。因此，例如一邊從輸入圖像的左上向右下方向 以像素為單位偏移、 一邊更新設(shè)定關(guān)注區(qū)域。另外，以一定比例縮小輸入 圖像，對縮小后的圖像進行同樣的面部檢測處理。通過反復(fù)進行這種處理， 能夠從輸入圖像中檢測任意大小的面部。
由面部檢測部51從幀圖像中所提取的面部區(qū)域的形狀是矩形(其中， 也可將該形狀設(shè)為矩形以外的形狀)。由面部檢測部51從所關(guān)注的幀圖像 中提取1個或多個面部檢測區(qū)域，輸出含有對各面部區(qū)域的位置及大小進 行確定的信息的面部檢測信息。將由面部檢測部51導(dǎo)出幀圖像內(nèi)的面部 區(qū)域的位置及大小的處理稱為面部檢測處理。能夠按照每個幀圖像進行面 部檢測處理。
面部跟蹤部52基于按照每個幀圖像進行的面部檢測處理的結(jié)果(即， 面部檢測信息)，在時間上相鄰的幀圖像間按照每個面部進行面部的識別 處理，并基于面部檢測處理及識別處理的結(jié)果來依次更新面部信息管理表 53內(nèi)的數(shù)據(jù)。通過面部的識別處理來判斷在某個幀圖像中所出現(xiàn)的面部 和在其他的幀圖像中所出現(xiàn)的面部是否是同一面部(同一人物的面部)。
識別處理是基于圖像上的面部在時間方向上的位置變化在幀圖像列 內(nèi)具有連續(xù)性的原理而進行的。參照圖4 (a) (c)對其進行具體地說明。在圖4 (a)及(b)中，圖像201及202分別表示時刻t^及tn的幀 圖像的例子。矩形區(qū)域211及221是從圖像201中提取出的面部區(qū)域，矩 形區(qū)域212及222是從圖像202中提取出的面部區(qū)域。在圖4 (c)中， 在共同的坐標面上示出面部區(qū)域211、 212、 221及222。點211c、 212c、 221c及222c表示面部區(qū)域211、 212、 221及222的中心。
時刻t^及tj、司的時間長度，例如是1/60秒或1/30秒。由此，面部區(qū) 域211及212如果是同一面部對應(yīng)的面部區(qū)域，則通常面部區(qū)域211及 212的位置近似。識別處理是基于該位置的相似度而執(zhí)行的。即使對于面 部區(qū)域221及222而言也同樣。
具體地說，將以點211c為中心的半徑THi的圓的內(nèi)側(cè)區(qū)域定義為探 索范圍213，并判斷中心存在于該探索范圍213內(nèi)的面部區(qū)域是否在圖像 202上。并且，在圖像202上存在該面部區(qū)域的情況下，判斷為該面部區(qū) 域中所包含的面部和面部區(qū)域211中所包含的面部是同一面部。在圖4(a) (c)中所示的例子中，由于面部區(qū)域212的中心212c存在于探索區(qū)域 213內(nèi)，故被判斷為面部區(qū)域212中所包含的面部和面部區(qū)域211中所 包含的面部是同一面部。另一方面，由于面部區(qū)域222的中心222c未存 在于探索區(qū)域213內(nèi)，因此被判斷為面部區(qū)域222中所包含的面部和面 部區(qū)域211中所包含的面部是不同的面部。
同樣，將以點221c為中心的半徑TH,的圓的內(nèi)側(cè)區(qū)域定義為探索范 圍223，并判斷中心存在于該探索范圍223內(nèi)的面部區(qū)域是否在圖像202 上。并且，在圖像202上存在該面部區(qū)域的情況下，判斷為該面部區(qū)域 中所包含的面部和面部區(qū)域221中所包含的面部是同一面部。在圖4 (a) (c)中所示的例子中，由于面部區(qū)域222的中心222c存在于探索區(qū)域 223內(nèi)，因此被判斷為面部區(qū)域222中所包含的面部和面部區(qū)域221中 所包含的面部是同一面部。另一方面，由于面部區(qū)域212的中心212c不 在探索區(qū)域223內(nèi)，因此被判斷為面部區(qū)域212中所包含的面部和面部 區(qū)域221中所包含的面部是不同的面部。
假設(shè)中心存在于探索區(qū)域213內(nèi)的面部區(qū)域在圖像202上存在多個的 情況下，只要將該多個面部區(qū)域各自的中心和中心211c的距離進行比較， 確定最短距離對應(yīng)的圖像202上的面部區(qū)域，判斷為所確定的面部區(qū)域中所包含的面部和面部區(qū)域211中所包含的面部是同一面部即可。即使對于
探索區(qū)域223而言也同樣。
TH,是為了區(qū)別時刻tn.,的幀圖像上所關(guān)注的面部區(qū)域和時刻tn的幀 圖像上所關(guān)注的面部區(qū)域是否是同一人物的面部而設(shè)定的標準距離(圖像 上的標準距離)?？梢灶A(yù)先設(shè)定THi的值。也可使TH,的值按照面部區(qū)域 的大小進行變化。
另外，也可以求出時刻tn.,的幀圖像上所關(guān)注的面部區(qū)域與時刻k的 幀圖像上所關(guān)注的面部區(qū)域之間的重疊區(qū)域的面積，基于該面積進行識別 處理。此時，例如對如圖5所示的面部區(qū)域211及212相互重合的重疊區(qū) 域214進行確定，并求出該重疊區(qū)域214的圖像上的面積。然后，導(dǎo)出該 求出的面積除以面部區(qū)域211或212的面積的值。并且，如果導(dǎo)出的值在 規(guī)定的標準值以上，則判斷為面部區(qū)域211及212中所包含的面部是同 一面部，反之則判斷為面部區(qū)域211及212中所包含的面部是不同的面 部。即使對于面部區(qū)域221及222中所包含的面部而言，基于面部區(qū)域 221及222的重疊區(qū)域224的面積也能進行同樣的處理。由于重疊區(qū)域214 的面積依賴于中心211c及212c之間的距離，因此基于重疊區(qū)域214的面 積的識別處理，最終也可以說和基于上述的中心間距離的識別處理是等效 的。
通過這種識別處理，面部跟蹤部52對從過去的幀圖像(例如，時刻 t^的幀圖像)中所檢測出的面部和從當(dāng)前的幀圖像(例如，時刻k的幀 圖像)中所檢測出的面部進行識別。
面部檢測處理及識別處理的結(jié)果反映到面部信息管理表53 (以下， 簡稱為表53)內(nèi)的數(shù)據(jù)中。圖6中表示表53的數(shù)據(jù)構(gòu)造。在圖6中表示 檢測出相互不同的3個人物對應(yīng)的3個面部時的表53的數(shù)據(jù)構(gòu)造。對該 3個面部分配面部號碼1、 2及3，按照每個面部在表53中存儲有表示面 部的位置、履歷標志及優(yōu)先面部標志的數(shù)據(jù)和附加信息。面部號碼i的位 置由(xi—1， yi—1)及(xi—2， yi—2)來表示。i是自然數(shù)，在僅考慮面部 號碼1 3的情況下，是1、 2或3。
如圖7所示，(xi—1， yi—1)及(xi—2, yi—2)表示與面部號碼i對應(yīng) 的面部區(qū)域的左上角及右上角的坐標值(圖像空間上的坐標值)。xi_l，yi_l表示其左上角的水平方向坐標值及垂直方向坐標值，xi一2， yi一2表示 其右下角的水平方向坐標值及垂直方向坐標值。
與面部號碼i對應(yīng)的履歷標志表示與該面部號碼i對應(yīng)的面部是否是 從過去的幀圖像中連續(xù)檢測出的面部。各履歷標志中帶入"past"或"new"。 與面部號碼i對應(yīng)的履歷標志為"past",則表示與面部號碼i對應(yīng)的面 部是從過去的幀圖像中連續(xù)檢測出的面部，與面部號碼i對應(yīng)的履歷標志 為"new",則表示與面部號碼i對應(yīng)的面部是在最新的幀圖像中新檢測出 的面部。
例如，考慮從時刻t, 時刻t?！?的幀圖像中不能檢測出人物Pa的面部
且從時刻t^, 時刻tn的幀圖像中能檢測出人物PA的面部的情況。另外， 對人物PA的面部分配面部號碼1。此時，面部號碼1的履歷標志在時刻 U的幀圖像對應(yīng)的面部檢測處理及識別處理后且在時刻tn的幀圖像對應(yīng) 的面部檢測處理及識別處理前為"new",在時刻tn的幀圖像對應(yīng)的面部 檢測處理及識別處理后為"past"。
并且，進一步假設(shè)從時刻tn+1~ U4的幀圖像中不能檢測出人物Pa的 面部且從時刻tn+5的幀圖像中能檢測出人物Pa的面部的情況。此時，由 于通過時刻tn+, tn+4的幀圖像對應(yīng)的面部檢測處理及識別處理從幀圖像
中不能檢測出人物PA的面部，因此面部符號1的履歷標志暫時被復(fù)位(被
復(fù)位的履歷標志沒有任何意義)。然后，若通過時刻tn+5的幀圖像對應(yīng)的
面部檢測處理及識別處理從時刻U5的幀圖像中能檢測出人物PA的面部， 則對人物PA的面部重新分配面部號碼1并且面部號碼1的履歷標志變?yōu)?"畫"。
但是，在攝像裝置1中能夠利用面部檢測功能進行照相機控制或執(zhí)行 各種應(yīng)用程序。雖然有時也會從幀圖像中檢測出多個面部，但是此時從多 個面部中設(shè)定應(yīng)關(guān)注的面部，并對該應(yīng)關(guān)注的面部執(zhí)行照相機控制或各種 應(yīng)用程序。將該應(yīng)關(guān)注的面部稱為優(yōu)先面部。
通過表53內(nèi)的優(yōu)先面部標志來規(guī)定哪一個面部是優(yōu)先面部。在優(yōu)先 面部標志中代入"1"的面部號碼的面部是優(yōu)先面部，在優(yōu)先面部標志中 代入"0"的面部號碼的面部不是優(yōu)先面部。在圖6所示的例子中，只在 面部號碼2的優(yōu)先面部中代入"l"，因此將面部號碼2對應(yīng)的面部作為優(yōu)先面部處理。
優(yōu)先面部的初始設(shè)定由圖3的優(yōu)先面部設(shè)定部54來進行。優(yōu)先面部
設(shè)定部54基于圖像數(shù)據(jù)通過自動或用戶的手動操作來設(shè)定優(yōu)先面部。參 照圖8 圖10，以下例示在優(yōu)先面部設(shè)定部54中可利用的優(yōu)先面部的設(shè) 定方法。在圖8~圖10中用粗實線所包圍的面部表示優(yōu)先面部。
例如，如圖8所示，從時刻t,的幀圖像中對各幀圖像順次執(zhí)行面部檢 測處理，可以將最初檢測出的面部設(shè)定為優(yōu)先面部。
或者，例如，也可以將由在觸發(fā)條件成立時所得到的幀圖像檢測沖擊 的面部設(shè)定為優(yōu)先面部。觸發(fā)條件，例如在對圖1的操作部26實施規(guī)定 操作時成立。
在從觸發(fā)條件成立時所得到的幀圖像中提取出多個面部區(qū)域的情況 下，也可以將與面部的大小成正比的面部區(qū)域的大小作為基準來設(shè)定優(yōu)先 面部。即，例如，如圖9所示，也可以將多個面部區(qū)域內(nèi)具有最大的大小 的面部區(qū)域的面部設(shè)定為優(yōu)先面部。
在從觸發(fā)條件成立時所得到的幀圖像中提取出多個面部區(qū)域的情況 下，也可以將面部區(qū)域的位置作為基準來設(shè)定優(yōu)先面部。即，例如如圖 10所示，也可以確定在多個面部區(qū)域內(nèi)面部區(qū)域的中心和幀圖像的中心 最近的面部區(qū)域并將該面部區(qū)域的面部設(shè)定為優(yōu)先面部。
又例如，也可以接受由用戶進行的指定優(yōu)先面部的操作并按照該操作 來設(shè)定優(yōu)先面部。
在表53內(nèi)的附加信息中能夠存儲面部的種種信息。在圖6中省略了 附加信息的具體內(nèi)容的圖示。對附加信息的利用方法見后述。
一旦某個面部被設(shè)定為優(yōu)先面部后，只要通過面部檢測處理撿測出該 面部，就可以要求該面部被繼續(xù)識別為優(yōu)先面部。因此，在攝像裝置1 中，在優(yōu)先面部設(shè)定部54進行的優(yōu)先面部設(shè)定后，反復(fù)執(zhí)行上述的面部 檢測處理及識別處理，并在圖像上跟蹤包含優(yōu)先面部和優(yōu)先面部以外的面 部的各面部。在攝像裝置l中，不必采用面部識別技術(shù)那種復(fù)雜的處理， 僅基于面部區(qū)域的位置信息就可以執(zhí)行該跟蹤。也就是說，不需要例如面 部識別技術(shù)那樣從面部的圖像中提取個人的特征并跟蹤特定的面部之類 的復(fù)雜的處理。但是，若在由于其他的被攝物而發(fā)生暫時性遮蔽優(yōu)先面部的情況下， 則不能從當(dāng)前幀圖像中檢測出優(yōu)先面部，結(jié)果暫時難以跟蹤。雖然想避免 由于優(yōu)先面部的遮蔽而不能進行面部檢測的問題，但是要求在消除了遮蔽 時正確地重新開始優(yōu)先面部的跟蹤的能力。攝像裝置具備可正確地重新開 始優(yōu)先面部的跟蹤的特征的功能。[優(yōu)先面部跟蹤的動作順序]參照圖11對實現(xiàn)該功能的動作順序進行說明。圖11是關(guān)注優(yōu)先面部 的跟蹤的攝像裝置1的動作流程圖。步驟S1 S10的各處理由面部處理組件50執(zhí)行。首先，在步驟S1中進行面部檢測部51的面部檢測處理。該面部檢測 處理是針對當(dāng)前的幀圖像而進行的。當(dāng)前的幀圖像是指在進行面部檢測處 理等的處理的時候所得到的最新的幀圖像。步驟S1的面部檢測處理是周 期性進行的，該面部檢測處理的執(zhí)行周期與時刻tn.,及tn間的時間長度相 同。另外，如上所述，在本實施方式中，假設(shè)時刻t^及tj司的時間長度 與幀周期一致。因此，步驟S1的面部檢測處理按照每個幀圖像來執(zhí)行。 但是，也可將步驟S1的面部檢測處理的執(zhí)行周期設(shè)為幀周期的整數(shù)倍(例 如2倍或3倍)。若在步驟Sl中進行面部檢測處理，則移行到步驟S2。在步驟S2中， 面部處理組件50基于步驟Sl的面部檢測處理的結(jié)果來判斷是否從當(dāng)前 的幀圖像中檢測出一個以上的面部。當(dāng)從當(dāng)前的幀圖像中檢測出一個以上 的面部時，移行到步驟S4。當(dāng)從當(dāng)前的幀圖像中一個面部也沒檢測出時， 則執(zhí)行步驟S3的復(fù)位處理，然后返回步驟Sl。在復(fù)位處理中表53內(nèi)的 數(shù)據(jù)被全部消除。在步驟S4中，由優(yōu)先面部設(shè)定部54判斷是否已經(jīng)設(shè)定優(yōu)先面部。當(dāng) 由優(yōu)先面部設(shè)定部54已經(jīng)設(shè)定了優(yōu)先面部時，移行到步驟S6，但是還未 設(shè)定優(yōu)先面部時，則移動到步驟S5。在步驟S5中，在由優(yōu)先面部設(shè)定部 54進行了優(yōu)先面部的設(shè)定之后，返回到步驟S1。優(yōu)先面部的設(shè)定結(jié)果反 映于表53內(nèi)的優(yōu)先面部標志。另外，在步驟S5中，沒有必要始終進行 優(yōu)先面部的設(shè)定。在由優(yōu)先面部設(shè)定部54還未進行優(yōu)先面部的設(shè)定的期 間，由于反復(fù)發(fā)生由步驟S4向步驟S5的移動，因此可以在必要的時間進行優(yōu)先面部的設(shè)定。
在步驟S6中由面部跟蹤部52進行上述的識別處理。具體地說，基于
上次或本次的面部檢測處理的結(jié)果，即基于相對上次及本次的幀圖像而生 成的面部檢測信息來進行從上次的幀圖像所檢測的面部和從本次的幀圖 像所檢測的面部的識別。本次的幀圖像和上述的當(dāng)前的幀圖像是同一意 思。如果上次的幀圖像是時刻t^的幀圖像，則本次的幀圖像是時刻t。的 幀圖像。步驟Sl的面部檢測處理的結(jié)果與步驟S6的識別處理的結(jié)果都
反映于表53內(nèi)的數(shù)據(jù)。
其后，在步驟S7中，判斷是否從本次的幀圖像檢測出優(yōu)先面部。在 上次及本次的幀圖像上存在被設(shè)定為優(yōu)先面部的面部且該面部的檢測及 識別成功的情況下，被判斷為從本次的幀圖像檢測出優(yōu)先面部，并從步驟 S7返回到步驟S1，并反復(fù)執(zhí)行上述的步驟S1以后的各處理。另一方面， 從本次的幀圖像未檢測出優(yōu)先面部時，判斷為優(yōu)先面部消失了并移行到步 驟S8。在步驟S8 S10中執(zhí)行優(yōu)先面部的重新設(shè)定處理。在步驟S8 S10 中的重新設(shè)定處理由面部跟蹤部52執(zhí)行。
在重新設(shè)定處理中，首先，在表53內(nèi)保持檢測出優(yōu)先面部的最近的 幀圖像上的優(yōu)先面部的信息。以下將在此所保持的信息稱為優(yōu)先面部保持 信息。在優(yōu)先面部保持信息中含有檢測出優(yōu)先面部的最近的幀圖像上的優(yōu) 先面部的位置信息，也含有優(yōu)先面部的附加信息。在步驟S8中，面部跟 蹤部52基于優(yōu)先面部保持信息中所包含的優(yōu)先面部的位置信息來設(shè)定優(yōu) 先面部的重新探索范圍。其后，在步驟S9中，將該重新探索范圍適用于 本次的幀圖像，并判斷在本次的幀圖像上的重新探索范圍內(nèi)是否存在新檢 測出的面部。并且，當(dāng)在本次的幀圖像上的重新探索范圍內(nèi)存在新檢測出 的面部時，在步驟S10中將新檢測出的面部作為優(yōu)先面部進行重新設(shè)定 之后再返回到步驟Sl。另一方面，當(dāng)在本次的幀圖像上的重新探索范圍 內(nèi)不存在新檢測出的面部時，則不必重新設(shè)定優(yōu)先面部而返回到步驟Sl。
沿著具體的事例oc，對按照圖11的動作流程圖的具體的動作例進行說 明。圖12 (a) (e)的圖像300、 310、 320、 330及340分別表示沿著
該具體的事例(X的時刻t,、 t2、 tn-,、 tn及t。+5的幀圖像(在該具體的事例OC
中，n^4)。另外，圖13 (a) (e)表示時刻t、t2、 t^、、及^+5中的表53的數(shù)據(jù)。在圖13 (a) ~ (e)中，雖然表示面部區(qū)域的位置的坐標 值的圖示及附加信息的具體的內(nèi)容的圖示被省略了，但是這些坐標值及附 加信息卻按照面部檢測處理或識別處理的結(jié)果被依次更新。在事例a中，首先，從時刻t,的幀圖像300中檢測兩個人物對應(yīng)的面 部FC,及面部FC2。面部區(qū)域301及302分別是從幀圖像300中提取出的 面部FC,及FC2的面部區(qū)域。假設(shè)向面部Fd及FC2分配了面部號碼1及 2。另外，在該時候不進行優(yōu)先化設(shè)定部54的優(yōu)先面部的設(shè)定。結(jié)果，此 時，如圖13 (a)所示，面部號碼1及2的履歷標志都為"new"且面部 號碼1及2的優(yōu)先面部標志都為"0"。其后，設(shè)從時刻t2的幀圖像310中也能檢測出面部FC,及FC2。因此， 如圖13 (b)所示，面部號碼1及2的履歷標志都為"past"。面部區(qū)域 311及312分別是從幀圖像310中提取出的面部FC,及FC2的面部區(qū)域。 另外，在時刻t2，面部FC,被設(shè)定為優(yōu)先面部。其結(jié)果，只向面部號碼l 的優(yōu)先面部標志代入"1"。以后，從時刻t3 時刻tn.,的各幀圖像中檢測面部FQ及FC2。此時，對時刻t廣時刻tn.,的各幀圖像執(zhí)行步驟Sl、 S2、 S4、 S6及S7。由于從時 刻t廣時刻tn.,的各幀圖像中檢測出作為優(yōu)先面部的面部FC,，因此對時刻 tr時刻的各幀圖像不執(zhí)行由步驟S8 S10構(gòu)成的優(yōu)先面部的重新設(shè)定 處理。圖12 (c)的面部區(qū)域321及322分別是從時刻tn.,的幀圖像320 中提取出的面部FC,及FC2的面部區(qū)域。由于真實空間上的被攝物的移動，在時刻tn-!，面部Fd的一部分被 隱藏到面部FC2的后面。在時刻tn，面部FC,的遮蔽量變大，從而不能進 行面部FC,的檢測。即，通過時刻tn的幀圖像330對應(yīng)的面部檢測處理， 只能從幀圖像330中檢測出面部FC2，而不能檢測作為優(yōu)先面部的面部 Fd。如果是那樣，則經(jīng)由步驟S6及S7移到步驟S8并執(zhí)行優(yōu)先面部的 重新設(shè)定處理。圖12 (d)的面部區(qū)域332是從時刻^的幀圖像330中提 取出的面部FC2的面部區(qū)域。如上所述，在重新設(shè)定處理中，在表53內(nèi)保持檢測出優(yōu)先面部的最 近的幀圖像上的優(yōu)先面部的信息，即優(yōu)先面部保持信息。從事例a的重新 設(shè)定處理的開始時刻可以看出，檢測出優(yōu)先面部的最近的幀圖像是時刻的幀圖像320。因此，幀圖像320上的優(yōu)先面部的信息作為優(yōu)先面部 保持信息而被保持在表53內(nèi)。在圖13 (d)中示出的時刻t。的表53中， 省略了該保持的形態(tài)，雖然面部號碼1的各信息為空白，但是也可在應(yīng)存 儲面部號碼1的各信息的存儲區(qū)域中存儲優(yōu)先面部保持信息。
跟蹤部52為了再次探索優(yōu)先面部，在步驟S8中設(shè)定優(yōu)先面部的重新 探索范圍。圖12 (d)及(e)中所示的賦予了符號355的圓的內(nèi)側(cè)是重 新探索范圍。面部跟蹤部52基于優(yōu)先面部保持信息中所包含的優(yōu)先面部 的位置信息來設(shè)定重新探索范圍335。更具體地說，將以中時刻t^的幀 茵像320上的面部區(qū)域321的中心為中心而具有且半徑TH2的圓的內(nèi)側(cè) 區(qū)域設(shè)定為重新探索范圍335。其中，TH2具有比規(guī)定圖4 (c)中所示的 探索范圍213 (及223)的半徑的上述TH,還大的值。因此，重新探索范 圍335比圖4 (c)中示出的探索范圍213大。
在步驟S9中，面部跟蹤部52判斷新檢測出的面部是否存在于重新探 索范圍335內(nèi)。并且，僅在被確認了其存在的情況下進行優(yōu)先面部的重新 設(shè)定。更具體地說，從應(yīng)重新設(shè)定優(yōu)先面部的幀圖像(在事例oc中，時刻 t廣tn+5的幀圖像)中探索重新探索范圍335內(nèi)具有中心的面部區(qū)域且被代 入了 "new"的履歷標志的面部區(qū)域，僅在探索到那種面部區(qū)域的情況下， 將所探索到的面部區(qū)域的面部作為優(yōu)先面部進行重新設(shè)定。
時刻U, t。+4的各幀圖像是與時刻t。的幀圖像330相同的圖像，從時 刻tn+1 tn+4的各幀圖像中只能檢測出面部FC2。從時刻tn+1 tn+4的各幀圖像 中所提取的面部FC2的面部區(qū)域的中心位于重新探索范圍335內(nèi)。但是， 由于面部FC2即使在時刻t^ t^的各幀圖像中也能檢測出，因此面部FC2 的面部區(qū)域?qū)?yīng)的履歷標志為"past"。結(jié)果，面部FC2不能被設(shè)定為優(yōu) 先面部。
其后，設(shè)從時刻tn+5的幀圖像340中檢測出面部FC,及FC2。圖12(e) 的面部區(qū)域341及342分別是從時刻t^的幀圖像340中提取出的面部Fd 及FC2的面部區(qū)域。面部區(qū)域341的面部并不是從過去的幀圖像連續(xù)檢測 出的面部，而是在最新的幀圖像(即，幀圖像340)中新檢測出的面部。 因此，在面部區(qū)域341對應(yīng)的履歷標志中代入"new"。另外，面部區(qū)域 341的中心位于重新探索范圍335內(nèi)。這樣一來，面部跟蹤部52在步驟S10中將面部區(qū)域341對應(yīng)的面部作為優(yōu)先面部進行重新設(shè)定。圖13 (e) 表示向面部區(qū)域341分配了面部號碼1時的時刻tn+5的表53的內(nèi)容。優(yōu) 先面部的重新設(shè)定的結(jié)果反映于表53。因此，在圖13 (e)中，在面部號 碼1對應(yīng)的優(yōu)先面部標志中代入"1"。這樣，在反復(fù)進行包含面部檢測處理、識別處理及優(yōu)先面部的重新設(shè) 定處理的循環(huán)處理的過程中，在重新探索范圍內(nèi)出現(xiàn)與過去檢測出的面部 不一致的新的面部時，以該新的面部作為優(yōu)先面部進行重新設(shè)定。因此， 即使暫時不能檢測應(yīng)成為優(yōu)先面部的關(guān)注面部(FC,)，但是之后可以將 關(guān)注面部(Fd)作為優(yōu)先面部進行正確地重新設(shè)定(能夠正確地重新開 始優(yōu)先面部的跟蹤)。另外，與在時間上相近的幀圖像間的面部的位置變化量相比，時刻t^及Us間的面部的位置變化量大的可能性高。其原因在于與前者的位置變化量相對應(yīng)的時間長度相比，后者的位置變化量相對應(yīng)的時間長度較長。考慮到上述原因，使重新探索范圍335的大小比識別處理中的探索范 圍(圖4 (c)中示出的探索范圍213及223)還大。由此，優(yōu)先面部的重 新設(shè)定的可靠性增加。如上所述，可執(zhí)行關(guān)注了所設(shè)定的優(yōu)先面部的照相機控制或應(yīng)用程 序。例如，在運動圖像攝影時，可以以始終與優(yōu)先面部對焦的方式執(zhí)行自 動調(diào)焦控制，或者以優(yōu)先面部的亮度等級變?yōu)檫m當(dāng)?shù)燃壍姆绞竭M行曝光控 制。該自動調(diào)焦控制，例如通過基于優(yōu)先面部的面部區(qū)域的對比度控制自 動調(diào)焦透鏡31的位置而實現(xiàn)，該曝光控制，例如通過以優(yōu)先面部的面部 區(qū)域的平均亮度等級變?yōu)檫m當(dāng)?shù)燃壍姆绞娇刂乒馊?2的開度等而實現(xiàn)。 除此之外，也可以以優(yōu)先面部的白平衡變?yōu)槠谕陌灼胶獾姆绞竭M行自動 白平衡控制。另外，也可以關(guān)注優(yōu)先面部并控制變焦透鏡30的位置。將以上述的處理為基礎(chǔ)的應(yīng)用處理例或變形處理例作為第一應(yīng)用例 第四應(yīng)用例進行說明。上述的內(nèi)容(包含事例a)只要不矛盾就適用于各 應(yīng)用例。只要不矛盾也能使某個應(yīng)用例中所述的事項適用于其他的應(yīng)用 例。[第一應(yīng)用例]對第一應(yīng)用例進行說明。在上述的事例a中，由于在真實空間上被攝物體移動而面部FC,隱藏到面部FC2的后面，因此作為優(yōu)先面部的面部 FQ暫時不能被檢測出來。其后，例如事例oc，如果在優(yōu)先面部的重新探 索范圍內(nèi)面部FC,作為新的面部被再次檢測出來，那么如所打算的那樣優(yōu) 先面部被重新設(shè)定。但是，如圖14所示，若探索面部FC,穿過面部FC2 的后面并向重新探索范圍的外面離開之類的路徑，則只要不擴大重新探索 范圍就能如圖示所示提高不會重新設(shè)定優(yōu)先面部的可能性。另一方面，若 擴大重新探索范圍，則與面部FC,及FC2不同的面部FC3作為優(yōu)先面部被 重新設(shè)定的可能性很高。因此，并不希望單一地擴大重新探索范圍。
考慮這些事情，在第一應(yīng)用例中，測量作為優(yōu)先面部的面部Fd的圖 像上的移動方向及移動速度，并利用該測量結(jié)果來確定重新探索范圍的形 狀及大小。
參照在事例a中假設(shè)的具體例，對第一應(yīng)用例作更具體地說明。在第 一應(yīng)用例中，在視頻信號處理部13 (或者圖3的面部處理組件50)內(nèi)設(shè) 置有移動檢測部(未圖示)。移動檢測部在作為優(yōu)先面部的面部Fd被面 部檢測處理檢測的期間中，始終檢測面部FC,的移動方向及移動速度。在 表53內(nèi)的附加信息中能夠包含表示該檢測出的移動方向及移動速度。并 且，在由面部檢測處理不能檢測出作為優(yōu)先面部的面部Fd時，基于檢測 出優(yōu)先面部的最近的幀圖像上的移動方向及移動速度來設(shè)定重新探索范 圍。
例如，如事例oc所示考慮從時刻tn.,的幀圖像中能檢測出面部FC,及
FC2且從時刻tn的幀圖像中只能檢測出面部FC2的情況。此時，面部跟蹤
部52將時刻t^及t^的幀圖像間的面部Fd的移動方向及移動速度作為 基準移動方向及基準移動速度對待，并基于基準移動方向及基準移動速度 來設(shè)定優(yōu)先面部的重新探索范圍。在第一應(yīng)用例中，用符號335a表示針 對包含時刻tn的幀圖像的時刻tn以后的幀圖像而設(shè)定的重新探索范圍。 在圖15中表示設(shè)定了重新探索范圍335和重新探索范圍335a的幀圖像。 在圖15中，箭頭370表示基準移動方向?，F(xiàn)在，該基準移動方向與向著 圖像的右下的方向一致。
圖12 (d)中所示的重新探索范圍335的外形是正圓，與此相對，重 新探索范圍335a的外形是橢圓。g卩，重新探索范圍335a具有存在方向性的某種形狀。該橢圓的中心與時刻t^的幀圖像320上的面部區(qū)域321的 中心一致?；蛘呖梢詫⒈葧r刻t。-,的幀圖像320上的面部區(qū)域321的中心 更位于右下側(cè)的點設(shè)定為該橢圓的中心。另外，該橢圓的長軸方向與基準 移動方向一致。該橢圓的長軸及短軸內(nèi)至少長軸的長度比圖4 (c)中所 示的探索范圍213的外形圓的直徑還長。短軸的長度也可以比探索范圍 213的外形圓的直徑還長。另外，隨著基準移動速度的增大，也可以使該 橢圓的長軸的長度增大。另外，也可以使重新探索范圍的外形形狀為橢圓以外的形狀。例如， 也可以使重新探索范圍的外形形狀為長方形或菱形。在時刻V2及t^的幀圖像間，如果圖像上的面部FC，移動到右下方向， 則其后面部FQ也移動到右下方向的可能性高。因此，如上所述，基于基 準移動方向來確定重新探索范圍的形狀。因此，能夠更準確地進行優(yōu)先面 部的重新設(shè)定。上述的移動檢測部，例如，基于在時間上相鄰的幀圖像的圖像數(shù)據(jù)來 求取該相鄰的幀圖像間的光流(optical flow)。作為光流的導(dǎo)出方法，可 以利用塊匹配法、代表點匹配法、梯度法等。求出的光流在該相鄰的幀圖 像間，通過表示物體的移動的移動矢量(移動矢量)來表示。移動矢量是 表示圖像上的物體的移動方向及移動速度的二維量。通過針對所關(guān)注的面 部所檢測出的移動矢量來表示所關(guān)注的面部的移動方向及移動速度。[第二應(yīng)用例]對第二應(yīng)用例進行說明。在上述的方法中，以某個關(guān)注的面部區(qū)域是 在重新探索范圍335內(nèi)具有中心的面部區(qū)域并且被代入了 "new"的履歷 標志的面部區(qū)域為基礎(chǔ)條件，并將滿足該基礎(chǔ)條件的面部區(qū)域的面部作為 優(yōu)先面部來重新設(shè)定。對于作為優(yōu)先面部所應(yīng)重新設(shè)定的面部區(qū)域，還可 以分派規(guī)定的附加條件。即，也可以從應(yīng)重新設(shè)定優(yōu)先面部的幀圖像中探 索滿足基礎(chǔ)條件及附加條件的面部區(qū)域，只在探索到滿足基礎(chǔ)條件及附加 條件的面部區(qū)域的情況下，將所探索到的面部區(qū)域的面部作為優(yōu)先面部進 行重新設(shè)定。附加條件的充足/不充足是基于當(dāng)初的優(yōu)先面部的特征和作為優(yōu)先面部而應(yīng)新設(shè)定的面部的特征是否一致或類似來判斷的。以下，對具體例進
行說明。在事例a中假設(shè)的內(nèi)容也適用于第二應(yīng)用例。
每當(dāng)判斷附加條件的充足/不充足時，在表53的附加信息內(nèi)存儲表示 圖像上的面部(特別是優(yōu)先面部)的大小、傾斜度、朝向、亮度等級及色 相的面部大小信息、面部傾斜度信息、面部朝向信息、面部亮度信息及面 部顏色信息。另外，在表53的附加信息內(nèi)也可以存儲表示在面部檢測處 理中所用的基準面部圖像和面部區(qū)域內(nèi)的圖像的相似度的相似度信息。另 外，在面部檢測處理中利用了多個基準面部圖像的情況下，在表53的附 加信息內(nèi)也可以存儲表示面部區(qū)域內(nèi)的圖像與哪個基準圖像之間具有最 高相似度的面部種類信息。附加信息內(nèi)所存儲的這些信息每當(dāng)進行面部檢 測處理時被更新為最新的信息。優(yōu)先面部的附加信息內(nèi)所存儲的這些信息 表示優(yōu)先面部的特征。
執(zhí)行優(yōu)先面部的重新設(shè)定處理時，在表53內(nèi)存儲包含檢測出優(yōu)先面 部的最近的幀圖像對應(yīng)的附加信息的優(yōu)先面部保持信息。在事例cc的情況 下，在表53內(nèi)存儲時刻tn—,的幀圖像上的優(yōu)先面部FC,的附加信息(包含 面部大小信息、面部傾斜度信息、面部朝向信息、面部亮度信息、面部顏 色信息、相似度信息及面部種類信息)。
滿足上述基礎(chǔ)條件的面部區(qū)域內(nèi)的面部，在進一步滿足附加條件的情 況下，被重新設(shè)定為優(yōu)先面部。因此，將滿足上述基礎(chǔ)條件的面部區(qū)域內(nèi) 的面部捕捉為優(yōu)先面部的候補并稱為候補優(yōu)先面部。另外，能提取出包含 候補優(yōu)先面部的面部區(qū)域的幀圖像，權(quán)宜上稱為候補提取原始幀圖像。在 第二應(yīng)用例中，僅在候補優(yōu)先面部滿足以下的一個以上的附加條件時，將 候補優(yōu)先面部重新設(shè)定為優(yōu)先面部。
第一附加條件是在優(yōu)先面部保持信息中所規(guī)定的優(yōu)先面部FC,的大 小與候補提取原始幀圖像上的候補優(yōu)先面部的大小之差為規(guī)定大小閾值 以下的條件。
前者的大小為面部區(qū)域321的大小，后者的大小為包含候補優(yōu)先面部 的面部區(qū)域的大小。
第二附加條件是在優(yōu)先面部保持信息中所規(guī)定的優(yōu)先面部FC,的傾 斜度與候補提取原始幀圖像上的候補優(yōu)先面部的傾斜度之差為規(guī)定傾斜度差以下的條件。
面部檢測部51形成為在面部檢測處理的執(zhí)行時也能檢測輸入圖像 (幀圖像)內(nèi)的面部的傾斜度。例如，通過使輸入圖像旋轉(zhuǎn)并對旋轉(zhuǎn)后的 圖像進行上述的面部檢測處理，從而能夠檢測傾斜的面部并能檢測面部的 傾斜度(傾斜角度)。如圖16所示，其中的面部的傾斜度是指輸入圖像的 垂直方向?qū)?yīng)的面部的傾斜度，例如，是與輸入圖像的垂直方向平行的直 線對應(yīng)的連接面部的口中央與眉間的直線的傾斜度。
第三附加條件是在優(yōu)先面部保持信息中所規(guī)定的優(yōu)先面部FC,的朝 向與候補提取原始幀圖像上的候補優(yōu)先面部的朝向一致或大致一致的條 件。
面部檢測部51形成為在面部檢測處理時也能檢測輸入圖像(幀圖 像)中的面部的朝向。即，例如，面部檢測部51能夠在多個階段區(qū)別并
檢測從輸入圖像所檢測出的面部是圖17 (a)所示的正臉(從正面看見的 面部)，還是圖17 (b)所示的斜臉(從傾斜方向看見的面部)，還是圖17 (c)所示的側(cè)臉(從側(cè)面看見的面部)。作為檢測面部的朝向的方法可以 提出各種方法，面部檢測部51可以采用任意方法。例如，如在日本特開 平10-307923號公報中記載的方法，從輸入圖像中順次找到眼睛、鼻子、 嘴等的面部部位，以檢測圖像中的面部的位置，并基于面部部位的投影數(shù) 據(jù)檢測面部的朝向。或者，例如，也可以利用日本特開2006-72770號公 報中記載的方法。
第四附加條件是在優(yōu)先面部保持信息中所規(guī)定的優(yōu)先面部FC,的亮 度等級與候補提取原始幀圖像上的候補優(yōu)先面部的亮度等級之差為規(guī)定 亮度等級差以下的條件。
在優(yōu)先面部保持信息中所規(guī)定的優(yōu)先面部FC,的亮度等級是指時刻 tn-,的幀圖像320上的面部區(qū)域321的平均亮度(參照圖12 (c))。應(yīng)與優(yōu) 先面部FC,的亮度等級進行對比的候補優(yōu)先面部的亮度等級是指候補提 取原始幀圖像上的候補優(yōu)先面部的面部區(qū)域的平均亮度。
第五附加條件是在優(yōu)先面部保持信息中所規(guī)定的優(yōu)先面部FC,的色 相與候補提取原始幀圖像上的候補優(yōu)先面部的色相之差為規(guī)定色相差以 下的條件。作為在優(yōu)先面部保持信息中所規(guī)定的優(yōu)先面部Fd的色相，可利用時 刻V,的幀圖像320上的面部區(qū)域321的平均色相(參照圖12 (c))。作 為應(yīng)與優(yōu)先面部FC,的色相進行對比的候補優(yōu)先面部的色相是指候補提 取原始幀圖像上的候補優(yōu)先面部的面部區(qū)域的平均色相。
第六附加條件是指在優(yōu)先面部保持信息內(nèi)的相似度信息中所示的優(yōu) 先面部Fd的圖像和基準面部圖像的相似度與候補優(yōu)先面部的圖像和基 準面部圖像的相似度之差為規(guī)定的相似度差以下的條件。
前者的相似度是指時刻的幀圖像320上的面部區(qū)域321內(nèi)的圖像 與面部檢測處理時所用的基準面部圖像的相似度，后者的相似度是指候補 提取原始幀圖像上的候補優(yōu)先面部的面部區(qū)域內(nèi)的圖像與面部檢測處理 時所用的基準面部圖像的相似度。相似度表示對比圖像間的相似的程度， 對比圖像越類似就越具有大的值。
第七附加條件是優(yōu)先面部保持信息內(nèi)的面部種類信息的內(nèi)容與候補 優(yōu)先面部的面部種類信息的內(nèi)容一致的條件。
對第七附加條件的充足/不充足舉例進行說明。如上所述，在面部檢 測處理中，對輸入圖像(幀)內(nèi)所設(shè)定的關(guān)注區(qū)域的圖像和具有規(guī)定的圖 像尺寸的基準面部圖像進行對比，并判斷兩圖像的相似度，基于該相似度 檢測關(guān)注區(qū)域中是否含有面部(關(guān)注區(qū)域是否為面部區(qū)域)。作為該基準 面部圖像可利用相互不同的多個基準面部圖像。為了說明的具體化，考慮 了多個基準面部圖像由第一、第二及第三基準面部圖像構(gòu)成的情況。此時， 關(guān)注區(qū)域的圖像與第一 第三基準面部圖像的相似度可以作為第一 第三 近似度分別求出。
并且，設(shè)針對面部區(qū)域321而求出的第一 第三相似度內(nèi)的第一相似 度最大。該內(nèi)容反映于優(yōu)先面部保持信息內(nèi)的面部種類信息。此時，針對 候補提取原始幀圖像上的候補優(yōu)先面部的面部區(qū)域而求出的第一 第三 相似度內(nèi)，如果第一相似度最大則滿足第七附加條件，而若第二或第三相 似度最大則滿足第七附加條件。
由此，通過以當(dāng)初的優(yōu)先面部的特征與作為優(yōu)先面部所應(yīng)重新設(shè)定的 面部的特征一致或類似作為附加條件來確定，因此在當(dāng)初的優(yōu)先面部消失 后，能夠以真正關(guān)注的面部再次作為優(yōu)先面部進行重新設(shè)定的可能性高。[第三應(yīng)用例]
對第三應(yīng)用例進行說明。雖然圖12 (d)中所示的重新探索范圍335 的大小比圖4 (c)中所示的探索范圍213大，但是可以基于各種指標變 動該重新探索范圍335的大小。
例如，可以基于檢測出優(yōu)先面部的最近的幀圖像上的優(yōu)先面部的大 小，可變設(shè)定重新探索范圍335的大小。為了實現(xiàn)上述目的，也可以利用 上述優(yōu)先面部保持信息。在對事例a進行考慮的情況下，檢測出優(yōu)先面部 的最近的幀圖像上的優(yōu)先面部的大小相當(dāng)于面部區(qū)域321的大小。因此， 例如，只要隨著面部區(qū)域321的大小變大、重新探索范圍335的大小也變 大即可。
另外，例如，也可以參照檢測出優(yōu)先面部的最近的幀圖像上的優(yōu)先面 部的亮度等級(即，面部區(qū)域321的平均亮度)，該亮度等級越小就越使 重新探索范圍335的大小變大。與其類似，也可以參照檢測出優(yōu)先面部的 最近的幀圖像上的優(yōu)先面部的對比度(即，面部區(qū)域321的對比度)，該 對比度越小就越使重新探索范圍335的大小變大。通常，若應(yīng)成為面部區(qū) 域的區(qū)域的亮度等級和/或?qū)Ρ榷刃t難以進行面部檢測，即使面部在圖 像上表現(xiàn)出來，而在面部檢測中失敗的情況也較多?？紤]到該原因，按照 亮度等級和/或?qū)Ρ榷仁怪匦绿剿鞣秶?35的大小變化。面部區(qū)域321的 對比度可以通過求出面部區(qū)域321內(nèi)的圖像的空間頻率中所包含的規(guī)定 的高頻成分的量而被導(dǎo)出。
另外，例如也可以參照在第一應(yīng)用例中描述過的基準移動速度，該基 準移動速度越大、就越使重新探索范圍335的大小變大。其原因在于，如 果基準移動速度大，則在更短時間內(nèi)，應(yīng)作為優(yōu)先面部的面部(Fd)移 到重新探索范圍外的可能性高。
對第四應(yīng)用例進行說明。在上述的事例oc中，雖然由于面部FC,隱藏 到面部FC2的后面而暫時不能檢測應(yīng)成為優(yōu)先面部的面部FCp但即使在 面部FC,暫時移到攝像裝置1的攝影區(qū)域外(視野外)之類的示例(以下，稱為事例(3)中，本發(fā)明相關(guān)的優(yōu)先面部的重新設(shè)定方法也起到有效的作 用。將事例(3中的攝影裝置1的動作作為第四應(yīng)用例進行說明。
圖18 (a) ~ (e)的圖像400、 410、 420、 430及440分別表示沿著 事例P的時刻t,、 t2、 tn.,、 tn及Ws的幀圖像(在事例p中，n^4)。
與事例a同樣，即使在事例P中，從時刻"及t2的幀圖像400及410 能檢測兩個人物的面部Fd及面部FC2，在時刻t2，由優(yōu)先面部設(shè)定部54 將面部FQ設(shè)定為優(yōu)先面部。另外，假設(shè)對面部FC,及FC2分別分配面部 符號1及2。因此，在時刻t2，面部號碼1及2的履歷標志都為"past"且 只在面部號碼1的優(yōu)先面部標志中代入"1"。
并且，從時刻13 時刻d的各幀圖像能檢測面部FC,及FC2，對時刻 t3 時刻t^的各幀圖像執(zhí)行步驟Sl、 S2、 S4、 S6及S7的處理。由于從時 刻t廣時刻的各幀圖像能檢測作為優(yōu)先面部的面部FC,，因此對時刻t廣 時刻tn.,的各幀圖像，不執(zhí)行由步驟S8 S10構(gòu)成的優(yōu)先面部的重新設(shè)定 處理。矩形區(qū)域401、 411及421分別是從幀圖出像400、 410及420所提 取的面部FQ的面部區(qū)域，矩形區(qū)域402、412及422分別是從幀圖像400、 410及420所提取出的面部FC2的面部區(qū)域。
因為在真實空間上的面部FC,的移動等，在時刻tn.,，面部FC,位于 攝像裝置1的攝影區(qū)域的外側(cè)附近，在時刻、，面部Fd的部分或全部移 到了攝影區(qū)域外，以至于由面部檢測處理不能檢測到面部FC,。這樣一來， 通過時刻tn的幀圖像430對應(yīng)的面部檢測處理，從幀圖像430只能檢測面 部FCp而不能檢測作為優(yōu)先面部的面部FC,。其結(jié)果，經(jīng)由步驟S6及 S7達到步驟S8，執(zhí)行優(yōu)先面部的重新設(shè)定處理。圖18 (d)的面部區(qū)域 432是從時刻tn的幀圖像430所提取出的面部FC2的面部區(qū)域。
優(yōu)先面部的重新設(shè)定處理與上述的同樣。在重新設(shè)定處理中，在表 53內(nèi)存儲檢測出優(yōu)先面部的最近的幀圖像上的優(yōu)先面部的信息、即優(yōu)先 面部保持信息。從事例P的重新設(shè)定處理的開始時刻可以看出，檢測出優(yōu) 先面部的最近的幀圖像是時刻U的幀圖像420。因此，幀圖像42G上的 優(yōu)先面部的信息作為優(yōu)先面部保持信息被保持在表53內(nèi)。
面部跟蹤部52為了再次探索優(yōu)先面部，在步驟S8中設(shè)定優(yōu)先面部的 重套索范圍。圖18 (d)及(e)中所示的賦予了符號435的圓的內(nèi)側(cè)是重新探索范圍。重新探索范圍的設(shè)定方法與事例CC中的方法一樣。B卩，面
部跟蹤部52基于優(yōu)先面部保持信息中所包含的優(yōu)先面部的位置信息，將 以面部區(qū)域421的中心作為中心而具有且半徑TH2的圓的內(nèi)側(cè)區(qū)域設(shè)定 為重新探索范圍435。但是，與事例a的情況不同，在事例(3中，重新探索 范圍435的外周圓的一部分位于攝影區(qū)域外。
其后，面部跟蹤部52從應(yīng)重新設(shè)定優(yōu)先面部的幀圖像(在事例P中， 時刻tn tn+5的幀圖像)中探索在重新探索范圍435內(nèi)具有中心且被代入了
"new"的履歷標志的面部區(qū)域，只在探索到那樣的面部區(qū)域的情況下， 以所探索的面部區(qū)域的面部作為優(yōu)先面部而進行重新設(shè)定。
時刻tn+1 tn+4的各幀圖像與時刻tn的幀圖像430是相同的圖像，并從 時刻tn+1~tn+4的各幀圖像中只能檢測出面部FC2。從時刻tn+l~tn+4的各幀圖 像中提取出的面部FC2的面部區(qū)域的中心雖然并未位于重新探索范圍435 內(nèi)，但即使假設(shè)其位于重新探索范圍435內(nèi)，也由于在時刻t^ V3的各 幀圖像中能檢測出面部FC2，故面部FC2的面部區(qū)域?qū)?yīng)的履歷標志為
"past"。其結(jié)果，面部FC2不能被重新設(shè)定為優(yōu)先面部。
其后，通過真實空間上的面部FC,的移動或移動鏡頭等，從時刻、+5 的幀圖像440中能檢測面部FC,及FC2。圖18 (e)的面部區(qū)域441及422 分別是從時刻tn+5的幀圖像440中所提取的面部FC,及FC2的面部區(qū)域。 面部區(qū)域441的面部并不是從過去的幀圖像連續(xù)檢測出的面部，而是在最 新的幀圖像(即，幀圖像440)中新檢測出的面部。因此，面部區(qū)域441 對應(yīng)的履歷標志中被代入"new"。另外，面部區(qū)域441的中心位于重探 索區(qū)域435內(nèi)。這樣一來，面部跟蹤部52在步驟S10中，以面部區(qū)域441 對應(yīng)的面部作為優(yōu)先面部進行重新設(shè)定。
《變形例》
上述的說明文字中所示的具體的數(shù)值是單一示例，當(dāng)然能夠?qū)⑺麄冏?更為各種數(shù)值。作為上述的實施方式的變形例或注釋事項，以下記為注釋 1 注釋3。各注釋中記載的內(nèi)容，只要不矛盾就可以任意進行組合。
在上述的實施方式中，考慮以幀為單位且對幀圖像列進行包含面部處理的各種處理，但是也可考慮以場(field,半幀)為單位且對場圖像列進 行這些處理。
圖1的攝像裝置1可通過硬件或硬件與軟件的組合來實現(xiàn)。特別是， 圖3中所示的各部件執(zhí)行的運算處理可通過硬件或硬件與軟件的組合實 現(xiàn)。在利用軟件構(gòu)成攝像裝置1的情況下，軟件中所實現(xiàn)的部件的框圖表 示各部位的功能框圖。將運算處理的全部或一部分作為程序來記述，通過 在程序執(zhí)行裝置(例如，電腦)上執(zhí)行該程序，也可以實現(xiàn)其運算處理的 全部或一部分。
例如，能夠如以下的方式進行考慮。面部跟蹤部52包含進行上述識 別處理的識別部和進行上述重新設(shè)定處理的重新設(shè)定部。
權(quán)利要求
1.一種攝像裝置，具備攝像部，其通過反復(fù)攝影而取得在時間序列方向上排列多個輸入圖像所形成的輸入圖像列；面部檢測部，其基于所述輸入圖像列的圖像數(shù)據(jù)，從各輸入圖像中檢測人物的面部，并輸出表示圖像上的檢測面部的位置的位置信息；優(yōu)先面部設(shè)定部，其從由所述面部檢測部所檢測的一個以上的面部中設(shè)定優(yōu)先面部；識別部，其基于由所述面部檢測部所檢測的面部的位置信息，在各輸入圖像內(nèi)探索所述優(yōu)先面部，并將所述優(yōu)先面部與其他面部進行區(qū)別、檢測；和重新設(shè)定部，其在由所述識別部從所述優(yōu)先面部的設(shè)定后所得到的第一輸入圖像中能檢測所述優(yōu)先面部、而由所述識別部從在所述第一輸入圖像之后得到的第二輸入圖像中不能檢測所述優(yōu)先面部時，保持含有所述第一輸入圖像上的所述優(yōu)先面部的位置信息的保持信息，并利用所述保持信息執(zhí)行所述優(yōu)先面部的重新設(shè)定處理，所述重新設(shè)定部在所述重新設(shè)定處理中，基于所述保持信息和在所述第二輸入圖像之后得到的第三輸入圖像上的面部的位置信息，利用與所述識別部的所述優(yōu)先面部的探索條件不同的探索條件，在所述第三輸入圖像內(nèi)探索作為優(yōu)先面部而應(yīng)重新設(shè)定的重新設(shè)定面部。
2. 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于， 在通過所述識別部檢測出所述優(yōu)先面部且在時間上連續(xù)的兩枚輸入圖像由第四及第五輸入圖像構(gòu)成，在所述第四輸入圖像的取得后取得所述 第五輸入圖像的情況下，所述識別部對所述第五輸入圖像設(shè)定以所述第四輸入圖像上的所述 優(yōu)先面部的位置為基準的第一探索范圍，在所述第一探索范圍內(nèi)進行所述 第五輸入圖像上的所述優(yōu)先面部的探索，另一方面，所述重新設(shè)定部對所述第三輸入圖像設(shè)定以所述第一輸入 圖像上的所述優(yōu)先面部的位置為基準的第二探索范圍，在所述第二探索范圍內(nèi)進行所述第三輸入圖像上的所述重新設(shè)定面部的探索，所述第二探索范圍的大小比所述第一探索范圍的大小還大。
3. 根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于， 所述重新設(shè)定部禁止將從所述第一輸入圖像中檢測出的所述優(yōu)先面部以外的面部作為所述重新設(shè)定面部進行探索。
4. 根據(jù)權(quán)利要求3所述的攝像裝置，其特征在于， 所述識別部基于包含關(guān)注輸入圖像且在時間上連續(xù)的輸入圖像上的所述位置信息，按照每個面部進行由所述面部檢測部檢測的面部的識別，根據(jù)該識別來判斷從所述關(guān)注輸入圖像中檢測出的面部是否是在所 述關(guān)注輸入圖像中新檢測出的面部或者是否是在比所述關(guān)注輸入圖像更 靠前的輸入圖像中檢測出的面部，所述重新設(shè)定部基于所述判斷的結(jié)果進行所述重新設(shè)定處理，以便將由所述面部檢測部從所述第三輸入圖像的所述第二探索范圍內(nèi)檢測的 面部內(nèi)的不能從所述第二輸入圖像檢測出的面部、且在所述第三輸入圖像 中新檢測出的面部，作為所述重新設(shè)定面部進行探索。
5. 根據(jù)權(quán)利要求2所述的攝像裝置，其特征在于， 該攝像裝置還具備移動檢測部，其檢測不同輸入圖像間的優(yōu)先面部的移動，所述重新設(shè)定部根據(jù)在由所述識別部檢測出所述優(yōu)先面部的期間內(nèi) 所述優(yōu)先面部的移動，使所述第二探索范圍的形狀可變。
6. 根據(jù)權(quán)利要求l所述的攝像裝置，其特征在于， 所述保持信息中含有表示所述第一輸入圖像上的所述優(yōu)先面部的特' 一所述重新設(shè)定部不僅基于所述優(yōu)先面部的位置信息也基于所述附加 信息來執(zhí)行所述重新設(shè)定處理。
全文摘要
本發(fā)明提供一種攝像裝置，具備攝像部，其通過反復(fù)攝影而取得輸入圖像列；面部檢測部，其基于輸入圖像列的圖像數(shù)據(jù)，從各輸入圖像中檢測人物的面部，并輸出面部的位置信息；優(yōu)先面部設(shè)定部；識別部，其基于位置信息，在各輸入圖像內(nèi)探索優(yōu)先面部并將優(yōu)先面部與其他面部進行區(qū)別檢測；和重新設(shè)定部，其在由識別部能從第一輸入圖像中檢測而不能從第二輸入圖像中檢測優(yōu)先面部時，利用含有優(yōu)先面部在第一輸入圖像上的位置信息的保持信息執(zhí)行重新設(shè)定處理，重新設(shè)定部在重新設(shè)定處理中基于保持信息和第三輸入圖像上的面部的位置信息，利用與識別部的優(yōu)先面部的探索條件不同的探索條件，在第三輸入圖像內(nèi)探索作為優(yōu)先面部所應(yīng)重新設(shè)定的重新設(shè)定面部。
文檔編號H04N5/232GK101631198SQ20091015210
公開日2010年1月20日 申請日期2009年7月14日 優(yōu)先權(quán)日2008年7月14日
發(fā)明者橫畠正大 申請人:三洋電機株式會社