專(zhuān)利名稱(chēng)：人物檢索裝置、人物檢索方法和入退場(chǎng)管理系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及例如根據(jù)對(duì)象者的虹膜、視網(wǎng)膜、靜脈、臉的特征、手的狀態(tài)等身體信息，檢索與上述對(duì)象者類(lèi)似的人物的人物檢索裝置、人物檢索方法和入退場(chǎng)管理系統(tǒng)。
背景技術(shù)：
最近，例如開(kāi)發(fā)出了根據(jù)對(duì)象者的虹膜、視網(wǎng)膜、靜脈、臉的特征、手的狀態(tài)等身體信息，檢索與檢索的對(duì)象者類(lèi)似的人物的技術(shù)。在根據(jù)這樣的身體信息檢索人物的技術(shù)中，判斷從對(duì)象者取得的身體信息和預(yù)先登記的多個(gè)登記者的身體信息的類(lèi)似度，根據(jù)這些類(lèi)似度檢索與對(duì)象者類(lèi)似的登記者。進(jìn)而，上述那樣的技術(shù)也被應(yīng)用于根據(jù)上述類(lèi)似度管理人物的入退場(chǎng)的系統(tǒng)等中。
例如，在特開(kāi)2002-163652號(hào)公報(bào)中，記載了以下的技術(shù)先輪流求出各登記者的身體信息(各登記數(shù)據(jù))之間的類(lèi)似度，對(duì)進(jìn)行以下處理的順序進(jìn)行控制，即根據(jù)各登記數(shù)據(jù)之間的類(lèi)似度，計(jì)算出各登記數(shù)據(jù)相對(duì)于對(duì)象者的身體信息的類(lèi)似度的處理(對(duì)照處理)。
另外，在特開(kāi)2003-256380號(hào)公報(bào)中，記載了以下的技術(shù)對(duì)進(jìn)行以下處理的順序進(jìn)行控制，即根據(jù)對(duì)通過(guò)ID編號(hào)或名字等特定的信息確定的人物的處理履歷，計(jì)算出各登記數(shù)據(jù)相對(duì)于對(duì)象者的身體信息的類(lèi)似度的處理(對(duì)照處理)。

發(fā)明內(nèi)容
本發(fā)明的一個(gè)形式的目的在于進(jìn)行基于身體信息的人物檢索的高效化或高精度化。
作為本發(fā)明的一個(gè)形式的人物檢索裝置具有預(yù)先登記多個(gè)人物的身體信息的登記部件；取得檢索對(duì)象者的身體信息的身體信息取得部件；使由上述身體信息取得部件取得的身體信息與基于該身體信息的人物檢索結(jié)果對(duì)應(yīng)而保存的履歷保存部件；從上述履歷保存部件中檢索與由上述身體信息取得部件取得的身體信息類(lèi)似的身體信息的第一檢索部件；使用上述第一檢索部件的檢索結(jié)果，檢索與由上述身體信息取得部件取得的身體信息類(lèi)似的登記在上述登記部件中的身體信息的第二檢索部件；將上述第二檢索部件的檢索結(jié)果作為對(duì)上述檢索對(duì)象者的人物檢索結(jié)果而輸出的輸出部件。
在作為本發(fā)明的一個(gè)形式的人物檢索方法中，預(yù)先將多個(gè)人物的身體信息登記到登記部件中，取得檢索對(duì)象者的身體信息，使上述取得的身體信息與基于該身體信息的人物檢索結(jié)果對(duì)應(yīng)而保存到履歷保存部件中，從上述履歷保存部件中檢索與從檢索對(duì)象者取得的身體信息類(lèi)似的身體信息，使用來(lái)自上述履歷保存部件的檢索結(jié)果，檢索與上述取得的身體信息類(lèi)似的登記在上述登記部件中的身體信息，將來(lái)自上述登記部件的檢索結(jié)果作為對(duì)上述檢索對(duì)象者的人物檢索結(jié)果而輸出。
作為本發(fā)明的一個(gè)形式的入退場(chǎng)管理系統(tǒng)具有預(yù)先登記多個(gè)被許可入退場(chǎng)的人物的身體信息的登記部件；取得檢索對(duì)象者的身體信息的身體信息取得部件；使由上述身體信息取得部件取得的身體信息與基于該身體信息的人物檢索結(jié)果對(duì)應(yīng)而保存的履歷保存部件；從上述履歷保存部件檢索與由上述身體信息取得部件取得的身體信息類(lèi)似的身體信息的第一檢索部件；使用上述第一檢索部件的檢索結(jié)果，檢索與由上述身體信息取得部件取得的身體信息類(lèi)似的登記在上述登記部件中的身體信息的第二檢索部件；將上述第二檢索部件的檢索結(jié)果作為對(duì)上述檢索對(duì)象者的人物檢索結(jié)果而輸出的輸出部件；根據(jù)由該輸出部件輸出的人物檢索結(jié)果，控制上述檢索對(duì)象者的入退場(chǎng)的外部設(shè)備。
根據(jù)以下的具體說(shuō)明和實(shí)施例能夠了解本發(fā)明的其他特征和優(yōu)點(diǎn)，但本發(fā)明并不只限于這些具體說(shuō)明和實(shí)施例。


圖1是概要地表示實(shí)施例的人物檢索裝置的結(jié)構(gòu)的框圖。
圖2是用于說(shuō)明保存在履歷管理部件中的履歷信息的圖。
圖3是用于說(shuō)明對(duì)多個(gè)檢索結(jié)果的合并處理的圖。
圖4是用于說(shuō)明人物檢索裝置的處理的流程的流程圖。
圖5是概要地表示第一應(yīng)用例子的人物檢索裝置的結(jié)構(gòu)的框圖。
圖6是概要地表示第二應(yīng)用例子的人物檢索裝置的結(jié)構(gòu)的框圖。
圖7是用于說(shuō)明履歷信息的例子和相關(guān)的考慮方法的圖。
圖8是用于說(shuō)明檢索對(duì)象人物的相關(guān)關(guān)系的圖。
圖9是概要地表示第三應(yīng)用例子的人物檢索裝置的結(jié)構(gòu)的框圖。
圖10是用于說(shuō)明所設(shè)置的閾值的關(guān)系的圖。
圖11是用于說(shuō)明檢索與履歷信息的輸入圖像類(lèi)似的臉圖像的登記信息的再檢索處理的處理例子的流程圖。
具體實(shí)施例方式
以下，參照

本發(fā)明的實(shí)施例。
在以下的實(shí)施例中，說(shuō)明根據(jù)作為身體信息的臉圖像檢索人物的人物檢索裝置。在作為本實(shí)施例說(shuō)明的技術(shù)中，身體信息并不只限于臉圖像。作為本實(shí)施例說(shuō)明的技術(shù)可以適用于根據(jù)各種身體信息檢索人物的裝置或方法中。作為本實(shí)施例的身體信息，例如可以適用虹膜、視網(wǎng)膜、手或手指的靜脈圖案、指紋圖案、眼、耳或口的狀態(tài)等身體信息。
另外，本實(shí)施例主要設(shè)想了作為檢索對(duì)象的人物(登記者)是很多人數(shù)的情況。例如，本實(shí)施例適用于從數(shù)千到數(shù)萬(wàn)人的人物成為登記者的入退場(chǎng)管理系統(tǒng)、或短時(shí)間內(nèi)許可很多人物的入退場(chǎng)的入退場(chǎng)管理系統(tǒng)。作為前者的運(yùn)用形式，適用于管理出入建筑物或企業(yè)的建筑物的人物的入退場(chǎng)管理系統(tǒng)。另外，作為后者的運(yùn)用形式，設(shè)想了適用于管理短時(shí)間內(nèi)很多人數(shù)的人物出入那樣的事件會(huì)場(chǎng)或娛樂(lè)設(shè)施等的入退場(chǎng)的入退場(chǎng)管理系統(tǒng)等。另外，可以認(rèn)為本實(shí)施例在多個(gè)登記者中特定多個(gè)人物反復(fù)成為檢索對(duì)象者那樣的運(yùn)用形式中效果較大。
圖1是概要地表示實(shí)施例的人物檢索裝置1的結(jié)構(gòu)例子的框圖。
該人物檢索裝置1包括照相機(jī)10、圖像輸入部件11、臉檢測(cè)部件12、臉特征抽出部件13、履歷管理部件15、事前檢索部件16、登記部件17、主檢索部件18、輸出部件19和主控制部件20等。
上述人物檢索裝置1例如由連接有照相機(jī)10的計(jì)算機(jī)(未圖示)實(shí)現(xiàn)。在該情況下，上述圖像輸入部件11和輸出部件19通過(guò)計(jì)算機(jī)中的輸入輸出接口實(shí)現(xiàn)。另外，上述臉檢測(cè)部件12、臉特征抽出部件13、事前檢索部件16、主檢索部件18和主控制部件20例如是通過(guò)由計(jì)算機(jī)中的控制部件(未圖示)執(zhí)行存儲(chǔ)在存儲(chǔ)器(未圖示)中的處理程序來(lái)實(shí)現(xiàn)的功能。上述履歷管理部件15和登記部件17通過(guò)能夠由計(jì)算機(jī)中的控制部件(未圖示)訪問(wèn)的各種存儲(chǔ)器(未圖示)等實(shí)現(xiàn)。另外，上述照相機(jī)10、圖像輸入部件11、臉檢測(cè)部件12和臉特征抽出部件13作為身體信息取得部件發(fā)揮功能。
上述照相機(jī)10攝影檢索對(duì)象者(以下也稱(chēng)為人物、入退場(chǎng)者)M的臉圖像(至少包含臉的圖像)。上述照相機(jī)10作為輸入臉圖像的圖像取得部件而發(fā)揮功能。上述照相機(jī)10例如由使用了CCD傳感器等攝像元件的攝像機(jī)等構(gòu)成。另外，在本實(shí)施例中，說(shuō)明作為圖像取得部件使用了由攝像機(jī)構(gòu)成的照相機(jī)10的人物檢索裝置1。在上述人物檢索裝置1中，作為上述照相機(jī)10，可以將讀取并輸入照片的臉圖像的掃描儀等作為圖像取得部件而適用。
上述圖像輸入部件11作為通過(guò)與上述照相機(jī)10的組合而取得包含身體信息的圖像的圖像取得部件而發(fā)揮功能。圖1所示的圖像輸入部件11對(duì)由上述照相機(jī)10攝像了的圖像進(jìn)行處理。在上述圖像輸入部件11中，例如將由通過(guò)上述照相機(jī)10攝影了的模擬信號(hào)構(gòu)成的圖像數(shù)據(jù)變換為由數(shù)字信號(hào)構(gòu)成的圖像數(shù)據(jù)。由上述圖像輸入部件11進(jìn)行了數(shù)字化后的圖像數(shù)據(jù)被提供給臉檢測(cè)部件12。
上述臉檢測(cè)部件12作為檢測(cè)身體信息的身體信息檢測(cè)部件而發(fā)揮功能。圖1所示的臉檢測(cè)部件12具有檢測(cè)圖像數(shù)據(jù)中的人物的臉的區(qū)域的功能；檢測(cè)人物的臉中的眼、鼻、口等各部位的功能。這些功能通過(guò)由計(jì)算機(jī)的CPU等運(yùn)算裝置執(zhí)行的處理程序等來(lái)實(shí)現(xiàn)。
即，在上述臉檢測(cè)部件12中，進(jìn)行根據(jù)從上述圖像輸入部件11提供的圖像數(shù)據(jù)檢測(cè)對(duì)象者M(jìn)的臉區(qū)域的處理。例如，在上述臉檢測(cè)部件12中，作為檢測(cè)臉區(qū)域的方法，適用根據(jù)與預(yù)先準(zhǔn)備的模板(template)的相關(guān)值檢測(cè)臉區(qū)域的方法。在這樣的檢測(cè)臉區(qū)域的方法中，將與預(yù)先準(zhǔn)備的模板相比具有最高的相關(guān)值的圖像內(nèi)的區(qū)域作為臉區(qū)域。即，在采用了該方法的臉檢測(cè)部件12中，使模板在從上述圖像輸入部件11提供的圖像內(nèi)移動(dòng)，求出與該圖像內(nèi)的各區(qū)域的相關(guān)值，將產(chǎn)生最高的相關(guān)值的輸入圖像內(nèi)的區(qū)域作為臉區(qū)域。另外，作為檢測(cè)臉區(qū)域的方法，也可以使用利用固有空間法、或部分空間法而抽出臉區(qū)域的方法等。
另外，上述臉檢測(cè)部件12從檢測(cè)出的臉區(qū)域的圖像中，檢測(cè)形成眼、鼻、口那樣的臉的各部位。例如，作為上述臉檢測(cè)部件12檢測(cè)臉的各部位的方法，可以適用在以下文獻(xiàn)中揭示的技術(shù)，例如福井和廣、山口修“形狀抽出和圖案對(duì)照的組合的臉特征點(diǎn)抽出”，電子信息通信學(xué)會(huì)論文志(D)，vol.J80-D-II，No.8，pp2170-2177(1997年)。作為檢測(cè)上述口的區(qū)域的方法，可以適用以下的文獻(xiàn)所記載的技術(shù)，例如湯淺真由美、中島郎子“基于高精度臉特征點(diǎn)檢測(cè)的數(shù)字制作系統(tǒng)”第10次圖像傳感討論會(huì)預(yù)稿集，pp219-224(2004)。
另外，在從包含身體信息的圖像檢測(cè)身體信息的處理中，可以適用已知的技術(shù)。例如，在檢測(cè)作為身體信息的指紋或靜脈的圖案的處理中，可以適用以下文獻(xiàn)所記載的技術(shù)，財(cái)團(tuán)法人光產(chǎn)業(yè)技術(shù)振興協(xié)會(huì)(http//www.oitda.or.jp/index-j.html)2003年度光技術(shù)動(dòng)向調(diào)查“15-003-1光技術(shù)動(dòng)向調(diào)查報(bào)告書(shū)”，第5章“人機(jī)接口(human interface)”(2003年)。
上述臉特征抽出部件13作為抽出身體信息的特征信息的特征抽出部件而發(fā)揮功能。上述臉特征抽出部件13從由上述臉檢測(cè)部件12檢測(cè)出的臉區(qū)域的圖像中抽出臉的特征信息。例如，作為臉的特征信息(身體信息的特征信息)，使用切割為規(guī)定大小和形狀的區(qū)域的濃淡信息。在該情況下，上述臉特征抽出部件13根據(jù)由上述臉檢測(cè)部件12檢測(cè)出的臉的部位的位置，將臉區(qū)域切割為規(guī)定的大小和形狀。上述臉特征抽出部件13將切割為規(guī)定的大小和形狀的區(qū)域的圖像的濃淡信息作為臉圖像的特征量(臉的特征信息)而抽出。
另外，在上述臉特征抽出部件13中，作為臉圖像的特征量(臉的特征信息)，抽出m像素×n像素的臉圖像的區(qū)域的濃淡值。在該情況下，作為臉圖像的特征量的m×n維的濃淡信息被作為特征向量而提供。對(duì)表示這樣的臉圖像的特征量的特征向量進(jìn)行正規(guī)化，使得通過(guò)單純類(lèi)似度法那樣的方法而分別將向量和向量的長(zhǎng)度設(shè)置為“1”。對(duì)于正規(guī)化了的特征向量，通過(guò)計(jì)算出與其他特征向量的內(nèi)積，來(lái)計(jì)算出表示特征向量之間的類(lèi)似性的類(lèi)似度。該計(jì)算結(jié)果表示用各個(gè)特征向量表示的2個(gè)臉圖像的特征量的類(lèi)似度。即，如果作為上述計(jì)算結(jié)果的類(lèi)似度為“1”，則表示是完全相同的圖像，越接近于“0”則表示類(lèi)似性越低。在上述事前檢索部件16或上述主檢索部件18中的人物檢索處理中，利用使用了這樣的特征向量的類(lèi)似度的判斷方法。
上述履歷管理部件15保存表示過(guò)去實(shí)施了的人物檢索處理的內(nèi)容的履歷信息。上述履歷管理部件15由硬盤(pán)驅(qū)動(dòng)器等存儲(chǔ)裝置等構(gòu)成。例如，保存在上述履歷管理部件15中的履歷信息是在過(guò)去實(shí)施了的人物檢索處理中，使得成為檢索對(duì)象的臉圖像(或從臉圖像得到的臉的特征信息)、以及該人物檢索處理的檢索結(jié)果等對(duì)應(yīng)起來(lái)的數(shù)據(jù)。例如，在保存在上述履歷管理部件15中的履歷信息中，包含成為檢索對(duì)象的臉圖像(輸入圖像)、檢索結(jié)果(例如以類(lèi)似度高的順序排列的多個(gè)登記信息和類(lèi)似度)、以及屬性信息(檢索日期時(shí)間、檢索條件)等。例如，上述檢索結(jié)果是包含與以類(lèi)似度高的順序排列的多個(gè)登記信息的類(lèi)似度等的信息等。另外，上述屬性信息是包含進(jìn)行了檢索處理的日期時(shí)間(檢索日期時(shí)間)、檢索條件、檢索順序等的信息。另外，上述檢索結(jié)果也可以是用于與登記者的個(gè)人識(shí)別信息等的登記在上述登記部件17中的登記信息相連接(link)的信息。
另外，在上述履歷管理部件15中，順序地保存表示過(guò)去實(shí)施了的人物檢索處理的內(nèi)容的履歷信息。因此，在上述履歷管理部件15的保存容量有限制的情況下，保存在上述履歷管理部件15中的履歷信息按照規(guī)定的規(guī)則被順序地刪除。例如，在保存在履歷管理部件15中的數(shù)據(jù)量達(dá)到了一定容量的情況下，上述履歷管理部件15也可以順序地刪除最舊的履歷信息。另外，上述履歷管理部件15也可以順序地刪除在后述的事前檢索處理中被判斷為類(lèi)似的比率(符合(hit)率)最少的履歷信息。
進(jìn)而，上述履歷管理部件15也可以保存履歷信息，使得檢索順序成為后述的事前檢索處理中的符合率高的順序。另外，例如通過(guò)實(shí)施集合(clustering)處理等處理，上述履歷管理部件15也可以針對(duì)每組同一人物的多個(gè)履歷信息、或每組類(lèi)似的臉圖像的多個(gè)履歷信息，收集履歷信息。如這些所示，如果對(duì)保存在上述履歷管理部件15中的履歷信息進(jìn)行整理，則能夠提高后述的事前檢索部件16的事前檢索處理的處理效率(檢索效率)。
上述事前檢索部件16進(jìn)行以下的處理，即從上述履歷管理部件15中檢索與檢索對(duì)象者的臉圖像(或者臉的特征信息)類(lèi)似的臉圖像(或者臉的特征信息)的履歷信息(在此稱(chēng)為事前檢索處理)。上述事前檢索部件16的事前檢索處理的結(jié)果被輸出到上述主檢索部件18。
另外，在本實(shí)施例中，“類(lèi)似”是指判斷為“好像同一人物”。另外，根據(jù)檢索對(duì)象者的臉圖像(或臉的特征信息)與履歷信息的臉圖像(或臉的特征信息)的類(lèi)似度是否大于等于規(guī)定的閾值，來(lái)判斷是否“類(lèi)似(好像同一人物)”。另外，上述閾值是用于判斷是否“類(lèi)似(好像同一人物)”的基準(zhǔn)值。與該人物檢索裝置的運(yùn)用形式對(duì)應(yīng)地，適當(dāng)?shù)卦O(shè)置上述閾值。
在上述事前檢索部件16的事前檢索處理中，首先進(jìn)行以下處理，即判斷檢索對(duì)象者的臉圖像(或者臉的特征信息)與保存在履歷管理部件15中的各履歷信息中的輸入圖像(或臉的特征信息)的類(lèi)似度。
在此，臉的特征信息是m×n維的一個(gè)特征向量。另外，在上述履歷管理部件15中，作為履歷信息的輸入圖像，保存臉的特征信息。在該情況下，由上述臉特征抽出部件13計(jì)算出由上述照相機(jī)10攝影了的臉圖像的臉的特征信息。上述事前檢索部件16計(jì)算作為由上述臉特征抽出部件13計(jì)算出的檢索對(duì)象者的臉的特征信息的特征向量與作為保存在上述履歷管理部件15中的各履歷信息的輸入圖像中的臉的特征信息的特征向量的類(lèi)似度。由此，在上述事前檢索部件16中，計(jì)算出檢索對(duì)象者的臉圖像與各履歷信息的輸入圖像的類(lèi)似度。
另外，在沒(méi)有在上述那樣的處理中計(jì)算出的類(lèi)似度中大于等于規(guī)定的閾值的類(lèi)似度的輸入圖像的履歷信息的情況下，上述事前檢索部件16判斷為不存在與檢索對(duì)象者的臉圖像類(lèi)似的履歷信息的輸入圖像。在該情況下，上述事前檢索部件16將沒(méi)有與檢索對(duì)象者的臉圖像類(lèi)似的輸入圖像的履歷信息作為該事前檢索處理的結(jié)果。另外，在存在大于等于規(guī)定的閾值的類(lèi)似度的輸入圖像的履歷信息的情況下，上述事前檢索部件16將與檢索對(duì)象者的臉圖像類(lèi)似的輸入圖像的履歷信息作為事前檢索處理的結(jié)果。
另外，在只有一件大于等于規(guī)定的閾值的類(lèi)似度的輸入圖像的履歷信息的情況下，上述事前檢索部件16將與檢索對(duì)象者的臉圖像類(lèi)似的輸入圖像的履歷信息作為事前檢索處理的結(jié)果。在存在多件大于等于規(guī)定的閾值的類(lèi)似度的輸入圖像的履歷信息的情況下，上述事前檢索部件16將與檢索對(duì)象者的臉圖像類(lèi)似的輸入圖像的全部履歷信息作為事前檢索處理的結(jié)果。另外，在存在多件大于等于規(guī)定的閾值的類(lèi)似度的輸入圖像的履歷信息的情況下，上述事前檢索部件16也可以將與檢索對(duì)象者的臉圖像類(lèi)似的輸入圖像的履歷信息中的與檢索對(duì)象者的臉圖像的類(lèi)似度最大的輸入圖像的履歷信息作為事前檢索處理的結(jié)果。
在上述登記部件17中，預(yù)先保存(登記)各登記者的登記信息。在保存在上述登記部件17中的各登記信息中，至少包含登記者的臉圖像、或從登記者的臉圖像得到的臉的特征信息。作為保存在上述登記部件17中的各登記信息所包含的臉的特征信息，例如使用上述那樣的m×n的特征向量。另外，作為保存在上述登記部件17中的各登記信息所包含的臉的特征信息，也可以是部分空間或進(jìn)行KL展開(kāi)之前的相關(guān)矩陣。進(jìn)而，在登記在上述登記部件17中的登記信息中，也包含例如向登記者提供的個(gè)人識(shí)別信息(ID編號(hào))。由此，可以根據(jù)上述個(gè)人識(shí)別信息，檢索登記在上述登記部件17中的登記信息。
另外，在上述登記部件17中，可以針對(duì)一個(gè)登記者保存一個(gè)登記信息，也可以針對(duì)一個(gè)登記者保存多個(gè)登記信息。另外，也可以在保存在上述登記部件17中的一個(gè)登記信息中，保存多個(gè)臉圖像或多個(gè)臉的特征信息。
上述主檢索部件18使用上述事前檢索部件16的事前檢索處理的結(jié)果等，判斷作為該人物檢索裝置1的最終的人物檢索結(jié)果。上述主檢索部件18具有以下的功能進(jìn)行從上述登記部件17中檢索與檢索對(duì)象者的臉圖像(或臉的特征信息)類(lèi)似的臉圖像(或臉的特征信息)的登記信息的處理(在此稱(chēng)為主檢索處理)的功能；根據(jù)由上述事前檢索部件16得到的事前檢索處理的結(jié)果，作成人物的檢索結(jié)果的功能等。
上述主檢索部件18的主檢索處理是檢索與檢索對(duì)象者M(jìn)的臉圖像(或臉的特征信息)類(lèi)似的臉圖像(或臉的特征信息)的登記信息的處理。即，在主檢索處理中，判斷檢索對(duì)象者M(jìn)的臉圖像與各登記信息的臉圖像的類(lèi)似度。如果計(jì)算出各登記信息相對(duì)于檢索對(duì)象者M(jìn)的臉圖像的類(lèi)似度，則在上述主檢索處理中，將在以高的順序排列的這些類(lèi)似度中從高位開(kāi)始的規(guī)定個(gè)數(shù)的登記信息，作為主檢索處理的結(jié)果。另外，在上述主檢索處理中，也可以將大于等于規(guī)定的閾值的類(lèi)似度作為主檢索處理的結(jié)果。
另外，與該人物檢索裝置1的運(yùn)用形式對(duì)應(yīng)地，決定是將類(lèi)似度高的規(guī)定個(gè)數(shù)的登記信息作為檢索結(jié)果，還是將大于等于規(guī)定的閾值的類(lèi)似度的登記信息作為檢索結(jié)果。
例如，在將該人物檢索裝置1適用于人物監(jiān)視系統(tǒng)的情況(即，將該人物檢索裝置1的人物檢索結(jié)果作為人物監(jiān)視用的信息使用的情況)下，作為該人物檢索裝置1的最終的人物檢索結(jié)果，可以認(rèn)為得到與檢索對(duì)象者M(jìn)類(lèi)似的人物所相關(guān)的信息是重要的。因此，在將該人物檢索裝置1適用于人物監(jiān)視系統(tǒng)中的情況下，在上述主檢索處理中，將類(lèi)似度高的規(guī)定個(gè)數(shù)的登記信息作為檢索結(jié)果。
另外，在將該人物檢索裝置1適用于入退場(chǎng)管理系統(tǒng)中的情況(即，將該人物檢索裝置1的人物檢索結(jié)果作為用于控制入退場(chǎng)的信息使用的情況)下，作為該人物檢索裝置1的最終的人物檢索結(jié)果，可以認(rèn)為表示檢索對(duì)象者M(jìn)是否是登記者的判斷結(jié)果是重要的。因此，在將該人物檢索裝置1適用于入退場(chǎng)管理系統(tǒng)中的情況下，在上述主檢索處理中，將大于等于規(guī)定的閾值的類(lèi)似度的登記信息作為主檢索處理的結(jié)果。
另外，在上述主檢索部件18中，使用上述事前檢索部件16的事前檢索處理的結(jié)果判斷人物的檢索結(jié)果。例如，在通過(guò)上述事前檢索部件16的事前檢索處理判斷出只存在一件與檢索對(duì)象者的臉圖像的類(lèi)似度大于等于規(guī)定的閾值的輸入圖像的履歷信息的情況下，上述主檢索部件18不進(jìn)行主檢索處理，而將該履歷信息的檢索結(jié)果作為對(duì)檢索對(duì)象者M(jìn)的最終的人物檢索結(jié)果。
另外，在通過(guò)上述事前檢索部件16的事前檢索處理，判斷出存在多個(gè)與檢索對(duì)象者的臉圖像的類(lèi)似度大于等于規(guī)定的閾值的輸入圖像的履歷信息的情況下，在上述主檢索部件18中，根據(jù)這些履歷信息的檢索結(jié)果，判斷對(duì)檢索對(duì)象者的最終的人物檢索結(jié)果。
例如，在上述主檢索部件18中，也可以根據(jù)通過(guò)上述事前檢索處理得到的多個(gè)履歷信息的檢索結(jié)果，作成一個(gè)檢索結(jié)果。在該情況下，在上述主檢索部件18中，進(jìn)行合并各履歷信息的檢索結(jié)果(多個(gè)檢索結(jié)果)的合并處理，將通過(guò)該合并處理得到的一個(gè)檢索結(jié)果(合并后的檢索結(jié)果)作為最終的人物檢索結(jié)果。
由此，在上述主檢索部件18中，不進(jìn)行主檢索處理(即不進(jìn)行判斷與全部的登記信息的類(lèi)似度的處理)，得到最終的人物檢索結(jié)果。因此，能夠縮短該人物檢索裝置1的人物檢索處理全體所需要的處理時(shí)間。另外，將在后面詳細(xì)說(shuō)明上述合并處理。
另外，在上述主檢索部件18中，也可以只將根據(jù)通過(guò)上述事前檢索處理得到的多個(gè)履歷信息的檢索結(jié)果所限定了的登記者的登記信息作為檢索對(duì)象，來(lái)進(jìn)行對(duì)檢索對(duì)象者M(jìn)的臉圖像的檢索處理。在該情況下，在上述主檢索部件18中，根據(jù)通過(guò)上述事前檢索處理得到的多個(gè)履歷信息的檢索結(jié)果挑選成為檢索對(duì)象的登記者，將這些挑選出的登記者的登記信息作為檢索對(duì)象，進(jìn)行對(duì)檢索對(duì)象者M(jìn)的臉圖像的檢索處理。
由此，在上述主檢索部件18中，不進(jìn)行判斷與全部的登記信息的類(lèi)似度的處理，而通過(guò)判斷與限定了的登記信息的類(lèi)似度的處理，得到最終的人物檢索結(jié)果。因此，能夠縮短該人物檢索裝置1的人物檢索處理全體所需要的處理時(shí)間。
上述輸出部件19將作為該人物檢索裝置1的最終的人物檢索結(jié)果、或與最終的人物檢索結(jié)果對(duì)應(yīng)的控制信號(hào)輸出到外部設(shè)備2。與外部設(shè)備2的結(jié)構(gòu)或運(yùn)用形式對(duì)應(yīng)地，設(shè)計(jì)上述輸出部件19的結(jié)構(gòu)和上述輸出部件19所輸出的信息。
例如，在將該人物檢索裝置1適用于人物監(jiān)視系統(tǒng)的情況下，上述外部設(shè)備2由用于監(jiān)視人員等監(jiān)視人物的顯示裝置等構(gòu)成。在該情況下，上述輸出部件19輸出由上述照相機(jī)10攝影了的檢索對(duì)象者M(jìn)的臉圖像、由上述主檢索部件18得到的最終的人物檢索結(jié)果等。特別地，如果是顯示應(yīng)該由上述外部設(shè)備2監(jiān)視的信息的顯示裝置，則上述輸出部件19輸出由上述照相機(jī)10攝影了的檢索對(duì)象者M(jìn)的臉圖像、基于人物檢索結(jié)果的登記信息(登記者的臉圖像、以及登記者的屬性信息)和類(lèi)似度等顯示數(shù)據(jù)。
另外，在將該人物檢索裝置1適用于以監(jiān)視預(yù)先設(shè)置的特定人物為目的的人物監(jiān)視系統(tǒng)的情況下，上述外部設(shè)備2由用于向監(jiān)視人員等報(bào)告發(fā)現(xiàn)了特定人物的顯示裝置或警報(bào)裝置等構(gòu)成。在該情況下，如果在人物的檢索結(jié)果中包含類(lèi)似度大于等于規(guī)定的閾值的特定人物，則上述輸出部件19向外部設(shè)備2輸出用于顯示出表示檢測(cè)出特定人物的警告、或者鳴響警報(bào)的控制信號(hào)。
另外，在將該人物檢索裝置1適用于根據(jù)門(mén)的開(kāi)閉等控制人物的通行(入退場(chǎng))的入退場(chǎng)管理系統(tǒng)的情況下，上述外部設(shè)備2由用于控制人物的通行(入退場(chǎng))的門(mén)(或設(shè)置在門(mén)上的鎖)的開(kāi)閉的裝置構(gòu)成。在該情況下，如果在人物的檢索結(jié)果中包含類(lèi)似度大于等于規(guī)定值的登記者(或許可通行的登記者)，則上述輸出部件19向外部設(shè)備2輸出用于開(kāi)放門(mén)(或設(shè)置在門(mén)上的鎖)的控制信號(hào)。
上述主控制部件20統(tǒng)一地控制該人物檢索裝置1全體。上述主控制部件20控制上述各部件的動(dòng)作等。
例如，在上述主控制部件20中，也可以選擇性地切換是執(zhí)行事前檢索處理，還是省略。在本實(shí)施例的人物檢索裝置1中，通過(guò)進(jìn)行從上述履歷管理部件15中檢索與檢索對(duì)象者M(jìn)的臉圖像類(lèi)似的輸入圖像的履歷信息的處理(事前檢索處理)，來(lái)謀求處理的高效化或高精度化。
但是，根據(jù)運(yùn)用形式，進(jìn)行上述事前檢索處理也有可能造成處理效率的降低。例如，在與登記信息的個(gè)數(shù)相比履歷信息的個(gè)數(shù)多的情況下，事前檢索處理所需要的時(shí)間有可能比主檢索處理所需要的時(shí)間還長(zhǎng)。另外，在事前檢索處理中的發(fā)現(xiàn)類(lèi)似的履歷信息的比率(符合率)極低的情況下，通過(guò)執(zhí)行事前檢索處理，有可能造成處理全體的效率降低。因此，在上述主控制部件20中，在未圖示的內(nèi)部存儲(chǔ)器中，預(yù)先存儲(chǔ)事前檢索處理所需要的處理時(shí)間的平均值、主檢索處理所需要的處理時(shí)間的平均值、以及事前檢索處理的符合率等信息。根據(jù)這些信息，在上述主控制部件20中，判斷是執(zhí)行上述事前檢索處理還是省略。
例如，在事前檢索處理所需要的處理時(shí)間的平均值比主檢索處理所需要的處理時(shí)間的平均值還長(zhǎng)的情況下，在上述主控制部件20中，判斷為省略上述事前檢索處理。另外，在事前檢索處理的符合率比規(guī)定的值還低的情況下，上述主控制部件20判斷為省略上述事前檢索處理。
通過(guò)進(jìn)行上述那樣的控制，在上述主控制部件20中，能夠動(dòng)態(tài)地切換是否進(jìn)行事前檢索處理，在任意的運(yùn)用形式下，都能夠進(jìn)行控制使得處理全體的效率不降低。
另外，在上述主控制部件20中，也可以適當(dāng)?shù)刈兏糜谠谏鲜鍪虑皺z索處理或上述主檢索處理中判斷出“類(lèi)似(好像同一人物)”的閾值。例如，在將該人物檢索裝置1適用于人物監(jiān)視系統(tǒng)中的情況下，在上述主控制部件20中，與運(yùn)用狀況等對(duì)應(yīng)地，適當(dāng)?shù)刈兏糜谠谏鲜鍪虑皺z索處理或上述主檢索處理中判斷出“類(lèi)似(好像同一人物)”的閾值。例如，在人物監(jiān)視系統(tǒng)中，在特定的時(shí)期中可能有希望強(qiáng)化監(jiān)視那樣的狀況。在這樣的情況下，通過(guò)與運(yùn)用狀況對(duì)應(yīng)地如上述那樣變更閾值，能夠?qū)崿F(xiàn)與狀況對(duì)應(yīng)的適當(dāng)?shù)娜宋锉O(jiān)視。
接著，說(shuō)明上述事前檢索部件16的事前檢索處理。
圖2是表示保存在上述履歷管理部件15中的履歷信息的例子的圖。
如圖2所示，在上述履歷管理部件15中，作為履歷信息，與一個(gè)檢索對(duì)象者的臉圖像(輸入圖像)對(duì)應(yīng)地保存有檢索結(jié)果、檢索日期時(shí)間等屬性信息。上述履歷信息的檢索結(jié)果表示對(duì)履歷信息的輸入圖像的人物檢索處理(事前檢索處理或主檢索處理)的結(jié)果。在圖2所示的例子中，檢索結(jié)果由表示相對(duì)于輸入圖像的類(lèi)似度高的規(guī)定個(gè)數(shù)的登記信息的信息構(gòu)成。檢索結(jié)果中的表示登記信息的信息例如是表示登記者的個(gè)人識(shí)別信息、登記者的臉圖像(或臉的特征信息)、相對(duì)于輸入圖像的類(lèi)似度等的信息。另外，表示登記者的個(gè)人識(shí)別信息和登記者的臉圖像(或臉的特征信息)是作為登記信息被保存在登記部件17中的信息。
作為具體例子，說(shuō)明圖2所示那樣的對(duì)3個(gè)履歷信息的事前檢索處理。在此，如果假設(shè)由上述照相機(jī)10攝影了的檢索對(duì)象者的臉圖像為臉圖像X，則上述事前檢索部件16分別計(jì)算出履歷信息A的輸入圖像A、履歷信息B的輸入圖像B、履歷信息C的輸入圖像C相對(duì)于臉圖像X的類(lèi)似度。如果計(jì)算出各履歷信息的輸入圖像相對(duì)于檢索對(duì)象者的臉圖像X的類(lèi)似度，則上述事前檢索部件16將這些類(lèi)似度中的大于等于規(guī)定的閾值的輸入圖像的履歷信息作為事前檢索處理的檢索結(jié)果。
即，在上述事前檢索部件16中，判斷為類(lèi)似度大于等于規(guī)定的閾值的履歷信息的輸入圖像是與檢索對(duì)象者一樣的人物。這表示過(guò)去檢索出過(guò)檢索對(duì)象者。因此，作為基于該檢索對(duì)象者的臉圖像的人物檢索結(jié)果，可以適用對(duì)該人物的過(guò)去的檢索結(jié)果。根據(jù)這樣的事前檢索處理，在該人物檢索裝置1中，不進(jìn)行檢索對(duì)象者的臉圖像X與登記在登記部件17中的全部登記信息的對(duì)照，也能夠得到對(duì)該檢索對(duì)象者的臉圖像的人物檢索結(jié)果。
另外，在存在多個(gè)類(lèi)似度大于等于規(guī)定的閾值的輸入圖像的履歷信息的情況下，在上述事前檢索部件16中，如上所述，可以將這些全部的履歷信息作為事前檢索處理的結(jié)果，也可以將這些履歷信息中的一個(gè)作為事前檢索處理的結(jié)果。另外，上述主檢索部件18可以進(jìn)行從多個(gè)履歷信息中選擇一個(gè)履歷信息的處理。在該情況下，在上述事前檢索部件16中，將類(lèi)似度大于等于規(guī)定的閾值的全部履歷信息作為事前檢索處理的結(jié)果，提供給主檢索部件18。
另外，在存在多個(gè)類(lèi)似度大于等于規(guī)定的閾值的輸入圖像的履歷信息的情況下，在上述事前檢索部件16中，可以將類(lèi)似度大于等于規(guī)定的閾值的輸入圖像的履歷信息中的類(lèi)似度最高的一個(gè)履歷信息作為檢索結(jié)果，也可以將最新的履歷信息作為檢索結(jié)果，還可以將最舊的履歷信息作為檢索結(jié)果。
在此，最新的履歷信息表示前次檢索出該檢索對(duì)象者時(shí)的信息。即，如果將最新的履歷信息作為檢索結(jié)果，則有以下的優(yōu)點(diǎn)，即能夠同時(shí)得到對(duì)該檢索對(duì)象者的人物檢索結(jié)果、對(duì)該檢索對(duì)象者的前次人物檢索處理有關(guān)的信息(例如檢索日期時(shí)間、檢索場(chǎng)所等)。另外，最新的履歷信息的輸入圖像是與該人物對(duì)應(yīng)的履歷信息中的最近攝影了的臉圖像。因此，如果將檢索對(duì)象者的臉圖像與最新的履歷信息的輸入圖像相比，則能夠表示出該檢索對(duì)象者的最近的臉的變化。
另外，最舊的履歷信息的輸入圖像是與該人物對(duì)應(yīng)的履歷信息中的在與登記在上述登記部件17中的臉圖像最接近的時(shí)期所攝影了的臉圖像。通常，可以預(yù)測(cè)人物的臉隨著時(shí)間經(jīng)過(guò)而發(fā)生變化。因此，可以預(yù)測(cè)最舊的履歷信息的輸入圖像與登記在上述登記部件17中的臉圖像的類(lèi)似度最高。換一種說(shuō)法，通過(guò)將最舊的履歷信息作為檢索結(jié)果，具有以下的優(yōu)點(diǎn)，即在事前檢索處理的結(jié)果中，能夠同時(shí)表示出對(duì)該檢索對(duì)象者的人物檢索結(jié)果、用與登記在上述登記部件17中的臉圖像最接近的狀態(tài)的臉圖像進(jìn)行了人物檢索處理的檢索結(jié)果(履歷信息)。
接著，說(shuō)明作為上述事前檢索部件16的事前檢索處理的結(jié)果能夠得到多個(gè)履歷信息的情況下的上述主檢索部件18的處理例子。
即，在通過(guò)上述事前檢索處理能夠得到多個(gè)與檢索對(duì)象者的臉圖像類(lèi)似的履歷信息的情況下，在上述主檢索部件18中，進(jìn)行以下處理，即根據(jù)這些履歷信息判斷對(duì)檢索對(duì)象者的最終的人物檢索結(jié)果。作為根據(jù)多個(gè)履歷信息判斷人物檢索結(jié)果的處理，例如可以適用以下那樣的3個(gè)處理方法。
首先，第一處理方法是以下的方法根據(jù)規(guī)定的條件從多個(gè)履歷信息中選擇一個(gè)履歷信息，將選擇出的履歷信息的檢索結(jié)果作為最終的人物檢索結(jié)果。
在該第一處理方法中，如作為上述事前檢索處理的處理例子所說(shuō)明的那樣，選擇多個(gè)履歷信息中的類(lèi)似度最高的履歷信息、最新的履歷信息、或最舊的履歷信息。在上述第一處理方法中，將選擇出的一個(gè)履歷信息的檢索結(jié)果作為最終的人物檢索結(jié)果。根據(jù)這樣的第一處理方法，不需要進(jìn)行復(fù)雜的處理或類(lèi)似度的判斷處理等，就能夠以簡(jiǎn)單的處理得到最終的人物檢索結(jié)果。因此，根據(jù)第一處理方法，能夠進(jìn)行高速的處理。
另外，第二處理方法是以下的方法合并多個(gè)履歷信息中的各檢索結(jié)果，將合并后的檢索結(jié)果作為最終的人物檢索結(jié)果。在該第二處理方法中，作為將多個(gè)履歷信息的檢索結(jié)果合并為一個(gè)檢索結(jié)果的方法，可以適用各種方法。將在后面詳細(xì)說(shuō)明作為第二處理方法的合并處理的例子。
另外，第三處理方法是以下的方法根據(jù)多個(gè)履歷信息的各檢索結(jié)果挑選登記者，限定于挑選出的登記者的登記信息地，對(duì)檢索對(duì)象者的臉圖像進(jìn)行與上述主檢索處理一樣的檢索處理，作為該檢索處理的最終的人物檢索結(jié)果。
在該第三處理方法中，根據(jù)多個(gè)履歷信息的各檢索結(jié)果，確定作為檢索對(duì)象的登記者(登記者的候選)。例如，作為登記者的候選，將在各檢索結(jié)果中從高位開(kāi)始的規(guī)定個(gè)數(shù)的登記者作為檢索對(duì)象。如果確定了登記者的候選，則上述主檢索部件18判斷檢索對(duì)象者M(jìn)的臉圖像與各登記者的候選的登記信息中的臉圖像的類(lèi)似度，將根據(jù)這些類(lèi)似度得到的檢索結(jié)果作為最終的人物檢索結(jié)果。根據(jù)這樣的第三處理方法，通過(guò)計(jì)算檢索對(duì)象者M(jìn)的臉圖像與根據(jù)履歷信息挑選出的登記信息的臉圖像(登記圖像)的類(lèi)似度，而能夠得到最終的人物檢索結(jié)果。即，根據(jù)第三處理方法，不對(duì)全部的登記者的臉圖像判斷類(lèi)似度，就可以對(duì)作為有力的候選的登記者的臉圖像判斷類(lèi)似度。其結(jié)果是根據(jù)第三處理方法，能夠維持高檢索精度地，謀求人物檢索處理全體的高速化和高效化。
接著，說(shuō)明將多個(gè)檢索結(jié)果合并為一個(gè)檢索結(jié)果的合并處理。
在此，說(shuō)明上述第二處理方法中的合并處理的一個(gè)例子。圖3是表示3個(gè)履歷信息的例子和對(duì)這些履歷信息進(jìn)行了合并的合并履歷的例子的圖。
在圖3所示的例子中，通過(guò)事前檢索處理能夠得到3個(gè)履歷信息A、B、C。各履歷信息的檢索結(jié)果分別由相對(duì)于輸入圖像的類(lèi)似度、表示以類(lèi)似度高的順序排列了的規(guī)定個(gè)數(shù)的登記者的信息構(gòu)成。例如，在履歷信息A中，以類(lèi)似度高的順序，作為檢索結(jié)果保存有類(lèi)似度為“0.86”的人物B、類(lèi)似度為“0.85”的人物A、類(lèi)似度為“0.82”的人物C……。在履歷信息B中，以類(lèi)似度高的順序，作為檢索結(jié)果保存有類(lèi)似度為“0.87”的人物A、類(lèi)似度為“0.81”的人物C、類(lèi)似度為“0.80”的人物B。在履歷信息C中，以類(lèi)似度高的順序，作為檢索結(jié)果保存有類(lèi)似度為“0.81”的人物A、類(lèi)似度為“0.80”的人物D、類(lèi)似度為“0.79”的人物C。
在這樣的履歷信息的檢索結(jié)果中，對(duì)每個(gè)人物求出最高的類(lèi)似度。例如，人物A的類(lèi)似度為最大的是履歷信息B的類(lèi)似度“0.87”。另外，人物B的類(lèi)似度為最大的是履歷信息A的類(lèi)似度“0.86”。另外，人物C的類(lèi)似度為最大的是履歷信息A的類(lèi)似度“0.82”。將這樣求出的各人物的最大類(lèi)似度順序地排列后的數(shù)據(jù)作為檢索結(jié)果，為圖3所示的合并履歷信息。即，在上述的合并處理中，針對(duì)存在于各履歷信息的檢索結(jié)果中的各人物分別抽出最大類(lèi)似度，將順序地排列了這些最大類(lèi)似度后的數(shù)據(jù)作為合并履歷信息的檢索結(jié)果。
另外，作為上述合并處理，也可以針對(duì)各履歷信息中的各人物的類(lèi)似度計(jì)算出平均值，將順序地排列了該平均值后的數(shù)據(jù)作為合并履歷信息的檢索結(jié)果。例如，在圖3所示的履歷信息A、B、C中，人物A的類(lèi)似度的平均值是“0.843”，人物B的類(lèi)似度的平均值是“0.82”，人物C的類(lèi)似度的平均值是“0.807”。因此，作為順序地排列了這些值的合并履歷信息的檢索結(jié)果，得到人物A(0.843)、人物B(0.82)、人物C(0.807)的檢索結(jié)果。
另外，上述第三處理方法也可以使用通過(guò)上述那樣的合并處理得到的合并履歷信息的檢索結(jié)果，挑選登記者。這例如可以是從合并履歷信息的檢索結(jié)果中的高位開(kāi)始將規(guī)定個(gè)數(shù)的人物作為登記者的候選進(jìn)行挑選，判斷這些各登記者的候選的登記信息中的臉圖像與檢索對(duì)象者M(jìn)的臉圖像的類(lèi)似度，根據(jù)這些類(lèi)似度得到檢索結(jié)果。在該情況下，雖然與原樣地將合并履歷信息的檢索結(jié)果作為最終的人物檢索結(jié)果相比，處理時(shí)間變長(zhǎng)，但具有能夠得到正確的類(lèi)似度的優(yōu)點(diǎn)。
接著，說(shuō)明人物檢索裝置1的處理的流程。
圖4是用于說(shuō)明人物檢索裝置1的基本處理的流程的流程圖。
如果檢索對(duì)象者出現(xiàn)在照相機(jī)10的前面，則上述照相機(jī)10攝影包含檢索對(duì)象者的臉的圖像。通過(guò)上述圖像輸入部件11，將由上述照相機(jī)10攝影了的圖像取入到人物檢索裝置1本體內(nèi)。如果取得由上述照相機(jī)10攝影了的圖像，則上述圖像輸入部件11對(duì)取得了的圖像實(shí)施規(guī)定的圖像處理(步驟S10)。例如，在上述圖像輸入部件11中，進(jìn)行將由上述照相機(jī)10攝影了的模擬的圖像變換為數(shù)字的圖像數(shù)據(jù)的處理等。
將由上述圖像輸入部件11處理后的圖像數(shù)據(jù)提供給臉檢測(cè)部件12。如果提供了圖像數(shù)據(jù)，則在上述臉檢測(cè)部件12中，針對(duì)所提供的圖像數(shù)據(jù)進(jìn)行臉檢測(cè)處理(步驟S11)。在上述臉檢測(cè)處理中，如上所述那樣，進(jìn)行圖像數(shù)據(jù)中的臉區(qū)域的檢測(cè)、以及抽出臉區(qū)域的圖像中的臉的特征部位等的處理。由上述臉檢測(cè)部件12將臉檢測(cè)處理的結(jié)果提供給上述臉特征抽出部件13。在上述臉特征抽出部件13中，進(jìn)行計(jì)算出表示臉的特征的臉特征信息的處理(步驟S12)。
如果由上述臉特征抽出部件13計(jì)算出臉的特征信息，則上述主控制部件20判斷是否執(zhí)行事前檢索處理(步驟S13)。這例如是對(duì)事前檢索處理所需要的處理時(shí)間的平均值和主檢索處理所需要的處理時(shí)間的平均值進(jìn)行比較，或者根據(jù)事前檢索處理的符合率等進(jìn)行判斷。另外，如果上述判斷是事前檢索處理的前面的階段，則可以在任意的定時(shí)下進(jìn)行。
在通過(guò)上述判斷判斷出省略事前檢索處理的情況下(步驟S13，NO)，上述主控制部件20控制為省略上述事前檢索部件16的事前檢索處理，而執(zhí)行后述步驟S20的上述主檢索部件18的主檢索處理。
另外，在通過(guò)上述判斷而判斷出執(zhí)行事前檢索處理的情況下(步驟S13、YES)，上述主控制部件20控制為由上述事前檢索部件16執(zhí)行事前檢索處理。在該情況下，上述事前檢索部件16進(jìn)行上述的事前檢索處理(步驟S14)。在此，假設(shè)通過(guò)上述事前檢索處理抽出類(lèi)似度大于等于規(guī)定的閾值的全部履歷信息。
在通過(guò)上述事前檢索處理判斷出存在相對(duì)于檢索對(duì)象者的臉圖像的類(lèi)似度大于等于規(guī)定的閾值的履歷信息的情況下(步驟S15，YES)，上述事前檢索部件16將表示類(lèi)似度大于等于規(guī)定的閾值的履歷信息的信息作為事前檢索處理的結(jié)果，通知上述主檢索部件18。如果從上述事前檢索部件16作為事前檢索處理的結(jié)果接收到表示類(lèi)似度大于等于規(guī)定的閾值的履歷信息的信息，則上述主檢索部件18判斷在事前檢索處理中抽出的履歷信息是否只有一件(步驟S16)。
如果通過(guò)該判斷而判斷出通過(guò)事前檢索處理抽出的履歷信息只有一件，則在上述主檢索部件18中，將作為事前檢索結(jié)果而得到的履歷信息的檢索結(jié)果作為對(duì)該檢索對(duì)象者的臉圖像的人物檢索結(jié)果(作為該人物檢索裝置1的最終的人物檢索結(jié)果)，提供給上述輸出部件19(步驟S17)。
如果通過(guò)上述判斷而判斷出通過(guò)事前檢索處理抽出的履歷信息有多個(gè)，則在上述主檢索部件18中，進(jìn)行合并作為事前檢索處理的結(jié)果而得到的各履歷信息的檢索結(jié)果的合并處理(檢索結(jié)果的合并處理)(步驟S18)。該檢索結(jié)果的合并處理如上所述，是合并各履歷信息的檢索結(jié)果作成一個(gè)檢索結(jié)果(合并后的檢索結(jié)果)的處理。如果通過(guò)這樣的合并處理作成一個(gè)檢索結(jié)果，則上述主檢索部件18將合并后的檢索結(jié)果作為對(duì)該檢索對(duì)象者的臉圖像的人物檢索結(jié)果(作為該人物檢索裝置1的最終的人物檢索結(jié)果)提供給上述輸出部件19(步驟S19)。
另外，在通過(guò)上述事前檢索處理判斷出不存在相對(duì)于檢索對(duì)象者的臉圖像的類(lèi)似度大于等于規(guī)定的閾值的履歷信息的情況下(步驟S15，NO)，上述事前檢索部件16將沒(méi)有與檢索對(duì)象者的臉圖像類(lèi)似的履歷信息作為事前檢索處理的結(jié)果，通知上述主檢索部件18。
如果接收到表示沒(méi)有與檢索對(duì)象者的臉圖像類(lèi)似的履歷信息的事前檢索處理的結(jié)果，則上述主檢索部件18將登記在上述登記部件17中的全部登記信息作為對(duì)象，進(jìn)行檢索與檢索對(duì)象者的臉圖像(臉的特征信息)類(lèi)似的登記信息的主檢索處理(步驟S20)。
在該主檢索處理中，以與檢索對(duì)象者的臉圖像(臉的特征信息)的類(lèi)似度高的順序，抽出規(guī)定個(gè)數(shù)的登記信息。在該情況下，在上述主檢索部件18中，將上述步驟S20的主檢索處理的結(jié)果作為對(duì)檢索對(duì)象者的臉圖像的人物檢索結(jié)果(作為該人物檢索裝置1的最終人物檢索結(jié)果)，提供給上述輸出部件19(步驟S21)。
在從上述主檢索部件18接收到人物的檢索結(jié)果的輸出部件19中，向外部設(shè)備2輸出檢索結(jié)果(步驟S22)。由此在上述外部設(shè)備2中，進(jìn)行與從上述輸出部件19輸出的檢索結(jié)果對(duì)應(yīng)的處理。
例如，如果外部設(shè)備是具有顯示裝置的監(jiān)視裝置，則上述外部設(shè)備2將作為檢索結(jié)果得到的人物的臉圖像或?qū)傩孕畔⒌蕊@示在顯示裝置上。另外，如果外部設(shè)備2是控制門(mén)的開(kāi)閉等的通行控制裝置，則上述外部設(shè)備2進(jìn)行根據(jù)檢索結(jié)果控制檢索對(duì)象者M(jìn)的通行的處理。
另外，在上述主檢索部件18中，進(jìn)行以下的處理將檢索對(duì)象者M(jìn)的臉圖像(或臉的特征信息)、人物的檢索結(jié)果、以及屬性信息等作為該人物檢索處理的履歷信息，保存到履歷管理部件15中(步驟S23)。由此，在上述履歷管理部件15中，可以將基于該檢索對(duì)象者M(jìn)的臉圖像的人物檢索處理的結(jié)果等作為履歷信息進(jìn)行保存。
另外，在上述履歷管理部件15中，也可以保存將另外實(shí)施的主檢索處理的結(jié)果作為檢索結(jié)果的履歷信息。即，在上述一連串的人物檢索處理中，使用事前檢索處理的處理結(jié)果能夠得到人物檢索結(jié)果。例如，在事前檢索處理中只能夠得到一個(gè)與檢索對(duì)象者的臉圖像類(lèi)似的輸入圖像的履歷信息的情況下，對(duì)該檢索對(duì)象者的臉圖像的人物檢索結(jié)果為履歷信息的檢索結(jié)果。另外，在事前檢索處理中能夠得到多個(gè)與檢索對(duì)象者的臉圖像類(lèi)似的輸入圖像的履歷信息的情況下，對(duì)該檢索對(duì)象者的臉圖像的人物檢索結(jié)果為對(duì)這些履歷信息的檢索結(jié)果進(jìn)行了合并后的數(shù)據(jù)。
即，在上述事前檢索處理中能夠得到與檢索對(duì)象者的臉圖像類(lèi)似的輸入圖像的履歷信息的情況下，不判斷檢索對(duì)象者的臉圖像與登記信息的臉圖像的類(lèi)似度。作為履歷信息的檢索結(jié)果，有最好表示出檢索對(duì)象者的臉圖像與各登記信息的臉圖像的正確的類(lèi)似度的情況。在這樣的情況下，上述的一連串的處理的流程另外可以是判斷出檢索對(duì)象者的臉圖像與登記信息的臉圖像的類(lèi)似度，將這些類(lèi)似度作為履歷信息的檢索結(jié)果進(jìn)行保存。特別地，如果是該人物檢索裝置1為待機(jī)狀態(tài)的情況(即，還沒(méi)有進(jìn)行上述步驟S10～S22的處理時(shí))，則在該人物檢索裝置1中，能夠不在一個(gè)時(shí)期中產(chǎn)生很大的處理負(fù)荷，而花費(fèi)時(shí)間實(shí)施上述那樣的處理(主檢索處理)。
以下，說(shuō)明檢索與履歷信息的輸入圖像類(lèi)似的臉圖像的登記信息的再檢索處理。
圖11是用于說(shuō)明檢索與履歷信息的輸入圖像(由照相機(jī)10攝影了的臉圖像)類(lèi)似的臉圖像的登記信息的再檢索處理的處理例子的流程圖。
圖11所示的處理通過(guò)上述主控制部件20的控制來(lái)實(shí)現(xiàn)。即，在上述主控制部件20中，監(jiān)視該人物檢索裝置1的運(yùn)行狀況(各種處理的實(shí)施狀況)(步驟S31)。根據(jù)這樣的運(yùn)行狀況的監(jiān)視結(jié)果，上述主控制部件20判斷運(yùn)行狀況是否小于等于規(guī)定的基準(zhǔn)(步驟S32)。例如，在待機(jī)狀態(tài)下進(jìn)行再檢索處理的情況下，上述主控制部件20判斷該人物檢索裝置1的運(yùn)行狀況是否處于待機(jī)狀態(tài)。
在該人物檢索裝置1的運(yùn)行狀況小于等于規(guī)定的基準(zhǔn)的情況下(步驟S32，YES)，上述主控制部件20進(jìn)行從保存在履歷管理部件15中的履歷信息中抽出應(yīng)該執(zhí)行再檢索的履歷信息的處理(步驟S33)。例如，作為應(yīng)該進(jìn)行再檢索處理的履歷信息，上述主控制部件20抽出上述事前檢索處理的結(jié)果成為檢索結(jié)果的履歷信息。
如果抽出了應(yīng)該實(shí)施再檢索處理的履歷信息(步驟S34，YES)，則上述主控制部件20針對(duì)抽出的履歷信息的輸入圖像，進(jìn)行作為與上述主檢索處理一樣的檢索處理的再檢索處理(步驟S35)。即，上述主控制部件20計(jì)算出履歷信息的輸入圖像與作為登記信息登記在上述登記部件中的各臉圖像的類(lèi)似度，以類(lèi)似度高的順序?qū)⒁?guī)定個(gè)數(shù)的登記信息作為再檢索處理的檢索結(jié)果。
如果得到了這樣的再檢索處理的檢索結(jié)果，則上述主控制部件20將該履歷信息中的檢索結(jié)果更新為再檢索處理的檢索結(jié)果(步驟S36)。另外，上述那樣的處理也可以由其他的人物檢索裝置實(shí)施。
如上所述，在上述人物檢索裝置1中，在執(zhí)行了人物檢索處理的情況下，將臉圖像和對(duì)該臉圖像的人物檢索結(jié)果作為履歷信息保存起來(lái)。在上述人物檢索裝置1中，在取得了檢索對(duì)象者的臉圖像的情況下，判斷檢索對(duì)象者的臉圖像和各履歷信息的臉圖像是否為同一人物。在存在被判斷為與檢索對(duì)象者的臉圖像為同一人物的臉圖像的履歷信息的情況下，該人物檢索裝置1根據(jù)被判斷為與檢索對(duì)象者的臉圖像為同一人物的臉圖像的履歷信息中的檢索結(jié)果，判斷對(duì)該檢索對(duì)象者的人物檢索結(jié)果。由此，在上述人物檢索裝置1中，能夠謀求使用了臉圖像的人物檢索處理的高效化和高精度化。
接著，說(shuō)明上述人物檢索裝置1的第一變形例子。
圖5是作為第一變形例子的人物檢索裝置1A的結(jié)構(gòu)例子的圖。
如圖5所示，人物檢索裝置1A包括照相機(jī)100、圖像輸入部件101、臉檢測(cè)部件102、臉特征抽出部件103、輔助輸入部件104、履歷管理部件105、事前檢索部件106、登記部件107、主檢索部件108、輸出部件109和主控制部件110等。
上述照相機(jī)100、圖像輸入部件101、臉檢測(cè)部件102、臉特征抽出部件103、履歷管理部件105、事前檢索部件106、登記部件107、主檢索部件108、輸出部件109和主控制部件110分別具有與上述照相機(jī)10、圖像輸入部件11、臉檢測(cè)部件12、臉特征抽出部件13、履歷管理部件15、事前檢索部件16、登記部件17、主檢索部件18、輸出部件19和主控制部件20大致一樣的功能。因此，作為第一變形例子的說(shuō)明，詳細(xì)說(shuō)明與上述人物檢索裝置1不同的部分(追加了的功能等)。
上述輔助輸入部件104用于從檢索對(duì)象者取得輔助信息。上述輔助信息是與從由照相機(jī)100攝影了的圖像中檢測(cè)出的臉圖像(或從臉圖像得到的臉的特征信息)不同的信息。作為上述輔助信息，使用與臉圖像(臉的特征信息)不同的其他身體信息、或檢索對(duì)象者指定的屬性信息等信息。例如，作為用作上述輔助信息使用的身體信息，有檢索對(duì)象者M(jìn)的身高信息、體重信息、溫度分布等的信息。另外，作為可以作為上述輔助信息使用的屬性信息，有檢索對(duì)象者M(jìn)的性別、年齡和識(shí)別編號(hào)等信息。
另外，在可以作為上述輔助信息使用檢索對(duì)象者M(jìn)的身高信息、體重信息、溫度分布等身體信息的情況下，上述輔助輸入部件104由用于檢測(cè)出識(shí)別對(duì)象者M(jìn)的身高信息、體重信息、溫度分布等身體信息的傳感器等構(gòu)成。另外，在能夠作為上述輔助信息使用識(shí)別對(duì)象者M(jìn)的性別、年齡、識(shí)別編號(hào)等屬性信息的情況下，上述輔助輸入部件104由用于由操作者或檢索對(duì)象者M(jìn)自身輸入檢索對(duì)象者M(jìn)的性別、年齡、或識(shí)別編號(hào)等屬性信息的操作部件等構(gòu)成。另外，也可以從卡等記錄介質(zhì)取得檢索對(duì)象者M(jìn)的性別、年齡、識(shí)別編號(hào)等屬性信息。在該情況下，上述輔助輸入部件104由用于從記錄介質(zhì)取得信息的裝置等構(gòu)成。
進(jìn)而，作為上述輔助信息，也可以使用從由上述照相機(jī)100攝影了的圖像得到的臉圖像以外的其他特征信息(例如動(dòng)作等)。在該情況下，上述輔助輸入部件104也可以不另外設(shè)置用于輸入上述那樣的輔助信息的裝置。在該情況下，上述輔助輸入部件104從由上述照相機(jī)100攝影了的圖像中，抽出上述那樣的輔助信息。另外，作為上述輔助信息使用的臉圖像以外的其他特征信息例如可以適用表示檢索對(duì)象者M(jìn)的動(dòng)作的特征信息等的從多個(gè)連續(xù)的圖像得到的特征信息。
接著，說(shuō)明作為上述輔助信息使用表示檢索對(duì)象者的動(dòng)作的信息的情況。
在該情況下，向上述輔助輸入部件104提供由上述照相機(jī)100攝影的連續(xù)的多個(gè)圖像。在上述輔助輸入部件104中，根據(jù)連續(xù)的多個(gè)圖像分別求出特征向量。通過(guò)與上述臉特征抽出部件13一樣的方法，得到上述特征向量。即，上述輔助輸入部件104針對(duì)由上述照相機(jī)100攝影了的各圖像，切取出m×n像素的圖像，將該m×n像素的圖像的濃淡信息作為m×n維的特征向量。
如果從各圖像得到了特征向量，則上述輔助輸入部件104根據(jù)這些特征向量，求出相關(guān)矩陣和基于K-L展開(kāi)的正規(guī)直交向量。由此，在上述輔助輸入部件104中，計(jì)算從連續(xù)的圖像得到的表示臉的動(dòng)作的部分空間。按照固有值大的順序選擇k個(gè)與固有值對(duì)應(yīng)的固有向量，使用這些固有向量的集合，表現(xiàn)該部分空間。
在此，相關(guān)矩陣Cd和固有向量Φd具有以下的公式1所示那樣的關(guān)系。
Cd＝ΦdΛdΦdT......(公式1)根據(jù)這樣的關(guān)系式，求出固有向量Φd。上述固有向量Φd是作為履歷信息保存的輔助信息。上述固有向量Φd作為與人物檢索處理有關(guān)的履歷信息的一部分被保存在履歷管理部件105中。另外，也可以將上述那樣的輔助信息作為登記信息的一部分登記在登記部件107中。
接著，說(shuō)明使用由上述輔助輸入部件104得到的輔助信息的檢索方法。在此，說(shuō)明如上述那樣表示作為上述輔助信息使用的臉的動(dòng)作的部分空間的匹配方法。
在上述輔助輸入部件104中，通過(guò)上述那樣的方法，作為表示動(dòng)作的信息，從由上述照相機(jī)100攝影了的動(dòng)畫(huà)圖像(連續(xù)的多個(gè)圖像)中取得部分空間。如上所述，在進(jìn)行了人物檢索處理的情況下，將這樣的部分空間作為該人物檢索處理的履歷信息保存在履歷管理部件15中。因此，在上述事前檢索部件106中，不只進(jìn)行基于上述臉的特征信息的檢索，還可以進(jìn)行基于部分空間之間(表示檢索對(duì)象者M(jìn)的動(dòng)作的部分空間和包含在履歷信息中的部分空間)的類(lèi)似性的檢索。
求出2個(gè)部分空間的類(lèi)似性的計(jì)算方法可以適用部分空間法或復(fù)合類(lèi)似度法等方法。在本實(shí)施例中，例如使用以下文獻(xiàn)中所揭示了的相互部分空間法前田賢一、渡邊貞一“導(dǎo)入了局部構(gòu)造的圖案·匹配法”，電子信息通信學(xué)會(huì)論文志(D)，vol.J68-D，No.3，pp345～352(1985年)。
在上述相互部分空間方法中，將2個(gè)部分空間所成的“角度”定義為類(lèi)似度。在此，相關(guān)矩陣Cin和固有向量Φin具有以下公式(2)所示那樣的關(guān)系。
Cin＝ΦinΛinΦinT……(公式2)根據(jù)這樣的關(guān)系式，求出固有向量Φin。上述固有向量Φin是表示由上述照相機(jī)100攝影了的檢索對(duì)象者的動(dòng)作的信息(輸入了的輔助信息)。即，在基于輔助信息的檢索處理中，求出用上述固有向量Φin和包含在履歷信息中的固有向量Φd表示的2個(gè)部分空間之間的類(lèi)似度。用“0.0～1.0”的值表示部分空間之間的類(lèi)似度。根據(jù)這樣的部分空間之間的類(lèi)似度，在上述事前檢索部件106中，能夠檢索與從檢索對(duì)象者得到的輔助信息(檢索對(duì)象者的動(dòng)作)類(lèi)似的輔助信息的履歷信息。
根據(jù)上述那樣的第一變形例子，在進(jìn)行基于檢索對(duì)象者的臉的特征信息的人物檢索處理的同時(shí)，還能夠根據(jù)作為與從檢索對(duì)象者得到的臉的特征信息不同的特征信息的輔助信息進(jìn)行人物的檢索處理，能夠提高事前檢索處理的檢索精度。
接著，說(shuō)明上述人物檢索裝置1的第二變形例子。
該第二變形例子是在上述事前檢索處理中，在同時(shí)期中考慮到成為檢索對(duì)象者的多個(gè)人物之間(例如形成親子、夫婦、友人之間等的組的多個(gè)人物之間)的相關(guān)關(guān)系。即，在第二變形例子的人物檢索裝置中，特別使對(duì)由上述照相機(jī)同時(shí)攝影的多個(gè)人物或由上述照相機(jī)連續(xù)攝影的多個(gè)人物的檢索處理高效化。例如，在多個(gè)人經(jīng)常行動(dòng)的組(例如親子、夫婦、友人之間等)成為檢索對(duì)象者的運(yùn)用形式中，能夠使處理高效化。
圖6是表示作為第二變形例子的人物檢索裝置1B的結(jié)構(gòu)例子的圖。
如圖6所示，人物檢索裝置1B包含照相機(jī)200、圖像輸入部件201、臉檢測(cè)部件202、臉特征抽出部件203、履歷管理部件205、事前檢索部件206、登記部件207、主檢索部件208、輸出部件209和主控制部件210等。
上述照相機(jī)200、圖像輸入部件201、臉檢測(cè)部件202、臉特征抽出部件203、履歷管理部件205、事前檢索部件206、登記部件207、主檢索部件208、輸出部件209和主控制部件210分別具有與上述照相機(jī)10、圖像輸入部件11、臉檢測(cè)部件12、臉特征抽出部件13、履歷管理部件15、事前檢索部件16、登記部件17、主檢索部件18、輸出部件19和主控制部件20大致一樣的功能。因此，作為第二變形例子的說(shuō)明，詳細(xì)說(shuō)明與上述人物檢索裝置1不同的部分(追加了的功能等)。
上述照相機(jī)200也可以具有與上述照相機(jī)10一樣的結(jié)構(gòu)。但是，在第二變形例子中，也可以同時(shí)攝影多個(gè)人物。因此，理想的是上述照相機(jī)200構(gòu)成為能夠如一般的監(jiān)視照相機(jī)那樣攝影廣范圍的圖像，或者能夠廣角地?cái)z像圖像。
另外，上述履歷管理部件205具有與上述履歷管理部件15大致同等的結(jié)構(gòu)。即，在上述履歷管理部件205中，在圖2所示那樣的輸入圖像、檢索結(jié)果和屬性信息等信息的基礎(chǔ)上，還將檢索結(jié)果表示1位或上位的人物和其他人的相關(guān)性的相關(guān)信息作為履歷信息的一部分進(jìn)行保存。在上述相關(guān)信息中，例如將前后攝影了的人物或在同一圖像中攝影了的人物等作為相關(guān)性高的人物進(jìn)行保存。
圖7是表示存儲(chǔ)在履歷管理部件205中的履歷信息的例子的圖。
在圖7所示的例子中，在履歷管理部件205中，針對(duì)由上述照相機(jī)200攝影了的每個(gè)圖像保持履歷信息。另外，也可以針對(duì)每個(gè)人物保存各履歷信息。在該情況下，將上述履歷信息分別作為與人物C、D、E有關(guān)的3個(gè)履歷信息進(jìn)行保存。
另外，在圖7所示的例子中，履歷信息由履歷編號(hào)、同一畫(huà)面內(nèi)的人數(shù)、檢索結(jié)果、相關(guān)信息等構(gòu)成。上述履歷編號(hào)是用于識(shí)別各履歷信息的信息，或者在時(shí)序中表示攝影順序(檢索處理順序)的履歷信息的信息。上述畫(huà)面內(nèi)的人數(shù)是表示在由上述照相機(jī)200攝影了的一個(gè)圖像內(nèi)存在的人物的個(gè)數(shù)的信息。上述檢索結(jié)果是表示與檢測(cè)出的臉圖像的類(lèi)似度最高的臉圖像的登記者(與檢索對(duì)象者最類(lèi)似的登記者)的信息。另外，檢索結(jié)果如圖2所示，也可以是相對(duì)于檢索對(duì)象者的臉圖像以類(lèi)似度高的順序表示規(guī)定個(gè)數(shù)的登記者的信息。上述相關(guān)信息是表示該人物與其他人的相關(guān)性的信息。上述相關(guān)信息是依照預(yù)先規(guī)定的規(guī)則得到的信息。
接著，說(shuō)明用于作成上述相關(guān)信息的規(guī)則的例子。
作為用于作成上述相關(guān)信息的規(guī)則，例如可以考慮以下這樣的規(guī)則。在此，用相關(guān)值表示相關(guān)性的高度。另外，說(shuō)明以相關(guān)性的高度順序而相關(guān)值為“3”～“0”的值的情況。
·同時(shí)攝影了的人物之間的相關(guān)關(guān)系設(shè)為相當(dāng)高那樣的相關(guān)值(例如相關(guān)值為“3”)。
·在連續(xù)地每次檢索一人那樣的情況下，提高相關(guān)值(例如相關(guān)值為“2”)。
·如果連續(xù)檢索出的部分的一方為組，一方為一人，則賦予低的相關(guān)(例如相關(guān)值為“1”)。
·在履歷的間隔經(jīng)過(guò)了規(guī)定時(shí)間那樣的情況下，不賦予相關(guān)值，或很低(例如相關(guān)值為“0”或“1”)?；蛘?，為與經(jīng)過(guò)時(shí)間對(duì)應(yīng)的相關(guān)值。
接著，說(shuō)明依照上述那樣的規(guī)則作成的相關(guān)關(guān)系的例子。
圖8是表示基于圖7所示的履歷信息1～4的相關(guān)關(guān)系的圖。即，如果向圖7所示那樣的履歷信息1～4適用上述的規(guī)則，則能夠得到圖8所示那樣的相關(guān)關(guān)系。在上述履歷管理部件205中，根據(jù)履歷信息，作成表示圖8所示那樣的相關(guān)關(guān)系的信息。即，在上述履歷管理部件205中，每次進(jìn)行人物檢索處理，都根據(jù)該人物檢索處理的履歷信息，積蓄表示相關(guān)關(guān)系的信息(例如將相關(guān)值相加)。由此，在人物檢索裝置1B中，越是更多地執(zhí)行人物檢索處理，越是能夠得到可靠性高的表示相關(guān)關(guān)系的信息。
在上述事前檢索部件206中，參照上述那樣的表示相關(guān)關(guān)系的信息，能夠進(jìn)行事前檢索處理。例如，在得到了檢索對(duì)象者的臉圖像的情況下，在上述事前檢索部件206中，判斷是否有與該臉圖像同時(shí)地?cái)z影了的其他臉圖像。
在通過(guò)該判斷，判斷出存在同時(shí)攝影了的其他臉圖像的情況下，在上述事前檢索部件206中，判斷在這些臉圖像中是否有能夠得到檢索結(jié)果的圖像。如果通過(guò)該判斷而判斷出與該臉圖像同時(shí)攝影了的臉圖像中有能夠得到檢索結(jié)果的圖像，則上述事前檢索部件206根據(jù)該檢索結(jié)果中相對(duì)于類(lèi)似度為1位的人物的相關(guān)關(guān)系，設(shè)置成為檢索對(duì)象的履歷信息的優(yōu)先度。即，在上述事前檢索部件206中，相對(duì)于與檢索對(duì)象者的臉圖像同時(shí)攝影了的人物，優(yōu)先地將相關(guān)值高的人物的履歷信息作為檢索對(duì)象。就是根據(jù)表示相對(duì)于與檢索對(duì)象者的臉圖像同時(shí)攝影了的人物的相關(guān)關(guān)系的信息，預(yù)測(cè)檢索對(duì)象者的候選。
另外，在不存在同時(shí)攝影了的其他臉圖像的情況下，在上述事前檢索部件206中，判斷與之前的人物檢索處理有關(guān)的履歷信息。這樣，上述事前檢索部件206根據(jù)該履歷信息的檢索結(jié)果中相對(duì)于類(lèi)似度為1位的人物的相關(guān)關(guān)系，設(shè)置成為檢索對(duì)象的履歷信息的優(yōu)先度。即，在上述事前檢索部件206中，相對(duì)于在檢索對(duì)象者的臉圖像之前成為檢索對(duì)象的人物，優(yōu)先地將相關(guān)值高的人物的履歷信息作為檢索對(duì)象。就是根據(jù)表示相對(duì)于在檢索對(duì)象者的臉圖像之前成為檢索對(duì)象的人物的相關(guān)關(guān)系的信息，預(yù)測(cè)該檢索對(duì)象者的候選。
另外，對(duì)于成為檢索對(duì)象的履歷信息的優(yōu)先度的設(shè)置，可以針對(duì)相關(guān)值高的人物的履歷信息提早檢索順序，也可以在相關(guān)值高的人物的履歷信息中挑選檢索對(duì)象。通過(guò)這樣的方法，能夠縮短檢索時(shí)間。
例如，如果是檢索出人物C之后，則在表示圖8所示的相關(guān)關(guān)系的信息中，可以預(yù)測(cè)與人物C的相關(guān)值很有可能接近高的人物D或人物E。因此，如果提高人物D或人物E的優(yōu)先度，則能夠很快優(yōu)先地檢索人物D和人物E。
另外，在上述主檢索部件208的主檢索處理中，如果使用表示上述那樣的相關(guān)關(guān)系的信息，則也能夠提高相關(guān)值高的登記者的優(yōu)先度，進(jìn)行高效的處理。例如，主檢索部件208可以根據(jù)基于表示上述那樣的相關(guān)關(guān)系的信息而設(shè)置的優(yōu)先度，挑選成為檢索對(duì)象的登記者，或者改變檢索順序進(jìn)行檢索。
如以上所述那樣，根據(jù)第二變形例子，作成表示多個(gè)人物之間的相關(guān)關(guān)系的信息，根據(jù)表示該相關(guān)關(guān)系的信息，能夠?qū)ψ鳛闄z索對(duì)象的履歷信息或登記信息的候選設(shè)置優(yōu)先度。由此，能夠一邊抑制精度降低，一邊高效并且高速地進(jìn)行檢索處理。即，根據(jù)第二變形例子，能夠根據(jù)表示相關(guān)關(guān)系的信息，表示連續(xù)檢索處理了的人物或同時(shí)攝影了的人物等。另外，根據(jù)表示上述那樣的相關(guān)關(guān)系的信息，能夠推測(cè)接近檢索對(duì)象者存在的可能性高的人物。
接著，說(shuō)明上述人物檢索裝置1的第三變形例子。
該第三變形例子是在上述事前檢索處理中，在檢索對(duì)象者的臉圖像的類(lèi)似度異常地高的情況下，判斷為偽裝等的異常，進(jìn)行警告。即，第三變形例子的人物檢索裝置特別適合于檢索對(duì)象為比較多的人數(shù)，并且嚴(yán)重警戒偽裝等的系統(tǒng)。
例如，能夠適用于使用臉的申請(qǐng)書(shū)照片進(jìn)行任意的申請(qǐng)的系統(tǒng)等中。另外，在有在幾個(gè)月以?xún)?nèi)攝影了的照片的規(guī)定的情況下，如果雖然經(jīng)過(guò)一定期間但還是完全相同的照片，則能夠檢測(cè)出有可能違反了規(guī)定。
另外，在與過(guò)去的履歷的類(lèi)似度極端地高的情況下，很有可能是使用了人造物進(jìn)行了偽造等。因此，在這樣的情況下，不進(jìn)行實(shí)際的檢索處理，通過(guò)報(bào)告異常，而能夠高速地進(jìn)行異常判斷。
圖9是表示作為第三變形例子的人物檢索裝置1C的結(jié)構(gòu)例子的圖。
如圖9所示，人物檢索裝置1C包括照相機(jī)300、圖像輸入部件301、臉檢測(cè)部件302、臉特征抽出部件303、履歷管理部件305、事前檢索部件306、登記部件307、主檢索部件308、輸出部件309和主控制部件310等。
上述照相機(jī)300、圖像輸入部件301、臉檢測(cè)部件302、臉特征抽出部件303、履歷管理部件305、事前檢索部件306、登記部件307、主檢索部件308、輸出部件309和主控制部件310分別具有與上述照相機(jī)10、圖像輸入部件11、臉檢測(cè)部件12、臉特征抽出部件13、履歷管理部件15、事前檢索部件16、登記部件17、主檢索部件18、輸出部件19和主控制部件20大致一樣的功能。因此，作為第三變形例子的說(shuō)明，詳細(xì)說(shuō)明與上述人物檢索裝置1不同的部分(追加了的功能等)。
在上述履歷管理部件305中，例如如圖2所示，保存有包含成為檢索對(duì)象的臉圖像(輸入圖像)的履歷信息。另外，在履歷信息中，作為屬性信息包含檢索日期時(shí)間等。由此，在上述履歷信息中，可以知道哪個(gè)人物在什么時(shí)候輸入怎樣的圖像進(jìn)行了檢索。
作為上述的事前檢索處理，上述事前檢索部件306針對(duì)檢索對(duì)象者的臉圖像(從臉特征抽出部件303得到的臉的特征信息)，求出與保存在上述履歷管理部件305中的各履歷信息的輸入圖像(輸入圖像中的臉的特征信息)的類(lèi)似度。通常，人的臉沒(méi)有完全相同的狀態(tài)。因此，即使是同一人物的臉，在不同的時(shí)間攝影了的臉圖像之間的類(lèi)似度也不是異常高的值。但是，在臉照片等中，人的臉不變化。因此，在同一臉照片中，為極高的類(lèi)似度。換一種說(shuō)法，在不同的時(shí)間攝影了實(shí)際的人的臉的臉圖像之間的類(lèi)似度通常為適當(dāng)?shù)姆秶闹?。該范圍可以定義為大于等于用于判斷為類(lèi)似(好像同一人物)的閾值(第一閾值)，并且小于極高的閾值(第二閾值)。
因此，在上述事前檢索部件306中，根據(jù)檢索對(duì)象者的臉圖像和履歷信息的輸入圖像的類(lèi)似度是否大于等于上述第二閾值，能夠判斷是否是異常的檢索結(jié)果。在此，異常的檢索結(jié)果是指判斷為因人造物而幾乎沒(méi)有變化的輸入的可能性高。
例如，圖10是表示上述第一閾值和上述第二閾值的設(shè)置例子的圖。
在設(shè)置了圖10所示那樣的閾值的情況下，如果類(lèi)似度大于等于第二閾值(異常判斷閾值)，則上述事前檢索部件306判斷為是異常的檢索結(jié)果。另外，如果類(lèi)似度大于等于第一閾值(對(duì)照判斷閾值)，并且小于第二閾值(異常判斷閾值)，則上述事前檢索部件306判斷為檢索對(duì)象者與履歷信息的人物是同一人物。另外，如果類(lèi)似度小于第一閾值(對(duì)照判斷閾值)，則上述事前檢索部件306判斷為檢索對(duì)象者與履歷信息的人物不是同一人物。
進(jìn)而，在上述履歷信息中，作為屬性信息表示了檢索日期時(shí)間。即，在上述事前檢索部件306中。根據(jù)履歷信息的檢索日期時(shí)間和現(xiàn)在的日期時(shí)間，能夠判斷從各履歷信息的經(jīng)過(guò)時(shí)間。由此，在上述事前檢索部件306中。能夠根據(jù)經(jīng)過(guò)時(shí)間和上述異常判斷閾值，判斷是否是異常。即，在即使經(jīng)過(guò)了規(guī)定期間以上，還大于等于上述異常判斷閾值的情況下，上述事前檢索部件306能夠判斷為是異常的檢索結(jié)果。例如，在申請(qǐng)書(shū)等中使用的臉照片中，通常有從攝影開(kāi)始幾個(gè)月的基準(zhǔn)。針對(duì)這樣的基準(zhǔn)，在上述事前檢索部件306中，在雖然經(jīng)過(guò)了規(guī)定的期間但還具有異常高的類(lèi)似度那樣的情況下，能夠判斷為使用了完全相同的照片的可能性高。
如上所述，在上述事前檢索部件306中，在主檢索部件308的主檢索處理之前，能夠判斷檢索對(duì)象者的臉圖像是否是異常的。在判斷為這樣的異常的情況下，在上述事前檢索部件306中，立即向上述輸出部件309通知檢索結(jié)果是異常的。由此，在上述輸出部件中，在上述事前檢索處理中判斷出重復(fù)使用了同一照片或因人造物而偽造等的可能性高的時(shí)刻，能夠通過(guò)上述外部設(shè)備2鳴響警報(bào)，通知管理者。
如以上說(shuō)明的那樣，根據(jù)第三變形例子，在檢索對(duì)象者的臉圖像與履歷信息的輸入圖像的類(lèi)似度是異常高的值的情況下，可以判斷為是異常的檢索結(jié)果，能夠防止臉照片或人造物的偽造。進(jìn)而，根據(jù)第三變形例子，在根據(jù)履歷信息的檢索日期時(shí)間，雖然超過(guò)了規(guī)定的經(jīng)過(guò)時(shí)間而類(lèi)似度還是異常高的值的情況下，可以判斷為是異常的檢索結(jié)果，能夠防止同一照片的重復(fù)使用。
本發(fā)明并不只限于以上的說(shuō)明和實(shí)施例，在不脫離本發(fā)明的宗旨的范圍，在實(shí)施階段可以有各種變形，這些變形也包含在本發(fā)明中。
權(quán)利要求
1.一種人物檢索裝置，其特征在于包括預(yù)先登記多個(gè)人物的身體信息的登記部件；取得檢索對(duì)象者的身體信息的身體信息取得部件；使由上述身體信息取得部件取得的身體信息與基于該身體信息的人物檢索結(jié)果對(duì)應(yīng)而保存的履歷保存部件；從上述履歷保存部件檢索與由上述身體信息取得部件取得的身體信息類(lèi)似的身體信息的第一檢索部件；使用上述第一檢索部件的檢索結(jié)果，檢索與由上述身體信息取得部件取得的身體信息類(lèi)似的登記在上述登記部件中的身體信息的第二檢索部件；將上述第二檢索部件的檢索結(jié)果作為對(duì)上述檢索對(duì)象者的人物檢索結(jié)果而輸出的輸出部件。
2.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于上述履歷保存部件進(jìn)而使上述第二檢索部件的檢索結(jié)果與由上述身體信息取得部件取得了的身體信息對(duì)應(yīng)地進(jìn)行保存。
3.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于上述身體信息取得部件包含取得包含對(duì)象者的身體信息的圖像的圖像取得部件；從由上述圖像取得部件取得了的圖像中檢測(cè)身體信息的身體信息檢測(cè)部件；從由上述身體信息檢測(cè)部件檢測(cè)出的身體信息中抽出身體信息的特征信息的特征抽出部件，作為身體信息，上述履歷保存部件保存身體信息的特征信息，上述第一檢索部件檢索與由上述特征抽出部件抽出了的身體信息的特征信息類(lèi)似的保存在上述履歷保存部件中的身體信息的特征信息，上述登記部件登記身體信息的特征信息作為身體信息，上述第二檢索部件檢索與由上述特征抽出部件抽出了的身體信息的特征信息類(lèi)似的登記在上述登記部件中的身體信息的特征信息。
4.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于上述身體信息是人物的臉圖像。
5.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于上述第一檢索部件判斷由上述身體信息取得部件取得了的身體信息與保存在上述履歷保存部件中的各身體信息的類(lèi)似度，將與由上述身體信息取得部件取得了的身體信息的類(lèi)似度大于等于規(guī)定的閾值的保存在上述履歷保存部件中的身體信息作為檢索結(jié)果。
6.根據(jù)權(quán)利要求5所述的人物檢索裝置，其特征在于上述第一檢索部件從上述履歷保存部件中檢索與由上述身體信息取得部件取得了的身體信息的類(lèi)似度大于等于規(guī)定的閾值的身體信息，將檢索出的身體信息中的根據(jù)規(guī)定的條件選擇出的身體信息作為檢索結(jié)果。
7.根據(jù)權(quán)利要求5所述的人物檢索裝置，其特征在于上述第一檢索部件從上述履歷保存部件中檢索與由上述身體信息取得部件取得了的身體信息的類(lèi)似度大于等于規(guī)定的閾值的身體信息，將上述檢索出的全部身體信息作為檢索結(jié)果。
8.根據(jù)權(quán)利要求5所述的人物檢索裝置，其特征在于上述第一檢索部件從上述履歷保存部件中檢索與由上述身體信息取得部件取得了的身體信息的類(lèi)似度大于等于規(guī)定的閾值的身體信息，將上述檢索出的身體信息中的類(lèi)似度最高的身體信息作為檢索結(jié)果。
9.根據(jù)權(quán)利要求5所述的人物檢索裝置，其特征在于上述第一檢索部件從上述履歷保存部件中檢索與由上述身體信息取得部件取得了的身體信息的類(lèi)似度大于等于規(guī)定的閾值的身體信息，將上述檢索出的身體信息中的檢索日期時(shí)間最新的身體信息作為檢索結(jié)果。
10.根據(jù)權(quán)利要求5所述的人物檢索裝置，其特征在于上述第一檢索部件從上述履歷保存部件中檢索與由上述身體信息取得部件取得了的身體信息的類(lèi)似度大于等于規(guī)定的閾值的身體信息，將上述檢索出的身體信息中的檢索日期時(shí)間最舊的身體信息作為檢索結(jié)果。
11.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于上述第二檢索部件在作為上述第一檢索部件的檢索結(jié)果在上述履歷保存部件中不存在與由上述身體信息取得部件取得了的身體信息類(lèi)似的身體信息的情況下，從上述登記部件中檢索與由上述身體信息取得部件取得了的身體信息類(lèi)似的身體信息。
12.根據(jù)權(quán)利要求11所述的人物檢索裝置，其特征在于上述第二檢索部件判斷由上述身體信息取得部件取得了的身體信息與登記在上述登記部件中的各身體信息的類(lèi)似度，將與由上述身體信息取得部件取得了的身體信息的類(lèi)似度大于等于規(guī)定的閾值的登記在上述登記部件中的身體信息作為檢索結(jié)果。
13.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于上述第二檢索部件在作為上述第一檢索部件的檢索結(jié)果在上述履歷保存部件中存在與由上述身體信息取得部件取得了的身體信息類(lèi)似的一個(gè)身體信息的情況下，將與保存在上述履歷保存部件中的該身體信息對(duì)應(yīng)的人物檢索結(jié)果作為檢索結(jié)果。
14.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于上述第二檢索部件在作為上述第一檢索部件的檢索結(jié)果在上述履歷保存部件中存在與由上述身體信息取得部件取得了的身體信息類(lèi)似的多個(gè)身體信息的情況下，進(jìn)行以下處理，即根據(jù)與被判斷為與由上述身體信息取得部件取得了的身體信息類(lèi)似的多個(gè)身體信息對(duì)應(yīng)的多個(gè)檢索結(jié)果，判斷對(duì)上述檢索對(duì)象者的人物檢索結(jié)果。
15.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于上述第二檢索部件在作為上述第一檢索部件的檢索結(jié)果在上述履歷保存部件中存在與由上述身體信息取得部件取得了的身體信息類(lèi)似的多個(gè)身體信息的情況下，作成對(duì)與被判斷為與由上述身體信息取得部件取得了的身體信息類(lèi)似的多個(gè)身體信息對(duì)應(yīng)的多個(gè)檢索結(jié)果進(jìn)行了合并后的一個(gè)檢索結(jié)果，將該作成的檢索結(jié)果作為與該身體信息對(duì)應(yīng)的人物檢索結(jié)果。
16.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于上述第二檢索部件在作為上述第一檢索部件的檢索結(jié)果在上述履歷保存部件中存在與由上述身體信息取得部件取得了的身體信息類(lèi)似的多個(gè)身體信息的情況下，根據(jù)與被判斷為與由上述身體信息取得部件取得了的身體信息類(lèi)似的多個(gè)身體信息對(duì)應(yīng)的多個(gè)檢索結(jié)果，限定登記在上述登記部件中的身體信息，從限定了的身體信息中檢索與由上述身體信息取得部件取得了的身體信息類(lèi)似的身體信息。
17.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于還包括控制部件，它預(yù)測(cè)在執(zhí)行了上述第一檢索部件的檢索處理的情況下的處理時(shí)間，根據(jù)該預(yù)測(cè)，切換是執(zhí)行上述第一檢索部件的檢索處理還是省略。
18.根據(jù)權(quán)利要求2所述的人物檢索裝置，其特征在于還包括執(zhí)行以下處理的再檢索部件，即檢索與保存在上述履歷保存部件中的身體信息類(lèi)似的登記在上述登記部件中的身體信息；更新部件，它根據(jù)該再檢索部件的檢索結(jié)果，更新與保存在上述履歷保存部件中的該身體信息對(duì)應(yīng)的檢索結(jié)果。
19.根據(jù)權(quán)利要求18所述的人物檢索裝置，其特征在于上述再檢索部件在該人物檢索裝置的運(yùn)行狀況小于等于規(guī)定的基準(zhǔn)的情況下，執(zhí)行以下的處理，即檢索與保存在上述履歷保存部件中的身體信息類(lèi)似的登記在上述登記部件中的身體信息。
20.根據(jù)權(quán)利要求2所述的人物檢索裝置，其特征在于還包括取得與由上述身體信息取得部件取得身體信息的人物相關(guān)的上述身體信息不同的輔助信息的輔助信息輸入部件，其中在上述履歷保存部件中，還與由上述身體信息取得部件取得了的身體信息對(duì)應(yīng)地保存上述輔助信息。
21.根據(jù)權(quán)利要求20所述的人物檢索裝置，其特征在于上述輔助信息是表示與由上述身體信息取得部件取得身體信息的人物有關(guān)的屬性信息或動(dòng)作的信息。
22.根據(jù)權(quán)利要求1所述的人物檢索裝置，其特征在于上述履歷管理部件還保存表示各人物與其他人的相關(guān)關(guān)系的信息，上述第一檢索部件依照基于表示上述相關(guān)關(guān)系的信息的優(yōu)先度，檢索與由上述身體信息取得部件取得了的身體信息類(lèi)似的身體信息的履歷信息。
23.根據(jù)權(quán)利要求5所述的人物檢索裝置，其特征在于上述第一檢索部件判斷由上述身體信息取得部件取得了的身體信息與保存在上述履歷保存部件中的各身體信息的類(lèi)似度，將與由上述身體信息取得部件取得了的身體信息的類(lèi)似度大于等于第一閾值并且比上述第一閾值大而小于第二閾值的保存在上述履歷保存部件中的身體信息作為檢索結(jié)果，在與由上述身體信息取得部件取得了的身體信息的類(lèi)似度大于等于上述第二閾值的情況下，判斷為由上述身體信息取得部件取得了的身體信息是異常的。
24.根據(jù)權(quán)利要求23所述的人物檢索裝置，其特征在于上述第一檢索部件在大于等于上述第二閾值的情況下，進(jìn)而如果從大于等于上述第二閾值的履歷信息的經(jīng)過(guò)時(shí)間大于等于規(guī)定時(shí)間，則判斷為由上述身體信息取得部件取得了的身體信息是異常的。
25.一種人物檢索方法，其特征在于包括預(yù)先將多個(gè)人物的身體信息登記到登記部件中，取得檢索對(duì)象者的身體信息，使上述取得的身體信息與基于該身體信息的人物檢索結(jié)果對(duì)應(yīng)而保存到履歷保存部件中，從上述履歷保存部件檢索與從檢索對(duì)象者取得的身體信息類(lèi)似的身體信息，使用來(lái)自上述履歷保存部件的檢索結(jié)果，檢索與上述取得的身體信息類(lèi)似的登記在上述登記部件中的身體信息，將來(lái)自上述登記部件的檢索結(jié)果作為對(duì)上述檢索對(duì)象者的人物檢索結(jié)果而輸出。
26.一種入退場(chǎng)管理系統(tǒng)，其特征在于包括預(yù)先登記多個(gè)被許可入退場(chǎng)的人物的身體信息的登記部件；取得檢索對(duì)象者的身體信息的身體信息取得部件；使由上述身體信息取得部件取得的身體信息與基于該身體信息的人物檢索結(jié)果對(duì)應(yīng)而保存的履歷保存部件；從上述履歷保存部件檢索與由上述身體信息取得部件取得的身體信息類(lèi)似的身體信息的第一檢索部件；使用上述第一檢索部件的檢索結(jié)果，檢索與由上述身體信息取得部件取得的身體信息類(lèi)似的登記在上述登記部件中的身體信息的第二檢索部件；將上述第二檢索部件的檢索結(jié)果作為對(duì)上述檢索對(duì)象者的人物檢索結(jié)果而輸出的輸出部件；根據(jù)由該輸出部件輸出的人物檢索結(jié)果，控制上述檢索對(duì)象者的入退場(chǎng)的外部設(shè)備。
全文摘要
在本發(fā)明的人物檢索裝置中，在履歷管理部件(15)中，作為履歷信息預(yù)先保存身體信息和對(duì)該身體信息的人物檢索結(jié)果。事前檢索部件(16)判斷由輸入部件(11)輸入了的檢索對(duì)象者的身體信息與保存在上述履歷管理部件(15)中的各履歷信息的身體信息是否是同一人物的信息。主檢索部件(18)在存在被判斷為與檢索對(duì)象者的身體信息是同一人物的身體信息的履歷信息的情況下，根據(jù)由上述事前檢索部件(16)判斷為與檢索對(duì)象者的身體信息是同一人物的身體信息的履歷信息中的檢索結(jié)果，判斷對(duì)該檢索對(duì)象者的人物檢索結(jié)果。
文檔編號(hào)G06T7/00GK1869992SQ200610087848
公開(kāi)日2006年11月29日 申請(qǐng)日期2006年5月26日 優(yōu)先權(quán)日2005年5月26日
發(fā)明者助川寬 申請(qǐng)人:株式會(huì)社東芝