專利名稱：來賓路徑分析系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于跟蹤訪問商店的每個客戶的移動軌跡或移動 路徑等，以掌握每個單獨客戶的行為的時間過程，并估計客戶的性別、 年齡等以掌握每種性別和每種年齡群的客戶的行為模式的來賓路徑分 析系統(tǒng)和方法。
背景技術(shù)：
為了收集可以用于優(yōu)化銷售空間布局和在商店中的產(chǎn)品布置并且 改進銷售的數(shù)據(jù)，已經(jīng)提出了用于跟蹤商店來賓的路徑并掌握他/她的 行為的時間過程的各種系統(tǒng)。
例如，未經(jīng)審査的日本專利申請KOKAI公開第2005-56173號公開 了這種類型的銷售空間規(guī)劃支持系統(tǒng)。在該銷售空間規(guī)劃支持系統(tǒng)中， 在銷售空間中準備的購物車等被附加有發(fā)射無線電信號的標簽，并在 銷售空間的預(yù)定位置處安裝了位置信息發(fā)布設(shè)備。當標簽從位置信息 發(fā)布設(shè)備接收到位置信息時，將所接收到的位置信息和標簽的ID發(fā)送 給管理計算機。將發(fā)送到管理計算機的位置信息和標簽的ID與發(fā)送時 間一起記錄在用于管理計算機而提供的記錄裝置中。以此方式，該銷 售空間規(guī)劃支持系統(tǒng)掌握了客戶行為的時間過程。
6未經(jīng)審查的日本專利申請KOKAI公開第2004-178276號公開了另 一銷售空間規(guī)劃支持系統(tǒng)。該銷售空間規(guī)劃支持系統(tǒng)具有來賓路徑計 算裝置，該來賓路徑計算裝置用監(jiān)視攝像機系統(tǒng)檢測和跟蹤移動的人 員，并計算該移動人員的路徑。
未經(jīng)審査的日本專利申請KOKAI公開第2006-236260號公開了一 種面部識別設(shè)備。面部識別設(shè)備包括來賓路徑提取裝置、圖像拍攝 對象確定裝置和確定閾值改變裝置。來賓路徑提取裝置從由圖像拍攝 裝置拍攝的圖像中提取行走者的路徑。圖像拍攝對象確定裝置將由來 賓路徑提取裝置提取的來賓路徑與預(yù)置的來賓路徑進行比較，并確定 行走者是否適于作為圖像拍攝的對象。根據(jù)由圖像拍攝對象確定裝置 確定的結(jié)果，確定閾值改變裝置改變由面部檢查裝置參考的確定閾值。
以上描述的兩種銷售空間規(guī)劃支持系統(tǒng)允許實時掌握客戶行為的 時間過程，并收集用于改進銷售空間布局和產(chǎn)品布置所必需的信息。 然而，這些銷售空間規(guī)劃支持系統(tǒng)無法允許掌握客戶的個體特征。也 就是說，這些銷售空間規(guī)劃支持系統(tǒng)僅可允許掌握可以被稱為"無特 性(faceless)"客戶行為的時間過程，這些客戶的性別和年齡是未知 的，更不用提他們的住所或任何其他身份。因此，使用這些銷售空間 規(guī)劃支持系統(tǒng)并沒有促進收集用于根據(jù)客戶的性別和年齡屬性來優(yōu)化 銷售空間布局和產(chǎn)品布置或起草銷售計劃所必需的信息。
以上描述的面部識別設(shè)備提取在一個圖像拍攝裝置的視野中移動 的行走者的移動路徑。然而，該面部識別設(shè)備不具有用于跟蹤穿過多 個圖像拍攝裝置的視野持續(xù)移動的任何特定行走者，并且計算和記錄 穿過所述多個圖像拍攝裝置的視野的該特定行走者的移動路徑(或來 賓路徑)的裝置，未經(jīng)審查的日本專利申請KOKAI公開第2006-236260 號也沒有提出這樣的裝置。本發(fā)明的示例性目的是考慮這樣的背景而進行設(shè)定的，并且提供 一種用于掌握訪問商店的每個單獨客戶的時間過程，并且用于估計客
戶的性別和年齡以掌握對于特定性別或年齡屬性獨特(unique)的行為
模式的來賓路徑分析系統(tǒng)和方法。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一示例性方面的來賓路徑分析系統(tǒng)是用于單獨標
識在多個拍攝區(qū)域中拍攝到的圖像中捕捉到的人員并且計算和記錄他/
她的路徑的來賓路徑分析系統(tǒng)，并且包括
注冊者數(shù)據(jù)庫，在所述注冊者數(shù)據(jù)庫中注冊了人員的面部圖像； 面部圖像檢測單元，所述面部圖像檢測單元從在所述多個拍攝區(qū)
域中拍攝到的圖像中檢測人員的面部圖像；以及
面部圖像檢査單元，所述面部圖像檢查單元將由所述面部圖像檢
測單元檢測到的面部圖像對照在所述注冊者數(shù)據(jù)庫中注冊的已注冊面
部圖像進行檢查。
根據(jù)本發(fā)明的第二示例性方面的來賓路徑分析方法是用于單獨標 識在多個拍攝區(qū)域中拍攝到的圖像中捕捉到的人員并且用于計算和記 錄他/她的路徑的來賓路徑分析方法，并且包括
注冊步驟，將人員的面部圖像注冊在注冊者數(shù)據(jù)庫中；
面部圖像檢測步驟，從在所述多個拍攝區(qū)域中拍攝的圖像中檢測 人員的面部圖像；以及
面部圖像檢查步驟，將在所述面部圖像檢測步驟中檢測到的面部 圖像對照在所述注冊者數(shù)據(jù)庫中注冊的已注冊面部圖像進行檢査。
根據(jù)本發(fā)明的第三示例性方面的來賓路徑分析系統(tǒng)是用于單獨標 識在多個拍攝區(qū)域中拍攝到的圖像中捕捉到的人員并計算和記錄他/她 的路徑的來賓路徑分析系統(tǒng)，并且包括
注冊者數(shù)據(jù)庫，在所述注冊者數(shù)據(jù)庫中注冊了人員的面部圖像； 面部圖像檢測裝置，所述面部圖像檢測裝置從在所述多個拍攝區(qū)域中拍攝到的圖像中檢測人員的面部圖像；以及
面部圖像檢查裝置，所述面部圖像檢査裝置將由所述面部圖像檢 測裝置檢測到的面部圖像對照在所述注冊者數(shù)據(jù)庫中注冊的已注冊面 部圖像進行檢査。
由于具有將由面部圖像檢測單元檢測到的面部圖像對照在面部圖
像數(shù)據(jù)庫中注冊的面部圖像進行檢查的面部圖像檢查單元，所以根據(jù) 本發(fā)明的來賓路徑分析系統(tǒng)和方法可以掌握和積累到商店的每個單獨 客戶的行為的時間過程。


在閱讀以下具體描述和附圖之后，本發(fā)明的這些目的和其他目的 將變得更加顯而易見，在附圖中-
圖l是根據(jù)本發(fā)明實施例的來賓路徑分析系統(tǒng)的概念框圖； 圖2是示出圖1的來賓路徑分析系統(tǒng)的操作的示意流程圖3是示出來賓路徑分析系統(tǒng)的另一示例的概念框圖；以及
圖4是示出自動注冊程序的示例的流程圖。
具體實施例方式
以下將解釋用于執(zhí)行本發(fā)明的最佳模式。
如圖1所示，來賓路徑分析系統(tǒng)l包括識別設(shè)備2、來賓路徑信息 積累設(shè)備3以及來賓路徑分析設(shè)備4。來賓路徑分析系統(tǒng)1經(jīng)由網(wǎng)絡(luò)5連 接到多個監(jiān)視攝像機6。
監(jiān)視攝像機6分別設(shè)置在商店的多個拍攝區(qū)域處(例如，正門入口、 化妝品區(qū)、雜貨區(qū)、女裝區(qū)、側(cè)門等)。監(jiān)視攝像機6在它們的自已的 拍攝區(qū)域中捕捉任何對象的圖像。當客戶7進入拍攝區(qū)時，由監(jiān)視攝像 機6捕捉的圖像將包括客戶7的映像。由監(jiān)視攝像機6捕捉到的圖像經(jīng)由 網(wǎng)絡(luò)5發(fā)送給來賓路徑分析系統(tǒng)1的識別設(shè)備2。識別設(shè)備2是處理由監(jiān)視攝像機6發(fā)送的圖像的計算機。識別設(shè)備2 包括面部檢測引擎8、面部識別引擎9和估計引擎10。
面部檢測引擎8是從由任何監(jiān)視攝像機6發(fā)送的圖像中檢測表示客 戶7的面部的圖像(面部圖像)的模塊。
面部識別引擎9是將由面部檢測引擎8檢測到的面部圖像對照在來 賓路徑信息積累設(shè)備3中注冊的面部圖像(已注冊面部圖像)進行檢查 的模塊。
如果通過該檢查顯示由面部檢測引擎8檢測到的面部圖像與在來 賓路徑信息積累設(shè)備3中的任何已注冊面部圖像相匹配，則面部識別引 擎9確定該面部圖像屬于在匹配的已注冊面部圖像中的人員。
如果發(fā)現(xiàn)了任何匹配的已注冊面部圖像，則面部識別引擎9將拍攝 面部圖像的時間和拍攝區(qū)域記錄在來賓路徑信息積累設(shè)備3中。
另一方面，如果由面部檢測引擎8檢測到的面部圖像與在來賓路徑 信息積累設(shè)備3中的任何已注冊面部圖像均不匹配，則面部識別引擎9 將該面部圖像作為新注冊的圖像注冊在來賓路徑信息積累設(shè)備3中。
估計引擎10是基于檢測到的面部圖像來估計客戶7的性別和年齡 并將所估計的性別和年齡注冊在來賓路徑信息積累設(shè)備3中的模塊。
來賓路徑信息積累設(shè)備3是將由識別設(shè)備2和來賓路徑分析設(shè)備4 處理的結(jié)果進行積累的存儲設(shè)備。來賓路徑信息積累設(shè)備3包括注冊者 數(shù)據(jù)庫(DB) 11、時間記錄文件12和來賓路徑分析文件13。
注冊者數(shù)據(jù)庫11將由任何監(jiān)視攝像機6捕捉到的面部圖像與標識碼和人員的屬性(性別、年齡和任何其他個人信息) 一起注冊在面部 圖像中。如上所述，在注冊者數(shù)據(jù)庫ll中注冊的面部圖像由面部識別 引擎9作為已注冊面部圖像來讀出，并用于檢査由面部檢測引擎8新檢
測到的面部圖像。如果由面部檢測引擎8檢測到的面部圖像與注冊在注 冊者數(shù)據(jù)庫ll中的任何面部圖像均不匹配，則面部識別引擎9將由面部 檢測引擎8檢測到的面部圖像注冊在注冊者數(shù)據(jù)庫11中，作為由來賓路 徑分析系統(tǒng)l首次檢測到的人員的面部圖像。當注冊時，將未使用過的 標識碼分配給該面部圖像。
時間記錄文件12描述了由面部識別引擎9驗證的面部圖像，以及該 面部圖像的標識碼。時間記錄文件12進一步描述了在由估計引擎10估 計的面部圖像中的人員的性別和年齡、拍攝該面部圖像的日期和時間、 以及拍攝該面部圖像的監(jiān)視攝像機6的標識碼。監(jiān)視攝像機6的標識碼 被用作指示拍攝該面部圖像的位置的信息。每當由監(jiān)視攝像機6拍攝到 客戶7并且由面部檢測引擎8檢測到他/她的面部圖像時，就生成時間記 錄文件12。
因此，在同一客戶7持續(xù)停留于同一地點(同一監(jiān)視攝像機6的拍 攝區(qū)域)的情形下，將生成包含除了日期和時間外都相同的內(nèi)容的多 個時間記錄文件12。
在客戶7從一個地點(給定監(jiān)視攝像機6的視野)移動到另一地點 (另一監(jiān)視攝像機6的視野)的情形下，每次這樣的移動將生成與同一 人員有關(guān)但包含不同日期和時間及地點的時間記錄文件12。
來賓路徑分析文件13是將包含在包含(面部圖像的)相同標識碼 的時間記錄文件12中的各種信息集中在一起的文件。來賓路徑分析文 件13將包含在時間記錄文件12中的各種信息按時間序列進行布置。
來賓路徑分析設(shè)備4是這樣的計算機，該計算機分析來賓路徑分析文件13;計算(被分配了 (面部圖像的)相同的獨特標識碼的)每 個單獨客戶7的來賓路徑信息，諸如他/她的移動路徑、客戶7持續(xù)停留
于每個拍攝區(qū)域的時間長度等；并且積累所述信息。
來賓路徑分析設(shè)備4也能夠在統(tǒng)計上處理多個客戶7的已積累的來 賓路徑信息。
接著，將參考圖2來解釋來賓路徑分析系統(tǒng)1的操作。
連接到來賓路徑分析系統(tǒng)1的多個監(jiān)視攝像機6對它們的拍攝區(qū)域 連續(xù)拍攝。
來賓路徑分析系統(tǒng)1基于拍攝的圖像來搜索客戶7。
當客戶7進入任何監(jiān)視攝像機6的拍攝區(qū)域時，面部檢測引擎8檢測 該客戶7的面部圖像(步驟S1)。
當檢測到客戶7的面部圖像時，面部識別引擎9從注冊者數(shù)據(jù)庫11 讀出已注冊面部圖像，將所檢測到的面部圖像對照該已注冊面部圖像 進行檢查，并且如果它們相匹配，則將與該已注冊面部圖像相同的標 識碼分配給所檢測到的面部圖像。
如果該面部圖像與任何己注冊面部圖像均不匹配，則面部識別引 擎9將未使用過的標識碼分配給該面部圖像，并且將該面部圖像與所分 配的標識碼一起注冊在注冊者數(shù)據(jù)庫ll中(步驟S2)。
然后，基于由面部檢測引擎8檢測到的面部圖像，估計引擎10估計 在該面部圖像中的客戶7的性別和年齡屬性，并將所估計的性別和年齡 屬性注冊在注冊者數(shù)據(jù)庫ll中(步驟S3)。然后，將指示該面部圖像的標識碼、拍攝該面部圖像的日期和時 間、拍攝該面部圖像的監(jiān)視攝像機6的標識碼、在該面部圖像中的(由
估計引擎10估計的)客戶7的性別和年齡屬性的時間記錄文件12注冊到 來賓路徑信息積累設(shè)備3中(步驟S4)。
當生成了時間記錄文件12時，將分配了相同標識碼的時間記錄文 件12集中在來賓路徑分析文件13中(步驟S5)。
以此方式，來賓路徑分析文件13可以每當生成了時間記錄文件12 時生成，或者可以根據(jù)預(yù)定的時間表定期生成。替代地，來賓路徑分 析文件13可以在來賓路徑分析系統(tǒng)1停止運行之后(例如，在營業(yè)時間 之后)生成。
如上所述，在客戶7持續(xù)停留于同一監(jiān)視攝像機6的拍攝區(qū)域的情 形下，該監(jiān)視攝像機6重復(fù)地以預(yù)定時間間隔拍攝他/她。結(jié)果，將生成 關(guān)于在相同位置的同一客戶7的多個時間記錄文件12。
例如，假定同一監(jiān)視攝像機6在以下這些時間(小時分鐘秒) 拍攝同一客戶7并且生成了與這些時間相對應(yīng)的時間記錄文件12的情 形。
時間l (10:00:00) 時間2 (10:00:05) 時間3 (10:00:10) 時間4 (10:00:15) 時間5 (10:00:50) 時間6 (10:01:00) 時間7 (10:01:10)
如果與給定時間記錄文件12相對應(yīng)的拍攝時間和最接近的時間記 錄文件12的拍攝時間在時間上距離很近，則可以認為客戶7在這些時間停留于同一監(jiān)視攝像機6的拍攝區(qū)域中。
因此，設(shè)置了持續(xù)停留確定時間長度。在任何時間上最接近的鄰
接時間記錄文件12的拍攝時間之間的差異比持續(xù)停留確定時間長度更 短的情形下，識別設(shè)備2將這些最接近的時間記錄文件12集中在一起， 并生成拍攝區(qū)域特定的持續(xù)停留匯總數(shù)據(jù)。
例如，假定將該持續(xù)停留確定時間長度設(shè)置成30秒。在時間4和時 間5之間的時間距離是35秒，它比持續(xù)停留確定時間長度更長。因此， 識別設(shè)備2確定了持續(xù)停留在時間4和時間5之間中斷，并生成以下兩個 拍攝區(qū)域特定的持續(xù)停留匯總數(shù)據(jù)。
拍攝區(qū)域特定的持續(xù)停留匯總數(shù)據(jù)A (10:00:00到10:00:15) 拍攝區(qū)域特定的持續(xù)停留匯總數(shù)據(jù)B (10:00:50到10:01:10)
拍攝區(qū)域特定的持續(xù)停留匯總數(shù)據(jù)A指示從10點0分0秒到10點0 分15秒，客戶7持續(xù)停留于監(jiān)視攝像機6的拍攝區(qū)域中。拍攝區(qū)域特定 的持續(xù)停留匯總數(shù)據(jù)B指示從10點0分50秒到10點1分10秒，客戶7持 續(xù)停留于監(jiān)視攝像機6的拍攝區(qū)域中。進一步地，確定客戶7在從10點0 分15秒到10點0分50秒的時間期間停留于監(jiān)視攝像機6的拍攝區(qū)域外。 在來賓路徑分析文件13中描述了這些拍攝區(qū)域特定的持續(xù)停留匯總數(shù) 據(jù)A和B。
當來賓路徑分析文件13在來賓路徑信息積累設(shè)備3中積累時，來賓 路徑分析設(shè)備4分析積累文件13，并且計算和記錄客戶7的來賓路徑信 息(步驟S6)。來賓路徑信息指示特定客戶7訪問多個監(jiān)視攝像機6的 拍攝區(qū)域的時間和順序，以及他/她在每個拍攝區(qū)域中停留的時間長度。 換言之，來賓路徑信息指示特定客戶7訪問多個監(jiān)視攝像機6的拍攝區(qū) 域的時間和順序，以及他/她在每個拍攝區(qū)域中停留的時間長度。換言 之，來賓路徑信息指示客戶7從哪個入口進入商店，客戶7按什么順序訪問了何種銷售區(qū)，客戶7從哪個出口離開商店，以及客戶7在每個區(qū) 停留了多少分鐘。
來賓路徑分析設(shè)備4可以在統(tǒng)計上對記錄在來賓路徑分析設(shè)備4中 的多個客戶7的來賓路徑信息進行處理，以分析由于性別和年齡屬性的 不同而造成的客戶7之間的行為模式中的不同(步驟S7)。
根據(jù)性別和年齡屬性對客戶7的行為模式的分析可以有助于設(shè)計 銷售改進措施。例如，如果在客戶7傾向于持續(xù)停留于任何地點的時間 長度和那里的銷售業(yè)績之間的關(guān)系表明該地點并沒有因客戶7長時間 停留那里而有那么多利潤，則可以在那里采取促銷措施，諸如配備更 多的工作人員。
統(tǒng)計上的處理可以發(fā)現(xiàn)客戶7傾向于持續(xù)停留的區(qū)(產(chǎn)品)。因此， 在有一個以上的區(qū)(產(chǎn)品)是客戶7傾向于持續(xù)停留的情形下，可以將 任何其他區(qū)(產(chǎn)品)布置在這些區(qū)(產(chǎn)品)之間，使得可以引導(dǎo)客戶7 來平均地査看所有區(qū)(產(chǎn)品)。
統(tǒng)計處理還可以發(fā)現(xiàn)什么性別和什么年齡屬性的客戶7傾向于在 展示新產(chǎn)品的區(qū)中持續(xù)停留。因此，可以用定向特定類型的購買者的 方式來制定用于該新產(chǎn)品的銷售策略。
每當檢測到尚未注冊到注冊者數(shù)據(jù)庫11中的客戶7時，來賓路徑分 析系統(tǒng)1自動注冊客戶7的面部圖像，并收集該已注冊客戶7的來賓路徑 信息。然而，來賓路徑分析系統(tǒng)l可以允許對特定人員的面部圖像的初 步手動注冊。
可以將商店必須特別注意的特定人員的面部圖像初步注冊在注冊 者數(shù)據(jù)庫ll中，例如，忠實客戶、列入黑名單的人員等(下文中稱為 "關(guān)注目標人員")。當面部識別引擎9檢測到與任何關(guān)注目標人員的面部圖像相匹配的面部圖像時，它通過例如觸發(fā)警報器來通知工作人 員那個意思。以此方式，可以改進招待和安全。
具體而言，例如，如圖3所示，可以將關(guān)注目標注冊設(shè)備14連接到
來賓路徑信息積累設(shè)備3，并且可以將警報信號器15連接到識別設(shè)備2。
關(guān)注目標注冊設(shè)備14將關(guān)注目標人員的面部圖像注冊在注冊者數(shù) 據(jù)庫11中。當面部識別引擎9檢測到與關(guān)注目標人員的面部圖像相匹配 的面部圖像時，警報信號器15發(fā)出警報。
關(guān)注目標注冊設(shè)備14可以是允許將關(guān)注目標人員的面部圖像外部 輸入到來賓路徑信息積累設(shè)備3中的任何設(shè)備。通常，通過安裝在個人 計算機等上的必要軟件來實現(xiàn)識別設(shè)備2、來賓路徑信息積累設(shè)備3和 來賓路徑分析設(shè)備4。因此，可以通過使用該個人計算機等的輸入/輸出 功能(例如，CD-ROM驅(qū)動器)來實現(xiàn)關(guān)注目標注冊設(shè)備14。替代地， 關(guān)注目標注冊設(shè)備14可以是接收從外部計算機發(fā)送的關(guān)注目標人員的 面部圖像的通信接口。
當面部識別引擎9檢測到與關(guān)注目標人員的面部圖像相匹配的面 部圖像時，警報信號器15發(fā)出的警報可以是采用聲、光、圖像等的警 報?？梢詫⒔M成識別設(shè)備2、來賓路徑信息積累設(shè)備3和來賓路徑分析 設(shè)備4的個人計算機等的輸出設(shè)備(聲音輸出設(shè)備、圖像輸出設(shè)備等) 用作警報信號器15。
可以設(shè)置用于關(guān)注目標人員的面部圖像的有效時間段。例如，當 由關(guān)注目標注冊設(shè)備14將關(guān)注目標人員的面部圖像注冊在注冊者數(shù)據(jù)
庫ll中時，輸入了面部圖像的有效時間段。當有效時間段到期時，可 以借助于編程從注冊者數(shù)據(jù)庫ll中刪除該面部圖像。替代地，可以對 面部識別引擎9進行編程，以將過期的面部圖像從面部識別對象中排除 出去。l修改成 在檢測到尚未初步注冊的人員時發(fā)出警報。也就是，可以將警報信號 器15設(shè)置成當面部識別引擎9檢測到與任何關(guān)注目標人員的面部圖像
均不匹配的面部圖像(除關(guān)注目標人員以外人員的面部圖像)時，發(fā) 出警報。這允許例如對工作人員的面部圖像進行初步注冊，使得當在 工作人員區(qū)檢測到客戶等時可以發(fā)出警報。
將同一注冊者的多個面部圖像注冊到注冊者數(shù)據(jù)庫ll中將使得面 部識別更加準確。例如，當發(fā)生顯示給定客戶7的完整面部的面部圖像 被首先注冊在注冊者數(shù)據(jù)庫11中并且然后拍攝到同一客戶7的側(cè)面時， 則可以將該客戶7的側(cè)面的圖像附加注冊到數(shù)據(jù)庫11中。以此方式，如 果以后拍攝到該客戶7的另一側(cè)面，則易于識別出該面部圖像是該客戶 7的面部圖像。然而，將同一人員的每一個面部圖像拍攝均注冊到注冊 者數(shù)據(jù)庫ll中將帶來使得注冊者數(shù)據(jù)庫ll的存儲容量耗盡并為處理面 部識別花費更長時間的問題。
因此，面部識別引擎9可以計算識別分值X，該識別分值X指示在 由面部檢測引擎8檢測到的面部圖像和在注冊者數(shù)據(jù)庫11中的已注冊 面部圖像之間的相似度。當兩個圖像根本不相似時，識別分值X將是 0.0，并且當兩個圖像完全相同時，識別分值將是100.0?；谠撟R別分 值X和下述規(guī)則，可以將由面部檢測引擎8檢測到的面部圖像自動注冊 在注冊者數(shù)據(jù)庫ll中。以此方式，可以克服上述問題，并且來賓路徑 分析系統(tǒng)l可以是高性能的。
(規(guī)則l)如果客戶7的面部圖像相對于所有已注冊面部圖像的識 別分值X低于第一基準Lvl (當相對于等于或高于第一基準Lvl的他/她 的面部圖像的識別分值X的已注冊面部圖像都沒有被注冊在注冊者數(shù) 據(jù)庫ll中時)，則面部識別引擎9將把客戶7確定為新的客戶。面部識 別引擎9將把未使用過的標識碼分配給客戶7。面部識別引擎9將在注冊者數(shù)據(jù)庫ll中生成新的注冊者文件，并將已分配的標識碼與客戶7的面
部圖像一起寫入新的注冊者文件。面部識別引擎9還將把拍攝客戶7的 面部圖像的時間寫入注冊者文件中。此處，識別分值X是指示兩個圖像 之間相似度的參數(shù)，當兩個圖像根本不相同時，識別分值X將是O.O， 當兩個圖像完全相同時，識別分值x將是ioo.o。
(規(guī)則2)在客戶7的面部圖像相對于所有已注冊的面部圖像的識 別分值X中，該面部圖像的最高識別分值X等于或高于第一基準Lvl但 低于第二基準Lv2的情形下，面部識別引擎9將把客戶7的面部圖像寫入 面部圖像的識別分值X最高的已注冊面部圖像所屬于的注冊者文件中。 這是因為，如果識別分值X在該范圍內(nèi)，則客戶7的面部圖像很有可能 是識別分值X最高的注冊者的面部圖像。
(規(guī)則3)在客戶7的面部圖像相對于任何己注冊面部圖像的識別 分值X等于或高于第二基準Lv2但是低于第三基準Lv3的情形下，面部識 別引擎9將把客戶7的面部圖像寫入該已注冊面部圖像所屬于的注冊者 文件中。這是因為，如果識別分值X在該范圍內(nèi)，則客戶7的面部圖像 極有可能是該注冊者的面部圖像，并且由于將客戶7的面部圖像附加注 冊在該注冊者文件中，所以將使得以后執(zhí)行的面部識別更加準確和更 加有效率。
(規(guī)則4)在客戶7的面部圖像相對于任何已注冊面部圖像的識別
分值X等于或高于第三基準Lv3的情形下，面部識別引擎9將不把客戶7
的面部圖像附加注冊到注冊者數(shù)據(jù)庫ll中的任何地方。面部識別引擎9
將撤銷客戶7的面部圖像。這是因為，當已經(jīng)存在可以被認為是完全相
同的已注冊面部圖像時，注冊新的面部圖像在以后提高面部識別的準
確性方面并非那么有利，因為缺點是由于有更多的圖像要對照檢査而 使效率降低。
如圖4所示，面部識別引擎9具有自動注冊程序，以使能基于以上規(guī)則的自動注冊。注意到，在上述來賓路徑分析系統(tǒng)l的示意流程圖的
步驟S2 (參見圖2)執(zhí)行了該自動注冊程序。
如圖4所示，當面部檢測引擎8檢測到客戶7的面部圖像時，面部識 別引擎9從注冊者數(shù)據(jù)庫11中讀出已注冊面部圖像(步驟S21)，并將 該面部圖像對照該已注冊面部圖像進行檢査，以計算它們之間的識別 分值X (步驟S22)。
在識別分值X等于或高于第三基準Lv3的情形下(步驟S23;是)， 則面部識別引擎9只是終止自動注冊程序。也就是，在該情形下，由面 部檢測引擎8檢測到的客戶7的面部圖像不被注冊到任何文件中，而是 被丟棄。
在識別分值X低于第三基準Lv3 (步驟S23;否)并且等于或高于 第二基準Lv2 (步驟S24;是)的情形下，面部識別引擎9將客戶7的面 部圖像注冊在所讀出的己注冊面部圖像所屬于的注冊者文件中(步驟 S25)。然后，面部識別引擎9終止自動注冊程序。
在識別分值X低于第二基準Lv2的情形下(步驟S24;否)，以及 在注冊者數(shù)據(jù)庫ll中還剩有該面部圖像尚未對照其而進行檢查的己注 冊面部圖像時的情形下(步驟S26;是)，則面部識別引擎9返回到步 驟S21，以從注冊者數(shù)據(jù)庫ll讀出下一個已注冊面部圖像，并且重復(fù)所 描述的處理。
在相對于所有已注冊面部圖像的識別分值X低于第二基準Lv2的 情形下(步驟S26;否)，則面部識別引擎9轉(zhuǎn)到步驟S27。在到現(xiàn)在為 止在所計算的識別分值X中的最髙值等于或髙于第一基準Lvl的情形下 (步驟S27;是)，面部識別引擎9將該客戶7的面部圖像注冊在獲得最 高識別分值X的已注冊面部圖像所屬于的注冊者文件中(步驟S28)， 并且終止自動注冊程序。
1在識別分值X中的最高值低于第一基準Lvl的情形下，g卩，在所有 的識別分值X低于第一基準Lvl的情形下(步驟S27;否)，則面部識別 引擎9將未使用的標識碼分配給客戶7，在注冊者數(shù)據(jù)庫ll中生成了新 的注冊者文件，并將已分配的標識碼和客戶7的面部圖像注冊在該新的 注冊者文件中(步驟29)，并且終止自動注冊程序。
替代地，面部識別引擎9執(zhí)行步驟S29以生成新的注冊者文件，并 且僅當面部檢測引擎8可以計算出已檢測到的面部圖像的角度，并且該 面部圖像處于可以將該面部圖像認為是在面部的基本正前方拍攝該面 部時所獲得的完整面部圖像的范圍中(例如，在-10度至+10度的范圍中， 其中完整面部圖像的角度是O度)時，才注冊該面部圖像。這是因為完 整面部圖像是用于面部識別的基礎(chǔ)數(shù)據(jù)。
進一步，可以設(shè)置注冊在注冊者文件中的面部圖像的數(shù)目的上限， 并且可以將程序設(shè)計成，如果一旦添加面部圖像就超過該上限時，則 不在步驟S25或步驟28附加注冊該面部圖像。這是為了不使注冊者文件 過載c
通過具有自動注冊程序，面部識別引擎9可以將客戶7的面部圖像 與已經(jīng)注冊人員的面部圖像相比較，并且基于面部圖像之間的相似度 來確定客戶7是已經(jīng)注冊的客戶還是新的客戶，并且可以有助于提高由 來賓路徑分析系統(tǒng)l進行的面部識別的準確性。
注意到，可以將第一至第三基準Lvl至Lv3固定成預(yù)定值，或者可 以由用戶根據(jù)他/她的需要來改變。
在不偏離本發(fā)明的廣義精神和范圍的情況下，可以對本發(fā)明做出 各種實施例和變化。上述實施例意在說明本發(fā)明，而不是限制本發(fā)明 的范圍。通過權(quán)利要求而不是實施例來示出本發(fā)明的范圍。在本發(fā)明的權(quán)利要求的等同物的含義之內(nèi)和權(quán)利要求之內(nèi)做出的各種修改應(yīng)當 認為處于本發(fā)明的范圍之內(nèi)。
權(quán)利要求
1.一種來賓路徑分析系統(tǒng)，所述系統(tǒng)單獨標識在多個拍攝區(qū)域中拍攝到的圖像中捕捉到的人員并計算和記錄他/她的路徑，包括注冊者數(shù)據(jù)庫，在所述注冊者數(shù)據(jù)庫中注冊了人員的面部圖像；面部圖像檢測單元，所述面部圖像檢測單元從在所述多個拍攝區(qū)域中拍攝到的圖像中檢測人員的面部圖像；以及面部圖像檢查單元，所述面部圖像檢查單元將由所述面部圖像檢測單元檢測到的面部圖像對照在所述注冊者數(shù)據(jù)庫中注冊的已注冊面部圖像進行檢查。
2. 根據(jù)權(quán)利要求l所述的來賓路徑分析系統(tǒng)， 其中，所述注冊者數(shù)據(jù)庫包括注冊者文件，所述面部圖像檢査單元計算由所述面部圖像檢測單元檢測到的面 部圖像相對于在所述注冊者數(shù)據(jù)庫中注冊的已注冊面部圖像的相似 度，并且所述來賓路徑分析系統(tǒng)包括自動注冊單元，在由所述面部圖像檢 測單元檢測到的面部圖像相對于所有己注冊面部圖像的相似度低于第 一閾值的情形下，所述自動注冊單元在所述注冊者數(shù)據(jù)庫中生成新的 注冊者文件，并且將由所述面部圖像檢測單元檢測到的面部圖像注冊 在所生成的注冊者文件中。
3. 根據(jù)權(quán)利要求2所述的來賓路徑分析系統(tǒng)，其中，所述面部圖像檢查單元計算由所述面部圖像檢測單元檢測 到的面部圖像的角度，并且在所述面部圖像的角度處于預(yù)定范圍中的情形下，在所述預(yù)定范 圍中可以將所述面部圖像認為是在面部的基本正前方對所述面部進行 拍攝時所獲得的完整面部圖像，所述自動注冊單元在所述注冊者數(shù)據(jù) 庫中生成新的注冊者文件，并且將所述面部圖像注冊在所生成的注冊 者文件中。
4. 根據(jù)權(quán)利要求2所述的來賓路徑分析系統(tǒng)，其中，在檢測到的所述面部圖像相對于所有所述已注冊面部圖像的 相似度的最高值等于或高于所述第一閾值并低于第二閾值的情形下，所 述自動注冊單元將由所述面部圖像檢測單元檢測到的面部圖像注冊在 相似度相對于其是最高的已注冊面部圖像所屬于的注冊者文件中。
5. 根據(jù)權(quán)利要求4所述的來賓路徑分析系統(tǒng)，其中，所述自動注冊單元將由所述面部圖像檢測單元檢測到的面 部圖像注冊在所述面部圖像的相似度等于或高于所述第二閾值并低于 第三闞值的已注冊面部圖像所屬于的注冊者文件中。
6. 根據(jù)權(quán)利要求5所述的來賓路徑分析系統(tǒng)，其中，在存在面部圖像的相似度等于或高于所述第三閾值的已注 冊面部圖像的情形下，所述自動注冊單元不將所述面部圖像注冊在所 述注冊者數(shù)據(jù)庫中。
7. 根據(jù)權(quán)利要求l所述的來賓路徑分析系統(tǒng)，包括 時間記錄文件生成單元，當從在所述多個拍攝區(qū)域的任何一個拍攝區(qū)域中拍攝到的圖像中檢測到面部圖像時，所述時間記錄文件生成 單元將所檢測到的面部圖像對照注冊在所述注冊者數(shù)據(jù)庫中的面部圖 像進行檢査，以指明在所檢測到的面部圖像中的人員被標識為哪個注 冊者，并且將拍攝所述面部圖像的拍攝區(qū)域以及拍攝所述面部圖像的 時間記錄在所指明的注冊者的時間記錄文件中；以及匯總數(shù)據(jù)生成單元，所述匯總數(shù)據(jù)生成單元將同一注冊者的時間 記錄文件集中在一起，以生成所述同一注冊者的拍攝區(qū)域特定的持續(xù) 停留匯總數(shù)據(jù)，并且將所生成的數(shù)據(jù)注冊在來賓路徑分析文件中。
8. 根據(jù)權(quán)利要求7所述的來賓路徑分析系統(tǒng)，其中，所述匯總數(shù)據(jù)生成單元以時間序列布置在同一拍攝區(qū)域中拍攝同一注冊者的記錄，并且在一個拍攝時間和與所述一個拍攝時間 在時間上最接近的另一拍攝時間之間的差異大于預(yù)定閾值的情形下， 確定所述注冊者在所述拍攝區(qū)域中的持續(xù)停留中斷，并且用所述數(shù)據(jù) 在所述一個拍攝時間和所述最接近的拍攝時間之間被分開的方式來生 成拍攝區(qū)域特定的持續(xù)停留匯總數(shù)據(jù)。
9. 根據(jù)權(quán)利要求7所述的來賓路徑分析系統(tǒng)，包括 來賓路徑分析單元，所述來賓路徑分析單元基于注冊在所述來賓路徑分析文件中的所述拍攝區(qū)域特定的持續(xù)停留匯總數(shù)據(jù)來生成所述 注冊者的來賓路徑信息。
10. 根據(jù)權(quán)利要求l所述的來賓路徑分析系統(tǒng)，包括 屬性估計單元，所述屬性估計單元基于注冊者的面部圖像來估計所述注冊者的屬性，其中，在由所述屬性估計單元估計的所述面部圖像中的人員的屬 性被注冊在所述注冊者數(shù)據(jù)庫中。
11. 根據(jù)權(quán)利要求10所述的來賓路徑分析系統(tǒng)，其中，所述人員 的屬性是他/她的性別和年齡。
12. 根據(jù)權(quán)利要求ll所述的來賓路徑分析系統(tǒng)，包括 行為分析單元，所述行為分析單元基于所記錄的關(guān)于多個人員的來賓路徑來分析對每種性別和每種年齡屬性獨特的行為。
13. 根據(jù)權(quán)利要求l所述的來賓路徑分析系統(tǒng)，包括關(guān)注目標注冊單元，所述關(guān)注目標注冊單元將關(guān)注目標人員的面 部圖像初步注冊在所述注冊者數(shù)據(jù)庫中。
14. 根據(jù)權(quán)利要求13所述的來賓路徑分析系統(tǒng)，其中，在所述多個拍攝區(qū)域中的任何拍攝區(qū)域中拍攝到的圖像中檢測到的人員的面部圖像與注冊在所述注冊者數(shù)據(jù)庫中的任何關(guān)注目 標人員的面部圖像相匹配的情形下，將這個意思的通知提供到外面。
15. 根據(jù)權(quán)利要求14所述的來賓路徑分析系統(tǒng)，其中，在關(guān)注目標人員的面部圖像的有效時間段到期之后，所述 關(guān)注目標注冊單元將所述關(guān)注目標人員的面部圖像從所述注冊者數(shù)據(jù) 庫中刪除。
16. 根據(jù)權(quán)利要求13所述的來賓路徑分析系統(tǒng)，其中，在所述多個拍攝區(qū)域中的任何拍攝區(qū)域中拍攝到的圖像中 檢測到的人員的面部圖像與注冊在所述注冊者數(shù)據(jù)庫中的任何關(guān)注目 標人員的面部圖像不相匹配的情形下，則將這個意思的通知提供到外 面。
17. —種來賓路徑分析方法，用于單獨標識在多個拍攝區(qū)域中拍攝到的圖像中捕捉的人員并且用于計算和記錄他/她的路徑，包括 注冊步驟，將人員的面部圖像注冊在注冊者數(shù)據(jù)庫中； 面部圖像檢測步驟，從在所述多個拍攝區(qū)域中拍攝到的圖像中檢測人員的面部圖像；以及面部圖像檢查步驟，將在所述面部圖像檢測步驟檢測到的面部圖像對照在所述注冊者數(shù)據(jù)庫中注冊的已注冊面部圖像進行檢査。
18. —種來賓路徑分析系統(tǒng)，所述系統(tǒng)單獨標識在多個拍攝區(qū)域 中拍攝到的圖像中捕捉的人員并且計算和記錄他/她的路徑，包括注冊者數(shù)據(jù)庫，在所述注冊者數(shù)據(jù)庫中注冊了人員的面部圖像； 面部圖像檢測裝置，所述面部圖像檢測裝置從在所述多個拍攝區(qū)域中拍攝到的圖像中檢測人員的面部圖像；以及面部圖像檢查裝置，所述面部圖像檢查裝置將由所述面部圖像檢測裝置檢測到的面部圖像對照在所述注冊者數(shù)據(jù)庫中注冊的已注冊面部圖像進行檢查。
全文摘要
一種來賓路徑分析系統(tǒng)和方法，該來賓路徑分析系統(tǒng)基于在多個拍攝區(qū)域中拍攝到的圖像來計算并記錄客戶的路徑。面部檢測引擎從在多個拍攝區(qū)域中拍攝到的圖像中檢測面部圖像。面部識別引擎將由面部檢測引擎檢測到的面部圖像對照注冊在注冊者數(shù)據(jù)庫中的面部圖像進行檢查。
文檔編號G06Q10/00GK101639922SQ20091016025
公開日2010年2月3日 申請日期2009年7月31日 優(yōu)先權(quán)日2008年7月31日
發(fā)明者吉野信治 申請人:Nec九州軟件株式會社