專利名稱：多對(duì)象識(shí)別方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體地涉及對(duì)象識(shí)別，更具體地涉及多對(duì)象識(shí)別方法和裝置。
背景技術(shù)：
多對(duì)象識(shí)別是指對(duì)多個(gè)對(duì)象進(jìn)行識(shí)別，例如多人識(shí)別。在現(xiàn)實(shí)生活中，很多情況下涉及到多人識(shí)別，例如銀行和訪問控制，視頻會(huì)議，安全系統(tǒng)，罪犯識(shí)別等等。多人識(shí)別經(jīng)常使用的是人臉識(shí)別技術(shù)，在本文全文中，為便于理解和描述，也常常以人臉識(shí)別為例來進(jìn)行描述。不過需要說明的是，對(duì)象識(shí)別可以應(yīng)用其它識(shí)別技術(shù)例如虹膜識(shí)別、指紋識(shí)別、血管識(shí)別等。已經(jīng)提出了一些人臉識(shí)別和/或多人識(shí)別技術(shù)。一般使用人臉識(shí)別的過程是這樣的輸入一幀圖像，檢測(cè)出其中的各個(gè)人臉區(qū)域， 將所檢測(cè)出的一人臉區(qū)域與數(shù)據(jù)庫中預(yù)先存儲(chǔ)的已知身份的人臉圖像進(jìn)行對(duì)照，并按照相似度加以排序，將與檢測(cè)出的人臉區(qū)域相似度最高的已知身份的人臉圖像對(duì)應(yīng)的身份(如人名，ID等)賦予該檢測(cè)出的人臉區(qū)域，由此識(shí)別出該檢測(cè)出的人臉區(qū)域的身份。專利文獻(xiàn)US2009/7558408B1提出了一種在數(shù)字圖像中用人臉識(shí)別模塊進(jìn)行人臉區(qū)域識(shí)別的方法一個(gè)歸一化模塊生成一個(gè)人臉區(qū)域的歸一化版本。一個(gè)人臉識(shí)別的模塊從歸一化的人臉區(qū)域中提取人臉的特征值，被稱為臉紋。一個(gè)工作流模塊將臉紋和數(shù)據(jù)庫中預(yù)先保存的已知身份的人的臉紋進(jìn)行比較。該工作流模塊判斷臉紋是否與數(shù)據(jù)庫中已知身份匹配，決定是此臉紋是一個(gè)新的身份還是數(shù)據(jù)庫中已知的身份。一個(gè)數(shù)據(jù)庫模塊與工作流模塊關(guān)聯(lián)，保存了一個(gè)或多于一個(gè)的數(shù)字化數(shù)據(jù)。一組用戶界面模塊獲取用戶的臉紋作為輸入。專利文獻(xiàn)W02005/096213A1提出一種自動(dòng)人臉識(shí)別系統(tǒng)，包含一個(gè)檢測(cè)器連續(xù)從視頻中獲得圖像，一個(gè)感興趣人臉(FOI)跟蹤器來跟蹤隨機(jī)運(yùn)動(dòng)的多人臉并過濾和選擇人臉，以及一個(gè)處理器來識(shí)別檢出的人臉是否是已知，同時(shí)對(duì)已經(jīng)識(shí)別的臉動(dòng)態(tài)地更新在數(shù)據(jù)庫中的已有數(shù)據(jù)，合并冗余的人臉數(shù)據(jù)和去除非感興趣人臉。專利文獻(xiàn)W02009/116049A2提出一個(gè)映射人與人間關(guān)系的系統(tǒng)和方法。該方法包括處理多個(gè)圖片和上下文信息，使用多維信息和已知人身份信息來識(shí)別未知人身份信息。 上下文信息可包含利用至少一張圖片的某個(gè)人建立的先驗(yàn)的關(guān)系信息。多維信息指多張圖片和相關(guān)的上下文信息。在人臉識(shí)別中，有時(shí)出現(xiàn)三種錯(cuò)誤，下面參考圖IA到ID予以說明。假設(shè)一幀圖像中存在兩張人臉，在識(shí)別正確的情況下，應(yīng)分別將其識(shí)別為A和B，如圖IA所示。第一種錯(cuò)誤是出現(xiàn)識(shí)別不出的情況，如圖IB所示，對(duì)象B未識(shí)別出來，被視為數(shù)據(jù)庫中不存在與之對(duì)應(yīng)的已注冊(cè)對(duì)象。第二種錯(cuò)誤是出現(xiàn)張冠李戴的情況，如圖IC所示，對(duì)象B被錯(cuò)誤地識(shí)別為對(duì)象C。第三種錯(cuò)誤是不僅出現(xiàn)了第二種錯(cuò)誤的張冠李戴的情況，而且還出現(xiàn)了重名的情況，即不僅將對(duì)象A錯(cuò)誤識(shí)別為B，而且出現(xiàn)了將兩個(gè)待識(shí)別對(duì)象均識(shí)別為對(duì)象B的情況，如圖ID所示。
因此，存在對(duì)于能夠解決或減少前述錯(cuò)誤的方法和裝置的需要。

發(fā)明內(nèi)容
鑒于現(xiàn)有技術(shù)中的上述問題，提出了本發(fā)明。根據(jù)本發(fā)明的一個(gè)方面，提供了一種識(shí)別圖像中的多個(gè)待識(shí)別對(duì)象的方法，可以包括獲得每個(gè)待識(shí)別對(duì)象的識(shí)別信息，一個(gè)對(duì)象的識(shí)別信息表示該對(duì)象與預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的每個(gè)的匹配度；基于該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象之間的相互關(guān)系而修正所獲得的每個(gè)待識(shí)別對(duì)象的識(shí)別信息；以及基于該修正的識(shí)別信息來將每個(gè)待識(shí)別對(duì)象識(shí)別為該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的一個(gè)。根據(jù)本發(fā)明的另一方面，提供了一種識(shí)別圖像中的多個(gè)待識(shí)別對(duì)象的裝置，可以包括識(shí)別信息獲得部件，用于獲得每個(gè)待識(shí)別對(duì)象的識(shí)別信息，一個(gè)對(duì)象的識(shí)別信息表示該對(duì)象與預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的每個(gè)的匹配度；識(shí)別信息修正部件，用于基于該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象之間的相互關(guān)系而修正所獲得的每個(gè)待識(shí)別對(duì)象的識(shí)別信息；以及最終識(shí)別部件，用于基于該修正的識(shí)別信息來將每個(gè)待識(shí)別對(duì)象識(shí)別為該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的一個(gè)。本發(fā)明的方法和裝置通過結(jié)合識(shí)別信息和對(duì)象之間的相互關(guān)系，可以提高識(shí)別的準(zhǔn)確性。


圖IA是識(shí)別的結(jié)果全部正確的幀的示意性示例；圖IB是識(shí)別結(jié)果中存在某個(gè)人的名字顯示為“未知”的問題的幀的示意性示例；圖IC是識(shí)別結(jié)果中存在某個(gè)人的名字顯示錯(cuò)誤的問題的幀的示意性示例；圖ID是識(shí)別結(jié)果中存在重名的問題的幀的示意性示例；圖2是根據(jù)本發(fā)明第一實(shí)施例的多對(duì)象識(shí)別方法的示例性流程圖；圖3是根據(jù)本發(fā)明一個(gè)實(shí)施例的代表對(duì)象間關(guān)系的一個(gè)示例的組織結(jié)構(gòu)圖的示意性示例；圖4是根據(jù)本發(fā)明第二實(shí)施例的多對(duì)象識(shí)別方法的示例性流程圖；圖5是根據(jù)本發(fā)明第三實(shí)施例的多對(duì)象識(shí)別方法的示例性流程圖；圖6是根據(jù)本發(fā)明一個(gè)實(shí)施例的檢查和去除重名操作的示例性流程圖；圖7是根據(jù)本發(fā)明一個(gè)實(shí)施例的多對(duì)象識(shí)別裝置的示意性框圖；圖8是根據(jù)本發(fā)明另一個(gè)實(shí)施例的多對(duì)象識(shí)別裝置的示意性框圖；以及圖9是根據(jù)本發(fā)明一個(gè)實(shí)施例的可以實(shí)踐本發(fā)明的示例性計(jì)算機(jī)系統(tǒng)。
具體實(shí)施例方式為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。下面為便于理解和描述方便，常常以人臉識(shí)別為例來說明。但是，需要強(qiáng)調(diào)的是， 本發(fā)明并不局限于人臉識(shí)別，實(shí)際上以虹膜、指紋、血管等來進(jìn)行人的身份識(shí)別或者其它生物的識(shí)別也是可以的。
圖2是根據(jù)本發(fā)明第一實(shí)施例的多對(duì)象識(shí)別方法100的示例性流程圖。如圖2所示，根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像的多對(duì)象識(shí)別方法100可以包括識(shí)別信息獲得步驟S110、基于對(duì)象間相互關(guān)系修正識(shí)別信息的步驟S120、最終識(shí)別步驟S130。 下面對(duì)各步驟進(jìn)行具體說明。在步驟S110，獲得每個(gè)待識(shí)別對(duì)象的識(shí)別信息，其中一個(gè)對(duì)象的識(shí)別信息表示該對(duì)象與預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的每個(gè)的匹配度。這里的識(shí)別信息既可以是由本發(fā)明的多對(duì)象識(shí)別方法100自身生成的，也可以由外部獲得。在由外部獲得的情況下，可以是通過網(wǎng)絡(luò)從另一執(zhí)行對(duì)象識(shí)別的計(jì)算裝置獲得， 或者是由用戶輸入，當(dāng)然也可以是把預(yù)先識(shí)別好的識(shí)別信息存儲(chǔ)在例如閃存的可移除存儲(chǔ)介質(zhì)中，然后從該可移除存儲(chǔ)介質(zhì)讀取識(shí)別信息，獲得的方法或手段不構(gòu)成對(duì)本發(fā)明的限制。在由本發(fā)明的多對(duì)象識(shí)別方法自身生成的情況下，本發(fā)明的多對(duì)象識(shí)別方法還可以包括對(duì)圖像進(jìn)行對(duì)象區(qū)域檢測(cè)、配備具有已注冊(cè)對(duì)象模板的數(shù)據(jù)庫、利用自己設(shè)計(jì)的對(duì)象識(shí)別工具或者已有的對(duì)象身份識(shí)別工具來對(duì)檢測(cè)出的對(duì)象區(qū)域和數(shù)據(jù)庫中的對(duì)象模板加以比對(duì)、然后輸出例如相似度列表來作為這里的識(shí)別信息。關(guān)于對(duì)象識(shí)別工具，以人臉識(shí)別為例，存在許多公知的識(shí)別工具，例如=Neuro Technology 公司的 VeriLook>Cognitec 公司的 FaceVACS、Identix 公司的 FaceIt、Toshiba 公司的人臉識(shí)別工具等等。任何對(duì)象識(shí)別工具均可以用于本發(fā)明，其不構(gòu)成對(duì)本發(fā)明的限制。這里的匹配度是廣義的概念，其可以指所比較的兩個(gè)對(duì)象之間的相似度、兩者之間的相關(guān)度、在以向量表征對(duì)象情況下的兩對(duì)象之間的距離、在以涉及貝葉斯統(tǒng)計(jì)方法的情況下一對(duì)象被識(shí)別為已注冊(cè)對(duì)象的概率等等。而且，其形式可以是原計(jì)算的形式，也可以是例如經(jīng)規(guī)一化到W，l]區(qū)間的形式。這些均不構(gòu)成對(duì)本發(fā)明范圍的限制。假設(shè)有N個(gè)已注冊(cè)的模板，一個(gè)圖像中有M個(gè)待識(shí)別對(duì)象，并用數(shù)字i表示在所有的標(biāo)記的人的區(qū)域中，當(dāng)前正進(jìn)行識(shí)別的人的編號(hào)。則該M個(gè)待識(shí)別對(duì)象的識(shí)別信息可以表示為列表IS的形式，IS = [IS1, IS2,. . . ISi. . . . ISJ，每個(gè)識(shí)別信息ISi可以表示成數(shù)值向量的形式ISi = [mn, mi2，· · · Hiij. · ·，miN]，其中每個(gè)數(shù)值Hiij表示該標(biāo)記的人i與對(duì)應(yīng)已注冊(cè)模板j的匹配度。在步驟S120，基于該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象之間的相互關(guān)系而修正所獲得的每個(gè)待識(shí)別對(duì)象的識(shí)別信息。在很多情況下，已注冊(cè)對(duì)象之間可能存在某種相互關(guān)系，例如在一個(gè)公司中的某種組織上的關(guān)系；在一個(gè)家族中的某種親屬上的關(guān)系；在一個(gè)學(xué)校中的某種師生上的關(guān)系等等。這種兩者間的相互關(guān)系與兩者共同出現(xiàn)在一個(gè)情境下的對(duì)應(yīng)概率具有某種程度上的相關(guān)性例如，在一個(gè)視頻會(huì)議中，公司中隸屬一個(gè)部分的骨干人員同時(shí)列席的可能性較高；在一次旅游中，一個(gè)家庭中的丈夫和妻子共同出現(xiàn)于一個(gè)畫面中的可能性較高。在進(jìn)行多個(gè)對(duì)象的識(shí)別時(shí)，可以考慮這些相互關(guān)系而修正對(duì)象的識(shí)別信息。具體地，可以基于該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象之間的相互關(guān)系而確定任兩個(gè)已注冊(cè)對(duì)象共同出現(xiàn)在一個(gè)圖像中的概率；以及基于所確定的任兩個(gè)已注冊(cè)對(duì)象的共現(xiàn)概率和各個(gè)待識(shí)別對(duì)象的識(shí)別信息來修正所獲得的每個(gè)待識(shí)別對(duì)象的識(shí)別信息。N個(gè)已注冊(cè)對(duì)象的共現(xiàn)概率矩陣可以表示為如下NXN的矩陣P
權(quán)利要求
1.一種識(shí)別圖像中的多個(gè)待識(shí)別對(duì)象的方法，包括獲得每個(gè)待識(shí)別對(duì)象的識(shí)別信息，一個(gè)對(duì)象的識(shí)別信息表示該對(duì)象與預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的每個(gè)的匹配度；基于該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象之間的相互關(guān)系而修正所獲得的每個(gè)待識(shí)別對(duì)象的識(shí)別信息；以及基于該修正的識(shí)別信息來將每個(gè)待識(shí)別對(duì)象識(shí)別為該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的一個(gè)。
2.如權(quán)利要求1所述的方法，其中從視頻的多幀圖像中連續(xù)進(jìn)行對(duì)象識(shí)別，該方法還包括使用歷史識(shí)別信息來修正當(dāng)前幀的識(shí)別信息，該歷史識(shí)別信息為先前幀的識(shí)別信息。
3.如權(quán)利要求2所述的方法，所述方法還包括通過跟蹤或者位置信息，在不同幀之間追蹤同一個(gè)人，利用當(dāng)前幀的某個(gè)待識(shí)別對(duì)象的識(shí)別信息和先前幀的該相應(yīng)待識(shí)別對(duì)象的歷史識(shí)別信息進(jìn)行加權(quán)求和作為當(dāng)前幀的該待識(shí)別對(duì)象的識(shí)別信息。
4.如權(quán)利要求3所述的方法，其中所述當(dāng)前幀的某個(gè)待識(shí)別對(duì)象的識(shí)別信息和先前幀的該相應(yīng)待識(shí)別對(duì)象的歷史識(shí)別信息的權(quán)重系數(shù)的比值依據(jù)兩者之間的相關(guān)度自適應(yīng)地確定。
5.如權(quán)利要求1或2所述的方法，還包括檢查是否不止一個(gè)待識(shí)別對(duì)象被識(shí)別為同一個(gè)已注冊(cè)對(duì)象；以及如果不止一個(gè)待識(shí)別對(duì)象被識(shí)別為同一個(gè)已注冊(cè)對(duì)象，則如下更新各個(gè)待識(shí)別對(duì)象的識(shí)別結(jié)果確定所有待識(shí)別對(duì)象的所有識(shí)別信息中的最大匹配度值，確定與該最大匹配度相關(guān)聯(lián)的第一待識(shí)別對(duì)象和第一已注冊(cè)對(duì)象，將第一待識(shí)別對(duì)象識(shí)別為第一已注冊(cè)對(duì)象，并將第一待識(shí)別對(duì)象從所有待識(shí)別對(duì)象集合中去除；將除了第一待識(shí)別對(duì)象外的其它待識(shí)別對(duì)象與第一已注冊(cè)對(duì)象之間的相似度設(shè)置為預(yù)定最小匹配度值；重復(fù)上述確定最大匹配度值開始的步驟，直到所有待識(shí)別對(duì)象均已被識(shí)別出。
6.如權(quán)利要求1或2所述的方法，所述基于該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象之間的相互關(guān)系而修正所獲得的識(shí)別信息包括基于該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象之間的相互關(guān)系而確定任兩個(gè)已注冊(cè)對(duì)象共同出現(xiàn)在一個(gè)圖像中的概率；以及基于所確定的任兩個(gè)已注冊(cè)對(duì)象的共現(xiàn)概率和各個(gè)待識(shí)別對(duì)象的識(shí)別信息來修正所獲得的每個(gè)待識(shí)別對(duì)象的識(shí)別信息。
7.如權(quán)利要求6所述的方法，基于所確定的任兩個(gè)已注冊(cè)對(duì)象的共現(xiàn)概率和各個(gè)待識(shí)別對(duì)象的識(shí)別信息來修正所獲得的每個(gè)待識(shí)別對(duì)象的識(shí)別信息包括按照下述公式來獲得修正后的識(shí)別信息ES1 = ISi + k* * ISj)j*iISi表示第i個(gè)待識(shí)別對(duì)象的識(shí)別信息，ESi表示第i個(gè)待識(shí)別對(duì)象的修正后的識(shí)別信息，P為已注冊(cè)對(duì)象的共現(xiàn)概率矩陣，k表示影響因子，k為大于0的實(shí)數(shù)，共現(xiàn)概率矩陣P 的形式為
8.一種識(shí)別圖像中的多個(gè)待識(shí)別對(duì)象的裝置，包括識(shí)別信息獲得部件，用于獲得每個(gè)待識(shí)別對(duì)象的識(shí)別信息，一個(gè)對(duì)象的識(shí)別信息表示該對(duì)象與預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的每個(gè)的匹配度；識(shí)別信息修正部件，用于基于該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象之間的相互關(guān)系而修正所獲得的每個(gè)待識(shí)別對(duì)象的識(shí)別信息；以及最終識(shí)別部件，用于基于該修正的識(shí)別信息來將每個(gè)待識(shí)別對(duì)象識(shí)別為該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的一個(gè)。
9.一種識(shí)別多媒體數(shù)字信號(hào)中的多個(gè)待識(shí)別對(duì)象的方法，包括獲得每個(gè)待識(shí)別對(duì)象的識(shí)別信息，一個(gè)對(duì)象的識(shí)別信息表示該對(duì)象與預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的每個(gè)的匹配度；基于該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象之間的相互關(guān)系而修正所獲得的每個(gè)待識(shí)別對(duì)象的識(shí)別信息；以及基于該修正的識(shí)別信息來將每個(gè)待識(shí)別對(duì)象識(shí)別為該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的一個(gè)。
10.根據(jù)權(quán)利要求9的方法，其中所述多媒體信號(hào)表示圖像、視頻或音頻中的一種。
全文摘要
提供了識(shí)別圖像中的多個(gè)待識(shí)別對(duì)象的方法和裝置，該方法可以包括獲得每個(gè)待識(shí)別對(duì)象的識(shí)別信息，一個(gè)對(duì)象的識(shí)別信息表示該對(duì)象與預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的每個(gè)的匹配度；基于該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象之間的相互關(guān)系而修正所獲得的每個(gè)待識(shí)別對(duì)象的識(shí)別信息；以及基于該修正的識(shí)別信息來將每個(gè)待識(shí)別對(duì)象識(shí)別為該預(yù)定數(shù)目個(gè)已注冊(cè)對(duì)象中的一個(gè)。本發(fā)明通過結(jié)合識(shí)別信息和對(duì)象之間的相互關(guān)系，可以提高識(shí)別的準(zhǔn)確性。
文檔編號(hào)G06K9/64GK102339391SQ20101023715
公開日2012年2月1日 申請(qǐng)日期2010年7月27日 優(yōu)先權(quán)日2010年7月27日
發(fā)明者王鑫 申請(qǐng)人:株式會(huì)社理光