用于對象再識別的系統(tǒng)和方法
【技術領域】
[0001] 本發(fā)明大體涉及圖像處理，尤其涉及一種用于規(guī)劃用于判斷候選對象是否是關注 對象的、諸如平搖、俯仰和縮放值等的一系列攝像機設置的方法、系統(tǒng)和設備。在一個例子 中，術語"候選對象"和"關注對象"分別是指（i)擁擠的機場中的人，其中，該人僅是人群 中的一個人，以及（ii)人群中被識別為特別關注的人。本發(fā)明還涉及一種包括計算機可讀 介質的計算機程序產品，其中，該計算機可讀介質上記錄有用于規(guī)劃用于判斷候選對象是 否是關注對象的一系列攝像機設置的計算機程序記錄。
【背景技術】
[0002] 諸如購物中心、停車場和火車站等的公共場所正越來越多地受到使用大規(guī)模視頻 攝像機網絡的監(jiān)視。大規(guī)模視頻監(jiān)視的應用領域包括安保、安全、交通管理和業(yè)務分析。許 多這類應用中的關鍵任務是快速、穩(wěn)健的對象再識別，這是跨網絡中的多個攝像機找到特 定關注對象的問題。在安保領域的一個示例性應用中，保安員可能希望觀察包含特定可疑 目標的任何視頻傳送以識別意外活動。在業(yè)務分析領域的另一個例子中，購物中心可能希 望跨多個攝像機追蹤特定客戶以建立該客戶的購物習慣檔案。在下面的說明中，術語"對象 再識別"將被理解為包含術語"對象辨識"和"對象識別"。
[0003] 穩(wěn)健的對象再識別因為幾個原因而成為一個挑戰(zhàn)性的問題。首先，視角（即，攝像 機相對于攝像機視野中的對象的相對定向）和照明在網絡中的攝像機之間可能有顯著差 另IJ。例如，一個網絡可能包含用于在明亮的日光下遠距離觀察目標的室外攝像機和在人工 照明下近距離觀察目標的室內攝像機兩者。此外，許多目標可能有相似的外觀，并且只在 小細節(jié)上可能會有所不同。例如，公共交通工具上的許多乘客穿著類似的職業(yè)裝，但是他 們的外觀在諸如領帶和頭發(fā)長度等細節(jié)方面存在不同。另外，公共場所的特征通常是非合 作目標人群以相對于攝像機變化且不可預測的距離、速度和定向在不受控環(huán)境下移動。術 語"非合作目標"是指既非有意識地、也非不自覺地保持與攝像機的特殊關系的目標。最后， 網絡中的攝像機可能具有非重疊視野，因而可能不能從一個攝像機到下一攝像機來連續(xù)追 蹤給定目標。
[0004] 用于對象再識別的一般方法包括（i)基于外觀或者基于屬性的方法和（ii)適用 于靜止攝像機或者活動攝像機的方法。一種已知用于使用靜止攝像機的、基于外觀的對象 再識別的方法，通過從對象的示例性圖像提取基于顏色、紋理和形狀的低層特征的矢量來 對對象的外觀進行建模。在通過目標的頭部周圍的垂直條紋所定義的關注區(qū)域中，提取這 些特征。再識別一定程度地是基于對外觀差異評分的計算，其中，該計算基于從候選目標和 關注目標的圖像所提取的特征矢量之間的巴氏（Bhattacharyya)距離。
[0005] 另一已知用于靜止攝像機中的、基于屬性的再識別的方法，使用支持向量機（SVM) 分類器的庫來判斷行人的圖像是否存在15個二值屬性（諸如太陽鏡、背包和裙子等）。根 據(jù)具有已知屬性的行人的訓練集，針對2784維低層顏色和紋理特征矢量來訓練SVM分類 器。為了克服以不同的可靠性檢測不同屬性這一問題，基于用于匹配行人的圖像對的數(shù)據(jù) 集來學習屬性距離度量（馬氏距離）。再識別一定程度地是基于對在從候選目標和關注目 標的圖像所提取的15個屬性之間所學習的屬性距離度量的計算。
[0006] 上述基于靜止攝像機的再識別方法的性能在跨大距離觀察對象時變差，這常見于 大規(guī)模視頻監(jiān)視系統(tǒng)。基于平搖-俯仰-縮放（PTZ)的再識別方法可以通過控制攝像機拍 攝大距離處的候選對象的高分辨率圖像來克服該局限性。該方法被稱為"主動再識別"的 一種形式。用于主動再識別的一種已知方法使用面部檢測來識別關注對象。使用靜止主攝 像機來檢測目標、并且估計他們的注視方向，并且使用活動的從攝像機來獲得所選擇的候 選目標的高分辨率面部圖像。候選目標選擇是基于針對觀察目標的目標識別的預期信息增 益的。還被稱為"互信息"的"預期信息增益"，是通過進行觀察所獲得的、對于與目標識別 有關的不確定性的預期降低。該方法趨向于選擇面對著從攝像機的身份不明的候選者。該 方法的缺點在于依賴于以特定視角（即，正面）所拍攝的高鑒別特征（即，面部）。
[0007] 用于基于信息論概念的主動再識別的另一已知方法動態(tài)規(guī)劃一系列PTZ設置來 拍攝候選對象上不同區(qū)域的放大圖，以使針對候選對象的類的預期信息增益最大化。術語 "類"是指諸如"書籍"或者"杯子"等的語義對象分類。該信息增益一定程度地是根據(jù)關注 對象在不同PTZ設置下的低層圖像特征的學習分布而計算出的。該方法假定可以離線獲得 所有可用PTZ設置下對象的每一類的多個圖像以學習特征分布。
[0008] 在另一已知相關方法中，控制攝像機設置以使諸如對象檢測器等的隨機自動機中 的互信息最大化。隨機自動機以不同尺度的量化圖像特征（還被稱為"代碼字"）作為輸 入。起初，在第一拍攝圖像中檢測代碼字，并且迭代更新攝像機設置從而以更高分辨率來觀 察各個代碼字。與前述方法相同，通過在觀察被作為向元胞的輸入的代碼字之后，使針對隨 機自動機中的元胞的狀態(tài)的互信息最大化來選擇攝像機設置。
[0009] 另一已知方法基于對于不同身體區(qū)域的一系列放大觀察，主動從已知人物的圖庫 再識別行人。該方法首先拍攝候選者的整個身體圖像，并且基于顏色和紋理來提取特征矢 量?；诤蜻x者和每一圖庫圖像之間的巴氏距離，使用該特征矢量來對圖庫進行排序。然 后，在基于當前排序而假定跨圖庫的特征方差最大的情況下，選擇每一連續(xù)觀察作為放大 區(qū)域。該方法假定對于圖庫中的每一關注對象，整個身體和所有身體區(qū)域的放大圖都是可 用的。

【發(fā)明內容】

[0010] 本發(fā)明的目的是為了基本上克服或者至少改善現(xiàn)有配置的一個以上的缺點。
[0011] 公開了被稱為視角獨立特有性確定（Viewpoint Independent Distinctiveness Determination (VIDD))配置的配置，其旨在通過獨立于攝像機和關注對象之間的相對定向 而確定關注對象的屬性的特有性來解決上述問題。這樣使得能夠在先前沒有看見關注對象 的視角下再識別關注對象，這不同于要求先前已經在特定視角下觀察到關注對象的現(xiàn)有方 法。此外，所公開的VIDD配置包括使得在基于關注對象的語義描述時，能夠在無需該對象 的任何先前圖像的情況下再識別該對象。
[0012] 根據(jù)本發(fā)明的第一方面，提供一種用于利用攝像機識別場景的圖像中的對象的方 法，所述方法包括以下步驟：獨立于攝像機視角，確定關注對象的多個屬性中的各個屬性的 特有性；基于所述場景的圖像中的候選對象的相對定向，確定所述候選對象的所述多個屬 性中的各個屬性的可檢測性；基于所確定的至少一個屬性的特有性，確定用于觀察所述候 選對象的攝像機設置，以提高所述至少一個屬性的可檢測性；以及利用所確定的攝像機設 置來拍攝所述候選對象的圖像，以確定所述候選對象是所述關注對象的置信度。
[0013] 根據(jù)本發(fā)明的另一方面，提供一種設備，其包括：攝像機，用于拍攝關注對象的圖 像和場景中候選對象的圖像；處理器；以及存儲器，用于存儲計算機可執(zhí)行軟件程序，其 中，所述計算機可執(zhí)行軟件程序用于指示所述處理器進行用于利用所述攝像機來識別所述 場景的圖像中的對象的方法，所述方法包括以下步驟：獨立于攝像機視角，確定所述關注對 象的多個屬性中的各個屬性的特有性；基于所述場景的圖像中的候選對象的相對定向，確 定所述候選對象的所述多個屬性中的各個屬性的可檢測性；基于所確定的至少一個屬性的 特有性，確定用于觀察所述候選對象的攝像機設置，以提高所述至少一個屬性的可檢測性； 以及利用所確定的攝像機設置來拍攝所述候選對象的圖像，以確定所述候選對象是所述關 注對象的置信度。
[0014] 根據(jù)本發(fā)明的另一方面，提供一種用于利用攝像機識別場景的圖像中的對象的設 備，所述設備包括：特有性確定模塊，用于獨立于攝像機視角，確定關注對象的多個屬性中 的各個屬性的特有性；可檢測性確定模塊，用于基于所述場景的圖像中的候選對象的相對 定向，確定所述候選對象的所述多個屬性中的各個屬性的可檢測性；攝像機設置確定模塊， 用于基于所確定的至少一個屬性的特有性，確定用于觀察所述候選對象的攝像機設置，以 提高所述至少一個屬性的可檢測性；以及拍攝模塊，用于利用所確定的攝像機設置拍攝所 述候選對象的圖像，以確定所述候選對象是所述關注對象的置信度。
[0015] 根據(jù)本發(fā)明的另一方面，提供一種用于存儲計算機可執(zhí)行軟件程序的計算機可讀 非暫時性存儲器，其中，所述計算機可執(zhí)行軟件程序用于指示處理器進行用于利用攝像機 識別場景的圖像中的對象的方法，所述方法包括以下步驟：獨立于攝像機視角，確定關注對 象的多個屬性中的各個屬性的特有性；基于所述場景的圖像中的候選對象的相對定向，確 定所述候選對象的所述多個屬性中的各個屬性的可檢測性；基于所確定的至少一個屬性的 特有性，確定用于觀察所述候選對象的攝像機設置，以提高所述至少一個屬性的可檢測性； 以及利用所確定的攝像機設置來拍攝所述候選對象的圖像，以確定所述候選對象是所述關 注對象的置信度。
[0016] 還公開了本發(fā)明的其它方面。
【附圖說明】
[0017] 這里參考以下【附圖說明】本發(fā)明一個以上的實施例，其中：
[0018] 圖1A是示出根據(jù)一種VIDD配置的用于描述示例性關注對象的屬性的簡化圖；
[0019] 圖1B是示出通過可使用VIDD配置的PTZ攝像機所拍攝的示例性候選對象的圖像 的簡化圖；
[0020] 圖2是示出在可以使用VIDD配置的不同攝像機設置下所拍攝的示例性候選對象 的圖像的簡化圖；
[0021] 圖3是根據(jù)一種VIDD配置的用于將候選對象的身份與所檢測到的屬性相關的信 念網絡的簡化圖；
[0022] 圖4是示出根據(jù)一種VIDD配置的用于利用攝像機識別場景中的對象的方法的示 意性流程圖；
[0023] 圖5、6A和6B共同示出根據(jù)圖4的方法的一種實施方案的用于確定候選對象的相 對定向的方法；
[0024] 圖7A是示出圖4的方法中所使用的用于檢測候選對象的屬性的方法的示意性流 程圖；
[0025] 圖7B示出根據(jù)圖7A的方法的一種實施方案的用于檢測候選對象的屬性的關注區(qū) 域的例子；
[0026] 圖8是示出在圖4的方法中所使用的用于確定候選對象是關注對象的概率的方法 的示意性流程圖；
[0027] 圖9是示出根據(jù)圖4的方法的一種實施方案的用于選擇新的攝像機設置的方法的 示意性流程圖；
[0028] 圖10A和10B形成可以實現(xiàn)上述VIDD配置的通用計算機系統(tǒng)的示意性框圖；
[0029] 圖11描述本說明書中所使用的術語之間的關系；以及
[0030] 圖12描述在圖4的步驟440所使用的如何確定特有性的例子。
【具體實施方式】
[0031] 如果下面任一附圖或者多個附圖中的步驟和/或者特征具有相同的附圖標記，則 對于本說明書，這些步驟和/或者特征具有相同的功能或者操作，除非另有說明除外。
[0032] 應該注意，"【背景技術】"部分和上述與在先技術配置有關的部分所包含的說明，涉 及對于通過各自的公開和/或者使用可能形成公共知識的文獻或者裝置的說明。這些說明 不應被解釋為本發(fā)明人或者本專利申請人表示這些文獻或者裝置無論如何都形成該技術 領域的一般公共知識的一部分。
【背景技術】 [0033] 部分中所述的作為在先技術的主動再識別方法，需要在特定攝像機設置 或者觀察條件（包括所有可能觀察條件）下要拍攝的候選對象或者關注對象的圖像。在本 說明書中，"觀察條件"是指諸如攝像機和對象之間的距離、攝像機的焦距和分辨率以及對 象相對于攝像機的定向（即，視角）等的、拍攝對象的圖像時的條件。大規(guī)模監(jiān)視場景的特 征是非合作目標在不受控環(huán)境下移動。因而，實際應用表現(xiàn)出對于已知主動再識別方法的 不利條件。
[0034] 本發(fā)明提供一種用于通過規(guī)劃一系列所要使用的攝像機設置以提高最特有屬性 的可檢測性，從而基于對象的屬性使用攝像機來識別場景中的關注對象的方法和系統(tǒng)。在 本說明書中，"屬性"是諸如"頭發(fā)長度"等的、在圖像中可以觀察的對象的分類特征。術語 "類"以及"類標簽"和"屬性標簽"可互換地指屬性的特殊表現(xiàn)，諸如，對于屬性"頭發(fā)長度"， 類標簽為"長發(fā)"。特定圖像的屬性的"可檢測性"是指從圖像可以確定該屬性的確定性。
[0035] 圖1A和1B示出可以應用VIDD配置的示例性使用情況。在該例子中，目的是判斷 關注的人100 (該例子中的關注對象）何時出現(xiàn)在PTZ攝像機140的監(jiān)視下的場景的圖像 120中。在下面的說明中，"候選對象"是指可能是關注對象、但是當前具有不明身份的任何 觀察對象。例如，通過攝像機140所觀察的場景的圖像120中的行人130,是關注對象100 的候選對象。
[0036] 圖1B示出通過數(shù)字攝像機140所拍攝的場景的圖像120。
[0037] 圖11描述本說明書中所使用的一些術語。圖像1101由諸如1104等的視覺元素 構成。在整個說明書中可以互換使用術語"像素"、"像素位置"和"圖像位置"以指拍攝圖像 中的視覺元素中的一個。通過表示拍攝場景的特征的一個以上的值來描述每一像素。在一 個例子中，單個強度值表示場景在像素位置處的亮度的特征。在另一例子中，三個一組的值 表示場景在像素位置處的顏色的特征。圖像1101中的"區(qū)域" 1103是指諸如1104等的一 個以上的空間相鄰的視覺元素的集合。"特征"1102表示根據(jù)圖像區(qū)域1103中的像素值所 確定的推斷值或者推斷值集。在一個例子中，特征是圖像區(qū)域1103中的顏色值的直方圖。 在另一例子中，特征是通過估計區(qū)域1103中的強度梯度所確定的"邊緣"值。在另一例子 中，特征是諸如包含頭部的區(qū)域中的標簽"帽子"等的、用于描述圖像區(qū)域1103中的屬性的 類標簽。通過對從圖像區(qū)域1103所提取的特征應用支持向量機（SVM)或者其它分類方法， 來確定類標簽。
[0038] 按照諸如"頭發(fā)長度"等的固定屬性集來描述關注的人100,其中，向每一屬性分 配離散的類標簽（例如，"長發(fā)"）。在一個VIDD配置中，屬性是用于描述關注的人的軟生 物特征（soft biometric)。軟生物特征對表示人類觀察者在描述他人時偏愛的特征的分 類語義信息進行編碼。在一個例子中，使用軟生物特征（屬性）"頭發(fā)長度"來描述人，其 中，"頭發(fā)長度"具有類標簽"長發(fā)"和"短發(fā)"中的一個。在本說明中，可以互換使用術語 "類標簽"和"類"，并且可以互換使用術語"屬性"