專利名稱：圖像處理設(shè)備、相機(jī)、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及可以檢測(cè)并跟蹤特定被攝體(specific subject)的圖像處理設(shè)備、相
機(jī)、圖像處理方法和程序。
背景技術(shù)：
人的臉部是數(shù)字靜止相機(jī)(下面稱為“相機(jī)”)和數(shù)字?jǐn)z像機(jī)的主要被攝體。 因此，在拍攝時(shí)，需要檢測(cè)人的臉部并執(zhí)行適合于人的臉部的自動(dòng)聚焦控制或自動(dòng)曝光 控制的技術(shù)。此外，在實(shí)際拍攝中，除了要被拍攝的人的臉部以外，還同時(shí)會(huì)拍攝到其它人 的臉部。為此，還需要檢測(cè)并僅跟蹤多個(gè)臉部中的特定臉部的技術(shù)。專利文獻(xiàn)1公開了一種技術(shù)，其通過預(yù)先登記與被攝體的特定部分(例如臉部) 的圖像有關(guān)的特性信息并且將該信息與監(jiān)視器上的屏幕圖像相比較來檢測(cè)并僅跟蹤登記 過的被攝體。專利文獻(xiàn)2公開了一種技術(shù)，其中，移動(dòng)電話從被拍攝的運(yùn)動(dòng)圖像中提取人的 臉部圖像并將其發(fā)送給服務(wù)器；并且服務(wù)器將其與預(yù)先登記的臉部圖像相比較，將關(guān)于 與在比較中一致的臉部圖像相對(duì)應(yīng)的人的適當(dāng)信息發(fā)送給移動(dòng)電話并使其被顯示。專利文獻(xiàn)1:日本專利申請(qǐng)?jiān)缙诠_Νο.2006-101186專利文獻(xiàn)2:日本專利申請(qǐng)?jiān)缙诠_Νο.2006-293912專利文獻(xiàn)3:日本專利申請(qǐng)?jiān)缙诠_Νο.1993-33441
發(fā)明內(nèi)容
技術(shù)問題然而，專利文獻(xiàn)1公開的技術(shù)具有下面的問題。(1)由于需要存儲(chǔ)被攝體的特性信息的裝置，因此相機(jī)的結(jié)構(gòu)變得復(fù)雜。為此， 相機(jī)的生產(chǎn)成本增加。(2)由于用戶需要預(yù)先登記被攝體的特性信息，因此相機(jī)的操作過程變得復(fù)雜。 為此，用戶的負(fù)擔(dān)增加。此外，專利文獻(xiàn)2公開的技術(shù)具有下面的問題。(3)由于需要存儲(chǔ)被攝體的臉部圖像的服務(wù)器，因此產(chǎn)生了服務(wù)器的引入和操作 成本。為此，系統(tǒng)的引入和操作成本增加。(4)由于需要發(fā)送和接收?qǐng)D像數(shù)據(jù)，因此產(chǎn)生了通信成本。為此，系統(tǒng)的操作成 本增加。本發(fā)明的一個(gè)目的是提供解決上面提到的問題的圖像處理設(shè)備、相機(jī)、圖像處 理方法和程序。技術(shù)方案根據(jù)本發(fā)明示例性方面的圖像處理設(shè)備包括
被攝體檢測(cè)裝置，用于從圖像檢測(cè)被攝體圖像；被攝體識(shí)別信息存儲(chǔ)裝置，用于存儲(chǔ)被攝體圖像的識(shí)別ID以及第一位置，該第 一位置是被攝體圖像在圖像內(nèi)上次被檢測(cè)到的位置；以及識(shí)別ID指派裝置，用于將識(shí)別ID指派給被攝體圖像，其中如果第一位置位于離被攝體檢測(cè)裝置檢測(cè)到被攝體圖像的位置預(yù)定義距離之 內(nèi)，則識(shí)別ID指派裝置將與第一位置相對(duì)應(yīng)的識(shí)別ID指派給被攝體圖像。根據(jù)本發(fā)明示例性方面的相機(jī)包括成像裝置，用于拍攝被攝體；上述圖像處理設(shè)備；以及顯示裝置，其顯示成像裝置拍攝的圖像以及與圖像處理設(shè)備生成的被攝體有關(guān) 的信息。根據(jù)本發(fā)明示例性方面的圖像處理方法包括存儲(chǔ)被攝體圖像的識(shí)別ID以及第一位置，該第一位置是被攝體圖像在圖像內(nèi)上 次被檢測(cè)到的位置；從圖像檢測(cè)被攝體圖像；以及如果第一位置位于離被攝體圖像被檢測(cè)到的位置預(yù)定義距離之內(nèi)，則將與第一 位置相對(duì)應(yīng)的識(shí)別ID指派給被攝體圖像。根據(jù)本發(fā)明示例性方面的圖像處理程序使得計(jì)算機(jī)執(zhí)行圖像處理，該圖像處理 的特征在于包括存儲(chǔ)被攝體圖像的識(shí)別ID以及第一位置，該第一位置是被攝體圖像在圖像內(nèi)上 次被檢測(cè)到的位置；從圖像檢測(cè)被攝體圖像；以及如果第一位置位于離被攝體圖像被檢測(cè)到的位置預(yù)定義距離之內(nèi)，則將與第一 位置相對(duì)應(yīng)的識(shí)別ID指派給被攝體圖像。有益效果根據(jù)本發(fā)明的圖像處理設(shè)備、相機(jī)、圖像處理方法和程序使得能夠利用簡(jiǎn)單的 結(jié)構(gòu)和簡(jiǎn)化的操作來檢測(cè)并跟蹤特定被攝體。


圖1是示出根據(jù)本發(fā)明第一示例性實(shí)施例的相機(jī)的圖像處理單元的功能結(jié)構(gòu)的 框圖。圖2是示出根據(jù)第一示例性實(shí)施例的整個(gè)相機(jī)的功能結(jié)構(gòu)的框圖。圖3是示出存儲(chǔ)在圖1和2的被攝體識(shí)別信息表中的信息的示例的示圖。圖4是圖示出第一示例性實(shí)施例中的被攝體圖像識(shí)別處理操作的流程圖。圖5a是示出第一示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后顯示在監(jiān)視器 屏幕上的圖像的示圖(部分1)。圖5b是示出第一示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后的被攝體識(shí)別 信息表的內(nèi)容的示圖(部分1)。圖6a是示出第一示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后顯示在監(jiān)視器屏幕上的圖像的示圖(部分2)。圖6b是示出第一示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后的被攝體識(shí)別 信息表的內(nèi)容的示圖(部分2)。圖7a是示出第一示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后顯示在監(jiān)視器 屏幕上的圖像的示圖(部分3)。圖7b是示出第一示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后的被攝體識(shí)別 信息表的內(nèi)容的示圖(部分3)。圖8a是示出第一示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后顯示在監(jiān)視器 屏幕上的圖像的示圖(部分4)。圖8b是示出第一示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后的被攝體識(shí)別 信息表的內(nèi)容的示圖(部分4)。圖9a是示出第一示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后顯示在監(jiān)視器 屏幕上的圖像的示圖(部分5)。圖9b是示出第一示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后的被攝體識(shí)別 信息表的內(nèi)容的示圖(部分5)。圖10是示出根據(jù)第二示例性實(shí)施例的整個(gè)相機(jī)的功能結(jié)構(gòu)的框圖。圖11是示出存儲(chǔ)在圖10的被攝體識(shí)別信息表中的信息的示例的示圖。圖12是圖示出第二示例性實(shí)施例中的被攝體圖像識(shí)別處理操作的流程圖。圖13是圖示出第三示例性實(shí)施例中的被攝體圖像識(shí)別處理操作的流程圖。圖14a是示出第三示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后顯示在監(jiān)視器 屏幕上的圖像的示圖。圖14b是示出第三示例性實(shí)施例中緊接著被攝體圖像識(shí)別處理之后的被攝體識(shí) 別信息表的內(nèi)容的示圖。標(biāo)號(hào)說明
1相機(jī)
10圖像處理單元
101被攝體檢測(cè)單元
102識(shí)別ID指派單元
103被攝體識(shí)別信息表
104被攝體識(shí)別信息刪除單元
11成像單元
12監(jiān)視器屏幕
13鍵輸入單元
14控制處理單元
21輸入圖像數(shù)據(jù)
22輸出圖像數(shù)據(jù)
具體實(shí)施例方式
接下來，將參考附圖描述本發(fā)明的示例性實(shí)施例。
(第一示例性實(shí)施例)圖1是示出根據(jù)本發(fā)明第一示例性實(shí)施例的在相機(jī)內(nèi)執(zhí)行被攝體的圖像數(shù)據(jù)處 理的圖像處理單元10的功能結(jié)構(gòu)的框圖。圖像處理單元10包括被攝體檢測(cè)單元101、 識(shí)別ID (Identification,標(biāo)識(shí))指派單元102和被攝體識(shí)別信息表103。被攝體識(shí)別信息 表103也稱為被攝體識(shí)別信息存儲(chǔ)單元。被攝體檢測(cè)單元101從所輸入的輸入圖像數(shù)據(jù) 21中檢測(cè)被攝體的圖像。被攝體識(shí)別信息表103存儲(chǔ)被攝體的識(shí)別ID和位置坐標(biāo)。識(shí) 別ID指派單元102在被攝體識(shí)別信息表103中搜索離所檢測(cè)到的被攝體圖像的位置坐標(biāo) 預(yù)定義距離內(nèi)的位置坐標(biāo)。如果相應(yīng)的位置坐標(biāo)存在于被攝體識(shí)別信息表103中，則識(shí) 別ID指派單元102將與位置坐標(biāo)相對(duì)應(yīng)的識(shí)別ID指派給被攝體圖像。這些組件可以由 硬件或軟件構(gòu)成。輸出圖像數(shù)據(jù)22包括與被攝體有關(guān)的信息，例如識(shí)別ID。因此，通過將被攝體的所檢測(cè)到的位置坐標(biāo)與被攝體識(shí)別信息表103存儲(chǔ)的位 置坐標(biāo)相比較，圖像處理單元10總是將相同的識(shí)別ID指派給相同的被攝體。通過這樣 做，圖像處理單元10使得能夠檢測(cè)并跟蹤特定被攝體而不用存儲(chǔ)被攝體的特性信息。接下來，將參考圖2描述包括圖像處理單元10的根據(jù)本發(fā)明第一示例性實(shí)施例 的相機(jī)的整體結(jié)構(gòu)。圖2是示出根據(jù)第一示例性實(shí)施例的相機(jī)1的主要功能結(jié)構(gòu)的框圖。 成像單元11包括鏡頭、聚焦設(shè)備和CCD(電荷耦合器件)等，并且拍攝被攝體并生成作 為數(shù)字?jǐn)?shù)據(jù)的圖像數(shù)據(jù)。監(jiān)視器屏幕12是諸如液晶顯示器之類的顯示設(shè)備，并且顯示 要被拍攝的被攝體的圖像、關(guān)于被攝體的信息或者關(guān)于相機(jī)的操作的信息。鍵輸入單元 13是用戶用來設(shè)置相機(jī)1或給出指示的輸入設(shè)備，并且包括例如光標(biāo)鍵、數(shù)字鍵和輸入 鍵?？刂铺幚韱卧?4包括系統(tǒng)時(shí)鐘生成設(shè)備、CPU等，并且對(duì)設(shè)備的一般控制進(jìn)行操 作。圖像處理單元10處理從成像單元11輸入的圖像數(shù)據(jù)，并且將其輸出并顯示在監(jiān)視 器屏幕12上。此外，由于作為圖像處理單元10的組件的被攝體檢測(cè)單元101、識(shí)別ID 指派單元102和被攝體識(shí)別信息表103已經(jīng)被描述，因此省略其描述。這里，將參考圖3描述存儲(chǔ)在被攝體識(shí)別信息表103中的信息。被攝體識(shí)別信 息表103包括識(shí)別ID、上次檢測(cè)到的位置坐標(biāo)、示出其是否被檢測(cè)到的檢測(cè)標(biāo)志以及跟 蹤對(duì)象標(biāo)志，作為被攝體圖像識(shí)別處理執(zhí)行時(shí)的信息。該信息被稱為“被攝體識(shí)別信 息”。位置坐標(biāo)表示臉部圖像在圖像數(shù)據(jù)中所占據(jù)的區(qū)域。即，例如，由矩形區(qū)域的 一個(gè)頂點(diǎn)的坐標(biāo)和位于經(jīng)過該頂點(diǎn)的對(duì)角線上的另一頂點(diǎn)的坐標(biāo)來表達(dá)的{(Xm，Ym)， (Xn, Yn) }。進(jìn)一步地，下面將描述被攝體圖像識(shí)別處理。根據(jù)本發(fā)明第一示例性實(shí)施例的相機(jī)從輸入圖像數(shù)據(jù)中檢測(cè)被攝體的特定部分 的圖像，并且利用所檢測(cè)到的圖像的位置坐標(biāo)作為關(guān)鍵字來搜索被攝體識(shí)別信息表。并 且該相機(jī)將離所檢測(cè)到的圖像的距離在預(yù)定義距離之內(nèi)并具有最接近位置坐標(biāo)的被攝體 識(shí)別信息判定為指示所檢測(cè)到的圖像的被攝體識(shí)別信息。這一系列處理被稱為“被攝體 圖像識(shí)別處理”。下面將參考圖4描述第一示例性實(shí)施例中的被攝體圖像識(shí)別處理操作。 此外，盡管被攝體圖像識(shí)別處理是與被攝體的特定部分的圖像有關(guān)的處理，然而在第一 示例性實(shí)施例的以下描述中，假設(shè)該特定部分是人的臉部。圖4是圖示出第一示例性實(shí)施例中的被攝體圖像識(shí)別處理的流程圖。當(dāng)自前一 被攝體圖像識(shí)別處理起過去了固定時(shí)間時(shí)，控制處理單元14向圖像處理單元10指示開始 被攝體圖像識(shí)別處理。當(dāng)接收到此時(shí)，首先，被攝體檢測(cè)單元101從自成像單元11取得的圖像數(shù)據(jù)中檢測(cè)被攝體的人的臉部圖像(步驟S111)。該檢測(cè)處理例如是通過在圖像 數(shù)據(jù)中搜索如下區(qū)域來執(zhí)行的，在所述區(qū)域中，構(gòu)成臉部的要素(頭發(fā)、眼睛、鼻子、 嘴巴等)的形狀和顏色以與實(shí)際臉部相同的位置關(guān)系存在。當(dāng)臉部圖像被檢測(cè)到時(shí)，被 攝體檢測(cè)單元101輸出圖像數(shù)據(jù)中的所檢測(cè)到的臉部圖像的位置坐標(biāo)。如果多個(gè)臉部圖 像被包括在圖像數(shù)據(jù)中，則被攝體檢測(cè)單元101檢測(cè)所有的臉部圖像。當(dāng)臉部圖像的檢測(cè)處理完成時(shí)，識(shí)別ID指派單元102執(zhí)行下面的處理。首先， 識(shí)別ID指派單元102清除被攝體識(shí)別信息表103中的所有被攝體識(shí)別信息的檢測(cè)標(biāo)志(步 驟S112)。接下來，識(shí)別ID指派單元102提取被攝體檢測(cè)單元101所檢測(cè)到的那些臉部 圖像中的尚未被處理的一個(gè)臉部圖像(步驟S113)。并且識(shí)別ID指派單元102在被攝體 識(shí)別信息表103中搜索離提取出的臉部圖像的距離在預(yù)定義距離之內(nèi)并且具有最接近的 位置坐標(biāo)的被攝體識(shí)別信息(步驟S114)。該處理例如是通過計(jì)算所提取的臉部圖像的 中心坐標(biāo)與被攝體識(shí)別信息的中心坐標(biāo)之間的距離來執(zhí)行的。此外，可以通過算術(shù)表達(dá) 式{(Xm+Xn)/2，(Ym+Yn)/2}來計(jì)算位置坐標(biāo){ (Xm，Ym)，(Xn, Yn) }所表示的區(qū) 域的中心坐標(biāo)。作為搜索的結(jié)果，識(shí)別ID指派單元102判斷是否存在相應(yīng)的被攝體識(shí)別 信息(步驟S115)。如果存在，則識(shí)別ID指派單元102利用所提取臉部圖像的位置坐標(biāo) 的值來更新該相應(yīng)的被攝體識(shí)別信息的位置坐標(biāo)，并且將“Y”設(shè)置給檢測(cè)標(biāo)志(步驟 S116)。如果相應(yīng)的被攝體識(shí)別信息不存在，則識(shí)別ID指派單元102指派新的識(shí)別ID。 并且該識(shí)別ID、所提取臉部圖像的位置坐標(biāo)的值以及檢測(cè)標(biāo)志=“Y”另外地被登記到 被攝體識(shí)別信息表103中作為新的被攝體識(shí)別信息(步驟S117)。這里，圖像處理單元10判斷是否針對(duì)在步驟Slll中檢測(cè)到的所有臉部圖像完成 了處理(步驟S118)。如果未完成，則返回步驟S113并且針對(duì)尚未被處理的臉部圖像重 復(fù)相同的處理。如果已完成，則被攝體圖像識(shí)別處理結(jié)束。因此，在被攝體圖像識(shí)別處理中，圖像處理單元10將這次檢測(cè)到的位置坐標(biāo)與 上次檢測(cè)的位置坐標(biāo)接近的被攝體判定為相同被攝體。通過執(zhí)行這樣的處理，第一示例 性實(shí)施例中的相機(jī)連續(xù)地將相同的識(shí)別ID指派給多個(gè)被攝體以及它們中的每個(gè)，而不 用登記被攝體的特性信息。由此，可以從多個(gè)所檢測(cè)到的被攝體中選出并跟蹤特定被攝 體。這里，執(zhí)行被攝體圖像識(shí)別處理的周期不必與成像單元11生成圖像數(shù)據(jù)的周期 (幀率)相同。然而，執(zhí)行處理的周期變得越長(zhǎng)，處理之間的被攝體的移動(dòng)距離將越大。 這使得在上述方法“將這次檢測(cè)到的位置坐標(biāo)與上次檢測(cè)的位置坐標(biāo)接近的被攝體判定 為相同被攝體”中誤判的可能性高。因此，希望執(zhí)行被攝體圖像識(shí)別處理的周期短到誤 判可能不會(huì)發(fā)生的程度。接下來，將參考圖5-9以時(shí)間順序描述第一示例性實(shí)施例中的被攝體圖像識(shí)別 處理操作。當(dāng)被攝體圖像識(shí)別處理結(jié)束時(shí)，圖像處理單元10輸出與被攝體有關(guān)的信息，例 如識(shí)別ID。該信息與被攝體的圖像一起顯示在監(jiān)視器屏幕12上。圖5示出了緊接著被 攝體圖像識(shí)別處理結(jié)束之后的相機(jī)1的狀態(tài)。圖5a示出了監(jiān)視器屏幕12顯示的圖像。 圖5b示出了被攝體識(shí)別信息表103的內(nèi)容。這些也適用于圖6-9。三個(gè)人1201-1203被顯示在圖5a的監(jiān)視器屏幕12上。此外，指示這些人的臉部圖像被檢測(cè)到的位置的框1211-1213被疊加在相應(yīng)的臉部圖像上并被顯示。此外，表 示被指派給臉部圖像的識(shí)別ID( “1” - “3”)的代碼1221-1223被顯示在相應(yīng)的臉部 圖像的附近。此外，在下面的描述中，被指派了識(shí)別ID “1”的臉部圖像被稱為“臉部 圖像‘1’，，。框1213被顯示出與其它框不同的粗度或不同的顏色，以使得可將其與其它框區(qū) 分開。這示出框1213所指示的臉部圖像“3”被設(shè)置為跟蹤對(duì)象?？捎捎脩敉ㄟ^在臉 部圖像“3”被檢測(cè)到的狀態(tài)中執(zhí)行選擇臉部圖像“3”的操作來進(jìn)行該設(shè)置。該操作 例如是按壓鍵輸入單元13的相應(yīng)數(shù)字鍵(鍵“3”)、利用光標(biāo)鍵將光標(biāo)(未示出)調(diào)整 到臉部圖像“3”，等等。圖5b的被攝體識(shí)別信息表103保存了與三個(gè)臉部圖像有關(guān)的被攝體識(shí)別信息。 各條記錄被設(shè)置了識(shí)別ID “1” - “3”以及臉部圖像被檢測(cè)到的位置坐標(biāo){(XII， Yll)，(X12, Y12)}、{(X21, Y21)，(X22, Y22)}和{(X31，Y31)，(X32, Y32)}。
“Y”被設(shè)置給示出它們被檢測(cè)到的所有記錄的檢測(cè)標(biāo)志。此外，僅對(duì)于識(shí)別ID “3” 的記錄，將“Y”設(shè)置給跟蹤對(duì)象標(biāo)志。這示出了臉部圖像“3”被設(shè)置為跟蹤對(duì)象。圖6示出了緊接著被攝體圖像識(shí)別處理在圖5的時(shí)刻后被執(zhí)行并且結(jié)束之后的相 機(jī)1的狀態(tài)。參考圖6a，新顯示出這次新檢測(cè)到的兩個(gè)人1204和1205。新的識(shí)別ID “4” 和“5”被指派給這些臉部圖像，并且框1214和1215以及代碼1224和1225被顯示出。 此外，如果新檢測(cè)到多個(gè)臉部圖像，則可以基于臉部圖像大小的順序或在顯示器上的位 置(例如離左上角的距離的順序)來對(duì)識(shí)別ID編號(hào)。另一方面，人1202已經(jīng)移出了框。因此，臉部圖像“2”未被檢測(cè)到。此外， 與上次相同的識(shí)別ID “1”和“3”分別被指派給人1201和1203的臉部圖像。這是因 為，在被攝體圖像識(shí)別處理中，人1201和1203的臉部圖像因?yàn)樗鼈兾挥陔x上次檢測(cè)到的 位置坐標(biāo)較短的距離內(nèi)而被鏈接到相應(yīng)的被攝體識(shí)別信息。參考圖6b，新添加了兩條被攝體識(shí)別信息的記錄。識(shí)別ID “4”和“5”以及 臉部圖像被檢測(cè)到的位置坐標(biāo){(X41，Y41)，(X42，Y42)}和{(X51，Y51)，(X52， Y52)丨被設(shè)置給這兩條記錄。另一方面，對(duì)于與這次未被檢測(cè)到的臉部圖像有關(guān)的識(shí)別 ID “2”的被攝體識(shí)別信息記錄，檢測(cè)標(biāo)志被清除。此外，臉部圖像“2”上次被檢測(cè) 到時(shí)的值{(X21，Y21)，(X22，Y22)}繼續(xù)被設(shè)置為位置坐標(biāo)。圖7示出了緊接著被攝體圖像識(shí)別處理在圖6的時(shí)刻后被執(zhí)行并結(jié)束之后的相機(jī) 1的狀態(tài)。參考圖7a，人1203正向后看。因此，臉部圖像“3”未被檢測(cè)到。此外，人 1204已移動(dòng)到擋住了人1205的前面的位置。因此，臉部圖像“5”也未被檢測(cè)到。由 于與識(shí)別ID “2”、“3”和“5”相對(duì)應(yīng)的臉部圖像未被檢測(cè)到，因此指示臉部圖像
“2”、“3”和“5”的框和代碼不被顯示。參考圖7b，對(duì)于與這次未被檢測(cè)到的臉部圖像有關(guān)的識(shí)別ID “2”、“3”和 “5”的被攝體識(shí)別信息記錄，檢測(cè)標(biāo)志被清除。此外，臉部圖像“2”、“3”和“5”
上次被檢測(cè)到時(shí)的值{(X21，Y21)，(X22，Y22)}、{(X31，Y31)，(X32，Y32)}和 {(X51, Y51)，(X52，Y52)}繼續(xù)被設(shè)置為位置坐標(biāo)。另一方面，作為臉部圖像的移動(dòng)目的地的新的位置坐標(biāo){(X41’，Y41’)，(X42’，Y42’)}被設(shè)置到識(shí)別ID “4”的記錄。 此外，{(X41’，Y41’)，(X42’，Y42’)丨是位于短到如下程度的距離內(nèi)的位置坐標(biāo)，即短 到足以被判定為與上次位于{(X41，Y41)，(X42，Y42)}處的臉部圖像相同的被攝體的
距離內(nèi)。此刻，被設(shè)置為跟蹤對(duì)象的臉部圖像“3”未被檢測(cè)到。因此，在此刻，不存 在跟蹤對(duì)象的臉部圖像。然而，在被攝體識(shí)別信息表103中繼續(xù)將“Y”設(shè)置給識(shí)別 ID “3”的記錄中的跟蹤對(duì)象標(biāo)志。圖8示出了緊接著被攝體圖像識(shí)別處理在圖7的時(shí)刻后被執(zhí)行并結(jié)束之后的相機(jī) 1的狀態(tài)。參考圖8a，人1202再次移動(dòng)到框內(nèi)。此外，人1204再次移動(dòng)，并且被擋住的 人1205再次出現(xiàn)。因此，上次未被檢測(cè)到的人1202和人1205的臉部圖像被檢測(cè)到。 與之前被檢測(cè)到時(shí)相同的識(shí)別ID “2”和“5”分別被指派給人1202和1205的臉部圖 像。這是因?yàn)?，在被攝體圖像識(shí)別處理中，人1202和1205的臉部圖像因?yàn)樗鼈兾挥陔x 上次檢測(cè)到的位置坐標(biāo)較短的距離內(nèi)而被鏈接到相應(yīng)的被攝體識(shí)別信息。另一方面，由 于人1203仍然在向后看的狀態(tài)中，因此臉部圖像“3”未被檢測(cè)到。參考圖8b，“Y”再次被設(shè)置給與這次再次被檢測(cè)到的臉部圖像有關(guān)的識(shí)別 ID “2”和“5”的被攝體識(shí)別信息記錄的檢測(cè)標(biāo)志。此外，作為臉部圖像的移動(dòng)目的地 的新的位置坐標(biāo){(X21’，Y21’)，(X22’，Y22’)}和{(X41’’，Y41’’)，(X42’’，Y42’’)} 被設(shè)置給識(shí)別ID “2”和“4”的記錄。此刻，被設(shè)置為跟蹤對(duì)象的臉部圖像“3”也未被檢測(cè)到。因此，在此刻，也 不存在跟蹤對(duì)象的臉部圖像。圖9示出了緊接著被攝體圖像識(shí)別處理在圖8的時(shí)刻后被執(zhí)行并結(jié)束之后的相機(jī) 1的狀態(tài)。參考圖9a，人1203再次向前看。因此，上次未被檢測(cè)到的人1203的臉部圖像 被檢測(cè)到。與之前被檢測(cè)到時(shí)相同的識(shí)別ID “3”被指派給人1203的臉部圖像。這是 因?yàn)?，在被攝體圖像識(shí)別處理中，人1203的臉部圖像被鏈接到相應(yīng)的被攝體識(shí)別信息， 因?yàn)樗挥陔x上次檢測(cè)到的位置坐標(biāo)較短的距離內(nèi)。此外，與臉部圖像“3”變得未被 檢測(cè)到之前相同地，示出了其被設(shè)置為跟蹤對(duì)象并且以與其它框不同的粗度或顏色顯示 出的框1213被顯示。這是因?yàn)?，即使在臉部圖像“3”變得未被檢測(cè)到時(shí)，在被攝體識(shí) 別信息表103中，“Y”也被設(shè)置給了識(shí)別ID “3”的記錄的跟蹤對(duì)象標(biāo)志。參考圖9b，“Y”再次被設(shè)置給與這次再次被檢測(cè)到的臉部圖像有關(guān)的識(shí)別 ID “3”的被攝體識(shí)別信息記錄的檢測(cè)標(biāo)志。此外，“Y”繼續(xù)被設(shè)置給該跟蹤對(duì)象標(biāo)志。 如上所述，根據(jù)第一示例性實(shí)施例的相機(jī)不用登記被攝體的特性信息，并且對(duì) 于所檢測(cè)到的多個(gè)被攝體的臉部圖像，持續(xù)將相同的識(shí)別ID指派給它們中的每個(gè)。原因 在于識(shí)別ID指派單元102通過比較所檢測(cè)到的臉部圖像的位置坐標(biāo)與被攝體識(shí)別信息表 103中的位置坐標(biāo)而將所檢測(cè)到的臉部圖像與相應(yīng)的被攝體識(shí)別信息鏈接起來。此外，即使當(dāng)被攝體的臉部圖像暫時(shí)變得未被檢測(cè)到并且此后再次被檢測(cè)到 時(shí)，根據(jù)第一示例性實(shí)施例的相機(jī)也可以針對(duì)所檢測(cè)到的多個(gè)被攝體的臉部圖像，持續(xù)將相同的識(shí)別ID指派給它們中的每個(gè)。原因在于，即使對(duì)于未被檢測(cè)到的被攝體，被攝 體識(shí)別信息表103保存了該被攝體上次被檢測(cè)到的位置坐標(biāo)以及該被攝體的識(shí)別ID。此外，即使當(dāng)被設(shè)為跟蹤對(duì)象的被攝體的臉部圖像暫時(shí)變得未被檢測(cè)到并且此 后再次被檢測(cè)到時(shí)，根據(jù)第一示例性實(shí)施例的相機(jī)也可以自動(dòng)地恢復(fù)跟蹤。原因在于， 即使對(duì)于未被檢測(cè)到的被攝體，被攝體識(shí)別信息表103也保存了該被攝體的跟蹤對(duì)象標(biāo) 志以及該被攝體的識(shí)別ID。此外，與專利文獻(xiàn)1公開的相機(jī)相比，根據(jù)第一示例性實(shí)施例的相機(jī)可以通過 更簡(jiǎn)單的結(jié)構(gòu)來實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)和比較處理。原因在于，與關(guān)于被攝體的圖像的特性信息 相比，位置坐標(biāo)需要較少的數(shù)據(jù)容量并且比較處理也簡(jiǎn)單。(第二示例性實(shí)施例)接下來，將描述本發(fā)明第二示例性實(shí)施例。在本發(fā)明第一示例性實(shí)施例中，被攝體識(shí)別信息一旦被登記，此后就不會(huì)被刪 除。然而，在本發(fā)明的第二示例性實(shí)施例中，當(dāng)長(zhǎng)時(shí)間未檢測(cè)到被攝體的圖像時(shí)，與第 一示例性實(shí)施例的不同點(diǎn)在于，則相應(yīng)的被攝體識(shí)別信息被刪除。圖10是示出根據(jù)第二示例性實(shí)施例的相機(jī)1的主要功能結(jié)構(gòu)的框圖。此外，在 圖10的框圖中，被指派了與圖2的框圖中的標(biāo)號(hào)代碼相同的標(biāo)號(hào)代碼的組件與圖2中描 述的組件相同。圖10的相機(jī)1包括了作為新組件的被攝體識(shí)別信息刪除單元104。圖11是示出存儲(chǔ)在第二示例性實(shí)施例的被攝體識(shí)別信息表103中的信息的示 圖。作為新的項(xiàng)，被攝體識(shí)別信息表103包括刪除時(shí)間。此外，其他項(xiàng)與圖3的相同。接下來，將參考圖12描述第二示例性實(shí)施例中的被攝體圖像識(shí)別處理操作。圖12是圖示出第二示例性實(shí)施例中的被攝體圖像識(shí)別處理的流程圖。此外， 在圖12的流程圖中，被指派了與圖4的流程圖中的標(biāo)號(hào)代碼相同的標(biāo)號(hào)代碼的步驟與圖 4中描述的步驟相同。因此，省略關(guān)于這些相同步驟的描述。在圖12中，圖4的步驟 S116和S117分別被步驟S216和S217所替代，并且新添加了步驟S219。在步驟S216，識(shí)別ID指派單元102除了更新位置坐標(biāo)和檢測(cè)標(biāo)志以外，還利用 當(dāng)前時(shí)間的值來更新刪除時(shí)間。此外，在步驟S217，識(shí)別ID指派單元102除了設(shè)置識(shí)別 ID、位置坐標(biāo)和檢測(cè)標(biāo)志以外，還將當(dāng)前時(shí)間的值設(shè)置給刪除時(shí)間。此外，識(shí)別ID指派 單元102可以從相機(jī)1的內(nèi)置時(shí)鐘(未示出)獲取當(dāng)前時(shí)間的值。而且，當(dāng)在步驟S118中判定已針對(duì)所有臉部圖像完成了處理時(shí)，被攝體識(shí)別信 息刪除單元104提取自該刪除時(shí)間起經(jīng)過了預(yù)定義時(shí)間的所有被攝體識(shí)別信息并且刪除 它們(步驟S219)。該提取處理例如通過將當(dāng)前時(shí)間與所檢測(cè)的時(shí)間的值相比較并且判 斷它們的差是否大于預(yù)定義值來執(zhí)行。此后，被攝體圖像識(shí)別處理結(jié)束。如上所述，根據(jù)第二示例性實(shí)施例的相機(jī)刪除未被檢測(cè)到達(dá)預(yù)定義時(shí)間的被攝 體識(shí)別信息。結(jié)果，可以防止長(zhǎng)時(shí)間未被檢測(cè)到的被攝體識(shí)別信息堆積從而導(dǎo)致被攝體 識(shí)別信息表103的可用空間變得短缺并且不再執(zhí)行向臉部圖像指派識(shí)別ID。(第三示例性實(shí)施例)接下來，將描述本發(fā)明的第三示例性實(shí)施例。在本發(fā)明的第一示例性實(shí)施例中，被攝體是人的臉部。在本發(fā)明的第三示例性 實(shí)施例中，與第一示例性實(shí)施例的不同點(diǎn)在于被攝體是穿著特定服裝的人的圖像。
由于根據(jù)本發(fā)明第三示例性實(shí)施例的相機(jī)的功能結(jié)構(gòu)與圖1和2的相同，因此將 省略其描述。此外，由于存儲(chǔ)在被攝體識(shí)別信息表103中的信息也與圖3的相同，因此 省略其描述。接下來，將參考圖13描述第三示例性實(shí)施例中的被攝體圖像識(shí)別處理操作。圖13是圖示出第三示例性實(shí)施例中的被攝體圖像識(shí)別處理的流程圖。此外， 在圖13的流程圖中，被指派了與圖4的流程圖中的標(biāo)號(hào)代碼相同的標(biāo)號(hào)代碼的步驟與圖 4中描述的步驟相同。因此，省略關(guān)于這些相同步驟的描述。在圖13中，圖4的步驟 Slll被步驟S311替代。當(dāng)被攝體圖像識(shí)別處理開始時(shí)，首先，被攝體檢測(cè)單元101從取自成像單元11 的圖像數(shù)據(jù)中檢測(cè)穿著特定服裝的人的圖像。例如，被攝體檢測(cè)單元101檢測(cè)身體上部 穿著黃色短袖襯衫并且身體下部穿著綠色短褲的人的圖像(步驟S311)。該檢測(cè)處理例如 通過在圖像數(shù)據(jù)中搜索如下區(qū)域在執(zhí)行在該區(qū)域中，具有黃顏色和短袖襯衫形狀的部 分與具有綠顏色和短褲形狀的部分彼此鄰近地存在。當(dāng)這樣的服裝的圖像被檢測(cè)到時(shí)， 被攝體檢測(cè)單元101輸出圖像數(shù)據(jù)中所檢測(cè)到的服裝的圖像的位置坐標(biāo)。當(dāng)多個(gè)這樣的 服裝的圖像被包括在圖像數(shù)據(jù)中時(shí)，被攝體檢測(cè)單元101檢測(cè)所有的服裝的圖像。由于 除了被攝體是服裝的圖像而非臉部圖像這點(diǎn)以外，下面的處理與圖4的相同，因此省略 其描述。接下來，將參考圖14描述緊接著第三示例性實(shí)施例中的被攝體圖像識(shí)別處理結(jié) 束之后的相機(jī)1的狀態(tài)。分別地，圖14a示出了監(jiān)視器屏幕12的圖像，并且圖14b示出 了被攝體識(shí)別信息表103的內(nèi)容。而且，在下面的描述中，假設(shè)被攝體檢測(cè)單元101檢 測(cè)身體上部穿著黃色短袖襯衫并且身體下部穿著綠色短褲的人的圖像。四個(gè)人1206-1209顯示在圖14a的監(jiān)視器屏幕12上。其中，人1206和1207的 身體上部穿著黃色短袖襯衫并且身體下部穿著綠色短褲。另一方面，人1208和1209穿 著與他們不同的服裝(例如，藍(lán)色短袖襯衫和白色短褲)。被攝體檢測(cè)單元101檢測(cè)人1206和1207的服裝的圖像。指示這些服裝的圖像 被檢測(cè)到的位置的框1216和1217以及表示被指派給該服裝的圖像的識(shí)別ID( “6”、
“7” )的代碼1226和1227被顯示在監(jiān)視器屏幕12上。圖14b的被攝體識(shí)別信息表103保存了與所檢測(cè)到的兩個(gè)服裝的圖像有關(guān)的被攝 體識(shí)別信息。如上所述，根據(jù)第三示例性實(shí)施例的相機(jī)將第一示例性實(shí)施例的相機(jī)的功能應(yīng) 用于人的特定服裝的圖像，而非人的臉部圖像。結(jié)果，當(dāng)在體育比賽中拍攝時(shí)，例如， 僅穿著特定隊(duì)的制服的人可被檢測(cè)到并被跟蹤。此外，第一示例性實(shí)施例的相機(jī)的功能可被應(yīng)用于諸如貓或狗之類的特定動(dòng) 物、諸如車或飛機(jī)之類的特定交通工具，或者另外地，其形狀或顏色具有特定特性的被 攝體。如上所述，已經(jīng)以向被攝體指派識(shí)別ID的相機(jī)為例描述了本發(fā)明的示例性實(shí)施 例。然而，根據(jù)本發(fā)明的圖像處理設(shè)備也可以應(yīng)用于被包括在蜂窩電話或PDA(個(gè)人數(shù) 字助理)等中的相機(jī)功能。此外，根據(jù)本發(fā)明的圖像處理設(shè)備也可以應(yīng)用于具有拍攝運(yùn) 動(dòng)圖像功能的相機(jī)。此外，根據(jù)本發(fā)明的圖像處理設(shè)備也可以應(yīng)用于例如分析所記錄的圖像并且不具有成像手段的圖像分析設(shè)備。盡管已參考本發(fā)明的示例性實(shí)施例描述了本發(fā)明，然而本發(fā)明不限于這些實(shí)施 例。本領(lǐng)域普通技術(shù)人員將理解，在不脫離本發(fā)明的精神和范圍的情況下可以對(duì)實(shí)施例 的形式和細(xì)節(jié)作出改變。本申請(qǐng)基于2008年4月23日提交的日本專利申請(qǐng)No.2008_112813并要求其優(yōu) 先權(quán)，該申請(qǐng)的公開通過引用被整體結(jié)合于此。
權(quán)利要求
1.一種圖像處理設(shè)備，特征在于包括被攝體檢測(cè)裝置，用于從圖像檢測(cè)被攝體圖像；被攝體識(shí)別信息存儲(chǔ)裝置，用于存儲(chǔ)所述被攝體圖像的識(shí)別ID以及第一位置，所述 第一位置是所述被攝體圖像在所述圖像內(nèi)上次被檢測(cè)到的位置；以及識(shí)別ID指派裝置，用于將識(shí)別ID指派給所述被攝體圖像，其中如果所述第一位置位于離所述被攝體檢測(cè)裝置檢測(cè)到所述被攝體圖像的位置預(yù)定義 距離之內(nèi)，則所述識(shí)別ID指派裝置將與所述第一位置相對(duì)應(yīng)的識(shí)別ID指派給所述被攝體 圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，特征在于如果所述第一位置未位于離所述被 攝體檢測(cè)裝置檢測(cè)到所述被攝體圖像的位置預(yù)定義距離之內(nèi)，則所述識(shí)別ID指派裝置將 新的識(shí)別ID指派給所述被攝體圖像。
3.根據(jù)權(quán)利要求1或2所述的圖像處理設(shè)備，特征在于所述被攝體識(shí)別信息存儲(chǔ)裝置存儲(chǔ)第一時(shí)間，所述第一時(shí)間是所述被攝體圖像上次 被檢測(cè)到時(shí)的時(shí)間；并且所述圖像處理設(shè)備還包括被攝體識(shí)別信息刪除裝置，當(dāng)自所述第一時(shí)間起經(jīng)過了預(yù)定義時(shí)間時(shí)，所述被攝體 識(shí)別信息刪除裝置從所述被攝體識(shí)別信息存儲(chǔ)裝置刪除所述第一時(shí)間、與所述第一時(shí)間 相對(duì)應(yīng)的所述識(shí)別ID和所述第一位置。
4.根據(jù)權(quán)利要求1至3所述的圖像處理設(shè)備，其中，所述被攝體圖像被表征為人的臉 部圖像。
5.根據(jù)權(quán)利要求1至3所述的圖像處理設(shè)備，其中，所述被攝體圖像被表征為人的特 定服裝的圖像。
6.—種相機(jī)，特征在于包括成像裝置，用于拍攝被攝體；根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的圖像處理設(shè)備；以及顯示裝置，其顯示所述成像裝置拍攝的圖像以及與所述圖像處理設(shè)備生成的所述被 攝體有關(guān)的信息。
7.—種圖像處理方法，特征在于存儲(chǔ)被攝體圖像的識(shí)別ID以及第一位置，所述第一位置是所述被攝體圖像在圖像內(nèi) 上次被檢測(cè)到的位置；從所述圖像檢測(cè)所述被攝體圖像；以及如果所述第一位置位于離所述被攝體圖像被檢測(cè)到的位置預(yù)定義距離之內(nèi)，則將與 所述第一位置相對(duì)應(yīng)的識(shí)別ID指派給所述被攝體圖像。
8.根據(jù)權(quán)利要求7所述的圖像處理方法，特征在于如果所述第一位置未位于離所述被 攝體圖像被檢測(cè)到的位置預(yù)定義距離之內(nèi)，則將新的識(shí)別ID指派給所述被攝體圖像。
9.根據(jù)權(quán)利要求7或8所述的圖像處理方法，特征在于存儲(chǔ)第一時(shí)間，所述第一時(shí)間是所述被攝體圖像上次被檢測(cè)到時(shí)的時(shí)間；并且當(dāng)自所述第一時(shí)間起經(jīng)過了預(yù)定義時(shí)間時(shí)，刪除所述第一時(shí)間以及與所述第一時(shí)間 相對(duì)應(yīng)的所述識(shí)別ID和所述第一位置。
10.根據(jù)權(quán)利要求7至9所述的圖像處理方法，其中，所述被攝體圖像被表征為人的 臉部圖像。
11.根據(jù)權(quán)利要求7至9所述的圖像處理方法，其中，所述被攝體圖像被表征為人的 特定服裝的圖像。
12.—種使得計(jì)算機(jī)執(zhí)行圖像處理的程序，特征在于存儲(chǔ)被攝體圖像的識(shí)別ID以及第一位置，所述第一位置是所述被攝體圖像在圖像內(nèi) 上次被檢測(cè)到的位置；從所述圖像檢測(cè)所述被攝體圖像；以及如果所述第一位置位于離所述被攝體圖像被檢測(cè)到的位置預(yù)定義距離之內(nèi)，則將與 所述第一位置相對(duì)應(yīng)的識(shí)別ID指派給所述被攝體圖像。
13.根據(jù)權(quán)利要求12所述的程序，該程序使得計(jì)算機(jī)執(zhí)行圖像處理，特征在于如果所 述第一位置未位于離所述被攝體圖像被檢測(cè)到的位置預(yù)定義距離之內(nèi)，則將新的識(shí)別ID 指派給所述被攝體圖像。
14.根據(jù)權(quán)利要求12或13所述的程序，該程序使得計(jì)算機(jī)執(zhí)行圖像處理，特征在于存儲(chǔ)第一時(shí)間，所述第一時(shí)間是所述被攝體圖像上次被檢測(cè)到時(shí)的時(shí)間；并且當(dāng)自所述第一時(shí)間起經(jīng)過了預(yù)定義時(shí)間時(shí)，刪除所述第一時(shí)間以及與所述第一時(shí)間 相對(duì)應(yīng)的所述識(shí)別ID和所述第一位置。
15.根據(jù)權(quán)利要求12至14所述的程序，該程序使得計(jì)算機(jī)執(zhí)行圖像處理，其中，所 述被攝體圖像被表征為人的臉部圖像。
16.根據(jù)權(quán)利要求12至14所述的程序，該程序使得計(jì)算機(jī)執(zhí)行圖像處理，其中，所 述被攝體圖像被表征為人的特定服裝的圖像。
全文摘要
本發(fā)明使得能夠利用簡(jiǎn)單的結(jié)構(gòu)和簡(jiǎn)化的操作來檢測(cè)并跟蹤特定被攝體，而不用登記被攝體的特性信息。本發(fā)明包括被攝體檢測(cè)裝置，其從圖像檢測(cè)被攝體圖像；被攝體識(shí)別信息存儲(chǔ)裝置，其存儲(chǔ)被攝體圖像的識(shí)別ID以及第一位置，該第一位置是被攝體圖像在圖像內(nèi)上次被檢測(cè)到的位置；以及識(shí)別ID指派裝置，其將識(shí)別ID指派給被攝體圖像，其中如果第一位置位于離被攝體檢測(cè)裝置檢測(cè)到被攝體圖像的位置預(yù)定義距離之內(nèi)，則識(shí)別ID指派裝置將與第一位置相對(duì)應(yīng)的識(shí)別ID指派給被攝體圖像。
文檔編號(hào)H04N7/18GK102017606SQ200980114650
公開日2011年4月13日 申請(qǐng)日期2009年4月21日 優(yōu)先權(quán)日2008年4月23日
發(fā)明者白川泰嗣 申請(qǐng)人:日本電氣株式會(huì)社