專(zhuān)利名稱(chēng)：圖像處理設(shè)備和圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于追蹤圖像中的指定被攝體的功能。
背景技術(shù)：
一些數(shù)字照相機(jī)、攝像機(jī)或?qū)⒄障鄼C(jī)可通信地連接至計(jì)算機(jī)的監(jiān)視照相機(jī)系統(tǒng)具 有用于通過(guò)連續(xù)檢測(cè)動(dòng)畫(huà)中的指定被攝體來(lái)追蹤圖像中的指定被攝體的功能。例如，日本特開(kāi)平04-170870號(hào)公報(bào)討論了如下結(jié)構(gòu)從幀圖像中指定要追蹤的 被攝體，存儲(chǔ)該被攝體的區(qū)域的亮度信號(hào)，并且從其它幀圖像中提取與所存儲(chǔ)的亮度信號(hào) 最相似的區(qū)域，從而追蹤該被攝體。圖7A和7B是示出用于使用被攝體的區(qū)域的亮度信號(hào)追蹤該被攝體的方法的示意 圖。圖7A示出數(shù)字照相機(jī)所拍攝的動(dòng)畫(huà)中的幀圖像。假設(shè)將向右看的人物的面部指定為 要追蹤的被攝體。將表示要追蹤的被攝體的追蹤框顯示在數(shù)字照相機(jī)的監(jiān)視器上，其中疊 加在圖像上的追蹤框包圍該人物的面部。數(shù)字照相機(jī)存儲(chǔ)由追蹤框所包圍的要追蹤的被攝體區(qū)域中各個(gè)像素的亮度信號(hào)。 之后，在幀圖像中，設(shè)置與要追蹤的被攝體區(qū)域大小相等的比較區(qū)域，并且獲得要追蹤的被 攝體區(qū)域中的像素和比較區(qū)域中的像素之間的亮度信號(hào)的差的總和。順次移位比較區(qū)域的 位置，并獲得各位置時(shí)亮度信號(hào)的差的總和，以檢測(cè)差的總和最小的比較區(qū)域的位置。在其它幀圖像中，將亮度信號(hào)的圖案(形狀)與幀圖像中要追蹤的被攝體區(qū)域的 亮度信號(hào)的圖案最相似的區(qū)域判斷為存在與要追蹤的被攝體相同的被攝體的區(qū)域，并且更 新追蹤框。圖7B示出更新的狀態(tài)。在圖7B中，更新追蹤框的位置，以使得該追蹤框中的亮 度信號(hào)存在于亮度信號(hào)的圖案與圖7A的追蹤框中的區(qū)域的亮度信號(hào)的圖案最相關(guān)的區(qū)域 中。將所存儲(chǔ)的亮度信號(hào)的圖案更新為新設(shè)置的追蹤框中的亮度信號(hào)的圖案。重復(fù)該操作， 以追蹤動(dòng)畫(huà)中的指定被攝體。圖8A 8C是示出在用于使用被攝體區(qū)域的亮度信號(hào)追蹤被攝體的方法中要解決 的問(wèn)題的示意圖。在圖8A所示的幀圖像中，將人物的面部指定為要追蹤的被攝體。在圖8B所示的 幀圖像中，作為要追蹤的被攝體的人物的面部位于作為障礙物的樹(shù)的后面。在圖8B所示的 幀圖像中，如果檢測(cè)到與圖8A所示的追蹤框中的區(qū)域的亮度信號(hào)的圖案最相關(guān)的區(qū)域并 將該區(qū)域設(shè)置為新的追蹤框，則面部的一部分和作為障礙物的樹(shù)的一部分包括在新的追蹤 框的區(qū)域內(nèi)。在圖8C所示的幀圖像中，選擇存在作為障礙物的樹(shù)的一部分的區(qū)域作為與追 蹤框中的亮度信號(hào)的圖案高度相關(guān)的區(qū)域。在隨后的幀圖像中，可能繼續(xù)追蹤該樹(shù)。為了避免該問(wèn)題，即使在亮度信號(hào)的圖案與所存儲(chǔ)的追蹤框中的區(qū)域的亮度信號(hào) 的圖案最相關(guān)的區(qū)域中，如果相關(guān)度(correlation)不大于預(yù)定值，則也判斷為要追蹤的 被攝體丟失并且停止追蹤。換句話(huà)說(shuō)，在圖8B所示的幀圖像中，檢測(cè)到亮度信號(hào)的圖案與 圖8A所示的幀圖像的追蹤框中的亮度信號(hào)的圖案最相關(guān)的區(qū)域。然而，由于判斷為相關(guān)度沒(méi)有達(dá)到預(yù)定值，因此在圖8C所示的幀圖像中刪除追蹤框。由此，如果在追蹤過(guò)程中將不 同的被攝體設(shè)置為要追蹤的被攝體，則可以停止追蹤。這種用于停止追蹤的處理引起了其它問(wèn)題。當(dāng)使用亮度信號(hào)的圖案之間的相關(guān)度 進(jìn)行追蹤時(shí)，被攝體的方向的變化或被攝體的姿勢(shì)的變化暫時(shí)且極大地改變亮度信號(hào)的圖 案之間的相關(guān)度。圖9A 9D示出上述這種變化。圖9A 9D是示出在用于使用被攝體的區(qū)域的亮 度信號(hào)追蹤該被攝體的方法中要解決的另一問(wèn)題的示意圖。在圖9A所示的幀圖像中，將人物的面部指定為要追蹤的被攝體。在圖9B所示的幀 圖像中，該人物轉(zhuǎn)向其它側(cè)，以隱藏向右看的人物的面部，這使得僅出現(xiàn)該人物的頭部的背 面。在圖9C所示的幀圖像中，該人物轉(zhuǎn)向左側(cè)，以隱藏頭部的背面，這使得出現(xiàn)向左看的人 物的面部。在圖9A 9C所示的幀圖像中，作為要追蹤的被攝體的人物僅改變其方向。然 而，亮度信號(hào)的圖案之間的相關(guān)度在該期間沒(méi)有達(dá)到預(yù)定值，因此可能在圖9C和9D所示的 幀圖像中刪除追蹤框。因此，難以得出亮度信號(hào)之間的相關(guān)度降低的原因是由于追蹤了不同的被攝體還 是僅由于要追蹤的被攝體的方向發(fā)生了變化。在代替亮度信號(hào)使用色度(chroma)信號(hào)或色相(hue)信號(hào)等的顏色信號(hào)而基于 圖案之間的相關(guān)度進(jìn)行追蹤的情況下，存在同樣的困難。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一方面，提供一種圖像處理設(shè)備，用于通過(guò)根據(jù)包括多個(gè)圖像數(shù)據(jù) 的動(dòng)畫(huà)檢測(cè)被攝體的追蹤區(qū)域來(lái)進(jìn)行追蹤，所述圖像處理設(shè)備包括設(shè)置單元，用于設(shè)置圖 像數(shù)據(jù)中的所述追蹤區(qū)域；存儲(chǔ)單元，用于存儲(chǔ)從所述追蹤區(qū)域中提取出的第一信號(hào)和第 二信號(hào)；以及檢測(cè)單元，用于從所述圖像數(shù)據(jù)中提取具有與所述第一信號(hào)之間的差最小的 信號(hào)的區(qū)域，并利用所提取的區(qū)域來(lái)更新所述追蹤區(qū)域；其中，如果所述檢測(cè)單元從所述圖 像數(shù)據(jù)中未能提取出具有與所述第一信號(hào)之間的差小于閾值的信號(hào)的區(qū)域，則所述檢測(cè)單 元判斷是否能提取出具有與存儲(chǔ)在所述存儲(chǔ)單元中的所述第二信號(hào)之間的差小于閾值的 信號(hào)的區(qū)域，如果未能提取出該區(qū)域，則所述檢測(cè)單元復(fù)位所述追蹤區(qū)域，如果能夠提取出 該區(qū)域，則所述檢測(cè)單元繼續(xù)更新所述追蹤區(qū)域，以及當(dāng)更新所述追蹤區(qū)域時(shí)，所述存儲(chǔ)單 元更新所述第一信號(hào)。根據(jù)本發(fā)明的另一方面，提供一種圖像處理設(shè)備，用于通過(guò)根據(jù)包括多個(gè)圖像數(shù) 據(jù)的動(dòng)畫(huà)檢測(cè)被攝體的追蹤區(qū)域來(lái)進(jìn)行追蹤，所述圖像處理設(shè)備包括設(shè)置單元，用于設(shè)置 圖像數(shù)據(jù)中的所述追蹤區(qū)域；存儲(chǔ)單元，用于存儲(chǔ)從所述圖像數(shù)據(jù)中的所述追蹤區(qū)域中提 取出的第一信號(hào)和第二信號(hào)；以及檢測(cè)單元，用于從所述圖像數(shù)據(jù)中提取具有與所述第一 信號(hào)之間的差最小的信號(hào)的區(qū)域，并利用所提取的區(qū)域來(lái)更新所述追蹤區(qū)域；其中，如果所 述檢測(cè)單元從所述圖像數(shù)據(jù)中未能提取出具有與所述第一信號(hào)之間的差小于閾值的信號(hào) 的區(qū)域，則所述檢測(cè)單元判斷從所述圖像數(shù)據(jù)中是否能提取出具有與所述第二信號(hào)之間的 差小于閾值的信號(hào)的區(qū)域，如果未能提取出該區(qū)域，則所述檢測(cè)單元復(fù)位所述追蹤區(qū)域，如 果能夠提取出該區(qū)域，則所述檢測(cè)單元繼續(xù)更新所述追蹤區(qū)域，以及在繼續(xù)更新所述追蹤 區(qū)域期間，所述第二信號(hào)的更新周期長(zhǎng)于所述第一信號(hào)的更新周期。
6
根據(jù)本發(fā)明的另一方面，提供一種圖像處理方法，用于通過(guò)根據(jù)包括多個(gè)圖像數(shù) 據(jù)的動(dòng)畫(huà)檢測(cè)被攝體的追蹤區(qū)域來(lái)進(jìn)行追蹤，所述圖像處理方法包括以下步驟設(shè)置圖像 數(shù)據(jù)中的所述追蹤區(qū)域；存儲(chǔ)從所述追蹤區(qū)域中提取出的第一信號(hào)和第二信號(hào)；從所述圖 像數(shù)據(jù)中提取具有與所述第一信號(hào)之間的差最小的信號(hào)的區(qū)域，并利用所提取的區(qū)域來(lái)更 新所述追蹤區(qū)域；如果從所述圖像數(shù)據(jù)中未能提取出具有與所述第一信號(hào)之間的差小于閾 值的信號(hào)的區(qū)域，則判斷從所述圖像數(shù)據(jù)中是否能提取出具有與所述第二信號(hào)之間的差小 于閾值的信號(hào)的區(qū)域，如果未能提取出該區(qū)域，則復(fù)位所述追蹤區(qū)域，如果能夠提取出該區(qū) 域，則繼續(xù)更新所述追蹤區(qū)域；以及當(dāng)更新所述追蹤區(qū)域時(shí)，更新所述第一信號(hào)。根據(jù)本發(fā)明的又一方面，提供一種圖像處理方法，用于通過(guò)根據(jù)包括多個(gè)圖像數(shù) 據(jù)的動(dòng)畫(huà)檢測(cè)被攝體的追蹤區(qū)域來(lái)進(jìn)行追蹤，所述圖像處理方法包括以下步驟設(shè)置圖像 數(shù)據(jù)中的所述追蹤區(qū)域；存儲(chǔ)從所述追蹤區(qū)域中提取出的第一信號(hào)和第二信號(hào)；從所述圖 像數(shù)據(jù)中提取具有與所述第一信號(hào)之間的差最小的信號(hào)的區(qū)域，并利用所提取的區(qū)域來(lái)更 新所述追蹤區(qū)域；如果從所述圖像數(shù)據(jù)中未能提取出具有與所述第一信號(hào)之間的差小于閾 值的信號(hào)的區(qū)域，則判斷從所述圖像數(shù)據(jù)中是否能提取出具有與所述第二信號(hào)之間的差小 于閾值的信號(hào)的區(qū)域，如果未能提取出該區(qū)域，則復(fù)位所述追蹤區(qū)域，如果能夠提取出該區(qū) 域，則繼續(xù)更新所述追蹤區(qū)域；以及在繼續(xù)更新所述追蹤區(qū)域期間，以比更新所述第一信號(hào) 的周期長(zhǎng)的周期來(lái)更新所述第二信號(hào)。通過(guò)以下參考附圖對(duì)典型實(shí)施例的詳細(xì)說(shuō)明，本發(fā)明的其它特征和方面將變得明
Mo


包含在說(shuō)明書(shū)中并構(gòu)成說(shuō)明書(shū)一部分的附圖示出了本發(fā)明的典型實(shí)施例、特征和 方面，并與說(shuō)明書(shū)一起用來(lái)解釋本發(fā)明的原理。圖1是示出根據(jù)本發(fā)明第一典型實(shí)施例的數(shù)字照相機(jī)的結(jié)構(gòu)的框圖。圖2A和2B示出表示根據(jù)第一典型實(shí)施例的數(shù)字照相機(jī)的追蹤判斷處理的流程 圖。圖3是示出根據(jù)第一典型實(shí)施例的被攝體信息存儲(chǔ)單元中所存儲(chǔ)的初始色相信 號(hào)的表。圖4A是示出設(shè)置在第一圖像數(shù)據(jù)中的追蹤區(qū)域以及該追蹤區(qū)域的各像素的亮度 信號(hào)的值的示意圖。圖4B是示出設(shè)置在第二圖像數(shù)據(jù)中的比較區(qū)域以及該比較區(qū)域的各 像素的亮度信號(hào)的值的示意圖。圖5A是示出從畫(huà)面左側(cè)向右看的要追蹤的人物的示意圖。圖5B是示出向右移動(dòng) 的要追蹤的人物的示意圖。圖5C是示出轉(zhuǎn)向其它側(cè)的要追蹤的人物的示意圖。圖5D是示 出向左看的要追蹤的人物的示意圖。圖5E是示出向左移動(dòng)的要追蹤的人物的示意圖。圖6A和6B示出表示根據(jù)本發(fā)明第二典型實(shí)施例的數(shù)字照相機(jī)的追蹤判斷處理的 流程圖。圖7A是示出從畫(huà)面左側(cè)向右看的要追蹤的人物的示意圖。圖7B是示出向右移動(dòng) 的要追蹤的人物的示意圖。圖8A是示出從畫(huà)面左側(cè)向右看的要追蹤的人物的示意圖。圖8B是示出位于樹(shù)后面的要追蹤的人物的示意圖。圖8C是示出從樹(shù)后面出現(xiàn)的要追蹤的人物的示意圖。圖9A是示出從畫(huà)面左側(cè)向右看的要追蹤的人物的示意圖。圖9B是示出向右移動(dòng) 并轉(zhuǎn)向其它側(cè)的要追蹤的人物的示意圖。圖9C是示出向左看的要追蹤的人物的示意圖。圖 9D是示出向左移動(dòng)的要追蹤的人物的示意圖。
具體實(shí)施例方式以下將參考附圖詳細(xì)說(shuō)明本發(fā)明的各種典型實(shí)施例、特征和方面。在本發(fā)明的第一典型實(shí)施例中，作為具有用于追蹤動(dòng)畫(huà)中的指定被攝體的功能的 圖像處理設(shè)備，下面以作為攝像設(shè)備的數(shù)字照相機(jī)為例進(jìn)行說(shuō)明。本發(fā)明還可以應(yīng)用于諸 如數(shù)字?jǐn)z像機(jī)或監(jiān)視照相機(jī)系統(tǒng)等的攝像設(shè)備或諸如可通信地連接至多個(gè)照相機(jī)的服務(wù) 器用計(jì)算機(jī)等的計(jì)算設(shè)備。換句話(huà)說(shuō)，本發(fā)明可以應(yīng)用于用作具有追蹤動(dòng)畫(huà)中的指定被攝 體的功能的圖像處理設(shè)備的設(shè)備。圖1是示出根據(jù)本發(fā)明第一典型實(shí)施例的數(shù)字照相機(jī)的結(jié)構(gòu)的框圖。操作單元101包括由數(shù)字照相機(jī)的操作者進(jìn)行操作以向數(shù)字照相機(jī)輸入各種指 令的開(kāi)關(guān)和按鈕。操作單元101還包括快門(mén)開(kāi)關(guān)和觸摸傳感器(由此可以通過(guò)觸摸顯示單 元107的屏幕來(lái)進(jìn)行操作)。操作者可以使用觸摸傳感器來(lái)指定要追蹤的被攝體的位置。 將與通過(guò)觸摸傳感器所指定的被攝體的位置有關(guān)的信息經(jīng)由控制單元102傳送至被攝體 位置設(shè)置單元115。不必說(shuō)，可以通過(guò)觸摸傳感器以外的操作單元來(lái)指定要追蹤的被攝體。 可以自動(dòng)選擇距離最短的被攝體或運(yùn)動(dòng)中的被攝體作為要追蹤的被攝體?？刂茊卧?02控制整個(gè)數(shù)字照相機(jī)的動(dòng)作，并根據(jù)來(lái)自操作單元101的指令控制 各單元。圖像傳感器103是用于將所接收到的被攝體圖像轉(zhuǎn)換為與曝光量相對(duì)應(yīng)的電荷 的光電轉(zhuǎn)換元件。使用電荷耦合器件(CCD)圖像傳感器或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS) 圖像傳感器作為光電轉(zhuǎn)換元件。A/D轉(zhuǎn)換單元104對(duì)從圖像傳感器103輸出的模擬信號(hào)進(jìn)行諸如采樣、增益調(diào)整、 以及A/D轉(zhuǎn)換等的處理，并輸出處理后的信號(hào)作為數(shù)字信號(hào)的圖像數(shù)據(jù)。圖像處理單元105對(duì)從A/D轉(zhuǎn)換單元104輸出的數(shù)字信號(hào)的圖像數(shù)據(jù)進(jìn)行各種類(lèi) 型的圖像處理，并輸出包括處理后的亮度信號(hào)和色差信號(hào)的圖像數(shù)據(jù)。各種類(lèi)型的圖像處 理包括白平衡處理、色像差(chromatic aberration)校正處理、偽色(false color)抑制 處理、失真像差(distortion aberration)校正處理、邊緣增強(qiáng)處理或噪聲降低處理。在開(kāi)始追蹤時(shí)，被攝體檢測(cè)單元106基于操作單元101輸出至被攝體位置設(shè)置單 元115的位置信息，從圖像確定要追蹤的被攝體的位置以及該被攝體所占據(jù)的區(qū)域。例如， 被攝體檢測(cè)單元106設(shè)置以操作單元101所指定的坐標(biāo)為中心的矩形區(qū)域，并且擴(kuò)展該矩 形區(qū)域，直到根據(jù)該區(qū)域中的圖像數(shù)據(jù)所計(jì)算出的對(duì)比度值超過(guò)預(yù)定值為止。當(dāng)根據(jù)該區(qū) 域中的圖像數(shù)據(jù)所計(jì)算出的對(duì)比度值超過(guò)預(yù)定值時(shí)，將此時(shí)的矩形區(qū)域的位置和范圍設(shè)置 為追蹤區(qū)域?？蛇x地，如果被攝體檢測(cè)單元106具有面部檢測(cè)功能并且操作單元101所指 定的坐標(biāo)與人物的面部重疊或處于面部的附近，則可以將該面部所占據(jù)的區(qū)域設(shè)置為追蹤 區(qū)域。在開(kāi)始追蹤之后，被攝體檢測(cè)單元106獲取從圖像處理單元105輸出的圖像數(shù)據(jù)，并且參考從前一幀的圖像數(shù)據(jù)所提取出的追蹤區(qū)域的亮度信號(hào)，來(lái)檢測(cè)要追蹤的被攝體在 新的圖像數(shù)據(jù)中的位置。具體地，被攝體檢測(cè)單元106從新的圖像數(shù)據(jù)中提取與先前所存 儲(chǔ)的追蹤區(qū)域的亮度信號(hào)的圖案最相關(guān)的區(qū)域。將所提取的區(qū)域設(shè)置為新的追蹤區(qū)域，以 更新追蹤區(qū)域的位置和范圍，并且更新存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的亮度信號(hào)的圖 案的信息。被攝體檢測(cè)單元106根據(jù)在開(kāi)始追蹤時(shí)所確定出的追蹤區(qū)域中的圖像數(shù)據(jù)，確 定色相信號(hào)。被攝體位置設(shè)置單元115接收與操作者使用操作單元101中的觸摸傳感器所指定 的被攝體的位置以及來(lái)自被攝體檢測(cè)單元106的追蹤區(qū)域的位置和范圍有關(guān)的信息。被攝 體位置設(shè)置單元115向顯示單元107通知該信息。被攝體信息存儲(chǔ)單元116存儲(chǔ)開(kāi)始追蹤時(shí)由被攝體檢測(cè)單元106確定出的追蹤區(qū) 域中的色相信號(hào)，作為初始色相信號(hào)。此外，被攝體信息存儲(chǔ)單元116存儲(chǔ)開(kāi)始追蹤時(shí)確定 出的追蹤區(qū)域中的亮度信號(hào)，并且每當(dāng)更新追蹤區(qū)域時(shí)，將該亮度信號(hào)更新為根據(jù)更新后 的追蹤區(qū)域確定出的亮度信號(hào)。顯示單元107包括液晶屏，并使用圖像處理單元105處理后的圖像數(shù)據(jù)來(lái)顯示動(dòng) 畫(huà)。顯示單元107顯示包圍追蹤區(qū)域的追蹤框以表明被攝體位置設(shè)置單元115向顯示單元 107通知的追蹤區(qū)域的位置和范圍，其中，該追蹤框疊加在動(dòng)畫(huà)上。自動(dòng)調(diào)焦(AF)處理單元108根據(jù)控制單元102從圖像處理單元105輸出的圖像 數(shù)據(jù)所獲得的AF評(píng)價(jià)值來(lái)調(diào)整透鏡108a的位置，以改變?nèi)肷湓趫D像傳感器103上的被攝 體圖像的圖像形成位置。自動(dòng)曝光(AE)處理單元109根據(jù)控制單元102從圖像處理單元105輸出的圖像 數(shù)據(jù)所獲得的被攝體亮度來(lái)調(diào)整光圈機(jī)構(gòu)109a的光圈直徑，以改變?nèi)肷湓趫D像傳感器103 上的光量。格式轉(zhuǎn)換單元112將圖像處理單元105輸出的數(shù)字信號(hào)的圖像數(shù)據(jù)的格式轉(zhuǎn)換為 JPEG等的格式，并將轉(zhuǎn)換后的圖像數(shù)據(jù)輸出至圖像存儲(chǔ)單元113。圖像存儲(chǔ)單元113將從格式轉(zhuǎn)換單元112輸出的其格式被轉(zhuǎn)換為其它格式的圖像 數(shù)據(jù)存儲(chǔ)至數(shù)字照相機(jī)的存儲(chǔ)器(未示出)或插入該數(shù)字照相機(jī)的外部存儲(chǔ)器中。以下說(shuō)明數(shù)字照相機(jī)的動(dòng)作。圖2A和2B示出表示根據(jù)本典型實(shí)施例的數(shù)字照相機(jī)的追蹤判斷處理的流程圖。數(shù)字照相機(jī)的操作者在接通包括在操作單元101中的電源開(kāi)關(guān)時(shí)，使控制單元 102檢測(cè)該接通并向數(shù)字照相機(jī)的各單元供電。因此，圖像傳感器103連續(xù)生成與被攝體圖 像相對(duì)應(yīng)的圖像數(shù)據(jù)，并且顯示單元107基于經(jīng)由圖像處理單元105輸出的圖像數(shù)據(jù)實(shí)時(shí) 顯示動(dòng)畫(huà)。然后，圖2A和2B中的流程圖開(kāi)始。在步驟S201，控制單元102判斷包括在操作單元101中的觸摸傳感器是否觸摸到 顯示單元107的畫(huà)面上的任意點(diǎn)。如果觸摸到顯示單元107的畫(huà)面上的任意點(diǎn)(步驟S201 中為“是”)，也就是說(shuō)，如果數(shù)字照相機(jī)的操作者發(fā)出了關(guān)于要追蹤的被攝體的位置的指 令，則處理進(jìn)入步驟S202。如果沒(méi)有觸摸到任意點(diǎn)(步驟S201中為“否”)，則處理進(jìn)入步 馬聚S 212 ο在步驟S202，控制單元102經(jīng)由被攝體位置設(shè)置單元115向被攝體檢測(cè)單元106 通知畫(huà)面上的被觸摸的點(diǎn)的坐標(biāo)。被攝體檢測(cè)單元106將變量N設(shè)置為0。
在步驟S203，被攝體檢測(cè)單元106對(duì)作為構(gòu)成從圖像傳感器103讀取的動(dòng)畫(huà)的幀 圖像的第一圖像數(shù)據(jù)，設(shè)置具有預(yù)定大小的以控制單元102向被攝體檢測(cè)單元106通知的 坐標(biāo)為中心的追蹤區(qū)域。將該預(yù)定大小設(shè)置為可追蹤的最小大小。在步驟S204，被攝體檢測(cè)單元106計(jì)算追蹤區(qū)域中的圖像數(shù)據(jù)的對(duì)比度值。在步驟S205，被攝體檢測(cè)單元106判斷追蹤區(qū)域中的圖像數(shù)據(jù)的對(duì)比度值是否等 于或大于閾值。如果追蹤區(qū)域中的圖像數(shù)據(jù)的對(duì)比度值等于或大于該閾值(步驟S205中 為“是”)，則處理進(jìn)入步驟S206。這是用來(lái)判斷追蹤區(qū)域中的圖像數(shù)據(jù)是否滿(mǎn)足追蹤處理 所使用的對(duì)比度值。被攝體檢測(cè)單元106基于控制單元102向被攝體檢測(cè)單元106通知的 點(diǎn)的坐標(biāo)來(lái)設(shè)置追蹤區(qū)域。然而，并沒(méi)有向被攝體檢測(cè)單元106通知與被攝體的大小有關(guān) 的信息。由于該原因，由被攝體檢測(cè)單元106初始設(shè)置的追蹤區(qū)域并不總是被設(shè)置到適于 追蹤被攝體的大小。因此，被攝體檢測(cè)單元106判斷追蹤區(qū)域中的圖像數(shù)據(jù)的對(duì)比度值。如 果該對(duì)比度值小，則被攝體檢測(cè)單元106判斷為很可能將追蹤區(qū)域僅設(shè)置成了被指定為要 追蹤的被攝體的被攝體區(qū)域的一部分。這是基于如下想法的要追蹤的被攝體獨(dú)立于背景， 因而如果追蹤區(qū)域被設(shè)置為適當(dāng)?shù)拇笮?，則要追蹤的被攝體和背景之間的邊界處的對(duì)比度 值的大小將達(dá)到一定程度。這還基于如下想法即使要追蹤的被攝體和背景之間的邊界沒(méi) 有包括在追蹤區(qū)域中，如果該對(duì)比度值的大小達(dá)到了一定程度，則有效地用于指定要追蹤 的被攝體的圖案和形狀的量也達(dá)到了追蹤所需的程度。在步驟S206，由于判斷為追蹤區(qū)域被設(shè)置為適當(dāng)?shù)拇笮。虼?，被攝體檢測(cè)單元 106檢測(cè)包括在該追蹤區(qū)域中的各像素的亮度信號(hào)。被攝體檢測(cè)單元106將亮度信號(hào)的位 置和值彼此相關(guān)聯(lián)的亮度信號(hào)的圖案存儲(chǔ)在被攝體信息存儲(chǔ)單元116中。在步驟S207，被攝體檢測(cè)單元106檢測(cè)包括在追蹤區(qū)域中的各像素的顏色信號(hào)。 在本典型實(shí)施例中，被攝體檢測(cè)單元106檢測(cè)作為顏色信號(hào)的色相信號(hào)，并將表示在追蹤 區(qū)域中存在什么色相以及存在多少色相的與色相信號(hào)有關(guān)的信息作為初始色相信號(hào)存儲(chǔ) 在被攝體信息存儲(chǔ)單元116中。圖3列出了存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的初始色相 信號(hào)。將全部色相劃分為0 360之間的值，并以40個(gè)色相為單位進(jìn)行分割以形成組。存 儲(chǔ)輸出各組的色相信號(hào)的像素的數(shù)量。包括在初始色相信號(hào)中的像素的數(shù)量的總和對(duì)應(yīng)于 存在于追蹤區(qū)域中的像素的數(shù)量的總和。在圖3所示的示例中，包括在追蹤區(qū)域中的像素 的總和為25。可選地，代替對(duì)色相進(jìn)行分組，可以將與色相信號(hào)有關(guān)的信息以色相信號(hào)作為 橫軸且像素?cái)?shù)作為縱軸的直方圖的形式存儲(chǔ)在被攝體信息存儲(chǔ)單元116中。被攝體檢測(cè)單元106向被攝體位置設(shè)置單元115通知所設(shè)置的追蹤區(qū)域的位置和 大小。顯示單元107接收來(lái)自被攝體位置設(shè)置單元115的信息，并顯示包圍追蹤區(qū)域的追 蹤框以表明該追蹤區(qū)域的位置和范圍，其中，該追蹤框疊加在圖像上。如果被攝體檢測(cè)單元106判斷為追蹤區(qū)域中的圖像數(shù)據(jù)的對(duì)比度值小于閾值(步 驟S205中為“否”)，則處理進(jìn)入步驟S208。在步驟S208，被攝體檢測(cè)單元106使變量N增大(即，使變量N增大1)。在步驟S209，被攝體檢測(cè)單元106判斷變量N是否達(dá)到了基準(zhǔn)值Nth。如下所述， 在步驟S211，被攝體檢測(cè)單元106進(jìn)行處理，由此使追蹤區(qū)域擴(kuò)展預(yù)定大小。由于該原因， 達(dá)到基準(zhǔn)值Nth的變量N意味著即使重復(fù)地?cái)U(kuò)展追蹤區(qū)域以將其設(shè)置為作為追蹤區(qū)域的最 大可設(shè)置大小，也不能在該追蹤區(qū)域中獲得充分的對(duì)比度值。如果被攝體檢測(cè)單元106判斷為變量N達(dá)到了基準(zhǔn)值Nth (步驟S209中為“是”)，則處理進(jìn)入步驟S210。如果被攝體 檢測(cè)單元106判斷為變量N沒(méi)有達(dá)到該基準(zhǔn)值Nth (步驟S209中為“否”)，則處理進(jìn)入步 驟 S211。在步驟S210，被攝體檢測(cè)單元106在控制單元102向被攝體檢測(cè)單元106通知的 點(diǎn)的坐標(biāo)處，未能檢測(cè)到滿(mǎn)足對(duì)比度值的要追蹤的被攝體，從而顯示單元107顯示表示在 提取要追蹤的被攝體時(shí)失敗的錯(cuò)誤，并且處理進(jìn)入步驟S212。在步驟S211，由于追蹤區(qū)域沒(méi)有達(dá)到最大可設(shè)置大小，因而被攝體檢測(cè)單元106 在不改變?cè)撟粉檯^(qū)域的中心位置的情況下，將該大小擴(kuò)展預(yù)定量。處理再次返回至步驟 S204，并且被攝體檢測(cè)單元106計(jì)算該追蹤區(qū)域中的圖像數(shù)據(jù)的對(duì)比度值。因此，重復(fù)步驟S204 S211中的處理，以使得根據(jù)操作者使用觸摸傳感器發(fā)出的 指令，自動(dòng)設(shè)置滿(mǎn)足追蹤所使用的對(duì)比度值的追蹤區(qū)域，并計(jì)算該追蹤區(qū)域中的亮度信號(hào) 的圖案。在步驟S212，控制單元102判斷是否設(shè)置了追蹤區(qū)域。如果根據(jù)操作者使用觸摸 傳感器發(fā)出的指令設(shè)置了新的追蹤區(qū)域(步驟S212中為“是”)，或者如果以下所述的追蹤 處理成功更新了追蹤區(qū)域，則處理進(jìn)入步驟S213。如果沒(méi)有設(shè)置追蹤區(qū)域(步驟S212中為 “否”)，則處理進(jìn)入步驟S220。在步驟S213，被攝體檢測(cè)單元106從作為自圖像傳感器103新獲得的幀圖像的第 二圖像數(shù)據(jù)中提取與存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的追蹤區(qū)域的亮度信號(hào)的圖案最 相關(guān)的區(qū)域。圖4A和4B是示出用于提取與存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的追蹤區(qū)域的亮 度信號(hào)的圖案最相關(guān)的區(qū)域的方法的示意圖。圖4A包括第一圖像數(shù)據(jù)301、追蹤區(qū)域302 以及追蹤區(qū)域的各像素的亮度信號(hào)的值303 (pi p25)。圖4B包括第二圖像數(shù)據(jù)401、比較 區(qū)域402以及比較區(qū)域的各像素的亮度信號(hào)的值403 (ql q25)。被攝體檢測(cè)單元106設(shè) 置在像素?cái)?shù)上等于追蹤區(qū)域302的比較區(qū)域402，并且在沿著第二圖像數(shù)據(jù)中的箭頭所示 的線(xiàn)路移動(dòng)時(shí)，計(jì)算各位置的比較區(qū)域的亮度信號(hào)的值(ql q25)。被攝體檢測(cè)單元106 確定存在于追蹤區(qū)域302和比較區(qū)域402的相同位置中的像素的亮度信號(hào)之間的差(pi和
ql之間的差、P2和q2之間的差.....p25和q 25之間的差)，并確定這些差的總和。被
攝體檢測(cè)單元106重復(fù)該處理，直到覆蓋以追蹤區(qū)域的所存儲(chǔ)的位置為中心的預(yù)定范圍為 止，并且判斷為被指定為要追蹤的被攝體的被攝體存在于差的總和降至最小值的比較區(qū)域 402 中。在步驟S214，被攝體檢測(cè)單元106判斷在步驟S213中被判斷為最小值的亮度信 號(hào)之間的差的總和是否等于或大于閾值。如果亮度信號(hào)之間的差的總和等于或大于該閾值 (步驟S214中為“是”)，則被攝體檢測(cè)單元106判斷為亮度信號(hào)之間的大的差很可能表示 追蹤了與被指定為要追蹤的被攝體的被攝體不同的被攝體。然后，處理進(jìn)入步驟S215。另 一方面，如果亮度信號(hào)之間的差的總和小于該閾值(步驟S214中為“否”)，則被攝體檢測(cè) 單元106判斷為很可能追蹤了與被指定為要追蹤的被攝體的被攝體相同的被攝體。然后， 處理進(jìn)入步驟S218。在步驟S218，將追蹤區(qū)域的位置和范圍更新為該總和降至最小值的比較區(qū)域的位 置和范圍。
在步驟S215，被攝體檢測(cè)單元106根據(jù)作為從圖像傳感器103新獲得的幀圖像的 第三圖像數(shù)據(jù)，計(jì)算與追蹤區(qū)域的位置和范圍相同的位置和范圍內(nèi)的區(qū)域的色相信號(hào)。被 攝體檢測(cè)單元106沒(méi)有根據(jù)第二圖像數(shù)據(jù)而是根據(jù)比第二圖像數(shù)據(jù)晚生成的第三圖像數(shù) 據(jù)計(jì)算色相信號(hào)的原因在于被攝體檢測(cè)單元106進(jìn)行等待，直到在作為要追蹤的被攝體 的被攝體中出現(xiàn)的臨時(shí)狀態(tài)的變化結(jié)束為止。例如，如果車(chē)輛臨時(shí)進(jìn)入操作者所選擇的被 攝體這一側(cè)，或者如果操作者所選擇的被攝體從右轉(zhuǎn)向左側(cè)，則除非該變化結(jié)束，否則難以 判斷被攝體存在位置是否與原來(lái)的被攝體存在位置相同。因此，如果被攝體檢測(cè)單元106 判斷為追蹤區(qū)域和比較區(qū)域的亮度信號(hào)之間的差較大，則被攝體檢測(cè)單元106使用比該判 斷用的圖像數(shù)據(jù)晚生成的圖像數(shù)據(jù)的色相信號(hào)，判斷存在于與追蹤區(qū)域相同的位置中的被 攝體是否是要追蹤的被攝體。在步驟S216，被攝體檢測(cè)單元106將步驟S215中確定出的色相信號(hào)與步驟S207 中存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的初始色相信號(hào)進(jìn)行比較，以判斷該差是否大。具體 地，如圖3所示，與初始色相信號(hào)的情況相同，被攝體檢測(cè)單元106確定輸出步驟S215中確 定出的且與色相的各組相對(duì)應(yīng)的色相信號(hào)的像素的數(shù)量。如果屬于與步驟S207中存儲(chǔ)在 被攝體信息存儲(chǔ)單元116中的初始色相信號(hào)相同的組的像素的比率等于或大于閾值(例 如，80% )(步驟S216中為“否”)，則被攝體檢測(cè)單元106判斷為很可能追蹤了與被指定為 要追蹤的被攝體的被攝體相同的被攝體。不更新追蹤區(qū)域的位置和范圍，并且處理進(jìn)入步 驟S219。另一方面，如果該比率小于閾值(步驟S216中為“是”)，則被攝體檢測(cè)單元106 判斷為色相信號(hào)之間的大的差很可能表示追蹤了與被指定為要追蹤的被攝體的被攝體不 同的被攝體。然后，處理進(jìn)入步驟S217。即使要追蹤的被攝體慢慢改變其方向或其姿勢(shì)，也可以每當(dāng)更新追蹤區(qū)域時(shí)，更 新與追蹤用的亮度信號(hào)的圖案有關(guān)的信息，以便繼續(xù)檢測(cè)要追蹤的被攝體。如果被攝體逐 步改變并且該改變的總和較大，則連續(xù)獲得的圖像數(shù)據(jù)之間的要追蹤的被攝體的亮度信號(hào) 間的相關(guān)度沒(méi)有降低，從而可以繼續(xù)追蹤。然而，如果判斷為由于僅使用亮度信號(hào)因而很可 能出現(xiàn)追蹤失敗，則由于僅使用亮度信號(hào)，因而難以區(qū)別是要追蹤的被攝體的狀況被極大 改變還是要追蹤的被攝體本身已丟失。在本典型實(shí)施例中，如果被攝體檢測(cè)單元106判斷 為由于僅使用亮度信號(hào)因而要追蹤的被攝體很可能丟失，則被攝體檢測(cè)單元106通過(guò)使用 不同于亮度信號(hào)的色相信號(hào)來(lái)判斷要追蹤的被攝體是否丟失。對(duì)于判斷被攝體檢測(cè)單元106是否丟失被攝體所使用的色相信號(hào)，不同于亮度信 號(hào)，即使更新了追蹤區(qū)域，也原樣使用從在開(kāi)始追蹤處理時(shí)設(shè)置的追蹤區(qū)域中獲得的色相 信號(hào)。這是因?yàn)榕c亮度信號(hào)的情況相同，同樣地在色相信號(hào)中，每當(dāng)更新追蹤區(qū)域時(shí)更新 追蹤區(qū)域的信息使得即使追蹤了與操作者初始指定的被攝體不同的被攝體，也難以判斷是 否追蹤了與該初始指定的被攝體不同的被攝體。為了讓操作者判斷在操作者指定要追蹤的 被攝體時(shí)所設(shè)置的追蹤區(qū)域中的被攝體是否丟失，判斷在開(kāi)始追蹤處理時(shí)的色相信號(hào)之間 的差是否大是有效的。在亮度信號(hào)中，獲得追蹤區(qū)域和比較區(qū)域之間的相應(yīng)像素間的差，從而被攝體的 方向和姿勢(shì)的輕微變化極大改變了相關(guān)度的值。另一方面，在色相信號(hào)中，僅相互比較色相 的種類(lèi)的數(shù)量，從而色相信號(hào)不受被攝體的方向和姿勢(shì)的影響。因此，在第一信號(hào)(亮度信 號(hào))中，使用如下方法，其中該方法不僅通過(guò)信號(hào)的值還通過(guò)信號(hào)的排列來(lái)改變?cè)u(píng)價(jià)值，以
12提高追蹤精度。另一方面，在第二信號(hào)(色相信號(hào))中，在第一信號(hào)的追蹤結(jié)果的可靠性不 高的情況下，使用如下方法來(lái)輔助關(guān)于追蹤是否成功的判斷，其中該方法不依賴(lài)于信號(hào)的 排列而僅通過(guò)信號(hào)的值來(lái)確定評(píng)價(jià)值。將這些方法相結(jié)合能實(shí)現(xiàn)位置檢測(cè)精度高的追蹤處 理，并且進(jìn)行該追蹤處理，由此即使要追蹤的被攝體的狀態(tài)輕微改變，也不會(huì)判斷為要追蹤 的被攝體容易丟失。在步驟S217，被攝體檢測(cè)單元106復(fù)位存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的追蹤 區(qū)域的亮度信號(hào)的圖案，并向被攝體位置設(shè)置單元115通知追蹤失敗。被攝體位置設(shè)置單 元115復(fù)位與追蹤區(qū)域的位置和范圍有關(guān)的信息，并且顯示單元107刪除疊加在圖像上的 所顯示的追蹤框。在步驟S219，被攝體檢測(cè)單元106使用包括在最新的追蹤區(qū)域中的各像素的亮度 信號(hào)，更新存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的追蹤區(qū)域的亮度信號(hào)的圖案。如果在步驟 S218中更新了追蹤區(qū)域，則被攝體檢測(cè)單元106使用第二圖像數(shù)據(jù)中的追蹤區(qū)域的亮度信 號(hào)進(jìn)行更新。如果在步驟S216判斷為很可能追蹤了與被指定為要追蹤的被攝體的被攝體 相同的被攝體，則使用第三圖像數(shù)據(jù)中的追蹤區(qū)域的亮度信號(hào)進(jìn)行更新。被攝體檢測(cè)單元 106向被攝體位置設(shè)置單元115通知與更新了亮度信號(hào)的追蹤區(qū)域的位置和范圍有關(guān)的信 息。顯示單元107接收來(lái)自被攝體位置設(shè)置單元115的信息，并根據(jù)該信息維持疊加在圖 像上的所顯示的追蹤框或者更新該追蹤框。在步驟S214，如果被攝體檢測(cè)單元106判斷為亮度信號(hào)之間的差的和較大，則被 攝體檢測(cè)單元106可以不僅對(duì)于在這之后獲得的一個(gè)幀的圖像數(shù)據(jù)而且還對(duì)于多個(gè)幀的 圖像數(shù)據(jù)，判斷色相信號(hào)之間的差的和是否大。這是因?yàn)槿绻系K物出現(xiàn)在要追蹤的被 攝體這一側(cè)，則該障礙物不總是立即從要追蹤的被攝體這一側(cè)消失，因此要追蹤的被攝體 可能在多個(gè)幀中從圖像數(shù)據(jù)消失?？紤]到上述情況，如果追蹤區(qū)域和比較區(qū)域之間的亮度 信號(hào)間的差的和較大，則在之后的數(shù)個(gè)幀中將比較區(qū)域的色相信號(hào)與初始色相信號(hào)進(jìn)行比 較。當(dāng)該差一旦變小時(shí)，處理可以快速進(jìn)入步驟S219。圖5A 5E是示出根據(jù)本典型實(shí)施例的追蹤處理的示意圖。在圖5A所示的幀圖像中，操作者將向右看的人物的面部設(shè)置為要追蹤的被攝體。 在圖5B所示的幀圖像中，使用亮度信號(hào)的圖案的相關(guān)度來(lái)成功地追蹤人物的面部。在圖 5C所示的幀圖像中，該人物轉(zhuǎn)向其它側(cè)，以隱藏向右看的人物的面部，這使得僅出現(xiàn)該人物 的頭部的背面。在圖5D所示的幀圖像中，該人物轉(zhuǎn)向左側(cè)，以隱藏頭部的背面，這使得出現(xiàn) 向左看的人物的面部。在圖5C所示的幀圖像中，該人物改變其方向，從而在圖5C所示的幀 圖像中不存在與圖5B所示的幀圖像中的追蹤區(qū)域的亮度信號(hào)的相關(guān)度等于或大于閾值的 區(qū)域。由于該原因，在追蹤區(qū)域的位置沒(méi)有移動(dòng)的情況下，將圖5D所示的幀圖像中的追蹤 區(qū)域的色相信號(hào)與圖5A所示的幀圖像中的追蹤區(qū)域的色相信號(hào)進(jìn)行比較。盡管在圖5A和 5D之間人物的面部的方向彼此相反，然而在構(gòu)成面部的色相信號(hào)的差值之間不存在較大的 差，因此判斷為在圖5D中追蹤是成功的。將圖5D的追蹤區(qū)域的亮度信號(hào)新存儲(chǔ)在被攝體 信息存儲(chǔ)單元116中。從圖5E所示的幀圖像中檢測(cè)向左看的人物的面部作為與新存儲(chǔ)的 亮度信號(hào)高度相關(guān)的區(qū)域，然后將該區(qū)域更新為新的追蹤區(qū)域。在步驟S220，控制單元102判斷包括在操作單元101中的快門(mén)開(kāi)關(guān)是否被半按下 (SWl是否接通(ON))。如果快門(mén)開(kāi)關(guān)被半按下(步驟S220中為“是”)，則處理進(jìn)入步驟S221。如果快門(mén)開(kāi)關(guān)沒(méi)有被半按下(步驟S220中為“否”)，則處理返回至步驟S201。在步驟S221，控制單元102分別指示AF處理單元108和AE處理單元109進(jìn)行AF 和AE處理操作。如果設(shè)置了追蹤區(qū)域，則與沒(méi)有設(shè)置追蹤區(qū)域的情況相比，進(jìn)行將較大的 權(quán)重分配給追蹤區(qū)域的AF和AE處理操作。在步驟S222，控制單元102判斷包括在操作單元101中的快門(mén)開(kāi)關(guān)是否被全按下 (SW2是否接通)。如果快門(mén)開(kāi)關(guān)被全按下(步驟S222中為“是”)，則處理進(jìn)入步驟S223。 如果快門(mén)開(kāi)關(guān)沒(méi)有被全按下(步驟S222中為“否”)，則處理返回至步驟S220。在步驟S223，控制單元102進(jìn)行主曝光，以生成靜止圖像數(shù)據(jù)，并且控制單元102 使格式轉(zhuǎn)換單元112將所生成的圖像數(shù)據(jù)轉(zhuǎn)換為處理用格式，并使圖像存儲(chǔ)單元113將轉(zhuǎn) 換后的格式存儲(chǔ)至外部存儲(chǔ)器。如上所述，在本典型實(shí)施例中，使用亮度信號(hào)的圖案的相關(guān)度來(lái)進(jìn)行被攝體的追 蹤處理。在要追蹤的被攝體很可能丟失的情況下，使用色相信號(hào)的相關(guān)度來(lái)判斷追蹤是否 成功。在使用亮度信號(hào)進(jìn)行追蹤時(shí)，如果信號(hào)的值和排列這兩者沒(méi)有精確地一致，則被 攝體不被認(rèn)為是同一被攝體，從而降低了錯(cuò)誤追蹤的可能性。另一方面，如果被攝體改變其 方向或者障礙物臨時(shí)出現(xiàn)，則要追蹤的被攝體很可能丟失。在使用色相信號(hào)進(jìn)行追蹤時(shí)，如 果信號(hào)的排列不一致但是信號(hào)的值精確地一致，則被攝體被認(rèn)為是同一被攝體，因此即使 該被攝體改變其方向，要追蹤的被攝體也很難丟失。另一方面，很可能錯(cuò)誤地追蹤了顏色類(lèi) 似的被攝體。在本典型實(shí)施例中，穿插地使用這多種類(lèi)型(兩種類(lèi)型)的信號(hào)來(lái)進(jìn)行追蹤處理， 從而使得實(shí)現(xiàn)了在降低錯(cuò)誤追蹤的可能性的同時(shí)不容易丟失被攝體的追蹤處理。在第一典型實(shí)施例中，在步驟S207，被攝體信息存儲(chǔ)單元116存儲(chǔ)初始色相信號(hào)。 在繼續(xù)追蹤處理時(shí)沒(méi)有更新該初始色相信號(hào)。本發(fā)明的第二典型實(shí)施例與第一典型實(shí)施例 的不同之處在于考慮到由于被攝體在戶(hù)外移動(dòng)或者進(jìn)入商店可能改變照射該被攝體的光 源的色溫，定期地更新存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的色相信號(hào)。與第一典型實(shí)施例的情況相同，根據(jù)第二典型實(shí)施例的圖像處理設(shè)備同樣是圖1 所示的數(shù)字照相機(jī)。圖6A和6B示出表示根據(jù)第二典型實(shí)施例的數(shù)字照相機(jī)的追蹤判斷處理的流程 圖。將相同的附圖標(biāo)記分配給進(jìn)行與圖2A和2B所示的流程圖中的處理相同的處理的步驟。 以下主要說(shuō)明與圖2A和2B所示的流程圖中的處理不同的處理。在步驟S205，如果被攝體檢測(cè)單元106判斷為追蹤區(qū)域中的圖像數(shù)據(jù)滿(mǎn)足對(duì)比度 值，則在步驟S206，被攝體檢測(cè)單元106檢測(cè)包括在追蹤區(qū)域中的亮度信號(hào)，并將該亮度信 號(hào)的圖案存儲(chǔ)在被攝體信息存儲(chǔ)單元116中。在步驟S501，被攝體檢測(cè)單元106檢測(cè)包括在追蹤區(qū)域中的各像素的色相信號(hào)， 并將圖3所示的表示在追蹤區(qū)域中存在什么色相以及存在多少色相的與色相信號(hào)有關(guān)的 信息作為色相信號(hào)存儲(chǔ)在被攝體信息存儲(chǔ)單元116中。在步驟S502，被攝體檢測(cè)單元106復(fù)位計(jì)時(shí)器(未示出)，以開(kāi)始測(cè)量時(shí)間。處理 進(jìn)入步驟S212。計(jì)時(shí)器進(jìn)行動(dòng)作以檢測(cè)更新色相信號(hào)的時(shí)刻。在本典型實(shí)施例中，如果計(jì) 時(shí)器達(dá)到預(yù)定值Tth，則更新存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的色相信號(hào)。
在步驟S213，被攝體檢測(cè)單元106從第二圖像數(shù)據(jù)中提取與存儲(chǔ)在被攝體信息存 儲(chǔ)單元116中的追蹤區(qū)域的亮度信號(hào)的圖案最相關(guān)的區(qū)域。在步驟S214，被攝體檢測(cè)單元 106判斷最相關(guān)區(qū)域和追蹤區(qū)域的亮度信號(hào)之間的差的總和是否等于或大于閾值。如果被 攝體檢測(cè)單元106判斷為差的總和小于該閾值(步驟S214中為“否”)，則處理進(jìn)入步驟 S218，以更新與追蹤區(qū)域的位置和范圍有關(guān)的信息。如果被攝體檢測(cè)單元106判斷為差的 總和等于或大于該閾值(步驟S214中為“是”)，則處理進(jìn)入步驟S215。被攝體檢測(cè)單元 106計(jì)算其位置和范圍與追蹤區(qū)域的位置和范圍相同的區(qū)域的色相信號(hào)。然后，處理進(jìn)入步 驟 S503。在步驟S503，被攝體檢測(cè)單元106將在步驟S215中確定出的色相信號(hào)與存儲(chǔ)在被 攝體信息存儲(chǔ)單元116中的色相信號(hào)進(jìn)行比較，以判斷該差是否較大。如果該差較大(步 驟S503中為“是”)，則處理進(jìn)入步驟S217，以復(fù)位追蹤區(qū)域。如果該差不大(步驟S503中 為“否”)，則處理進(jìn)入步驟S219。在步驟S219，被攝體檢測(cè)單元106使用包括在追蹤區(qū)域中的各像素的亮度信號(hào)來(lái) 更新該追蹤區(qū)域的亮度信號(hào)的圖案。在步驟S504，被攝體檢測(cè)單元106判斷計(jì)時(shí)器所測(cè)得的時(shí)間t是否達(dá)到預(yù)定值 Tth0如果時(shí)間t達(dá)到了該預(yù)定值Tth (步驟S504中為“是”)，則處理進(jìn)入步驟S505。如果 時(shí)間t沒(méi)有達(dá)到該預(yù)定值Tth (步驟S504中為“否”)，則處理進(jìn)入步驟S220。例如，以數(shù)秒 或數(shù)十秒為單位設(shè)置該預(yù)定值Tth。將追蹤區(qū)域的色相信號(hào)的更新周期設(shè)置為比每隔數(shù)幀 更新的追蹤區(qū)域的亮度信號(hào)的更新周期足夠長(zhǎng)的時(shí)間段。這是因?yàn)榕c亮度信號(hào)的情況相 同，頻繁地更新色相信號(hào)會(huì)使得色相信號(hào)易受到在被攝體改變其方向或障礙物臨時(shí)出現(xiàn)時(shí) 產(chǎn)生的影響。在步驟S505，被攝體檢測(cè)單元106從用于在步驟S219中更新亮度信號(hào)的圖案的追 蹤區(qū)域的圖像數(shù)據(jù)中提取色相信號(hào)，并更新圖3所示的存儲(chǔ)在被攝體信息存儲(chǔ)單元116中 的色相信號(hào)。在步驟S506，被攝體檢測(cè)單元106復(fù)位計(jì)時(shí)器，以再次開(kāi)始測(cè)量時(shí)間。在本典型實(shí)施例中，被攝體檢測(cè)單元106還以不受要追蹤的被攝體的臨時(shí)變化影 響的周期來(lái)更新存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的色相信號(hào)。這使得即使被攝體的色相 信號(hào)由于諸如戶(hù)外與室內(nèi)條件之間的差異或照明的變化等的被攝體周?chē)h(huán)境的變化而改 變，也可以防止要追蹤的被攝體丟失。在本典型實(shí)施例中，每當(dāng)更新色相信號(hào)時(shí)復(fù)位計(jì)時(shí)器，且如果計(jì)時(shí)器測(cè)得的時(shí)間 達(dá)到預(yù)定值，則允許更新色相信號(hào)。然而，本發(fā)明不局限于上述典型實(shí)施例。如果要追蹤的 被攝體周?chē)牧炼取⑸嗷蝻柡投鹊鹊淖兓^(guò)基準(zhǔn)值，則可以通過(guò)判斷為在要追蹤的被 攝體的色相信號(hào)中可能發(fā)生變化來(lái)更新存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的色相信號(hào)。在本典型實(shí)施例中，盡管實(shí)際從更新后的追蹤區(qū)域中提取色相信號(hào)以更新存儲(chǔ)在 被攝體信息存儲(chǔ)單元116中的色相信號(hào)，然而本發(fā)明并不局限于上述典型實(shí)施例。例如，數(shù) 字照相機(jī)設(shè)置有用于檢測(cè)被攝體的環(huán)境光的色溫的色溫檢測(cè)電路，并且可以根據(jù)由該色溫 檢測(cè)電路檢測(cè)到的色溫的變化來(lái)校正存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的色相信號(hào)。可選 地，數(shù)字照相機(jī)計(jì)算被攝體以外的區(qū)域的白平衡的值，并且可以根據(jù)白平衡的值的變化來(lái) 校正存儲(chǔ)在被攝體信息存儲(chǔ)單元116中的色相信號(hào)。
在上述典型實(shí)施例中，使用亮度信號(hào)的圖案的相關(guān)度來(lái)追蹤幀之間的被攝體。如 果判斷為在僅使用亮度信號(hào)的相關(guān)度追蹤被攝體時(shí)很可能出現(xiàn)失敗，則判斷使用色相信號(hào) 追蹤被攝體時(shí)是否出現(xiàn)失敗。然而，本發(fā)明并不局限于上述典型實(shí)施例?？梢允褂蒙钚?號(hào)等的其它顏色信號(hào)或表示飽和度的信號(hào)來(lái)代替色相信號(hào)，或者可以一起使用這些信號(hào)。不僅可以使用亮度信號(hào)還可以使用飽和度信號(hào)或色相信號(hào)來(lái)確定圖4A和4B所示 的各像素的信號(hào)水平的差的總和，以追蹤被攝體。如果判斷為在僅使用飽和度信號(hào)或色相 信號(hào)的相關(guān)度追蹤被攝體時(shí)很可能出現(xiàn)失敗，則可以判斷使用亮度信號(hào)追蹤被攝體時(shí)是否 出現(xiàn)失敗。在這種情況下，例如，根據(jù)亮度信號(hào)的水平將這些亮度信號(hào)劃分為多個(gè)組，并存 儲(chǔ)輸出屬于各組的亮度信號(hào)的像素的數(shù)量，因此可以類(lèi)似于在上述第一典型實(shí)施例和第二 典型實(shí)施例中使用色相信號(hào)的情況而進(jìn)行判斷。使用能夠詳細(xì)表示被攝體的形狀的亮度信號(hào)的第一典型實(shí)施例和第二典型實(shí)施 例與使用顏色信號(hào)的情況相比，更優(yōu)選之處在于可以在區(qū)別被攝體的詳細(xì)圖案的情況下 以高精度進(jìn)行追蹤。除了上述攝像設(shè)備或圖像再現(xiàn)設(shè)備以外，還可以通過(guò)系統(tǒng)或設(shè)備的計(jì)算機(jī)(CPU 或MPU)以軟件形式來(lái)實(shí)現(xiàn)上述典型實(shí)施例?？梢圆捎眠@種結(jié)構(gòu)經(jīng)由存儲(chǔ)介質(zhì)或有線(xiàn)/無(wú) 線(xiàn)通信來(lái)接收?qǐng)D像數(shù)據(jù)，并對(duì)該圖像數(shù)據(jù)進(jìn)行追蹤處理。提供至計(jì)算機(jī)以通過(guò)計(jì)算機(jī)實(shí)現(xiàn)上述典型實(shí)施例的計(jì)算機(jī)程序自身也實(shí)現(xiàn)了本 發(fā)明。換句話(huà)說(shuō)，用于實(shí)現(xiàn)上述典型實(shí)施例的功能的計(jì)算機(jī)程序自身也構(gòu)成了本發(fā)明。用于實(shí)現(xiàn)上述典型實(shí)施例的計(jì)算機(jī)程序可以是任何形式，只要該程序是計(jì)算機(jī)可 讀的即可。將用于實(shí)現(xiàn)上述典型實(shí)施例的計(jì)算機(jī)程序經(jīng)由存儲(chǔ)介質(zhì)或有線(xiàn)/無(wú)線(xiàn)通信提供 至計(jì)算機(jī)。當(dāng)經(jīng)由有線(xiàn)/無(wú)線(xiàn)通信提供該計(jì)算機(jī)程序時(shí)，可以使用計(jì)算機(jī)網(wǎng)絡(luò)上的服務(wù)器。 在這種情況下，將作為用于實(shí)現(xiàn)本發(fā)明的計(jì)算機(jī)程序的數(shù)據(jù)文件(程序文件)存儲(chǔ)在該服 務(wù)器中。將該程序文件下載至訪(fǎng)問(wèn)該服務(wù)器的客戶(hù)端計(jì)算機(jī)。換句話(huà)說(shuō)，向客戶(hù)端計(jì)算機(jī)提供用于實(shí)現(xiàn)上述典型實(shí)施例的程序文件的服務(wù)器也 構(gòu)成了本發(fā)明?？梢詫?duì)存儲(chǔ)有用于實(shí)現(xiàn)上述典型實(shí)施例的加密計(jì)算機(jī)程序的存儲(chǔ)介質(zhì)進(jìn)行分發(fā)， 以允許將該程序安裝至計(jì)算機(jī)中。用于實(shí)現(xiàn)上述典型實(shí)施例的計(jì)算機(jī)程序可以使用當(dāng)前運(yùn)行在計(jì)算機(jī)上的操作系 統(tǒng)(OS)的功能。此外，用于實(shí)現(xiàn)上述典型實(shí)施例的計(jì)算機(jī)程序可以部分地由安裝至計(jì)算機(jī) 的擴(kuò)展板等的固件構(gòu)成，或者可以通過(guò)設(shè)置在該擴(kuò)展板上的CPU來(lái)執(zhí)行該計(jì)算機(jī)程序。盡管已經(jīng)參考典型實(shí)施例說(shuō)明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開(kāi) 的典型實(shí)施例。所附權(quán)利要求書(shū)的范圍符合最寬的解釋?zhuān)园羞@類(lèi)修改、等同結(jié)構(gòu)和 功能。
權(quán)利要求
一種圖像處理設(shè)備，用于通過(guò)根據(jù)包括多個(gè)圖像數(shù)據(jù)的動(dòng)畫(huà)檢測(cè)被攝體的追蹤區(qū)域來(lái)進(jìn)行追蹤，所述圖像處理設(shè)備包括設(shè)置單元，用于設(shè)置圖像數(shù)據(jù)中的所述追蹤區(qū)域；存儲(chǔ)單元，用于存儲(chǔ)從所述追蹤區(qū)域中提取出的第一信號(hào)和第二信號(hào)；以及檢測(cè)單元，用于從所述圖像數(shù)據(jù)中提取具有與所述第一信號(hào)之間的差最小的信號(hào)的區(qū)域，并利用所提取的區(qū)域來(lái)更新所述追蹤區(qū)域；其中，如果所述檢測(cè)單元從所述圖像數(shù)據(jù)中未能提取出具有與所述第一信號(hào)之間的差小于閾值的信號(hào)的區(qū)域，則所述檢測(cè)單元判斷從所述圖像數(shù)據(jù)中是否能提取出具有與所述第二信號(hào)之間的差小于閾值的信號(hào)的區(qū)域，如果未能提取出該區(qū)域，則所述檢測(cè)單元復(fù)位所述追蹤區(qū)域，如果能夠提取出該區(qū)域，則所述檢測(cè)單元繼續(xù)更新所述追蹤區(qū)域，以及當(dāng)更新所述追蹤區(qū)域時(shí)，所述存儲(chǔ)單元更新所述第一信號(hào)。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，對(duì)于所述第一信號(hào)，所述存儲(chǔ)單 元存儲(chǔ)包括在所述追蹤區(qū)域中的各像素的所述第一信號(hào)的值和排列，并且對(duì)于所述第二信 號(hào)，所述存儲(chǔ)單元存儲(chǔ)包括在所述追蹤區(qū)域中的各像素的所述第二信號(hào)的值。
3.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，對(duì)于所述第一信號(hào)，所述存儲(chǔ)單 元存儲(chǔ)與包括在所述追蹤區(qū)域中的各像素的位置相對(duì)應(yīng)的信號(hào)的值，并且對(duì)于所述第二信 號(hào)，所述存儲(chǔ)單元對(duì)包括在所述追蹤區(qū)域中的各像素的值進(jìn)行分組并存儲(chǔ)包括在各組中的 像素的數(shù)量。
4.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述存儲(chǔ)單元存儲(chǔ)當(dāng)所述設(shè)置 單元設(shè)置所述追蹤區(qū)域時(shí)所提取出的所述第一信號(hào)和所述第二信號(hào)。
5.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其特征在于，所述第一信號(hào)包括亮度信號(hào)，所 述第二信號(hào)包括顏色信號(hào)。
6.一種圖像處理設(shè)備，用于通過(guò)根據(jù)包括多個(gè)圖像數(shù)據(jù)的動(dòng)畫(huà)檢測(cè)被攝體的追蹤區(qū)域 來(lái)進(jìn)行追蹤，所述圖像處理設(shè)備包括設(shè)置單元，用于設(shè)置圖像數(shù)據(jù)中的所述追蹤區(qū)域；存儲(chǔ)單元，用于存儲(chǔ)從所述圖像數(shù)據(jù)中的所述追蹤區(qū)域中提取出的第一信號(hào)和第二信 號(hào)；以及檢測(cè)單元，用于從所述圖像數(shù)據(jù)中提取具有與所述第一信號(hào)之間的差最小的信號(hào)的區(qū) 域，并利用所提取的區(qū)域來(lái)更新所述追蹤區(qū)域；其中，如果所述檢測(cè)單元從所述圖像數(shù)據(jù)中未能提取出具有與所述第一信號(hào)之間的差 小于閾值的信號(hào)的區(qū)域，則所述檢測(cè)單元判斷從所述圖像數(shù)據(jù)中是否能提取出具有與所述 第二信號(hào)之間的差小于閾值的信號(hào)的區(qū)域，如果未能提取出該區(qū)域，則所述檢測(cè)單元復(fù)位 所述追蹤區(qū)域，如果能夠提取出該區(qū)域，則所述檢測(cè)單元繼續(xù)更新所述追蹤區(qū)域，以及在繼續(xù)更新所述追蹤區(qū)域期間，所述第二信號(hào)的更新周期長(zhǎng)于所述第一信號(hào)的更新周期。
7.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，對(duì)于所述第一信號(hào)，所述存儲(chǔ)單 元存儲(chǔ)包括在所述追蹤區(qū)域中的各像素的所述第一信號(hào)的值和排列，并且對(duì)于所述第二信 號(hào)，所述存儲(chǔ)單元存儲(chǔ)包括在所述追蹤區(qū)域中的各像素的所述第二信號(hào)的值而沒(méi)有存儲(chǔ)包 括在所述追蹤區(qū)域中的各像素的所述第二信號(hào)的排列。2
8.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，對(duì)于所述第一信號(hào)，所述存儲(chǔ)單 元存儲(chǔ)與包括在所述追蹤區(qū)域中的各像素的位置相對(duì)應(yīng)的信號(hào)的值，并且對(duì)于所述第二信 號(hào)，所述存儲(chǔ)單元對(duì)包括在所述追蹤區(qū)域中的各像素的值進(jìn)行分組并存儲(chǔ)包括在各組中的 像素的數(shù)量。
9.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，所述存儲(chǔ)單元存儲(chǔ)當(dāng)所述設(shè)置 單元設(shè)置所述追蹤區(qū)域時(shí)所提取出的所述第一信號(hào)和所述第二信號(hào)。
10.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，還包括計(jì)時(shí)器，所述計(jì)時(shí)器用 于測(cè)量所述第二信號(hào)的更新周期，其中，如果更新所述追蹤區(qū)域并且所測(cè)得的時(shí)間達(dá)到了預(yù)定值，則所述存儲(chǔ)單元更新 所述第二信號(hào)。
11.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，所述第一信號(hào)包括亮度信號(hào)， 所述第二信號(hào)包括顏色信號(hào)。
12.根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其特征在于，所述第二信號(hào)包括色相信號(hào)， 并且根據(jù)所述被攝體的環(huán)境光的色溫的變化或從所述圖像數(shù)據(jù)計(jì)算出的白平衡的值的變 化來(lái)更新所述第二信號(hào)的值。
13.一種圖像處理方法，用于通過(guò)根據(jù)包括多個(gè)圖像數(shù)據(jù)的動(dòng)畫(huà)檢測(cè)被攝體的追蹤區(qū) 域來(lái)進(jìn)行追蹤，所述圖像處理方法包括以下步驟設(shè)置圖像數(shù)據(jù)中的所述追蹤區(qū)域；存儲(chǔ)從所述追蹤區(qū)域中提取出的第一信號(hào)和第二信號(hào)；從所述圖像數(shù)據(jù)中提取具有與所述第一信號(hào)之間的差最小的信號(hào)的區(qū)域，并利用所提 取的區(qū)域來(lái)更新所述追蹤區(qū)域；如果從所述圖像數(shù)據(jù)中未能提取出具有與所述第一信號(hào)之間的差小于閾值的信號(hào)的 區(qū)域，則判斷從所述圖像數(shù)據(jù)中是否能提取出具有與所述第二信號(hào)之間的差小于閾值的信 號(hào)的區(qū)域，如果未能提取出該區(qū)域，則復(fù)位所述追蹤區(qū)域，如果能夠提取出該區(qū)域，則繼續(xù) 更新所述追蹤區(qū)域；以及當(dāng)更新所述追蹤區(qū)域時(shí)，更新所述第一信號(hào)。
14.一種圖像處理方法，用于通過(guò)根據(jù)包括多個(gè)圖像數(shù)據(jù)的動(dòng)畫(huà)檢測(cè)被攝體的追蹤區(qū) 域來(lái)進(jìn)行追蹤，所述圖像處理方法包括以下步驟設(shè)置圖像數(shù)據(jù)中的所述追蹤區(qū)域；存儲(chǔ)從所述追蹤區(qū)域中提取出的第一信號(hào)和第二信號(hào)；從所述圖像數(shù)據(jù)中提取具有與所述第一信號(hào)之間的差最小的信號(hào)的區(qū)域，并利用所提 取的區(qū)域來(lái)更新所述追蹤區(qū)域；如果從所述圖像數(shù)據(jù)中未能提取出具有與所述第一信號(hào)之間的差小于閾值的信號(hào)的 區(qū)域，則判斷從所述圖像數(shù)據(jù)中是否能提取出具有與所述第二信號(hào)之間的差小于閾值的信 號(hào)的區(qū)域，如果未能提取出該區(qū)域，則復(fù)位所述追蹤區(qū)域，如果能夠提取出該區(qū)域，則繼續(xù) 更新所述追蹤區(qū)域；以及在繼續(xù)更新所述追蹤區(qū)域期間，以比更新所述第一信號(hào)的周期長(zhǎng)的周期來(lái)更新所述第 二信號(hào)。
15.根據(jù)權(quán)利要求14所述的圖像處理方法，其特征在于，還包括對(duì)于所述第一信號(hào)，存儲(chǔ)包括在所述追蹤區(qū)域中的各像素的所述第一信號(hào)的值和排 列；以及對(duì)于所述第二信號(hào)，存儲(chǔ)包括在所述追蹤區(qū)域中的各像素的所述第二信號(hào)的值。
16.根據(jù)權(quán)利要求14所述的圖像處理方法，其特征在于，還包括 對(duì)于所述第一信號(hào)，存儲(chǔ)與包括在所述追蹤區(qū)域中的各像素的位置相對(duì)應(yīng)的信號(hào)的 值；以及對(duì)于所述第二信號(hào)，對(duì)包括在所述追蹤區(qū)域中的各像素的值進(jìn)行分組并存儲(chǔ)包括在各 組中的像素的數(shù)量。
全文摘要
本發(fā)明涉及一種圖像處理設(shè)備和圖像處理方法。該圖像處理設(shè)備存儲(chǔ)從圖像數(shù)據(jù)的追蹤區(qū)域中提取出的亮度信號(hào)和顏色信號(hào)，并確定與所存儲(chǔ)的亮度信號(hào)的相關(guān)度，由此提取出其它圖像數(shù)據(jù)中指定被攝體存在的區(qū)域，從而使用所提取的區(qū)域的位置信息來(lái)更新追蹤區(qū)域。如果從亮度信號(hào)未能獲得充分的相關(guān)度，則該圖像處理設(shè)備進(jìn)行與所存儲(chǔ)的顏色信號(hào)的比較，以判斷指定被攝體是否丟失。每當(dāng)更新追蹤區(qū)域時(shí)，該圖像處理設(shè)備更新亮度信號(hào)，但是即使更新追蹤區(qū)域也不更新顏色信號(hào)，或者以比更新亮度信號(hào)的周期長(zhǎng)的周期來(lái)更新顏色信號(hào)。
文檔編號(hào)G06T7/20GK101986691SQ201010243538
公開(kāi)日2011年3月16日 申請(qǐng)日期2010年7月28日 優(yōu)先權(quán)日2009年7月28日
發(fā)明者宮崎康嘉 申請(qǐng)人:佳能株式會(huì)社