本發(fā)明涉及控制裝置和攝像設(shè)備。

背景技術(shù)：

已知具有抑制由于手抖動等引起的圖像的模糊的圖像模糊校正功能以及被攝體是人的情況下的面部檢測功能和人體檢測功能的攝像設(shè)備。例如，預(yù)先確定用于判斷人的面部的圖案，并且將拍攝圖像中所包括的與該圖案相同的部分檢測為面部圖像。在調(diào)焦控制、曝光控制等中參考檢測到的人的面部圖像。

在拍攝移動被攝體或在具有大焦距的遠(yuǎn)攝模式中拍攝被攝體的情況下，發(fā)生以下事項。在被攝體移動到攝像視角以外的情況下，需要拍攝者僅通過純手動操作來高精度地追蹤持續(xù)移動的被攝體的特殊技能。此外，在使用具有遠(yuǎn)攝鏡頭的照相機(jī)進(jìn)行拍攝的情況下，由于手抖動對圖像模糊的影響增加，所以難以將主被攝體維持在拍攝圖像的中心位置。在拍攝者操作照相機(jī)以再次在視角內(nèi)捕捉被攝體的情況下，根據(jù)拍攝者有意地操作照相機(jī)時發(fā)生的手抖動量來校正圖像模糊。由此，根據(jù)圖像模糊校正控制的影響，拍攝者可能難以進(jìn)行微調(diào)以在視角內(nèi)捕捉被攝體或使被攝體圖像位于拍攝圖像的中心位置。

日本特開2010-93362公開了通過在與光軸交叉的方向上移動光學(xué)系統(tǒng)的部分來自動追蹤被攝體的攝像設(shè)備。從利用攝像元件所獲得的圖像信號中檢測被攝體的位置，并計算被攝體追蹤計算量。將被攝體追蹤計算量與模糊校正計算量組合以在校正圖像模糊的情況下進(jìn)行被攝體追蹤控制。

技術(shù)實現(xiàn)要素：

一種控制裝置，包括：校正控制單元，其被配置為獲取模糊檢測單元檢測到的模糊檢測信號以計算圖像模糊的校正量，以及對被配置為校正所述圖像模糊的圖像模糊校正單元進(jìn)行控制；被攝體檢測單元，其被配置為檢測拍攝圖像中的被攝體的位置，以及獲取所述拍攝圖像中的所述被攝體的位置信息；追蹤控制單元，其被配置為基于所述被攝體檢測單元所獲取的所述被攝體的位置信息來進(jìn)行所述被攝體的追蹤控制；以及設(shè)置單元，其被配置為設(shè)置所述追蹤控制單元的控制狀態(tài)，其中，所述設(shè)置單元通過從多個控制狀態(tài)中選擇要設(shè)置的控制狀態(tài)來設(shè)置所述追蹤控制單元的控制狀態(tài)，所述多個控制狀態(tài)包括未設(shè)置追蹤被攝體可選模式的第一狀態(tài)和設(shè)置了所述追蹤被攝體可選模式但未選擇追蹤被攝體的第二狀態(tài)，以及所述校正控制單元獲取與所述設(shè)置單元所選擇的控制狀態(tài)有關(guān)的信息，并且進(jìn)行控制以改變用于計算所述校正量的特性，使得所述第二狀態(tài)下的圖像模糊校正效果高于所述第一狀態(tài)下的圖像模糊校正效果。

一種攝像設(shè)備，包括獲得被攝體圖像的攝像元件和上述的控制裝置。

一種控制裝置，包括：校正控制單元，其被配置為獲取模糊檢測單元檢測到的模糊檢測信號以計算圖像模糊的校正量，以及對被配置為校正所述圖像模糊的圖像模糊校正單元進(jìn)行控制；被攝體檢測單元，其被配置為檢測拍攝圖像中的被攝體，以及獲取所述拍攝圖像中的所述被攝體的位置信息；以及追蹤控制單元，其被配置為基于所述被攝體檢測單元所獲取的所述被攝體的位置信息來進(jìn)行所述被攝體的追蹤控制，其中，所述校正控制單元基于所述被攝體檢測單元所獲取的被攝體檢測結(jié)果來改變圖像模糊校正效果的程度。

一種攝像設(shè)備，其包括用于獲得被攝體圖像的攝像元件和上述的控制裝置。

一種控制裝置，包括：校正控制單元，其被配置為獲取模糊檢測單元檢測到的模糊檢測信號以計算圖像模糊的校正量，以及對被配置為校正所述圖像模糊的圖像模糊校正單元進(jìn)行控制；被攝體檢測單元，其被配置為檢測拍攝圖像中的被攝體的位置，以及獲取所述拍攝圖像中的所述被攝體的位置信息；追蹤控制單元，其被配置為基于所述被攝體檢測單元所獲取的所述被攝體的位置信息來進(jìn)行所述被攝體的追蹤控制；判斷單元，其被配置為判斷是否能夠進(jìn)行所述被攝體的追蹤；以及警告指示單元，其被配置為在所述判斷單元判斷為不能進(jìn)行所述被攝體的追蹤的情況下發(fā)出警告。

一種攝像設(shè)備，包括獲得被攝體圖像的攝像元件和上述的控制裝置。

通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。

附圖說明

圖1是示出根據(jù)第一實施例的攝像設(shè)備和該攝像設(shè)備的抖動方向的圖。

圖2是示出根據(jù)第一實施例的攝像設(shè)備的結(jié)構(gòu)示例的圖。

圖3a和3b是用于描述檢測到的被攝體的追蹤控制的圖。

圖4是根據(jù)第一實施例的追蹤量計算單元的功能框圖。

圖5a～圖5c是用于描述第一實施例的追蹤控制的被攝體指定方法的圖。

圖6是用于描述根據(jù)第一實施例的根據(jù)被攝體位置來設(shè)置模糊防止截止頻率的圖。

圖7是用于描述根據(jù)第一實施例的控制的流程圖。

圖8a和8b是示意性地示出根據(jù)第二實施例的攝像設(shè)備的圖。

圖9是示出根據(jù)第二實施例的攝像設(shè)備的結(jié)構(gòu)示例的圖。

圖10是示出根據(jù)第三實施例的攝像設(shè)備的結(jié)構(gòu)示例的圖。

圖11是示出根據(jù)第四實施例的攝像設(shè)備的結(jié)構(gòu)示例的圖。

圖12a～12h是示出根據(jù)第四實施例的追蹤控制期間的攝像設(shè)備的狀態(tài)和時序圖的示例的圖。

圖13a～13h是示出根據(jù)第四實施例的追蹤控制期間的攝像設(shè)備的狀態(tài)的示例和時序圖的示例的圖。

圖14a～14h是示出根據(jù)第四實施例的追蹤控制期間的攝像設(shè)備的狀態(tài)和時序圖的示例的圖。

圖15a～15h是示出根據(jù)第四實施例的追蹤控制期間的攝像設(shè)備的狀態(tài)和時序圖的示例的圖。

圖16a～16h是示出根據(jù)第四實施例的追蹤控制期間的攝像設(shè)備的狀態(tài)和時序圖的示例的圖。

圖17是示出根據(jù)第四實施例的攝像設(shè)備的結(jié)構(gòu)示例的圖。

圖18是示出根據(jù)第四實施例的攝像設(shè)備的結(jié)構(gòu)示例的圖。

具體實施方式

在下文中，將參照附圖詳細(xì)描述本發(fā)明的各個實施例。在各實施例中，將示出包括具有檢測抖動以校正圖像模糊的功能和自動追蹤被攝體的功能的控制裝置的攝像設(shè)備。本發(fā)明還可以應(yīng)用于諸如監(jiān)視照相機(jī)、網(wǎng)絡(luò)照相機(jī)或移動電話等的攝像設(shè)備，而不限于數(shù)字照相機(jī)或數(shù)字?jǐn)z像機(jī)。此外，本發(fā)明還可以應(yīng)用于鏡頭更換型和鏡頭一體型照相機(jī)。

(第一實施例)

在追蹤被攝體以使被攝體圖像的位置維持在拍攝圖像內(nèi)的特定位置(例如，中心位置)的系統(tǒng)中，被攝體追蹤控制是照相機(jī)自動進(jìn)行校正以使得被攝體圖像的位置處于特定位置的控制。因此，拍攝者不需要在追蹤控制期間進(jìn)行取景以追蹤被攝體。在這種情況下，在通過擴(kuò)大校正圖像模糊時的控制特性的頻率范圍來增強(qiáng)模糊校正效果(以下稱為圖像模糊校正效果)的情況下，能夠在消除手抖動等的影響的同時以平滑的被攝體追蹤進(jìn)行拍攝。

然而，在進(jìn)行這種被攝體追蹤的情況下，盡管拍攝者可以通過指定畫面中的被攝體來進(jìn)行追蹤以拍攝期望的被攝體，但是指定被攝體這件事本身可能有難度。例如，在拍攝鏡頭的焦距非常大(1000mm以上)的情況下，被攝體圖像可能由于手抖動的影響而移動，并且可能難以在視角內(nèi)捕捉被攝體以進(jìn)行取景。在這種情況下，在通過擴(kuò)大圖像模糊校正的控制特性的頻率范圍來增強(qiáng)圖像模糊校正效果的情況下，能夠減輕由于手抖動的影響而導(dǎo)致的取景的難度。然而，在圖像模糊校正效果增強(qiáng)的情況下，如果被攝體移動，則即使在拍攝者操作照相機(jī)以使得被攝體落入攝像視角內(nèi)的情況下，也針對拍攝者有意操作照相機(jī)時所發(fā)生的手抖動量進(jìn)行圖像模糊校正。根據(jù)圖像模糊校正效果的程度，可能難以再次在視角內(nèi)捕捉被攝體或者微調(diào)被攝體圖像的位置以使得被攝體圖像位于拍攝圖像的中心位置。因此，在本實施例中，將描述包括進(jìn)行圖像模糊校正和被攝體追蹤控制并且能夠提高拍攝者取景的容易程度的控制裝置的攝像設(shè)備。有時將該控制裝置稱為“圖像位置控制裝置”，這是因為該控制裝置通過進(jìn)行圖像模糊校正和被攝體追蹤控制來控制圖像位置。

圖1是用于描述根據(jù)本發(fā)明的各個實施例的攝像設(shè)備的抖動方向的圖。安裝在攝像設(shè)備101上的控制裝置包括圖像模糊校正裝置和被攝體追蹤控制裝置。

圖2示出了攝像設(shè)備101的攝像單元的結(jié)構(gòu)以及由攝像設(shè)備101中所包括的中央處理單元(cpu)105執(zhí)行的圖像模糊校正處理和自動追蹤處理的功能塊。

圖像模糊校正裝置例如相對于光軸102對箭頭103p和103y所指示的俯仰和橫擺方向上的角抖動進(jìn)行圖像模糊校正。將三維正交坐標(biāo)系的z軸方向定義為光軸方向，將與z軸正交的第一軸定義為x軸，并且將與x軸正交的第二軸定義為y軸。由箭頭103p指示的圍繞x軸的方向是俯仰方向，并且由箭頭103y指示的圍繞y軸的方向是橫擺方向。

用于允許快門行進(jìn)的釋放開關(guān)104設(shè)置在攝像設(shè)備101的主體中，并且根據(jù)對釋放開關(guān)104的操作將開關(guān)打開/關(guān)閉信號發(fā)送到cpu105。釋放開關(guān)104是兩級開關(guān)，其中第一開關(guān)(sw1)和第二開關(guān)(sw2)根據(jù)按壓量順次進(jìn)入開啟(on)狀態(tài)。在釋放開關(guān)104被半按下的情況下，sw1進(jìn)入on狀態(tài)，并且在釋放開關(guān)104被完全按下的情況下，sw2進(jìn)入on狀態(tài)。在sw1進(jìn)入on狀態(tài)的情況下，通過調(diào)焦鏡頭的驅(qū)動來進(jìn)行調(diào)焦，并且通過光圈的驅(qū)動來設(shè)置適當(dāng)?shù)钠毓饬俊Ｔ趕w2進(jìn)入on狀態(tài)的情況下，將從曝露于攝像元件106的光學(xué)圖像獲得的圖像數(shù)據(jù)記錄在記錄介質(zhì)上。

cpu105用作本實施例的控制裝置。本實施例可以應(yīng)用于包括cpu105的任意光學(xué)設(shè)備。攝像元件106和通過在與光軸102不同的方向上移動來校正畫面上的被攝體圖像的圖像模糊的模糊校正透鏡(以下也稱為校正透鏡)108位于攝像光學(xué)系統(tǒng)的光軸102上。

攝像設(shè)備101包括檢測角抖動的角速度的角速度檢測單元(以下稱為角速度計)。角速度計103檢測圖1中的箭頭103p所示的圍繞x軸的旋轉(zhuǎn)方向(俯仰方向)、以及箭頭103y所示的圍繞y軸的旋轉(zhuǎn)方向(橫擺方向)的角抖動。角速度計103輸出的檢測信號被輸入到cpu105，并且通過模糊校正角度計算單元109計算模糊校正角度。模糊校正角度計算單元109的輸出被輸入到靈敏度調(diào)整單元114。

在不進(jìn)行自動被攝體追蹤控制的情況下，模糊校正角度計算單元109基于角速度計103計算模糊校正角度。具體地，在模糊校正角度計算單元109中，偏移減法器110從作為角速度計103的輸出的檢測信號中去除作為檢測噪聲添加至角速度計103的直流(dc)分量。此外，積分濾波器單元111執(zhí)行積分處理并輸出角度信號。偏移減法器110例如使用高通濾波器(hpf)去除dc分量。此外，積分濾波器單元111使用由下面的表達(dá)式(1)表示的濾波器。表達(dá)式(1)表示組合了左側(cè)第一項的積分器和左側(cè)第二項的hpf的濾波器。該濾波器可以表示為具有時間常數(shù)t的低通濾波器(lpf)的表達(dá)式與時間常數(shù)t相乘的表達(dá)式。

模糊防止特性改變單元112的輸出被輸入到偏移減法器110和積分濾波器單元111。平搖判斷單元113的輸出被輸入到模糊防止特性改變單元112。追蹤開關(guān)(sw)121的輸出也輸入到模糊防止特性改變單元112，稍后將描述與追蹤sw121對應(yīng)的模糊防止特性改變單元112的處理。

平搖判斷單元113獲取角速度計103的輸出和作為積分濾波器單元111的輸出的模糊校正角度，并且判斷攝像設(shè)備101是否正在平搖。具體地，平搖判斷單元113將通過角速度計103所檢測到的攝像設(shè)備101的角速度與預(yù)定閾值進(jìn)行比較。在從檢測到的角速度超過閾值的時間點(diǎn)起經(jīng)過了預(yù)定時間段(判斷用的時間段)的情況下，判斷為攝像設(shè)備101正在平搖，并且將判斷信號輸出到模糊防止特性改變單元112。

在判斷為攝像設(shè)備101正在平搖的情況下，平搖判斷單元113向模糊防止特性改變單元112發(fā)出增大朝向控制范圍的中心的推力的指示，使得積分濾波器單元111輸出的模糊校正角度不會變得太大。推力是指控制模糊校正角度接近控制范圍的中心的控制動作。此外，在判斷為攝像設(shè)備101沒有平搖的情況下，平搖判斷單元113向模糊防止特性改變單元112發(fā)出減小朝向控制范圍的中心的推力的指示。這里，朝向控制范圍的中心的推力可以根據(jù)平搖的大小而逐漸改變。平搖的大小是檢測到的角速度的大小或該角速度超過閾值的時間段的長度。在本實施例中，將通過示例的方式描述平搖操作。由于除了方向差異之外，對于傾斜操作進(jìn)行相同的處理，因此將不提供其詳細(xì)描述。

模糊防止特性改變單元112根據(jù)平搖判斷結(jié)果和與對應(yīng)于模糊校正角度的、朝向控制范圍的中心的推力的大小有關(guān)的指示來改變模糊防止特性(圖像模糊校正特性)。例如，在作為積分濾波器單元111的輸出的模糊校正角度大于預(yù)定閾值的情況下，模糊防止特性改變單元112改變模糊防止特性以控制模糊校正角度接近控制范圍的中心附近。根據(jù)模糊校正角度的大小進(jìn)行控制，以使得模糊校正角度逐漸接近中心附近。具體地，進(jìn)行控制以使得：模糊校正角度越大，朝向中心的推力越大，而模糊校正角度越小，朝向中心的推力越小。

模糊防止特性改變單元112通過改變偏移減法器110或積分濾波器單元111的頻率特性來改變模糊防止特性。在接收到減小推力的指示的情況下，模糊防止特性改變單元112減小偏移減法器110的hpf的截止頻率，并且減小積分濾波器單元111的截止頻率。在接收到增大推力的指示的情況下，模糊防止特性改變單元112增大偏移減法器110的hpf的截止頻率，并且增大積分濾波器單元111的截止頻率。

如上所述，模糊校正角度計算單元109進(jìn)行根據(jù)平搖判斷結(jié)果和模糊校正角度的大小來改變朝向控制范圍的中心的推力的處理。由此，能夠在進(jìn)行平搖判斷處理的同時計算模糊校正角度。將模糊校正角度計算單元109輸出的模糊校正角度信號輸入到靈敏度調(diào)整單元114。

靈敏度調(diào)整單元114基于變焦和調(diào)焦位置信息107以及從這些信息項得出的焦距和拍攝倍率來放大模糊校正角度計算單元109的輸出，并輸出模糊校正目標(biāo)值。從變焦單元獲取變焦位置信息，并且從調(diào)焦單元獲取調(diào)焦位置信息?；谧兘购驼{(diào)焦位置信息107計算模糊校正目標(biāo)值的原因是因為攝像面針對校正透鏡108的模糊校正行程的模糊校正靈敏度根據(jù)諸如變焦或調(diào)焦等的光學(xué)信息的變化而變化。靈敏度調(diào)整單元114將模糊校正目標(biāo)值輸出到加法器115。

在不進(jìn)行自動被攝體追蹤(作為追蹤量計算單元118的輸出的追蹤校正量為0)的情況下，加法器115輸出通過靈敏度調(diào)整單元114獲得的模糊校正目標(biāo)值。僅將靈敏度調(diào)整單元114的輸出輸入到驅(qū)動控制單元116。校正透鏡108用作使拍攝圖像中的被攝體位置移位的可移動單元。驅(qū)動控制單元116控制校正透鏡108的驅(qū)動，以執(zhí)行被攝體追蹤控制和模糊校正。

在本實施例中，驅(qū)動控制單元116通過在與光軸方向不同的方向上驅(qū)動校正透鏡108來執(zhí)行圖像模糊校正(光學(xué)模糊防止)。盡管在本實施例中采用了使用校正透鏡108的圖像模糊校正方法，但是本發(fā)明不限于此，并且可以應(yīng)用通過在與光軸垂直的平面內(nèi)移動攝像元件來校正圖像模糊的方法?？商娲?，可以應(yīng)用電子式模糊防止，其通過改變攝像元件所輸出的各拍攝幀中的圖像的剪切位置來減小抖動的影響?？商娲?，可以組合多個圖像模糊校正方法。此外，在本實施例中，通過使用光學(xué)模糊防止技術(shù)和電子式模糊防止技術(shù)來驅(qū)動校正透鏡或攝像元件以及改變圖像的剪切位置來進(jìn)行被攝體追蹤控制。

接下來，將詳細(xì)描述被攝體檢測單元117所進(jìn)行的被攝體位置檢測處理。攝像元件106通過將從被攝體反射的光光電轉(zhuǎn)換成電信號來獲取圖像信息。利用a/d轉(zhuǎn)換單元將該圖像信息轉(zhuǎn)換為數(shù)字圖像信號，并且將該數(shù)字圖像信號發(fā)送到被攝體檢測單元117。在攝像視角內(nèi)捕捉到多個被攝體圖像的情況下，以下方法用作從多個被攝體中自動識別主被攝體的方法。

檢測主被攝體的第一方法是檢測人。在這種情況下，被攝體檢測單元117檢測被攝體的面部或人體。在面部檢測處理中，預(yù)先確定用于判斷人的面部的圖案，并且可以將拍攝圖像中所包括的與該圖案匹配的部分檢測為人的面部圖像。被攝體檢測單元117針對檢測到的各被攝體計算表示作為被攝體的面部的概率的可靠度。例如，可靠度是根據(jù)圖像中的面部區(qū)域的大小以及與面部圖案的匹配度等來計算的。即，被攝體檢測單元117用作基于拍攝圖像中的被攝體的大小或者被攝體與預(yù)先存儲的被攝體圖案之間的匹配度來計算被攝體的可靠度的可靠度計算單元。

檢測主被攝體的第二方法使用拍攝圖像中的色相和飽和度等的直方圖。執(zhí)行如下處理：將從拍攝視角內(nèi)捕捉到的被攝體的圖像的色相和飽和度等的直方圖得出的分布劃分為多個區(qū)間并對各區(qū)間中所拍攝到的圖像進(jìn)行分類。例如，針對拍攝圖像創(chuàng)建多個顏色分量的直方圖，并且利用山形分布范圍對該直方圖進(jìn)行劃分，對屬于同一區(qū)間的組合的區(qū)域中所拍攝到的圖像進(jìn)行分類，并且識別被攝體圖像區(qū)域。通過針對所識別出的各被攝體圖像區(qū)域計算評價值，可以將具有最高評價值的被攝體圖像區(qū)域判斷為主被攝體區(qū)域。

在確定了主被攝體區(qū)域之后，可以使用主被攝體區(qū)域的特征量通過從通過后續(xù)實時取景操作、連續(xù)拍攝或視頻拍攝順次拍攝到的圖像中檢測出具有與主被攝體區(qū)域的特征量類似的特征量的區(qū)域來追蹤主被攝體區(qū)域。例如，從色相分布或色相大小等計算主被攝體區(qū)域的特征量。將所檢測到的主被攝體的位置信息輸入到追蹤量計算單元118。追蹤量計算單元118計算使主被攝體圖像的中心位置位于拍攝圖像的中心(目標(biāo)位置)附近的追蹤校正量。此外，在觀看根據(jù)視頻信號輸出的攝像設(shè)備的顯示單元的畫面上顯示的視頻的情況下，拍攝者可以在任何時間通過操作攝像設(shè)備的操作構(gòu)件來在顯示畫面上指定被攝體位置。在這種情況下，當(dāng)拍攝者進(jìn)行從顯示畫面上所顯示的多個被攝體圖像中指定主被攝體的操作時，計算指定位置處的諸如色相分布或色相大小等的特征量。使用計算出的特征量從之后順次獲得的圖像中檢測具有與該特征量類似的特征量的區(qū)域，并且可以將檢測到的區(qū)域作為主被攝體區(qū)域來進(jìn)行追蹤。

接下來，將描述使用校正透鏡108的被攝體追蹤控制方法。

圖2所示的被攝體檢測單元117獲取攝像元件106所獲得的圖像信號，并且檢測拍攝圖像中的被攝體的圖像位置(被攝體位置)。將被攝體位置信息輸出到追蹤量計算單元118。追蹤量計算單元118基于變焦和調(diào)焦位置信息107和檢測到的被攝體位置信息來計算通過校正透鏡108的驅(qū)動來追蹤被攝體所用的控制量。之后，將追蹤被攝體以使被攝體的圖像位于畫面(拍攝圖像的范圍)的預(yù)定位置(目標(biāo)位置(本實施例中為中心位置))所用的控制量(追蹤控制量)稱為追蹤校正量。追蹤量計算單元118根據(jù)追蹤sw121的狀態(tài)計算追蹤校正量。將該追蹤校正量輸入到加法器115，并且將該追蹤校正量與作為靈敏度調(diào)整單元114的輸出的模糊校正目標(biāo)值相加，使得同時進(jìn)行通過校正透鏡108的驅(qū)動進(jìn)行的模糊校正和追蹤控制。

圖3a和3b是用于描述根據(jù)本實施例的用于追蹤所檢測到的主被攝體的追蹤控制的圖。圖3a示出在被攝體追蹤控制開始之前的拍攝圖像301a。圖3b示出在被攝體追蹤控制開始之后的拍攝圖像301b。在圖3a的拍攝圖像301a中，在中心示出的黑點(diǎn)示出畫面中心位置304。在追蹤控制開始之前的被攝體302a的圖像位置遠(yuǎn)離畫面中心位置304。被攝體中心位置303a示出被攝體302a在圖像中的中心位置。在cpu105開始被攝體追蹤控制的情況下，被攝體中心位置303a和畫面中心位置304之間的距離隨著時間的經(jīng)過而逐漸減小。如圖3b所示，利用被攝體追蹤控制，最終被攝體中心位置303a變得基本上與畫面中心位置304相同。

接下來，將參考圖4描述追蹤量計算單元118的追蹤量計算處理。圖4是示出追蹤量計算單元118的示例的功能框圖。盡管追蹤量計算單元118計算畫面的垂直和水平方向的各軸上的追蹤校正量，但是為簡單起見，將僅描述單個軸。

減法器403基于由被攝體檢測單元117輸出的被攝體位置信息，從被攝體位置(中心位置)401的坐標(biāo)中減去畫面中心位置402的坐標(biāo)。以這種方式，計算表示被攝體圖像的中心位置與圖像上的畫面中心位置402之間的距離的差量(以下稱為中心移位量)。中心移位量是在畫面中心位置402處的差量為0的情況下計算的有符號數(shù)據(jù)。減法器403的輸出被輸入到計數(shù)值表基準(zhǔn)單元(以下簡稱為基準(zhǔn)單元)404。

基準(zhǔn)單元404基于中心移位量(即，差量的大小)計算用于追蹤的計數(shù)值。具體地，如下所述計算計數(shù)值。

在中心移位量等于或小于預(yù)定閾值a并且等于或大于預(yù)定閾值“-a”的情況下，將計數(shù)值設(shè)置為0或最小值。在中心移位量的大小(絕對值)等于或小于預(yù)定閾值的情況下，設(shè)置從屏幕中心位置起的預(yù)定范圍內(nèi)不進(jìn)行追蹤的非靈敏區(qū)域。

在中心移位量大于預(yù)定閾值a或小于預(yù)定閾值“-a”的情況下，將計數(shù)值設(shè)置為隨著中心移位量的絕對值的增大而增大。根據(jù)中心移位量的符號來計算計數(shù)值的符號。

獲取基準(zhǔn)單元404的輸出作為信號選擇單元406的第一輸入。信號選擇單元406獲取由向下計數(shù)值輸出單元405輸出的向下計數(shù)值作為第二輸入。此外，將指示追蹤sw(開關(guān))121的狀態(tài)的信號作為控制信號輸入到信號選擇單元406。在追蹤sw121被設(shè)置為on狀態(tài)的情況下，信號選擇單元406選擇基準(zhǔn)單元404的輸出，并將該輸出輸出到加法器單元407。此外，在追蹤sw121被設(shè)置為off狀態(tài)的情況下，信號選擇單元406選擇向下計數(shù)值，并將該向下計數(shù)值輸出到加法器單元407。將在后面描述向下計數(shù)值。

加法器單元407獲取信號選擇單元406的輸出和與追蹤量相關(guān)聯(lián)的先前的采樣值，并將這兩個值相加。將加法器單元407的輸出輸入到上限和下限設(shè)置單元408。上限和下限設(shè)置單元408將追蹤校正量限制在預(yù)定范圍內(nèi)。即，將追蹤校正量限制為不等于且不大于預(yù)定上限、并且不等于且不小于預(yù)定下限，并且改變該值。將上限和下限設(shè)置單元408的輸出輸入到延遲單元409和低通濾波器(lpf)410。

延遲單元409將比當(dāng)前時間點(diǎn)早預(yù)定采樣時間段所獲得的過去追蹤校正量(即，先前采樣值)作為計算結(jié)果輸出到加法器單元407和向下計數(shù)值輸出單元405。向下計數(shù)值輸出單元405輸出向下計數(shù)值。將通過后處理所計算出的先前的追蹤量采樣值409輸入到向下計數(shù)值輸出單元405。在先前的采樣時間點(diǎn)處所獲得的追蹤校正量(先前的采樣值)具有正號的情況下，向下計數(shù)值設(shè)置為負(fù)號。此外，在先前的采樣值具有負(fù)號的情況下，向下計數(shù)值輸出單元405將向下計數(shù)值設(shè)置為正號。以這種方式，進(jìn)行的處理以使得追蹤校正量的絕對值減小。此外，在由延遲單元409輸出的先前的采樣值在接近零的范圍(0±預(yù)定范圍)內(nèi)的情況下，向下計數(shù)值輸出單元405將向下計數(shù)值設(shè)置為0。向下計數(shù)值是至信號選擇單元406的第二輸入。

lpf410從上限和下限設(shè)置單元408的輸出中去除被攝體的檢測期間所包括的高頻噪聲，并將處理后的信號輸出到校正透鏡驅(qū)動量轉(zhuǎn)換單元411。校正透鏡驅(qū)動量轉(zhuǎn)換單元411將lpf410的輸出轉(zhuǎn)換成用于允許校正透鏡108進(jìn)行被攝體追蹤操作的信號。以這種方式，計算最終的追蹤校正量并且基于該追蹤校正量驅(qū)動校正透鏡108，從而進(jìn)行追蹤校正處理以使得被攝體圖像的中心位置逐漸位于拍攝圖像的中心附近。

通過基于由加法器115以上述方式將模糊校正量和追蹤校正量相加的相加結(jié)果來驅(qū)動校正透鏡108，可以同時進(jìn)行圖像模糊校正控制和被攝體追蹤控制。

在進(jìn)行被攝體追蹤的情況下，拍攝者可以指定畫面內(nèi)的被攝體以拍攝期望的被攝體。將通過圖5a至5c的具體示例來描述用于追蹤的被攝體指定方法。圖5a示出在攝像設(shè)備101的后表面上設(shè)置的液晶顯示裝置(lcd)501上設(shè)置觸摸面板502的示例。在拍攝者觸摸顯示畫面的情況下，執(zhí)行獲取觸摸位置處的被攝體503的坐標(biāo)并設(shè)置追蹤目標(biāo)被攝體的處理。此外，圖5b示出提供用于設(shè)置追蹤被攝體可選模式(以下稱為追蹤可選模式)的操作sw(開關(guān))515的示例。在拍攝者按下操作sw515的情況下，操作模式進(jìn)入追蹤可選模式。由于用于指定被攝體的圖標(biāo)504顯示在畫面的中心，因此拍攝者可以例如通過操作釋放開關(guān)104的sw1來將圖標(biāo)504的顯示位置處的被攝體503設(shè)置為追蹤目標(biāo)被攝體。

在圖5a和5b所示的任何方法中，在指定被攝體的情況下，進(jìn)行使用諸如色相分布或色相大小等的特征量從之后順次地獲得的圖像中檢測具有類似特征量的區(qū)域的處理。圖5c示出將作為具有類似特征量的區(qū)域所提取的主被攝體區(qū)域作為由框506指示的追蹤區(qū)域呈現(xiàn)給拍攝者的示例。在拍攝者指定顯示畫面內(nèi)的被攝體圖像以追蹤被攝體的情況下，在指定被攝體之前可能發(fā)生以下問題。

例如，在透鏡的焦距大到1000mm或更大的情況下，被攝體圖像可能由于手抖動的影響而移動，并且可能難以在視角內(nèi)捕捉被攝體以進(jìn)行取景。為了減輕由于手抖的影響而造成的取景的困難，可以使用如下方法：改變特性以減小朝偏移減法器110的控制范圍的中心的推力或減小積分濾波器單元111的截止頻率，以增大模糊校正控制范圍。然而，在增強(qiáng)針對手抖動校正的抖動抑制特性的情況下，即使在拍攝者操作照相機(jī)以使得被攝體落入視角內(nèi)時，也對拍攝者有意地操作照相機(jī)時發(fā)生的手抖動量進(jìn)行圖像模糊校正。因此，由于圖像模糊校正控制的影響，可能難以再次在視角內(nèi)捕捉被攝體或者微調(diào)被攝體圖像以使得被攝體圖像位于拍攝圖像的中心附近。例如，在拍攝者在通過操作圖5b中的操作sw515將操作模式設(shè)置為追蹤可選模式的狀態(tài)下指定被攝體之前，例如有必要時的拍攝者能夠容易地進(jìn)行取景，從而使得圖標(biāo)504移動到被攝體503的位置以設(shè)置追蹤目標(biāo)被攝體。在操作模式設(shè)置為追蹤可選模式的情況下，針對模糊校正的抖動抑制特性與沒有設(shè)置追蹤可選模式的情況相比更強(qiáng)。在這種情況下，由于拍攝者不太可能在設(shè)置了追蹤可選模式的狀態(tài)下進(jìn)行大幅平搖，所以平搖判斷單元113增大判斷閾值。以這種方式，拍攝者可以容易地進(jìn)行取景，使得圖標(biāo)504位于被攝體503的位置。

在指定了被攝體之后，通過追蹤控制在拍攝圖像內(nèi)的特定位置(例如，中心位置)捕捉被攝體圖像的校正與圖像模糊校正同時進(jìn)行。在這種情況下，增強(qiáng)與圖像模糊校正相關(guān)聯(lián)的抖動抑制特性，以盡可能地抑制手抖動的影響。在這種情況下，與指定被攝體之前相比，抖動抑制特性進(jìn)一步增強(qiáng)。在開始指定被攝體的追蹤的情況下，由于拍攝者仍然不大可能進(jìn)行大幅平搖，因此平搖判斷單元113將判斷閾值增大為大于指定被攝體之前的判斷閾值。

在下面的描述中，未設(shè)置追蹤可選模式的默認(rèn)狀態(tài)將被稱為第一狀態(tài)，并且設(shè)置了追蹤可選模式、未選擇被攝體、并且追蹤sw121處于off狀態(tài)的狀態(tài)將被稱為第二狀態(tài)。設(shè)置了追蹤可選模式、選擇了被攝體、并且追蹤sw121處于on狀態(tài)的狀態(tài)將被稱為第三狀態(tài)(追蹤模式設(shè)置狀態(tài))。第二狀態(tài)下的圖像模糊校正效果比第一狀態(tài)下的圖像模糊校正效果更強(qiáng)。此外，第三狀態(tài)下的圖像模糊校正效果比第二狀態(tài)下的圖像模糊校正效果更強(qiáng)。將利用fc1來表示第一狀態(tài)下的積分濾波器單元111的截止頻率，并且將利用ah1來表示平搖判斷閾值。將利用fc2來表示第二狀態(tài)下的積分濾波器單元111的截止頻率，并且將利用ah2來表示平搖判斷閾值。將利用fc3來表示第三狀態(tài)下的積分濾波器單元111的截止頻率，并且將利用ah3來表示平搖判斷閾值。截止頻率和平搖判斷閾值滿足由表達(dá)式(2)和(3)表示的以下關(guān)系。

fc1＞fc2＞fc3…(2)

ah1＜ah2＜ah3…(3)

圖像模糊校正效果的程度從未設(shè)置追蹤可選模式的第一狀態(tài)改變到未進(jìn)行追蹤操作的第二狀態(tài)，并且改變到進(jìn)行追蹤操作的第三狀態(tài)。因此，能夠在指定被攝體和追蹤被攝體時進(jìn)行最佳的圖像模糊校正控制，并且能夠在平滑地追蹤被攝體的情況下進(jìn)行拍攝。

接下來，將描述根據(jù)被攝體檢測位置改變圖像模糊校正效果的程度的處理。在被攝體追蹤控制的可追蹤范圍足夠的情況下，進(jìn)行追蹤控制以使得被攝體圖像在畫面的中心附近移動。然而，由于可追蹤范圍有限，因此在控制位置到達(dá)可追蹤范圍的末端(極限位置)的情況下，不能進(jìn)行進(jìn)一步的追蹤控制。在這種情況下，拍攝者進(jìn)行相機(jī)的取景，使得被攝體圖像移動到畫面的中心附近。在這種情況下，在對拍攝者有意地操作照相機(jī)時所發(fā)生的手抖動量進(jìn)行圖像模糊校正的情況下，在校正中可能發(fā)生不利影響。即，拍攝者可能難以再次在視角內(nèi)捕捉被攝體或者微調(diào)被攝體圖像的位置以使得被攝體圖像位于拍攝圖像的中心。因此，在本實施例中，進(jìn)行根據(jù)由被攝體檢測單元117檢測到的被攝體檢測位置來改變積分濾波器單元111的截止頻率(fc4)的處理。將參考圖6描述處理示例。

圖6示出了例示根據(jù)被攝體檢測位置(水平軸)設(shè)置截止頻率fc4(垂直軸)的圖。對被攝體檢測位置在畫面的垂直方向和水平方向這兩個軸向方向上的坐標(biāo)進(jìn)行檢測。關(guān)于透鏡控制，設(shè)置與垂直方向上的俯仰控制和水平方向上的橫擺控制相對應(yīng)的積分濾波器單元111的截止頻率fc4。此外，假設(shè)被攝體檢測位置表示將視角的中心位置(目標(biāo)位置)設(shè)置為零的坐標(biāo)中的被攝體的位置。

圖6示出具有被攝體位置離視角的中心位置越遠(yuǎn)截止頻率fc4越大這樣的特性的表。p1和p2是正值范圍的閾值，并且-p1和-p2是負(fù)值范圍的閾值。在被攝體檢測位置在-p1～+p1的范圍內(nèi)的情況下，截止頻率fc4被設(shè)置為默認(rèn)值d1。在被攝體檢測位置等于或大于p2或等于或小于-p2的情況下，截止頻率fc4被設(shè)置為頻率d2。這里，d2>d1。在被攝體檢測位置在p1和p2之間的區(qū)間或者-p1和-p2之間的區(qū)間內(nèi)的情況下，截止頻率fc4被設(shè)置為通過使用線性方程在d1和d2之間進(jìn)行線性插值而計算出的值。

模糊防止特性改變單元112將計算出的截止頻率fc4與根據(jù)追蹤可選模式和追蹤sw121的狀態(tài)所確定的積分濾波器單元111的截止頻率進(jìn)行比較。作為比較的結(jié)果，將更高的截止頻率設(shè)置為積分濾波器單元111的最終截止頻率。

通過以這種方式根據(jù)被攝體位置改變積分濾波器單元111的截止頻率，被攝體圖像位于畫面中心附近的情況下的圖像模糊校正效果得以增強(qiáng)，并且能夠防止被攝體圖像由于手抖動的影響而偏離畫面的中心。此外，在被攝體圖像偏離屏幕的中心的情況下，產(chǎn)生通過追蹤控制不能將被攝體圖像移動到畫面的中心的狀態(tài)(例如，可追蹤范圍位于控制末端附近的狀態(tài))。控制末端是校正的實現(xiàn)受到限制的位置。在這種情況下，稍微弱化圖像模糊校正效果，使得拍攝者可以通過取景將被攝體圖像移動至畫面的中心附近。即，能夠防止由于拍攝者的取景而進(jìn)行圖像模糊校正，并且便于取景。

將參照圖7所示的流程圖描述模糊校正控制和被攝體追蹤控制的處理示例。以下處理在攝像設(shè)備101的主電源接通的情況下開始，并以固定的采樣周期執(zhí)行。

首先，在s701中，cpu105判斷模糊防止sw(開關(guān))是否處于on狀態(tài)。模糊防止sw是指示用戶是否進(jìn)行圖像模糊校正控制的操作開關(guān)。在模糊防止sw處于on狀態(tài)的情況下，流程進(jìn)入s702。在模糊防止sw處于off狀態(tài)的情況下，流程進(jìn)入s703。在s702中，cpu105獲取角速度計103的輸出，并且流程進(jìn)入s704。在s703中，不獲取角速度計103的輸出，并且在將角速度設(shè)置為零之后流程進(jìn)入s704。在角速度被設(shè)置為零的情況下，隨后的模糊校正計算結(jié)果(即，模糊校正量)變?yōu)榱恪?/p>

在s704中，cpu105判斷追蹤可選模式是否被設(shè)置為on。例如，判斷追蹤可選模式是否通過圖5中的操作sw515被設(shè)置為on。在追蹤可選模式被設(shè)置為on的情況下，流程進(jìn)入s705。在追蹤可選模式被設(shè)置為off的情況下，流程進(jìn)入s708。在s705中，cpu105判斷追蹤sw121是否處于on狀態(tài)。追蹤sw121是處于on還是off狀態(tài)例如可以基于是否通過圖5a～5c中描述的方法選擇了被攝體來確定。在追蹤sw121處于on狀態(tài)的情況下，流程進(jìn)入s706。當(dāng)追蹤sw121處于off狀態(tài)時，流程進(jìn)入s707。

在s706中，將積分濾波器單元111的截止頻率(利用fa表示)設(shè)置為fc3。此外，平搖判斷單元113將平搖判斷閾值(利用tha表示)設(shè)置為ah3，并且流程進(jìn)入s709。在s709中，被攝體檢測單元117檢測拍攝圖像中的被攝體位置。在該示例中，假設(shè)在s705中將追蹤sw121設(shè)置為on的時間點(diǎn)，通過用戶的操作指定實時取景中顯示有拍攝圖像的lcd畫面上的被攝體圖像。即，攝像設(shè)備101識別被攝體，并通過追蹤和檢測被攝體來獲取被攝體的檢測位置的坐標(biāo)。

隨后，在s710中，追蹤量計算單元118根據(jù)檢測到的被攝體位置計算追蹤校正量，并且流程進(jìn)入s711。在s711中，cpu105基于檢測到的被攝體位置來計算積分濾波器單元111的截止頻率fc4。在s712中，cpu105判斷當(dāng)前截止頻率fa是否小于fc4。在fa<fc4的情況下，流程進(jìn)入s713。在fa≥fc4的情況下，流程進(jìn)入s715。在s713中，cpu105將值fc4代入fa，并且流程進(jìn)入s715。

在s708中，cpu105將積分濾波器單元111的截止頻率fa設(shè)置為fc1。平搖判斷單元113將平搖判斷閾值tha設(shè)置為ah1，并且流程進(jìn)入s714。在s707中，cpu105將積分濾波器單元111的截止頻率fa設(shè)置為fc2。平搖判斷單元113將平搖判斷閾值tha設(shè)置為ah2，并且流程進(jìn)入s714。在s714中將追蹤校正量設(shè)置為零之后，流程進(jìn)入s715。

在s715中，模糊校正角度計算單元109計算模糊校正量。在這種情況下，使用在s702或s703中獲取的角速度、以及在s705至s713中設(shè)置的積分濾波器單元111的截止頻率fa和平搖判斷單元113的平搖判斷閾值tha。在計算模糊校正量之后，流程進(jìn)入s716。在s716中，加法器115將模糊校正量和追蹤校正量相加以計算透鏡驅(qū)動量。隨后，在s717中，cpu105在驅(qū)動控制單元116的輔助下基于透鏡驅(qū)動量來控制校正透鏡108的驅(qū)動。以這種方式，進(jìn)行圖像模糊校正和被攝體追蹤控制。在圖像模糊校正處理和被攝體追蹤控制處理結(jié)束的情況下，進(jìn)行待機(jī)直到后續(xù)采樣時間點(diǎn)到來。

本實施例的圖像位置控制裝置基于拍攝圖像中的被攝體位置來計算被攝體追蹤量。被攝體追蹤量是將被攝體圖像移動為位于畫面內(nèi)的特定位置(例如，中心位置或用戶指定的位置)所用的控制量。此外，圖像位置控制裝置基于作為模糊檢測信號的角速度輸出進(jìn)行計算，以計算模糊校正量(圖像模糊校正量)。將模糊校正量和被攝體追蹤量相加，并且通過基于相加值控制校正透鏡的驅(qū)動來進(jìn)行圖像模糊校正和被攝體追蹤控制。在這種情況下，根據(jù)被攝體追蹤的控制狀態(tài)來改變用于計算模糊校正量的特性。即，進(jìn)行如下處理：基于指示是否設(shè)置了追蹤可選模式的判斷結(jié)果信息和追蹤開關(guān)的on/off設(shè)置信息來改變圖像模糊校正效果的程度，以及根據(jù)被攝體位置改變圖像模糊校正效果的程度。因此，能夠?qū)崿F(xiàn)使得拍攝者能夠容易地進(jìn)行平搖的圖像模糊校正控制，并且能夠提高圖像模糊校正控制和自動被攝體追蹤控制的性能。

在本實施例中，已描述了校正透鏡用作圖像模糊校正與自動被攝體追蹤控制單元并且在與光軸垂直的平面內(nèi)移動的所謂的光學(xué)模糊防止控制的應(yīng)用示例。然而，本發(fā)明可以應(yīng)用于具有以下結(jié)構(gòu)的圖像位置控制裝置。

(1)用于在與光軸垂直的平面內(nèi)移動攝像元件的結(jié)構(gòu)。

(2)通過用于改變由攝像元件輸出的拍攝幀的剪切位置的圖像處理來進(jìn)行電子控制的結(jié)構(gòu)。

(3)具有用于旋轉(zhuǎn)包括攝像元件和拍攝透鏡組的鏡筒的機(jī)構(gòu)的結(jié)構(gòu)。

(4)同與攝像設(shè)備分開設(shè)置的驅(qū)動機(jī)構(gòu)(例如，用于進(jìn)行攝像設(shè)備的平搖或傾斜的旋轉(zhuǎn)云臺)組合的結(jié)構(gòu)。

(5)(1)～(4)所述的多個結(jié)構(gòu)的組合。

對于稍后描述的第三實施例也是如此。

(第二實施例)

接下來，將描述本發(fā)明的第二實施例。在本實施例中，將描述包括校正透鏡108以及用于旋轉(zhuǎn)具有拍攝透鏡組和攝像元件106的鏡筒的機(jī)構(gòu)的情況下的圖像模糊校正和自動被攝體追蹤。在本實施例中，將通過先前使用的附圖標(biāo)記來表示與第一實施例相同的構(gòu)成要素，將不再提供其詳細(xì)描述，并將主要描述不同之處。對于稍后描述的實施例也是如此。

圖8a和8b是示意性地示出根據(jù)本實施例的攝像設(shè)備101的圖。在圖8a和8b中，在三維正交坐標(biāo)系的x、y和z軸中，將圍繞x軸的方向定義為俯仰方向，并將圍繞y軸的方向定義為橫擺方向。z軸方向是攝像設(shè)備101的光軸方向。圖8a示出的攝像設(shè)備101包括諸如釋放開關(guān)104等的操作構(gòu)件和顯示拍攝圖像的顯示單元。使用lcd等的顯示單元具有在實時取景中實時地顯示拍攝圖像的監(jiān)視功能。鏡筒801包括拍攝透鏡組和攝像元件106，并且以能夠通過攝像設(shè)備101驅(qū)動的狀態(tài)安裝。即，設(shè)置了用于使鏡筒801相對于攝像設(shè)備101旋轉(zhuǎn)(傾斜)的機(jī)構(gòu)。

圖8b示出與鏡筒801的旋轉(zhuǎn)相關(guān)聯(lián)的結(jié)構(gòu)。驅(qū)動機(jī)構(gòu)802p包括使鏡筒801在俯仰方向上旋轉(zhuǎn)的馬達(dá)及其驅(qū)動控制單元。驅(qū)動機(jī)構(gòu)802y包括使鏡筒801在橫擺方向上旋轉(zhuǎn)的馬達(dá)及其驅(qū)動控制單元。鏡筒801的姿勢可以通過驅(qū)動機(jī)構(gòu)802p和803y在俯仰方向和橫擺方向上獨(dú)立地進(jìn)行控制。

圖9是示出攝像設(shè)備101的主要部分的結(jié)構(gòu)的圖。下面將描述該結(jié)構(gòu)與圖2中描述的第一實施例的結(jié)構(gòu)之間的差異。

(1)設(shè)置用于使用馬達(dá)使旋轉(zhuǎn)鏡筒801旋轉(zhuǎn)的旋轉(zhuǎn)驅(qū)動機(jī)構(gòu)802。

(2)去除將模糊校正量和追蹤校正量相加的加法器115，并且將由靈敏度調(diào)整單元114輸出的模糊校正量輸入到驅(qū)動控制單元116。

(3)添加用于驅(qū)動旋轉(zhuǎn)驅(qū)動機(jī)構(gòu)802的驅(qū)動控制單元901，并且將追蹤量計算單元118輸出的追蹤校正量輸入到驅(qū)動控制單元901。

(4)驅(qū)動控制單元901通過基于追蹤量計算單元118所計算出的追蹤校正量驅(qū)動旋轉(zhuǎn)驅(qū)動機(jī)構(gòu)802來進(jìn)行自動被攝體追蹤控制。

本實施例的圖像位置控制裝置使用校正透鏡108進(jìn)行圖像模糊校正，并使用旋轉(zhuǎn)驅(qū)動機(jī)構(gòu)802進(jìn)行自動被攝體追蹤控制。在這種情況下，獲得與第一實施例相同的優(yōu)點(diǎn)，并且能夠進(jìn)行使得拍攝者能夠容易地進(jìn)行取景的圖像模糊校正控制。

在本實施例中，角速度計103安裝到鏡筒801或安裝到攝像設(shè)備101的除鏡筒801以外的部分。在角速度計103安裝到鏡筒801的情況下，從角速度計103的輸出中減去鏡筒801相對于攝像設(shè)備101的固定部分的相對角速度。攝像設(shè)備101和鏡筒801之間的相對角速度是利用旋轉(zhuǎn)驅(qū)動機(jī)構(gòu)802來旋轉(zhuǎn)的鏡筒801的旋轉(zhuǎn)速度，并且基于馬達(dá)的驅(qū)動指示信號或通過旋轉(zhuǎn)檢測傳感器等來檢測該相對角速度。通過從角速度計103的輸出中減去相對角速度，能夠計算攝像設(shè)備101的抖動量。

在本實施例中，校正透鏡及其驅(qū)動機(jī)構(gòu)用作圖像模糊校正單元，并且包括攝像元件和拍攝透鏡組的鏡筒801及其旋轉(zhuǎn)驅(qū)動機(jī)構(gòu)用作自動被攝體追蹤單元。本發(fā)明不限于此，并且可以應(yīng)用以下結(jié)構(gòu)。

(1)包括用于使攝像元件在與光軸垂直的平面內(nèi)移動的機(jī)構(gòu)和用于驅(qū)動校正透鏡的機(jī)構(gòu)的結(jié)構(gòu)。

(2)包括改變由攝像元件輸出的各拍攝幀的圖像剪切位置的處理單元和用于驅(qū)動校正透鏡的機(jī)構(gòu)的結(jié)構(gòu)。

(3)包括改變由攝像元件輸出的各拍攝幀的圖像剪切位置的處理單元和用于使攝像元件在與光軸垂直的平面內(nèi)移動的機(jī)構(gòu)的結(jié)構(gòu)。

(4)包括用于使攝像元件在與光軸垂直的平面內(nèi)移動的機(jī)構(gòu)和用于使包括拍攝透鏡組的鏡筒旋轉(zhuǎn)的機(jī)構(gòu)的結(jié)構(gòu)。

(5)包括改變由攝像元件輸出的各拍攝框的圖像切出位置的處理單元和用于使包括拍攝透鏡組的鏡筒旋轉(zhuǎn)的機(jī)構(gòu)的結(jié)構(gòu)。

(6)(1)～(5)中所述的多個結(jié)構(gòu)的組合。

(第三實施例)

接下來，將描述本發(fā)明的第三實施例。本實施例的圖像模糊校正和自動被攝體追蹤裝置基于自動被攝體追蹤所使用的被攝體檢測信息來改變圖像模糊校正的特性。被攝體檢測信息是指示諸如是否正在檢測被攝體或被攝體已經(jīng)丟失等的被攝體檢測狀態(tài)的信息，并且是與被攝體檢測的可靠度有關(guān)的信息。之后，將描述考慮被攝體檢測信息的圖像模糊校正和自動被攝體追蹤控制。

圖10是示出根據(jù)本實施例的攝像設(shè)備的主要部分的結(jié)構(gòu)的圖。下面將描述該結(jié)構(gòu)與圖2中描述的第一實施例的結(jié)構(gòu)的差異。

(1)除被攝體位置檢測單元1000之外，被攝體檢測單元117還包括被攝體檢測狀態(tài)判斷單元1001和被攝體可靠度判斷單元1002，并且將檢測信息和判斷信息輸入到追蹤增益單元1003、模糊防止特性改變單元112、以及追蹤量計算單元118。

(2)添加追蹤增益單元1003，并且將增益與作為追蹤量計算單元118的輸出的追蹤校正量相乘，并且將相乘后得到的追蹤校正量輸入到加法器115。

將利用被攝體檢測狀態(tài)判斷單元(以下稱為檢測狀態(tài)確定單元)1001和被攝體可靠度判斷單元(以下稱為可靠度判斷單元)1002獲得的判斷信息項輸入到追蹤增益單元1003，并且追蹤增益單元1003根據(jù)各判斷結(jié)果設(shè)置增益。增益設(shè)置為不小于0且不大于1。下面將詳細(xì)描述追蹤增益單元1003和模糊防止特性改變單元112。

被攝體位置檢測單元1000對應(yīng)于第一實施例的被攝體檢測單元117，并且例如使用面部檢測或圖案匹配來檢測被攝體位置。檢測狀態(tài)判斷單元1001判斷被攝體是處于第一檢測狀態(tài)還是處于第二檢測狀態(tài)。第一檢測狀態(tài)是已檢測到被攝體的狀態(tài)。第二檢測狀態(tài)是由于被攝體丟失而未檢測到被攝體的狀態(tài)(被攝體丟失狀態(tài))。例如，可以基于被攝體位置檢測單元1000是否成功檢測來判斷狀態(tài)。

由于可以在第一檢測狀態(tài)下進(jìn)行追蹤控制，因此追蹤增益單元1003將增益設(shè)置為1。即，將通過追蹤量計算單元118計算出的追蹤校正量原樣輸入到加法器115。此外，由于進(jìn)行了被攝體追蹤控制，因此圖像模糊校正效果增強(qiáng)。如在第一實施例中所描述的，根據(jù)追蹤sw121的狀態(tài)和平搖判斷單元113的判斷結(jié)果來設(shè)置偏移減法器110和積分濾波器單元111的特性，并且計算模糊校正量。

另一方面，在檢測狀態(tài)判斷單元1001已經(jīng)判斷為被攝體處于第二檢測狀態(tài)的情況下，優(yōu)選地進(jìn)行控制以停止被攝體追蹤。即，在判斷為被攝體處于第二檢測狀態(tài)的情況下，優(yōu)選將增益設(shè)置為0。此外，檢測狀態(tài)判斷單元1001可以從三個或更多個狀態(tài)而不是第一檢測狀態(tài)和第二檢測狀態(tài)這兩種狀態(tài)中判斷被攝體檢測狀態(tài)。例如，第一檢測狀態(tài)被定義為已檢測到被攝體的可能性高的狀態(tài)，并且第二檢測狀態(tài)被定義為沒有檢測到被攝體的可能性高的狀態(tài)。此外，第三檢測狀態(tài)是與第一檢測狀態(tài)相比檢測到被攝體的可能性更低并且與第二檢測狀態(tài)相比檢測到被攝體的可能性更高的狀態(tài)。例如，在預(yù)定時間段期間，檢測狀態(tài)判斷單元1001檢測到被攝體丟失但繼續(xù)搜索被攝體的狀態(tài)(第三檢測狀態(tài))，并且如果在被攝體丟失狀態(tài)期間再次檢測到被攝體，則轉(zhuǎn)換為作為再次被攝體檢測狀態(tài)的第一狀態(tài)。在被攝體丟失狀態(tài)持續(xù)預(yù)定時間段的情況下，在停止對被攝體的搜索之后，檢測狀態(tài)判斷單元1001轉(zhuǎn)換為作為被攝體非檢測狀態(tài)的第二狀態(tài)。例如，可以設(shè)置第三狀態(tài)，使得由于從被攝體丟失起所經(jīng)過的時間，檢測到被攝體的可能性變小。在這種情況下，追蹤增益單元1003在被攝體處于第一檢測狀態(tài)的情況下將增益設(shè)置為1，在被攝體處于第二檢測狀態(tài)的情況下將增益設(shè)置為0，并且在被攝體處于第三檢測狀態(tài)的情況下將增益設(shè)置為大于0且小于1的值。

檢測狀態(tài)判斷單元1001可以從根據(jù)在第一檢測狀態(tài)和第二檢測狀態(tài)之間檢測出被攝體的可能性而設(shè)置的多個狀態(tài)中判斷檢測狀態(tài)。在這種情況下，追蹤增益單元1003將增益設(shè)置為隨著檢測出被攝體的可能性減小而逐漸減小，并且最終達(dá)到零。由于在第二檢測狀態(tài)下不進(jìn)行追蹤控制，因此設(shè)置為能夠通過拍攝者的取景操作將被攝體圖像移動為位于畫面的中心附近。即，模糊防止特性改變單元112稍微弱化圖像模糊校正效果、防止對取景操作進(jìn)行圖像模糊校正、并且改變模糊防止特性以使得拍攝者可以容易地進(jìn)行取景。在這種情況下，模糊防止特性在將圖像模糊校正效果維持在特定強(qiáng)度的同時便于取景。

將積分濾波器單元111的截止頻率設(shè)置為fc2，并且將平搖判斷閾值設(shè)置為ah2。該設(shè)置與圖7的s707中所示的沒有指定被攝體并且追蹤sw處于off狀態(tài)的情況下的設(shè)置相同。模糊防止特性改變單元112根據(jù)檢測狀態(tài)判斷單元1001所獲得的關(guān)于被攝體檢測狀態(tài)的判斷結(jié)果、追蹤sw121的狀態(tài)和平搖判斷單元113的判斷結(jié)果來改變模糊防止特性。即，在與關(guān)于被攝體檢測狀態(tài)的判斷結(jié)果相對應(yīng)的模糊防止特性、以及與追蹤sw121的狀態(tài)和平搖判斷單元113的判斷結(jié)果相對應(yīng)的模糊防止特性之間確定最能減小圖像模糊校正效果的模糊防止特性。根據(jù)確定出的模糊防止特性來設(shè)置偏移減法器110和積分濾波器單元111。

可靠度判斷單元1002判斷檢測到的被攝體是否可靠。例如，可以基于拍攝圖像中的被攝體圖像的大小來判斷被攝體的可靠度。可替代地，可以基于指定被攝體時所存儲的被攝體圖像的圖案與檢測到的被攝體圖像之間的匹配程度來計算作為判斷對象的主被攝體的可靠度。此外，即使存在具有與檢測到的被攝體相同的圖案的多個被攝體，但由于檢測到錯誤的主被攝體的可能性也很高，因此計算出的可靠度低?？煽慷扰袛鄦卧?002將計算出的可靠度與閾值進(jìn)行比較，以判斷檢測到的被攝體是否可靠。在被攝體的可靠度高(等于或高于閾值)的情況下，可以進(jìn)行被攝體追蹤控制。在這種情況下，追蹤增益單元1003將增益設(shè)置為1。將追蹤量計算單元118所計算出的追蹤校正量原樣輸入到加法器115。為了提高追蹤控制期間的圖像模糊校正效果，改變偏移減法器110和積分濾波器單元111的特性，并計算模糊校正量。

另一方面，在可靠度判斷單元1002判斷為被攝體的可靠度小于閾值并且可靠度低的情況下，進(jìn)行控制以停止追蹤，這是因為拍攝者可能不期望進(jìn)行追蹤控制?？煽慷扰袛鄦卧?002優(yōu)選地使用多個閾值以多個步驟來評價可靠度，而不是在兩個步驟中使用相同的閾值來評價可靠度是否可靠。在這種情況下，在計算出的可靠度等于或高于最大閾值(可靠度被評價為最高)的情況下，追蹤增益單元1003將增益設(shè)置為1，并根據(jù)可靠度逐漸降低增益。此外，在可靠度小于最小閾值的情況下，增益最終設(shè)置為零。在這種情況下，模糊防止特性改變?yōu)樯晕⑷趸瘓D像模糊校正效果。即，將積分濾波器單元111的截止頻率設(shè)置為fc2，并且將平搖判斷閾值設(shè)置為ah2。在這種情況下，模糊防止特性在將圖像模糊校正效果維持在特定強(qiáng)度的同時便于取景。模糊防止特性改變單元112根據(jù)可靠度判斷單元1002的判斷結(jié)果、檢測狀態(tài)判斷單元1001獲得的關(guān)于被攝體檢測狀態(tài)的判斷結(jié)果、追蹤sw121的狀態(tài)、以及平搖判斷單元113的判斷結(jié)果來改變模糊防止特性。即，將與作為可靠度判斷單元1002的判斷結(jié)果的被攝體可靠度相對應(yīng)的模糊防止特性、與被攝體檢測狀態(tài)相對應(yīng)的模糊防止特性、以及與追蹤sw121的狀態(tài)和平搖判斷單元113的判斷結(jié)果相對應(yīng)的模糊防止特性進(jìn)行比較。在這些模糊防止特性中，確定最能減小圖像模糊校正效果的模糊防止特性。根據(jù)所確定出的防止模糊特性來設(shè)置偏移減法器110和積分濾波器單元111。

將從追蹤增益單元1003輸出的追蹤校正量輸入到加法器115，并且與作為靈敏度調(diào)整單元114的輸出的模糊校正量的目標(biāo)值相加。以這種方式，可以通過驅(qū)動校正透鏡108同時進(jìn)行追蹤校正和圖像模糊校正。

在本實施例中，根據(jù)被攝體檢測狀態(tài)或被攝體可靠度或兩者來改變圖像模糊校正的特性。因此，由于可以實現(xiàn)使得拍攝者能夠容易地進(jìn)行取景的圖像模糊校正控制，因此可以提高圖像模糊校正和自動被攝體追蹤控制的性能。

(第四實施例)

接下來，將描述本發(fā)明的第四實施例。根據(jù)本實施例的圖像模糊校正和自動被攝體追蹤裝置基于自動被攝體追蹤所使用的被攝體檢測信息來判斷是否可以進(jìn)行追蹤控制，并且在顯示單元的畫面上顯示判斷結(jié)果。以這種方式，能夠向拍攝者通知攝像設(shè)備是否能夠追蹤被攝體，并且能夠?qū)崿F(xiàn)使得拍攝者能夠容易地進(jìn)行取景的圖像模糊校正和被攝體追蹤控制。

在追蹤被攝體使得被攝體的位置維持在拍攝畫面的特定位置處的系統(tǒng)中，因為在追蹤操作期間，照相機(jī)追蹤被攝體以使得通過追蹤控制使被攝體自動位于視角的中心附近，因此拍攝者不需要進(jìn)行取景操作以追蹤被攝體。然而，這種被攝體追蹤是通過移動光學(xué)系統(tǒng)的部分來進(jìn)行的，可追蹤范圍存在限制。由于在光學(xué)系統(tǒng)到達(dá)可追蹤范圍的末端的情況下不能進(jìn)行進(jìn)一步的追蹤，因此拍攝者需要抖動照相機(jī)以追蹤被攝體。然而，由于拍攝者難以立即識別出光學(xué)系統(tǒng)已經(jīng)到達(dá)可追蹤范圍的末端，因此拍攝者可能由于遲的取景操作而從拍攝畫面中丟失被攝體。即使當(dāng)通過改變幀的剪切范圍來進(jìn)行追蹤時，也可能發(fā)生這種情況。

在本實施例中，判斷照相機(jī)是否可以進(jìn)行追蹤控制，并且將判斷結(jié)果顯示在顯示單元的畫面上。以這種方式，能夠提高拍攝者的取景操作的操作性。

圖11是示出根據(jù)本實施例的攝像設(shè)備的主要部分的結(jié)構(gòu)的圖。該結(jié)構(gòu)與第三實施例的圖10中描述的結(jié)構(gòu)的不同之處在于，該結(jié)構(gòu)包括追蹤狀態(tài)判斷單元120和追蹤圖標(biāo)控制單元123。追蹤狀態(tài)判斷單元120獲得的判斷結(jié)果被輸入到追蹤圖標(biāo)控制單元123，并且通過追蹤圖標(biāo)控制單元123來控制要顯示在顯示單元122上的圖標(biāo)。

在進(jìn)行被攝體追蹤控制并且可追蹤范圍足夠的情況下，實現(xiàn)追蹤控制，使得被攝體的位置維持在畫面的中心附近。然而，由于可追蹤范圍有限，因此在光學(xué)系統(tǒng)到達(dá)可追蹤范圍的末端的情況下，不能進(jìn)行進(jìn)一步的追蹤控制。在這種情況下，拍攝者需要將照相機(jī)再次進(jìn)行取景以將被攝體移動為位于中心附近。然而，拍攝者僅僅通過觀看實時取景圖像難以立即判斷是否可以進(jìn)行進(jìn)一步的追蹤。因此，拍攝者可能不會在校正透鏡108到達(dá)可追蹤范圍的末端之后立即再次進(jìn)行取景，并且被攝體可能從屏幕丟失。因此，本實施例的攝像設(shè)備101判斷是否可以進(jìn)行追蹤控制。此外，根據(jù)判斷結(jié)果改變要顯示在畫面上的追蹤圖標(biāo)，并且通知拍攝者是否可以進(jìn)行追蹤。以這種方式，在不能進(jìn)行追蹤的情況下，發(fā)出警告通知以促使拍攝者通過取景操作來進(jìn)行追蹤被攝體的操作。

圖12a至12h例示示出被攝體追蹤操作和追蹤狀態(tài)的照相機(jī)后視圖和示出控制狀態(tài)的時序圖。在進(jìn)行被攝體追蹤的情況下，為使拍攝者拍攝期望的被攝體，優(yōu)選拍攝者指定畫面中的被攝體并進(jìn)行追蹤。作為指定要追蹤的被攝體的方法，例如，如圖12a所示，可以使用如下方法：借助于照相機(jī)101的后表面上的lcd501下設(shè)置的觸摸面板502來獲取被觸摸的被攝體503的坐標(biāo)位置，并設(shè)置追蹤對象被攝體。

在通過圖12a所示的方法指定被攝體的情況下，通過使用諸如色相分布或色相大小等的特征量、從通過實時取景操作之后順次地獲得的圖像中檢測具有類似特征量的區(qū)域來追蹤主被攝體區(qū)域。此外，主被攝體區(qū)域通過框506被示為追蹤區(qū)域，以向拍攝者通知追蹤區(qū)域。在指定了被攝體之后，進(jìn)行追蹤控制以使檢測到的被攝體位置朝向畫面的中心移動。此外，在畫面上顯示追蹤圖標(biāo)505，以使得拍攝者理解進(jìn)行了追蹤控制。在未進(jìn)行被攝體追蹤(未指定被攝體)的情況下，不在畫面上顯示追蹤圖標(biāo)505。

圖12b是示出指定被攝體之后的狀態(tài)的圖。圖12f示出在通過攝像設(shè)備101顯示的畫面的狀態(tài)隨著時間的經(jīng)過從圖12a改變?yōu)閳D12b、圖12c、12d和12e的情況下，通過將模糊校正量和追蹤校正量相加而獲得的加法器115的輸出。圖12g示出作為減法器403的輸出的中心移位量，并且圖12h示出追蹤圖標(biāo)505的顯示狀態(tài)。在被攝體位置檢測單元輸出使用目標(biāo)位置作為中心坐標(biāo)的所檢測到的被攝體的坐標(biāo)的情況下，被攝體位置檢測單元的輸出可以被視為中心移位量。在指定被攝體的時刻t1之前，不在畫面上顯示追蹤圖標(biāo)505，并且在定時t1如圖12b所示指定了被攝體的情況下，在畫面上顯示追蹤圖標(biāo)505。隨后，即使在指定的被攝體503移動的情況下被攝體503偏離圖像的中心(圖12c)，也基于追蹤量計算單元118計算出的追蹤校正量來進(jìn)行追蹤控制，使得被攝體503返回到圖像的中心(圖12d)。在這些圖中，t2表示被攝體從圖像的中心移開的時刻，并且t3表示通過追蹤控制被攝體返回到圖像的中心的時刻。

隨后，在被攝體進(jìn)一步移動的情況下，盡管在進(jìn)一步增大追蹤校正量的情況下進(jìn)行追蹤控制，但是在校正透鏡108的校正量如圖12f所示達(dá)到可追蹤閾值th1的狀態(tài)下，追蹤校正量被限制為不超過可校正量th2。在這種情況下，校正量設(shè)置為在th1和th2之間，并且在t5處將追蹤圖標(biāo)505顯示為灰色以向拍攝者通知不能進(jìn)行進(jìn)一步的追蹤控制的事實，其中在t5處，校正量等于或大于閾值th1的狀態(tài)已經(jīng)持續(xù)了預(yù)定的時間段tl以上。即，在校正量為閾值th1或更大的狀態(tài)已經(jīng)持續(xù)了預(yù)定時間段tl或更長時間的情況下，用作追蹤狀態(tài)判斷單元和追蹤圖標(biāo)控制單元的cpu105判斷為不能進(jìn)行追蹤控制、將追蹤圖標(biāo)505顯示為灰色，并且發(fā)出警告指示以向拍攝者發(fā)送警告。可校正量th2是校正透鏡到達(dá)可移動范圍的末端所需的量，并且可追蹤閾值th1可以適當(dāng)?shù)卦O(shè)置為小于th2的值。例如，可以將可追蹤閾值th1設(shè)置為通過將可校正量th2乘以大于0且小于1的系數(shù)而獲得的值，并且可以設(shè)置為通過從可校正量th2中減去固定量而獲得的值。

由于在校正透鏡108到達(dá)可移動范圍的末端的情況下不能進(jìn)行進(jìn)一步的追蹤控制，因此以上述方式改變追蹤圖標(biāo)505的顯示，從而促使拍攝者將照相機(jī)進(jìn)行取景以使被攝體朝向圖像的中心移動。

接下來，將參照圖13a～13h描述在校正透鏡108超過可追蹤范圍并且不能進(jìn)行追蹤控制的情況下通過改變追蹤圖標(biāo)505來向拍攝者發(fā)送通知的方法的另一示例。圖13a～13h的示例中使用的用于判斷是否可以進(jìn)行追蹤操作的方法與圖12a～12h的示例不同。在追蹤控制開始之后不可以將被攝體的位置移動到圖像的中心附近并且被攝體長時間位于偏離中心的位置的情況下，可以判斷為追蹤校正已經(jīng)到達(dá)可移動范圍的末端，并且不能進(jìn)行進(jìn)一步的追蹤控制。在這種情況下，顯示警告圖標(biāo)以通知不能進(jìn)行追蹤控制的事實。

以下述方式判斷是否可以進(jìn)行追蹤操作。即，在作為圖像上的被攝體位置和圖像中心之間的距離的中心移位量超過預(yù)定閾值th3的時間段等于預(yù)定時間段t7或者比預(yù)定時間段t7長的情況下，判斷為不能進(jìn)行追蹤。換句話說，在被攝體圖像的位置與目標(biāo)位置分離預(yù)定距離或更遠(yuǎn)距離的狀態(tài)已經(jīng)持續(xù)了預(yù)定時間段或更長時間的情況下，判斷為不能追蹤被攝體。此外，在中心移位量等于或小于閾值th3的情況下，判斷為可以進(jìn)行追蹤。通過追蹤狀態(tài)判斷單元120進(jìn)行這種判斷。根據(jù)判斷結(jié)果改變畫面上顯示的追蹤圖標(biāo)，使得向拍攝者通知關(guān)于是否可以進(jìn)行追蹤的信息。在不能進(jìn)行追蹤的情況下，促使拍攝者進(jìn)行取景操作以追蹤被攝體。

與圖12a中描述的方法相相同，在通過圖13a中的觸摸操作指定了被攝體的情況下，追蹤控制開始，并且畫面上顯示追蹤圖標(biāo)505。

圖13b～13e是示出指定被攝體之后的狀態(tài)的圖。圖13f示出在攝像設(shè)備101所顯示的畫面的狀態(tài)隨著時間的經(jīng)過從圖13a改變?yōu)閳D13b、13c、13d和13e的情況下通過將模糊校正量和追蹤校正量相加而獲得的加法器115的輸出。圖13g示出中心移位量，并且圖13h示出追蹤圖標(biāo)505的顯示狀態(tài)。在指定被攝體的時刻t8之前，不在畫面上顯示追蹤圖標(biāo)505，并且在定時t8指定了被攝體的情況下，在畫面上顯示追蹤圖標(biāo)505。隨后，即使在指定的被攝體503移動的情況下被攝體503偏離圖像的中心(圖13c)，也基于追蹤量計算單元118計算的追蹤校正量進(jìn)行追蹤控制，以使得被攝體503返回到圖像的中心(圖13d)。在這些圖中，t9表示被攝體從圖像的中心移開的時刻，并且t10表示通過追蹤控制被攝體返回到圖像的中心的時刻。盡管在t9和t10之間的時段內(nèi)被攝體位置超出閾值th3，但是由于該位置超出th3的時間段未超過預(yù)定時間段t7，因此以正常顏色顯示圖標(biāo)505。

隨后，在被攝體進(jìn)一步移動的情況下，盡管在進(jìn)一步增大追蹤校正量的情況下進(jìn)行追蹤控制，但是在中心移位量如圖13g所示等于或大于閾值th3的狀態(tài)持續(xù)了預(yù)定時間段t7或更長時間的狀況下，將追蹤圖標(biāo)505顯示為灰色，以向拍攝者通知不能進(jìn)行進(jìn)一步的追蹤控制的事實。

以這種方式，在被攝體位置長時間偏離圖像的中心的情況下，用作追蹤狀態(tài)判斷單元120的cpu105判斷為追蹤已經(jīng)到達(dá)可移動范圍的末端，并且不能進(jìn)行進(jìn)一步的追蹤控制。此外，cpu105還用作追蹤圖標(biāo)控制單元123并改變追蹤圖標(biāo)505的顯示，從而促使拍攝者將照相機(jī)進(jìn)行取景以使被攝體朝向圖像的中心移動。

圖12a～12h和圖13a～13h中，已經(jīng)描述了如下示例：在由于圖像中的被攝體移動大的距離并且用于將被攝體位置移動到圖像中的目標(biāo)位置的校正量大因而難以進(jìn)行被攝體追蹤控制的情況下，顯示圖標(biāo)。然而，即使校正量小，追蹤控制也可能是困難的。將參照14a～14h描述在由于被攝體檢測狀態(tài)而不能進(jìn)行追蹤控制的情況下通過改變追蹤圖標(biāo)505的顯示來通知拍攝者的方法的示例。在檢測到的被攝體的可靠度低的情況下，可以判斷為不能進(jìn)行追蹤控制。在這種情況下，顯示圖標(biāo)以指示不能進(jìn)行追蹤控制。

通過被攝體可靠度判斷單元1002來進(jìn)行可靠度的判斷，并且判斷檢測到的被攝體是否可靠。由于通過被攝體可靠度判斷單元1002進(jìn)行的被攝體可靠度判斷與第三實施例相同，因此將不提供其詳細(xì)描述。

與圖12a中描述的方法相同，在通過圖14a中的觸摸操作指定被攝體的情況下，開始追蹤控制，并且在畫面上顯示追蹤圖標(biāo)505。

圖14b是示出在指定被攝體之后的狀態(tài)的圖。圖14e示出在通過攝像設(shè)備101顯示的畫面的狀態(tài)隨著時間的經(jīng)過從圖14a改變?yōu)閳D14b、14c以及圖14d的情況下通過將模糊校正量和追蹤校正量相加而獲得的加法器115的輸出。此外，圖14f示出中心移位量，圖14g示出被攝體的可靠度，并且圖14h示出追蹤圖標(biāo)505的顯示狀態(tài)。在指定被攝體的時刻t11之前，不在畫面上顯示追蹤圖標(biāo)505，并且在時刻t11指定了被攝體的情況下，在畫面上顯示追蹤圖標(biāo)505。隨后，即使在指定的被攝體503偏離圖像的中心的情況下，也基于追蹤量計算單元118所計算出的追蹤校正量進(jìn)行追蹤控制，使得如圖14b所示被攝體503返回到圖像的中心。在這些圖中，t11表示指定被攝體并且檢測到被攝體位置的時刻，并且t12表示通過追蹤控制被攝體返回到圖像的中心的時刻。

隨后，如圖14c所示，在被攝體進(jìn)一步移動的情況下，盡管在進(jìn)一步增大追蹤校正量的情況下進(jìn)行追蹤控制，但是如圖14d所示在多個類似被攝體出現(xiàn)在畫面中的狀態(tài)下，將被攝體的可靠度設(shè)置為低。在被攝體可靠度降低的情況下，將追蹤增益單元1003的增益設(shè)置得小，并且不進(jìn)行追蹤控制。因此，如圖14g所示，在被攝體可靠度等于或小于預(yù)定閾值th4的情況下，將追蹤圖標(biāo)505顯示為灰色，以向拍攝者通知不能進(jìn)行進(jìn)一步追蹤控制的事實。

以這種方式，在被攝體可靠度低的情況下，用作追蹤狀態(tài)判斷單元120的cpu105判斷為不能進(jìn)行追蹤控制。此外，cpu105還用作追蹤圖標(biāo)控制單元123并改變追蹤圖標(biāo)505的顯示，從而促使拍攝者將照相機(jī)進(jìn)行取景以使被攝體朝向圖像的中心移動。

接下來，將參照圖15a～15h描述在由于被攝體檢測狀態(tài)而不能進(jìn)行追蹤控制的情況下通過改變追蹤圖標(biāo)505的顯示來通知拍攝者的方法的另一示例。盡管在指定了被攝體之后檢測到被攝體的情況下進(jìn)行追蹤控制，但是在拍攝者丟失被攝體的情況下，狀態(tài)轉(zhuǎn)變?yōu)楸粩z體丟失狀態(tài)。盡管在被攝體丟失狀態(tài)下可以再次檢測到被攝體的情況下，狀態(tài)轉(zhuǎn)變?yōu)楸粩z體檢測狀態(tài)，但是如果被攝體丟失狀態(tài)持續(xù)預(yù)定時間段，則判斷為不能進(jìn)行追蹤控制。在這種情況下，顯示圖標(biāo)以通知不能進(jìn)行追蹤控制的事實。此外，在被攝體丟失狀態(tài)持續(xù)更長的時間段的情況下，判斷為不存在再次檢測到被攝體的可能性、停止被攝體檢測、并且不顯示追蹤圖標(biāo)505。被攝體檢測狀態(tài)是通過被攝體檢測狀態(tài)判斷單元1001基于檢測到被攝體、被攝體丟失還是未檢測到被攝體來判斷的。

與圖12a中描述的方法相同，在通過圖15a中的觸摸操作指定被攝體的情況下，追蹤控制開始，并且在畫面上顯示追蹤圖標(biāo)505。

圖15b是示出指定被攝體之后的狀態(tài)的圖。圖15e示出在通過攝像設(shè)備101顯示的畫面的狀態(tài)隨著時間的經(jīng)過從圖15a改變?yōu)閳D15b、15c和15d的情況下通過將模糊校正量和追蹤校正量相加而獲得的加法器115的輸出。此外，圖15f示出中心移位量，圖15g示出被攝體檢測狀態(tài)，并且圖15h示出追蹤圖標(biāo)505的顯示狀態(tài)。

在指定被攝體的時刻t11之前，不在畫面上顯示追蹤圖標(biāo)505，并且如圖15b所示在指定了被攝體的情況下，在畫面上顯示追蹤圖標(biāo)505。隨后，即使在指定的被攝體503移動至偏離圖像的中心的位置的情況下，也基于追蹤量計算單元118計算出的追蹤校正量進(jìn)行追蹤控制，以使得如圖15b所示被攝體503返回到圖像的中心。在這些圖中，t15表示指定被攝體并且檢測到被攝體位置的時刻，并且t16表示通過追蹤控制被攝體返回到圖像的中心的時刻。

隨后，如圖15c所示，在被攝體進(jìn)一步移動的情況下，盡管在進(jìn)一步增加追蹤校正量的情況下進(jìn)行追蹤控制，但是如圖15d所示，在追蹤目標(biāo)被攝體移動到另一被攝體后方并從畫面消失的情況下，被攝體檢測單元117(被攝體位置檢測單元1000)不能檢測出該被攝體，并且產(chǎn)生被攝體丟失狀態(tài)(t17)。針對被攝體丟失之后的預(yù)定時間段(t18)產(chǎn)生被攝體丟失狀態(tài)，并且在被攝體丟失狀態(tài)下再次檢測被攝體503的情況下，狀態(tài)可以返回到被攝體檢測狀態(tài)。在狀態(tài)轉(zhuǎn)變?yōu)楸粩z體丟失狀態(tài)之后經(jīng)過了預(yù)定時間段t18的情況下，判斷為不再能檢測到被攝體，并且產(chǎn)生被攝體檢測停止?fàn)顟B(tài)。在產(chǎn)生被攝體檢測停止?fàn)顟B(tài)的情況下，即使被攝體503再次出現(xiàn)在畫面中，狀態(tài)也不會轉(zhuǎn)變?yōu)楸粩z體檢測狀態(tài)。在要在被攝體檢測停止?fàn)顟B(tài)下產(chǎn)生被攝體檢測狀態(tài)的情況下，再次指定被攝體。由于在被攝體丟失狀態(tài)下有可能再次檢測到被攝體，所以針對被攝體丟失之后的預(yù)定時間段(t19)繼續(xù)進(jìn)行被攝體追蹤控制。在經(jīng)過預(yù)定時間段t19之后停止被攝體追蹤控制，并且將基于最后的采樣數(shù)據(jù)獲得的最后的追蹤校正量保持為作為追蹤量計算單元118的輸出的追蹤校正量。在t18結(jié)束之前的時間段期間，維持最后的追蹤校正量作為追蹤校正量，并且在t18結(jié)束的情況下，追蹤控制量逐漸接近0，并且校正透鏡返回到不進(jìn)行被攝體追蹤控制的位置。

在被攝體丟失狀態(tài)(t18)下，將追蹤圖標(biāo)505顯示為灰色，以向拍攝者通知不能進(jìn)行追蹤控制的事實。此外，在從被攝體丟失狀態(tài)起經(jīng)過了時間段t18并且被攝體檢測停止時，停止追蹤圖標(biāo)505的顯示。

以這種方式，用作追蹤狀態(tài)判斷單元120的cpu105根據(jù)被攝體檢測狀態(tài)，判斷為不能進(jìn)行追蹤控制。此外，cpu105還用作追蹤圖標(biāo)控制單元123，并改變追蹤圖標(biāo)505的顯示(包括停止追蹤圖標(biāo)的顯示)，從而能夠促使拍攝者將照相機(jī)進(jìn)行取景以使被攝體朝向圖像的中心移動，并且能夠再次設(shè)置追蹤對象被攝體。

接下來，將參考圖16a～16h描述在照相機(jī)101的抖動的大小超過通過圖像模糊校正能夠校正的大小的狀態(tài)下不能進(jìn)行追蹤控制的情況下，通過改變追蹤圖標(biāo)505來向拍攝者發(fā)送通知的方法。在檢測到的照相機(jī)101的抖動量大的情況下，判斷為不能進(jìn)行追蹤控制。在這種情況下，顯示圖標(biāo)以指示不能進(jìn)行追蹤控制。

與圖12a中描述的方法相同，在通過圖16a中的觸摸操作指定被攝體的情況下，追蹤控制開始，并且在畫面上顯示追蹤圖標(biāo)505。

圖16b是示出指定被攝體之后的狀態(tài)的圖。圖16e示出在通過攝像設(shè)備101所顯示的畫面的狀態(tài)隨著時間的經(jīng)過從圖16a改變?yōu)閳D16b和16c的情況下通過將模糊校正量和追蹤校正量相加而獲得的加法器115的輸出。此外，圖16e示出中心移位量，圖16f示出角速度計103的輸出，圖16g示出作為模糊校正角度計算單元109的輸出的模糊校正角度，并且圖16h示出追蹤圖標(biāo)505的顯示狀態(tài)。

在指定被攝體的時刻t11之前，不在畫面上顯示追蹤圖標(biāo)505，并且如圖16b所示在指定了被攝體的情況下，在畫面上顯示追蹤圖標(biāo)505。隨后，即使在指定的被攝體503偏離圖像的中心的情況下，也基于追蹤量計算單元118計算出的追蹤校正量進(jìn)行追蹤控制，使得如圖16b所示被攝體503返回到圖像的中心。在這些圖中，t22表示指定被攝體并且檢測到被攝體位置的時刻，并且t23表示通過追蹤控制被攝體返回到圖像的中心的時刻。

隨后，在攝像設(shè)備101的抖動量增大的情況下，作為角速度計103的輸出的角速度增大，并且基于角速度計的輸出所計算出的模糊校正角度也增大。在這種情況下，在模糊校正角度超過模糊校正極限的情況下，拍攝的圖像模糊，并且如圖16c所示不可能將被攝體503填充到特定位置。校正透鏡108不能進(jìn)行超過校正極限(th5，-th5)的校正。因此，在追蹤狀態(tài)判斷單元120判斷為在t24處在th5和-th5之間的范圍內(nèi)不能進(jìn)行追蹤控制的情況下，將追蹤圖標(biāo)505顯示為灰色，以向拍攝者通知不能進(jìn)行追蹤控制的事實。

作為判斷是否由于抖動量大而不能進(jìn)行追蹤的方法，可以使用基于角速度計103輸出的角速度來進(jìn)行判斷的方法。如果在預(yù)定時間段t20內(nèi)校正量超過閾值(th6以上或-th6以下)的時間段等于或大于預(yù)定時間段，則追蹤狀態(tài)判斷單元120判斷為不能進(jìn)行追蹤?？梢曰诖螖?shù)而不是時間段來進(jìn)行判斷。在這種情況下，在以預(yù)定采樣間隔檢測到的校正量超過閾值的次數(shù)等于或大于預(yù)定次數(shù)的情況下，判斷為不能進(jìn)行追蹤。

作為判斷是否由于抖動量大而不能進(jìn)行追蹤的另一種方法，可以使用基于作為模糊校正角度計算單元109的輸出的模糊校正角度進(jìn)行判斷的方法。在這種情況下，如果在預(yù)定時間段t21內(nèi)校正量超過預(yù)定閾值(th7以上或-th7以下)的時間段或次數(shù)等于或大于預(yù)定時間段或預(yù)定次數(shù)，則追蹤狀態(tài)判斷單元120判斷為不能進(jìn)行追蹤。

根據(jù)這些方法中的任一種，能夠檢測大的圖像模糊連續(xù)出現(xiàn)的狀態(tài)，并且難以進(jìn)行圖像模糊校正和追蹤控制。此外，可以改變追蹤圖標(biāo)505的顯示，以向拍攝者通知不能進(jìn)行追蹤控制的事實。

以這種方式，在具有不能通過攝像設(shè)備的模糊校正而校正的大小的抖動發(fā)生的情況下，用作追蹤狀態(tài)判斷單元120的cpu105判斷為不能進(jìn)行追蹤控制。此外，cpu105還用作追蹤圖標(biāo)控制單元123，并且響應(yīng)于追蹤狀態(tài)判斷單元120的判斷結(jié)果改變追蹤圖標(biāo)505的顯示，使得能夠向拍攝者通知如下事實：為使照相機(jī)101的抖動減小，拍攝者需要可靠地保持?jǐn)z像設(shè)備。

如上所述，在本實施例中，追蹤狀態(tài)判斷單元120判斷是否可以進(jìn)行追蹤控制。在判斷為不能進(jìn)行追蹤的情況下，向拍攝者發(fā)送警告，使得能夠促使拍攝者將攝像設(shè)備進(jìn)行取景以使被攝體朝向圖像的中心移動，并且可靠地保持?jǐn)z像設(shè)備。

在本實施例中，盡管已經(jīng)描述了使用追蹤圖標(biāo)505的顯示來發(fā)送警告通知的方法，但是可以使用以下方法作為發(fā)送警告的另一方法。

(1)使用追蹤圖標(biāo)505發(fā)送警告通知。具體而言，通過使圖標(biāo)一開一關(guān)閃爍來實現(xiàn)對拍攝者的表示不能進(jìn)行追蹤控制的通知。可以將不能進(jìn)行追蹤控制的狀態(tài)分為幾個級別，并且可以通過根據(jù)級別改變閃爍時間段來向拍攝者通知級別。

(2)如圖17所示，可以在照相機(jī)101中設(shè)置led1101(發(fā)光單元)，并且使用led1101來發(fā)送警告通知。具體地，通過使led1101一開一關(guān)閃爍來實現(xiàn)對拍攝者的表示不能進(jìn)行追蹤控制的通知。可以將不能進(jìn)行追蹤控制的狀態(tài)分為幾個級別，并且可以通過根據(jù)級別改變閃爍時間段來向拍攝者通知不能進(jìn)行追蹤控制的狀態(tài)的級別。此外，在能夠進(jìn)行追蹤的情況下，可以點(diǎn)亮led1101，并且在未指定被攝體并且不進(jìn)行追蹤控制的情況下，可以熄滅led1101。

(3)如圖18所示，產(chǎn)生振動的片狀致動器1201設(shè)置在當(dāng)拍攝者握住照相機(jī)時該拍攝者經(jīng)常放置他或她的手指的位置。通過使致動器1201振動來實現(xiàn)對拍攝者的表示不能進(jìn)行追蹤控制的通知。使用例如壓電元件的壓電致動器用作致動器1201。可以將不能進(jìn)行追蹤控制的狀態(tài)分為幾個級別，并且可以通過根據(jù)級別改變振動的大小來向拍攝者通知不能進(jìn)行追蹤控制的狀態(tài)的級別。

在圖12a～12h至圖16a～16h中，描述了使用一種判斷方法來判斷是否能夠進(jìn)行追蹤控制的示例。然而，是否能夠進(jìn)行追蹤控制是使用多種判斷方法來判斷的。例如，在校正量等于或大于可追蹤閾值th1的狀態(tài)持續(xù)預(yù)定時間段tl或更長時間的情況下，可以判斷為不能進(jìn)行追蹤控制，并且在位置移位量等于或大于閾值th3的狀態(tài)持續(xù)預(yù)定時間段t7或更長時間的情況下，可以判斷為不能進(jìn)行追蹤控制?？梢赃m當(dāng)?shù)亟M合這些判斷方法。在這種情況下，可以根據(jù)判斷方法來改變警告顯示，并且可以根據(jù)不能進(jìn)行追蹤控制的原因(由于大的校正量、由于被攝體檢測狀態(tài)或由于的大抖動)來改變警告顯示。然而，由于如果存在多種類型的警告顯示，則對拍攝者來說可能看起來復(fù)雜，因此優(yōu)選與判斷方法和不能進(jìn)行追蹤控制的原因無關(guān)地使用相同的警告顯示。例如，無論是由于大的校正量還是被攝體檢測狀態(tài)的原因，優(yōu)選使用相同的警告顯示。這是因為即使存在一個警告顯示，也能夠通過使用警告通知來促使拍攝者通過取景操作追蹤被攝體的操作。

在本實施例中，使用使校正透鏡在與攝像光學(xué)系統(tǒng)的光軸垂直的平面內(nèi)移動的所謂的光學(xué)移位方法作為自動被攝體追蹤單元。然而，本發(fā)明不限于該光學(xué)移位方法，而是可以采用以下結(jié)構(gòu)。

(1)用于使攝像元件在與光軸垂直的平面內(nèi)移動的結(jié)構(gòu)。

(2)用于改變攝像元件所輸出的各拍攝幀的剪切位置的結(jié)構(gòu)。

(3)用于使包括攝像元件和拍攝透鏡組的鏡筒旋轉(zhuǎn)的結(jié)構(gòu)。

(4)同與攝像設(shè)備分開設(shè)置的能夠使攝像設(shè)備平搖和傾斜的旋轉(zhuǎn)云臺組合的結(jié)構(gòu)。

(5)將上述多個結(jié)構(gòu)組合的結(jié)構(gòu)。

(其他實施例)

本發(fā)明的實施例還可以通過如下的方法來實現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲介質(zhì)將進(jìn)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并進(jìn)行程序的方法。

盡管已經(jīng)參考示例性實施例描述了本發(fā)明，但是應(yīng)當(dāng)理解，本發(fā)明不限于所公開的示例性實施例。所附權(quán)利要求的范圍符合最寬泛的解釋，以便包括所有這樣的修改以及等同結(jié)構(gòu)和功能。

本申請要求2015年12月15日提交的日本專利申請第2015-244288號，2015年12月8日提交的日本專利申請第2015-239747號和2016年11月8日提交的日本專利申請第2016-218297號的權(quán)益，其全部內(nèi)容通過引用并入本文。