1.本發(fā)明涉及具有被攝體檢測功能的圖像處理設備以及用于該圖像處理設備的控制方法。


背景技術：

2.為了基于由攝像設備(諸如數(shù)碼照相機等)拍攝的圖像數(shù)據(jù)來檢測多個類型的被攝體，一種已知技術基于已針對各個被攝體類型完成機器學習的學習模型來檢測多個類型的被攝體。為了在焦點、亮度和顏色以所檢測到的被攝體為基準調整到合適條件的情況下進行圖像拍攝，需要從所獲得的多個被攝體中確定一個主被攝體。日本特開2017-5738討論了一種用于針對所檢測到的多個被攝體基于穩(wěn)定存在因子來確定主被攝體的方法，該穩(wěn)定存在因子表示是否在多個幀中穩(wěn)定地進行被攝體檢測。


技術實現(xiàn)要素：

3.本發(fā)明旨在提供一種即使在針對同一被攝體存在多個詞典的多個檢測結果的情況下也能夠適當?shù)貦z測被攝體的圖像處理設備和該圖像處理設備的控制方法。
4.根據(jù)本發(fā)明的方面，一種圖像處理設備包括：被攝體檢測單元，其被配置為針對輸入圖像檢測多個類型的被攝體；檢測可靠性計算單元，其被配置為計算所檢測到的被攝體的檢測可靠性；優(yōu)先被攝體設置單元，其被配置為將被攝體的類型設置為優(yōu)先被攝體；以及主被攝體確定單元，其被配置為基于所設置的優(yōu)先被攝體和檢測可靠性，從所檢測到的被攝體中將檢測結果確定為主被攝體。在同一區(qū)域中存在多個類型的被攝體的檢測結果的情況下，主被攝體確定單元基于所設置的優(yōu)先被攝體、檢測可靠性和所檢測到的被攝體的類型來確定同一區(qū)域中的一個被攝體類型。
5.根據(jù)本發(fā)明的一方面，一種圖像處理設備，包括：檢測部件，用于針對輸入圖像檢測多個類型的被攝體；設置部件，用于將被攝體的類型設置為優(yōu)先被攝體；以及主被攝體確定部件，用于基于所述檢測部件所檢測到的多個類型的被攝體，將檢測結果確定為主被攝體，其中，在同一區(qū)域中存在多個類型的被攝體的檢測結果的情況下，所述主被攝體確定部件基于所設置的優(yōu)先被攝體和所檢測到的被攝體的類型來確定所述同一區(qū)域中的一個被攝體類型。
6.根據(jù)本發(fā)明的另一方面，一種圖像處理設備的控制方法，所述控制方法包括：針對輸入圖像檢測多個類型的被攝體；將被攝體的類型設置為優(yōu)先被攝體；以及在主被攝體確定中，基于通過所述檢測所檢測到的多個類型的被攝體，將檢測結果確定為主被攝體，其中，在同一區(qū)域中存在多個類型的被攝體的檢測結果的情況下，所述主被攝體確定基于所設置的優(yōu)先被攝體和所檢測到的被攝體的類型來確定所述同一區(qū)域中的一個被攝體類型。
7.根據(jù)本發(fā)明的又一方面，一種非暫時性計算機可讀存儲介質，其存儲有程序，所述程序用于使計算機執(zhí)行上述的圖像處理設備的控制方法的各個處理。
8.從以下參考附圖對示例性實施例的描述中，本發(fā)明的進一步特征將變得清楚。
附圖說明
9.圖1a和1b示出包括圖像處理設備的攝像設備的外觀。
10.圖2a和2b是示出包括圖像處理設備的攝像系統(tǒng)的配置的框圖。
11.圖3示出用于設置用戶要優(yōu)先檢測的對象被攝體的方法的示例。
12.圖4是示出整體處理的流程圖。
13.圖5a和5b示出用于在多個類型的詞典數(shù)據(jù)之間切換的序列的示例。
14.圖6是示出用于確定同一區(qū)域中的被攝體類型的確定處理的流程圖。
15.圖7a至7f示出用于確定同一區(qū)域中的被攝體類型的類型確定處理的示例。
16.圖8是示出主被攝體確定處理的流程圖。
17.圖9a至9c示出主被攝體確定處理的示例。
18.圖10示出在用戶任意指定時的多個類型的詞典數(shù)據(jù)之間切換的序列的示例。
具體實施方式
19.圖1a和1b示出包括作為本發(fā)明適用的設備的示例的圖像處理設備的攝像設備100的外觀。圖1a是示出攝像設備100的正面的立體圖，圖1b是示出攝像設備100的背面的立體圖。
20.參考圖1a和1b，布置在照相機的背面的顯示單元28顯示圖像和各種種類的信息。觸摸面板70a可以檢測顯示單元28的顯示面(操作面)上的觸摸操作。取景器外顯示單元43即布置在照相機的頂面上的顯示單元顯示快門速度、光闌和照相機的其他各種設置值?？扉T按鈕61是用于發(fā)出攝像指示的操作部。模式選擇開關60是用于在各種模式之間切換的操作部。端子蓋40是用于保護用于連接外部設備和攝像設備100的連接線纜的連接器(未示出)的蓋。
21.主電子撥盤71是包括在操作單元70中的旋轉式操作構件。轉動主電子撥盤71使得能夠改變設置值(諸如快門速度和光圈等)。電源開關72是用于開啟和關閉攝像設備100的電源的操作構件。副電子撥盤73(包括在操作單元70中的旋轉式操作構件)使得能夠移動選擇框并給送圖像。包括在操作單元70中的十字鍵74是可以按壓上、下、右和左部分的十字鍵(四向鍵)。使得能夠進行與十字鍵74上的所按壓部分相對應的操作。set(設置)按鈕75(包括在操作單元70中的推式按鈕)主要用于確定選擇項。
22.運動圖像按鈕76用于發(fā)出開始和停止運動圖像拍攝(記錄)的指示。在拍攝待機狀態(tài)下按壓包括在操作單元70中的自動曝光(ae)鎖定按鈕77以固定曝光條件。包括在操作單元70中的放大按鈕78在圖像拍攝模式的實時取景顯示中開啟或關閉放大模式。在開啟放大模式之后，可以通過操作主電子撥盤71來放大和縮小實時取景圖像。在再現(xiàn)模式中，放大按鈕78放大回放圖像以增加放大率。包括在操作單元70中的回放按鈕79在圖像拍攝模式和再現(xiàn)模式之間切換。當用戶在圖像拍攝模式中按壓回放按鈕79時，攝像設備100進入再現(xiàn)模式，使得能夠在顯示單元28上顯示記錄介質200中所記錄的圖像中的最新圖像。按壓包括在操作單元70中的菜單按鈕81，以在顯示單元28上顯示使用戶能夠進行各種設置的菜單畫面。用戶能夠通過使用顯示單元28上所顯示的菜單畫面、十字鍵74和set按鈕75來直觀地進行各種設置。
23.觸摸條82是用于接受觸摸操作的線狀觸摸操作構件(線觸摸傳感器)。觸摸條82布
置在用戶可以用握持著握持部90的右手的拇指操作的位置。觸摸條82接受輕觸操作(對觸摸條82進行觸摸，然后在預定時間段內在不移動手指的情況下使手指分離)和右/左滑動操作(對觸摸條82進行觸摸，然后在與觸摸條82接觸期間移動觸摸位置)。觸摸條82是不同于觸摸面板70a的操作構件，并且不設置有顯示功能。
24.通信端子10被攝像設備100用于與可附接到設備以及可從設備上拆卸的鏡頭側通信。目鏡取景器(內視取景器)的目鏡部16使用戶能夠在視覺上識別在取景器內的電子取景器(evf)29中所顯示的圖像。目鏡檢測單元57是檢測拍攝者的眼睛是否與目鏡部16接觸的眼睛接觸檢測傳感器。蓋207覆蓋用于存儲記錄介質200的槽。握持部90具有當用戶保持攝像設備100時易于用右手握持的形狀。
25.快門按鈕61和主電子撥盤71布置在如下的位置處：在通過用右手的小指、無名指和中指握持著握持部90來保持數(shù)字照相機期間，右手的食指可以操作這些操作構件。副電子撥盤73和觸摸條82布置在相同狀態(tài)下右手的拇指可以操作這些操作構件的位置處。
26.(攝像設備的配置)
27.圖2a和2b是示出根據(jù)本示例性實施例的攝像設備100的配置示例的框圖。參考圖2a和2b，鏡頭單元150安裝有可更換的攝像鏡頭。盡管透鏡103通常包括多個透鏡，但為了簡化，圖2a示出單個透鏡作為透鏡103。鏡頭單元150使用通信端子6與攝像設備100通信。攝像設備100使用通信端子10與鏡頭單元150通信。鏡頭單元150經(jīng)由通信端子6和10與系統(tǒng)控制單元50通信。內部鏡頭系統(tǒng)控制電路4經(jīng)由光闌驅動電路2控制光闌1，并通過經(jīng)由自動聚焦(af)驅動電路3使透鏡103的位置移位來聚焦于被攝體。
28.快門101是使得能夠在系統(tǒng)控制單元50的控制下任意控制攝像單元22的曝光時間的焦平面快門。
29.攝像單元22是將光學圖像轉換為電信號的包括電荷耦合器件(ccd)或互補金屬氧化物半導體(cmos)傳感器的圖像傳感器。攝像單元22可以設置有用于將散焦量信息輸出到系統(tǒng)控制單元50的攝像面相位差傳感器。模數(shù)(a/d)轉換器23將模擬信號轉換為數(shù)字信號。a/d轉換器23將從攝像單元22輸出的模擬信號轉換為數(shù)字信號。
30.圖像處理單元24將來自a/d轉換器23的數(shù)據(jù)或來自存儲器控制部15的數(shù)據(jù)進行預定像素插值、諸如縮小等的大小調整處理、以及顏色轉換處理。圖像處理單元24還對所拍攝到的圖像數(shù)據(jù)進行預定計算處理。系統(tǒng)控制單元50基于由圖像處理單元24獲得的計算結果來進行曝光控制和測距控制。這使得能夠進行基于通過鏡頭(through-the-lens)(ttl)方法的af處理、自動曝光(ae)處理和電子閃光預發(fā)光(ef)處理。圖像處理單元24還對所拍攝到的圖像數(shù)據(jù)進行預定計算處理，并基于所獲得的計算結果來進行基于ttl的自動白平衡(awb)處理。
31.從a/d轉換器23輸出的數(shù)據(jù)經(jīng)由圖像處理單元24和存儲器控制部15寫入存儲器32，或經(jīng)由存儲器控制部15直接寫入存儲器32。存儲器32存儲由攝像單元22拍攝、然后由a/d轉換器23轉換為數(shù)字數(shù)據(jù)的圖像數(shù)據(jù)以及在顯示單元28和evf 29上要顯示的圖像數(shù)據(jù)。存儲器32設置有足以存儲預定數(shù)量的靜止圖像以及預定時間段的運動圖像和聲音的存儲容量。
32.存儲器32還用作圖像顯示存儲器(視頻存儲器)。數(shù)模(d/a)轉換器19將存儲在存儲器32中的圖像顯示數(shù)據(jù)轉換為模擬信號，然后將該信號供給至顯示單元28和evf 29。存
儲在存儲器32中的顯示圖像數(shù)據(jù)經(jīng)由d/a轉換器19顯示在顯示單元28和evf 29上。顯示單元28和evf 29根據(jù)來自d/a轉換器19的模擬信號在液晶顯示器(lcd)或有機電致發(fā)光(el)顯示器上顯示數(shù)據(jù)。數(shù)字信號由a/d轉換器23進行一次a/d轉換，存儲在存儲器32中，然后由d/a轉換器19轉換為模擬信號。然后，將模擬信號逐次傳送到顯示單元28或evf 29，以顯示在顯示單元28或evf 29上，從而使得能夠實現(xiàn)實時取景(lv)顯示。在下文中，在實時取景中顯示的圖像被稱為實時取景(lv)圖像。
33.照相機的快門速度、光圈和其他各種設置值經(jīng)由取景器外顯示單元驅動電路44顯示在取景器外顯示單元43上。
34.非易失性存儲器56是諸如電可擦除可編程只讀存儲器(eeprom)等的電可擦除可記錄存儲器。用于系統(tǒng)控制單元50的操作的常數(shù)和程序存儲在非易失性存儲器56中。存儲在非易失性存儲器56中的程序是指用于執(zhí)行(如下所述)根據(jù)本示例性實施例的各種流程圖的程序。
35.包括至少一個處理器或電路的系統(tǒng)控制單元50控制整個攝像設備100。當系統(tǒng)控制單元50執(zhí)行記錄在非易失性存儲器56中的上述程序時，實現(xiàn)(如下所述)根據(jù)本示例性實施例的各個處理。系統(tǒng)存儲器52是例如隨機存取存儲器(ram)。將用于系統(tǒng)控制單元50的操作的常數(shù)和變量以及從非易失性存儲器56讀取的程序加載到系統(tǒng)存儲器52中。系統(tǒng)控制單元50還控制存儲器32、d/a轉換器19和顯示單元28以進行顯示控制。
36.系統(tǒng)計時器53是測量各種種類的控制所用的時間和內置時鐘的時間的時間測量單元。
37.操作單元70是向系統(tǒng)控制單元50輸入各種操作指示的操作構件。
38.模式選擇開關60(包括在操作單元70中的操作構件)在靜止圖像拍攝模式、運動圖像拍攝模式和再現(xiàn)模式之間切換系統(tǒng)控制單元50的操作模式。靜止圖像拍攝模式包括自動圖像拍攝模式、自動場景確定模式、手動模式、光圈優(yōu)先模式(av模式)、快門速度優(yōu)先模式(tv模式)和程序自動曝光(ae)模式(p模式)。靜止圖像拍攝模式還包括各種場景模式作為各個拍攝場景的攝像設置，并包括自定義模式。模式選擇開關60使用戶能夠直接選擇這些模式中的任意一個?？商娲?，用戶可以一旦通過使用模式選擇開關60來選擇圖像拍攝模式列表畫面，則選擇所顯示的多個模式中的任意一個，然后通過使用其他操作構件來改變模式。同樣地，運動圖像拍攝模式還可以包括多個模式。
39.在攝像設備100上所設置的快門按鈕61的操作途中(即所謂的半按下(攝像準備指示))，第一快門開關62開啟，以生成第一快門開關信號sw 1。第一快門開關信號sw 1使系統(tǒng)控制單元50開始攝像準備操作(諸如自動聚焦(af)處理、自動曝光(ae)處理、自動白平衡(awb)處理和電子閃光預發(fā)光(ef)處理等)。
40.在快門按鈕61的操作完成時(即所謂的全按下(圖像拍攝指示))，第二快門開關64開啟，以生成第二快門開關信號sw 2。系統(tǒng)控制單元50響應于第二快門開關信號sw 2，開始從自攝像單元22的信號讀取至將所拍攝到的圖像(作為圖像文件)寫入記錄介質200中的一系列拍攝處理的操作。
41.操作單元70包括作為接收來自用戶的操作的輸入構件的各種操作構件。
42.操作單元70至少包括以下操作構件：快門按鈕61、主電子撥盤71、電源開關72、副電子撥盤73、十字鍵74、set按鈕75、運動圖像按鈕76、af鎖定按鈕77、放大按鈕78、回放按鈕
79、菜單按鈕81以及觸摸條82。其他操作構件70b一并表示框圖中未單獨描述的操作構件。
43.電源控制單元80包括電池檢測電路、直流-直流(dc-dc)轉換器和用于選擇要供給電力的塊的開關電路。電源控制單元80檢測電池的存在或不存在、電池類型和剩余電池容量。電源控制單元80還基于檢測結果和系統(tǒng)控制單元50的指示來控制dc-dc轉換器，以在所需的時間段內向記錄介質200和其他組件供給所需的電壓。電源單元30包括一次電池(諸如堿性電池或鋰電池等)、二次電池(諸如nicd電池、nimh電池或鋰離子電池等)和交流(ac)適配器。
44.記錄介質接口(i/f)18是與諸如存儲卡或硬盤等的記錄介質200的接口。記錄介質200例如是用于記錄所拍攝到的圖像的存儲卡，包括半導體存儲器或磁盤。
45.通信單元54建立無線或有線連接，以進行視頻和音頻信號的發(fā)送和接收。通信單元54還可與無線局域網(wǎng)(lan)和因特網(wǎng)連接。通信單元54還可以通過藍牙和藍牙低功耗(bluetooth low energy)與外部設備通信。通信單元54可以發(fā)送由攝像單元22拍攝的圖像(包括lv圖像)和記錄在記錄介質200中的圖像，并從外部設備接收圖像和其他各種種類的信息。
46.姿態(tài)檢測單元55檢測攝像設備100在重力方向上的姿態(tài)?；谟勺藨B(tài)檢測單元55檢測到的姿態(tài)，系統(tǒng)控制單元50可以確定由攝像單元22拍攝的圖像是用水平保持的攝像設備100所拍攝到的圖像還是垂直保持的攝像設備100所拍攝到的圖像。系統(tǒng)控制單元50可以將與由姿態(tài)檢測單元55檢測到的姿態(tài)相對應的方向信息添加到由攝像單元22所拍攝到的圖像的圖像文件中，或者在記錄之前旋轉圖像。加速度傳感器或陀螺儀傳感器可用作姿態(tài)檢測單元55。還可以通過使用加速度傳感器或陀螺儀傳感器作為姿態(tài)檢測單元55來檢測攝像設備100的運動(平搖、俯仰、上升和靜立)。
47.(圖像處理單元的配置)
48.圖2b示出根據(jù)本示例性實施例的圖像處理單元24的特性配置。圖像處理單元24包括被攝體檢測單元201、檢測歷史存儲單元202、詞典數(shù)據(jù)存儲單元203、詞典數(shù)據(jù)選擇單元204、類型確定單元205和主被攝體確定單元206。在本示例性實施例中，雖然這些單元被描述為圖像處理單元24的一部分，但是這些單元可以設置為系統(tǒng)控制單元50的一部分，或者與圖像處理單元24和系統(tǒng)控制單元50分開設置。例如，可以將圖像處理單元24設置在智能電話或平板終端上。
49.圖像處理單元24將基于從a/d轉換器23輸出的數(shù)據(jù)而生成的圖像數(shù)據(jù)發(fā)送到圖像處理單元24中的被攝體檢測單元201。
50.根據(jù)本示例性實施例，被攝體檢測單元201包括已完成機器學習(深度學習)的卷積神經(jīng)網(wǎng)絡(cnn)，并檢測特定被攝體?？蓹z測的被攝體的類型基于存儲在詞典數(shù)據(jù)存儲單元203中的詞典數(shù)據(jù)。根據(jù)本示例性實施例，被攝體檢測單元201包括根據(jù)可檢測的被攝體的類型而不同的cnn(不同的網(wǎng)絡參數(shù))。被攝體檢測單元201可以由圖形處理單元(gpu)或專用于基于cnn的估計處理的電路來實現(xiàn)。
51.cnn機器學習可以通過使用任意方法來進行。例如，諸如服務器等的預定計算機可以進行cnn機器學習，并且攝像設備100可以從預定計算機獲取經(jīng)學習的cnn。根據(jù)本示例性實施例，預定計算機輸入用于學習的圖像數(shù)據(jù)，并通過使用與用于學習的圖像數(shù)據(jù)相對應的被攝體位置信息作為教師數(shù)據(jù)(注釋)來進行監(jiān)督學習，從而使得能夠進行被攝體檢測單
元201的cnn學習。這完成了經(jīng)學習的cnn的生成。cnn學習可以由攝像設備100或上述圖像處理設備進行。
52.如上所述，被攝體檢測單元201包括通過機器學習已經(jīng)完成學習的cnn(經(jīng)學習模型)。被攝體檢測單元201輸入圖像數(shù)據(jù)，估計被攝體的位置、大小和可靠性，并輸出估計信息。cnn可以例如是具有層結構(由交替堆疊在一起的卷積層和池化層組成)、全連接層和輸出層的網(wǎng)絡，其中全連接層和輸出層與層結構連接。例如，在該情況下，反向傳播適用于cnn學習。cnn可以是包括特征檢測層(s層)和特征集成層(c層)的集合的新認知(neocognitron)cnn。例如，在該情況下，名為“add-if silent”的學習技術適用于cnn學習。
53.除經(jīng)學習的cnn之外的任意模型也可用于被攝體檢測單元201。例如，通過機器學習(諸如支持向量機或決策樹等)所生成的經(jīng)學習模型可以適用于被攝體檢測單元201。被攝體檢測單元201沒有必要一定需要是通過機器學習所生成的經(jīng)學習模型。例如，不使用機器學習的任意被攝體檢測方法可以適用于被攝體檢測單元201。
54.檢測歷史存儲單元202存儲被攝體檢測單元201檢測到的圖像數(shù)據(jù)中的被攝體檢測歷史。系統(tǒng)控制單元50將被攝體檢測歷史發(fā)送到詞典數(shù)據(jù)選擇單元204。根據(jù)本示例性實施例，檢測歷史存儲單元202存儲用于被攝體檢測的詞典數(shù)據(jù)以及所檢測到的被攝體的位置、大小和可靠性作為被攝體檢測歷史。檢測歷史存儲單元202可以附加地存儲包括被攝體檢測的次數(shù)和所檢測到的被攝體的諸如圖像數(shù)據(jù)的標識符等的數(shù)據(jù)。
55.詞典數(shù)據(jù)存儲單元203存儲用于檢測特定被攝體的詞典數(shù)據(jù)。系統(tǒng)控制單元50從詞典數(shù)據(jù)存儲單元203讀取由詞典數(shù)據(jù)選擇單元204選擇的詞典數(shù)據(jù)，然后將該數(shù)據(jù)發(fā)送到被攝體檢測單元201。例如，在用于檢測各個被攝體的詞典數(shù)據(jù)中，登記了特定被攝體的各個區(qū)域的特征。為了檢測多個類型的被攝體，還可以使用各個被攝體和各個被攝體區(qū)域的詞典數(shù)據(jù)。詞典數(shù)據(jù)存儲單元203存儲用于檢測多個類型的被攝體的詞典數(shù)據(jù)(包括用于檢測“人物”的詞典數(shù)據(jù)、用于檢測“動物”的詞典數(shù)據(jù)以及用于檢測“運載工具”的詞典數(shù)據(jù))。除了用于檢測“動物”的詞典數(shù)據(jù)之外，詞典數(shù)據(jù)存儲單元203還可以存儲用于檢測動物中具有特殊形狀并且對被攝體檢測有高需求的“鳥”的詞典數(shù)據(jù)。詞典數(shù)據(jù)存儲單元203還可以存儲“汽車”、“摩托車”、“火車”、“飛機”等的詞典數(shù)據(jù)作為用于檢測“運載工具”的詞典數(shù)據(jù)的細分。
56.由存儲在詞典數(shù)據(jù)存儲單元203中的多個類型的詞典數(shù)據(jù)所檢測到的被攝體區(qū)域可以用作焦點檢測區(qū)域。例如，在包括正面?zhèn)鹊恼系K物且背面?zhèn)鹊谋粩z體的構圖中，可以通過聚焦于所檢測區(qū)域的內部來使目標被攝體聚焦。
57.在本示例性實施例中，盡管被攝體檢測單元201在被攝體檢測中使用的多個類型的詞典數(shù)據(jù)是通過機器學習生成的，但是可以使用或者一起使用基于規(guī)則所生成的詞典數(shù)據(jù)?；谝?guī)則所生成的詞典數(shù)據(jù)是指例如存儲由設計者預先確定的要檢測的被攝體的圖像或該被攝體特有的特征量的數(shù)據(jù)?？梢酝ㄟ^將詞典數(shù)據(jù)的圖像或特征量與所拍攝到的圖像數(shù)據(jù)的圖像或特征量進行比較來檢測被攝體?；谝?guī)則的詞典數(shù)據(jù)不太復雜，因此與通過機器學習的經(jīng)學習模型所設置的模型相比，該詞典數(shù)據(jù)具有更小的數(shù)據(jù)大小。因此，與使用經(jīng)學習模型的被攝體檢測所提供的處理速度(和處理負荷)相比，使用基于規(guī)則的詞典數(shù)據(jù)的被攝體檢測提供了更高的處理速度(和更低的處理負荷)。
58.詞典數(shù)據(jù)選擇單元204基于存儲在檢測歷史存儲單元202中的被攝體檢測歷史、預
定順序和規(guī)則或來自用戶的指示來選擇接下來要使用的詞典數(shù)據(jù)，然后將所選擇的詞典數(shù)據(jù)通知給詞典數(shù)據(jù)存儲單元203。
59.根據(jù)本示例性實施例，詞典數(shù)據(jù)存儲單元203分別存儲多個類型的被攝體中的各個類型的被攝體和各個被攝體區(qū)域的詞典數(shù)據(jù)。在多個類型的詞典數(shù)據(jù)之間切換時，對同一圖像數(shù)據(jù)進行多次被攝體檢測。詞典數(shù)據(jù)選擇單元204確定詞典數(shù)據(jù)切換序列，然后根據(jù)所確定的序列來確定要使用的詞典數(shù)據(jù)。下面將描述詞典數(shù)據(jù)切換序列的示例。
60.當在同一區(qū)域中檢測到多個被攝體時，類型確定單元205確定該區(qū)域的被攝體的類型。類型確定單元205基于存儲在檢測歷史存儲單元202中的多個檢測歷史中的用戶經(jīng)由操作單元70所設置的要優(yōu)先檢測的被攝體設置，確定一個檢測結果。下面將描述確定方法。
61.圖3示出如下示例：關于用于設置要優(yōu)先檢測的被攝體的方法，用戶從顯示單元28上所顯示的菜單畫面中選擇要優(yōu)先檢測的被攝體的類型。圖3示出用于選擇顯示在顯示單元28上的要檢測的被攝體的設置畫面。用戶通過操作單元70上的操作從特定可檢測的被攝體(諸如運載工具、動物和人物等)中選擇要優(yōu)先檢測的被攝體。圖3示出選擇“運載工具”的狀態(tài)。參考圖3，“無”表示沒有檢測到被攝體的模式，并且“自動”表示通過未向特定可檢測的被攝體賦予優(yōu)先級來檢測被攝體的模式。
62.主被攝體確定單元206基于以下項來確定主被攝體：存儲在檢測歷史存儲單元202中的多個檢測歷史、用戶經(jīng)由操作單元70所設置的要優(yōu)先檢測的被攝體的設置以及類型確定單元205所確定的被攝體。下面將描述用于確定主被攝體的方法。
63.(攝像設備的處理流程)
64.圖4是示出根據(jù)本示例性實施例的攝像設備100所進行的本發(fā)明的特性處理流程的流程圖。該流程圖的各個步驟由系統(tǒng)控制單元50執(zhí)行，或者由各個單元按照系統(tǒng)控制單元50的指示執(zhí)行。當開始該流程圖時，攝像設備100的電源接通，并且該設備處于實時取景圖像拍攝模式，在該實時取景圖像拍攝模式下，該設備準備通過經(jīng)由操作單元70的操作發(fā)出用于開始靜態(tài)圖像或運動圖像拍攝(記錄)的指示。
65.假設當攝像設備100的攝像單元22進行一幀的(一個圖像數(shù)據(jù))的圖像拍攝時，進行從圖4中的步驟s401到步驟s409的一系列處理。然而，本發(fā)明不限于此?？梢栽诙鄠€幀中進行從步驟s401到步驟s409的一系列處理。更具體地，在第一幀中被攝體檢測的結果可以反映在第二幀和后續(xù)幀中的任何一幀中。
66.在步驟s401中，系統(tǒng)控制單元50獲取由攝像單元22拍攝、然后由a/d轉換器23輸出的圖像數(shù)據(jù)。
67.在步驟s402中，圖像處理單元24調整該圖像數(shù)據(jù)的大小以將其適配為易于處理的圖像大小(例如，四分之一視頻圖形陣列(qvga))，然后將被調整大小后的圖像數(shù)據(jù)發(fā)送到被攝體檢測單元201。
68.在步驟s403中，詞典數(shù)據(jù)選擇單元204選擇要用于被攝體檢測的通過機器學習所生成的詞典數(shù)據(jù)，然后將用于識別所選擇的詞典數(shù)據(jù)的選擇信息發(fā)送到詞典數(shù)據(jù)存儲單元203。
69.通過機器學習所生成的詞典數(shù)據(jù)可以通過從包含特定被攝體的大量圖像數(shù)據(jù)中提取該特定被攝體的共同特征來生成。共同特征的示例除了被攝體的大小、位置和顏色之外，還包括背景和特定被攝體之外的其他區(qū)域。因此，如果要檢測的被攝體存在于更受限的
背景中，則可以利用較小的學習量來提高檢測性能(檢測準確度)。另一方面，如果進行學習以與背景無關地檢測特定被攝體，則拍攝場景的通用性增加，但檢測準確度變得難以提高。隨著用于詞典數(shù)據(jù)生成的圖像數(shù)據(jù)的量和種類的增加，檢測性能趨于提高。另一方面，即使減少了詞典數(shù)據(jù)生成所需的圖像數(shù)據(jù)的數(shù)量和種類，也可以通過將在用于被攝體檢測的圖像數(shù)據(jù)中要檢測的被攝體的檢測區(qū)域的大小和位置限制到預定值，來提高檢測性能。如果被攝體部分地超出圖像數(shù)據(jù)，則被攝體的一部分特征丟失，從而檢測性能降低。
70.通常，較大的被攝體區(qū)域包括較大量的特征。在使用已完成機器學習的詞典數(shù)據(jù)的檢測中，具有與要用詞典數(shù)據(jù)檢測的特定被攝體的特征相似的特征的物體可能被誤檢測為特定被攝體。與整個區(qū)域相比，被定義為局部區(qū)域的區(qū)域是小的區(qū)域。區(qū)域中所包括的特征量隨著區(qū)域的面積的減小而減小，并且具有相似特征的物體的數(shù)量隨著特征量的減小而增加，從而導致誤檢測的增加。
71.下面將參考圖5a和5b描述步驟s403中的針對一幀(一個圖像數(shù)據(jù))的多個類型的詞典數(shù)據(jù)之間的切換序列。當多個類型的詞典數(shù)據(jù)存儲在詞典數(shù)據(jù)存儲單元203中時，可以針對一幀基于多個詞典進行被攝體檢測。另一方面，在輸出和處理順次拍攝到的圖像的實時取景模式下的圖像以及運動圖像記錄時的運動圖像數(shù)據(jù)中，由于圖像拍攝速度和處理速度的問題，因此假設將限制針對一幀可以進行的被攝體檢測的次數(shù)。
72.在該情況下，要使用的詞典數(shù)據(jù)的類型和順序可以根據(jù)例如以下項來確定：過去檢測到的被攝體的存在或不存在、過去檢測中所使用的詞典數(shù)據(jù)的類型以及要優(yōu)先檢測的被攝體的類型。當特定被攝體包括在幀中時，根據(jù)詞典數(shù)據(jù)切換序列可能沒有選擇用于檢測特定被攝體的詞典數(shù)據(jù)，這可能會錯過被攝體檢測的機會。
73.因此，還需要根據(jù)設置和場景來改變詞典數(shù)據(jù)切換序列。
74.圖5a和5b示出在針對一幀可進行多達3次被攝體檢測(或存在可并行進行處理的三個不同檢測器)的結構中選擇運載工具作為要優(yōu)先檢測的被攝體時的詞典數(shù)據(jù)切換序列的示例。v0和v1中的各個表示一幀的垂直同步時間段。諸如人物頭部、運載工具1(摩托車)和運載工具2(汽車)等的以四方形封閉的框表示可以在一個垂直同步時間段內以時間序列進行基于三個不同類型的詞典數(shù)據(jù)(經(jīng)學習模型)的被攝體檢測。
75.圖5a示出當未檢測到被攝體時的詞典數(shù)據(jù)切換的示例。在第一幀中，按照人物頭部、運載工具1(摩托車)和運載工具2(汽車)的順序進行詞典數(shù)據(jù)切換。在第二幀中，按照動物(狗/貓)、運載工具1(摩托車)和運載工具2(汽車)的順序進行詞典數(shù)據(jù)切換。例如，攝像設備100始終使用詞典數(shù)據(jù)，使得能夠在不具有切換序列的情況下檢測用戶從如圖3所示的菜單畫面所選擇的被攝體。該情況會造成針對各個場景改變優(yōu)先檢測被攝體設置的麻煩，例如，在拍攝運載工具時選擇運載工具以及在拍攝其他物體時選擇人物和動物。如果運載工具出現(xiàn)的定時是未知的，則在注意到即將到來的運載工具之后選擇優(yōu)先檢測被攝體設置可能會失去圖像拍攝的定時。另一方面，本示例性實施例使得用戶能夠在不考慮優(yōu)先檢測被攝體設置的情況下拍攝圖像。更具體地，在沒有檢測到特定被攝體的時間段期間，如圖5a所示，本示例性實施例在多個幀中在所有類型的詞典數(shù)據(jù)之間切換。通過在所有類型的詞典數(shù)據(jù)之間切換期間在第一幀或第二幀中選擇與優(yōu)先檢測被攝體設置相對應的詞典數(shù)據(jù)，即使在檢測所有可檢測的被攝體的同時，也可以提高優(yōu)先檢測被攝體的檢測準確度。這使得能夠減少改變優(yōu)先檢測被攝體設置的次數(shù)。攝像設備100可以單獨設置有根據(jù)用戶指定
的設置按照優(yōu)先順序始終僅訪問特定詞典(組)的模式。
76.圖5b示出在先前幀中檢測到摩托車的情況下的下一幀中的詞典數(shù)據(jù)切換的示例。詞典數(shù)據(jù)切換按照運載工具1(摩托車)、人物頭部和運載工具1(摩托車)的順序進行。詞典數(shù)據(jù)切換沒有必要一定需要按照上述順序進行。例如，在上述詞典數(shù)據(jù)切換的示例中，“人物頭部”詞典數(shù)據(jù)可以根據(jù)場景而改變，例如改變?yōu)樵谀ν熊嚁z像場景中可能選擇除摩托車之外的被攝體的詞典數(shù)據(jù)。此外，在該情況下，可以應用排他控制，以使得不會進行利用與“運載工具”詞典數(shù)據(jù)并行地檢測的可能性低的“動物”詞典數(shù)據(jù)的被攝體檢測。根據(jù)運載工具的紋理(設計)和顏色，運載工具可能被誤檢測為動物。結果，以該方式進行排他控制使得能夠提高所期望的被攝體的檢測準確度。
77.在步驟s404中，被攝體檢測單元201通過使用存儲在詞典數(shù)據(jù)存儲單元203中的用于檢測特定被攝體(物體)的詞典數(shù)據(jù)，基于由攝像單元22拍攝并被輸入到圖像處理單元24的圖像數(shù)據(jù)來檢測被攝體(或被攝體存在的區(qū)域)。所檢測到的被攝體的位置和大小、諸如計算出的可靠性等的信息、所使用的詞典數(shù)據(jù)的類型以及用于被攝體檢測的圖像數(shù)據(jù)的標識符被存儲在檢測歷史存儲單元202中。
78.在步驟s405中，圖像處理單元24基于存儲在檢測歷史存儲單元202中的被攝體檢測歷史，確定對具有相同標識符的圖像數(shù)據(jù)(同一幀中的圖像數(shù)據(jù))是否已經(jīng)進行了利用所有需要的詞典數(shù)據(jù)的被攝體檢測。當已經(jīng)進行了利用所有需要的詞典數(shù)據(jù)的被攝體檢測時(步驟s405中為是)，處理進入步驟s406。另一方面，當尚未進行利用所有需要的詞典數(shù)據(jù)的被攝體檢測時(在步驟s405中為否)，處理返回到步驟s403。在步驟s403中，圖像處理單元24選擇接下來要使用的詞典數(shù)據(jù)。
79.在步驟s406中，圖像處理單元24基于存儲在檢測歷史存儲單元202中的被攝體檢測歷史，確定是否已經(jīng)進行了利用所有類型的詞典數(shù)據(jù)的被攝體檢測。當已經(jīng)進行了利用所有類型的詞典數(shù)據(jù)進行了被攝體檢測時(步驟s406中為是)，處理進入步驟s407。另一方面，當尚未進行利用所有類型的詞典數(shù)據(jù)的被攝體檢測時(步驟s406中為否)，圖像處理單元24繼續(xù)進行下一幀的處理。例如，參考圖5a，為了用所有需要的詞典數(shù)據(jù)進行被攝體檢測，圖像處理單元24需要兩個幀，并因此在第一幀中跳過后續(xù)階段的處理，然后繼續(xù)下一幀。因此，處理在第二幀中進行到步驟s407。根據(jù)本示例性實施例，圖像處理單元24跳過后續(xù)階段的處理，直到已經(jīng)進行了利用所有需要的詞典數(shù)據(jù)的被攝體檢測為止。然而，本發(fā)明不限于此。對于需要快速響應的處理(諸如自動聚焦等)，圖像處理單元24可以在不等待利用所有類型的詞典數(shù)據(jù)的被攝體檢測的情況下，僅對針對各個幀所檢測到的被攝體進行后續(xù)階段處理。例如，如在本示例性實施例中那樣，如果可以在兩個幀中按照優(yōu)先順序訪問當前設置的所有類型的詞典數(shù)據(jù)，則圖像處理單元24可以基于包括過去幀中的最后一幀的兩個幀的檢測結果，在步驟s407和后續(xù)步驟中始終進行后續(xù)階段處理。
80.在步驟s407中，圖像處理單元24讀取用于從用戶經(jīng)由操作單元70預設的特定可檢測的被攝體中選擇要優(yōu)先檢測的被攝體的設置。
81.在步驟s408中，圖像處理單元24基于存儲在檢測歷史存儲單元202中的具有同一標識符的圖像數(shù)據(jù)的檢測結果的被攝體檢測歷史，確定同一區(qū)域中是否存在多個檢測結果。
82.當在同一區(qū)域中存在多個檢測結果時(在步驟s408中為是)，處理進入步驟s409。
另一方面，當不存在多個檢測結果時(步驟s408中為否)，處理進入步驟s410。例如，當檢測中心坐標存在于其他檢測結果區(qū)域中時，圖像處理單元24可以確定為在同一區(qū)域中存在多個檢測結果。當檢測區(qū)域重疊預定量(例如，閾值比例)或更大量時，圖像處理單元24還可以確定為在同一區(qū)域中存在多個檢測結果。
83.在步驟s409中，類型確定單元205基于以下項來確定一個區(qū)域檢測結果：在步驟s407中設置的優(yōu)先被攝體設置、在步驟s405中存儲的檢測結果以及在步驟s408中確定為在同一區(qū)域中存在多個檢測結果的結果。下面將描述確定方法。
84.在步驟s410中，主被攝體確定單元206基于存儲在檢測歷史存儲單元202中的被攝體檢測歷史，從具有同一標識符的圖像數(shù)據(jù)的多個檢測結果中通過使用步驟s407中所設置的優(yōu)先被攝體設置來確定主被攝體。在該情況下，當圖像處理單元24在步驟s408中確定為在同一區(qū)域中存在多個檢測結果時，圖像處理單元24也使用步驟s409中的結果。在該情況下，系統(tǒng)控制單元50可以在顯示單元28上顯示由主被攝體確定單元206輸出的部分或全部信息。下面將描述確定方法。
85.(用于基于同一區(qū)域中的多個被攝體檢測結果來確定被攝體類型的類型確定處理的流程)
86.下面將參考圖6中的流程圖、圖7a至7f中的類型確定處理以及表1來描述步驟s409中的類型確定處理。該流程圖的各個步驟由系統(tǒng)控制單元50執(zhí)行，或者由遵循系統(tǒng)控制單元50的指示的各個單元執(zhí)行。
87.圖7a至7f示出類型確定處理的示例。圖7a示出拍攝摩托車701作為被攝體的輸入圖像。圖7b示出在步驟s403中選擇人物詞典并且檢測到人物702的狀態(tài)。圖7c示出在步驟s403中選擇摩托車詞典并且檢測到摩托車703的狀態(tài)。圖7d示出在步驟s403中選擇汽車詞典并且誤檢測到汽車704的狀態(tài)。圖7e示出在步驟s403中選擇狗詞典并且誤檢測到狗705的狀態(tài)。圖7f示出在步驟s403中選擇貓詞典并且作為處理的結果沒有獲得檢測結果的狀態(tài)。
88.在步驟s601中，圖像處理單元24根據(jù)步驟s407中所設置的優(yōu)先設置對要檢測的各個被攝體類型賦予優(yōu)先級。
89.表1示出通過優(yōu)先設置和被攝體類型所進行的優(yōu)先級分類的示例。參考表1，垂直排列的優(yōu)先設置包括與圖3中的設置方法相對應的“人物”、“動物”、“運載工具”、“無”和“自動”。水平排列的要檢測的被攝體類型包括與圖7a至7f中的類型確定處理相對應的“人物”、“狗”、“貓”、“汽車”和“摩托車”。參考表1，較小的優(yōu)先級數(shù)表示較高的優(yōu)先級，并且“無優(yōu)先級”表示不使用被攝體。
90.在本示例性實施例中，盡管被攝體被分類為三個不同的被攝體(值)：優(yōu)先被攝體(表1中的優(yōu)先級1)、非優(yōu)先被攝體(表1中的優(yōu)先級2)和不采用的被攝體(表1中的無優(yōu)先級)，但本發(fā)明不限于此。例如，被攝體被分類為兩個不同的被攝體(值)：使用的被攝體和不采用的被攝體。被攝體可被分類為四個不同的被攝體(值)：最高優(yōu)先被攝體、優(yōu)先被攝體、非優(yōu)先被攝體和不采用的被攝體?？梢愿鶕?jù)可檢測的被攝體類型的數(shù)量和可能的優(yōu)先設置來改變被攝體類型的數(shù)量。參考表1，當運載工具被選擇為優(yōu)先被攝體時，汽車和摩托車被分類為優(yōu)先被攝體，人物被分類為非優(yōu)先被攝體，并且狗和貓被分類為不采用的被攝體。然而，分類方法不限于此。例如，不檢測除具有優(yōu)先設置的被攝體類型(也稱為優(yōu)先被攝體類型)之外的被攝體類型，人物也可以被分類為不采用的被攝體。如果要檢測除優(yōu)先被攝體類
型之外的被攝體類型，則狗和貓可被分類為非優(yōu)先被攝體。
91.[表1]
[0092][0093][0094]
在步驟s602中，圖像處理單元24根據(jù)步驟s601中所確定的優(yōu)先級進行基于優(yōu)先級的同一區(qū)域的被攝體類型確定處理。
[0095]
下面將參考圖7a至7f中的類型確定處理來描述具體方法。參考表1，當人物被分配優(yōu)先設置時，人物被攝體類型被賦予優(yōu)先級1，因此圖像處理單元24確認是否存在人物的檢測結果。由于存在圖7b中的人物702，因此圖像處理單元24采用人物702作為該區(qū)域中的被攝體類型，然后終止類型確定處理。當運載工具被分配優(yōu)先設置時，如表1所示，汽車和摩托車被攝體類型被賦予優(yōu)先級1。因此，圖像處理單元24確認是否存在具有優(yōu)先級1的汽車和摩托車的檢測結果。由于摩托車703(圖7c)和汽車704(圖7d)這兩者都存在，因此處理繼續(xù)進行到步驟s603。在該情況下，當摩托車703(圖7c)和汽車704(圖7d)都不存在時，圖像處理單元24確認是否存在具有優(yōu)先級2的人物的檢測結果。當不存在人物的檢測結果時，如表1所示，由于狗和貓被賦予“無優(yōu)先級”，因此圖像處理單元24確定為在同一區(qū)域中沒有被攝體存在，然后終止類型確定處理。
[0096]
在步驟s603中，圖像處理單元24針對各個被攝體對步驟s405中存儲的檢測結果的可靠性進行歸一化處理。由于檢測結果的可靠性的最大值和作為被攝體的可靠性的閾值對于各個單獨采用的詞典是不同的，所以進行歸一化。歸一化使得能夠在后續(xù)階段處理中進行詞典不同的被攝體之間的可靠性比較。根據(jù)本示例性實施例，各個詞典可采用的可靠性的最小值和最大值分別被歸一化為0和1。該歸一化將可靠性限制為0到1之間的值，從而使得能夠進行基于可靠性的被攝體比較。歸一化方法不限于此。例如，作為被攝體的可靠性的閾值可以被設置為1，并且可以采取的可靠性的最小值可以被設置為0。
[0097]
當圖像處理單元24在步驟s602中確認出存在具有同一優(yōu)先級的多個被攝體類型時，然后在步驟s604中，圖像處理單元24將具有作為步驟s603中的歸一化的結果的高可靠性的被攝體確定為該區(qū)域中的被攝體；然后終止類型確定處理。盡管本示例性實施例基于可靠性來確定區(qū)域中的被攝體，但確定方法不限于此。例如，圖像處理單元24可以參考過去幀的檢測結果，以將在多個幀中檢測到的次數(shù)最多的被攝體類型確定為該區(qū)域中的被攝體。
[0098]
參考圖7a至7f，在步驟s602中，圖像處理單元24將圖7c中的摩托車703和圖7d中的汽車704確定為同一區(qū)域中的優(yōu)先被攝體，然后比較這兩個被攝體。根據(jù)本示例性實施例，
由于輸入被攝體是摩托車701，因此圖像處理單元24在假設圖7c中的摩托車703具有最高可靠性的情況下將摩托車703確定為該區(qū)域中的被攝體。
[0099]
在步驟s604的可靠性比較之前，在步驟s602中，圖像處理單元24基于優(yōu)先級來選擇被攝體。假設狗和貓作為具有相似的共同特征(諸如四足步行等)的被攝體的情況。在該情況下，如果將貓圖像輸入到狗詞典，則貓很可能被誤檢測為狗。然而，假設狗和摩托車作為具有不同的共同特征的被攝體的情況。在該情況下，如果將摩托車圖像輸入到狗詞典，則摩托車不太可能被誤檢測為狗。然而，在圖7e中的狗705的誤檢測的情況下，難以確定感知到輸入圖像的哪個特征，從而可以得到高的可靠性。在該情況下，可能難以防止最終輸出被誤檢測是狗。因此，圖像處理單元24首先根據(jù)所設置的優(yōu)先級進行被攝體選擇，以消除對不期望的被攝體的誤檢測。
[0100]
(主被攝體確定處理的流程)
[0101]
下面將參考圖8中的流程圖和圖9a至9c中的圖像來描述步驟s410中的主被攝體確定處理。該流程圖的各個步驟由系統(tǒng)控制單元50執(zhí)行，或者由各個單元根據(jù)系統(tǒng)控制單元50的指示執(zhí)行。
[0102]
圖9a至9c示出當在同一幀中檢測到多個被攝體時的主被攝體確定的示例。圖9a示出檢測到人臉901以及貓902和903的狀態(tài)。
[0103]
圖9b示出從人臉901以及貓902和903中選擇人臉904作為主被攝體的狀態(tài)。圖9c示出從人臉901以及貓902和903中選擇貓905作為主被攝體的狀態(tài)。
[0104]
在步驟s801中，圖像處理單元24根據(jù)步驟s407中所設置的優(yōu)先設置來選擇主被攝體候選。在該情況下，當主被攝體候選被唯一地確定時，圖像處理單元24選擇該主被攝體候選作為主被攝體，然后終止主被攝體確定處理。當沒有候選存在時，圖像處理單元24確定為主被攝體不存在，然后終止主被攝體確定處理。當存在多個被攝體候選(步驟s801中的多個候選)時，處理進入步驟s802。
[0105]
下面將參考圖9a至9c描述主被攝體確定的具體示例。
[0106]
當在步驟s407中設置圖3中的“人物”時，圖像處理單元24根據(jù)優(yōu)先級設置從圖9a中的人臉901以及貓902和903中選擇圖9b中的人臉904作為主被攝體，然后終止主被攝體確定。
[0107]
當在步驟s407中設置圖3中的“動物”時，在圖9a中的人臉901以及貓902和903中存在貓的多個檢測結果。然后，處理進行到步驟s802。
[0108]
當在步驟s407中設置圖3中的“自動”時，沒有要優(yōu)先檢測的被攝體，并因此存在人物和貓的多個檢測結果。然后，處理進行到步驟s802。
[0109]
當在步驟s407中設置圖3中的“運載工具”時，圖9a中的人臉901以及貓902和903中沒有一個被選擇為被攝體。因此，圖像處理單元24確定為主被攝體不存在，然后終止主被攝體確定處理。
[0110]
在步驟s802中，圖像處理單元24基于步驟s404中所檢測到的被攝體的位置、大小和可靠性，從步驟s801中確定的多個被攝體候選中選擇主被攝體。例如，假設圖像處理單元24選擇靠近視場角中心的被攝體作為被攝體的情況。在該情況下，當在步驟s801中人臉901以及貓902和903保持為被攝體候選時，因為人臉901最靠近中心，所以圖像處理單元24選擇圖9b中的人臉904作為主被攝體。
[0111]
當貓902和903保持為被攝體候選時，因為貓902最靠近中心，所以圖像處理單元24選擇圖9c中的貓905作為主被攝體。
[0112]
在本示例性實施例中，雖然圖像處理單元24選擇候選被攝體中的靠近視場角的中心的被攝體作為主被攝體，但本發(fā)明不限于此。例如，圖像處理單元24可以選擇最靠近經(jīng)過了自動聚焦的區(qū)域的中心的被攝體作為主被攝體，選擇具有最大大小的被攝體作為主被攝體，選擇具有最高檢測被攝體可靠性的被攝體作為主被攝體，并且通過綜合確定這些因素來確定主被攝體。
[0113]
(當用戶在畫面中進行指定操作時的示例性實施例)
[0114]
上述示例性實施例基于攝像設備100自動檢測被攝體、確定同一區(qū)域中的被攝體類型并確定主被攝體的示例。下面將圍繞如下示例來描述本示例性實施例，在該示例中，當用戶指定在顯示單元28上顯示的實時取景畫面中的某個區(qū)域時，圖像處理單元24改變詞典切換序列，確定同一區(qū)域中的被攝體類型，并確定主被攝體。
[0115]
下面將參考圖10描述當用戶指定實時取景畫面中的任意區(qū)域時的步驟s403中的詞典數(shù)據(jù)選擇單元204所進行的詞典切換序列。
[0116]
參考圖5a和5b，圖像處理單元24根據(jù)先前檢測到的被攝體和優(yōu)先檢測被攝體設置來改變詞典切換序列。然而，根據(jù)本示例性實施例，當用戶指定實時取景畫面中的區(qū)域時，無論先前檢測到的被攝體和優(yōu)先檢測被攝體設置如何，圖像處理單元24都改變所有可檢測的詞典。該處理旨在通過在所有可檢測的詞典之間切換來正確地檢測指定區(qū)域中的被攝體，以無論先前檢測到的被攝體如何，都正確地反映用戶的區(qū)域指定。
[0117]
下面將參考圖10描述詞典數(shù)據(jù)切換的示例。圖像處理單元24在第一幀中按照人物頭部、運載工具1(摩托車)和運載工具2(汽車)的順序在詞典數(shù)據(jù)之間切換，在第二幀中按照人物頭部、動物(狗/貓)和動物(鳥)的順序在詞典數(shù)據(jù)之間切換，并且在多個幀中在詞典數(shù)據(jù)之間切換。在本示例性實施例中，盡管圖像處理單元24在第一幀和第二幀這兩者中切換人物頭部詞典，但圖像處理單元24可以根據(jù)優(yōu)先檢測被攝體設置，在任一幀中將人物頭部詞典改變?yōu)槠渌~典。例如，當運載工具被賦予優(yōu)先時，圖像處理單元24可以在第二幀中使用運載工具詞典中的任意一個。當動物被賦予優(yōu)先時，圖像處理單元24可以在第二幀中使用動物詞典中的任意一個。
[0118]
下面將圍繞根據(jù)本示例性實施例的特性處理來描述步驟s409中的類型確定處理。
[0119]
當在用戶指定的區(qū)域中檢測到多個類型的被攝體時，本示例性實施例進行類型確定處理。
[0120]
下面將圍繞根據(jù)本示例性實施例的特性處理來描述步驟s410中的主被攝體確定處理。本示例性實施例將存在于由用戶指定的區(qū)域中的被攝體確定為主被攝體。
[0121]
當在指定區(qū)域中沒有檢測到被攝體時，圖像處理單元24將指定區(qū)域確定為主被攝體。然而，在下一幀中的步驟s403中的詞典數(shù)據(jù)切換序列中，圖像處理單元24隨后在所有詞典之間切換，直到在指定區(qū)域中檢測到可檢測的被攝體為止。
[0122]
圖像處理單元24根據(jù)優(yōu)先檢測被攝體設置，可以對指定區(qū)域中的要被確定為主被攝體的被攝體類型進行限制?？赡艿南拗频氖纠缦隆．斎宋锉毁x予優(yōu)先時，所有被攝體都可以被選擇為主被攝體。當動物被賦予優(yōu)先時，在指定區(qū)域中檢測到的運載工具不會被選擇為主被攝體。當運載工具被賦予優(yōu)先時，在指定區(qū)域中檢測到的動物不會被選擇為主被
攝體。當限制主被攝體的類型時，圖像處理單元24可以如上述的在指定區(qū)域中沒有檢測到被攝體的情況那樣選擇指定區(qū)域作為主被攝體，或者僅采用檢測結果中的被攝體的位置和大小。
[0123]
當確定為要指定被限制的被攝體時，圖像處理單元24可以在下一幀和后續(xù)幀中在不選擇被限制的被攝體的詞典的情況下使用具有優(yōu)先設置的詞典。假設動物被賦予優(yōu)先的示例情況。在該情況下，當指定運載工具被攝體時，圖像處理單元24沒有選擇運載工具詞典以不檢測運載工具，而是在后續(xù)幀中頻繁地在動物詞典之間切換，使得更容易檢測動物。以該方式進行控制使得更容易地轉移到具有優(yōu)先設置的被攝體。
[0124]
已經(jīng)圍繞在實時取景圖像拍攝下顯示單元28的顯示畫面中的區(qū)域指定描述了本示例性實施例，其中顯示單元28逐次顯示從圖像傳感器順次輸入的圖像。然而，用戶可以通過使用視線在取景器中顯示的畫面上指定區(qū)域，或者通過操作顯示的指針在實時取景畫面或取景器中顯示的畫面上指定區(qū)域。用于指定區(qū)域的方法不受限制。
[0125]
雖然已經(jīng)基于上述示例性實施例具體描述了本發(fā)明，但本發(fā)明不限于此，而是可以在所附權利要求書的范圍內以多種方式進行修改和改變。
[0126]
本發(fā)明使得即使在針對同一被攝體存在利用多個詞典的多個檢測結果的情況下，也可以選擇正確的檢測類型。
[0127]
其他實施例
[0128]
本發(fā)明的實施例還可以通過如下的方法來實現(xiàn)，即，通過網(wǎng)絡或者各種存儲介質將執(zhí)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機或是中央處理單元(cpu)、微處理單元(mpu)讀出并進行程序的方法。
[0129]
雖然已經(jīng)參考示例性實施例描述了本發(fā)明，但是應當理解，本發(fā)明不限于所公開的示例性實施例。所附權利要求書的范圍應得到最廣泛的解釋。