圖像處理裝置、圖像處理方法和記錄介質(zhì)的制作方法
【專利摘要】提出一種能夠精確地跟蹤移動對象的跟蹤方法。一種圖像處理設(shè)備，包括：距離信息獲取單元，用于獲取到要由圖像捕獲元件捕獲的被攝體的距離的信息；像素值信息獲取單元，用于獲取對應(yīng)于被攝體的圖像的像素值信息；以及跟蹤單元，用于基于獲取的距離信息和像素值信息，跟蹤移動的對象。圖像捕獲元件具有相位差像素，用于檢測被攝體的相位差并且執(zhí)行對焦調(diào)節(jié)。距離信息獲取單元基于由相位差像素檢測的相位距離獲取距離信息。
【專利說明】圖像處理裝置、圖像處理方法和記錄介質(zhì)
【技術(shù)領(lǐng)域】
[0001]本公開涉及圖像處理裝置、圖像處理方法和記錄介質(zhì)。
【背景技術(shù)】
[0002]作為圖像處理裝置，例如，已知當(dāng)成像運動對象時自動跟蹤對象的成像裝置(見專利文獻(xiàn)I)。
[0003]專利文獻(xiàn)I描述了一種成像裝置，其通過基于目標(biāo)顏色或亮度，從多個圖像重復(fù)檢測目標(biāo)圖像來跟蹤目標(biāo)圖像。
[0004]引用列表
[0005]專利文獻(xiàn)
[0006]專利文獻(xiàn)I JP2010-113129A
【發(fā)明內(nèi)容】

[0007]技術(shù)問題
[0008]然而，根據(jù)專利文獻(xiàn)I中的技術(shù)，如果可以跟蹤的多個對象具有相同顏色或亮度，那么存在跟蹤不同于所希望對象的對象的可能性。例如，如果兩個對象正如交叉移動，并且兩個對象具有相同顏色或亮度，那么存在跟蹤目標(biāo)從一個對象切換為另一個的可能性。
[0009]因此，本公開提出了一種能夠以高精度跟蹤移動對象的跟蹤方法。
[0010]對于問題的解決方案
[0011]根據(jù)本公開，提供了一種圖像處理裝置，包括:距離信息獲取單元，其獲取關(guān)于直到由圖像傳感器成像的對象的距離的距離信息；像素值信息獲取單元，其獲取對應(yīng)于所述對象的圖像的像素值信息；以及跟蹤單元，其基于獲取的距離信息和獲取的像素值信息跟蹤移動的對象。
[0012]根據(jù)本公開，提供了一種圖像處理方法，包括:獲取關(guān)于直到由圖像傳感器成像的對象的距離的距離信息；獲取對應(yīng)于所述對象的圖像的像素值信息；以及基于獲取的距離信息和獲取的像素值信息跟蹤移動的對象。
[0013]根據(jù)本公開，提供了一種具有記錄在其上的程序的記錄介質(zhì)，所述程序使得計算機執(zhí)行:獲取關(guān)于直到由圖像傳感器成像的對象的距離的距離信息；獲取對應(yīng)于所述對象的圖像的像素值信息；以及基于獲取的距離信息和像素值信息跟蹤移動的對象。
[0014]然后，根據(jù)本公開，基于獲取的距離信息和像素值信息跟蹤移動的對象的圖像。因此，即使例如多個對象具有相同的顏色、亮度等的像素值信息，也可以基于距離信息識別各個對象并跟蹤希望的對象，并且因此可以以高精度跟蹤移動對象。
[0015]本發(fā)明的有益效果
[0016]根據(jù)本公開，如上所述，可以以高精度跟蹤移動對象。
【專利附圖】

【附圖說明】[0017]圖1是示出根據(jù)第一實施例的成像裝置的外部配置的前視圖。
[0018]圖2是示出根據(jù)第一實施例的成像裝置的外部配置的后視圖。
[0019]圖3是示出根據(jù)第一實施例的成像裝置的電配置的框圖。
[0020]圖4是圖示圖像傳感器的配置的圖。
[0021]圖5是圖示圖像傳感器的配置的圖。
[0022]圖6是示出成像裝置的跟蹤功能的配置示例的框圖。
[0023]圖7是示出在跟蹤移動對象的同時捕獲圖像時成像裝置的操作示例的流程圖。
[0024]圖8是示出成像模式的選擇處理的流程圖。
[0025]圖9是示出AF選擇處理的流程圖。
[0026]圖10是示出AF模式的選擇處理的流程圖。
[0027]圖11是示出對象跟蹤和對焦跟蹤處理的流程圖。
[0028]圖12是示出要跟蹤的對象的圖。
[0029]圖13是示出AF點位置和對象距成像裝置的距離之間的關(guān)系的曲線圖。
[0030]圖14是圖示其中對象移動的方向的預(yù)測方法的圖。
[0031]圖15是示出根據(jù)第二實施例的成像裝置的外部配置的前視圖。
[0032]圖16是示出根據(jù)第二實施例的成像裝置的外部配置的后視圖。
[0033]圖17是根據(jù)第二實施例的成像裝置的縱向視圖。
[0034]圖18是示出根據(jù)第二實施例的成像裝置的電配置的框圖。
[0035]圖19是根據(jù)第三實施例的成像裝置的縱向視圖。
[0036]圖20是示出根據(jù)第三實施例的成像裝置的電配置的框圖。
【具體實施方式】
[0037]下文中，將參照附圖詳細(xì)描述本公開的優(yōu)選實施例。注意到，在該說明書和附圖中，具有基本相同功能和結(jié)構(gòu)的元件用相同的參考標(biāo)號標(biāo)識表示，并且省略重復(fù)說明。
[0038]以下面示出的順序提供描述:
[0039]1.第一實施例
[0040]1-1.成像裝置的外部配置
[0041]1-2.成像裝置的電配置
[0042]1-3.圖像傳感器的詳細(xì)配置
[0043]1-4.對象跟蹤功能
[0044]1-5.成像裝置的操作
[0045]1-6.第一實施例的概述
[0046]2.第二實施例
[0047]2-1.成像裝置的外部配置
[0048]2-2.成像裝置的內(nèi)部配置
[0049]2-3.成像裝置的電配置
[0050]2-4.對象跟蹤功能
[0051]3.第三實施例
[0052]〈1.第一實施例>[0053](1-1.成像裝置的外部配置)
[0054]將參照圖1和圖2描述作為根據(jù)第一實施例的圖像處理裝置的示例的成像裝置I的外部配置。圖1是示出根據(jù)第一實施例的成像裝置I的外部配置的前視圖。圖2是示出根據(jù)第一實施例的成像裝置I的外部配置的后視圖。
[0055]成像裝置I配置為例如緊湊型數(shù)字照相機。成像裝置I包括相機主體10和固定到相機主體10的成像鏡頭2。
[0056]在圖1中，內(nèi)置閃光燈318和安排在頂面的快門按鈕307提供在相機主體10的前偵U。如圖2所示，LCD (液晶顯示器)311提供在相機主體10的后側(cè)。
[0057]快門按鈕307是按下開關(guān)，其能夠執(zhí)行其中向下半按快門按鈕的“半按狀態(tài)”操作以及其中進(jìn)一步向下全按快門按鈕的“全按狀態(tài)”操作。當(dāng)在靜態(tài)圖像捕獲模式下向下半按快門按鈕307時，執(zhí)行捕獲對象的靜態(tài)圖像的準(zhǔn)備操作(諸如曝光控制值的設(shè)置和對焦檢測的準(zhǔn)備操作)。另一方面，當(dāng)進(jìn)一步向下全按快門按鈕307時，執(zhí)行成像操作(包括曝光圖3中示出的圖像傳感器4、對通過曝光獲得的圖像信號執(zhí)行預(yù)定圖像處理、以及在存儲卡等中記錄圖像信號的一系列操作)。
[0058]IXD311包括能夠顯示圖像的彩色液晶觸摸面板，并且顯示作為由圖像傳感器4捕獲的對象圖像的直通圖像，并且回放記錄的圖像。IXD311還用于設(shè)置在成像裝置I中實施的功能或模式，并且顯示其設(shè)置屏幕。替代IXD311，可以使用能夠觸摸輸入的有機EL或等離子體顯示裝置。
[0059]主開關(guān)(未示出)安排在相機主體10的頂面上，并且配置為每次按壓開關(guān)時打開或關(guān)閉成像裝置I的按壓開關(guān)。
[0060]成像鏡頭2用作捕獲來自對象的光(光圖像)的鏡頭窗，并且還用作將對象光引導(dǎo)到安排在相機主體10的內(nèi)部的圖像傳感器4的成像光學(xué)系統(tǒng)。成像鏡頭2包括包含沿著光軸順序安排的多個透鏡的透鏡組。透鏡組包含用于調(diào)節(jié)對焦的對焦透鏡和用于可變能力的變焦透鏡，并且這些透鏡每個沿著光軸方向驅(qū)動，用于可變能力或?qū)拐{(diào)整。
[0061](1-2.成像裝置的電配置)
[0062]將參照圖3描述根據(jù)第一實施例的成像裝置I的電配置。圖3是示出根據(jù)第一實施例的成像裝置I的電配置的框圖。
[0063]如圖3所示，成像裝置I包括成像鏡頭2、相機DSP單元3、圖像傳感器4、預(yù)處理單元5、LCD16、記錄介質(zhì)19、操作單元22、CPU20、USB23、EEPR0M24、RAM25、閃光燈27和存儲器28。
[0064]成像鏡頭2通過在相機DSP (數(shù)字信號處理器)單元3的控制下，改變變焦透鏡、對焦和光圈，將入射光會聚在隨后的圖像傳感器4的成像面上，從而在隨后的圖像傳感器4的成像面上形成光學(xué)圖像。
[0065]圖像傳感器4成像對象。圖像傳感器4是CMOS (互補金屬氧化物半導(dǎo)體)固態(tài)圖像傳感器等，并且通過驅(qū)動預(yù)處理單元5光電轉(zhuǎn)換在成像面上形成的光學(xué)圖像，以輸出成像信號作為成像結(jié)果。
[0066]圖像傳感器4安排在與Z軸垂直的平面(XY平面)上，并且接收對象光。在圖像傳感器4中，通過包括光電二極管配置的多個像素以矩陣形狀二位排列。然后，普通像素和相位差像素排列在每個像素的接收面上，在普通像素中以1:2:1的比率布置具有相互不同光譜特性的例如R(紅色)、G (綠色)和B (藍(lán)色)的濾色鏡，相位差像素用于通過對象光的光瞳分割檢測對焦。
[0067]圖像傳感器4生成并且輸出關(guān)于通過成像鏡頭2之后形成的對象光圖像的R(紅色)、G (綠色)和B (藍(lán)色)的每個顏色分量的模擬電信號(圖像信號)作為R、G和B的每個顏色的圖像信號，并且還輸出相位差信息。稍后將描述圖像傳感器4的詳細(xì)配置。
[0068]預(yù)處理單元5驅(qū)動圖像傳感器4，并且還通過對從圖像傳感器4輸出的圖像信號執(zhí)行信號處理輸出圖像數(shù)據(jù)。預(yù)處理單元5包括時序發(fā)生器(TG)6、V驅(qū)動器7和⑶S/AGC/ADC單元8。
[0069]時序發(fā)生器(TG)6生成并且輸出各種時序信號作為圖像傳感器4的驅(qū)動標(biāo)準(zhǔn)，并且V驅(qū)動器7基于由時序發(fā)生器6生成的時序信號驅(qū)動圖像傳感器4。
[0070]⑶S/AGC/ADC單元8使從圖像傳感器4輸出的成像信號經(jīng)歷相關(guān)雙采樣(CTS)，從而生成例如原色的色彩信號。此外，在通過自動增益控制(AGC)校正色彩信號的信號電平之后，CDS/AGC/ADC單元8通過模擬到數(shù)字轉(zhuǎn)換器(ADC)生成圖像數(shù)據(jù)。然后，CDS/AGC/ADC單元8輸出圖像數(shù)據(jù)到相機DSP單元3。
[0071]相機DSP單元3在中央處理單元(CPU) 20的控制下切換操作，并且使用存儲器28執(zhí)行與從預(yù)處理單元5輸出的圖像數(shù)據(jù)的記錄、回放、監(jiān)視等相關(guān)的處理。存儲器28形成相機DSP單元3的工作區(qū)。
[0072]相機DSP單元3包括相機信號處理單元11、存儲器控制器12、鏡頭控制器13、分辨率轉(zhuǎn)換單元14、顯示控制器15、圖像編解碼器17、介質(zhì)控制器18、BIU21和閃光燈控制器26。
[0073]相機信號處理單元11對從預(yù)處理單元5輸出的圖像數(shù)據(jù)執(zhí)行白平衡調(diào)整處理、伽馬校正處理等，經(jīng)由存儲器控制器12將處理的圖像數(shù)據(jù)存儲在存儲器28中，并且輸出圖像數(shù)據(jù)到分辨率轉(zhuǎn)換單元14。相機信號處理單元11還從圖像數(shù)據(jù)檢測光圈校正和自動對焦調(diào)整所需的信息，并且將信息輸出到鏡頭控制器13。
[0074]存儲器控制器12是控制外部添加到相機DSP單元3的存儲器28的控制器，并且將從相機DSP單元3的每個單元輸出的圖像數(shù)據(jù)記錄到存儲器28，并且還讀取和輸出存儲器28中記錄的圖像數(shù)據(jù)到相機DSP單元3的每個單元。
[0075]分辨率轉(zhuǎn)換單元14轉(zhuǎn)換存儲器28中存儲的圖像數(shù)據(jù)或從相機信號處理單元11輸出的圖像數(shù)據(jù)的分辨率，并且將圖像數(shù)據(jù)存儲在存儲器28中。相應(yīng)地，相機DSP單元3將由圖像傳感器4獲得的成像結(jié)果轉(zhuǎn)換為傳遞到LCD16用于顯示的分辨率，并且還將成像結(jié)果轉(zhuǎn)換為由用戶指示用于記錄介質(zhì)19的分辨率。相機DSP單元3切除成像結(jié)果的部分區(qū)域，并且執(zhí)行與分辨率轉(zhuǎn)換相關(guān)的處理，從而執(zhí)行電子變焦或回放變焦的處理。
[0076]顯示控制器15通過存儲器28中存儲的圖像數(shù)據(jù)驅(qū)動液晶顯示器(IXD) 16，從而顯示成像結(jié)果的監(jiān)視圖像或顯示記錄介質(zhì)中記錄的成像結(jié)果。
[0077]圖像編解碼器17壓縮存儲器28中存儲的圖像數(shù)據(jù)，以便輸出壓縮的圖像數(shù)據(jù)到相機DSP單元3的每個單元，或者相反地解壓存儲器28中存儲的圖像數(shù)據(jù)，以便輸出解壓的圖像數(shù)據(jù)到相機DSP單元3的每個單元。JPEG(聯(lián)合圖像編碼專家組)的技術(shù)應(yīng)用于靜態(tài)圖像以壓縮或解壓數(shù)據(jù)。另一方面，諸如IS0/IEC JTC1/SC29WG11的MPEGl (運動圖像專家組I)、MPEG2和MPEG4以及ITU-T的H.263和H.264/MPEG4-AVC (先進(jìn)視頻編碼)的使用運動矢量的數(shù)據(jù)壓縮技術(shù)應(yīng)用于運動圖像。
[0078]介質(zhì)控制器18將存儲器28中記錄的圖像數(shù)據(jù)記錄在記錄介質(zhì)19中，并且還讀取記錄介質(zhì)19中記錄的圖像數(shù)據(jù)以輸出圖像數(shù)據(jù)到存儲器28。作為記錄介質(zhì)19，可以廣泛地應(yīng)用各種記錄介質(zhì)，諸如通過半導(dǎo)體存儲器的所謂存儲卡、如可記錄DVD (數(shù)字多功能盤)和可記錄⑶(致密盤)的光盤、以及硬盤驅(qū)動器。
[0079]鏡頭控制器13基于從相機信號處理單元11獲得的信息控制鏡頭塊2的光圈，并且還通過所謂爬山(hill-climbing)方法控制鏡頭塊2的自動對焦。鏡頭控制器13還在CPU20的控制下響應(yīng)于用戶的操作，改變鏡頭塊2的變焦。
[0080]BIU (總線接口單元)21是CPU20和相機DSP單元3之間的接口，并且通過其輸入和輸出與通過CPU20的相機DSP單元3的控制有關(guān)的命令。
[0081]閃光燈控制器26控制閃光燈27的光量為閃光成像模式下由CPU20設(shè)置的光量。
[0082]操作單元22是成像裝置I中提供的操作控制或者IXD16的顯示屏中提供的通過觸摸面板的用戶界面，并且將通過用戶的操作通知CPU20。
[0083]USB (通用串行總線)23是存儲類兼容接口，并且連接諸如各人計算機的外部設(shè)備以將各種數(shù)據(jù)輸入外部設(shè)備/從外部設(shè)備輸出各種數(shù)據(jù)。
[0084]EEPROM(電可擦除可編程只讀存儲器)24是記錄CPU20的處理程序等的記錄介質(zhì)。RAM25是CPU20的工作存儲器。在成像裝置I中，CPU20的處理程序(例如，執(zhí)行對象跟蹤功能的程序)可以通過預(yù)先安裝在成像裝置I中提供。替代通過預(yù)安裝提供程序，程序還可以通過經(jīng)由諸如因特網(wǎng)的網(wǎng)絡(luò)的安裝提供，或者通過諸如存儲卡、光盤、磁盤等的各種類型的介質(zhì)提供。
[0085]CPU20是控制成像裝置I的操作的控制器，并且通過執(zhí)行EEPR0M24中記錄的處理程序，響應(yīng)于通過用戶對操作單元22等的操作控制每個單元的操作。
[0086]也就是說，當(dāng)通過操作單元22的操作指示圖像捕獲時，CPU20通過控制預(yù)處理單元5和相機DSP單元3的操作從圖像傳感器4獲取作為運動圖像的成像結(jié)果以順序處理成像結(jié)果，并且經(jīng)由相機信號處理單元11和存儲器控制器12順序?qū)⒊上窠Y(jié)果存儲在存儲器28中。CPU20還通過分辨率轉(zhuǎn)換單元14轉(zhuǎn)換作為成像結(jié)果順序存儲在存儲器中的圖像數(shù)據(jù)的分辨率，并且通過顯示控制器115由圖像數(shù)據(jù)驅(qū)動IXD16。因此，在將作為運動圖像的成像結(jié)果記錄在存儲器28中的同時，CPU20在IXD16中顯示成像結(jié)果的監(jiān)視圖像。
[0087]如果，在此狀態(tài)下，由用戶指示作為靜態(tài)圖像的成像結(jié)果的記錄，則CPU20停止存儲器28中相機信號處理單元11的輸出數(shù)據(jù)的存儲。然后，CPU20通過分辨率轉(zhuǎn)換單元14將指示獲取成像結(jié)果時存儲器28中存儲的圖像數(shù)據(jù)轉(zhuǎn)換為由用戶指示的分辨率。CPU20還通過圖像編解碼器17壓縮已經(jīng)經(jīng)歷分辨率轉(zhuǎn)換處理的圖像數(shù)據(jù)，然后將壓縮的圖像數(shù)據(jù)記錄在記錄介質(zhì)19中。在處理序列中，CPU20指示分辨率轉(zhuǎn)換單元14創(chuàng)建縮略圖圖像，并且由此創(chuàng)建用于索引的縮略圖圖像。CPU20還將縮略圖圖像記錄為記錄介質(zhì)19中記錄的成像結(jié)果的索引圖像。
[0088]類似地，指示由用戶指示的作為運動圖像的記錄的開始，CPU20停止存儲器28中相機信號處理單元11的輸出數(shù)據(jù)的存儲，并且開始通過分辨率轉(zhuǎn)換單元14的從相機信號處理單元11輸出的圖像數(shù)據(jù)的分辨率轉(zhuǎn)換處理。CPU20還指示由分辨率轉(zhuǎn)換單元14處理的圖像數(shù)據(jù)通過圖像編解碼器17的圖像壓縮處理，并且指示記錄介質(zhì)18記錄通過圖像編解碼器17的成像結(jié)果。同樣在該處理中，CPU20指示分辨率轉(zhuǎn)換單元14創(chuàng)建當(dāng)開始記錄時第一幀的縮略圖圖像，并且將縮略圖圖像記錄在記錄介質(zhì)19中作為記錄介質(zhì)19中記錄的成像結(jié)果的索引圖像。
[0089](1-3.圖像傳感器的詳細(xì)配置)
[0090]將參照圖4和5描述圖像傳感器4的配置。圖4和5是圖示圖像傳感器4的配置的圖。
[0091]如圖4所示，圖像傳感器4配置為能夠通過在成像面IOlf上以矩形形狀規(guī)定的多個AF區(qū)域EF的每個，基于相位差檢測方法檢測對焦。
[0092]在每個AF區(qū)域Ef中，在用作聚焦透鏡的微透鏡ML(圖5中示出的線圈)和光電二極管之間提供包括R像素111、G像素112和B像素113的普通像素(下文中，也稱為“普通像素”)，在R像素111、G像素112和B像素113中每個分別布置R(紅色)、G (綠色)和B (藍(lán)色)的濾色鏡。另一方面，在每個AF區(qū)域Ef中提供用于實現(xiàn)光瞳分割功能以執(zhí)行相位差A(yù)F的一對像素(下文中，也稱為“AF像素對”)120f。多個AF像素對120f是通過檢測對象的相位差調(diào)節(jié)對焦的相位差像素。在AF區(qū)域Ef中，基本上通過普通像素110獲取對象的圖像信息，普通像素110的數(shù)目大于AF像素對120f的數(shù)目。
[0093]在AF區(qū)域Ef中，Gr線LI和Gb線L2形成為不具有光瞳分割功能的普通像素110的水平線(下文中，也稱為“普通像素線”)Ln，在Gr線LI中在水平方向交替安排G像素112和R像素111，在Gb線L2中在水平方向交替安排B像素113和G像素112。通過在水平方向交替安排的Gr線LI和Gb線L2，由各組普通像素110配置拜耳陣列。
[0094]同樣在AF區(qū)域Ef中，由包括與沿著水平方向重復(fù)安排的普通像素110相同配置(直徑和曲率)的一個微透鏡ML的AF像素對120f，在垂直方向周期性地形成其中并排安排多個AF像素對120f的AF線Lf。優(yōu)選的是提供如在垂直方向上相互鄰近的AF線Lf之間插入缺少AF線Lf的對象的圖像信息所需那么多(例如，4或更多)的普通像素線Ln。作為在AF線Lf上或下鄰近的兩個普通像素線Ln的組合，可以組合相同類型的水平線(Gr線LI或Gb線L2)或者不同類型的水平線(一條Gr線LI和一條Gb線L2)。
[0095](1-4.對象跟蹤功能)
[0096]成像裝置I首先基于距離信息和像素值信息(顏色信息等)，開始通過任何AF點檢測的對象的跟蹤，并且繼續(xù)將對象的最近部分對焦。此外，通過在預(yù)測距當(dāng)前對焦位置的對焦移動量以及對象前一幀的對焦位置的同時跟蹤對焦，可以捕獲對焦的移動對象的圖像。
[0097]圖6是示出成像裝置I的跟蹤功能的配置示例的框圖。如圖6所示，成像裝置I包括距離信息獲取單元210、像素值信息獲取單元220、對象識別單元230、預(yù)測單元240和跟蹤單元250。圖6中示出的元件由圖3中示出的相機DSP單元3、預(yù)處理單元5、CPU20等實現(xiàn)。
[0098]距離信息獲取單元210獲取直到要成像的對象的距離信息。更具體地，距離信息獲取單元210基于由圖像傳感器4的AF像素對120f檢測的相位差，獲取距離信息。距離信息獲取單元210還獲取位于不同位置的對象的距離信息。也就是說，距離信息獲取單元210獲取連續(xù)幀的每幀中對象的距離信息。
[0099]距離信息獲取單元210可以根據(jù)對象的尺寸使多個AF像素對120f的部分稀薄，獲取距離信息。例如，如果對象具有等于預(yù)定尺寸或更大的尺寸，則距離信息獲取單元210稀疏多個AF像素對120f的部分。即使以此方式稀疏AF像素對120f，如果對象具有大尺寸，則僅僅稍稍影響檢測的精度。此外，稀疏要檢測的AF像素對120f的數(shù)目在節(jié)電上有效。距離信息獲取單元210將獲取的距離信息輸出到對象識別單元230和預(yù)測單元240。
[0100]像素值信息獲取單元220獲取對應(yīng)于對象的對象像素的像素值信息。在此，像素值信息例如是關(guān)于對象像素的顏色和亮度的信息。像素值信息獲取單元220獲取連續(xù)幀中每幀的對象像素的像素值信息。像素值信息獲取單元220將獲取的像素值信息輸出到跟蹤單元250。
[0101]對象識別單元230基于獲取的距離信息識別要跟蹤的對象。例如，對象識別單元230識別其包括在距離信息中的距離小于預(yù)定值的對象。當(dāng)與背景比較時，從成像裝置I到如人的對象的距離短，并且通過設(shè)置其距離小于預(yù)定值的對象作為要跟蹤的對象，可以適當(dāng)?shù)刈R別移動的人。對象識別單元230將識別結(jié)果輸出到預(yù)測單元240。
[0102]預(yù)測單元240基于多條獲取的距離信息，預(yù)測目的地位置中要跟蹤的對象的距離信息。例如，預(yù)測單元240使用位于多個幀中緊接在前的對象的距離信息預(yù)測目的地位置的距離信息。預(yù)測單元240將預(yù)測結(jié)果輸出到跟蹤單元250。
[0103]跟蹤單元250基于獲取的距離信息和像素值信息跟蹤移動對象。在此，跟蹤單元250跟蹤由對象識別單元230識別的對象。因此，即使多個對象例如具有相同的顏色、亮度等的像素值信息，可以基于距離信息識別各個對象，并且可以跟蹤希望的對象，因此可以以聞精度跟蹤移動對象。
[0104]如果目的地位置的對象的像素值信息與緊接在前位置的對象的像素值信息相同，則跟蹤單元250跟蹤對象。換句話說，如果目的地位置的對象的像素值信息與緊接在前位置的對象的像素值信息不相同，則跟蹤單元250停止跟蹤。因此，可以避免具有不同像素值信息的對象的跟蹤，并且因此可以以更高精度跟蹤對象。
[0105](1-5.成像裝置的操作)
[0106]將參照圖7描述在跟蹤移動對象的同時捕獲圖像時成像裝置I的操作示例。圖7是示出在跟蹤移動對象的同時捕獲圖像時成像裝置I的操作示例的流程圖。
[0107]通過由用戶激活成像裝置，開始圖7中的流程圖。在步驟501中，在IXD311中顯示由圖像傳感器4捕獲的直通圖像。用戶通過觀看顯示的直通圖像確認(rèn)對象和構(gòu)圖。
[0108]接下來，在步驟502中，接收由用戶選擇的成像模式。
[0109]在此，成像裝置I具有多個成像模式，并且具有例如自動模式和程序模式。自動模式是其中基于測光值選擇快門速度、F數(shù)、ISO敏感度、閃光燈的閃光和AF點的模式。程序模式是包括快門優(yōu)先AE模式和光圈優(yōu)先AE模式的模式，在快門優(yōu)先AE模式中基于用戶通過操作單元任意選擇的快門速度決定曝光，在光圈優(yōu)先AE模式中類似地選擇光圈。用戶通過對于成像條件的調(diào)整，從這些模式中選擇適當(dāng)?shù)某上衲Ｊ?。在自動模式中，基于稍后描述的測量的結(jié)果，閃光燈的閃光自動出現(xiàn)。在不同于自動模式的其他成像模式中，用戶選擇強制閃光或不閃光?？梢酝ㄟ^諸如模式設(shè)置轉(zhuǎn)盤等的操作部件進(jìn)行這些選擇。
[0110](成像模式的選擇處理)
[0111]將參照圖8描述步驟502中執(zhí)行的成像模式的選擇處理。圖8是示出成像模式的選擇處理的流程圖。[0112]在步驟601中，如果成像模式不是自動模式(否)，則處理進(jìn)到步驟602。另一方面，如果成像模式是自動模式(是)，則處理進(jìn)到步驟606。接下來，在步驟602中，如果成像模式不是程序模式(否)，則處理進(jìn)到步驟603。另一方面，如果成像模式是程序模式(是)，則處理進(jìn)到步驟604。
[0113]在步驟603中，用戶基于緊接在前測量的測光值，任意地選擇快門速度、F數(shù)、ISO敏感度和閃光燈的閃光。
[0114]在步驟604中，用戶基于緊接在前測量的測光值，決定快門速度、F數(shù)和ISO敏感度中的一個或多個設(shè)置，并且其他設(shè)置被自動決定。然后，在步驟605中，用戶設(shè)置是否閃光閃光燈。
[0115]在步驟606中，成像裝置I基于緊接在前測量的測光值，自動設(shè)置快門速度、F數(shù)、ISO敏感度和閃光燈的閃光。然后，在步驟607中，通過適應(yīng)由用戶決定的構(gòu)圖，自動選擇AF點。
[0116]在返回到圖7中的流程圖之前，在步驟502中完成成像模式的選擇處理。在步驟503中，接收通過適應(yīng)要由用戶成像的構(gòu)圖選擇并且旨在用于AF的AF區(qū)域。
[0117]在此，寬AF、中心固定AF和局部AF可用于AF區(qū)域。在寬AF中，成像裝置I從所有AF點自動選擇確定為最佳的AF點。在中心固定AF中，固定存在于中心的AF點。在局部AF中，AF點設(shè)為來自可選擇的AF點的任何位置。然后，用戶通過適應(yīng)對象和構(gòu)圖的環(huán)境選擇AF區(qū)域。當(dāng)選擇自動模式作為成像模式時，AF區(qū)域變?yōu)閷扐F。在局部AF中對象跟蹤和對焦跟蹤運打。
[0118](AF區(qū)域選擇處理)
[0119]將參照圖9描述步驟503中執(zhí)行的AF區(qū)域選擇處理。圖9是示出AF區(qū)域選擇處理的流程圖。
[0120]在步驟701中，如果選擇自動模式作為成像模式(是)，則處理進(jìn)到步驟707。另一方面，如果選擇不同于自動模式的模式作為成像模式(否)，則處理進(jìn)到步驟702。
[0121]在步驟702中，如果用戶選擇寬AF(是)，則處理進(jìn)到步驟707。另一方面，如果選擇不同于寬AF的AF區(qū)域(否)，則處理進(jìn)到步驟703。在步驟703中，如果用戶選擇中心固定AF (是)，則處理進(jìn)到步驟706。另一方面，如果選擇局部AF (否)，則處理進(jìn)到步驟704。
[0122]在步驟704中，設(shè)置局部AF作為AF區(qū)域。然后，在步驟705中，由用戶從所有AF點選擇任意一點。
[0123]在步驟706中，設(shè)置中心固定AF作為AF區(qū)域。在此情況下，存在于中心的AF點用于對焦檢測。在步驟707中，設(shè)置寬AF作為AF區(qū)域。在此情況下，成像裝置I從所有AF點自動選擇確定為最佳的AF點。
[0124]在返回到圖7中的流程圖之前，在步驟503中完成AF區(qū)域選擇處理。在步驟504中，接收適應(yīng)對象的環(huán)境的由用戶選擇的AF模式。
[0125]單個AF、連續(xù)AF和自動AF可用做AF模式。在單個AF中，對焦調(diào)節(jié)狀態(tài)固定在向下半按快門按鈕307(圖1)時的AF點。在連續(xù)AF中，在向下半按快門按鈕307同時，AF點的對焦總是連續(xù)調(diào)節(jié)。在自動AF中，成像裝置I通過適應(yīng)對象的移動切換單個AF和連續(xù)AF。在連續(xù)AF中對象跟蹤和對焦跟蹤運行。
[0126](AF模式選擇處理)[0127]將參照圖10描述在步驟504中執(zhí)行的AF模式選擇處理。圖10是示出AF模式的選擇處理的流程圖。
[0128]在步驟801中，如果用戶選擇單個AF作為AF模式(是)，則處理進(jìn)到步驟805。另一方面，如果選擇不同于單個AF的AF作為AF模式(否)，則處理進(jìn)到步驟802。
[0129]在步驟802中，如果用戶選擇連續(xù)AF作為AF模式(是)，則處理進(jìn)到步驟804。另一方面，如果選擇不同于連續(xù)AF的AF作為AF模式(否)，則處理進(jìn)到步驟803。
[0130]在步驟803中，設(shè)置自動AF作為AF模式。在步驟804中，設(shè)置連續(xù)AF作為AF模式。在步驟805中，設(shè)置單個AF作為AF模式。
[0131]在返回到圖7中的流程圖之前，在步驟504中完成AF模式的選擇處理。在步驟505中，由圖像傳感器4(圖3)測量對象。取決于設(shè)置的成像模式，決定快門速度、F數(shù)、ISO敏感度和閃光燈的閃光的設(shè)置。接下來，在步驟506中，執(zhí)行對象跟蹤和對焦跟蹤。
[0132](對象跟蹤和對焦跟蹤)
[0133]將參照圖11描述步驟506中的對象跟蹤和對焦跟蹤處理。圖11是示出對象跟蹤和對焦跟蹤處理的流程圖。
[0134]在步驟901中，如果選擇局部AF作為AF區(qū)域(是)，則處理進(jìn)到步驟902。另一方面，如果選擇不同于局部AF的AF作為AF區(qū)域(否)，則不執(zhí)行對象跟蹤和對焦跟蹤處理，并且處理進(jìn)到圖7中步驟507中的處理。
[0135]在步驟902中，如果要自動對焦的對象處于直通圖像中(是)，則處理進(jìn)到步驟903。另一方面，如果要自動對焦的對象不處于直通圖像中(否)，則重復(fù)步驟902中的確定直到對象進(jìn)入直通圖像。
[0136]在步驟903中，如果AF點與對象重疊(是)，則處理進(jìn)到步驟904。另一方面，如果AF點與對象不重疊(否)，則重復(fù)步驟903中的確定直到AF點與對象重疊。
[0137]在步驟904中，如果向下半按快門按鈕307 (是)，則處理進(jìn)到步驟905。另一方面，如果沒有向下半按快門按鈕307 (否)，則處理進(jìn)到步驟903。
[0138]在步驟905中，對象識別單元230基于AF點的距離信息(由距離信息獲取單元210獲取的距離信息)識別對象，并且跟蹤單元250設(shè)置最接近成像裝置I的識別對象的點作為要對焦跟蹤的點。
[0139]將參照圖12和13描述對象跟蹤和要對焦跟蹤的點的設(shè)置。圖12是示出要跟蹤的對象的圖。圖13是示出AF點位置和對象距成像裝置I的距離之間的關(guān)系的曲線圖。
[0140]由沿著圖12中的虛線箭頭X存在的AF點檢測的距離信息具有如圖13中的1201的分布。圖13中的水平軸代表對應(yīng)于虛線箭頭X的水平方向的AF點位置，并且垂直線代表距成像裝置I的距離。
[0141]在此，具有范圍1202中的距離信息(預(yù)定距離Dl或更小)的AF點的集合識別為對象。假設(shè)范圍1202為依賴于對象的形狀可變。點1203是最接近成像裝置I的點，并且組合對應(yīng)于點1203的距離信息和從圖像傳感器4的普通像素獲得的顏色信息以設(shè)為要對焦跟蹤的點。此外，從普通像素獲得的亮度信息或者與參考圖像對照匹配的圖案可以用作與距離信息的組合。
[0142]如果識別為對象的AF點的數(shù)目超過例如所有AF點的50% (對象大)，則圖像傳感器101可以通過稀疏AF像素的一些線讀取。這是因為即使通過稀疏AF像素的一些線減少AF點的數(shù)目并且通過讀取圖像傳感器101，實際上也不影響距離信息的操作，即使當(dāng)對象以高速移動時，也可以正確地操作距離信息。
[0143] 通過返回到圖11中示出的流程圖，描述將繼續(xù)。在步驟906中，預(yù)測單元240預(yù)測在步驟905中設(shè)置的要對焦跟蹤的點移動的方向，也就是說，對象移動的方向。
[0144]將參照圖14描述對象移動的方向的預(yù)測方法。圖14是圖示對象移動的方向的預(yù)測方法的圖。
[0145]在此，假設(shè)在步驟905中向下半按快門按鈕時對象的位置是Pt。然后，一幀之前的位置是位置Pt-ι，并且一幀之后的位置是Pt+i。如果通過使用三維坐標(biāo)表示為Xt+l，Yt+l，Zt+l，則可以通過以下公式⑴到(3)確定要預(yù)測的位置Pt+Ι:
[0146]Xt+1 = Xt+ (Xt - Xt-1)…(I)
[0147]Yt+1 = Yt+(Yt - Yt-1)...(2)
[0148]Zt+1 = Zt+ (Zt - Zt-1)…(3)
[0149]根據(jù)連續(xù)跟蹤對焦所需，通過運算上面的公式(I)到(3)預(yù)測對象移動的方向。X和Y方向?qū)?yīng)于圖像傳感器4的平面，并且Z方向的值等于到對象的距離R，并且基于該值執(zhí)行AF。在預(yù)測期間可以確定目的地點的對象的像素值信息是否與緊接在前點的對象的像素值信息相同，以只是在兩條像素值信息相同時繼續(xù)跟蹤。
[0150]如果保持向下半按快門按鈕(否)，則重復(fù)步驟904到906。另一方面，如果在步驟907中向下全按快門按鈕(是)，則處理進(jìn)到步驟507。這在步驟506中完成對象跟蹤和對焦跟蹤處理，以返回到圖7中的流程圖。
[0151]在步驟507中，實際上捕獲靜態(tài)圖像。接下來，在步驟508中，在步驟507中的成像結(jié)果記錄在存儲卡中以終止一系列操作。
[0152](1-6.第一實施例的概述)
[0153]如上圖像處理裝置的成像裝置I獲取直到由圖像傳感器4捕獲的對象的距離信息，獲取關(guān)于該對象的像素值信息，并且基于獲取的距離信息和像素值信息跟蹤移動對象的圖像。因此，即使對象變形或伴隨復(fù)雜的移動，也可以在以高精度在全屏幕上跟蹤對象的同時捕獲對焦的圖像。此外，即使對象位于接近成像裝置1，也可以通過圖像傳感器4的高速驅(qū)動，以高速檢測對焦。
[0154]〈2.第二實施例〉
[0155](2-1.成像裝置的外部配置)
[0156]將參照圖15和16描述根據(jù)第二實施例的成像裝置I的外部配置。圖15是示出根據(jù)第二實施例的成像裝置I的外部配置的前視圖。圖16是示出根據(jù)第二實施例的成像裝置I的外部配置的后視圖。在以下描述中，具有與第一實施例中相同參考標(biāo)號的組件具有類似功能，并且因此省略其重復(fù)描述。
[0157]成像裝置I配置為例如單鏡頭反光數(shù)字照相機。成像裝置I包括相機主體10和作為可互換鏡頭的成像鏡頭2，成像鏡頭2可以自由地附接到相機主體10和從相機主體10分離。
[0158]如圖15所示，在相機主體10的前側(cè)，提供在前面的基本中心中插入成像鏡頭2的安裝單元301、安排在安裝單元301的右側(cè)的鏡頭互換按鈕302以及實現(xiàn)抓握的抓握部分303。此外在相機主體10的前側(cè)上，提供安排在前左上部分的模式設(shè)置盤305、安排在前右上部分的控制值設(shè)置盤306以及安排在抓握部分303的頂面的快門按鈕307。
[0159]如圖16所示，在相機主體10的后側(cè)，提供IXD(液晶顯示器)311、安排到IXD311的左邊的設(shè)置按鈕組312、安排到IXD311的右邊的十字鍵314。此外在相機主體10的后側(cè)上，提供安排在十字鍵314的中心的按壓按鈕315、布置在IXD311上面的EVF(電子取景器)316以及圍繞EVF316的眼罩321。此外在相機主體10的后側(cè)上，提供布置在EVF316左邊的主開關(guān)317以及布置在EVF316右邊的曝光校正按鈕323和AE鎖定按鈕324。此外，提供布置在EVF316上面的閃光燈單元318和連接端子單元319。
[0160]在安裝單元301中提供用于電連接的連接器以及用于到插入的成像鏡頭2的機械連接的耦合器。鏡頭互換按鈕302是在應(yīng)當(dāng)移除插入安裝單元301的成像鏡頭2時按壓的按鈕302。
[0161]抓握部分303是用戶捕獲圖像時抓握的成像裝置I的部分，并且提供有適于手指形狀以提升裝配性能的表面不規(guī)則。在抓握部分303內(nèi)部提供電池外殼和卡外殼(未示出)。作為相機的電源的電池69B(見圖18)安放在電池外殼中，并且用于記錄捕獲圖像的圖像數(shù)據(jù)的存儲卡67 (見圖18)可移除地安放在卡外殼中。順便提及，用戶檢測用戶是否抓握抓握部分303的抓握傳感器可以提供在抓握部分303中。
[0162]模式設(shè)置盤305和控制值設(shè)置盤306由基本盤形的部件構(gòu)成，其可以在與相機主體10的頂面基本平行的表面中旋轉(zhuǎn)。模式設(shè)置盤305用于交替選擇在成像裝置I實施的模式或功能。要選擇的模式包括自動曝光(AE)控制模式、自動對焦(AF)控制模式、各種成像模式(諸如捕獲一個靜態(tài)圖像的靜態(tài)圖像模式和連續(xù)捕獲圖像的連續(xù)成像模式)和回放記錄的圖像的回放模式。另一方面，控制值設(shè)置盤306用于對于在成像裝置I中實施的各種功能設(shè)置控制值。
[0163]設(shè)置按鈕組312包括操作在成像裝置I中實施的各種功能的按鈕。設(shè)置按鈕組312包含用于確定從在LCD311中顯示的菜單屏幕中選擇的內(nèi)容的選擇確定開關(guān)、選擇取消開關(guān)、用于切換菜單屏幕的內(nèi)容的菜單顯示開關(guān)、顯示開/關(guān)開關(guān)、以及顯示放大開關(guān)。
[0164]十字鍵314具有環(huán)部件，其包括在圓周方向以規(guī)定間隔安排的多個按壓部分(圖16中的三角標(biāo)記)，并且配置為能夠通過包括在按壓部分中的觸點(開關(guān))(未示出)，檢測每個按壓部分的按壓操作。按壓按鈕315安排在十字鍵314的中心。十字鍵314和按壓按鈕315用于改變成像放大率、要在IXD311等中回放的預(yù)先記錄圖像、以及用于設(shè)置成像條件(F數(shù)、快門速度、閃光燈的閃光等)的輸入指令。
[0165]EVF316包括液晶面板310(見圖17)，并且顯示由圖像傳感器101 (見圖17)捕獲的圖像或者回放記錄的圖像。利用在實際成像(用于圖像記錄的圖像)之前在基于由圖像傳感器101連續(xù)生成的圖像信號以動態(tài)模式顯示對象的EVF316或IXD311中的實時取景(預(yù)覽)顯示，用戶可以視覺上識別由圖像傳感器101實際成像的對象。
[0166]主開關(guān)317是向左和右滑動的2觸滑動開關(guān)，成像裝置I在主開關(guān)317設(shè)為左時打開并且在主開關(guān)317設(shè)為右時關(guān)閉。閃光燈單元318配置為彈出內(nèi)置閃光燈。另一方面，當(dāng)外部閃光燈安裝在相機主體10上時，連接端子單元319用于連接外部閃光燈。
[0167]眼罩321是具有抑制外部光進(jìn)入EVF316的擋光特性的“C”形遮擋部件。曝光校正按鈕323是手動調(diào)節(jié)曝光值(F數(shù)或快門速度)的按鈕，并且AE鎖定按鈕324是固定曝光的按鈕。[0168]成像鏡頭2用作捕獲來自對象的光(光圖像)的鏡頭窗，并且還用作將對象的光引導(dǎo)到相機主體10內(nèi)部安排的圖像傳感器101中的成像光學(xué)系統(tǒng)。執(zhí)行上面的鏡頭互換按鈕302的按壓操作，成像鏡頭2可以從相機主體10移除。
[0169](2-2.成像裝置的內(nèi)部配置)
[0170]將參照圖17描述根據(jù)第二實施例的成像裝置I的內(nèi)部配置。圖17是根據(jù)第二實施例的成像裝置I的縱向視圖。如圖17所示，在相機主體10內(nèi)部提供圖像傳感器101、作為顯示單元的示例的EVF316等。
[0171]圖像傳感器101具有與第一實施例中的圖像傳感器4相同的功能，并且具有圖5中示出的普通像素Iio和AF像素對120f。
[0172]快門單元40在光軸方向上安排在圖像傳感器101前面?？扉T單元40包括在上下方向上移動的簾，并且配置為機械焦平面快門，其通過其打開操作和關(guān)閉操作執(zhí)行沿著光軸LT引導(dǎo)到圖像傳感器101的對象光的光路打開操作和光路阻擋操作。如果圖像傳感器101是能夠完全電子快門的圖像傳感器，則可以省略快門單元40。
[0173]EVF316包括液晶面板310和目鏡106。液晶面板310配置為例如能夠顯示圖像的彩色液晶面板，并且能夠顯示由圖像傳感器101捕獲的圖像。目鏡106將在液晶面板310中顯示的對象圖像引導(dǎo)到EVF316的外部。利用如上所述配置的EVF316，用戶可以視覺地識別由圖像傳感器101成像的對象。
[0174](2-3.成像裝置的電配置)
[0175]將參照圖18描述根據(jù)第二實施例的成像裝置I的電配置。圖18是示出根據(jù)第二實施例的成像裝置I的電配置的框圖。相同的參考標(biāo)號附加到與圖15到17中那些組件相同的組件。
[0176]除了上述圖像傳感器101和快門單元40外，在相機主體10中提供AFE(模擬前端)5、圖像處理單元61、圖像存儲器614、主控制單元62、閃光燈電路63、操作單元64、VRAM65 (65a、65b)、卡接口(I/F) 66、存儲卡67、通信接口(I/F) 68、電源電路69和電池69B。
[0177]圖像傳感器101由CMOS彩色區(qū)域傳感器形成，并且由稍后描述的定時控制電路51控制諸如圖像傳感器101的曝光操作的開始(以及結(jié)束)、包括在圖像傳感器101中的每個像素的輸出選擇和像素信號的讀取的成像操作。
[0178]AFE5提供用于導(dǎo)致預(yù)定操作的定時脈沖到圖像傳感器101。AFE5還對從圖像傳感器101輸出的圖像信號(由CMOS區(qū)域傳感器的每個像素接收的模擬信號組)執(zhí)行預(yù)定信號處理，以將該信號轉(zhuǎn)換為數(shù)字信號并且輸出該數(shù)字信號到圖像處理單元61。AFE5包括定時控制電路51、信號處理單元52和A/D轉(zhuǎn)換單元53。
[0179]定時控制電路51基于從主控制單元62輸出的參考時鐘，生成預(yù)定定時脈沖(導(dǎo)致垂直掃描脈沖Φνη、水平掃描脈沖Φνπκ復(fù)位信號等的脈沖Φνι.)。定時控制電路51還輸出生成的定時脈沖到圖像傳感器101，以控制圖像傳感器101的成像操作。定時控制電路51還輸出預(yù)定定時脈沖到信號處理單元52和A/D轉(zhuǎn)換單元53，以分別控制信號處理單元52和A/D轉(zhuǎn)換單元53的操作。
[0180]信號處理單元52對從圖像傳感器101輸出的模擬圖像信號執(zhí)行預(yù)定模擬信號處理。信號處理單元52包括⑶S(相關(guān)雙采樣)電路、AGC(自動增益控制)電路、箝位電路等。A/D轉(zhuǎn)換單元53基于從定時控制電路51輸出的定時脈沖，將從信號處理單元52輸出的模擬R、G、B圖像信號轉(zhuǎn)換為由多個位(例如，12位)形成的數(shù)字圖像信號。
[0181]圖像處理單元61通過對從AFE5輸出的圖像數(shù)據(jù)執(zhí)行預(yù)定信號處理，創(chuàng)建圖像文件，并且包括黑電平校正電路611、白平衡控制電路612和伽馬校正電路613。捕獲到圖像處理單元61中的圖像數(shù)據(jù)與圖像傳感器101的讀取同步暫時寫入圖像存儲器614中，并且此后訪問寫入圖像傳感器614的圖像數(shù)據(jù)以便由圖像處理單元61的每個塊處理。
[0182]黑電平校正電路611將由A/D轉(zhuǎn)換單元53A/D轉(zhuǎn)換的R、G、B的每個數(shù)字圖像信號的黑電平校正為參考黑電平。
[0183]白平衡校正電路612基于根據(jù)光源的白色參考，轉(zhuǎn)換R (紅色)、G (綠色)、B (藍(lán)色)的每個顏色分量的數(shù)字信號的電平(白平衡(WB)調(diào)節(jié))。也就是說，白平衡控制電路612基于由主控制單元62提供的WB調(diào)節(jié)數(shù)據(jù)，從亮度、色度數(shù)據(jù)等識別成像對象中假定原始為白色的部分。然后，白平衡控制電路612確定識別的部分中R、G、B每個的顏色分量的平均值、G/R比率和G/B比率，以使用各比率作為R和B的校正增益進(jìn)行電平校正。
[0184]伽馬校正電路613校正WB調(diào)節(jié)的圖像數(shù)據(jù)的灰度特性。更具體地，伽馬校正電路613通過使用用于每個顏色分量的預(yù)設(shè)伽馬校正表格，使得圖像數(shù)據(jù)的電平經(jīng)歷非線性變換以及偏差調(diào)節(jié)。
[0185]圖像存儲器614是臨時存儲成像模式中從圖像處理單元61輸出的圖像數(shù)據(jù)的存儲器，并且還用作由主控制單元62對圖像數(shù)據(jù)執(zhí)行預(yù)定處理的工作區(qū)域。在回放模式中，圖像存儲器614臨時存儲從存儲卡67讀取的圖像數(shù)據(jù)。
[0186]主控制單元62配置為包含像例如用于存儲控制程序的ROM和用于臨時存儲數(shù)據(jù)的RAM的存儲單元的微計算機，并且控制成像裝置I的每個單元的操作。
[0187]閃光燈電路63將在閃光燈成像模式中閃光燈單元318或連接到連接端子單元319的外部閃光燈的光量控制為由主控制單元62設(shè)置的光量。
[0188]操作單元64包括上述模式設(shè)置盤305、控制值設(shè)置盤306、快門按鈕307、設(shè)置按鈕組312、十字鍵314、按壓按鈕315、主開關(guān)317，并且用于輸入操作信息到主控制單元62。
[0189]VRAM65a、65b具有對應(yīng)于IXD311和EVF316的像素數(shù)目的圖像信號的存儲容量，并且是主控制單元62與IXD311和EVF316之間的緩沖存儲器?？↖/F66是實現(xiàn)存儲卡67和主控制單元62之間信號的發(fā)送/接收的接口。存儲卡67是用于存儲由主控制單元62生成的圖像數(shù)據(jù)的記錄介質(zhì)。通信I/F68是實現(xiàn)圖像數(shù)據(jù)等到個人計算機和其他外部設(shè)備的傳輸?shù)慕涌凇?br> [0190]電源電路69例如由恒壓電路配置，并且生成用于驅(qū)動諸如像主控制單元62、圖像傳感器101和其他各種驅(qū)動單元的控制單元的整個成像裝置I的電壓。順便提及，由從主控制單元62提供到電源電路69的控制信號執(zhí)行圖像傳感器101的通電控制。電池69B配置為諸如鎳氫電池的二次電池或者諸如堿性電池的原電池，并且是給整個成像裝置I供電的電源。
[0191]相機主體10還包括相位差A(yù)F操作電路77，其基于從黑電平校正電路611輸出的黑電平校正圖像數(shù)據(jù)，執(zhí)行使用圖像傳感器101的自動對焦(AF)控制所需的操作。
[0192](2-4.對象跟蹤操作)
[0193]此外，根據(jù)第二實施例的成像裝置I具有與第一實施例中的對象跟蹤功能類似的對象跟蹤功能。也就是說，根據(jù)第二實施例的成像裝置I獲取到由圖像傳感器101成像的對象的距離信息，或者關(guān)于對象的像素值信息，并且基于獲取的距離信息和像素值信息跟蹤移動對象。
[0194]因此，即使例如多個對象具有相同的顏色、亮度等的像素值信息，也可以基于距離信息識別各個圖像，并且可以跟蹤希望的對象，因此可以以高精度跟蹤移動圖像。
[0195]〈3.第三實施例〉
[0196]當(dāng)與第二實施例比較時，根據(jù)第三實施例的成像裝置I具有類似的外部配置，但是內(nèi)部配置不同。因此，下面將主要描述與第二實施例中的那些部分不同的部分。
[0197]圖19是根據(jù)第三實施例的成像裝置的縱向視圖。圖20是示出根據(jù)第三實施例的成像裝置I的電配置的框圖。
[0198]如圖19所示，在相機主體10內(nèi)部提供兩個圖像傳感器100、101、反射鏡單元1031等。兩個圖像傳感器的圖傳感器100用于捕獲靜態(tài)圖像(實際成像)，并且圖像傳感器101具有用于直通圖像的成像和相位差檢測的相位差像素。圖像傳感器101對應(yīng)于具有相位差像素的第一圖像傳感器，并且圖像傳感器100對應(yīng)于用于生成實時取景顯示圖像的第二圖像傳感器。
[0199]透射反射鏡單元1031配置為透射/反射部件，其向提供在相機主體10的上部中的圖像傳感器101和光軸LT上的圖像傳感器100反射和透射對象光，并且安全地安裝在相機主體10中。透射和反射的比率設(shè)為5:5，但是可以根據(jù)每個圖像傳感器的特性任意地改變。
[0200]已經(jīng)通過成像鏡頭2的對象光由透射反射鏡單元1031向上反射，并且此外已經(jīng)通過成像鏡頭2的一部分對象光通過透射反射鏡單元1031進(jìn)入圖像傳感器100。此外，一部分對象光由透射反射鏡單元1031反射，并且反射的對象光進(jìn)入圖像傳感器101。
[0201]圖像傳感器100安排在與Y軸平行的平面(XY平面)上，并且接收已經(jīng)通過透射反射鏡單元1031的對象光。圖像傳感器101安排在與Y軸垂直的平面(XZ平面)上，并且接收對象光。圖像傳感器101具有與第二實施例中的圖像傳感器101的功能類似的功能，并且具有圖5所示的普通像素110和AF像素對120f。另一方面，圖像傳感器100具有普通像素110，但不具有AF像素對120f。
[0202]如圖20所示，快門單元40安排朝向圖像傳感器100的前面?？扉T單元40配置為機械焦平面快門，其執(zhí)行對象光向圖像傳感器100的光路打開操作和光路阻擋操作。如果圖像傳感器100是能夠完全電子快門的圖像傳感器，則可以省略快門單元40。
[0203]AFE5提供用于導(dǎo)致預(yù)定操作的定時脈沖到圖像傳感器100、101，并且還對從圖像傳感器100、101輸出的圖像信號(由CMOS區(qū)域傳感器的每個像素接收的模擬信號組)執(zhí)行預(yù)定信號處理，以便將該信號轉(zhuǎn)換為數(shù)字信號并且輸出該數(shù)字信號到圖像處理單元61。通過包括定時控制電路51、信號處理單元52和A/D轉(zhuǎn)換單元53配置AFE5。
[0204]定時控制電路51基于從主控制單元62輸出的參考時鐘，生成預(yù)定定時脈沖(導(dǎo)致垂直掃描脈沖Φνη、水平掃描脈沖Φνπκ復(fù)位信號Φνι.等的脈沖)，并且輸出生成的定時脈沖到圖像傳感器100、101，以控制圖像傳感器100、101的成像操作。定時控制電路51還輸出預(yù)定定時脈沖到信號處理單元52和A/D轉(zhuǎn)換單元53，以分別控制信號處理單元52和A/D轉(zhuǎn)換單元53的操作。
[0205]信號處理單元52對從圖像傳感器101輸出的模擬圖像信號執(zhí)行預(yù)定模擬信號處理。信號處理單元52包括⑶S(相關(guān)雙采樣)電路、AGC(自動增益控制)電路、箝位電路等。A/D轉(zhuǎn)換單元53基于從定時控制電路51輸出的定時脈沖，將從信號處理單元52輸出的模擬R、G、B圖像信號和相位差像素信號轉(zhuǎn)換為由多個位(例如，12位)形成的數(shù)字圖像信號。
[0206]此外，第三實施例具有與第一和第二實施例中的對象跟蹤功能類似的對象跟蹤功能。因此，即使對象變形或者伴隨復(fù)雜移動，也可以在以高精度全屏幕上跟蹤對象的同時捕獲對焦的圖像。此外，即使對象位于接近成像裝置1，也可以通過圖像傳感器的高速驅(qū)動，以聞速檢測對焦。
[0207]此外，在第三實施例中，在通過EVF316的對象圖像的實時取景顯示期間圖像傳感器100成像對象。通過以此方式獨立地提供捕獲旨在用于實時取景顯示的直通圖像的圖像傳感器101和捕獲靜態(tài)圖像的圖像傳感器100，在捕獲靜態(tài)圖像時可以一起顯示直通圖像。
[0208]上面已經(jīng)參照附圖描述了本公開的優(yōu)選實施例，盡管本公開當(dāng)然不限于上面的示例。本領(lǐng)域的技術(shù)人員可以在所附權(quán)利要求的范圍內(nèi)可以發(fā)現(xiàn)各種替換和修改，并且應(yīng)該理解它們將自然進(jìn)入本公開的技術(shù)范圍內(nèi)。
[0209]圖像處理裝置在上面的實施例中假設(shè)為圖像捕獲裝置，但是其不限于此。圖像處理裝置僅僅必須具有用于捕獲被攝體的圖像的功能，并且例如可以是移動電話、PDA(個人數(shù)字助理)、便攜式AV播放器、電子書、電子詞典等。
[0210]此外，盡管上述實施例的流程圖中示出的各步驟當(dāng)然可以根據(jù)上述順序以時間順序處理，但是它們可以不必以時間順序處理，并且可以獨立地或者以并行方式處理。不必說在以時間順序處理各步驟的情況下，可以根據(jù)情況適當(dāng)?shù)馗淖兏鞑襟E的順序。
[0211]通過在本公開中描述的圖像處理裝置的處理可以通過使用軟件、硬件或軟件和硬件的組合的任何來實施。構(gòu)成軟件的程序例如預(yù)先存儲在每個裝置內(nèi)部或外部安裝的存儲介質(zhì)中。此外，每個程序在運行時讀取到例如RAM(隨機存取存儲器)，并且由諸如CPU的處理器運行。
[0212]此外，本技術(shù)還可以如下配置:
[0213](I) 一種圖像處理裝置，包括:
[0214]距離信息獲取單元，其獲取關(guān)于直到由圖像傳感器成像的對象的距離的距離信息；
[0215]像素值信息獲取單元，其獲取對應(yīng)于所述對象的圖像的像素值信息；以及
[0216]跟蹤單元，其基于獲取的距離信息和獲取的像素值信息跟蹤移動的對象。
[0217](2)如(I)所述的圖像處理裝置，
[0218]其中所述圖像傳感器包括相位差像素，用于檢測所述對象的相位差并且調(diào)節(jié)對焦，并且
[0219]其中所述距離信息獲取單元基于由所述相位差像素檢測到的相位差，獲取所述距離信息。
[0220](3)如(I)所述的圖像處理裝置，
[0221]其中所述圖像傳感器包括多個相位差像素，并且
[0222]其中所述距離信息獲取單元通過根據(jù)所述對象的尺寸稀疏所述多個相位差像素的一部分，獲取所述距離信息。[0223](4)如(I)到(3)的任一所述的圖像處理裝置，還包括:
[0224]對象識別單元，其基于獲取的距離信息，識別要跟蹤的對象，
[0225]其中所述跟蹤單元跟蹤由所述對象識別單元識別的對象。
[0226](5)如(I)到(4)的任一所述的圖像處理裝置，還包括:
[0227]顯示單元，其對于對應(yīng)于所述對象的圖像執(zhí)行實時取景顯示，
[0228]其中當(dāng)所述顯示單元對于所述圖像執(zhí)行實時取景顯示時，所述圖像傳感器成像所述對象。
[0229](6)如(5)所述的圖像處理裝置，
[0230]其中所述圖像傳感器是包括用于檢測所述對象的相位差并且調(diào)節(jié)對焦的相位差像素的第一圖像傳感器，并且
[0231]其中所述圖像處理裝置還包括第二圖像傳感器，用于所述顯示單元對其執(zhí)行實時取景顯示的圖像的生成。
[0232](7)如(I)到(6)的任一所述的圖像處理裝置，
[0233]其中所述距離信息獲取單元獲取位于不同位置的對象的各條距離信息，并且
[0234]其中所述圖像處理裝置還包括預(yù)測單元，其基于獲取的各條距離信息，預(yù)測在作為目的地的位置的對象的距離信息。
[0235](8)如(I)到(7)的任一所述的圖像處理裝置，其中當(dāng)在作為目的地的位置的對象的像素值信息與在最后位置的對象的像素值信息相同時，所述跟蹤單元跟蹤所述對象。
[0236](9) 一種圖像處理方法，包括:
[0237]獲取關(guān)于直到由圖像傳感器成像的對象的距離的距離信息；
[0238]獲取對應(yīng)于所述對象的圖像的像素值信息；以及
[0239]基于獲取的距離信息和獲取的像素值信息跟蹤移動的對象。
[0240](10) 一種具有記錄在其上的程序的記錄介質(zhì)，所述程序使得計算機執(zhí)行:
[0241]獲取關(guān)于直到由圖像傳感器成像的對象的距離的距離信息；
[0242]獲取對應(yīng)于所述對象的圖像的像素值信息；以及
[0243]基于獲取的距離信息和像素值信息跟蹤移動的對象。
[0244]參考標(biāo)號列表
[0245]I成像裝置
[0246]4、100、101圖像傳感器
[0247]110普通像素
[0248]120f AF 像素對
[0249]210距離信息獲取單元
[0250]220像素值信息獲取單元
[0251]230對象識別單元
[0252]240預(yù)測單元
[0253]250跟蹤單元
【權(quán)利要求】
1.一種圖像處理裝置，包括: 距離信息獲取單元，其獲取關(guān)于直到由圖像傳感器成像的對象的距離的距離信息； 像素值信息獲取單元，其獲取對應(yīng)于所述對象的圖像的像素值信息；以及 跟蹤單元，其基于獲取的距離信息和獲取的像素值信息跟蹤移動的對象。
2.如權(quán)利要求1所述的圖像處理裝置， 其中所述圖像傳感器包括相位差像素，用于檢測所述對象的相位差并且調(diào)節(jié)對焦，以及 其中所述距離信息獲取單元基于由所述相位差像素檢測到的相位差，獲取所述距離信肩、O
3.如權(quán)利要求2所述的圖像處理裝置， 其中所述圖像傳感器包括多個相位差像素，以及 其中所述距離信息獲取單元通過根據(jù)所述對象的尺寸稀疏所述多個相位差像素的一部分，獲取所述距離信息。
4.如權(quán)利要求1所述的圖像處理裝置，還包括: 對象識別單元，其基于獲取的距離信息，識別要跟蹤的對象， 其中所述跟蹤單元跟蹤由所述對象識別單元識別的對象。
5.如權(quán)利要求1所述的圖像處理裝置，還包括: 顯示單元，其對于對應(yīng)于所述對象的圖像執(zhí)行實時取景顯示， 其中當(dāng)所述顯示單元對于所述圖像執(zhí)行實時取景顯示時，所述圖像傳感器成像所述對象。
6.如權(quán)利要求5所述的圖像處理裝置， 其中所述圖像傳感器是包括用于檢測所述對象的相位差并且調(diào)節(jié)對焦的相位差像素的第一圖像傳感器，并且 其中所述圖像處理裝置還包括第二圖像傳感器，用于所述顯示單元對其執(zhí)行實時取景顯示的圖像的生成。
7.如權(quán)利要求1所述的圖像處理裝置， 其中所述距離信息獲取單元獲取位于不同位置的對象的各條距離信息，并且其中所述圖像處理裝置還包括預(yù)測單元，其基于獲取的各條距離信息，預(yù)測在作為目的地的位置的對象的距離信息。
8.如權(quán)利要求1所述的圖像處理裝置，其中當(dāng)在作為目的地的位置的對象的像素值信息與在最后位置的對象的像素值信息相同時，所述跟蹤單元跟蹤所述對象。
9.一種圖像處理方法，包括: 獲取關(guān)于直到由圖像傳感器成像的對象的距離的距離信息； 獲取對應(yīng)于所述對象的圖像的像素值信息；以及 基于獲取的距離信息和獲取的像素值信息跟蹤移動的對象。
10.一種具有記錄在其上的程序的記錄介質(zhì)，所述程序使得計算機執(zhí)行: 獲取關(guān)于直到由圖像傳感器成像的對象的距離的距離信息； 獲取對應(yīng)于所述對象的圖像的像素值信息；以及 基于獲取的距離信息和像素值信息跟蹤移動的對象。
【文檔編號】H04N5/225GK103988490SQ201280060388
【公開日】2014年8月13日 申請日期:2012年11月20日 優(yōu)先權(quán)日:2011年12月13日
【發(fā)明者】增田篤 申請人:索尼公司