專利名稱：攝像裝置及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種使用諸如電荷耦合器件(CCD)傳感器或互補金屬氧化 物半導(dǎo)體(CMOS)傳感器的圖像傳感器的攝像裝置，更具體地，涉及一種能 夠抑制由于在圖像傳感器的前側(cè)設(shè)置的光學(xué)低通濾波器的表面上附著的異物 而使圖像質(zhì)量劣化的技術(shù)。本發(fā)明尤其涉及一種能夠抑制在運動圖像捕獲操 作中由于異物而使圖像質(zhì)量劣化的技術(shù)。
另外，本發(fā)明涉及一種包括通過基于相機抖動信息對捕獲圖像的一部分 進行電子裁剪而執(zhí)行抖動校正的電子圖像穩(wěn)定化系統(tǒng)的攝像裝置。
背景技術(shù)：
在從數(shù)碼相機的相機主體上取下可互換鏡頭的狀態(tài)下，可能會有浮塵進 入相機主體的內(nèi)部空間。另外，快門機構(gòu)或其他機械可操作的組件設(shè)置在相 機主體中。因此，在這些機構(gòu)組件操作時，在相機主體中可能會產(chǎn)生金屬屑 (slug)。
如果在圖像傳感器(其作為構(gòu)成數(shù)碼相機的攝像單元的光學(xué)元件)的前 側(cè)上設(shè)置的光學(xué)低通濾波器的表面上附著有這類異物(即，塵埃或金屬屑)， 則捕獲圖像可能會包括由所述異物產(chǎn)生的陰影。即，捕獲圖像的質(zhì)量可能會 劣化。
如果相機為使用鹵化銀膠片的類型，則每次進行圖像捕獲時，相機陸續(xù) 按預(yù)定量給送膠片。因此，連續(xù)捕獲的圖像在相同位置包含同一異物的陰影 的可能性很低。另一方面，數(shù)碼相機沒被構(gòu)造成每次進行圖像捕獲時均給送 膠片。因此，連續(xù)捕獲的圖像可能會在相同位置包含同一異物的陰影。
為了解決上述問題，存在一種用于基于周圍像素的信號來校正對應(yīng)于異 物位置的缺陷像素的方法。例如，作為用于校正這類缺陷像素的技術(shù)，在日
本特開平第6-105241號公報中論述的圖像缺陷檢測方法提出了一種校正圖像傳感器的像素缺陷的方法。
另外，如日本特開第2004-242158號公報所論述，為了簡化像素缺陷位 置信息的設(shè)置，在塵埃獲取模式下捕獲的圖像文件的擴展名可以與正常捕獲 的圖像的擴展名不同。在此情況下，個人計算機(即PC)基于擴展名自動識 別塵埃信息圖像，并根據(jù)獲得的信息校正待校正的圖像。
傳統(tǒng)上，可用各種技術(shù)來校正數(shù)碼攝像機的相機抖動。通常，相機抖動 校正包括利用外部傳感器或通過圖像處理來檢測攝像設(shè)備(例如數(shù)碼攝像機) 的相機抖動信息(例如，抖動量或抖動方向)，以及基于檢測結(jié)果移動光學(xué)系 統(tǒng)的一部分以抵消相機抖動、或者對圖像進行部分裁剪。
如日本特開平第06-98246號公報中所論述，可以使用以振動回轉(zhuǎn)儀為代 表的角速度傳感器作為外部傳感器來直接測量攝像設(shè)備的相機抖動量。另外， 如日本特開平第05-7327號公報中所論述，可以使用圖像處理以基于多個捕獲 圖像來檢測畫面的運動向量并檢測相機抖動量。
作為用于校正相機抖動的方法，在垂直于光軸的方向上移動攝像透鏡系 統(tǒng)的一部分，以移動在圖像傳感器上形成的像。如日本特開平第6-105241號 公報中所論述，在攝像透鏡系統(tǒng)的前側(cè)上設(shè)置可變角棱鏡，并且移動該可變 角棱鏡的頂角以移動在圖像傳感器上形成的像。
上述光學(xué)相機抖動校正技術(shù)雖然可以增大用于校正的動態(tài)范圍，但是由 于需要諸如致動器和光學(xué)元件等的機械構(gòu)件，因此其在成本上具有缺點。
另一方面，如日本特開平第05-7327號公報中所論述，針對運動圖像捕 獲操作準備相比實際需要的圖像尺寸具有更大尺寸的圖像傳感器，并且可以 通過根據(jù)檢測到的相機抖動量來對圖像傳感器獲得的圖像的一部分進行裁剪 以校正相機抖動(下文稱為"電子圖像穩(wěn)定化")。上述基于圖像裁剪的相機 抖動校正不需要任何機械構(gòu)件，帶來了降低成本的效果，因此被廣泛使用。
在上述情況下，近來不僅小型數(shù)碼相機而且可互換鏡頭的數(shù)碼相機均需 要記錄具有較高分辨率的高精度運動圖像。
然而，如上所述，可互換鏡頭的數(shù)碼相機受到由于各種因素而附著在其 圖像傳感器的表面上的塵?；蚪饘傩嫉挠绊憽Ｒ虼?，如果在使用可互換鏡頭 的數(shù)碼相機的情況下執(zhí)行運動圖像記錄，則可能會在捕獲的運動圖像的回放(即，再現(xiàn))操作期間一直顯示異物。
根據(jù)傳統(tǒng)的用于可互換鏡頭的數(shù)碼相機的塵埃去除方法，預(yù)先記錄塵埃 去除相關(guān)信息(例如，塵埃位置和尺寸信息)和圖像數(shù)據(jù)。接著，個人計算 機對捕獲圖像執(zhí)行圖像處理以消除塵埃的影響。在此情況下，記錄圖像數(shù)據(jù) 包含塵埃部分。
當(dāng)執(zhí)行運動圖像捕獲操作時，可以使用電子圖像穩(wěn)定化系統(tǒng)來校正由相 機抖動產(chǎn)生的圖像抖動。然而，當(dāng)電子圖像穩(wěn)定化系統(tǒng)執(zhí)行校正時，由于圖 像裁剪位置視各幀而變，所以塵埃去除相關(guān)信息與塵埃在捕獲圖像上的實際 位置之間的相對關(guān)系可能會改變。因此，電子圖像穩(wěn)定化系統(tǒng)不能夠精確執(zhí) 行塵埃校正處理。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的一個方面，提供一種攝像裝置，包括圖像捕獲單元，其 包括能夠光電轉(zhuǎn)換被攝體像的圖像傳感器，并且被構(gòu)造成基于所述圖像傳感 器的輸出信號生成運動圖像數(shù)據(jù)；獲取單元，其被構(gòu)造成獲取異物信息，所 述異物信息包括關(guān)于附著在設(shè)置于所述圖像傳感器的前側(cè)的光學(xué)元件上的異 物的至少位置和尺寸的信息；檢測單元，其被構(gòu)造成檢測所述圖像傳感器的 抖動量；控制單元，其被構(gòu)造成根據(jù)由所述檢測單元檢測到的所述圖像傳感 器的所述抖動量，控制在所述圖像傳感器的整個畫面上的圖像裁剪位置；以 及記錄單元，其被構(gòu)造成將表示所述圖像裁剪位置的信息與所述運動圖像數(shù) 據(jù)相關(guān)聯(lián)地記錄。
根據(jù)以下參照附圖對示例性實施例的詳細描述，本發(fā)明的其他特征和方 面將變得清楚。


被并入說明書中并構(gòu)成說明書的一部分的附圖，例示了本發(fā)明的示例性 實施例、特征以及方面，并與文字描述一起用于說明本發(fā)明的原理。
圖1是例示根據(jù)本發(fā)明的第一示例性實施例的具有圖像處理功能的攝像 裝置的結(jié)構(gòu)的示例的框圖。圖2是例示由攝像裝置(例如，根據(jù)本示例性實施例的數(shù)碼相機)執(zhí)行 的用以獲取塵埃信息的處理的示例的流程圖。
圖3例示了在塵埃信息的獲取中要使用的設(shè)置參數(shù)的列表。 圖4例示了塵埃區(qū)域尺寸計算的示例。
圖5例示了塵埃信息概況的結(jié)構(gòu)的示例。
圖6是例示根據(jù)本發(fā)明的示例性實施例的在普通拍攝操作中的靜止圖像
捕獲處理的示例的流程圖。
圖7是例示塵埃去除處理的示例的流程圖。 圖8是例示插值過程的示例的流程圖。
圖9A、圖9B以及圖9C例示了由抖動校正單元執(zhí)行的處理的示例。
圖IO例示了可以由抖動校正單元執(zhí)行的存儲圖像裁剪處理的示例。
圖11例示了根據(jù)MP4或類似文件格式的元數(shù)據(jù)和媒體數(shù)據(jù)的示例。
圖12例示了分片電影(fragmentedmovie)的示例。
圖13是例示運動圖像捕獲處理的示例的流程圖。
圖14是例示根據(jù)第一示例性實施例的記錄過程的示例的流程圖。
圖15是例示塵埃去除處理過程的示例的流程圖。
圖16例示了在圖像傳感器的整個畫面上記錄圖像裁剪位置的示例。
圖17例示了基于相對于基準幀的差分量記錄圖像裁剪位置的示例。
圖18例示了塵埃位置坐標變換的示例。
圖19是例示根據(jù)第二示例性實施例的記錄過程的示例的流程圖。
具體實施例方式
以下將參照附圖詳細描述本發(fā)明的各種示例性實施例、特征及方面。在 這些實施例中描述的部件、數(shù)值表達式和數(shù)值的相對配置并不意圖限制本發(fā) 明的范圍。
圖1是例示根據(jù)本發(fā)明的第一示例性實施例的具有圖像處理功能的攝像 裝置的示例結(jié)構(gòu)的框圖。
在本示例性實施例中，攝像裝置是使用可互換鏡頭的單鏡頭反光式數(shù)碼 相機。本實施例還可以應(yīng)用于能夠用作攝像裝置的使用可互換鏡頭的數(shù)碼攝像機。
如圖1所示，根據(jù)本示例性實施例的攝像裝置包括相機主體ioo以及可 互換鏡頭式鏡頭單元300。
鏡頭單元300包括具有兩個或更多個透鏡的攝像透鏡310、光圈312以 及機械地將鏡頭單元300連接到相機主體100的鏡頭座(lens mount) 306。鏡 頭座306具有用于將鏡頭單元300電連接到相機主體100的各種功能。
鏡頭座306上設(shè)置的接口 320使得鏡頭單元300和相機主體100能夠進 行數(shù)據(jù)通信。連接器322可以將鏡頭單元300電連接到相機主體100。
連接器322使得相機主體100和鏡頭單元300能夠發(fā)送控制信號、狀態(tài) 信號以及數(shù)據(jù)信號。連接器322還可以用作用于從相機主體100向鏡頭單元 300提供電力的設(shè)備。連接器322并不限于電通信，其可以被構(gòu)造成進行光通 信和音頻通信。
基于來自測光控制單元46的測光信息，光圈控制單元340可以與控制相 機主體100的快門12的快門控制單元40相關(guān)聯(lián)地控制光圈312。焦點控制單 元342可以控制攝像透鏡310的聚焦。變焦控制單元344可以控制攝像透鏡 310的變焦。
鏡頭系統(tǒng)控制電路350可以控制由鏡頭單元300執(zhí)行的各種操作。鏡頭 系統(tǒng)控制電路350包括存儲操作常量、變量以及程序的存儲器。鏡頭系統(tǒng)控 制電路350還包括存儲識別信息(例如，鏡頭單元310獨有的編號)、管理信 息、功能信息(例如，滿開光圈值"pened aperture value)、最小光圈值以及 焦距)以及當(dāng)前和過去的設(shè)定值的非易失性存儲器。
以下描述相機主體100的結(jié)構(gòu)的示例。
鏡頭座106可以機械地將相機主體100連接到鏡頭單元300。 一對單鏡 頭反光式的反光鏡130和132可以將入射到攝像透鏡310上的光導(dǎo)向光學(xué)取 景器104。反光鏡130可以是快速復(fù)原反光鏡(quickreturn mirror)或半反光鏡。
快門12是焦平面式快門。圖像傳感器14例如是能夠光電轉(zhuǎn)換被攝體像 的CCD或CMOS傳感器。諸如光學(xué)低通濾波器的光學(xué)元件14a設(shè)置在圖像傳 感器14的前側(cè)。如果諸如塵埃的異物附著在光學(xué)元件14a的表面，則由圖像 傳感器14捕獲的圖像可能包含該異物。換句話說，光學(xué)元件14a上的異物使圖像質(zhì)量劣化。本示例性實施例旨在提供一種能夠抑制圖像質(zhì)量劣化的技術(shù)。 經(jīng)由用作單鏡頭反光式光學(xué)系統(tǒng)的光圈312 (即，光量限制元件)、鏡頭
座306和106、反光鏡130以及快門12將入射在攝像透鏡310上的光導(dǎo)向其 上形成光學(xué)像的圖像傳感器14。
模擬數(shù)字(A/D)轉(zhuǎn)換器16可以將輸出自圖像傳感器14的模擬信號轉(zhuǎn)換 成數(shù)字信號。定時產(chǎn)生電路18可以向圖像傳感器14、 A/D轉(zhuǎn)換器16以及數(shù) 字模擬(D/A)轉(zhuǎn)換器26提供時鐘信號和控制信號。存儲器控制電路22和系 統(tǒng)控制電路50可以控制定時產(chǎn)生電路18。
圖像處理電路20對輸出自A/D轉(zhuǎn)換器16的數(shù)據(jù)或來自存儲器控制電路 22的數(shù)據(jù)執(zhí)行預(yù)定的像素插值處理以及色彩轉(zhuǎn)換處理。如有必要，圖像處理 電路20還對輸出自A/D轉(zhuǎn)換器16的圖像數(shù)據(jù)執(zhí)行預(yù)定的計算處理。
系統(tǒng)控制電路50可以基于獲得的計算結(jié)果執(zhí)行通過透鏡(through the lens， TTL)式自動聚焦(AF)處理、自動曝光(AE)處理以及閃光燈預(yù)閃 (EF)處理，以控制快門控制單元40及調(diào)焦單元42。
圖像處理電路20還使用輸出自A/D轉(zhuǎn)換器16的圖像數(shù)據(jù)執(zhí)行預(yù)定的計 算處理，并且基于獲得的計算結(jié)果執(zhí)行TTL自動白平衡(即AWB)處理。
圖1所示的根據(jù)本示例性實施例的攝像裝置包括執(zhí)行AF處理、AE處理 及EF處理的調(diào)焦單元42和測光控制單元46。在此情況下，圖像處理電路20 不用于AF處理、AE處理及EF處理。
作為另一選擇，當(dāng)使用調(diào)焦單元42和測光控制單元46執(zhí)行AF處理、 AE處理以及EF處理時，還可以操作圖像處理電路20來執(zhí)行AF處理、AE 處理以及EF處理。
存儲器控制電路22可以控制A/D轉(zhuǎn)換器16、定時產(chǎn)生電路18、圖像處 理電路20、圖像顯示存儲器24、 D/A轉(zhuǎn)換器26、存儲器30以及壓縮/擴展電 路32。
輸出自A/D轉(zhuǎn)換器16的圖像數(shù)據(jù)經(jīng)由圖像處理電路20和存儲器控制電 路22或者只經(jīng)由存儲器控制電路22，被寫入到圖像顯示存儲器24或存儲器 30。
圖像顯示單元28包括TFT液晶顯示器(LCD)。寫入到圖像顯示存儲器24中的待顯示的圖像數(shù)據(jù)經(jīng)由D/A轉(zhuǎn)換器26，被顯示在圖像顯示單元28上。 通過在圖像顯示單元28上相繼顯示捕獲的圖像數(shù)據(jù)能夠?qū)崿F(xiàn)電子取景器 (EVF)功能。
圖像顯示單元28能夠響應(yīng)于來自系統(tǒng)控制電路50的指令而打開或關(guān)閉 其顯示。當(dāng)關(guān)閉圖像顯示單元28的顯示時，能夠大大降低相機主體100的電 力消耗。
存儲器30可以存儲捕獲的靜止圖像以及運動圖像。存儲器30具有足以 用來存儲預(yù)定數(shù)量的靜止圖像或預(yù)定量的運動圖像的存儲容量。因此，甚至 在連續(xù)拍攝操作中或在全景拍攝操作中(其中，連續(xù)捕獲多個靜止圖像)，數(shù) 碼相機也能夠迅速地將大量圖像寫入到存儲器30中。
另外，在運動圖像捕獲操作中，可以使用存儲器30作為用于以預(yù)定速率 連續(xù)寫入的圖像的幀緩沖器。此外，可以使用存儲器30作為用于系統(tǒng)控制電 路50的工作區(qū)。
塵埃去除電路31參照存儲在非易失性存儲器56中的塵埃信息以及從鏡 頭單元300獲得的光學(xué)信息，能夠執(zhí)行用于從圖像數(shù)據(jù)中去除塵埃的圖像處 理。
壓縮/擴展電路32可以根據(jù)傳統(tǒng)方法壓縮并擴展圖像數(shù)據(jù)。更具體來說， 壓縮/擴展電路32從存儲器30讀取圖像，對所讀取圖像執(zhí)行壓縮或擴展處理， 并將處理后的數(shù)據(jù)寫入到存儲器30。
另外，壓縮/擴展電路32具有將運動圖像數(shù)據(jù)壓縮并編碼成預(yù)定格式、 或者由預(yù)定編碼壓縮數(shù)據(jù)擴展運動圖像信號的功能。
音頻信號處理電路33可以將從麥克風(fēng)(未示出)輸入的音頻信號編碼成 預(yù)定編碼格式，或者可以由預(yù)定編碼數(shù)據(jù)解碼音頻信號。
根據(jù)本示例性實施例的數(shù)碼相機具有經(jīng)由揚聲器(未示出)輸出由音頻 信號處理電路33解碼的音頻數(shù)據(jù)的功能。
基于來自測光控制單元46的測光信息，快門控制單元40可以與控制光 圈312的光圈控制單元340相關(guān)聯(lián)地控制快門12。
調(diào)焦單元42可以執(zhí)行自動聚焦(AF)處理。調(diào)焦單元42測量當(dāng)入射在 鏡頭單元300中的攝像透鏡310上的光根據(jù)單鏡頭反光機制經(jīng)由光圈312、鏡頭座306和106、反光鏡130以及調(diào)焦子反光鏡(未示出)傳播時形成的光學(xué) 像的聚焦?fàn)顟B(tài)。
測光控制單元46可以執(zhí)行自動曝光(AE)處理。測光控制單元46測量 當(dāng)入射在鏡頭單元300中的攝像透鏡310上的光根據(jù)單鏡頭反光機制經(jīng)由光 圈312、鏡頭座306和106、反光鏡130以及測光子反光鏡(未示出)傳播時 形成的光學(xué)像的曝光狀態(tài)。
閃光燈48具有AF輔助光發(fā)射功能和閃光調(diào)節(jié)功能。測光控制單元46 和閃光燈48可以協(xié)作執(zhí)行閃光調(diào)節(jié)(EF)處理。
數(shù)碼相機可以基于由調(diào)焦單元42獲得的測量結(jié)果以及由對輸出自A/D 轉(zhuǎn)換器16的圖像數(shù)據(jù)進行處理的圖像處理電路20獲得的計算結(jié)果，來執(zhí)行 AF控制。
數(shù)碼相機還可以基于由測光控制單元46獲得的測量結(jié)果以及由對輸出 自A/D轉(zhuǎn)換器16的圖像數(shù)據(jù)進行處理的圖像處理電路20獲得的計算結(jié)果， 來執(zhí)行曝光控制。
包括傳統(tǒng)上已知的中央處理單元(CPU)的系統(tǒng)控制電路50可以控制要 由相機主體100執(zhí)行的各種操作。存儲器52存儲要在系統(tǒng)控制電路50中使 用的操作常量、變量以及程序。
抖動檢測單元53可以檢測相機主體100的相機抖動。例如，抖動檢測單 元53包括角速度傳感器(例如，振動回轉(zhuǎn)儀)。
通知單元54可以根據(jù)系統(tǒng)控制電路50中程序的執(zhí)行，利用文本、圖像 以及音頻來通知操作狀態(tài)和消息。通知單元54例如是被構(gòu)造成執(zhí)行視覺顯示 的顯示設(shè)備(例如LCD或發(fā)光二極管(LED))或者是能夠產(chǎn)生聲音的音頻 設(shè)備。通知單元54可以被構(gòu)造成上述設(shè)備的組合或它們中的至少一個。
通知單元54可以包括設(shè)置在相機主體100的操作單元70附近的一個或 更多個容易可視的顯示設(shè)備。通知單元54可以局部包括在光學(xué)取景器104中。
通知單元54可以在圖像顯示單元28 (例如LCD)上顯示以下內(nèi)容。
經(jīng)由通知單元54顯示在圖像顯示單元28上的內(nèi)容包括拍攝模式相關(guān)顯 示(諸如單張拍攝/連續(xù)拍攝操作顯示、自拍顯示(self timer display)等)、記 錄相關(guān)顯示(諸如壓縮率顯示、記錄像素數(shù)顯示、記錄圖 數(shù)顯示、可記錄圖像數(shù)顯示等)、以及拍攝條件相關(guān)顯示(諸如快門速度顯示、光圈值顯示、 曝光補償顯示、光調(diào)節(jié)校正顯示、外部閃光發(fā)射量顯示、紅眼減輕顯示等)。
另外，顯示在圖像顯示單元28上的內(nèi)容包括諸如微距拍攝顯示(macro shooting display)、蜂鳴器設(shè)置顯示、電池剩余電量顯示、錯誤顯示、多位信 息顯示、針對記錄介質(zhì)200和個人計算機(PC) 210的安裝/拆卸狀態(tài)顯示、 針對鏡頭單元300的安裝/拆卸狀態(tài)顯示、通信I/F操作顯示、日期/時間顯示、 針對外部計算機的連接狀態(tài)顯示等的多種多樣的顯示。
經(jīng)由通知單元54顯示在光學(xué)取景器104上的顯示內(nèi)容包括，例如對焦顯 示、拍攝準備完成顯示、相機抖動警告顯示、閃光燈單元充電顯示、閃光燈 充電完成顯示、快門速度顯示、光圈值顯示、曝光補償顯示以及記錄介質(zhì)寫 操作顯示。
非易失性存儲器56是存儲程序的電子可擦除/記錄存儲器(例如，電子 可擦除可編程只讀存儲器(EEPROM))。光學(xué)信息存儲器58存儲經(jīng)由連接器 122從鏡頭單元300獲得的各種鏡頭信息。
模式盤開關(guān)60、快門開關(guān)SW162、快門開關(guān)SW2 64、回放開關(guān)66、單 張/連續(xù)拍攝開關(guān)68以及操作單元70使得用戶能夠向系統(tǒng)控制電路50輸入各 種操作指令。用于系統(tǒng)控制電路50的操作輸入單元可以被構(gòu)造成開關(guān)、盤、 觸摸屏、視線檢測指示設(shè)備以及音頻識別設(shè)備，操作輸入單元可以作為獨立 組件或多個組件的組合來使用。
以下將詳細描述各操作輸入單元。
可以操作模式盤開關(guān)60來設(shè)置諸如自動拍攝模式、編程拍攝模式、快門 速度優(yōu)先拍攝模式、光圈優(yōu)先拍攝模式、手動拍攝模式或景深優(yōu)先拍攝模式 的功能拍攝模式。
還可以使用模式盤開關(guān)60來設(shè)置其它功能拍攝模式，諸如肖像拍攝模 式、風(fēng)景拍攝模式、特寫拍攝模式、運動拍攝模式、夜景拍攝模式或全景拍 攝模式。
如果將快門按鈕(未示出)按下預(yù)定量(例如，半按下)，則接通快門開 關(guān)SW1 62。可以操作快門開關(guān)SW1以指示開始關(guān)于AF處理、AE處理、AWB 處理或EF處理的操作。如果將快門按鈕(未示出)全程完全按下，則接通快門開關(guān)SW2 64。可 以操作快門開關(guān)SW2 64以指示開始包括曝光處理、顯影處理和記錄處理的順 次處理。
首先，在曝光處理中，數(shù)碼相機將由圖像傳感器14讀取的信號經(jīng)由A/D 轉(zhuǎn)換器16和存儲器控制電路22寫入到存儲器30。然后，數(shù)碼相機利用由圖 像處理電路20和存儲器控制電路22獲得的計算結(jié)果執(zhí)行顯影處理。
另外，在記錄處理中，壓縮/擴展電路32對從存儲器30讀取的圖像數(shù)據(jù) 執(zhí)行壓縮，并且壓縮數(shù)據(jù)被寫入到記錄介質(zhì)200或發(fā)送給PC 210。
可以操作回放開關(guān)66以指示開始回放操作，該回放操作用于從存儲拍攝 模式狀態(tài)下捕獲的圖像的存儲器30、記錄介質(zhì)200或PC210讀取圖像，并且 將所讀取的圖像顯示在圖像顯示單元28上。還可以使用回放開關(guān)66來設(shè)置 諸如回放模式、多畫面再現(xiàn)/刪除模式或PC連接模式的功能模式。
可以操作單張/連續(xù)拍攝開關(guān)68來選擇單張拍攝模式或連續(xù)拍攝模式， 所述單張拍攝模式用于在快門開關(guān)SW2 (64)被按下時捕獲一幀圖像并且保持 待機狀態(tài)等待下一拍攝操作，所述連續(xù)拍攝模式用于在快門開關(guān)SW2 (64) 被按下且保持時連續(xù)執(zhí)行圖像捕獲操作。
操作單元70包括各種按鈕和觸摸屏。例如，操作單元70包括實時取景 (live view)開始/停止按鈕、運動圖像記錄開始/停止按鈕、菜單按鈕、設(shè)置 按鈕、多畫面再現(xiàn)分頁按鈕、閃光燈設(shè)置按鈕、單張拍攝/連續(xù)拍攝/自拍切換 按鈕、菜單移動十(加)按鈕以及菜單移動一 (減)按鈕。
操作單元70還包括回放圖像移動+ (加)按鈕、回放圖像移動一 (減) 按鈕、捕獲圖像質(zhì)量選擇按鈕、曝光補償按鈕、光調(diào)節(jié)校正按鈕、外部閃光 發(fā)射量設(shè)置按鈕以及日期/時間設(shè)置按鈕。
如果針對上述加按鈕和減按鈕的各功能設(shè)置轉(zhuǎn)盤開關(guān)，則能夠容易地選 擇數(shù)值和功能。
操作單元70還包括圖像顯示開啟/關(guān)閉開關(guān)和快速査看開啟/關(guān)閉開關(guān)， 可以操作該圖像顯示開啟/關(guān)閉開關(guān)來設(shè)置圖像顯示單元28的開啟/關(guān)閉，可 以操作該快速查看開啟/關(guān)閉開關(guān)來設(shè)置用于在捕獲操作完成后立即自動再現(xiàn) 捕獲的圖像數(shù)據(jù)的快速查看功能。操作單元70還包括壓縮模式開關(guān)，可以操作該壓縮模式開關(guān)來設(shè)置JPEG壓縮的壓縮率或者選擇用于將圖像傳感器的
信號作為數(shù)字信號直接記錄到記錄介質(zhì)中的RAW模式。
操作單元70還包括AF模式設(shè)置開關(guān)，可以操作該AF模式設(shè)置開關(guān)來 設(shè)置單次AF模式(one-shot AF mode)或伺服AF模式。在單次AF模式中， 數(shù)碼相機響應(yīng)于快門開關(guān)SW1 62的接通，開始自動聚焦操作，并且如果實現(xiàn) 對焦?fàn)顟B(tài)，則維持該對焦?fàn)顟B(tài)。在伺服AF模式中，當(dāng)按下快門開關(guān)SW162 時，數(shù)碼相機連續(xù)執(zhí)行自動聚焦操作。
此外，操作單元70包括設(shè)置開關(guān)，能夠操作該設(shè)置開關(guān)來設(shè)置用于從捕 獲的塵埃檢測圖像中獲取塵埃信息的塵埃信息獲取模式。
可以操作電源開關(guān)72以在相機主體100的電源的接通與斷開之間切換模 式設(shè)置。還可以操作電源開關(guān)72以在連接到相機主體100的各種設(shè)備(例如， 鏡頭單元300、外部閃光設(shè)備112、記錄介質(zhì)200以及PC210)的電源的接通 與斷開之間切換模式設(shè)置。
電源控制單元80包括電池檢測電路、直流-直流(DC-DC)轉(zhuǎn)換器、電 源塊開關(guān)電路。電源控制單元80檢測附裝到相機主體的電池、電池的類型以 及電池的剩余電量。電源控制單元80根據(jù)檢測結(jié)果和來自系統(tǒng)控制電路50 的指令，控制DC-DC轉(zhuǎn)換器，使得能夠向包括記錄介質(zhì)的各部分提供所需電 壓和所需時間段的電力。
包括一次電池(例如，堿性電池或鋰電池)、二次電池(例如，鎳鎘電池、 鎳氫電池、鋰離子電池或鋰聚合物電池)以及AC適配器的電源單元86經(jīng)由 一對連接器82和84連接到相機主體100。
接口 90經(jīng)由連接器92可連接到記錄介質(zhì)200 (例如，存儲卡或硬盤)。 接口 94經(jīng)由連接器96可連接到PC 210。記錄介質(zhì)安裝/拆卸檢測電路98可 以檢測記錄介質(zhì)200或PC 210是否附裝到連接器92和/或連接器96。
在本示例性實施例中，提供了兩組接口和連接器用來附裝記錄介質(zhì)。然 而，可以適當(dāng)改變接口和連接器的總數(shù)。所述接口和連接器可以與任何其他 類型的接口和連接器進行任意組合。
接口和連接器可以被構(gòu)造成遵循各種存儲介質(zhì)的標準。例如，可以使用 個人計算機存儲卡國際協(xié)會(PCMCIA)卡或壓縮閃存(CF )卡或SD卡。如果接口 90和94以及連接器92和96被構(gòu)造成遵循PCMCIA卡或CF卡的 標準，則各種通信卡均可以連接到數(shù)碼相機。
可連接到相機主體100的通信卡包括局域網(wǎng)(LAN)卡、調(diào)制解調(diào)器卡、 通用串行總線(USB)卡、電子電氣工程師協(xié)會(正EE) 1394卡、P1284卡、 小型計算機系統(tǒng)接口 (SCSI)卡以及PHS。數(shù)碼相機可以經(jīng)由上述通信卡中 的任何一個向包括其他計算機和打印機的外圍設(shè)備傳送圖像數(shù)據(jù)及相關(guān)管理
"f曰息。
光學(xué)取景器104可以接收通過單鏡頭反光機構(gòu)(即，光圈312、鏡頭座 306和106以及反光鏡130和132)導(dǎo)向的、入射在攝像透鏡310上的光?？?以在光學(xué)取景器104上顯示光學(xué)像。因此，數(shù)碼相機使得用戶能夠只使用光 學(xué)取景器而不使用由圖像顯示單元28實現(xiàn)的電子取景器功能來執(zhí)行拍攝操 作。
可以通過光學(xué)取景器104實現(xiàn)通知單元54的至少部分功能，諸如關(guān)于對 焦?fàn)顟B(tài)、相機抖動警告、閃光燈充電、快門速度、光圈值以及曝光補償?shù)娘@不。
外部閃光設(shè)備112經(jīng)由附件插座(accessory shoe) 110附裝到相機主體
100。
接口 120將相機主體100連接到鏡頭座106中的鏡頭單元300。
連接器122將相機主體100電連接到鏡頭單元300。鏡頭安裝/拆卸檢測
單元(未示出)可以檢測鏡頭座106和連接器122上是否安裝有鏡頭單元300。 控制信號、狀態(tài)信號以及數(shù)據(jù)信號可以經(jīng)由連接器122在相機主體100
與鏡頭單元300之間發(fā)送。還可以經(jīng)由連接器122從相機主體100向鏡頭單
元300提供電力。
可以將經(jīng)由連接器122發(fā)送的鏡頭單元300的光學(xué)信息(例如，光圈、 變焦位置、光瞳(pupil)位置以及焦距)存儲在相機主體100的光學(xué)信息存 儲器58中。相機主體側(cè)和鏡頭單元側(cè)均可以響應(yīng)于信息的更新而請求開始通信。
連接器122可以被構(gòu)造成執(zhí)行光通信和音頻通信。
記錄介質(zhì)200例如是存儲卡或硬盤。記錄介質(zhì)200包括由半導(dǎo)體存儲器或磁盤構(gòu)成的記錄單元202、用于與相機主體100通信的接口 204以及用于與 相機主體100連接的連接器206。
記錄介質(zhì)200可以由PCMCIA卡、壓縮閃存@、微型數(shù)字音頻磁帶(0八丁)、 磁光盤、可記錄壓縮盤(CD-R)、可重寫壓縮盤(CD-RW)或其他類似的光 盤、數(shù)字多功能盤(DVD)或其他類似的相變光盤構(gòu)成。
PC 210包括由磁盤(HD)、用于與相機主體100通信的接口 214以及用 于與相機主體100連接的連接器216構(gòu)成的記錄單元212。接口 94可以是USB 型或IEEE 1394型，但不限于特定類型。
具有上述結(jié)構(gòu)的攝像裝置可以執(zhí)行以下用于消除附著在圖像傳感器前側(cè) 設(shè)置的光學(xué)元件(例如，低通濾波器或保護鏡片)上的塵埃的影響的圖像處 理。
在本示例性實施例中，攝像裝置捕獲要用于獲得塵埃信息的塵埃檢測圖 像，所述塵埃信息(即，異物信息)表示塵埃(即，異物)的位置和尺寸。 然后，攝像裝置提取并生成塵埃數(shù)據(jù)。
期望塵埃檢測圖像是具有均勻亮度表面的物體的圖像。然而，因為期望 能夠容易地獲得塵埃檢測圖像，所以并不嚴格要求均勻性。例如，塵埃檢測 圖像是藍天或白墻壁面。
圖2是例示在本示例性實施例中由攝像裝置(例如，根據(jù)本示例性實施 例的數(shù)碼相機)執(zhí)行的用于獲取塵埃信息的處理的示例的流程圖。
首先，在步驟S201中，攝像裝置確定是否通過操作單元70選擇了塵埃 信息獲取模式。如果步驟S201中的確定是"否"，則攝像裝置重復(fù)步驟S201 中的處理，直到選擇了塵埃信息獲取模式。如果確定選擇了塵埃信息獲取模 式(步驟S201中的"是")，則在步驟S202中，攝像裝置確定快門開關(guān)SW1 62 是否接通。如果確定快門開關(guān)SW1 62處于斷開(OFF)狀態(tài)(步驟S202中 的"否")，則處理返回到步驟S201以重復(fù)上述處理。
另一方面，如果確定快門開關(guān)SW162處于接通(ON)狀態(tài)(步驟S202 中的"是")，則在步驟S203中，攝像裝置設(shè)置光圈值、ISO值、快門速度以 及其他拍攝相關(guān)參數(shù)。圖3例示了設(shè)置參數(shù)的示例。
將光圈值設(shè)置為F22,根據(jù)該光圈值縮小光圈的孔徑。例如，將縮小光圈的光圈值設(shè)置在連接到鏡頭座106的鏡頭單元300的可設(shè)置的范圍內(nèi)是有 用的。
通常，塵埃附著在圖像傳感器14的防護玻璃(而非圖像傳感器14自身 的表面)上或者附著在設(shè)置于圖像傳感器的被攝體側(cè)的光學(xué)過濾器(即，光 學(xué)元件14a)上。因此，圖像形成狀態(tài)根據(jù)鏡頭單元300的光圈值而變化。
如果光圈處于或接近滿開狀態(tài)，則塵埃的像可能是散焦的。不能夠獲得 合適的塵埃檢測圖像。因此期望設(shè)置縮小光圈的光圈值。
返回到圖2所示的流程圖，攝影師將攝像裝置對著白墻壁或另一均勻亮 度表面并按下快門開關(guān)SW2 64。
在步驟S204中，攝像裝置確定快門開關(guān)SW2 64是否接通。如果確定快 門開關(guān)SW2 64處于斷開狀態(tài)(步驟S204中的"否")，則處理返回到步驟S202 以執(zhí)行上述關(guān)于快門開關(guān)SW1 62的確定。如果確定快門開關(guān)SW2 64處于接 通狀態(tài)(步驟S204中的"是")，則處理進行到步驟S205。
在步驟S205中，攝像裝置捕獲塵埃檢測圖像(例如，均勻亮度表面)并 且將捕獲的圖像數(shù)據(jù)存儲在存儲器30中。接著，在步驟S206中，攝像裝置 從存儲在存儲器30中的圖像數(shù)據(jù)獲取塵埃信息。
攝像裝置執(zhí)行以下用于獲取塵埃信息的處理。更具體來說，攝像裝置從 捕獲的塵埃檢測圖像中獲得塵埃區(qū)域的位置(即，坐標)和尺寸信息。
首先，攝像裝置將捕獲的塵埃檢測圖像的區(qū)域劃分成多個塊，計算各塊 中的最大亮度Lmax以及平均亮度Lave，并且根據(jù)以下公式計算塊中的閾值 Tl。
Tl = Lave x 0.6 + Lmax x 0.4
接著，攝像裝置指定不超出閾值T1的像素作為塵埃像素，因為附著有塵 埃的像素具有比周圍像素的亮度值低的亮度值。然后，攝像裝置識別由一個 或多個塵埃像素構(gòu)成的獨立區(qū)域作為塵埃區(qū)域di (i=0，l,...,n)。
圖4例示了塵埃區(qū)域尺寸計算的示例。如圖4所示，攝像裝置針對構(gòu)成 各塵埃區(qū)域的像素的坐標值，獲得水平方向上的最大值Xmax和最小值Xmin 以及垂直方向上的最大值Ymax和最小值Ymin，并且根據(jù)以下公式計算表示 塵埃區(qū)域di的尺寸的半徑ri。ri = ^{CKmax-Xmin)2+(Ymax-Ymin)2;M/2 在此情況下，可以由以下公式近似定義中心坐標值(Xdi,Ydi)。 Xdi = (Xmax + Xmin)/2
Ydi = (Ymax + Ymin)/2
攝像裝置將獲得的位置(即，坐標值)和半徑作為塵埃信息概況進行記錄。 由于非易失性存儲器56的大小的限制，所以塵埃校正數(shù)據(jù)(即，塵埃信 息概況)的數(shù)據(jù)量可能會受到限制。在這種情況下，攝像裝置根據(jù)塵埃區(qū)域 的尺寸或平均亮度值來對塵埃位置信息進行排序。
在本示例性實施例中，攝像裝置按照半徑ri的大小的降序?qū)m埃位置信 息進行排序。如果兩條或更多條塵埃位置信息在半徑ri的大小上不能夠被區(qū) 分，則攝像裝置按照平均亮度值的大小的升序?qū)λ鼈冞M行分類。通過上述處 理，攝像裝置可以使突出的塵埃在塵埃校正數(shù)據(jù)的登記中優(yōu)先于其他塵埃。 在本示例性實施例中，Di表示被排序的塵埃區(qū)域，Ri表示塵埃區(qū)域Di的半 徑。
如果目標塵埃區(qū)域具有比預(yù)定尺寸大的尺寸，則可以將該目標塵埃區(qū)域 從待排序的候選對象中移除并且可以將其重新放置在排序后的塵埃區(qū)域列表 的尾部。如果大的塵埃區(qū)域經(jīng)過插值處理，則圖像質(zhì)量可能劣化。因此，期 望在校正目標的優(yōu)先級順序上將大的塵埃區(qū)域排列在最低。
圖5例示了塵埃信息概況的結(jié)構(gòu)的示例。如圖5所示，塵埃信息概況存 儲塵埃檢測圖像捕獲操作中的鏡頭信息以及塵埃位置/尺寸信息。更具體來說， 作為塵埃檢測圖像捕獲操作中的鏡頭信息，塵埃信息概況存儲塵埃檢測圖像 捕獲操作中的實際光圈值(即，F(xiàn)值(F-number))和相應(yīng)的鏡頭光瞳位置。
接著，攝像裝置將所檢測的塵埃區(qū)域的數(shù)量(即，整數(shù)值)存儲在存儲 區(qū)域中，然后反復(fù)存儲代表各塵埃區(qū)域的參數(shù)。代表各塵埃區(qū)域的參數(shù)可以 是三個數(shù)值的集合，例如塵埃的半徑(例如，2字節(jié))，有效圖像區(qū)域的中心 的X坐標(例如，2字節(jié))和Y坐標(例如，2字節(jié))。
在步驟S207中，攝像裝置將獲取的塵埃信息存儲在非易失性存儲器56 中。然后，攝像裝置結(jié)束塵埃信息獲取處理。
塵埃信息獲取模式下的拍攝操作的目的是獲取塵埃信息。因此，在本示例性實施例中，攝像裝置不對捕獲圖像進行壓縮并且不將圖像記錄到記錄介 質(zhì)200中。
上述處理有效地防止了攝影師不需要的圖像數(shù)據(jù)無用地使用記錄介質(zhì)
200的容量。然而，與普通圖像類似，可以壓縮該圖像，然后將其存儲在記錄 介質(zhì)200中。另外，在此情況下，可以改變擴展名。
本示例性實施例涉及在捕獲運動圖像時要執(zhí)行的校正方法，包括可以校 正被塵埃劣化的圖像質(zhì)量的圖像處理。在對運動圖像處理進行詳細描述之前， 以下先描述靜止圖像處理的示例。
在執(zhí)行普通拍攝操作(不同于塵埃檢測圖像捕獲操作)的情況下，如果 待處理圖像是靜止圖像，則除了普通拍攝操作中的相機設(shè)置值之外，攝像裝 置還將圖5所示的塵埃校正數(shù)據(jù)(即，塵埃信息概況)與圖像數(shù)據(jù)相關(guān)聯(lián)地 記錄在記錄介質(zhì)200中。
更具體來說，為了實現(xiàn)相關(guān)聯(lián)的記錄，攝像裝置可以另外將塵埃校正數(shù) 據(jù)寫入到例如記錄有拍攝操作中的相機設(shè)置值的圖像文件的可交換圖像文件 格式(Exif)區(qū)域(即，頭區(qū)域)中。
作為另一選擇，為了實現(xiàn)相關(guān)聯(lián)的記錄，攝像裝置可以獨立于文件地記 錄塵埃校正數(shù)據(jù)，并且在圖像數(shù)據(jù)中只記錄塵埃校正數(shù)據(jù)文件的鏈接信息。
然而，如果分開記錄圖像文件和塵埃校正數(shù)據(jù)文件，則當(dāng)傳送圖像文件 時可能會丟失鏈接關(guān)系。因此，期望存儲整合有圖像數(shù)據(jù)的塵埃校正數(shù)據(jù)。
當(dāng)將包含另外記錄的塵埃校正數(shù)據(jù)的圖像數(shù)據(jù)傳送到外部圖像處理裝置 以使得外部圖像處理裝置能夠執(zhí)行塵埃去除處理時，將塵埃校正數(shù)據(jù)與圖像 數(shù)據(jù)相關(guān)聯(lián)地記錄是有用的。
接著，以下參照圖6和圖7所示的流程圖，描述使用如上所述的存儲在 非易失性存儲器56中的塵埃信息的、普通拍攝操作中的塵埃去除處理的示例。
盡管以下描述涉及用于靜止圖像的塵埃去除處理的示例，但是可以對運 動圖像的各幀執(zhí)行類似的塵埃去除處理。
圖6是例示根據(jù)本示例性實施例的在普通拍攝操作中的靜止圖像捕獲處 理的示例的流程圖。
在步驟S501中，攝像裝置確定快門開關(guān)SW162是否接通。如果確定快門開關(guān)SW1 62處于斷開狀態(tài)(步驟S501中的"否")，則攝像裝置重復(fù)步驟 S501中的處理。如果確定快門開關(guān)SW1 62處于接通狀態(tài)(步驟S501中的 "是")，則在步驟S502中，攝像裝置執(zhí)行測光和調(diào)焦處理。
接著，在步驟S503中，攝像裝置確定快門開關(guān)SW2 64是否接通。如果 確定快門開關(guān)SW2 64處于斷開狀態(tài)(步驟S503中的"否")，則處理返回到 步驟S501以重復(fù)上述處理。如果確定快門開關(guān)SW2 64處于接通狀態(tài)(步驟 S503中的"是")，則在步驟S504中，攝像裝置執(zhí)行拍攝操作。
如果攝像裝置完成拍攝操作，則在步驟S505中，攝像裝置確定在非易失 性存儲器56中是否存在任何有效的塵埃信息。如果確定存在塵埃信息(步驟 S505中的"是")，則處理進行到步驟S506中。如果確定不存在塵埃信息(步 驟S505中的"否")，則在步驟S507中，攝像裝置將捕獲的圖像數(shù)據(jù)存儲在 記錄介質(zhì)200中。
在本示例性實施例中，攝像裝置確定在非易失性存儲器56中是否存在塵 埃信息。然而，攝像裝置可以使用任意其他方法來確定是否在上述塵埃信息 獲取模式下執(zhí)行了拍攝操作。
例如，攝像裝置評價當(dāng)在塵埃信息獲取模式下執(zhí)行拍攝操作時設(shè)置的標 記是有用的。
在步驟S506中，攝像裝置將獲取的塵埃信息嵌入到捕獲的圖像數(shù)據(jù)的頭 區(qū)域(例如，Exif區(qū)域)中。在步驟S507中，攝像裝置將包含嵌入的塵埃信 息的圖像數(shù)據(jù)存儲在記錄介質(zhì)200中。
以下參照圖7描述塵埃去除處理的示例。
在步驟S601中，攝像裝置確定所選擇的圖像是否包含嵌入的塵埃信息。 如果確定所選擇的圖像包含嵌入的塵埃信息(步驟S601中的"是")，則在步 驟S602中，攝像裝置獲取塵埃信息。
在步驟S603中，攝像裝置基于捕獲的塵埃信息執(zhí)行校正處理，以消除塵 埃對圖像數(shù)據(jù)的影響。例如，攝像裝置可以執(zhí)行應(yīng)用于塵埃周圍的外圍像素 的像素插值處理。
更具體來說，攝像裝置從提取的塵埃校正數(shù)據(jù)中獲取一行坐標值Di (i = 1，2，.,.，n)、 一行半徑Ri (i=l，2，...，n)、光圈值fl以及鏡頭光瞳位置L1。在本實施例中，Ri代表位于坐標Di的塵埃的尺寸，其最初可以在塵埃校正數(shù)據(jù) 排序操作中獲得。另外，fl代表在塵埃檢測圖像捕獲操作中鏡頭的光圈值， Ll代表在塵埃檢測圖像捕獲操作中鏡頭的光瞳位置。
攝像裝置還獲取普通圖像捕獲操作中的光圈值f2和鏡頭光瞳位置L2，并 根據(jù)以下公式轉(zhuǎn)換Di。在本實施例中，d代表從圖像中心到坐標位置Di的距 離，H代表圖像傳感器14的表面與塵埃之間的距離。例如，以下公式能夠定 義轉(zhuǎn)換后的坐標Di'以及轉(zhuǎn)換后的半徑Ri'。
Di' (x, y) = (L2 x (Ll - H) x d/((L2 - H) x Ll)) x Di(x, y) Ri'= (Ri x fl/f2 + 3) (1) 上述公式中的單位是"像素"。在上述關(guān)于Ri'的公式中，"+ 3"是容許
攝像裝置檢測由坐標Di'和半徑Ri'識別的區(qū)域中的塵埃，并且如有必要， 則如下所述對所識別的區(qū)域的像素執(zhí)行插值處理。攝像裝置對所有的坐標位 置執(zhí)行塵埃去除處理，如果塵埃去除處理完成，則處理進行到步驟S604。
在步驟S604中，攝像裝置新記錄校正處理后的圖像(即，已經(jīng)消除了塵 埃影響的捕獲圖像)。然后，攝像裝置結(jié)束塵埃去除處理。
在本示例性實施例中，通過在捕獲的圖像數(shù)據(jù)中嵌入塵埃信息來在相機 主體100中執(zhí)行記錄，接著，執(zhí)行塵埃影響消除校正處理。
作為另一選擇，攝像裝置可以在圖像被捕獲并記錄在相機主體100中時 執(zhí)行塵埃影響消除校正處理而不嵌入塵埃信息，然后可以將校正處理后的圖 像記錄在記錄介質(zhì)200中。
以下將更詳細地描述塵埃區(qū)域插值處理的示例。圖8是例示插值過程中 的詳細處理的流程圖。
首先，在步驟S701中，攝像裝置執(zhí)行塵埃區(qū)域確定。在本示例性實施例 中，塵埃區(qū)域是滿足以下所有條件的區(qū)域
(1)比由以下公式定義的閾值T2暗的區(qū)域，通過使用包含在中心坐標 Di'和半徑Ri'(根據(jù)公式(1)獲得的Di'和Ri')定義的圓中的像素的平 均亮度Yave和最大亮度Ymax獲得T2。
T2 = Yave x 0.6 + Ymax x 0.4(2 )不接觸由中心坐標D i'和半徑Ri'定義的圓的區(qū)域。
(3) 當(dāng)根據(jù)上述方法對由通過條件(1)選擇的低亮度像素構(gòu)成的孤立區(qū) 域計算半徑值時，具有不小于XI且不大于X2的半徑值的區(qū)域。
(4) 包括圓的中心坐標Di的區(qū)域。
在本示例性實施例中，Xl等于3個像素，X2等于30個像素。通過上述 篩選，攝像裝置能夠只處理作為塵埃區(qū)域的小孤立區(qū)域。如果不能夠精確獲 取鏡頭光瞳位置，則可以適當(dāng)改變上述條件(4)。
例如，如果目標區(qū)域包括在X方向和Y方向上自坐標Di起正負3個像 素的范圍中的坐標，則攝像裝置確定該目標區(qū)域為塵埃區(qū)域。
在步驟S702中，攝像裝置確定圖像信號是否包括上述塵埃區(qū)域(部分)。 如果確定圖像信號包括塵埃區(qū)域(步驟S702中的"是")，則在步驟S703中， 攝像裝置執(zhí)行塵埃區(qū)域插值處理。如果確定圖像信號不包括塵埃區(qū)域(步驟 S702中的"否")，則攝像裝置結(jié)束插值過程的處理。
攝像裝置可以根據(jù)傳統(tǒng)已知的缺陷區(qū)域插值方法執(zhí)行步驟S703中的塵 埃區(qū)域插值處理。例如，日本特開第2001-223894號公報中論述的圖案置換可 以用于缺陷區(qū)域插值。
根據(jù)日本特開第2001-223894號公報中論述的方法，利用紅外線指定缺 陷區(qū)域。在本示例性實施例中，攝像裝置指定在步驟S701中檢測的塵埃區(qū)域 作為缺陷區(qū)域，并基于周圍正常像素利用圖案置換方法來對塵埃區(qū)域插值。
如果不能夠利用圖案置換方法來對任何像素進行插值，則攝像裝置能夠 從與待插值的目標像素最接近的圖案插值圖像數(shù)據(jù)中選擇預(yù)定數(shù)量的正常像 素，并且能夠基于所選擇的像素的平均顏色執(zhí)行插值。
在對靜止圖像應(yīng)用塵埃去除處理的情況下，因為不需要識別塵埃校正圖 像數(shù)據(jù)與捕獲的圖像數(shù)據(jù)之間的關(guān)系，所以上述用于向圖像數(shù)據(jù)附加塵埃校 正數(shù)據(jù)的處理是有用的。
塵埃校正數(shù)據(jù)是由位置、尺寸以及轉(zhuǎn)換數(shù)據(jù)(光圈值、鏡頭光瞳位置等) 構(gòu)成的壓縮數(shù)據(jù)。因此，捕獲圖像的數(shù)據(jù)量不會變得很大。通過只對包含由 塵埃校正數(shù)據(jù)指定的像素的區(qū)域執(zhí)行插值處理，能夠大大降低錯誤檢測的概 率。攝像裝置執(zhí)行以下用于檢測相機抖動并且根據(jù)相機抖動量來對圖像傳感 器獲得的圖像的一部分進行裁剪來校正相機抖動的電子圖像穩(wěn)定化處理。
首先，以下描述用于檢測相機抖動的方法。例如，附裝到相機主體100 的回轉(zhuǎn)儀(即，角速度傳感器)能夠物理地檢測相機的振動并且能夠輸出代 表相機抖動的角速度信號。
用于截除直流(DC)的高通濾波器從輸出自角速度傳感器的角速度信號
中去除DC分量，以使得只允許振動分量通過。另外，積分器對輸出自高通濾
波器的振動分量進行積分，計算振動分量的平均值，并且將角度變化信號作 為代表相機抖動的評價值輸出。
以下參照圖9A、圖9B和圖9C來描述抖動校正單元。在圖9A中，區(qū)域 260表示圖像傳感器14的整個成像區(qū)域。由虛線圍繞的區(qū)域261是在圖像傳 感器的整個成像區(qū)域中定義的裁剪框。將該裁剪框中的圖像轉(zhuǎn)換成能夠?qū)嶋H 輸出的標準視頻信號。在此示例中，攝影師捕獲主被攝體269。
圖9C例示了使用標準視頻信號顯示的視頻。如圖9C所示，再現(xiàn)的主被 攝體269'處于再現(xiàn)視頻信號的監(jiān)視器的顯示區(qū)域265中。
為了實現(xiàn)監(jiān)視器的顯示區(qū)域265，攝像裝置執(zhí)行用于裁剪捕獲圖像的處 理，以輸出代表圖像傳感器14的除了其外周區(qū)的整個成像區(qū)域的標準視頻信 號。
圖9B表示當(dāng)攝影師按照箭頭262、262'以及262"指示的方向(即左下方) 移動照相機時圖像發(fā)生的變化。在此情況下，被攝體269在圖像傳感器14的 整個成像區(qū)域260上按照箭頭264指示的方向(即，右上方)移動。
如果使用與圖9A所示的裁剪框261位于相同位置的裁剪框261'來裁剪 圖像，則攝像裝置生成代表移動了與箭頭264對應(yīng)的矢量量(vectoramount) 的被攝體的視頻信號。
攝像裝置可以通過基于由攝像裝置的抖動量(即，抖動校正目標值)獲 得的圖像移動量263將裁剪框從上述框位置261'移動到框位置261''，來獲得 圖9C所示的視頻。本示例性實施例基于上述原理實現(xiàn)了圖像抖動校正。
以下參照圖10描述根據(jù)本示例性實施例的由攝像裝置執(zhí)行的成像區(qū)域 裁剪處理。圖像傳感器14的整個區(qū)域360由多個像素(即，光電轉(zhuǎn)換要素)361構(gòu)
成。攝像裝置基于由定時產(chǎn)生器(未示出)生成的電子驅(qū)動脈沖來控制各像 素的電荷積累和讀取。
兩個裁剪框362和363類似于圖9A、圖9B及圖9C所示的裁剪框261。 例如，攝像裝置可以利用圖10所示的裁剪框362以下述方式進行視頻信號裁 剪。
首先，攝像裝置按照箭頭365指示的方向，從由"S"表示的開始像素相 繼讀取各像素的光電轉(zhuǎn)換后的電荷量。攝像裝置在輸出視頻信號的同步周期 內(nèi)開始讀取處理，并在同步周期結(jié)束前在緊挨像素"A"之前的像素位置處結(jié) 束讀取處理。在上述讀取處理中的傳送速率比在普通讀取處理中的傳送速率 高。
在實際視頻周期(即，在同步周期結(jié)束后)，攝像裝置以普通讀取速度讀 取從像素"A"到像素"F"的各像素的電荷量，作為一行視頻信號的圖像信 息。
另外，在下一行之前的水平同步周期，攝像裝置以比普通讀取速度高的 傳送速率讀取從像素"F"之后的像素到位于緊挨像素"G"之前的像素的多 個像素。然后，攝像裝置等待下一視頻周期的讀取。
與上述用于從"A"到"F"的像素的讀取處理類似，攝像裝置開始從像 素"G"的讀取處理。
如上所述，攝像裝置可以控制讀取定時以從圖像傳感器的整個成像區(qū)域 中選擇性地提取任意部分(例如，中央部分)，并可以獲得代表所提取的部分 的視頻信號。
如圖9A、圖9B和圖9C所示，捕獲圖像沿與攝像裝置的運動相對應(yīng)的 方向移動。以下參照圖IO描述裁剪位置的移動。
如果檢測到被攝體在圖像傳感器表面的移動(=攝像裝置的抖動)并且移 動量與箭頭364相當(dāng)，則攝像裝置將裁剪框從位置362重定位到位置363，以 獲得不受被攝體的移動影響的裁剪后的視頻。
在此情況下，為了改變裁剪位置，攝像裝置將讀取開始位置從"A"改變 到"B"并且將讀取結(jié)束位置從"C"改變到"D"，并且攝像裝置以與上述從像素"A"開始的讀取處理相同的方式，選擇性地從圖像傳感器的整個成像區(qū)
域360中提取圖像的局部部分。
更具體來說，與上述使用裁剪框362的讀取處理類似，攝像裝置按照箭 頭365指示的方向從由"S"表示的開始像素起相繼讀取各像素的光電轉(zhuǎn)換后 的電荷量。
攝像裝置在輸出視頻信號的同步周期內(nèi)開始讀取處理，并在同步周期結(jié) 束前在緊挨像素"B"之前的像素位置處結(jié)束讀取處理。在上述讀取處理中的 傳送速率比在普通讀取處理中的傳送速率高。在實際視頻周期，攝像裝置以 普通傳送速率從像素"B"開始讀取各像素的電荷量。
如上所述，攝像裝置在未到實際視頻周期的同步信號周期期間，初步讀 取圖像傳感器的成像區(qū)域中的、與抖動校正信息對應(yīng)的量的外圍部分。攝像 裝置基于相機抖動信息選擇性地讀取圖像傳感器的一部分，并且能夠獲得排 除相機抖動的不利影響的視頻信號。
以下是通常稱為"MP4"的運動圖像文件格式，其能夠用于在數(shù)碼相機 或數(shù)碼攝像機中記錄運動圖像數(shù)據(jù)。
MP4文件格式(參見ISO/正C 14496-14; "Information technology—Coding of audio-visual objects—Part 14: MP4 file format"; ISO/正C; 2003-11-24)是基于 通常文件格式"ISO基媒體文件格式"(參見ISO/IEC 14496-12; "Information technology—Coding of audio-visual objects—Part 12: ISO base media file format"; ISO/IEC; 2004-01-23)擴展的文件格式，其被ISO/IEC JTC1/SC29/WG11 (國 際標準化組織/國際電工委員會)標準化以將MPEG或其他運動圖像/音頻內(nèi)容 數(shù)據(jù)記錄在文件中。
本示例性實施例不限于MP4文件格式，并且可以應(yīng)用于類似的文件格式。 例如，諸如"運動JPEG 2000文件格式"(ISO/正C 15444-3)和"AVC文件格 式"(ISO/正C 14496-15)的ISO文件格式標準具有類似于MP4文件格式的基 本結(jié)構(gòu)。
圖11例示了根據(jù)MP4文件格式的數(shù)據(jù)結(jié)構(gòu)的示例。 MP4文件1001包括表示視頻/音頻數(shù)據(jù)的物理位置、時間位置以及特征 信息的元數(shù)據(jù)(即，頭信息)1002以及表示編碼視頻/音頻數(shù)據(jù)的實際狀態(tài)的媒體數(shù)據(jù)1003。
在MP4格式中，整個內(nèi)容的演示稱為"電影"，構(gòu)成內(nèi)容的媒體流的演
示稱為"軌(track)"。元數(shù)據(jù)1002包括邏輯上處理運動圖像數(shù)據(jù)的視頻軌1004 和邏輯上處理音頻數(shù)據(jù)的音頻軌1005。視頻軌1004和音頻軌1005在結(jié)構(gòu)上 類似。
也就是說，盡管各軌的內(nèi)容視媒體數(shù)據(jù)的特性而變，但是它們可以記錄 實際媒體數(shù)據(jù)的各種元數(shù)據(jù)信息。
例如，視頻軌1004存儲對編碼數(shù)據(jù)進行解碼的解碼器的結(jié)構(gòu)信息以及關(guān) 于運動圖像的矩形尺寸的信息。
此外，視頻軌1004存儲表示實際記錄媒體數(shù)據(jù)的文件位置的偏移1006、 表示媒體數(shù)據(jù)的各幀數(shù)據(jù)(可以稱為"圖片")的大小的樣本尺寸1007，以及 表示各幀數(shù)據(jù)的解碼時間的時間戳1008。
另一方面，媒體數(shù)據(jù)1003記錄運動圖像數(shù)據(jù)和音頻數(shù)據(jù)的實體。媒體數(shù) 據(jù)1003的數(shù)據(jù)結(jié)構(gòu)通常稱為"塊(chunk)",該"±央"連續(xù)記錄表示編碼數(shù) 據(jù)的基本單元的"樣本"。
根據(jù)元數(shù)據(jù)1002的軌，塊包括視頻塊1009和音頻塊1010，視頻塊1009 包括運動圖像媒體數(shù)據(jù)，音頻塊1010包括音頻媒體數(shù)據(jù)。
根據(jù)圖11所示的結(jié)構(gòu)，交替記錄視頻塊1009和音頻塊1010。然而，可 以任意改變這些塊的記錄位置和順序。
所例示的示例是通常記錄格式的示例。不過，因為要同時再現(xiàn)的運動圖 像和音頻數(shù)據(jù)在位置上接近，所以上述交替布局(即，交錯)帶來了提高對 文件中記錄的數(shù)據(jù)的可訪問性的效果。因此，上述交替布局得到廣泛使用。
塊包括單獨媒體數(shù)據(jù)的一個或更多個樣本。例如，如圖11所示，視頻塊 1009包括連續(xù)記錄的多個視頻樣本(即，幀)。
通常，視頻樣本(即，幀)1011對應(yīng)于單幀視頻數(shù)據(jù)(即，圖片)。各軌 按照以下方式與塊相關(guān)聯(lián)。
例如，如果視頻軌1004存儲運動圖像數(shù)據(jù)，則視頻軌1004中包含的信 息包括與媒體數(shù)據(jù)1003中包含的各視頻塊1009相關(guān)的信息。
偏移1006由表示各視頻塊1009在文件上的相對位置的信息表構(gòu)成，使得能夠通過參照該表上的各條目得知實際視頻塊的位置。
樣本尺寸1007作為各塊中包含的多個樣本的尺寸表(即各視頻幀的尺
寸)被寫入。更具體來說，視頻軌1004存儲表示各塊中包含的樣本的數(shù)量的 信息，使得能夠基于所存儲的信息精確獲取各視頻塊1009中包含的樣本。
時間戳1008由將各樣本的解碼時間作為樣本之間的差別而記錄的表構(gòu) 成，使得可以通過參照該表計算累積時間來獲得各樣本的時間戳。
在音頻軌1005與音頻塊IOIO之間類似地建立上述軌與塊的關(guān)系。因此， 在MP4文件格式和ISO基媒體文件格式下，利用諸如時間戳的附加信息，基 于元數(shù)據(jù)1002和媒體數(shù)據(jù)1003可以從任意位置獲取所需量的編碼數(shù)據(jù)。
因為通過參照ISO/正C 14496中的相應(yīng)說明可以得知標準化定義的詳細 內(nèi)容，所以本示例性實施例不對所有的標準化記錄信息均進行描述。
以稱為"包(BOX)"的數(shù)據(jù)結(jié)構(gòu)對要記錄在根據(jù)MP4文件格式的文件 中的數(shù)據(jù)進行描述。BOX由以下字段構(gòu)成
尺寸包括尺寸字段自身的整個BOX的尺寸。
類型代表BOX類型的4字節(jié)標識符，通常用4個字母數(shù)字字符表示。 雖然以下不進行描述，但是各BOX可以包括其他字段作為選項。 要記錄在文件中的數(shù)據(jù)視其類型而存儲在不同類型的BOX中。例如，將 媒體數(shù)據(jù)1003記錄為存儲編碼數(shù)據(jù)的媒體數(shù)據(jù)包(Media Data BOX，類型字 段的內(nèi)容是"mdat"，并且在以下描述中，如果使用表示BOX類型的標識符， 則該標識符表示具有所表示的類型的BOX)。將元數(shù)據(jù)1002記錄為存儲整個 內(nèi)容的元數(shù)據(jù)信息的影片包(Movie BOX, 'moov')。
類似地，針對各軌，將上述關(guān)于塊和樣本的信息記錄在作為具有唯一標 識符的BOX的moov中。
MP4文件格式不僅允許將所有元數(shù)據(jù)記錄在moov中，而且允許將元數(shù) 據(jù)劃分成多個區(qū)域并順次記錄劃分后的數(shù)據(jù)區(qū)域。后者的格式稱為"分片電 影(Fragmented Movie)，,。
圖12例示了按照分片電影格式的文件結(jié)構(gòu)。分片電影格式的內(nèi)容(諸如 媒體數(shù)據(jù)和元數(shù)據(jù))可以按照任意時間單位劃分成多個"片段(fragment)", 并且按照時間順序從文件頭開始記錄。例如，根據(jù)圖12所示的示例，moov 1101表示第一片段中的元數(shù)據(jù)并且存儲關(guān)于包含在mdatll02中的數(shù)據(jù)的信息。 類似地，moof 1103表示第二片段中的元數(shù)據(jù)并且存儲關(guān)于包含在mdat
1104中的數(shù)據(jù)的信息。在采用分片電影格式的情況下，添加表示在moov 1101
中存在片段的影片擴展包(Movie Extends Box， 'mvex，) 1105。 mvex 1105中
包含的信息例如是，包含所有片段的整個內(nèi)容的持續(xù)期間(時間長度)。
如上所述，按照MP4文件格式的文件將與媒體數(shù)據(jù)相關(guān)的各種屬性與媒
體數(shù)據(jù)分開地存儲在元數(shù)據(jù)區(qū)域中。因此，無需考慮媒體數(shù)據(jù)的物理存儲狀
態(tài)而能夠容易地訪問期望的樣本數(shù)據(jù)。
以下將描述用于在運動圖像記錄操作中將上述塵埃校正數(shù)據(jù)與視頻樣本 (幀)1011相關(guān)聯(lián)的方法的示例，其中根據(jù)本示例性實施例的用于記錄運動
圖像和音頻數(shù)據(jù)的運動圖像文件格式是圖12所示的分片電影格式(即，MP4
文件格式)。
本示例性實施例還可以應(yīng)用于上述"運動JPEG 2000文件格式"(ISO/正C 15444-3)和"AVC文件格式"(ISO/IEC 14496-15)標準以及任何其他采用與 由MP4規(guī)范的文件格式和結(jié)構(gòu)類似的標準，諸如作為針對以第三代便攜電話 為代表的無線終端規(guī)范的運動圖像文件標準的第三代合作伙伴計劃(3GPP) 文件格式(參見3GPP TS 26.244 "Technical Specification Group Services and System Aspects Transparent end-to-end packet switched streaming service (PSS); 3GPP file format (3GP) (Release 6)" 3rd Generation Partnership Project; 2003-02-28)。
以下描述根據(jù)本示例性實施例的由具有圖像處理功能的攝像裝置在運動 圖像捕獲操作中執(zhí)行的塵埃去除處理和文件記錄操作。 圖13是例示運動圖像捕獲處理的示例的流程圖。
首先，在步驟S1401中，攝像裝置確定是否經(jīng)由操作單元70選擇了實時 取景開始。如果確定未選擇實時取景開始(步驟S1401中的"否")，則攝像 裝置重復(fù)步驟S1401中的確定處理。
如果確定選擇了實時取景開始(步驟S1401中的"是")，則攝像裝置向 上驅(qū)動反光鏡130以打開快門12,從而在圖像傳感器14上形成光學(xué)像。
A/D轉(zhuǎn)換器16以預(yù)定的幀速率將輸出自圖像傳感器14的模擬信號轉(zhuǎn)換成數(shù)字信號。圖像處理電路20執(zhí)行預(yù)定的像素插值處理和色彩轉(zhuǎn)換處理，并 將處理后的信號存儲在存儲器30的幀存儲緩沖器中。
在此情況下，相機主體100請求鏡頭單元300根據(jù)幀速率發(fā)送各種光學(xué) 信息(例如，光圈、變焦位置、光瞳位置以及焦距)。光學(xué)信息存儲器58將 經(jīng)由連接器122從鏡頭單元300接收的各種光學(xué)信息與幀存儲緩沖器中的各 圖像數(shù)據(jù)相關(guān)聯(lián)地存儲。
通過將讀取的圖像數(shù)據(jù)轉(zhuǎn)換成顯示圖像數(shù)據(jù)(即，要用于顯示的圖像數(shù) 據(jù))的圖像處理電路20再次讀取幀存儲緩沖器中存儲的圖像數(shù)據(jù)。圖像顯示 存儲器24存儲顯示圖像數(shù)據(jù)。
圖像顯示單元28顯示經(jīng)由D/A轉(zhuǎn)換器26從圖像顯示存儲器24接收的顯 示圖像數(shù)據(jù)。在此情況下，圖像顯示單元28處于實時取景顯示狀態(tài)。換句話 說，圖像顯示單元28執(zhí)行電子取景器操作。
在步驟S1402中，攝像裝置確定是否通過操作單元70選擇了運動圖像記 錄開始。如果確定沒有選擇運動圖像記錄開始(步驟S1402中的"否")，則 處理返回到步驟S1401，攝像裝置重復(fù)上述處理。如果確定選擇了運動圖像記 錄開始(步驟S1402中的"是")，則在步驟S1403中，攝像裝置開始運動圖 {象記錄。
當(dāng)開始運動圖像記錄時，音頻信號處理電路33對從麥克風(fēng)(未示出)輸 入的音頻數(shù)據(jù)進行編碼，并且編碼后的音頻數(shù)據(jù)被暫時存儲在存儲器30的音 頻編碼數(shù)據(jù)緩沖器中。
暫時存儲的運動圖像編碼數(shù)據(jù)和音頻編碼數(shù)據(jù)的量隨時間而增大。因此， 將暫時存儲的編碼數(shù)據(jù)轉(zhuǎn)換成預(yù)定的文件格式并且經(jīng)由接口 90不定期地寫入 到記錄介質(zhì)200中。
在步驟S1404中，攝像裝置確定是否通過操作單元70選擇了運動圖像記 錄停止。如果確定沒有選擇運動圖像記錄停止(步驟S1404中的"否")，則 處理返回到步驟S1403中，攝像裝置繼續(xù)運動圖像記錄。如果確定選擇了運 動圖像記錄停止(步驟S1404中的"是")，則在步驟S1405中，攝像裝置確 定是否選擇了實時取景停止。
如果確定沒有選擇實時取景停止(步驟S1405中的"否")，則處理返回到步驟S1402，攝像裝置等待下一運動圖像記錄。如果確定選擇了實時取景停 止(步驟S1405中的"是")，則攝像裝置結(jié)束運動圖像捕獲處理過程。
接著，以下描述運動圖像文件生成的示例。如果在運動圖像捕獲模式下 開啟了運動圖像記錄按鈕，則攝像裝置開始運動圖像捕獲處理。首先，攝像 裝置生成包括初始片段的moov (g卩，元數(shù)據(jù)BOX)和mdat (即，媒體數(shù)據(jù) BOX)的新文件。
接著，攝像裝置生成塵埃位置校正數(shù)據(jù)。塵埃位置校正數(shù)據(jù)存儲在運動 圖像捕獲處理中使用的鏡頭的鏡頭信息，諸如圖5所示的光圈值、鏡頭光瞳 位置信息以及塵埃校正數(shù)據(jù)。
存儲器52存儲生成的塵埃位置校正數(shù)據(jù)。攝像裝置從存儲器52中讀取 塵埃位置校正數(shù)據(jù)并將讀取的數(shù)據(jù)寫入當(dāng)前片段的元數(shù)據(jù)moov中。
圖14是例示根據(jù)本示例性實施例的在運動圖像捕獲操作中要對各幀執(zhí) 行的記錄處理的示例的流程圖。系統(tǒng)控制電路50執(zhí)行可以從存儲器52載入 的運動圖像捕獲處理程序，以實現(xiàn)上述處理。
首先，在步驟S1501中，攝像裝置確定在運動圖像捕獲操作中是否開啟 了電子圖像穩(wěn)定化功能。如果確定開啟了電子圖像穩(wěn)定化功能(步驟S1501 中的"是")，則在步驟S1502中，攝像裝置基于角速度傳感器(例如，振動 回轉(zhuǎn)儀)的輸出檢測抖動量。
如果確定在運動圖像捕獲操作中關(guān)閉了電子圖像穩(wěn)定化功能(步驟S1501 中的"否")，則處理進行到步驟S1505。由于圖像裁剪位置固定，所以攝像裝 置不執(zhí)行在運動圖像數(shù)據(jù)文件中對裁剪位置的記錄。
在步驟S1503中，攝像裝置計算裁剪位置校正量以消除抖動量，并且校 正當(dāng)由圖像傳感器14讀取圖像信號時的裁剪位置。
在步驟S1504中，攝像裝置將校正后的圖像裁剪位置信息記錄在運動圖 像數(shù)據(jù)文件中。裁剪位置信息包括如圖16所示的表示圖像傳感器14的整個 畫面上的裁剪位置的、相對于原點確定的X坐標值和Y坐標值，如圖16所 示。
作為另一選擇，裁剪位置信息可以包括如圖17所示的相對于基準幀的偏 離(即，差分量)。更具體來說，在圖17中，相對于原點確定基準幀的位置，并且相對于基準幀的位置確定當(dāng)前幀的位置。為了執(zhí)行文件記錄，攝像裝置
將圖像裁剪位置信息記錄在當(dāng)前片段的元數(shù)據(jù)moof中。
由于可以在一個片段中記錄多個幀的圖像數(shù)據(jù)，所以攝像裝置將多條裁
剪位置信息添加到一個片段的元數(shù)據(jù)moof中。因此，在寫操作中，需要將幀
與裁剪位置信息相關(guān)聯(lián)。
在步驟S1505中，攝像裝置執(zhí)行圖像編碼處理以削減圖像數(shù)據(jù)的數(shù)據(jù)量。 在步驟S1506中，攝像裝置將壓縮圖像數(shù)據(jù)記錄在文件中。
步驟S1501到S1506的序列處理用于記錄一幀圖像。因此，攝像裝置在 運動圖像記錄操作期間重復(fù)執(zhí)行上述序列處理。
在圖14中，攝像裝置對各幀確定電子圖像穩(wěn)定化功能的開啟/關(guān)閉(參 見步驟S1501)。作為另一選擇，攝像裝置可以只在其開始運動圖像捕獲操作 時才進行上述確定，并且可以使用分支處理中獲得的結(jié)果。
以下描述用于從通過電子圖像穩(wěn)定化系統(tǒng)捕獲的運動圖像數(shù)據(jù)中消除塵 埃的影響的圖像處理的示例。
攝像裝置使用與圖像數(shù)據(jù)相關(guān)聯(lián)地記錄在記錄介質(zhì)200中的塵埃校正數(shù) 據(jù)(即，塵埃信息)，針對各幀執(zhí)行塵埃去除處理，雖然該處理的一部分與靜 止圖像的處理類似。
將塵埃校正數(shù)據(jù)存儲在運動圖像文件的moov中。然而，由于塵埃信息 的數(shù)量只有1條，所以對各幀轉(zhuǎn)換塵埃信息。
圖15是例示根據(jù)本示例性實施例的要對各幀執(zhí)行的塵埃去除處理的流 程圖。
相機或單獨提供的圖像處理裝置可以執(zhí)行塵埃去除處理。 在本示例性實施例中，在步驟S1601中，攝像裝置確定是否在電子圖像
穩(wěn)定化開啟狀態(tài)下捕獲了要經(jīng)受塵埃去除處理的圖像的幀。
如果確定在電子圖像穩(wěn)定化開啟狀態(tài)下捕獲了圖像(步驟S1601中的 "是")，則在步驟S1602中，攝像裝置獲取記錄在元數(shù)據(jù)moof中的幀的裁剪
位置信息。
如果確定在電子圖像穩(wěn)定化關(guān)閉狀態(tài)下捕獲了圖像(步驟S1601中的 "否")，則攝像裝置直接執(zhí)行塵埃校正處理。在步驟S1603中，如圖18所示，攝像裝置根據(jù)在步驟S1602中獲取的裁 剪位置信息轉(zhuǎn)換塵埃位置坐標，以抵消裁剪位置的變化。
在步驟S1604中，攝像裝置使用轉(zhuǎn)換后的塵埃位置坐標執(zhí)行塵埃校正處 理。在步驟S1604中要執(zhí)行的塵埃校正處理是圖8所示的序列處理。
如上所述，在本示例性實施例中，當(dāng)在電子圖像穩(wěn)定化開啟狀態(tài)下執(zhí)行 運動圖像捕獲操作時，攝像裝置針對各幀將圖像裁剪位置記錄到運動圖像文 件中。另外，當(dāng)攝像裝置執(zhí)行塵埃去除處理時，攝像裝置基于在執(zhí)行塵埃去 除處理前針對各幀記錄的裁剪位置來轉(zhuǎn)換塵埃位置信息。
由此，當(dāng)電子圖像穩(wěn)定化系統(tǒng)在運動圖像記錄操作中抑制運動圖像的相 機抖動分量時，攝像裝置可以對該運動圖像執(zhí)行塵埃去除處理。
根據(jù)第二示例性實施例的數(shù)碼相機類似于根據(jù)第一示例性實施例的數(shù)碼 相機。以下將描述第一示例性實施例與第二示例性實施例在操作上的差異。
第二示例性實施例與第一示例性實施例的不同之處在于當(dāng)將圖像裁剪 位置信息記錄在文件中時，攝像裝置只有在裁剪位置的變化超出預(yù)定閾值(下 文稱為"TH")的情況下才執(zhí)行記錄。
圖19是例示在運動圖像捕獲操作中對各幀執(zhí)行的、根據(jù)本示例性實施例 的記錄處理的示例的流程圖。
如圖8所示的插值過程所描述的，在塵埃區(qū)域確定中可以將包括圓心坐 標Di的區(qū)域設(shè)置成具有適當(dāng)?shù)膶挾?。因此，如果圖像裁剪位置的移動量小， 則攝像裝置可以執(zhí)行塵埃去除處理而不記錄移動量。
因此，如果確定圖像裁剪位置的移動量比閾值TH大(步驟S1605中的 "是")，則在步驟S1504中，攝像裝置將圖像裁剪位置信息記錄在運動圖像 文件中。
如果確定圖像裁剪位置的變化等于或小于閾值TH(等于或小于預(yù)定值) (步驟S1605中的"否")，則攝像裝置不將圖像裁剪位置信息記錄在運動圖 像文件中。
然而，在并未對所有幀記錄裁剪位置信息的情況下，各幀與裁剪位置信 息相關(guān)聯(lián)。因此，當(dāng)在步驟S1504中攝像裝置執(zhí)行裁剪位置信息的記錄時， 信息也被記錄成表示相應(yīng)的幀(例如，按照從頭起的順序軌的位置)。如上所述，本示例性實施例能夠在相機抖動量小時減少數(shù)據(jù)量，并且能 夠在塵埃去除處理中減少塵埃位置坐標轉(zhuǎn)換中的處理量。
可以利用以下方法實現(xiàn)上述示例性實施例?？梢韵蛳到y(tǒng)或裝置提供存儲 用于實現(xiàn)上述示例性實施例的功能的軟件程序代碼的存儲介質(zhì)。程序代碼包 括用于實現(xiàn)本發(fā)明的實施例的計算機可執(zhí)行指令。系統(tǒng)或裝置中的計算機(或 CPU或微處理單元(MPU))可以執(zhí)行存儲在存儲介質(zhì)中的程序代碼。
在此情況下，由計算機從存儲介質(zhì)中讀出并執(zhí)行的程序代碼自身實現(xiàn)了 上述示例性實施例的功能。存儲程序代碼的存儲介質(zhì)構(gòu)成了本發(fā)明。上述示 例性實施例的功能不僅可以通過執(zhí)行所讀取的程序代碼的計算機來實現(xiàn)，而 且本發(fā)明還可以例如通過以下情況來實現(xiàn)。
運行在計算機上的操作系統(tǒng)(OS)或其他應(yīng)用軟件可以基于程序代碼的
指令執(zhí)行部分或全部的實際處理，以實現(xiàn)上述示例性實施例的功能。
此外，可以將從存儲介質(zhì)讀出的程序代碼寫入到插入計算機的功能擴展 卡的存儲器中或?qū)懭氲脚c計算機連接的功能擴展單元的存儲器中。在此情況
下，基于程序代碼的指令，設(shè)置在功能擴展卡或功能擴展單元上的CPU可以
執(zhí)行部分或全部處理，以實現(xiàn)上述示例性實施例的功能。
當(dāng)本發(fā)明應(yīng)用于上述存儲介質(zhì)時，對應(yīng)于上述過程的程序代碼存儲在存 儲介質(zhì)中。
可以使用許多種存儲介質(zhì)來存儲程序代碼。存儲介質(zhì)例如可以是，軟碟
(軟盤)、硬盤、光盤、磁光盤、壓縮盤(CD)、數(shù)字多功能盤(DVD)、只 讀存儲器(ROM)、可記錄CD (R)、可重寫CD、可記錄DVD、可重寫DVD、 磁帶、非易失性存儲卡、閃存設(shè)備等等中的一種。
雖然參照示例性實施例對本發(fā)明進行了描述，但是應(yīng)當(dāng)理解，本發(fā)明并 不限于所公開的示例性實施例。應(yīng)當(dāng)對以下權(quán)利要求的范圍給予最寬泛的解 釋，以使其涵蓋所有的變型例、等同結(jié)構(gòu)和功能。
權(quán)利要求
1.一種攝像裝置，該攝像裝置包括圖像捕獲單元，其包括能夠光電轉(zhuǎn)換被攝體像的圖像傳感器，并且被構(gòu)造成基于所述圖像傳感器的輸出信號生成運動圖像數(shù)據(jù)；第一獲取單元，其被構(gòu)造成獲取異物信息，所述異物信息包括關(guān)于附著在設(shè)置于所述圖像傳感器的前側(cè)的光學(xué)元件上的異物的至少位置和尺寸的信息；檢測單元，其被構(gòu)造成檢測所述圖像傳感器的抖動量；控制單元，其被構(gòu)造成根據(jù)由所述檢測單元檢測到的所述圖像傳感器的所述抖動量，控制在所述圖像傳感器的整個畫面上的圖像裁剪位置；以及記錄單元，其被構(gòu)造成將表示所述圖像裁剪位置的信息與所述運動圖像數(shù)據(jù)相關(guān)聯(lián)地記錄。
2. 根據(jù)權(quán)利要求1所述的攝像裝置，其中所述表示圖像裁剪位置的信 息包括在所述圖像傳感器的整個畫面上的X坐標及Y坐標。
3. 根據(jù)權(quán)利要求1所述的攝像裝置，其中所述表示圖像裁剪位置的信 息是相對于基準幀的圖像裁剪位置的差分。
4. 根據(jù)權(quán)利要求3所述的攝像裝置，其中在所述圖像裁剪位置的差分 等于或小于預(yù)定值的情況下，所述記錄單元不執(zhí)行所述表示圖像裁剪位置 的信息的記錄。
5. 根據(jù)權(quán)利要求1所述的攝像裝置，該攝像裝置還包括 第二獲取單元，其被構(gòu)造成獲取與所述運動圖像數(shù)據(jù)相關(guān)聯(lián)地記錄的所述異物信息以及所述表示圖像裁剪位置的信息；以及插值單元，其被構(gòu)造成基于所述表示圖像裁剪位置的信息轉(zhuǎn)換所述異 物信息，并且使用轉(zhuǎn)換后的異物信息對與所述運動圖像數(shù)據(jù)的異物相對應(yīng) 的像素執(zhí)行插值處理。
6. —種攝像裝置的控制方法，所述攝像裝置包括圖像捕獲單元，所述 圖像捕獲單元具有能夠光電轉(zhuǎn)換被攝體像的圖像傳感器并且被構(gòu)造成基于 所述圖像傳感器的輸出信號生成運動圖像數(shù)據(jù)，所述控制方法包括如下步驟存儲異物信息，所述異物信息包括關(guān)于附著在設(shè)置于所述圖像傳感器 的前側(cè)的光學(xué)元件上的異物的至少位置和尺寸的信息；檢測所述圖像傳感器的抖動量；根據(jù)檢測到的所述圖像傳感器的所述抖動量，控制在所述圖像傳感器 的整個畫面上的圖像裁剪位置；以及將所述異物信息和表示所述圖像裁剪位置的信息與所述運動圖像數(shù)據(jù) 相關(guān)聯(lián)地記錄。
全文摘要
本發(fā)明提供一種攝像裝置及其控制方法。所述攝像裝置包括圖像捕獲單元，其包括能夠光電轉(zhuǎn)換被攝體像的圖像傳感器，并且被構(gòu)造成基于所述圖像傳感器的輸出信號生成運動圖像數(shù)據(jù)；存儲單元，其被構(gòu)造成存儲異物信息，所述異物信息包括關(guān)于附著在設(shè)置于所述圖像傳感器的前側(cè)的光學(xué)元件上的異物的至少位置和尺寸的信息；檢測單元，其被構(gòu)造成檢測所述圖像傳感器的抖動量；控制單元，其被構(gòu)造成根據(jù)由所述檢測單元檢測到的所述圖像傳感器的所述抖動量，控制所述圖像傳感器的整個畫面上的圖像裁剪位置；以及記錄單元，其被構(gòu)造成將所述異物信息和表示所述圖像裁剪位置的信息與所述運動圖像數(shù)據(jù)相關(guān)聯(lián)地記錄。
文檔編號H04N5/14GK101686331SQ20091017808
公開日2010年3月31日 申請日期2009年9月24日 優(yōu)先權(quán)日2008年9月24日
發(fā)明者工藤圭介 申請人:佳能株式會社