本發(fā)明涉及攝像元件的缺陷像素檢測。

背景技術(shù)：

提出了如下的攝像設(shè)備：為了檢測攝像元素內(nèi)的缺陷像素，使用與目標(biāo)像素鄰接的像素的信息來進(jìn)行缺陷像素檢測。在日本特開2010-130236中，公開了使用相同顏色的兩個或更多鄰接像素的信息來進(jìn)行缺陷像素檢測的技術(shù)。在日本特開2011-97542中，公開了使用相同顏色的像素和不同顏色的像素的信息來進(jìn)行缺陷像素檢測的技術(shù)。

然而，由于陰影的影響，導(dǎo)致在圖像信號穿過攝像光學(xué)系統(tǒng)以到達(dá)攝像元件并且光電傳感器接收該圖像信號的光的情況下的圖像信號的輸出值不太可能是均勻的值。也就是說，由于陰影的發(fā)生導(dǎo)致亮度根據(jù)光電傳感器的光接收區(qū)域而改變，因此難以適當(dāng)?shù)剡M(jìn)行攝像元件的缺陷像素檢測。

技術(shù)實現(xiàn)要素：

本發(fā)明提供一種用于即使在發(fā)生了陰影的情況下也精確地進(jìn)行缺陷像素檢測的技術(shù)。

根據(jù)本發(fā)明的實施例的裝置是一種圖像處理裝置，其用于獲取多個像素的輸出值并對圖像信號進(jìn)行處理，所述圖像處理裝置包括：獲取部件，用于從像素獲取第一輸出值，并且獲取從所述像素的鄰接像素所確定出的第二輸出值；以及檢測部件，用于通過根據(jù)所述第一輸出值和所述第二輸出值計算所述像素的評價值并將所述評價值與閾值相比較，來進(jìn)行缺陷像素檢測，其中，所述檢測部件使用所述第二輸出值以及根據(jù)所述第一輸出值和所述第二輸出值所求出的第一評價值來計算第二評價值，并且在所述第二評價值大于所述閾值的情況下將所述像素檢測為缺陷像素。

一種圖像處理裝置，用于獲取多個像素的輸出值并對圖像信號進(jìn)行處理，所述圖像處理裝置包括：獲取部件，用于從像素獲取第一輸出值，并且獲取從所述像素的鄰接像素所確定出的第二輸出值；檢測部件，用于通過根據(jù)所述第一輸出值和所述第二輸出值計算所述像素的第一評價值并將根據(jù)所述第一評價值和所述第二輸出值所計算出的第二評價值與閾值相比較，來進(jìn)行缺陷像素檢測；像素校正部件，用于對所述檢測部件所檢測到的缺陷像素的像素信號進(jìn)行校正；以及陰影校正部件，用于使用所述像素校正部件校正后的像素信號來進(jìn)行陰影校正。

一種圖像處理裝置要執(zhí)行的控制方法，所述圖像處理裝置用于獲取多個像素的輸出值并對圖像信號進(jìn)行處理，所述控制方法包括以下步驟：從像素獲取第一輸出值，并且獲取從所述像素的鄰接像素所確定出的第二輸出值；以及檢測步驟，用于利用檢測部件，通過根據(jù)所述第一輸出值和所述第二輸出值計算所述像素的評價值并將所述評價值與閾值相比較來進(jìn)行缺陷像素檢測，其中，所述檢測步驟包括：利用所述檢測部件，使用所述第二輸出值以及根據(jù)所述第一輸出值和所述第二輸出值所求出的第一評價值來計算第二評價值，并且在所述第二評價值大于所述閾值的情況下將所述像素檢測為缺陷像素。

一種圖像處理裝置要執(zhí)行的控制方法，所述圖像處理裝置用于獲取多個像素的輸出值并對圖像信號進(jìn)行處理，所述控制方法包括以下步驟：從像素獲取第一輸出值，并且獲取從所述像素的鄰接像素所確定出的第二輸出值；利用檢測部件，通過根據(jù)所述第一輸出值和所述第二輸出值計算所述像素的第一評價值并將根據(jù)所述第一評價值和所述第二輸出值所計算出的第二評價值與閾值相比較，來進(jìn)行缺陷像素檢測；利用像素校正部件來對所檢測到的缺陷像素的像素信號進(jìn)行校正；以及利用陰影校正部件，使用所述像素校正部件校正后的像素信號來進(jìn)行陰影校正。

通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。

附圖說明

圖1是本發(fā)明的實施例中的攝像設(shè)備的示意結(jié)構(gòu)圖。

圖2是本發(fā)明的實施例中的像素陣列的示意圖。

圖3a和3b是本發(fā)明的實施例中的像素的示意性平面圖以及示意性截面圖。

圖4是本發(fā)明的實施例中的像素和光瞳分割的示意性說明圖。

圖5是本發(fā)明的實施例中的攝像像素和光瞳分割的示意性說明圖。

圖6a和6b是本發(fā)明的實施例中的視差圖像的陰影的說明圖。

圖7a和7b是本發(fā)明的實施例中的缺陷像素檢測的說明圖。

圖8a和8b是本發(fā)明的實施例中的從缺陷像素檢測到圖像顯示的流程圖。

具體實施方式

以下將參考附圖來詳細(xì)說明本發(fā)明的典型實施例。在實施例中，將說明根據(jù)本發(fā)明的圖像處理裝置被應(yīng)用于諸如數(shù)字照相機(jī)等的攝像設(shè)備的示例，但是本發(fā)明可以廣泛地應(yīng)用于執(zhí)行以下圖像處理的信息處理裝置和電子裝置等。

圖1是示出根據(jù)本發(fā)明實施例的包括攝像元件的攝像設(shè)備的結(jié)構(gòu)的示例的框圖。配置在攝像光學(xué)系統(tǒng)(成像光學(xué)系統(tǒng))的前端的第一透鏡組101利用鏡筒以在光軸方向上能夠前后移動的方式被保持。光圈-快門102通過調(diào)節(jié)其開口直徑來調(diào)節(jié)攝像期間的光量，并且還用作在靜止圖像拍攝期間的曝光時間調(diào)節(jié)用快門。光圈-快門102與第二透鏡組103一起在光軸方向上前后移動，并且與第一透鏡組101的前/后移動連動地提供變倍效果(變焦功能)。第三透鏡組105是用于通過在光軸方向上前/后移動來進(jìn)行焦點調(diào)節(jié)的調(diào)焦透鏡。光學(xué)低通濾波器106是用于減少所拍攝圖像的偽色和摩爾紋的光學(xué)元件。攝像元件107例如包括二維互補(bǔ)金屬氧化物半導(dǎo)體(cmos)光電傳感器和外圍電路，并且配置在攝像光學(xué)系統(tǒng)的圖像形成面中。

變焦致動器111通過轉(zhuǎn)動凸輪筒(未示出)以在光軸方向上移動第一透鏡組101和第二透鏡組103，來進(jìn)行變倍操作。光圈-快門致動器112控制光圈-快門102的開口直徑以調(diào)節(jié)攝像用的光量，并且控制靜止圖像拍攝期間的曝光時間。調(diào)焦致動器114在光軸方向上移動第三透鏡組105以調(diào)節(jié)焦點。

在攝像期間使用用于照射被攝體的電子閃光燈115。使用了利用氙管的閃光燈照明裝置或具有連續(xù)閃光發(fā)光二極管(led)的照明裝置。自動調(diào)焦(af)輔助光源116經(jīng)由投影透鏡將具有預(yù)定開口圖案的掩模的圖像投影在被攝體視場上。由此，提高了低亮度被攝體或低對比度被攝體的焦點檢測能力。構(gòu)成照相機(jī)本體單元的控制單元的中央處理單元(cpu)121具有以各種方式控制照相機(jī)主單元的控制中心功能。cpu121包括計算單元、只讀存儲器(rom)、隨機(jī)存取存儲器(ram)、模擬至數(shù)字(a/d)轉(zhuǎn)換器、數(shù)字至模擬(d/a)轉(zhuǎn)換器和通信接口電路等。根據(jù)rom中所存儲的預(yù)定程序，cpu121驅(qū)動照相機(jī)中的各種類型的電路，并且執(zhí)行諸如af控制、攝像處理、圖像處理和記錄處理等的一系列操作。cpu121進(jìn)行對本實施例的缺陷像素檢測、缺陷像素校正和陰影校正的控制。

電子閃光燈控制電路122根據(jù)cpu121的控制命令，與攝像操作同步地控制電子閃光燈115的on(接通)操作。輔助光源驅(qū)動電路123根據(jù)cpu121的控制命令，與焦點檢測操作同步地控制af輔助光源116的on操作。攝像元件驅(qū)動電路124控制攝像元件107的攝像操作，并且根據(jù)a/d轉(zhuǎn)換對所獲取到的攝像信號進(jìn)行轉(zhuǎn)換以將轉(zhuǎn)換后的攝像信號發(fā)送至cpu121。圖像處理電路125根據(jù)cpu121的控制命令對攝像元件107所獲取到的圖像進(jìn)行諸如伽馬轉(zhuǎn)換、顏色插值和聯(lián)合圖像專家小組(jpeg)壓縮等的處理。圖像處理電路125進(jìn)行用于生成攝像元件107所獲取到的所拍攝圖像或視差圖像的處理。針對所拍攝圖像的圖像信號進(jìn)行記錄處理或顯示處理。此外，在焦點檢測、視點改變處理、立體顯示、再聚焦處理和重影(ghost)去除處理等中使用視差圖像。

調(diào)焦驅(qū)動電路126根據(jù)cpu121的控制命令、基于焦點檢測結(jié)果來驅(qū)動調(diào)焦致動器114，并且在光軸方向上移動第三透鏡組105，由此調(diào)節(jié)焦點。光圈-快門驅(qū)動電路128根據(jù)cpu121的控制命令，驅(qū)動光圈-快門致動器112以控制光圈-快門102的開口直徑。變焦驅(qū)動電路129根據(jù)cpu121的控制命令，響應(yīng)于用戶的變焦操作指示來驅(qū)動變焦致動器111。

顯示單元131具有諸如液晶顯示器(lcd)等的顯示裝置，并且顯示與照相機(jī)的攝像模式有關(guān)的信息、攝像之前的預(yù)覽圖像、攝像之后的確認(rèn)圖像以及焦點檢測期間的聚焦?fàn)顟B(tài)顯示圖像等。作為操作開關(guān)，操作開關(guān)組132包括電源開關(guān)、釋放(攝像觸發(fā)器)開關(guān)、變焦操作開關(guān)和攝像模式選擇開關(guān)等，并將操作指示信號輸出至cpu121。閃速存儲器133是相對于照相機(jī)本體單元可拆卸的記錄介質(zhì)，并且記錄所拍攝圖像數(shù)據(jù)等。

接著，將參考圖2來說明本實施例中的攝像元件的像素陣列。圖2是示出本實施例中的攝像元件的像素單元和子像素的陣列的示意圖。將圖2的左右方向定義為x軸方向，將上下方向定義為y軸方向，并且將與x軸方向和y軸方向正交的方向(與紙面垂直的方向)定義為z軸方向。采用4列×4行的范圍來示出二維cmos傳感器(攝像元件)的攝像像素陣列的示例，并且采用8列×4行的范圍來示出焦點檢測像素陣列的示例。攝像像素是用于輸出像素信號的攝像像素，并且包括對像素進(jìn)行分割而得到的多個子像素。在本實施例中，示出在預(yù)定方向上將像素分割而得到的兩個子像素的示例。

2列×2行的像素組200包括像素200r、200g和200b作為一組。像素200r(參見左上位置)是具有紅色(r)的光譜靈敏度的像素，并且像素200g(參見右上位置和左下位置)是具有綠色(g)的光譜靈敏度的像素。像素200b(參見右下位置)是具有藍(lán)色(b)的光譜靈敏度的像素。此外，各像素包括采用2列×1行排列的第一子像素201和第二子像素202。各子像素具有用于輸出焦點檢測信號的焦點檢測像素的功能。在圖2所示的示例中，可以通過在平面上排列大量的4列×4行的像素(8列×4行的子像素)來獲取拍攝圖像信號和焦點檢測信號。在攝像元件中，假定像素周期p是4微米(μm)，并且假定像素數(shù)量n約為20750000(＝5575列×3725行)。此外，假定焦點檢測像素的陣列方向周期ps是2μm，并且假定子像素的數(shù)量ns約為41500000(＝11150列×3725行)。

圖3a示出在從攝像元件的光接收面?zhèn)?+z側(cè))觀看時圖2所示的攝像元件中的一個像素200g的平面圖。將z軸設(shè)置在與圖3a的紙面垂直的方向上，并且將近側(cè)定義為z軸的正方向。此外，通過將y軸設(shè)置在與z軸正交的上下方向上來將向上方向定義為y軸的正方向，并且通過將x軸設(shè)置在與y軸正交的左右方向上來將向右方向定義為x軸的正方向。圖3b示出沿著圖3a的a-a線、從-y側(cè)觀看像素時的截面圖。像素200g具有用于將入射光會聚在各像素的光接收面?zhèn)?+z方向)上的微透鏡305，并且包括分割的多個光電轉(zhuǎn)換單元。例如，x方向上的分割數(shù)由nh表示，并且y方向上的分割數(shù)由nv表示。在圖3a和3b中，示出在水平方向上將光瞳區(qū)域分割成兩部分的示例、即nh＝2并且nv＝1的示例，并且形成用作子像素的光電轉(zhuǎn)換單元301和302。光電轉(zhuǎn)換單元301與作為第一焦點檢測像素的第一子像素201相對應(yīng)，并且光電轉(zhuǎn)換單元302與作為第二焦點檢測像素的第二子像素202相對應(yīng)。

光電轉(zhuǎn)換單元301和302可以被形成為例如具有在p型層和n型之間夾持有本征層的pin結(jié)構(gòu)的光電二極管，或者根據(jù)需要可以被形成為省去本征層的p-n結(jié)光電二極管。在各像素中，在微透鏡305與光電轉(zhuǎn)換單元301和302之間形成有顏色濾波器306。根據(jù)需要，可以針對各子像素改變顏色濾波器306的分光透過率，或者可以省去顏色濾波器。

在入射在像素200g上的光被微透鏡305會聚、并且進(jìn)一步被顏色濾波器306分光之后，該光被光電轉(zhuǎn)換單元301和302各自接收。在光電轉(zhuǎn)換單元301和302中，根據(jù)光量產(chǎn)生電子-空穴對，并且在電子-空穴對被耗盡層分離之后，具有負(fù)電荷的電子累積在n型層(未示出)中。另一方面，空穴經(jīng)由連接至恒壓源(未示出)的p型層而排出至攝像元件的外部。光電轉(zhuǎn)換單元301和302的n型層(未示出)中所累積的電子經(jīng)由傳輸門而傳輸至靜電電容單元(fd)，并且被轉(zhuǎn)換成電壓信號。

圖4是示出像素結(jié)構(gòu)和光瞳分割之間的對應(yīng)關(guān)系的示意性說明圖。在圖4中，示出了從+y方向觀看沿著圖3a所示的像素結(jié)構(gòu)的a-a線所截取的切割面時的截面圖以及從-z方向觀看時的成像光學(xué)系統(tǒng)的出射光瞳面(參見出射光瞳400)的圖。在圖4中，在像素結(jié)構(gòu)的截面圖中，示出通過將圖3所示的狀態(tài)反轉(zhuǎn)所獲得的x軸和y軸，以與出射光瞳面的坐標(biāo)軸相對應(yīng)。

通常將與第一子像素201相對應(yīng)的第一光瞳部分區(qū)域501設(shè)置為相對于重心偏向-x方向的光電轉(zhuǎn)換單元301的光接收面經(jīng)由微透鏡305而具有共軛關(guān)系。也就是說，第一光瞳部分區(qū)域501表示能夠由第一子像素201進(jìn)行受光的光瞳區(qū)域，并且在光瞳面上具有偏向+x方向的重心。另外，通常將與第二子像素202相對應(yīng)的第二光瞳部分區(qū)域502設(shè)置為相對于重心偏向+x方向的光電轉(zhuǎn)換單元302的光接收面經(jīng)由微透鏡305而具有共軛關(guān)系。第二光瞳部分區(qū)域502表示能夠由第二子像素202進(jìn)行受光的光瞳區(qū)域，并且在光瞳面上具有偏向-x方向的重心。另外，圖4所示的區(qū)域500是在對光電轉(zhuǎn)換單元301和光電轉(zhuǎn)換單元302(即，第一子像素201和第二子像素202)進(jìn)行組合的情況下能夠通過整個像素200g進(jìn)行受光的光瞳區(qū)域。

入射光通過微透鏡而會聚在焦點位置。然而，由于光的波動性導(dǎo)致的衍射的影響，因此光會聚點的直徑可能不會小于衍射極限δ，并且具有有限的大小。在光電轉(zhuǎn)換單元的光接收面尺寸約為1～2μm的情況下，微透鏡的光會聚點尺寸約為1μm。因而，經(jīng)由微透鏡與光電轉(zhuǎn)換單元的光接收面具有共軛關(guān)系的圖4的第一光瞳部分區(qū)域501和第二光瞳部分區(qū)域502由于衍射模糊而導(dǎo)致無法進(jìn)行清楚的分割，并且具有光接收率分布(光瞳強(qiáng)度分布)。

圖5的示意圖中示出攝像元件和光瞳分割之間的對應(yīng)關(guān)系。穿過被稱為第一光瞳部分區(qū)域501和第二光瞳部分區(qū)域502的不同光瞳部分區(qū)域的光束以不同角度入射在攝像元件的像素上。采用nh(＝2)×nv(＝1)分割的第一子像素201的光電轉(zhuǎn)換單元301和第二子像素202的光電轉(zhuǎn)換單元302各自接收入射光以進(jìn)行光電轉(zhuǎn)換。在本實施例中已經(jīng)說明了在水平方向上將光瞳區(qū)域分割成兩部分的示例，但是根據(jù)需要可以將光瞳在垂直方向上進(jìn)行分割。

如上所述，本實施例的攝像元件具有排列有多個像素單元的結(jié)構(gòu)，其中，多個像素單元各自具有用于接收穿過成像光學(xué)系統(tǒng)的不同光瞳部分區(qū)域的光束的多個子像素。例如，針對攝像元件的各像素，將子像素201和子像素202的信號相加并讀取，以使得cpu121和圖像處理電路125生成具有有效像素數(shù)的分辨率的所拍攝圖像。在這種情況下，通過針對各像素對多個子像素的受光信號進(jìn)行合成來生成所拍攝圖像。此外，在另一方法中，通過收集攝像元件的各像素單元的子像素201的受光信號來生成第一視差圖像。通過從所拍攝圖像中減去第一視差圖像來生成第二視差圖像。根據(jù)需要，cpu121和圖像處理電路125通過收集攝像元件的各像素單元的子像素201的受光信號來生成第一視差圖像，并且通過收集各像素單元的子像素202的受光信號來生成第二視差圖像。針對不同光瞳部分區(qū)域中的各光瞳部分區(qū)域，可以根據(jù)子像素的受光信號來生成一個或多個視差圖像。

視差圖像是具有與所拍攝圖像的視點不同的視點的圖像，進(jìn)行以下要說明的陰影校正，并且可以同時獲取多個視點處的圖像。在本實施例中，所拍攝圖像、第一視差圖像和第二視差圖像各自是拜爾陣列的圖像。根據(jù)需要，可以對拜爾陣列的所拍攝圖像、第一視差圖像和第二視差圖像進(jìn)行去馬賽克處理。

以下將參考圖6a和6b來說明陰影。圖6a和6b是視差圖像的陰影的產(chǎn)生原理和陰影的說明圖。以下將從攝像元件的各像素單元中的第一光電轉(zhuǎn)換單元所獲取到的圖像信號指定為圖像信號a，并且將從第二光電轉(zhuǎn)換單元所獲取到的圖像信號指定為圖像信號b。圖6a示出圖像信號a的入射角光接收特性601a以及圖像信號b的入射角光接收特性601b。橫軸表示位置坐標(biāo)x，并且縱軸(z軸)表示光接收靈敏度。圖6a還示出出射光瞳框(出射光瞳形狀)602以及各圖像高度的攝像像素603。+x1的位置在光瞳坐標(biāo)上與-x2的位置相對應(yīng)，并且-x1的位置在光瞳坐標(biāo)上與+x2的位置相對應(yīng)。圖6b示出表示圖6a的狀態(tài)下的圖像信號a的陰影的曲線604a以及表示圖像信號b的陰影的曲線604b。橫軸表示位置坐標(biāo)x，并且縱軸表示光量。

在圖6a中，具有-x1的圖像高度的攝像像素603經(jīng)由出射光瞳框602接收來自光瞳坐標(biāo)上的+x2的位置的光瞳的光。因而，從入射角光接收特性601a和入射角光接收特性601b可以看到，在將圖像信號a和圖像信號b的靈敏度相比較的情況下，圖像信號b與圖像信號a相比具有更高的靈敏度。另一方面，具有+x1的圖像高度的攝像像素603經(jīng)由出射光瞳框602接收來自光瞳坐標(biāo)上的-x2的位置的光瞳的光。因而，在將圖像信號a和圖像信號b的靈敏度相比較的情況下，圖像信號a與圖像信號b相比具有更高的靈敏度。由于這個原因，圖6a的狀態(tài)下的陰影如圖6b的曲線604a(圖像信號a)和604b(圖像信號b)所指示的那樣產(chǎn)生。由于陰影的特性根據(jù)出射光瞳框602的位置或大小而改變，因此如果出射光瞳距離和光圈值改變，則陰影的狀態(tài)同樣改變。由于在實際的攝像光學(xué)系統(tǒng)發(fā)生漸暈，因此由于攝像像素的高度而導(dǎo)致的出射光瞳距離和光圈值的改變根據(jù)攝像光學(xué)系統(tǒng)而有所不同。因此，為了實現(xiàn)高精度的陰影校正，需要考慮到針對攝像光學(xué)系統(tǒng)的各攝像條件的漸暈的影響來進(jìn)行校正。

在鏡頭可更換型攝像設(shè)備的情況下，進(jìn)行與安裝在攝像設(shè)備的主體單元上的鏡頭裝置相對應(yīng)的陰影校正。也就是說，需要將與鏡頭裝置的攝像光學(xué)系統(tǒng)信息相對應(yīng)的陰影校正值預(yù)先存儲在攝像設(shè)備的主體單元內(nèi)，以在圖像記錄期間進(jìn)行陰影校正。這是為了高速地進(jìn)行圖像記錄，以使得防止失去攝像設(shè)備的連續(xù)攝像性能。然而，用于將與針對各鏡頭裝置的攝像光學(xué)系統(tǒng)信息相對應(yīng)的全部陰影校正值存儲在存儲器中的方法需要巨大的數(shù)據(jù)存儲區(qū)域，并且這是不實際的。因此，在圖像獲取之后不需要陰影校正的快速性的圖像再現(xiàn)期間，通過獲取陰影校正所需的數(shù)據(jù)來進(jìn)行陰影校正?；谂c入射光的利用攝像光學(xué)系統(tǒng)的漸暈相關(guān)的信息以及與入射光的角度變化相對應(yīng)的像素的靈敏度特性，可以通過組合這兩者的信息來計算陰影校正時所使用的校正值。

接著，將參考圖7a和7b來說明缺陷像素檢測。圖7a和7b是在進(jìn)行缺陷像素檢測的情況下用于計算并評價檢測像素的輸出值(第一輸出值)和與該檢測像素鄰接的周圍像素的輸出值(第二輸出值)之間的差值的方法的說明圖。第二輸出值是通過計算第一輸出值、像素的顏色濾波器、所接收到的光束穿過的光瞳區(qū)域以及相加像素的數(shù)量中的一個或多個作為相同條件來確定的。圖7a示出使用鄰接的5×5個像素的區(qū)域來進(jìn)行缺陷像素檢測的情況。圖7b示出使用鄰接的±3行的區(qū)域(7×7個像素的區(qū)域)來進(jìn)行缺陷像素檢測的情況。通過使用整數(shù)變量i和j來表示各像素的位置。在圖7a和7b中，通過變量i來表示垂直方向的像素位置，通過變量j來表示水平方向的像素位置，并且通過(i,j)來表示像素位置。

如果像素的輸出值由s來表示，則s包括信號分量styp和噪聲分量n。此外，噪聲分量n包括固定噪聲分量nfixed以及隨機(jī)噪聲分量nrandom。因此，輸出值s通過以下表達(dá)式(1)來表示。

s＝styp+nfixed+nrandom···(1)

將固定噪聲分量nfixed恒定輸出為固定值的誤差。將隨機(jī)噪聲分量nrandom輸出為根據(jù)信號分量styp的大小而改變的誤差。如果固定噪聲分量nfixed大，則由于圖像的顏色始終以變化的方式顯現(xiàn)，因此需要在缺陷像素檢測中精確地檢測具有大的固定噪聲分量nfixed的像素。

固定噪聲分量nfixed是如以下表達(dá)式(2)所示那樣相對于信號分量styp受(由α表示的)增益所影響的分量，并且進(jìn)行缺陷像素檢測以主要檢測這種分量。

nfixed＝styp·α···(2)

α：像素變化誤差

另一方面，隨機(jī)噪聲分量nrandom是如以下表達(dá)式(3)所示那樣與信號分量styp的平方根成比例地基于泊松分布(poissondistribution)而改變的分量。

f(t)：攝像時間t的在±1的范圍內(nèi)改變的函數(shù)

β：傳感器固有值

為了在缺陷像素檢測中通過主要檢測固定噪聲分量nfixed來判斷是否存在缺陷像素，在陰影不可能的條件下進(jìn)行檢測，并且通過減小隨機(jī)噪聲分量nrandom來進(jìn)行測量。然而，難以移除全部隨機(jī)噪聲分量nrandom。因而，進(jìn)行固定噪聲分量nfixed和隨機(jī)噪聲分量nrandom各自的容許值的設(shè)置處理，并且基于這兩者之和來確定閾值。

作為缺陷像素檢測的一種一般方法，存在使用通過選擇與作為檢測對象的像素鄰接的周圍像素所獲得的代表值或使用鄰接周圍像素所計算出的代表值與缺陷檢測像素的輸出值之間的差值的方法。由于沒有包括噪聲分量的情況的信號分量實際是未知的，因此使用該代表值作為信號分量。進(jìn)行以代表值為基準(zhǔn)的差值是否能夠被容許的評價處理。

圖7a中的像素位置(i,j)所表示的位置表示進(jìn)行缺陷像素檢測的對象像素。其輸出值由s(i,j)表示。如果將圖7a所示的區(qū)域中的代表值、即5×5個像素的輸出值的中值指定為代表值，則由styp(i,j)來表示。替代中值，可以使用平均值等。代表值的設(shè)置方法是任意的。

通常的缺陷像素檢測的評價值(第一評價值)由像素位置(i,j)和攝像時間t的函數(shù)e(i,j,t)來表示。像素的輸出值由s(i,j,t)來表示。通過將第一輸出值和第二輸出值之間的差的絕對值除以第二輸出值來計算第一評價值。使用利用預(yù)定閾值eerror的以下表達(dá)式(4)。

如果將(由sstd表示的)特定標(biāo)準(zhǔn)輸出值的預(yù)定閾值由eerror0表示、并且容許變化誤差由α0表示，則根據(jù)表達(dá)式(4)的預(yù)定閾值eerror0變成以下表達(dá)式(5)。

在缺陷像素檢測中，如果評價值e超出預(yù)定閾值eerror0，則判斷為對象像素是缺陷像素。也就是說，使用以下表達(dá)式(6)來進(jìn)行缺陷像素檢測。

以亮度來對表達(dá)式(6)進(jìn)行標(biāo)準(zhǔn)化。也就是說，評價值e是標(biāo)準(zhǔn)化后的亮度評價值。如果亮度的變化在數(shù)％的范圍內(nèi)，則由于styp(i,j)的變化被認(rèn)為是非常小的，因此可以精確地進(jìn)行缺陷像素檢測。然而，r、g和b像素的顏色濾波器的透過率的差異或者圖6所示的陰影的差異未包括在數(shù)％的量級上。特別地，如果在存在陰影的影響的狀態(tài)下使用表達(dá)式(6)，則由于styp(i,j)針對各區(qū)域改變，因此難以確保檢測精度。

如果鏡頭可更換型照相機(jī)等以各種出射光瞳距離進(jìn)行攝像，則應(yīng)當(dāng)實時進(jìn)行缺陷像素檢測。在這種情況下，即使產(chǎn)生了如圖6所示那樣的陰影的情況下，也需要針對各圖像區(qū)域?qū)z測精度維持成相同程度。

輸出值已改變的情況下的缺陷像素的條件表達(dá)式變成以下表達(dá)式(7)。

如果將表達(dá)式(7)整體乘以則獲得以下表達(dá)式(8)。

如果將表達(dá)式(5)代入表達(dá)式(8)來進(jìn)行整理，則給出以下表達(dá)式(9)。

如果將表達(dá)式(9)和表達(dá)式(6)相比較，則可以看出，第一評價值e是使用styp和sstd來校正的，并且與固有噪聲相關(guān)聯(lián)地添加表達(dá)式(9)的右邊的第二項。也就是說，通過將第一評價值與包括第二輸出值和標(biāo)準(zhǔn)輸出值之間的比的平方根的項相乘，來計算第二評價值。表達(dá)式(9)的右邊的第二項是貢獻(xiàn)率在styp相對于sstd的改變增大的情況下增大的項。由此，可以根據(jù)styp來改變并評價判斷閾值。此外，sstd可以被設(shè)置成使得：考慮到所需要的缺陷像素檢測精度和計算規(guī)模之間的平衡，在表達(dá)式(9)的右邊，必須小于1。以下表達(dá)式(10)是表示在styp中假定的最小值styp_min和判斷閾值eerror0*的不等式。在表達(dá)式(9)的右邊，可以使用表達(dá)式(10)所求出的eerror0*通過固定判斷閾值來進(jìn)行評價。

在本示例中已經(jīng)說明了關(guān)注于一個像素的缺陷像素檢測，但是同樣的概念還可以適用于圖7b所示的線狀缺陷像素檢測的情況，并且適用范圍不限于圖7b所示的范圍。此外，為了提高標(biāo)準(zhǔn)化的精度和缺陷像素檢測精度，根據(jù)缺陷檢測像素和處理條件來設(shè)置計算評價值時所使用的代表值styp。處理條件例如是配置在像素上的顏色濾波器、像素所接收到的光束穿過的光瞳部分區(qū)域或像素相加等。

在缺陷像素校正處理中，針對缺陷像素檢測所檢測到的像素，使用周圍像素的像素信號、通過雙線性方法或雙三次方法等來進(jìn)行校正。通過適當(dāng)?shù)貦z測并校正缺陷像素，可以提供高質(zhì)量的圖像。可以通過預(yù)定計算方法來進(jìn)行缺陷像素校正，而無需使用攝像光學(xué)系統(tǒng)的信息。此外，通過在圖像處理裝置內(nèi)進(jìn)行硬件處理，與通過外部裝置(pc等)的軟件處理相比，可以更高速地進(jìn)行缺陷像素校正。因此，在缺陷像素的提取之后，在攝像設(shè)備內(nèi)執(zhí)行缺陷像素校正處理。

將參考圖8a和8b來說明視差圖像的生成處理。圖8a和8b是示出使用陰影產(chǎn)生時的像素數(shù)據(jù)來進(jìn)行圖像生成、圖像記錄和圖像顯示的處理的流程圖。圖8a是示出從攝像到圖像記錄的處理的流程圖。圖8b是示出讀取所記錄的圖像數(shù)據(jù)并且顯示圖像的處理的流程圖。

如參考圖2所述，通過僅使用子像素數(shù)據(jù)來生成圖像，可以生成具有與所拍攝圖像的視點不同的視點的視差圖像。然而，如果產(chǎn)生了陰影，則需要按照適當(dāng)過程來進(jìn)行缺陷像素檢測、缺陷像素校正和陰影校正，以通過降低陰影的影響來生成高質(zhì)量圖像。

在圖8a的s801中，進(jìn)行從攝像元件107的各像素單元的子像素中獲取像素數(shù)據(jù)的處理。在接著的步驟s802中，cpu121使用上述條件表達(dá)式來進(jìn)行缺陷像素檢測。將所計算出的評價值超過預(yù)定判斷閾值的像素檢測為缺陷像素。在s803中，cpu121進(jìn)行缺陷像素校正。針對s802中所檢測到的缺陷像素，進(jìn)行使用與缺陷像素鄰接的像素的數(shù)據(jù)的諸如線性插值等的處理。例如，使用與缺陷像素鄰接的像素的信息，通過雙線性方法或雙三次方法等來進(jìn)行孤立點處的缺陷像素校正。此外，如果缺陷像素彼此鄰接，則進(jìn)行鄰接缺陷像素校正。在s804中，cpu121進(jìn)行用于記錄從包括s803中校正后的像素的各個像素中所獲取到的圖像數(shù)據(jù)的控制。例如，將視差圖像的圖像信號存儲在裝置內(nèi)部的存儲器或者外部存儲器中。

在圖8b的s805中，cpu121執(zhí)行從存儲器讀取像素數(shù)據(jù)的處理，并且處理移動至s806。在s806中，cpu121獲取陰影校正所需的數(shù)據(jù)，并且對s805中所獲取到的圖像數(shù)據(jù)進(jìn)行陰影校正。在陰影校正中，使用預(yù)定的校正值表來校正圖像數(shù)據(jù)。例如，假定如下情況：圖像處理電路125基于利用攝像元件從針對各像素單元的多個光電轉(zhuǎn)換單元各自所輸出的像素信號，根據(jù)圖像信號a來生成第一視差圖像，并且根據(jù)圖像信號b來生成第二視差圖像。在這種情況下，使用與圖像信號a相對應(yīng)的校正值a和與圖像信號b相對應(yīng)的校正值b。也就是說，由于陰影校正值在圖像信號a和圖像信號b之間有所不同，因此需要分開使用陰影校正值。此外，由于校正值根據(jù)圖像高度而改變，因此分開使用與不同的圖像高度相對應(yīng)的校正值。此外，由于陰影校正值還根據(jù)f值(光圈值)和鏡頭單元的出射光瞳距離而改變，因此使用與f值(光圈值)和出射光瞳距離相對應(yīng)的校正值。在鏡頭可更換型照相機(jī)系統(tǒng)中，根據(jù)安裝在照相機(jī)本體單元上的鏡頭裝置來選擇陰影校正值。基于根據(jù)各種類型的條件所選擇的校正值，來進(jìn)行視差圖像的陰影校正。在s807中，顯示單元131顯示與s806中進(jìn)行了陰影校正的圖像信號相對應(yīng)的圖像。

在本實施例中，可以基于在產(chǎn)生了陰影的情況下所標(biāo)準(zhǔn)化的亮度評價值來適當(dāng)?shù)剡M(jìn)行缺陷像素檢測。因此，可以基于進(jìn)行了缺陷像素校正和陰影校正的圖像信號來提供高質(zhì)量圖像。

其它實施例

本發(fā)明的實施例還可以通過如下的方法來實現(xiàn)，即，通過網(wǎng)絡(luò)或者各種存儲介質(zhì)將執(zhí)行上述實施例的功能的軟件(程序)提供給系統(tǒng)或裝置，該系統(tǒng)或裝置的計算機(jī)或是中央處理單元(cpu)、微處理單元(mpu)讀出并執(zhí)行程序的方法。

盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不局限于所公開的典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改、等同結(jié)構(gòu)和功能。

本申請要求2016年3月1日提交的日本專利申請2016-039156的優(yōu)先權(quán)，這里通過引用將其全部內(nèi)容包含于此。