專利名稱：圖像處理裝置和圖像拍攝裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理圖像信號的圖像處理裝置和一種配備有圖像處理功能的圖像拍攝裝置，更具體地，涉及適于處理通過XY地址型固態(tài)圖像拍攝設(shè)備拍攝的圖像信號的圖像處理裝置和圖像拍攝裝置。
背景技術(shù)：
當在閃爍光源(例如，通過商用AC電源點亮的熒光燈)的照明下通過攝像機拍攝對象的圖像時，由于光源亮度變化(強度變化)的頻率和攝像機垂直同步頻率之間的不同，會在拍攝的圖像上觀察到亮度在時間上的變化，即，熒光燈閃爍(flicker)。尤其在使用諸如CMOS(互補金屬氧化物半導(dǎo)體)圖像傳感器的XY地址型圖像拍攝設(shè)備的情況下，每條水平線上的曝光時間各不相同，使得由于亮度值或色調(diào)的垂直周期改變，能夠觀察到拍攝圖像上條紋圖案形式的閃爍。
已知用于從拍攝圖像信號中消除這種閃爍分量的方法主要有兩種。其中一種是基于快門速度和閃爍值之間的關(guān)系校正圖像信號的方法(快門校正方法)，另外一種是檢測閃爍波形并對圖像信號應(yīng)用逆波形作為校正增益的方法(增益校正方法)。就基于增益校正方法的閃爍降低(flicker reduction)方法來說，存在一種對圖像信號的信號電平的改變進行頻率分析，以檢測出閃爍頻譜，并基于該頻譜的振幅值校正圖像信號的信號電平的方法(例如，參照日本專利申請公開第2004-222228號，0072段至0111段，圖4)。
近年來，為了滿足數(shù)碼攝像機等中對更高功能的不斷增長的需求，已經(jīng)對具有以高于標準電視信號的畫面率(picture rate)拍攝對象圖像的功能的攝像機進行了開發(fā)。下面將描述在具有這種高速圖像拍攝功能的攝像機中的閃爍降低方法。
圖14是示出在熒光燈照明下，利用具有XY地址型圖像拍攝設(shè)備的攝像機拍攝圖像的情況下，閃爍值和快門速度之間的關(guān)系圖。
為了舉例，圖14示出在商用AC電源頻率為50Hz的區(qū)域內(nèi)、在非反相類型的熒光燈照明下拍攝圖像的情況下，閃爍值和快門速度之間關(guān)系的計算機模擬結(jié)果。如圖14所示，示出了快門速度和閃爍值之間的關(guān)系，具體來說，當快門速度為N/100(N為整數(shù))時，能夠完全防止閃爍的發(fā)生。如果f[Hz]表示熒光燈的電源頻率，則一般可以通過下面的公式(1)來表示無閃爍快門速度S_fkless[1/s]S_fkless＝N/(2×f) (1)如果通過任意方法檢測到閃爍的發(fā)生，基于上述特性，通過將快門速度設(shè)置為公式(1)中的S_fkless，快門校正方法避免了閃爍的發(fā)生。然而，這個方法的問題在于，由于限制了快門速度，因而降低了AE(自動曝光)控制的自由度，另外，也可能由于下面的原因而不能使用該方法。
圖15A和15B是分別示出在普通圖像拍攝過程中和在高速圖像拍攝過程中垂直同步頻率和閃爍波形之間的關(guān)系圖。
圖15A示出閃爍波形和60fps(場/秒)(基于NTSC(國家電視系統(tǒng)委員會)格式的畫面率)的垂直同步信號VD之間的關(guān)系。在這種情況下，垂直同步周期1/60[s]，一個閃爍周期為1/100[s]。圖15B示出在以標準速率兩倍高的畫面率(120fps)執(zhí)行高速圖像拍攝的情況下閃爍波形和垂直同步信號之間的關(guān)系。在這種情況下，如圖15A中所示的關(guān)系一樣，垂直同步周期為1/120[s]，一個閃爍周期為1/100[s]。
能夠在以120fps的速率拍攝圖像的攝像機上設(shè)置的快門速度被限制為高于1/120[s]的速度。由于將畫面率設(shè)置為NTSC格式的畫面率的三倍和四倍，因而可設(shè)置的快門速度分別變成1/180[s]或以下和1/240[s]或以下。因此，這樣的像機無法通過快門校正方法來避免閃爍的發(fā)生。
在下面的描述中，將會參考將上述的日本專利申請公開第2004-222228號中的方法應(yīng)用于通過這種高速圖像拍攝所拍攝到的圖像的情況。這個方法的檢測系統(tǒng)主要由以下三個步驟表示當以適當?shù)男问教幚韴D像時，對一個周期的閃爍分量進行采樣的步驟(步驟s1)；通過對采樣數(shù)據(jù)執(zhí)行離散傅里葉變換，計算基波為一個閃爍周期的閃爍分量的頻譜的步驟(步驟s2)；以及通過只使用低階項推定閃爍波形的步驟(步驟s3)。
然而，上述方法可能不能直接應(yīng)用于高速圖像拍攝，這是因為步驟s1的采樣處理不適于高速圖像拍攝。如果這里假設(shè)由M表示垂直同步期間中的線數(shù)，那么一般可以通過下面的公式(2)來表示閃爍條紋的周期T_fk和畫面率FPS之間的關(guān)系
T_fk＝M×FPS/(2×f) (2)然而，如果在FPS＞2×f的條件下執(zhí)行高速圖像拍攝，根據(jù)公式(2)，則閃爍條紋和線數(shù)之間的關(guān)系變?yōu)門_fk＞M，從而如圖15B中明顯看到的一樣，一個周期的閃爍沒有被完全包含在一場中。由于這個原因，日本專利申請公開第2004-222228號的方法可能不能正確地采樣閃爍分量。

發(fā)明內(nèi)容
如上所述，日本專利申請公開第2004-222228號的方法不能應(yīng)用于具有高速圖像拍攝功能的像機。不僅日本專利申請公開第2004-222228號的方法，還有大量的閃爍校正算法都利用了閃爍現(xiàn)象具有畫面重復(fù)的事實。例如，在使用50Hz電源區(qū)域以NTSC格式拍攝的圖像中的閃爍分量具有在三場之后出現(xiàn)相同波形的特性，上述方法利用這個特性來執(zhí)行從三幅畫面的閃爍分量的均值中只提取背景分量的處理。然而，這會存在一個問題，由于重復(fù)的畫面數(shù)隨畫面率而不同，所以這種類型的運算不能應(yīng)用于高速圖像拍攝。
因此，期望提供一種圖像處理裝置，不論畫面率如何，都能夠高精度地檢測出通過XY地址型固態(tài)圖像拍攝設(shè)備拍攝的圖像中的閃爍分量。鑒于上述問題，提出本發(fā)明。
進一步，期望提供一種圖像拍攝裝置，不論畫面率如何，都能夠高精度地檢測出通過XY地址型固態(tài)圖像拍攝設(shè)備拍攝的圖像中的閃爍分量。
根據(jù)本發(fā)明的一個實施例，提供了一種用于處理圖像信號的圖像處理裝置，包括積分裝置，用于在每個具有等于或長于熒光燈照明下在圖像上產(chǎn)生的閃爍的一個周期長度的檢測期間內(nèi)，獲取圖像信號，并以等于或長于一個水平同步期間的時間為單位，對獲取的圖像信號進行積分；以及閃爍檢測裝置，通過使用由積分裝置獲得的積分結(jié)果，基于以每個檢測期間為單位獲得的頻率分析結(jié)果，推定閃爍分量。
在根據(jù)本實施例的圖像處理裝置中，在每個具有等于或長于一個閃爍周期長度的檢測期間內(nèi)，通過積分裝置獲取圖像信號，并以等于或長于一個水平同步期間的時間為單位，對該圖像信號進行積分。隨后，通過使用由積分裝置得到的積分結(jié)果，以檢測期間為單位，通過閃爍檢測裝置執(zhí)行頻率分析。因此，不管圖像信號的畫面率如何，都能可靠地對包含一個周期的閃爍分量的連續(xù)圖像信號執(zhí)行閃爍分析，從而提高閃爍的檢測精度。
根據(jù)本發(fā)明的圖像處理裝置，不管圖像信號的畫面率如何，基于等于或長于一個閃爍周期長度的檢測期間，采用積分裝置和閃爍檢測裝置來進行操作，以這種方式，能夠可靠地對包含一個周期的閃爍分量的連續(xù)圖像信號執(zhí)行閃爍分析。因此，不受畫面率的限制，并且不需對積分裝置或閃爍檢測裝置的已知機構(gòu)進行較大修改，就能夠?qū)崿F(xiàn)高精度的閃爍檢測。


從以下結(jié)合附圖對本發(fā)明的實施例和實例的詳細描述，本發(fā)明將變得更容易理解，其中圖1是示出根據(jù)本發(fā)明實施例的圖像拍攝裝置的主要部件的結(jié)構(gòu)的方框圖；圖2是示出圖像拍攝裝置的像機處理電路的內(nèi)部結(jié)構(gòu)的方框圖；
圖3是用于說明在普通圖像拍攝模式下執(zhí)行采樣操作的時序圖；圖4是用于說明在高速圖像拍攝模式下執(zhí)行采樣操作的第一時序圖；圖5是用于說明在高速圖像拍攝模式下執(zhí)行采樣操作的第二時序圖；圖6是示出圖像拍攝裝置的檢測和降低處理部的內(nèi)部結(jié)構(gòu)的方框圖；圖7是示出根據(jù)本發(fā)明第一實施例的積分處理部的內(nèi)部結(jié)構(gòu)的方框圖；圖8是示出根據(jù)本發(fā)明第一實施例的緩沖部的第一結(jié)構(gòu)例的方框圖；圖9是示出根據(jù)本發(fā)明第一實施例的緩沖部的第二結(jié)構(gòu)例的方框圖；圖10是示出根據(jù)本發(fā)明第二實施例的積分處理部的內(nèi)部結(jié)構(gòu)的方框圖；圖11是示出在本發(fā)明第二實施例中推定的閃爍波形的實例的示圖；圖12是示出根據(jù)本發(fā)明第三實施例的積分處理部的內(nèi)部結(jié)構(gòu)的方框圖；圖13是示出在本發(fā)明第三實施例中推定的閃爍波形的實例的示圖；
圖14是示出在熒光燈照明、使用具有XY地址型圖像拍攝設(shè)備的像機拍攝圖像的情況下、閃爍值和快門速度之間的關(guān)系的示圖；以及圖15A和15B是分別示出在普通圖像拍攝和高速圖像拍攝期間內(nèi)垂直同步頻率和閃爍波形之間的關(guān)系圖。
具體實施例方式
下面，將參照附圖詳細說明本發(fā)明的實施例。
<系統(tǒng)整體結(jié)構(gòu)>
圖1是示出根據(jù)本發(fā)明實施例的圖像拍攝裝置的主要部件的結(jié)構(gòu)的方框圖。
圖1所示的圖像拍攝裝置包括光學組件11、驅(qū)動器11a、CMOS圖像傳感器(下文中稱為CMOS傳感器)12、定時發(fā)生器(TG)12a、模擬前端(AFE)電路13、像機處理電路14、系統(tǒng)控制器15、輸入部16、圖形I/F(接口)17、以及顯示器17a。
光學組件11包括透鏡，用于將來自對象的光線聚焦在CMOS傳感器12上；驅(qū)動機構(gòu)，用于移動透鏡來執(zhí)行聚焦或變焦；快門機構(gòu)；光圈機構(gòu)等。驅(qū)動器11a基于來自系統(tǒng)控制器15的控制信號，控制光學塊11中的各個機構(gòu)的驅(qū)動。
CMOS傳感器12由在CMOS襯底上二維排列的多個像素構(gòu)成，每個CMOS襯底由光電二極管(光電門傳感器，photogate)、傳輸門(transfer gate)(快門晶體管)、切換晶體管(地址晶體管)、放大晶體管、復(fù)位晶體管(復(fù)位門)等組成。CMOS傳感器12還具有垂直掃描電路、水平掃描電路、圖像信號輸出電路等，它們都形成在CMOS襯底上?；趶腡G 12a輸出的定時信號，驅(qū)動CMOS傳感器12將從對象入射的光線轉(zhuǎn)換成電信號。TG 12a在系統(tǒng)控制器15的控制下輸出定時信號。
CMOS傳感器12配備有用于在根據(jù)NTSC規(guī)范的60fps的普通速度下拍攝圖像的圖像拍攝模式(下文中稱為普通圖像拍攝模式)和在高于60fps的速度下拍攝圖像的高速圖像拍攝模式。在以行為單位輸出像素信號過程中，CMOS傳感器12將每一個像素信號加上圖像傳感器上相鄰的相同顏色的像素信號，并同時輸出這些像素信號，從而不需要增加讀取像素信號的同步頻率，就能提高畫面的切換速度。另外，根據(jù)這種結(jié)構(gòu)，不用改變視角，CMOS傳感器12就能縮小圖像尺寸(分辨率)。
AFE電路13構(gòu)成為例如單IC(集成電路)。AFE電路13執(zhí)行采樣，并通過CDS(相關(guān)雙重采樣)處理，采樣并保持從CMOS傳感器12輸出的圖像信號，從而將S/N(信/噪)比保持在恰當?shù)乃剑缓?，通過AGC(自動增益控制)處理控制增益，接下來執(zhí)行A/D轉(zhuǎn)換，并輸出數(shù)字圖像信號。此外，也可以像CMOS傳感器12，在相同襯底上形成用于執(zhí)行CDS處理的電路。
像機處理電路14形成為例如單IC，可以對從AFE電路13輸出的圖像信號執(zhí)行全部或部分各種類型的像機信號處理，例如，AF(自動聚焦)、AE(自動曝光)、以及白平衡調(diào)節(jié)。根據(jù)本實施例的像機處理電路14特別配備有閃爍降低部20，用于降低在熒光燈下拍攝圖像過程中出現(xiàn)在畫面中的圖像信號中的閃爍信號分量。
系統(tǒng)控制器15是由例如CPU(中央處理單元)、ROM(只讀存儲器)、RAM(隨機存取存儲器)構(gòu)成的微型控制器，通過執(zhí)行存儲在ROM中的程序整體控制圖像拍攝裝置的每個部件。
輸入部16由諸如快門釋放按鈕、控制桿、撥盤等的各種操作鍵構(gòu)成，輸出相應(yīng)于用戶對系統(tǒng)控制器15執(zhí)行的輸入操作的控制信號。
圖形I/F 17根據(jù)通過系統(tǒng)控制器15從像機處理電路14提供的圖像信號，生成顯示在顯示器17a上的圖像信號，并將該信號提供給顯示器17a，使顯示器17a顯示圖像。例如，顯示器17a由LCD(液晶顯示器)構(gòu)成，并顯示所拍攝的像機拍攝圖像(camera throughimage)，或基于記錄在記錄介質(zhì)上的數(shù)據(jù)(未示出)顯示再生圖像。
在該圖像拍攝裝置中，通過CMOS傳感器12接收并進行光電轉(zhuǎn)換的信號被順序地提供給AFE電路13，并在經(jīng)過CDS處理和AGC處理之后，將其轉(zhuǎn)換成數(shù)字信號。像機處理電路14對由AFE電路13提供的數(shù)字圖像信號執(zhí)行圖像質(zhì)量校正，并最終將數(shù)字圖像信號轉(zhuǎn)換成亮度信號(Y)和色差信號(R-Y和B-Y)，并輸出亮度信號(Y)和色差信號(R-Y和B-Y)。
從像機處理電路14輸出的圖像信號通過系統(tǒng)控制器15提供給圖形I/F 17，并將其轉(zhuǎn)換成待顯示的圖像信號，在顯示器17a上顯示像機拍攝圖像。當通過由用戶等對輸入部16提供的輸入操作指示系統(tǒng)控制器15記錄圖像時，系統(tǒng)控制器15將來自像機處理電路14的圖像數(shù)據(jù)提供給編碼器(未示出)，并通過編碼器對圖像數(shù)據(jù)執(zhí)行預(yù)定壓縮編碼，然后將編碼圖像數(shù)據(jù)記錄在記錄介質(zhì)(未示出)上。在記錄靜態(tài)圖像過程中，將圖像數(shù)據(jù)從像機處理電路14按幀提供給編碼器，同時，在記錄動態(tài)圖像期間，將經(jīng)過處理的圖像數(shù)據(jù)持續(xù)地提供給編碼器。
<像機處理電路的定時控制>
圖2是示出像機處理電路14的內(nèi)部結(jié)構(gòu)的方框圖。
如圖2所示，像機處理電路14包括基準信號生成部30，用于為整個像機處理電路14生成基準信號；以及多個處理塊31～33，用于響應(yīng)于從基準信號生成部30提供的基準信號，執(zhí)行各種類型的像機信號處理。像機處理電路14配備有作為一個這樣的處理塊的閃爍降低部20。
基準信號生成部30生成并輸出基準信號SIG_REF_1、SIG_REF_2、和SIG_REF_3，使各個處理塊31～33與從初始振蕩器提供給像機處理電路14的基準信號同步進行操作?；鶞市盘柹刹?0在考慮到根據(jù)圖像信號的流動而在各個處理塊31～33之間產(chǎn)生的延遲的情況下，輸出基準信號SIG_REF_1、SIG_REF_2、和SIG_REF_3。各個處理塊31～33配備有分別基于基準信號SIG_REF_1、SIG_REF_2、和SIG_REF_3來生成用于細微調(diào)節(jié)處理塊31～33內(nèi)部的操作定時的基準信號的功能塊。
類似地，閃爍降低部20包括內(nèi)部基準信號生成部21，用于基于基準信號SIG_REF_FK，生成用于調(diào)整閃爍降低部20內(nèi)部的操作定時的基準信號；以及檢測和降低處理部22，用于通過使用所生成的基準信號進行操作。檢測和降低處理部22對應(yīng)于權(quán)利要求中的校正裝置。
基準信號生成部30輸出垂直同步信號VD、水平同步信號HD、表示與垂直方向相關(guān)的圖像信號有效期間的兩種使能信號VEN 1和VEN 2(將在后面說明)、表示與水平方向相關(guān)的圖像信號有效期間的使能信號HEN等，作為基準信號SIG_REF_FK。內(nèi)部基準信號生成部21基于這些信號，生成各種類型用于檢測和降低處理部22的基準信號和計數(shù)值等。內(nèi)部基準信號生成部21對應(yīng)于權(quán)利要求中的基準信號輸出裝置。
例如，內(nèi)部基準信號生成部21配備有計數(shù)器21a，該計數(shù)器輸出表示在一個垂直期間的有效期間內(nèi)線數(shù)的計數(shù)值VCOUNT。計數(shù)器21a從系統(tǒng)控制器15接收相應(yīng)于畫面率的圖像拍攝模式設(shè)置，并根據(jù)該設(shè)置，選擇使能信號VEN 1或VEN 2中的一個。隨后，計數(shù)器21a在選擇的使能信號被保持在其H電平的期間內(nèi)，輸出水平同步信號HD的計數(shù)值，作為計數(shù)值VCOUNT，并當使能信號達到其L電平時，重設(shè)計數(shù)值。
在檢測和降低處理部22內(nèi)部的所有部件中，基于計數(shù)值VCOUNT來控制與圖像信號垂直方向相關(guān)的操作定時。通過將計數(shù)值VCOUNT與例如預(yù)定值比較，并自由生成例如僅在特定期間內(nèi)保持在其H電平的使能信號、以及在特定期間內(nèi)以預(yù)定時間間隔達到其H電平的脈沖信號等的信號，內(nèi)部基準信號生成部21能夠控制檢測和降低處理部22的操作定時。
在該實施例中，內(nèi)部基準信號生成部21根據(jù)已經(jīng)設(shè)置的圖像拍攝模式，計算相應(yīng)于一個閃爍條紋周期的計數(shù)值(T_fk(將在后面說明))，并生成在使能信號VEN 1或VEN 2處于H電平以及計數(shù)值VCOUNT達到計數(shù)值(T_fk)的時間內(nèi)，保持在其H電平的使能信號DETECT_EN，并將使能信號DETECT_EN提供給檢測和降低處理部22。使能信號DETECT_EN表示檢測和降低處理部22中圖像信號的采樣期間，并且，檢測和降低處理部22中與檢測相關(guān)的模塊基于該采樣期間進行操作。此外，也可以通過系統(tǒng)控制器15設(shè)置確定使能信號DETECT_EN的H電平期間的計數(shù)值(T_fk)。
檢測和降低處理部22執(zhí)行從輸入圖像信號中檢測閃爍分量的處理和消除圖像信號中閃爍分量的處理。當使能信號DETECT_EN處于H電平時，檢測和降低處理部22對圖像信號進行采樣，根據(jù)采樣數(shù)據(jù)推定閃爍波形，調(diào)節(jié)圖像信號的增益，然后降低閃爍分量。這個順序的處理基于來自內(nèi)部基準信號生成部21的各種基準信號(例如，使能信號DETECT_EN及計數(shù)值VCOUNT)執(zhí)行。后面，將參照圖6描述檢測和降低處理部22的結(jié)構(gòu)和操作。
下面，將更詳細地描述基于各種基準信號在檢測和降低處理部22中對圖像信號的采樣操作。在以下描述中，將參照一個實例，其中，在使用50Hz頻率的商用AC電源的熒光燈照明下，通過交錯方式(interlaced method)執(zhí)行圖像拍攝。在圖3至圖5的每個圖中，由通過檢測和降低處理部22推定的閃爍及由于通過檢測和降低處理部22采樣的閃爍而引起的畫面亮度的改變分別示出為閃爍波形。
圖3是用于說明在普通圖像拍攝模式下執(zhí)行采樣操作的時序圖。
在圖3中，使能信號VEN 1為表示在一場中與垂直方向相關(guān)的圖像信號的有效數(shù)據(jù)區(qū)的信號，并根據(jù)設(shè)置的畫面率而改變。在使能信號VEN 1保持H電平的期間內(nèi)，將計數(shù)值VCOUNT計數(shù)到一場的線數(shù)M。
如圖3所示，在60fps的普通圖像拍攝模式期間內(nèi)，閃爍條紋的一個周期為1/100[s]，短于有效數(shù)據(jù)區(qū)的長度。因此，檢測和降低處理部22能夠以場為基礎(chǔ)對包含一個周期閃爍分量的圖像信號進行采樣。
在有效數(shù)據(jù)區(qū)的開始時刻，使能信號DETECT_EN設(shè)置為H電平，當計數(shù)值VCOUNT達到表示相應(yīng)于閃爍條紋一個周期結(jié)束時間的線數(shù)T_fk時，使能信號DETECT_EN轉(zhuǎn)到L電平。檢測和降低處理部22在使能信號DETECT_EN為H電平的期間內(nèi)對圖像信號進行采樣。具體地，像將在后面說明的一樣，在使能信號DETECT_EN的H電平期間內(nèi)，檢測和降低處理部22對圖像信號以線為基礎(chǔ)進行積分。隨后，檢測和降低處理部22基于積分值，計算基波為一個周期的閃爍的閃爍分量的頻譜，從而推定一個周期的閃爍波形。
下面，將參照圖4和5說明在以例如120fps的高速圖像拍攝模式下進行圖像拍攝的期間內(nèi)執(zhí)行的采樣操作。
圖4是用于說明在高速圖像拍攝模式下執(zhí)行的采樣操作的第一時序圖。
在圖4所示的實例中，由于提高了畫面率，所以由使能信號VEN 1表示的有效數(shù)據(jù)區(qū)的長度變短。此處假設(shè)內(nèi)部基準信號生成部21的計數(shù)器21a選擇使能信號VEN 1，并在使能信號VEN 1處于H電平的期間內(nèi)對水平同步信號HD進行計數(shù)。在這種情況下，每當重復(fù)有效數(shù)據(jù)區(qū)的時間時，如在普通圖像拍攝模式的情況一樣，將計數(shù)值VCOUNT一直計數(shù)到線數(shù)M。
然而，在圖4所示的實例中，如果滿足FPS＞2×f的關(guān)系，其中，f表示熒光燈的電源頻率，F(xiàn)PS表示畫面率，則一個場的有效數(shù)據(jù)區(qū)的期間比一個閃爍周期短。因此，在計數(shù)值被計數(shù)到相應(yīng)于一個閃爍周期的T_fk之前，復(fù)位計數(shù)值VCOUNT，從而不能生成一個周期的閃爍的采樣定時。即，檢測和降低處理部22中與檢測相關(guān)的模塊不能在每個閃爍周期都處理圖像信號。
圖5是用于說明在高速圖像拍攝模式下執(zhí)行的采樣操作的第二時序圖。
為了解決參照圖4提及的問題，在本實施例中，將表示相應(yīng)于畫面率的有效數(shù)據(jù)區(qū)的使能信號VEN 1和表示在60fps的普通圖像拍攝模式期間的有效數(shù)據(jù)區(qū)的使能信號VEN 2從基準信號生成部30提供給閃爍降低部20。當設(shè)置了滿足FPS＞2×f的條件的高速圖像拍攝模式時，內(nèi)部基準信號生成部21的計數(shù)器21a適于選擇輸入的使能信號VEN 2，在使能信號VEN 2處于H電平期間內(nèi)，對水平同步信號HD進行計數(shù)，并輸出計數(shù)值VCOUNT。
使能信號VEN 2可以是在普通圖像拍攝模式期間基于同步信號而不斷生成的信號，該信號精確地表示了普通圖像拍攝模式期間的有效數(shù)據(jù)區(qū)，但是，它也可以是例如通過對同步定時進行計數(shù)，基于如圖5中實例所示的使能信號VEN 1而生成的信號。即，使能信號VEN 2可以生成為從特定場的有效數(shù)據(jù)區(qū)的起始時間開始，在不小于一個閃爍周期的期間內(nèi)保持在其H電平的信號。此外，內(nèi)部基準信號生成部21的計數(shù)器21a可以同樣構(gòu)建為不選擇使能信號，而是基于使能信號VEN 2一貫地生成計數(shù)值VCOUNT。
當使用使能信號VEN 2時，計數(shù)值VCOUNT的上限不小于相應(yīng)于一個閃爍周期的T_fk。在計數(shù)值VCOUNT開始計數(shù)之后，將使能信號DETECT_EN保持在H電平，直至計數(shù)值VCOUNT達到T_fk。因此，在檢測和降低處理部22中，通過使用使能信號DETECT_EN，能夠使與檢測相關(guān)的模塊持續(xù)地獲取并處理每個包含一個周期或更多周期的閃爍分量的圖像信號。
然而，由于在使能信號DETECT_EN處于H電平的期間內(nèi)存在圖像數(shù)據(jù)的非有效期(垂直空白期)，所以在這個期間，圖像信號的采樣值是不確定的。由于這個原因，在本實施例中，如將在后面說明的一樣，在采樣(積分)處理塊的末級，從先前和隨后的信號插值得到非有效期的圖像信號，從而平滑地連接一個周期的閃爍分量。
<閃爍降低處理>
圖6是示出檢測和降低處理部22的內(nèi)部結(jié)構(gòu)的方框圖。
檢測和降低處理部22包括歸一化(normalized)積分值計算部110，用于檢測圖像信號，將檢測值歸一化，并輸出經(jīng)過歸一化的檢測值；DFT處理部120，用于對歸一化的檢測值執(zhí)行DFT處理；閃爍生成部130，用于根據(jù)DFT的頻譜分析結(jié)果推定閃爍分量；緩沖部140，用于臨時存儲閃爍分量的推定值；以及運算部150，用于從圖像信號除去推定的閃爍分量。緩沖部140對應(yīng)于權(quán)利要求中的緩沖裝置。歸一化積分值計算部110包括積分處理部111、積分值保持部112、均值運算部113、差值運算部114、以及歸一化處理部115。
積分處理部111在使能信號DETECT_EN處于H電平的整個期間(下文中，稱作采樣期間)內(nèi)，以線為基礎(chǔ)對輸入的圖像信號進行積分。積分處理部111對應(yīng)于權(quán)利要求中的積分裝置或積分器。積分值保持部112臨時保存兩個采樣期間內(nèi)的積分值。均值運算部113對最后三個采樣期間內(nèi)計算的積分值求平均值。差值運算部114計算最后兩個采樣期間內(nèi)計算的積分值之間的差值。歸一化處理部115將計算的差值歸一化。
DFT處理部120通過DFT對經(jīng)過歸一化的差值執(zhí)行頻率分析，并推定閃爍分量的振幅和初始相位。閃爍生成部130根據(jù)通過頻率分析獲得的推定值，計算表示包含在圖像信號中的閃爍分量的比例的校正系數(shù)。閃爍生成部130對應(yīng)于權(quán)利要求中的閃爍檢測裝置或閃爍檢測器。運算部150基于計算出的校正系數(shù)執(zhí)行用于從圖像信號中除去閃爍分量的運算。
通過上述模塊執(zhí)行的部分處理也可以通過系統(tǒng)控制器15中的軟件處理執(zhí)行。在根據(jù)本實施例的圖像拍攝裝置中，圖6中所示的模塊的處理針對組成圖像信號的每個亮度信號和色差信號執(zhí)行?？蛇x地，至少對亮度信號執(zhí)行處理，也可以根據(jù)場合要求，對各個色差信號和色彩信號執(zhí)行處理。此外，對于亮度信號，也可以在還沒有與亮度信號合成的色彩信號的階段執(zhí)行處理。另外，在色彩信號階段的處理也可以在原色信號階段或補色信號階段執(zhí)行。在對這些色彩信號執(zhí)行處理的情況下，通過圖6所示的模塊執(zhí)行的處理針對各個色彩信號執(zhí)行。
下面，將參照圖6說明檢測和降低閃爍的處理。
一般來說，閃爍分量與對象的信號強度成比例。因此，如果In′(x，y)表示在任意采樣期間n內(nèi)，從位于任意像素(x，y)的一般對象獲得的輸入圖像信號(閃爍降低之前的RGB原色信號或亮度信號)，則通過下面的公式(3)，由不包含閃爍分量的信號分量和與信號分量成比例的閃爍分量的總和來表示In′(x，y)In′(x，y)＝[1+Γn(y)]]×In(x，y)， ……(3)其中，In(x，y)表示信號分量，Γn(y)×In(x，y)表示閃爍分量，Γn(y)表示閃爍系數(shù)。用Γn(y)表示閃爍系數(shù)的原因是與熒光燈的發(fā)光周期(1/100秒)相比一個水平周期足夠短，在一個場的一條線上，可以認為閃爍系數(shù)恒定。
為了一般化Γn(y)，以傅立葉級數(shù)的形式描述公式(3)，如以下公式(4)所示Γn(y)=Σm=1∞γm×cos[m×2πλ0×y+Φm,n]]]>=Σm=1∞γm×cos(m×ω0×y+Φm,n)---(4)]]>在公式(4)中，λ0表示閃爍波形的波長，相應(yīng)于L(＝M×FPS/100)條線，其中，M表示每個場讀取的線數(shù)，ω0表示通過λ0歸一化的歸一化角頻率。
在公式(4)中，γm表示各次(m＝1，2，3，...)閃爍分量的振幅，Фm、n表示各次閃爍分量的初始相位，并且由熒光燈的發(fā)射周期(1/100秒)和曝光時間來確定。然而，當在例如熒光燈的電源頻率為50Hz并且畫面率為60fps或120fps的情況下，以三個連續(xù)采樣期間的時間間隔重復(fù)相同的閃爍波形時，Фm，n在三個采樣期間的間隔取相同值，所以，當前和先前采樣期間之間的Фm，n差值可通過公式(5)表示ΔΦm,n=-2π3×m---(5)]]>在圖6所示的檢測和降低處理部22中，首先，為了降低圖案對閃爍檢測的影響，積分處理部111以線為基礎(chǔ)，對輸入圖像信號In′(x，y)在畫面的水平方向上進行積分，如下面公式(6)表示的一樣，從而計算積分值Fn(y)。在公式(6)中，αn(y)為信號分量In(x，y)對一條線的積分值，通過下面的公式(7)來表示。
Fn(y)=ΣXIn′(x,y)=ΣX([1+Γn(y)]×In(x,y))]]>=ΣXΓn(y)+Γn(y)ΣXIn(x,y)]]>=αn(y)+αn(y)×Γn(y)---(6)]]>其中αn(y)=ΣXIn(x,y)---(7)]]>積分處理部111輸出在使能信號DETECT_EN處于H電平的采樣期間內(nèi)以線為單位的積分值。然而，在滿足FPS＞2×f的高速圖像拍攝模式過程中，由于采樣期間中包含垂直空白期，所以積分處理部111對垂直空白期內(nèi)的輸出值進行插值處理。例如，積分處理部111根據(jù)前后的積分結(jié)果插值得到輸出值，并輸出經(jīng)過插值處理的輸出值。
圖7是示出根據(jù)本發(fā)明第一實施例的積分處理部111的內(nèi)部結(jié)構(gòu)的方框圖。
如圖7所示，積分處理部111包括線積分運算部201，用于基于使能信號HEN執(zhí)行上述以線為單位的積分；以及空白插值部202，用于在垂直空白期間內(nèi)對積分值插值?？瞻撞逯挡?02基于使能信號VEN 1檢測圖像信號的無效期，并在無效期間內(nèi)，空白插值部202通過使用在無效期之前和之后從線積分運算部201中輸出的值來執(zhí)行線性插值，從而平滑地連接無效期之前和之后輸出的積分結(jié)果。
這種插值處理是引起原始閃爍波形失真的主要因素。但是，失真幾乎不影響從位于隨后階段的DFT處理部120輸出的低次光譜，而只對高次光譜有影響。在根據(jù)第一實施例的閃爍檢測處理中，像將在后面說明的一樣，DFT運算中只使用低次項，從而即使使用諸如線性插值這樣的簡單插值方法，也能獲得足夠的閃爍檢測精度。
下面的說明回到圖6進行。
從積分處理部111輸出的積分值Fn(y)臨時存儲在積分值保持部112中，用于在隨后的采樣期間內(nèi)進行閃爍檢測。積分值保持部112被構(gòu)建成能夠保持至少兩個采樣期間的積分值。
另外，如果對象是相同的，則信號分量In(x，y)的積分值αn(y)是恒定的，所以很容易從輸入圖像信號In′(x，y)的積分值Fn(y)中提取出閃爍分量αn(y)×Γn(y)。然而，在通常對象的情況下，由于m×ω0分量包含在αn(y)中，所以不可能從包含在對象本身的信號分量中的亮度分量和色彩分量中分離出包含在閃爍分量中的亮度分量和色彩分量，從而不能只單純地提取出閃爍分量。而且，由于與公式(6)的第一項的信號分量相比，公式(6)的第二項的閃爍分量非常小，所以閃爍分量幾乎淹沒在信號分量中。
因此，檢測和降低處理部22使用三個連續(xù)采樣期間的積分值來從積分值Fn(y)中消除αn(y)的影響。具體地，在第一實施例中，在計算積分值Fn(y)過程中，從積分值保持部112讀出在最后采樣期間內(nèi)沿相同線(此處是指沿著計數(shù)值VCOUNT取相同值的線)的積分值Fn_1(y)和在倒數(shù)第二采樣期間內(nèi)沿相同線的積分值Fn_2(y)，并在均值運算部113中計算三個積分值Fn(y)、Fn_1(y)、和Fn_2(y)的均值A(chǔ)VE[Fn(y)]。
在這個運算中，如果在三個連續(xù)采樣期間內(nèi)可以認為對象幾乎相同，則αn(y)可以被認為具有相同值。如果在三個采樣期間內(nèi)，對象的移動足夠小，則這個假設(shè)在實際應(yīng)用中沒有問題。此外，根據(jù)公式(5)的關(guān)系，計算三個連續(xù)采樣期間的積分值的平均值是將分別具有相位上順序地偏離(-2π/3)×m的閃爍分量的信號相加，結(jié)果是消除了閃爍分量。因此，均值A(chǔ)VE[Fn(y)]通過下面公式(8)表示AVE[Fn(y)]=13Σk=02Fn_k(y)]]>=13{Σk=02αn_k(y)+αn_k(y)×Γn_k(y)}]]>=13Σk=02αn_k(y)+13Σk=02αn_k(y)×Γn_k(y)]]>=αn(y)+13αn(y)Σk=02Γn_k(y)]]>=αn(y)---(8)]]>其中αn(y)≅αn-1(y)≅αn-2(y)---(9)]]>
上述說明參照了在滿足公式(9)的近似的假設(shè)下來計算三個連續(xù)采樣期間的積分值的均值的情況，但如果對象的移動很大，則不滿足公式(9)的近似。然而，在這樣一種情況下，如果將與求平均值處理相關(guān)的連續(xù)采樣期間數(shù)設(shè)置為3的倍數(shù)，通過在時間軸方向上的低通濾波效應(yīng)，能夠降低移動的影響。
圖6中示出的檢測和降低處理部22假設(shè)滿足公式(9)的近似。在第一實施例中，差值運算部114計算從積分處理部111提供的、當前采樣期間的積分值Fn(y)與積分值保持部112提供的、先前采樣期間的積分值Fn_1(y)之間的差值，從而計算出由下面的公式(10)表示的差值Fn(y)-Fn_1(y)。此外，公式(10)也假設(shè)滿足公式(9)的近似。
Fn(y)-Fn_1(y)]]>={αn(y)+αn(y)×Γn(y)}-{αn_1(y)+αn_1(y)×Γn_1(y)}]]>=αn(y)×{Γn(y)-Γn_1(y)}]]>=αn(y)Σm=1∞γm×{cos(m×ω0×y+Φm,n)-cos(m×ω0×y+Φm,n_1)}---(10)]]>此外，在圖6所示的檢測和降低處理部22中，歸一化處理部115通過將差值Fn(y)-Fn_1(y)除以從均值運算部113輸出的平均值A(chǔ)VE[Fn(y)]，將從差值運算部114輸出的差值Fn(y)-Fn_1(y)歸一化。
通過上述公式(8)和(10)及三角函數(shù)的積化和差公式，如下面公式(11)所表示的來展開歸一化之后的差值gn(y)，并通過下面的來自公式(5)關(guān)系式的公式(12)來表示。另外，通過下面的公式(13)和(14)分別表示公式(12)中的|Am|和θm。
gn(y)=Fn(y)-Fn_1(y)AVE[Fn(y)]]]>=Σm=1∞γm×{cos(m×ω0×y+Φm,n)-cos(m×ω0×y+Φm,n_1)}]]>=Σm=1∞(-2)γm×{sin(m×ω0×y+Φm,n+Φm,n_12)×sin(Φm,n-Φm,n_12)}---(11)]]>gn(y)=Σm=1∞(-2)γm×sin(m×ω0×y+Φm,n+m×π3)×sin(-m×π3)]]>=Σm=1∞2×γm×cos(m×ω0×y+Φm,n+m×π3-π2)×sin(m×π3)]]>=Σm=1∞2×γm×sin(m×π3)×cos(m×ω0×y+Φm,n+m×π3-π2)]]>=Σm=1∞|Am|×cos(m×ω0×y+θm)--(12)]]>其中|Am|=2×γm×sin(m×π3)---(13)]]>θm=Φm,n+m×π3-π2---(14)]]>另外，由于對象的信號強度的影響殘存在差值Fn(y)-Fn_1(y)中，所以由于閃爍導(dǎo)致的亮度變化和色彩變化的程度在不同區(qū)域趨向于不同。然而，通過以上述方式將差值Fn(y)-Fn_1(y)歸一化，就有可能將由于閃爍導(dǎo)致的亮度變化和色彩變化在整個區(qū)域上調(diào)整到相同水平。
由公式(13)和(14)表示的|Am|和θm分別為歸一化之后的差值gn(y)的各次頻譜的振幅和初始相位。如果對歸一化之后的差值gn(y)進行傅立葉轉(zhuǎn)換來檢測各次頻譜的振幅|Am|和初始相位θm，則通過下面的公式(15)和(16)能夠得出在上述公式(4)中所示的各次閃爍分量的振幅|Am|和初始相位θm，n
γm=|Am|2×sin(m×π3)---(15)]]>Φm,n=θm-m×π3+π2---(16)]]>因此，在圖6所示的檢測和降低處理部22中，DFT處理部120對從歸一化處理部115輸出的歸一化后差值gn(y)中、相應(yīng)于閃爍的一個波長(L條線)的數(shù)據(jù)執(zhí)行離散傅立葉轉(zhuǎn)換。
如果DFT[gn(y)]表示DFT運算，Gn(m)表示m次的DFT結(jié)果，則通過下面的公式17表示DFT運算。然而，公式(17)中的W由公式(18)表示。因此，通過將DFT運算的數(shù)據(jù)長度設(shè)置為波長的一個閃爍(L條線)，能夠直接得到歸一化的角頻率ω0的整倍數(shù)的離散譜，從而能夠簡化運算處理。此外，基于使能信號DETECT_EN，通過采樣期間給出DFT運算的數(shù)據(jù)長度。
DFT[gn(y)]=Gn(m)=Σi=0L-1gn(i)×Wm×i---(17)]]>其中W=exp[-j×2πL]---(18)]]>另外，基于DFT的定義，公式(13)和公式(17)之間的關(guān)系和公式(14)和(17)之間的關(guān)系分別通過下面的公式(19)和(20)表示|Am|=2×|Gn(m)|L---(19)]]>θm=tan-1(Im(Gn(m))Re(Gn(m)))---(20)]]>
其中Im(Gn(m))虛部Re(Gn(m))實部因此，從公式(15)、(16)、(19)、和(20)及下面的公式(21)和(22)能夠得到各次閃爍分量的振幅γm和初始相位Фm，nγm=|Gn(m)|L×sin(m×π3)---(21)]]>Φm,n=tan-1(Im(Gn(m))Re(Gn(m)))-m×π3+π2---(22)]]>DFT處理部120首先利用由公式(17)定義的DFT運算提取出頻譜，隨后利用公式(21)和(22)的運算推定各次閃爍分量的振幅γm和初始相位Фm，n。
一般，在數(shù)字信號處理中使用的傅立葉轉(zhuǎn)換為快速傅立葉轉(zhuǎn)換(FFT)。然而，由于FFT中的數(shù)據(jù)長度需要為2的乘方，所以，在第一實施例中，通過DFT執(zhí)行頻率分析，以簡化數(shù)據(jù)處理。在實際熒光燈照明下，由于即使將次數(shù)m限定在低次，也能夠近似滿足閃爍分量，所以，在DFT運算中，不需要輸出所有數(shù)據(jù)。因此，與FFT相比，DFT在運算效率上不處于下風。
閃爍生成部130通過使用由DFT處理部120推定的振幅γm和初始相位Фm，n執(zhí)行上述公式(4)的運算處理，從而計算正確反映閃爍分量的閃爍系數(shù)Γn(y)。此外，通過公式(4)的運算處理，即使次數(shù)總值不被限制在無窮，而是限制為預(yù)定次數(shù)(例如二次)以便忽略高次處理，也能夠近似滿足在實際利用真實熒光燈照明條件下的閃爍分量。
上述公式(3)可以變形為如由下面的公式(23)所表示的一樣?；诠?23)，運算部150將從閃爍生成部130提供的閃爍系數(shù)Γn(y)加“1”，并將圖像信號除以相加得到的值，從而抑制閃爍分量。
In(x，y)＝In’(x，y)/[1+Γn(y)] …(23)此外，在上述處理中，對圖像信號進行積分、頻率分析等的與檢測相關(guān)的模塊基于使能信號DETECT_EN以閃爍分量的一個周期為單位進行操作，這樣，因為操作順序很容易同步，所以基于閃爍推定結(jié)果的與校正相關(guān)的模塊(運算部150)也不以場為單位、而是基于閃爍分量的一個周期進行操作。
例如，在來自閃爍生成部130的閃爍系數(shù)Γn(y)按場保存在緩沖器中的情況下，如果閃爍分量的一個周期包含在一個垂直同步期間內(nèi)，則通過根據(jù)一個場中的線數(shù)連續(xù)從緩沖器讀出閃爍系數(shù)Γn(y)至運算部150，能夠執(zhí)行檢測相關(guān)模塊和校正相關(guān)模塊的同步化。但是，如果在閃爍分量的一個周期長于一個垂直同步期間的高速圖像拍攝模式中采用相同的方法，閃爍分量的相位將逐場偏離，且變得不能正確地校正。
由于這個原因，在第一實施例中，閃爍系數(shù)Γn(y)被臨時存儲到設(shè)置在運算部150的輸入級的緩沖部140中，從而能夠最優(yōu)地同步控制緩存數(shù)據(jù)單位和數(shù)據(jù)的讀/寫，以使考慮閃爍分量的一個周期的同步控制成為可能。下面，將參照圖8和9描述通過使用緩沖部140到運算部150的數(shù)據(jù)輸出的控制實例。
圖8示出了緩沖部結(jié)構(gòu)的第一實例的方框圖。
圖8中所示的緩沖部140a以閃爍分量的一個周期為單位，臨時保存由閃爍生成部130提供的閃爍系數(shù)Γn(y)。當從閃爍降低部20的內(nèi)部基準信號生成部21向緩沖部140a提供計數(shù)值VCOUNT時，緩沖部140a基于計數(shù)值VCOUNT，將相應(yīng)于線數(shù)的閃爍系數(shù)Γn(y)從一個周期單位的緩沖區(qū)提供給運算部150。即，由于不是基于每個畫面的線數(shù)而是基于以使能信號VEN 2為基礎(chǔ)的每個閃爍分量的周期的線數(shù)來控制閃爍系數(shù)Γn(y)的輸出處理，所以運算部150能夠?qū)⒑线m的校正增益提供給圖像信號。
可選地，圖9中所示的結(jié)構(gòu)也被用于控制以畫面為單位的閃爍系數(shù)Γn(y)輸出。圖9是示出緩沖部結(jié)構(gòu)的第二實施例的方框圖。
圖9中所示的緩沖部140b以畫面為單位(在本例中，以場為單位)，臨時保存由閃爍生成部130提供的閃爍系數(shù)Γn(y)。例如，緩沖部140b具有多個能夠容納相應(yīng)于一場的閃爍系數(shù)Γn(y)的緩沖區(qū)。
此外，內(nèi)部基準信號生成部21向緩沖部140b提供表示畫面數(shù)的計數(shù)值FieldCount和表示每個畫面(在這個實例中，每個場)線數(shù)的計數(shù)值VCOUNT-FIELD。在內(nèi)部基準信號生成部21中，計數(shù)值FieldCount在對應(yīng)于畫面率的使能信號VEN 1上升時計數(shù)，并在相應(yīng)于普通圖像拍攝模式的使能信號VEN 2上升時復(fù)位。計數(shù)值VCOUNT-FIELD在使能信號VEN 1已經(jīng)上升至H電平之后保持在H電平的期間內(nèi)對水平同步信號HD進行計數(shù)。
閃爍生成部130將針對每個場調(diào)整了相位的閃爍系數(shù)Γn(y)依次提供給緩沖部140b中相應(yīng)的一個緩沖區(qū)。例如，如果一個周期的閃爍系數(shù)Γn(y)跨越多個場，在相應(yīng)于緊接著閃爍系數(shù)Γn(y)所跨越的多個場的場的緩沖區(qū)的開頭，調(diào)整閃爍系數(shù)Γn(y)的相位，使閃爍系數(shù)Γn(y)具有可在垂直空白期間結(jié)束時獲得的值。
緩沖部140b根據(jù)計數(shù)值FieldCount依次選擇以場為單位的緩沖區(qū)中的一個，并基于計數(shù)值VCOUNT_FIELD，從選擇的緩沖區(qū)讀取相應(yīng)于線數(shù)的閃爍系數(shù)Γn(y)至運算部150。因此，當通過以場為基礎(chǔ)執(zhí)行讀取時，能夠?qū)⒑线m的校正增益應(yīng)用于運算部150的圖像信號。
根據(jù)上述的閃爍檢測方法，即使在包含少量閃爍分量的區(qū)域的情況下，例如黑色背景部分或低亮度部分，在其中只通過積分值Fn(y)無法防止閃爍分量被完全淹沒在信號分量中，則通過計算差值Fn(y)-Fn_1(y)，并將計算得到的差值Fn(y)-Fn_1(y)通過均值A(chǔ)VE[Fn(y)]歸一化，能夠高精度地檢測閃爍分量。
另外，在閃爍系數(shù)Γn(y)的計算過程中，由于可以將次數(shù)限制在低次，所以通過相對簡單的處理，就能精確進行閃爍檢測。另外，當閃爍分量是根據(jù)相對于特定次數(shù)的頻譜推定得到的，歸一化后的差值gn(y)不需完全再現(xiàn)即可近似得到，但是根據(jù)這種方法，即使由于對象的狀態(tài)在歸一化后的差值gn(y)中出現(xiàn)不連續(xù)的部分，也能夠精確地推定該部分中的閃爍分量。
此外，由于在運算過程中使用使能信號VEN 2作為基準信號，并且圖像信號的積分單位和DFT處理單位都設(shè)置成閃爍波形的一個周期，所以不僅可以將上述高精度的閃爍檢測算法應(yīng)用于普通圖像拍攝模式，也可以應(yīng)用于閃爍分量的一個周期長于垂直同步期間的高速圖像拍攝模式。例如，如果將例如生成使能信號DETECT_EN和計數(shù)值VCOUNT的電路的簡單處理功能加到實現(xiàn)閃爍檢測算法的處理電路中，則可以將閃爍檢測算法應(yīng)用于高速圖像拍攝模式。因此，不管畫面率如何，都能夠以低成本實現(xiàn)高精度的閃爍檢測。
此外，在上述第一實施例中，通過利用AVE[Fn(y)]將差值Fn(y)-Fn_1(y)進行歸一化，能夠有效地確保有限的計算精度。然而，如果能夠滿足所需計算精度，則可以通過均值A(chǔ)VE[Fn(y)]直接歸一化積分值Fn(y)。
另外，也可以利用積分值Fn(y)代替AVE[Fn(y)]對積分值Fn(y)進行歸一化。在這種情況下，如果由于閃爍波形和畫面率之間的關(guān)系，閃爍波形對多個畫面中的每一個不具有重復(fù)性，則能夠高精度檢測閃爍，并降低閃爍分量。
此外，盡管上述第一實施例的描述參照的是輸入圖像信號In′(x，y)對一條線積分的情況，但是這種積分趨向于降低圖案的影響，并獲得閃爍分量的采樣值。因此，也可以在一條或更多條線的時間內(nèi)執(zhí)行積分。另外，此時，在執(zhí)行積分的期間內(nèi)，也可以省去將要采樣的像素。在實際應(yīng)用中，期望以畫面中的一個閃爍周期(即，L條線)獲得至少數(shù)個到十個采樣值。
<其他實施例>
下面，將參照圖10至13來描述根據(jù)本發(fā)明第二和第三實施例的圖像拍攝裝置。每個圖像拍攝裝置的基本結(jié)構(gòu)與根據(jù)第一實施例的圖像拍攝裝置的結(jié)構(gòu)相同。但是，第二和第三實施例與第一實施例的不同之處只是安裝在檢測和降低處理部22中的積分處理部111的結(jié)構(gòu)的不同，所以第二和第三實施例在輸出垂直空白期間內(nèi)的積分值的方法上與第一實施例不同。
圖10是示出根據(jù)第二實施例的積分處理部111的內(nèi)部結(jié)構(gòu)的方框圖。
根據(jù)第二實施例的積分處理部111包括具有如圖7所示的相同結(jié)構(gòu)的線積分運算部201，以及保持處理部203。保持處理部203保存的是在緊鄰使能信號VEN 1處于L電平的垂直空白期之前從線積分運算部201中輸出的值，并在垂直空白期間繼續(xù)輸出相同的值，直至下一有效期間開始。這種結(jié)構(gòu)與圖7所示的結(jié)構(gòu)相比，能夠簡化電路結(jié)構(gòu)，從而減小圖像拍攝裝置的電路規(guī)模和制造成本。
圖11是示出在第二實施例中推定的閃爍波形實例的示圖。作為實例，圖11示出的是高速圖像拍攝模式的畫面率為普通圖像拍攝模式畫面率四倍的情況(隨后提到的圖13也示出類似的情況)。
在根據(jù)第二實施例的積分處理部111中，閃爍波形的失真度很大，如圖11中所示的閃爍波形。然而，由于畫面率的增加，垂直空白期與閃爍波形的周期相比變得足夠短，所以這樣的失真影響很難在從DFT處理部120輸出的低次輸出頻譜中出現(xiàn)，僅出現(xiàn)在高次一側(cè)。此外，在上述的閃爍檢測算法中，只需在DFT運算中使用低次項。因此，根據(jù)第二實施例構(gòu)成的積分處理部111實際上也可能獲得足夠的閃爍檢測和校正精度。
圖12是示出根據(jù)第三實施例的積分處理部111的內(nèi)部結(jié)構(gòu)的方框圖。
根據(jù)第三實施例的積分處理部111包括具有如圖7所示的相同結(jié)構(gòu)的線積分運算部201和AND(邏輯積)部204。將從線積分運算部201輸出的積分值提供給AND門204的一個輸入端，同時，將使能信號VEN 1應(yīng)用于另一個輸入端。因此，在使能信號VEN 1處于L電平的垂直空白期間，從AND門204輸出的積分值固定為“0”。與圖7所示的結(jié)構(gòu)相比，這種結(jié)構(gòu)能夠簡化電路結(jié)構(gòu)，并在更大程度上減小了圖像拍攝裝置的電路規(guī)模和制造成本。
圖13是示出在第三實施例中推定的閃爍波形的實例的示圖。
在根據(jù)第三實施例的積分處理部111中，與第二實施例相比，閃爍波形的失真度很大，如圖13中所示的閃爍波形。然而，由于與第二實施例提到的相同原因，根據(jù)第三實施例的積分處理部111實際上能夠?qū)崿F(xiàn)足夠的閃爍檢測和校正精度。
上述每個實施例參照的是使用CMOS傳感器作為圖像拍攝設(shè)備的情況，但是，本發(fā)明也可以應(yīng)用于除使用CMOS圖像傳感器以外的諸如MOS類型圖像傳感器的另一種XY地址型圖像拍攝設(shè)備的情況。另外，本發(fā)明也能應(yīng)用于各種使用XY地址類型圖像拍攝設(shè)備的圖像拍攝裝置和諸如手機或PDA(個人數(shù)字助理)的配備有圖像拍攝功能的設(shè)備中。
此外，也能夠?qū)⒈景l(fā)明應(yīng)用于通過連接至例如PC(個人計算機)的游戲軟件用小尺寸像機或電視電話拍攝的圖像信號處理，也能夠應(yīng)用于執(zhí)行用于校正拍攝圖像的處理的圖像處理裝置。
此外，可以通過計算機實現(xiàn)上述處理功能。在這種情況下，提供描述并入裝置中的功能的處理內(nèi)容的程序。通過由計算機執(zhí)行的程序，在計算機上實現(xiàn)處理功能。描述處理內(nèi)容的程序可以被記錄在計算機可讀記錄介質(zhì)上。計算機可讀記錄介質(zhì)舉例來說有磁記錄裝置、光盤、磁性光盤、及半導(dǎo)體存儲器。
為了分售程序，可銷售記錄有程序的便攜式記錄介質(zhì)(例如，光盤或半導(dǎo)體存儲器)。另外，程序可以存儲在服務(wù)器計算機的存儲設(shè)備中，從而可以通過網(wǎng)絡(luò)將程序從服務(wù)器計算機傳輸至其他計算機。
執(zhí)行程序的計算機在其存儲設(shè)備中存儲例如記錄在便攜式記錄介質(zhì)上的程序或從服務(wù)器計算機傳輸?shù)某绦?。計算機從存儲設(shè)備中讀出程序，并基于程序執(zhí)行處理。此外，計算機能夠也能直接從便攜式記錄介質(zhì)中讀取程序，并基于程序執(zhí)行處理。另外，每當將程序從服務(wù)器計算機傳輸至計算機時，計算機可以隨后執(zhí)行程序的處理。
本領(lǐng)域的技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計要求和其他因素，可以有多種修改、組合、再組合和改進，均應(yīng)包含在本發(fā)明的權(quán)利要求或等同物的范圍之內(nèi)。
權(quán)利要求
1.一種用于處理圖像信號的圖像處理裝置，包括積分裝置，用于在每個具有等于或長于在熒光燈照明下產(chǎn)生在圖像上的閃爍的一個周期的長度的檢測期間內(nèi)獲取所述圖像信號，并以等于或長于一個水平同步期間的期間為單位對所獲取的圖像信號進行積分；以及閃爍檢測裝置，通過使用由所述積分裝置獲得的積分結(jié)果，基于以所述每個檢測期間為單位獲得的頻率分析結(jié)果，推定閃爍分量。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括基準信號輸出裝置，用于基于表示對于畫面切換周期長于閃爍的一個周期的畫面率在垂直方向上的圖像信號有效期間的使能信號，不管所述圖像信號的當前畫面率如何，生成給出所述每個檢測期間的定時的基準信號，并將所述基準信號提供給所述積分裝置和所述閃爍檢測裝置。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中在所述檢測期間跨越多個幀或多個場的情況下，所述積分裝置輸出對在所述檢測期間內(nèi)的垂直空白期間之前和之后獲得的積分結(jié)果插值得到的值，作為所述垂直空白期間內(nèi)的積分結(jié)果。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中在所述檢測期間跨越多個幀或多個場的情況下，在所述垂直空白期間內(nèi)，所述積分裝置連續(xù)輸出與緊鄰所述檢測期間內(nèi)的垂直空白期間之前獲得的積分結(jié)果相同的值。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中在所述檢測期間跨越多個幀或多個場的情況下，所述積分裝置連續(xù)輸出恒定值，作為所述檢測期間內(nèi)的垂直空白期間的積分結(jié)果。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，還包括校正裝置，用于校正所述圖像信號，從而除去由所述閃爍檢測裝置推定的所述閃爍分量。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，還包括緩沖裝置，用于臨時存儲通過所述閃爍檢測裝置在所述每個檢測期間內(nèi)推定的所述閃爍分量的推定結(jié)果，并依次將在所述每個檢測期間內(nèi)存儲的數(shù)據(jù)提供給所述校正裝置。
8.根據(jù)權(quán)利要求6所述的圖像處理裝置，還包括緩沖裝置，用于在所述檢測期間跨越多個幀或多個場的情況下，將通過所述閃爍檢測裝置得到的所述閃爍分量的推定結(jié)果在所述推定結(jié)果相位最優(yōu)的狀態(tài)下以幀為單位或以場為單位臨時保存，選擇與輸入至所述校正裝置的圖像信號相對應(yīng)的幀單位或場單位的存儲區(qū)，并將所述存儲區(qū)的數(shù)據(jù)依次提供給所述校正裝置。
9.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中所述閃爍檢測裝置將由來自所述積分裝置的積分值或分別在相鄰檢測期間獲得的積分值之間的差值歸一化，輸出經(jīng)過歸一化的積分值或經(jīng)過歸一化的差值，提取出所述歸一化積分值或所述歸一化差值的頻譜，并從所述頻譜中推定所述閃爍分量。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中所述閃爍檢測裝置通過將所述差值除以在多個連續(xù)檢測期間內(nèi)獲得的積分值的均值，將所述差值歸一化。
11.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中所述閃爍檢測裝置通過將所述差值除以所述積分值，將所述差值歸一化。
12.一種通過使用XY地址型固態(tài)圖像拍攝設(shè)備拍攝圖像的圖像拍攝裝置，包括積分裝置，用于在每個具有等于或長于在熒光燈照明下產(chǎn)生在圖像上的閃爍的一個周期的長度的檢測期間內(nèi)，獲取通過圖像拍攝獲取的圖像信號，并以等于或長于一個水平同步期間的期間為單位對所獲取的圖像信號進行積分；以及閃爍檢測裝置，通過使用由所述積分裝置獲得的積分結(jié)果，基于以所述每個檢測期間為單位獲得的頻率分析結(jié)果，推定閃爍分量。
13.一種用于檢測在熒光燈照明下在圖像上生成的閃爍的圖像處理方法，包括在每個具有等于或長于所述閃爍的一個周期長度的檢測期間內(nèi)獲取圖像信號；以等于或長于一個水平同步期間的期間為單位，對所獲取的圖像信號進行積分；以及通過使用由所述積分獲得的積分結(jié)果，基于以所述每個檢測期間為單位獲得的頻率分析結(jié)果，推定閃爍分量。
14.一種用于處理圖像信號的圖像處理裝置，包括積分器，用于在每個具有等于或長于在熒光燈照明下產(chǎn)生在圖像上的閃爍的一個周期的長度的檢測期間內(nèi)獲取所述圖像信號，并以等于或長于一個水平同步期間的期間為單位對所獲取的圖像信號進行積分；以及閃爍檢測器，通過使用由所述積分器獲得的積分結(jié)果，基于以所述每個檢測期間為單位獲得的頻率分析結(jié)果，推定閃爍分量。
全文摘要
本發(fā)明提供了一種用于處理圖像信號的圖像處理裝置，包括積分器，用于在每個具有等于或長于在熒光燈照明下產(chǎn)生在圖像上的閃爍的一個周期的長度的檢測期間內(nèi)獲取圖像信號，并以等于或長于一個水平同步期間的期間為單位對所獲取的圖像信號進行積分；以及閃爍檢測器，通過使用由積分器獲得的積分結(jié)果，基于以每個檢測期間為單位獲得的頻率分析結(jié)果，推定閃爍分量。
文檔編號H04N5/351GK1878246SQ20061008710
公開日2006年12月13日 申請日期2006年6月9日 優(yōu)先權(quán)日2005年6月10日
發(fā)明者木下雅也 申請人:索尼公司