圖像處理裝置及其控制方法
【專利說明】圖像處理裝置及其控制方法
[0001]本申請是申請日為2011年12月16日、申請?zhí)枮?01110425422.X、發(fā)明名稱為“圖像處理裝置及其控制方法”的發(fā)明專利申請的分案申請。
技術(shù)領(lǐng)域
[0002]本發(fā)明涉及被構(gòu)造為對數(shù)字圖像數(shù)據(jù)產(chǎn)生膠片式效果(film-like effect)的圖像處理裝置。
【背景技術(shù)】
[0003]近年來，作為針對數(shù)字攝像機的圖像表現(xiàn)方法，提出了通過將顆粒噪聲(grainnoise)與數(shù)字圖像合成來對拍攝圖像應(yīng)用膠片式粒度效果的方法。日本專利特開平11-085955號公報公開了以下技術(shù)，其中計算來自膠片的粒度圖案數(shù)據(jù)(原始顆粒噪聲)、在粒度圖案數(shù)據(jù)上的隨機位置裁切多個噪聲數(shù)據(jù)，并布置所述多個噪聲數(shù)據(jù)，由此應(yīng)用顆粒噪聲。
[0004]然而，當在放映機上回放膠片時，膠片圖像不僅具有上述影響整個圖像的顆粒噪聲而且還存在各種現(xiàn)象。

【發(fā)明內(nèi)容】

[0005]本發(fā)明旨在提供一種能夠?qū)ε臄z圖像應(yīng)用具有不同特性的兩種類型的噪聲的圖像處理裝置。
[0006]根據(jù)本發(fā)明的一方面，提供一種能夠?qū)Χ鄠€幀的輸入圖像應(yīng)用噪聲效果的圖像處理裝置，所述圖像處理裝置包括:第一存儲單元，其被構(gòu)造為存儲二維形式的第一噪聲數(shù)據(jù)；裁切單元，其被構(gòu)造為從所述第一噪聲數(shù)據(jù)中裁切對應(yīng)于輸入圖像的全部幀的噪聲數(shù)據(jù)；第一指定單元，其被構(gòu)造為指定所述第一噪聲數(shù)據(jù)上要被所述裁切單元裁切的裁切位置；第一合成單元，其被構(gòu)造為將由所述裁切單元裁切的噪聲數(shù)據(jù)與輸入圖像合成；第二存儲單元，其被構(gòu)造為存儲與所述第一噪聲數(shù)據(jù)不同的、包含多個圖案的噪聲數(shù)據(jù)的第二噪聲數(shù)據(jù)；選擇單元，其被構(gòu)造為從所述第二噪聲數(shù)據(jù)中選擇要被貼合至當前幀圖像上的噪聲數(shù)據(jù)；第二指定單元，其被構(gòu)造為指定所述當前幀圖像上的、用于貼合所述選擇單元選擇的噪聲數(shù)據(jù)的貼合位置；以及第二合成單元，其被構(gòu)造為在所述第二指定單元指定的位置處合成由所述選擇單元選擇的噪聲數(shù)據(jù)，其中，所述第一指定單元基于隨機值，指定所述第一噪聲數(shù)據(jù)上的所述裁切位置，并且其中，所述第二指定單元基于隨機值，指定用于貼合所述選擇單元選擇的噪聲數(shù)據(jù)的所述貼合位置。
[0007]根據(jù)以下參照附圖對示例性實施例的詳細描述，本發(fā)明的其他特征和方面將變得清楚。
【附圖說明】
[0008]被包括在說明書中并構(gòu)成說明書的一部分的附圖，例示了本發(fā)明的示例性實施例、特征及方面，并與文字描述一起用于說明本發(fā)明的原理。
[0009]圖1是例示根據(jù)本發(fā)明的第一示例性實施例的示例圖像處理裝置的框圖。
[0010]圖2是例示根據(jù)本發(fā)明的第二示例性實施例的示例圖像處理裝置的框圖。
[0011]圖3例示了根據(jù)本發(fā)明的第一示例性實施例的顆粒噪聲數(shù)據(jù)。
[0012]圖4例示了根據(jù)本發(fā)明的第一示例性實施例的拍攝圖像與顆粒噪聲的合成圖像的結(jié)構(gòu)。
[0013]圖5例示了根據(jù)本發(fā)明的第二示例性實施例的刮痕噪聲數(shù)據(jù)。
[0014]圖6例示了根據(jù)本發(fā)明的第二示例性實施例的拍攝圖像與刮痕噪聲數(shù)據(jù)的合成圖像的結(jié)構(gòu)。
[0015]圖7是例示根據(jù)本發(fā)明的第一示例性實施例的用于確定顆粒噪聲數(shù)據(jù)的裁切位置的處理的流程圖。
[0016]圖8例示了根據(jù)本發(fā)明的第一示例性實施例的顆粒噪聲數(shù)據(jù)的裁切位置。
[0017]圖9是例示根據(jù)本發(fā)明的第一示例性實施例的顆粒噪聲數(shù)據(jù)的校正后的裁切位置的表。
[0018]圖10例示了根據(jù)本發(fā)明的第一示例性實施例的由于顆粒噪聲數(shù)據(jù)的校正位置之間的差而導(dǎo)致的重復(fù)度。
[0019]圖11 (包括圖1lA和圖11B)是例示根據(jù)本發(fā)明的第二示例性實施例的用于確定刮痕噪聲數(shù)據(jù)的貼合位置(pasting posit1n)的處理的流程圖。
[0020]圖12例示了根據(jù)本發(fā)明的第二示例性實施例的刮痕應(yīng)用的必要性的時間變化。
[0021]圖13是例示根據(jù)本發(fā)明的第三示例性實施例的圖像處理裝置的框圖。
[0022]圖14例示了根據(jù)本發(fā)明的第三示例性實施例的幀存儲器及其圖像裁切。
[0023]圖15例示了根據(jù)本發(fā)明的第三示例性實施例的用于隱蔽由于圖像裁切導(dǎo)致的噪聲的處理。
[0024]圖16是例示根據(jù)本發(fā)明的第三示例性實施例的用于應(yīng)用垂直抖動處理的處理的流程圖。
[0025]圖17例示了根據(jù)本發(fā)明的第三示例性實施例的用于垂直抖動處理的多個抖動類型及其組合。
[0026]圖18A和圖18B是分別例示根據(jù)本發(fā)明的第四示例性實施例的示例圖像處理裝置的框圖。
[0027]圖19例示了根據(jù)本發(fā)明的第四示例性實施例的用于實現(xiàn)閃爍的亮度信號的校正處理。
[0028]圖20是例示根據(jù)本發(fā)明的第四示例性實施例的用于校正亮度信號的處理的流程圖。
[0029]圖21A和圖21B是例示根據(jù)本發(fā)明的第五示例性實施例的示例圖像處理裝置的框圖。
[0030]圖22是例示根據(jù)本發(fā)明的第五示例性實施例的用于重疊多個膠片式效果的處理的流程圖。
[0031]圖23是例示根據(jù)本發(fā)明的第六示例性實施例的示例圖像處理裝置的框圖。
[0032]圖24描述了根據(jù)本發(fā)明的第六示例性實施例的、在使用膠片作為記錄介質(zhì)的運動圖像拍攝中從記錄到回放的處理。
[0033]圖25是例示在圖24中所示的各個處理中影響放映結(jié)果的事件、所述事件的效果、以及通過基于模擬的圖像處理來實現(xiàn)所述效果的方法的表。
[0034]圖26是例示根據(jù)本發(fā)明的第六示例性實施例的用于重疊多個膠片式效果的處理的流程圖。
[0035]圖27是例示根據(jù)本發(fā)明的其他示例性實施例的示例圖像處理裝置的框圖。
【具體實施方式】
[0036]以下將參照附圖詳細描述本發(fā)明的各種示例性實施例、特征及方面。
[0037]以下將基于圖像處理裝置描述第一示例性實施例，該圖像處理裝置能夠?qū)ε臄z圖像應(yīng)用顆粒噪聲，以產(chǎn)生像膠片式噪聲效果一樣的粒度效果。圖1是例示根據(jù)第一示例性實施例的作為圖像處理裝置的數(shù)字視頻攝像機的框圖。
[0038]圖像傳感器100對成像入射光應(yīng)用光電轉(zhuǎn)換。光電轉(zhuǎn)換后的信號被輸入到攝像機信號處理單元101。攝像機信號處理單元101對光電轉(zhuǎn)換后的信號應(yīng)用各種類型的圖像處理以將其轉(zhuǎn)換為視頻信號，并將該視頻信號輸出到編碼器單元111。編碼器單元111以預(yù)定記錄格式對從攝像機信號處理單元101接收的視頻信號進行編碼，并將結(jié)果視頻信號記錄到記錄介質(zhì)112。
[0039]以下將描述攝像機信號處理單元101中的信號處理。當向攝像機信號處理單元101輸入信號時，圖像處理單元104對該信號應(yīng)用各種類型的信號處理。各種類型的信號處理包括在通常圖像拍攝時對圖像數(shù)據(jù)應(yīng)用的白平衡處理、伽馬處理、色彩空間轉(zhuǎn)換處理、色彩增益處理、色彩平衡處理。圖像處理單元104將處理后的信號作為拍攝圖像存儲到第一幀存儲器108中。
[0040]存儲器109存儲二維噪聲數(shù)據(jù)301作為顆粒噪聲。裁切處理單元106從存儲器109讀取噪聲數(shù)據(jù)301，并從噪聲數(shù)據(jù)301中裁切具有預(yù)定位置和大小的噪聲數(shù)據(jù)302。
[0041]然后，裁切處理單元106將裁切后的噪聲數(shù)據(jù)302存儲在第二幀存儲器110中。倍率處理單元107從第二幀存儲器110讀取噪聲數(shù)據(jù)302，并對噪聲數(shù)據(jù)302應(yīng)用大小調(diào)整處理，以獲取具有與拍攝圖像合成所需的大小的噪聲數(shù)據(jù)402。
[0042]合成處理單元105以預(yù)定定時從第一幀存儲器108讀取拍攝圖像401以及從倍率處理單元107讀取噪聲數(shù)據(jù)402，將拍攝圖像401與噪聲數(shù)據(jù)402合成，并輸出合成圖像。合成處理單元105能夠改變噪聲數(shù)據(jù)402與拍攝圖像401的合成比率。通過改變合成比率，合成處理單元105能夠改變要應(yīng)用于拍攝圖像401的顆粒噪聲的強度。以下將詳細描述用于生成顆粒噪聲的方法以及用于應(yīng)用顆粒噪聲的方法。
[0043]信號生成器(SG) 103生成用于控制驅(qū)動圖像傳感器100的定時的信號，并將生成的信號提供給圖像傳感器100。
[0044]系統(tǒng)控制器102控制包括圖像傳感器100和攝像機信號處理單元101的攝像機塊。系統(tǒng)控制器102向圖像傳感器100發(fā)出關(guān)于信號累積間隔以及信號讀出定時的指令。系統(tǒng)控制器102將各種類型的信號處理中圖像質(zhì)量設(shè)置所需的參數(shù)設(shè)置給圖像處理單元104。系統(tǒng)控制器102向合成處理單元105發(fā)出用于指定要進行合成的幀存儲器的指令、用于指定合成比率的指令、以及關(guān)于合成定時的指令。
[0045]系統(tǒng)控制器102向裁切處理單元106發(fā)出關(guān)于從存儲器109讀出的定時的指令、關(guān)于裁切位置和大小的指令、以及關(guān)于將裁切數(shù)據(jù)存儲在第二幀存儲器110中的定時的指令。
[0046]系統(tǒng)控制器102向倍率處理單元107發(fā)出關(guān)于從第二幀存儲器110讀出的定時的指令以及關(guān)于用于大小調(diào)整的大小的指令。系統(tǒng)控制器102向SG 103發(fā)出關(guān)于驅(qū)動圖像傳感器100的定時的指令。
[0047]以下將參照圖3和圖4詳細描述用于生成顆粒噪聲的方法(本示例性實施例的特性處理)以及用于將該顆粒噪聲應(yīng)用于圖像數(shù)據(jù)的方法，所述顆粒噪聲用于對圖像數(shù)據(jù)產(chǎn)生膠片式粒度效果。
[0048]為了與運動圖像刷新間隔(即幀速率)同步地布置粒度圖案數(shù)據(jù)，日本專利特開平11-085955號公報中公開的用于布置多個粒度圖案數(shù)據(jù)的技術(shù)，需要能夠在幀速率周期內(nèi)每次均以不同方式來布置圖案數(shù)據(jù)的高速處理系統(tǒng)。利用從多個顆粒噪聲圖案中進行選擇并將其應(yīng)用于圖像數(shù)據(jù)的方法，需要用于存儲顆粒噪聲的多個存儲區(qū)域。
[0049]因此，本示例性實施例將顆粒噪聲預(yù)存儲為二維數(shù)據(jù)，裁切與在任意位置輸入的圖像的整個幀相對應(yīng)的噪聲數(shù)據(jù)，并將裁切的噪聲數(shù)據(jù)與運動圖像合成。
[0050]在這種情況下，將裁切定時與運動圖像幀速率同步并且每次改變針對多個幀的裁切位置，使得能夠在時間上及空間上對隨機顆粒噪聲與運動圖像進行合成。
[0051]圖3例示了二維噪聲數(shù)據(jù)(顆粒噪聲數(shù)據(jù)301)與要從顆粒噪聲數(shù)據(jù)301中裁切的裁切噪聲數(shù)據(jù)302之間的關(guān)系。圖4例示了裁切噪聲數(shù)據(jù)302與拍攝圖像的合成的概念。
[0052]顆粒噪聲數(shù)據(jù)301是各自以根據(jù)高斯分布的記錄隨機數(shù)作為像素值的像素組。在本示例性實施例中，最小粒單位是一個像素。隨機數(shù)不限于根據(jù)高斯分布的隨機數(shù)或者任意其他特定類型的隨機數(shù)，可以是均勻隨機數(shù)、指數(shù)隨機數(shù)以及許多其他類型的隨機數(shù)。
[0053]實際噪聲數(shù)據(jù)的形式不限于特定形式，可以是圖像數(shù)據(jù)、數(shù)據(jù)序列以及許多其他類型。盡管最小粒單位不限于一個像素，但是更小的單位自然導(dǎo)致更大程度的隨機化。
[0054]系統(tǒng)控制器102通過使用攝像機內(nèi)可獲取的動態(tài)值(諸如處理時間以及攝像機的姿勢和位置信息)來隨機確定顆粒噪聲數(shù)據(jù)301的裁切開始位置(X，Y)。系統(tǒng)控制器102從顆粒噪聲數(shù)據(jù)301上確定的裁切開始位置起，裁切具有預(yù)定大小的數(shù)據(jù)作為裁切噪聲數(shù)據(jù)302，并將裁切噪聲數(shù)據(jù)302與拍攝圖像合成，如圖4所示，由此對拍攝圖像應(yīng)用顆粒噪聲。
[0055]當每次隨機改變裁切開始位置時，如果前一裁切位置和當前裁切位置相互接近、或者僅在水平或垂直方向上有偏移，則作為合成的結(jié)果，二維圖案看似在移動。
[0056]因此，在本示例性實施例中，系統(tǒng)控制器102設(shè)置當前裁切位置，使得從前一裁切位置至當前裁切位置的移動量可能不落入預(yù)定范圍內(nèi)。
[0057]系統(tǒng)控制器102指示裁切處理單元106對噪聲數(shù)據(jù)301應(yīng)用裁切控制。以下將參照圖7描述根據(jù)本示例性實施例的裁切控制。在對拍攝圖像應(yīng)用膠片式噪聲效果的圖像拍攝模式下進行上述的裁切控制。作為選擇方案，在從諸如記錄介質(zhì)212的存儲器的連續(xù)運動圖像讀出之后，作為后處理進行裁切控制。
[0058]在步驟S701，系統(tǒng)控制器102通過使用上述動態(tài)值、由存儲在存儲器109中的噪聲數(shù)據(jù)，來計算本次要開始裁切的候選位置(在下文中稱為當前裁切開始位置或當前裁切位置)。為了將裁切數(shù)據(jù)作為顆粒噪聲合成，系統(tǒng)控制器102每次均隨機確定與前一裁切位置不同的當前裁切位置。當要指定的當前裁切位置的確定完成時，處理進行到步驟S702。
[0059]在步驟S702中，系統(tǒng)控制器102基于要指定給SG 103的驅(qū)動定時信號來獲取當前圖像傳感器100的幀速率信息。當幀速率信息的獲取完成時，處理進行到步驟S703。
[0060]在步驟S703中，系統(tǒng)控制器102計算用于確定當前指定的裁切位置(下文中稱為當前裁切位置)距存儲在臨時存儲器(未示出)中的前一裁切位置有多遠的標準。
[0061]系統(tǒng)控制器102與幀速率同步地刷新要合成的顆粒噪聲。因此，幀速率越小(即拍攝圖像刷新間隔越長)，顆粒噪聲刷新間隔變得越長(即顆粒噪聲保持可見的時間越長)。因此，當前一裁切位置和當前裁切位置相互接近時，合成顆粒噪聲看似在移動。
[0062]根據(jù)步驟S702中獲取的幀速率信息，系統(tǒng)控制器102改變用于確定當前裁切位置距前一裁切位置有多近的標準(預(yù)定值)。例如，利用60fps的幀速率(第一幀速率)，在當前裁切位置處于前一裁切位置周圍10像素(第一預(yù)定值)內(nèi)時，確定當前位置在前一位置附近。
[0063]另一方面，利用30fps的幀速率(第二幀速率)，系統(tǒng)控制器102確定使得在當前裁切位置處于前一裁切位置周圍20像