圖像處理裝置、攝像裝置、圖像處理方法和程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理裝置、攝像裝置、圖像處理方法和程序等。
【背景技術(shù)】
[0002]為了拍攝全彩色圖像，公知有將R(Red)G(Green)B(Blue)這3個波段的濾色器設(shè) 置在攝像元件前表面的攝像裝置。在具有單板攝像元件的攝像裝置中，為了生成包含較多 高頻成分的分辨率高的插值圖像，參照能夠高精度地取得高頻成分的波段的信息來生成插 值圖像的手法是有效的。
[0003] 這里，能夠取得高頻成分的波段需要滿足以下2個條件：第1，以取樣密度較高的 方式配置，第2,與被攝體的顏色特性之間具有較強(qiáng)的相關(guān)性。因此，在專利文獻(xiàn)1中，提出 了針對生成插值圖像時參照的波段、根據(jù)被攝體的顏色特性來切換插值方法的手法。
[0004] 并且，以被攝體的忠實的顏色再現(xiàn)為目的，多波段攝像受到關(guān)注。作為多波段攝像 裝置，存在進(jìn)行多張攝像或使用多臺照相機(jī)的裝置。例如，在專利文獻(xiàn)2中，提出了使用將 4個波段以上（包含該值）的濾色器設(shè)置在攝像元件中得到的單板的多波段攝像元件的手 法。
[0005] 現(xiàn)有技術(shù)文獻(xiàn)
[0006]專利文獻(xiàn)
[0007]專利文獻(xiàn)1:日本特開2009-94577號公報
[0008] 專利文獻(xiàn)2 :日本特開2003-87806號公報

【發(fā)明內(nèi)容】

[0009] 發(fā)明要解決的課題
[0010] 在所述專利文獻(xiàn)1所示的手法中，無法提高用作參照波段的波段的取樣密度，即 使使用3個波段的拜爾排列中取樣密度比G低的R或B作為參照波段，也無法再現(xiàn)使用G 作為參照波段那樣的高頻成分。
[0011] 進(jìn)而，在所述專利文獻(xiàn)2所示的、各波段的取樣密度比3波段攝像元件低的多波段 攝像元件中，在與被攝體的顏色特性之間具有較強(qiáng)的相關(guān)性而被選擇為參照波段的波段是 取樣密度較低的波段的情況下，更難再現(xiàn)高頻成分。多波段攝像元件的波段數(shù)越多，則該問 題越顯著。
[0012] 并且，在拍攝多張圖像來提高外觀的像素密度的手法中，雖然與被攝體的顏色特 性無關(guān)而能夠生成包含較多高頻成分的分辨率較高的圖像，但是，存在處理復(fù)雜、存儲器增 大、幀率降低這樣的問題。
[0013] 根據(jù)本發(fā)明的若干個方式，能夠提供如下的圖像處理裝置、攝像裝置、圖像處理方 法和程序等：與被攝體的顏色特性無關(guān)，能夠在維持幀率的前提下生成包含較多高頻成分 的分辨率較高的插值圖像。
[0014] 用于解決課題的手段
[0015] 本發(fā)明的一個方式涉及一種圖像處理裝置，該圖像處理裝置包括：圖像取得部，其 取得使用攝像元件拍攝到的攝像時刻相互不同的多幀攝像數(shù)據(jù)，其中，該攝像元件具有將 多個波段的濾色器配置成陣列狀得到的濾色器陣列；位置對齊處理部，其進(jìn)行所取得的所 述多幀攝像數(shù)據(jù)的位置對齊處理，生成統(tǒng)合攝像數(shù)據(jù)；參照波段選擇部，其在生成輸出圖像 的基準(zhǔn)幀之前的時刻的幀即過去幀的輸出圖像中，從所述多個波段中選擇參照圖像生成用 的參照波段；參照圖像生成部，其對所述統(tǒng)合攝像數(shù)據(jù)中的與所述參照波段對應(yīng)的濾色器 的圖像數(shù)據(jù)進(jìn)行插值處理，從而生成參照圖像；以及插值圖像生成部，其根據(jù)所述參照圖 像，對所述統(tǒng)合攝像數(shù)據(jù)中的與不同于所述參照波段的波段對應(yīng)的濾色器的圖像數(shù)據(jù)進(jìn)行 插值處理，從而生成插值圖像。
[0016] 在本發(fā)明的一個方式中，在生成輸出圖像的基準(zhǔn)幀之前的時刻的幀即過去幀的輸 出圖像中，從多個波段中選擇參照圖像生成用的參照波段。然后，進(jìn)行所取得的多幀攝像數(shù) 據(jù)的位置對齊處理，生成統(tǒng)合攝像數(shù)據(jù)。進(jìn)而，對統(tǒng)合攝像數(shù)據(jù)中的與參照波段對應(yīng)的濾色 器的圖像數(shù)據(jù)進(jìn)行插值處理，從而生成參照圖像。然后，根據(jù)參照圖像對統(tǒng)合攝像數(shù)據(jù)中的 與不同于參照波段的波段對應(yīng)的濾色器的圖像數(shù)據(jù)進(jìn)行插值處理，從而生成插值圖像。
[0017] 由此，即使是取樣密度較低的波段，也能夠在維持幀率的前提下用作取樣密度較 高的信息，與被攝體的顏色特性無關(guān)而能夠生成包含較多高頻成分的分辨率較高的圖像。
[0018] 并且，在本發(fā)明的一個方式中，也可以是，所述圖像處理裝置包括使用幀數(shù)決定 部，該使用幀數(shù)決定部根據(jù)由所述參照波段選擇部選擇出的所述參照波段的種類，決定所 述參照圖像生成部中使用的參照圖像生成用幀數(shù)。
[0019] 由此，能夠根據(jù)參照波段的種類，僅讀出生成參照圖像所需要的數(shù)量的幀等。
[0020] 并且，在本發(fā)明的一個方式中，也可以是，所述圖像取得部取得使用如下的所述攝 像元件拍攝到的所述多幀攝像數(shù)據(jù)，該攝像元件具有包括第1濾色器和取樣密度比所述第 1濾色器低的第2濾色器的所述濾色器陣列，在所述參照波段是與所述第1濾色器對應(yīng)的波 段的情況下，所述使用幀數(shù)決定部將所述參照圖像生成用幀數(shù)決定為第1幀數(shù)，在所述參 照波段是與所述第2濾色器對應(yīng)的波段的情況下，所述使用幀數(shù)決定部將所述參照圖像生 成用幀數(shù)決定為比所述第1幀數(shù)多的第2幀數(shù)。
[0021] 由此，能夠根據(jù)參照波段的取樣密度，決定參照圖像生成用幀數(shù)等。
[0022] 并且，在本發(fā)明的一個方式中，也可以是，所述第1濾色器是在所述濾色器陣列中 配置在奇數(shù)行的奇數(shù)列及偶數(shù)行的偶數(shù)列，或者配置在奇數(shù)行的偶數(shù)列及偶數(shù)行的奇數(shù)列 的濾色器，所述第2濾色器是在所述濾色器陣列中配置在與所述第1濾色器不同的位置的 濾色器。
[0023] 由此，例如，在配置成棋盤格狀的波段是參照波段的情況下，僅1幀的數(shù)據(jù)就能夠 生成高精度的參照圖像，在未配置成棋盤格狀的波段是參照波段的情況下，通過使用多幀 數(shù)據(jù)，也能夠生成高精度的參照圖像等。
[0024] 并且，在本發(fā)明的一個方式中，也可以是，所述圖像處理裝置包括使用幀數(shù)決定 部，該使用幀數(shù)決定部根據(jù)由所述參照波段選擇部選擇出的所述參照波段的種類，決定所 述插值圖像生成部中使用的插值圖像生成用幀數(shù)。
[0025] 由此，能夠根據(jù)參照波段的種類，僅讀出生成插值圖像所需要的數(shù)量的幀等。
[0026] 并且，在本發(fā)明的一個方式中，也可以是，所述圖像取得部取得使用如下的所述攝 像元件拍攝到的所述多幀攝像數(shù)據(jù)，該攝像元件具有包括第1濾色器和取樣密度比所述第 1濾色器低的第2濾色器的所述濾色器陣列，在所述參照波段是與所述第1濾色器對應(yīng)的波 段的情況下，所述使用幀數(shù)決定部將所述插值圖像生成用幀數(shù)決定為第3幀數(shù)，在所述參 照波段是與所述第2濾色器對應(yīng)的波段的情況下，所述使用幀數(shù)決定部將所述插值圖像生 成用幀數(shù)決定為比所述第3幀數(shù)少的第4幀數(shù)。
[0027] 由此，能夠根據(jù)參照波段的取樣密度，決定插值圖像生成用幀數(shù)等。
[0028] 并且，在本發(fā)明的一個方式中，也可以是，所述圖像處理裝置還包括判定攝像數(shù)據(jù) 的幀間的相關(guān)性的幀相關(guān)性判定部，所述使用幀數(shù)決定部根據(jù)所述幀相關(guān)性判定部的判定 結(jié)果決定使用幀數(shù)。
[0029] 由此，例如在場景大幅變化、幀間不存在相關(guān)性的情況下，也能夠抑制由于位置對 齊處理的精度降低而導(dǎo)致的偽像的產(chǎn)生等。
[0030] 并且，在本發(fā)明的一個方式中，也可以是，所述參照波段選擇部在所述過去幀的所 述輸出圖像中，選擇所述多個波段中的與被攝體的顏色特性之間具有最強(qiáng)相關(guān)性的波段作 為所述參照波段。
[0031] 由此，能夠根據(jù)被攝體的顏色特性來進(jìn)行插值圖像的生成處理等。
[0032] 并且，在本發(fā)明的一個方式中，也可以是，所述參照波段選擇部通過進(jìn)行所述過去 幀的所述輸出圖像的高頻成分和亮度中的至少一方的評價，選擇所述參照波段。
[0033] 由此，能夠高精度地判別參照波段等。
[0034] 并且，在本發(fā)明的一個方式中，也可以是，所述參照波段選擇部按照將圖像分割成 多個區(qū)域而得到的每個部分區(qū)域來選擇所述參照波段。
[0035] 由此，例如通過按照每個部分區(qū)域而使用不同的參照波段，在一個場景內(nèi)存在多 種顏色特性偏差的被攝體的情況下，也能夠生成包含較多高頻成分的分辨率較高的插值圖 像等。
[0036] 并且，在本發(fā)明的一個方式中，也可以是，所述圖像取得部取得使用具有如下的所 述濾色器陣列的所述攝像元件拍攝到的所述多幀攝像數(shù)據(jù)，該濾色器陣列包括配置在奇數(shù) 行的奇數(shù)列及偶數(shù)行的偶數(shù)列，或者配置在奇數(shù)行的偶數(shù)列及偶數(shù)行的奇數(shù)列的第1濾色 器、以及配置在與所述第1濾色器不同的位置且取樣密度比所述第1濾色器低的第2濾色 器，在所述參照波段選擇部未選擇所述參照波段的情況下，所述參照圖像生成部通過對所 述第1濾色器的圖像數(shù)據(jù)進(jìn)行所述插值處理，生成所述參照圖像。
[0037] 由此，例如，使用取樣密度最高的波段作為參照波段，與使用其他波段作為參照波 段的情況相比，能夠生成高精度的插值圖像等。
[0038] 并且，在本發(fā)明的一個方式中，也可以是，所述圖像取得部取得使用如下的所述攝 像元件拍攝到的所述多幀攝像數(shù)據(jù)，其中，該攝像元件具有配置了分光感光度特性不同的 大于等于4個波段的濾色器的所述濾色器陣列。
[0039] 由此，在使用多波段攝像元件生成插值圖像的情況下，與被攝體的顏色特性無關(guān) 而能夠生成包含較多高頻成分的分辨率較高的圖像等。
[0040] 并且，在本發(fā)明的另一個方式中，涉及一種包括所述圖像處理裝置的攝像裝置。
[0041] 并且，在本發(fā)明的另一個方式中，涉及一種圖像處理方法，該圖像處理方法包括以 下步驟：取得使用攝像元件拍攝到的攝像時刻相互不同的多幀攝像數(shù)據(jù)，其中，該攝像元件 具有將多個波段的濾色器配置成陣列狀的濾色器陣列；進(jìn)行所取得的所述多幀攝像數(shù)據(jù)的 位置對齊處理，生成統(tǒng)合攝像數(shù)據(jù)；在生成輸出圖像的基準(zhǔn)幀之前的時刻的幀即過去幀的 輸出圖像中，從所述多個波段中選擇參照圖像生成用的參照波段；對所述統(tǒng)合攝像數(shù)據(jù)中 的與所述參照波段對應(yīng)的濾色器的圖像數(shù)據(jù)進(jìn)行插值處理，從而生成參照圖像；根據(jù)所述 參照圖像對所述統(tǒng)合攝像數(shù)據(jù)中的與不同于所述參照波段的波段對應(yīng)的濾色器的圖像數(shù) 據(jù)進(jìn)行插值處理，從而生成插值圖像。
[0042] 并且，在本發(fā)明的另一個方式中，涉及一種程序，該程序使計算機(jī)作為上述各部發(fā) 揮功能。
【附圖說明】
[0043] 圖1是插值處理的說明圖。
[0044] 圖2 (A)~圖2 (H)是多張攝像技術(shù)的說明圖。
[0045] 圖3是第1實施方式的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。
[0046] 圖4是第1實施方式的攝像裝置的系統(tǒng)結(jié)構(gòu)例。
[0047] 圖5是第1實施方式的攝像裝置的詳細(xì)系統(tǒng)結(jié)構(gòu)例。
[0048] 圖6是濾色器陣列的例子。
[0049] 圖7是說明第1實施方式的處理流程的流程圖。
[0050] 圖8是以時間序列順序說明第1實施方式的處理流程的流程圖。
[0051] 圖9是使用1幀的參照圖像生成處理的說明圖。
[0052] 圖10是使用2幀的參照圖像生成處理的說明圖。
[0053] 圖11是分光感光度特性的說明圖。
[0054] 圖12是3個波段的濾色器陣列的說明圖。
[0055] 圖13是第1實施方式的圖像處理裝置的另一個系統(tǒng)結(jié)構(gòu)例。
[0056] 圖14是說明第1實施方式的另一個處理流程的流程圖。
[0057] 圖15是第2實施方式的圖像處理裝置的系統(tǒng)結(jié)構(gòu)例。
[0058] 圖16是說明第2實施方式的處理流程的流程圖。
[0059] 圖17是說明第2實施方式的另一個處理流程的流程圖。
【具體實施方式】
[0060] 下面，對第1實施方式和第2實施方式進(jìn)行說明。首先，對各實施方式的背景的概 要進(jìn)行統(tǒng)一說明。接著，按照每個實施方式對系統(tǒng)結(jié)構(gòu)例、處理的詳細(xì)情況和變形例進(jìn)行說 明。最后，對第1實施方式和第2實施方式的手法進(jìn)行統(tǒng)一說明。另外，以下說明的各實施 方式并非不當(dāng)?shù)叵薅?quán)利要求書所記載的本發(fā)明的內(nèi)容。并且，各實施方式中說明的全部 結(jié)構(gòu)不一定是