r>[0103] 在上 I _ _ j x衆(zhòng)# y究轉(zhuǎn) $愈拉 I v J 輸入後像 a j 一 ￡a 2b j .2a j ?2 b j 輸 λ爲(wèi)像 i5 i 2 b j a | -2b | 諗入閨緣(:.j 0 2 b ~~~0 一?-2 b 故-\ 殿像 i:· -a 2 b a w2 b | 晚:>、盼緣 i; -2? b j 2b 輸八澎隊(duì)卜 一a 1： ss I -b 輸,w;u 0 b Ο i 一b ----------...-~一一......... 紛a進(jìn)緣丨i -si b a i 發(fā)八思嫁丨. -2a Q 2& ! 〇 檢入銀像] -a Ο β δ 輸入緝像s: 欲入閣鋒?. 一a 0 a 0 輸..\思緣從 -*2a h Zb ^ b -玲入塌像5 -b h a - b 論八閣傳〇 〇 b 0 -b J 餘>\瓚漆朽， 一@ b a -b
[0104] 在以上的表中，若將輸入圖像IG的X方向的間距設(shè)為Px，將Y方向的間距設(shè)為Py， 則值a、b使用伸縮率β，成為相當(dāng)于ΡχΧ β X30、PyX β X30的值。
[0105] 關(guān)于搜索區(qū)域（也稱為被估計(jì)的存在區(qū)域），上述范圍Α1為例示，不限定于上述范 圍A1。在輸入圖像IG(A~J、L~P)中，若認(rèn)為基準(zhǔn)像素 CP'沿著規(guī)定上述范圍A1的對(duì) 角線而偏移，則與將范圍A1全部設(shè)定為搜索區(qū)域相比，將沿著對(duì)應(yīng)于對(duì)角線的線段TL的細(xì) 長(zhǎng)的范圍A2設(shè)定為搜索區(qū)域則搜索的效率變得更好。即，如圖9所示，通過(guò)確定在降低了 30°C溫度的情況下成為對(duì)應(yīng)于像素 CP'的位置的像素 CP1、和在上升了 30°C溫度的情況下 成為對(duì)應(yīng)于像素 CP'的位置的像素 CP2,從而將連接像素 CP1和像素 CP2且擴(kuò)大了一定的余 量寬度的范圍A2設(shè)為搜索區(qū)域。圖10是關(guān)于成為檢索的對(duì)象的全部輸入圖像IG(A~J、 L~P)，示出搜索區(qū)域的范圍A2的圖。此時(shí)，范圍A2相對(duì)于輸入圖像IG的軸X、Y傾斜。
[0106] 關(guān)于其他輸入圖像IG(B~J、L~P)，也通過(guò)同樣的方法，將覆蓋在輸入圖像 IG(B~J、L~P)中設(shè)想的偏移量的范圍A1、更優(yōu)選沿著連接±30°C的上限和下限的線段 TL而擴(kuò)大了一定的余量寬度的細(xì)長(zhǎng)的范圍A2設(shè)為搜索區(qū)域。
[0107] 另外，也可以基于第一位置T1、第二位置T2、第一位置T1與第二位置T2的距離L、 以及透鏡陣列層疊體1(透鏡陣列10、20)的線膨脹系數(shù)α 2來(lái)決定搜索區(qū)域。此時(shí)，由于 省略上述的過(guò)程，處理變得高速。
[0108] 以上，以不能確定像檢測(cè)部101的溫度為前提，但在攝像裝置100具備用于檢測(cè)像 檢測(cè)部101周邊的溫度的溫度傳感器的情況下，還能夠如圖11所示那樣將進(jìn)一步限制了范 圍Α2的接近于正方形的范圍A3設(shè)為搜索區(qū)域。圖示的范圍A3相當(dāng)于與標(biāo)準(zhǔn)溫度相比上 升了 +30°C的情況。也就是說(shuō)，范圍A3對(duì)應(yīng)于像檢測(cè)部101周邊的溫度，在范圍Α2內(nèi)移動(dòng)。
[0109] 以上那樣的范圍A1、A2、A3以通過(guò)比較簡(jiǎn)易的方法估計(jì)出的單眼像的存在區(qū)域?yàn)?前提，將這樣的范圍Al、A2、A3設(shè)為搜索區(qū)域而執(zhí)行模式匹配，從而能夠?qū)?duì)圖像處理的負(fù) 荷設(shè)為比較小。
[0110] 另外，與上述搜索區(qū)域?qū)?yīng)的范圍A2、A3等除了考慮溫度變化之外，例如考慮實(shí) 際的合成透鏡la間的距離等從設(shè)計(jì)值的偏差，能夠設(shè)為與僅根據(jù)溫度變化而設(shè)想的余量 寬度相比更大地向外側(cè)擴(kuò)大的范圍。
[0111] 在上述搜索區(qū)域即范圍A1、A2、A3 (優(yōu)選的是范圍A2、A3)內(nèi)，使用包含輸入圖像 IG(A)的基準(zhǔn)像素 CP'的圖像來(lái)進(jìn)行模板匹配處理，與輸入圖像IG(K)的基準(zhǔn)像素 CP-致 度最高的像素 TP被確定為位于與基準(zhǔn)像素 CP對(duì)應(yīng)的位置的像素。作為在此的模板匹配處 理的一例，列舉NCC(歸一化相關(guān)系數(shù)，Normalized Cross Correlation)。作為其他例，也可 以是 SAD (絕對(duì)差總和，Sum of Absolute Difference)、SSD(平方差總和，Sum of Squared Difference)等。并且，關(guān)于其他輸入圖像IG(B~J、L~P)，在同樣的搜索區(qū)域即范圍Al、 A2、A3 (優(yōu)選的是范圍A2、A3)內(nèi)，進(jìn)行上述模板匹配處理，在各輸入圖像IG (A~J、L~P) 中，位于與輸入圖像IG(K)的基準(zhǔn)像素 CP對(duì)應(yīng)的位置的像素被確定。
[0112] 圖12是對(duì)應(yīng)于圖9的圖，是說(shuō)明搜索區(qū)域的設(shè)定等的變形例的圖。此時(shí)，基準(zhǔn)像 素 CP盡管處于輸入圖像IG(K)上，但被設(shè)定于從設(shè)為沒(méi)有溫度所導(dǎo)致的位置偏差的點(diǎn)SP 分離的位置。結(jié)果，基準(zhǔn)像素 CP也在比較寬的范圍內(nèi)偏移，但在攝像裝置100具備用于檢 測(cè)像檢測(cè)部101周邊的溫度的溫度傳感器的情況下，根據(jù)像檢測(cè)部101的周邊溫度而選擇 范圍A2'中的特定處的像素 CPV，將該像素設(shè)為模板匹配處理用的基準(zhǔn)像素 CP即可。
[0113] (位置偏差估計(jì)處理1)
[0114] 以下，說(shuō)明圖7的步驟S13中的作為第二位置偏差估計(jì)處理工序的位置偏差估計(jì) 處理1。在該位置偏差估計(jì)處理1中，以更高精度地提高步驟S12中的概略估計(jì)的子像素單 位來(lái)進(jìn)行位置偏差估計(jì)。
[0115] 圖13A~13C是用于說(shuō)明上述步驟S13中的位置偏差估計(jì)處理1的圖。如圖13A 所示，關(guān)于溫度變化后的一個(gè)輸入圖像IG (A)，被估計(jì)以子像素為單位的位置偏差。在以通 過(guò)上述步驟S12的第一位置偏差估計(jì)處理工序而確定的、在輸入圖像IG(A)中相當(dāng)于基準(zhǔn) 像素 CP'的像素 TP為中心的例如3X3像素的范圍的規(guī)定范圍A4內(nèi)，以模板匹配中的每個(gè) 像素的一致度（例如NCC值）為基礎(chǔ)進(jìn)行二次曲面擬合（參照?qǐng)D13B)。在步驟S13的位 置偏差估計(jì)處理1中，作為一例，能夠采用在論文"位置札量爸考慮L 畫素選択([基 < 口〃只卜超分辨処理（基于考慮了位置偏差量的像素選擇的魯棒超分辨處理）"（電子 信息通信學(xué)會(huì)論文志，Vol. J92 - D，No. 5, pp. 650 - 660, 2009, 2009年5月）中記載的方 法。即，如圖13B以及13C所示，每個(gè)像素的一致度之中一致度最高的像素的坐標(biāo)被確定為 偏差量。像這樣，在設(shè)定搜索區(qū)域后進(jìn)行模式匹配，因此與對(duì)全部圖像進(jìn)行模式匹配相比， 能夠高速地進(jìn)行處理。
[0116] 以上，說(shuō)明了關(guān)于基準(zhǔn)圖像的輸入圖像IG(A)，進(jìn)行精密的位置偏差估計(jì)的處理， 但關(guān)于其他輸入圖像IG(B~J、L~P)，也以通過(guò)上述步驟S12的第一位置偏差估計(jì)處理 工序而確定的像素 TP為基準(zhǔn)，進(jìn)行與輸入圖像IG(A)的情況相同的處理，從而能夠進(jìn)行精 密的位置偏差估計(jì)。
[0117] 另外，在步驟S13中，也可以代替上述的二次曲面擬合，采用通過(guò)X坐標(biāo)以及Y坐 標(biāo)分別擬合為二次曲線等的其他方法。
[0118] (位置偏差估計(jì)處理2)
[0119] 在步驟S10中選擇了模式2的情況下，在步驟S16中，執(zhí)行簡(jiǎn)易的位置偏差估計(jì)處 理即位置偏差估計(jì)處理2。在本步驟中，根據(jù)基于第一位置T1與第二位置T2的差異的矢量 W1、和基于透鏡陣列10的各向同性的變形的矢量W2,簡(jiǎn)易地估計(jì)位置偏差。具體而言，在攝 像裝置內(nèi)設(shè)置溫度傳感器，在通過(guò)測(cè)定了兩矢量Wl、W2的環(huán)境溫度來(lái)進(jìn)行校正之后，根據(jù) 兩者的合成矢量而計(jì)算每個(gè)像素的偏差量，該計(jì)算結(jié)果估計(jì)為表示位置偏差。或者，根據(jù)圖 像數(shù)據(jù)的分離的多個(gè)像素而估計(jì)溫度變化，基于此而校正兩矢量W1、W2,對(duì)校正后的兩矢量 進(jìn)行合成而估計(jì)位置偏差。根據(jù)該方法，不進(jìn)行上述那樣的基于搜索區(qū)域的設(shè)定或模式匹 配的準(zhǔn)確的位置偏差檢測(cè)，因此能夠高速地進(jìn)行位置偏差估計(jì)。也就是說(shuō)，能夠通過(guò)比較簡(jiǎn) 易的運(yùn)算，掌握伴隨著環(huán)境條件的變化的單眼像的位置偏差，能夠迅速地進(jìn)行良好的圖像 處理。另外，在矢量W1的計(jì)算時(shí)，也可以根據(jù)基準(zhǔn)溫度下的支架形狀以及透鏡陣列形狀，計(jì) 算第一位置T1以及第二位置T2,也可以在將透鏡陣列10粘結(jié)在支架50上后，使溫度升降 而實(shí)際測(cè)量第一位置T1以及第二位置T2。矢量W2根據(jù)位置而分別不同，但視為以第二位 置T2為中心的各向同性的變形，從而能夠作為相對(duì)于第二位置T2的位置的函數(shù)而容易地 計(jì)算。
[0120] (超分辨處理）
[0121] 圖14是表示上述步驟S14中的超分辨處理的流程的圖。在圖14中，作為具 體例，不出在進(jìn)行在論文"Fast and Robust Multiframe Super Resolution"（IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 13, NO. 10, OCTOBER 2004 page. 1327-1344)中記 載的處理的情況下的超分辨處理的流程。
[0122] 如圖14所示，在步驟S31中，對(duì)輸入圖像中的一張實(shí)施雙線性法等插值處理而將 輸入圖像的分辨率轉(zhuǎn)換為超分辨處理后的分辨率即高分辨率，從而生成作為初始圖像的輸 出候選圖像。
[0123] 在步驟S32中，計(jì)算用于使噪聲穩(wěn)定地收斂的BTV(雙邊總變分，Bilateral Total Variation)量。
[0124] 在步驟S33中，將上述生成的輸出候選圖像和16張量的輸入圖像進(jìn)行比較，計(jì)算 殘差。即，在步驟S33中，上述生成的輸出候選圖像基于各輸入圖像及其惡化信息（表示超 分辨后的圖像和輸入圖像之間的關(guān)系的信息）而被轉(zhuǎn)換（低分辨率化）為輸入圖像尺寸 (參照?qǐng)D15的步驟S41)，計(jì)算與16張量的輸入圖像的差異并進(jìn)行記錄（參照?qǐng)D15的步驟 S42)。并且，該差異被返回超分辨處理后的尺寸（參照?qǐng)D15的步驟S43)，被設(shè)為殘差。
[0125] 在步驟S34中，根據(jù)在上述步驟S31中生成的輸出候選圖像而計(jì)算的殘差和BTV 量減少而生成下一輸出候選圖像。
[0126] 上述步驟S31~S34的處理直至輸出候選圖像收斂為止被重復(fù)，收斂后的輸出候 選圖像作為超分辨處理后的輸出圖像而被輸出。
[0127] 重復(fù)也可以是大致充分地收斂的次數(shù)（例如200次）等被預(yù)先規(guī)定的次數(shù)，也可 以是在每次一系列的處理時(shí)，進(jìn)行收斂判定，根據(jù)其結(jié)果而重復(fù)。
[0128] 圖15是用于說(shuō)明在上述步驟S33中使用的惡化信息的圖。惡化信息是指，表示輸 入圖像各自相對(duì)于超分辨處理后的高分辨率圖像的關(guān)系的信息，例如以矩陣形式來(lái)表示。 在惡化信息中，包含在上述步驟