專利名稱：圖像顯示裝置及攝像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種對(duì)基于攝影圖像的圖像進(jìn)行顯示的圖像顯示裝置以及包括該圖
像顯示裝置的攝像裝置。
背景技術(shù)：
在具備自動(dòng)聚焦功能的數(shù)碼照相機(jī)等攝像裝置中，通常，按照與AF區(qū)域內(nèi)的被攝 體對(duì)焦的方式執(zhí)行光學(xué)自動(dòng)聚焦控制，之后進(jìn)行實(shí)際的攝影處理。自動(dòng)聚焦控制的結(jié)果大 多能夠在設(shè)置于攝像裝置的顯示畫(huà)面上確認(rèn)。但是，在該方法中，有時(shí)設(shè)置于攝像裝置的顯 示畫(huà)面會(huì)很小，因此很難辨識(shí)與AF區(qū)域內(nèi)的哪個(gè)部分對(duì)焦，所以，有時(shí)用戶會(huì)錯(cuò)誤地確認(rèn) 實(shí)際上對(duì)焦(換言之，聚焦)的區(qū)域。 鑒于此，以容易確認(rèn)實(shí)際上對(duì)焦的區(qū)域?yàn)槟康?，在某個(gè)以往的攝像裝置中，進(jìn)行了 如下的基于對(duì)比度檢測(cè)方式的控制。將攝影圖像的圖像區(qū)域劃分為多個(gè)塊，移動(dòng)聚焦透鏡 的同時(shí)求出各塊的AF評(píng)價(jià)值，并在每一個(gè)聚焦透鏡的透鏡位置處，計(jì)算出對(duì)AF區(qū)域內(nèi)的所 有塊的AF評(píng)價(jià)值進(jìn)行總計(jì)的總計(jì)AF評(píng)價(jià)值。而且，將總計(jì)AF評(píng)價(jià)值最大的透鏡位置作為 聚焦透鏡位置來(lái)導(dǎo)出。另一方面，在每一塊中，檢測(cè)使該塊的AF評(píng)價(jià)值最大化的透鏡位置 來(lái)作為塊聚焦透鏡位置，判斷聚焦透鏡位置與對(duì)應(yīng)的塊聚焦透鏡位置之間的差最小的塊為 對(duì)焦的區(qū)域(聚焦區(qū)域)，并識(shí)別顯示該區(qū)域。 但是，在該方法中，由于必須使聚焦透鏡進(jìn)行多階段的移動(dòng)，因此該移動(dòng)會(huì)導(dǎo)致攝 影所必須的時(shí)間增加。另外，不能應(yīng)用于不伴隨透鏡移動(dòng)的攝影中。 另外，雖然用戶想要獲取與關(guān)注被攝體對(duì)焦的攝影圖像，但是在實(shí)際獲得的攝影 圖像中有時(shí)關(guān)注被攝體會(huì)模糊。最好是能夠在獲得攝影圖像之后根據(jù)攝影圖像生成與期望 的被攝體對(duì)焦的圖像。

發(fā)明內(nèi)容
本發(fā)明的第一圖像顯示裝置具有被攝體距離檢測(cè)部，其檢測(cè)由攝像部攝影的各 被攝體的被攝體距離；輸出圖像生成部，其根據(jù)由所述攝像部的攝影而得到的輸入圖像，生 成與位于特定距離范圍內(nèi)的被攝體對(duì)焦的圖像來(lái)作為輸出圖像；和顯示控制部，其基于所 述被攝體距離檢測(cè)部的檢測(cè)結(jié)果，將作為所述輸出圖像中的圖像區(qū)域的、位于所述特定距 離范圍內(nèi)的被攝體出現(xiàn)的圖像區(qū)域作為聚焦區(qū)域來(lái)提取，并按照能夠辨識(shí)所述聚焦區(qū)域的 方式在顯示部上顯示基于所述輸出圖像的顯示圖像。 具體而言，例如，所述被攝體距離檢測(cè)部基于所述輸入圖像的圖像數(shù)據(jù)和所述攝 像部的光學(xué)系統(tǒng)的特性，檢測(cè)所述輸入圖像上的各位置處的被攝體的被攝體距離，所述輸 出圖像生成部接受所述特定距離范圍的指定，并對(duì)所述輸入圖像進(jìn)行與所述被攝體距離檢測(cè)部檢測(cè)的被攝體距離、被指定的所述特定距離范圍、所述攝像部的光學(xué)系統(tǒng)的特性相應(yīng) 的圖像處理，從而生成所述輸出圖像。 更具體而言，例如，所述輸入圖像的圖像數(shù)據(jù)中包括基于所述輸入圖像上的各位 置處的被攝體的被攝體距離的信息，所述被攝體距離檢測(cè)部從所述輸入圖像的圖像數(shù)據(jù)中 提取所述信息，并基于提取結(jié)果和所述光學(xué)系統(tǒng)的特性來(lái)檢測(cè)所述輸入圖像上的各位置處 的被攝體的被攝體距離。 或者，更具體而言，例如，所述被攝體距離檢測(cè)部將表示所述輸入圖像的多個(gè)顏色 的顏色信號(hào)中包含的規(guī)定的高頻成分按每個(gè)顏色信號(hào)進(jìn)行提取，并基于提取結(jié)果和所述光 學(xué)系統(tǒng)的軸上色差的特性來(lái)檢測(cè)所述輸入圖像上的各位置處的被攝體的被攝體距離。
本發(fā)明的第一攝像裝置具備攝像部；上述第一圖像顯示裝置。 另外，例如，在本發(fā)明的攝像裝置中，通過(guò)利用了所述攝像部的攝影而得到的圖像 數(shù)據(jù)被作為所述輸入圖像的圖像數(shù)據(jù)而提供給所述圖像顯示裝置，在所述輸入圖像的攝影 之后，按照指定所述特定距離范圍的操作，根據(jù)所述輸入圖像生成所述輸出圖像，并在所述 顯示部上顯示基于該輸出圖像的所述顯示圖像。
本發(fā)明的第二圖像顯示裝置的特征在于，具備圖像獲取部，其獲取包含基于各被
攝體的被攝體距離的被攝體距離信息的圖像數(shù)據(jù)來(lái)作為輸入圖像的圖像數(shù)據(jù)；特定被攝體
距離輸入部，其接受特定被攝體距離的輸入；和圖像生成/顯示控制部，其基于所述被攝體
距離信息對(duì)所述輸入圖像進(jìn)行圖像處理，來(lái)生成與位于所述特定被攝體距離上的被攝體對(duì)
焦的輸出圖像，并在顯示部上顯示所述輸出圖像或基于所述輸出圖像的圖像。 而且，例如，所述圖像生成/顯示控制部在所述輸出圖像中確定對(duì)焦的被攝體，并
對(duì)該對(duì)焦的被攝體進(jìn)行強(qiáng)調(diào)后顯示在所述顯示部上。
本發(fā)明的第二攝像裝置具備攝像部；上述第二圖像顯示裝置。 本發(fā)明的意義乃至效果會(huì)通過(guò)以下所示的實(shí)施方式的說(shuō)明而變得更加明確。但 是，以下的實(shí)施方式始終是本發(fā)明的一個(gè)實(shí)施方式，本發(fā)明和各構(gòu)成要件的用語(yǔ)的意義不 僅限于以下實(shí)施方式的記載。


圖l是本發(fā)明的第l實(shí)施方式所涉及的攝像裝置的示意整體模塊圖。圖2(a) 和(b)分別是表示在圖1的攝像裝置中獲得的原始圖像和目標(biāo)聚焦圖像的例子的圖。圖 3(a) (d)分別是表示在圖1的攝像裝置中獲得的強(qiáng)調(diào)顯示圖像的例子的圖。圖4是表示 本發(fā)明的第1實(shí)施方式所涉及的生成強(qiáng)調(diào)顯示圖像時(shí)的亮度調(diào)整例的圖。圖5是表示圖1 的攝像裝置的動(dòng)作的流程的流程圖。圖6是用于說(shuō)明本發(fā)明的第2實(shí)施方式所涉及的透鏡 所具有的軸上色差的特性的圖。圖7(a) (c)分別是表示本發(fā)明的第2實(shí)施方式所涉及的 點(diǎn)光源和具有軸上色差的透鏡、各顏色光的成像點(diǎn)以及攝像元件的位置關(guān)系的圖，圖7(a) 表示點(diǎn)光源和透鏡間距離比較小的情況，圖7(b)表示點(diǎn)光源和透鏡間距離為中等程度的 情況，圖7(c)表示點(diǎn)光源和透鏡間距離比較大的情況。圖8是表示本發(fā)明的第2實(shí)施方式 所涉及的點(diǎn)光源和具有軸上色差的透鏡與攝像元件的位置關(guān)系、攝像元件上的各顏色光的 像的寬度的圖。圖9是表示本發(fā)明的第2實(shí)施方式所涉及的通過(guò)具有軸上色差的透鏡獲得 的原始圖像的色信號(hào)的分辨率特性的圖。圖10是表示本發(fā)明的第2實(shí)施方式所涉及的通
5過(guò)具有軸上色差的透鏡獲得的原始圖像的色信號(hào)的分辨率特性的圖。圖11是本發(fā)明的第2 實(shí)施方式所涉及的攝像裝置的整體模塊圖。圖12(a) (d)是用于說(shuō)明本發(fā)明的第2實(shí)施 方式所涉及的從原始圖像經(jīng)過(guò)中間生成圖像的生成來(lái)生成目標(biāo)聚焦圖像的原理的圖。圖13 是用于說(shuō)明本發(fā)明的第2實(shí)施方式的具體例所涉及的兩個(gè)被攝體距離(D工和D》的圖。圖 14是表示兩個(gè)被攝體距離(D工和D》下的兩個(gè)被攝體與原始圖像上的這兩個(gè)被攝體的像的 圖。圖15是圖11所示的高頻成分提取/距離檢測(cè)部以及被攝景深度放大處理部的內(nèi)部模 塊圖。圖16是用于說(shuō)明原始圖像、中間生成圖像以及目標(biāo)聚焦圖像上的像素位置的意義的 圖。圖17是表示在圖15的高頻成分提取/距離檢測(cè)部中生成的值的特性的圖。圖18是 用于說(shuō)明圖15的高頻成分提取/距離檢測(cè)部的被攝體距離推定方法的圖。圖19是圖11 所示的被攝景深度控制部的內(nèi)部模塊圖。圖20是用于說(shuō)明在圖19的被攝景深度控制部中 執(zhí)行的處理的內(nèi)容的圖。圖21是用于說(shuō)明在圖19的被攝景深度控制部中執(zhí)行的處理的內(nèi) 容的圖。圖22是能夠代替圖11的被攝景深度放大處理部和被攝景深度控制部而使用的被 攝景深度調(diào)整部的內(nèi)部模塊圖。圖23是用于說(shuō)明在圖22的被攝景深度調(diào)整部中執(zhí)行的處 理的內(nèi)容的圖。圖24是圖22所示的被攝景深度調(diào)整部的變形內(nèi)部模塊圖。圖25是本發(fā) 明的第1實(shí)施方式所涉及的攝像裝置的示意整體模塊圖，是在圖1中追加了操作部和深度 信息生成部的圖。
具體實(shí)施例方式
以下，參照附圖具體說(shuō)明本發(fā)明的幾個(gè)實(shí)施方式。在所參照的各圖中，對(duì)相同的部 分賦予相同符號(hào)，并原則上省略關(guān)于相同部分的重復(fù)說(shuō)明。(第1實(shí)施方式)首先，說(shuō)明本發(fā)明的第1實(shí)施方式。圖l是第l實(shí)施方式所涉 及的攝像裝置100的示意整體模塊圖。攝像裝置100(以及后述的其它實(shí)施方式的攝像裝 置)是能夠攝影和記錄靜止圖像的數(shù)碼照相機(jī)、或能夠攝影和記錄靜止圖像和運(yùn)動(dòng)圖像的 數(shù)碼攝像機(jī)。攝像裝置100具備由符號(hào)101 106所參照的各部分。另外，攝影與攝像是 相同的意思。 攝像部101具備光學(xué)系統(tǒng)和CCD (Charge Coupled Device)等攝像元件，根據(jù)使用 攝像元件的攝影，輸出表示被攝體像的電信號(hào)。原始圖像生成部102通過(guò)對(duì)攝像部101的 輸出信號(hào)進(jìn)行規(guī)定的影像信號(hào)處理，生成圖像數(shù)據(jù)。將原始圖像生成部102的生成圖像數(shù) 據(jù)表示的一張靜止圖像稱作原始圖像。原始圖像表示在攝像部101的攝像元件上成像的被 攝體像。另外，圖像數(shù)據(jù)是表示圖像的顏色和明度的數(shù)據(jù)。 原始圖像的圖像數(shù)據(jù)中包括依賴于原始圖像的各像素位置的被攝體的被攝體距 離的信息。例如，由于攝像部101的光學(xué)系統(tǒng)具有的軸上色差，原始圖像的圖像數(shù)據(jù)中會(huì)包 括這樣的信息(關(guān)于該信息，將在其它實(shí)施方式中詳細(xì)說(shuō)明)。被攝體距離檢測(cè)部103從原 始圖像的圖像數(shù)據(jù)提取該信息，并基于提取結(jié)果檢測(cè)(推定)原始圖像的各像素位置的被 攝體的被攝體距離。將表示原始圖像的各像素位置的被攝體的被攝體距離的信息稱作被攝 體距離信息。另外，某被攝體的被攝體距離指該被攝體與攝像裝置(在本實(shí)施方式中是攝 像裝置100)之間的實(shí)際空間上的距離。 目標(biāo)聚焦圖像生成部104基于原始圖像的圖像數(shù)據(jù)、被攝體距離信息以及被攝景 深度設(shè)定信息，生成目標(biāo)聚焦圖像的圖像數(shù)據(jù)。被攝景深度設(shè)定信息是指定應(yīng)由目標(biāo)聚焦圖像生成部104生成的目標(biāo)聚焦圖像的被攝景深度的信息，根據(jù)被攝景深度設(shè)定信息指定 位于目標(biāo)聚焦圖像的被攝景深度內(nèi)的最短的被攝體距離和最長(zhǎng)的被攝體距離。以下，也會(huì) 將由被攝景深度設(shè)定信息指定的被攝景深度僅稱作指定被攝景深度。例如，通過(guò)用戶的操 作設(shè)定被攝景深度設(shè)定信息。即，具體而言，例如，用戶通過(guò)對(duì)設(shè)置在攝像裝置100中的操 作部107(參照?qǐng)D25，在圖11的攝像裝置1中是操作部24)進(jìn)行規(guī)定的設(shè)定操作，能夠自 如地設(shè)定指定被攝景深度。在圖25中，設(shè)置在攝像裝置100中的深度信息生成部108從上 述設(shè)定操作的內(nèi)容中識(shí)別指定被攝景深度，從而生成被攝景深度設(shè)定信息。用戶能夠通過(guò) 對(duì)操作部107 (在圖11的攝像裝置1中是操作部24)輸入上述最短的被攝體距離和最長(zhǎng)的 被攝體距離來(lái)設(shè)定指定被攝景深度，也能夠通過(guò)對(duì)操作部107 (在圖11的攝像裝置1中是 操作部24)輸入目標(biāo)聚焦圖像的被攝景深度內(nèi)的最短、中間或最長(zhǎng)的被攝體距離和目標(biāo)聚 焦圖像的被攝景深度的深度來(lái)設(shè)定指定被攝景深度。因此，可以說(shuō)攝像裝置100的操作部 107 (在圖11的攝像裝置1中是操作部24)作為特定被攝體距離輸入部而起作用。
目標(biāo)聚焦圖像是與位于指定被攝景深度內(nèi)的被攝體對(duì)焦且未與位于該指定被攝 景深度外的被攝體對(duì)焦的圖像。目標(biāo)聚焦圖像生成部104通過(guò)按照被攝景深度設(shè)定信息對(duì) 原始圖像進(jìn)行與被攝體距離信息相應(yīng)的圖像處理，生成具有指定被攝景深度的目標(biāo)聚焦圖 像。從原始圖像生成目標(biāo)聚焦圖像的方法將在其它實(shí)施方式中進(jìn)行例示。另外，對(duì)焦和"聚 焦"的意思相同。 顯示控制部105基于目標(biāo)聚焦圖像的圖像數(shù)據(jù)、被攝體距離信息以及被攝景深度 設(shè)定信息，生成特殊的顯示圖像的圖像數(shù)據(jù)。為方便起見(jiàn)，將該特殊的顯示圖像稱作強(qiáng)調(diào)顯 示圖像。具體而言，基于被攝體距離信息和被攝景深度設(shè)定信息，在目標(biāo)聚焦圖像的整個(gè)圖 像區(qū)域內(nèi)，確定對(duì)焦的圖像區(qū)域來(lái)作為聚焦區(qū)域，并對(duì)目標(biāo)聚焦圖像進(jìn)行規(guī)定的加工處理， 使得聚焦區(qū)域在顯示部106的顯示畫(huà)面上能夠區(qū)別于其它圖像區(qū)域地被識(shí)別出來(lái)。加工處 理后的目標(biāo)聚焦圖像作為強(qiáng)調(diào)顯示圖像被顯示在顯示部106(液晶顯示器等)的顯示畫(huà)面 上。另外，將目標(biāo)聚焦圖像的整個(gè)區(qū)域中未對(duì)焦的圖像區(qū)域稱作非聚焦區(qū)域。
將位于指定被攝景深度內(nèi)的被攝體距離上的被攝體稱作聚焦被攝體，將位于指定 被攝景深度外的被攝體距離上的被攝體稱作非聚焦被攝體。目標(biāo)聚焦圖像和強(qiáng)調(diào)顯示圖像 的聚焦區(qū)域中具有聚焦被攝體的圖像數(shù)據(jù)，目標(biāo)聚焦圖像和強(qiáng)調(diào)顯示圖像的非聚焦區(qū)域中 具有非聚焦被攝體的圖像數(shù)據(jù)。 說(shuō)明原始圖像、目標(biāo)修正圖像以及強(qiáng)調(diào)顯示圖像的例子。圖2(a)的圖像200表示 原始圖像的例子。原始圖像200中是通過(guò)對(duì)包括人物即被攝體SUBA和SUBB的實(shí)際空間區(qū) 域進(jìn)行攝影而獲得的原始圖像。被攝體SUBA的被攝體距離比被攝體SUBB的被攝體距離小。 另外，圖2 (a)的原始圖像200是假設(shè)了攝像部101的光學(xué)系統(tǒng)具有比較大的軸上色差的情 況下的原始圖像。由于該軸上色差，在原始圖像200上被攝體SUBa和SUBe表現(xiàn)得比較模 糊。 圖2 (b)的圖像201是基于原始圖像200的目標(biāo)聚焦圖像的例子。生成目標(biāo)聚焦圖 像201時(shí)，假設(shè)按照被攝體SUBA的被攝體距離位于指定被攝景深度內(nèi)的一方面被攝體SUBB 的被攝體距離位于指定被攝景深度外的方式制定被攝景深度設(shè)定信息。因此，在目標(biāo)聚焦 圖像201上，清晰地描繪了被攝體SUBA的一方面，被攝體SUBB的像是模糊的。
如上所述，顯示控制部105按照在顯示部106的顯示畫(huà)面上能夠辨識(shí)聚焦區(qū)域的方式對(duì)目標(biāo)聚焦圖像進(jìn)行加工來(lái)獲得強(qiáng)調(diào)顯示圖像。圖3(a) (d)的圖像210 213分 別是基于目標(biāo)聚焦圖像201的強(qiáng)調(diào)顯示圖像的例子。目標(biāo)聚焦圖像201的被攝體SUBA的圖 像數(shù)據(jù)所存在的圖像區(qū)域被包括在聚焦區(qū)域中。實(shí)際上，被攝體SUBA的周邊被攝體(例如， 被攝體SUBA的腳下的地面)的圖像數(shù)據(jù)所存在的圖像區(qū)域也被包括在聚焦區(qū)域中，但是， 現(xiàn)在為了防止圖示的復(fù)雜化以及便于說(shuō)明，假設(shè)在強(qiáng)調(diào)顯示圖像210 213中被攝體SUBA 以外的全部被攝體的圖像區(qū)域被包括在非聚焦區(qū)域。 例如，如圖3(a)所示，通過(guò)對(duì)目標(biāo)聚焦圖像201進(jìn)行強(qiáng)調(diào)聚焦區(qū)域內(nèi)的圖像的邊 緣的加工處理，能夠辨識(shí)聚焦區(qū)域。在此時(shí)獲得的強(qiáng)調(diào)顯示圖像210中，被攝體SUBA的邊緣 被強(qiáng)調(diào)顯示。邊緣的強(qiáng)調(diào)能夠由使用周知的邊緣強(qiáng)調(diào)濾波器的濾波處理來(lái)實(shí)現(xiàn)。在圖3(a) 中，通過(guò)加粗顯示被攝體SUBA的輪廓來(lái)表示強(qiáng)調(diào)了被攝體SUBA的邊緣的狀態(tài)。
或者，例如，如圖3(b)的強(qiáng)調(diào)顯示圖像211所示，通過(guò)對(duì)目標(biāo)聚焦圖像201進(jìn)行增 加聚焦區(qū)域內(nèi)的圖像的亮度(或明度)的加工處理，能夠辨識(shí)聚焦區(qū)域。在此時(shí)獲得的強(qiáng) 調(diào)顯示圖像211中，被攝體SUBA被顯示得比其它部分更亮。 或者，例如，如圖3(c)的強(qiáng)調(diào)顯示圖像212所示，通過(guò)對(duì)目標(biāo)聚焦圖像201進(jìn)行降 低非聚焦區(qū)域內(nèi)的圖像的亮度(或明度)的加工處理，也能夠辨識(shí)聚焦區(qū)域。在此時(shí)獲得 的強(qiáng)調(diào)顯示圖像212中，被攝體SUBA以外的被攝體被顯示得較暗。另外，也可以對(duì)目標(biāo)聚 焦圖像201進(jìn)行增加聚焦區(qū)域內(nèi)的圖像的亮度(或明度)而降低非聚焦區(qū)域內(nèi)的圖像的亮 度(或明度)的加工處理。 或者，例如，如圖3(d)的強(qiáng)調(diào)顯示圖像213所示，通過(guò)對(duì)目標(biāo)聚焦圖像201進(jìn)行降 低非聚焦區(qū)域內(nèi)的圖像的彩度的加工處理，能夠辨識(shí)聚焦區(qū)域。此時(shí)，不改變聚焦區(qū)域內(nèi)的 圖像的彩度。但是，也可以增加聚焦區(qū)域內(nèi)的圖像的彩度。 另外，降低非聚焦區(qū)域內(nèi)的圖像的亮度時(shí)，可以一律按照相同程度降低非聚焦區(qū) 域內(nèi)的圖像的亮度，但是如圖4所示，也可以隨著亮度被降低的圖像區(qū)域的被攝體距離遠(yuǎn) 離指定被攝景深度的中心，逐漸增加亮度的降低程度。降低明度或彩度時(shí)也同樣。在邊緣 強(qiáng)調(diào)中，也可以使邊緣強(qiáng)調(diào)的程度不一致。例如，隨著邊緣強(qiáng)調(diào)的圖像區(qū)域的被攝體距離遠(yuǎn) 離指定被攝景深度的中心，逐漸降低邊緣強(qiáng)調(diào)的程度。 另外，在上述的加工處理中，也可以組合多個(gè)加工處理來(lái)實(shí)施。例如，也可以采用 降低非聚焦區(qū)域內(nèi)的圖像的亮度(或明度)的同時(shí)強(qiáng)調(diào)聚焦區(qū)域內(nèi)的圖像的邊緣的加工處 理。以上舉了幾個(gè)用于能夠辨識(shí)聚焦區(qū)域的方法，但是這些僅僅是例示，只要在顯示部106 上能夠辨識(shí)聚焦區(qū)域，可采用任何其它方法。 在圖5中說(shuō)明攝像裝置100的動(dòng)作的流程。首先，在步驟S11中，獲取原始圖像，接 著在步驟S12中，根據(jù)原始圖像的圖像數(shù)據(jù)生成被攝體距離信息。之后，在步驟S13中，攝 像裝置100接受用戶進(jìn)行的對(duì)被攝景深度進(jìn)行指定的操作，并根據(jù)指定的被攝景深度制成 被攝景深度設(shè)定信息。然后，在步驟S14中，利用被攝體距離信息和被攝景深度設(shè)定信息， 根據(jù)原始圖像的圖像數(shù)據(jù)生成目標(biāo)聚焦圖像的圖像數(shù)據(jù)，進(jìn)一步在步驟S15中生成基于目 標(biāo)聚焦圖像的強(qiáng)調(diào)顯示圖像來(lái)進(jìn)行顯示。 在顯示了該強(qiáng)調(diào)顯示圖像的狀態(tài)下，執(zhí)行步驟S16的分離處理。具體而言，在步驟 S16中，攝像裝置IOO接受用戶進(jìn)行的確定操作或調(diào)整操作。調(diào)整操作是對(duì)指定被攝景深度 進(jìn)行變更的操作。
在步驟S16中，用戶進(jìn)行了調(diào)整操作時(shí)，根據(jù)被該調(diào)整操作變更的指定被攝景深 度變更被攝景深度設(shè)定信息之后，再次進(jìn)行步驟S14和S15的處理。即，按照變更后的被攝 景深度設(shè)定信息，根據(jù)原始圖像的圖像數(shù)據(jù)再次生成目標(biāo)聚焦圖像的圖像數(shù)據(jù)，并生成和 顯示基于新的目標(biāo)聚焦圖像的強(qiáng)調(diào)顯示圖像。之后，再次接受用戶的確定操作或調(diào)整操作。
另一方面，在步驟S16中，用戶進(jìn)行了確定操作時(shí)，將成為當(dāng)前顯示的強(qiáng)調(diào)顯示圖 像的基礎(chǔ)的目標(biāo)聚焦圖像的圖像數(shù)據(jù)，通過(guò)壓縮處理記錄在記錄介質(zhì)(未圖示)中(步驟 S17)。 根據(jù)攝像裝置100(和后述的其它實(shí)施方式的攝像裝置)，攝影原始圖像之后，能 夠生成與任意的被攝體對(duì)焦的、具有任意的被攝景深度的目標(biāo)聚焦圖像。即，由于能夠進(jìn)行 攝影后的聚焦控制，因此能夠消除由于對(duì)焦失誤引起的攝影的失敗。 根據(jù)這樣的攝影后的聚焦控制，用戶想要制成與期望的被攝體聚焦的圖像，但是 有時(shí)設(shè)置在攝像裝置中的顯示畫(huà)面會(huì)比較小，因此很多情況下很難辨識(shí)哪一個(gè)被攝體處于 聚焦?fàn)顟B(tài)?？紤]到此，在本實(shí)施方式中，按照能夠辨識(shí)處于聚焦?fàn)顟B(tài)的圖像區(qū)域(聚焦被攝 體)的方式生成強(qiáng)調(diào)顯示圖像。由此，用戶能夠輕易識(shí)別哪一個(gè)被攝體處于聚焦?fàn)顟B(tài)，能夠 確實(shí)且輕易地獲得與期望的被攝體聚焦的圖像。另外，由于使用距離信息特定聚焦區(qū)域，因 此能夠告知用戶正確的聚焦區(qū)域。(第2實(shí)施方式)說(shuō)明本發(fā)明的第2實(shí)施方式。在第2實(shí)施方式中，將詳細(xì)說(shuō)明從 原始圖像生成目標(biāo)聚焦圖像的方法的同時(shí)，交叉地說(shuō)明本發(fā)明的攝像裝置的詳細(xì)結(jié)構(gòu)和動(dòng) 作例。 參照?qǐng)D6、圖7(a) (c)以及圖8，說(shuō)明在第2實(shí)施方式的攝像裝置中使用的透鏡 10L的特性。透鏡10L具有比較大的規(guī)定的軸上色差。因此，如圖6所示，從點(diǎn)光源300向 透鏡10L的光301被透鏡10L分離為藍(lán)色光301B、綠色光301G以及紅色光301R，且藍(lán)色光 301B、綠色光301G以及紅色光301R在互不相同的成像點(diǎn)302B、302G以及302R上進(jìn)行成像。 藍(lán)色光301B、綠色光301G以及紅色光301R分別是光301的藍(lán)、綠以及紅色成分。
在圖7(a)等中，符號(hào)11表示在攝像裝置中所利用的攝像元件。攝像元件11是 CCD (Charge Coupled Device)或CMOS (Complementary MetalOxide Semiconductor)圖像
傳感器等固體攝像元件。攝像元件ii是所謂單板方式的圖像傳感器，在作為攝像元件ii的 一個(gè)圖像傳感器的各感光像素的前面，配置有僅使光的紅色成分透過(guò)的紅色濾色器、僅使 光的綠色成分透過(guò)的綠色濾色器、僅使光的藍(lán)色成分透過(guò)的藍(lán)色濾色器之中的任一個(gè)。紅 色濾色器、綠色濾色器以及藍(lán)色濾色器的排列是貝葉(《m ^)排列。 如圖8所示，分別用XB、XG以及XR表示從透鏡10L的中心到成像點(diǎn)302B、302G以 及302R的距離。這樣，根據(jù)透鏡10L所具有的軸上色差，不等式"XB〈XG〈XR"成立。另 夕卜，用XIS表示從透鏡10L的中心到攝像元件11的距離。在圖8中，"XB < XG < XR < XIS" 成立，但是根據(jù)光源300到透鏡10L的中心的距離310(參照?qǐng)D6)的變化，距離XB、 XG、 XR 與距離^的大小關(guān)系會(huì)發(fā)生變化。若將點(diǎn)光源300考慮為關(guān)注的被攝體，則距離310是對(duì) 關(guān)注的被攝體而言的被攝體距離。 圖7(a) (c)是表示由于距離310發(fā)生變化而成像點(diǎn)302B、302G以及302R的位 置發(fā)生變化的狀態(tài)的圖。圖7(a)表示距離310為比較小的距離且"XB = XJ，成立時(shí)的、成 像點(diǎn)302B、302G、302R與攝像元件11的位置關(guān)系。圖7 (b)表示距離310從圖7(a)的狀態(tài)增大而使"XG = XJ，成立時(shí)的、成像點(diǎn)302B、302G、302R與攝像元件11的位置關(guān)系。圖7 (c) 表示距離310從圖7(b)的狀態(tài)增大而使"XR = XJ，成立時(shí)的、成像點(diǎn)302B、302G、302R與 攝像元件ll的位置關(guān)系。 距離XIS與距離XB、 XG、 XR—致時(shí)的透鏡10L的位置，是與藍(lán)色光301B、綠色光 301G、紅色光301R對(duì)應(yīng)的透鏡10L的聚焦位置。因此，"XB = XIS"、"XG = XIS"、"XR = XIS" 成立時(shí)，從攝像元件11獲得分別與藍(lán)色光301B、綠色光301G、紅色光301R完全對(duì)焦的狀態(tài) 的圖像。但是，在處于與藍(lán)色光301B完全對(duì)焦?fàn)顟B(tài)的圖像中，綠色光301G和紅色光301R 的像會(huì)模糊。在處于與綠色光301G和紅色光301R完全對(duì)焦的狀態(tài)的圖像中也相同。圖8 的YB、 YG以及YR分別表示形成在攝像元件11的攝像面上的藍(lán)色光301B、綠色光301G、紅 色光301R的圖像的半徑。 包括軸上色差特性的透鏡10L的特性在攝像裝置的設(shè)計(jì)階段就已預(yù)先知道，并且 攝像裝置當(dāng)然也能夠識(shí)別距離XIS。因此，攝像裝置只要知道距離310，就能夠利用透鏡10L 的特性與距離XIS來(lái)推定藍(lán)色光301B、綠色光301G、紅色光301R的圖像的模糊狀態(tài)。另外， 只要知道距離310，就能夠決定藍(lán)色光301B、綠色光301G、紅色光301R的圖像的點(diǎn)擴(kuò)散函 數(shù)(Point Spread Function)，因此利用點(diǎn)擴(kuò)散函數(shù)的反函數(shù)就能夠去除這些圖像的模糊。 另外，也可以改變距離X^但是在以下的說(shuō)明中，為了說(shuō)明的簡(jiǎn)化，沒(méi)有特別的說(shuō)明時(shí)，距離 XB被固定為一定距離。 圖9表示被攝體距離與從攝像元件11獲得的原始圖像的B、 G、 R信號(hào)的分辨 率之間的關(guān)系。這里的原始圖像指對(duì)從攝像元件11獲得的RAW數(shù)據(jù)進(jìn)行去馬賽克處理 (demosaic)而得到的圖像，相當(dāng)于由后述的去馬賽克處理部14生成的原始圖像(參照?qǐng)D 11等)。B、G、R信號(hào)分別指表示與藍(lán)色光301B對(duì)應(yīng)的圖像上的藍(lán)色成分的信號(hào)、表示與綠 色光301G對(duì)應(yīng)的圖像上的綠色成分的信號(hào)、表示與紅色光301R對(duì)應(yīng)的圖像上的紅色成分 的信號(hào)。 另外，本說(shuō)明書(shū)中的分辨率不表示圖像的像素?cái)?shù)，而是指在圖像上能夠表現(xiàn)的最 大的空間頻率。換言之，本說(shuō)明書(shū)中的分辨率是表示在圖像上能夠再現(xiàn)得細(xì)微到何種程度 的尺度，也稱作分辨能力。 在圖9中，曲線320B、320G以及320R分別表示原始圖像的B、G、R信號(hào)中的分辨率 的被攝體距離依賴性。在圖9(以及后述的圖10等)的表示分辨率與被攝體距離之間的關(guān) 系的坐標(biāo)圖中，橫軸和縱軸分別表示被攝體距離和分辨率，在橫軸上從左到右其對(duì)應(yīng)的被 攝體距離會(huì)增大，并且在縱軸上從下到上其對(duì)應(yīng)的分辨率會(huì)增大。 被攝體距離DDB、 DDe以及DDK分別是對(duì)應(yīng)于圖7 (a)的"XB = ^"、對(duì)應(yīng)于圖7 (b) 的"XG = ^"、對(duì)應(yīng)于圖7(c)的"XR = X^"成立時(shí)的被攝體距離。因此，"DDb < DDG < DD/，成立。 如曲線320B所示，原始圖像的B信號(hào)的分辨率在被攝體距離為距離DDB時(shí)最大，在 被攝體距離以DDe為起點(diǎn)減少或增大時(shí)該分辨率減少。同樣，如曲線320G所示，原始圖像的 G信號(hào)的分辨率在被攝體距離為距離DDe時(shí)最大，在被攝體距離以DDe為起點(diǎn)減少或增大時(shí) 該分辨率減少。同樣，如曲線320R所示，原始圖像的R信號(hào)的分辨率在被攝體距離為距離 DDK時(shí)最大，在被攝體距離以DDK為起點(diǎn)減少或增大時(shí)該分辨率減少。 從上述的分辨率的定義可知，原始圖像的B信號(hào)的分辨率表示原始圖像上的B信
10號(hào)的最大空間頻率(對(duì)于G和R信號(hào)也相同)。若某信號(hào)的分辨率比較高，則該信號(hào)中包括 比較多的高頻成分。因此，對(duì)于被攝體距離比較近的被攝體(例如，被攝體距離為叫的被 攝體)而言，原始信號(hào)的B信號(hào)中包括高頻成分，對(duì)于被攝體距離比較遠(yuǎn)的被攝體(例如， 被攝體距離為DDK的被攝體)而言，原始信號(hào)的R信號(hào)中包括高頻成分，對(duì)于被攝體距離為 中等程度的被攝體(例如，被攝體距離為DDe的被攝體)而言，原始信號(hào)的G信號(hào)中包括高 頻成分。另外，在某信號(hào)包括的頻率成分內(nèi)，將規(guī)定頻率以上的頻率成分稱作高頻率成分 (以下，簡(jiǎn)稱為高頻成分)，將小于規(guī)定頻率的頻率成分稱作低頻率成分(以下，簡(jiǎn)稱為低頻 成分)。 若互相補(bǔ)充這些高頻成分，則能夠生成聚焦范圍寬的圖像，即被攝景深度深的圖 像。圖10是在圖9上添加了曲線320Y的圖，該曲線320Y表示通過(guò)互相補(bǔ)充原始信號(hào)B、G 以及R信號(hào)的高頻成分而生成的Y信號(hào)(即亮度信號(hào))的分辨率。進(jìn)行這樣的補(bǔ)充之后，在 與期望聚焦的被攝體(例如作為主要被攝體的人物)之間使被攝體距離不同的被攝體(例 如，背景)模糊時(shí)，能夠生成與期望聚焦的被攝體對(duì)焦的聚焦范圍窄的圖像(即，被攝景深 度淺的圖像)。 關(guān)于關(guān)注的某圖像，Y信號(hào)(或B、 G以及R信號(hào)的全部)所具有的分辨率為某一 定基準(zhǔn)分辨率RS。以上的被攝體距離的范圍是第1實(shí)施方式中敘述過(guò)的被攝景深度。在本 實(shí)施方式中，將被攝景深度也稱作聚焦范圍。 圖11是本實(shí)施方式所涉及的攝像裝置1的整體模塊圖。攝像裝置1具有由符號(hào) 10 24所參照的各部分。能夠?qū)z像裝置1的結(jié)構(gòu)應(yīng)用于第1實(shí)施方式的攝像裝置100 (參 照?qǐng)D1)中。將圖11的攝像裝置1的結(jié)構(gòu)應(yīng)用于攝像裝置100時(shí)，可以考慮成攝像部101 包括光學(xué)系統(tǒng)IO和攝像元件ll，原始圖像生成部102包括AFE12和去馬賽克處理部14，被 攝體距離檢測(cè)部103包括高頻成分提取/距離檢測(cè)部15，目標(biāo)聚焦圖像生成部104包括被 攝景深度放大處理部16和被攝景深度控制部17，顯示控制部105包括顯示控制部25，顯示 部106包括LCD19和觸摸屏控制部20。 光學(xué)系統(tǒng)10由包括用于進(jìn)行光學(xué)變焦的變焦透鏡和用于調(diào)整焦點(diǎn)位置的聚焦透 鏡的透鏡組、用于調(diào)節(jié)入射到攝像元件11的入射光量的光圈形成，在攝像元件11的攝像面 上使具有期望的視角且具有期望的明亮度的圖像成像。將光學(xué)系統(tǒng)io作為單個(gè)透鏡表示 的是上述的透鏡IOL。因此，光學(xué)系統(tǒng)10具有與透鏡IOL所具有的軸上色差相同的軸上色差。 攝像元件11對(duì)通過(guò)光學(xué)系統(tǒng)10入射的表示被攝體的光學(xué)像(被攝體像)進(jìn)行光 電變換，并向AFE12輸出通過(guò)該光電變換獲得的模擬點(diǎn)信號(hào)。AFE(Analog Front End) 12 放大從攝像元件11輸出的模擬信號(hào)，并將放大后的模擬信號(hào)變換為數(shù)字信號(hào)之后輸出。按 照使AFE12的輸出信號(hào)電平最佳化的方式，與對(duì)光學(xué)系統(tǒng)10的光闌值的調(diào)整連動(dòng)地調(diào)整 AFE12的信號(hào)放大中的放大率。另外，將AFE12的輸出信號(hào)也稱作RAW數(shù)據(jù)。RAW數(shù)據(jù)能夠 暫時(shí)存儲(chǔ)于DRAM (Dynamic Random Access Memory) 13中。另外，DRAM13除了 RAW數(shù)據(jù)外， 還能暫時(shí)存儲(chǔ)攝像裝置1內(nèi)生成的各種數(shù)據(jù)。 如上所述，由于攝像元件11是采用了貝葉排列的單板方式圖像傳感器，因此在由 RAW數(shù)據(jù)表示的二維圖像中，紅、綠以及藍(lán)色信號(hào)分別按照貝葉排列配置成馬賽克狀。
去馬賽克處理部14通過(guò)對(duì)RAW數(shù)據(jù)進(jìn)行周知的去馬賽克處理來(lái)生成RGB形式的圖像數(shù)據(jù)。將由去馬賽克處理部14生成的圖像數(shù)據(jù)表示的二維圖像稱作原始圖像。形成 原始圖像的每個(gè)像素中分配有R、G以及B信號(hào)。某像素的R、G以及B信號(hào)分別是表示該像 素的紅、綠以及藍(lán)色的強(qiáng)度的顏色信號(hào)。分別用R0、G0以及B0表示原始圖像的R、G以及B 信號(hào)。 高頻成分提取/距離檢測(cè)部15(以下，簡(jiǎn)稱為提取/檢測(cè)部15)提取顏色信號(hào)RO、 GO以及B0各自的高頻成分，并且通過(guò)該提取來(lái)推定原始圖像的各位置處的被攝體距離，生 成表示推定被攝體距離的被攝體距離信息DIST。另外，向被攝景深度放大處理部16輸出與 高頻成分的提取結(jié)果相應(yīng)的信息。 被攝景深度放大處理部16 (以下簡(jiǎn)稱為放大處理部16)基于從提取/檢測(cè)部15 輸出的信息，通過(guò)對(duì)由顏色信號(hào)RO、GO以及BO表示的原始圖像的被攝景深度進(jìn)行方法(即 增加被攝景深度的深度)來(lái)生成中間生成圖像。分別用Rl、 Gl以及Bl表示中間生成圖像 的R、G以及B信號(hào)。 被攝景深度控制部17基于被攝體距離信息DIST和指定針對(duì)目標(biāo)聚焦圖像的被攝 景深度的被攝景深度設(shè)定信息，來(lái)調(diào)整中間生成圖像的被攝景深度，從而生成被攝景深度 淺的目標(biāo)聚焦圖像。根據(jù)被攝景深度設(shè)定信息，能決定針對(duì)目標(biāo)聚焦圖像的被攝景深度的 深度和將哪個(gè)被攝體作為聚焦被攝體。基于用戶的指示等，由CPU23制作被攝景深度設(shè)定 信息。分別用R2、G2以及B2表示目標(biāo)聚焦圖像的R、G以及B信號(hào)。 目標(biāo)聚焦圖像的R、 G以及B信號(hào)被賦予給照相機(jī)信號(hào)處理部18。也可以將原始 圖像或中間生成圖像的R、G以及B信號(hào)賦予給照相機(jī)信號(hào)處理部18。 照相機(jī)信號(hào)處理部18將原始圖像、中間生成圖像或目標(biāo)聚焦圖像的R、G以及B信 號(hào)變換為由亮度信號(hào)Y以及色差信號(hào)U和V構(gòu)成的YUV形式的影像信號(hào)后進(jìn)行輸出。通過(guò) 將該影像信號(hào)提供給液晶顯示屏LCD19或設(shè)置在攝像裝置1外部的外部顯示裝置(未圖 示)，能夠在LCD19的顯示畫(huà)面上或外部顯示裝置的顯示畫(huà)面上顯示原始圖像、中間生成圖 像或目標(biāo)聚焦圖像。 在攝像裝置1中還能進(jìn)行所謂觸摸屏操作。用戶通過(guò)觸摸LCD19的顯示畫(huà)面，能 夠進(jìn)行對(duì)攝像裝置1的操作(即，觸摸屏操作)。觸摸屏控制部20通過(guò)檢測(cè)施加在LCD19 的顯示畫(huà)面上的壓力來(lái)接受觸摸屏操作。 壓縮/擴(kuò)展處理部21通過(guò)使用規(guī)定的壓縮方式壓縮從照相機(jī)信號(hào)處理部18輸出 的影像信號(hào)，生成壓縮影像信號(hào)。另外，通過(guò)擴(kuò)展該壓縮影像信號(hào)，能夠復(fù)原壓縮前的影像 信號(hào)。能夠在SD(Secure Digital)存儲(chǔ)卡等非易失性存儲(chǔ)器的記錄介質(zhì)22中記錄壓縮影 像信號(hào)。另外，也能在記錄介質(zhì)22中記錄RAW數(shù)據(jù)。CPU(Central Processing Unit)23綜 合控制形成攝像裝置1的各部分的動(dòng)作。操作部24接受對(duì)攝像裝置1的各種操作。對(duì)操 作部24的操作內(nèi)容被傳遞給CPU23。 照相機(jī)信號(hào)處理部18中內(nèi)置的顯示控制部25具有與第1實(shí)施方式中所述的顯示 控制部105(參照?qǐng)D1)相同的功能。即，基于被攝體距離信息DIST和被攝景深度設(shè)定信息， 通過(guò)對(duì)目標(biāo)聚焦圖像進(jìn)行第1實(shí)施方式中所述的加工處理，生成應(yīng)在LCD19的顯示畫(huà)面上 顯示的強(qiáng)調(diào)顯示圖像。按照在LCD19的顯示畫(huà)面上能夠辨識(shí)獲得的強(qiáng)調(diào)顯示圖像的聚焦區(qū) 域的方式進(jìn)行該加工處理。 第1實(shí)施方式的圖5的動(dòng)作順序也能應(yīng)用在第2實(shí)施方式中。即，在用戶對(duì)暫時(shí)生成的目標(biāo)聚焦圖像和基于此的強(qiáng)調(diào)顯示圖像進(jìn)行了調(diào)整操作時(shí)，按照被該調(diào)整操作改變 后的指定被攝景深度來(lái)對(duì)被攝景深度設(shè)定信息進(jìn)行變更，并根據(jù)變更后的被攝景深度設(shè)定 信息從中間生成圖像(或原始圖像)的圖像數(shù)據(jù)再次生成目標(biāo)聚焦圖像的圖像數(shù)據(jù)，從而 生成并顯示基于新的目標(biāo)聚焦圖像的強(qiáng)調(diào)顯示圖像。之后，再次接受用戶的確定操作或調(diào) 整操作。用戶進(jìn)行了確定操作時(shí)，將作為當(dāng)前顯示的強(qiáng)調(diào)顯示圖像的基礎(chǔ)的目標(biāo)聚焦圖像 的圖像數(shù)據(jù)通過(guò)壓縮處理記錄在記錄介質(zhì)22中。(目標(biāo)聚焦圖像的生成原理被攝景深度的控制原理)參照?qǐng)D12(a) (d)，說(shuō)明 從原始圖像生成目標(biāo)聚焦圖像的方法的原理。在圖12(a)中，曲線400B、400G以及400R分 別表示原始圖像的B、G以及R信號(hào)的分辨率的被攝體距離依賴性，即顏色信號(hào)BO、GO以及 RO的分辨率的被攝體距離依賴性。曲線400B、400G以及400R分別與圖9的曲線320B、320G 以及320R相同。圖12(a)和(b)的距離DDB、DDe以及DDK與圖9中的距離DDB、DDe以及DDK 相同。 由于軸上色差，顏色信號(hào)BO、GO以及RO的分辨率高的被攝體距離互不相同。如上 所述，對(duì)于被攝體距離比較近的被攝體而言顏色信號(hào)BO中包括高頻成分，對(duì)于被攝體距離 比較遠(yuǎn)的被攝體而言顏色信號(hào)RO中包括高頻成分，對(duì)于被攝體距離為中等程度的被攝體 而言顏色信號(hào)GO中包括高頻成分。 獲得這樣的顏色信號(hào)BO、GO以及RO之后，在顏色信號(hào)BO、GO以及RO之中確定具 有最大的高頻成分的信號(hào)，并通過(guò)將所確定的顏色信號(hào)的高頻成分附加給其它兩個(gè)顏色信 號(hào)，能夠生成中間生成圖像的顏色信號(hào)B1、G1以及R1。由于各顏色信號(hào)的高頻成分的大小 根據(jù)被攝體距離的變化而變化，因此對(duì)互不相同的第1、第2、第3…被攝體距離分別進(jìn)行該 處理。原始圖像的整體圖像區(qū)域內(nèi)表示了具有各種被攝體距離的被攝體，由圖11的提取/ 檢測(cè)部15推定各被攝體的被攝體距離。 在圖12(b)中，曲線410表示中間生成圖像的B、 G以及R信號(hào)的分辨率的被攝體 距離依賴性，即顏色信號(hào)B1、G1以及Rl的分辨率的被攝體距離依賴性。曲線410是將第一 被攝體距離的顏色信號(hào)BO、GO以及RO的分辨率的最大值、第二被攝體距離的顏色信號(hào)BO、 GO以及RO的分辨率的最大值、第三被攝體距離的顏色信號(hào)BO、GO以及RO的分辨率的最大 值…連合在一起的曲線。中間生成圖像的聚焦范圍(被攝景深度)比原始圖像的大，在中 間生成圖像的聚焦范圍(被攝景深度)內(nèi)包括距離DDe、DDe以及DD^ 生成中間生成圖像，并基于用戶的指示等，設(shè)定如圖12(c)所示的被攝景深度曲 線420。圖11的被攝景深度控制部17，按照使表示目標(biāo)聚焦圖像的B、G以及R信號(hào)的分辨 率的被攝體距離依賴性的曲線與被攝景深度曲線420大致相同的方式，修正中間生成圖像 的B、G以及R信號(hào)。圖12(d)的實(shí)線曲線430表示通過(guò)該修正獲得的目標(biāo)聚焦圖像的B、 G以及R信號(hào)的分辨率的被攝體距離依賴性，即顏色信號(hào)B2、G2以及R2的分辨率的被攝體 距離依賴性。適當(dāng)設(shè)定被攝景深度曲線420時(shí)，能夠生成聚焦范圍窄的目標(biāo)聚焦圖像(被 攝景深度淺的目標(biāo)聚焦圖像)。即，能夠生成只與期望的被攝體距離上的被攝體對(duì)焦而其它 的被攝體距離上的被攝體模糊了的目標(biāo)聚焦圖像。 對(duì)從顏色信號(hào)B0、 GO以及R0生成顏色信號(hào)Bl、 Gl以及Rl的方法的原理進(jìn)行補(bǔ) 充說(shuō)明。將顏色信號(hào)B0、G0、R0、B1、G1以及Rl看作被攝體距離D的函數(shù)，將這些分別表示 為B0 (D) 、 GO (D) 、 R0 (D) 、 Bl (D) 、 Gl (D)以及Rl (D)。顏色信號(hào)GO (D)能夠被分離為高頻成分Gh(D)與低頻成分GL(D)。同樣，顏色信號(hào)BO(D)能夠被分離為高頻成分Bh (D)與低頻成 分BL(D)，顏色信號(hào)RO(D)能夠被分離為高頻成分Rh(D)與低頻成分RL(D)。 S卩，下式成立。 GO (D) = Gh (D) +GL (D) ， BO (D) = Bh (D) +BL (D) ， RO (D) = Rh (D) +RL (D)。
假設(shè)光學(xué)系統(tǒng)10中無(wú)軸上色差，則根據(jù)局部顏色變化少的這樣的圖像的性質(zhì)，通 常，下述式(1)成立，并且下述式(2)也成立。這對(duì)任意的被攝體距離都成立。實(shí)際空間中 的被攝體具有各種顏色成分，但是將被攝體具有的顏色成分從局部看時(shí)，很多情況下，雖然 在微小區(qū)域內(nèi)亮度會(huì)變化但是顏色幾乎沒(méi)有變化。例如，沿某一方向?qū)G葉的顏色成分進(jìn) 行掃描時(shí)，根據(jù)葉子的紋路而亮度會(huì)變化，但是顏色(色相等)幾乎沒(méi)有變化。因此，假設(shè)光 學(xué)系統(tǒng)IO中無(wú)軸上色差時(shí)，很多情況下式(1)和(2)成立。Gh(D)/Bh(D) =GL(D)/BL(D)， ...(1)Gh(D)/GL(D) =Bh(D)/BL(D) = Rh (D)/RL (D)... (2) 另一方面，由于實(shí)際上光學(xué)系統(tǒng)10中存在軸上色差，因此對(duì)于任意的被攝體距離 而言，顏色信號(hào)BO(D)、GO(D)以及RO(D)的高頻成分互不相同。若反過(guò)來(lái)考慮，則能夠?qū)?某一被攝體距離使用具有大的高頻成分的一個(gè)顏色信號(hào)來(lái)補(bǔ)償其它兩個(gè)顏色信號(hào)的高頻 成分。例如，如圖13所示，現(xiàn)設(shè)在被攝體距離D工處的顏色信號(hào)G0(D)的分辨率比顏色信號(hào) BO(D)和RO(D)的分辨率大且設(shè)比D工大的某被攝體距離為D2。另外，如圖14所示，用符號(hào) 441表示被攝體距離D工處的被攝體SUB工的圖像數(shù)據(jù)所在的原始圖像中的一部分圖像區(qū)域， 用符號(hào)442表示被攝體距離D2處的被攝體SUB2的圖像數(shù)據(jù)所在的原始圖像中的一部分圖 像區(qū)域。在圖像區(qū)域441和442上分別出現(xiàn)了被攝體SUBi和SUB2的圖像。
圖像區(qū)域441中的G信號(hào)，即GO(D》(=Gh(D》+GL(D》)中會(huì)包括很多高頻成分， 但是由于軸上色差，圖像區(qū)域441中的B信號(hào)和R信號(hào)，即BO(D》(=Bh(D》+BL(D》)和 R0(Di) ( = Rh(Di)+RL(Di))中包括的高頻成分很少。利用圖像區(qū)域441中的G信號(hào)的高頻成 分來(lái)生成該圖像區(qū)域441中的B和R信號(hào)的高頻成分。分別用Bh' (D》和Rh' (D》表示 生成的圖像區(qū)域441中的B和R信號(hào)的高頻成分時(shí)，根據(jù)下述式(3)和(4)求出Bh' (D》 禾口 Rh' (D》。Bh' (D》=BL (D》X Gh (D》/GL (D》 …(3) Rh' (D》=RL (D》X Gh (D》/ GL(D》 …(4) 若光學(xué)系統(tǒng)10中沒(méi)有軸上色差，則根據(jù)上述式(1)和(2)，可以認(rèn)為"Bh(D》= BL(D》XGh(D》/GL(D》"和"Rh(D》=RL(D》XGh(D》/GL(D》"成立，但是由于實(shí)際存在的 光學(xué)系統(tǒng)10的軸上色差，對(duì)于被攝體距離D"欠缺了基于原始圖像的B和R信號(hào)的高頻成 分Bh(D》和Rh(D》。由上述式(3)和(4)生成該欠缺部分。 另外，實(shí)際上，由于BO(D》的高頻成分Bh(D》和RO (D》的高頻成分Rh(D》很少， 因此能夠看作BO(D》"BL(D》且RO(D》"RL(D》。因此，對(duì)于被攝體距離D!，根據(jù)式(5) 和(6)并利用BO(D》、RO(D》以及Gh(D》/GL(D》來(lái)生成B1(D》和Rl (D》，從而生成包括高 頻成分的信號(hào)B1和R1。如式(7)所述，設(shè)G1(D》為GO(D》。Bl (D》二BL(D》+Bh' (D》" BO (D》+B0 (D》X Gh (D》/GL (D》 …(5) Rl (D》=RL (D》+Rh' (D》"RO (D》+R0 (D》X Gh (D 》/GL (D》...(6) Gl (D》=GO (D》 ...(7) 以上關(guān)注G信號(hào)包括很多高頻成分的圖像區(qū)域441，說(shuō)明了信號(hào)B1、G1以及Rl的 生成方法，在B或R信號(hào)包括很多高頻成分的圖像區(qū)域中也進(jìn)行同樣的生成處理。
(高頻成分提取、距離推定、被攝景深度放大)說(shuō)明負(fù)責(zé)基于上述原理的處理的部 分的詳細(xì)結(jié)構(gòu)例。圖15是圖11所示的提取/檢測(cè)部15和放大處理部16的內(nèi)部模塊圖。向提取/檢測(cè)部15和放大處理部16輸入原始圖像的顏色信號(hào)G0、 R0以及BO。提取/檢 測(cè)部15具備HPF(高通濾波器)51G、51R和51B、LPF(低通濾波器)52G、52R和52B、最大值 檢測(cè)部53、距離推定計(jì)算部54、選擇部55、計(jì)算部56。放大處理部16具備選擇部61G、61R 和61B和計(jì)算部62。 原始圖像、中間生成圖像或目標(biāo)聚焦圖像等任意的二維圖像，在水平和垂直方向 上多個(gè)像素排列為矩陣狀而形成，如圖16(a) (c)所示，用(x，y)表示該二維圖像上的關(guān) 注像素的位置。x和y分別表示關(guān)注像素的水平和垂直方向的坐標(biāo)值。而且，分別用G0(x， y)、R0(x，y)以及BO(x，y)表示原始圖像的像素位置(x， y)處的顏色信號(hào)G0、R0以及BO， 分別用Gl (x， y) 、 Rl (x， y)以及Bl (x， y)表示中間生成圖像的像素位置(x， y)處的顏色信 號(hào)G1、R1以及Bl，分別用G2(x， y)、R2(x， y)以及B2(x， y)表示目標(biāo)聚焦圖像的像素位置 (x， y)處的顏色信號(hào)G2、 R2以及B2。 HPF51G、51R以及51B是具有相同結(jié)構(gòu)和相同特性的二維空間濾波器。HPF51G、51R 以及51B通過(guò)對(duì)輸入信號(hào)GO、 RO以及BO進(jìn)行濾波，提取包含在信號(hào)GO、 RO以及BO中的規(guī) 定的高頻成分Gh、 Rh以及Bh。對(duì)于像素位置(x， y)，分別用Gh (x， y) 、 Rh (x， y)以及Bh (x， y)表示提取出的高頻成分Gh、 Rh以及Bh。 空間濾波器對(duì)輸入到空間濾波器中的輸入信號(hào)進(jìn)行濾波，并輸出由此獲得的信 號(hào)?；诳臻g濾波器的濾波指利用關(guān)注像素位置(x，y)上的輸入信號(hào)與關(guān)注像素位置(x， y)的周邊位置上的輸入信號(hào)來(lái)獲得空間濾波器的輸出信號(hào)的操作。用IIN(x， y)表示關(guān)注 像素位置(x， y)上的輸入信號(hào)的值，用1。(x， y)表示針對(duì)關(guān)注像素位置(x， y)的空間濾波 器的輸出信號(hào)時(shí)，兩者滿足下述式(8)的關(guān)系。h(u， v)表示空間濾波器的位置(u， v)處 的濾波器系數(shù)。根據(jù)式(8)的空間濾波器的濾波器尺寸是(2w+l) X (2w+l) 。 w是自然數(shù)。
^(x'y)- X！ 2]{h(u,v)'IIN(x + u，y + v)} …(8)
V = -、V 11 =—W HPF51G是拉普拉斯濾波器等對(duì)輸入信號(hào)的高頻成分進(jìn)行提取并輸出的空間濾波 器，利用關(guān)注像素位置(x，y)上的輸入信號(hào)GO(x，y)與關(guān)注像素位置(x，y)的周邊位置上 的輸入信號(hào)(包括GO(x+l，y+l)等)，獲得針對(duì)關(guān)注像素位置(x，y)的輸出信號(hào)Gh(x， y)。 HPF51R和51B也相同。 LPF52G、52R和52B是具有相同結(jié)構(gòu)和相同特性的二維空間濾波器。LPF52G、52R 和52B通過(guò)對(duì)輸入信號(hào)GO、 RO以及BO進(jìn)行濾波，提取包含在信號(hào)GO、 RO以及BO中的規(guī)定 的低頻成分GL、 RL以及BL。分別用GL(x， y) 、 RL(x， y)以及BL(x， y)表示對(duì)像素位置(x， y)提取的低頻成分GL、RL以及BL。也可以根據(jù)"GL(x， y) = GO(x， y)-Gh(x， y)， RL(x， y) =RO(x，y)-Rh(x，y)，BL(x，y) = BO (x， y)-Bh (x， y)"，求出低頻成分GL (x， y) 、 RL (x， y)以 及BL(x， y)。 計(jì)算部56通過(guò)按每個(gè)顏色信號(hào)且按每個(gè)像素位置來(lái)用低頻成分對(duì)通過(guò)上述方 式獲得的高頻成分進(jìn)行標(biāo)準(zhǔn)化，求出值Gh(x， y)/GL(x， y)、Rh(x， y)/RL(x， y)以及Bh(x， y)/BL(x，y)。而且，按每個(gè)顏色信號(hào)且按每個(gè)像素位置，求出這些值的絕對(duì)值Ghh (x， y)= Gh(x，y)/GL(x，y) 1、Rhh(x，y) = | Rh (x， y)/RL (x， y) |以及Bhh(x，y) = | Bh (x， y)/BL (x，
y)l。 圖17表示由計(jì)算部56獲得的信號(hào)Ghh、 Rhh以及Bhh與被攝體距離之間的關(guān)系。絕對(duì)值Ghh (x， y) 、Rhh (x， y)以及Bhh (x， y)分別是信號(hào)Ghh、Rhh以及Bhh的位置(x， y)上 的值。曲線450G、450R以及450B分別描繪了相對(duì)于被攝體距離的變化而信號(hào)Ghh、 Rhh以 及Bhh如何變化。從圖12 (a)的曲線400G與圖17的曲線450的比較可知，信號(hào)Ghh的被 攝體距離依賴性相同或類似于信號(hào)GO的分辨率的被攝體距離依賴性(信號(hào)Rhh和Bhh也 相同)。這是由于信號(hào)GO的高頻成分Gh以及與其絕對(duì)值成比例的信號(hào)Ghh隨著信號(hào)GO的 分辨率的增減而增減。 最大值檢測(cè)部53按每個(gè)像素位置來(lái)確定絕對(duì)值Ghh (x， y) 、Rhh (x， y)以及Bhh (x， y)中的最大值，并輸出表示絕對(duì)值Ghh(x，y)、Rhh(x，y)以及Bhh(x，y)之中哪一個(gè)最大的 信號(hào)SEL—GRB (x， y)。將絕對(duì)值Ghh (x， y) 、 Rhh (x， y)以及Bhh (x， y)之中Bhh (x， y)為最大 的情況稱作案例l，將Ghh(x， y)為最大的情況稱作案例2，將Rhh(x， y)為最大的情況稱作 案例3。 距離推定計(jì)算部54基于絕對(duì)值Ghh (x， y) 、 Rhh (x， y)以及Bhh (x， y)，推定像素位 置(x，y)上的被攝體的被攝體距離DIST(x，y)。參照?qǐng)D18，說(shuō)明該推定方法。在距離推定 計(jì)算部54中，首先，預(yù)先定義滿足0 < DA < DB的兩個(gè)被攝體距離DA和DB。距離推定計(jì)算 部54根據(jù)在絕對(duì)值Ghh (x， y) 、 Rhh (x， y)以及Bhh (x， y)之中哪一個(gè)最大來(lái)變更被攝體距 離的推定方法。 在案例1中，判斷像素位置(x， y)上的被攝體的被攝體距離比較小，在滿足O
< DIST (x， y) < DA的范圍內(nèi)，從Rhh (x， y) /Ghh (x， y)求出推定被攝體距離DIST (x， y)。圖 18的線段461表示案例1中的Rhh(x，y)/Ghh(x，y)與推定被攝體距離DIST (x， y)的關(guān)系。 在Bhh(x，y)為最大的案例1中，如圖17所示，隨著與像素(x，y)對(duì)應(yīng)的被攝體距離增大， Ghh(x， y)和Rhh(x， y)也會(huì)一起增大，但是可以認(rèn)為Ghh(x， y)和Rhh(x， y)相對(duì)于被攝體 距離的增大的增大程度中Ghh(x，y)的增大程度更大。因此，在案例l中，按照隨著Rhh(x， y)/Ghh(x， y)減少而DIST(x， y)增大的方式求出推定被攝體距離DIST(x， y)。 在案例2中，判斷像素位置(x， y)上的被攝體的被攝體距離為中等程度，在滿足 DA《DIST (x， y) < DB的范圍內(nèi)，從Bhh (x， y) /Rhh (x， y)求出推定被攝體距離DIST (x， y)。 圖18的線段462表示案例2中的Bhh(x， y)/Rhh(x， y)與推定被攝體距離DIST(x， y)之間 的關(guān)系。在Ghh(x，y)為最大的案例2中，如圖17所示，隨著與像素(x，y)對(duì)應(yīng)的被攝體距 離增大，Bhh(x，y)減少，而Rhh(x，y)增大。因此，在案例2中，按照隨著Rhh (x， y)/Ghh (x， y)減少而DIST(x， y)增大的方式求出推定被攝體距離DIST(x， y)。 在案例3中，判斷像素位置(x， y)上的被攝體的被攝體距離比較大，在滿足De
< DIST (x， y)的范圍內(nèi)，從Bhh (x， y) /Ghh (x， y)求出推定被攝體距離DIST (x， y)。圖18的 線段463表示案例3中的Bhh(x， y)/Ghh(x， y)與推定被攝體距離DIST(x， y)之間的關(guān)系。 在Rhh(x，y)為最大的案例3中，如圖17所示，隨著與像素(x，y)對(duì)應(yīng)的被攝體距離增大， Ghh(x， y)和Bhh(x， y)會(huì)一起減少，但是可以認(rèn)為Ghh(x， y)和Bhh(x， y)相對(duì)于被攝體距 離的增大的減少程度中Ghh(x，y)的減少程度更大。因此，在案例3中，按照隨著B(niǎo)hh(x，y)/ Ghh(x， y)增大而DIST(x， y)增大的方式求出推定被攝體距離DIST(x， y)。 由圖9的曲線320G、320R、320B表示的顏色信號(hào)的分辨率的被攝體距離依賴性以 及根據(jù)此的信號(hào)Ghh、 Rhh、 Bhh的被攝體距離依賴性(參照?qǐng)D7)，被光學(xué)系統(tǒng)10所具有的 軸上色差的特性決定，并且該軸上色差的特性在攝像裝置l的設(shè)計(jì)階段就被決定。另外，從
16表示信號(hào)Ghh、Rhh、Bhh的被攝體距離依賴性的曲線450G、450R、450B的形狀能夠決定圖18 的線段461 463。因此，從光學(xué)系統(tǒng)10所具有的軸上色差的特性，能夠預(yù)先決定Ghh (x， y)、Rhh(x，y)、Bhh(x，y)與DIST(x，y)之間的關(guān)系。實(shí)際上，例如，預(yù)先將包括了該關(guān)系的 LUT (查找表)設(shè)置在距離推定計(jì)算部54中，通過(guò)將Ghh (x， y) 、 Rhh (x， y) 、 Bhh (x， y)賦予 給該LUT來(lái)獲得DIST(x，y)即可。將包含針對(duì)所有的像素位置的推定被攝體距離DIST(x， y)的信息稱作被攝體距離信息DIST。 這樣，由于具有軸上色差，因此原始圖像的圖像數(shù)據(jù)中會(huì)包含依賴于被攝體的被 攝體距離的信息。在提取/檢測(cè)部15中，將該信息作為信號(hào)Ghh、Rhh、Bhh來(lái)提取，并利用 提取結(jié)果和已知的軸上色差的特性求出DIST(x， y)。 選擇部55基于信號(hào)SEL—GRB(x，y)來(lái)選擇由計(jì)算部56計(jì)算出的值Gh(x，y)/GL(x， y)、Rh(x， y)/RL(x， y)以及Bh(x， y)/BL(x， y)之中的一個(gè)，并將選擇值作為H(x， y)/L(x， y)來(lái)輸出。具體而言，在Bhh(x，y)為最大的案例1中，將Bh(x，y)/BL(x，y)作為H(x，y)/ L(x， y)來(lái)輸出，在Ghh(x， y)為最大的案例2中，將Gh (x， y)/GL(x， y)作為H(x， y)/L(x， y)來(lái)輸出，在Rhh(x， y)為最大的案例3中，將Rh(x， y)/RL(x， y)作為H(x， y)/L(x， y)來(lái) 輸出。 向放大處理部16賦予原始圖像的顏色信號(hào)G0 (x， y) 、 R0 (x， y) 、 B0 (x， y)與信號(hào) H(x，y)/L(x，y)。選擇部61G、61R以及61B基于信號(hào)SEL_GRB (x， y)選擇第一和第二輸入信 號(hào)內(nèi)的一方，并將選擇的信號(hào)作為Gl (x， y) 、Rl (x， y) 、Bl (x， y)來(lái)輸出。選擇部61G、61R以 及61B的第一輸入信號(hào)分別是G0 (x， y) 、 R0 (x， y)以及B0 (x， y)，選擇部61G、61R以及61B 的第二輸入信號(hào)分別是由計(jì)算部62求出的"G0 (x， y)+G0 (x， y) XH(x， y)/L(x， y) "、"R0 (x， y)+R0 (x， y) XH(x， y)/L(x， y)"以及"B0(x， y)+B0 (x， y) XH(x， y)/L(x， y)"。
在Bhh(x， y)為最大的案例1中，按照以下方式進(jìn)行選擇部61G、61R以及61B的 選擇處理Gl(x， y) =G0(x， y)+G0(x， y) XH(x， y)/L(x， y) ， Rl (x， y) =R0(x， y)+R0(x， y)XH(x，y)/L(x，y)，且Bl(x，y) =B0(x，y);在Ghh(x，y)為最大的案例2中，按照以下方式 進(jìn)行選擇部61G、61R以及61B的選擇處理:G1 (x， y) = G0 (x， y) ， Rl (x， y) = R0 (x， y) +R0 (x， y) XH(x，y)/L(x，y)，且Bl(x，y) = B0 (x， y)+B0 (x， y) XH(x， y)/L (x， y);在Rhh(x，y)為最 大的案例3中，按照以下方式進(jìn)行選擇部61G、61R以及61B的選擇處理G1 (x， y) = G0(x， y) +G0 (x， y) X H (x， y) /L (x， y) ， Rl (x， y) = R0 (x， y)，且Bl (x， y) = B0 (x， y) +B0 (x， y) X H (x， y)/L(x，y)。 例如，當(dāng)關(guān)注的像素位置(x， y)為圖14的圖像區(qū)域441內(nèi)的像素位置時(shí)(參照 圖13)，絕對(duì)值Ghh(x，y)、Rhh(x，y)以及Bhh(x，y)之中Ghh(x，y)最大。因此，此時(shí)，由于 H(x， y)/L(x， y) = Gh(x， y)/GL(x， y)，所以對(duì)應(yīng)于被攝體距離D丄的像素位置(x， y)變成: Gl(x， y) = G0(x， y)， Rl (x， y) = R0(x， y)+R0(x， y) XGh(x， y)/GL(x， y)，且，Bl (x， y)= B0(x， y)+B0(x， y) XGh(x， y)/GL(x， y)。這三個(gè)式子等于在上述式(5) (7)中將"(D》" 替換成"(x，y)"后的式子。(目標(biāo)聚焦圖像的具體生成方法)圖19是圖11所示的被攝景深度控制部17的內(nèi) 部模塊圖。圖19的被攝景深度控制部17具備可變LPF部71、截止頻率控制部72。在可變 LPF部71中具備形成為能夠可變地設(shè)定截止頻率的三個(gè)可變LPF (低通濾波器)71G、71R以 及71B，截止頻率控制部72基于被攝體距離信息DIST和被攝景深度設(shè)定信息來(lái)控制可變LPF71G、71R以及71B的截止頻率。通過(guò)向可變LPF71G、71R以及71B輸入信號(hào)G1、R1以及 B1，從可變LPF71G、71R以及71B獲得表示目標(biāo)聚焦圖像的顏色信號(hào)G2、R2以及B2。
在生成顏色信號(hào)G2、 R2以及B2之前，基于用戶的指示等生成被攝景深度設(shè)定信 息。基于被攝景深度設(shè)定信息，設(shè)定與圖12(c)所示相同的圖20的被攝景深度曲線420。在 由被攝景深度設(shè)定信息表示的指定被攝景深度之內(nèi)，用DMIN表示最短的被攝體距離，用DM 表示最長(zhǎng)的被攝體距離(參照?qǐng)D20)。當(dāng)然，O < DMIN < DMX。 根據(jù)被攝景深度設(shè)定信息決定將哪個(gè)被攝體作為聚焦被攝體，并且決定應(yīng)屬于目 標(biāo)聚焦圖像的被攝景深度之內(nèi)的被攝體距離DM『D③以及D皿。被攝體距離D^是目標(biāo)聚焦 圖像的被攝景深度的中心距離，DCN= (D^+D皿)/2成立。用戶能夠直接指定D^的值。另 外，用戶能夠直接指定表示指定被攝景深度的深度的距離差(DMX_DMIN)。但是，也可以對(duì)距 離差(DMX_DMIN)使用預(yù)先設(shè)定的固定值。 另外，用戶能夠通過(guò)指定應(yīng)成為聚焦被攝體的特定被攝體來(lái)決定DeN的值。例如， 在LCD19的顯示畫(huà)面上顯示了原始圖像或中間生成圖像或者暫時(shí)生成的目標(biāo)聚焦圖像的 狀態(tài)下，用戶利用觸摸屏功能指定顯示有特定被攝體的顯示部分。能夠根據(jù)該指定結(jié)果與 被攝體距離信息DIST設(shè)定D『更具體而言，例如，對(duì)于用戶而言的特定被攝體為圖14的 被攝體SUB工時(shí)，用戶利用觸摸屏功能進(jìn)行指定圖像區(qū)域441的操作。這樣，對(duì)圖像區(qū)域441 推定的被攝體距離DIST(x， y)被設(shè)定為Dffl(推定理想時(shí)，Dffl = D》。 被攝景深度曲線420是決定被攝體距離與分辨率的關(guān)系的曲線，被攝景深度曲線 420上的分辨率在被攝體距離DeN處取最大值，隨著被攝體距離遠(yuǎn)離DeN而該分辨率逐漸減 少(參照?qǐng)D20)。被攝體距離Dffl處的被攝景深度曲線420上的分辨率比基準(zhǔn)分辨率RS。大， 被攝體距離DMIN和DMX處的被攝景深度曲線420上的分辨率與基準(zhǔn)分辨率RS。 一致。
在截止頻率控制部72中，假定針對(duì)所有的被攝體距離分辨率均與被攝景深度曲 線420上的最大分辨率一致的假想信號(hào)。圖20的虛線421表示假想信號(hào)中的分辨率的被 攝體距離依賴性。在截止頻率控制部72中，求出通過(guò)低通濾波處理將虛線421變換為被攝 景深度曲線420時(shí)所需的低通濾波器的截止頻率。即，將假設(shè)假想信號(hào)為向可變LPF71G、 71R以及71B的輸入信號(hào)時(shí)的可變LPF71G、71R以及71B的輸出信號(hào)稱作假想輸出信號(hào)的情 況下，截止頻率控制部72按照表示假想輸出信號(hào)的分辨率的被攝體距離依賴性的曲線與 被攝景深度曲線420 —致的方式，設(shè)定可變LPF71G、71R以及71B的截止頻率。圖20中，上 下方向的實(shí)線箭頭組表示對(duì)應(yīng)于虛線421的假想信號(hào)的分辨率降低到被攝景深度曲線420 的分辨率的狀態(tài)。 根據(jù)被攝體距離信息DIST，截止頻率控制部72決定對(duì)哪個(gè)圖像區(qū)域設(shè)定什么樣 的截止頻率。例如(參照?qǐng)D14)，考慮被攝體距離D工的被攝體SUB工的圖像數(shù)據(jù)所在的圖像 區(qū)域441內(nèi)存在像素位置Oq， y》、且被攝體距離D2的被攝體SUB2的圖像數(shù)據(jù)所在的圖像 區(qū)域442內(nèi)存在像素位置(x2，y2)的情況。此時(shí)，若忽略被攝體距離的推定誤差，則對(duì)應(yīng)像 素位置Oq， y》的推定被攝體距離DISTOq， y》和對(duì)應(yīng)其周邊像素位置的推定被攝體距離 成為D"而對(duì)應(yīng)像素位置(x2，y2)的推定被攝體距離DIST(X2，y》和對(duì)應(yīng)其周邊像素位置的 推定被攝體距離成為D2。另外，如圖21所示，設(shè)對(duì)應(yīng)于被攝體距離D工和D2的、被攝景深度 曲線420上的分辨率分別是RS工和RS2。 此時(shí)，截止頻率控制部72決定將與虛線421對(duì)應(yīng)的假想信號(hào)的分辨率降低到分辨率RS工為止所需的低通濾波器的截止頻率CUT"將截止頻率CU1\應(yīng)用于圖像區(qū)域441內(nèi)的 信號(hào)G1、 Rl以及B1上。由此，在可變LPF71G、71R以及71B中，對(duì)圖像區(qū)域441內(nèi)的信號(hào) Gl、 Rl以及Bl進(jìn)行截止頻率為CU1\的低通濾波處理。該低通濾波處理后的信號(hào)被作為目 標(biāo)聚焦圖像的圖像區(qū)域441內(nèi)的信號(hào)G2、R2以及B2而輸出。 同樣，截止頻率控制部72決定將與虛線421對(duì)應(yīng)的假想信號(hào)的分辨率降低到分辨 率RS2為止所需的低通濾波器的截止頻率CUL，將截止頻率CUT2應(yīng)用于圖像區(qū)域442內(nèi)的 信號(hào)G1、 Rl以及B1上。由此，在可變LPF71G、71R以及71B中，對(duì)圖像區(qū)域442內(nèi)的信號(hào) Gl、 Rl以及Bl進(jìn)行截止頻率為CUT2的低通濾波處理。該低通濾波處理后的信號(hào)被作為目 標(biāo)聚焦圖像的圖像區(qū)域442內(nèi)的信號(hào)G2、R2以及B2而輸出。 事先準(zhǔn)備好規(guī)定低通濾波處理后獲得的分辨率與低通濾波器的截止頻率之間的 關(guān)系的表格數(shù)據(jù)或計(jì)算式，能夠使用該表格數(shù)據(jù)或計(jì)算式來(lái)決定應(yīng)對(duì)可變LPF部71設(shè)定的 截止頻率。根據(jù)該表格數(shù)據(jù)或計(jì)算式，規(guī)定對(duì)應(yīng)于分辨率RS工和RS2的截止頻率分別為CU1\ 和CUT2。 如圖21所示，由于被攝體距離D工屬于目標(biāo)聚焦圖像的被攝景深度內(nèi)且被攝體距 離D2不包括在目標(biāo)聚焦圖像的被攝景深度中，因此，按照CU1\ > CUT2成立的方式設(shè)定截止 頻率CUL和CUL，通過(guò)可變LPF部71，圖像區(qū)域442內(nèi)的圖像比圖像區(qū)域441內(nèi)的圖像模 糊，結(jié)果，在目標(biāo)聚焦圖像中，圖像區(qū)域442內(nèi)的圖像的分辨率比圖像區(qū)域441內(nèi)的圖像的 分辨率低。另外，與圖21所示的情況不同，D皿< D工< D2時(shí)，也按照CU1\ > CUT2成立的方 式設(shè)定截止頻率CU1\和CUL，但是由于被攝體距離D工和D2不屬于被指定的被攝體景深內(nèi)， 因此，通過(guò)可變LPF部71，中間生成圖像中的圖像區(qū)域441和442內(nèi)的圖像均變模糊。但 是，就其模糊的程度而言，圖像區(qū)域442比圖像區(qū)域441大，結(jié)果，在目標(biāo)聚焦圖像中，圖像 區(qū)域442內(nèi)的圖像的分辨率比圖像區(qū)域441內(nèi)的圖像的分辨率低。 通過(guò)對(duì)中間生成圖像的整體圖像區(qū)域進(jìn)行這樣的低通濾波處理，從可變LPF部71 輸出目標(biāo)聚焦圖像的各像素位置處的顏色信號(hào)G2、R2以及B2。如上所述，用圖12(d)的曲 線430表示該顏色信號(hào)G2、 R2以及B2的分辨率的被攝體距離依賴性。由截止頻率控制部 72決定的截止頻率用于將假想信號(hào)(421)的分辨率特性變換為被攝景深度曲線420的分 辨率特性，相對(duì)于此，實(shí)際的顏色信號(hào)G1、 Rl以及B1的分辨率特性與假想信號(hào)的該特性不 同。因此，曲線430與被攝景深度曲線420稍微不同。(第l變形例)在上述的方法中，通過(guò)高頻成分的補(bǔ)充處理和低通濾波處理來(lái)實(shí)現(xiàn) 從原始圖像生成目標(biāo)聚焦圖像的處理，但是也可以利用在將軸上色差引起的圖像模糊看作 圖像劣化時(shí)的點(diǎn)擴(kuò)散函數(shù)(Point Spread Function,以下稱作PSF)來(lái)從原始圖像生成中間 生成圖像之后生成目標(biāo)聚焦圖像。將該方法作為第l變形例來(lái)說(shuō)明。 能夠?qū)⒃紙D像考慮為因軸上色差而劣化的圖像。這里的劣化是軸上色差導(dǎo)致的 圖像的模糊。將表示該劣化過(guò)程的函數(shù)或空間濾波器稱作PSF。由于只要決定了被攝體距 離就能求出每個(gè)顏色信號(hào)的PSF，因此，只要基于被攝體距離信息DIST所包含的原始圖像 上的各位置的推定被攝體距離，就能決定原始圖像上的各位置的每個(gè)顏色信號(hào)的PSF。只要 對(duì)顏色信號(hào)G0、R0以及BO進(jìn)行利用了這些PSF的反函數(shù)的巻積運(yùn)算，就能夠去除軸上色差 導(dǎo)致的原始圖像的劣化(模糊)。去除劣化的處理也被稱作圖像復(fù)原處理。通過(guò)該去除而 獲得的圖像是第1變形例的中間生成圖像。
圖22是第1變形例所涉及的被攝景深度調(diào)整部26的內(nèi)部模塊圖。能夠用被攝景 深度調(diào)整部26替換圖11的放大處理部16和被攝景深度控制部17。分別用G1' 、Rl'以 及B1'表示由被攝景深度調(diào)整部26生成的中間生成圖像的G、 R以及B信號(hào)，并且分別用 G2' 、R2'以及B2'表示由被攝景深度調(diào)整部26生成的目標(biāo)聚焦圖像的G、R以及B信號(hào)。 在第1變形例中，該顏色信號(hào)G2' 、R2'以及B2'被作為目標(biāo)聚焦圖像的顏色信號(hào)G2、R2 以及B2來(lái)提供給顯示控制部25。 圖22的圖像復(fù)原濾波器81是用于使上述的反函數(shù)作用在信號(hào)G0、 R0以及B0上 的二維空間濾波器。圖像復(fù)原濾波器81相當(dāng)于表示軸上色差導(dǎo)致的原始圖像的劣化過(guò)程 的PSF的逆濾波器。濾波器系數(shù)計(jì)算部83根據(jù)被攝體距離信息DIST求出原始圖像上的各 位置處的與顏色信號(hào)G0、R0以及B0對(duì)應(yīng)的PSF的反函數(shù)，并且為了將該求出的反函數(shù)作用 于信號(hào)G0、 R0以及B0而計(jì)算出圖像復(fù)原濾波器81的濾波器系數(shù)。圖像復(fù)原濾波器81通 過(guò)使用由濾波器系數(shù)計(jì)算部83計(jì)算出的濾波器系數(shù)對(duì)顏色信號(hào)G0、R0以及B0分別進(jìn)行濾 波，從而生成顏色信號(hào)G1' 、Rl'以及B1'。 圖23的虛線500表示顏色信號(hào)G1' 、Rl'以及B1'的分辨率的被攝體距離依賴 性。如上所述，曲線400G、400R以及400B表示顏色信號(hào)G0、 R0以及B0的分辨率的被攝體 距離依賴性。通過(guò)按每個(gè)顏色信號(hào)的圖像復(fù)原處理，獲得分辨率在G、 R以及B信號(hào)中均高 的中間生成圖像。 被攝景深度調(diào)整濾波器82也是二維空間濾波器。被攝景深度調(diào)整濾波器82通過(guò) 按每個(gè)顏色信號(hào)對(duì)顏色信號(hào)G1' 、Rl'以及B1'進(jìn)行濾波，來(lái)生成表示目標(biāo)聚焦圖像的顏 色信號(hào)G2' 、R2'以及B2'。由濾波器系數(shù)計(jì)算部84計(jì)算出作為被攝景深度調(diào)整濾波器 82的空間濾波器的濾波器系數(shù)。 根據(jù)被攝景深度設(shè)定信息，設(shè)定圖20或圖21所示的被攝景深度曲線420。與圖 23的虛線500對(duì)應(yīng)的顏色信號(hào)G1' 、Rl'以及B1'相當(dāng)于與圖20或圖21的虛線421對(duì)應(yīng) 的上述的假想信號(hào)。被攝景深度調(diào)整濾波器82按照表示顏色信號(hào)G2' 、R2'以及B2'的 分辨率的被攝體距離依賴性的曲線與被攝景深度曲線420 —致的方式，對(duì)顏色信號(hào)G1'、 Rl'以及B1'進(jìn)行濾波。 基于被攝景深度設(shè)定信息與被攝體距離信息DIST，由濾波器系數(shù)計(jì)算部84計(jì)算 出用于實(shí)現(xiàn)這樣的濾波的被攝景深度調(diào)整濾波器82的濾波器系數(shù)。 另外，也可以通過(guò)將圖22的被攝景深度調(diào)整部26內(nèi)的被攝景深度調(diào)整濾波器82 和濾波器系數(shù)計(jì)算部84替換成圖19的可變LPF71部和截止頻率控制部72，并利用這些可 變LPF71部和截止頻率控制部72對(duì)顏色信號(hào)G1' 、Rl'以及B1'進(jìn)行低通濾波處理，從而 生成顏色信號(hào)G2' 、R2'以及B2'。此時(shí)，如上所述，基于被攝景深度設(shè)定信息和被攝距離 信息DIST來(lái)決定可變LPF71部的截止頻率即可。(第2變形例)另外，在圖22的結(jié)構(gòu)中，進(jìn)行用于獲得中間生成圖像的濾波后進(jìn)行 用于獲得目標(biāo)聚焦圖像的濾波，但是也可以一次進(jìn)行兩個(gè)濾波。即，也可以按照?qǐng)D24的被 攝景深度調(diào)整部26a的方式構(gòu)成被攝景深度調(diào)整部26。圖24是被攝景深度調(diào)整部26a的 內(nèi)部模塊圖。將使用被攝景深度調(diào)整部26a的方法稱作第2變形例。在第2變形例中，將 被攝景深度調(diào)整部26a用作被攝景深度調(diào)整部26。被攝景深度調(diào)整部26a具備被攝景深度 調(diào)整濾波器91和濾波器系數(shù)計(jì)算部92。
20
被攝景深度調(diào)整濾波器91是進(jìn)行綜合了基于圖22的圖像復(fù)原濾波器81的濾波 和基于被攝景深度調(diào)整濾波器82的濾波的濾波的二維空間濾波器。通過(guò)按每個(gè)顏色信號(hào) 對(duì)原始圖像的顏色信號(hào)GO' 、R0'以及BO'進(jìn)行基于被攝景深度調(diào)整濾波器91的濾波，直 接生成顏色信號(hào)G2' 、R2'以及B2'。在第2變形例中，由被攝景深度調(diào)整部26a生成的 顏色信號(hào)G2' 、R2'以及B2'被作為目標(biāo)聚焦圖像的顏色信號(hào)G2、R2以及B2來(lái)提供給顯 示控制部25。 濾波器系數(shù)計(jì)算部92是綜合了圖22的濾波器系數(shù)計(jì)算部83和84的濾波器系數(shù) 計(jì)算部，根據(jù)被攝體距離信息DIST和被攝景深度設(shè)定信息，按每個(gè)顏色信號(hào)計(jì)算被攝景深 度調(diào)整濾波器91的濾波器系數(shù)。(變形等)上述的說(shuō)明中所示的具體數(shù)值僅僅是例示，當(dāng)然，能夠?qū)⑵渥兏鼮楦鞣N 數(shù)值。作為上述的實(shí)施方式的變形例或注釋事項(xiàng)，下面記載注釋1 注釋4。各注釋中記載 的內(nèi)容只要不存在矛盾就能夠任意進(jìn)行組合。(注釋1)在第1實(shí)施方式中，圖1的被攝體距離檢測(cè)部103基于圖像數(shù)據(jù)進(jìn)行被 攝體距離的檢測(cè)，但是也可以基于圖像數(shù)據(jù)以外的其它數(shù)據(jù)進(jìn)行被攝體距離的檢測(cè)。
例如，能夠使用立體相機(jī)進(jìn)行被攝體距離的檢測(cè)。S卩，可以將攝像部101作為第 一照相部來(lái)使用，并將與第一照相部同樣的第二照相部(未圖示)設(shè)置在攝像裝置ioo 中，基于通過(guò)第一照相部和第二照相部的攝影得到的一對(duì)原始圖像來(lái)進(jìn)行被攝體距離的檢 測(cè)。眾所周知，形成立體相機(jī)的第一照相部和第二照相部配置在互不相同的位置，能夠基 于從第一照相部獲得的原始圖像與從第二照相部獲得的原始圖像之間的誤差(即，視差 (disparity))來(lái)檢測(cè)各像素位置(x， y)的被攝體距離。 另外，例如，也可以將測(cè)量被攝體距離的距離傳感器(未圖示)設(shè)置在攝像裝置 100中，并根據(jù)距離傳感器的測(cè)量結(jié)果檢測(cè)各像素位置(x， y)的被攝體距離。距離傳感器 例如向攝像裝置100的攝影方向放射光并測(cè)量放射的光被被攝體反射回來(lái)的時(shí)間?；跍y(cè) 量出的時(shí)間，能夠檢測(cè)被攝體距離，且通過(guò)變更光的放射方向，能夠檢測(cè)各像素位置(x， y) 的被攝體距離。(注釋2)以上實(shí)施方式中記載了在攝像裝置(I或IOO)內(nèi)實(shí)現(xiàn)從原始圖像生成目 標(biāo)聚焦圖像和強(qiáng)調(diào)顯示圖像并進(jìn)行該強(qiáng)調(diào)顯示圖像的顯示控制的功能，但是也可以用攝像 裝置外部的圖像顯示裝置(未圖示)實(shí)現(xiàn)該功能。 例如，在該外部的圖像顯示裝置中設(shè)置圖1的符號(hào)103 106所參照的各部分。或
者，例如，在該外部的圖像顯示裝置中設(shè)置圖11的符號(hào)15 25所參照的各部分。再或者，
在該外部的圖像顯示裝置中設(shè)置圖11的符號(hào)15、18 25所參照的各部分、圖22或圖24
的被攝景深度調(diào)整部26或26a。而且，通過(guò)向外部的圖像顯示裝置提供由攝像裝置(l或
100)的攝影得到的原始圖像的圖像數(shù)據(jù)(例如，顏色信號(hào)G0、R0以及BO)，在該圖像顯示裝
置內(nèi)進(jìn)行目標(biāo)聚焦圖像和強(qiáng)調(diào)顯示圖像的生成以及強(qiáng)調(diào)顯示圖像的顯示。(注釋3)可由硬件或硬件與軟件的組合來(lái)實(shí)現(xiàn)攝像裝置(I或IOO)。特別是，可
由硬件、軟件或者硬件與軟件的組合來(lái)實(shí)現(xiàn)從原始圖像生成目標(biāo)聚焦圖像和強(qiáng)調(diào)顯示圖像
的功能的全部或一部分。利用軟件構(gòu)成攝像裝置(I或IOO)時(shí)，由軟件實(shí)現(xiàn)的部分的模塊
圖表示該部分的功能模塊圖。(注釋4)在第1實(shí)施方式所涉及的攝像裝置100和第2實(shí)施方式所涉及的攝像裝置l中，能夠考慮成分別內(nèi)置有獲取包括被攝體距離信息的圖像數(shù)據(jù)的圖像獲取部。在攝 像裝置100中，該圖像獲取部包括攝像部101而形成，而且，作為構(gòu)成要素能夠包括原始圖 像生成部102(參照?qǐng)D1或圖25)。在攝像裝置1中，該圖像獲取部包括攝像元件11而形成， 而且，作為構(gòu)成要素能夠包括AFE12和/或去馬賽克處理部14(參照?qǐng)D11)。在第1實(shí)施方 式中，記載了由顯示控制部105根據(jù)目標(biāo)聚焦圖像生成部104所生成的目標(biāo)聚焦圖像來(lái)生 成強(qiáng)調(diào)顯示圖像并在顯示部106上顯示該強(qiáng)調(diào)顯示圖像，但是，顯示控制部105也能夠使目 標(biāo)聚焦圖像本身顯示在顯示部106上。此時(shí)，包括目標(biāo)聚焦圖像生成部104和顯示控制部 105的部分作為生成目標(biāo)聚焦圖像或者基于目標(biāo)聚焦圖像的強(qiáng)調(diào)顯示圖像并在顯示部106 上進(jìn)行顯示的圖像生成/顯示控制部而起作用。在第2實(shí)施方式中，顯示控制部25也能夠 在LCD19上顯示由信號(hào)G2、R2以及B2表示的目標(biāo)聚焦圖像本身(參照?qǐng)Dll)。此時(shí)，包括 放大處理部16、被攝景深度控制部17以及顯示控制部25的部分作為生成目標(biāo)聚焦圖像或 者基于目標(biāo)聚焦圖像的強(qiáng)調(diào)顯示圖像并在LCD19上進(jìn)行顯示的圖像生成/顯示控制部而起 作用。
權(quán)利要求
一種圖像顯示裝置，其特征在于，具備被攝體距離檢測(cè)部，其檢測(cè)由攝像部攝影的各被攝體的被攝體距離；輸出圖像生成部，其根據(jù)由所述攝像部的攝影而得到的輸入圖像，生成與位于特定距離范圍內(nèi)的被攝體對(duì)焦的圖像來(lái)作為輸出圖像；和顯示控制部，其基于所述被攝體距離檢測(cè)部的檢測(cè)結(jié)果，將作為所述輸出圖像中的圖像區(qū)域的、位于所述特定距離范圍內(nèi)的被攝體出現(xiàn)的圖像區(qū)域作為聚焦區(qū)域來(lái)提取，并按照能夠辨識(shí)所述聚焦區(qū)域的方式在顯示部上顯示基于所述輸出圖像的顯示圖像。
2. 根據(jù)權(quán)利要求l所述的圖像顯示裝置，其特征在于，所述被攝體距離檢測(cè)部基于所述輸入圖像的圖像數(shù)據(jù)和所述攝像部的光學(xué)系統(tǒng)的特 性，檢測(cè)所述輸入圖像上的各位置處的被攝體的被攝體距離，所述輸出圖像生成部接受所述特定距離范圍的指定，并對(duì)所述輸入圖像進(jìn)行與所述被 攝體距離檢測(cè)部檢測(cè)的被攝體距離、被指定的所述特定距離范圍、所述攝像部的光學(xué)系統(tǒng) 的特性相應(yīng)的圖像處理，從而生成所述輸出圖像。
3. 根據(jù)權(quán)利要求2所述的圖像顯示裝置，其特征在于，所述輸入圖像的圖像數(shù)據(jù)中包括基于所述輸入圖像上的各位置處的被攝體的被攝體 距離的信息，所述被攝體距離檢測(cè)部從所述輸入圖像的圖像數(shù)據(jù)中提取所述信息，并基于提取結(jié)果 和所述光學(xué)系統(tǒng)的特性來(lái)檢測(cè)所述輸入圖像上的各位置處的被攝體的被攝體距離。
4. 根據(jù)權(quán)利要求2所述的圖像顯示裝置，其特征在于，所述被攝體距離檢測(cè)部將表示所述輸入圖像的多個(gè)顏色的顏色信號(hào)中包含的規(guī)定的 高頻成分按每個(gè)顏色信號(hào)進(jìn)行提取，并基于提取結(jié)果和所述光學(xué)系統(tǒng)的軸上色差的特性來(lái) 檢測(cè)所述輸入圖像上的各位置處的被攝體的被攝體距離。
5. —種攝像裝置，其特征在于，具備 攝像部；和權(quán)利要求1所述的圖像顯示裝置。
6. —種攝像裝置，具備攝像部和權(quán)利要求2所述的圖像顯示裝置，其特征在于， 通過(guò)利用了所述攝像部的攝影而得到的圖像數(shù)據(jù)被作為所述輸入圖像的圖像數(shù)據(jù)而提供給所述圖像顯示裝置，在所述輸入圖像的攝影之后，按照指定所述特定距離范圍的操作，根據(jù)所述輸入圖像 生成所述輸出圖像，并在所述顯示部上顯示基于該輸出圖像的所述顯示圖像。
7. —種圖像顯示裝置，其特征在于，具備圖像獲取部，其獲取包含基于各被攝體的被攝體距離的被攝體距離信息的圖像數(shù)據(jù)來(lái) 作為輸入圖像的圖像數(shù)據(jù)；特定被攝體距離輸入部，其接受特定被攝體距離的輸入；禾口圖像生成/顯示控制部，其基于所述被攝體距離信息對(duì)所述輸入圖像進(jìn)行圖像處理， 來(lái)生成與位于所述特定被攝體距離上的被攝體對(duì)焦的輸出圖像，并在顯示部上顯示所述輸 出圖像或基于所述輸出圖像的圖像。
8. 根據(jù)權(quán)利要求7所述的圖像顯示裝置，其特征在于，所述圖像生成/顯示控制部在所述輸出圖像中確定對(duì)焦的被攝體，并對(duì)該對(duì)焦的被攝體進(jìn)行強(qiáng)調(diào)后顯示在所述顯示部上。
9. 一種攝像裝置，其特征在于，具備 攝像部；和權(quán)利要求7所述的圖像顯示裝置。
全文摘要
本發(fā)明提供一種圖像顯示裝置，該圖像顯示裝置具備被攝體距離檢測(cè)部，其檢測(cè)由攝像部攝影的各被攝體的被攝體距離；輸出圖像生成部，其根據(jù)由所述攝像部的攝影而得到的輸入圖像，生成與位于特定距離范圍內(nèi)的被攝體對(duì)焦的圖像來(lái)作為輸出圖像；和顯示控制部，其基于所述被攝體距離檢測(cè)部的檢測(cè)結(jié)果，將作為所述輸出圖像中的圖像區(qū)域的、位于所述特定距離范圍內(nèi)的被攝體出現(xiàn)的圖像區(qū)域作為聚焦區(qū)域來(lái)提取，并按照能夠辨識(shí)所述聚焦區(qū)域的方式在顯示部上顯示基于所述輸出圖像的顯示圖像。
文檔編號(hào)H04N5/232GK101753844SQ20091026060
公開(kāi)日2010年6月23日 申請(qǐng)日期2009年12月17日 優(yōu)先權(quán)日2008年12月18日
發(fā)明者奧智岐, 高柳涉 申請(qǐng)人:三洋電機(jī)株式會(huì)社