圖像處理裝置、攝像裝置、圖像處理方法及圖像處理程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理裝置、攝像裝置、圖像處理方法以及圖像處理程序。
【背景技術(shù)】
[0002] 作為數(shù)碼相機(jī)，除使用了相位差檢測(cè)方式、對(duì)比度檢測(cè)方式的自動(dòng)對(duì)焦外，具備使 用者能夠以手動(dòng)進(jìn)行調(diào)焦的所謂的手動(dòng)對(duì)焦模式的數(shù)碼相機(jī)也廣為人知。
[0003] 作為具有手動(dòng)對(duì)焦模式的數(shù)碼相機(jī)，已知有以能夠一邊對(duì)被攝體進(jìn)行確認(rèn)一邊進(jìn) 行調(diào)焦的方式設(shè)置反射鏡并采用了使用對(duì)目視的相位差進(jìn)行顯示的分裂式微棱鏡屏的方 法的數(shù)碼相機(jī)。另外，也已知有采用了對(duì)目視的對(duì)比度進(jìn)行確認(rèn)的方法的數(shù)碼相機(jī)。
[0004] 然而，在近年來普及的省略了反射鏡的數(shù)碼相機(jī)中，由于沒有反射鏡，因此沒有一 邊顯示相位差一邊對(duì)被攝體像進(jìn)行確認(rèn)的方法，不得不依靠對(duì)比度檢測(cè)方式。但是，在該情 況下，不能夠進(jìn)行IXD(liquidcrystaldisplay:液晶顯示器）等顯示裝置的分辨率以上 的對(duì)比度的顯示，不得不采用進(jìn)行局部放大等而顯示的方法。
[0005] 因此，近年來，為了使操作者在手動(dòng)對(duì)焦模式時(shí)使被攝體對(duì)焦的作業(yè)變得容易，將 裂像顯示在即時(shí)預(yù)覽圖像（稱作實(shí)時(shí)取景圖像）中。在此，所謂裂像是指例如分割成兩個(gè) 的分割圖像（例如沿上下方向分割的各圖像），并對(duì)應(yīng)于焦點(diǎn)的偏移而在視差產(chǎn)生方向上 (例如左右方向）偏移，如果是已對(duì)焦了的狀態(tài)則視差產(chǎn)生方向的偏移消失的分割圖像。操 作者（例如攝影者）對(duì)手動(dòng)聚焦環(huán)進(jìn)行操作而進(jìn)行對(duì)焦，以使裂像（例如沿上下方向分割 的各圖像）的偏移消失。
[0006] 日本特開2009 - 147665號(hào)公報(bào)所記載的攝像裝置，生成對(duì)第一被攝體像以及第 二被攝體像分別進(jìn)行了光電轉(zhuǎn)換的第一圖像以及第二圖像，上述第一被攝體像以及上述第 二被攝體像由來自攝像光學(xué)系統(tǒng)的光束中的被光瞳分割部分割后的光束而形成。而且，使 用這些第一圖像及第二圖像生成裂像，并且對(duì)第三被攝體像進(jìn)行光電轉(zhuǎn)換而生成第三圖 像，上述第三被攝體像由未被光瞳分割部分割的光束而形成。而且，將第三圖像顯示在顯示 部上，并且在第三圖像內(nèi)顯示所生成的裂像，且將從第三圖像提取出的顏色信息附加于裂 像。通過這樣將從第三圖像提取出的顏色信息附加于裂像，能夠使裂像的視覺確認(rèn)性良好。
[0007] 另外，由于相機(jī)的電子取景器、設(shè)置于相機(jī)的背面?zhèn)鹊娘@示器（例如LCD)的顯示 的分辨率較低，因此難以一邊觀察裂像一邊將焦點(diǎn)對(duì)合于正確的對(duì)焦位置（對(duì)焦?fàn)顟B(tài)時(shí)的 攝影透鏡的位置）。因此，提出了一種利用裂像的視差產(chǎn)生方向上的偏移量依存于視差這一 情況對(duì)視差進(jìn)行強(qiáng)調(diào)從而對(duì)用戶的調(diào)焦進(jìn)行輔助的方法。根據(jù)該方法，能夠使用戶根據(jù)裂 像更直觀地認(rèn)識(shí)到焦點(diǎn)偏移了多少。

【發(fā)明內(nèi)容】

[0008] 發(fā)明所要解決的課題
[0009] 但是，在強(qiáng)調(diào)視差的情況下，存在如下問題：即使是不需要強(qiáng)調(diào)視差的能夠確認(rèn)對(duì) 焦的視差范圍（例如即使是對(duì)焦?fàn)顟B(tài)的情況下）也對(duì)視差進(jìn)行強(qiáng)調(diào)，或者即使是需要強(qiáng)調(diào) 視差的能夠確認(rèn)對(duì)焦的視差范圍，也不對(duì)視差進(jìn)行強(qiáng)調(diào)。
[0010] 本發(fā)明鑒于上述實(shí)際情況而提出，其目的在于提供能夠恰當(dāng)?shù)貜?qiáng)調(diào)視差的圖像處 理裝置、攝像裝置、圖像處理方法以及圖像處理程序。
[0011] 用于解決課題的手段
[0012] 本發(fā)明的第一方式所涉及的圖像處理裝置包含：圖像獲取部，取得基于從第一像 素組及第二像素組輸出的第一圖像及第二圖像信號(hào)的第一圖像及第二圖像，上述第一像素 組及第二像素組使通過了攝影透鏡中的第一區(qū)域及第二區(qū)域的被攝體像進(jìn)行光瞳分割而 分別成像并輸出上述第一圖像及第二圖像信號(hào)；視差計(jì)算部，算出表示由上述圖像獲取部 取得的上述第一圖像的各像素與上述第二圖像的對(duì)應(yīng)的像素之間的偏移量的視差；第一判 定部，判定圖像處理的對(duì)象像素是否處于滿足預(yù)定條件的第一視差范圍內(nèi)；系數(shù)決定部，對(duì) 于由上述圖像獲取部取得的上述第一圖像及第二圖像中的每個(gè)上述對(duì)象像素，在通過上述 第一判定部判定為在上述第一視差范圍內(nèi)的情況下，所述系數(shù)決定部決定使由上述視差計(jì) 算部算出的視差轉(zhuǎn)換為能夠目視確認(rèn)上述第一圖像及第二圖像處于上述第一視差范圍內(nèi) 的視差的視差轉(zhuǎn)換系數(shù)，在由上述第一判定部判定為處于上述第一視差范圍外的情況下， 所述系數(shù)決定部決定使由上述視差計(jì)算部算出的視差轉(zhuǎn)換為能夠目視確認(rèn)上述第一圖像 及第二圖像處于上述第一視差范圍外的視差的視差轉(zhuǎn)換系數(shù)；圖像處理部，對(duì)上述對(duì)象像 素基于由上述系數(shù)決定部決定的上述視差轉(zhuǎn)換系數(shù)而進(jìn)行圖像處理；生成部，基于從具有 上述第一像素組及第二像素組的攝像元件輸出的圖像信號(hào)生成第一顯示用圖像，并且基于 對(duì)上述第一圖像及第二圖像中的各上述對(duì)象像素進(jìn)行了上述圖像處理的圖像生成用于對(duì) 焦確認(rèn)的第二顯示用圖像；顯示部，對(duì)圖像進(jìn)行顯示；以及顯示控制部，使上述顯示部顯示 由上述生成部生成的上述第一顯示用圖像并且在該第一顯示用圖像的顯示區(qū)域內(nèi)顯示由 上述生成部生成的上述第二顯示用圖像。因此，與不具有本結(jié)構(gòu)的情況相比，能夠恰當(dāng)?shù)貜?qiáng) 調(diào)視差。
[0013] 本發(fā)明的第二方式也可以設(shè)為，在本發(fā)明的第一方式的基礎(chǔ)上，在將Wc設(shè)為具有 上述第一像素組及第二像素組的攝像元件的視差產(chǎn)生方向的像素?cái)?shù)，將We設(shè)為進(jìn)行上述 圖像處理所得到的圖像的輸出目的地的視差產(chǎn)生方向的像素?cái)?shù)，將k設(shè)為上述攝像元件 的靈敏度和上述攝影透鏡的光圈值中的至少一個(gè)越高則越小的小于1的系數(shù)，將Pe設(shè)為上 述第一視差范圍內(nèi)的視差時(shí)，上述第一判定部按照以下的（1)式判定上述對(duì)象像素是否處 于上述第一視差范圍內(nèi)。由此，與不具有本結(jié)構(gòu)的情況相比，能夠高精度地判定圖像處理的 對(duì)象像素是否處于第一視差范圍內(nèi)。
[0014] Pe < k X (ffe/ffc)......(1)〇
[0015] 本發(fā)明的第三方式也可以設(shè)為，在本發(fā)明的第一方式或第二方式的基礎(chǔ)上，還具 備：第二判定部，判定由上述視差計(jì)算部算出的視差是否處于比上述第一視差范圍廣的第 二視差范圍內(nèi)，在由上述第二判定部判定為由上述視差計(jì)算部算出的視差處于上述第二視 差范圍內(nèi)的情況下，將上述視差轉(zhuǎn)換系數(shù)設(shè)為使由上述視差計(jì)算部算出的視差擴(kuò)大的視差 轉(zhuǎn)換系數(shù)。由此，與不具有本結(jié)構(gòu)的情況相比，能夠高精度地抑制在比第一視差范圍廣的第 二視差范圍內(nèi)中視差的強(qiáng)調(diào)過多或不足這一情形的產(chǎn)生。
[0016] 本發(fā)明的第四方式也可以設(shè)為，在本發(fā)明的第一方式至第三方式中任一方式的基 礎(chǔ)上，上述視差轉(zhuǎn)換系數(shù)由連續(xù)函數(shù)規(guī)定，該連續(xù)函數(shù)將由上述視差計(jì)算部算出的視差作 為輸入，并將能夠目視確認(rèn)上述第一圖像及第二圖像處于上述第一視差范圍內(nèi)的視差和能 夠目視確認(rèn)上述第一圖像及第二圖像處于上述第一視差范圍外的視差選擇性地作為輸出。 由此，由此，與不具有本結(jié)構(gòu)的情況相比，能夠容易地預(yù)測(cè)視差的強(qiáng)調(diào)的程度。
[0017] 本發(fā)明的第五方式也可以設(shè)為，在本發(fā)明的第四方式的基礎(chǔ)上，在由上述第一判 定部判定為處于上述第一視差范圍內(nèi)的情況下的由上述視差計(jì)算部算出的視差的范圍中， 將上述連續(xù)函數(shù)設(shè)為第一線性函數(shù)。由此，與不具有本結(jié)構(gòu)的情況相比，能夠容易地預(yù)測(cè)在 第一視差范圍內(nèi)視差的強(qiáng)調(diào)的程度。
[0018] 本發(fā)明的第六方式也可以設(shè)為，在本發(fā)明的第五方式的基礎(chǔ)上，在由上述第一判 定部判定為處于上述第一視差范圍外的情況下的由上述視差計(jì)算部算出的視差的范圍中， 將上述連續(xù)函數(shù)設(shè)為與上述第一線性函數(shù)連續(xù)并且與該第一線性函數(shù)相比斜度緩的第二 線性函數(shù)。由此，與不具有本結(jié)構(gòu)的情況相比，能夠抑制視差強(qiáng)調(diào)的急劇的變化。
[0019] 本發(fā)明的第七方式也可以設(shè)為，在本發(fā)明的第六方式的基礎(chǔ)上，在由上述第一判 定部判定為處于上述第一視差范圍外的情況下的由上述視差計(jì)算部算出的視差的范圍中， 將上述連續(xù)函數(shù)設(shè)為上述第二線性函數(shù)和與該第二線性函數(shù)連續(xù)的恒等函數(shù)。由此，與不 具有本結(jié)構(gòu)的情況相比，能夠在抑制第一視差范圍外視差的過度強(qiáng)調(diào)。
[0020] 本發(fā)明的第八方式也可以設(shè)為，在本發(fā)明的第一方式至第七方式的任一方式的基 礎(chǔ)上，上述視差轉(zhuǎn)換系數(shù)根據(jù)鑒賞進(jìn)行上述圖像處理而得到的圖像的鑒賞介質(zhì)的種類而確 定。由此，與不具有本結(jié)構(gòu)的情況相比，能夠根據(jù)鑒賞介質(zhì)的種類而適當(dāng)決定視差強(qiáng)調(diào)的程 度。
[0021] 本發(fā)明的第九方式也可以設(shè)為，在本發(fā)明的第一方式至第八方式的任一方式的基 礎(chǔ)上，上述攝影透鏡的光圈值越高則使上述第一視差范圍越窄。由此，與不具有本結(jié)構(gòu)的情 況相比，能夠根據(jù)光圈值而抑制視差的強(qiáng)調(diào)過多或不足這一情形的產(chǎn)生。
[0022] 本發(fā)明的第十方式也可以設(shè)為，在本發(fā)明的第九方式的基礎(chǔ)上，上述圖像獲取部 還取得以連續(xù)幀拍攝而得到的連續(xù)幀圖像并且取得在給予了拍攝單幀圖像的指示的情況 下拍攝到的單幀圖像，在未給予上述拍攝單幀圖像的指示的情況下，上述攝影透鏡的光圈 值越高則使上述第一視差范圍越窄。由此，與不具有本結(jié)構(gòu)的情況相比，能夠恰當(dāng)?shù)剡M(jìn)行未 給予拍攝單幀圖像的指示的情況下的視差的強(qiáng)調(diào)。
[0023] 本發(fā)明的第十一方式也可以設(shè)為，在本發(fā)明的第十方式的基礎(chǔ)上，在給予了上述 拍攝單幀圖像的指示的情況下，根據(jù)拍攝單幀圖像所使用的光圈值而確定上述第一視差范 圍。由此，與不具有本結(jié)構(gòu)的情況相比，在給予了拍攝單幀圖像的指示的情況下也能夠恰當(dāng) 地進(jìn)行視差的強(qiáng)調(diào)。
[0024] 本發(fā)明的第十二方式也可以設(shè)為，在本發(fā)明的第十一方式的基礎(chǔ)上，在給予了上 述拍攝單幀圖像的指示時(shí)的上述光圈值比拍攝上述連續(xù)幀圖像所使用的上述光圈值高的 情況下，上述光圈值越高則使給予了上述拍攝單幀圖像的指示的情況下的上述第一視差范 圍越寬，在給予了上述拍攝單幀圖像的指示時(shí)的上述光圈值比上述拍攝連續(xù)幀圖像所使用 的上述光圈值低的情況下，上述光圈值越低則使給予了上述拍攝單幀圖像的指示的情況下 的上述第一視差范圍越窄。由此，與不具有本結(jié)構(gòu)的情況相比，在給予了拍攝單幀圖像的指 示的情況下，也能夠根據(jù)光圈值而抑制視差的強(qiáng)調(diào)過多或不足這一情形的產(chǎn)生。
[0025] 本發(fā)明的第十三方式也可以設(shè)為，在本發(fā)明的第一方式至第十二方式的任一方式 的基礎(chǔ)上，將上述第二顯示用圖像設(shè)為裂像，該裂像相當(dāng)于上述第一圖像和第二圖像沿視 差產(chǎn)生方向偏移了與基于上述視差轉(zhuǎn)換系數(shù)轉(zhuǎn)換后的視差相應(yīng)的偏移量的圖像。由此，與 不具有本結(jié)構(gòu)的情況相比，能夠推測(cè)視差的大小以及視差產(chǎn)生方向。
[0026] 本發(fā)明的第十四方式也可以設(shè)為，在本發(fā)明的第一方式至第十三方式的任一方式 的基礎(chǔ)上，將能夠目視確認(rèn)處于上述第一視差范圍內(nèi)的視差設(shè)為，使多個(gè)被實(shí)驗(yàn)者預(yù)先目 視確認(rèn)視差不同的多個(gè)試驗(yàn)用圖像的各圖像而由上述多個(gè)被實(shí)驗(yàn)者中預(yù)先規(guī)定的人數(shù)以 上的被實(shí)驗(yàn)者評(píng)價(jià)為是對(duì)焦?fàn)顟B(tài)的視差。由此，與不具有本結(jié)構(gòu)的情況相比，能夠適當(dāng)?shù)卮_ 定第一視差范圍內(nèi)的視差的強(qiáng)調(diào)