圖像處理裝置以及圖像處理方法
【專利摘要】本發(fā)明的課題是提供即使在使用包含移動(dòng)體的圖像的情況下也能提供高畫質(zhì)的全焦點(diǎn)圖像。攝像裝置具備：攝像圖像取得部（52），取得焦點(diǎn)不同的被攝體對焦圖像以及非被攝體對焦圖像的數(shù)據(jù)；圖像景深圖作成部（91），對取得的被攝體對焦圖像以及非被攝體對焦圖像的每個(gè)，作成按每個(gè)像素來表征圖像內(nèi)的被攝體的距離的關(guān)系的被攝體景深圖以及非被攝體景深圖；合成用景深圖作成部（92），對生成的被攝體景深圖以及非被攝體景深圖施加規(guī)定的處理來作成合成用景深圖；和圖像合成部（55），基于生成的合成用景深圖來合成被攝體對焦圖像以及非被攝體對焦圖像的數(shù)據(jù)，從而生成全焦點(diǎn)圖像的數(shù)據(jù)。
【專利說明】圖像處理裝置以及圖像處理方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及圖像處理裝置以及圖像處理方法。
【背景技術(shù)】
[0002]過去，攝像裝置在拍攝使從后方到前方的各被攝體全部對焦的圖像(下面稱作“全焦點(diǎn)圖像(all-focused image)”)的情況下，使用超深度鏡頭(通稱“蟲眼鏡頭”)這樣特殊的鏡頭。
[0003]但是，蟲眼鏡頭由于全長非常長，因而不便于攜帶。
[0004]為此，例如如日本特開2007 — 282152號公報(bào)那樣公開如下技術(shù):搭載了通常的鏡頭的攝像裝置通過I次的快門操作，大致同時(shí)在多個(gè)聚焦位置拍攝同一構(gòu)圖的被攝體，將其結(jié)果得到的多個(gè)攝像圖像的數(shù)據(jù)進(jìn)行合成，由此來生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0005]但是，在上述的先行技術(shù)中，公開了生成全焦點(diǎn)圖像的數(shù)據(jù)的技術(shù)，但例如在拍攝隨風(fēng)搖動(dòng)的花等移動(dòng)的被攝體(下面稱作“移動(dòng)體”)的情況下，存在會(huì)生成移動(dòng)體成為余像的圖像這樣的問題。

【發(fā)明內(nèi)容】

[0006]本發(fā)明鑒于這樣的狀況而提出，目的在于即使在使用包含移動(dòng)體的圖像的情況下也能提供高畫質(zhì)的全焦點(diǎn)圖像。
[0007]本發(fā)明的第I觀點(diǎn)所涉及的圖像處理裝置特征在于，具備:取得部，其取得焦點(diǎn)不同的多個(gè)圖像的數(shù)據(jù)；第I圖生成部，其針對由所述取得部取得的多個(gè)圖像的每一個(gè)，生成按每規(guī)定數(shù)的像素來表征圖像內(nèi)的被攝體的距離的關(guān)系的景深圖；第2圖生成部，其對由所述第I圖生成部生成的多個(gè)景深圖施加規(guī)定的處理，來生成新的景深圖；和圖像合成部，其根據(jù)由所述第2圖生成部生成的所述新的景深圖中所指定的每個(gè)像素的合成的比例，按每個(gè)像素合成所述多個(gè)圖像的數(shù)據(jù)，來生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0008]本發(fā)明的第2觀點(diǎn)所涉及的攝影處理方法特征在于，包含:取得步驟，取得焦點(diǎn)不同的多個(gè)圖像的數(shù)據(jù)；第I圖生成步驟，按通過所述取得步驟取得的多個(gè)圖像的每一個(gè)，生成按每規(guī)定數(shù)的像素來表征圖像內(nèi)的被攝體的距離的關(guān)系的景深圖；第2圖生成步驟，對通過所述第I圖生成步驟生成的多個(gè)景深圖施加規(guī)定的處理，來生成新的景深圖；和圖像合成步驟，根據(jù)通過所述第2圖生成步驟生成的所述新的景深圖中所指定的每個(gè)像素的合成的比例，按每個(gè)像素合成所述圖像的數(shù)據(jù)，來生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0009]根據(jù)本發(fā)明，即使在使用包含移動(dòng)體的圖像的情況下也能提供高畫質(zhì)的全焦點(diǎn)圖像。
[0010]與附圖一起閱讀時(shí)，本發(fā)明的上述、進(jìn)一步和新的特征將在下面的詳細(xì)描述中進(jìn)一步體現(xiàn)。應(yīng)當(dāng)清楚地明白，附圖目的僅在于例示，并不作為限定本發(fā)明的解釋。
【專利附圖】

【附圖說明】[0011]圖1是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的攝像裝置的硬件的構(gòu)成的框圖。
[0012]圖2是表示圖1的攝像裝置的功能性構(gòu)成中的用于執(zhí)行全焦點(diǎn)圖像生成處理的功能性構(gòu)成的功能框圖。
[0013]圖3是用于說明全焦點(diǎn)圖像的數(shù)據(jù)的生成的具體例的示意圖。
[0014]圖4是示意表征全焦點(diǎn)圖像的數(shù)據(jù)的生成手法的圖。
[0015]圖5是說明具有圖2的功能性構(gòu)成的圖1的攝像裝置執(zhí)行的全焦點(diǎn)圖像生成處理的流程的流程圖。
【具體實(shí)施方式】
[0016]下面，參照附圖來說明本發(fā)明的一個(gè)實(shí)施方式所涉及的攝像裝置。
[0017]圖1是表示本發(fā)明的一個(gè)實(shí)施方式所涉及的攝像裝置I的硬件的構(gòu)成的框圖。
[0018]攝像裝置I例如構(gòu)成為數(shù)碼相機(jī)。
[0019]攝像裝置I 具備:CPU (Central Processing Unit,中央處理器)11、ROM (ReadOnly Memory,只讀存儲(chǔ)器)12、RAM (Random Access Memory,隨機(jī)存取存儲(chǔ)器)13、總線 14、輸入輸出接口 15、攝像部16、輸入部17、輸出部18、存儲(chǔ)部19、通信部20和驅(qū)動(dòng)器21。
[0020]CPUll根據(jù)記錄于R0M12的程序或從存儲(chǔ)部19載入到RAM13的程序來執(zhí)行各種處理。
[0021]在RAM13還適當(dāng)存儲(chǔ)CPUll在執(zhí)行各種處理時(shí)需要的數(shù)據(jù)等。
[0022]CPU1UR0M12以及RAM13經(jīng)由總線14而相互連接。在總線14來連接有輸入輸出接口 15。在輸入輸出接口 15連接有攝像部16、輸入部17、輸出部18、存儲(chǔ)部19、通信部20以及驅(qū)動(dòng)器21。
[0023]攝像部16具備光學(xué)透鏡部41、圖像傳感器42、和透鏡驅(qū)動(dòng)部43。
[0024]光學(xué)透鏡部41為了拍攝被攝體而由聚焦透鏡、變焦透鏡等各種透鏡構(gòu)成。
[0025]聚焦透鏡由后述的透鏡驅(qū)動(dòng)部43驅(qū)動(dòng)，是使被攝體的像成像于后述的圖像傳感器42的受光面的透鏡。變焦透鏡是使焦距在一定范圍內(nèi)自由變化的透鏡。
[0026]圖像傳感器42由光電變換元件、AFE (Analog Front End,模擬前端)等構(gòu)成。
[0027]光電變換兀件例如由CM0S(Complementary Metal Oxide Semiconductor,互補(bǔ)金屬氧化物半導(dǎo)體)型的光電變換元件等構(gòu)成。被攝體像從光學(xué)透鏡部41入射到光電變換元件。然后，光電變換元件對被攝體像進(jìn)行光電變換(攝像)并積蓄圖像信號一定時(shí)間，將積蓄的圖像信號作為模擬信號依次提供給AFE。
[0028]AFE對該模擬的圖像信號執(zhí)行A/D (Analog/Digital，模擬/數(shù)字)變換處理等各種信號處理。AFE通過各種信號處理來生成數(shù)字信號，并將其作為攝像部16的輸出信號輸出。這樣的攝像部16的輸出信號成為攝像圖像的數(shù)據(jù)。攝像圖像的數(shù)據(jù)被適宜地提供給CPUll等。另外，對攝像圖像的數(shù)據(jù)添加攝像的順序的信息、和攝像的時(shí)間點(diǎn)的聚焦位置的信息，作為元數(shù)據(jù)。另外，在下面只要沒有特殊情況，將添加了元數(shù)據(jù)的攝像圖像的數(shù)據(jù)稱作“攝像圖像的數(shù)據(jù)”。
[0029]透鏡驅(qū)動(dòng)部43基于CPUll進(jìn)行的AF (Auto Focus,自動(dòng)對焦)處理的結(jié)果，驅(qū)動(dòng)光學(xué)透鏡部41的聚焦透鏡，通過使聚焦位置變化來聚焦到規(guī)定的被攝體。
[0030]在具有這樣的聚焦的機(jī)構(gòu)的攝像裝置I中，能進(jìn)行使焦點(diǎn)對準(zhǔn)攝影最短距離側(cè)方向即近前側(cè)的被攝體的攝影、以無限遠(yuǎn)方向即不需要對焦調(diào)節(jié)程度遠(yuǎn)的距離的對象為被攝體的攝影。
[0031]另外，透鏡驅(qū)動(dòng)部43進(jìn)行驅(qū)動(dòng)，以使得一邊使聚焦位置從通過AF處理決定的位置起進(jìn)行變化，一邊能進(jìn)行“對焦包圍(focus bracketing)攝影”,該“對焦包圍攝影”依次進(jìn)行聚焦位置不同的攝像。
[0032]輸入部17由各種按鈕等構(gòu)成，按照用戶的指示操作來輸入各種信息。
[0033]輸出部18由顯不器、揚(yáng)聲器等構(gòu)成,輸出圖像和聲音。
[0034]存儲(chǔ)部19由硬盤或者DRAM(Dynamic Random Access Memory,動(dòng)態(tài)隨機(jī)存取存儲(chǔ)器)等構(gòu)成，存儲(chǔ)各種圖像的數(shù)據(jù)。
[0035]通信部20控制經(jīng)由包含因特網(wǎng)的網(wǎng)絡(luò)在與其它裝置(未圖示)之間進(jìn)行的通信。
[0036]在驅(qū)動(dòng)器21適宜安裝由磁盤、光盤、光磁盤或半導(dǎo)體存儲(chǔ)器等構(gòu)成的可移動(dòng)介質(zhì)31。由驅(qū)動(dòng)器21從可移動(dòng)介質(zhì)31讀出的程序可根據(jù)必要被安裝在存儲(chǔ)部19。另外，可移動(dòng)介質(zhì)31也能與存儲(chǔ)部19同樣地存儲(chǔ)被存儲(chǔ)于存儲(chǔ)部19的圖像的數(shù)據(jù)等各種數(shù)據(jù)。
[0037]接下來，說明攝像裝置I的功能性構(gòu)成中的用于執(zhí)行全焦點(diǎn)圖像生成處理的功能性構(gòu)成。
[0038]所謂“全焦點(diǎn)圖像生成處理”是指，合成焦點(diǎn)不同的多張攝像圖像的數(shù)據(jù)來生成并輸出全焦點(diǎn)圖像的數(shù)據(jù)為止的一連串處理。
[0039]圖2是表示攝像裝置I的功能性構(gòu)成中的用于執(zhí)行全焦點(diǎn)圖像生成處理的功能性構(gòu)成的功能框圖。
[0040]圖3是用于說明全焦點(diǎn)圖像的數(shù)據(jù)的生成的具體例的示意圖。
[0041]在攝像裝置I執(zhí)行全焦點(diǎn)圖像生成處理的情況下，如圖2所示，在CPUll中發(fā)揮攝像控制部51、攝像圖像取得部52、邊緣比較圖像作成部53、景深圖(depth map)作成部54、圖像合成部55、和輸出控制部56的功能。
[0042]另外，作為存儲(chǔ)部19的一個(gè)區(qū)域，設(shè)置攝像圖像存儲(chǔ)部71、和合成圖像存儲(chǔ)部72。
[0043]攝像圖像存儲(chǔ)部71存儲(chǔ)從攝像部16輸出的攝像圖像的數(shù)據(jù)。
[0044]合成圖像存儲(chǔ)部72存儲(chǔ)由圖像合成部55合成的全焦點(diǎn)圖像的數(shù)據(jù)。
[0045]具有這樣的功能構(gòu)成的攝像裝置I在下面說明如下示例:以盛開于“公園”一角的“花”為被攝體，在背景上加上“公園”的風(fēng)景，進(jìn)行對焦包圍攝影，生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0046]另外，在本示例中，關(guān)于在攝影時(shí)，風(fēng)吹過，在攝影的時(shí)機(jī)作為被攝體的“花”隨風(fēng)搖動(dòng)地作為移動(dòng)體被攝影的情況，在下面進(jìn)行說明。
[0047]攝像控制部51基于來自輸入部17的攝像所涉及的指示來控制包含透鏡驅(qū)動(dòng)部43等的攝像部16的攝像。具體地，攝像控制部51控制包含透鏡驅(qū)動(dòng)部43等的攝像部16，來進(jìn)行對焦包圍攝影。
[0048]在此，所謂“對焦包圍攝影”是如下手法:僅按壓一次輸入部17的解鎖按鈕，就在焦點(diǎn)對準(zhǔn)任意被攝體的位置(規(guī)定的聚焦位置)、和驅(qū)動(dòng)調(diào)整透鏡驅(qū)動(dòng)部43來使焦點(diǎn)在其前后偏移的位置(從規(guī)定的聚焦位置偏移的聚焦位置)的各位置連拍多張攝像圖像。
[0049]另外，在本實(shí)施方式的對焦包圍攝影中，由攝像控制部51控制攝像部16，首先在焦點(diǎn)對準(zhǔn)被攝體的聚焦位置進(jìn)行攝影(下面稱作“被攝體對焦圖像攝影”)，接下來，在焦點(diǎn)對準(zhǔn)被攝體以外的被攝體的背景的聚焦位置進(jìn)行攝影(下面稱作“非被攝體對焦圖像攝影”)，通過攝像處理取得在全焦點(diǎn)圖像的數(shù)據(jù)的生成中使用的2張攝像圖像的數(shù)據(jù)。
[0050]在本實(shí)施方式中，如圖3的示例所示那樣，通過被攝體對焦圖像攝影所取得的攝像圖像pi (下面稱作“被攝體對焦圖像pi”)成為焦點(diǎn)對準(zhǔn)作為被攝體的“花”、背景的“公園”發(fā)生模糊的圖像。
[0051 ] 另外，在本實(shí)施方式中，通過非被攝體對焦圖像攝影所取得的攝像圖像P2 (下面稱作“非被攝體對焦圖像P2”)成為焦點(diǎn)對準(zhǔn)被攝體以外的作為被攝體的背景的“公園”、而作為被攝體的“花”模糊的圖像。
[0052]本實(shí)施方式中的全焦點(diǎn)圖像只要是基于被攝體對焦圖像和非被攝體對焦圖像這樣的至少2張圖像的多焦點(diǎn)的圖像即可。
[0053]攝像圖像取得部52取得從攝像部16輸出的攝像圖像的數(shù)據(jù)。
[0054]另外，攝像圖像取得部52首先從攝像部16取得通過被攝體對焦圖像攝影而焦點(diǎn)對準(zhǔn)了被攝體的被攝體對焦圖像Pi的數(shù)據(jù)。
[0055]接下來，攝像圖像取得部52從攝像部16取得通過非被攝體對焦圖像攝影而焦點(diǎn)對準(zhǔn)了被攝體的背景的、即被攝體的“花”模糊的攝像圖像的非被攝體對焦圖像P2的數(shù)據(jù)。如此，在本實(shí)施方式中，取得2張焦點(diǎn)不同的即多焦點(diǎn)的攝像圖像(被攝體對焦圖像pi以及非被攝體對焦圖像P2)的數(shù)據(jù)來進(jìn)行全焦點(diǎn)圖像的數(shù)據(jù)的生成。
[0056]另外，在本實(shí)施方式中，如圖3的示例所示那樣，攝像圖像取得部52由于包含隨風(fēng)搖動(dòng)的“花”(移動(dòng)體)進(jìn)行攝影，因此，在被攝體對焦圖像攝影時(shí)、和非被攝體對焦圖像攝影時(shí)，取得視場角內(nèi)的“花”的位置不同的攝像圖像(被攝體對焦圖像Pi以及非被攝體對焦圖像p2)的數(shù)據(jù)。
[0057]之后，攝像圖像取得部52將取得的攝像圖像(被攝體對焦圖像Pl以及非被攝體對焦圖像P2)的數(shù)據(jù)輸出到攝像圖像存儲(chǔ)部71。
[0058]邊緣比較圖像作成部53根據(jù)由攝像圖像取得部52取得的被攝體對焦圖像pi和非被攝體對焦圖像P2，來作成由比較了邊緣強(qiáng)度的邊緣圖(edge map)構(gòu)成的邊緣比較圖像。該邊緣比較圖像用于根據(jù)邊緣的變化來判別攝影對象的距離，基于判別出的攝影對象的距離，來作成與攝影對象的形狀相符的景深圖。
[0059]景深圖作成部54根據(jù)由邊緣比較圖像作成部53作成的邊緣比較圖像來判別攝影對象的距離,例如作成以2值構(gòu)成攝像裝置I到對象的相對距離的景深圖dmpl、dmp2、dmp3，作為圖像內(nèi)的被攝體、背景的位置關(guān)系。景深圖作成部54為了判別是被攝體還是被攝體以外而使用邊緣比較圖像。另外，在本實(shí)施方式中，作成的景深圖dmpl、dmp2、dmp3取2值,構(gòu)成為:在值為“O”的情況下作為“背景”處置，在值為“I”的情況下作為“被攝體”處置。因此，在景深圖dmpl、dmp2、dmp3中，如圖3的示例所示那樣，值為“O”的背景的部分是用黑色(暗的顏色)顯示的部分，值為“I”的被攝體的部分是用白色(明亮的顏色)顯示的部分。值在黑色(暗的顏色)的“O”的情況下表征攝影對象較遠(yuǎn)，在白色(明亮的顏色)的“I”的情況下表征攝影對象較近。具體地，由于相當(dāng)于“花”和“花”旁邊的“草”的區(qū)域?yàn)榘咨?明亮的顏色)，因此判別為“花”和“草”較近。
[0060]另外，景深圖的作成既可以構(gòu)成為以I個(gè)像素為單位進(jìn)行處理，也可以構(gòu)成為以將多個(gè)像素設(shè)為I個(gè)處理單位的規(guī)定的塊單位進(jìn)行處理。
[0061]景深圖作成部54具備:根據(jù)取得的多個(gè)圖像來生成圖像的景深圖(本實(shí)施方式為2個(gè)圖像的景深圖)的圖像景深圖作成部91 ;和根據(jù)多個(gè)圖像的景深圖來作成圖像合成用的I個(gè)景深圖的合成用景深圖作成部92。
[0062]圖像景深圖作成部91使用由邊緣比較圖像作成部53作成的邊緣比較圖像、和由攝像圖像取得部52取得的被攝體對焦圖像pl，作成與包含于被攝體對焦圖像Pl的攝影對象的形狀相符的圖像的景深圖dmpl (下面稱作“被攝體景深圖dmpl”)。
[0063]另外，圖像景深圖作成部91使用由邊緣比較圖像作成部53作成的邊緣比較圖像、和由攝像圖像取得部52取得的非被攝體對焦圖像p2，作成與包含于非被攝體對焦圖像p2的攝影對象的形狀相符的圖像的景深圖dmp2 (下面稱作“非被攝體景深圖dmp2”)。
[0064]合成用景深圖作成部92對由圖像景深圖作成部91作成的被攝體景深圖dmpl以及非被攝體景深圖dmp2這2個(gè)圖像的景深圖進(jìn)行OR運(yùn)算的處理，作成合成用景深圖dmp3。
[0065]在此，所謂“0R運(yùn)算”是作為針對像素值的選擇性運(yùn)算的運(yùn)算，是僅在進(jìn)行運(yùn)算的像素的輸入的兩者均為“O”的情況下成為“O”的運(yùn)算。即，在本實(shí)施方式中，僅在被攝體景深圖dmpl和非被攝體景深圖dmp2這兩者的景深圖取“O”的值的情況下，在合成用景深圖dmp3中成為“O”的值。
[0066]S卩，在本實(shí)施方式中，由于使用2值的景深圖，因此使用基于OR運(yùn)算的作成手法。
[0067]圖像合成部55基于由合成用景深圖作成部92作成的合成用景深圖dmp3，對被攝體對焦圖像Pl與非被攝體對焦圖像P2進(jìn)行圖像合成，來生成全焦點(diǎn)圖像P3的數(shù)據(jù)。在本實(shí)施方式中，圖像合成部55使用合成用景深圖dmp3作為α圖(a map)，根據(jù)求得的系數(shù)(阿爾法值)進(jìn)行半透明合成被攝體對焦圖像Pl和非被攝體對焦圖像P2的基于所謂的α混合的圖像合成。即，圖像合成部55提取與合成用景深圖dmp3中的“O”的值的區(qū)域?qū)?yīng)的被攝體對焦圖像Pl的區(qū)域，提取與合成用景深圖dmp3中的“I”的值的區(qū)域?qū)?yīng)的非被攝體對焦圖像P2的區(qū)域來進(jìn)行圖像合成。
[0068]在本實(shí)施方式中，通過將用OR運(yùn)算作成的合成用景深圖dmp3用作α圖，將被攝體景深圖dmpl、和非被攝體景深圖dmp2的兩者的被攝體的區(qū)域設(shè)為提取的被攝體的區(qū)域，因此，優(yōu)先采用與在被攝體未抖動(dòng)的被攝體對焦圖像中提取的被攝體的區(qū)域?qū)?yīng)的區(qū)域。由此，能生成沒有余像的全焦點(diǎn)圖像P3的數(shù)據(jù)。
[0069]之后，圖像合成部55將生成的全焦點(diǎn)圖像p3的數(shù)據(jù)存儲(chǔ)在合成圖像存儲(chǔ)部72中。
[0070]輸出控制部56進(jìn)行控制，從輸出部18顯示輸出由圖像合成部55生成的全焦點(diǎn)圖像p3的數(shù)據(jù)。
[0071]圖4是示意表征全焦點(diǎn)圖像p3的數(shù)據(jù)的生成手法的圖。
[0072]在以基于對焦包圍攝影的方式來生成全焦點(diǎn)圖像p3的數(shù)據(jù)的情況下，即在使用于合成的圖像中包含有移動(dòng)體的被攝體時(shí)，若使用根據(jù)I個(gè)圖像作成的景深圖(例如被攝體景深圖dmpl)來進(jìn)行圖像合成，則會(huì)不考慮移動(dòng)體的移動(dòng)部分的區(qū)域地將該區(qū)域作為背景來采用，在生成的全焦點(diǎn)圖像P3的被攝體中會(huì)產(chǎn)生余像。
[0073]但是，在本實(shí)施方式中的手法中，如圖4所示那樣，根據(jù)被攝體對焦圖像pl、非被攝體對焦圖像P2來作成合成用景深圖dmp3，其中合成用景深圖dmp3將區(qū)域R3 (下面稱作“合成被攝體區(qū)域R3”)設(shè)為移動(dòng)體的被攝體的區(qū)域，該區(qū)域R3是將被攝體對焦圖像pl內(nèi)的被攝體區(qū)域R1、和非被攝體對焦圖像P2內(nèi)的被攝體區(qū)域R2的區(qū)域合起來的區(qū)域。[0074]然后，與合成用景深圖dmp3的合成被攝體區(qū)域R3對應(yīng)地，切出與被攝體對焦圖像Pl中的合成被攝體區(qū)域R3相當(dāng)?shù)膮^(qū)域R4，切出非被攝體對焦圖像p2中的合成被攝體區(qū)域R3以外的區(qū)域R5，對它們進(jìn)行圖像合成，從而生成全焦點(diǎn)圖像p3。即，全焦點(diǎn)圖像p3由與被攝體對焦圖像Pl的合成被攝體區(qū)域R3相當(dāng)?shù)膮^(qū)域R4、和非被攝體對焦圖像p2的合成被攝體區(qū)域R3以外的區(qū)域R5構(gòu)成。
[0075]由此，若以圖3的示例進(jìn)行說明，則為了將從被攝體對焦圖像pl的視場角發(fā)生偏移而成為移動(dòng)體的非被攝體對焦圖像P2中的“花”的區(qū)域也設(shè)為從被攝體對焦圖像Pl切出的區(qū)域，能不采用發(fā)生抖動(dòng)的非被攝體對焦圖像P2的被攝體的區(qū)域，由此能抑制余像的產(chǎn)生。
[0076]另外，通過使用本手法，抑制了在對焦于背景的情況下模糊的前景對被攝體與背景完全分離而產(chǎn)生的遮蔽(occlusion)的影響，能期待合成畫質(zhì)的提升。
[0077]S卩，通過使用本手法，提升了全焦點(diǎn)圖像p3的數(shù)據(jù)的生成畫質(zhì)即，能生成高品質(zhì)的全焦點(diǎn)圖像P3的數(shù)據(jù)。
[0078]接下來，說明具有這樣的功能性構(gòu)成的攝像裝置I執(zhí)行的全焦點(diǎn)圖像生成處理的流程。
[0079]圖5是說明具有圖2的功能性構(gòu)成的圖1的攝像裝置I執(zhí)行的全焦點(diǎn)圖像生成處理的流程的流程圖。
[0080]所謂全焦點(diǎn)圖像生成處理是直到根據(jù)聚焦位置不同的多張攝像圖像的數(shù)據(jù)生成了全焦點(diǎn)圖像的數(shù)據(jù)為止的一連串處理。
[0081]全焦點(diǎn)圖像生成處理在用戶使用輸入部17進(jìn)行了執(zhí)行全焦點(diǎn)圖像生成處理的規(guī)定的操作的情況下，以該操作為契機(jī)而開始。
[0082]在步驟SI，攝像控制部51控制攝像部16來進(jìn)行攝像處理(對焦包圍攝影)，拍攝被攝體對焦圖像pl。即，攝像控制部51在圖3的示例中，以盛開在“公園”一角的“花”為被攝體來拍攝使焦點(diǎn)對準(zhǔn)了 “花”的被攝體對焦圖像Pl。之后，攝像圖像取得部52取得所拍攝的被攝體對焦圖像Pl的數(shù)據(jù)，并將其存儲(chǔ)到攝像圖像存儲(chǔ)部71。
[0083]在步驟S2中，攝像控制部51控制攝像部16進(jìn)行攝像處理(對焦包圍攝影)，拍攝非被攝體對焦圖像P2。即，攝像控制部51以盛開于“公園”一角的“花”為被攝體，拍攝將焦點(diǎn)對準(zhǔn)了 “花”的背景的“公園”的風(fēng)景的非被攝體對焦圖像P2。非被攝體對焦圖像p2的攝影時(shí)，攝像控制部51變更聚焦位置以使焦點(diǎn)對準(zhǔn)背景的“公園”的風(fēng)景，由此來進(jìn)行攝影。攝像圖像取得部52取得所拍攝的非被攝體對焦圖像p2的數(shù)據(jù)，并將其存儲(chǔ)在攝像圖像存儲(chǔ)部71中。
[0084]在步驟S3中，邊緣比較圖像作成部53根據(jù)由攝像圖像取得部52取得的被攝體對焦圖像Pl和非被攝體對焦圖像p2，來作成由比較了各個(gè)圖像的邊緣強(qiáng)度得到的邊緣圖構(gòu)成的邊緣比較圖像。
[0085]在步驟S4中，圖像景深圖作成部91使用由邊緣比較圖像作成部53作成的邊緣比較圖像、和由攝像圖像取得部52取得的被攝體對焦圖像pl，作成與被攝體對焦圖像pl中的被攝體的形狀相符的被攝體景深圖dmp I。
[0086]在步驟S5中，圖像景深圖作成部91使用由邊緣比較圖像作成部53作成的邊緣比較圖像、和由攝像圖像取得部52取得的非被攝體對焦圖像p2，來作成與非被攝體對焦圖像p2中的被攝體的形狀相符的非被攝體景深圖dmp2。
[0087]在步驟S6中，合成用景深圖作成部92對由圖像景深圖作成部91作成的被攝體景深圖dmpl以及非被攝體景深圖dmp2進(jìn)行OR運(yùn)算,來作成合成用景深圖dmp3。
[0088]在步驟S7,圖像合成部55基于由合成用景深圖作成部92作成的合成用景深圖dmp3,對被攝體對焦圖像PI和非被攝體對焦圖像p2進(jìn)行圖像合成,從而生成全焦點(diǎn)圖像p3的數(shù)據(jù)。然后，圖像合成部55將生成的全焦點(diǎn)圖像p3的數(shù)據(jù)存儲(chǔ)在合成圖像存儲(chǔ)部72中。
[0089]在步驟S8，輸出控制部56使全焦點(diǎn)圖像p3的數(shù)據(jù)在輸出部18顯示輸出。由此，全焦點(diǎn)圖像生成處理結(jié)束。
[0090]根據(jù)以上那樣的攝像裝置1，具備:攝像圖像取得部52、圖像景深圖作成部91、合成用景深圖作成部9、和圖像合成部55。
[0091]攝像圖像取得部52取得焦點(diǎn)不同的被攝體對焦圖像pl以及非被攝體對焦圖像p2的數(shù)據(jù)。
[0092]圖像景深圖作成部91對每個(gè)取得的被攝體對焦圖像pl以及非被攝體對焦圖像p2，來作成按每個(gè)像素表征圖像內(nèi)的被攝體的距離關(guān)系的被攝體景深圖dmpl以及非被攝體景深圖dmp2。
[0093]合成用景深圖作成部92對作成的被攝體景深圖dmpl以及非被攝體景深圖dmp2施加規(guī)定的處理，作成合成用景深圖dmp3。
[0094]圖像合成部55基于作成的合成用景深圖dmp3來合成被攝體對焦圖像pl以及非被攝體對焦圖像P2的數(shù)據(jù)，從而生成全焦點(diǎn)圖像p3的數(shù)據(jù)。
[0095]因此，在攝像裝置I中，例如即使是隨風(fēng)搖動(dòng)的花等的被攝體為移動(dòng)體，也能生成余像少的全焦點(diǎn)圖像P3的數(shù)據(jù)，能提升全焦點(diǎn)圖像p3的數(shù)據(jù)的合成畫質(zhì)。另外，能抑制在對焦于背景的情況下模糊的前景對被攝體與背景完全分離而產(chǎn)生的遮蔽的影響，能期待全焦點(diǎn)圖像P3的數(shù)據(jù)的合成畫質(zhì)的提升。
[0096]合成用景深圖作成部92進(jìn)行的規(guī)定的處理是由圖像景深圖作成部91作成的2值的被攝體景深圖dmpl以及非被攝體景深圖dmp2的OR運(yùn)算處理。
[0097]因此，在攝像裝置I中，由于是簡單的處理，因此處理負(fù)擔(dān)少，能以高速進(jìn)行處理。
[0098]攝像圖像取得部52取得以第I焦點(diǎn)拍攝的被攝體對焦圖像pl、和以與被攝體對焦圖像Pl不同的第2焦點(diǎn)拍攝的非被攝體對焦圖像p2的多個(gè)圖像數(shù)據(jù)。
[0099]圖像景深圖作成部91按每個(gè)圖像作成以2值表征圖像內(nèi)的被攝體的距離與第I焦點(diǎn)對應(yīng)還是與第2焦點(diǎn)對應(yīng)的被攝體景深圖dmpl以及非被攝體景深圖dmp2。
[0100]合成用景深圖作成部92進(jìn)行的規(guī)定的處理在被攝體景深圖dmpl以及非被攝體景深圖dmp2中的值不同的情況下，是優(yōu)先決定第I焦點(diǎn)和第2焦點(diǎn)中的與移動(dòng)的被攝體對應(yīng)的焦點(diǎn)的OR運(yùn)算處理。
[0101]因此，在攝像裝置I中，由于能作成包含移動(dòng)體的移動(dòng)部分而成為被攝體的區(qū)域的合成用景深圖dmp3，因此，即使被攝體為移動(dòng)體也能生成余像少的全焦點(diǎn)圖像p3的數(shù)據(jù)，能提升全焦點(diǎn)圖像P3的數(shù)據(jù)的合成畫質(zhì)。
[0102]另外，本發(fā)明并不限定于上述實(shí)施方式，在能達(dá)成本發(fā)明的目的的范圍內(nèi)的變形、改良等也包含在本發(fā)明中。
[0103]在上述實(shí)施方式中，在合成用景深圖dmp3的作成時(shí)，由于使用2值的圖像的景深圖dmpl、dmp2，因此通過OR運(yùn)算來進(jìn)行處理，但并不限于此。例如在使用多值的圖像的景深圖dmpl、dmp2的情況下，合成用景深圖dmp3也可以通過選擇任意的圖像的景深圖dmpl、dmp2的最大的值的處理來作成。
[0104]具體地，例如攝像圖像取得部52取得第I焦點(diǎn)和第2焦點(diǎn)的多個(gè)圖像數(shù)據(jù)，圖像景深圖作成部91對每個(gè)圖像作成以多值表征圖像內(nèi)的被攝體的距離的被攝體景深圖dmpl以及非被攝體景深圖dmp2。
[0105]然后，在合成用景深圖作成部92進(jìn)行的規(guī)定的處理中，能構(gòu)成為在使用按所述每個(gè)圖像生成的多值的景深圖的情況下，進(jìn)行選擇實(shí)施處理的值中最大的值這樣的處理。
[0106]如此，通過選擇最大的值，在攝像裝置I中，由于是簡單的處理，因此處理負(fù)擔(dān)少，能以高速進(jìn)行處理。
[0107]另外，在上述實(shí)施方式中，根據(jù)2張多焦點(diǎn)的攝像圖像pl、p2的數(shù)據(jù)來生成全焦點(diǎn)圖像P3的數(shù)據(jù)，但并不限于此。全焦點(diǎn)圖像的數(shù)據(jù)也可以根據(jù)3張以上圖像的數(shù)據(jù)來生成。這種情況下，可以進(jìn)行取得的2張圖像的圖像合成，將后面反復(fù)處理的其它的圖像的數(shù)據(jù)與生成的合成圖像的數(shù)據(jù)依次合成，由此來生成全焦點(diǎn)圖像的數(shù)據(jù)。通過如此生成全焦點(diǎn)圖像的數(shù)據(jù)，與一次性將全部圖像合成的情況相比，能生成在高畫質(zhì)上更高品質(zhì)的全焦點(diǎn)圖像的數(shù)據(jù)。具體地，例如能構(gòu)成為:圖像合成部55進(jìn)行取得的圖像中的規(guī)定的2張圖像合成，同樣反復(fù)合成后面反復(fù)處理的其它的圖像，由此生成全焦點(diǎn)圖像的數(shù)據(jù)。
[0108]另外，在上述實(shí)施方式中，非被攝體對焦圖像使用了焦點(diǎn)對準(zhǔn)被攝體后面的攝影對象(公園的風(fēng)景)的圖像，但并不限于此。非被攝體對焦圖像只要是未將焦點(diǎn)對準(zhǔn)了被攝體的圖像即可，例如也可以使用在過焦點(diǎn)或無限遠(yuǎn)拍攝的圖像、將焦點(diǎn)對準(zhǔn)了近距離的攝影對象(例如與攝像裝置有50cm距離的墻壁等)的圖像、將焦點(diǎn)對準(zhǔn)了被攝體的近前處的圖像等的圖像。
[0109]另外，在上述實(shí)施方式中，構(gòu)成為以像素為單位進(jìn)行各運(yùn)算處理，但并不限于此。也可以以減輕處理負(fù)擔(dān)等為目的，構(gòu)成為不是以最小單位而是以規(guī)定的塊為單位來進(jìn)行各
運(yùn)算處理。
[0110]另外，在上述實(shí)施方式中，通過α混合來進(jìn)行圖像的合成，但并不限于此。例如，圖像的合成只要能合成2個(gè)圖像中的對焦區(qū)域即可，能使用加法合成等各種手法。
[0111]另外，在上述實(shí)施方式中，用自設(shè)備的攝像部16拍攝成為生成全焦點(diǎn)圖像Ρ3的數(shù)據(jù)的基礎(chǔ)的圖像來取得攝像圖像的數(shù)據(jù)，用在處理中，但并不限于此。取得的圖像也可以使用從外部裝置等取得的攝像圖像或使用單純的圖像的數(shù)據(jù)來構(gòu)成。這種情況下，需要取得例如在與圖像內(nèi)的被攝體的位置關(guān)系(例如距攝像裝置I的距離)相關(guān)的信息等的景深圖的作成中所需要的信息。
[0112]另外，在上述實(shí)施方式中，應(yīng)用本發(fā)明的攝像裝置I以數(shù)碼相機(jī)為例進(jìn)行了說明，但并不特別限定于此。另外，本發(fā)明還能應(yīng)用不具有攝像的功能而基于在外部拍攝的圖像進(jìn)行全焦點(diǎn)圖像生成處理的圖像處理裝置。
[0113]例如，本發(fā)明一般能應(yīng)用在具有全焦點(diǎn)圖像生成處理功能的電子設(shè)備。具體地，例如本發(fā)明能應(yīng)用在筆記本型的個(gè)人計(jì)算機(jī)、打印機(jī)、電視接收機(jī)、攝像機(jī)、便攜型導(dǎo)航裝置、便攜式電話機(jī)、智能手機(jī)(smart phone )、可移動(dòng)游戲機(jī)等中。
[0114]上述一連串處理既能通過硬件執(zhí)行，也能通過軟件執(zhí)行。[0115]換言之，圖2的功能性構(gòu)成僅為例示，并不進(jìn)行特別限定。即，只要在攝像裝置I具備能作為整體執(zhí)行上述一連串處理的功能足矣，為了實(shí)現(xiàn)功能而使用怎樣的功能塊并不僅限于圖2的示例。
[0116]另外，I個(gè)功能塊既可以由硬件單體構(gòu)成，也可以由軟件單體構(gòu)成，也可以由軟硬件的組合構(gòu)成。
[0117]在由軟件執(zhí)行一連串處理的情況下，將構(gòu)成該軟件的程序從網(wǎng)絡(luò)或記錄介質(zhì)安裝到計(jì)算機(jī)等中。
[0118]計(jì)算機(jī)也可以是嵌入到專用的硬件中的計(jì)算機(jī)。另外，計(jì)算機(jī)也可以是通過安裝各種程序而能執(zhí)行各種功能的計(jì)算機(jī)，例如泛用的個(gè)人計(jì)算機(jī)。
[0119]包含這樣的程序的記錄介質(zhì)為了向用戶提供程序不僅可以由與裝置主體分開而分發(fā)的圖1的可移動(dòng)介質(zhì)31構(gòu)成，還可以由以預(yù)先嵌入到裝置主體的狀態(tài)向用戶進(jìn)行提供的記錄介質(zhì)等構(gòu)成?？梢苿?dòng)介質(zhì)31例如由磁盤(包含軟盤)、光盤、或光磁盤等構(gòu)成。光盤例如由 CD — ROM (Compact Disk-Read Only Memory,只讀光盤)，DVD (Digital VersatileDisk，數(shù)字通用光盤)、BD (Blu-ray Disc，藍(lán)光盤)等構(gòu)成。光磁盤由MD (Min1-Disk，迷你光盤)等構(gòu)成。另外，以預(yù)先嵌入裝置主體的狀態(tài)向用戶進(jìn)行提供的記錄介質(zhì)例如由記錄程序的圖1的R0M12、包含在圖1的存儲(chǔ)部19的硬盤等構(gòu)成。
[0120]另外，在本說明書中，關(guān)于記述記錄于記錄介質(zhì)的程序的步驟沿著其順序而時(shí)間序列地進(jìn)行的處理當(dāng)然并不一定非要時(shí)間序列地進(jìn)行處理，還包含并行或個(gè)別執(zhí)行的處理。
[0121]上面說明了本發(fā)明的幾個(gè)實(shí)施方式，這些實(shí)施方式只是例示，并不限定本發(fā)明的技術(shù)的范圍。本發(fā)明能采取其它各種實(shí)施方式，進(jìn)而能在不脫離本發(fā)明的要旨的范圍內(nèi)進(jìn)行省略、置換等各種變更。這些實(shí)施方式、或其變形包含在本說明書等記載的發(fā)明的范圍或要旨中，并包含在權(quán)利要求的范圍所記載的發(fā)明和與其等同的范圍內(nèi)。
[0122]在上面使用優(yōu)選實(shí)施方式說明了本發(fā)明，本發(fā)明包含但不限定于上面說明的細(xì)節(jié)，所有的實(shí)施方式都落在附加的權(quán)利要求的范圍內(nèi)。
【權(quán)利要求】
1.一種圖像處理裝置，其特征在于，具備: 取得部，其取得焦點(diǎn)不同的多個(gè)圖像的數(shù)據(jù)； 第I圖生成部，其針對由所述取得部取得的多個(gè)圖像的每一個(gè)，生成按每規(guī)定數(shù)的像素來表征圖像內(nèi)的被攝體的距離的關(guān)系的景深圖； 第2圖生成部，其對由所述第I圖生成部生成的多個(gè)景深圖施加規(guī)定的處理，來生成新的景深圖；和 圖像合成部，其根據(jù)由所述第2圖生成部生成的所述新的景深圖中所指定的每個(gè)像素的合成的比例，按每個(gè)像素合成所述多個(gè)圖像的數(shù)據(jù)，來生成全焦點(diǎn)圖像的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述取得部改變焦點(diǎn)進(jìn)行多次的攝影來取得多個(gè)圖像的數(shù)據(jù)， 所述第2圖生成部進(jìn)行的規(guī)定的處理是如下的處理，即，進(jìn)行所述第I圖生成部所生成的至少2個(gè)以上的多值的2個(gè)景深圖的針對像素值的選擇性運(yùn)算， 所述圖像合成部按照所述多值的值來選擇合成的比例，進(jìn)行合成。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述合成的比例是0%以及100%。
4.根據(jù)權(quán)利要求2所述的圖像處理裝置，其特征在于， 所述取得部取得第I焦點(diǎn)和第2焦點(diǎn)的多個(gè)圖像數(shù)據(jù)，` 所述第I圖生成部按所述多個(gè)圖像的每一個(gè)來生成以2值表征圖像內(nèi)的被攝體的距離是與所述第I焦點(diǎn)對應(yīng)還是與所述第2焦點(diǎn)對應(yīng)的2個(gè)景深圖， 所述第2圖生成部進(jìn)行的規(guī)定的處理是如下的處理:對于2個(gè)景深圖中的值不同的像素，進(jìn)行優(yōu)先決定與所述第I焦點(diǎn)對應(yīng)的值和與第2焦點(diǎn)對應(yīng)的值中的與對應(yīng)于移動(dòng)的被攝體的焦點(diǎn)對應(yīng)的值的針對像素值的選擇性運(yùn)算。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述第2圖生成部進(jìn)行的規(guī)定的處理是選擇由所述第I圖生成部生成的3個(gè)以上的多值的2個(gè)景深圖的值中最大的值的處理。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其特征在于， 所述取得部取得第I焦點(diǎn)和第2焦點(diǎn)的多個(gè)圖像數(shù)據(jù)， 所述第I圖生成部按所述多個(gè)圖像的每一個(gè)來生成以多值表征圖像內(nèi)的被攝體的距離的2個(gè)景深圖， 所述第2圖生成部進(jìn)行的規(guī)定的處理是如下處理:在使用按所述多個(gè)圖像的每一個(gè)生成的多值的景深圖的情況下，將進(jìn)行處理的值當(dāng)中的最大的值相加。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其特征在于， 所述圖像合成部進(jìn)行所取得的所述圖像中的規(guī)定的2張圖像的合成，對后面反復(fù)處理的其它的圖像同樣地反復(fù)合成，來生成全焦點(diǎn)圖像的數(shù)據(jù)。
8.一種圖像處理方法，其特征在于，包含: 取得步驟，取得焦點(diǎn)不同的多個(gè)圖像的數(shù)據(jù)； 第I圖生成步驟，按通過所述取得步驟取得的多個(gè)圖像的每一個(gè)，生成按每規(guī)定數(shù)的像素來表征圖像內(nèi)的被攝體的距離的關(guān)系的景深圖； 第2圖生成步驟，對通過所述第I圖生成步驟生成的多個(gè)景深圖施加規(guī)定的處理，來生成新的景深圖；和 圖像合成步驟，根據(jù)通過所述第2圖生成步驟生成的所述新的景深圖中所指定的每個(gè)像素的合成的比例，按每個(gè)像素合成所述圖像的數(shù)據(jù)，來生成全焦點(diǎn)圖像的數(shù)據(jù)。
【文檔編號】H04N5/232GK103731601SQ201310466886
【公開日】2014年4月16日 申請日期:2013年10月9日 優(yōu)先權(quán)日:2012年10月12日
【發(fā)明者】松本康佑 申請人:卡西歐計(jì)算機(jī)株式會(huì)社