圖像處理方法和圖像處理裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其是涉及一種圖像處理方法和圖像處理裝置。
【背景技術(shù)】
[0002] 在常規(guī)攝影中，為了突出某個(gè)主題景物，常常會(huì)將相機(jī)對(duì)焦到該主題景物所在的 深度平面，使得該主題景物清晰成像在傳感器上，而其它深度平面的物體的成像則是模糊 的。
[0003] 隨著數(shù)字成像技術(shù)、圖像處理、機(jī)器視覺(jué)的發(fā)展，產(chǎn)生了重聚焦技術(shù)。根據(jù)重聚焦 技術(shù)，在圖像形成之后，根據(jù)用戶(hù)的需要，可以重新選擇聚焦平面或景深的技術(shù)，即重聚焦 技術(shù)，其中景深是指成像設(shè)備能夠清晰成像的范圍。
[0004] 例如，光場(chǎng)相機(jī)就采用了重聚焦技術(shù)。光場(chǎng)相機(jī)包含微透鏡陣列，拍攝時(shí)，微透鏡 陣列中的每個(gè)微透鏡在傳感器上形成一個(gè)圖像，從而獲得圖像陣列，并且可以采用重聚焦 算法對(duì)圖像陣列進(jìn)行處理，以獲得某個(gè)深度平面的重聚焦圖像。在形成重聚焦圖像之后，用 戶(hù)根據(jù)需要每次能夠獲得位于一個(gè)深度平面內(nèi)景物的聚焦圖像，這樣，用戶(hù)只能看到一個(gè) 深度平面的景物的清晰圖像，而看到的位于其它深度平面的景物的圖像則是模糊的。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的實(shí)施例提供了一種圖像處理方法和圖像處理裝置，能夠同時(shí)獲得多個(gè)深 度平面的景物的清晰圖像。
[0006] 第一方面，提供了一種圖像處理方法，包括：確定多個(gè)深度平面的深度信息，多個(gè) 深度平面的深度信息用于指示多個(gè)深度平面，多個(gè)深度平面分別對(duì)應(yīng)于多個(gè)深度平面的多 個(gè)重聚焦圖像，其中多個(gè)重聚焦圖像由多個(gè)重聚焦圖像的原始數(shù)據(jù)生成；根據(jù)深度信息，生 成多深度平面重聚焦圖像，其中多深度平面重聚焦圖像包括多個(gè)重聚焦圖像的聚焦部分。
[0007] 結(jié)合第一方面，在第一種可能的實(shí)現(xiàn)方式中，多個(gè)深度平面分別對(duì)應(yīng)于多個(gè)重聚 焦圖像的原始數(shù)據(jù)，其中，根據(jù)深度信息，生成多深度平面重聚焦圖像，包括：根據(jù)多個(gè)深度 平面的深度信息確定多個(gè)重聚焦圖像的原始數(shù)據(jù)；根據(jù)多個(gè)重聚焦圖像的原始數(shù)據(jù)生成多 深度平面重聚焦圖像，其中多深度平面重聚焦圖像包括多個(gè)重聚焦圖像的聚焦部分。
[0008] 結(jié)合在第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，上述根據(jù)多個(gè)重聚 焦圖像的原始數(shù)據(jù)生成多深度平面重聚焦圖像，包括：采用重聚焦算法對(duì)多個(gè)重聚焦圖像 的原始數(shù)據(jù)進(jìn)行重聚焦處理，生成多個(gè)重聚焦圖像；合并多個(gè)重聚焦圖像，以生成多深度平 面重聚焦圖像。
[0009] 結(jié)合第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，合并多個(gè)重聚焦圖像， 包括：采用圖像融合方法合并多個(gè)重聚焦圖像的聚焦部分。
[0010] 結(jié)合第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，確定多個(gè)重聚焦圖像 的像素的點(diǎn)擴(kuò)散函數(shù)；根據(jù)像素的點(diǎn)擴(kuò)散函數(shù)生成融合權(quán)重模板，其中融合權(quán)重模板包括 像素的融合權(quán)重，并且聚焦程度高的像素的融合權(quán)重高于聚焦程度低的像素的融合權(quán)重； 根據(jù)融合權(quán)重模板，對(duì)多個(gè)重聚焦圖像進(jìn)行圖像融合。
[0011] 結(jié)合第二種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，多個(gè)重聚焦圖像中的 每個(gè)重聚焦圖像包括聚焦部分和非聚焦部分，合并多個(gè)重聚焦圖像，包括：從多個(gè)重聚焦圖 像中的每個(gè)重聚焦圖像中選取聚焦部分和非聚焦部分；拼接聚焦部分和非聚焦部分。
[0012] 結(jié)合第一種可能的實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方式中，根據(jù)多個(gè)深度平面的 深度信息和多個(gè)重聚焦圖像生成多深度平面重聚焦圖像，包括：根據(jù)多個(gè)深度平面的深度 信息確定多個(gè)重聚焦圖像的原始數(shù)據(jù)；根據(jù)多個(gè)重聚焦圖像的原始數(shù)據(jù)生成多個(gè)重聚焦圖 像中的每個(gè)重聚焦圖像的聚焦區(qū)域和非聚焦區(qū)域；拼接聚焦部分和非聚焦部分。
[0013] 結(jié)合第一方面，在第七種可能的實(shí)現(xiàn)方式中，第一方面的方法還包括：根據(jù)全部 深度平面的重聚焦圖像的原始數(shù)據(jù)生成全部深度平面對(duì)應(yīng)的重聚焦圖像，全部深度平面分 別對(duì)應(yīng)于全部深度平面的重聚焦圖像，其中根據(jù)深度信息，生成多深度平面重聚焦圖像，包 括：根據(jù)多個(gè)深度平面的深度信息從全部深度平面的重聚焦圖像中選擇多個(gè)深度平面的重 聚焦圖像；根據(jù)多個(gè)深度平面的重聚焦圖像生成多深度平面重聚焦圖像，其中多深度平面 重聚焦圖像包括多個(gè)重聚焦圖像的聚焦部分。
[0014] 結(jié)合第七種可能的實(shí)現(xiàn)方式，在第八種可能的實(shí)現(xiàn)方式下，根據(jù)多個(gè)深度平面的 重聚焦圖像生成多深度平面重聚焦圖像，包括：確定全部重聚焦圖像的像素的點(diǎn)擴(kuò)散函數(shù)； 根據(jù)全部重聚焦圖像的像素的點(diǎn)擴(kuò)散函數(shù)生成融合權(quán)重模板，其中融合權(quán)重模板包括全部 重聚焦圖像的像素的融合權(quán)重，多個(gè)重聚焦圖像的像素的融合權(quán)重高于全部重聚焦圖像中 除多個(gè)重聚焦圖像之外的其它重聚焦圖像的像素的融合權(quán)重，多個(gè)重聚焦圖像中聚焦程度 高的像素的融合權(quán)重高于多個(gè)重聚焦圖像中聚焦程度較低的像素的融合權(quán)重；根據(jù)融合權(quán) 重模板，對(duì)全部重聚焦圖像進(jìn)行圖像融合。
[0015] 結(jié)合第七種可能的實(shí)現(xiàn)方式，在第九種可能的實(shí)現(xiàn)方式下，根據(jù)多個(gè)深度平面的 重聚焦圖像生成多深度平面重聚焦圖像，包括：從多個(gè)重聚焦圖像中的每個(gè)重聚焦圖像中 選取聚焦部分和非聚焦部分；拼接聚焦部分和非聚焦部分。
[0016] 結(jié)合第七可能的實(shí)現(xiàn)方式，在第十種可能的實(shí)現(xiàn)方式中，第一方面的方法還包括： 以深度平面的深度或像素坐標(biāo)為索引從查詢(xún)表中查詢(xún)多個(gè)深度平面的重聚焦圖像的聚焦 部分和非聚焦部分，其中，聚焦部分和非聚焦部分以深度平面的深度或像素坐標(biāo)為索引存 儲(chǔ)在查詢(xún)表中，其中根據(jù)多個(gè)深度平面的重聚焦圖像生成多深度平面重聚焦圖像，包括：拼 接多個(gè)深度平面的重聚焦圖像的聚焦部分和非聚焦部分。
[0017] 結(jié)合第五種、第六種、第九種或第十種可能的實(shí)現(xiàn)方式，在第i^一種可能的實(shí)現(xiàn)方 式中，拼接聚焦部分和非聚焦部分，包括：對(duì)聚焦部分的圖像和非聚焦部分的圖像進(jìn)行預(yù)處 理、圖像配準(zhǔn)和圖像融合。
[0018] 結(jié)合第一方面或上述任一種可能的實(shí)現(xiàn)方式，在第十二種可能的實(shí)現(xiàn)方式中，第 一方面的方法還包括：顯示多個(gè)重聚焦圖像中的一個(gè)重聚焦圖像；獲取在所顯示的重聚焦 圖像的多個(gè)區(qū)域上的多個(gè)用戶(hù)輸入，其中多個(gè)用戶(hù)輸入對(duì)應(yīng)于多個(gè)深度平面；在顯示設(shè)備 上輸出生成多深度平面重聚焦圖像；其中確定多個(gè)深度平面的深度信息，包括：根據(jù)多個(gè) 用戶(hù)輸入確定多個(gè)深度平面的深度信息。
[0019] 結(jié)合第十二種可能的實(shí)現(xiàn)方式，在第十三種可能的實(shí)現(xiàn)方式中，用戶(hù)輸入為以下 之一：用戶(hù)在觸摸屏上的單點(diǎn)點(diǎn)擊輸入、多點(diǎn)點(diǎn)擊輸入、單點(diǎn)滑動(dòng)輸入或多點(diǎn)滑動(dòng)輸入；輸 入設(shè)備中的姿態(tài)傳感器探測(cè)到的用戶(hù)姿態(tài)；輸入設(shè)備中的動(dòng)作跟蹤模塊探測(cè)到的用戶(hù)動(dòng) 作。
[0020] 結(jié)合第一方面或上述任一種可能的實(shí)現(xiàn)方式，在第十四種可能的實(shí)現(xiàn)方式中，確 定多個(gè)深度平面的深度信息，包括：根據(jù)預(yù)定義的輸入確定預(yù)定義的輸入對(duì)應(yīng)的多個(gè)深度 平面，方法還包括：在顯示設(shè)備上輸出與預(yù)定義的輸入對(duì)應(yīng)的多深度平面重聚焦圖像。
[0021] 第二方面，提供了一種圖像處理裝置，包括：確定模塊，用于確定多個(gè)深度平面的 深度信息，其中多個(gè)深度平面的深度信息用于指示多個(gè)深度平面，多個(gè)深度平面分別對(duì)應(yīng) 于多個(gè)深度平面的多個(gè)重聚焦圖像，其中所述多個(gè)重聚焦圖像由所述多個(gè)重聚焦圖像的原 始數(shù)據(jù)生成；生成模塊，用于根據(jù)深度信息，生成多深度平面重聚焦圖像，其中多深度平面 重聚焦圖像包括多個(gè)重聚焦圖像的聚焦部分。
[0022] 結(jié)合第二方面，在第一種可能的實(shí)現(xiàn)方式中，多個(gè)深度平面分別對(duì)應(yīng)于多個(gè)重聚 焦圖像的原始數(shù)據(jù)，生成模塊根據(jù)多個(gè)深度平面的深度信息確定多個(gè)重聚焦圖像的原始數(shù) 據(jù)，并且根據(jù)多個(gè)重聚焦圖像的原始數(shù)據(jù)生成多深度平面重聚焦圖像，其中多深度平面重 聚焦圖像包括多個(gè)重聚焦圖像的聚焦部分。
[0023] 結(jié)合第一種可能的實(shí)現(xiàn)方式，在第二種可能的實(shí)現(xiàn)方式中，生成模塊采用重聚焦 算法對(duì)多個(gè)重聚焦圖像的原始數(shù)據(jù)進(jìn)行重聚焦處理，生成多個(gè)重聚焦圖像，并且合并多個(gè) 重聚焦圖像，以生成多深度平面重聚焦圖像。
[0024] 結(jié)合第二方面的第二種可能的實(shí)現(xiàn)方式，在第三種可能的實(shí)現(xiàn)方式中，生成模塊 采用圖像融合方法合并多個(gè)重聚焦圖像的聚焦部分。
[0025] 結(jié)合第二方面的第三種可能的實(shí)現(xiàn)方式，在第四種可能的實(shí)現(xiàn)方式中，生成模塊 確定多個(gè)重聚焦圖像的像素的點(diǎn)擴(kuò)散函數(shù)，根據(jù)像素的點(diǎn)擴(kuò)散函數(shù)生成融合權(quán)重模板，并 且根據(jù)融合權(quán)重模板，對(duì)多個(gè)重聚焦圖像進(jìn)行圖像融合，其中融合權(quán)重模板包括像素的融 合權(quán)重，并且聚焦程度高的像素的融合權(quán)重高于聚焦程度低的像素的融合權(quán)重。
[0026] 結(jié)合第二方面的第二種可能的實(shí)現(xiàn)方式，在第五種可能的實(shí)現(xiàn)方式中，生成模塊 從多個(gè)重聚焦圖像中的每個(gè)重聚焦圖像中選取聚焦部分和非聚焦部分，并拼接聚焦部分和 非聚焦部分。
[0027] 結(jié)合第二方面的第一種可能的實(shí)現(xiàn)方式，在第六種可能的實(shí)現(xiàn)方式中，生成模塊 根據(jù)多個(gè)深度平面的深度信息確定多個(gè)重聚焦圖像的原始數(shù)據(jù)，根據(jù)多個(gè)重聚焦圖像的原 始數(shù)據(jù)生成多個(gè)重聚焦圖像中的每個(gè)重聚焦圖像的聚焦區(qū)域和非聚焦區(qū)域，并且拼接聚焦 部分和非聚焦部分。
[0028] 結(jié)合第二方面，在第七種可能的實(shí)現(xiàn)方式中，生成模塊根據(jù)全部深度平面的重聚 焦圖像的原始數(shù)據(jù)生成全部深度平面對(duì)應(yīng)的重聚焦圖像，全部深度平面分別對(duì)應(yīng)于全部深 度平面的重聚焦圖像，根據(jù)多個(gè)深度平面的深度信息從全部深度平面的重聚焦圖像中選擇 多個(gè)深度平面的重聚焦圖像，并且根據(jù)多個(gè)深度平面的重聚焦圖像生成多深度平面重聚焦 圖像，其中多深度平面重聚焦圖像包括多個(gè)重聚焦圖像的聚焦部分。
[0029] 結(jié)合第二方面的第七種可能的實(shí)現(xiàn)方式，在第八種可能的實(shí)現(xiàn)方式中，生成模塊 確定全部重聚焦圖像的像素的點(diǎn)擴(kuò)散函數(shù)，根據(jù)全部重聚焦圖像的像素的點(diǎn)擴(kuò)散函數(shù)生成 融合權(quán)重模板，并且根據(jù)融合權(quán)重模板，對(duì)全部重聚焦圖像進(jìn)行圖像融合，其中融合權(quán)重模 板包括全部重聚焦圖像的像素的融合權(quán)重，多個(gè)重聚焦圖像的像素的融合權(quán)重高于全部重 聚焦圖像中除多個(gè)重聚焦圖像之外的其它重聚焦圖像的像素的融合權(quán)重，多個(gè)重聚焦圖像 中聚焦程度高的像素的融合權(quán)重高于多個(gè)重聚焦圖像中聚焦程度較低的像素的融合權(quán)重。
[0030] 結(jié)合第二方面的第七種可能的實(shí)現(xiàn)方式，在第九種可能的實(shí)現(xiàn)方式中，生成模塊 從多個(gè)重聚焦圖像中的每個(gè)重聚焦圖像中選取聚焦部分和非聚焦部分；拼接聚焦部分和非 聚焦部分。
[0031] 結(jié)合第二方面的第七種可能的實(shí)現(xiàn)方式，在第十種可能的實(shí)現(xiàn)方式中，第二方面 的圖像處理裝置還包括：查詢(xún)模塊，用于以深度平面的深度或像素坐標(biāo)為索引從查詢(xún)表中 查詢(xún)多個(gè)深度平面的重聚焦圖像的聚焦部分和非聚焦部分，其中，聚焦部分和非聚焦部分 以深度平面的深度或像素坐標(biāo)為索引存儲(chǔ)在查詢(xún)表中，其中生成模塊拼接多個(gè)深度平面的 重聚焦圖像的聚焦部分和非聚焦部分。
[0032] 結(jié)合第五種、第六種、第九種或第十種可能的實(shí)現(xiàn)方式，在第i^一種可能的實(shí)現(xiàn)方 式中，生成模塊在進(jìn)行拼接時(shí)對(duì)聚焦部分的圖像和非聚焦部分的圖像進(jìn)行預(yù)處理、圖像配 準(zhǔn)和圖像融合。
[0033] 結(jié)合第二方面或上述任一種可能的實(shí)現(xiàn)方式，在第十二種可能的實(shí)現(xiàn)方式中，第 二方面的圖像處理裝置還包括：顯示模塊，用于顯示多個(gè)重聚焦圖像中的一個(gè)重聚焦圖像； 獲取模塊，用于獲取在所顯示的重聚焦圖像的多個(gè)區(qū)域上的多個(gè)用戶(hù)輸入，其中多個(gè)用戶(hù) 輸入對(duì)應(yīng)于多個(gè)深度平面，其中顯示模塊在顯示設(shè)備上輸出生成多深度平面重聚焦圖像， 確定模塊根