專利名稱：圖像處理裝置、圖像處理方法、信息記錄介質(zhì)和程序的制作方法
圖像處理裝置、圖像處理方法、信息記錄介質(zhì)和程序技術(shù)領(lǐng)域
本公開涉及圖像處理裝置、圖像處理方法、信息記錄介質(zhì)和程序，更具體而言涉及用于執(zhí)行圖像模糊(blur)校正的圖像處理裝置和方法、信息記錄介質(zhì)和程序。
背景技術(shù)：
在由諸如數(shù)字相機(jī)之類的成像裝置拍攝的圖像中，例如，由于焦點(diǎn)偏移、鏡頭像差以及作為成像元件的(XD、CMOS等中發(fā)生的進(jìn)一步噪聲，發(fā)生噪聲或模糊。
特別地,在使用廉價(jià)鏡頭的相機(jī)中，隨著圖像高度(image height)(與光學(xué)中心的距離)增大，由鏡頭像差引起的圖像模糊嚴(yán)重。
對(duì)如上所述的由各種因素導(dǎo)致的圖像的噪聲或模糊的校正處理在例如 2006-246080號(hào)日本未審查專利申請(qǐng)公布、2009-159603號(hào)日本未審查專利申請(qǐng)公布、2010-081263號(hào)日本未審查專利申請(qǐng)公布等的現(xiàn)有技術(shù)中公開。
2006-246080號(hào)日本未審查專利申請(qǐng)公布公開了一種使用以拍攝圖像的區(qū)域?yàn)閱挝徊煌匿J化參數(shù)的校正處理配置。具體地，通過(guò)隨著圖像高度(與光學(xué)中心的距離)增大而增強(qiáng)銳化參數(shù)來(lái)執(zhí)行圖像校正。
然而，由于2006-246080號(hào)日本未審查專利申請(qǐng)公布的處理僅對(duì)應(yīng)于用于根據(jù)圖像高度增強(qiáng)高頻成分的幅度(magnitude)的處理，并且例如不考慮倍率色像差或模糊的頻率特性的變化等等，所以存在可能不會(huì)執(zhí)行適當(dāng)校正的問題。
另外，2009-159603號(hào)日本未審查專利申請(qǐng)公布公開了一種配置，其中，為了應(yīng)對(duì)由于鏡頭的個(gè)體差異或制造誤差而改變的模糊，根據(jù)各個(gè)鏡頭特性選擇濾波器并且執(zhí)行模糊校正處理。
然而，如果對(duì)像上述圖像高度依從型模糊那樣具有根據(jù)圖像高度連續(xù)變化的模糊圖樣的模糊應(yīng)用校正處理，則存在用于模糊校正的濾波器的類型數(shù)目巨大的問題。
另外，2010-081263號(hào)日本未審查專利申請(qǐng)公布公開了一種配置，其中，對(duì)指示由于圖像高度而發(fā)生不均勻的模糊圖樣的所謂部分模糊應(yīng)用在各個(gè)圖像高度中重心位置被偏移的濾波器，從而根據(jù)圖像高度執(zhí)行適當(dāng)?shù)男Ｕ?br> 具體地，通過(guò)對(duì)濾波器的重心位置進(jìn)行校正來(lái)執(zhí)行與部分模糊相對(duì)應(yīng)的校正。然而，由于主要校正重心位置，沒有表現(xiàn)出對(duì)校正幅度的控制，并且沒有執(zhí)行與很模糊的部分和不那么模糊的部分相對(duì)應(yīng)的個(gè)別處理，所以可能不會(huì)執(zhí)行適當(dāng)?shù)男Ｕ?br> 另外，2011-055038號(hào)日本未審查專利申請(qǐng)公布公開了對(duì)于如下成像裝置的拍攝圖像的校正處理作為成像元件附屬的濾波器，該成像裝置設(shè)置有具有包括全波長(zhǎng)透過(guò)白 (W)像素以及每個(gè)RGB顏色的RGBW陣列的濾波器。
在使用具有包括白(W)像素的RGBW陣列的濾波器的情況下，由于W像素透過(guò)具有寬波長(zhǎng)區(qū)域的可見光線，所以模糊圖樣根據(jù)對(duì)象顏色而改變。
在2011-55038號(hào)日本未審查專利申請(qǐng)公布的處理中，執(zhí)行不依從于對(duì)象顏色的均一校正，但存在如下問題，即，對(duì)于根據(jù)對(duì)象顏色改變的模糊圖樣，可能不會(huì)充分獲得校5正效果。
另外，在上述現(xiàn)有技術(shù)的大多數(shù)配置中，例如，基于使用卷積運(yùn)算的濾波來(lái)執(zhí)行像素值校正。然而，為了執(zhí)行各種類型的校正，由于這些配置要求用于執(zhí)行濾波的許多濾波器和大存儲(chǔ)容量的存儲(chǔ)器，所以存在如下問題，即小型且廉價(jià)的相機(jī)難以采用這些配置。發(fā)明內(nèi)容
鑒于前述情況，希望提供一種用于在執(zhí)行圖像模糊校正的配置中根據(jù)圖像高度執(zhí)行適當(dāng)校正的圖像處理裝置和方法、信息記錄介質(zhì)和程序。
另外，在本公開的實(shí)施例中，希望提供一種基于默認(rèn)濾波器適當(dāng)計(jì)算并使用與各種類型的模糊相對(duì)應(yīng)的模糊校正濾波器以便減少要預(yù)先存儲(chǔ)在存儲(chǔ)器中的濾波器的數(shù)目的圖像處理裝置、圖像處理方法、信息記錄介質(zhì)和程序。
根據(jù)本公開的第一實(shí)施例，提供了一種圖像處理裝置，其包括用于對(duì)圖像執(zhí)行模糊校正處理的圖像信號(hào)校正單元。圖像信號(hào)校正單元包括模糊校正處理部，該模糊校正處理部被配置為利用根據(jù)要經(jīng)歷模糊校正的像素的圖像高度確定的混合比率對(duì)默認(rèn)濾波器和根據(jù)要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行混合處理， 并且利用通過(guò)該混合處理生成的濾波器執(zhí)行模糊校正處理。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，模糊校正處理部利用根據(jù)要經(jīng)歷模糊校正的像素的圖像高度和焦點(diǎn)位置(focus position)信息確定的混合系數(shù)對(duì)默認(rèn)濾波器和坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行混合處理，并且利用通過(guò)該混合處理生成的濾波器執(zhí)行模糊校正處理。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，模糊校正處理部執(zhí)行在圖像高度隨著要經(jīng)歷模糊校正的像素的像素位置變得更遠(yuǎn)離圖像中心而增大時(shí)減小坐標(biāo)位置對(duì)應(yīng)高通濾波器的混合比率的混合處理。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，模糊校正處理部根據(jù)要經(jīng)歷模糊校正的像素的像素位置混合X方向調(diào)整用高通濾波器HPF_x、y方向調(diào)整用高通濾波器HPF_y 和與視角中心位置[(x，y) = (0,0)]相對(duì)應(yīng)的中心濾波器HPF_center,從而生成坐標(biāo)位置對(duì)應(yīng)高通濾波器，其中高通濾波器HPF_x和高通濾波器HPF_y被預(yù)先保存在存儲(chǔ)器中。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，模糊校正處理部通過(guò)根據(jù)要經(jīng)歷模糊校正的像素的圖像高度對(duì)坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行增強(qiáng)幅度調(diào)整來(lái)生成幅度調(diào)整濾波器，并且利用該幅度調(diào)整濾波器執(zhí)行模糊校正處理。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，模糊校正處理部將坐標(biāo)位置對(duì)應(yīng)高通濾波器分離成DC成分和AC成分，利用與要經(jīng)歷模糊校正的像素的圖像高度相對(duì)應(yīng)的幅度調(diào)整參數(shù)對(duì)AC成分執(zhí)行調(diào)整處理，并且將DC成分與已被執(zhí)行了調(diào)整處理的AC成分再合成，從而生成幅度調(diào)整濾波器。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，模糊校正處理部利用要經(jīng)歷模糊校正的像素的圖像高度和焦點(diǎn)位置信息所對(duì)應(yīng)的幅度調(diào)整參數(shù)對(duì)坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行增強(qiáng)幅度調(diào)整，從而生成幅度調(diào)整濾波器。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像信號(hào)校正單元還包括邊緣檢測(cè)部，該邊緣檢測(cè)部被配置為檢測(cè)圖像的邊緣信息；以及混合處理部，該混合處理部被配置為6輸出圖像信號(hào)校正結(jié)果?；旌咸幚聿拷邮諒倪吘墮z測(cè)部輸出的邊緣信息、由模糊校正處理部通過(guò)模糊校正處理生成的經(jīng)模糊校正的信號(hào)和執(zhí)行模糊校正處理前的沒有模糊校正的信號(hào)，并且按照根據(jù)邊緣信息確定的混合比率對(duì)經(jīng)模糊校正的信號(hào)和沒有模糊校正的信號(hào)執(zhí)行混合處理，從而生成輸出信號(hào)。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像信號(hào)校正單元被配置為對(duì)具有包括RGB像素和W(白)像素的RGBW陣列的成像元件的輸出信號(hào)執(zhí)行模糊校正處理，并且在對(duì)要校正的W像素信號(hào)的模糊校正處理時(shí)，圖像信號(hào)校正單元生成反映了包括該W像素信號(hào)的局部區(qū)域的顏色比率的顏色比率反映模糊校正濾波器，并且利用該顏色比率反映模糊校正濾波器執(zhí)行模糊校正處理。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，模糊校正處理部通過(guò)利用成像元件的輸出信號(hào)中包括的W像素信號(hào)的插補(bǔ)處理生成具有與所有像素相對(duì)應(yīng)的W像素信號(hào)的插補(bǔ)圖像，對(duì)構(gòu)成所生成的插補(bǔ)圖像的每個(gè)W像素生成顏色比率反映模糊校正濾波器，并且利用該顏色比率反映模糊校正濾波器執(zhí)行模糊校正處理。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，模糊校正處理部計(jì)算局部區(qū)域的RGB 顏色的低頻成分，并且將計(jì)算出的RGB顏色的低頻成分的值的比率設(shè)定為局部區(qū)域的顏色比率。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，模糊校正處理部按照根據(jù)局部區(qū)域的RGB顏色比率確定的混合比率混合預(yù)先保存在存儲(chǔ)器中的R對(duì)應(yīng)模糊校正濾波器、G對(duì)應(yīng)模糊校正濾波器、B對(duì)應(yīng)模糊校正濾波器，從而生成顏色比率反映模糊校正濾波器。
另外，根據(jù)本公開的圖像處理裝置的實(shí)施例，圖像信號(hào)校正單元包括飽和檢測(cè)部， 該飽和檢測(cè)部被配置為檢測(cè)在包括具有要經(jīng)歷模糊校正的像素的多個(gè)像素的局部區(qū)域中是否包括飽和像素。模糊校正處理部接收來(lái)自飽和檢測(cè)部的檢測(cè)信息，在局部區(qū)域中包括飽和像素時(shí)不對(duì)要經(jīng)歷模糊校正的像素執(zhí)行模糊校正，并且僅在局部區(qū)域中不包括飽和像素時(shí)對(duì)要經(jīng)歷模糊校正的像素執(zhí)行模糊校正。
另外，根據(jù)本公開的第二實(shí)施例，提供了一種圖像處理裝置，其包括用于對(duì)圖像執(zhí)行模糊校正處理的圖像信號(hào)校正單元。圖像信號(hào)校正單元將用于模糊校正的濾波器分離成 DC成分和AC成分，利用根據(jù)要經(jīng)歷模糊校正的像素的圖像高度計(jì)算的幅度調(diào)整參數(shù)對(duì)AC 成分執(zhí)行幅度調(diào)整，將DC成分與被執(zhí)行了幅度調(diào)整的AC成分再合成以生成幅度調(diào)整濾波器，并且利用該幅度調(diào)整濾波器執(zhí)行模糊校正。
另外，根據(jù)本公開的第三實(shí)施例，提供了一種在圖像處理裝置中對(duì)圖像執(zhí)行模糊校正處理的圖像處理方法。圖像信號(hào)校正單元執(zhí)行用于按照根據(jù)要經(jīng)歷模糊校正的像素的圖像高度確定的混合系數(shù)來(lái)混合默認(rèn)濾波器和根據(jù)要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器的混合處理，并且利用通過(guò)該混合處理生成的濾波器執(zhí)行模糊校正處理。
另外，根據(jù)本公開的第四實(shí)施例，提供了一種在圖像處理裝置中對(duì)圖像執(zhí)行模糊校正處理的圖像處理方法。圖像信號(hào)校正單元將用于模糊校正的濾波器分離成DC成分和 AC成分，利用根據(jù)要經(jīng)歷模糊校正的像素的圖像高度計(jì)算的幅度調(diào)整參數(shù)對(duì)AC成分執(zhí)行幅度調(diào)整，將DC成分與被執(zhí)行了幅度調(diào)整的AC成分再合成以生成幅度調(diào)整濾波器，并且利用該幅度調(diào)整濾波器執(zhí)行模糊校正。
另外，根據(jù)本公開的第五實(shí)施例，提供了一種用于使得在圖像處理裝置中執(zhí)行對(duì)圖像的模糊校正處理的程序。該程序使得圖像信號(hào)校正單元執(zhí)行用于按照根據(jù)要經(jīng)歷模糊校正的像素的圖像高度確定的混合系數(shù)來(lái)混合默認(rèn)濾波器和根據(jù)要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器的混合處理，以及利用通過(guò)該混合處理生成的濾波器的模糊校正處理。
另外，根據(jù)本公開的第六實(shí)施例，提供了一種記錄介質(zhì)，用于記錄用于使得在圖像處理裝置中執(zhí)行對(duì)圖像的模糊校正處理的程序。該記錄介質(zhì)記錄用于使得圖像信號(hào)校正單元執(zhí)行以下步驟的程序用于按照根據(jù)要經(jīng)歷模糊校正的像素的圖像高度確定的混合系數(shù)來(lái)混合默認(rèn)濾波器和根據(jù)要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器的混合處理，以及利用通過(guò)該混合處理生成的濾波器的模糊校正處理。
注意，根據(jù)本公開的程序例如是可在以計(jì)算機(jī)可讀形式提供的存儲(chǔ)介質(zhì)或通信介質(zhì)中提供給能夠執(zhí)行各種類型的程序代碼的信息處理裝置或計(jì)算機(jī)系統(tǒng)的程序。以計(jì)算機(jī)可讀形式提供這種程序使得可以在信息處理裝置或計(jì)算機(jī)系統(tǒng)中實(shí)現(xiàn)根據(jù)該程序的處理。
稍后將通過(guò)基于本公開的實(shí)施例和附圖的更詳細(xì)說(shuō)明來(lái)闡明本公開的目的、特征和優(yōu)點(diǎn)。另外，本說(shuō)明書中的系統(tǒng)不限于是邏輯上聚集全都包含在同一殼體內(nèi)的多個(gè)裝置的配置。
根據(jù)本公開的實(shí)施例的配置，實(shí)現(xiàn)了用于根據(jù)構(gòu)成圖像的每個(gè)像素的圖像高度等等執(zhí)行最優(yōu)模糊校正處理的裝置和方法。
具體地，該裝置包括用于對(duì)圖像執(zhí)行模糊校正處理的圖像信號(hào)校正單元，其中，圖像信號(hào)校正單元利用與要經(jīng)歷模糊校正的像素的圖像高度相對(duì)應(yīng)的混合系數(shù)混合默認(rèn)濾波器和根據(jù)要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器，并且利用通過(guò)該混合處理生成的濾波器執(zhí)行模糊校正。例如，當(dāng)隨著要經(jīng)歷模糊校正的像素的像素位置更遠(yuǎn)離圖像中心，圖像高度增大時(shí)，圖像信號(hào)校正單元執(zhí)行減小坐標(biāo)位置對(duì)應(yīng)高通濾波器的混合比率的混合處理?；蛘?，圖像信號(hào)校正單元生成被根據(jù)圖像高度執(zhí)行了幅度調(diào)整的幅度調(diào)整模糊校正濾波器，并執(zhí)行模糊校正。
通過(guò)這些處理，實(shí)現(xiàn)了根據(jù)構(gòu)成圖像的每個(gè)像素的圖像高度等等的最優(yōu)模糊校正處理。


圖I是用于描述根據(jù)圖像高度產(chǎn)生的模糊圖樣的示圖2是用于描述利用維納濾波器的模糊校正處理的示例的示圖3是用于描述本公開的圖像處理裝置的配置示例的示圖4是用于描述本公開的圖像處理裝置的配置示例的示圖5是用于描述圖像信號(hào)校正單元執(zhí)行的處理的整體序列的流程圖6是用于描述對(duì)于包括飽和像素的像素區(qū)域的模糊校正和偽色(false color)廣生的不圖7是用于描述當(dāng)在要經(jīng)歷模糊校正的像素周圍包括飽和像素時(shí)不對(duì)待校正像素執(zhí)行模糊校正的處理的示圖8是用于描述平坦度weightFlat的示圖9是用于描述濾波器生成處理的詳細(xì)序列的流程圖10是用于描述生成坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist的序列的流程圖11是用于描述為了生成坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist而應(yīng)用的高通濾波器的示例的示圖12是示出濾波器的增強(qiáng)特性的示圖13是用于描述(a)鏡頭MTF特性、(b)維納濾波器特性和(C)混合系數(shù)α的設(shè)定示例的示圖14是用于描述被執(zhí)行了增強(qiáng)幅度調(diào)整的模糊校正濾波器Ffinal的處理的示圖15是用于描述被執(zhí)行了增強(qiáng)幅度調(diào)整的模糊校正濾波器Ffinal的處理的示圖16是示出濾波器的增強(qiáng)特性的示圖17是用于描述(a)鏡頭MTF特性、(b)維納濾波器特性和(C)增強(qiáng)幅度調(diào)整參數(shù)β的設(shè)定示例的示圖18是示出RGBW濾波器中的每個(gè)顏色的光譜幅度特性的示圖19是示出每個(gè)RGBW顏色的MTF特性的示圖20是用于描述將RGBW圖像轉(zhuǎn)換成RGB圖像的處理的示圖21是用于描述圖像處理裝置的實(shí)施例的示圖；
圖22是用于描述圖像處理裝置的實(shí)施例的示圖；
圖23是用于描述圖像信號(hào)校正單元執(zhí)行的處理的整體序列的流程圖24是用于描述用于計(jì)算低頻成分mR、mG和mB的低頻成分計(jì)算濾波器的配置示 例的示圖
圖25是用于描述用于計(jì)算低頻成分mR、mG和mB的低頻成分計(jì)算濾波器的配置示例的示圖
圖26是用于描述用于計(jì)算低頻成分mR、mG和mB的低頻成分計(jì)算濾波器的配置示例的示圖
圖27是用于描述用于計(jì)算低頻成分mR、mG和mB的低頻成分計(jì)算濾波器的配置示例的示圖
圖28是用于描述W對(duì)應(yīng)模糊校正濾波器的計(jì)算處理示例的示圖29是用于描述用于計(jì)算低頻成分mW的低頻成分計(jì)算濾波器和用于計(jì)算沒有噪聲信號(hào)的W信號(hào)Wn的濾波器的示例的示圖；并且圖30是用于描述局部區(qū)域中的W和G的像素值比率之間的對(duì)應(yīng)關(guān)系的示例的示圖。
具體實(shí)施方式
以下，將參考附圖詳細(xì)描述本公開的優(yōu)選實(shí)施例。注意，在本說(shuō)明書和附圖中，用相同的標(biāo)號(hào)表示具有基本相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元素，并且省略對(duì)這些結(jié)構(gòu)元素的重復(fù)說(shuō)明。
以下，將參考附圖詳細(xì)描述本公開的圖像處理裝置、圖像處理方法、信息記錄介質(zhì)和程序。此外，將按以下順序給出描述。
I.在拍攝圖像中產(chǎn)生的模糊的特性，以及可應(yīng)用于模糊校正的濾波器的概要
2.(第一實(shí)施例)圖像處理裝置的配置示例
3.根據(jù)第一實(shí)施例的圖像處理裝置的模糊校正處理的細(xì)節(jié)
4.(第二實(shí)施例)用于執(zhí)行考慮到顏色比率的模糊校正的圖像處理裝置的配置示例
5.根據(jù)第二實(shí)施例的圖像處理裝置的模糊校正處理的細(xì)節(jié)
6.本公開的配置的總結(jié)
[I.在拍攝圖像中產(chǎn)生的模糊的特性，以及可應(yīng)用于模糊校正的濾波器的概要]
在提供對(duì)本公開的圖像處理裝置的詳細(xì)描述之前，將描述在拍攝圖像中產(chǎn)生的模糊的特性以及可應(yīng)用于模糊校正的濾波器的基本概要。
如上所述，在由諸如數(shù)字相機(jī)之類的成像裝置拍攝的圖像中，由于鏡頭特性或者諸如CXD或CMOS之類的成像元件的特性而發(fā)生模糊。
特別地，在使用廉價(jià)鏡頭的相機(jī)中，隨著圖像高度(與光學(xué)中心的距離)增大，由鏡頭像差(lens aberration)引起的圖像的模糊變得嚴(yán)重。
將參考圖I來(lái)描述由于圖像高度而發(fā)生的模糊的圖樣。
圖I示出了具有交替設(shè)定矩形的白區(qū)域和黑區(qū)域的棋盤圖樣的拍攝圖像。
如圖I中所示，在圖像的中心區(qū)域中模糊較小。也就是說(shuō)，在接近光學(xué)中心處(圖像高度減小)，模糊較小。
同時(shí)，隨著與光學(xué)中心距離增大，也就是隨著圖像高度增大，模糊嚴(yán)重。
如上所述，在由相機(jī)拍攝的圖像中發(fā)生的模糊在靠近相機(jī)的鏡頭的光學(xué)中心的圖像區(qū)域的中心較小，并且在遠(yuǎn)離鏡頭的光學(xué)中心的圖像的周邊區(qū)域中嚴(yán)重。
接下來(lái)，將簡(jiǎn)要描述作為圖像模糊校正中使用的濾波器的示例的維納(Wiener) 濾波器。考慮以下三種圖像
(I)沒有模糊的理想圖像(原始圖像)；
(2)具有|旲糊的拍攝圖像；
(3)通過(guò)對(duì)拍攝圖像應(yīng)用濾波處理而恢復(fù)的恢復(fù)圖像。
這里，上述兩個(gè)圖像(I)和(3)的平方誤差最小的濾波器將被稱為最小二乘濾波器或維納濾波器。
以下，f (X，y)被定義為沒有模糊的理想圖像(原始圖像)，g(x，y)被定義為具有模糊的拍攝圖像，h(x，y)被定義為由鏡頭像差或抖動(dòng)引起的劣化函數(shù)，并且n(x，y)被定義為噪聲成分。
(x，y)指示圖像的像素位置,并且;^1,7)、8(1,7)、11(1,7)和n(x,y)可指示圖像的坐標(biāo)位置(X，y)的像素值。
這里，如果假設(shè)由鏡頭像差或抖動(dòng)引起的劣化函數(shù)h(x，y)具有固定值，則以下式 I成立。
式I
g(x, y) = / / h(x-x/，y-y' ) · f(x' , y' ) · dx' dy' +n(x, y)
如果對(duì)式I的兩側(cè)進(jìn)行傅立葉變換，則獲得以下式2。0098]式 20099]G(u，v) = H (U，V) X F (U，V)+N (u, V)0100]在以上式2 中，G(u,v)、H(u,v)、F(u, v)和 N(u,v)分別指示 g(x，y)、h(x,y)、f(x, y)和n(x, y)的傅立葉變換。0101]當(dāng)沒有來(lái)自以上式2的由鏡頭像差或抖動(dòng)引起的劣化函數(shù)中的零點(diǎn)并且噪聲成分已知時(shí)，可如以下式3中那樣計(jì)算F(U，V)。0102]式3、 G(u,v)~ N(u, v)0103]F(u,v)= ，~0104]然而，由于噪聲成分一般是未知的，所以不可能嚴(yán)格地解出以上式3。就此，利用使理想圖像F與經(jīng)模糊校正的恢復(fù)圖像F’之間的誤差可為最小的以下式4的維納濾波器 K (U，V)執(zhí)行模糊校正。0105]式4κ. ,λH(u,v)Λ-ΙΛΟ A(WjV) =-r-|"(M,V)| +(Sn(u,v)/Sf(u,v))0107]在以上式4中，(Sn(u, V)/Sf (u, V))指示理想圖像(原始圖像)F和噪聲N的功率譜密度 Γ (Γ = Sn(u，v)/Sf(u，V))。0108]如以下式5中表述的，通過(guò)對(duì)濾波器進(jìn)行逆傅立葉變換而獲得的k(x，y)和測(cè)量圖像在實(shí)空間中被卷積，從而可以獲得經(jīng)模糊校正的圖像f’(X，y)。0109]式5、_H(u,v)0110]K(u,v)=----|//0，V)| +(Sn(u,v)/Sf(u,v))0111]根據(jù)以上式5的維納濾波器進(jìn)行的模糊校正處理的示例在圖2中示出。0112]圖2示出了(a)拍攝圖像G和(b)維納濾波器K。0113](a)拍攝圖像是包括具有W(白)像素的RGBW像素的RAW圖像。0114]這里，待校正像素是圖2的(a)中所示的7X7像素的中心處的W像素。0115](b)維納濾波器K指示對(duì)7X7像素中包括的每個(gè)W像素的乘法系數(shù)。執(zhí)行卷積運(yùn)算以將7X7像素中包括的W像素的像素值乘以每個(gè)系數(shù)并將各乘法結(jié)果相加，從而計(jì)算中心W像素的校正像素值。0116]此外，圖2的示例示出了對(duì)于具有RGBW配置的圖像的W像素的處理示例。然而， 對(duì)于每個(gè)RGB像素執(zhí)行相同的濾波器處理。0117]另外，對(duì)于具有除了 RGBW配置以外的RGB配置的圖像執(zhí)行基于相同的利用維納濾波器的處理的模糊校正。0118][2.(第一實(shí)施例)圖像處理裝置的配置示例]0119]參考圖3和圖4，將描述本公開的圖像處理裝置的配置示例。0120]圖3是示出作為本公開的圖像處理裝置的實(shí)施例的成像裝置100的配置示例的示圖。成像裝置100包括光學(xué)鏡頭105、成像元件(圖像傳感器)110、信號(hào)處理塊120、存儲(chǔ)器30和控制塊140。此外，該成像裝置相當(dāng)于圖像處理裝置的一種樣態(tài)。0121]此外，本公開的圖像處理裝置例如包括諸如PC之類的裝置。諸如PC之類的圖像處理裝置包括除了圖3中所示的成像裝置100的光學(xué)鏡頭105和成像元件110以外的元件， 并且設(shè)有用于由成像元件110獲取的數(shù)據(jù)的輸入單元或存儲(chǔ)單元。
以下，將描述圖3中所示的成像裝置100作為本公開的圖像處理裝置的代表例。此外，圖3中所示的成像裝置100例如包括靜止相機(jī)、視頻相機(jī)等等。
圖3中所示的成像裝置100的成像元件(圖像傳感器)110包括具有拜耳陣列的顏色濾波器，拜耳陣列包括RGB陣列。
首先，將描述利用包括RGB陣列的成像元件110的配置和處理示例。
然后，將描述利用包括RGBW陣列的成像元件的配置和處理。
圖3中所示的成像裝置100的成像元件(圖像傳感器)110具有RGB陣列181。也就是說(shuō)，成像元件110是設(shè)有具有透過(guò)紅色附近的波長(zhǎng)的紅(R)、透過(guò)綠色附近的波長(zhǎng)的綠 (G)和透過(guò)藍(lán)色附近的波長(zhǎng)的藍(lán)(B)的三種類型的光譜特性的濾波器的成像元件。
具有RGB陣列181的成像元件110以像素為單位通過(guò)光學(xué)鏡頭105接收RGB光， 通過(guò)光電轉(zhuǎn)換生成與光接收信號(hào)的強(qiáng)度相對(duì)應(yīng)的電信號(hào)，并且輸出電信號(hào)。通過(guò)成像元件 110，獲得具有三種類型的RGB光譜的馬賽克圖像。
成像元件(圖像傳感器)110的輸出信號(hào)被輸入到信號(hào)處理塊120的圖像信號(hào)校正單元200。
圖像信號(hào)校正單元200例如執(zhí)行考慮到根據(jù)圖像高度(與光學(xué)中心的距離)或焦點(diǎn)位置而改變的模糊圖樣的模糊校正處理。圖像信號(hào)校正單元200的配置和處理將在后文中詳細(xì)描述。
在圖像信號(hào)校正單元200中經(jīng)模糊校正的RGB圖像被輸出到RGB信號(hào)處理單元 250。
圖像信號(hào)校正單元200的輸出與成像裝置100的輸出類似是具有拜耳陣列的數(shù)據(jù)。
RGB信號(hào)處理單元250執(zhí)行與現(xiàn)有相機(jī)中的信號(hào)處理單元相同的處理。具體地， RGB信號(hào)處理單兀250執(zhí)行去馬賽克處理(demosaicing process)、白平衡調(diào)整處理、Y校正處理等等，從而生成顏色圖像183。所生成的顏色圖像183被存儲(chǔ)在存儲(chǔ)器130中。
控制塊140控制這一系列處理。例如，在用于執(zhí)行這一系列處理的程序被存儲(chǔ)在存儲(chǔ)器130中的狀態(tài)中，控制塊140執(zhí)行從存儲(chǔ)器130讀取的程序，從而控制這一系列處理。
此外，存儲(chǔ)器130例如可包括各種記錄介質(zhì)，比如磁盤、光盤或閃存。
將參考圖4描述圖像信號(hào)校正單元200的詳細(xì)配置。
如圖4中所示，圖像信號(hào)校正單元200包括線存儲(chǔ)器201、圖像高度計(jì)算部202、飽和檢測(cè)部203、模糊校正處理部210、邊緣檢測(cè)部221和混合處理部230。
混合處理部230包括加權(quán)加法處理部235。
從成像元件110輸出的與像素相對(duì)應(yīng)的像素值信號(hào)被一度存儲(chǔ)在線存儲(chǔ)器201 中。
另外，與每個(gè)像素的像素值相關(guān)聯(lián)的指示每個(gè)像素的坐標(biāo)位置的xy地址被輸出到圖像高度計(jì)算部202。
線存儲(chǔ)器201具有與成像元件的七條水平線相對(duì)應(yīng)的線存儲(chǔ)器。線存儲(chǔ)器201以并行方式順次輸出與七條水平線相對(duì)應(yīng)的數(shù)據(jù)。輸出目的地是模糊校正處理部210、邊緣檢測(cè)部221和飽和檢測(cè)部203。RGB陣列181的拍攝數(shù)據(jù)以七條線為單位被輸出到這些處理部。
邊緣檢測(cè)部221驗(yàn)證來(lái)自線存儲(chǔ)器201的輸出信號(hào)，生成圖像中包括的邊緣信息， 例如包括邊緣方向和邊緣幅度的邊緣信息，并且將所生成的邊緣信息輸出到混合處理部 230。
具體地，例如，邊緣檢測(cè)部221計(jì)算根據(jù)以待處理像素(7X7像素的中心像素)為中心的7X7像素的像素信息計(jì)算出的平坦度weightFlat,并將平坦度weightFlat輸出到混合處理部230。
此外，平坦度weightFlat計(jì)算處理可按與作為本申請(qǐng)人的優(yōu)先權(quán)申請(qǐng)的2011-55038號(hào)日本未審查專利申請(qǐng)公布中公開的處理相同的處理執(zhí)行。
模糊校正處理部210驗(yàn)證來(lái)自線存儲(chǔ)器201的輸入信號(hào)Rin、Gin和Bin，執(zhí)行用于減輕圖像模糊的處理以計(jì)算通過(guò)處理結(jié)果獲得的模糊校正信號(hào)RcUGd和Bd，并將模糊校正信號(hào)Rd、Gd和Bd輸出到混合處理部230。
混合處理部230接收來(lái)自線存儲(chǔ)器201的輸出信號(hào)的RGB信號(hào)Rin、Gin和Bin、 從邊緣檢測(cè)部221輸出的邊緣信息以及從模糊校正處理部210輸出的模糊校正信號(hào)RcUGd 和BcL
混合處理部230利用接收到的信息生成考慮了邊緣的模糊校正輸出信號(hào)RGB，并將該輸出信號(hào)RGB輸出到RGB信號(hào)處理單元250。
混合處理部230包括加權(quán)加法處理部235，其中加權(quán)加法處理部235根據(jù)由邊緣檢測(cè)部221計(jì)算出的待處理像素的邊緣信息，也就是從以待處理像素(7X7像素的中心像素)為中心的7X7像素的像素信息計(jì)算出的平坦度weightFlat，對(duì)從模糊校正處理部210 輸出的模糊校正信號(hào)RcUGd和Bd執(zhí)行加權(quán)加法處理，從而計(jì)算RGB陣列181的每個(gè)RGB像素值。具體地，混合處理部230根據(jù)以下式子確定RGB像素值。
R= (weightFlat) X (Rd) + (1-weightFlat) X Rin
G= (weightFlat) X (Gd) + (1-weightFlat) XGin
B= (weightFlat) X (Bd) + (1-weightFlat) XBin
混合處理部230將作為以上式子的計(jì)算結(jié)果獲得的R、G和B輸出到RGB信號(hào)處理單元250。
RGB信號(hào)處理單元250相當(dāng)于一般相機(jī)或圖像處理裝置中包括的對(duì)于RGB陣列 (拜耳陣列)的信號(hào)處理單元。RGB信號(hào)處理單元250對(duì)從混合處理部230輸出的RGB陣列(拜耳陣列)信號(hào)執(zhí)行信號(hào)處理，從而生成顏色圖像183 (參考圖3)。具體地，RGB信號(hào)處理單元250例如執(zhí)行白平衡處理、去馬賽克處理、濃淡(shading)處理、RGB顏色矩陣處理、Y校正處理等等，從而生成顏色圖像183。
圖5是用于描述圖像信號(hào)校正單元200執(zhí)行的處理的整體序列的流程圖。
在步驟SlOl中，圖像信號(hào)校正單元200生成與圖像高度等等相對(duì)應(yīng)的模糊校正濾波器。此處理是由模糊校正處理部210執(zhí)行的。
模糊校正處理部210從圖像高度計(jì)算部202接收基于要經(jīng)歷模糊校正的像素的xy 地址計(jì)算出的圖像高度(與圖像中心(=光學(xué)中心)的距離)信息，并根據(jù)圖像高度等等生成模糊校正濾波器。
此外，此處理的細(xì)節(jié)將在后文中描述。
在步驟S102中，判定要經(jīng)歷模糊校正的像素是否飽和。
具體地，要經(jīng)歷模糊校正的像素的飽和由圖4中所示的飽和檢測(cè)部203檢測(cè)，并且檢測(cè)信息被輸入到模糊校正處理部210。
當(dāng)要經(jīng)歷模糊校正的像素已飽和時(shí)，如果執(zhí)行模糊校正，則有可能產(chǎn)生偽色。這是因?yàn)槟：Ｕ幚戆▍⒖家?jīng)歷模糊校正的像素周圍的像素的像素值設(shè)定待校正像素的像素值的處理。
例如，圖6的(a)中所示的圖像的像素區(qū)域271a是包括高光像素也就是飽和像素的像素區(qū)域。
如果對(duì)包括飽和像素的像素區(qū)域271a執(zhí)行模糊校正處理，則如圖6的(b)的像素區(qū)域271b中所示減輕了模糊。然而，產(chǎn)生偽色，其中設(shè)定了與對(duì)象的原始顏色不同的顏色。
為了防止產(chǎn)生偽色，當(dāng)如圖7中所示在要經(jīng)歷模糊校正的像素的周圍例如以待校正像素為中心的7X7像素包括飽和像素時(shí)，不對(duì)待校正像素執(zhí)行模糊校正。
如上所述，模糊校正處理部210執(zhí)行根據(jù)飽和檢測(cè)部203中的飽和像素(高光) 區(qū)域的檢測(cè)信息利用沒有模糊校正處理的信號(hào)替換飽和像素區(qū)域的處理。
飽和檢測(cè)部203例如判定以要經(jīng)歷模糊校正處理的像素為中心的7X7像素的區(qū)域的像素是否不超過(guò)預(yù)定的閾值。如果7X7像素的區(qū)域的至少一個(gè)像素超過(guò)閾值，則飽和檢測(cè)部203向模糊校正處理部210輸出飽和檢測(cè)信息。
如果7X7像素的區(qū)域的至少一個(gè)像素超過(guò)閾值，那么由于很有可能產(chǎn)生偽色，所以模糊校正處理部210執(zhí)行利用沒有校正處理的信號(hào)替換該像素區(qū)域的處理。
此處理對(duì)應(yīng)于當(dāng)圖5中的所示的流程圖的步驟S102的判定是“是”時(shí)的處理。在此情況下，執(zhí)行步驟S105，而不執(zhí)行步驟S103和S104。
也就是說(shuō)，不執(zhí)行對(duì)待處理像素(7X7像素的中心像素)的模糊校正處理。
當(dāng)以要經(jīng)歷模糊校正處理的像素為中心的7X7像素的區(qū)域中沒有像素超過(guò)預(yù)定閾值并且沒有執(zhí)行飽和檢測(cè)時(shí)，步驟S102的判定是“否”并且在步驟S103中執(zhí)行利用濾波器的模糊校正處理。
此模糊校正處理是由圖4中所示的模糊校正處理部210執(zhí)行的處理，并且是利用在步驟SlOl中根據(jù)圖像高度等等生成的模糊校正濾波器來(lái)執(zhí)行的。
接下來(lái)，在步驟S104中執(zhí)行邊緣檢測(cè)處理。
此處理是由圖4中所示的邊緣檢測(cè)部221執(zhí)行的。邊緣檢測(cè)部221驗(yàn)證來(lái)自線存儲(chǔ)器201的輸出信號(hào)，并且生成圖像中包括的邊緣信息，例如包括邊緣方向和邊緣幅度的邊緣信息。
具體地，如上所述，邊緣檢測(cè)部221例如計(jì)算根據(jù)以待處理像素(7X7像素的中心像素)為中心的7X7像素的像素信息計(jì)算出的平坦度weightFlat，并將平坦度 weightFlat輸出到混合處理部230。
平坦度weightFlat如圖8中所示具有O到I的范圍內(nèi)的值，并且是指示圖像狀態(tài)的平坦度的指標(biāo)值，其中平坦度在其接近I時(shí)較低(多紋理)，并且平坦度在其接近O時(shí)較高(少紋理)。
如圖8中所示，如下利用兩個(gè)預(yù)設(shè)閾值LimitO和Limitl來(lái)計(jì)算平坦度 weightFlat
如果O ^ (ratioFlat) < LimitO,則平坦度(weightFlat) = O ；
如果LimitO ^ (ratioFlat) < Limitl,則平坦度(weightFlat) = O 到 I ;并且
如果Limitl ^ (ratioFlat),則平坦度(weightFlat) = I。
邊緣檢測(cè)部221例如將關(guān)于平坦度weightFlat的信息作為邊緣信息輸出到混合處理部230。
此外，如上所述，由于平坦度weightFlat計(jì)算處理可按與作為本申請(qǐng)人的優(yōu)先權(quán)申請(qǐng)的2011-55038號(hào)日本未審查專利申請(qǐng)公布中公開的處理相同的處理執(zhí)行，所以平坦度weightFlat計(jì)算處理的細(xì)節(jié)可在2011-55038號(hào)日本未審查專利申請(qǐng)公布中找到。
接下來(lái)，在步驟S105中，執(zhí)行混合處理。
此處理是由圖4中所示的混合處理部230執(zhí)行的處理?；旌咸幚聿?30接收來(lái)自線存儲(chǔ)器201的輸出信號(hào)的RGB信號(hào)Rin、Gin和Bin、從邊緣檢測(cè)部221輸出的邊緣信息以及從模糊校正處理部210輸出的模糊校正信號(hào)Rd、Gd和Bd。
混合處理部230利用接收到的信息生成考慮了邊緣的模糊校正輸出信號(hào)RGB，并將輸出信號(hào)RGB輸出到RGB信號(hào)處理單元250。
混合處理部230包括加權(quán)加法處理部235，其中加權(quán)加法處理部235根據(jù)由邊緣檢測(cè)部221計(jì)算出的待處理像素的邊緣信息，也就是從以待處理像素(7X7像素的中心像素)為中心的7X7像素的像素信息計(jì)算出的平坦度weightFlat，對(duì)從模糊校正處理部210 輸出的模糊校正信號(hào)RcUGd和Bd執(zhí)行加權(quán)加法處理，從而計(jì)算RGB陣列181的每個(gè)RGB像素值。具體地，混合處理部230根據(jù)以下式子確定RGB像素值。
R= (weightFlat) X (Rd) + (1-weightFlat) X Rin
G= (weightFlat) X (Gd) + (1-weightFlat) XGin
B= (weightFlat) X (Bd) + (1-weightFlat) XBin
混合處理部230將作為以上式子的計(jì)算結(jié)果獲得的R、G和B輸出到RGB信號(hào)處理單元250。
具體地，混合處理部230的加權(quán)加法處理部235例如執(zhí)行混合處理，用于基于由邊緣檢測(cè)部221計(jì)算出的待處理像素的邊緣信息，在邊緣幅度被判定為高的像素位置處增大有模糊校正的信號(hào)的混合比率，并且在邊緣幅度被判定為低的像素位置處將沒有模糊校正的信號(hào)的混合比率設(shè)定得較高。
優(yōu)選地，在邊緣附近存在具有恢復(fù)的高頻成分的銳利信號(hào)。然而，由于在平坦部分原本不包括高頻成分，所以優(yōu)選存在被抑制了噪聲的信號(hào)。
然而，如上所述，當(dāng)從預(yù)定單位的像素區(qū)域例如以要經(jīng)歷模糊校正處理的像素為中心的7X7像素的區(qū)域中檢測(cè)飽和像素時(shí)，由于對(duì)該像素不執(zhí)行模糊校正，所以輸入像素值RiruGin和Bin被按原樣從成像元件110輸出。
最后，在步驟S106中，判定是否已完全處理了所有輸入像素。當(dāng)存在未處理像素時(shí)，對(duì)未處理像素重復(fù)執(zhí)行步驟SlOl至步驟S105的處理。
在步驟S106中，當(dāng)判定已完全處理了所有輸入像素時(shí)，圖像信號(hào)校正單元200的處理結(jié)束。
[3.根據(jù)第一實(shí)施例的圖像處理裝置的模糊校正處理的細(xì)節(jié)]
接下來(lái)，將描述圖4中所示的圖像信號(hào)校正單元200執(zhí)行的模糊校正處理的詳細(xì)示例。
圖4中所示的圖像信號(hào)校正單元200的模糊校正處理部210驗(yàn)證來(lái)自線存儲(chǔ)器 201的輸入信號(hào)RiruGin和Bin，執(zhí)行用于減輕圖像模糊的處理以計(jì)算通過(guò)處理結(jié)果獲得的模糊校正信號(hào)Rd、Gd和Bd，并將模糊校正信號(hào)Rd、Gd和Bd輸出到混合處理部230。
模糊校正處理部210在圖5中所示的流程圖的步驟SlOl中根據(jù)要經(jīng)歷模糊校正的像素的圖像高度等等生成模糊校正濾波器，并在步驟S103中利用所生成的濾波器執(zhí)行模糊校正處理。
用于描述圖5的步驟SlOl中的濾波器生成處理的詳細(xì)序列的流程圖在圖9中示出。
將參考圖9中所示的流程圖詳細(xì)描述模糊校正濾波器的生成處理的細(xì)節(jié)。
在步驟S121中，模糊校正處理部210生成與要經(jīng)歷模糊校正的像素的xy地址也就是坐標(biāo)(x，y)相對(duì)應(yīng)的高通濾波器，也就是說(shuō)生成坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist。
模糊校正處理部210從圖4中所示的圖像高度計(jì)算部202接收待校正像素的坐標(biāo) (x，y)和圖像高度(與圖像中心的距離)，并生成坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist。
將參考圖10描述此處理。
圖10是示出用于描述坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist的生成處理的流程圖、 要應(yīng)用于濾波器生成的參數(shù)等等的示圖。
首先，在圖10中所示的流程圖的步驟S131中，模糊校正處理部210執(zhí)行用于根據(jù)要經(jīng)歷模糊校正的像素的坐標(biāo)(X，y)，混合(I)X方向調(diào)整用高通濾波器即 _1和(2)y方向調(diào)整用高通濾波器HPF_y的處理，從而生成(3)坐標(biāo)位置反映濾波器HPF_xy。
此外，(I)X方向調(diào)整用高通濾波器HPF_dP (2) y方向調(diào)整用高通濾波器HPF_y是被保存在圖像處理裝置的存儲(chǔ)器中的濾波器，并且是由模糊校正處理部210從該存儲(chǔ)器中獲得的。
將參考圖11描述這些濾波器的詳細(xì)示例。
圖11示出了以下三個(gè)高通濾波器
(A)重心未被改變的高通濾波器HPF_center
(B)X方向調(diào)整用高通濾波器HPF_x，其中在X方向(水平方向)上改變了重心
(C)y方向調(diào)整用高通濾波器HPF_y，其中在y方向(垂直方向)上改變了重心
在圖10中所示的流程圖的步驟S131中，模糊校正處理部210執(zhí)行根據(jù)要經(jīng)歷模糊校正的像素的坐標(biāo)(x，y)混合(B)x方向調(diào)整用高通濾波器即 _1和(C)y方向調(diào)整用高通濾波器HPF_y的處理，從而生成坐標(biāo)位置反映濾波器HPF_xy。
具體地，模糊校正處理部210根據(jù)以下式子生成坐標(biāo)位置反映濾波器HPF_xy。
HPF_xy = (x X HPF_x+y X HPF_y) / (x+y)
在圖10的步驟S131中，模糊校正處理部210根據(jù)要經(jīng)歷模糊校正的像素的坐標(biāo) (X，y)生成坐標(biāo)位置反映濾波器HPF_xy。
在步驟S132中，基于要經(jīng)歷模糊校正的像素的坐標(biāo)(X，y)與視角中心位置[U， y) = (0,0)]之間的距離r，模糊校正處理部210混合(I)坐標(biāo)位置反映濾波器HPF_xy和16(2)與視角中心位置[(X,y) = (0,0)]相對(duì)應(yīng)的中心濾波器HPF_center,從而生成坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist。
(I)坐標(biāo)位置反映濾波器HPF_xy是在步驟S131中計(jì)算出的濾波器。
(2)與視角中心位置[(X, y) = (0,0)]相對(duì)應(yīng)的中心濾波器HPF_center是圖11 的(A)中所示的濾波器，是被保存在圖像處理裝置中的存儲(chǔ)器中的濾波器，并且是由模糊校正處理部210從該存儲(chǔ)器獲得的。
此外，如圖10的(a)的參數(shù)描述中所示，當(dāng)要經(jīng)歷模糊校正的像素的坐標(biāo)被設(shè)定為(x，y)時(shí)，與圖像中心(0，0)的距離r被計(jì)算作為圖像高度。
另外,到視角邊緣Xmax和ymax的圖像高度的最大值被設(shè)定為rmax。
在以上設(shè)定下，模糊校正處理部210根據(jù)以下式子計(jì)算坐標(biāo)位置對(duì)應(yīng)高通濾波器 HPF_dist。
HPF_dist = [ (HPF_xy Xr) + (HPF_center X (rmax-r)) ] /rmax
在步驟S132中，補(bǔ)正処理部模糊校正處理部210根據(jù)以上處理計(jì)算坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist。
圖10的流程圖的步驟S131和S132的處理是圖9中所示的流程圖的步驟S121中的處理，并且通過(guò)這些處理生成坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist。
接下來(lái)，在圖9中所示的流程圖的步驟S122中，模糊校正處理部210根據(jù)混合系數(shù)a (focus, r)混合(I)默認(rèn)濾波器和(2)坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist，從而生成(3)坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase，其中混合系數(shù)a(focus,r)是根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的。
(I)默認(rèn)濾波器是被保存在圖像處理裝置中的存儲(chǔ)器中的濾波器，并且是由模糊校正處理部210從該存儲(chǔ)器獲得的。
具體地，可以應(yīng)用參考圖2描述的被稱為最小二乘濾波器或維納濾波器的濾波器。
圖像處理裝置將諸如維納濾波器之類的模糊校正濾波器作為默認(rèn)濾波器保存在存儲(chǔ)器中，并且在圖9中所示的流程圖的步驟S122中混合默認(rèn)濾波器和在步驟S121中生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist，從而生成坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase。
坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase是基于根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的混合系數(shù)α通過(guò)以下式子來(lái)計(jì)算的。
Fbase = (I. O- α ) X (默認(rèn)濾波器)+ a (HPF_dist)
另外，在步驟S123中，模糊校正處理部210向在步驟S122中生成的坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase應(yīng)用與圖像高度和焦點(diǎn)位置相對(duì)應(yīng)的幅度調(diào)整參數(shù)β (focus, r)，從而生成要實(shí)際應(yīng)用于模糊校正的經(jīng)歷增強(qiáng)幅度調(diào)整的模糊校正濾波器Ffinal。
在步驟S123中生成的模糊校正濾波器Ffinal是要被實(shí)際應(yīng)用到對(duì)待處理像素 (X，y)的模糊校正處理的濾波器。
首先，在步驟S122中，模糊校正處理部210基于根據(jù)圖像高度r和焦點(diǎn)位置信息 focus確定的混合系數(shù)a (focus,r)混合(I)默認(rèn)濾波器和(2)坐標(biāo)位置對(duì)應(yīng)高通濾波器 HPF_dist,從而生成坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase。
此處理將參考圖12及隨后的圖來(lái)描述。
基于根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的混合系數(shù)α對(duì)(I)默認(rèn)濾波器和(2)坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist的混合處理相當(dāng)于調(diào)整(調(diào)節(jié))濾波器的頻率特性的處理。
也就是說(shuō)，該混合處理是作為基于根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的混合系數(shù)α改變?yōu)V波器的頻率特性的處理執(zhí)行的。
圖12中所示的圖線示出了濾波器的增強(qiáng)特性，其中水平軸表示空間頻率，并且垂直軸表示與應(yīng)用濾波器后的像素值輸出相當(dāng)?shù)姆取?br> 該圖線示出了通過(guò)不同地設(shè)定要應(yīng)用于上述混合處理的混合系數(shù)α (α = -0.5 到I. 5)來(lái)生成的濾波器的增強(qiáng)特性。
如上所述，坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase是基于根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的混合系數(shù)α通過(guò)以下式子計(jì)算出的。
Fbase = (I. O- α ) X (默認(rèn)濾波器)+ a (HPF_dist)
在以上式子中，當(dāng)混合系數(shù)α被設(shè)定為O時(shí)，F(xiàn)base =(默認(rèn)濾波器)，并且是具有以圖12中所示的α (O. O)示出的特性的線的濾波器。
另外，在以上式子中，當(dāng)混合系數(shù)α被設(shè)定為I. O時(shí)，F(xiàn)base = (HPF_dist)，并且是具有以圖12中所示的α (1.0)示出的特性的線的濾波器。
也就是說(shuō)，α被改變到各種值，使得可以生成具有如圖12中所示的(α =-O. 5到 I. 5)的頻率特性的濾波器。
如上所述，在圖9中所示的流程圖的步驟S122中執(zhí)行的坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器 Fbase的生成作為與通過(guò)混合(I)默認(rèn)濾波器和(2)坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist來(lái)調(diào)整(調(diào)節(jié))濾波器頻率特性的處理相當(dāng)?shù)奶幚怼?br> 此外，混合系數(shù)α是根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的。
將參考圖13描述混合系數(shù)α的設(shè)定示例。
圖13示出了(a)鏡頭MTF特性、(b)維納濾波器特性以及(C)混合系數(shù)α的設(shè)定示例。
如圖13的(a)中所示，MTF特性一般在圖像高度增大(與圖像中心的距離增大) 時(shí)劣化。特別地，由于高頻區(qū)域被掩埋在噪聲中，所以如圖13的(b)中所示維納濾波器的增強(qiáng)特性向低頻區(qū)域偏移。
就此，如圖13的(C)中所示，當(dāng)圖像高度增大(與圖像中心的距離增大)時(shí)，高通濾波器的混合比率被允許減小。也就是說(shuō)，優(yōu)選地，混合系數(shù)α被允許較小。
可以說(shuō)焦點(diǎn)偏移是類似的。也就是說(shuō)，隨著焦點(diǎn)偏移增大，混合系數(shù)α被允許較小。
此外，焦點(diǎn)偏移相當(dāng)于圖像處理裝置(相機(jī))特有的值，并且與每個(gè)焦點(diǎn)位置對(duì)應(yīng)產(chǎn)生的偏移量是每個(gè)相機(jī)中的特有值。從而，由于可根據(jù)焦點(diǎn)位置信息計(jì)算焦點(diǎn)偏移量，所以模糊校正處理部210從控制塊140接收焦點(diǎn)位置信息(參考圖4)，根據(jù)預(yù)設(shè)的計(jì)算式計(jì)算焦點(diǎn)偏移量，并且利用焦點(diǎn)偏移量和從圖像高度計(jì)算部202獲取的圖像高度r計(jì)算混合系數(shù) Ct (focus, r)。
如上所述，在圖9中所示的流程圖的步驟S122中，模糊校正處理部210基于根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的混合系數(shù)a (focus, r)混合(I)默認(rèn)濾波器和18(2)坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist，從而生成坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase。
接下來(lái)，將描述步驟S123的處理，也就是對(duì)在步驟S122中生成的坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase應(yīng)用與圖像高度和焦點(diǎn)位置相對(duì)應(yīng)的幅度調(diào)整參數(shù)β (focus, r)，從而生成經(jīng)歷增強(qiáng)幅度調(diào)整的模糊校正濾波器Ffinal的處理。
步驟S123的處理是通過(guò)(a)圖14中所示的頻帶分離處理和對(duì)AC成分的增強(qiáng)幅度的乘法和(b)圖15中所示的再合成處理來(lái)執(zhí)行的。
首先，將描述圖14中所示的頻帶分離處理。
圖14中所示的坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase是在圖9中所示的流程圖的步驟 S122的處理中生成的濾波器。
首先，坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase被頻帶分離成DC成分和AC成分，從而獲得兩個(gè)濾波器。
具有DC成分的濾波器是這樣的濾波器其中，只有7X7像素的濾波器的中心像素的系數(shù)為1.0，并且其他像素的系數(shù)被設(shè)定為O。
具有AC成分的濾波器是具有通過(guò)從坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase的系數(shù)中減去DC成分的系數(shù)而獲得的系數(shù)的濾波器。
另外，AC成分被乘以增強(qiáng)幅度(=幅度調(diào)整參數(shù)β )。
利用通過(guò)將AC成分乘以增強(qiáng)幅度而獲得的結(jié)果和用于添加DC成分的再合成處理，模糊校正處理部210生成圖15中所示的要應(yīng)用于最終模糊校正的最終模糊校正濾波器 Ffinal。
增強(qiáng)幅度相當(dāng)于幅度調(diào)整參數(shù)β。
在圖14和圖15中所示的示例中，增強(qiáng)幅度調(diào)整參數(shù)β是I. 5。
模糊校正處理部210將通過(guò)圖14中所示的頻帶分離處理生成的AC成分的濾波器系數(shù)乘以增強(qiáng)幅度調(diào)整參數(shù)β ( = 1. 5)并且執(zhí)行將乘法結(jié)果加到DC成分的每個(gè)相應(yīng)系數(shù)的合成處理，從而生成具有經(jīng)調(diào)整的增強(qiáng)幅度和圖15中所示的系數(shù)的最終模糊校正濾波器 Ffinal。
將參考圖16描述增強(qiáng)幅度調(diào)整參數(shù)β的設(shè)定和頻率特性的變化。
圖16是與參考圖12的描述類似地示出濾波器的增強(qiáng)特性的示圖，其中水平軸表示空間頻率，并且垂直軸表示與應(yīng)用濾波器后的像素值輸出相對(duì)應(yīng)的幅度。
假設(shè)坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase的增強(qiáng)特性例如由圖16的虛線指示。
坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase經(jīng)歷已參考圖14和圖15描述的(si)到DC成分和AC成分的頻帶分離，(s2) AC成分和增強(qiáng)幅度調(diào)整參數(shù)β ( = 1.5)的乘法，以及(s3) 基于AC成分的乘法結(jié)果和DC成分的加法處理的再合成處理，從而可以生成具有圖16的實(shí)線指示的特性的模糊校正濾波器Ffinal。
在圖16中所示的示例中，增強(qiáng)幅度調(diào)整參數(shù)β是I. 5。然而，可以通過(guò)改變?chǔ)碌闹祦?lái)生成具有各類設(shè)定的模糊校正濾波器Ffinal。
此外，與上述的混合系數(shù)α類似，增強(qiáng)幅度調(diào)整參數(shù)β是根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的。
將參考圖17描述增強(qiáng)幅度調(diào)整參數(shù)β的設(shè)定示例。
圖17示出了(a)鏡頭MTF特性、(b)維納濾波器特性和(C)增強(qiáng)幅度調(diào)整參數(shù)β的設(shè)定示例。
如圖17的(a)中所示，MTF特性一般在圖像高度增大(與圖像中心的距離增大) 時(shí)劣化。因此，如圖17的(b)中所示，維納濾波器的增強(qiáng)幅度也被允許增大。
就此，如圖17的(C)中所示，當(dāng)圖像高度增大(與圖像中心的距離增大)時(shí)，優(yōu)選地，增強(qiáng)幅度調(diào)整參數(shù)β被允許增大。
可以說(shuō)焦點(diǎn)偏移是類似的。也就是說(shuō)，隨著焦點(diǎn)偏移增大，增強(qiáng)幅度調(diào)整參數(shù)β 被允許增大。
此外，如上所述，焦點(diǎn)偏移相當(dāng)于圖像處理裝置(相機(jī))特有的值，并且根據(jù)每個(gè)焦點(diǎn)位置產(chǎn)生的偏移量是每個(gè)相機(jī)中的特有值。從而，由于可根據(jù)焦點(diǎn)位置信息計(jì)算焦點(diǎn)偏移量，所以模糊校正處理部210從如圖3中所示的控制塊140接收焦點(diǎn)位置信息(參考圖4)，根據(jù)預(yù)設(shè)的計(jì)算式計(jì)算焦點(diǎn)偏移量，并且利用焦點(diǎn)偏移量和從圖像高度計(jì)算部202 獲取的圖像高度r計(jì)算增強(qiáng)幅度調(diào)整參數(shù)β (focus, r)。
如上所述，在圖9中所示的流程圖的步驟S123中，模糊校正處理部210對(duì)在步驟 S122中生成的坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase應(yīng)用與圖像高度和焦點(diǎn)位置相對(duì)應(yīng)的幅度調(diào)整參數(shù)β (focus，！·)，從而生成經(jīng)歷增強(qiáng)幅度調(diào)整的模糊校正濾波器Ffinal。
在圖9中所示的流程圖的步驟S123中生成的模糊校正濾波器Ffinal是作為圖4 中所示的圖像信號(hào)校正單元200的整體處理序列描述的圖5中所示的整體處理流程圖的步驟SlOl中生成的模糊校正濾波器。
該模糊校正濾波器是是與圖像高度和焦點(diǎn)位置相對(duì)應(yīng)的濾波器，并且是根據(jù)每個(gè)校正像素位置和每個(gè)焦點(diǎn)位置逐次生成的濾波器。
在圖5中所示的流程圖的步驟SlOl中生成的模糊校正濾波器Ffinal被應(yīng)用到步驟S103，從而對(duì)每個(gè)像素執(zhí)行模糊校正處理。
此外，該濾波器應(yīng)用處理與參考圖2描述的處理等同。
取代圖2中所示的(b)維納濾波器，通過(guò)上述處理生成的模糊校正濾波器Ffinal 被應(yīng)用。
也就是說(shuō)，執(zhí)行卷積運(yùn)算以將以待校正像素為中心的預(yù)定單位的像素區(qū)域(例如 7X7像素的像素區(qū)域)的像素乘以通過(guò)上述處理生成的模糊校正濾波器Ffinal的系數(shù)并將乘法結(jié)果相加，從而計(jì)算中心像素的校正像素值。
此外，如上所述，當(dāng)在圖5中所示的流程圖的步驟S102中執(zhí)行了飽和檢測(cè)時(shí)，省略模糊校正處理。
當(dāng)未從以待校正像素為中心的預(yù)定單位的像素區(qū)域(例如7X7像素的像素區(qū)域) 檢測(cè)到飽和像素時(shí)，執(zhí)行利用通過(guò)上述處理生成的模糊校正濾波器Ffinal的基于像素值校正的模糊校正處理。
如上所述，在本實(shí)施例中生成的模糊校正濾波器Ffinal是這樣的濾波器對(duì)于該濾波器，在考慮到待校正像素的位置、具體地是圖像高度和焦點(diǎn)位置的情況下執(zhí)行了系數(shù)調(diào)整。也就是說(shuō)，利用具有根據(jù)圖像高度和焦點(diǎn)位置調(diào)整了的頻率特性和幅度特性的濾波器，可以執(zhí)行與每個(gè)像素位置和每個(gè)焦點(diǎn)位置相對(duì)應(yīng)的最優(yōu)模糊校正。
此外，上述實(shí)施例是利用如下處理來(lái)描述的其中，在圖5中所示的流程圖的步驟 SlOl中生成的模糊校正濾波器被用作根據(jù)圖8和圖9中所示的流程圖最終生成的模糊校正濾波器Ffinal，并且模糊校正濾波器Ffinal被應(yīng)用于圖5中所示的步驟S103以對(duì)每個(gè)像素執(zhí)行模糊校正處理。
然而，例如，圖9中所示的流程圖的步驟S123可被省略，并且在步驟S122中，基于混合系數(shù)a (focus, r)生成的坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase可被應(yīng)用作為最終的模糊校正濾波器。
或者，可省略圖9中所示的流程圖的步驟S121或步驟S122，并且可只通過(guò)步驟 S123的處理生成模糊校正濾波器。也就是說(shuō)，如下濾波器可被應(yīng)用于模糊校正該濾波器是通過(guò)允許預(yù)先保存在存儲(chǔ)器中的默認(rèn)濾波器經(jīng)歷圖9中所示的流程圖的步驟S123的處理，也就是參考圖14和圖15描述的頻帶分離處理、利用增強(qiáng)幅度調(diào)整參數(shù)β (focus,r)對(duì) AC成分的幅度調(diào)整和再合成處理，而獲得的濾波器。
另外，在以上實(shí)施例中，描述了利用圖像高度r和焦點(diǎn)位置信息focus確定混合系數(shù)α或增強(qiáng)幅度調(diào)整參數(shù)β的配置示例。然而，可以僅依據(jù)圖像高度r確定混合系數(shù)α 或增強(qiáng)幅度調(diào)整參數(shù)β。或者，可以僅依據(jù)焦點(diǎn)位置信息focus確定混合系數(shù)α或增強(qiáng)幅度調(diào)整參數(shù)β。另外，可以在考慮到例如變焦位置等等之類的其他參數(shù)的情況下確定混合系數(shù)α或增強(qiáng)幅度調(diào)整參數(shù)β。
[4.(第二實(shí)施例)用于在考慮到色比率的情況下執(zhí)行模糊校正的圖像處理裝置的配置示例]
在上述實(shí)施例中，成像元件具有RGB陣列。近年來(lái)，除了 RGB以外已廣泛使用了設(shè)有如下濾波器的成像元件該濾波器具有包括透過(guò)包括RGB在內(nèi)的可見光線的W(白)的 RGBff陣列。
如上所述，在使用具有包括W(白)像素的RGBW陣列的濾波器的情況下，由于W像素透過(guò)具有寬波長(zhǎng)區(qū)域的可見光線，所以對(duì)于模糊圖樣根據(jù)顏色比率而改變的W像素可能不會(huì)充分獲得校正效果。
本申請(qǐng)人先前提交的2011-055038號(hào)日本未審查專利申請(qǐng)公布公開了一種對(duì)具有RGBW像素陣列的拍攝圖像的模糊校正處理配置。然而，由于該優(yōu)先權(quán)申請(qǐng)中公開的處理相當(dāng)于在對(duì)W(白)像素的模糊校正中在沒有考慮顏色比率的情況下執(zhí)行校正的配置，所以對(duì)于模糊圖樣根據(jù)顏色比率而改變的W像素可能不會(huì)充分獲得校正效果。
以下，將描述解決以上問題的實(shí)施例。
圖18是示出RGBW濾波器中的每個(gè)顏色的光譜幅度特性的示圖
高效率地發(fā)射與600nm附近的紅色相當(dāng)?shù)牟ㄩL(zhǎng)光的紅(R)；
高效率地發(fā)射與530nm附近的綠色相當(dāng)?shù)牟ㄩL(zhǎng)光的綠(G)；
高效率地發(fā)射與430nm附近的藍(lán)色相當(dāng)?shù)牟ㄩL(zhǎng)光的藍(lán)⑶；以及
對(duì)于這些RGB濾波器，W (白)發(fā)射所有RGB波長(zhǎng)光。
圖19是示出RGBW顏色的MTF特性的示圖，其中水平軸表示空間頻率，并且垂直軸表示MTF。此外，假設(shè)入射光具有白色。
當(dāng)MTF較高時(shí)，模糊較小，并且當(dāng)MTF減小時(shí)，模糊程度嚴(yán)重。
例如，關(guān)于G(綠)，由于MTF相對(duì)于其他顏色RB在寬空間頻率上具有較高的值，因此模糊較小。這意味著，當(dāng)在入射光中包括大量的G(綠)成分時(shí)模糊較小，并且當(dāng)在入射光中包括大量的R (紅)或B (藍(lán))成分時(shí)模糊嚴(yán)重。
在利用拜耳陣列的RGB陣列的配置中，使用與RGB顏色的MTF特性相對(duì)應(yīng)的濾波器，從而使得與各個(gè)RGB特性相對(duì)應(yīng)的模糊校正成為可能。也就是說(shuō)，如果對(duì)R、G和B像素的模糊校正應(yīng)用用于R、G和B的模糊校正濾波器，則可以執(zhí)行與RGB的MTF特性相對(duì)應(yīng)的適當(dāng)校正。
然而，在W(白)的情況下，通過(guò)W濾波器輸入的波長(zhǎng)光根據(jù)對(duì)象的顏色而改變。結(jié)果，MTF特性也根據(jù)對(duì)象和光源的顏色而改變，從而導(dǎo)致模糊圖樣根據(jù)對(duì)象和光源的顏色的變化。從而，雖然應(yīng)用一個(gè)濾波器，但難以執(zhí)行適當(dāng)?shù)男Ｕ?br> 此外，由于圖19中所示的W(白)的MTF特性只是當(dāng)入射光是白光時(shí)的示例，所以 W(白)的MTF特性根據(jù)對(duì)象的顏色而大幅改變。
以下，將描述為了解決以上問題而考慮顏色比率執(zhí)行模糊校正的配置示例。
下面要描述的圖像處理裝置(成像裝置)利用具有RGBW陣列的濾波器對(duì)來(lái)自成像元件的輸入信號(hào)執(zhí)行處理。
該圖像處理裝置除了模糊校正處理以外還執(zhí)行將RGBW圖像轉(zhuǎn)換成RGB圖像的處理。
首先，將參考圖20描述從RGBW圖像到RGB圖像的轉(zhuǎn)換處理。
本實(shí)施例的圖像處理裝置執(zhí)行用于獲取成像元件(圖像傳感器)的數(shù)據(jù)的處理， 該成像元件除了具有選擇性透過(guò)每個(gè)RGB顏色的波長(zhǎng)光的RGB濾波器以外，還具有包括透過(guò)所有RGB波長(zhǎng)光的W(白)的RGBW顏色濾波器。
具體地，圖像處理裝置執(zhí)行將具有例如如圖20的(I)中所示的包括W(白)的RGBW 顏色濾波器的成像元件的獲取數(shù)據(jù)轉(zhuǎn)換成圖20的(2)中所示的RGB陣列(拜耳陣列)的處理。另外，在轉(zhuǎn)換處理時(shí)，圖像處理裝置執(zhí)行用于防止模糊或偽色的發(fā)生的處理。
具體地，圖像處理裝置在從RGBW陣列到RGB拜耳陣列的轉(zhuǎn)換處理中執(zhí)行以下五個(gè)轉(zhuǎn)換或校正處理
將W像素位置轉(zhuǎn)換到G像素(估計(jì)G像素值)=(Gonff)
將G像素位置轉(zhuǎn)換到R像素(估計(jì)R像素值)=(RonG)
將G像素位置轉(zhuǎn)換到B像素(估計(jì)B像素值)=(BonG)
將R像素位置轉(zhuǎn)換到R像素(校正R像素值)=(RonR)；以及
將B像素位置轉(zhuǎn)換到B像素(校正B像素值)=(BonB)。
每個(gè)校正處理是作為將RGBW陣列中的RGBW像素轉(zhuǎn)換到RGB陣列中的RGB像素的像素值估計(jì)或校正處理執(zhí)行的。執(zhí)行這些處理以便從圖20的(I)中所示的RGBW顏色陣列生成圖20的⑵中所示的RGB拜耳陣列。
以下，顏色陣列的轉(zhuǎn)換處理將被稱為去馬賽克處理。
在以下實(shí)施例中，將對(duì)如下配置提供描述在該配置中，執(zhí)行去馬賽克處理以將具有W (白)的RGBW顏色陣列轉(zhuǎn)換成RGB顏色陣列(拜耳陣列)，并且在去馬賽克處理時(shí)執(zhí)行防止模糊或偽色的發(fā)生的處理。
圖21是示出作為本公開的圖像處理裝置的實(shí)施例的成像裝置300的配置示例的示圖。成像裝置300包括光學(xué)鏡頭305、成像元件(圖像傳感器)310、信號(hào)處理塊320、存儲(chǔ)器330和控制塊340?；九渲门c參考圖3描述的配置等同。
此外，該成像裝置相當(dāng)于圖像處理裝置的一種樣態(tài)。本公開的圖像處理裝置例如包括諸如PC之類的裝置。諸如PC之類的圖像處理裝置包括除了圖21中所示的成像裝置 300的光學(xué)鏡頭305和成像元件310以外的元件，并且設(shè)有用于由成像元件310獲取的數(shù)據(jù)的輸入單元或存儲(chǔ)單元。
與以上描述的圖3中所示的成像裝置100不同，圖21中所示的成像裝置300具有成像元件(圖像傳感器)310包括具有RGBW陣列的濾波器的配置。也就是說(shuō)，成像元件310 是設(shè)有具有除了透過(guò)紅色附近的波長(zhǎng)的紅(R)、透過(guò)綠色附近的波長(zhǎng)的綠(G)和透過(guò)藍(lán)色附近的波長(zhǎng)的藍(lán)⑶以外還有透過(guò)RGB的白(W)的四種類型的光譜特性的濾波器的成像元件。
具有RGBW陣列381的成像元件310以像素為單位通過(guò)光學(xué)鏡頭305接收RGBW光， 通過(guò)光電轉(zhuǎn)換生成與光接收信號(hào)的強(qiáng)度相對(duì)應(yīng)的電信號(hào)，并且輸出電信號(hào)。通過(guò)成像元件 310，獲得具有四種類型的RGBW光譜的馬賽克圖像。
成像元件(圖像傳感器)310的輸出信號(hào)被輸入到信號(hào)處理塊320的圖像信號(hào)校正單元400。
與先前實(shí)施例類似，圖像信號(hào)校正單元400例如執(zhí)行考慮到根據(jù)圖像高度(與光學(xué)中心的距離)或焦點(diǎn)位置而改變的模糊圖樣并且學(xué)考慮到顏色比率的模糊校正。
另外，圖像信號(hào)校正單元400執(zhí)行從RGBW陣列381到RGB陣列382的轉(zhuǎn)換處理。具體地，圖像信號(hào)校正單元400執(zhí)行參考圖20描述的以下五個(gè)轉(zhuǎn)換或校正處理
將W像素位置轉(zhuǎn)換到G像素(估計(jì)G像素值)==(Gonff)；
將G像素位置轉(zhuǎn)換到R像素(估計(jì)R像素值)==(RonG)；
將G像素位置轉(zhuǎn)換到B像素(估計(jì)B像素值)==(BonG)；
將R像素位置轉(zhuǎn)換到R像素(校正R像素值)==(RonR);以及
將B像素位置轉(zhuǎn)換到B像素(校正B像素值)==(BonB)。
在轉(zhuǎn)換或校正處理時(shí)，圖像信號(hào)校正單元400執(zhí)行用于防止偽色或模糊的發(fā)生的處理。
在圖像信號(hào)校正單元400中被執(zhí)行了模糊校正和數(shù)據(jù)轉(zhuǎn)換的RGB陣列382被輸出到RGB信號(hào)處理單元450。
RGB信號(hào)處理單元450執(zhí)行與現(xiàn)有相機(jī)中的信號(hào)處理單元相同的處理。具體地， RGB信號(hào)處理單元450執(zhí)行去馬賽克處理、白平衡調(diào)整處理、Y校正處理等等，從而生成顏色圖像383。所生成的顏色圖像383被存儲(chǔ)在存儲(chǔ)器330中。
控制塊340控制這一系列處理。例如，在用于執(zhí)行這一系列處理的程序被存儲(chǔ)在存儲(chǔ)器330中的狀態(tài)中，控制塊340執(zhí)行從存儲(chǔ)器330讀取的程序，從而控制這一系列處理。
此外，存儲(chǔ)器330例如可包括各種記錄介質(zhì)，比如磁盤、光盤或閃存。
將參考圖22描述圖像信號(hào)校正單元400的詳細(xì)配置。
如圖22中所示，圖像信號(hào)校正單元400包括線存儲(chǔ)器401、圖像高度計(jì)算部 402、飽和檢測(cè)部403、模糊校正處理部410、邊緣檢測(cè)部421和顏色相關(guān)重馬賽克處理 (remosaicing processing)部(數(shù)據(jù)轉(zhuǎn)換部)430。
顏色相關(guān)重馬賽克處理部(數(shù)據(jù)轉(zhuǎn)換部)430包括W位置G插補(bǔ)(interpolation) 參數(shù)計(jì)算部431、G位置RB插補(bǔ)參數(shù)計(jì)算部432、R位置R插補(bǔ)參數(shù)計(jì)算部433、B位置B插補(bǔ)參數(shù)計(jì)算部434和加權(quán)加法部435。
從成像元件310輸出的與像素相對(duì)應(yīng)的像素值信號(hào)被一度存儲(chǔ)在線存儲(chǔ)器401 中。
另外，與每個(gè)像素的像素值相關(guān)聯(lián)的指示每個(gè)像素的坐標(biāo)位置的xy地址被輸出到圖像高度計(jì)算部402。
線存儲(chǔ)器401具有與成像元件的七條水平線相對(duì)應(yīng)的線存儲(chǔ)器。線存儲(chǔ)器401以并行方式順次輸出與七條水平線相對(duì)應(yīng)的數(shù)據(jù)。輸出目的地是模糊校正處理部410、邊緣檢測(cè)部421和飽和檢測(cè)部403。RGBff陣列381的拍攝數(shù)據(jù)以七條線為單位被輸出到這些處理部。
此外，邊緣檢測(cè)部421和模糊校正處理部410對(duì)RGBW陣列381的拍攝數(shù)據(jù)的白 (W)信號(hào)執(zhí)行處理。
另外，顏色相關(guān)重馬賽克處理部430利用RGBW陣列381的拍攝數(shù)據(jù)的RGBW信號(hào)執(zhí)行處理。
邊緣檢測(cè)部421驗(yàn)證來(lái)自線存儲(chǔ)器201的輸出信號(hào)中包括的離散白(W)信號(hào)，生成圖像中包括的邊緣信息，例如包括邊緣方向和邊緣幅度的邊緣信息，并且將所生成的邊緣信息輸出到顏色相關(guān)重馬賽克處理部430。
具體地，邊緣檢測(cè)部421例如計(jì)算根據(jù)以待處理像素(7X7像素的中心像素)為中心的7X7像素的像素信息計(jì)算出的平坦度weightFlat,并將平坦度weightFlat輸出到顏色相關(guān)重馬賽克處理部430。
此外，平坦度weightFlat計(jì)算處理可按與作為本申請(qǐng)人的優(yōu)先權(quán)申請(qǐng)的 2011-55038號(hào)日本未審查專利申請(qǐng)公布中公開的處理相同的處理執(zhí)行。
首先，模糊校正處理部410應(yīng)用來(lái)自線存儲(chǔ)器401的輸出信號(hào)中包括的白(W)信號(hào)，通過(guò)模糊校正處理在RGB像素位置處設(shè)定W像素，并且生成在所有像素中都設(shè)定了 W像素的插補(bǔ)圖像。另外，模糊校正處理部410對(duì)在所有像素中都設(shè)定了 W像素的圖像的每個(gè) W像素執(zhí)行插補(bǔ)處理，生成所有像素的模糊校正W信號(hào)，即模糊校正W信號(hào)Wd，并將模糊校正W信號(hào)Wd輸出到顏色相關(guān)重馬賽克處理部430。
此外，模糊校正處理部410執(zhí)行至少考慮到顏色比率的模糊校正。
另外，與前述實(shí)施例類似，模糊校正處理部410例如可執(zhí)行考慮到根據(jù)圖像高度 (與光學(xué)中心的距離)或焦點(diǎn)位置而改變的模糊圖樣并且還考慮到顏色比率的模糊校正。
顏色相關(guān)重馬賽克處理部430接收來(lái)自線存儲(chǔ)器401的輸出信號(hào)的RGBW信號(hào)、從邊緣檢測(cè)部421輸出的邊緣信息以及從模糊校正處理部410輸出的與所有像素相對(duì)應(yīng)的模糊校正W信號(hào)W。
顏色相關(guān)重馬賽克處理部430利用接收到的信息執(zhí)行從RGBW顏色陣列到RGB陣列382的轉(zhuǎn)換處理。
具體地，如參考圖20所述，顏色相關(guān)重馬賽克處理部430執(zhí)行以下五個(gè)轉(zhuǎn)換或校正處理
將W像素位置轉(zhuǎn)換到G像素(估計(jì)G像素值)==(GonW)；
將G像素位置轉(zhuǎn)換到R像素(估計(jì)R像素值)==(RonG)；
將G像素位置轉(zhuǎn)換到B像素(估計(jì)B像素值)==(BonG)；
將R像素位置轉(zhuǎn)換到R像素(校正R像素值)=(RonR)；以及
將B像素位置轉(zhuǎn)換到B像素(校正B像素值)=(BonB)。
W位置G插補(bǔ)參數(shù)計(jì)算部431計(jì)算要應(yīng)用于對(duì)RGBW陣列381的W像素位置設(shè)定的G像素值的計(jì)算的插補(bǔ)參數(shù)。利用來(lái)自線存儲(chǔ)器401的輸出信號(hào)的W和B信號(hào)以及從模糊校正處理部410輸入的模糊校正W信號(hào)Wd，W位置G插補(bǔ)參數(shù)計(jì)算部431計(jì)算要應(yīng)用于 (Gonff)的處理的插補(bǔ)參數(shù)。
G位置RB插補(bǔ)參數(shù)計(jì)算部432計(jì)算要應(yīng)用于對(duì)RGBW陣列381的G像素位置設(shè)定的R像素值或B像素值的計(jì)算的插補(bǔ)參數(shù)。利用來(lái)自線存儲(chǔ)器401的輸出信號(hào)的W和B信號(hào)以及從模糊校正處理部410輸入的模糊校正W信號(hào)Wd，G位置RB插補(bǔ)參數(shù)計(jì)算部432計(jì)算要應(yīng)用于(RonG)和(BonG)的處理的參數(shù)。
R位置R插補(bǔ)參數(shù)計(jì)算部433計(jì)算要應(yīng)用于對(duì)RGBW陣列381的R像素位置設(shè)定的校正R像素值的計(jì)算的插補(bǔ)參數(shù)。利用來(lái)自線存儲(chǔ)器401的輸出信號(hào)的W和B信號(hào)以及從模糊校正處理部410輸入的模糊校正W信號(hào)Wd，R位置R插補(bǔ)參數(shù)計(jì)算部433計(jì)算要應(yīng)用于(RonR)的處理的插補(bǔ)參數(shù)。
B位置B插補(bǔ)參數(shù)計(jì)算部434計(jì)算要應(yīng)用于對(duì)RGBW陣列381的B像素位置設(shè)定的校正B像素值的計(jì)算的插補(bǔ)參數(shù)。利用來(lái)自線存儲(chǔ)器401的輸出信號(hào)的W和B信號(hào)以及從模糊校正處理部410輸入的模糊校正W信號(hào)Wd，B位置B插補(bǔ)參數(shù)計(jì)算部434計(jì)算要應(yīng)用于(BonB)的處理的插補(bǔ)參數(shù)。
加權(quán)加法部435接收由插補(bǔ)參數(shù)計(jì)算部431至434計(jì)算出的插補(bǔ)參數(shù)，并且還應(yīng)用從邊緣檢測(cè)部421輸出的邊緣信息，從而計(jì)算構(gòu)成RGB陣列(拜耳陣列)382的所有像素的RGB信號(hào)值。
此外，由顏色相關(guān)重馬賽克處理部(數(shù)據(jù)轉(zhuǎn)換部)430執(zhí)行的從RGBW陣列到RGB 陣列的數(shù)據(jù)轉(zhuǎn)換處理可基本上使用作為本申請(qǐng)人的優(yōu)先權(quán)申請(qǐng)的2011-55038號(hào)日本未審查專利申請(qǐng)公布中公開的處理。數(shù)據(jù)轉(zhuǎn)換處理的細(xì)節(jié)可在2011-55038號(hào)日本未審查專利申請(qǐng)公布中找到。
這樣，圖像信號(hào)校正單元400生成由加權(quán)加法部435計(jì)算出的包括Gr、Rr和Br的 RGB陣列(拜耳陣列)382，并將RGB陣列382輸出到RGB信號(hào)處理單元450。
RGB信號(hào)處理單元450與一般相機(jī)或圖像處理裝置中包括的對(duì)于RGB陣列(拜耳陣列)的信號(hào)處理單元等同。RGB信號(hào)處理單元450對(duì)從加權(quán)加法部435輸出的RGB陣列 (拜耳陣列)382執(zhí)行信號(hào)處理，從而生成顏色圖像383 (參考圖21)。具體地，RGB信號(hào)處理單元450例如執(zhí)行白平衡處理、去馬賽克處理、濃淡處理、RGB顏色矩陣處理、Y校正處理等等，從而生成顏色圖像383。
[5.根據(jù)第二實(shí)施例的圖像處理裝置的模糊校正處理的細(xì)節(jié)]
接下來(lái)，將描述根據(jù)第二實(shí)施例圖像處理裝置的模糊校正處理的細(xì)節(jié)。
圖23是用于描述圖像信號(hào)校正單元400執(zhí)行的處理的整體序列的流程圖。
此外，圖23中所示的流程圖的所有步驟的處理的主要處理主體如下。
步驟S301至S305的處理主要由模糊校正處理部410執(zhí)行。
步驟S306的處理由邊緣檢測(cè)部421執(zhí)行。
步驟S307的處理由顏色相關(guān)重馬賽克處理部(數(shù)據(jù)轉(zhuǎn)換部)430執(zhí)行。25
另外，主要由模糊校正處理部410執(zhí)行的步驟S301至S305的處理和由邊緣檢測(cè)部421執(zhí)行的步驟S306的處理是如上所述利用RGBW陣列的圖像數(shù)據(jù)中包括的W像素來(lái)執(zhí)行的。
將描述所有步驟的處理的細(xì)節(jié)。
首先，在步驟S301中，模糊校正處理部410計(jì)算以要經(jīng)歷模糊校正的一個(gè)W像素為中心的預(yù)定局部區(qū)域的顏色比率。
此外，與前述實(shí)施例類似，模糊校正處理部410對(duì)以要經(jīng)歷模糊校正處理的像素為中心的預(yù)定圖像區(qū)域(=局部區(qū)域)例如7X7像素的矩形圖像區(qū)域執(zhí)行處理。
當(dāng)7X7像素的區(qū)域的中心像素是W像素時(shí)，模糊校正處理部410對(duì)W像素執(zhí)行模糊校正處理。
當(dāng)7X7像素的區(qū)域的中心像素不是W像素時(shí)，模糊校正處理部410對(duì)基于中心像素的中心位置周圍的W像素的像素值設(shè)定的插補(bǔ)W像素值執(zhí)行模糊校正處理。
也就是說(shuō)，作為步驟S301的預(yù)處理，模糊校正處理部410應(yīng)用來(lái)自線存儲(chǔ)器401 的輸出信號(hào)中包括的白(W)像素，通過(guò)插補(bǔ)處理在除W像素以外的RGB像素位置處設(shè)定W 像素，并且生成其中所有像素都是W像素的圖像數(shù)據(jù)。模糊校正處理部410從所有像素都是W像素的圖像數(shù)據(jù)中逐一順次選擇W像素，并且執(zhí)行模糊校正處理。
在步驟S301中，模糊校正處理部410通過(guò)以下式子計(jì)算以要經(jīng)歷模糊校正的W像素為中心的7X7像素的區(qū)域的顏色比率(R(紅)比率、G(綠)比率和B(藍(lán))比率)
R 比率=mR/ (mG+mR+mB)；
G 比率=mG/ (mG+mR+mB);以及
B 比率=mB/ (mG+mR+mB)。
在以上式子中，mR表示局部區(qū)域(例如7X7像素的區(qū)域)中的R信號(hào)的低頻成分，mG表示局部區(qū)域(例如7X7像素的區(qū)域)中的G信號(hào)的低頻成分，并且mB表示局部區(qū)域(例如7X7像素的區(qū)域)中的B信號(hào)的低頻成分。
此外，當(dāng)通過(guò)以上式子計(jì)算R(紅)比率、G(綠)比率和B(藍(lán))比率時(shí)，必須計(jì)算局部區(qū)域(例如7X7像素的區(qū)域)中的RGB信號(hào)的低頻成分mR、mG和mB。
為了計(jì)算與每個(gè)顏色相對(duì)應(yīng)的低頻成分，模糊校正處理部410例如執(zhí)行利用圖24 至圖27中所示的低頻成分計(jì)算濾波器的處理。
圖24至圖27中示出的與每個(gè)顏色相對(duì)應(yīng)的低頻成分計(jì)算濾波器是要應(yīng)用于針對(duì)以要經(jīng)歷模糊校正的W像素(也包括插補(bǔ)W像素)為中心的7X7像素的來(lái)自成像元件310 的輸出圖像數(shù)據(jù)的濾波器處理的濾波器。除了通過(guò)插補(bǔ)處理將所有像素設(shè)定為W像素的插補(bǔ)圖像以外，對(duì)來(lái)自成像元件310的輸出圖像數(shù)據(jù)應(yīng)用低頻成分計(jì)算濾波器，從而計(jì)算RGB 信號(hào)的低頻成分mR、mG和mB。
根據(jù)7X7像素的配置不同地設(shè)定低頻成分計(jì)算濾波器。
圖24至圖27示出了要根據(jù)以下7 X 7像素的每個(gè)配置選擇性應(yīng)用的三個(gè)濾波器
G信號(hào)的低頻成分(mG)計(jì)算濾波器；
R信號(hào)的低頻成分(mR)計(jì)算濾波器；以及
B信號(hào)的低頻成分(mB)計(jì)算濾波器。
圖24示出了用于在以要經(jīng)歷模糊校正的W像素(也包括插補(bǔ)W像素)為中心的7 X 7像素的來(lái)自成像元件310的輸出圖像數(shù)據(jù)被如下設(shè)定時(shí)計(jì)算RGB信號(hào)的低頻成分mR、 mG和mB的低頻成分計(jì)算濾波器的配置
(a)當(dāng)G像素位于中心像素W的左側(cè)并且B像素位于中心像素W的右側(cè)時(shí)要應(yīng)用的低頻成分計(jì)算濾波器(mR計(jì)算濾波器511、mG計(jì)算濾波器512和mB計(jì)算濾波器513);以及
(b)當(dāng)G像素位于中心像素W的左側(cè)并且R像素位于中心像素W的右側(cè)時(shí)要應(yīng)用的低頻成分計(jì)算濾波器(mR計(jì)算濾波器514、mG計(jì)算濾波器515和mB計(jì)算濾波器516)。
每個(gè)濾波器中的數(shù)值(系數(shù))僅在要從其計(jì)算低頻成分的顏色(R、G或B)的設(shè)定位置處設(shè)定。這些系數(shù)值被乘以從成像元件輸入的7X7像素的相應(yīng)像素位置的像素值，乘法值被相加，并且加法值被除以在每個(gè)濾波器的下部示出的值(32、25等等)，從而計(jì)算出低頻成分。
圖25示出了用于在以要經(jīng)歷模糊校正的W像素(也包括插補(bǔ)W像素)為中心的 7 X 7像素的來(lái)自成像元件310的輸出圖像數(shù)據(jù)被如下設(shè)定時(shí)計(jì)算RGB信號(hào)的低頻成分mR、 mG和mB的低頻成分計(jì)算濾波器的配置
(c)當(dāng)G像素位于中心像素W的右側(cè)并且B像素位于中心像素W的上方時(shí)要應(yīng)用的低頻成分計(jì)算濾波器(mR計(jì)算濾波器521、mG計(jì)算濾波器522和mB計(jì)算濾波器523);以及
(d)當(dāng)G像素位于中心像素W的右側(cè)并且R像素位于中心像素W的上方時(shí)要應(yīng)用的低頻成分計(jì)算濾波器(mR計(jì)算濾波器524、mG計(jì)算濾波器525和mB計(jì)算濾波器526)。
圖26示出了用于在以要經(jīng)歷模糊校正的W像素(也包括插補(bǔ)W像素)為中心的 7X7像素的來(lái)自成像元件310的輸出圖像數(shù)據(jù)被如下設(shè)定時(shí)計(jì)算RGB信號(hào)的低頻成分mR、 mG和mB的低頻成分計(jì)算濾波器的配置
(e)當(dāng)G像素位于中心像素G的左上到右下側(cè)的斜線上時(shí)要應(yīng)用的低頻成分計(jì)算濾波器(mR計(jì)算濾波器541、mG計(jì)算濾波器542和mB計(jì)算濾波器543)；以及
(f)當(dāng)B像素位于中心像素G的左上到右下側(cè)的斜線上時(shí)要應(yīng)用的低頻成分計(jì)算濾波器(mR計(jì)算濾波器544、mG計(jì)算濾波器545和mB計(jì)算濾波器546)。
在圖26中所示的示例中，從成像元件輸入的7X7像素的中心像素不是W像素。此外，在此情況下，對(duì)在所有像素中設(shè)定了 W像素的上述插補(bǔ)圖像執(zhí)行模糊校正處理。
圖27示出了用于在以要經(jīng)歷模糊校正的W像素(也包括插補(bǔ)W像素)為中心的 7X7像素的來(lái)自成像元件310的輸出圖像數(shù)據(jù)被如下設(shè)定時(shí)計(jì)算RGB信號(hào)的低頻成分mR、 mG和mB的低頻成分計(jì)算濾波器的配置
(g)當(dāng)W像素W是R像素時(shí)要應(yīng)用的低頻成分計(jì)算濾波器(mR計(jì)算濾波器551、mG 計(jì)算濾波器552和mB計(jì)算濾波器553)；以及
(h)當(dāng)W像素W是B像素時(shí)要應(yīng)用的低頻成分計(jì)算濾波器(mR計(jì)算濾波器561、mG 計(jì)算濾波器562和mB計(jì)算濾波器563)。
在圖27中所示的示例中，從成像元件輸入的7X7像素的中心像素也不是W像素。 此外，在此情況下，對(duì)在所有像素中設(shè)定了 W像素的上述插補(bǔ)圖像執(zhí)行模糊校正處理。
在步驟S301中，模糊校正處理部410根據(jù)以要經(jīng)歷模糊校正的W像素為中心的 7X7像素的區(qū)域的像素圖樣選擇性地應(yīng)用圖24至圖27中所示的低頻成分計(jì)算濾波器，從而計(jì)算局部區(qū)域(例如7X7像素的區(qū)域)中的RGB信號(hào)的低頻成分mR、mG和mB。
另外，利用這些顏色的低頻成分，模糊校正處理部410根據(jù)以下式子計(jì)算與7X7 像素的區(qū)域的中心處的要經(jīng)歷模糊校正的W像素(也包括插補(bǔ)W像素)相對(duì)應(yīng)的顏色比率 (R (紅)比率、G (綠)比率和B (藍(lán))比率)
R 比率=mR/ (mG+mR+mB)；
G 比率=mG/ (mG+mR+mB);以及
B 比率=mB/ (mG+mR+mB)。
接下來(lái)，在步驟S302中，模糊校正處理部410應(yīng)用在步驟S301中生成的顏色比率以生成與顏色比率相對(duì)應(yīng)的模糊校正濾波器。
將參考圖28來(lái)描述此處理。
圖28中所示的式子是與顏色比率相對(duì)應(yīng)的模糊校正濾波器的生成式。
三個(gè)模糊校正濾波器，即R對(duì)應(yīng)模糊校正濾波器、G對(duì)應(yīng)模糊校正濾波器和B對(duì)應(yīng)模糊校正濾波器，是被預(yù)先存儲(chǔ)在圖像處理裝置的存儲(chǔ)器中并相互對(duì)應(yīng)的模糊校正濾波器。
這些濾波器是使得能夠根據(jù)參考圖19描述的每個(gè)顏色的MTF特性在與每個(gè)顏色相對(duì)應(yīng)的模糊校正中執(zhí)行最優(yōu)處理的濾波器。
在本實(shí)施例的模糊校正處理中，要應(yīng)用于W(白)像素的模糊校正濾波器是利用這些RGB對(duì)應(yīng)模糊校正濾波器和在步驟S301中計(jì)算出的顏色比率也就是R(紅)比率、G(綠) 比率和B(藍(lán))比率來(lái)計(jì)算的。
具體地，如圖28中所示，模糊校正處理部410根據(jù)以下式子計(jì)算W對(duì)應(yīng)模糊校正濾波器Wdeblur °
Wdeblur = (mR/ (mG+mR+mB)) /Rdeblur+ (mG/ (mG+mR+mB)) /Gdeblur+ (mB/ (mG+mR+mB)) /DDdeblur
在以上式子中，Rdeblm表示R對(duì)應(yīng)模糊校正濾波器，Gdeblur表示G對(duì)應(yīng)模糊校正濾波器，Bdeblm表示B對(duì)應(yīng)模糊校正濾波器,mR/(mG+mR+mB)表示R(紅)比率,mG/(mG+mR+mB) 表示G (綠)比率,并且mB/(mG+mR+mB)表示B (藍(lán))比率。
如上所述，模糊校正處理部410根據(jù)以要校正的W像素為中心的預(yù)定像素區(qū)域 (在本示例中是7X7像素)的顏色比率混合與每個(gè)顏色相對(duì)應(yīng)的模糊校正濾波器，從而生成要應(yīng)用于W(白)像素的模糊校正濾波器。
圖22中所示的模糊校正處理部410可以應(yīng)用在步驟S302中生成的反映了顏色比率的W(白)像素對(duì)應(yīng)模糊校正濾波器，對(duì)在插補(bǔ)處理中生成的包括被設(shè)定為所有像素的W 像素的圖像數(shù)據(jù)執(zhí)行模糊校正處理，生成與所有像素相對(duì)應(yīng)的模糊校正W信號(hào)Wd，并將所生成的模糊校正W信號(hào)Wd輸出到顏色相關(guān)重馬賽克處理部(數(shù)據(jù)轉(zhuǎn)換部)430。
另外，模糊校正處理部410可以與先前實(shí)施例類似地對(duì)于在步驟S302中生成的反映了顏色比率的W(白)像素對(duì)應(yīng)模糊校正濾波器執(zhí)行考慮了圖像高度等等的濾波器生成處理，生成反映了圖像高度等等以及顏色比率的w(白)像素對(duì)應(yīng)模糊校正濾波器，并且利用所生成的w(白)像素對(duì)應(yīng)模糊校正濾波器對(duì)通過(guò)插補(bǔ)處理生成的包括被設(shè)定為所有像素的W像素的圖像數(shù)據(jù)執(zhí)行模糊校正處理。
以下，將描述此處理示例。
在步驟S303中，模糊校正處理部410與先前實(shí)施例類似地基于在步驟S302中生成的反映了顏色比率的W(白)像素對(duì)應(yīng)模糊校正濾波器執(zhí)行考慮到了圖像高度等等的濾波器生成處理。
步驟S303的處理與在先前實(shí)施例中描述的圖5中的流程圖的步驟SlOl的處理等同。
也就是說(shuō)，步驟S303的處理是作為根據(jù)圖9和圖10中所示的流程圖的處理來(lái)執(zhí)行的。
在步驟S302中生成的反映了顏色比率的模糊校正濾波器被用作在圖9的流程圖的步驟S122中應(yīng)用的默認(rèn)濾波器。
具體地，模糊校正處理部410根據(jù)以下過(guò)程生成最終的模糊校正濾波器Ffinal。
首先，在圖9的流程圖的步驟S121中，模糊校正處理部410生成與根據(jù)要校正的圖像的像素位置計(jì)算出的圖像高度相對(duì)應(yīng)的高通濾波器HPF_dist。
與圖像高度相對(duì)應(yīng)的高通濾波器HPF_dist是通過(guò)圖10中所示的流程圖的步驟 S131和S132的處理生成的。
接下來(lái)，在圖9中所示的流程圖的步驟S122中，模糊校正處理部410基于根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的混合系數(shù)a (focus, r)混合(I)默認(rèn)濾波器和(2) 坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_dist，從而生成(3)坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase。
(I)默認(rèn)濾波器是在圖23中所示的流程圖的步驟S302中生成的反映了顏色比率的模糊校正濾波器。
在圖9中所示的流程圖的步驟S122中，模糊校正處理部410混合反映了顏色比率的模糊校正濾波器(默認(rèn)濾波器)和在步驟S121中生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器HPF_ dist,從而生成坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase。
坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase是基于根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的混合系數(shù)α通過(guò)以下式子來(lái)計(jì)算的。
Fbase = (I. O- α ) X (默認(rèn)濾波器)+ a (HPF_dist)
在以上式子中，默認(rèn)濾波器是反映了顏色比率的模糊校正濾波器。
此外，混合系數(shù)α如先前實(shí)施例中所述是根據(jù)圖像高度r和焦點(diǎn)位置信息focus 確定的。
如參考圖13所述，MTF特性一般在圖像高度增大(與圖像中心的距離增大)時(shí)劣化。特別地，由于高頻區(qū)域被掩埋在噪聲中，所以如圖13的(b)中所示維納濾波器的增強(qiáng)特性向低頻區(qū)域偏移。
就此，如圖13的(C)中所示，當(dāng)圖像高度增大(與圖像中心的距離增大)時(shí)，高通濾波器的混合比率被允許減小。也就是說(shuō)，優(yōu)選地，混合系數(shù)α被允許較小。
可以說(shuō)焦點(diǎn)偏移是類似的。也就是說(shuō)，隨著焦點(diǎn)偏移增大，混合系數(shù)α被允許較小。
此外，焦點(diǎn)偏移相當(dāng)于圖像處理裝置(相機(jī))特有的值，并且與每個(gè)焦點(diǎn)位置對(duì)應(yīng)產(chǎn)生的偏移量是每個(gè)相機(jī)中的特有值。從而，由于可根據(jù)焦點(diǎn)位置信息計(jì)算焦點(diǎn)偏移量，所以模糊校正處理部410從圖21中所示的控制塊340接收焦點(diǎn)位置信息(參考圖22)，根據(jù)預(yù)設(shè)的計(jì)算式計(jì)算焦點(diǎn)偏移量，并且利用焦點(diǎn)偏移量和從圖像高度計(jì)算部402獲取的圖像高度r計(jì)算混合系數(shù)a (focus, r)。
另外，在圖9的流程圖的步驟S123中，模糊校正處理部410向在步驟S122中生成的坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase應(yīng)用與圖像高度和焦點(diǎn)位置相對(duì)應(yīng)的幅度調(diào)整參數(shù) β (focus, r)，從而生成要實(shí)際應(yīng)用于模糊校正的經(jīng)歷增強(qiáng)幅度調(diào)整的模糊校正濾波器 Ffinal。
在步驟S123中生成的模糊校正濾波器Ffinal是要被實(shí)際應(yīng)用到對(duì)待處理像素 (X，y)的模糊校正處理的濾波器。
此外，在步驟S123中應(yīng)用與圖像高度和焦點(diǎn)位置相對(duì)應(yīng)的幅度調(diào)整參數(shù) β (focus, r)的處理與參考圖14至圖17描述的處理等同。
也就是說(shuō)，坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase被頻帶分離成DC成分和AC成分以獲得兩個(gè)濾波器，AC成分被乘以增強(qiáng)幅度(增強(qiáng)幅度調(diào)整參數(shù)β)，并且合成處理被執(zhí)行以將乘法結(jié)果與DC成分的每個(gè)相應(yīng)系數(shù)相加，從而生成經(jīng)歷增強(qiáng)幅度調(diào)整的最終模糊校正濾波器 Ffinal。
此外，與上述的混合系數(shù)α類似，增強(qiáng)幅度調(diào)整參數(shù)β是根據(jù)圖像高度r和焦點(diǎn)位置信息focus確定的。如參考圖17所述，當(dāng)圖像高度增大(與圖像中心的距離增大)時(shí)， 增強(qiáng)幅度調(diào)整參數(shù)β被允許增大。隨著焦點(diǎn)偏移變大，增強(qiáng)幅度調(diào)整參數(shù)β被允許增大。
如上所述，模糊校正處理部410通過(guò)使用在圖23中所示的流程圖的步驟S302中生成的顏色比率對(duì)應(yīng)模糊校正濾波器作為圖9中所示的流程圖的步驟S122中的默認(rèn)濾波器來(lái)執(zhí)行根據(jù)圖9中所示的流程圖的處理，從而生成最終的模糊校正濾波器Ffinal。
最終模糊校正濾波器Ffinal是在圖23中所示的流程圖的步驟S303中要生成的模糊校正濾波器。
在步驟S304中，判定要經(jīng)歷模糊校正的像素是否飽和。
具體地，要經(jīng)歷模糊校正的像素的飽和由圖22中所示的飽和檢測(cè)部403檢測(cè)，并且檢測(cè)信息被輸入到模糊校正處理部410。
當(dāng)要經(jīng)歷模糊校正的像素已飽和時(shí)，如果執(zhí)行模糊校正，則有可能產(chǎn)生偽色。這是因?yàn)槟：Ｕ幚戆ㄈ缭谙惹皩?shí)施例中參考圖6和圖7所述參考要經(jīng)歷模糊校正的像素周圍的像素的像素值設(shè)定待校正像素的像素值的處理。
為了防止產(chǎn)生偽色，當(dāng)如圖7中所示在要經(jīng)歷模糊校正的像素的周圍例如以待校正像素為中心的7X7像素包括飽和像素時(shí)，不對(duì)待校正像素執(zhí)行模糊校正。
如上所述，圖22中所示的模糊校正處理部410執(zhí)行根據(jù)飽和檢測(cè)部403中的飽和像素(高光)區(qū)域的檢測(cè)信息利用沒有模糊校正處理的信號(hào)替換飽和像素區(qū)域的處理。
飽和檢測(cè)部403例如判定以要經(jīng)歷模糊校正處理的像素為中心的7X7像素的區(qū)域的像素是否不超過(guò)預(yù)定的閾值。如果7X7像素的區(qū)域的至少一個(gè)像素超過(guò)閾值，則由于很有可能產(chǎn)生偽色，所以模糊校正處理部410執(zhí)行利用沒有校正處理的信號(hào)替換該像素區(qū)域的處理。
此處理對(duì)應(yīng)于當(dāng)圖23中的所示的流程圖的步驟S304的判定是“是”時(shí)的處理。在此情況下，執(zhí)行步驟S307，而不執(zhí)行步驟S305和S306。
也就是說(shuō)，不執(zhí)行對(duì)待處理像素(7X7像素的中心像素)的模糊校正處理。
當(dāng)以要經(jīng)歷模糊校正處理的像素為中心的7X7像素的區(qū)域中沒有像素超過(guò)預(yù)定閾值并且沒有執(zhí)行飽和檢測(cè)時(shí)，步驟S304的判定是“否”并且在步驟S305中執(zhí)行利用濾波器的模糊校正處理。
此模糊校正處理是由圖22中所示的模糊校正處理部410執(zhí)行的處理，并且是利用在步驟S303中根據(jù)顏色比率、圖像高度等等生成的模糊校正濾波器來(lái)執(zhí)行的。
接下來(lái)，在步驟S306中執(zhí)行邊緣檢測(cè)處理。
此處理是由圖22中所示的邊緣檢測(cè)部421執(zhí)行的。邊緣檢測(cè)部421驗(yàn)證來(lái)自線存儲(chǔ)器401的輸出信號(hào)，并且生成圖像中包括的邊緣信息，例如包括邊緣方向和邊緣幅度的邊緣信息。
具體地，如上所述，例如，邊緣檢測(cè)部421計(jì)算根據(jù)以待處理像素(7X7像素的中心像素)為中心的7X7像素的像素信息計(jì)算出的平坦度weightFlat，并將平坦度 weightFlat輸出到顏色相關(guān)重馬賽克處理部(數(shù)據(jù)轉(zhuǎn)換部)430。
平坦度weightFlat如圖8中所示具有O到I的范圍內(nèi)的值，并且是指示圖像狀態(tài)的平坦度的指標(biāo)值，其中平坦度在其接近I時(shí)較低(多紋理)，并且平坦度在其接近O時(shí)較高(少紋理)。
如圖8中所示，如下利用兩個(gè)預(yù)設(shè)閾值LimitO和Limitl來(lái)計(jì)算平坦度 weightFlat
如果O ^ (ratioFlat) < LimitO,則平坦度(weightFlat) = O ；
如果LimitO ^ (ratioFlat) < Limitl,則平坦度(weightFlat) = O 到 I ;并且
如果Limitl ^ (ratioFlat),則平坦度(weightFlat) = I。
邊緣檢測(cè)部421例如將關(guān)于平坦度weightFlat的信息作為邊緣信息輸出到顏色相關(guān)重馬賽克處理部430。
此外，如上所述，由于平坦度weightFlat計(jì)算處理可按與作為本申請(qǐng)人的優(yōu)先權(quán)申請(qǐng)的2011-55038號(hào)日本未審查專利申請(qǐng)公布中公開的處理相同的處理執(zhí)行，所以平坦度weightFlat計(jì)算處理的細(xì)節(jié)可在2011-55038號(hào)日本未審查專利申請(qǐng)公布中找到。
執(zhí)行的。
正處理:
接下來(lái)，在步驟S307中，執(zhí)行顏色相關(guān)重馬賽克處理。顏色相關(guān)重馬賽克處理是由圖22的顏色相關(guān)重馬賽克處理部(數(shù)據(jù)轉(zhuǎn)換部)430顏色相關(guān)重馬賽克處理部430執(zhí)行從RGBW顏色陣列到RGB陣列的轉(zhuǎn)換處理。 具體地，如參考圖20所述，顏色相關(guān)重馬賽克處理部430執(zhí)行以下五個(gè)轉(zhuǎn)換或校將W像素位置轉(zhuǎn)換到G像素(估計(jì)G像素值)=(Gonff)將G像素位置轉(zhuǎn)換到R像素(估計(jì)R像素值)=(RonG)將G像素位置轉(zhuǎn)換到B像素(估計(jì)B像素值)=(BonG)將R像素位置轉(zhuǎn)換到R像素(校正R像素值)=(RonR)；以及將B像素位置轉(zhuǎn)換到B像素(校正B像素值)=(BonB)。假設(shè)在W信號(hào)(RGBW陣列中的亮度的主成分)與G、R和B信號(hào)(顏色成分)之間存在正相關(guān)，則顏色相關(guān)重馬賽克處理部430估計(jì)要對(duì)RGBW陣列的每個(gè)像素設(shè)定的RGB的目標(biāo)像素值。
如圖22中所示,顏色相關(guān)重馬賽克處理部430包括W位置G插補(bǔ)參數(shù)計(jì)算部431、G位置RB插補(bǔ)參數(shù)計(jì)算部432、R位置R插補(bǔ)參數(shù)計(jì)算部433、B位置B插補(bǔ)參數(shù)計(jì)算部434 和加權(quán)加法部435。
首先，將描述用于將RGBW陣列的W像素位置轉(zhuǎn)換到RGB陣列的G像素(估計(jì)G像素值)的W位置G插補(bǔ)參數(shù)計(jì)算部431的處理。
W位置G插補(bǔ)參數(shù)計(jì)算部431計(jì)算要應(yīng)用到要對(duì)RGBW陣列的W像素位置設(shè)定的G 像素值的計(jì)算的插補(bǔ)參數(shù)。該插補(bǔ)參數(shù)是要應(yīng)用到GonW的處理的插補(bǔ)參數(shù)。
具體地，利用來(lái)自線存儲(chǔ)器401的輸出信號(hào)的Win和Gin信號(hào)和從模糊校正處理部410輸入的模糊校正W信號(hào)Wd，W位置G插補(bǔ)參數(shù)計(jì)算部431計(jì)算有模糊校正的G信號(hào) (Gd)和沒有模糊校正的G信號(hào)(Gl)的信號(hào)值。
這些信號(hào)值相當(dāng)于要應(yīng)用到用于在RGBW陣列的W像素位置處設(shè)定RGB陣列的G 像素的G像素值計(jì)算的插補(bǔ)參數(shù)(GonW插補(bǔ)參數(shù))。
此外，顏色相關(guān)重馬賽克處理部430還通過(guò)將7 X 7像素的區(qū)域設(shè)定為處理單位來(lái)執(zhí)行處理。首先，W位置G插補(bǔ)參數(shù)計(jì)算部431計(jì)算作為處理單位的7X7像素的區(qū)域中G 信號(hào)相對(duì)于W信號(hào)的比率。
具體地，W位置G插補(bǔ)參數(shù)計(jì)算部431把要被轉(zhuǎn)換成G像素的W像素是中心像素的7 X 7像素的區(qū)域設(shè)定為處理單位，并且計(jì)算W信號(hào)和G信號(hào)的低頻成分mW和mG。
具體地，W位置G插補(bǔ)參數(shù)計(jì)算部431可以利用如參考圖27所述的計(jì)算低頻成分的濾波器來(lái)計(jì)算低頻成分。用于計(jì)算低頻成分mW的mW維納濾波器601的示例在圖29的(I)中示出。
W位置G插補(bǔ)參數(shù)計(jì)算部431將7X7像素的輸入信號(hào)的以待轉(zhuǎn)換像素的W像素位置為中心的7X7像素的W像素的值乘以mW維納濾波器601的相應(yīng)像素位置的濾波器系數(shù)，從而計(jì)算出乘法結(jié)果的加法值作為W信號(hào)的低頻成分mW。由于圖29的(I)中所示的濾波器系數(shù)是示例，所以可使用其他系數(shù)。
假設(shè)在圖像的局部區(qū)域中保持計(jì)算出的G信號(hào)相對(duì)于W信號(hào)的比率?；诖思僭O(shè)， 局部區(qū)域中的W和G像素值的比率的對(duì)應(yīng)關(guān)系如圖30中所示的圖線所指示。在圖30的圖線中，水平軸表示W(wǎng)像素值，并且垂直軸表示G像素值。在圖像的特定狹窄局部區(qū)域中，如果假設(shè)W和G像素值的比率恒定，則可以假設(shè)如圖30中所示在W像素值和G像素值之間存在正比例關(guān)系。
基于此假設(shè)，利用從模糊校正處理部410輸出的待校正像素的位置處的模糊校正白(W)信號(hào)Wd，W位置G插補(bǔ)參數(shù)計(jì)算部431通過(guò)以下式子計(jì)算有模糊校正的G信號(hào)(Gd)。
Gd = (mG/mff) Xffd
信號(hào)Gd是包括高頻成分的G信號(hào)。
至此，已描述了假設(shè)W和G像素值的比率恒定的估計(jì)技術(shù)作為示例。然而，可以使用其他利用W和G像素值的相關(guān)性的技術(shù)。
如上所述，W位置G插補(bǔ)參數(shù)計(jì)算部431計(jì)算有模糊校正的G信號(hào)(Gd)和沒有模糊校正的G信號(hào)(Gl)的值作為要應(yīng)用到對(duì)在RGBW陣列的W像素位置處要設(shè)定的G像素值的計(jì)算的插補(bǔ)參數(shù)。加權(quán)加法部435根據(jù)待轉(zhuǎn)換圖像的邊緣信息對(duì)兩個(gè)信號(hào)Gd和Gl執(zhí)行混合處理，從而確定最終的G像素值。
將描述對(duì)沒有模糊校正的G信號(hào)(Gl)的計(jì)算處理。在計(jì)算沒有模糊校正的G信號(hào)(Gl)時(shí)，W位置G插補(bǔ)參數(shù)計(jì)算部431利用圖29的(2)中所示的作為平滑濾波器的Wn 計(jì)算濾波器602計(jì)算沒有噪聲的W信號(hào)Wn。
W位置G插補(bǔ)參數(shù)計(jì)算部431將7X7像素的輸入信號(hào)501的以待轉(zhuǎn)換像素502的 W像素位置為中心的九個(gè)像素的W像素的值乘以Wn計(jì)算濾波器602的相應(yīng)像素位置的濾波器系數(shù)，從而計(jì)算出乘法結(jié)果的加法值作為W信號(hào)的噪聲去除白(W)信號(hào)Wn。由于圖29 的(2)中所示的濾波器系數(shù)是示例，所以可使用其他系數(shù)。另外，可使用比九個(gè)像素更寬的區(qū)域。另外，為了降低運(yùn)算成本，可按原樣使用從線存儲(chǔ)器401輸入的W信號(hào)。
利用噪聲去除白(W)信號(hào)Wn以及W信號(hào)和G信號(hào)的低頻成分mW和mG，W位置G 插補(bǔ)參數(shù)計(jì)算部431通過(guò)以下式子計(jì)算沒有模糊校正的G信號(hào)(Gl)
Gl = (mG/mff) Xffn
信號(hào)Gl不是被應(yīng)用了模糊校正信號(hào)Wd的信號(hào)，并且相當(dāng)于沒有強(qiáng)調(diào)高頻成分的 G信號(hào)。
至此，描述了假設(shè)W和G像素值的比率恒定的估計(jì)技術(shù)作為示例。然而，可使用其他利用W和G像素值的相關(guān)性的技術(shù)。
加權(quán)加法部435根據(jù)待轉(zhuǎn)換圖像的邊緣信息對(duì)兩個(gè)信號(hào)Gd和Gl執(zhí)行混合處理， 從而確定最終的G像素值。具體地，由于有模糊校正的G信號(hào)(Gd)在紋理度較高的邊緣部分而不是平坦部分較高，所以加權(quán)加法部435執(zhí)行在平坦部分增大沒有模糊校正的G信號(hào) (Gl)的比率的混合處理，從而確定最終的G像素值。
G位置RB插補(bǔ)參數(shù)計(jì)算部432計(jì)算要應(yīng)用于將G像素位置轉(zhuǎn)換到R像素(估計(jì)R 像素值)=(Ronff)和將G像素位置轉(zhuǎn)換到B像素(估計(jì)B像素值)=(BonG)的處理的插補(bǔ)參數(shù)。
具體地，G位置RB插補(bǔ)參數(shù)計(jì)算部432計(jì)算有模糊校正的R信號(hào)(Rd)、沒有模糊校正的R信號(hào)(Rl)、有模糊校正的B信號(hào)(Bd)和沒有模糊校正的B信號(hào)(BI)的值。
這些信號(hào)值相當(dāng)于要應(yīng)用到用于在RGBW陣列的G像素位置處設(shè)定RGB陣列的R 或B像素值的R或B像素值計(jì)算的插補(bǔ)參數(shù)(RonG插補(bǔ)參數(shù)和BonG插補(bǔ)參數(shù))。
與W位置G插補(bǔ)參數(shù)計(jì)算部431的處理類似，這些信號(hào)值的計(jì)算處理是作為計(jì)算每個(gè)信號(hào)的低頻成分mW、mR和mB并且利用從模糊校正處理部410輸出的待轉(zhuǎn)換像素的位置的模糊校正白(W)信號(hào)Wd計(jì)算以下的值的處理來(lái)執(zhí)行的
有模糊校正的R信號(hào)(Rd)；
有模糊校正的B信號(hào)(Bd)；
沒有模糊校正的R信號(hào)(Rl)；以及
沒有模糊校正的B信號(hào)(BI)。
G位置RB插補(bǔ)參數(shù)計(jì)算部432通過(guò)以下式子計(jì)算這些信號(hào)
Rd = (mR/mff) Xffd
Bd = (mB/mff) Xffd
Rl = (mR/mff) Xffn ;以及
BI = (mB/mff) XWn。
在以上式子中，信號(hào)Rd和Bd包括高頻成分，并且信號(hào)Rl和BI不是被應(yīng)用了模糊校正信號(hào)Wd的信號(hào)并且相當(dāng)于沒有強(qiáng)調(diào)高頻成分的信號(hào)。
至此，已描述了假設(shè)W像素值和G或B像素值的比率恒定的估計(jì)技術(shù)作為示例。然而，可以使用其他利用W像素值和G或B像素值的相關(guān)性的技術(shù)。
接下來(lái)，將描述作為用于將RGBW陣列的R像素位置轉(zhuǎn)換到RGB陣列的R像素(估計(jì)R像素值)的插補(bǔ)參數(shù)計(jì)算部的R位置R插補(bǔ)參數(shù)計(jì)算部433和B位置B插補(bǔ)參數(shù)計(jì)算部434的處理。
由于RGBW陣列的R像素位置對(duì)應(yīng)于RGB陣列(拜耳陣列)的R像素位置，所以可以按原樣使用R信號(hào)。
類似地，由于RGBW陣列的B像素位置對(duì)應(yīng)于RGB陣列(拜耳陣列)的B像素位置， 所以可以按原樣使用B信號(hào)。
然而，關(guān)于此信息，高頻信號(hào)可能由于光學(xué)鏡頭的像差的影響而丟失。在此情況下，要對(duì)G像素位置設(shè)定的R信號(hào)和B信號(hào)的特性有可能是相互不同的。
為了防止特性之間的差異的發(fā)生，R位置R插補(bǔ)參數(shù)計(jì)算部433利用輸入信號(hào)中包括的W信號(hào)和R信號(hào)計(jì)算用于校正R信號(hào)的參數(shù)。具體地，R位置R插補(bǔ)參數(shù)計(jì)算部433 計(jì)算有模糊校正的R信號(hào)(Rd)和沒有模糊校正的R信號(hào)(Rl)的值。
這些信號(hào)值相當(dāng)于要應(yīng)用到用于在RGBW陣列的R像素位置處設(shè)定RGB陣列的經(jīng)校正的R像素的R像素值計(jì)算的插補(bǔ)參數(shù)(RonR插補(bǔ)參數(shù))。
與上述的其他插補(bǔ)參數(shù)計(jì)算部類似，R位置R插補(bǔ)參數(shù)計(jì)算部433計(jì)算W信號(hào)的低頻成分mW、R信號(hào)的低頻成分mR和W信號(hào)的噪聲去除白(W)信號(hào)Wn。
另外，利用這些信號(hào)，R位置R插補(bǔ)參數(shù)計(jì)算部433通過(guò)以下式子計(jì)算有模糊校正的R信號(hào)(Rd)和沒有模糊校正的R信號(hào)(Rl)
Rd = (mR/mff) Xffd ；以及
Rl = (mR/mff) XWn0
至此，已描述了假設(shè)W像素值和G或B像素值的比率恒定的估計(jì)技術(shù)作為示例。然而，可以使用其他利用W像素值和G或B像素值的相關(guān)性的技術(shù)。
與上述的其他插補(bǔ)參數(shù)計(jì)算部類似，B位置B插補(bǔ)參數(shù)計(jì)算部434計(jì)算W信號(hào)的低頻成分mW、B信號(hào)的低頻成分mB和W信號(hào)的噪聲去除白(W)信號(hào)Wn。
另外，利用這些信號(hào)，B位置B插補(bǔ)參數(shù)計(jì)算部434通過(guò)以下式子計(jì)算有模糊校正的B信號(hào)(Bd)和沒有模糊校正的B信號(hào)(BI)
Bd = (mB/mff) Xffd ；以及
BI = (mB/mff) XWn。
至此，已描述了假設(shè)W像素值和G或B像素值的比率恒定的估計(jì)技術(shù)作為示例。然而，可以使用其他利用W像素值和G或B像素值的相關(guān)性的技術(shù)。
如上所述，W位置G插補(bǔ)參數(shù)計(jì)算部431、G位置RB插補(bǔ)參數(shù)計(jì)算部432、R位置R 插補(bǔ)參數(shù)計(jì)算部433和B位置B插補(bǔ)參數(shù)計(jì)算部434中的每一個(gè)計(jì)算有模糊校正的G、R和 B信號(hào)(Gd、Rd和Bd)以及沒有模糊校正的G、R和B信號(hào)(GU Rl和BI)。
接下來(lái)，將描述加權(quán)加法部435的處理。
加權(quán)加法部435利用從邊緣檢測(cè)部421輸入的邊緣信息計(jì)算有模糊校正的信號(hào) (Gd、Rd和Bd)和沒有模糊校正的信號(hào)(Gl、Rl和BI)的加權(quán)平均值Gr、Rr和Br。加權(quán)加法部435計(jì)算出的Gr、Rr和Br對(duì)應(yīng)于構(gòu)成圖21中所示的RGB陣列(拜耳陣列)382的像34素的RGB信號(hào)值。
在W位置G插補(bǔ)參數(shù)計(jì)算部431、G位置RB插補(bǔ)參數(shù)計(jì)算部432、R位置R插補(bǔ)參數(shù)計(jì)算部433和B位置B插補(bǔ)參數(shù)計(jì)算部434的每一個(gè)中，Gd、Rd和Bd是利用模糊校正W 信號(hào)Wd計(jì)算的，模糊校正W信號(hào)Wd是由模糊校正處理部410作為經(jīng)歷模糊校正處理的W 信號(hào)生成的。另外，如果Gd、Rd和Bd包括高頻成分，則Gd、Rd和Bd的噪聲也同時(shí)被放大。
同時(shí)，GU Rl和BI是根據(jù)未經(jīng)歷模糊校正處理的W信號(hào)計(jì)算出的信號(hào)，并且不包括高頻成分，但包括少量噪聲。
加權(quán)加法部435根據(jù)待轉(zhuǎn)換像素的邊緣信息確定有模糊校正的信號(hào)(Gd、Rd和Bd) 和沒有模糊校正的信號(hào)(G1、R1和BI)的混合比率并且執(zhí)行混合處理，從而確定最終的G、 R和B像素值。具體地，由于有模糊校正的信號(hào)(GcURc^PBd)的比率在紋理度較高的邊緣部分而不是平坦部分較高，所以加權(quán)加法部435執(zhí)行在平坦部分增大沒有模糊校正的信號(hào) (GU Rl和BI)的比率的混合處理，從而確定最終的G、R和B像素值。
優(yōu)選地，在邊緣附近存在具有恢復(fù)的高頻成分的銳利信號(hào)。然而，由于在平坦部分原本不包括高頻成分，所以優(yōu)選存在被抑制了噪聲的信號(hào)。
就此，加權(quán)加法部435根據(jù)由邊緣檢測(cè)部421計(jì)算出的待處理像素的邊緣信息，也就是平坦度weightFlat，通過(guò)以下式子對(duì)有模糊校正的信號(hào)(GcURc^PBd)和沒有模糊校正的信號(hào)(G1、R1和BI)執(zhí)行加權(quán)平均處理，從而計(jì)算出要對(duì)RGB陣列382設(shè)定的像素值Gr、 Rr 和 Br。
Gr= (weightFlat) X (Gd) + (1-weightFlat) XGl
Br = (weightFlat) X (Bd) + (1-weightFlat) XBl
Rr = (weightFlat) X (Rd) + (1-weightFlat) XRl
加權(quán)加法部435將作為這些式子的計(jì)算結(jié)果獲得的Gr、Rr和Br作為RGB陣列382 的信號(hào)輸出到RGB信號(hào)處理單元450。通過(guò)此處理，可以在抑制噪聲的放大的同時(shí)獲得具有高分辨率的信號(hào)Gr、Rr和Br。
然而，如上所述，當(dāng)從預(yù)定單位的像素區(qū)域例如以要經(jīng)歷模糊校正處理的像素為中心的7X7像素的區(qū)域中檢測(cè)到飽和像素時(shí)，由于不對(duì)該像素執(zhí)行模糊校正，所以輸出沒有模糊校正的信號(hào)(GU Rl和BI)。
最后，在步驟S308中，判定是否已完全處理了所有輸入像素。當(dāng)存在未處理像素時(shí)，對(duì)未處理像素重復(fù)執(zhí)行步驟S301至步驟S307的處理。
在步驟S308中，當(dāng)判定已完全處理了所有輸入像素時(shí)，圖像信號(hào)校正單元400的處理結(jié)束。
包括由加權(quán)加法部435生成的Gr、Rr和Br的RGB陣列(拜耳陣列)382如圖21 和圖22中所示被提供給RGB信號(hào)處理單元450。
此外，如上所述，顏色相關(guān)重馬賽克處理部(數(shù)據(jù)轉(zhuǎn)換部)430執(zhí)行的從RGBW陣列到RGB陣列的數(shù)據(jù)轉(zhuǎn)換處理可基本上使用作為本申請(qǐng)人的優(yōu)先權(quán)申請(qǐng)的2011-55038號(hào)日本未審查專利申請(qǐng)公布中公開的處理。數(shù)據(jù)轉(zhuǎn)換處理的細(xì)節(jié)可在2011-55038號(hào)日本未審查專利申請(qǐng)公布中找到。
RGB信號(hào)處理單元450等同于一般相機(jī)或圖像處理裝置中包括的對(duì)RGB陣列(拜耳陣列)的信號(hào)處理單元。RGB信號(hào)處理單元450對(duì)從加權(quán)加法部435輸出的RGB陣列(拜耳陣列)382執(zhí)行信號(hào)處理，從而生成顏色圖像383 (參考圖21)。具體地，RGB信號(hào)處理單元450例如執(zhí)行白平衡處理、去馬賽克處理、濃淡處理、RGB顏色矩陣處理、Y校正處理等等，從而生成顏色圖像383。
此外，在上述實(shí)施例中，描述了對(duì)于圖20的⑴中所示的RGB陣列的處理示例。然而，本公開的處理不限于顏色陣列。例如，本公開的處理可應(yīng)用到設(shè)有如下濾波器的成像元件的拍攝數(shù)據(jù)該濾波器具有各種顏色陣列，包括與顏色信號(hào)相比具有高采樣率的W像素。
另外，在上述實(shí)施例中，描述了如下示例，S卩，要應(yīng)用到圖22中所示的流程圖的 S305中的模糊校正處理的模糊校正濾波器基于圖22中所示的流程圖的步驟S302中生成的顏色比率反映濾波器用作步驟S303中考慮圖像高度等等改變的濾波器。
然而，例如，要應(yīng)用到圖22中所示的流程圖的S305中的模糊校正處理的模糊校正濾波器可以是在圖22中所示的流程圖的步驟S302中生成的顏色比率反映濾波器。也就是說(shuō)，可以省略步驟S303的處理。
另外，即使當(dāng)執(zhí)行步驟S302和S303時(shí)，與上述的第一實(shí)施例類似，例如，可以省略作為步驟S303的濾波器生成處理的詳細(xì)流程圖的圖9中所示的流程圖的步驟S123，并且可以應(yīng)用在步驟S122中基于混合系數(shù)a (focus, r)生成的坐標(biāo)位置對(duì)應(yīng)默認(rèn)濾波器Fbase 作為最終的模糊校正濾波器。
或者，可以省略圖9中所示的流程圖的步驟S121或步驟S122，并且可以只通過(guò)步驟S123的處理生成模糊校正濾波器。也就是說(shuō)，在步驟S302中生成的顏色比率反映濾波器可被用作默認(rèn)濾波器，并且通過(guò)圖9中所示的流程圖的步驟S123的處理(也就是參考圖 14和圖15描述的頻帶分離處理、利用增強(qiáng)幅度調(diào)整參數(shù)β (focus,r)對(duì)AC成分的幅度調(diào)整和再合成處理)獲得的濾波器可被應(yīng)用到模糊校正。
另外，在以上實(shí)施例中，描述了利用圖像高度r和焦點(diǎn)位置信息focus確定混合系數(shù)α或增強(qiáng)幅度調(diào)整參數(shù)β的配置示例。然而，可以僅依據(jù)圖像高度r確定混合系數(shù)α 或增強(qiáng)幅度調(diào)整參數(shù)β。或者，可以僅依據(jù)焦點(diǎn)位置信息focus確定混合系數(shù)α或增強(qiáng)幅度調(diào)整參數(shù)β。另外，可以在考慮到例如變焦位置等等之類的其他參數(shù)的情況下確定混合系數(shù)d或增強(qiáng)幅度調(diào)整參數(shù)β。
[6.本公開的配置的總結(jié)]
至此，已參考具體實(shí)施例詳細(xì)描述了本公開的實(shí)施例。然而，應(yīng)當(dāng)注意，在不脫離本公開的范圍的情況下，本領(lǐng)域的技術(shù)人員將清楚各種修改和替換實(shí)施例。也就是說(shuō)，應(yīng)當(dāng)注意本公開是通過(guò)實(shí)施例來(lái)公開的，并且不是以受這些實(shí)施例限制的方式來(lái)解釋的。為了確定本公開的范圍，必須考慮權(quán)利要求的范圍。
注意，本技術(shù)也可如下配置。
(I) 一種圖像處理裝置，包括用于對(duì)圖像執(zhí)行模糊校正處理的圖像信號(hào)校正單元，
其中，所述圖像信號(hào)校正單元包括模糊校正處理部，該模糊校正處理部被配置為利用根據(jù)要經(jīng)歷模糊校正的像素的圖像高度確定的混合系數(shù)對(duì)默認(rèn)濾波器和根據(jù)所述要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行混合處理，并且利用通過(guò)該混合處理生成的濾波器執(zhí)行模糊校正處理。
(2)根據(jù)(I)所述的圖像處理裝置，其中，所述模糊校正處理部利用根據(jù)所述要經(jīng)歷模糊校正的像素的圖像高度和焦點(diǎn)位置信息確定的混合系數(shù)對(duì)所述默認(rèn)濾波器和所述坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行混合處理，并且利用通過(guò)該混合處理生成的濾波器執(zhí)行模糊校正處理。
(3)根據(jù)(I)或(2)所述的圖像處理裝置，其中，所述模糊校正處理部執(zhí)行在圖像高度隨著要經(jīng)歷模糊校正的像素的像素位置變得更遠(yuǎn)離圖像中心而增大時(shí)減小所述坐標(biāo)位置對(duì)應(yīng)高通濾波器的混合比率的混合處理。
(4)根據(jù)⑴至(3)的任何一項(xiàng)所述的圖像處理裝置，其中，所述模糊校正處理部根據(jù)要經(jīng)歷模糊校正的像素的像素位置混合X方向調(diào)整用高通濾波器HPF_x、y方向調(diào)整用高通濾波器HPF_y和與視角中心位置[(x,y) = (0,0)]相對(duì)應(yīng)的中心濾波器HPF_center, 從而生成所述坐標(biāo)位置對(duì)應(yīng)高通濾波器，其中所述高通濾波器HPF_x和所述高通濾波器 HPF_y被預(yù)先保存在存儲(chǔ)器中。
(5)根據(jù)(I)至(4)的任何一項(xiàng)所述的圖像處理裝置，其中，所述模糊校正處理部通過(guò)根據(jù)要經(jīng)歷模糊校正的像素的圖像高度對(duì)所述坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行增強(qiáng)幅度調(diào)整來(lái)生成幅度調(diào)整濾波器，并且利用該幅度調(diào)整濾波器執(zhí)行模糊校正處理。
(6)根據(jù)⑴至(4)的任何一項(xiàng)所述的圖像處理裝置，其中，所述模糊校正處理部將所述坐標(biāo)位置對(duì)應(yīng)高通濾波器分離成DC成分和AC成分，利用與要經(jīng)歷模糊校正的像素的圖像高度相對(duì)應(yīng)的幅度調(diào)整參數(shù)對(duì)所述AC成分執(zhí)行調(diào)整處理，并且將所述DC成分與已被執(zhí)行了所述調(diào)整處理的AC成分再合成，從而生成所述幅度調(diào)整濾波器。
(7)根據(jù)⑴至(6)的任何一項(xiàng)所述的圖像處理裝置，其中，所述模糊校正處理部利用要經(jīng)歷模糊校正的像素的圖像高度和與焦點(diǎn)位置信息對(duì)應(yīng)的幅度調(diào)整參數(shù)對(duì)所述坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行增強(qiáng)幅度調(diào)整，從而生成所述幅度調(diào)整濾波器。
(8)根據(jù)(I)至(7)的任何一項(xiàng)所述的圖像處理裝置，其中，所述圖像信號(hào)校正單元還包括
邊緣檢測(cè)部，該邊緣檢測(cè)部被配置為檢測(cè)圖像的邊緣信息；以及
混合處理部，該混合處理部被配置為輸出圖像信號(hào)校正結(jié)果，
其中，所述混合處理部接收從所述邊緣檢測(cè)部輸出的邊緣信息、由所述模糊校正處理部通過(guò)模糊校正處理生成的經(jīng)模糊校正的信號(hào)和執(zhí)行模糊校正處理前的沒有模糊校正的信號(hào)，并且按照根據(jù)所述邊緣信息確定的混合比率對(duì)所述經(jīng)模糊校正的信號(hào)和所述沒有模糊校正的信號(hào)執(zhí)行混合處理，從而生成輸出信號(hào)。
(9)根據(jù)(I)至(8)的任何一項(xiàng)所述的圖像處理裝置，其中，所述圖像信號(hào)校正單元被配置為對(duì)具有包括RGB像素和W(白)像素的RGBW陣列的成像元件的輸出信號(hào)執(zhí)行模糊校正處理，并且在對(duì)要校正的W像素信號(hào)的模糊校正處理時(shí)，所述圖像信號(hào)校正單元生成反映了包括該W像素信號(hào)的局部區(qū)域的顏色比率的顏色比率反映模糊校正濾波器，并且利用該顏色比率反映模糊校正濾波器執(zhí)行模糊校正處理。
(10)根據(jù)(I)至(9)的任何一項(xiàng)所述的圖像處理裝置，其中，所述模糊校正處理部通過(guò)利用所述成像元件的輸出信號(hào)中包括的W像素信號(hào)的插補(bǔ)處理生成具有與所有像素相對(duì)應(yīng)的W像素信號(hào)的插補(bǔ)圖像，對(duì)構(gòu)成所生成的插補(bǔ)圖像的每個(gè)W像素生成所述顏色比率反映模糊校正濾波器，并且利用該顏色比率反映模糊校正濾波器執(zhí)行模糊校正處理。
(11)根據(jù)(I)至(10)的任何一項(xiàng)所述的圖像處理裝置，其中，所述模糊校正處理部計(jì)算所述局部區(qū)域的RGB顏色的低頻成分，并且將計(jì)算出的RGB顏色的低頻成分的值的比率設(shè)定為所述局部區(qū)域的顏色比率。
(12)根據(jù)(I)至(11)的任何一項(xiàng)所述的圖像處理裝置，其中，所述模糊校正處理部按照根據(jù)所述局部區(qū)域的RGB顏色比率確定的混合比率混合預(yù)先保存在存儲(chǔ)器中的R對(duì)應(yīng)模糊校正濾波器、G對(duì)應(yīng)模糊校正濾波器、B對(duì)應(yīng)模糊校正濾波器，從而生成所述顏色比率反映模糊校正濾波器。
(13)根據(jù)⑴至(12)的任何一項(xiàng)所述的圖像處理裝置，其中，所述圖像信號(hào)校正單元包括
飽和檢測(cè)部，該飽和檢測(cè)部被配置為檢測(cè)在包括具有要經(jīng)歷模糊校正的像素的多個(gè)像素的局部區(qū)域中是否包括飽和像素，
其中，所述模糊校正處理部接收來(lái)自所述飽和檢測(cè)部的檢測(cè)信息，在所述局部區(qū)域中包括飽和像素時(shí)不對(duì)所述要經(jīng)歷模糊校正的像素執(zhí)行模糊校正，并且僅在所述局部區(qū)域中不包括飽和像素時(shí)對(duì)所述要經(jīng)歷模糊校正的像素執(zhí)行模糊校正。
(14) 一種圖像處理裝置，包括用于對(duì)圖像執(zhí)行模糊校正處理的圖像信號(hào)校正單元，
其中，所述圖像信號(hào)校正單元將用于模糊校正的濾波器分離成DC成分和AC成分， 利用根據(jù)要經(jīng)歷模糊校正的像素的圖像高度計(jì)算的幅度調(diào)整參數(shù)對(duì)所述AC成分執(zhí)行幅度調(diào)整，將所述DC成分與被執(zhí)行了幅度調(diào)整的AC成分再合成以生成幅度調(diào)整濾波器，并且利用該幅度調(diào)整濾波器執(zhí)行模糊校正。
此外，本公開的配置包括在執(zhí)行在上述裝置和系統(tǒng)中要執(zhí)行的處理的方法、允許執(zhí)行該處理的程序和記錄該程序的記錄介質(zhì)中。
另外，本說(shuō)明書中描述的一系列處理可用硬件、軟件或其復(fù)合配置來(lái)執(zhí)行。當(dāng)用軟件來(lái)執(zhí)行處理時(shí)，記錄處理序列的程序可在被安裝在嵌入于專用硬件中的計(jì)算機(jī)中的存儲(chǔ)器中之后被執(zhí)行，或者程序可在被安裝在能夠執(zhí)行各種處理的通用計(jì)算機(jī)中之后被執(zhí)行。 例如，程序可被預(yù)先記錄在記錄介質(zhì)上。除了從記錄介質(zhì)安裝到計(jì)算機(jī)以外，程序也可通過(guò)諸如局域網(wǎng)(LAN)或因特網(wǎng)之類的網(wǎng)絡(luò)被接收，并可被安裝在諸如嵌入式硬盤之類的記錄介質(zhì)上。
此外，本說(shuō)明書中描述的各種處理不僅可根據(jù)描述按時(shí)序執(zhí)行，而且也可根據(jù)用于執(zhí)行處理的裝置的處理能力或者根據(jù)需要以并行或單獨(dú)方式執(zhí)行。另外，本說(shuō)明書中的系統(tǒng)相當(dāng)于多個(gè)裝置的邏輯聚集配置，并且每個(gè)配置的裝置不一定在同一殼體中。
如上所述，根據(jù)本公開的實(shí)施例的配置，實(shí)現(xiàn)了用于根據(jù)構(gòu)成圖像的每個(gè)像素的圖像高度等等執(zhí)行最優(yōu)模糊校正處理的裝置和方法。
具體地，該裝置包括用于對(duì)圖像執(zhí)行模糊校正處理的圖像信號(hào)校正單元，其中，圖像信號(hào)校正單元利用與要經(jīng)歷模糊校正的像素的圖像高度相對(duì)應(yīng)的混合系數(shù)混合默認(rèn)濾波器和根據(jù)要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器，并且利用通過(guò)該混合處理生成的濾波器執(zhí)行模糊校正。例如，當(dāng)隨著要經(jīng)歷模糊校正的像素的像素位置更遠(yuǎn)離圖像中心，圖像高度增大時(shí)，圖像信號(hào)校正單元執(zhí)行減小坐標(biāo)位置對(duì)應(yīng)高通濾波器的混合比率的混合處理。或者，圖像信號(hào)校正單元生成被根據(jù)圖像高度執(zhí)行了幅度調(diào)整的幅度調(diào)整模糊校正濾波器，并執(zhí)行模糊校正。
通過(guò)這些處理，實(shí)現(xiàn)了根據(jù)構(gòu)成圖像的每個(gè)像素的圖像高度等等的最優(yōu)模糊校正處理。
本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，取決于設(shè)計(jì)要求和其他因素，可以進(jìn)行各種修改、組合、子組合和變更，只要它們處于所附權(quán)利要求或其等同物的范圍之內(nèi)即可。
本公開包含與2011年9月6日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2011-194417和2011年9月6日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP 2011-194418 中公開的主題相關(guān)的主題，特此通過(guò)引用將這些申請(qǐng)的全部?jī)?nèi)容并入。
權(quán)利要求
1.一種圖像處理裝置，包括用于對(duì)圖像執(zhí)行模糊校正處理的圖像信號(hào)校正單元， 其中，所述圖像信號(hào)校正單元包括模糊校正處理部，該模糊校正處理部被配置為利用根據(jù)要經(jīng)歷模糊校正的像素的圖像高度確定的混合系數(shù)對(duì)默認(rèn)濾波器和根據(jù)所述要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行混合處理，并且利用通過(guò)該混合處理生成的濾波器執(zhí)行模糊校正處理。
2.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述模糊校正處理部利用根據(jù)所述要經(jīng)歷模糊校正的像素的圖像高度和焦點(diǎn)位置信息確定的混合系數(shù)對(duì)所述默認(rèn)濾波器和所述坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行混合處理，并且利用通過(guò)該混合處理生成的濾波器執(zhí)行模糊校正處理。
3.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述模糊校正處理部執(zhí)行如下混合處理在圖像高度隨著要經(jīng)歷模糊校正的像素的像素位置變得更遠(yuǎn)離圖像中心而增大時(shí)減小所述坐標(biāo)位置對(duì)應(yīng)高通濾波器的混合比率。
4.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述模糊校正處理部根據(jù)要經(jīng)歷模糊校正的像素的像素位置來(lái)混合X方向調(diào)整用高通濾波器HPF_x、y方向調(diào)整用高通濾波器HPF_y和與視角中心位置[(X, y) = (0,0)]相對(duì)應(yīng)的中心濾波器HPF_center,從而生成所述坐標(biāo)位置對(duì)應(yīng)高通濾波器，其中所述高通濾波器HPF_x和所述高通濾波器HPF_y被預(yù)先保存在存儲(chǔ)器中。
5.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述模糊校正處理部通過(guò)根據(jù)要經(jīng)歷模糊校正的像素的圖像高度對(duì)所述坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行增強(qiáng)幅度調(diào)整來(lái)生成幅度調(diào)整濾波器，并且利用該幅度調(diào)整濾波器執(zhí)行模糊校正處理。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述模糊校正處理部將所述坐標(biāo)位置對(duì)應(yīng)高通濾波器分離成DC成分和AC成分，利用與要經(jīng)歷模糊校正的像素的圖像高度相對(duì)應(yīng)的幅度調(diào)整參數(shù)對(duì)所述AC成分執(zhí)行調(diào)整處理，并且將所述DC成分與已被執(zhí)行了所述調(diào)整處理的AC成分再合成，從而生成所述幅度調(diào)整濾波器。
7.根據(jù)權(quán)利要求5所述的圖像處理裝置，其中，所述模糊校正處理部利用要經(jīng)歷模糊校正的像素的圖像高度和與焦點(diǎn)位置信息對(duì)應(yīng)的幅度調(diào)整參數(shù)對(duì)所述坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行增強(qiáng)幅度調(diào)整，從而生成所述幅度調(diào)整濾波器。
8.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述圖像信號(hào)校正單元還包括 邊緣檢測(cè)部，該邊緣檢測(cè)部被配置為檢測(cè)圖像的邊緣信息；以及 混合處理部，該混合處理部被配置為輸出圖像信號(hào)校正結(jié)果， 其中，所述混合處理部接收從所述邊緣檢測(cè)部輸出的邊緣信息、由所述模糊校正處理部通過(guò)模糊校正處理生成的經(jīng)模糊校正的信號(hào)和執(zhí)行模糊校正處理前的沒有模糊校正的信號(hào)，并且按照根據(jù)所述邊緣信息確定的混合比率對(duì)所述經(jīng)模糊校正的信號(hào)和所述沒有模糊校正的信號(hào)執(zhí)行混合處理，從而生成輸出信號(hào)。
9.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述圖像信號(hào)校正單元被配置為對(duì)具有包括RGB像素和白W像素的RGBW陣列的成像元件的輸出信號(hào)執(zhí)行模糊校正處理，并且在對(duì)要校正的W像素信號(hào)的模糊校正處理時(shí)，所述圖像信號(hào)校正單元生成反映了包括該W像素信號(hào)的局部區(qū)域的顏色比率的顏色比率反映模糊校正濾波器，并且利用該顏色比率反映模糊校正濾波器執(zhí)行模糊校正處理。
10.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，所述模糊校正處理部通過(guò)利用所述成像元件的輸出信號(hào)中包括的W像素信號(hào)的插補(bǔ)處理生成具有與所有像素相對(duì)應(yīng)的W像素信號(hào)的插補(bǔ)圖像，對(duì)構(gòu)成所生成的插補(bǔ)圖像的每個(gè)W像素生成所述顏色比率反映模糊校正濾波器，并且利用該顏色比率反映模糊校正濾波器執(zhí)行模糊校正處理。
11.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，所述模糊校正處理部計(jì)算所述局部區(qū)域的RGB顏色的低頻成分，并且將計(jì)算出的RGB顏色的低頻成分的值的比率設(shè)定為所述局部區(qū)域的顏色比率。
12.根據(jù)權(quán)利要求9所述的圖像處理裝置，其中，所述模糊校正處理部按照根據(jù)所述局部區(qū)域的RGB顏色比率確定的混合比率混合預(yù)先保存在存儲(chǔ)器中的R對(duì)應(yīng)模糊校正濾波器、G對(duì)應(yīng)模糊校正濾波器、B對(duì)應(yīng)模糊校正濾波器，從而生成所述顏色比率反映模糊校正濾波器。
13.根據(jù)權(quán)利要求I所述的圖像處理裝置，其中，所述圖像信號(hào)校正單元包括 飽和檢測(cè)部，該飽和檢測(cè)部被配置為檢測(cè)在包括具有要經(jīng)歷模糊校正的像素的多個(gè)像素的局部區(qū)域中是否包括飽和像素， 其中，所述模糊校正處理部接收來(lái)自所述飽和檢測(cè)部的檢測(cè)信息，在所述局部區(qū)域中包括飽和像素時(shí)不對(duì)所述要經(jīng)歷模糊校正的像素執(zhí)行模糊校正，并且僅在所述局部區(qū)域中不包括飽和像素時(shí)對(duì)所述要經(jīng)歷模糊校正的像素執(zhí)行模糊校正。
14.一種圖像處理裝置，包括用于對(duì)圖像執(zhí)行模糊校正處理的圖像信號(hào)校正單元， 其中，所述圖像信號(hào)校正單元將用于模糊校正的濾波器分離成DC成分和AC成分，利用根據(jù)要經(jīng)歷模糊校正的像素的圖像高度計(jì)算的幅度調(diào)整參數(shù)對(duì)所述AC成分執(zhí)行幅度調(diào)整，將所述DC成分與被執(zhí)行了幅度調(diào)整的AC成分再合成以生成幅度調(diào)整濾波器，并且利用該幅度調(diào)整濾波器執(zhí)行模糊校正。
15.一種利用圖像處理裝置對(duì)圖像執(zhí)行模糊校正處理的圖像處理方法，包括 利用圖像信號(hào)校正單元，執(zhí)行如下混合處理，并且利用通過(guò)該混合處理生成的濾波器執(zhí)行所述模糊校正處理，所述混合處理用于按照根據(jù)要經(jīng)歷模糊校正的像素的圖像高度確定的混合比率來(lái)混合默認(rèn)濾波器和根據(jù)所述要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器。
16.一種利用圖像處理裝置對(duì)圖像執(zhí)行模糊校正處理的圖像處理方法，包括 利用圖像信號(hào)校正單元，將用于模糊校正的濾波器分離成DC成分和AC成分，利用根據(jù)要經(jīng)歷模糊校正的像素的圖像高度計(jì)算的幅度調(diào)整參數(shù)對(duì)所述AC成分執(zhí)行幅度調(diào)整，將所述DC成分與被執(zhí)行了幅度調(diào)整的AC成分再合成以生成幅度調(diào)整濾波器，并且利用該幅度調(diào)整濾波器執(zhí)行模糊校正。
17.一種用于使得在圖像處理裝置中執(zhí)行對(duì)圖像的模糊校正處理的程序， 其中，所述程序使得圖像信號(hào)校正單元執(zhí)行 混合處理，該混合處理用于按照根據(jù)要經(jīng)歷模糊校正的像素的圖像高度確定的混合比率來(lái)混合默認(rèn)濾波器和根據(jù)所述要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器，以及 利用通過(guò)該混合處理生成的濾波器的模糊校正處理。
18.—種記錄介質(zhì)，其上記錄了用于使得在圖像處理裝置中執(zhí)行對(duì)圖像的模糊校正處理的程序， 其中，所述記錄介質(zhì)上記錄了用于使得圖像信號(hào)校正單元執(zhí)行以下處理的程序 混合處理，該混合處理用于按照根據(jù)要經(jīng)歷模糊校正的像素的圖像高度確定的混合比率來(lái)混合默認(rèn)濾波器和根據(jù)所述要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器，以及 利用通過(guò)該混合處理生成的濾波器的模糊校正處理。
19.一種圖像處理裝置，包括模糊校正處理部，該模糊校正處理部被配置為對(duì)具有包括RGB像素和白W像素的RGBW陣列的成像元件的輸出信號(hào)執(zhí)行模糊校正處理， 其中，在對(duì)要校正的W像素信號(hào)的模糊校正處理時(shí)，所述模糊校正處理部生成反映了包括該W像素信號(hào)的局部區(qū)域的顏色比率的顏色比率反映模糊校正濾波器，并且利用該顏色比率反映模糊校正濾波器執(zhí)行所述模糊校正處理。
20.根據(jù)權(quán)利要求19所述的圖像處理裝置，其中，所述模糊校正處理部通過(guò)利用所述成像元件的輸出信號(hào)中包括的W像素信號(hào)的插補(bǔ)處理生成具有與所有像素相對(duì)應(yīng)的W像素信號(hào)的插補(bǔ)圖像，對(duì)構(gòu)成所生成的插補(bǔ)圖像的每個(gè)W像素生成所述顏色比率反映模糊校正濾波器，并且利用該顏色比率反映模糊校正濾波器執(zhí)行模糊校正處理。
21.根據(jù)權(quán)利要求19所述的圖像處理裝置，其中，所述模糊校正處理部計(jì)算所述局部區(qū)域的RGB顏色的低頻成分，并且將計(jì)算出的RGB顏色的低頻成分的值的比率設(shè)定為所述局部區(qū)域的顏色比率。
22.一種利用圖像處理裝置對(duì)圖像執(zhí)行模糊校正處理的圖像處理方法，該圖像處理方法包括 利用模糊校正處理部對(duì)具有包括RGB像素和白W像素的RGBW陣列的成像元件的輸出信號(hào)執(zhí)行模糊校正處理， 其中，在模糊校正處理步驟中，在對(duì)要校正的W像素信號(hào)的模糊校正處理時(shí)，生成反映了包括該W像素信號(hào)的局部區(qū)域的顏色比率的顏色比率反映模糊校正濾波器，并且執(zhí)行利用該顏色比率反映模糊校正濾波器的模糊校正處理。
全文摘要
公開了圖像處理裝置、圖像處理方法、信息記錄介質(zhì)和程序。提供了一種圖像處理裝置，其包括用于對(duì)圖像執(zhí)行模糊校正處理的圖像信號(hào)校正單元。圖像信號(hào)校正單元包括模糊校正處理部，該模糊校正處理部被配置為利用根據(jù)要經(jīng)歷模糊校正的像素的圖像高度確定的混合系數(shù)對(duì)默認(rèn)濾波器和根據(jù)要經(jīng)歷模糊校正的像素的圖像高度生成的坐標(biāo)位置對(duì)應(yīng)高通濾波器執(zhí)行混合處理，并且利用通過(guò)該混合處理生成的濾波器執(zhí)行模糊校正處理。
文檔編號(hào)H04N5/357GK102984527SQ201210323139
公開日2013年3月20日 申請(qǐng)日期2012年8月30日 優(yōu)先權(quán)日2011年9月6日
發(fā)明者館真透 申請(qǐng)人:索尼公司