專利名稱：圖像處理設(shè)備、方法、記錄介質(zhì)和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備和方法、記錄介質(zhì)和程序，尤其涉及能夠校正由于焦點(diǎn)未對(duì)準(zhǔn)而造成的圖像模糊的圖像處理設(shè)備和方法、記錄介質(zhì)和程序。
背景技術(shù)：
近來數(shù)字照相機(jī)得到廣泛的使用，許多用戶有了更多的機(jī)會(huì)拍攝照片。數(shù)字照相機(jī)具有自動(dòng)對(duì)焦功能，其中，照相機(jī)對(duì)物體進(jìn)行適當(dāng)?shù)膶?duì)焦調(diào)整。
但是，使用自動(dòng)對(duì)焦功能時(shí)，焦點(diǎn)被調(diào)節(jié)得使得對(duì)焦?fàn)顟B(tài)在幾個(gè)預(yù)定點(diǎn)是最佳的。因此，可能出現(xiàn)這樣的情況例如，用戶所希望拍攝的對(duì)象不在焦點(diǎn)上(不清晰)，而是將焦點(diǎn)調(diào)節(jié)到了背景圖像上。在這種情況下，用戶希望拍攝的對(duì)象的圖像就變得模糊。
因此，例如在日本待審專利申請(qǐng)公開No.2000-57339中提出了一種校正這樣的圖像模糊的方法。但是，在進(jìn)行處理以校正整個(gè)圖像的模糊的時(shí)候，例如，主要對(duì)象的圖像的模糊被校正了，但是缺點(diǎn)是，在當(dāng)時(shí)不模糊的背景圖像中會(huì)出現(xiàn)過調(diào)或者產(chǎn)生環(huán)形(ringing)的現(xiàn)象，所得到的圖像的質(zhì)量減退。
目前，在日本待審專利申請(qǐng)公開No.2000-57339中公開的發(fā)明涉及由用戶確定要校正模糊的區(qū)域，只在指定的區(qū)域中執(zhí)行校正處理。
但是，如果由用戶來確定校正區(qū)的面積，在主對(duì)象的形狀復(fù)雜的情況下，例如，就需要進(jìn)行精確跟蹤復(fù)雜形狀的對(duì)象的邊緣的操作，這對(duì)用戶產(chǎn)生了很大的負(fù)擔(dān)。

發(fā)明內(nèi)容
本發(fā)明就是針對(duì)上述問題作出的，提供方便的模糊校正，同時(shí)不對(duì)用戶產(chǎn)生很大的負(fù)擔(dān)。
根據(jù)本發(fā)明的第一方面，圖像處理設(shè)備包括參數(shù)獲取裝置，用于獲取與要校正的圖像的模糊的校正有關(guān)的參數(shù)；特征量檢測(cè)裝置，用于檢測(cè)要被校正的圖像的特征量；參數(shù)生成裝置，用于通過根據(jù)所述特征量校正所述參數(shù)而生成校正參數(shù)；以及校正裝置，用于根據(jù)所述校正參數(shù)來校正要被校正的圖像的模糊。
根據(jù)本發(fā)明的第二方面，圖像處理方法包括獲取與要校正的圖像的模糊的校正有關(guān)的參數(shù)；檢測(cè)要被校正的圖像的特征量；通過根據(jù)所述特征量校正所述參數(shù)而生成校正參數(shù)；以及，根據(jù)所述校正參數(shù)來校正要被校正的圖像的模糊。
根據(jù)本發(fā)明的第三方面，記錄介質(zhì)中存儲(chǔ)有由計(jì)算機(jī)讀取的程序，該程序包括用于獲取與要校正的圖像的模糊的校正有關(guān)的參數(shù)的指令；用于檢測(cè)要被校正的圖像的特征量的指令；用于通過根據(jù)所述特征量校正所述參數(shù)而生成校正參數(shù)的指令；以及，用于根據(jù)所述校正參數(shù)來校正要被校正的圖像的模糊的指令。
根據(jù)本發(fā)明的第四方面，可由計(jì)算機(jī)執(zhí)行的程序包括用于獲取與要校正的圖像的模糊的校正有關(guān)的參數(shù)的指令；用于檢測(cè)要被校正的圖像的特征量的指令；用于通過根據(jù)所述特征量校正所述參數(shù)而生成校正參數(shù)的指令；以及，用于根據(jù)所述校正參數(shù)來校正要被校正的圖像的模糊的指令。
根據(jù)本發(fā)明的第五方面，一種圖像處理設(shè)備包括獲取裝置，用于獲取用于學(xué)習(xí)的圖像數(shù)據(jù)；指定裝置，用于指定用于生成圖像中的模糊的參數(shù)；生成裝置，用于生成所述圖像的圖像數(shù)據(jù)，在所述圖像中，使用包括所述獲取的圖像數(shù)據(jù)的參數(shù)的函數(shù)產(chǎn)生了模糊；特征量檢測(cè)裝置，用于檢測(cè)所生成的圖像數(shù)據(jù)的圖像的特征量；最大值檢測(cè)裝置，用于檢測(cè)所述圖像的特征量的最大值，在所述圖像中，對(duì)應(yīng)于所述指定的參數(shù)發(fā)生了模糊；以及建立裝置，用于建表，在指定了指定參數(shù)和指定特征量時(shí)，從該表讀出對(duì)應(yīng)于所指定的參數(shù)和指定特征量的校正參數(shù)，在指定特征量小于對(duì)應(yīng)于所指定的參數(shù)的特征量的最大值的情況下，使所指定的參數(shù)成為所述校正參數(shù)，在所述指定特征量較大的情況下，值大于作為特征量最大值的指定特征量的特征量所對(duì)應(yīng)的參數(shù)作為所述校正參數(shù)。
根據(jù)本發(fā)明的第六方面，一種圖像處理方法包括獲取用于學(xué)習(xí)的圖像數(shù)據(jù)；設(shè)定用于在圖像上產(chǎn)生模糊的參數(shù)；生成所述圖像的圖像數(shù)據(jù)，在所述圖像中，使用包括所述獲取的圖像數(shù)據(jù)的參數(shù)的函數(shù)產(chǎn)生了模糊；檢測(cè)所生成的圖像數(shù)據(jù)的圖像的特征量；檢測(cè)所述圖像的特征量的最大值，在所述圖像中，對(duì)應(yīng)于所設(shè)定的參數(shù)發(fā)生了模糊；以及，建表，在指定了指定參數(shù)和指定特征量時(shí)，從該表讀出對(duì)應(yīng)于指定參數(shù)和指定特征量的校正參數(shù)，在指定特征量小于對(duì)應(yīng)于指定參數(shù)的特征量的最大值的情況下，使所述指定參數(shù)成為所述校正參數(shù)，在所述指定特征量較大的情況下，值大于作為特征量最大值的指定特征量的特征量所對(duì)應(yīng)的參數(shù)作為所述校正參數(shù)。
根據(jù)本發(fā)明的第七方面，記錄介質(zhì)中記錄有由計(jì)算機(jī)讀取的程序，該程序包括用于獲取用于學(xué)習(xí)的圖像數(shù)據(jù)的指令；用于設(shè)定用于在圖像上產(chǎn)生模糊的參數(shù)的指令；用于生成所述圖像的圖像數(shù)據(jù)的指令，在所述圖像中，使用包括所述獲取的圖像數(shù)據(jù)的參數(shù)的函數(shù)產(chǎn)生了模糊；用于檢測(cè)所生成的圖像數(shù)據(jù)的圖像的特征量的指令；用于檢測(cè)所述圖像的特征量的最大值的指令，在所述圖像中，對(duì)應(yīng)于所設(shè)定的參數(shù)發(fā)生了模糊；以及，用于建表的指令，在指定了指定參數(shù)和指定特征量時(shí)，從該表讀出對(duì)應(yīng)于指定參數(shù)和指定特征量的校正參數(shù)，在指定特征量小于對(duì)應(yīng)于指定參數(shù)的特征量的最大值的情況下，使所述指定參數(shù)成為所述校正參數(shù)，在所述指定特征量較大的情況下，值大于作為特征量最大值的指定特征量的特征量所對(duì)應(yīng)的參數(shù)作為所述校正參數(shù)。
根據(jù)本發(fā)明的第八方面，可由計(jì)算機(jī)執(zhí)行的程序包括用于獲取用于學(xué)習(xí)的圖像數(shù)據(jù)的指令；用于設(shè)定用于在圖像上產(chǎn)生模糊的參數(shù)的指令；用于生成所述圖像的圖像數(shù)據(jù)的指令，在所述圖像中，使用包括所述獲取的圖像數(shù)據(jù)的參數(shù)的函數(shù)產(chǎn)生了模糊；用于檢測(cè)所生成的圖像數(shù)據(jù)的圖像的特征量的指令；用于檢測(cè)所述圖像的特征量的最大值的指令，在所述圖像中，對(duì)應(yīng)于所設(shè)定的參數(shù)發(fā)生了模糊；以及，用于建表的指令，在指定了指定參數(shù)和指定特征量時(shí)，從該表讀出對(duì)應(yīng)于指定參數(shù)和指定特征量的校正參數(shù)，在指定特征量小于對(duì)應(yīng)于指定參數(shù)的特征量的最大值的情況下，使所述指定參數(shù)成為所述校正參數(shù)，在所述指定特征量較大的情況下，值大于作為特征量最大值的指定特征量的特征量所對(duì)應(yīng)的參數(shù)作為所述校正參數(shù)。
根據(jù)本發(fā)明的第一到第四方面，可以校正圖像的模糊。
具體地，根據(jù)本發(fā)明，可以容易地校正圖像的模糊而不會(huì)對(duì)用戶產(chǎn)生特別的負(fù)擔(dān)。
根據(jù)本發(fā)明的第五到第八方面，可以創(chuàng)建一個(gè)表，其中列舉用于校正圖像的參數(shù)。具體地，可以創(chuàng)建一個(gè)表，其中列舉了參數(shù)，使用這些參數(shù)能夠容易地校正圖像而不對(duì)用戶產(chǎn)生特別的負(fù)擔(dān)。


圖1的框解了應(yīng)用本發(fā)明的圖像處理設(shè)備的一個(gè)配置實(shí)例；圖2的流程圖描述了圖1的圖像處理設(shè)備的圖像處理過程；圖3的示意圖描繪了模糊參數(shù)σ；圖4的示意圖描繪了模糊參數(shù)σ；圖5的示意圖描繪了對(duì)焦模糊的產(chǎn)生原理；圖6的示意圖描繪了影響對(duì)焦模糊的像素值的范圍；圖7的示意圖描繪了一個(gè)二維像素陣列；圖8的示意圖描繪了影響二維模糊的像素；圖9A和9B的示意圖描繪了影響對(duì)焦模糊的邊緣；圖10的框解了圖1的圖像校正處理設(shè)備的一個(gè)配置實(shí)例；圖11的示意解了圖10中的用戶接口單元的一個(gè)配置實(shí)例；圖12的流程圖描繪了圖10的圖像校正處理設(shè)備的圖像校正處理；
圖13的框圖描繪了圖10的參數(shù)校正單元的一個(gè)功能配置實(shí)例；圖14的流程圖描繪了圖12中的步驟S31中的參數(shù)校正處理；圖15的示意示了觀測(cè)區(qū)域；圖16的示意示了查詢表的一個(gè)例子；圖17的曲線圖描繪了特征量、頻率和參數(shù)σ之間的關(guān)系；圖18的流程圖描繪了估計(jì)參數(shù)的估計(jì)處理；圖19的曲線圖描繪了特征量、頻率和參數(shù)σ之間的關(guān)系；圖20的曲線圖描繪了特征量、頻率和參數(shù)σ之間的關(guān)系；圖21的曲線圖描繪了特征量、頻率和參數(shù)σ之間的關(guān)系；圖22的框圖描繪了圖10的模糊校正單元的一個(gè)功能型配置實(shí)例；圖23的流程圖描繪了圖22的模糊校正單元的模糊校正處理；圖24的流程圖描繪了圖22的模糊校正單元的模糊校正處理；圖25是一幅照片，用以圖示在模糊校正之前的一個(gè)圖像實(shí)例；圖26是一幅照片，用以圖示在進(jìn)行了模糊校正后的一個(gè)圖像實(shí)例；圖27是一幅照片，用以圖示在進(jìn)行了模糊校正后的一個(gè)圖像實(shí)例；圖28的框解了查詢表建立設(shè)備的一個(gè)功能配置實(shí)例；圖29的流程圖描繪了圖28的查詢表建立設(shè)備的查詢表建立處理；圖30的曲線圖描繪了特征量、頻率和參數(shù)σ之間的關(guān)系；圖31的流程圖描繪了圖29中步驟S157中的表建立處理的細(xì)節(jié)；圖32的流程圖描繪了在運(yùn)動(dòng)模糊校正的情況下，圖12的步驟S31的參數(shù)校正處理；圖33的示意圖描繪了運(yùn)動(dòng)模糊校正的方向；圖34的示意解了在校正運(yùn)動(dòng)模糊的情況下查詢表的一個(gè)例子；圖35的框解了個(gè)人計(jì)算機(jī)的一個(gè)配置實(shí)例。
具體實(shí)施例方式
下面描述本發(fā)明的優(yōu)選實(shí)施例，所公開的發(fā)明及其實(shí)施例之間的對(duì)應(yīng)關(guān)系如下所述。即使在說明書中描述了一個(gè)實(shí)施例但是沒有將其描述為可適用于本發(fā)明的實(shí)施例的情況下，這并不一定意味著該實(shí)施例不適用于本發(fā)明。相反地，即使一個(gè)實(shí)施例被描述為適用于本發(fā)明的情況下，這也不意味著本實(shí)施例不適用于本發(fā)明之外的發(fā)明。
另外，本說明書不意味著本發(fā)明的整體都在說明書中得到描述。換句話說，本說明書是在說明書中描述的發(fā)明，不是要否認(rèn)在本申請(qǐng)中沒有要求權(quán)利的任何發(fā)明，也就是，將來提交的分案申請(qǐng)中的另外的發(fā)明，或者提交的修改中的發(fā)明。
根據(jù)本發(fā)明第一方面的圖像處理設(shè)備包括用于獲取用于校正要被校正的圖像的模糊的參數(shù)(例如參數(shù)σ)的參數(shù)獲取裝置(例如圖10中的用戶接口單元31，執(zhí)行圖14中步驟S51的處理)，用于檢測(cè)要被校正的圖像的特征量(例如一次微分值，二次微分值，動(dòng)態(tài)范圍或者離差)的特征量檢測(cè)裝置(例如圖13中的特征量檢測(cè)單元61-1到61-4，執(zhí)行圖14中的步驟S52和S53的處理)，通過根據(jù)所述特征量校正所述參數(shù)而生成校正參數(shù)的參數(shù)生成裝置(例如圖13中的查詢表62-1到62-4，執(zhí)行圖14中的步驟S55的處理)，以及根據(jù)所述校正參數(shù)校正要被校正的圖像的模糊的校正裝置(例如圖10中的模糊校正單元33，執(zhí)行圖12中的步驟S32的處理)。
在作為要被校正的圖像的特征量的最大值的第一特征量(例如圖19中的特征量V80)小于作為對(duì)應(yīng)于所獲取的參數(shù)(例如圖20中的參數(shù)σ70)的最大特征量的第二特征量(例如圖20中的特征量V70)的情況下(例如，在第一特征量是圖16中的特征量V80的情況下)，所述參數(shù)生成裝置將所獲取的參數(shù)(例如圖16中的參數(shù)σ70)不加變化地作為校正參數(shù)(例如，作為在對(duì)應(yīng)于圖16中垂直坐標(biāo)軸上的參數(shù)σ70的空間中，列為校正參數(shù)的參數(shù)σ70)。在其較大的情況下(例如，在第一特征量為圖20中的特征量V60的情況下)，對(duì)應(yīng)于作為大于第一特征量(例如圖20中的參數(shù)σ50)的特征量的第三特征量(例如圖20中的特征量V50)的最大特征量的參數(shù)，被作為校正參數(shù)(例如，對(duì)應(yīng)于圖16中垂直坐標(biāo)軸上的參數(shù)σ70的空間中的校正參數(shù)被作為參數(shù)σ50)。
特征量檢測(cè)裝置檢測(cè)多個(gè)特征量，參數(shù)生成裝置生成多個(gè)對(duì)應(yīng)于所述多個(gè)特征量的校正參數(shù)。所述圖像處理設(shè)備還包括校正參數(shù)選擇裝置(例如，圖13中的選擇單元63，執(zhí)行圖14中的步驟S56的處理)，選擇所述多個(gè)校正參數(shù)中的最小校正參數(shù)，以及校正裝置，根據(jù)所選擇的校正參數(shù)校正要被校正的圖像的模糊。
所述特征量檢測(cè)裝置(例如配置圖13中的特征量檢測(cè)單元61-1到61-4的特征量提取單元71-1到71-4)檢測(cè)要被校正的圖像的區(qū)域的一部分中的多個(gè)像素的特征量的最大值，作為所述特征量(例如，圖14中的步驟S54的處理)。
所述校正裝置將要被校正的圖像的區(qū)域的一部分(例如圖15中的觀測(cè)區(qū)域)設(shè)定為基于所述參數(shù)的獲取值的大小(例如，圖14中的步驟S52的處理)。
所述校正裝置使用相鄰像素的像素值之間的差(例如差的絕對(duì)值)來執(zhí)行計(jì)算，校正要被校正的圖像的模糊(例如圖23中的步驟S104的處理)。
所述校正裝置將所述差與參考值進(jìn)行比較，確定邊緣方向(例如，圖23和圖24中的步驟S105、S108、S111和S114的處理)，與沒有邊緣的方向的差相比，具有邊緣的方向的差被使用的比例較小(例如，圖23和24中的步驟S106、S107、S109、S110、S112、S113、S115和S116的處理)。
根據(jù)本發(fā)明第二方面的圖像處理方法、根據(jù)本發(fā)明第三方面的用于記錄介質(zhì)的程序，以及根據(jù)本發(fā)明第四方面的程序包括用于獲取與要校正的圖像的模糊的校正相關(guān)的參數(shù)(例如參數(shù)σ)的參數(shù)獲取步驟(例如圖14中的步驟S51)；用于檢測(cè)特征量的圖像的特征量(例如圖像數(shù)據(jù)的一次微分值、二次微分值、動(dòng)態(tài)范圍以及離差)的特征量檢測(cè)步驟(圖14中的步驟S52和S53)；根據(jù)所述特征量校正參數(shù)，從而生成校正參數(shù)的參數(shù)生成步驟(例如圖14中的步驟S55)；以及根據(jù)所述校正參數(shù)校正要被校正的圖像的模糊的模糊校正步驟(例如圖12中的步驟S32)。
根據(jù)本發(fā)明第五方面的圖像處理設(shè)備包括用于獲取圖像數(shù)據(jù)以用于學(xué)習(xí)的獲取裝置(例如圖28中的獲取單元211，執(zhí)行圖29中的步驟S151的處理)；用于設(shè)置用于生成圖像中的模糊的參數(shù)的設(shè)置裝置(例如圖29中的設(shè)置單元213，執(zhí)行圖29中的步驟S152的處理)；使用包括所獲取的圖像數(shù)據(jù)的參數(shù)的函數(shù)(例如等式(2)中的高斯函數(shù))產(chǎn)生模糊，從而生成圖像的圖像數(shù)據(jù)的生成裝置(例如圖28中的計(jì)算單元212，執(zhí)行圖29中的步驟S153的處理)；用于檢測(cè)所生成的圖像數(shù)據(jù)的圖像的特征量(例如一次微分值、二次微分值、動(dòng)態(tài)范圍或者離差)的特征量檢測(cè)裝置(例如圖28中的特征量提取單元214，執(zhí)行圖29中的步驟S154的處理)；檢測(cè)其中對(duì)應(yīng)于所設(shè)置的參數(shù)生成了模糊的圖像的特征量的最大值的最大值檢測(cè)裝置(例如圖28中的最大值檢測(cè)單元216，執(zhí)行圖29中的步驟S156的處理)；以及建表的建立裝置(例如圖28中的建表單元217，執(zhí)行圖29中的步驟S157的處理)，其中，在指定參數(shù)和指定特征量(例如用作圖16中的查詢表的地址的垂直軸參數(shù)σ和水平軸特征量V被指定時(shí)，從該表(例如圖16中的查詢表)讀出對(duì)應(yīng)于指定參數(shù)和指定特征量的校正參數(shù)，在所述指定特征量小于對(duì)應(yīng)于指定參數(shù)(例如圖16中作為指定值的參數(shù)σ80)的特征量(例如圖19中的特征量V80)的最大值的情況下(例如在指定特征量是圖16中的特征量V90)的情況下)，采用所述指定參數(shù)作為校正參數(shù)(例如，作為在圖16中的查詢表的垂直坐標(biāo)軸上的參數(shù)σ80所對(duì)應(yīng)的空間中被列為校正參數(shù)的參數(shù)σ80)，在所述指定特征量較大的情況下(例如，在指定特征量為圖16中的特征量V60的情況下)，值大于作為特征量的最大值的指定特征量的特征量(例如圖16中的特征量V50)所對(duì)應(yīng)的參數(shù)(例如圖17中的參數(shù)σ50)被作為校正參數(shù)(例如，在圖16中的查詢表的垂直坐標(biāo)軸上的參數(shù)σ70所對(duì)應(yīng)的空間中作為校正參數(shù)的參數(shù)σ50)。
還包括用于檢測(cè)特征量的頻率的頻率檢測(cè)裝置(例如圖28中的頻率檢測(cè)單元215，執(zhí)行圖29中的步驟S155的處理)，其中，所述最大值檢測(cè)裝置從大于監(jiān)測(cè)到的頻率的預(yù)定閾值的特征量中檢測(cè)特征量的最大值。
根據(jù)本發(fā)明第六方面的圖像處理方法、根據(jù)本發(fā)明第七方面的記錄介質(zhì)的程序以及根據(jù)本發(fā)明第八方面的程序包括獲取圖像數(shù)據(jù)以用于學(xué)習(xí)的獲取步驟(例如圖29中的步驟S151)；設(shè)置用于生成圖像中的模糊的參數(shù)的設(shè)置步驟(例如圖29中的步驟S152)；使用包括所獲取的圖像數(shù)據(jù)的參數(shù)的函數(shù)(例如等式(2)中的高斯函數(shù))產(chǎn)生模糊，從而生成圖像的圖像數(shù)據(jù)的生成步驟(例如圖29中的步驟S153)；檢測(cè)所生成的圖像數(shù)據(jù)的圖像的特征量(例如一次微分值、二次微分值、動(dòng)態(tài)范圍或者圖像數(shù)據(jù)的離差)的特征量檢測(cè)步驟(例如圖29中的步驟S154)；檢測(cè)其中對(duì)應(yīng)于所設(shè)置的參數(shù)生成了模糊的圖像的特征量的最大值的最大值檢測(cè)步驟(例如圖29中的步驟S156)；以及建表的建立步驟(例如圖29中的步驟S157)，其中，在指定參數(shù)和指定特征量(例如用作圖16中的查詢表的地址的垂直軸參數(shù)σ和水平軸特征量V被指定時(shí)，從該表(例如圖16中的查詢表)讀出對(duì)應(yīng)于指定參數(shù)和指定特征量的校正參數(shù)，在所述指定特征量小于對(duì)應(yīng)于指定參數(shù)(例如圖16中作為指定值的參數(shù)σ80)的特征量(例如圖19中的特征量V80)的最大值的情況下(例如在指定特征量是圖16中的特征量V90)的情況下)，采用所述指定參數(shù)作為校正參數(shù)(例如，作為在圖16中的查詢表的垂直坐標(biāo)軸上的參數(shù)σ80所對(duì)應(yīng)的空間中被列為校正參數(shù)的參數(shù)σ80)，在所述指定特征量較大的情況下(例如，在指定特征量為圖16中的特征量V60的情況下)，值大于作為特征量的最大值的指定特征量的特征量(例如圖16中的特征量V60)所對(duì)應(yīng)的參數(shù)(例如圖17中的參數(shù)σ50)被作為校正參數(shù)(例如，在圖16中的查詢表的垂直坐標(biāo)軸上的參數(shù)σ70所對(duì)應(yīng)的空間中作為校正參數(shù)的參數(shù)σ50)。
下面參照附圖描述適用于本發(fā)明的實(shí)施例。圖1描繪了應(yīng)用本發(fā)明的圖像處理設(shè)備的一個(gè)配置實(shí)例。該圖像處理設(shè)備1包括圖像校正處理設(shè)備11和顯示設(shè)備12。圖像校正處理設(shè)備11校正圖像數(shù)據(jù)的圖像的輸入模糊，并將其輸出。顯示設(shè)備12基于圖像校正處理設(shè)備11輸出的圖像數(shù)據(jù)顯示圖像，并將其展示給用戶13。
下面結(jié)合圖2的流程圖描述該圖像處理設(shè)備1的圖像處理。下面的實(shí)施例是針對(duì)用于校正因?yàn)閷?duì)焦不準(zhǔn)而產(chǎn)生的模糊的圖像處理的。
在步驟S1，圖像校正處理設(shè)備11執(zhí)行圖像校正處理。下面結(jié)合圖12描述該處理的細(xì)節(jié)。圖像校正處理設(shè)備11對(duì)輸入的圖像數(shù)據(jù)執(zhí)行對(duì)應(yīng)于參數(shù)σ的校正處理(該參數(shù)是用戶13指定的)，并將經(jīng)過校正處理的圖像數(shù)據(jù)輸出。該圖像數(shù)據(jù)在后面的步驟中被輸出到未圖示的設(shè)備，并且被提供給顯示設(shè)備12，被顯示為圖像。
用戶13觀看顯示在顯示設(shè)備12上的圖像，判斷是否已充分校正了模糊，在模糊還未被充分校正的情況下，調(diào)節(jié)調(diào)節(jié)器，將參數(shù)σ的值改變到不同的值。
然后，在步驟S2，圖像校正處理設(shè)備11判斷用戶是否執(zhí)行了新的操作。在執(zhí)行了新的操作的情況下，過程返回步驟S1，基于再次設(shè)定的新的參數(shù)信號(hào)執(zhí)行圖像校正處理。
由顯示設(shè)備12顯示基于所校正的圖像數(shù)據(jù)的圖像，因此用戶13再次觀看該圖像，判斷是否要進(jìn)一步調(diào)整圖像的移動(dòng)。然后，進(jìn)一步，在用戶判斷需要校正模糊的情況下，可以通過調(diào)節(jié)調(diào)節(jié)器來設(shè)置新的參數(shù)σ值。
重復(fù)執(zhí)行如上所述的處理。然后，在步驟S2，在判斷出沒有執(zhí)行新的操作的情況下，處理結(jié)束。
下面描述圖像校正處理設(shè)備11中的圖像校正的原理。在本發(fā)明中，對(duì)于模糊的產(chǎn)生，假定一個(gè)基于下述等式的模型Y(x,y)=Σ-r<i<r-r<j<r[W(i,j)×X(x+i,y+j)]···(1)]]>上述等式中的X(x+i，y+j)代表坐標(biāo)X(x+i，y+j)沒有產(chǎn)生模糊的圖像數(shù)據(jù)，通過對(duì)該值作卷積(將該值乘以加權(quán)系數(shù)W(i，j))，生成產(chǎn)生了模糊的圖像數(shù)據(jù)Y(x，y)。這樣，加權(quán)系數(shù)W(i，j)是如下式所示的高斯函數(shù)W(j,i)=12πσ2ej2+i2-2σ---(2)]]>參數(shù)σ是對(duì)應(yīng)于模糊的參數(shù)，該參數(shù)σ的值越大，模糊就越厲害。
當(dāng)參數(shù)σ的值小時(shí)，如圖3所示，加權(quán)系數(shù)W(i，j)的值相對(duì)來說具有徑向特性，而當(dāng)參數(shù)σ的值較大時(shí)，如圖4所示，加權(quán)系數(shù)的值的分布平滑地?cái)U(kuò)展在較寬廣的范圍上。
現(xiàn)在假設(shè)圖3和圖4的水平平面中的正向分別表示水平方向(i)和垂直方向(j)的像素位置，垂直軸表示加權(quán)系數(shù)W(i，j)的值。
對(duì)于位于水平方向的一個(gè)軸上的CCD成像器件的每一個(gè)像素的輸出，在圖5中圖示了對(duì)上述關(guān)系的描述。這里，圖5中最下面一列上的P0到P8表示由CCD捕捉的模糊圖像的電勢(shì)累積，各自在水平方向上排列。對(duì)于這里最上面的列X0到X8，在拍攝了無模糊的圖像的情況下，像素P0到P8分別表示電勢(shì)累積。圖5中的曲線表示加權(quán)系數(shù)W(i)的特性。在此例子中，變量i是-2＞i＞2，中心的系數(shù)為W(0)，其左邊的系數(shù)是W(-1)，再左邊的系數(shù)是W(-2)。類似地，中心系數(shù)W(0)右邊的系數(shù)的W(1)，再右邊的系數(shù)是W(2)。每一個(gè)系數(shù)W(i)的值使得W(0)最大，系數(shù)W(-1)和W(1)小于它，系數(shù)W(-2)和W(2)的值更小。
基于上述等式(1)表示像素P4的觀測(cè)值Y2得到下式Y(jié)2＝W(-2)X2+W(-1)X3+W(0)X4+W(1)X5+W(2)X6…(3)類似地，在獲取圖5中像素P2的觀測(cè)值Y0的情況下，通過用圖6中的幀90-1中所示的真實(shí)值進(jìn)行計(jì)算，獲得如下的觀測(cè)值Y0，其中像素P2在中央Y0＝W(-2)X0+W(-1)X1+W(0)X2+W(1)X3+W(2)X4…(4)類似地，在獲取像素P3的觀測(cè)值Y1的情況下，通過用圖6中的幀90-2中所示的真實(shí)值進(jìn)行計(jì)算，獲得如下的觀測(cè)值Y1，其中像素P3在中央Y1＝W(-2)X1+W(-1)X2+W(0)X3+W(1)X4+W(2)X5…(5)
對(duì)于觀測(cè)值Y3和Y4也可以執(zhí)行類似的計(jì)算。
擴(kuò)展圖5所示的一維關(guān)系，使之成為二維的，這可以圖示為圖7和圖8所示。
換句話說，圖7表示7×7像素的觀測(cè)區(qū)域的觀測(cè)值Y(x，y)，其中，觀測(cè)值Yt在中央。該觀測(cè)值Y(x，y)是從圖8所示的真實(shí)值X(x，y)的值與加權(quán)系數(shù)的乘積和得到的值。
具體地，基于對(duì)應(yīng)于5×5像素的幀(a)中所示的二十五個(gè)像素的真實(shí)值，圖7中左上角的像素A的值被表示為下式，其中對(duì)應(yīng)于圖8中的像素A的像素A’在中央Y(x，y)＝W(-2，-2)X(x-2，y-2)+W(-1，-2)X(x-1，y-2)+W(0，-2)X(x，y-2)…+W(2，2)X(x+2，y+2)…(6)W(j,i)=12πσ2ej2+i2-2σ---(7)]]>類似地，基于對(duì)應(yīng)于幀(b)中所示的二十五個(gè)像素的真實(shí)值，在下式中計(jì)算圖7中緊鄰像素A在像素A右側(cè)的像素B的觀測(cè)值，其中對(duì)應(yīng)于圖8中的像素B的像素B’在中央Y(x+1，y)＝W(-2，-2)X(x-1，y-2)+W(-1，-2)X(x，y-2)+W(0，-2)X(x+1，y-2)…+W(2，2)X(x+3，y+2)…(8)類似地，基于對(duì)應(yīng)于幀(c)中的二十五個(gè)像素的真實(shí)值，如下式所示計(jì)算在像素B右側(cè)的像素C，其中對(duì)應(yīng)于圖8中的像素C的像素C’在中央現(xiàn)在，圖8中的Xt是對(duì)應(yīng)于圖7中的觀測(cè)值Yt的真實(shí)值，幀(t)是真實(shí)值Xt在中央的5×5像素的幀。
Y(x+2，y)＝W(-2，-2)X(x，y-2)+W(-1，-2)X(x+1，y-2)+W(0，-2)X(x+2，y-2)…+W(2，2)X(x+4，y+2)…(9)等式(8)和(9)中的加權(quán)系數(shù)W(i，j)用等式(7)表示，類似于等式(6)的情況。
當(dāng)如上所述計(jì)算圖7所示的每一個(gè)像素對(duì)應(yīng)的觀測(cè)值時(shí)，可以獲得比如下式所示的行列式
Yf=Y(x,y)Y(x+1,y)Y(x+2,y)Y(x+3,y)···Y(x,y+1)Y(x+1,y+1)···Y(x+6,y+6)---(10)]]>Wf=W(-2,-2)W(-1,-2)···W(2,2)W(-2,.-2)W(-1,-2)···W(2,2)·········W(-2,-2)W(-1,-2)···W(2,2)---(11)]]>Xf=X(x-2,y-2)X(x-1,y-2)···X(x+4,y+4)X(x-1,y-2)X(x,y-2)···X(x+5,y+4)·········X(x+2,y+2)X(x+3,y+2)···X(x+8,y+8)---(12)]]>Yf=WfXf… (13)從等式(10)到等式(13)所表示的行列式，如果能夠計(jì)算Wf的逆矩陣，則能估計(jì)真實(shí)值x(x,y)。
但是，通過觀察圖7中觀測(cè)區(qū)域21和圖8中混合區(qū)域22的相應(yīng)面積(像素計(jì)數(shù))之間的差可以理解，僅僅使用上述等式(10)到等式(13)不能解出真實(shí)值x(x,y)，因?yàn)橐烙?jì)的真實(shí)值x(x,y)的數(shù)量大于觀測(cè)值Y(x,y)。
因此，使用本發(fā)明，除了等式(10)到(13)之外，引入下面的等式(14)到(17)作為關(guān)系式。這些等式中的每一個(gè)是有條件的，因?yàn)樵谏?、右、下和左?cè)相鄰的像素的差的值乘以系數(shù)Wa變?yōu)镺。
Wa(X(x，y)-X(x，y-1))＝0…(14)Wa(X(x，y)-X(x+1，y))＝0…(15)Wa(X(x，y)-X(x，y+1))＝0…(16)Wa(X(x，y)-X(x-1，y))＝0…(17)因此，作為圖像的一般特性，相鄰像素之間是高度相關(guān)的，因此，如果將上述等式(14)到(17)中的系數(shù)Wa設(shè)置為極小的值，則矛盾不會(huì)很大。另外，基于從輸入圖像估計(jì)的活動(dòng)(動(dòng)作)，上述等式(14)到(17)中的系數(shù)Wa也可以對(duì)每一個(gè)像素切換。這樣，除了等式(10)到等式(13)之外，通過將等式(14)到等式(17)的輔助關(guān)系式添加到圖8所示的11×11真實(shí)值X(x，y)的整個(gè)區(qū)域，或者添加到該區(qū)域內(nèi)的一部分，真實(shí)值X(x，y)的序數(shù)等于等式的序數(shù)，則可以基于下式計(jì)算真實(shí)值X(x，y)Ys＝WsXs…(18)Xs＝Ws-1Ys…(19)另外，如圖9所示，基于邊緣存在的方向，可以選擇應(yīng)用等式(14)到等式(17)之一。
因此，像素P0a不用穿過邊緣25A就到達(dá)上、下、左或右任何相鄰的像素。這樣，在這種情況下，可以適用等式(14)到等式(17)的所有條件。相反，像素P0b在與上、下或者右邊相鄰的像素之間沒有邊緣25A，但是在與左邊相鄰的像素之間存在一個(gè)邊緣25A。這樣，在這種情況下，只有等式(14)到等式(16)的條件適用，只有對(duì)應(yīng)于與左邊相鄰的像素之間的差的等式(17)的條件不適用。這樣，就可以有更大精度的校正。
類似地，像素P0c在與下邊或者右邊相鄰的像素之間沒有邊緣，但是在與上邊和左邊相鄰的像素之間存在一個(gè)邊緣25A。這樣，在這種情況下，對(duì)應(yīng)于與右邊或者下邊相鄰的像素之間的差的等式(15)和等式(16)的條件適用，但是對(duì)應(yīng)于與上邊和左邊相鄰的像素之間的差的等式(14)和(17)的條件不適用。
這里，不用作條件(不作為條件適用)的意思是等式(14)到等式(17)中的系數(shù)Wa的值被設(shè)為0。在存在邊緣的方向，系數(shù)Wa的值不是設(shè)置為0而是被設(shè)置為某一個(gè)值，該值小于在不存在邊緣的方向的系數(shù)Wa的值。
現(xiàn)在，還是在這種情況下，前提是，對(duì)于圖9A所示的觀測(cè)值的像素P0a、P0b和P0c的上、下、左和右側(cè)相鄰的像素的差值，近似等于對(duì)于圖9B所示的對(duì)應(yīng)真實(shí)值的像素P1a、P1b和P1c的上、下、左和右側(cè)相鄰的像素的差。
圖10圖示了圖像校正處理設(shè)備11的更為詳細(xì)的配置實(shí)例。該圖像校正處理設(shè)備11包括用戶接口單元31、參數(shù)校正單元32和模糊校正單元33。
如圖11所示，用戶接口單元31具有調(diào)節(jié)器51，通過在逆時(shí)針方向旋轉(zhuǎn)它，可以增大參數(shù)σ的值，通過在順時(shí)針方向旋轉(zhuǎn)它，可以減小參數(shù)σ的值。通過用戶接口單元31指定的參數(shù)σ被提供給參數(shù)校正單元32。參數(shù)校正單元32基于輸入圖像數(shù)據(jù)的特征量對(duì)用戶接口單元31提供的參數(shù)σ的值進(jìn)行校正，并將校正后的參數(shù)σ提供給模糊校正單元33。模糊校正單元33基于校正后的參數(shù)σ進(jìn)行處理以校正輸入圖像數(shù)據(jù)的圖像的模糊，并輸出該圖像數(shù)據(jù)。
圖10中的圖像校正處理設(shè)備11的處理(對(duì)應(yīng)于圖2中步驟S1的圖像校正處理)比如如圖12中的流程圖所示。
因此，在用戶操作用戶接口單元31、指定預(yù)定參數(shù)σ時(shí)，參數(shù)校正單元32執(zhí)行步驟S31的參數(shù)校正處理。下面描述其細(xì)節(jié)。但是由于該處理，參數(shù)σ基于圖像數(shù)據(jù)的特征量被校正，生成校正后的參數(shù)σ。
在步驟S32，模糊校正單元33執(zhí)行模糊校正處理。下面結(jié)合圖23和24的流程圖描述該處理的細(xì)節(jié)。由于該處理，輸入圖像數(shù)據(jù)的圖像的模糊被校正，已經(jīng)校正了模糊的圖像的圖像數(shù)據(jù)被輸出，并被提供給顯示設(shè)備12，作為圖像被顯示。
然后，在用戶觀看圖像后判斷需要進(jìn)一步校正的情況下，用戶再次操作用戶接口單元31來指定新的參數(shù)σ。通過重復(fù)這樣的處理，可以獲得模糊得到校正的圖像的圖像數(shù)據(jù)。
圖13圖示了參數(shù)校正單元32的一個(gè)詳細(xì)的配置實(shí)例。該參數(shù)校正單元32包括選擇單元63，該選擇單元63從四個(gè)估計(jì)參數(shù)中選擇一個(gè)最小的估計(jì)參數(shù)作為校正參數(shù)，所述四個(gè)估計(jì)參數(shù)是從查詢表62-1到62-4輸出的；基于從用戶接口單元31提供的參數(shù)σ的值估計(jì)參數(shù)估計(jì)值的查詢表(LUT)62-1到62-4；從輸入圖像數(shù)據(jù)檢測(cè)區(qū)別特征量的特征量檢測(cè)單元61-1到61-4，特征量檢測(cè)單元61-1到61-4輸出特征量。
特征量檢測(cè)單元61-1包括特征量提取單元71-1和最大值搜索單元72-1。特征量提取單元71-1提取觀測(cè)區(qū)域中的像素的特征量，在所述觀測(cè)區(qū)域中，基于用戶接口單元31提供的參數(shù)σ的值設(shè)置輸入圖像數(shù)據(jù)。在觀測(cè)區(qū)域的范圍中的像素?cái)?shù)為N的情況下，則提取N個(gè)特征量。最大值搜索單元72-1從特征量提取單元71-1提供的N個(gè)特征量中搜索最大值，并輸出到查詢表62-1。
類似于特征量檢測(cè)單元61-1，特征量檢測(cè)單元61-2到61-4也具有特征量提取單元71-2到71-4和最大值搜索單元72-2到72-4。它們的基本操作類似于特征量檢測(cè)單元61-1的情況。
特征量提取單元71-1到71-4分別提取的特征量分別是一個(gè)活動(dòng)系統(tǒng)(activity system)的特征量，是與模糊量所對(duì)應(yīng)的參數(shù)σ具有特定關(guān)聯(lián)性的特征量。換句話說，如果參數(shù)σ較大，則特征量會(huì)較小或者較大。具體地，提取一階微分值、二階微分值、N像素的動(dòng)態(tài)范圍以及N像素的離差等。
設(shè)所考慮的某個(gè)像素為B，在左邊與之相鄰的像素為A，在右邊與之相鄰的像素為C，所考慮的像素B和在左邊與之相鄰的像素A之間的差的絕對(duì)值|B-A|越大，所考慮的像素B和在右邊與之相鄰的像素C之間的差的絕對(duì)值|B-C|可以作為一次積分值。另外，所考慮像素B的值的二倍(2B)和左右像素的和(A+C)之間的差的絕對(duì)值，也就是|2B-(A+C)|可以作為二次積分值。另外，N個(gè)像素的動(dòng)態(tài)范圍是N個(gè)像素的最大值MAX和最小值MIN之間的差，表示為DR＝MAX-MIN。另外，可以不使用N個(gè)像素的離差(將N個(gè)像素的平均值和N個(gè)像素中的每一個(gè)之間的差的平方和除以N所獲得的值)，而適用其他的值，比如N個(gè)像素的平均值和N個(gè)像素中的每一個(gè)之間的差額平方和、N個(gè)像素的平均值和N個(gè)像素中的每一個(gè)之間的差的絕對(duì)值的和，以及將所述絕對(duì)值的合除以N所得到的值，等等。
下面結(jié)合圖14的流程圖描述參數(shù)校正處理。該處理是圖12中步驟S31的處理。
在步驟S51中，用戶接口單元31獲取一個(gè)參數(shù)。換句話說，獲取用戶操作調(diào)節(jié)器51輸入的參數(shù)σ的值。所獲取的參數(shù)σ被提供給特征量提取單元71-1到71-4以及查詢表62-1到62-4。
在步驟S52，特征量提取單元71-1到71-4設(shè)置觀測(cè)區(qū)域。換句話說，特征量提取單元71-1到71-4首先設(shè)置對(duì)應(yīng)于在步驟S51的處理中獲取的參數(shù)σ的區(qū)域作為觀測(cè)區(qū)域。具體地，如圖15所示，在所考慮的像素中，包括數(shù)量三倍于參數(shù)σ的值的像素的一個(gè)區(qū)域被設(shè)置為觀測(cè)區(qū)域。圖15A表示在3σ的值為1的情況下的觀測(cè)區(qū)域。但是，3σ的值是經(jīng)過舍入(湊整)的值。因此，在σ的值為0.1，0.2或者0.3的每一種情況下，3σ的值都是1。圖15B圖示了在3σ的值為2的情況下的觀測(cè)區(qū)域，在這種情況下σ的值為0.4，0.5或者0.6。
后面，類似地，圖15C到圖15I表示在3σ的值分別為3到9時(shí)的觀測(cè)區(qū)域。在圖中底部所示的σ的值表示對(duì)應(yīng)于每一個(gè)值被乘以三然后湊整的情況所對(duì)應(yīng)的觀測(cè)區(qū)域。在此例的情況下，如圖15所示，觀測(cè)區(qū)域是大致為圓形的一個(gè)區(qū)域，其中，所考慮的像素在圓形的中央。這樣，通過將觀測(cè)區(qū)域的大小設(shè)置為隨著參數(shù)σ的值的增加而增加，檢測(cè)不影響模糊的像素的特征量，可以防止錯(cuò)誤的處理。
接下來，在步驟S53，特征量提取單元71-1到71-4提取特征量。如上所述，特征量提取單元71-1到71-4分別提取一個(gè)分配給其自身并與其它特征量不同的特征量。例如，特征量提取單元71-1提取一階微分值作為特征量，特征量提取單元71-2提取二階微分值作為特征量，特征量提取單元71-3提取動(dòng)態(tài)范圍作為特征量，特征量提取單元71-4提取離差作為特征量。這樣，通過檢測(cè)多個(gè)特征量，可以避免遺漏應(yīng)當(dāng)執(zhí)行的模糊參數(shù)校正。
在步驟S54，最大值搜索單元72-1到72-4搜索最大值(模糊最小的特征量)。換句話說，最大值搜索單元72-1搜索觀測(cè)區(qū)域內(nèi)的像素的由特征量提取單元71-1提取的一階微分值的最大值。最大值搜索單元72-2搜索觀測(cè)區(qū)域內(nèi)的像素的由特征量提取單元71-2提取的二階微分值的最大值。最大值搜索單元72-3搜索觀測(cè)區(qū)域內(nèi)的像素的由特征量提取單元71-3提取的動(dòng)態(tài)范圍的最大值。最大值搜索單元72-4搜索觀測(cè)區(qū)域內(nèi)的像素的由特征量提取單元71-4提取的離差的最大值?，F(xiàn)在，在離差的情況下，只存在一個(gè)值，因此該值被搜索到，作為最大值。
在步驟S55，查詢表62-1到62-4參考統(tǒng)計(jì)數(shù)據(jù)估計(jì)參數(shù)估計(jì)值。下面結(jié)合圖16到21描述其細(xì)節(jié)。由用戶指定并由用戶接口單元31提供的參數(shù)σ的值被轉(zhuǎn)換為估計(jì)參數(shù)(參數(shù)估計(jì)值)。在對(duì)應(yīng)于用戶指定的參數(shù)σ的值的特征量的最大值小于最大值搜索單元72-1到72-4搜索到的最大值的情況下，該估計(jì)參數(shù)改變?yōu)榇笥谧畲笾邓阉鲉卧?2-1到72-4搜索到的最大值的最大值所對(duì)應(yīng)的參數(shù)值。這樣，防止了在沒有模糊的圖像的圖像中出現(xiàn)過調(diào)或者形成環(huán)形(ringing)，從而可以抑制圖像的劣化。
在步驟S56，選擇單元63執(zhí)行處理，從查詢表62-1到62-4輸出的估計(jì)參數(shù)中選擇最小估計(jì)參數(shù)。換句話說，比較查詢表62-1到62-4輸出的四個(gè)估計(jì)參數(shù)的大小，選擇最小的一個(gè)估計(jì)參數(shù)(具有最小模糊量的參數(shù))，作為校正參數(shù)輸出。這樣，用戶選擇的參數(shù)σ被轉(zhuǎn)換(校正)為校正參數(shù)。
這樣生成的校正參數(shù)被設(shè)置為能夠抑制圖像的并未離焦的部分的圖像劣化(比如由于對(duì)焦不準(zhǔn)校正處理而造成的過調(diào)或者產(chǎn)生環(huán)形)的值。
圖16圖示了查詢表62-1到62-4的一個(gè)例子。這些查詢表都具有類似的配置。例如，對(duì)于圖16，作為查詢表62-1，如圖中所示，查詢表62-1是這樣的一個(gè)表其中，用戶接口單元31指定的參數(shù)σ的值是一個(gè)軸(圖16中的垂直軸)的地址，最大值搜索單元72-1輸出的特征量的最大值是另一個(gè)軸(圖16中的水平軸)的地址，輸出由所述垂直軸和所述水平軸指定的區(qū)域中存儲(chǔ)的估計(jì)參數(shù)。在圖16中，垂直軸的參數(shù)σ按照從下到上的順序增加，水平軸上的特征量V從左到右增加。
存儲(chǔ)在圖16中的幀(代表存儲(chǔ)區(qū))中的估計(jì)參數(shù)的值基本上是用戶指定的參數(shù)σ的值，如圖16中未加陰影的區(qū)域中所示。例如，在作為垂直軸地址的參數(shù)σ的值為σ60的幀中，在未加陰影的區(qū)域(在用作地址的特征量V的值較小的情況下的區(qū)域)中，與用作地址的值σ60相同的值σ60被存儲(chǔ)為估計(jì)參數(shù)，而不管特征量V的值如何。在用作地址的參數(shù)σ的值為σ80的幀中，σ80被作為估計(jì)參數(shù)存儲(chǔ)在未加陰影的區(qū)域中，而不管特征量V的值。
但是，在圖中加陰影的區(qū)域(在用作地址的特征量V的值較大的情況下的區(qū)域)中，存儲(chǔ)了σ70、σ50、σ30中小于用戶所指定的參數(shù)σ的任何一個(gè)。換句話說，在監(jiān)測(cè)到的最大特征量小于對(duì)應(yīng)于用戶所指定的參數(shù)σ的特征量的最大值的情況下，不加變化地適用指定參數(shù)σ的值。但是在監(jiān)測(cè)到的最大特征量大于指定參數(shù)σ所對(duì)應(yīng)的特征量的最大值的情況下，值大于檢測(cè)到的特征量的特征量的最大值所對(duì)應(yīng)的參數(shù)被存儲(chǔ)為估計(jì)參數(shù)。
下面結(jié)合圖17對(duì)該原理進(jìn)一步描述。如圖17所示，通常通過試驗(yàn)來確認(rèn)參數(shù)σ和特征量V，以得到所獲取的特征量V的值隨著參數(shù)σ的值的增加而下降的關(guān)系。換句話說，在參數(shù)σ的值被設(shè)定為特定值的情況下檢測(cè)圖像中的特征量V，將該數(shù)值(頻率)繪制到曲線圖上，得到圖17所示的曲線圖，其中，具有較小的特征量V值的像素的數(shù)量較多，具有較大特征量V的像素的數(shù)量逐漸下降，特征量V大于特定值(最大值)的像素幾乎不存在。換句話說，當(dāng)確定圖像的參數(shù)σ時(shí)，確定圖像的特征量的最大值。另外，特征量V的分布范圍隨著參數(shù)σ值增大而變窄，頻率的最大值隨著參數(shù)σ值的增加而增加(特征量V和頻率具有隨著參數(shù)σ值的增加而急劇增加的特性，頻率的最大值也增加，隨著參數(shù)σ值的下降斜率變得更緩和，頻率的最大值也下降)。
例如，令在參數(shù)σ值是σ70的情況下，該圖像的可以獲取的特征量V的最大值是V70。類似地，令在參數(shù)σ值為σ30的情況下特征量的最大值為V30，在參數(shù)σ值為σ50的情況下特征量的最大值為V50。在這種情況下，如果參數(shù)σ的值σ70是最大的，σ50的值是第二大的，σ30的值是最小的，則最大值V30的值是最大的，值V50是第二大的，最大值V70是最小的。
在用戶指定的參數(shù)σ值為σ70的情況下，在要處理的圖像的特征量的最大值小于值V70(在參數(shù)σ是σ70的情況下特征量V的最大值)的情況下，一般存在這樣的特征量，因此，即使執(zhí)行模糊校正處理，也不會(huì)出現(xiàn)過調(diào)或者出現(xiàn)環(huán)形的情況。相反，如果該圖像的特征量的最大值V大于值V70，則指定參數(shù)σ70的圖像的特征量V導(dǎo)致一個(gè)通常不存在的值，因此，如果執(zhí)行對(duì)焦不準(zhǔn)校正處理，則會(huì)出現(xiàn)過調(diào)和出現(xiàn)環(huán)形。因此，為了防止這種情況，在這種情況下，將指定參數(shù)σ的值σ70強(qiáng)制改變到較小的值σ50。
另外，在要處理的圖像的特征量的最大值大于V50的情況下，即使參數(shù)σ的值被改變到σ50，由于存在大于對(duì)應(yīng)的最大值V50的特征量，會(huì)出現(xiàn)過調(diào)或者出現(xiàn)環(huán)形。因此，在這種情況下，參數(shù)σ的值被改變到較小的值σ30。因此，如圖16所示，在垂直軸參數(shù)σ的值為σ70的幀中，至于用作地址的特征量V的值的值V70所對(duì)應(yīng)的區(qū)域，估計(jì)參數(shù)的值是與用戶指定的值一樣的值σ70，但是在特征量V的值在值V70和V50之間的區(qū)域中的示意圖的右下側(cè)的陰影區(qū)域中，估計(jì)參數(shù)值變?yōu)閂50。那么，進(jìn)一步，在示意圖的垂直方向的陰影區(qū)域(其中，用作地址的特征量V的值在值V50和V30之間的區(qū)域中)中，估計(jì)參數(shù)值變?yōu)棣?0。
類似地，例如，在要獲取的特征量V的最大值的值是值V90的情況下(其中，用戶指定參數(shù)σ的值是σ90的情況)，在示意圖的未加陰影的區(qū)域(其中，用作地址的特征量V的值一直達(dá)到V90)中，估計(jì)參數(shù)值變?yōu)榕c用戶指定參數(shù)σ的值相同的值σ90。另外，在圖中左下側(cè)的陰影區(qū)(該區(qū)域是這樣的區(qū)域其中，特征量V的值是從V90到V70)中，估計(jì)參數(shù)值變?yōu)棣?0。在右下側(cè)的陰影區(qū)(其中，特征量V的值是從V70到V50)中，估計(jì)參數(shù)值變?yōu)棣?0，在垂直方向的陰影區(qū)(其中，特征量V的值是從值V50到V30)，估計(jì)參數(shù)值變?yōu)棣?0。
在圖16所示的例子中，在擔(dān)心出現(xiàn)過調(diào)或者環(huán)形的區(qū)域中，估計(jì)參數(shù)值被設(shè)置為σ70、σ50或者σ30中的任何一個(gè)，但是預(yù)先可以提供更多的估計(jì)參數(shù)。
在圖16的實(shí)施例中，σ30被設(shè)置為可由用戶指定的參數(shù)σ的最小值。因此，不需要在設(shè)置更小參數(shù)σ的情況下的估計(jì)參數(shù)，因此沒有存儲(chǔ)。
圖16中的特征量V80表示在用戶指定參數(shù)σ的值為σ80的情況下，特征量的可能存在的最大值。在用戶指定的參數(shù)σ為σ60的情況下，特征量V60表示要被獲取的圖像的特征量V的最大值，特征量V60表示在用戶指定參數(shù)σ是σ40的情況下特征量V的最大值。
現(xiàn)在，關(guān)系是V90＜V80＜V70＜V60＜V50＜V40＜V30。
換句話說，參考查詢表62-1到62-4的步驟S55中的統(tǒng)計(jì)數(shù)據(jù)，估計(jì)參數(shù)估計(jì)值的處理基本上執(zhí)行圖18中的流程圖所示的處理。
也就是說，在步驟S71中，查詢表62-1到62-4獲取由用戶接口單元31輸入的參數(shù)σ。在步驟S72，查詢表62-1到62-4判斷最大值搜索單元72-1到72-4提供的特征量最大值是否大于所獲取的參數(shù)所對(duì)應(yīng)的最大特征量，在其較大的情況下，值大于預(yù)先安排的值的特征量的最大值并且具有最小差的最大特征量的參數(shù)值在步驟S74中被設(shè)置為估計(jì)參數(shù)。
例如，如圖19所示，在指定參數(shù)σ是值σ90的情況下，在要處理的圖像的特征量的最大值V80大于預(yù)先準(zhǔn)備的值V70、V50和V30中的V90的情況下，大于最大值V80并具有作為最大特征量的最小差值V70的參數(shù)值σ70被設(shè)置為估計(jì)參數(shù)。
又例如，如圖20所示，在指定參數(shù)σ的值為σ70的情況下，在要處理的圖像的特征量的最大值V60大于預(yù)先準(zhǔn)備的值V70、V50和V30中的值V70的情況下，大于最大值V60并具有作為最大特征量的最小差值的參數(shù)值σ50被設(shè)置為估計(jì)參數(shù)。
類似地，如圖21所示，在指定參數(shù)σ為值σ50的情況下，在要處理的圖像的特征量的最大值V40大于預(yù)先準(zhǔn)備的值V70、V50和V30中的值V50的情況下，大于最大值V40并具有作為最大特征量的最小差值V30的參數(shù)值σ30被設(shè)置為估計(jì)參數(shù)。
相反，在步驟S72，在判定特征量的最大值等于或者小于所獲取的參數(shù)所對(duì)應(yīng)的最大特征量的情況下，查詢表62-1到62-4將所獲取的參數(shù)在步驟S73中改變?yōu)楣烙?jì)參數(shù)。換句話說，在這種情況下，在步驟S71所獲取的參數(shù)無變化地作為估計(jì)參數(shù)。
這樣，即使用戶指定的參數(shù)σ的值被用于模糊校正，它也被改變?yōu)椴粫?huì)發(fā)生過調(diào)或者出現(xiàn)環(huán)形的估計(jì)參數(shù)。這樣，就可以防止出現(xiàn)過調(diào)或者出現(xiàn)環(huán)形。
在圖17、19、20和21中圖示了頻率、特征量和參數(shù)σ的值，以圖示在每一個(gè)圖中它們的相關(guān)性，而忽略了各圖之間的相關(guān)性。
圖22圖示了圖10中模糊校正單元33的一個(gè)詳細(xì)的配置實(shí)例。該模糊校正單元33包括參數(shù)獲取單元101、設(shè)置單元102、圖像獲取單元103、差值絕對(duì)值計(jì)算單元104、判斷單元105、讀取單元106、存儲(chǔ)單元107以及乘積和計(jì)算單元108。
參數(shù)獲取單元101獲取從參數(shù)校正單元32的選擇單元63輸出的校正參數(shù)，并將其提供給設(shè)置單元102和讀取單元106。設(shè)置單元102根據(jù)參數(shù)獲取單元101提供的校正參數(shù)將觀測(cè)區(qū)域設(shè)定到圖像數(shù)據(jù)的特定區(qū)域。像素獲取單元103從輸入圖像數(shù)據(jù)獲取由設(shè)置單元102設(shè)置的觀測(cè)區(qū)域內(nèi)的圖像數(shù)據(jù)，并將其提供給差值絕對(duì)值計(jì)算單元104和乘積和計(jì)算單元108。
差值絕對(duì)值計(jì)算單元104計(jì)算由像素獲取單元103提供的像素的差值絕對(duì)值。判斷單元105比較在差值絕對(duì)值計(jì)算單元104中計(jì)算的值，并將其與預(yù)先設(shè)置的參考值比較。存儲(chǔ)單元107預(yù)先存儲(chǔ)在通過解上述等式(10)到(17)而獲得的等式(19)中給出的系數(shù)Ws-1。讀取單元基于判斷單元105的判斷結(jié)果從存儲(chǔ)單元107存儲(chǔ)的系數(shù)中讀出固定的系數(shù)。乘積和計(jì)算單元108使用像素獲取單元103提供的像素?cái)?shù)據(jù)Ys和讀取單元106提供的系數(shù)Ws-1基于等式(19)執(zhí)行乘積和計(jì)算，從而生成圖像的模糊得到校正的圖像的圖像數(shù)據(jù)。
下面結(jié)合圖23和24的流程圖描述模糊校正處理。該處理對(duì)應(yīng)于圖12中的步驟S32的處理。
在步驟S101，參數(shù)獲取單元101獲取從圖13中的選擇單元63輸出的校正參數(shù)，并將其輸出給設(shè)置單元102和讀取單元106。在步驟S102，設(shè)置單元102執(zhí)行處理以設(shè)置觀測(cè)區(qū)域。具體地，設(shè)置這樣一個(gè)觀測(cè)區(qū)域其半徑三倍于參數(shù)獲取單元101所獲取的校正參數(shù)σ的值(3σ)。在步驟S103，像素獲取單元103獲取觀測(cè)區(qū)域的像素?cái)?shù)據(jù)。換句話說，從設(shè)置單元102設(shè)置的觀測(cè)區(qū)域內(nèi)，從輸入的圖像數(shù)據(jù)獲取像素?cái)?shù)據(jù)，并將其輸出給差值絕對(duì)值計(jì)算單元104和乘積和計(jì)算單元108。
在步驟S104，差值絕對(duì)值計(jì)算單元104計(jì)算所考慮的像素和與所考慮的像素垂直和水平相鄰的像素之間的差的絕對(duì)值。具體地，計(jì)算上述等式(14)到等式(17)的左邊。在步驟S105，判斷單元105判斷所考慮的像素和其上方相鄰像素之間的差的絕對(duì)值是否大于參考值。換句話說，判斷等式(14)左邊的計(jì)算結(jié)果是否大于預(yù)先設(shè)置的特定參考值。在上述差值絕對(duì)值大于參考值的情況下，判斷單元105在步驟S106將4位標(biāo)記的LSB(最低有效位)設(shè)置為1。如果上述差值絕對(duì)值被判斷為等于或者小于參考值，則判斷單元105在步驟S107將LSB標(biāo)記設(shè)置為0。
換句話說，等式(14)左邊的值大于參考值意味著在所考慮的像素的上面的方向上存在邊緣。因此，在這種情況下，將等式(14)中的加權(quán)系數(shù)Ws的值設(shè)置為0或者充分小的值來計(jì)算預(yù)測(cè)系數(shù)。然后，將4位標(biāo)記的LSB的值設(shè)置為1，以選擇這樣生成的預(yù)測(cè)系數(shù)。
相反，在所述差值絕對(duì)值等于或者小于參考值的情況下，因?yàn)樵谒紤]的像素和緊鄰所考慮的像素在其上方的像素之間不存在邊緣，將等式(14)中的加權(quán)系數(shù)Wa設(shè)置為較高的值來計(jì)算預(yù)測(cè)系數(shù)，然后計(jì)算其預(yù)測(cè)系數(shù)。然后，在這種情況下，通過將4位標(biāo)記的LSB的值設(shè)置為0，將標(biāo)記的LSB設(shè)置為0，以便在所考慮像素及其上方緊鄰像素之間不存在的情況下選擇所述預(yù)測(cè)系數(shù)。
在步驟S108，所述判斷單元105判斷所考慮的像素和其下方緊鄰像素之間的差的絕對(duì)值是否大于參考值。具體地，判斷等式(16)左邊的值是否大于參考值。在該值較大的情況下，判斷單元105在步驟S109將4位標(biāo)記的第二位設(shè)置為1。如果上述差值絕對(duì)值等于或者小于參考值，則該標(biāo)記的第二位在步驟S110被設(shè)置為0。換句話說，等式(16)左邊的值大于參考值意味著在所考慮的像素和其下方緊鄰的像素之間存在邊緣。因此，在這種情況下，將等式(16)中的加權(quán)系數(shù)Wa的值設(shè)置為0或者充分小的值。然后，將標(biāo)記的第二位的值設(shè)置為1，以能夠選擇在所考慮的像素和其下方緊鄰的像素之間存在邊緣的情況下計(jì)算的預(yù)測(cè)系數(shù)。相反，在等式(16)左邊的值等于或小于參考值的情況下，在所考慮的像素和其下方緊鄰的像素之間不存在邊緣。因此，在這種情況下，將等式(16)中的加權(quán)系數(shù)Wa的值設(shè)置為較大的值，因此將標(biāo)記的第二位的值設(shè)置為0，以能夠選擇在所考慮的像素和其下方緊鄰的像素之間不存在邊緣的前提下計(jì)算的預(yù)測(cè)系數(shù)。
此后，類似地，在步驟S111，所述判斷單元105判斷所考慮的像素和其左邊緊鄰像素之間的差的絕對(duì)值是否大于參考值。換句話說，判斷等式(17)左邊的值是否大于參考值。在該值較大的情況下，判斷單元105在步驟S112將所述標(biāo)記的第三位設(shè)置為1。如果上述差值絕對(duì)值等于或者小于參考值，則在步驟S113設(shè)置0。這樣，就設(shè)置了標(biāo)記，以能夠選擇對(duì)在所考慮的像素和其左邊緊鄰的像素之間存在和不存在邊緣的每一種情況計(jì)算的預(yù)測(cè)系數(shù)。
在步驟S114，所述判斷單元105判斷所考慮的像素和其右邊緊鄰像素之間的差的絕對(duì)值是否大于參考值。在上述差值絕對(duì)值大于參考值的情況下，判斷單元105在步驟S115將所述標(biāo)記的MSB(最高有效位)設(shè)置為1。如果上述差值絕對(duì)值等于或者小于參考值，則在步驟S116設(shè)置0。這樣，在等式(15)左邊所示的值大于參考值的情況下(在存在邊緣的情況下)，可以選擇通過將等式(15)的加權(quán)系數(shù)Wa的值設(shè)置為0或者充分小的值而計(jì)算的預(yù)測(cè)系數(shù)；相反，在等式(15)左邊所示的值等于或小于參考值的情況下(在所考慮像素及其右邊緊鄰的像素之間不存在邊緣的情況下)，將標(biāo)記設(shè)置為能夠選擇在此前提下計(jì)算的預(yù)測(cè)系數(shù)。
在步驟S117，讀取單元106讀出對(duì)應(yīng)于所述標(biāo)記的系數(shù)和校正參數(shù)。換句話說，在本實(shí)施例的情況下，存儲(chǔ)單元107存儲(chǔ)對(duì)應(yīng)于校正參數(shù)σ的總共16種預(yù)測(cè)系數(shù)，將下述各種情況組合起來在所考慮像素及其上方緊鄰像素之間存在或者不存在邊緣的情況，在所考慮像素及其下方緊鄰像素之間存在或者不存在邊緣的情況，在所考慮像素及其左邊緊鄰像素之間存在或者不存在邊緣的情況，在所考慮像素及其右邊緊鄰像素之間存在或者不存在邊緣的情況。讀取單元106根據(jù)在步驟S101從參數(shù)獲取單元101獲取的校正參數(shù)σ和由判斷單元105確定的標(biāo)記，從16中預(yù)測(cè)系數(shù)中讀出對(duì)應(yīng)于所述標(biāo)記和校正參數(shù)的預(yù)測(cè)系數(shù)。
所述乘積和計(jì)算單元108在步驟S118計(jì)算所述像素值和所述系數(shù)的乘積的和。具體地，所述乘積和計(jì)算單元108根據(jù)等式(19)計(jì)算由讀取單元106提供的預(yù)測(cè)系數(shù)和由像素獲取單元103提供的像素值的乘積和，并生成圖像數(shù)據(jù)。該預(yù)測(cè)系數(shù)是如上所述校正模糊的系數(shù)，因此，通過該計(jì)算，生成了其中的圖像模糊被校正了的圖像數(shù)據(jù)。
圖25到27圖示了校正了其中的模糊的圖像的例子。圖25圖示了在校正之前的圖像的例子。在此圖像中，焦點(diǎn)對(duì)在背景的草地上，因此背景是清楚的圖像，但是前景中的昆蟲是對(duì)焦不準(zhǔn)的圖像。
圖26圖示了在不校正用戶指定的參數(shù)σ時(shí)，校正了其中的模糊的圖像的一個(gè)例子。在此例中，校正了前景中的圖像的模糊，但是導(dǎo)致背景圖像的過調(diào)或者說出現(xiàn)環(huán)形效果。
圖27圖示了根據(jù)本發(fā)明校正了模糊的圖像的一個(gè)例子。如該圖所示，根據(jù)本發(fā)明，即使用戶將參數(shù)σ的值設(shè)置得太高，也能抑制圖像的劣化比如背景的過調(diào)或者環(huán)形化效果，因?yàn)樗鰠?shù)值如上所述被修正到小得多的值。那么，當(dāng)然，與圖25所示的情況相比，前景中的模糊也得到充分的校正。
圖13中的查詢表62-1到62-4例如是由圖28所示的查詢表建立裝置201建立的。該查詢表建立裝置201包括獲取單元211、計(jì)算單元212、設(shè)置單元213、特征量提取單元214、頻率檢測(cè)單元215、最大值搜索單元216、建表單元217以及存儲(chǔ)單元218。
獲取單元211獲取用于學(xué)習(xí)的圖像數(shù)據(jù)，并將其輸出到計(jì)算單元212。設(shè)置單元213根據(jù)圖1所示的圖像處理設(shè)備1的制造商的操作人員的操作正常地設(shè)置參數(shù)σ。計(jì)算單元212根據(jù)設(shè)置單元213設(shè)置的參數(shù)σ，從獲取單元211所提供的圖像數(shù)據(jù)生成模糊圖像的圖像數(shù)據(jù)。具體地，根據(jù)上述等式(1)生成模糊圖像數(shù)據(jù)。特征量提取單元214提取與圖13中的特征量提取單元71-1到71-4相同的特征量。頻率檢測(cè)單元215檢測(cè)由特征量提取單元214提取的特征量的頻率。最大值搜索單元216從具有大于預(yù)先設(shè)置的閾值的頻率的特征量中搜索最大值。
建表單元217基于設(shè)置單元213設(shè)置的參數(shù)σ的值和最大值搜索單元216搜索出來的最大值來設(shè)置估計(jì)參數(shù)。存儲(chǔ)單元218將建表單元217建立的表存入預(yù)先提供的存儲(chǔ)器等中。
下面結(jié)合圖29中的流程圖描述查詢表建立處理。
在步驟S151，獲取單元211獲取用于學(xué)習(xí)的圖像數(shù)據(jù)。作為用于學(xué)習(xí)的圖像數(shù)據(jù)，準(zhǔn)備沒有模糊的大量圖像的圖像數(shù)據(jù)，并獲取這些圖像數(shù)據(jù)。在步驟S152，設(shè)置單元213設(shè)置參數(shù)σ。換句話說，設(shè)置單元213將基于操作者的操作的參數(shù)σ的值輸出到計(jì)算單元212。在步驟S153，計(jì)算單元212生成模糊圖像的圖像數(shù)據(jù)。具體地，在步驟S152的設(shè)置處理將設(shè)置單元213設(shè)置的參數(shù)σ的值應(yīng)用于等式(1)和等式(2)，從沒有模糊的圖像的圖像數(shù)據(jù)X(x+i，y+i)生成模糊圖像的圖像數(shù)據(jù)Y(x，y)。
在步驟S154，特征量提取單元214提取特征量。換句話說，提取與圖13中的特征量提取單元71-1到71-4從計(jì)算單元212計(jì)算的模糊圖像的圖像數(shù)據(jù)提取的情況一樣的特征量。
在步驟S155，頻率檢測(cè)單元215檢測(cè)頻率。也就是說，檢測(cè)獲得同一特征量的頻率。這樣，就獲得了每一個(gè)特征量的特征分布，比如圖30所示。圖30的例子圖示了下面幾種情況的頻率分布的實(shí)例設(shè)置單元213設(shè)置的參數(shù)是σA的情況，該參數(shù)是σB的情況，以及該參數(shù)是σC的情況。
在步驟S156，最大值216對(duì)每一個(gè)參數(shù)σ搜索特征量的最大值。在圖30的例子中，分別搜索出在設(shè)置的參數(shù)值為σA的情況下的特征量VA的最大值，在設(shè)置的參數(shù)是σB的情況下的特征量VB的最大值，以及在設(shè)置的參數(shù)是σC的情況下的特征量VC的最大值。
現(xiàn)在，可以從大于預(yù)先提供的特定參考值的頻率選擇特征量的最大值。這樣，基于具有噪聲的特征量，可以避免不正確的校正。
在步驟S157，建表單元217執(zhí)行建表處理。下面結(jié)合圖31的流程圖描述其細(xì)節(jié)，但是查詢表是基于該處理建立的。在步驟S158，存儲(chǔ)單元218存儲(chǔ)由建表單元217在步驟S157的處理中建立的表。換句話說，存儲(chǔ)單元218將查詢表寫入預(yù)先提供的存儲(chǔ)器中。該查詢表被用作上述圖13中的參數(shù)校正單元32的查詢表62-1到62-4。
下面結(jié)合圖31描述圖29中步驟S157的建表處理。在步驟S181，建表單元217判斷用作地址的特征量是否有一個(gè)區(qū)域大于在步驟S152設(shè)置的參數(shù)所對(duì)應(yīng)的特征量的最大值。在該區(qū)域等于或者小于設(shè)置用作地址的特征量的參數(shù)所對(duì)應(yīng)的特征量的最大值的情況下，建表單元217在步驟S182執(zhí)行將設(shè)置的參數(shù)值無變化地寫入該區(qū)域的寫處理。
例如，在當(dāng)前設(shè)置的參數(shù)的值是圖16中的σ70的情況下，用作地址的特征量的值(圖16中水平軸上所示的特征量)例如是V80，該值V80小于參數(shù)σ70所對(duì)應(yīng)的特征量的最大值V70(V80＜V70)。因此，在這種情況下，將參數(shù)值σ70無變化地寫入圖16中參數(shù)σ70的幀中。
但是，在步驟S181中，在該區(qū)域大于設(shè)置用作地址的特征量的參數(shù)所對(duì)應(yīng)的特征量的最大值的情況下，建表單元217在步驟S183中將預(yù)先提供的估計(jì)參數(shù)中的一個(gè)大于用作該地址的特征量并且最接近用作該地址的特征量的參數(shù)寫入。例如，在圖16的例子中，預(yù)先提供了三個(gè)估計(jì)參數(shù)σ70、σ50和σ30。對(duì)應(yīng)于這些參數(shù)的特征量最大值分別是V70、V50和V30，如圖17所示。
在用作地址的特征量的值例如是V60的情況下，該值V60大于對(duì)應(yīng)于參數(shù)σ70的最大值V70。因此，在步驟S181中的處理的判斷結(jié)果為“是”。大于用作地址的特征量V60并且與該值V60最接近的預(yù)先提供的參數(shù)所對(duì)應(yīng)的最大值V50的最大特征量的參數(shù)是參數(shù)σ50(對(duì)應(yīng)于參數(shù)σ70的最大值V70小于用作地址的V60，對(duì)應(yīng)于參數(shù)σ30的最大值V30更遠(yuǎn)離對(duì)應(yīng)于參數(shù)σ50的最大值V50)。因此，在這種情況下，參數(shù)σ50被寫入用作地址的特征量V60的區(qū)域。
在參數(shù)σ的值是σ70的情況下，用作地址的特征量是V70，最大特征量最接近用作地址的特征量V40且大于用作地址的特征量V40的的參數(shù)是具有最大特征量值V30的參數(shù)σ30。因此，將參數(shù)σ30寫入用作地址的特征量V40的區(qū)域。這樣，就建立了圖16所示的查詢表?，F(xiàn)在，上面已經(jīng)描述了一個(gè)校正對(duì)焦模糊的例子。但是本發(fā)明也能應(yīng)用于運(yùn)動(dòng)模糊的情況。下面的實(shí)施例描述了用于校正因運(yùn)動(dòng)而產(chǎn)生的模糊的圖像信號(hào)處理。
用于校正運(yùn)動(dòng)模糊的處理以及執(zhí)行該處理的功能模塊與校正對(duì)焦不準(zhǔn)的情況基本上是相同的。但是，在校正運(yùn)動(dòng)模糊的情況下，用于對(duì)焦不準(zhǔn)校正的情況的圖14所示的參數(shù)校正處理如圖32所示。
在步驟S211，用戶接口單元31獲取運(yùn)動(dòng)模糊的方向和幅度。也就是說，用戶觀察顯示在顯示設(shè)備12上的圖像，輸入運(yùn)動(dòng)模糊的方向(執(zhí)行運(yùn)動(dòng)模糊校正的方向)和運(yùn)動(dòng)模糊的幅度。該輸入可以被安排為通過操作用戶接口單元31的調(diào)節(jié)器51來進(jìn)行，例如操作鼠標(biāo)等。在這種情況下，如圖33所示，例如，要被校正的圖像疊加在圖像上，一個(gè)指示方向的指針311被顯示在顯示設(shè)備12上。根據(jù)用戶對(duì)調(diào)節(jié)器51的操走的方向和旋轉(zhuǎn)量，旋轉(zhuǎn)指針311，最后，獲取指針311所執(zhí)行的方向，作為執(zhí)行運(yùn)動(dòng)模糊處理的方向?；蛘?，可以獲取用戶從預(yù)先準(zhǔn)備的八個(gè)方向(也就是上、下、左、右、右上、右下和左下，當(dāng)然，也可以提供比這更多的方向)中選擇的一個(gè)方向，作為執(zhí)行運(yùn)動(dòng)模糊處理的方向。并且，可以提供獨(dú)立于調(diào)節(jié)器51的單獨(dú)的調(diào)節(jié)器來輸入幅度?；蛘撸梢詮逆I盤輸入幅度值，或者可以從鼠標(biāo)輸入幅度值拖動(dòng)鼠標(biāo)，以指定對(duì)應(yīng)于鼠標(biāo)被拖動(dòng)的距離的幅度。
在步驟S212，用戶接口單元31獲取用于校正運(yùn)動(dòng)模糊的參數(shù)。如日本待審專利申請(qǐng)公開No.2001250119所公開的，通過計(jì)算與對(duì)象的運(yùn)動(dòng)相應(yīng)的數(shù)量的像素值的和，能夠生成運(yùn)動(dòng)模糊的模型。相應(yīng)地，可以通過用一個(gè)參數(shù)P來控制作為計(jì)算對(duì)象的像素的數(shù)量，可以調(diào)整運(yùn)動(dòng)模糊。用戶接口單元31獲取用戶輸入的參數(shù)P的值。也就是說，用戶輸入的運(yùn)動(dòng)模糊幅度對(duì)應(yīng)于該參數(shù)P。所獲取的參數(shù)P與在步驟S211獲取的方向一起被提供給特征量提取單元71-1到71-4和查詢表62-1到62-4。
在步驟S213，特征量提取單元71-1到71-4設(shè)置觀測(cè)區(qū)域。也就是說，首先，特征量提取單元71-1到71-4設(shè)置在步驟S212中的處理獲得的參數(shù)P所對(duì)應(yīng)的一個(gè)區(qū)域。具體地，對(duì)于與所獲取的方向匹配的方向(包括偏差在一個(gè)閾值之內(nèi)的方向以及完美匹配的方向)獲取的參數(shù)P所對(duì)應(yīng)的區(qū)域被作為觀測(cè)區(qū)域。
例如，如圖33所示，在校正運(yùn)動(dòng)對(duì)象301的運(yùn)動(dòng)模糊的情況下，如果方向與所獲取的方向匹配的運(yùn)動(dòng)矢量是箭頭302表示的運(yùn)動(dòng)矢量，則包括所考慮像素在內(nèi)的像素303中的與參數(shù)P相應(yīng)的數(shù)量的像素被設(shè)置為觀測(cè)區(qū)域。
接下來，在步驟S214，特征量提取單元71-1到71-4提取特征量。如上所述，特征量分別提取分配給自身并且與其它特征量不同的特征量。這個(gè)處理與圖14所示的步驟S53中的處理相同。
在步驟S215，最大值搜索單元72-1到72-4搜索最大值(模糊最小的特征量)。在特征量提取單元71-1提取一階導(dǎo)數(shù)值作為特征量，特征量提取單元71-2提取二階導(dǎo)數(shù)值作為特征量，特征量提取單元71-3提取動(dòng)態(tài)范圍導(dǎo)數(shù)值作為特征量，特征量提取單元71-4提取離差作為特征量的情況下，最大值搜索單元72-1搜索由特征量提取裝置71-1提取的觀測(cè)區(qū)域內(nèi)的像素的一階導(dǎo)數(shù)值的最大值，最大值搜索單元72-2搜索由特征量提取裝置71-2提取的觀測(cè)區(qū)域內(nèi)的像素的二階導(dǎo)數(shù)值的最大值，最大值搜索單元72-3搜索由特征量提取裝置71-3提取的觀測(cè)區(qū)域內(nèi)的像素的動(dòng)態(tài)范圍的最大值，最大值搜索單元72-4搜索由特征量提取裝置71-4提取的觀測(cè)區(qū)域內(nèi)的像素的離差的最大值，在步驟S216，查詢表62-1到62-4參考統(tǒng)計(jì)數(shù)據(jù)估計(jì)參數(shù)估計(jì)值。也就是說，查詢表62-1到62-4具有表。圖34圖示了這樣的一個(gè)表的例子。圖34所示的表與圖16所示的表的區(qū)別僅在于垂直軸上的參數(shù)值是圖34中的參數(shù)P，而在圖16中該參數(shù)是參數(shù)σ；除此之外，圖34中的表與圖16中的表基本相同。查詢表62-1到62-4將所獲取的參數(shù)P基于該表轉(zhuǎn)換為估計(jì)參數(shù)。其基本處理與圖14中的步驟S55相同。也就是說，在用戶指定的參數(shù)P的值所對(duì)應(yīng)的特征量的最大值小于用最大值搜索單元72-1到72-4搜索的最大值的情況下，將參數(shù)P改變?yōu)閷?duì)于查詢表62-1到62-4搜索的最大值的最大值所對(duì)應(yīng)的估計(jì)參數(shù)。
在步驟S217，選擇單元63執(zhí)行處理，從查詢表62-1到62-4輸出的估計(jì)參數(shù)中選擇最小的估計(jì)參數(shù)。也就是說，比較查詢表62-1到62-4輸出的四個(gè)估計(jì)參數(shù)的幅度，選擇最小的一個(gè)估計(jì)參數(shù)(具有最小運(yùn)動(dòng)模糊的參數(shù))，并將其作為校正參數(shù)輸出。這樣，用戶指定的參數(shù)P被轉(zhuǎn)換(校正)為校正參數(shù)。
在校正運(yùn)動(dòng)模糊的情況下的其它處理與校正對(duì)焦不準(zhǔn)的情況基本相同，因此省略了其說明。
另外，在上面，基于查詢表將參數(shù)σ或者參數(shù)P設(shè)置為要被校正，但是，當(dāng)然也可以針對(duì)每一種情況計(jì)算所述參數(shù)。
上述處理系列可以由硬件或者軟件執(zhí)行。在這種情況下，圖像處理設(shè)備由例如示于圖35的個(gè)人計(jì)算機(jī)420構(gòu)成。
在圖35中，CPU(中央處理器)421根據(jù)存儲(chǔ)在ROM(只讀存儲(chǔ)器)422中的程序或者從存儲(chǔ)單元428裝載到RAM(隨機(jī)存取存儲(chǔ)器)423中的程序執(zhí)行每一種處理。RAM 423適當(dāng)?shù)卮鎯?chǔ)CPU 421執(zhí)行各種處理所需的數(shù)據(jù)。
CPU 421、ROM 422和RAM 423通過總線424相互連接。該總線424也連接到輸入輸出接口425。
輸入輸出接口425連接到輸入單元426比如鍵盤或者鼠標(biāo)、顯示器比如CRT(陰極射線管顯示器)或者LCD(液晶顯示器)、輸出單元427比如揚(yáng)聲器、由硬盤等構(gòu)成的存儲(chǔ)單元428以及通信單元429比如調(diào)制解調(diào)器。通信單元429通過網(wǎng)絡(luò)包括因特網(wǎng)執(zhí)行通信處理。
輸入輸出接口425還根據(jù)需要連接到驅(qū)動(dòng)器430，并酌情連接可移動(dòng)介質(zhì)431，比如磁盤、光盤、磁光盤或者半導(dǎo)體存儲(chǔ)器。從中讀出的計(jì)算機(jī)程序按照需要被裝入存儲(chǔ)單元428。
在由軟件執(zhí)行處理系列的情況下，包括該軟件的程序從網(wǎng)絡(luò)或者記錄介質(zhì)被裝載到通過安裝各種程序能夠執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)上，或者被裝載到具有專用硬件的計(jì)算機(jī)上。
所述記錄介質(zhì)不僅包括如圖35所示與設(shè)備主體分開的、可以被分發(fā)以向用戶提供程序的可移動(dòng)介質(zhì)431比如磁盤(包括軟盤)、光盤(包括CD-ROM(光盤只讀存儲(chǔ)器)和DVD(數(shù)字通用盤)、磁光盤(包括MD(小型盤))或者半導(dǎo)體存儲(chǔ)器，而且包括其中記錄有程序的ROM 422，或者通過被集成到設(shè)備主體中而被提供給用戶的存儲(chǔ)單元428中包括的硬盤。
這樣，根據(jù)本發(fā)明，規(guī)定被記錄在記錄介質(zhì)上的步驟不僅包括按照以時(shí)序描述的順序執(zhí)行的處理，而且包括單獨(dú)地或者并行地執(zhí)行、不一定按照時(shí)序執(zhí)行的處理。
本發(fā)明的應(yīng)用例如包括數(shù)字照相機(jī)。
本申請(qǐng)包含與2004年6月10日向日本專利局遞交的日本專利申請(qǐng)No.JP2004-173086有關(guān)的主題，該申請(qǐng)的全部?jī)?nèi)容通過引用而被結(jié)合于本申請(qǐng)中。
權(quán)利要求
1.一種圖像處理設(shè)備，包括參數(shù)獲取裝置，用于獲取與要校正的圖像的模糊的校正有關(guān)的參數(shù)；特征量檢測(cè)裝置，用于檢測(cè)要被校正的所述圖像的特征量；參數(shù)生成裝置，用于通過根據(jù)所述特征量校正所述參數(shù)而生成校正參數(shù)；以及校正裝置，用于根據(jù)所述校正參數(shù)來校正要被校正的所述圖像的模糊。
2.如權(quán)利要求1所述的圖像處理設(shè)備，其中，在作為要校正的所述圖像的所述特征量的最大值的第一特征量小于作為對(duì)應(yīng)于所獲取的參數(shù)的所述最大特征量的第二特征量的情況下，所述參數(shù)生成裝置將所獲取的參數(shù)不加變化地設(shè)置為所述校正參數(shù)；在所述第一特征量較大的情況下，作為大于所述第一特征量的特征量的第三特征量的最大特征量所對(duì)應(yīng)的所述參數(shù)被作為所述校正參數(shù)。
3.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述特征量檢測(cè)裝置檢測(cè)要校正的所述圖像的活動(dòng)，作為所述特征量。
4.如權(quán)利要求3所述的圖像處理設(shè)備，其中，所述特征量檢測(cè)裝置檢測(cè)一階微分值、二階微分值、所述圖像的像素值的動(dòng)態(tài)范圍和要校正的所述圖像的像素值的離差中的至少一個(gè)，作為所述活動(dòng)。
5.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述特征量檢測(cè)裝置檢測(cè)多個(gè)特征量；其中，所述參數(shù)生成裝置生成對(duì)應(yīng)于所述多個(gè)特征量的所述多個(gè)校正參數(shù)；其中，所述圖像處理設(shè)備還包括選擇所述多個(gè)校正參數(shù)中的最小參數(shù)的校正參數(shù)選擇裝置；并且所述校正裝置基于所選擇的校正參數(shù)校正要校正的圖像的模糊。
6.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述特征量檢測(cè)裝置檢測(cè)要校正的圖像的一個(gè)區(qū)域的一部分內(nèi)的多個(gè)像素的所述特征量的最大值，作為所述特征量。
7.如權(quán)利要求6所述的圖像處理設(shè)備，其中，所述校正裝置將要校正的所述圖像的所述區(qū)域的所述一部分設(shè)置為基于所獲取的參數(shù)的值的大小。
8.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述校正裝置使用相鄰像素的像素值之間的差來校正要校正的所述圖像的模糊。
9.如權(quán)利要求8所述的圖像處理設(shè)備，其中，所述校正裝置比較所述差與一個(gè)參考值，并判斷邊緣方向，與沒有邊緣的方向上的差相比，具有所述邊緣的所述方向的差被使用的比例較小。
10.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述參數(shù)獲取裝置包括用于獲取與由于對(duì)焦不準(zhǔn)導(dǎo)致的圖像模糊的校正有關(guān)的參數(shù)的裝置。
11.如權(quán)利要求1所述的圖像處理設(shè)備，其中，所述參數(shù)獲取裝置包括用于獲取與由于運(yùn)動(dòng)導(dǎo)致的圖像模糊的校正有關(guān)的參數(shù)的裝置。
12.一種圖像處理方法，包括獲取與要校正的圖像的模糊的校正有關(guān)的參數(shù)；檢測(cè)要被校正的所述圖像的特征量；通過根據(jù)所述特征量校正所述參數(shù)而生成校正參數(shù)；以及，根據(jù)所述校正參數(shù)來校正要被校正的所述圖像的模糊。
13.一種記錄介質(zhì)，其中存儲(chǔ)有由計(jì)算機(jī)讀取的程序，該程序包括用于獲取與要校正的圖像的模糊的校正有關(guān)的參數(shù)的指令；用于檢測(cè)要被校正的所述圖像的特征量的指令；用于通過根據(jù)所述特征量校正所述參數(shù)而生成校正參數(shù)的指令；以及，用于根據(jù)所述校正參數(shù)來校正要被校正的所述圖像的模糊的指令。
14.可由計(jì)算機(jī)執(zhí)行的程序，包括用于獲取與要校正的圖像的模糊的校正有關(guān)的參數(shù)的指令；用于檢測(cè)要被校正的所述圖像的特征量的指令；用于通過根據(jù)所述特征量校正所述參數(shù)而生成校正參數(shù)的指令；以及，用于根據(jù)所述校正參數(shù)來校正要被校正的所述圖像的模糊的指令。
15.一種圖像處理設(shè)備，包括獲取裝置，用于獲取用于學(xué)習(xí)的圖像數(shù)據(jù)；指定裝置，用于指定用于生成圖像中的模糊的參數(shù)；生成裝置，用于生成所述圖像的圖像數(shù)據(jù)，在所述圖像中，使用包括用于所述獲取的圖像數(shù)據(jù)的所述參數(shù)的函數(shù)產(chǎn)生了模糊；特征量檢測(cè)裝置，用于檢測(cè)所生成的圖像數(shù)據(jù)的圖像的特征量；最大值檢測(cè)裝置，用于檢測(cè)所述圖像的所述特征量的最大值，在所述圖像中，產(chǎn)生了對(duì)應(yīng)于所述指定的參數(shù)的模糊；以及建立裝置，用于建表，在指定了指定參數(shù)和指定特征量時(shí)，從該表讀出對(duì)應(yīng)于所指定的參數(shù)和指定特征量的校正參數(shù)，在指定特征量小于對(duì)應(yīng)于所指定的參數(shù)的所述特征量的最大值的情況下，使所指定的參數(shù)成為所述校正參數(shù)，在所述指定特征量較大的情況下，值大于作為所述特征量的最大值的所述指定特征量的特征量所對(duì)應(yīng)的所述參數(shù)作為所述校正參數(shù)。
16.如權(quán)利要求14所述的圖像處理設(shè)備，還包括頻率檢測(cè)裝置，用于檢測(cè)所述特征量的頻率，其中，所述最大值檢測(cè)裝置從大于監(jiān)測(cè)到的頻率的預(yù)定閾值的所述特征量中檢測(cè)所述特征量的最大值。
17.如權(quán)利要求14所述的圖像處理設(shè)備，其中，當(dāng)所述指定特征等于或者小于作為所述指定參數(shù)的相同值的所述參數(shù)所對(duì)應(yīng)的所述特征的檢測(cè)到的最大值時(shí)，所述建立裝置將所述指定參數(shù)指定為所述校正參數(shù)；當(dāng)所述指定特征大于作為所述指定參數(shù)的相同值的所述參數(shù)所對(duì)應(yīng)的所述特征的檢測(cè)到的最大值時(shí)，所述建立裝置將值大于所述指定參數(shù)的值的特征的最大值所對(duì)應(yīng)的所述參數(shù)設(shè)置為所述校正參數(shù)；
18.一種圖像處理方法，包括獲取用于學(xué)習(xí)的圖像數(shù)據(jù)；設(shè)定用于在圖像上產(chǎn)生模糊的參數(shù)；生成所述圖像的圖像數(shù)據(jù)，在所述圖像中，使用包括用于所述獲取的圖像數(shù)據(jù)的所述參數(shù)的函數(shù)產(chǎn)生了模糊；檢測(cè)所生成的圖像數(shù)據(jù)的圖像的特征量；檢測(cè)所述圖像的特征量的最大值，在所述圖像中，產(chǎn)生了對(duì)應(yīng)于所設(shè)定的參數(shù)的模糊；以及，建表，在指定了指定參數(shù)和指定特征量時(shí)，從該表讀出對(duì)應(yīng)于所述指定參數(shù)和所述指定特征量的校正參數(shù)，在所述指定特征量小于對(duì)應(yīng)于所述指定參數(shù)的所述特征量的最大值的情況下，使所述指定參數(shù)成為所述校正參數(shù)，在所述指定特征量較大的情況下，值大于作為所述特征量的最大值的所述指定特征量的特征量所對(duì)應(yīng)的參數(shù)作為所述校正參數(shù)。
19.一種記錄介質(zhì)，其中記錄有由計(jì)算機(jī)讀取的程序，該程序包括用于獲取用于學(xué)習(xí)的圖像數(shù)據(jù)的指令；用于設(shè)定用于在圖像上產(chǎn)生模糊的參數(shù)的指令；用于生成所述圖像的圖像數(shù)據(jù)的指令，在所述圖像中，使用包括用于所述獲取的圖像數(shù)據(jù)的所述參數(shù)的函數(shù)產(chǎn)生了模糊；用于檢測(cè)所生成的圖像數(shù)據(jù)的圖像的特征量的指令；用于檢測(cè)所述圖像的所述特征量的最大值的指令，在所述圖像中，產(chǎn)生了對(duì)應(yīng)于所設(shè)定的參數(shù)的模糊；以及，用于建表的指令，在指定了指定參數(shù)和指定特征量時(shí)，從該表讀出對(duì)應(yīng)于所述指定參數(shù)和所述指定特征量的校正參數(shù)，在所述指定特征量小于對(duì)應(yīng)于所述指定參數(shù)的所述特征量的最大值的情況下，使所述指定參數(shù)成為所述校正參數(shù)，在所述指定特征量較大的情況下，值大于作為所述特征量的最大值的所述指定特征量的特征量所對(duì)應(yīng)的所述參數(shù)作為所述校正參數(shù)。
20.可由計(jì)算機(jī)執(zhí)行的程序，包括用于獲取用于學(xué)習(xí)的圖像數(shù)據(jù)的指令；用于設(shè)定用于在圖像上產(chǎn)生模糊的參數(shù)的指令；用于生成所述圖像的圖像數(shù)據(jù)的指令，在所述圖像中，使用包括用于所述獲取的圖像數(shù)據(jù)的所述參數(shù)的函數(shù)產(chǎn)生了模糊；用于檢測(cè)所生成的圖像數(shù)據(jù)的圖像的特征量的指令；用于檢測(cè)所述圖像的所述特征量的最大值的指令，在所述圖像中，產(chǎn)沙量對(duì)應(yīng)于所設(shè)定的參數(shù)的模糊；以及，用于建表的指令，在指定了指定參數(shù)和指定特征量時(shí)，從該表讀出對(duì)應(yīng)于所述指定參數(shù)和所述指定特征量的校正參數(shù)，在所述指定特征量小于對(duì)應(yīng)于所述指定參數(shù)的所述特征量的最大值的情況下，使所述指定參數(shù)成為所述校正參數(shù)，在所述指定特征量較大的情況下，值大于作為所述特征量的最大值的所述指定特征量的特征量所對(duì)應(yīng)的所述參數(shù)作為所述校正參數(shù)。
全文摘要
本申請(qǐng)涉及圖像處理設(shè)備、方法、記錄介質(zhì)和程序?；谟脩舻牟僮鳎脩艚涌趩卧O(shè)置一個(gè)參數(shù)，并輸出到參數(shù)校正單元。該參數(shù)校正單元在對(duì)應(yīng)于該參數(shù)值的觀測(cè)區(qū)域中提取像素的特征量，并基于該特征量的最大值校正用戶指定的參數(shù)，作為校正參數(shù)。模糊校正單元基于該校正參數(shù)校正輸入圖像數(shù)據(jù)，并生成已校正了模糊的圖像的圖像數(shù)據(jù)。本發(fā)明例如可以應(yīng)用于數(shù)字照相機(jī)。
文檔編號(hào)G06T5/00GK1707521SQ20051007801
公開日2005年12月14日 申請(qǐng)日期2005年6月10日 優(yōu)先權(quán)日2004年6月10日
發(fā)明者白木壽一, 近藤哲二郎 申請(qǐng)人:索尼株式會(huì)社