全焦點圖像生成方法、裝置和程序，以及被攝體高度信息取得方法、裝置和程序的制作方法
【專利摘要】以在大范圍的區(qū)域內(nèi)適當對準焦點的方式按照每個像素位置根據(jù)焦點位置不同的多個拍攝圖像生成對焦后的圖像和高度信息。取得焦點位置不同的多個圖像（步驟S1）。根據(jù)各圖像取得灰度圖像（步驟S5）。對灰度圖像實施小波變換，生成多分辨率圖像（步驟S6～S13）。根據(jù)多分辨率圖像生成與焦點位置相關(guān)的概率分布（步驟S14）。使用概率傳播法，按照每個像素位置，近似地計算使得將基于概率分布的成本函數(shù)和懲罰函數(shù)相加后的評價函數(shù)變?yōu)樽钚〉淖顑?yōu)的焦點位置（步驟S17～S20）。根據(jù)最優(yōu)的焦點位置，按照每個像素位置生成對焦后的圖像和高度信息（步驟S22）。
【專利說明】全焦點圖像生成方法、裝置和程序，以及被攝體高度信息取得方法、裝置和程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及全焦點圖像生成方法，尤其涉及基于在多個焦點位置處拍攝的圖像的全焦點圖像生成方法、裝置和程序，以及被攝體高度信息取得方法、裝置和程序。
【背景技術(shù)】
[0002]在經(jīng)由鏡頭拍攝被攝體時，公知有由于對焦的部分和未對焦的部分包含在相同的視野內(nèi)，從而成為所拍攝的圖像中特定區(qū)域以外模糊的圖像的情況。尤其越是高倍率的鏡頭，焦深越淺，越容易產(chǎn)生這樣的現(xiàn)象。例如當用使用了高倍率物鏡的顯微鏡拍攝標本等被攝體時，由于標本的凹凸等，在圖像中的某個區(qū)域內(nèi)對焦，而在其他區(qū)域內(nèi)未對焦，從而可能產(chǎn)生無法根據(jù)圖像準確地捕捉被攝體的整體像的情況。為了解決該問題，進行了如下處理，即，使鏡頭或被攝體在光軸方向上移動而在不同的焦點位置處拍攝被攝體，并根據(jù)由此而得到的多個圖像，生成在圖像內(nèi)的全部區(qū)域中對焦后的全焦點圖像。
[0003]為了上述處理，以往提出了各種圖像處理技術(shù)。在專利文獻I中，分別對在不同的焦點位置處拍攝的多個圖像進行小波變換，并在變換后的多分辨率表現(xiàn)的各像素中，提取在焦點位置不同的圖像間取最大的振幅值的小波值。并且，通過生成將提取出的小波值配置到各像素的I個合成圖像并對該合成圖像實施小波逆變換，形成了全焦點圖像。
[0004]在專利文獻2中，與專利文獻I同樣，對在不同的焦點位置處拍攝的多個圖像進行小波變換。然后，在焦點位置不同的圖像間，對在關(guān)注像素的附近像素彼此中將小波系數(shù)相加后的值進行比較，從該值最大的圖像中提取出像素而合成了全焦點圖像。另外，在專利文獻2中，針對小波變換后的各子帶，在以作為處理對象的各像素為中心的縱5像素、橫5像素的像素范圍內(nèi)實施形態(tài)學處理。由此，生成實現(xiàn)了噪聲減少等、并強調(diào)了高頻區(qū)域和低頻區(qū)域的邊界的全焦點圖像。
[0005]在專利文獻3中，關(guān)于在不同的焦點位置處拍攝的多個圖像的各個，分為邊緣部分、邊緣部分的附近、以及既不是邊緣部分也不是其附近的部分的3個區(qū)域，并按照每個區(qū)域用不同的方法取得了對焦位置。首先，在焦點位置不同的圖像彼此中對關(guān)注像素與其周圍像素的亮度值的變化量進行比較，并取得最大值。并且，在所取得的最大值比作為基準的變化量大的情況下，將該關(guān)注像素設(shè)為邊緣部分，并且將取該最大值的圖像的位置設(shè)為對焦位置。另一方面，關(guān)于位于邊緣部分附近的像素，將與深度方向相關(guān)的亮度值的拐點設(shè)為對焦位置。并且，關(guān)于既不是邊緣部分也不是邊緣部分附近的像素，通過利用作為邊緣部分和邊緣部分附近的對焦位置的像素而取得的像素的插值，導出了對焦后的像素。
[0006]現(xiàn)有技術(shù)文獻
[0007]專利文獻
[0008]專利文獻1:日本特開平6-243250號公報
[0009]專利文獻2:日本特開2010-129077號公報
[0010]專利文獻3:日本特開2010-166247號公報
【發(fā)明內(nèi)容】

[0011]發(fā)明所要解決的課題
[0012]如上所述，在專利文獻I?3中，均利用小波值、并取出亮度值的變化量較大的像素而提取出了對焦位置的像素。但是，例如在拍攝時產(chǎn)生了圖像噪聲、飽和、模糊等問題的情況下，有時在拍攝圖像中，對焦的區(qū)域內(nèi)的對比度值變小，未對焦的區(qū)域內(nèi)的對比度值變大。當產(chǎn)生這種問題時，在應用專利文獻I和專利文獻2對小波值和亮度值的變化量的大小關(guān)系進行比較而取得對焦位置的情況下，可能將未對焦的位置錯誤判定為對焦位置。
[0013]此外，專利文獻3通過將圖像分為3個區(qū)域，并按照每個區(qū)域用不同的方法取得焦點位置，實現(xiàn)了上述問題的解決。但是，在基于專利文獻3時，在與邊緣部分及其附近遠離的部分中，通過基于邊緣部分的像素和邊緣部分附近的像素的插值來取得對焦像素。因此，當作為插值對象的像素與邊緣部分及其附近較遠隔開、并且處于在深度方向上與這些部分不同的位置處時，在插值時產(chǎn)生的誤差變大。因此，即使假如在由邊緣部分及其附近構(gòu)成的局部區(qū)域中能夠生成適當對焦后的圖像，可能也無法在圖像中的大范圍區(qū)域內(nèi)生成適當對焦后的圖像。
[0014]本發(fā)明的第I目的在于提供一種全焦點圖像生成方法、以及與該方法對應的全焦點圖像生成裝置和全焦點圖像生成程序，所述全焦點圖像生成方法根據(jù)焦點位置不同的多個拍攝圖像按照每個像素位置生成對焦后的圖像，在該方法中，即使當存在圖像噪聲、飽和、模糊等各種拍攝時的問題時，也能夠在圖像中的大范圍區(qū)域內(nèi)生成適當對焦后的圖像。
[0015]此外，從焦點位置不同的多個拍攝圖像中按照每個像素位置提取對焦了的圖像等同于按照每個像素位置取得根據(jù)焦點位置換算的高度信息。并且，上述那樣的圖像噪聲等引起的問題在按照每個像素位置取得被攝體的高度信息的情況下也表現(xiàn)為完全相同的問題。
[0016]本發(fā)明的第2目的在于提供一種被攝體高度信息取得方法、以及與該方法對應的被攝體高度信息取得裝置和被攝體高度信息取得程序，所述被攝體高度信息取得方法根據(jù)焦點位置不同的多個拍攝圖像按照每個像素位置取得被攝體的高度信息，在該方法中，即使當存在圖像噪聲、飽和、模糊等各種拍攝時的問題時，也能夠在圖像中的大范圍區(qū)域內(nèi)適當取得被攝體的高度信息。
[0017]用于解決課題的手段
[0018]根據(jù)為了達到第I目的而完成的第I觀點，本發(fā)明的全焦點圖像生成方法具有:攝像步驟，拍攝焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像；灰度圖像取得步驟，根據(jù)在所述攝像步驟中拍攝的像，按照每個所述焦點位置取得所述被攝體的灰度圖像；多分辨率圖像生成步驟，通過對在所述灰度圖像取得步驟中取得的所述灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像；焦點位置概率計算步驟，根據(jù)在所述多分辨率圖像生成步驟中生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布；最優(yōu)焦點位置取得步驟，根據(jù)在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及對焦圖像合成步驟，基于在所述最優(yōu)焦點位置取得步驟中取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，根據(jù)在所述攝像步驟中拍攝的每個所述焦點位置的像取得與所述最優(yōu)的焦點位置對應的像素值，并且將與所取得的像素值對應的像素配置到該像素位置而生成對焦圖像，在所述最優(yōu)焦點位置取得步驟中，將1、j設(shè)為表示所述像素位置的下標，將X1、Xj設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配Xi作為所述焦點位置的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di (Xi)、和Xi與Xj的差的絕對值越大越取大值的懲罰函數(shù)V (Xi，Xp相加后的函數(shù)設(shè)為評價函數(shù)E時，使用概率傳播法，近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
[0019]此外，第I觀點的全焦點圖像生成裝置根據(jù)焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像生成被攝體的對焦圖像，在所述全焦點圖像生成裝置中，具有:多分辨率變換圖像生成單元，其通過對被攝體的每個所述焦點位置的灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像；焦點位置概率計算單元，其根據(jù)所述多分辨率變換圖像生成單元生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布；最優(yōu)焦點位置取得單元，其根據(jù)所述焦點位置概率計算單元計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及對焦圖像合成單元，其基于所述最優(yōu)焦點位置取得單元取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，根據(jù)每個所述焦點位置的被攝體的像取得與所述最優(yōu)的焦點位置對應的像素值，并且將與所取得的像素值對應的像素配置到該像素位置而生成對焦圖像，所述最優(yōu)焦點位置取得單元將1、j設(shè)為表示所述像素位置的下標，將X1、\設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配了所述焦點位置Xi的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于所述焦點位置概率計算單元計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di (Xi)、和Xi與\的差的絕對值越大越取大值的懲罰函數(shù)V (xi;xP相加后的函數(shù)設(shè)為評價函數(shù)E時，使用概率傳播法，近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
[0020]此外，第I觀點的全焦點圖像生成程序使計算機發(fā)揮功能，使得根據(jù)焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像生成被攝體的對焦圖像，所述全焦點圖像生成程序的特征在于，使計算機執(zhí)行以下步驟:多分辨率變換圖像生成步驟，通過對被攝體的每個所述焦點位置的灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像；焦點位置概率計算步驟，根據(jù)在所述多分辨率變換圖像生成步驟中生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布；最優(yōu)焦點位置取得步驟，根據(jù)在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及對焦圖像合成步驟，基于在所述最優(yōu)焦點位置取得步驟中取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，根據(jù)在所述攝像步驟中拍攝的每個所述焦點位置的像取得與所述最優(yōu)的焦點位置對應的像素值，并且將與所取得的像素值對應的像素配置到該像素位置而生成對焦圖像，并且使計算機發(fā)揮功能，使得在所述最優(yōu)焦點位置取得步驟中，將1、j設(shè)為表示所述像素位置的下標，將X1、\設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配Xi作為所述焦點位置的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di (Xi)、和Xi與Xj的差的絕對值越大越取大值的懲罰函數(shù)V (Xi, Xj)相加后的函數(shù)設(shè)為評價函數(shù)E時,使用概率傳播法,近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
[0021]根據(jù)為了達到第2目的而完成的第2觀點，本發(fā)明的被攝體高度信息取得方法的發(fā)明具有:攝像步驟，拍攝與根據(jù)焦點位置換算出的高度信息關(guān)聯(lián)的、焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像；灰度圖像取得步驟，根據(jù)在所述攝像步驟中拍攝的像，按照每個所述焦點位置取得所述被攝體的灰度圖像；多分辨率變換圖像生成步驟，通過對在所述灰度圖像取得步驟中取得的所述灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像；焦點位置概率計算步驟，根據(jù)在所述多分辨率變換圖像生成步驟中生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布；最優(yōu)焦點位置取得步驟，根據(jù)在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及高度信息取得步驟，根據(jù)在所述最優(yōu)焦點位置取得步驟中取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，取得根據(jù)焦點位置換算出的高度信息，在所述最優(yōu)焦點位置取得步驟中，將1、j設(shè)為表示所述像素位置的下標，將X1、\設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配Xi作為所述焦點位置的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di (Xi)、和Xi與\的差的絕對值越大越取大值的懲罰函數(shù)V Cxi, xj相加后的函數(shù)設(shè)為評價函數(shù)E時，使用概率傳播法，近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
[0022]此外，第2觀點的被攝體高度信息取得裝置基于與根據(jù)焦點位置換算出的高度信息關(guān)聯(lián)的、焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像，取得該被攝體的位置，在所述被攝體高度信息取得裝置中，具有:多分辨率變換圖像生成單元，其通過對被攝體的每個所述焦點位置的灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像；焦點位置概率計算單元，其根據(jù)所述多分辨率變換圖像生成單元生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布；最優(yōu)焦點位置取得單元，其根據(jù)所述焦點位置概率計算單元計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及高度信息取得單元，其根據(jù)所述最優(yōu)焦點位置取得單元取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，取得根據(jù)焦點位置換算出的高度信息，所述最優(yōu)焦點位置取得單元將1、j設(shè)為表示所述像素位置的下標，將X1、\設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配了所述焦點位置Xi的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于所述焦點位置概率計算單元計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di (Xi)、和Xi與Xj的差的絕對值越大越取大值的懲罰函數(shù)V (Xi, Xj)相加后的函數(shù)設(shè)為評價函數(shù)E時,使用概率傳播法,近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
[0023]此外，第2觀點的被攝體高度信息取得程序使計算機發(fā)揮功能，使得基于與根據(jù)焦點位置換算出的高度信息關(guān)聯(lián)的、焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像，取得該被攝體的高度信息，其中，所述被攝體高度信息取得程序使計算機執(zhí)行以下步驟:多分辨率變換圖像生成步驟，通過對被攝體的每個所述焦點位置的灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像；焦點位置概率計算步驟，根據(jù)在所述多分辨率變換圖像生成步驟中生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布；最優(yōu)焦點位置取得步驟，根據(jù)在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及高度信息取得步驟，根據(jù)在所述最優(yōu)焦點位置取得步驟中取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，取得根據(jù)焦點位置換算出的高度信息，并且使計算機發(fā)揮功能，使得在所述最優(yōu)焦點位置取得步驟中，將1、j設(shè)為表示所述像素位置的下標，將X1、\設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配Xi作為所述焦點位置的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di (Xi)、和Xi與Xj的差的絕對值越大越取大值的懲罰函數(shù)V (Xi，Xp相加后的函數(shù)設(shè)為評價函數(shù)E時，使用概率傳播法，近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
[0024]發(fā)明的效果
[0025]根據(jù)本發(fā)明的第I觀點，使用概率傳播法近似地導出最優(yōu)的焦點位置。并且，將所導出的最優(yōu)的焦點位置作為對焦后的位置，從與該焦點位置對應的拍攝圖像中取得像素而生成全焦點圖像。取得最優(yōu)的焦點位置是涉及圖像中的大范圍區(qū)域的問題。概率傳播法是用于最優(yōu)地解決這樣的大范圍內(nèi)的問題的概率論的方法。因此，根據(jù)本發(fā)明，即使當存在圖像噪聲、飽和、模糊等各種拍攝時的問題時，也能夠在圖像中的大范圍區(qū)域內(nèi)取得適當對焦后的圖像。
[0026]根據(jù)本發(fā)明的第2觀點，在被攝體的攝像時，根據(jù)各焦點位置換算光軸方向的距離信息，并作為高度信息與各焦點位置進行關(guān)聯(lián)。另一方面，與第I觀點同樣，使用概率傳播法近似地導出最優(yōu)的焦點位置。并且，將所導出的最優(yōu)的焦點位置作為對焦后的位置，按照每個像素位置，根據(jù)與該焦點位置對應的高度信息取得被攝體的高度信息。取得最優(yōu)的焦點位置是涉及圖像中的大范圍區(qū)域的問題。概率傳播法是用于最優(yōu)地解決這樣的大范圍內(nèi)的問題的概率論的方法。因此，根據(jù)本發(fā)明，即使當存在圖像噪聲、飽和、模糊等各種拍攝時的問題時，也能夠根據(jù)在圖像中的大范圍區(qū)域內(nèi)最優(yōu)取得的焦點位置，適當取得被攝體的高度信息。
【專利附圖】

【附圖說明】
[0027]圖1是示出本發(fā)明一個實施方式的第I實施方式的全焦點圖像生成裝置的結(jié)構(gòu)的框圖。
[0028]圖2是關(guān)于沿著光的路徑的方向示出樣本、對焦透鏡、物鏡以及攝像元件的位置關(guān)系的不意圖。
[0029]圖3是示出基于圖像處理部實施的變換處理的變換前后的圖像的示意圖。
[0030]圖4的(a)不出通過I次小波變換生成的分辨率分解圖像的多分辨率表現(xiàn)。圖4的(b)示出通過3次小波變換生成的分辨率分解圖像的多分辨率表現(xiàn)。
[0031]圖5是示出小波變換的變換前后的圖像中的像素的對應。
[0032]圖6的(a)是按照每個焦點位置排列L個多分辨率表現(xiàn)后的圖。圖6的(b)示出了提取為候選值的小波系數(shù)、和與該候選值對應的多分辨率表現(xiàn)的一例。
[0033]圖7是示出基于候選值投票到概率值的方法的示意圖。
[0034]圖8的(a)是示出概率分布的一例的圖。圖8 (b)是示出概率分布的另一例的圖。
[0035]圖9是示出縱3X橫3的9個像素排列的示意圖。白圓圈表示各像素。
[0036]圖10是示出高分辨率時的像素配置與低分辨率的I像素之間的關(guān)系的示意圖。
[0037]圖11是示出顯微鏡和圖像處理部執(zhí)行的處理的整體流程的流程圖。
[0038]圖12是示出本發(fā)明的另一實施方式的第2實施方式中的與第I實施方式不同的部分的框圖。
【具體實施方式】
[0039](第I實施方式)
[0040]根據(jù)附圖對本發(fā)明的全焦點圖像生成方法、全焦點圖像生成裝置以及全焦點圖像生成程序的一個實施方式即第I實施方式進行說明。如圖1所示，本實施方式的全焦點圖像生成裝置具有拍攝樣本S的放大圖像的顯微鏡I和對由顯微鏡I拍攝的圖像進行處理的圖像處理部100。顯微鏡I具有:固定有多個物鏡2的轉(zhuǎn)換器3 ;設(shè)置有樣本S的工作臺4 ；在上端固定有工作臺4的滑塊5 ;可在鉛直方向上移動地支撐滑塊5的滑塊支撐體7 ;以及使滑塊5相對于滑塊支撐體7在鉛直方向上移動的滑塊移動機構(gòu)6。
[0041]轉(zhuǎn)換器3上固定有倍率相互不同的物鏡2。能夠通過使轉(zhuǎn)換器3旋轉(zhuǎn)，切換朝向下方的工作臺4側(cè)的物鏡2。工作臺4的上表面是水平的，能夠以水平地位于物鏡2的正下方的方式將樣本S放置到工作臺4上。滑塊移動機構(gòu)6具有使滑塊5在鉛直方向上微小地移動的壓電致動器、和高精度地檢測滑塊5的與鉛直方向相關(guān)的位置的位置檢測傳感器。位置檢測傳感器將檢測到滑塊5的位置后的結(jié)果輸出到后述的控制部11。
[0042]此外，顯微鏡I具有向樣本S射出照明光的照明光學系統(tǒng)8、使來自樣本S的光成像到攝像元件10的攝像光學系統(tǒng)9、和對所形成的被攝體像進行光電變換并輸出的攝像元件10。照明光學系統(tǒng)8具有照明用的光源和將來自光源的照明光引導至樣本S的反射鏡等。攝像光學系統(tǒng)9具有將來自物鏡2的被攝體像引導至攝像元件10并進行成像的對焦透鏡9a (參照圖2)等的透鏡和反射鏡等。通過物鏡2和設(shè)置于攝像光學系統(tǒng)9的透鏡的協(xié)作，被攝體像以高倍率被放大而形成在攝像元件10上。攝像元件10生成與所拍攝的被攝體圖像對應的圖像數(shù)據(jù)，并輸出到圖像處理部100。該圖像數(shù)據(jù)由表示在χ方向、和與χ方向垂直的y方向上排列的多個彩色像素的數(shù)據(jù)構(gòu)成。與水平方向平行的預定方向與χ方向?qū)?，與水平方向平行且與上述預定方向垂直的方向與y方向?qū)Ｔ谠搱D像數(shù)據(jù)中，各像素的顏色僅通過作為光的三原色的R (紅)、G (綠)和B (藍)中的部分成分表示?；蛘?，各像素的顏色可以通過作為互補色的Cy (藍綠色)、Mg (品紅色)、Ye (黃色)和G中的部分成分表不。
[0043]顯微鏡I中設(shè)置有控制各部分結(jié)構(gòu)的控制部11?？刂撇?1控制滑塊移動機構(gòu)6的驅(qū)動，使工作臺4關(guān)于鉛直方向移動到各種位置。當工作臺4移動時，工作臺4上的樣本S與物鏡2之間的距離變動，因此沿著從配置在工作臺4上的樣本S到對焦透鏡9a的光的路徑的距離發(fā)生變動。另一方面，當設(shè)為對焦透鏡9a的焦距恒定、且對焦透鏡9a與攝像元件10之間的距離也恒定時，為了以被攝體像正好對焦到攝像元件10上的方式進行成像，需要將沿著從被攝體到對焦透鏡9a的光的路徑的距離設(shè)為預定大小。以下，在被攝體中，將正好對焦到對焦透鏡9a的位置稱作“焦點位置”。
[0044]當樣本S相對于對焦透鏡9a處于焦點位置時，樣本S的像在對焦的狀態(tài)下形成在攝像元件10上。但是，顯微鏡I中使用的高倍率的透鏡的焦深較淺。因此，在樣本S的表面有凹凸的情況下，到對焦透鏡9a為止的距離按照樣本S表面的每個位置而不同。當該距離的差異變?yōu)橄鄬股顭o法忽視的大小時，即使將樣本S的表面上的特定區(qū)域配置到了焦點位置，特定區(qū)域以外的區(qū)域也從焦點位置偏離，從而可能產(chǎn)生圖像模糊的情況。例如圖2所示，對于樣本S的表面上的區(qū)域Si和區(qū)域s2，關(guān)于沿著光的路徑的方向，到對焦透鏡9a為止的距離Dl和D2相互不同。因此，即使在該狀態(tài)下區(qū)域Si對焦，在區(qū)域s2中也可能未對焦。為了取得在被攝體的所有區(qū)域中對焦后的圖像，考慮利用焦點位置一點點地不同的多個圖像聚集對焦后的區(qū)域的像素并合成。
[0045]因此，控制部11控制滑塊移動機構(gòu)6，從而以焦點位置一點點地不同的方式配置樣本S，并且控制攝像元件10，從而拍攝各焦點位置處的樣本S的被攝體像。所拍攝的圖像彼此的焦點位置一點點地不同，因此在被攝體中對焦的區(qū)域一點點地不同。每當攝像元件10將焦點位置不同的I個圖像數(shù)據(jù)輸出到圖像處理部100時，控制部11從設(shè)置于滑塊移動機構(gòu)6的位置檢測傳感器的檢測結(jié)果中，取得與該焦點位置對應的工作臺4的位置，并輸出到圖像處理部100。通過反復這些處理，從攝像元件10輸出焦點位置不同的L個(L:2以上的自然數(shù))圖像，并且從控制部11輸出與L個圖像相關(guān)聯(lián)的L個工作臺位置信息。
[0046]圖像處理部100根據(jù)與從攝像元件10輸入的L個被攝體圖像對應的圖像數(shù)據(jù)，生成與關(guān)于各像素對焦后的全焦點圖像對應的圖像數(shù)據(jù)。為了該處理，圖像處理部100具有前級處理部110、灰度變換部101、多分辨率變換部102、焦點位置概率計算部120、可靠度設(shè)定部103、最優(yōu)焦點位置取得部130和后級處理部140的各功能部。
[0047]圖像處理部100 由 CPlXCentral Processing Unit:中央處理器)、R0M(Read OnlyMemory:只讀存儲器)及其他的各種硬件，和ROM所存儲的程序及其他的軟件構(gòu)成。通過該軟件使硬件以實現(xiàn)前級處理部110等各功能部的方式發(fā)揮功能，實現(xiàn)了圖像處理部100。或者，可以由各功能部中的運算處理專用的電子電路等構(gòu)成前級處理部110等，還可以構(gòu)成為各功能部中的運算處理專用的電子電路等、與通過硬件和軟件的組合實現(xiàn)各功能部的結(jié)構(gòu)相互協(xié)作。用于圖像處理部100的軟件可以存儲在磁記錄介質(zhì)、光學記錄介質(zhì)或USB存儲器等各種記錄介質(zhì)中。并且，可以通過由計算機依照從這些記錄介質(zhì)讀出的軟件發(fā)揮功能而實現(xiàn)圖像處理部100。
[0048]圖像處理部100具有的各功能部通過處理圖像數(shù)據(jù)，對與該圖像數(shù)據(jù)對應的圖像實施各種圖像處理。由此，各功能部直接進行處理的是圖像數(shù)據(jù)，但以下為了避免冗長的表述，有時表述為各功能部對圖像自身直接實施各種圖像處理。這樣的表述表示對與該圖像對應的圖像數(shù)據(jù)實施與該圖像處理對應的處理。
[0049]前級處理部110具有位置偏差校正部111、攝像倍率校正部112和RGB圖像取得部113。位置偏差校正部111對來自攝像元件10的L個被攝體圖像彼此進行比較，從而檢測被攝體的與水平方向相關(guān)的位置偏差。該位置偏差表示成圖像中的與X方向以及y方向相關(guān)的位置偏差(參照圖3的圖像IM1)。位置偏差校正部111通過使被攝體圖像中的被攝體的位置錯開，以被攝體的位置在焦點位置不同的被攝體圖像彼此中一致的方式校正被攝體圖像。
[0050]攝像倍率校正部112根據(jù)從控制部11輸入的工作臺4的位置信息，校正被攝體圖像的倍率。根據(jù)攝像光學系統(tǒng)9的結(jié)構(gòu)，當被攝體的焦點位置變動時，攝像倍率有時發(fā)生變動。攝像倍率校正部112與工作臺4的位置關(guān)聯(lián)地，保持與伴隨焦點位置變動的攝像倍率變動量對應的放大縮小率。由此，攝像倍率校正部112導出與從控制部11輸入的工作臺4的位置對應的放大縮小率。并且，攝像倍率校正部112依照所導出的放大縮小率放大或縮小被攝體圖像。由此，攝像倍率校正部112以倍率在焦點位置不同的L個被攝體圖像彼此中一致的方式校正各被攝體圖像的倍率。
[0051]如圖3所示，RGB圖像取得部113根據(jù)與由位置偏差校正部111和攝像倍率校正部112實施校正后的L個被攝體圖像Ml對應的圖像數(shù)據(jù)，生成與在各像素中R、G和B的各色的成分值全部已確定的L個圖像頂2對應的RGB圖像數(shù)據(jù)IM2。如上所述，在與圖像IMl對應的圖像數(shù)據(jù)中，按照每個像素，僅包含R、G和B的任意一部分的值。因此，RGB圖像取得部113在各像素中，根據(jù)位于該像素周圍的像素的值對不足成分的值進行插值。例如，RGB圖像取得部113通過將對作為插值對象的像素周圍的像素值乘以權(quán)重后的值相加，計算插值后的像素值。由此，RGB圖像取得部113分別關(guān)于焦點位置不同的L個被攝體圖像，生成與圖像頂2對應的RGB圖像數(shù)據(jù)。
[0052]如圖3所示，灰度變換部101將與由RGB圖像取得部113生成的L個圖像頂2對應的RGB圖像數(shù)據(jù)變換為與L個灰度圖像IM3對應的灰度圖像數(shù)據(jù)。變換方法可采用各種方法。在作為一例而米用基于NTSC (National Television System Committee:全國電視系統(tǒng)委員會)方式的從RGB信號變換為亮度信號的方法的情況下，灰度變換部101使用以下的式子計算灰度圖像的各像素值:Y = 0.298912 * R + 0.586611 * G + 0.114478 * B。另外，Y是灰度圖像的各像素值，R、G和B是RGB圖像的各像素中R的成分值、G的成分值和B的成分值。
[0053]多分辨率變換部102對與灰度變換部101生成的灰度圖像數(shù)據(jù)對應的圖像實施多分辨率變換。該多分辨率變換可采用高斯金字塔變換、拉普拉斯金字塔變換等各種方法。在本實施方式中采用離散小波變換。作為離散小波變換，使用采用了 Haar Wabelet,Daubechies Wavelet、Cohen — Daubechies — Feauveau Wavelet 中的任意一個的變換方法。
[0054] 離散小波變換通過反復如下處理而進行，即將圖像分解成高頻成分和低頻成分，并且將分解后的低頻成分進一步分解成高頻成分和低頻成分。由此，取得作為被分解成高頻成分和低頻成分的圖像的多個分辨率分解圖像。向高頻成分和低頻成分的分解中采用了各種濾波處理。用于該濾波處理的濾波器包含與圖像的X方向相關(guān)的高通濾波器和低通濾波器、以及與圖像的y方向相關(guān)的高通濾波器和低通濾波器。以下，將這些與各方向相關(guān)的濾波器稱作χ高通濾波器、χ低通濾波器、y高通濾波器和?低通濾波器。
[0055]對圖像實施濾波處理的具體方法如下所示。多分辨率變換部102按照每個濾波器具有表示多個濾波矩陣的數(shù)據(jù)。例如，多分辨率變換部102具有表示與χ高通濾波器對應的濾波矩陣的數(shù)據(jù)、和表示與y低通濾波器對應的濾波矩陣的數(shù)據(jù)。濾波矩陣由多個濾波系數(shù)構(gòu)成，各濾波系數(shù)按照實施濾波的區(qū)域所包含的每個像素進行設(shè)定。多分辨率變換部102將濾波矩陣所包含的各濾波系數(shù)乘以與該系數(shù)對應的位置的像素值。并且，多分辨率變換部102將相乘后的值相加，并該相加后的和設(shè)為該濾波處理后的像素值。此外，多分辨率變換部102分別關(guān)于χ方向和?方向，以濾波處理后的圖像整體中的像素數(shù)成為濾波處理前的圖像整體中的像素數(shù)的一半的方式實施各濾波處理。
[0056]多分辨率變換部102通過對灰度圖像變換部生成的圖像數(shù)據(jù)實施各種濾波處理，如以下那樣實施第1次的小波變換。首先，多分辨率變換部102在使用χ高通濾波器實施了濾波處理后，使用I低通濾波器實施濾波處理。由此，在灰度圖像中，取得關(guān)于χ方向為高頻、關(guān)于y方向為低頻的成分。以下，將該成分稱作HL成分。
[0057]同樣，多分辨率變換部102在使用χ高通濾波器實施了濾波處理后，使用I高通濾波器實施濾波處理。由此，取得關(guān)于X方向和y方向均為高頻的成分。以下，將該成分稱作HH成分。此外，多分辨率變換部102在使用X低通濾波器實施了濾波處理后，使用y高通濾波器實施濾波處理。由此，取得關(guān)于χ方向為低頻、且關(guān)于y方向為高頻的成分。以下，將該成分稱作LH成分。并且，多分辨率變換部102在使用χ低通濾波器實施了濾波處理后，使用y低通濾波器實施濾波處理。由此，取得關(guān)于χ方向和y方向均為低頻的成分。以下，將該成分稱作LL成分。由此，通過小波變換，根據(jù)灰度圖像，生成由HH成分、HL成分、LH成分和LL成分構(gòu)成的具有多個頻帶的成分的分辨率分解圖像。將分辨率分解圖像的各成分所包含的、通過小波變換導出的一個個值稱作小波系數(shù)(通過小波變換生成的變換系數(shù))。
[0058]圖4 (a)是在與χ方向和y方向?qū)腣方向和w方向上，2行2列地排列通過第1次的小波變換生成的HH成分、HL成分、LH成分和LL成分后的圖。這些成分以如下方式排列，即HH成分變?yōu)橛蚁陆?，HL成分變?yōu)橛疑辖牵琇H成分變?yōu)樽笙陆?，LL成分變?yōu)樽笊辖恰?br> [0059]多分辨率變換部102對通過第1次的小波變換生成的LL成分同樣實施第2次的小波變換。由此，可再次得到HH成分、HL成分、LH成分和LL成分。這樣，通過反復對上次利用小波變換得到的LL成分進一步實施小波變換，每當實施小波變換時得到HH成分、HL成分、LH成分和LL成分的各成分。以下，將實施η次小波變換(η:自然數(shù))的情況稱作η級次(level)。按照每次小波變換以圖4 (a)所示的排列將這各個圖像配置到了上次小波變換中的LL成分的位置處的圖像是圖4 (b)的圖像IM4。將這樣配置分辨率分解圖像中的各成分的表現(xiàn)稱作多分辨率表現(xiàn)。作為一例，圖像IM4示出了 3級次的多分辨率表現(xiàn)。
[0060]如圖4 (b)所示，該多分辨率表現(xiàn)由通過各小波變換得到的HH成分、HL成分和LH成分，以及通過最后的小波變換得到的LL成分構(gòu)成。將各級次的HH成分、HL成分和LH成分稱作高頻成分，將最終生成的LL成分稱作低頻成分。圖4 (b)的LI表示I級次的高頻成分，L2表示2級次的高頻成分，L3表示3級次的高頻成分。在多分辨率表現(xiàn)中，和V方向相關(guān)的寬度與灰度圖像的和χ方向相關(guān)的寬度相等，和w方向相關(guān)的寬度與灰度圖像的和y方向相關(guān)的寬度相等?；叶葓D像的各像素值在多分辨率表現(xiàn)中被分解成頻帶不同的多個小波系數(shù)。因此，灰度圖像中的像素位置(χ，y)與多分辨率表現(xiàn)中的位置(V，w)不是一對一地對應，而是一對多的對應關(guān)系。例如圖5所示，灰度圖像M3中的像素Pl與Qll~Q34的小波系數(shù)對應，Qll~Q34是分別在多分辨率表現(xiàn)頂4的不同頻帶中與Pl對應的位置。[0061]由此，多分辨率變換部102分別根據(jù)焦點位置不同的L個灰度圖像數(shù)據(jù)生成與多分辨率表現(xiàn)對應的數(shù)據(jù)。按照每個焦點位置排列這樣得到的L個多分辨率表現(xiàn)后的表現(xiàn)為圖6 Ca)的多分辨率表現(xiàn)頂4 — I?頂4 _ L0多分辨率變換部102按照與v方向以及w方向相關(guān)的每個位置，依次計算多分辨率表現(xiàn)頂4 — I?頂4 —L的所有小波系數(shù)。S卩，在關(guān)于與V方向以及w方向相關(guān)的某個位置依次計算出多分辨率表現(xiàn)頂4 —I?頂4 — L的全部小波系數(shù)后，關(guān)于與V方向以及w方向相關(guān)的下一位置，依次計算多分辨率表現(xiàn)IM4 —I?頂4 — L的全部小波系數(shù)。
[0062]例如，圖6 (a)的由雙點劃線R2圍起的各點與和V方向以及w方向相關(guān)的位置相同。此外，由雙點劃線R3圍起的各點與和V方向以及w方向相關(guān)的位置相同，與由R2圍起的點的位置不同。此時，多分辨率變換部102例如在關(guān)于由R2圍起的點的位置計算多分辨率表現(xiàn)頂4 — I?頂4 —L的全部小波系數(shù)后，關(guān)于由R3圍起的點的位置計算多分辨率表現(xiàn)頂4 — I?頂4 —L的全部小波系數(shù)。多分辨率變換部102以這樣的順序計算小波系數(shù)的理由將后述。
[0063]焦點位置概率計算部120根據(jù)多分辨率變換部102生成的分辨率分解圖像，按照灰度圖像中的每個像素位置，計算與焦點位置相關(guān)的概率分布(焦點位置概率分布)。這里，將與焦點位置相關(guān)的概率值設(shè)為如下的值。以下，將i (1:灰度圖像的總像素數(shù)以下的自然數(shù))設(shè)為區(qū)別灰度圖像的像素位置的下標，將Xi設(shè)為取L以下的自然數(shù)的變量。此時，將焦點位置概率計算部120計算的概率分布表示為Pi (Xi)0 Pi (Xi)表示在像素位置i處，對焦的圖像是L個圖像中的第Xi個圖像的可能性。換言之,Pi (Xi)相當于在像素位置i處被攝體的表面被配置到焦點位置的圖像是L個圖像中的第Xi個圖像的可能性。
[0064]為了導出這種概率分布，焦點位置概率計算部120具有圖像候選確定部121和概率分布計算部122。圖像候選確定部121按照多分辨率表現(xiàn)中的與V方向以及w方向相關(guān)的每個位置，從L個多分辨率表現(xiàn)中，提取作為用于計算概率分布的候選的M個(M:小于L的自然數(shù))多分辨率表現(xiàn)。候選的數(shù)量通過參數(shù)整定(parameter tuning)適當設(shè)定。關(guān)于與V方向以及w方向相關(guān)的該位置，從L個圖像中提取小波系數(shù)的絕對值較大的上位M個小波系數(shù)而取得該M個多分辨率表現(xiàn)。具體而言，圖像候選確定部121在焦點位置不同的圖像間對該位置處的小波系數(shù)的絕對值進行比較。并且，圖像候選確定部121在小波系數(shù)的絕對值的最大值到第M大的值的范圍內(nèi)提取該絕對值，并且提取與提取出的值對應的M個多分辨率表現(xiàn)。例如在圖6 Ca)的多分辨率表現(xiàn)頂4 — I?頂—4中，分別在Rl?R3中對由雙點劃線Rl、R2和R3圍起的各位置的小波系數(shù)進行比較。由此，作為一例，從小波系數(shù)的絕對值較大的值中提取M個絕對值后的結(jié)果、和與M個小波系數(shù)對應的多分辨率表現(xiàn)被表示為圖6 (b)。
[0065]本實施方式構(gòu)成為多分辨率變換部102和圖像候選確定部121如以下那樣協(xié)作執(zhí)行各自的處理，由此作為用于存儲小波系數(shù)的存儲器，準備存儲作為候選的值所需容量的存儲器即可。
[0066]如上所述，多分辨率變換部102關(guān)于全部多分辨率表現(xiàn)頂4 — I?頂4 _ L，依次計算關(guān)于V方向和w方向相同位置的小波系數(shù)。另一方面，圖像候選確定部121將多分辨率變換部102計算出的第I個?第M個小波系數(shù)依次存儲到候選存儲用的存儲器中。接著，圖像候選確定部121在多分辨率變換部102計算出第M + I個小波系數(shù)的階段，將該第M+ I個小波系數(shù)與已經(jīng)存儲在存儲器中的M個小波系數(shù)進行比較。并且，圖像候選確定部121只要是存儲器內(nèi)的M個值中的比第M + I個值小的值，則將該存儲器的值變更為第M + I個值。反復該過程直到多分辨率變換部102計算出與第L個多分辨率表現(xiàn)相關(guān)的小波系數(shù)為止，由此圖像候選確定部121關(guān)于與V方向以及w方向相關(guān)的該位置，確定M個小波系數(shù)的候選。通過這樣進行處理，按照與V方向以及w方向相關(guān)的每個位置，將確定圖像候選所需的存儲器容量限定為可存儲M個值的大小。
[0067]概率分布計算部122根據(jù)圖像候選確定部121提取出的小波系數(shù)計算概率分布Pi(Xi)0概率分布計算部122按照每個像素位置i，使用多分辨率表現(xiàn)中的與該像素位置i對應的位置即對應位置、和該對應位置附近的位置即附近位置處的M個候選值。另外，M個候選值僅使用與各多分辨率表現(xiàn)所包含的高頻成分相關(guān)的候選值。
[0068]例如將圖5的灰度圖像IM3中的點Pl設(shè)為關(guān)注像素。在多分辨率表現(xiàn)頂4中與點Pl對應的高頻成分中的對應位置是Qll~Q33。此外，作為對應位置Qll~Q33的附近位置，作為一例，使用了由分別關(guān)于V方向和w方向與各對應位置相鄰的4個位置、和在傾斜方向上與各對應位置相鄰的4個位置構(gòu)成的8個位置。例如圖5所示,關(guān)于Q13,使用了由作為對應位置的Q13自身及其附近位置構(gòu)成的縱3個橫3個位置的合計9個位置處的候選值。因此，作為Qll~Q33的整體，合計使用了 81個對應位置和附近位置處的候選值。
[0069]概率分布計算部122在設(shè)與對應位置或附近位置對應的灰度圖像的像素位置為
1、與該候選值對應的多分辨率表現(xiàn)為頂―Xi時，將對應位置或附近位置的候選值投票到概率值Pi (Xi)0例如圖7所示，將某個對應位置的第I候選值、第2候選值、…、第M候選值設(shè)為與多分辨率頂4 — 2、頂―4、…、頂―η (n:L以下的自然數(shù))對應的候選值。此時，該對應位置的第I候選值、第2候選值、…、第M候選值被投票到Pi (2)、Pi (4)、…、Pi (η)。
[0070]具體而言，投票通過以下那樣的運算進行。首先，Pi (IXPi (2)、…、Pi (L)關(guān)于全部i給出初始值O。并且，在將作為投票一側(cè)的位置的對應位置或附近位置設(shè)為投票位置(v，w)、作為被投票一側(cè)的位置的對應位置設(shè)為投票中心(Vc;，w。)、對應位置或附近位置中的候選值設(shè)為Vw時，與候選值Vw對應的投票值如下述數(shù)學式I那樣進行計算。參數(shù)λ、Θ根據(jù)狀況進行設(shè)定，但作為一例，設(shè)定為λ =0.1、Θ = 1.0等。min (α，β )表示α和β中的較小的值。
[0071][數(shù)學式I]
【權(quán)利要求】
1.一種全焦點圖像生成方法，其特征在于，具有: 攝像步驟，拍攝焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像； 灰度圖像取得步驟，根據(jù)在所述攝像步驟中拍攝的像，按照每個所述焦點位置取得所述被攝體的灰度圖像； 多分辨率圖像生成步驟，通過對在所述灰度圖像取得步驟中取得的所述灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像； 焦點位置概率計算步驟，根據(jù)在所述多分辨率圖像生成步驟中生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布； 最優(yōu)焦點位置取得步驟，根據(jù)在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及 對焦圖像合成步驟，基于在所述最優(yōu)焦點位置取得步驟中取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，根據(jù)在所述攝像步驟中拍攝的每個所述焦點位置的像取得與所述最優(yōu)的焦點位置對應的像素值，并且將與所取得的像素值對應的像素配置到該像素位置而生成對焦圖像， 在所述最優(yōu)焦點位置取得步驟中，將1、j設(shè)為表示所述像素位置的下標，將X1、\設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配Xi作為所述焦點位置的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di (Xi)、和Xi與Xj的差的絕對值越大越取大值的懲罰函數(shù)V (Xi，Xp相加后的函數(shù)設(shè)為評價函數(shù)E時，使用概率傳播法，近似導出與使得E變?yōu)?最小的所述多個像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
2.根據(jù)權(quán)利要求1所述的全焦點圖像生成方法，其特征在于， 所述焦點位置概率計算步驟包含: 提取步驟，按照所述分辨率分解圖像中的每個像素，對在所述多分辨率圖像生成步驟中生成的、所述焦點位置不同的多個所述分辨率分解圖像的變換系數(shù)彼此進行比較，并從進行了比較的變換系數(shù)中的絕對值最大的變換系數(shù)起按照從大到小的順序提取預定數(shù)量的變換系數(shù)，并且提取與提取出的各變換系數(shù)對應的所述分辨率分解圖像中的所述焦點位置；以及 概率計算步驟，關(guān)于所述多個頻率成分中的除去低頻成分后的多個高頻成分各個中的、與像素位置i對應的所述分辨率分解圖像中的位置即對應位置，和該對應位置附近的位置即附近位置，將與在所述提取步驟中提取出的各變換系數(shù)對應的權(quán)重相加，作為與對應于該變換系數(shù)的所述焦點位置處的像素位置i相關(guān)的概率值。
3.根據(jù)權(quán)利要求2所述的全焦點圖像生成方法，其特征在于， 在將所述附近位置設(shè)為(V，w)，將所述對應位置設(shè)為(\，《。)，將Vvw設(shè)為在所述提取步驟中關(guān)于所述附近位置(V，w)提取出的變換系數(shù)，將λ和Θ設(shè)為預定常數(shù)時，與所述變換系數(shù)對應的權(quán)重與由下述數(shù)學式I表示的值成比例， 【數(shù)學式I】
4.根據(jù)權(quán)利要求1~3中的任意一項所述的全焦點圖像生成方法，其特征在于， 所述最優(yōu)焦點位置取得步驟包含: 消息計算步驟，關(guān)于相鄰的全部1、j和Xj，按照t = 0、1、2、…、T的順序,計算由下述數(shù)學式2表示的消息Hiti — P直到消息收斂的t = T為止；以及 焦點位置計算步驟，通過下述數(shù)學式3計算所述最優(yōu)的焦點位置χΛ 【數(shù)學式2】
5.根據(jù)權(quán)利要求4所述的全焦點圖像生成方法，其特征在于， 所述最優(yōu)焦點位置取得步驟包含: 低分辨率化步驟，根據(jù)以原來的分辨率通過Di (Xi)計算出的成本值，利用I次或多次降采樣來導出低分辨率的成本值； 低分辨率消息計算步驟，根據(jù)在所述低分辨率化步驟中導出的低分辨率的成本值和懲罰函數(shù)執(zhí)行所述消息計算步驟；以及 高分辨率消息計算步驟，將在所述低分辨率消息計算步驟中計算到收斂為止的消息作為初始值，根據(jù)更高分辨率的成本值執(zhí)行所述消息計算步驟。
6.根據(jù)權(quán)利要求4或5述的全焦點圖像生成方法，其特征在于， 所述全焦點圖像生成方法還具有可靠度設(shè)定步驟，在所述可靠度設(shè)定步驟中，根據(jù)在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布，對于每個所述像素位置的可靠度，在該像素位置處的所述焦點位置概率分布的最大值在預定閾值以下的情況下，相比所述最大值超過預定閾值的情況，將該像素位置的可靠度設(shè)定得較低， Di (Xi)是在所述可靠度設(shè)定步驟中設(shè)定的像素位置i處的所述可靠度越低其越大的函數(shù)。
7.根據(jù)權(quán)利要求6所述的全焦點圖像生成方法，其特征在于， 在將Pi (Xi)設(shè)為所述焦點位置概率分布的像素位置1、所述焦點位置Xi處的概率值，將Ri設(shè)為在所述可靠度設(shè)定步驟中設(shè)定的像素位置i處的所述可靠度時，Di (\)和V Cxi,Xj)通過下述數(shù)學式4和5表示， 【數(shù)學式4】
Di (Xi) = -RiXPi (Xi) 【數(shù)學式5】
8.一種全焦點圖像生成裝置，其根據(jù)焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像生成被攝體的對焦圖像，所述全焦點圖像生成裝置的特征在于，具有: 多分辨率變換圖像生成單元，其通過對被攝體的每個所述焦點位置的灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像； 焦點位置概率計算單元，其根據(jù)所述多分辨率變換圖像生成單元生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布； 最優(yōu)焦點位置取得單元，其根據(jù)所述焦點位置概率計算單元計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及 對焦圖像合成單元，其基于所述最優(yōu)焦點位置取得單元取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，根據(jù)每個所述焦點位置的被攝體的像取得與所述最優(yōu)的焦點位置對應的像素值，并且將與所取得的像素值對應的像素配置到該像素位置而生成對焦圖像， 所述最優(yōu)焦點位置取得單元將1、j設(shè)為表示所述像素位置的下標，將X1、\設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配了所述焦點位置Xi的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于所述焦點位置概率計算單元計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di (Xi)、和Xi與Xj的差的絕對值越大越取大值的懲罰函數(shù)V (Xi, Xj)相加后的函數(shù)設(shè)為評價函數(shù)E時,使用概率傳播法,近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
9.根據(jù)權(quán)利要求8所述的全焦點圖像生成裝置，其特征在于， 所述焦點位置概率計算單元包含: 提取單元，其按照所述分辨率分解圖像中的每個像素，對所述多分辨率變換圖像生成單元生成的、所述焦點位置不同的多個所述分辨率分解圖像的變換系數(shù)彼此進行比較，并從進行了比較的變換系數(shù)中的絕對值最大的變換系數(shù)起按照從大到小的順序提取預定數(shù)量的變換系數(shù)，并且提取與提取出的各變換系數(shù)對應的所述分辨率分解圖像中的所述焦點位置；以及 概率計算單元，其關(guān)于所述多個頻率成分中的除去低頻成分后的多個高頻成分各個中的、與像素位置i對應的所述分辨率分解圖像中的位置即對應位置，和該對應位置附近的位置即附近位置，將與在所述提取步驟中提取出的各變換系數(shù)對應的權(quán)重相加，作為與對應于該變換系數(shù)的所述焦點位置處的像素位置i相關(guān)的概率值。
10.根據(jù)權(quán)利要求8或9述的全焦點圖像生成裝置，其特征在于， 所述最優(yōu)焦點位置取得單元包含: 消息計算單元，其關(guān)于相鄰的全部1、j和Xp按照t = 0、1、2、…、T的順序，計算由下述數(shù)學式6表示的消息Hiti — P直到消息收斂的t = T為止；以及 焦點位置計算單元，其通過下述數(shù)學式7計算所述最優(yōu)的焦點位置χΛ
11.一種全焦點圖像生成程序，其使計算機發(fā)揮功能，使得根據(jù)焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像生成被攝體的對焦圖像，所述全焦點圖像生成程序的特征在于，使計算機執(zhí)行以下步驟: 多分辨率變換圖像生成步驟，通過對被攝體的每個所述焦點位置的灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像； 焦點位置概率計算步驟，根據(jù)在所述多分辨率變換圖像生成步驟中生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布； 最優(yōu)焦點位置取得步驟，根據(jù)在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及 對焦圖像合成步驟，基于在所述最優(yōu)`焦點位置取得步驟中取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，根據(jù)在所述攝像步驟中拍攝的每個所述焦點位置的像取得與所述最優(yōu)的焦點位置對應的像素值，并且將與所取得的像素值對應的像素配置到該像素位置而生成對焦圖像， 并且使計算機發(fā)揮功能，使得在所述最優(yōu)焦點位置取得步驟中，將1、j設(shè)為表示所述像素位置的下標，將X1、Xj設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配Xi作為所述焦點位置的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di Cxi),和Xi與\的差的絕對值越大越取大值的懲罰函數(shù)V (Xi，Xp相加后的函數(shù)設(shè)為評價函數(shù)E時，使用概率傳播法，近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
12.根據(jù)權(quán)利要求11所述的全焦點圖像生成程序，其特征在于， 所述焦點位置概率計算步驟包含: 提取步驟，按照所述分辨率分解圖像中的每個像素，對在所述多分辨率變換圖像生成步驟中生成的、所述焦點位置不同的多個所述分辨率分解圖像的變換系數(shù)彼此進行比較，并從進行了比較的變換系數(shù)中的絕對值最大的變換系數(shù)起按照從大到小的順序提取預定數(shù)量的變換系數(shù)，并且提取與提取出的各變換系數(shù)對應的所述分辨率分解圖像中的所述焦點位置；以及概率計算步驟，關(guān)于所述多個頻率成分中的除去低頻成分后的多個高頻成分各個中的、與像素位置i對應的所述分辨率分解圖像中的位置即對應位置，和該對應位置附近的位置即附近位置，將與在所述提取步驟中提取出的各變換系數(shù)對應的權(quán)重相加，作為與對應于該變換系數(shù)的所述焦點位置處的像素位置i相關(guān)的概率值。
13.根據(jù)權(quán)利要求11或12所述的全焦點圖像生成程序，其特征在于， 所述最優(yōu)焦點位置取得步驟包含: 消息計算步驟，關(guān)于相鄰的全部1、j和Xj，按照t = 0、1、2、…、T的順序,計算由下述數(shù)學式8表示的消息Hiti — P直到消息收斂的t = T為止；以及 焦點位置計算步驟，通過下述數(shù)學式9計算所述最優(yōu)的焦點位置χΛ 【數(shù)學式8】
14.一種被攝體高度信息取得方法，其特征在于，具有: 攝像步驟，拍攝與根據(jù)焦點位置換算出的高度信息關(guān)聯(lián)的、焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像； 灰度圖像取得步驟，根據(jù)在所述攝像步驟中拍攝的像，按照每個所述焦點位置取得所述被攝體的灰度圖像； 多分辨率變換圖像生成步驟，通過對在所述灰度圖像取得步驟中取得的所述灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像； 焦點位置概率計算步驟，根據(jù)在所述多分辨率變換圖像生成步驟中生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布； 最優(yōu)焦點位置取得步驟，根據(jù)在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及 高度信息取得步驟，根據(jù)在所述最優(yōu)焦點位置取得步驟中取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，取得根據(jù)焦點位置換算出的高度信息， 在所述最優(yōu)焦點位置取得步驟中，將1、j設(shè)為表示所述像素位置的下標，將X1、\設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配Xi作為所述焦點位置的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di (Xi)、和Xi與Xj的差的絕對值越大越取大值的懲罰函數(shù)V (Xi，Xp相加后的函數(shù)設(shè)為評價函數(shù)E時，使用概率傳播法，近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
15.一種被攝體高度信息取得裝置，其基于與根據(jù)焦點位置換算出的高度信息關(guān)聯(lián)的、焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像，取得該被攝體的位置，所述被攝體高度信息取得裝置的特征在于，具有: 多分辨率變換圖像生成單元，其通過對被攝體的每個所述焦點位置的灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像； 焦點位置概率計算單元，其根據(jù)所述多分辨率變換圖像生成單元生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布； 最優(yōu)焦點位置取得單元，其根據(jù)所述焦點位置概率計算單元計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及 高度信息取得單元，其根據(jù)所述最優(yōu)焦點位置取得單元取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，取得根據(jù)焦點位置換算出的高度信息， 所述最優(yōu)焦點位置取得單元將1、j設(shè)為表示所述像素位置的下標，將X1、\設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配了所述焦點位置Xi的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于所述焦點位置概率計算單元計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di (Xi)、和Xi與Xj的差的絕對值越大越取大值的懲罰函數(shù)V (Xi, Xj)相加后的函數(shù)設(shè)為評價函數(shù)E時,使用概率傳播法,近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。
16.一種被攝 體高度信息取得程序，其使計算機發(fā)揮功能，使得基于與根據(jù)焦點位置換算出的高度信息關(guān)聯(lián)的、焦點位置不同的L個(L:2以上的自然數(shù))被攝體圖像，取得該被攝體的高度信息，所述被攝體高度信息取得程序的特征在于，使計算機執(zhí)行以下步驟: 多分辨率變換圖像生成步驟，通過對被攝體的每個所述焦點位置的灰度圖像實施多分辨率變換，按照每個所述焦點位置生成所述灰度圖像被分解成多個頻帶的成分后的圖像即分辨率分解圖像； 焦點位置概率計算步驟，根據(jù)在所述多分辨率變換圖像生成步驟中生成的所述分辨率分解圖像，按照所述灰度圖像的每個像素位置計算與所述焦點位置相關(guān)的概率分布即焦點位置概率分布； 最優(yōu)焦點位置取得步驟，根據(jù)在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布，按照每個所述像素位置取得最優(yōu)的所述焦點位置；以及 高度信息取得步驟，根據(jù)在所述最優(yōu)焦點位置取得步驟中取得的所述最優(yōu)的焦點位置，按照每個所述像素位置，取得根據(jù)焦點位置換算出的高度信息， 并且使計算機發(fā)揮功能，使得在所述最優(yōu)焦點位置取得步驟中，將1、j設(shè)為表示所述像素位置的下標，將X1、Xj設(shè)為取L以下的自然數(shù)的變量，在關(guān)于多個像素位置i分配Xi作為所述焦點位置的情況下，將關(guān)于所述多個像素位置i和相鄰的1、j將基于在所述焦點位置概率計算步驟中計算出的所述焦點位置概率分布的每個像素位置i的成本函數(shù)Di Cxi),和Xi與\的差的絕對值越大越取大值的懲罰函數(shù)V (Xi，Xp相加后的函數(shù)設(shè)為評價函數(shù)E時，使用概率傳播法，近似導出與使得E變?yōu)樽钚〉乃龆鄠€像素位置i相關(guān)的Xi的組合，作為所述最優(yōu)的焦點位置。`
【文檔編號】G02B21/36GK103875019SQ201280049489
【公開日】2014年6月18日 申請日期:2012年10月11日 優(yōu)先權(quán)日:2011年10月11日
【發(fā)明者】曹暉 申請人:安奇邏輯股份有限公司