相關(guān)申請

本申請主張2014年6月10日提交的第62/010,000號美國臨時專利申請的優(yōu)先權(quán)權(quán)益，該申請的內(nèi)容以引用方式全文并入本文中。

技術(shù)領(lǐng)域和

背景技術(shù)：

在一些實施例中，本發(fā)明涉及成像，確切地說，但不排他地，涉及一種用于圖像處理的方法和系統(tǒng)。

由于高質(zhì)量和低成本CMOS技術(shù)和社交網(wǎng)絡的日益流行，數(shù)碼相機得到廣泛使用。對高分辨率和高質(zhì)量相機的需求，尤其是智能電話對此的需求，導致競爭市場持續(xù)嘗試創(chuàng)造更好的相機。

數(shù)字圖像質(zhì)量由成像系統(tǒng)特性和焦平面陣列傳感器確定。隨著像素數(shù)量和密度增加，成像系統(tǒng)分辨率現(xiàn)在主要由光學系統(tǒng)限制約束。智能電話中的有限體積使得很難通過光學解決方案來改善圖像質(zhì)量，因此，近年來的多數(shù)進展都與軟件相關(guān)。

參考文獻[1]公開二元對稱相位掩模，允許針對不同的用途增加相機的景深(DOF)，諸如，條形碼讀取、人臉檢測，以及其他計算機視覺相關(guān)應用。參考文獻[2]公開RGB相位掩模，借以得到針對R、G和B通道的不同響應，從而導致同時捕獲三個圖像，每個圖像具有不同的離焦特性但具有相同的放大率和完美的配準。物體空間中的不同區(qū)域可在一個通道中展現(xiàn)良好的灰度特征，并且在另外兩個通道中展現(xiàn)較差的灰度圖像。共同分析的三個通道(RGB)實現(xiàn)擴展DOF系統(tǒng)響應。

附加的背景技術(shù)包括第8,682,066號美國專利，該專利的內(nèi)容以引用方式并入。

技術(shù)實現(xiàn)要素：

根據(jù)本發(fā)明的一些實施例的一方面，提供一種處理圖像的方法。所述方法包括：將所述圖像分解成多個通道。在一些實施例中，每個通道的特征在于不同的景深。所述方法進一步包括：訪問計算機可讀介質(zhì)，所述計算機可讀介質(zhì)存儲在多個字典原子上定義的聚焦字典(in-focus dictionary)和在字典原子的多個集合上定義的離焦字典(out-of-focus dictionary)，每個集合對應于不同的離焦狀況；以及在所述字典上計算分解圖像的至少一個稀疏表示。

根據(jù)本發(fā)明的一些實施例，所述分解在圖像捕獲時光學地完成。

根據(jù)本發(fā)明的一些實施例，所述分解由數(shù)字圖像處理完成。

根據(jù)本發(fā)明的一些實施例的一方面，提供一種成像的方法。所述方法包括：通過成像裝置來捕獲場景的圖像，所述成像裝置具有經(jīng)選擇以將所述圖像光學分解成多個通道的光學掩模。在本發(fā)明的一些實施例中，每個通道的特征在于所述成像裝置的空間頻率響應的不同深度依賴性。所述方法進一步包括：訪問計算機可讀介質(zhì)，所述計算機可讀介質(zhì)存儲在多個字典原子上定義的聚焦字典和在字典原子的多個集合上定義的離焦字典，每個集合對應于不同的離焦狀況；以及在所述字典上計算分解圖像的至少一個稀疏表示。

根據(jù)本發(fā)明的一些實施例的一方面，提供一種成像系統(tǒng)。所述系統(tǒng)包括：成像裝置，所述成像裝置具有光學掩模并且被配置成捕獲場景的圖像，其中所述光學掩模經(jīng)選擇以將所述圖像光學分解成多個通道。在本發(fā)明的一些實施例中，每個通道的特征在于所述成像裝置的空間頻率響應的不同深度依賴性。所述系統(tǒng)任選并且優(yōu)選包括：計算機可讀介質(zhì)，所述計算機可讀介質(zhì)存儲在多個字典原子上定義的聚焦字典和在字典原子的多個集合上定義的離焦字典，每個集合對應于不同的離焦狀況；以及數(shù)據(jù)處理器，所述數(shù)據(jù)處理器被配置成訪問所述計算機可讀介質(zhì)并且在所述字典上計算分解圖像的至少一個稀疏表示。

根據(jù)本發(fā)明的一些實施例的一方面，提供一種便攜式裝置，所述便攜式裝置包括所述成像系統(tǒng)。

根據(jù)本發(fā)明的一些實施例，所述便攜式裝置選自由以下組成的組：蜂窩電話、智能電話、平板裝置、移動數(shù)碼相機、佩戴式相機、個人計算機、筆記本電腦、便攜式媒體播放器、便攜式游戲裝置、便攜式數(shù)字助理裝置，以及便攜式導航裝置。

根據(jù)本發(fā)明的一些實施例的一方面，提供一種計算機軟件產(chǎn)品。所述計算機軟件產(chǎn)品包括計算機可讀介質(zhì)，任選且優(yōu)選地，非瞬時計算機可讀介質(zhì)，其中存儲有聚焦字典、離焦字典和程序指令，其中所述聚焦字典在多個字典原子上定義，并且所述離焦字典在字典原子的多個集合上定義，每個集合對應于不同的離焦狀況，以及其中所述指令在被數(shù)字處理器讀取時導致所述數(shù)據(jù)處理器接收圖像，以將所述圖像分解成多個通道、訪問所述聚焦字典和所述離焦字典，以及在所述字典上計算分解圖像的至少一個稀疏表示。

根據(jù)本發(fā)明的一些實施例，所述多個通道是多個顏色通道。

根據(jù)本發(fā)明的一些實施例，在沒有迭代的情況下執(zhí)行所述稀疏表示的計算。

根據(jù)本發(fā)明的一些實施例，將所述圖像分成多個分塊，并且通過將每個分塊表示為所述離焦字典的子字典的原子的組合來執(zhí)行所述稀疏表示的所述計算。

根據(jù)本發(fā)明的一些實施例，所述分塊中的至少一個(例如，至少50％或至少60％或至少70％)的每個分塊與至少一個相鄰分塊重疊。

根據(jù)本發(fā)明的一些實施例，針對至少幾對相鄰分塊中的每個，所述重疊等于所述對中的每個分塊的面積的至少50％或至少60％或至少70％或至少80％。

根據(jù)本發(fā)明的一些實施例，所述離焦字典包括多個子字典，每個子字典的特征在于散焦參數(shù)，并且其中不同的子字典對應于所述散焦參數(shù)的不同值。

根據(jù)本發(fā)明的一些實施例，所述多個子字典中的每個可由所述聚焦字典的內(nèi)積通過以相應散焦參數(shù)為特征的核函數(shù)從所述聚焦字典獲取。

根據(jù)本發(fā)明的一些實施例，所述離焦字典包括至少三個子字典，更優(yōu)選地，至少四個子字典，更優(yōu)選地，至少五個子字典，更優(yōu)選地，至少六個子字典，更優(yōu)選地，至少七個子字典。

根據(jù)本發(fā)明的一些實施例，所述聚焦字典的至少P％的原子的特征在于空間頻率，所述空間頻率至多是預定截止頻率，所述預定截止頻率對應于沿著相應原子上的任何直線，暗片元素與明圖片元素之間的至多T個過渡，其中P是至少50或至少60或至少70或至少80或至少90，其中T等于或或或以及其中L是所述原子的寬度。

除非另行規(guī)定，否則本文所用的所有技術(shù)和/或科學術(shù)語與本發(fā)明所屬領(lǐng)域的一般技術(shù)人員通常理解的意義相同。盡管在實踐或測試本發(fā)明的實施例時可以使用類似于或等于本文所述這些的方法和材料，但下文描述示例性方法和/或材料。在產(chǎn)生沖突的情況下，將以本專利說明書(包括定義)為準。此外，所述材料、方法和實例僅僅是說明性的，而不意圖進行必要地限制。

本發(fā)明的實施例的方法和/或系統(tǒng)的實施方式可以涉及手動、自動或其組合地執(zhí)行或完成所選擇的任務。此外，根據(jù)本發(fā)明的方法和/或系統(tǒng)的實施例的實際儀器和設備，可以由硬件、軟件或固件或者它們的組合使用操作系統(tǒng)實施若干選擇的任務。

例如，用于執(zhí)行根據(jù)本發(fā)明的實施例的選擇任務的硬件可以實施為芯片或電路。至于軟件，根據(jù)本發(fā)明的實施例的選擇任務可以實施為由計算機使用任何合適的操作系統(tǒng)執(zhí)行的多個軟件指令。在本發(fā)明的一個示例性實施例中，根據(jù)如本文所述的方法和/或系統(tǒng)的示例性實施例的一個或多個任務由數(shù)據(jù)處理器執(zhí)行，諸如，用于執(zhí)行多個指令的計算平臺。任選地，數(shù)據(jù)處理器包括用于存儲指令和/或數(shù)據(jù)的易失性存儲器，和/或用于存儲指令和/或數(shù)據(jù)的非易失性存儲設備，例如，磁性硬盤和/或可移動介質(zhì)。任選地，也提供網(wǎng)絡連接。任選地還提供顯示器和/或用戶輸入裝置，諸如，鍵盤或鼠標。

附圖說明

本文中參考附圖和圖像以實例的方式描述本發(fā)明的一些實施例。現(xiàn)在詳細參考附圖，應強調(diào)，通過實例的方式并且出于說明性地論述本發(fā)明的實施例的目的來示出細節(jié)。就這點而言，結(jié)合附圖的描述使得所屬領(lǐng)域的技術(shù)人員明白可以如何實踐本發(fā)明的實施例。

在附圖中：

圖1是根據(jù)本發(fā)明的一些實施例的用于描述薄透鏡成像系統(tǒng)的坐標系的示意圖；

圖2示出根據(jù)本發(fā)明的一些實施例的針對散焦參數(shù)的不同值，就圓形孔徑計算出的調(diào)制傳遞函數(shù)(MTF)；

圖3A到圖3D示出根據(jù)本發(fā)明的一些實施例的具有與不具有RGB掩模的MTF響應之間的比較；

圖4A和圖4B示出根據(jù)本發(fā)明的一些實施例獲取的在通光孔徑(圖4A)和具有RGB掩模的孔徑(圖4B)的情況下根據(jù)散焦參數(shù)的單個頻率的F響應之間的比較；

圖5A到圖5R是根據(jù)本發(fā)明的一些實施例的通過配備掩模的光瞳(圖5D到圖5F、圖5J到圖5L以及圖5P到圖5R)以及通光孔徑系統(tǒng)(圖5A到圖5C、圖5G到圖5I以及圖5M到圖5O)在紅色通道(左邊一列)、綠色通道(中間一列)和藍色通道(右邊一列)獲取的Lena圖像，其中0(圖5A到圖5F)、3(圖5G到圖5L)和6(圖5M到圖5R)；

圖6A到圖6D示出根據(jù)本發(fā)明的一些實施例的在成像之前(圖6A和圖6C)和之后(圖6B和圖6D)的隨機選擇字典(圖6A和圖6B)和低空間頻率字典(圖6C和圖6D)；

圖7是根據(jù)本發(fā)明的實施例的過程的示意圖，其中使用原始字典構(gòu)建堆棧模糊字典(stack blurred dictionary)并且多個不同的模糊核對應于不同的散焦參數(shù)；

圖8A到圖8H示出根據(jù)本發(fā)明的一些實施例獲取的用于八個不同圖像的若干圖像處理技術(shù)之間的比較；

圖9A到圖9F示出根據(jù)本發(fā)明的一些實施例的圖像模糊和恢復的實例，其中圖9A示出輸入圖像，圖9B和圖9C示出對應于使用通光孔徑(圖9B)和相位掩模(圖9C)的離焦(＝6)的圖像，圖9D和圖9E是分別使用[8]中的過程應用到圖9B和圖9C的去模糊的結(jié)果，以及圖9F是使用多焦點字典(MFD)應用到圖9C的去模糊的結(jié)果；

圖10A到圖10C例示由有限數(shù)量的平面物體構(gòu)成的場景，其中圖10A示出位于距相機不同距離處的物體，圖10B示出輸入圖像，以及圖10C示出對應的深度圖；

圖11A到圖11C例示在不分解圖像的情況下，由有限數(shù)量的平面物體構(gòu)成的場景的恢復技術(shù)，其中圖11A示出散焦的圖像，圖11B示出恢復的圖像，以及圖11C示出根據(jù)每個區(qū)域中最常用的子字典的深度圖；

圖12A到圖12C例示在圖像分解的情況下，由有限數(shù)量的平面物體構(gòu)成的場景的恢復技術(shù)，其中圖12A示出散焦的圖像，圖12B示出恢復的圖像，以及圖12C示出根據(jù)每個區(qū)域中最常用的子字典的深度圖；

圖13A到圖13D示出將在沒有相位掩模和沒有后處理的情況下得到的圖像(圖13A和圖13C)與根據(jù)本發(fā)明的一些實施例捕獲和處理的圖像(圖13B和圖13D)比較的實驗結(jié)果；

圖14是描述根據(jù)本發(fā)明的一些實施例的用于處理圖像的方法的流程圖；

圖15是根據(jù)本發(fā)明的一些實施例的成像系統(tǒng)的示意圖；以及

圖16是根據(jù)本發(fā)明的一些實施例的相位掩模的示意圖。

具體實施方式

在一些實施例中，本發(fā)明涉及成像，確切地說，但不排他地，涉及一種用于圖像處理的方法和系統(tǒng)。

在詳細說明本發(fā)明的至少一個實施例之前，應理解，本發(fā)明不必將其應用限制于以下具體實施方式中列出和/或附圖和/或?qū)嵗惺境龅慕Y(jié)構(gòu)細節(jié)和部件和/或方法的布置。本發(fā)明能夠用于其他實施例，或者能用各種方式實踐或執(zhí)行。

自然圖像信號的稀疏表示是圖像表示、壓縮和恢復的有力工具。通過使用樣式的過完備字典，在本發(fā)明實例中，圖像中的小分塊呈現(xiàn)為字典中的一些原子(樣本)的線性組合。已知技術(shù)假設模糊核是已知的[3-5]，或使用迭代計算過程來評估此類核[6-9]。本發(fā)明的發(fā)明人發(fā)現(xiàn)：在沒有模糊核的先驗知識的情況下，RGB通道的相應之間的差異(例如，當成像系統(tǒng)包括相位掩模時)可以用來一次恢復模糊的圖像。

很多計算攝影相關(guān)工作中已經(jīng)提出光學與圖像處理之間的綜合。光場相機[10]提出一些關(guān)于焦點調(diào)控和改良DOF的功能。然而，本發(fā)明的發(fā)明人發(fā)現(xiàn)：光場相機分辨率低、有噪音并且需要獨特的設計，從而使得難以將它們與現(xiàn)有系統(tǒng)集成，諸如但不限于，智能電話、筆記本電腦攝像頭等。參考文獻[11]描述傳統(tǒng)相機的編碼孔徑，以實現(xiàn)類似的結(jié)果。不同的方法[12]使用具有極高色差的透鏡來實現(xiàn)顏色分離。本發(fā)明的發(fā)明人發(fā)現(xiàn)：這種方法需要用于每個系統(tǒng)的專用透鏡。

在構(gòu)想本發(fā)明時已假定并且在將本發(fā)明付諸實踐時已意識到，當圖像分解成通道時，可以改進使用離焦字典的圖像表示，并且所述字典包括字典原子的多個集合，其中每個集合對應于不同的散焦狀況。本發(fā)明的發(fā)明人發(fā)現(xiàn)：分解成多個通道的圖像與具有多個原子集合的離焦字典之間的此類組合促成更準確的表示，因為它允許該表示根據(jù)每個圖像區(qū)域的離焦狀況來權(quán)衡字典原子。

圖14是描述根據(jù)本發(fā)明的一些實施例的用于處理圖像的方法的流程圖。所述方法也優(yōu)選地，但未必捕獲圖像。

所述方法可體現(xiàn)在許多形式中。例如，它可以體現(xiàn)在有形介質(zhì)中，諸如，用于執(zhí)行方法操作的計算機。它可以體現(xiàn)在計算機可讀介質(zhì)上，所述計算機可讀介質(zhì)包括用于實施方法操作的計算機可讀指令。它還可以體現(xiàn)在電子裝置中，所述電子裝置具有經(jīng)布置以在有形介質(zhì)上運行計算機程序或在計算機可讀介質(zhì)上執(zhí)行指令的數(shù)字計算機功能。這種電子裝置的代表性實例是移動裝置的數(shù)據(jù)處理器，諸如但不限于，智能電話或平板裝置。

實施根據(jù)本發(fā)明的一些實施例的方法的計算機程序可以通常在分發(fā)介質(zhì)上分發(fā)給用戶，諸如但不限于，CD-ROM、閃存裝置、閃存盤，或者在一些實施例中，可借助于網(wǎng)絡通信、通過互聯(lián)網(wǎng)(例如，在云環(huán)境內(nèi))或通過蜂窩網(wǎng)絡訪問的驅(qū)動器。計算機程序可以從分發(fā)介質(zhì)復制到硬盤或類似的中間存儲介質(zhì)。計算機程序可以通過將計算機指令從分發(fā)介質(zhì)或中間存儲介質(zhì)加載到計算機的執(zhí)行存儲器中來運行，從而將計算機配置成根據(jù)本發(fā)明的方法采取行動。實施根據(jù)本發(fā)明的一些實施例的方法的計算機程序也可以由屬于云計算環(huán)境的一個或多個數(shù)據(jù)處理器執(zhí)行。所有這些操作都是計算機系統(tǒng)的領(lǐng)域的技術(shù)人員周知的。由本發(fā)明實施例的方法使用和/或提供的數(shù)據(jù)可以借助于網(wǎng)絡通信、互聯(lián)網(wǎng)、蜂窩網(wǎng)絡或適于數(shù)據(jù)傳輸?shù)娜魏晤愋偷木W(wǎng)絡進行傳輸。

將理解，除非另行規(guī)定，否則下文所述的操作可以同時執(zhí)行或者按很多執(zhí)行組合或順序相繼執(zhí)行。具體而言，流程圖的順序不應被視作限制。例如，按特定順序出現(xiàn)在以下描述或流程圖中的兩個或更多操作可以按不同順序(例如，相反的順序)或大體同時執(zhí)行。此外，下文描述的若干操作是任選的，并且可不執(zhí)行。

所述方法從開始10開始，并且優(yōu)選繼續(xù)前進到11，其中獲得場景的圖像。圖像可由所述方法使用成像裝置捕獲，或者由所述方法從外部來源接收，諸如，存儲先前捕獲的圖像的計算機可讀介質(zhì)。所述方法優(yōu)選繼續(xù)前進到12，其中將圖像分解成多個通道。分解12可以在圖像捕獲時在光學上完成，例如，通過允許來自場景的光經(jīng)過將光分解成多個通道的光學掩模?；蛘?，分解12可以由數(shù)字圖像處理完成，例如，在將存儲于每個圖片元素(例如，圖像像素)中的數(shù)據(jù)分解成多個通道時完成。

每個通道的特征在于不同范圍的有效景深(DOF)。DOF一般使用被稱為散焦參數(shù)Ψ的參數(shù)進行參數(shù)化。在典型的成像系統(tǒng)中，散焦參數(shù)的絕對值在0到6弧度的范圍內(nèi)，但也預期其他范圍。在本發(fā)明的一些實施例中，每個通道的特征在于用于捕獲圖像的成像裝置的空間頻率響應的不同深度依賴性?？臻g頻率響應可以表示為，例如，光學傳遞函數(shù)(OTF)。

在本發(fā)明的各種示例性實施例中，通道根據(jù)從場景來的光的波長進行定義。在這些實施例中，每個通道對應于光的不同波長范圍。如所屬領(lǐng)域的技術(shù)人員將了解，不同的波長范圍對應于不同的景深范圍和空間頻率響應的不同深度依賴性。適于本發(fā)明實施例的通道的集合的代表性實例是對應于紅光(例如，光譜頂峰處于約620到680nm波長的光)的紅色通道、對應于綠光(光譜頂峰處于從約520到約580nm的波長)的綠色通道，以及對應于藍光(光譜頂峰處于從約420到約500nm的波長)的藍色通道。這樣的通道集合在本文中統(tǒng)稱為RGB通道。

在光學執(zhí)行分解時，任選且優(yōu)選地使用相位掩模，諸如但不限于，RGB相位掩模。所述掩模優(yōu)選被選擇用于針對光的不同波長分量來光學傳遞不同的表現(xiàn)相移。例如，掩?？缮捎糜诩t光、綠光和藍光的相移，其中這些相移中的每一個與另外兩個相移相差一定量，所述量不是2nπ，其中n是整數(shù)。作為不應被視作限制的代表性實例，第一相移可以是約π弧度(以為2π模)，第二相移可以是約π/2弧度(以為2π模)，以及第三相移可以接近零，例如，小于0.1弧度(以為2π模)。

例如，相位掩?？梢跃哂幸粋€或多個同心環(huán)，所述同心環(huán)可在透明掩模襯底上形成樹叢和/或浮雕型式。每個環(huán)優(yōu)選呈現(xiàn)出與剩余掩模區(qū)域的相移不同的相移。掩模可以是二元振幅相位掩模，但也預期非二元振幅相位掩模。

掩模任選地，但未必包括在掩模半徑的0.1與0.7之間延伸的單個環(huán)。掩模可以放置在成像裝置的光學列中，例如，在透鏡前面。掩模任選且優(yōu)選地較薄，例如，從約1μm到約20μm，或從約2μm到約10μm，或者從約2μm到約8μm。掩模的直徑取決于成像裝置的透鏡的直徑，并且可以是從約1mm到約100mm的任何直徑。適于本發(fā)明實施例的掩模的代表性實例在第8,682,066號美國專利和參考文獻[2]中有所描述。掩?？梢杂扇魏喂鈱W透明支承構(gòu)件支撐，例如，玻璃板，或者可放置在現(xiàn)有光學元件的頂部上，諸如但不限于，透鏡，例如，成像系統(tǒng)的透鏡。

所述方法繼續(xù)前進到13，其中訪問存儲一個或多個字典的計算機可讀介質(zhì)。在本發(fā)明的各種示例性實施例中，計算機可讀介質(zhì)存儲聚焦字典D和離焦字典D_b。聚焦字典D在字典原子的集合{s}上定義，并且離焦字典D_b在字典原子的多個集合_j上定義，其中D_b的每個集合對應于不同的離焦狀況。例如，D_b中的每個原子集合可以對應于散焦參數(shù)ψ的不同值。

D_b中的每個原子集合在本文中稱為D_b的子字典。在一些實施例中，D_b包括至少三個子字典(分別對應于三個不同的離焦狀況，例如，ψ的三個不同值)；在一些實施例中，D_b包括至少四個子字典(分別對應于四個不同的離焦狀況，例如，ψ的四個不同值)；在一些實施例中，D_b包括至少五個子字典(分別對應于五個不同的離焦狀況，例如，ψ的五個不同值)；在一些實施例中，D_b包括至少六個子字典(分別對應于六個不同的離焦狀況，例如，ψ的六個不同值)；在一些實施例中，D_b包括至少七個子字典(分別對應于七個不同的離焦狀況，例如，ψ的七個不同值)。

字典可以形成完備基礎(chǔ)，或者更優(yōu)選地，它們可以是冗余字典(在文獻中也稱為過完備字典)。冗余字典是包括比表示圖像所需的最小數(shù)量的基礎(chǔ)原子多的原子的字典。稀疏表示一般包括字典中的可用原子中的原子的一部分(例如，小于80％或小于60％或小于40％或小于20％或小于10％或小于5％)。

根據(jù)本發(fā)明的一些實施例，聚焦字典D可以由參考圖像準備，所述參考圖像優(yōu)選自然圖像。自然圖像可以由任何成像系統(tǒng)捕獲。在本發(fā)明的發(fā)明人執(zhí)行的實驗中，已將公開可用的“Lena”圖像用作參考圖像。從圖像中選擇大量的候選原子(例如，至少10,000個候選原子或至少20,000個候選原子或至少40,000個候選原子或至少80,000個候選原子，例如，100,000個候選原子或更多)。候選原子可以是相鄰圖片元素的分塊(例如，像素的分塊)。例如，每個候選原子可以是具有N×N圖片元素的正方形的形狀的分塊，其中N可以是約4到約30，或約4到約16，例如，N＝8。從候選原子的集合中，之后可以選擇構(gòu)成字典的原子。從候選原子的集合中選擇原子任選且優(yōu)選地根據(jù)每個候選原子與集合中的其他原子，更優(yōu)選地，與集合中的所有其他候選原子的相似度。所述相似度可以通過計算候選原子之間的內(nèi)積進行確定，其中較高的內(nèi)積對應于較高的相似度。在本發(fā)明的各種示例性實施例中，聚焦字典包括與集合中的所有其他候選原子最類似的N_D個原子。N_D的值小于集合中的候選原子的數(shù)量。通常，N_D小于1000或小于800或小于600。

根據(jù)本發(fā)明的一些實施例，聚焦字典D的原子的至少一部分(例如，至少50％或至少60％或至少70％或至少80％或至少90％)的特征在于低空間頻率。本發(fā)明的發(fā)明人發(fā)現(xiàn)，將低空間頻率分塊用于D會增加生成圖像的準確表示的可能性。

本文所用的“低空間頻率”是指至多是預定截止頻率的空間頻率，所述預定截止頻率對應于沿著相應原子上的任何直線，明圖片元素與暗圖片元素之間的至多T個過渡，其中T可以是或或或以及其中L是原子的寬度，并且表示地板函數(shù)。

在本文中，沿著原子或圖像分塊的最小尺寸來測量原子或圖像分塊的寬度。通常，以圖片元素(例如，像素)為單位表示所述寬度。

字典D_b和D優(yōu)選經(jīng)由表示來源于離焦狀況的圖像模糊的一組核函數(shù)進行相關(guān)。根據(jù)本發(fā)明的一些實施例，D_b的每個子字典可由D的內(nèi)積通過以相應散焦參數(shù)為特征的相應核函數(shù)從聚焦字典D中獲取(在所述聚焦字典構(gòu)建之后，例如，如上文所述)。此實施例在圖7中示出。

圖6A和圖6C提供適于本發(fā)明實施例的聚焦字典的代表性實例。圖6B和圖6D提供適于本發(fā)明實施例的離焦字典的原子集合的代表性實例。

所述方法繼續(xù)前進到14，其中在字典上計算分解圖像的稀疏表示。例如，這可通過將分解的圖像分成多個分塊并且針對D_b的每個原子b_i來計算系數(shù)α_i來完成，所述系數(shù)α_i估計相應原子對圖像分塊的貢獻。具體而言，正系數(shù)表明相應原子是圖像中的分量，而非正參數(shù)(或低于某一閾值的系數(shù))表明圖像缺少相應的字典原子。在本發(fā)明的一些實施例中，在非負性約束下計算所述系數(shù)。例如，這可通過用零替換所有負系數(shù)來完成。在本發(fā)明的一些實施例中，在沒有迭代的情況下計算稀疏表示。

可使用用于計算此類系數(shù)的很多技術(shù)。一般而言，這些技術(shù)包括，但不限于，追蹤算法，例如，正交匹配追蹤、匹配追蹤、基追蹤、順序遞歸匹配追蹤、欠定系統(tǒng)局灶解法，或者它們的任何組合或變型。

分解圖像的分塊中的至少一些(例如，50％或60％或70％或80％或90％或全部)中的每個分塊優(yōu)選與至少一個相鄰分塊重疊。所述重疊可等于這對重疊分塊中的每個分塊的面積的至少50％或至少60％或至少70％或至少80％。

計算所述系數(shù)的技術(shù)(例如，追蹤算法)從D_b中選擇最佳匹配輸入圖像的相應分塊的原子。由于D_b包括若干子字典，因此，針對不同的核，它可顯著變化。分解的輸入圖像的分開也針對每個離焦狀況(例如，針對每個波長范圍或顏色)表現(xiàn)出不同響應。因此，成像系統(tǒng)的響應在不同核之中可區(qū)別，從而使得輸入圖像的分塊與D_b中經(jīng)歷相同離焦狀況的原子一致的可能性較高。因此，本發(fā)明實施例的技術(shù)提高正確原子被分配更高系數(shù)的可能性。

一旦計算出系數(shù)，便可以使用計算的系數(shù)和聚焦字典D的原子進一步處理圖像。通常，這個過程得到銳化的圖像，這是因為D的原子表示銳化分塊。換言之，使用計算的系數(shù)α_i和D的原子s_i的分解圖像的稀疏表示基本上將用來根據(jù)D構(gòu)建D_b的核的效果顛倒，從而恢復銳化的圖像。

在計算稀疏表示系數(shù)α_i之后，通常已知用于形成稀疏表示的輸入圖像的所有分塊的散焦參數(shù)ψ的值。ψ的這個值是通常是與核函數(shù)相關(guān)聯(lián)的值，其中子字典含有乘以最高系數(shù)的原子。

ψ值在分塊之中的分布可按不止一種方式使用。

在一些實施例中，構(gòu)建場景的深度圖，如15所示。這可以基于稀疏表示來完成，或者更具體地，使用ψ值在分塊之中的分布來完成。優(yōu)選地，深度圖基于單個圖像幀進行構(gòu)建。深度圖描述場景中的不同物體的相對深度。相對深度可用以歸一化長度為單位的深度圖表示，或者更有選地，根據(jù)散焦參數(shù)ψ來表示。例如，深度圖可以針對場景中的每個物體來分配ψ的估計值。由于ψ的不同值對應于物體與成像裝置之間的不同范圍，因此，ψ的估計值可轉(zhuǎn)換成估計范圍。由于深度圖與范圍數(shù)據(jù)相關(guān)，因此，所述方法可使用深度圖來生成場景的三維(3D)表示(例如，3D圖像)，如16所示。

在本發(fā)明的一些實施例中，所述方法繼續(xù)前進到17，其中對圖像重新聚焦。

本文所用的“重新聚焦”是指處理由成像裝置獲取的輸入圖像，以形成重建圖像(本文中稱為重新聚焦圖像)，所述圖像聚焦于除了成像裝置在圖像捕獲時聚焦的平面意以外的預定平面。

在重新聚焦圖像中，預定平面處的物體的銳度通常比其他平面處的物體的銳度高。

重新聚焦操作任選且優(yōu)選地使用稀疏表示來執(zhí)行，或者更具體地，使用ψ值在分塊之中的分布來執(zhí)行。例如，一旦識別出圖像區(qū)域與某一值相關(guān)聯(lián)，便可以使用具有相同的α系數(shù)集合的銳化字典D對所述區(qū)域進行銳化。

所述方法任選地進行前進到18，其中將已處理圖像顯示在顯示裝置上。已處理圖像也可以記錄在非易失性計算機可讀介質(zhì)上。已處理圖像可以是銳化圖像、重新聚焦圖像、3D圖像，或者使用字典D和D_b中的一個或多個獲取的任何其他圖像。

所述方法以19結(jié)束。

圖15是根據(jù)本發(fā)明的一些實施例的成像系統(tǒng)30的示意圖。系統(tǒng)30包括用于捕獲場景38的圖像的成像裝置32。成像裝置32優(yōu)選地包括裝置主體40、透鏡36和光學掩模34，所述光學掩模經(jīng)選擇以將圖像或來自場景38的光在光學上分解成多個通道，如上文進一步詳述。掩模34優(yōu)選地安裝在透鏡36上。掩模包括形成浮雕型式的單個環(huán)的實施例中的掩模34的代表性實例在圖16中示意性地示出。

系統(tǒng)30額外包括用于存儲聚焦字典D和離焦字典D_b的計算機可讀介質(zhì)42，以及用于訪問介質(zhì)42和在字典上計算分解圖像的稀疏表示的數(shù)據(jù)處理器44，如上文進一步詳述。數(shù)據(jù)處理器可被配置成執(zhí)行上文參考方法10描述的圖像處理操作中的任一個。數(shù)據(jù)處理器優(yōu)選地，但不必，包括專用電路，例如，被配置成執(zhí)行這些操作的專用集成電路(ASIC)。還預期使用場可編程門陣列(FPGA)來執(zhí)行圖像處理操作中的至少一些。

介質(zhì)42和/或處理器44中的每個可與成像裝置32分開，或者它們可合并到主體40中。在本發(fā)明的一些實施例中，系統(tǒng)30包括顯示裝置46，所述顯示裝置接收由數(shù)據(jù)處理器44生成的已處理圖像并且進行顯示。

系統(tǒng)30可合并在便攜式裝置中，所述便攜式裝置選自由以下組成的組：蜂窩電話、智能電話、平板裝置、移動數(shù)碼相機、佩戴式相機、便攜式媒體播放器、個人計算機、筆記本電腦、便攜式游戲裝置、便攜式數(shù)字助理裝置，以及便攜式導航裝置。

本發(fā)明實施例的系統(tǒng)和方法享有傳統(tǒng)系統(tǒng)所沒有的很多優(yōu)點。

本發(fā)明實施例的系統(tǒng)和方法的一個優(yōu)點在于，所述技術(shù)可適于充分校正的透鏡系統(tǒng)。這是因為本發(fā)明實施例的處理技術(shù)允許在圖像捕獲之后進行恢復。這在系統(tǒng)合并到諸如智能電話或平板電腦的移動裝置中時尤其有利，這是因為短光學列通常不與完全校正的透鏡相關(guān)聯(lián)。這從成本的角度來看也是有利的，因為具有較短光學列的透鏡系統(tǒng)比較便宜。

本發(fā)明實施例的系統(tǒng)和方法也可在弱光條件下實施。用于在弱光條件下捕獲圖像的傳統(tǒng)圖像受到DOF減小的限制。本發(fā)明實施例的處理技術(shù)至少部分恢復DOF的損失。

本文中使用的術(shù)語“約”是指±10％。

詞語“示例性的”在本文中用于表示“用作實例、示例或例示”。被描述為“示例性的”任何實施例不必解釋為優(yōu)選或優(yōu)于其他實施例，和/或排除其他實施例中的特征的合并。

本文中使用的詞語“任選地”是指“在一些實施例中提供而在其他實施例中不提供”。本發(fā)明的任何特定實施例可包括多個“任選”特征，除非此類特征沖突。

術(shù)語“包括”、“包含”、“具有”以及它們的各種形式都是指“包括但不限于”。

術(shù)語“由……組成”是指“包括并且限于”。

術(shù)語“基本上由……組成”是指組分、方法或結(jié)構(gòu)可包括額外的成分、步驟和/或零件，但只有所述額外的成分、步驟和/或零件實質(zhì)上不改變所主張的組分、方法或結(jié)構(gòu)的基礎(chǔ)和新穎特征才行。

除非上下文以其他方式明確指出，否則本文中所用的單數(shù)形式“一個”、“一種”和“所述”包括復數(shù)形式。例如，術(shù)語“一種復合物”或“至少一種復合物”可包括多個復合物，包括它的混合物。

在本申請中，本發(fā)明的各種實施例可能以范圍格式給出。應理解，以范圍格式的描述僅僅是為了方便和簡明，并且不應解釋為對本發(fā)明的范圍的不靈活限制。因此，范圍的描述應被視作具體公開了所有可能的子范圍以及該范圍內(nèi)的單獨數(shù)值。例如，諸如從1到6的范圍描述應被視作具有諸如從1到3、從1到4、從1到5、從2到4、從2到6、從3到6等當前實例的具體公開子范圍，以及該范圍內(nèi)的單獨數(shù)字，例如，1、2、3、4、5和6。無論范圍的寬度如何，這都適用。

無論本文中何時指明數(shù)字范圍，它都是指包括所指明的范圍內(nèi)的任何引用的數(shù)字(分數(shù)或整數(shù))。本文中使用的術(shù)語在第一指示數(shù)字與第二指示數(shù)字“之間的范圍內(nèi)”以及從第一指示數(shù)字到第二指示數(shù)字“的范圍內(nèi)”可互換，并且意圖包括第一和第二指示數(shù)字以及它們之前所有的分數(shù)和整數(shù)數(shù)字。

應了解，為清楚起見，在單獨實施例的上下文中描述的本發(fā)明的某些特征也可在單個實施例中以組合的方式提供。相反，為簡潔起見，在單個實施例的上下文中描述的本發(fā)明的各個特征也可單獨提供或以任何合適的子組合提供，或者作為本發(fā)明的任何其他所述實施例提供。在各實施例的上下文中描述的某些特征不應視作這些實施例的必要特征，除非沒有這些元素所述實施例就不工作。

上文描繪和權(quán)利要求書部分主張的本發(fā)明的各個實施例和方面都在以下實例中找到實驗支持。

實例

現(xiàn)在參考下列實例，所述實例與上述說明一起以非限制的方式解釋本發(fā)明的一些實施例。

本發(fā)明的實例呈現(xiàn)用于經(jīng)由后處理方法將多個通道融合成具有擴展DOF和改良外觀的單色圖像的技術(shù)。

離焦效果

光學系統(tǒng)可以被描述為具有某一傳遞函數(shù)的單個“黑盒子”元件。為簡單起見并且在不失一般性的情況下，假設成像系統(tǒng)由具有焦距f的單個透鏡構(gòu)成，如圖1所示。物體平面、透鏡平面和圖像平面坐標分別是(ξ,η)、(x,y)和(u,v)，z_o是從物體到透鏡的距離，并且z_i是從透鏡到圖像平面的距離。

進一步假設，場景被無條理地照亮，從而使得光學系統(tǒng)相對于強度成線性[13]。在這種情況下，輸出圖像I_i可表示為具有理想圖像強度I_g的成像系統(tǒng)點擴散函數(shù)(PSF)的卷積h_I：

I_i(u，v)＝(h_I*I_g)(u，v) (等式1.1)

此類線性系統(tǒng)的特性可使用傅里葉變換表示在空間頻率域中進行分析。PSF的歸一化傅里葉變換被稱為光學傳遞函數(shù)(OTF)，并且它根據(jù)空間頻率來描述系統(tǒng)響應：

OTF是系統(tǒng)光瞳函數(shù)P(x,y)的歸一化自相關(guān)：

調(diào)制傳遞函數(shù)(MTF)是OTF的絕對值，并且是描述成像系統(tǒng)特性的一種方式。MTF基本上提供穿過系統(tǒng)的所有空間頻率的衰減因數(shù)。

成像條件限定z_o、z_i與f之間的關(guān)系，并且可寫成：

當滿足成像條件時，PSF與光瞳P的傅里葉變換成比例。當不滿足成像條件時，成像系統(tǒng)經(jīng)受離焦(OOF)像差，從而降低圖像質(zhì)量(例如，降低對比度、損失銳度和信息)。

在數(shù)字系統(tǒng)中，當物體平面中的點源的圖像尺寸小于檢測器平面中的像素尺寸時，與成像條件的小偏差導致被視作無關(guān)緊要的OOF像差。物體的OOF像差無關(guān)緊要的范圍被稱為景深(DOF)。

OOF像差可被描述為波前誤差，例如，光瞳平面中的相位誤差[13]。這個相位誤差表示為光瞳平面中的二次相位項。因此，存在OOF像差時，通用光瞳可表示為：

其中z_img是當物體在標稱位置時的檢測器平面，z_o是實際物體位置并且λ是光學波長。括號內(nèi)項為空的特殊情況被稱為對焦條件。

在具有半徑R的圓形孔徑的情況下，散焦參數(shù)Ψ被定義為：

并且在這種情況下，通用光瞳是：

散焦參數(shù)Ψ描述孔徑邊緣的最大相位誤差。針對Ψ>1，圖像經(jīng)歷對比度損失，并且針對Ψ>4，圖像經(jīng)歷信息損失，甚至對于一些空間頻率而言，對比度反轉(zhuǎn)，如圖2所示。

對于圓形孔徑而言，衍射極限最大空間頻率(也稱為截止頻率)是：

光學系統(tǒng)的分辨率隨著孔徑尺寸增加而增加。同時，DOF隨著散焦參數(shù)Ψ增加而減小，根據(jù)等式(1.6)，從而降低OOF物體的分辨率。

光學相位掩模

參考文獻[1]中已使用具有圓對稱性的二元光學相位掩模。這個掩模由提供預定相移(例如，π)的一個或若干環(huán)組成。本發(fā)明的發(fā)明人發(fā)現(xiàn)，此相位掩模只提供單個波長的確切所需相移，而用于其他波長的相移相應地改變。在參考文獻[2]中，使用RGB相位掩模。這個相位掩模在不同的顏色通道R、G和B中呈現(xiàn)出不同的響應，如圖3A到圖3D和圖4A到圖4B所示。由RGB相位掩模使用的通道中的每個通道提供不同場區(qū)的最佳性能，從而使得三個通道共同提供擴展DOF，如圖5A到圖5R呈現(xiàn)的模擬結(jié)果所示。本發(fā)明的發(fā)明人成功地將RGB通道融合成改進的彩色圖像。

使用過完備字典的圖像表示

自然圖像共享小分塊上的共同特征。通過使用過完備字典，那些分塊可表現(xiàn)為字典中的有限數(shù)量的預定義分塊的線性組合。

考慮信號列向量x∈R^m和由N個列原子信號組成的字典D∈R^m×N。當存在D中提供信號的逼近的很少幾個原子的線性組合向量α∈R^N時，信號x據(jù)說具有D上的稀疏表示。這個稀疏逼近問題可描述為：

其中λ是正則化參數(shù)。

稀疏逼近問題被稱為NP困難問題，但可用若干已知的技術(shù)有效解決，包括但不限于，追蹤算法，例如，正交匹配追蹤(OMP)、匹配追蹤、基追蹤、順序遞歸匹配追蹤、欠定系統(tǒng)局灶解法，或者它們的任何組合或變型(例如，見[14])。字典D可由預先設計的變換，諸如，小波變換、CTF等產(chǎn)生，或者由訓練圖像的采樣數(shù)據(jù)的集合產(chǎn)生[3]。本發(fā)明的發(fā)明人發(fā)現(xiàn)，訓練圖像可用于訓練數(shù)據(jù)，并且分類過程可用來創(chuàng)建全局字典D，所述全局字典由可再成形到向量列d_i∈R^64×1的特別選擇分塊組成。

非盲圖像

在盲情況之前先考慮已知模糊核的非盲情況。

當銳化圖像S被已知核h模糊時，形成模糊圖像B并可描述為：

B＝S*h+η (等式1.10)

其中η是附加高斯噪聲，并且*指的是卷積算子。在下文中，假設η<1。使用OMP解決下列問題：

其中α_i∈R^N是對應于模糊圖像中的第i個分塊b_i∈R^m的向量系數(shù)，并且D_b∈R^m×N是由銳化字典D使用相同的模糊核h生成的模糊字典。等式1.11的解答產(chǎn)生模糊圖像的稀疏編碼系數(shù)α，作為模糊字典D_b中的原子的線性組合。銳化圖像可由D和α恢復。這個過程表明，針對所有i，D、α估計銳化分塊s_i。

兩個字典之間的關(guān)系允許從模糊圖像中恢復原始圖像?；謴瓦^程可包括字典學習過程。

字典訓練的已知方法是KSVD[15]，它是迭代過程，在使用OMP找到最佳向量系數(shù)與隨后根據(jù)當前系數(shù)向量使用奇異值分解(SVD)更新D之間交替。

在本發(fā)明的一些實施例中，該方法更改如下。多數(shù)情況下的模糊核只變換具體分塊中的低空間頻率，同時抑制多數(shù)的高頻率，如圖6A到圖6D所示。因此，與通過由主要低空間頻率分量構(gòu)成的所選分塊集合得到的相比(圖6C和圖6D)，對于隨機選擇的分塊而言(見圖6A和圖6B)，聚焦分塊與模糊分塊之間的差異高得多。通過只為字典選擇低空間頻率分塊，對應的模糊分塊類似于銳化分塊，并且有更好的機會選擇正確的稀疏編碼系數(shù)α，從而使得字典更強大。

盲圖像

在盲圖像的情況下，將模糊核去模糊是未知的，并且可隨著物體位置改變。

本發(fā)明的發(fā)明人發(fā)現(xiàn)，諸如[7-9]中描述的那些迭代過程消耗大量的計算資源。根據(jù)本發(fā)明的一些實施例，使用RGB光學相位掩模，從而使得任選且優(yōu)選地在沒有任何迭代過程的情況下恢復圖像。此外，本發(fā)明實施例的技術(shù)任選且優(yōu)選地以相同方式處理平面和深度場景，從而使得該技術(shù)對于一般的現(xiàn)實生活場景更穩(wěn)健。

自然場景可描述為由有限數(shù)量的平面物體構(gòu)成的3D場景。這種場景被稱為2.5D場景。場景中的每個物體被視作位于單個平面中。在不失一般性的情況下，假設場景中的所有物體都用只受該場景的散焦參數(shù)Ψ影響的模糊核進行模糊。對于本申請而言，可以構(gòu)建使用具有不同散焦參數(shù)的模糊核創(chuàng)建的多個字典。例如，當Δψ＝1足夠有辨別力并且Ψ從0跨度到6時，足以表示7個字典(例如，針對ψ＝0的第一字典、針對ψ＝1的第二字典等)。這些字典可加入到一個矩陣中，該矩陣在本文中被稱為“多焦點字典”(MFD)。圖7中示意性地示出這個過程。

在本發(fā)明實例中，將8×8×3分塊或含有用于每個分塊的RGB信息的192×1向量用來處理彩色圖像。銳化聚焦字典D由低頻率RGB向量組成。模糊MFDD_b由使用不同模糊核從D生成的不同字典的集合組成。

因此可使用D_b描述模糊圖像。OMP過程基于最大內(nèi)積從字典中選擇最佳匹配輸入分塊的元素。使用RGB相位掩模，模糊字典針對不同的核而強烈變化，這是因為成像系統(tǒng)的響應對于每個顏色都截然不同(見圖4A到圖4B)。來自具有RGB掩模的成像系統(tǒng)的輸入分塊(或向量)也呈現(xiàn)出用于每個顏色的不同響應。因此，響應在不同核之間可區(qū)分，從而使得輸入向量與D_b中經(jīng)歷相同模糊過程的向量一致的可能性較高。因此，本發(fā)明實施例的技術(shù)提高從D_b中選擇正確模糊元素的可能性。

計算機模擬結(jié)果

將本發(fā)明實施例的技術(shù)與克里斯南(Krishnan)等人公開的算法[8]進行比較。本發(fā)明實施例的技術(shù)從柯達(Kodak)數(shù)據(jù)集中產(chǎn)生自然圖像的更好結(jié)果。該過程也用在紋理圖像上(彩色Brodatz紋理數(shù)據(jù)庫)并且觀察到類似的性能。這個結(jié)果證明，本發(fā)明實施例的MFD字典可用在任何自然場景上。

在所有情況下，不論有和沒有相位掩模，圖像都用模糊核進行模糊，其中散焦參數(shù)Ψ在0到6的范圍內(nèi)。具有掩模的模糊圖像額外地使用本發(fā)明實施例的方法進行恢復。

圖8A到圖8H是示出比較的結(jié)果的曲線圖。藍色虛線對應于在有相位掩模的情況下進行模糊的圖像，綠色虛線對應于在沒有相位掩模的情況下進行模糊的圖像，藍色和綠色實線對應于克里斯南等人的教義，并且紅色實線對應于使用本發(fā)明實施例的MFD的恢復。每個曲線圖指代不同的圖像，并且描述根據(jù)散焦參數(shù)的峰值信噪比(PSNR)。如圖8A到圖8H所示，在所有情況下，根據(jù)克里斯南等人的教義獲取的結(jié)果呈現(xiàn)PSNR的較低值。

圖9A到圖9F示出圖像模糊和恢復的實例，其中圖9A示出輸入圖像，圖9B和圖9C示出對應于使用通光孔徑(圖9B)和相位掩模(圖9C)的離焦(Ψ＝6)的圖像，圖9D和圖9E是根據(jù)克里斯南等人的教義獲取的分別應用到圖9B和圖9C的去模糊的結(jié)果，以及圖9F是使用本發(fā)明實施例的MFD應用到圖9C的去模糊的結(jié)果。

本發(fā)明實施例的技術(shù)也可應用于2.5D場景，這是因為應用到圖像幀的一個區(qū)域的恢復獨立于相同幀中的其他區(qū)域的恢復過程。

為了說明這個過程，考慮具有四個物體(三個人和背景)的2.5D場景，每個物體位于距相機的不同距離處，如圖10A所示。對應于圖10A的2.5D場景的輸入圖像在圖10B中示出。2.5D場景的深度圖在圖10C中示出，其中深度(圖10C的彩條上示出的值)根據(jù)散焦參數(shù)Ψ來表示。

在本發(fā)明實例中，將偽顏色表示用于識別該場景中含有的不同深度區(qū)域。歸因于在存在依賴于上色的相位掩模(例如，RGB相位掩模)的情況下獲取三個不同的顏色通道，根據(jù)本發(fā)明的一些實施例的過程以多樣化為基礎(chǔ)。

圖11A到圖11C示出在沒有RGB相位掩模的情況下獲取的結(jié)果。在此實例中，聚焦點設置到場景的背景區(qū)域(圖11A)。在恢復(圖11B)之后，前部的離焦物體得到改進，但其他物體和背景失真，并且存在很多可見的偽影。深度圖(圖11C)示出多數(shù)原子從第一子字典中得到(Ψ＝0)，從而使得場景內(nèi)部的不同物體之間沒有區(qū)別。

圖12A到圖12C示出通過包括相位掩模的成像系統(tǒng)獲取，隨后進行本發(fā)明實施例的盲恢復圖像處理的結(jié)果。圖12A示出用相位掩模得到的模糊圖像。圖12B示出恢復結(jié)果。如圖所示，所有物體都在沒有明顯偽影的情況下恢復，并且相鄰物體之間具有平滑過渡。圖12C示出根據(jù)每個區(qū)域中最近使用的子字典的深度圖。如圖所示，在多數(shù)區(qū)域中，尤其是具有很多細節(jié)的那些區(qū)域，原子主要從對應于該區(qū)域中的模糊核的子字典中選擇。

實驗結(jié)果

本發(fā)明實施例的技術(shù)使用配備RGB相位掩模的商用相機在桌上的實物場景上進行測試。結(jié)果在圖13A到圖13D中示出，其中圖13A和圖13C示出在沒有相位掩模的情況下獲取的結(jié)果，并且圖13B和圖13D示出根據(jù)本發(fā)明實施例的使用相位掩模和隨后的圖像處理技術(shù)獲取的結(jié)果。

盡管結(jié)合具體實施例描述了本發(fā)明，但顯然，所屬領(lǐng)域的技術(shù)人員將明白許多替代、更改和變形。因此，意圖涵蓋所附權(quán)利要求書的精神和廣泛范圍內(nèi)的所有此類替代、更改和變形。

本說明書中提及的所有公開、專利和專利申請都以引用的方式全文并入本說明書中，如同每個單獨的申請、專利或?qū)＠暾埦唧w并個別地指明以引用的方式并入本文中。此外，本申請中的任何參考的引用或確定不應解釋為承認這種引用可用作本發(fā)明的現(xiàn)有技術(shù)。在使用段落標題的程度上，它們不應解釋為必要地限制。

參考文獻

[1]B·米爾格羅姆(B.Milgrom)、N·康夫迪(N.Konforti)、M·A·戈盧布(M.A.Golub)和E·馬羅姆(E.Marom)在2010年7月19日的《光學快報》第18卷15569到15584頁上發(fā)表的“用于通過高清晰度和擴展景深對多色場景成像的光瞳編碼掩模(Pupil coding masks for imaging polychromatic scenes with high resolution and extended depth of field)”。

[2]B·米爾格羅姆(B.Milgrom)、N·康夫迪(N.Konforti)、M·A·戈盧布(M.A.Golub)和E·馬羅姆(E.Marom)在2010年8月2日的《光學快報》第18卷17027到17039頁上發(fā)表的“用于通過使用信息的RGB通道來擴展條碼解碼器的景深的新方法(Novel approach for extending the depth of field of Barcode decoders by using RGB channels of information)”。

[3]M·埃拉德(M.Elad)于2010年在紐約：施普林格(New York:Springer)上發(fā)表的稀疏和冗余表示：信號和圖像處理從理論到應用(Sparse and redundant representations:from theory to applications in signal and image processing)。

[4]F·庫贊涅德維(F.Couzinie-Devy)、J·邁拉爾(J.Mairal)、F·巴赫(F.Bach)和J·龐瑟(J.Ponce)于2011年在arXiv preprint arXiv:1110.0957上發(fā)表的“用于去模糊和數(shù)字變焦的字典學習(Dictionary learning for deblurring and digital zoom)”。

[5]H·黃(H.Huanga)和N·蕭(N.Xiaoa)于2013年發(fā)表的“通過字典學習基于稀疏模型的圖像去模糊(Image Deblurring Based on Sparse Model with Dictionary Learning)”。

[6]Q·單(Q.Shan)、J·賈(J.Jia)和A·阿加瓦拉(A.Agarwala)在2008年的美國計算機學會圖形學匯刊(TOG)第73頁發(fā)表的“單個圖像中的高質(zhì)量運動去模糊(High-quality motion deblurring from a single image)”。

[7]Z·胡(Z.Hu)、J·B·黃(J.B.Huang)和M·H·楊(M.H.Yang)于2010年在2010年第17屆IEEE圖像處理國際會議(ICIP)的第1169到1172頁上發(fā)表的“通過自適應字典學習進行單個圖像去模糊(Single image deblurring with adaptive dictionary learning)”。

[8]D·克里斯南(D.Krishnan)、T·泰(T.Tay)和R·費格斯(R.Fergus)于2011年在2011年IEEE計算機視覺和模式識別會議(CVPR)第233到240頁上發(fā)表的“使用歸一化稀疏測量進行盲去卷積(Blind deconvolution using a normalized sparsity measure)”。

[9]H·張(H.Zhang)、J·楊(J.Yang)、Y·張(Y.Zhang)和T·S·黃(T.S.Huang)于2011年在2011年IEEE多媒體與博覽國際會議(ICME)的第1到6頁上發(fā)表的“基于稀疏表示的盲圖像去模糊(Sparse representation based blind image deblurring)”。

[10]R·額(R.Ng)、M·樂維(M.Levoy)、M·博萊蒂夫(M.Brédif)、G·杜瓦爾(G.Duval)、M·霍洛維茨(M.Horowitz)和P·汗拉汗(P.Hanrahan)在2005年的計算機科學技術(shù)報告(Computer Science Technical Report CSTR)的第2卷上發(fā)表的“使用手持式全光相機進行的光場攝影(Light field photography with a hand-held plenoptic camera)”。

[11]A·萊溫(A.Levin)、R·費格斯(R.Fergus)、F·迪朗(F.Durand)和W·T·弗里曼(W.T.Freeman)在2007年的美國計算機學會圖形學匯刊(TOG)第26卷70頁上發(fā)表的“來自具有編碼孔徑的傳統(tǒng)相機的圖像和深度(Image and depth from a conventional camera with a coded aperture)”。

[12]F·格依查德(F.Guichard)、H·-P·阮(H.-P.Nguyen)、R·特西埃爾(R.Tessières)、M·派耐特(M.Pyanet)、I·塔克歐那(I.Tarchouna)和F·曹(F.Cao)在2009年的IS&T/SPIE電子成像(IS&T/SPIE Electronic Imaging)第72500N-72500N-12頁上發(fā)表的“使用顏色通道上的銳度傳輸?shù)臄U展景深(Extended depth-of-field using sharpness transport across color channels)”。

[13]J·W·古德曼(J.W.Goodman)于1996年在紐約：麥格勞希爾(New York:McGraw-Hill)出版的傅里葉光學第2版(Introduction to Fourier optics,2nd ed.)。

[14]S·S·陳(S.S.Chen)、D·L·多諾霍(D.L.Donoho)和M·A·桑德斯(M.A.Saunders)于1998年在SIAM科學計算期刊(SIAM journal on scientific computing)第20頁的33到61頁上發(fā)表的“基追蹤原子分解(Atomic decomposition by basis pursuit)”。

[15]M·阿哈龍(M.Aharon)、M·埃拉德(M.Elad)和A·布魯克施泰因(A.Bruckstein)于2006年11月在Ieee信號處理匯刊(Ieee Transactions on Signal Processing)第54卷的4311到4322頁上發(fā)表的“K-SVD：用于針對稀疏表示來設計過完備字典的算法(K-SVD:An algorithm for designing overcomplete dictionaries for sparse representation)”。