專利名稱：編碼重聚焦計(jì)算攝像方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算攝像學(xué)領(lǐng)域，具體涉及一種編碼重聚焦計(jì)算攝像的方法及裝置。
背景技術(shù)：
傳統(tǒng)普通相機(jī)在攝像過(guò)程中需要用戶在拍攝之前精心挑選相機(jī)參數(shù)，并且在視野范圍內(nèi)的聚焦表面都為平面。而近年來(lái)的計(jì)算相機(jī)能夠先拍攝后聚焦、靈活景深控制以及實(shí)現(xiàn)景深擴(kuò)展，具有光明的應(yīng)用前景。對(duì)于任何具有這些應(yīng)用的計(jì)算相機(jī)都需要光學(xué)編碼高維的信息，如光場(chǎng)、全聚焦圖像和深度到二維傳感器并計(jì)算解碼。現(xiàn)有的商業(yè)計(jì)算相機(jī)主要包括時(shí)差測(cè)距相機(jī)以及光場(chǎng)相機(jī)。時(shí)差測(cè)距相機(jī)通過(guò)對(duì)場(chǎng)景連續(xù)發(fā)送光脈沖，傳感器接收從物體返回的光，通過(guò)測(cè)量光脈沖的飛行時(shí)間來(lái)獲取三維幾何。光場(chǎng)相機(jī)通過(guò)采集四維光場(chǎng)來(lái)重建三維的重聚焦圖像。但是，時(shí)差測(cè)距相機(jī)需要設(shè)計(jì)復(fù)雜傳感電路和片上處理，而光場(chǎng)相機(jī)只能獲得低分辨率的圖像。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決上述技術(shù)問(wèn)題之一或至少提供一種有用的商業(yè)選擇。為此，本發(fā)明的一個(gè)目的在于提出一種具有簡(jiǎn)便易行、分辨率高的編碼重聚焦計(jì)算攝像方法。本發(fā)明的另一目的在于提出一種具有簡(jiǎn)便易行、分辨率高的編碼重聚焦計(jì)算攝像裝置。根據(jù)本發(fā)明實(shí)施例的編碼重聚焦計(jì)算攝像方法，包括:A.通過(guò)在曝光時(shí)間內(nèi)改變對(duì)焦平面，并且在相應(yīng)的所述對(duì)焦平面設(shè)置下逐像素編碼的傳感器的讀出時(shí)間，以獲得單曝光編碼重聚焦圖像；B.通過(guò)設(shè)計(jì)不同的調(diào)制函數(shù)以實(shí)現(xiàn)可編程非平面聚焦表面攝像，利用交叉式重聚焦攝像以復(fù)用三維重聚焦圖像至二維傳感器表面，通過(guò)解復(fù)用和三線性插值得到全分辨率的重聚焦圖像；以及C.利用稀疏編碼機(jī)制，通過(guò)采用壓縮感知重建算法并加入相對(duì)模糊約束和變換域稀疏約束以獲取全分辨率的全聚焦圖像和深度圖。在本發(fā)明的一個(gè)實(shí)施例中，所述步驟A中，令F(y，z)為三維重聚焦圖像，其
中為二維空間坐標(biāo)，而z為重聚焦圖像的深度維坐標(biāo)，則所述傳感器采集的編碼圖像I(y)通過(guò)在單曝光內(nèi)變對(duì)焦平面并同時(shí)使用逐像素調(diào)制函數(shù)M(y，z)編碼:
7⑴=LF(y，z)M(y,辦，其中為z的取值范圍。在本發(fā)明的一個(gè)實(shí)施例中，所述通過(guò)設(shè)計(jì)不同的調(diào)制函數(shù)以實(shí)現(xiàn)可編程非平面聚焦表面攝像包括:將聚焦表面定義為糾y) = --，則所述調(diào)制函數(shù)為:Af&，- ) =鞏-Ky)),其中，當(dāng)非平面?zhèn)鞲斜砻鏋閽佄锞€形狀聚焦表面時(shí)爐(y) = I22，或者，當(dāng)非平面?zhèn)鞲斜砻鏋殡A梯狀表面時(shí)=，其中a為常系數(shù)，H( )為階躍函數(shù)。在本發(fā)明的一個(gè)實(shí)施例中，所述利用交叉式重聚焦攝像以復(fù)用三維重聚焦圖像至二維傳感器表面包括:通過(guò)交叉式重聚焦攝像，低分辨率的重聚焦圖像C= y通過(guò)從傳感器采集得到的圖像I (y)中解復(fù)用獲得F (yz, z) =I (yz) iM (yz, z)，其中M(y, z)為以交叉式表面實(shí)施的調(diào)制函數(shù)，M (y, z)定義為M (y, z) = S (z~h (y)),其中
權(quán)利要求
1.一種編碼重聚焦計(jì)算攝像方法，其特征在于，包括: A.通過(guò)在曝光時(shí)間內(nèi)改變對(duì)焦平面，并且在相應(yīng)的所述對(duì)焦平面設(shè)置下逐像素編碼的傳感器的讀出時(shí)間，以獲得單曝光編碼重聚焦圖像； B.通過(guò)設(shè)計(jì)不同的調(diào)制函數(shù)以實(shí)現(xiàn)可編程非平面聚焦表面攝像，利用交叉式重聚焦攝像以復(fù)用三維重聚焦圖像至二維傳感器表面，通過(guò)解復(fù)用和三線性插值得到全分辨率的重聚焦圖像；以及 C.利用稀疏編碼機(jī)制，通過(guò)采用壓縮感知重建算法并加入相對(duì)模糊約束和變換域稀疏約束以獲取全分辨率的全聚焦圖像和深度圖。
2.如權(quán)利要求1所述的編碼重聚焦計(jì)算攝像方法，其特征在于，所述步驟A中，令F(y，z)為三維重聚焦圖像，其中yc{u’2)為二維空間坐標(biāo)，而z為重聚焦圖像的深度維坐標(biāo)，則所述傳感器采集的編碼圖像I (y)通過(guò)在單曝光內(nèi)變對(duì)焦平面并同時(shí)使用逐像素調(diào)制函數(shù)M(y，z)編碼
3.如權(quán)利要求1所述的編碼重聚焦計(jì)算攝像方法，其特征在于，所述通過(guò)設(shè)計(jì)不同的調(diào)制函數(shù)以實(shí)現(xiàn)可編程非平面聚焦表面攝像包括: 將聚焦表面定義為？Ky) = Z，則所述調(diào)制函數(shù)為:M(y，s) = 3(z-p(y))，其中，當(dāng)非平面?zhèn)鞲斜砻鏋閽佄锞€形狀聚焦表面時(shí) Ky) = g，或者，當(dāng)非平面?zhèn)鞲斜砻鏋殡A梯狀表面時(shí){n(\) =,其中a為常系數(shù)，H( )為階躍函數(shù)。
4.如權(quán)利要求1所述的編碼重聚焦計(jì)算攝像方法，其特征在于，所述利用交叉式重聚焦攝像以復(fù)用三維重聚焦圖像至二維傳感器表面包括: 通過(guò)交叉式重聚焦攝像，低分辨率的重聚焦圖像F(yz,z), y^y通過(guò)從傳感器采集得到的圖像I (y)中解復(fù)用獲得F(yz, z)=I (yz) *M(yz, z),其中M(y, z)為以交叉式表面實(shí)施的調(diào)制函數(shù)，M(y，z)定義為 M(y，z)=S (z_h(y))，其中
5.如權(quán)利要求1所述的編碼重聚焦計(jì)算攝像方法，其特征在于，所述壓縮得到全分辨率的重聚焦圖像包括:使用隨機(jī)調(diào)制函數(shù)作為傳感矩陣獲取單張編碼圖像，并且使用重聚焦圖像的本質(zhì)稀疏性以恢復(fù)全分辨率的重聚焦圖像。
6.如權(quán)利要求1所述的編碼重聚焦計(jì)算攝像方法，其特征在于，所述步驟C進(jìn)一步包括: Cl.壓縮重建初始重聚焦圖像； C2.利用重聚焦圖像進(jìn)行散焦深度估計(jì)； C3.通過(guò)深度獲取重聚焦圖像的相對(duì)模糊約束并反饋至重聚焦圖像壓縮重建； C4.通過(guò)在深度圖估計(jì)和重聚焦圖像重建之間進(jìn)行迭代優(yōu)化直到收斂，以獲取優(yōu)化的重聚焦圖像和深度圖；以及C5.通過(guò)利用重聚焦圖像和深度圖以獲取最終的全分辨率的全聚焦圖像。
7.一種編碼重聚焦計(jì)算攝像裝置，其特征在于，包括: 圖像采集模塊，所述圖像采集模塊用于采集單曝光編碼重聚焦圖像； 可編程非平面聚焦表面攝像模塊，用于通過(guò)設(shè)計(jì)不同的調(diào)制函數(shù)以實(shí)現(xiàn)可編程非平面聚焦表面攝像； 交叉式重聚焦攝像模塊，用于利用交叉式重聚焦攝像以復(fù)用三維重聚焦圖像至二維傳感器表面； 重聚焦圖像生成模塊，用于通過(guò)解復(fù)用和三線性插值恢復(fù)全分辨率的重聚焦圖像；和全聚焦圖像和深度圖生成模塊，用于通過(guò)采用壓縮重建算法并加入相對(duì)模糊約束和變換域稀疏約束以獲取全分辨率的全聚焦圖像和深度圖。
8.如權(quán)利要求7所述的編碼重聚焦計(jì)算攝像裝置，其特征在于，所述單曝光編碼重聚焦圖像采集模塊進(jìn)一步包括: 可編程變對(duì)焦平面鏡頭，用于實(shí)現(xiàn)時(shí)變聚焦平面； 第一中繼透鏡，位于所述可編程變對(duì)焦平面 鏡頭和液晶顯示屏面板之間，用于中繼光路； 所述液晶顯示屏面板，用于實(shí)現(xiàn)逐像素編碼曝光； 第二中繼透鏡，位于所述液晶顯示屏面板和長(zhǎng)焦鏡頭相機(jī)之間，用于中繼光路； 所述長(zhǎng)焦鏡頭相機(jī)，用于拍攝對(duì)象。
9.如權(quán)利要求7所述的編碼重聚焦計(jì)算攝像裝置，其特征在于，所述圖像采集模塊中，令F(y，z)為三維重聚焦圖像，其中y ^{知九}為二維空間坐標(biāo)，而z為重聚焦圖像的深度維坐標(biāo)，則所述傳感器采集的編碼圖像I (y)通過(guò)在單曝光內(nèi)變對(duì)焦平面并同時(shí)使用逐像素調(diào)制函數(shù)M(y，z)編碼:
10.如權(quán)利要求7所述的編碼重聚焦計(jì)算攝像裝置，其特征在于，所述可編程非平面聚焦表面攝像模塊中:將聚焦表面定義為<Pil) = z，則所述調(diào)制函數(shù)為: M{y,z) = 8(z-(p(y))，其中，當(dāng)非平面?zhèn)鞲斜砻鏋閽佄锞€形狀聚焦表面時(shí)爐(y) = >，22，或者，當(dāng)非平面?zhèn)鞲斜砻鏋殡A梯狀表面時(shí)〃O ) = Wh)，其中a為常系數(shù)，H( )為階躍函數(shù)。
11.如權(quán)利要求7所述的編碼重聚焦計(jì)算攝像裝置，其特征在于，所述交叉式重聚焦攝像模塊中:低分辨率的重聚焦圖像F(yz，z), h-cy通過(guò)從傳感器采集得到的圖像1(7)中解復(fù)用獲得F(yz, z)=I (yz) M(yz, z),其中M(y, z)為以交叉式表面實(shí)施的調(diào)制函數(shù)，M(y, z)定義為 M(y, z)= 8 (z-h(y)),其中 /
12.如權(quán)利要求7所述的編碼重聚焦計(jì)算攝像裝置，其特征在于，所述重聚焦圖像生成模塊中，使用隨機(jī)調(diào)制函數(shù)作為傳感矩陣獲取單張編碼圖像，并且使用重聚焦圖像的本質(zhì)稀疏性以恢復(fù)全分辨率的重聚焦圖像。
13.如權(quán)利要求1所述的編碼重聚焦計(jì)算攝像方法，其特征在于，所述全聚焦圖像和深度圖生成模塊進(jìn)一步包括: 壓縮子模塊，所述壓縮子模塊用于壓縮重建初始重聚焦圖像； 散焦深度估計(jì)子模塊，所述散焦深度估計(jì)模塊用于根據(jù)重聚焦圖像進(jìn)行散焦深度估計(jì)； 模糊約束子模塊，所述模糊約束子模塊用于通過(guò)深度獲取重聚焦圖像的相對(duì)模糊約束并反饋至重聚焦圖像壓縮重建； 迭代優(yōu)化子模塊，所述迭代優(yōu)化子模塊用于通過(guò)在深度圖估計(jì)和重聚焦圖像重建之間進(jìn)行迭代優(yōu)化直到收斂，以獲取優(yōu)化的重聚焦圖像和深度圖；和 全聚焦圖像生成子模塊，所述全聚焦圖像生成子模塊用于利用重聚焦圖像和深度圖以獲取最終的全 聚焦圖像。
全文摘要
本發(fā)明公開(kāi)了一種編碼重聚焦計(jì)算攝像方法及裝置，其中該方法包括通過(guò)在曝光時(shí)間內(nèi)改變對(duì)焦平面，并且在相應(yīng)的所述對(duì)焦平面設(shè)置下逐像素編碼的傳感器的讀出時(shí)間，以獲得單曝光編碼重聚焦圖像；通過(guò)設(shè)計(jì)不同的調(diào)制函數(shù)以實(shí)現(xiàn)可編程非平面聚焦表面攝像，利用交叉式重聚焦攝像以復(fù)用三維重聚焦圖像至二維傳感器表面，通過(guò)解復(fù)用和三線性插值得到全分辨率的重聚焦圖像；以及利用稀疏編碼機(jī)制，通過(guò)采用壓縮感知重建算法并加入相對(duì)模糊約束和變換域稀疏約束以獲取全分辨率的全聚焦圖像和深度圖。本發(fā)明的方法和裝置具有簡(jiǎn)便易行、攝像結(jié)果分辨率高的優(yōu)點(diǎn)。
文檔編號(hào)H04N5/235GK103209307SQ20131013641
公開(kāi)日2013年7月17日 申請(qǐng)日期2013年4月18日 優(yōu)先權(quán)日2013年4月18日
發(fā)明者戴瓊海, 林星 申請(qǐng)人:清華大學(xué)