專利名稱：使用編碼孔徑的距離測(cè)量的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像捕獲裝置，能夠確定場(chǎng)景中的物體的距離信息，確切地說涉及一種用于使用具有編碼孔徑和新穎的計(jì)算算法的捕獲裝置來更高效地確定距離信息的方法。
背景技術(shù)：
光學(xué)成像系統(tǒng)經(jīng)過設(shè)計(jì)可以在指定的距離范圍內(nèi)產(chǎn)生場(chǎng)景物體的聚焦圖像。圖像在圖像空間中的一個(gè)二維(2D)平面中最清晰地對(duì)焦，這個(gè)平面稱為焦平面或圖像平面。根據(jù)幾何光學(xué)，場(chǎng)景物體與圖像平面之間的完美焦點(diǎn)關(guān)系只對(duì)于遵守薄透鏡方程的物距與圖像距離的組合存在
I I Im — = - + -(O
Jss其中是f是透鏡的焦距，s是從物體到透鏡的距離，且s’是從透鏡到圖像平面的距離。這個(gè)方程對(duì)于單個(gè)薄透鏡是有效的，但眾所周知，厚透鏡、復(fù)合透鏡和更加復(fù)雜的光學(xué)系統(tǒng)是建模成具有有效焦距f的單個(gè)薄透鏡?；蛘?，復(fù)雜系統(tǒng)是使用主平面的構(gòu)造和使用上述方程(下文中稱為透鏡方程)中的有效焦距建模的，其中物距和圖像距離S、S，是從這些平面測(cè)量的。還已知，一旦系統(tǒng)聚焦在處于距離S1上的物體上，那么總地來說，只有處在這個(gè)距離上的物體才在位于距離S1'上的對(duì)應(yīng)圖像平面上清晰對(duì)焦。處在不同距離S2上的物體在對(duì)應(yīng)的圖像距離s2’上產(chǎn)生其最清晰的圖像，這個(gè)圖像距離是通過透鏡方程確定的。如果系統(tǒng)聚焦在S1上，那么處在S2處的物體會(huì)在位于S1'處的圖像平面上產(chǎn)生散焦的模糊的圖像。模糊程度取決于兩個(gè)物距S1與S2之間的差、透鏡的焦距f，以及通過f數(shù)(表示為f/#)測(cè)量的透鏡的孔徑。舉例來說，圖I展示了焦距為f且通光孔徑為直徑D的單透鏡10。位于距離S1處的物體的軸上點(diǎn)P1在離透鏡的距離Sl’處的點(diǎn)P1'上成像。位于距離S2處的物體的軸上點(diǎn)P2在離透鏡的距離s2’處的點(diǎn)P2’上成像。跟蹤來自這些物點(diǎn)的光線，軸向光線20和22在像點(diǎn)P/上會(huì)聚，而軸向光線24和26在像點(diǎn)P2’上會(huì)聚，然后在它們分開的距離為d時(shí)與P/的圖像平面相交。在具有圓對(duì)稱的光學(xué)系統(tǒng)中，從P2發(fā)出的光線在所有方向上分布，會(huì)在P1'的圖像平面上產(chǎn)生直徑為d的圓，稱為“模糊圓”或“彌散圓”。軸上點(diǎn)P1從透鏡移動(dòng)得更遠(yuǎn)，趨向于無限遠(yuǎn)，根據(jù)透鏡方程可以知道s/ = f。這使得f數(shù)通常被定義為f/# = f/D。在有限距離上，有效f數(shù)定義為(f/#)w = f/Sl’。在任一種情況下，顯然f數(shù)是到達(dá)圖像平面的光錐的角度測(cè)量，這又與模糊圓的直徑d有關(guān)。實(shí)際上，可以顯示出d= [fJj ⑶通過準(zhǔn)確地測(cè)量透鏡的焦距和f數(shù)，和各種物體在二維圖像平面上的模糊圓的直徑山原則上可以通過將方程(2)顛倒并且應(yīng)用透鏡方程使物距與圖像距離相關(guān)，來獲得場(chǎng)景中的物體的深度信息。這需要在一個(gè)或多個(gè)已知物距上仔細(xì)地校準(zhǔn)光學(xué)系統(tǒng)，在這一點(diǎn)上，剩余的任務(wù)就是準(zhǔn)確地確定模糊圓直徑d。以上論述闡述了基于焦點(diǎn)的被動(dòng)光學(xué)測(cè)距方法背后的原理。即，這些方法是基于現(xiàn)有的照明(被動(dòng))，其分析場(chǎng)景物體的聚焦程度，并且使之與物體離相機(jī)的距離相關(guān)。這些方法分成兩個(gè)種類“離焦深度(depth from defocus)”方法假設(shè)相機(jī)聚焦一次，并且捕獲單個(gè)圖像進(jìn)行深度分析，而“對(duì)焦深度”(cbpth from focus)方法假設(shè)在不同焦點(diǎn)位置捕獲多個(gè)圖像，并且使用不同相機(jī)設(shè)置的參數(shù)來推斷場(chǎng)景物體的深度。上文呈現(xiàn)的方法提供了對(duì)深度恢復(fù)問題的了解，但遺憾的是過于簡(jiǎn)單，而且在實(shí)踐上并不穩(wěn)固。根據(jù)幾何光學(xué)，其預(yù)測(cè)每個(gè)物點(diǎn)的散焦圖像是均勻的圓盤或模糊圓。在實(shí)踐中，衍射效應(yīng)和透鏡象差會(huì)引起更加復(fù)雜的光分布 ，通過點(diǎn)擴(kuò)散函數(shù)(PSf)來表征，指定了在圖像平面的任何點(diǎn)(X，y)上因?yàn)槲矬w平面中的點(diǎn)光源所致的光強(qiáng)度。如薄夫(V. M ·薄夫(V. M. Bove), “距離感測(cè)相機(jī)的圖片應(yīng)用” (Pictorial Applications for Range SensingCameras), SPIE第901卷，第10到17頁，1988)所闡述，散焦過程更加準(zhǔn)確地建模為圖像強(qiáng)度和與深度有關(guān)的Psf的卷積idef (x, y ；z) = i (x, y)*h(x, y ；z),(3)其中idef (x, y;z)是散焦圖像，i (x, y)是對(duì)焦圖像，h(x, y;z)是與深度有關(guān)的psf,且*表示卷積。在傅立葉域中,這被寫為I def (vx, vy) = I (vx, vy)H(vx, vy ；z),(4)其中Idef(vx，vy)是散焦圖像的傅立葉變換，I(vx，vy)是對(duì)焦圖像的傅立葉變換，且H(vx, vy;ζ)是與深度有關(guān)的psf的傅立葉變換。請(qǐng)注意,psf的傅立葉變換是光學(xué)傳遞函數(shù)或0TF。薄夫描述了一種對(duì)焦深度方法，其中假設(shè)psf是圓對(duì)稱的，即h(x，y;z)=h(r;z)且H(vx, vy ;ζ) =Η(ρ ;ζ)，且其中!■和P分別是空間和空間頻域中的半徑。捕獲了兩個(gè)圖像，一個(gè)具有小相機(jī)孔徑(焦深長(zhǎng))，一個(gè)具有大相機(jī)孔徑(焦深小)。取兩個(gè)圖像中的對(duì)應(yīng)窗口塊的離散傅立葉變換(DFT)，之后是所得功率譜的徑向平均，這意味著在360度角上在頻率空間中離原點(diǎn)的一系列徑向距離上計(jì)算功率譜的平均值。在該點(diǎn)處，使用長(zhǎng)和短場(chǎng)深(DOF)的圖像的徑向平均功率譜來計(jì)算對(duì)應(yīng)窗口塊處的Η(Ρ ;ζ)的估計(jì)值，假設(shè)每個(gè)塊代表離相機(jī)不同距離ζ處的場(chǎng)景元素。使用含有已知距離[Z1, Z2, . . . zj處的物體的場(chǎng)景來校準(zhǔn)該系統(tǒng)以表征Η(Ρ ;ζ)，其于是與模糊圓直徑有關(guān)。模糊圓直徑對(duì)距離ζ的回歸于是引起圖像的深度或距離圖，分辨率對(duì)應(yīng)于為了 DFT選出的塊的大小。已顯示了基于模糊圓回歸的方法來產(chǎn)生可靠的深度估計(jì)值。深度分辨率受到以下事實(shí)的限制模糊圓直徑靠近焦點(diǎn)改變得很快，但遠(yuǎn)離焦點(diǎn)改變得很慢，且這個(gè)行為關(guān)于焦點(diǎn)位置并不對(duì)稱。此外，雖然該方法是基于點(diǎn)擴(kuò)散函數(shù)的分析，但其依賴于從PSf導(dǎo)出的單個(gè)量值(模糊圓直徑)。其它離焦深度方法試圖將psf的行為用可預(yù)測(cè)的方式設(shè)計(jì)成散焦的函數(shù)。通過產(chǎn)生受控的與深度有關(guān)的模糊函數(shù)，可以使用這個(gè)信息將圖像去模糊，并且基于去模糊操作的結(jié)果來推斷場(chǎng)景物體的深度。這個(gè)問題有兩個(gè)主要部分控制PSf行為，并且將圖像去模糊，假設(shè)Psf是散焦的函數(shù)。通過將掩模放置到光學(xué)系統(tǒng)中，通常放在孔徑光闌的平面上，來控制PSf行為。舉例來說，圖2展示了現(xiàn)有技術(shù)的具有兩個(gè)透鏡30和34以及放置在其間的包含孔陣列的二元透射比掩模32的光學(xué)系統(tǒng)的示意圖。在許多情況下，該掩模是系統(tǒng)中的限制從軸向物點(diǎn)傳播的光線束的元件，且因此定義為孔徑光闌。如果這些透鏡合理地不會(huì)出現(xiàn)象差，那么掩模配合衍射效應(yīng)將在很大程度上確定psf和OTF (見J. W.古德曼(J. ff. Goodman),《傅立葉光學(xué)簡(jiǎn)介》(Introduction to Fourier Optics), McGraw-Hill,舊金山，1968,第 113-117頁)。這項(xiàng)觀察結(jié)果是編碼模糊或編碼孔徑方法背后的工作原理。在現(xiàn)有技術(shù)的一個(gè)實(shí)例中，維哈拉哈凡(Veeraraghavan)等人(“斑點(diǎn)攝影外差光場(chǎng)和編碼孔徑重新聚焦的掩模增強(qiáng)相機(jī)，，(Mask Enhanced Cameras for Heterodyned Light Fields and Coded ApertureRefocusing),《ACM 圖形期刊》(ACM Transactions on Graphics)26 (3), 2007 年 7 月，論文69)闡明了由正方形均勻透射單元組成的寬帶頻率掩?？梢栽谏⒔鼓：倪^程中保持高空間頻率。通過假設(shè)散焦psf是孔徑掩模的縮放形式(當(dāng)衍射效應(yīng)可以忽略時(shí)有效的假設(shè))，作者展示出通過去模糊而獲得深度信息。這要求解決去卷積問題，即，將方程(3)顛倒以獲得ζ的相關(guān)值的h(X，y;z)。原則上，將方程(3)的空間頻域?qū)?yīng)部分(B卩，方程(4))顛倒更容易，這是在H (vx, vy; ζ)為非零的所有頻率下進(jìn)行的。在實(shí)踐中，眾所周知要找到去卷積的唯一解是一個(gè)難題。維哈拉哈凡等人通過首 先假設(shè)場(chǎng)景是由離散的深度層組成然后形成場(chǎng)景中的層數(shù)的估計(jì)值來解決這個(gè)問題。接著，使用以下模型針對(duì)每層單獨(dú)估計(jì)PSf的數(shù)值h (x, y, z) = m(k(z)x/w, k(z)y/w),(5)其中m(x，y)是掩模透射比函數(shù)，k(z)是在深度ζ處psf中的像素?cái)?shù)，且w是2D掩模中的單元數(shù)目。作者應(yīng)用圖像梯度分布模型，還有用于psf的方程(5)，針對(duì)場(chǎng)景中的每個(gè)假設(shè)的深度層將圖像去卷積一次。去卷積的結(jié)果只有對(duì)那些數(shù)值與其匹配的Psf是理想的，因而表明了此區(qū)域的對(duì)應(yīng)深度。這些結(jié)果的范圍限于根據(jù)方程(5)的掩模縮放模型操作的系統(tǒng)和由均勻的正方形單元組成的掩模。勒文(Levin)等人(“具有編碼孔徑的常規(guī)相機(jī)的圖像和深度”(Image andDepth from a Conventional Camera with a Coded Aperture), ((ACM 圖形期刊》(ACMTransactions on Graphics) 26 (3), 2007年7月，論文70)使用的方法與維哈拉哈凡相似，但是勒文等人依靠一系列散焦圖像平面上的測(cè)試圖案的直接攝影來按照散焦的函數(shù)推斷Psf0此外，勒文等人研究了許多不同的掩模設(shè)計(jì)，試圖獲得最優(yōu)的編碼孔徑。他們用自己的去卷積算法假設(shè)稀疏圖像梯度的高斯分布，還有高斯噪聲模型。因此，優(yōu)化編碼孔徑解決方案取決于去卷積分析中進(jìn)行的假設(shè)。

發(fā)明內(nèi)容
編碼孔徑方法顯示出使用單透鏡相機(jī)系統(tǒng)確定物體距離的前景。但是，仍然需要可以跨各種圖像內(nèi)容用各種編碼孔徑設(shè)計(jì)來產(chǎn)生準(zhǔn)確的測(cè)距結(jié)果的方法。本發(fā)明表示一種使用圖像捕獲裝置來識(shí)別場(chǎng)景中的物體的距離信息的方法，其包括a)提供圖像捕獲裝置，所述圖像捕獲裝置具有圖像傳感器、編碼孔徑和透鏡；b)在存儲(chǔ)器中存儲(chǔ)從距離校準(zhǔn)數(shù)據(jù)導(dǎo)出的一組模糊參數(shù)；c)捕獲所述場(chǎng)景的具有多個(gè)物體的圖像；d)通過以下步驟使用捕獲到的圖像和所存儲(chǔ)的組中的每一個(gè)模糊參數(shù)提供一組去模糊圖像
i)將候選去模糊圖像初始化；ii)確定表示所述候選去模糊圖像中的相鄰像素之間的差值的多個(gè)差分圖像；iii)通過組合所述差分圖像確定組合差分圖像；iv)響應(yīng)于所述捕獲到的圖像、所述模糊參數(shù)、所述候選去模糊圖像和所述組合差分圖像來更新所述候選去模糊圖像；以及V)重復(fù)步驟i) -iv)，直到滿足收斂標(biāo)準(zhǔn)為止；以及e)使用該組去模糊圖像來確定所述場(chǎng)景中的所述物體的所述距離信息。本發(fā)明的優(yōu)點(diǎn)是，可以基于一種新穎的對(duì)于去卷積內(nèi)核的精確性質(zhì)穩(wěn)固的去卷積算法來產(chǎn)生改善的距離估計(jì)值，且因此更加普遍地適用于更加多種多樣的編碼孔徑設(shè) 計(jì)。本發(fā)明還有另一個(gè)優(yōu)點(diǎn)是它是基于具有比現(xiàn)有技術(shù)去模糊算法少的振鈴假象(ringingartifact)的去模糊圖像,這樣可以產(chǎn)生改善的距離估計(jì)值。


圖I是現(xiàn)有技術(shù)中已知的單透鏡光學(xué)系統(tǒng)的示意圖。圖2是現(xiàn)有技術(shù)中已知的具有編碼孔徑掩模的光學(xué)系統(tǒng)的示意圖。圖3是展示根據(jù)本發(fā)明的一種布置的使用圖像捕獲裝置識(shí)別場(chǎng)景中的物體的距離信息的方法的步驟的流程圖。圖4是根據(jù)本發(fā)明的一種布置的捕獲裝置的示意圖。圖5是根據(jù)本發(fā)明的一種布置的用于獲得一個(gè)物距和一系列散焦距離的模糊參數(shù)的實(shí)驗(yàn)設(shè)置的示意圖。圖6是說明根據(jù)本發(fā)明的一種布置如何使用捕獲到的圖像和模糊參數(shù)來提供一組去模糊圖像的過程圖。圖7是說明根據(jù)本發(fā)明的一種布置的將單個(gè)圖像去模糊的過程圖。圖8是展示根據(jù)本發(fā)明的一種布置的中心在當(dāng)前像素位置上的索引陣列的示意圖。圖9是說明根據(jù)本發(fā)明的一種布置的去模糊圖像組經(jīng)處理以確定場(chǎng)景中的物體的距離信息的過程圖。圖10是根據(jù)本發(fā)明的一種布置的數(shù)碼相機(jī)系統(tǒng)的示意圖。
具體實(shí)施例方式在下文的說明中，將在一些方面中說明本發(fā)明的一些布置，這些方面一般會(huì)實(shí)施成軟件程序。本領(lǐng)域的技術(shù)人員容易認(rèn)識(shí)到，也可以用硬件來構(gòu)造這些軟件的等效物。因?yàn)閳D像操縱算法和系統(tǒng)是眾所周知的，所以本說明書將特別針對(duì)形成根據(jù)本發(fā)明的方法的一部分，或者與之更加直接協(xié)作的算法和系統(tǒng)。從本領(lǐng)域已知的這些系統(tǒng)、算法、組件和元件中選出這些算法和系統(tǒng)的其他方面，以及用于產(chǎn)生和以其他方式處理其中涉及的圖像信號(hào)的硬件和軟件，這些內(nèi)容在本文中并未特定展示或說明。鑒于下文中根據(jù)本發(fā)明所述的系統(tǒng)，本文中未特別展示、提議或說明的對(duì)實(shí)施本發(fā)明有用的軟件是本領(lǐng)域常用的，而且是本領(lǐng)域的普通技術(shù)。本發(fā)明包含本文中所述的布置的組合。提到“特定布置”等是指本發(fā)明的至少一種布置中存在的特征。分別提到“一種布置”或“特定布置”等不一定是指相同的布置；但是，這些布置互不排斥，除非指出了它們互相排斥，或者本領(lǐng)域的技術(shù)人員容易明白它們互相排斥。在提到“方法”等時(shí)使用單數(shù)或復(fù)數(shù)并不具有限制性。應(yīng)當(dāng)注意，除非上下文另有明確指出或要求，否則本披露中是在非排斥性意義上使用詞語“或”。圖3是展示根據(jù)本發(fā)明的一種布置的使用圖像捕獲裝置識(shí)別場(chǎng)景中的物體的距離信息的方法的步驟的流程圖。所述方法包括以下步驟提供圖像捕獲裝置50，其具有圖像傳感器、編碼孔徑和透鏡；在存儲(chǔ)器中存儲(chǔ)一組從距離校準(zhǔn)數(shù)據(jù)導(dǎo)出的模糊參數(shù)60 ;捕獲場(chǎng)景的具有多個(gè)物體的圖像70 ;使用捕獲到的圖像和所存儲(chǔ)的組中的每個(gè)模糊參數(shù)提供一組去模糊的圖像80 ;以及使用該組模糊圖像來確定場(chǎng)景中的物體的距離信息90。圖像捕獲裝置包括一個(gè)或多個(gè)圖像捕獲裝置，其實(shí)施根據(jù)本發(fā)明的各種布置的方法，包括本文中所述的實(shí)例圖像捕獲裝置。短語“圖像捕獲裝置”或“捕獲裝置”希望包括任何包括在圖像平面上形成場(chǎng)景的聚焦圖像的透鏡的裝置，其中電子圖像傳感器位于圖像平面上，用于記錄圖像和使圖像數(shù)字化，并且進(jìn)一步包括編碼孔徑或掩模，位于場(chǎng)景或物體平面與圖像平面之間。這些裝置包括數(shù)碼相機(jī)、蜂窩電話、數(shù)字錄像機(jī)、監(jiān)控?cái)z像機(jī)、網(wǎng)絡(luò)攝像機(jī)、電視攝像機(jī)、多媒體裝置或任何其它用于記錄圖像的裝置。圖4展示根據(jù)本發(fā)明的一 種布置的一個(gè)這種捕獲裝置的示意圖。捕獲裝置40包括透鏡42，編碼孔徑44和電子傳感器陣列46，透鏡42在此處展示為包括多個(gè)元件的復(fù)合透鏡。優(yōu)選的是，編碼孔徑位于光學(xué)系統(tǒng)的孔徑光闌上，或者位于孔徑光闌的一個(gè)圖像上，這在本領(lǐng)域中稱為入射光瞳和出射光瞳。這樣可能就必須根據(jù)孔徑光闌的位置如圖2中說明在復(fù)合透鏡的元件之間放置編碼孔徑。編碼孔徑是光吸收類型的，僅更改入射在上面的光學(xué)波前上的振幅分布，或者是相位類型的，僅更改入射在上面的光學(xué)波前上的相位延遲，或者是混合類型的，更改振幅和相位兩者。在存儲(chǔ)器60中存儲(chǔ)一組模糊參數(shù)的步驟是指存儲(chǔ)圖像捕獲裝置的一系列物距和散焦距離下的psf的表示。存儲(chǔ)模糊參數(shù)包括存儲(chǔ)psf的數(shù)字化表示,這是由二維矩陣中的離散代碼值指定的。這個(gè)存儲(chǔ)步驟還包括存儲(chǔ)從應(yīng)用于Psf數(shù)據(jù)的回歸或擬和函數(shù)導(dǎo)出的數(shù)學(xué)參數(shù)，使得容易根據(jù)這些參數(shù)和已知的回歸或擬和函數(shù)來計(jì)算給定(x，y，ζ)位置的psf值。此存儲(chǔ)器可包括計(jì)算機(jī)硬盤、R0M、RAM或本領(lǐng)域中已知的任何其他電子存儲(chǔ)器。此存儲(chǔ)器可位于相機(jī)內(nèi)部，或者位于以電子方式連接到相機(jī)的計(jì)算機(jī)或其他裝置中。在圖4所示的布置中，存儲(chǔ)模糊參數(shù)47 [Ρι，ρ2，· · · pn]的存儲(chǔ)器48位于相機(jī)40內(nèi)部。圖5是根據(jù)本發(fā)明的用于獲得一個(gè)物距和一系列散焦距離下的模糊參數(shù)的實(shí)驗(yàn)設(shè)置的示意圖。模擬點(diǎn)源包括通過聚光器210聚焦在光軸與焦平面F相交的點(diǎn)上的光源200，焦平面F與相機(jī)40的焦平面重合，位于離相機(jī)的物距Rci處。穿過焦點(diǎn)的光線220和230看起來是從位于離相機(jī)的距離Rtl處的光軸上的點(diǎn)源發(fā)出的。因此，相機(jī)40捕獲的此光的圖像是對(duì)相機(jī)40在物距Rtl處的相機(jī)psf的記錄。通過將源200和聚光透鏡210 —起(在此實(shí)例中，向左)移動(dòng)以便將有效點(diǎn)源的位置移動(dòng)到其它平面(例如D1和D2)同時(shí)將相機(jī)40的聚焦位置保持在平面F上，捕獲在離相機(jī)40的其它距離處的物體的散焦psf。接著，與psf圖像一起記錄從相機(jī)40到平面F、D1和D2的距離(或距離數(shù)據(jù))，從而完成此組距離校準(zhǔn)數(shù)據(jù)。返回到圖3，捕獲場(chǎng)景的圖像的步驟70包括捕獲場(chǎng)景的一個(gè)圖像，或數(shù)字圖像序列形式的場(chǎng)景的兩個(gè)或兩個(gè)以上圖像，這在本領(lǐng)域中也稱為運(yùn)動(dòng)或視頻序列。以此方式，所述方法包括識(shí)別場(chǎng)景中的一個(gè)或多個(gè)移動(dòng)物體的距離信息的能力。這是通過確定序列中的每個(gè)圖像的距離信息90，或者通過確定序列中的某個(gè)圖像子集的距離信息來完成的。在一些布置中，使用序列中的圖像子集來確定場(chǎng)景中的一個(gè)或多個(gè)移動(dòng)物體的距離信息，只要圖像之間的時(shí)間間隔被選擇成足夠小，能夠解析深度或ζ方向上的顯著變化。也就是說，這將是ζ方向上的物體速度和原始圖像捕獲間隔或幀速率的函數(shù)。在其它布置中，使用場(chǎng)景中的一個(gè)或多個(gè)移動(dòng)物體的距離信息的確定來識(shí)別場(chǎng)景中的固定和移動(dòng)的物體。如果移動(dòng)物體對(duì)其運(yùn)動(dòng)向量具有ζ分量，即，其深度隨時(shí)間或圖像幀變化，那么這一點(diǎn)特別有利。在考慮到相機(jī)運(yùn)動(dòng)之后，將固定物體識(shí)別為那些計(jì)算出的距離值不隨時(shí)間變化的物體，而移動(dòng)物體具有可隨時(shí)間改變的距離值。在另一種布置中，圖像捕獲裝置使用與移動(dòng)物體相關(guān)聯(lián)的距離信息來追蹤這些物體。圖6展示了一個(gè)過程圖，其中使用存儲(chǔ)在存儲(chǔ)器48中的捕獲到的圖像72和模糊參數(shù)47[Pl，p2，…pn]來提供一組去模糊圖像81。這些模糊參數(shù)是一組二維矩陣，近似圖像捕獲裝置40在捕獲圖像的距離以及覆蓋場(chǎng)景中的物體范圍的一系列散焦距離上的psf?；蛘?，模糊參數(shù)是根據(jù)如上所述的回歸或擬和函數(shù)的數(shù)學(xué)參數(shù)。在任一種情況下，根據(jù)圖6中 表示為[PSf1, psf2,. . . PSfm組的模糊參數(shù)來計(jì)算跨越物體空間中所關(guān)注的物距范圍的點(diǎn)擴(kuò)散函數(shù)49的數(shù)字表示。在優(yōu)選實(shí)施例中，模糊參數(shù)47與此組數(shù)字表示的psf 49之間存在
對(duì)應(yīng)關(guān)系。在一些布置中，不存在對(duì)應(yīng)關(guān)系。在一些布置中，通過根據(jù)可獲得模糊參數(shù)數(shù)據(jù)的散焦距離來內(nèi)插或外推模糊參數(shù)數(shù)據(jù)，計(jì)算尚未記錄模糊參數(shù)數(shù)據(jù)的散焦距離處的數(shù)字表示的psf。在去卷積運(yùn)算中使用數(shù)字表示的psf 49來提供80—組去模糊的圖像81。將捕獲的圖像72去卷積m次，組49中的m個(gè)元素中每個(gè)元素一次，從而產(chǎn)生一組m個(gè)去模糊圖像81。接著，參照原始捕獲到的圖像72進(jìn)一步處理去模糊圖像組81 (其元素表示為[I1,I2,…Im])，以確定場(chǎng)景中的物體的距離信息?，F(xiàn)在將參照?qǐng)D7更詳細(xì)地說明提供一組去模糊圖像的步驟80，圖7中圖示了根據(jù)本發(fā)明使用此組psf49的單個(gè)元素將單個(gè)圖像去模糊的過程。本領(lǐng)域中已知，有待去模糊的圖像稱為模糊圖像，并且表示相機(jī)系統(tǒng)的模糊效應(yīng)的Psf稱為模糊內(nèi)核。使用接收模糊圖像步驟102來接收?qǐng)鼍暗牟东@到的圖像72。接下來，使用接收模糊內(nèi)核步驟105來接收從此組psf 49中選出的模糊內(nèi)核106。模糊內(nèi)核106是一個(gè)卷積內(nèi)核,被應(yīng)用于場(chǎng)景的清晰圖像，從而產(chǎn)生具有大致等于場(chǎng)景的捕獲到的圖像72內(nèi)的一個(gè)或多個(gè)物體的清晰度特性的圖像。接下來，使用將候選去模糊圖像初始化步驟104來使用捕獲到的圖像72將候選去模糊圖像107初始化。在本發(fā)明的優(yōu)選實(shí)施例中，通過簡(jiǎn)單地將候選去模糊圖像107設(shè)置成等于捕獲到的圖像72，將候選去模糊圖像107初始化。任選地，可以使用本領(lǐng)域的技術(shù)人員已知的任何去卷積算法來使用模糊內(nèi)核106來處理捕獲到的圖像72，然后通過將候選去模糊圖像107設(shè)置成等于經(jīng)處理的圖像，將候選去模糊圖像107初始化。這些去卷積算法的實(shí)例將包括常規(guī)頻域過濾算法，例如在背景技術(shù)部分中說明的眾所周知的Richardson-Iucy(RL)去卷積方法。在其他布置中，其中捕獲到的圖像72是圖像序列的一部分，則在圖像序列中的當(dāng)前圖像與前一圖像之間計(jì)算出差值圖像，并且參照此差值圖像將候選去模糊圖像初始化。舉例來說，如果序列中的連續(xù)圖像之間的差值當(dāng)前很小，則不從候選去模糊圖像的先前狀態(tài)將候選去模糊圖像重新初始化，從而節(jié)省處理時(shí)間。省去重新初始化過程，直到檢測(cè)到序列中有顯著差值為止。在其他布置中，如果僅在選定區(qū)域中檢測(cè)到序列中有顯著變化，則僅將候選去模糊圖像的選定區(qū)域重新初始化。在另一種布置中，只針對(duì)場(chǎng)景中的檢測(cè)到序列中有顯著差值的選定區(qū)域或物體確定距離信息，因而可以節(jié)省處理時(shí)間。接下來，使用計(jì)算差分圖像步驟108來確定多個(gè)差分圖像109。差分圖像109可以包括通過計(jì)算不同方向(例如，X和y)上且具有不同距離間隔(例如，Λ X=I, 2，3)的數(shù)值導(dǎo)數(shù)而計(jì)算的差分圖像。使用計(jì)算組合差分圖像步驟110，通過組合差分圖像109來形成組合差分圖像111。接下來使用更新候選去模糊圖像步驟112來響應(yīng)于捕獲到的圖像72、模糊內(nèi)核106、候選去模糊圖像107和組合差分圖像111來計(jì)算新候選去模糊圖像113。如下文將更詳細(xì)說明，在本發(fā)明的優(yōu)選實(shí)施例中，更新候選去模糊圖像步驟112采用一種使用最大后 驗(yàn)(MAP)估計(jì)的貝葉斯推理方法。接下來，使用收斂判別法114來通過應(yīng)用收斂標(biāo)準(zhǔn)115確定去模糊算法是否已經(jīng)收斂。收斂標(biāo)準(zhǔn)115用本領(lǐng)域的技術(shù)人員已知的任何適當(dāng)方式指定。在本發(fā)明的優(yōu)選實(shí)施例中，收斂標(biāo)準(zhǔn)115指定，如果新候選去模糊圖像113與候選去模糊圖像107之間的均方差小于預(yù)定閾值，則終止該算法。本領(lǐng)域的技術(shù)人員眾所周知收斂標(biāo)準(zhǔn)的替代形式。舉例來說，當(dāng)算法重復(fù)了預(yù)定次迭代的時(shí)候，滿足收斂標(biāo)準(zhǔn)115?；蛘撸諗繕?biāo)準(zhǔn)115可指定如果新候選去模糊圖像113與候選去模糊圖像107之間的均方差小于預(yù)定閾值則終止該算法，但是即使不滿足均方差條件，在算法重復(fù)了預(yù)定次迭代之后也終止該算法。如果尚未滿足收斂標(biāo)準(zhǔn)115，則更新候選去模糊圖像107使其等于新候選去模糊圖像113。如果已經(jīng)滿足收斂標(biāo)準(zhǔn)115，則將去模糊圖像116設(shè)置成等于新候選去模糊圖像113。接著使用存儲(chǔ)去模糊圖像步驟117在處理器可存取的存儲(chǔ)器中存儲(chǔ)所得的去模糊圖像116。處理器可存取的存儲(chǔ)器是例如RAM或硬盤等任何類型的數(shù)字存儲(chǔ)裝置。在本發(fā)明的優(yōu)選實(shí)施例中，采用一種使用最大后驗(yàn)(MAP)估計(jì)的貝葉斯推理方法來確定去模糊圖像116。使用此方法，通過定義以下形式的能量函數(shù)來確定去模糊圖像116 E(L) = (L K-B)2+XD(L)(6)其中L是去模糊圖像116，K是模糊內(nèi)核106，Β是模糊圖像，即，捕獲到的圖像72， 是卷積算子，D(L)是組合差分圖像111，且λ是權(quán)重系數(shù)。在本發(fā)明的優(yōu)選實(shí)施例中，使用以下方程來計(jì)算組合差分圖像111 D(L) = IwjOjL)2(7)
j其中j是索引值，巧是對(duì)應(yīng)于第j個(gè)索引的差分算子，W」是下文將更詳細(xì)描述的與像素有關(guān)的權(quán)重因子。使用索引j來識(shí)別相鄰像素以用于計(jì)算差值。在本發(fā)明的優(yōu)選實(shí)施例中，針對(duì)中心在特定像素上的5X5像素窗計(jì)算差值。圖8展示了中心在當(dāng)前像素位置310上的索引陣列300。在索引陣列300中展示的數(shù)字是索引j。舉例來說，索引值j = 6對(duì)應(yīng)于在當(dāng)前像素位置310的上方I行左邊2列的像素。
差分算子奪確定當(dāng)前像素的像素值與索引j指定的相對(duì)位置處的像素值之間的差值。舉例來說AS將對(duì)應(yīng)于通過取去模糊圖像L中的每個(gè)像素與上方I行左邊2列的對(duì)應(yīng)像素之間的差值來確定的差分圖像。用方程形式這將表達(dá)為3jL 二 L(x,y) —L(x —Axj，y-Ayj)(8)其中Λ Xj和Λ Yj分別是對(duì)應(yīng)于第j個(gè)索引的列和行偏移。一般來說將需要該組差分圖像SjL包括一個(gè)或多個(gè)表示水平方向上相鄰像素之間的差值的水平差分圖像，以及一個(gè)或多個(gè)表示垂直方向上相鄰像素之間的差值的垂直差分圖像，還有一個(gè)或多個(gè)表示對(duì)角線方向上的相鄰像素之間的差值的對(duì)角線差分圖像。在本發(fā)明的優(yōu)選實(shí)施例中，使用以下方程確定與像素有關(guān)的權(quán)重因子％ Wj = (Wd)j(Wp)j(9) 其中(Wd)j是第j個(gè)差分圖像的距離權(quán)重因子，且(Wp)j是第j個(gè)差分圖像的與像素有關(guān)的權(quán)重因子。距離權(quán)重因子(Wd)j依據(jù)被差分的像素之間的距離對(duì)每個(gè)差分圖像進(jìn)行加權(quán)(Wd)j = G(d)(10)其中d = +Ayj2是被差分的像素之間的距離，且G( ·)是權(quán)重函數(shù)。在優(yōu)選
實(shí)施例中,權(quán)重函數(shù)G( ·)按照高斯函數(shù)衰減，使得具有較大距離的差分圖像的加權(quán)小于具有較小距離的差分圖像。與像素有關(guān)的權(quán)重因子(Wp)J衣?lián)袼氐牧恐祵⒚總€(gè)差分圖像中的像素加權(quán)。出于上文提到的勒文等人所寫的文章“具有編碼孔徑的常規(guī)相機(jī)的圖像和深度”中論述的原因，需要使用以下方程來確定與像素有關(guān)的權(quán)重因子w :(Wp)j =|ajL|a~2.(H)其中I ·|是絕對(duì)值算子，且α是常量(例如，O. 8)。在優(yōu)化過程中，使用針對(duì)前一次迭代確定的L的估計(jì)值，針對(duì)每次迭代計(jì)算一組差分圖像AL。方程(6)中表達(dá)的能量函數(shù)的第一項(xiàng)是圖像逼真度項(xiàng)。在貝葉斯推理的術(shù)語中，其通常稱為“相似度”項(xiàng)?？梢钥闯?，當(dāng)模糊圖像B (捕獲到的圖像72)與用模糊內(nèi)核106(K)卷積的候選去模糊圖像(L)的模糊版本之間的差很小時(shí)，此項(xiàng)將很小。方程(6)中表達(dá)的能量函數(shù)的第二項(xiàng)是圖像差分項(xiàng)。該項(xiàng)通常稱為“圖像先驗(yàn)”(image prior)。當(dāng)組合差分圖像111的量值很小時(shí)，第二項(xiàng)將具有低能量。這反映了隨著模糊邊緣的寬度減小，較清晰的圖像一般將具有更多低梯度值的像素。更新候選去模糊圖像步驟112通過使用本領(lǐng)域的技術(shù)人員眾所周知的優(yōu)化方法通過減小方程(8)中表達(dá)的能量函數(shù)來計(jì)算新候選去模糊圖像113。在本發(fā)明的優(yōu)選實(shí)施例中，將優(yōu)化問題公式化為通過以下方程表達(dá)的TOE
r I 3E(L)-n--°·
dL (12)其是使用常規(guī)PDE解來求解的。在本發(fā)明的優(yōu)選實(shí)施例中，使用PDE解算器，其中將PDE轉(zhuǎn)換成使用常規(guī)線性方程解算器(例如共軛梯度算法)求解的線性方程形式。關(guān)于求解PDE解算器的更多細(xì)節(jié)，請(qǐng)參照上文提到的勒文等人的文章。應(yīng)注意，即使組合差分圖像Ill是去模糊圖像L的函數(shù)，其也會(huì)在計(jì)算新候選去模糊圖像113的過程中保持恒定。一旦已經(jīng)確定了新候選去模糊圖像113，其便用于下一次迭代中以確定更新的組合差分圖像111。圖9展示了根據(jù)本發(fā)明的布置處理去模糊圖像組81以確定場(chǎng)景中的物體的距離信息91的過程圖。在此布置中，使用本領(lǐng)域中已知的算法，使用輸入到用于對(duì)其進(jìn)行計(jì)算的去卷積程序的相同psf，將去模糊圖像組81的每個(gè)元素[I1, I2,. . . IJ與該組數(shù)字表示的psf 49的對(duì)應(yīng)元素?cái)?shù)字卷積。結(jié)果是一組重建的圖像82，其元素表示為[P1, P2,... P J。理論上，每個(gè)重建的圖像[PpPw^Pm]應(yīng)當(dāng)是原始捕獲到的圖像72的精確匹配，因?yàn)榫矸e運(yùn)算是去模糊或者先前執(zhí)行的去卷積運(yùn)算的相反形式。然而，因?yàn)槿ゾ矸e運(yùn)算不完美，所以所得的重建圖像組92的元素都不是捕獲到的圖像72的完美匹配。場(chǎng)景元素在用對(duì)應(yīng)于更加緊密地匹配場(chǎng)景元素相對(duì)于相機(jī)焦平面的距離的距離的Psf處理時(shí)用較高逼真度重建，而用對(duì)應(yīng)于不同于場(chǎng)景元素相對(duì)于相機(jī)焦平面的距離的距離的Psf處理的場(chǎng)景元素展現(xiàn)出不良的逼真度和顯著假象。參照?qǐng)D9，通過將重建的圖像組82與捕獲到的圖像72中的場(chǎng)景元素比較93，通過找到捕獲到的圖像72中的場(chǎng)景元素與重建圖像組82中的那些元素的重建版本之間的最緊密匹配來指派距離值91。舉例來說，將捕獲到的圖像72中的場(chǎng)景元素U2及O3與重建圖像組82的每個(gè)元素[P1, P2,... P1J中的其重建版本比較93，并且指派對(duì)應(yīng)于與產(chǎn)生最緊密匹配的對(duì)應(yīng)psf相關(guān)聯(lián)的已知距離的Rp R2及R3的距離值91。通過使用所存儲(chǔ)的組中的模糊參數(shù)子集來有意地限制去模糊圖像組81。此操作是出于多種原因，例如減少達(dá)到距離值91的處理時(shí)間，或者利用來自相機(jī)40的指示模糊參數(shù)的完整范圍不必要的其他信息。所使用的模糊參數(shù)組(且因此創(chuàng)建的去模糊圖像組81)在增量(即，二次抽樣的)或程度(即，在范圍方面受到限制)方面受到限制。如果處理了數(shù)字圖像序列，則該組模糊參數(shù)對(duì)于序列中的每個(gè)圖像是相同的或不同的?；蛘?，不是從所存儲(chǔ)的組中的模糊參數(shù)構(gòu)造子集或二次抽樣，而是通過組合對(duì)應(yīng)于選定距離間隔內(nèi)的距離值的圖像來創(chuàng)建減少的去模糊圖像組?？梢赃M(jìn)行此操作，以改進(jìn)難以分割的高度紋理化或高度復(fù)雜場(chǎng)景中的深度估計(jì)值的精度。舉例來說，令Zm (其中，m=l, 2, ... Μ)表示已經(jīng)測(cè)量了 psf數(shù)據(jù)[Psf1, psf2,. . . psf J和對(duì)應(yīng)模糊參數(shù)的距離值組。
令乙(x，4表示對(duì)應(yīng)于距離值m的去模糊圖像，且令表示其傅立葉變換。舉例來說，如果將距離值劃分成M個(gè)相等群組或間隔，每個(gè)含有M個(gè)距離值，則將減少的去模糊圖像組定義為
權(quán)利要求
1.一種使用圖像捕獲裝置來識(shí)別場(chǎng)景中的物體的距離信息的方法，其包括 a)提供圖像捕獲裝置，所述圖像捕獲裝置具有圖像傳感器、編碼孔徑和透鏡； b)在存儲(chǔ)器中存儲(chǔ)從距離校準(zhǔn)數(shù)據(jù)導(dǎo)出的一組模糊參數(shù)； c)捕獲所述場(chǎng)景的具有多個(gè)物體的圖像； d)通過以下步驟使用捕獲到的圖像和所存儲(chǔ)的組中的每一個(gè)模糊參數(shù)提供一組去模糊圖像 i)將候選去模糊圖像初始化； )確定表示所述候選去模糊圖像中的相鄰像素之間的差值的多個(gè)差分圖像； iii)通過組合所述差分圖像來確定組合差分圖像； iv)響應(yīng)于所述捕獲到的圖像、所述模糊參數(shù)、所述候選去模糊圖像和所述組合差分圖像來更新所述候選去模糊圖像；以及 V)重復(fù)步驟i)-iv)，直到滿足收斂標(biāo)準(zhǔn)為止；以及 e)使用該組去模糊圖像來確定所述場(chǎng)景中的所述物體的所述距離信息。
2.根據(jù)權(quán)利要求I所述的方法，其中步驟c)包含捕獲數(shù)字圖像的序列。
3.根據(jù)權(quán)利要求2所述的方法，其中步驟e)包含確定所述序列中的每個(gè)圖像的距離信息。
4.根據(jù)權(quán)利要求2所述的方法，其中步驟e)包含確定所述序列中的圖像子集的距離信息。
5.根據(jù)權(quán)利要求3所述的方法，其中使用所述距離信息來識(shí)別所述場(chǎng)景中的固定物體和移動(dòng)物體。
6.根據(jù)權(quán)利要求5所述的方法，其中所述圖像捕獲裝置使用所述距離信息來追蹤移動(dòng)物體。
7.根據(jù)權(quán)利要求2所述的方法，其中所述將候選去模糊圖像初始化的步驟包含 a)確定所述圖像序列中的當(dāng)前圖像與前一圖像之間的差值圖像；以及 b)響應(yīng)于所述差值圖像將候選去模糊圖像初始化。
8.根據(jù)權(quán)利要求7所述的方法，其中步驟e)包含響應(yīng)于所述差值圖像確定所述場(chǎng)景中的所述物體的距離信息。
9.根據(jù)權(quán)利要求I所述的方法，其中步驟d)包含使用所存儲(chǔ)的組中的模糊參數(shù)的子集。
10.根據(jù)權(quán)利要求I所述的方法，其中步驟b)包含使用在一組距離值下從校準(zhǔn)數(shù)據(jù)導(dǎo)出的一組模糊參數(shù)，使得存在與每個(gè)對(duì)應(yīng)距離值相關(guān)聯(lián)的一組模糊參數(shù)。
11.根據(jù)權(quán)利要求I所述的方法，其中步驟b)包含使用在一組距離值下從校準(zhǔn)數(shù)據(jù)導(dǎo)出的一組模糊參數(shù)，使得有至少一個(gè)距離值不具有一組模糊參數(shù)。
12.根據(jù)權(quán)利要求I所述的方法，其中步驟b)包含使用根據(jù)用所述編碼孔徑和點(diǎn)光源在一系列距離值下捕獲到的圖像所計(jì)算出的模糊參數(shù)。
13.根據(jù)權(quán)利要求I所述的方法，其中步驟e)包含組合從對(duì)應(yīng)于在選定間隔內(nèi)的距離值的模糊參數(shù)得到的去模糊圖像。
14.根據(jù)權(quán)利要求13所述的方法，其進(jìn)一步包含根據(jù)與空間頻率有關(guān)的權(quán)重標(biāo)準(zhǔn)來組合所述去模糊圖像。
15.—種數(shù)碼相機(jī)系統(tǒng),其包括 a)用于捕獲場(chǎng)景的一個(gè)或多個(gè)圖像的圖像傳感器； b)用于將所述場(chǎng)景成像到所述圖像傳感器上的透鏡； c)編碼孔徑； d)處理器可存取的存儲(chǔ)器，用于存儲(chǔ)從距離校準(zhǔn)數(shù)據(jù)導(dǎo)出的一組模糊參數(shù)；以及 e)數(shù)據(jù)處理系統(tǒng)，用于通過以下步驟使用捕獲到的圖像和所存儲(chǔ)的組中的每一個(gè)模糊參數(shù)提供一組去模糊圖像 i)將候選去模糊圖像初始化； )確定表示所述候選去模糊圖像中的相鄰像素之間的差值的多個(gè)差分圖像； iii)通過組合所述差分圖像來確定組合差分圖像； iv)響應(yīng)于所述捕獲到的圖像、所述模糊參數(shù)、所述候選去模糊圖像和所述組合差分圖像來更新所述候選去模糊圖像； V)重復(fù)步驟i)_iv)，直到滿足收斂標(biāo)準(zhǔn)為止；以及 vi)使用該組去模糊圖像來確定所述場(chǎng)景中的所述物體的所述距離信息。
全文摘要
一種使用圖像捕獲裝置來識(shí)別距離信息的方法包含提供圖像捕獲裝置，其具有圖像傳感器、編碼孔徑和透鏡；在存儲(chǔ)器中存儲(chǔ)從距離校準(zhǔn)數(shù)據(jù)導(dǎo)出的一組模糊參數(shù)；以及捕獲具有多個(gè)物體的圖像。該方法進(jìn)一步包含通過以下步驟使用捕獲到的圖像和所存儲(chǔ)的組中的每一個(gè)模糊參數(shù)提供一組去模糊圖像將候選去模糊圖像初始化；確定表示候選去模糊圖像中的相鄰像素之間的差值的多個(gè)差分圖像；通過組合差分圖像來確定組合差分圖像；響應(yīng)于捕獲到的圖像、模糊參數(shù)、候選去模糊圖像和組合差分圖像來更新候選去模糊圖像；和重復(fù)這些步驟直到滿足收斂標(biāo)準(zhǔn)為止。最后，使用該組去模糊圖像來確定距離信息。
文檔編號(hào)G06T7/00GK102859389SQ201180020795
公開日2013年1月2日 申請(qǐng)日期2011年4月27日 優(yōu)先權(quán)日2010年4月30日
發(fā)明者P·J·凱恩, S·王 申請(qǐng)人:伊斯曼柯達(dá)公司