專利名稱：用于基于兩個影像的匹配進(jìn)行深度估計(jì)的二維多項(xiàng)式模型的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及圖像捕獲，并且更具體地涉及用于基于兩個影像的匹配進(jìn)行深度 估計(jì)(d印th estimation)的相機(jī)的方法和裝置。
背景技術(shù)：
—種用于捕獲所希望圖像的重要度量是圖像被適當(dāng)?shù)鼐劢?。已開發(fā)出了用于估計(jì) 或獲得適當(dāng)?shù)南鄼C(jī)聚焦的多種系統(tǒng)。由于相機(jī)鏡頭系統(tǒng)具有多種相關(guān)元件和特性，因此，下 面簡要討論這些元件及其關(guān)聯(lián)特性。 通常，攝影鏡頭的兩個主要光學(xué)參數(shù)是最大光圈和焦距。焦距確定了視角，以及離 物體給定距離(物距)時圖像相對于對象(物體)的大小。最大光圈(f光圈系數(shù)或f光 闌)限制了圖像的明度以及可用于給定設(shè)置(焦距/有效光圈)的最快快門速度，其中，較 小的數(shù)值表明較多的光被提供給焦平面，焦平面在簡單的數(shù)碼相機(jī)中通?？梢员徽J(rèn)為是圖 像傳感器的表面。 —種形式的典型簡單鏡頭(在技術(shù)上，為具有單個元件的鏡頭)具有單個焦距 (亦稱為"定焦鏡頭")。在利用單焦距鏡頭對相機(jī)聚焦時，使鏡頭與焦平面之間的距離改 變，其中，將拍攝物體的焦點(diǎn)變動到該焦平面上。因此，雖然單焦距鏡頭具有固定的光學(xué)關(guān) 系和焦距，然而，其在相機(jī)中用來在聚焦范圍跨度內(nèi)對物體聚焦。因此，不應(yīng)當(dāng)將鏡頭的固 定聚焦距離(focal distance)與可利用該鏡頭在相機(jī)上獲得的聚焦距離的范圍相混淆，從 而調(diào)節(jié)該鏡頭相對于焦平面的位置以改變聚焦距離。 在使用單焦距鏡頭時，要相對于所希望的快門速度調(diào)節(jié)光圈以選擇光量，并且隨 后根據(jù)物距(亦稱為聚焦距離)來調(diào)節(jié)聚焦，然后捕獲圖像。對單焦距鏡頭的宏設(shè)置被提 供有不同的焦距選擇，以用于獲取特寫鏡頭(close-up shot)。遠(yuǎn)攝鏡頭在高的放大倍率下 提供非常窄的視角，用于利用來自遠(yuǎn)處的對象的圖像填充畫幅(frame)。
多焦距鏡頭通常稱為"變焦"鏡頭，這是因?yàn)榭梢愿鶕?jù)具體情況來使圖像放大倍率 "縮放"或"還原"。變焦鏡頭允許用戶選擇物體的放大量，或者換言之，允許用戶選擇物體 填充畫幅的程度。明白這些鏡頭的變焦功能或相機(jī)鏡頭系統(tǒng)在概念上是與聚焦控制和光圈 控制分開的是很重要的。 無論使用單焦距鏡頭還是多焦距鏡頭，都需要針對給定的物距對鏡頭進(jìn)行適當(dāng)?shù)?聚焦。針對給定聚焦設(shè)置的可接受聚焦范圍稱為"景深"，其是對對象空間或物體空間中的 可接受清晰度的深度的一種度量。例如，對于15英尺的物距，高清晰相機(jī)的可接受聚焦范 圍可能在英寸的量級，而最優(yōu)聚焦甚至可能要求更精確。將會理解，景深隨著聚焦從中間距 離朝向"無窮遠(yuǎn)"移動而增加(例如，捕獲遠(yuǎn)處的山、云等的圖像)，當(dāng)然，在該范圍處，具有 無限的景深。 對于具有給定光圈設(shè)置的單焦距鏡頭，對于從相機(jī)到物體的給定距離(物距)存 在單個最優(yōu)聚焦設(shè)置。物體上比相機(jī)的聚焦距離近或遠(yuǎn)的部分由于影響景深的許多因素， 而將顯現(xiàn)在經(jīng)過了某種模糊測度的捕獲圖像中。然而，在多焦距鏡頭中，對于可由鏡頭獲得
5的每個鏡頭放大倍率(鏡頭焦距)，存在最優(yōu)聚焦點(diǎn)。為了增加實(shí)用性，鏡頭制造商大幅減
少了響應(yīng)于變焦設(shè)置進(jìn)行重新聚焦的需要，然而，重新聚焦的必要性取決于所使用的具體
相機(jī)鏡頭系統(tǒng)。另外，可能需要響應(yīng)于不同程度的變焦放大倍率，來改變光圈設(shè)置。 最初，僅響應(yīng)于操作者的識別和手動聚焦調(diào)節(jié)來確定和校正相機(jī)的聚焦。然而，由
于聚焦對結(jié)果的關(guān)鍵本質(zhì)，毫不遲疑地采用了聚焦輔助。近來，成像設(shè)備通常提供對物體進(jìn)
行自動聚焦的能力，即，現(xiàn)在通常稱為"自動聚焦"的功能。由于許多現(xiàn)有自動聚焦機(jī)構(gòu)的
每種都具有缺陷和短處，因此，聚焦將繼續(xù)成為技術(shù)開發(fā)的熱點(diǎn)。 存在兩種常見類型的自動聚焦(AF)系統(tǒng)，即，有源自動聚焦和無源自動聚焦。在
有源自動聚焦中，將一個或多個圖像傳感器用來確定到焦點(diǎn)的距離，或者以其它方式檢測
圖像捕獲鏡頭系統(tǒng)外部的焦點(diǎn)。盡管有源AF系統(tǒng)通常不會通過窗口聚焦，或者在其它具體
應(yīng)用中，由于聲波和紅外光被玻璃和其它表面反射，使得有源AF系統(tǒng)可以執(zhí)行快速聚焦。
在無源自動聚焦系統(tǒng)中，所觀看到的圖像的特性被用來檢測和設(shè)置焦點(diǎn)。 大多數(shù)高端LSR相機(jī)目前使用透過鏡頭光學(xué)AF傳感器，這些AF傳感器例如還可
以用作光測量儀。這些現(xiàn)代的AF系統(tǒng)的聚焦能力通?？梢员韧ㄟ^普通取景器手動獲得的
聚焦具有更高的精度。 —種形式的無源AF使用相位檢測，例如通過光束分離器將進(jìn)入光分為圖像對并 且在AF傳感器上將它們進(jìn)行比較。兩個光學(xué)棱鏡捕獲來自鏡頭相對側(cè)的光線并且將其轉(zhuǎn) 移到AF傳感器，這產(chǎn)生了具有與鏡頭直徑相等的基線(base)的簡單測距儀。響應(yīng)于檢查 出類似的光強(qiáng)模式來確定聚焦，并且相位差被計(jì)算來判斷對象是在聚焦位置前面還是在適 當(dāng)?shù)木劢刮恢煤竺妗?在另一類型的無源AF系統(tǒng)中，通過鏡頭在感測區(qū)域內(nèi)進(jìn)行對比度測量。該系統(tǒng)調(diào) 節(jié)聚焦以使相鄰像素之間的強(qiáng)度差異最大化，強(qiáng)度差異通常表示正確的圖像聚焦。因此，在 獲得了最大程度的對比度之后執(zhí)行聚焦。這種形式的聚焦慢于有源AF，尤其是當(dāng)在弱光下 進(jìn)行操作時，然而是低端成像設(shè)備中所使用的一種普遍方法。 無源系統(tǒng)在低對比度條件下，特別是在單色表面(固體表面、天空等)上或在低光 照條件下時進(jìn)行聚焦判定的能力極差。無源系統(tǒng)取決于對物體的一定的照明程度(是自然 的還是以其它方式的)，而有源系統(tǒng)即使在完全黑暗時也可以按照需要正確地聚焦。
因此，存在對在較寬范圍的條件下提供快速且準(zhǔn)確的物距估計(jì)和/或聚焦控制的 經(jīng)改進(jìn)的自動聚焦技術(shù)的需求。本發(fā)明滿足了該需求以及其它需求，并且克服了先前的相 機(jī)聚焦技術(shù)的缺點(diǎn)。

發(fā)明內(nèi)容
描述了基于模糊差異和多影像匹配的相機(jī)深度估計(jì)方法。該方法計(jì)算在不同聚焦 位置處捕獲的圖像之間的模糊差異。這種模糊差異根據(jù)與對象圖像有關(guān)的鏡頭焦點(diǎn)和位置 而變化，根據(jù)本發(fā)明，可以利用至少二維的多項(xiàng)式模型來近似與對象圖像有關(guān)的鏡頭焦距 和位置。例如利用階躍邊緣圖像序列，或者利用用于記錄適當(dāng)焦距的類似的便利校準(zhǔn)圖像 機(jī)構(gòu)來對模型進(jìn)行校準(zhǔn)，然后模型被用來計(jì)算給定圖像采集裝置的一般圖像的深度。因此， 將校準(zhǔn)目標(biāo)或物體用在特性化處理中，其中，確定并建模相機(jī)和鏡頭系統(tǒng)的聚焦特性，或者 更恰當(dāng)?shù)乇磉_(dá)為模糊特性，以供在相機(jī)操作期間使用。
這里的討論主要針對具有單焦距鏡頭的相機(jī)，然而，本技術(shù)也可應(yīng)用于多焦距鏡 頭(例如，"變焦"鏡頭)，如在本說明書結(jié)尾處將討論的。將理解，除自動聚焦以外，這里教 導(dǎo)的深度估計(jì)在包括計(jì)算機(jī)/機(jī)器人視覺、監(jiān)視、3D成像以及類似圖像系統(tǒng)在內(nèi)的領(lǐng)域中 具有許多應(yīng)用。 根據(jù)本發(fā)明的一般性描述，針對在整個聚焦范圍內(nèi)或在其所希望部分內(nèi)的不同距 離處的校準(zhǔn)圖像(例如，階躍邊緣圖像)來獲得匹配曲線。然后，創(chuàng)建多維(例如二維)模 型(優(yōu)選地，多項(xiàng)式模型)來表示匹配曲線。然后，當(dāng)針對給定裝置計(jì)算出了一般圖像的模 糊差異后，將二維多項(xiàng)式模型用于深度估計(jì)。 —般地描述了與說明書有關(guān)的下面的術(shù)語，并且不應(yīng)將這些術(shù)語解釋為約束說明 書中的具體陳述。 術(shù)語"直方圖"是描述制成表格的頻率的圖形顯示的統(tǒng)計(jì)術(shù)語，并且一般地，以離
散條狀或跨越一范圍的方式來按比例示出落入若干類別的每類中的案例數(shù)。 用于建模匹配曲線的術(shù)語"多項(xiàng)式"是多項(xiàng)式函數(shù)，例如具有常見的一維形式的多
項(xiàng)式函數(shù) y = anxn+an—丄x11 、 +a2x2+a1x1+a0 其中，n是定義多項(xiàng)式次數(shù)的非負(fù)整數(shù)。注意，具有次數(shù)3的多項(xiàng)式是三次式，具
有次數(shù)2的多項(xiàng)式是二次式，具有次數(shù)1的多項(xiàng)式是線性的，并且具有次數(shù)0的多項(xiàng)式是常
數(shù)。多項(xiàng)式等式可以用來對較寬范圍的根據(jù)經(jīng)驗(yàn)確定的關(guān)系進(jìn)行建模。 這里使用的術(shù)語"巻積"描述一種數(shù)學(xué)操作，即操作兩個函數(shù)以產(chǎn)生通常被認(rèn)為是
原始函數(shù)之一的修改版的第三函數(shù)。通常，第二函數(shù)被反轉(zhuǎn)并且覆蓋第一函數(shù)的一部分，以
便更適當(dāng)?shù)亟＝o定數(shù)據(jù)集。 術(shù)語"點(diǎn)分布函數(shù)"(PSF)描述成像系統(tǒng)對點(diǎn)源或點(diǎn)對象的響應(yīng)，這通常也稱為脈 沖響應(yīng)，例如在階躍邊緣處見到的。在此上下文中，點(diǎn)對象的散布(模糊)程度是對成像系 統(tǒng)的聚焦質(zhì)量的量測。 術(shù)語"異常值"是表示經(jīng)驗(yàn)數(shù)據(jù)集中的一個或多個觀測在數(shù)值上與數(shù)據(jù)集的其余 部分不同或相偏離的統(tǒng)計(jì)術(shù)語。盡管在任何較大的采樣集合中希望少量的異常值，然而，異 常值點(diǎn)可能表示系統(tǒng)性缺陷、錯誤數(shù)據(jù)等。嘗試建模包括"異常值"的數(shù)據(jù)集可能產(chǎn)生誤導(dǎo) 性的模型，其中，當(dāng)確定這些異常值未適當(dāng)?shù)乇硎緷撛诤瘮?shù)的特性時，通常將它們丟棄。
可修改本發(fā)明以通過多種方式來體現(xiàn)，包括但不限于下面的描述。
本發(fā)明的一個實(shí)施例是用于電子地捕獲圖像的裝置，該裝置包括(a)成像設(shè)備 (例如一個或多個電荷耦合器件(CCD)、互不金屬氧化物半導(dǎo)體(CMOS)成像元件等)；(b) 被耦合到成像設(shè)備的聚焦控制元件；(c)被耦合到成像設(shè)備和聚焦控制元件的計(jì)算機(jī)處理 器；以及(d)至少一個存儲器，被配置用于保存從成像設(shè)備捕獲來的圖像，并適合于保存可 在計(jì)算機(jī)上執(zhí)行的程序；(e)至少一個多維聚焦匹配模型，該模型是針對所述裝置響應(yīng)于 對不同焦距處的校準(zhǔn)目標(biāo)成像而獲得的并且被保存在所述存儲器中；以及(f)程序，該程 序可在計(jì)算機(jī)上執(zhí)行來捕獲多個對象圖像，并且基于將在對象圖像之間檢測到的模糊差異 輸入到多維聚焦匹配模型中，響應(yīng)于對對象圖像執(zhí)行深度估計(jì)，來自動地調(diào)節(jié)裝置的聚焦 控制元件。應(yīng)當(dāng)理解，裝置包括至少一個靜止圖像捕獲設(shè)備、視頻圖像捕獲設(shè)備或者靜止圖 像與視頻圖像捕獲設(shè)備。還應(yīng)理解，優(yōu)選地，利用計(jì)算機(jī)來執(zhí)行校準(zhǔn)，其中，可以由計(jì)算機(jī)來
7計(jì)算多項(xiàng)式系數(shù)，以供存儲在給定相機(jī)或給定實(shí)施例的相機(jī)中。在優(yōu)選實(shí)施例中，然后在相 機(jī)中實(shí)現(xiàn)深度估計(jì)和聚焦控制。 在本發(fā)明的一個實(shí)施例中，聚焦匹配模型(例如，多維聚焦匹配模型)被投射為對 聚焦匹配曲線建模的多項(xiàng)式函數(shù)，聚焦匹配曲線是響應(yīng)于對相機(jī)的聚焦范圍中的校準(zhǔn)目標(biāo) 成像而獲得的。應(yīng)注意，聚焦匹配模型是針對給定實(shí)施例的相機(jī)裝置的成像設(shè)備(例如，型 號、類型或配置)(和/或鏡頭系統(tǒng))來確定的，并且表示模型的信息存儲在至少一個存儲 器中，該存儲器的內(nèi)容可由相機(jī)內(nèi)的計(jì)算機(jī)處理器元件取回。 在本發(fā)明的一個實(shí)施例中，在計(jì)算模糊差異之前計(jì)算直方圖匹配。直方圖匹配包 括均衡化，其中，響應(yīng)于使在不同物距處捕獲的影像之間的誤差最小化，而在直方圖之間轉(zhuǎn) 移最接近亮度的像素。然后，通過線性直方圖匹配函數(shù)來近似這種處理。
本發(fā)明的一個實(shí)施例是用于估計(jì)從相機(jī)(物鏡)到物體的聚焦距離的裝置，包括 (a)與相機(jī)的成像設(shè)備集成在一起或被配置為連接到相機(jī)的成像設(shè)備的計(jì)算機(jī)(例如，相 機(jī)設(shè)備內(nèi)的計(jì)算元件)；(b)至少一個存儲器，被配置用于保存所捕獲的圖像，并且保存可 在計(jì)算機(jī)上執(zhí)行的程序；(c)針對所述裝置響應(yīng)于對不同焦距處的校準(zhǔn)目標(biāo)成像而獲得的 至少一個多維聚焦匹配模型，所述多位聚焦匹配模型被保存在所述存儲器中；(d)程序，該 程序可在所述計(jì)算機(jī)上執(zhí)行以用于基于如下操作，響應(yīng)于執(zhí)行深度估計(jì)來自動地估計(jì)出適 當(dāng)?shù)木劢咕嚯x(例如，自動聚焦)(i)捕獲多個對象圖像，(ii)確定多個對象圖像之間的 模糊差異，以及(iii)將模糊差異輸入多維聚焦匹配模型中以生成對物體的聚焦距離的估 計(jì)。應(yīng)當(dāng)理解，該裝置被配置為包括在照相機(jī)、視頻攝像機(jī)或者精致相機(jī)與視頻攝像機(jī)的組 合設(shè)備中。上面的聚焦匹配模型可以被創(chuàng)建并用于單焦距鏡頭，或者另外地，在使用多焦距 (變焦)鏡頭系統(tǒng)時用于在放大倍率范圍內(nèi)攝取數(shù)據(jù)。 在本發(fā)明的一個方面中，聚焦匹配曲線的二維模型是基于模糊差異的，模糊差異 是響應(yīng)于校準(zhǔn)物距的相機(jī)在相機(jī)和/或鏡頭系統(tǒng)的至少一部分聚焦范圍或更優(yōu)選的整個 聚焦范圍中移動時引起的對比度改變而確定的。因此，圖像被捕獲時的聚焦設(shè)置以及在這 些圖像之間檢測到的模糊差異量被用來估計(jì)實(shí)際的物距或者物體離相機(jī)的深度。在本發(fā)明 的一個實(shí)施例中，生成聚焦匹配曲線的二維模型包括(i)將從第一位置到第二位置的模 糊變化建模為點(diǎn)分布函數(shù)；(ii)在第一和第二位置之間的中間位置處估計(jì)模糊改變，并且 判斷哪個圖像更尖銳；以及(iii)響應(yīng)于當(dāng)在相機(jī)的至少所希望部分的聚焦范圍內(nèi)，或者 優(yōu)選地在整個聚焦范圍內(nèi)采集圖像序列時所執(zhí)行的步驟(i)和(ii)來生成聚焦匹配模型， 這些聚焦范圍使得圖像之間的模糊差異被包括在聚焦匹配模型中。 在本發(fā)明的一個模式中，執(zhí)行直方圖匹配處理，以用于移除或消除響應(yīng)于物理相
機(jī)和環(huán)境變化(例如，光照變化、快門定時變化、定位波動等)而在連續(xù)聚焦位置之間產(chǎn)生
的失配，以使得可以基于模糊更準(zhǔn)確地確定距離。將理解，在最初生成聚焦匹配模型時，可
以對校準(zhǔn)目標(biāo)的圖像執(zhí)行直方圖匹配處理，并且此外，在相機(jī)設(shè)備中，作為在確定模糊差異
之前的步驟，可以對被捕獲用于聚焦匹配模型的圖像執(zhí)行直方圖匹配處理。 在至少一個優(yōu)選實(shí)施例中，聚焦匹配模型被投射為多項(xiàng)式函數(shù)，其平滑聚焦位置
之間的曲線以便減少失配噪聲。優(yōu)選地，基于所希望的圖像應(yīng)用以及所使用的鏡頭和相機(jī)
系統(tǒng)的性質(zhì)來選擇多項(xiàng)式。作為示例而非限制，多項(xiàng)式函數(shù)可以是雙二次函數(shù)、雙三次函數(shù)等。
本發(fā)明的一個實(shí)施例是一種物體聚焦深度的自動相機(jī)估計(jì)方法，包括(a)響應(yīng) 于檢測到在不同聚焦距離處捕獲的校準(zhǔn)物體的多個圖像之間的模糊差異，存儲多維聚焦匹 配模型；(b)捕獲多個對象圖像；(c)確定多個對象圖像之間的模糊差異；以及(d)響應(yīng)于 將多個對象圖像之間的模糊差異輸入到多維聚焦匹配模型中以生成對到物體的聚焦距離 的估計(jì)，從而估計(jì)出聚焦深度。該方法可以被包括在任何形式的具有畫幅捕獲能力的成像 系統(tǒng)中，例如照相機(jī)、視頻攝像機(jī)、或者照相機(jī)與視頻攝像機(jī)的組合。 在本發(fā)明的一個方面，所捕獲圖像之間的模糊差異是響應(yīng)于確定當(dāng)校準(zhǔn)物體與相 機(jī)之間的距離改變時引起的已知校準(zhǔn)目標(biāo)(例如，特定的固定狀態(tài)或圖形)的對比度差異 改變而確定的。圖像被捕獲時的聚焦距離以及這些圖像之間的模糊差異量被用來通過聚焦 匹配模型估計(jì)實(shí)際的物距或深度。 本發(fā)明的一個實(shí)施例是包含了可在計(jì)算機(jī)(例如，集成在相機(jī)設(shè)備內(nèi))上執(zhí)行的 計(jì)算機(jī)程序的計(jì)算機(jī)可讀介質(zhì)，該計(jì)算機(jī)被配置來響應(yīng)于如下步驟自動地估計(jì)物體的相機(jī) 聚焦深度，所述步驟包括(a)存儲響應(yīng)于針對不同焦距處的校準(zhǔn)物體生成的模糊差異信 息而創(chuàng)建的聚焦匹配模型；(b)捕獲至少兩個不同聚焦位置的圖像；(C)計(jì)算所捕獲圖像之 間的模糊差異；以及(d)響應(yīng)于將所捕獲圖像之間的模糊差異輸入聚焦匹配模型并且求解 該模型以生成對到物體的距離的估計(jì)，從而估計(jì)出物體的深度。更具體地，將理解，模型被 用于求解獲得對到物體的距離的估計(jì)的輸入。因此，將理解，可將本發(fā)明構(gòu)建為成像裝置 (例如，電子照相機(jī)和/或視頻攝像機(jī))、成像設(shè)備的控制裝置，或者用于在成像系統(tǒng)內(nèi)估計(jì) 物距的方法，優(yōu)選地，成像系統(tǒng)例如是包含計(jì)算機(jī)處理元件和用于保存可在計(jì)算機(jī)上執(zhí)行 的程序的存儲器的成像系統(tǒng)。 本發(fā)明提供了多個有益方面，在不脫離本教導(dǎo)的情況下，可以單獨(dú)地或者以任何 所希望的組合來實(shí)現(xiàn)這些有益方面。 本發(fā)明的一個方面是一種用于通過在多個聚焦點(diǎn)處對相機(jī)透鏡系統(tǒng)進(jìn)行特性化 期間捕獲并匹配多個圖像，來估計(jì)到物體的距離(物距或者相機(jī)聚焦距離)的方法。
本發(fā)明的另一方面是使用距離估計(jì)來在相機(jī)系統(tǒng)內(nèi)估計(jì)焦距，或者控制焦距調(diào) 節(jié)。 本發(fā)明的另一方面是物距估計(jì)方法，其可以通過至少輸入表示在給定物距處拍攝 圖像時的至少兩個聚焦設(shè)置的圖像來估計(jì)距離。 本發(fā)明的另一方面是物距估計(jì)方法，其特性化給定裝置的模糊差異，并且然后，當(dāng) 針對給定物距存在不同的模糊程度的至少兩個圖像被提供時，則將該特性用來估計(jì)物距。
本發(fā)明的另一方面是物距估計(jì)方法，其僅需使用用于估計(jì)物距的兩個圖像輸入， 盡管可以按照需要將其它輸入用來增加估計(jì)準(zhǔn)確度，或者用于相繼和/或連續(xù)的估計(jì)。
本發(fā)明的另一方面是物距估計(jì)方法，其中，具有不同聚焦設(shè)置的多個圖像被捕獲 作為具有固定物距的圖像，并且來自這些圖像的模糊信息被插入聚焦匹配模型中，針對距 離來求解該模型以生成對實(shí)際物距的估計(jì)。 本發(fā)明的另一方面是采用多項(xiàng)式模型來表示經(jīng)驗(yàn)聚焦匹配模型的物距估計(jì)方法 或裝置。 本發(fā)明的另一方面是這樣的直方圖匹配方法，其中，像素從一個直方圖被順序地 轉(zhuǎn)移到另一直方圖，以均衡另一直方圖中最接近亮度的像素，從而減小因不希望的物理和環(huán)境變化而引入模型中的噪聲的影響，并且該方法通過線性匹配函數(shù)來近似。 本發(fā)明的另一方面是這樣的物距估計(jì)裝置和方法，其可被用于單焦點(diǎn)鏡頭、離散
焦點(diǎn)鏡頭(例如，正常設(shè)置和宏設(shè)置)或者連續(xù)變化焦點(diǎn)的鏡頭(例如，變焦鏡頭)。 本發(fā)明的另一方面是這樣的物距估計(jì)裝置和方法，其中，可以針對相機(jī)的每個離
散的放大倍率設(shè)置，或者在沿著連續(xù)變化的放大倍率(變焦)范圍遞增的位置處生成聚焦
匹配模型。 本發(fā)明的又一方面在于深度估計(jì)和聚焦可被確定用于被配置來捕獲不同聚焦和
變焦設(shè)置處的圖像的寬范圍成像裝置(例如，照相機(jī)和/或視頻攝像機(jī)設(shè)備)。 將在本說明書的下面部分中描述本發(fā)明的其它方面，其中，詳細(xì)描述是為了充分
公開本發(fā)明的優(yōu)選實(shí)施例而非對其進(jìn)行限制。


通過參考僅用于說明的目的的附圖將更全面地理解本發(fā)明，在附圖中 圖1是根據(jù)本發(fā)明一個方面在多個聚焦位置處捕獲多個圖像的示圖。 圖2A-2B是根據(jù)本發(fā)明一個方面對校準(zhǔn)目標(biāo)(例如，結(jié)緣邊緣)圖像的比較。 圖3是根據(jù)本發(fā)明的一個方面用于計(jì)算三次迭代中的模糊差異的示圖。 圖4是根據(jù)本發(fā)明的一個方面采集的匹配曲線的曲線圖，并且示出了所包含的異
常值和噪聲。 圖5是根據(jù)本發(fā)明的一個方面的連續(xù)物距之間的失配的直方圖。 圖6是示出了圖5所示的直方圖的一部分的放大直方圖。 圖7是示出了在根據(jù)本發(fā)明的直方圖匹配之前和之后的匹配曲線的曲線圖。 圖8是示出了在根據(jù)本發(fā)明一個方面的直方圖匹配之前和之后的十五條匹配曲
線的曲線圖。 圖9是示出了根據(jù)本發(fā)明一個方面的雙二次擬合的使用的匹配曲線的曲線圖。
圖IO是示出了根據(jù)本發(fā)明一個方面的雙三次擬合的使用的匹配曲線的曲線圖。
圖11是根據(jù)本發(fā)明一個方面的校準(zhǔn)的流程圖。 圖12是根據(jù)本發(fā)明一個方面基于兩個影像匹配的相機(jī)深度估計(jì)的流程圖。
圖13是根據(jù)本發(fā)明一個方面的直方圖匹配的流程圖。 圖14是根據(jù)本發(fā)明的一個方面被配置用于執(zhí)行深度估計(jì)的圖像捕獲裝置的框 圖。
具體實(shí)施例方式
更具體地參考附圖，為了說明的目的，將本發(fā)明體現(xiàn)在圖1至圖14中一般地示出 的裝置中。將理解，在不脫離這里公開的基本概念的情況下，可以使裝置的配置和各部分的 細(xì)節(jié)改變，并且可以使方法的具體步驟和順序改變。
1.模糊差異 圖1圖示出了實(shí)施例10，其中，在采集給定成像裝置(例如，在特定實(shí)施例中，利用 相同/類似的光學(xué)成像元件來制作或建模相機(jī)或相機(jī)系列)的數(shù)據(jù)集時，在不同聚焦位置 (物距)處將多個圖像捕獲作為校準(zhǔn)目標(biāo)(或校準(zhǔn)物體)。采集數(shù)據(jù)集包括對給定放大倍率設(shè)置(固定焦距處的鏡頭、變焦設(shè)置)中的相機(jī)鏡頭系統(tǒng)進(jìn)行特性化處理。示出了成像 設(shè)備(相機(jī))12，其可以進(jìn)行從最小聚焦距離14到無限遠(yuǎn)處16的聚焦。示出了最小聚焦距 離14(例如，在此情況中，為35cm)以及無限遠(yuǎn)處16的聚焦。根據(jù)本發(fā)明，焦點(diǎn)沿著聚焦路 徑(focal path)24會聚到校準(zhǔn)目標(biāo)22上的第一焦點(diǎn)位置18，并且隨后會聚到第二焦點(diǎn)位 置20，校準(zhǔn)目標(biāo)22例如是階躍邊緣型圖像、石板、方格圖或具有已知光學(xué)特性的類似對象。
作為示例而非限制，將索尼DSC-R1相機(jī)在這里用來圖示出發(fā)明方法，然而本領(lǐng)域 技術(shù)人員將會理解，還可以將該方法與其它數(shù)字照相機(jī)和/或視頻攝像機(jī)一起使用。這種 相機(jī)的聚焦距離在最小聚焦距離(例如，對于索尼DSC-R1為35cm)到無限遠(yuǎn)之間的范圍 內(nèi)。 圖2A示出了物體32處于聚焦?fàn)顟B(tài)的情況30，其中，所捕獲圖像是最清晰的，如鮮 明對比度曲線34(也稱為階躍邊緣的"邊緣輪廓")所表示的。將會理解，優(yōu)選地，校準(zhǔn)目標(biāo) 或物體提供了用于簡單地基于對比度確定聚焦銳度的途徑。例如，在階躍邊緣型對象中，在 至少兩種顏色、形狀、亮度之間繪出了清晰的階躍邊緣輪廓，其中，可以從對比度輪廓的銳 度容易地確定聚焦的銳度。本領(lǐng)域技術(shù)人員將會理解，可以以多種不同方式中的任一種，按 照與在測試視頻捕獲和輸出的不同方面時使用不同色度鍵和色帶圖類似地方式來配置對 象。 圖2B示出了當(dāng)鏡頭遠(yuǎn)離"焦點(diǎn)對準(zhǔn)"位置時對象38的圖像變得越來越模糊的情 況36，其中，示出了所得到的傾斜對比度曲線40。通常，當(dāng)兩個影像是在兩個不同的聚焦距 離處攝得時，更接近物距時所攝得的一個影像比另一個尖銳。攝取影像的聚焦距離以及這 兩個影像之間的模糊差異量可以用來估計(jì)實(shí)際的物距或深度。 假設(shè)兩個影像fA和fB是在位置A和B處攝得的，其中，fA比fB尖銳。可以通過如
下的點(diǎn)分布函數(shù)P來對模糊改變進(jìn)行建模
fA*P = fB 其中，*表示二維巻積。另外，可以利用通過模糊核K進(jìn)行的一系列巻積來近似點(diǎn) 分布函數(shù)P。 P = K*K*. . . *K (1)
對于一個測試?yán)?，核K被選為
' (2) 《=
1
48
4 28 4 、14 1, 根據(jù)此，&和fe之間的模糊差異量可以通過等式1中的巻積數(shù)目來測得。在實(shí)際 實(shí)現(xiàn)時，更可取地是利用迭代處理來獲得模糊差異。 圖3圖示出了迭代處理，這里以在影像fA(左邊)和影像fe(右邊)之間執(zhí)行的三 次迭代為例。 圖4示出了針對被置于固定距離(例如100cm)處的階躍邊緣圖像獲得的匹配曲 線。序列中的第一影像是在無限遠(yuǎn)的聚焦距離處攝得的，然后，每當(dāng)鏡頭移動以在一更接近 的景深處聚焦時就攝得一個影像，直到聚焦距離達(dá)到最小聚焦距離為止。該影像序列用f。， 4， . . . ， 表示，其中，N是序列長度。實(shí)際上，為了確保序列覆蓋整個聚焦范圍，優(yōu)選地， f。開始于比無限遠(yuǎn)稍遠(yuǎn)的距離，而f,—i比所指定的最小聚焦距離稍近。這些結(jié)果是利用被
11配置有用于控制相機(jī)步驟和序列的軟件的DSC-R1相機(jī)獲得的。 對于給定的聚焦深度(focal d印th)，為了找到迭代數(shù)與聚焦位置之間的關(guān)系，針 對相機(jī)的整個聚焦范圍來攝取影像序列，相機(jī)的整個聚焦范圍可以用來計(jì)算出每兩個影像 之間的模糊差異。 應(yīng)當(dāng)理解迭代意味著什么，尤其是負(fù)的迭代數(shù)意味著什么，如在某些附圖 (例如圖4)中可見的。正的迭代數(shù)表示fi比f^尖銳。跌代數(shù)的絕對值利用等式
arg ^min || /承^^^ — ^來計(jì)算。另一方面，如果跌代數(shù)為負(fù)，則這表示fi+i
1認(rèn)巻禾/
比fi尖銳。在此情況中，跌代數(shù)的絕對值由arg,皿nmj^^^ —, A給出。
1 欣巻積
注意，II 112表示1^范數(shù)。還應(yīng)當(dāng)認(rèn)識到，在不脫離本發(fā)明的情況下，可以利用其它的誤
差測量方法。然而，應(yīng)當(dāng)注意，當(dāng)攝得兩個影像時，并不知道fi或fw中哪個更尖銳的先驗(yàn)
(priori)。因此，方法被配置來計(jì)算下面的等式3和等式4。
/,=arg min||_/;*f /+1 ^ (3)
1 i次巻積
/7 = arg min || /+1 *y *K *…*《—乂 ^ (4)
1 i次巻積 如果L大于12，則&比fi+1尖銳，其中，迭代數(shù)的值(如圖4所示)將為110另一 方面，如果^大于I"則f^比fi尖銳，并且迭代數(shù)的值(例如，如圖4所示)將為-12。如
果L和12相等，則比較誤差:
-v 'w IG ,以及
e2 =|| ,+i * ^承a:承，.，承《-
12次巻積 如果ei小于e2，則&比fi+1尖銳；反之，e2較小，則其中，fi+1比^尖銳。
圖4示出了深度為100cm時的跌代數(shù)與聚焦位置之間的關(guān)系。計(jì)算出每兩個〗 fi和fw(i =0，...，N_2)之間的模糊差異。"影像編號"軸表示計(jì)算出了其跌代數(shù)的圖像 對。例如，影像編號0表示計(jì)算出了f。和^之間的跌代數(shù)?？梢姡?dāng)鏡頭聚焦位置移離物 距時，迭代數(shù)的絕對值增加。過零點(diǎn)在物體對準(zhǔn)焦點(diǎn)的地方。 圖5和圖6比較了來自圖4的影像138和139的直方圖，其中，記錄了明顯的失配。 將理解，在基于模糊準(zhǔn)確地計(jì)算出物距之前應(yīng)當(dāng)移除這種失配。
2.肓方圖^配 為了校正失配，優(yōu)選地通過修改一個直方圖以與另一個相匹配來執(zhí)行匹配過程。 將理解，可以使用簡單的線性匹配函數(shù)，盡管還可以使用其它函數(shù)。從一個直方圖順序地轉(zhuǎn) 移像素，以均衡另一直方圖中最接近亮度的像素?cái)?shù)。響應(yīng)于兩個直方圖之間像素的轉(zhuǎn)移，例 如利用最小平方誤差解決方案來確定匹配函數(shù)。此后，在執(zhí)行聚焦匹配之前，將直方圖匹配 函數(shù)應(yīng)用到兩個影像。 圖7和圖8示出了不同物體深度的迭代曲線，其中，在聚焦匹配之前未應(yīng)用直方
12圖匹配的迭代曲線如實(shí)線所示，應(yīng)用了直方圖匹配的迭代曲線如虛線所示。圖7示出了單 個示例，而圖8示出了 15種不同距離時的迭代曲線。圖8的繪圖是通過將階躍邊緣分別 置于如下距離處生成的:無限遠(yuǎn)、1000、500、300、200、150、125、100、80、70、60、50、45、40和 35cm。迭代數(shù)I可以被寫為聚焦距離L與物體深度D的函數(shù)F。
I = F(L，D) (5) 其中，L和D都是通過影像編號測得的，影像編號在物理上表示從無限遠(yuǎn)處或者從 影像0被定義的地方測得的景深的數(shù)值。深度估計(jì)是在給定數(shù)I和L的情況下確定D的處 理?；趫D8所示的數(shù)據(jù)，將等式5用來建模深度估計(jì)。 圖4、圖7和圖8所示的數(shù)據(jù)清楚地顯示了明顯的信號噪聲。例如，在圖4-6中，在
影像編號139處可看到明顯的異常值(outlier)。這些異常值的源可能包括捕獲處理期間
的光圈變化和光照條件的改變，以及其它物理上的相機(jī)和環(huán)境的變化。 將理解，考慮到在這些附圖中所見的失配，在計(jì)算模糊差異之前向圖像應(yīng)用直方
圖匹配技術(shù)。令^和h2分別表示兩個不同圖像^和&的直方圖。將^當(dāng)作基準(zhǔn)直方圖，
并且將h2當(dāng)作要被修改得與^相匹配的直方圖，其中，下面的步驟被執(zhí)行。(1)生成像素映射矩陣w(i， j)。 (2)對于從O到最大灰階M范圍內(nèi)的每個i和j，設(shè)置w(i， j) =0。
(3)找到滿足hji) > 0的最小i，并且找到滿足h2(j) > 0的最小j。 (4)如果h2(j) ^hJi)，則設(shè)置W(i， j) Ki)，通過h2(j) — h2(j)-hji)來更
新h2(j)，并且設(shè)置hji) =0。
否則，如果h2(j) 〈hji)，則設(shè)置w(i， j) Kj)，通過hji) —、(i)-h2(j)來
更新hji)，并且設(shè)置h2(j) =0。 然后重復(fù)步驟3和4直到對于所有灰階^和h2都變?yōu)?為止，其響應(yīng)于兩個影像 具有相同的像素?cái)?shù)而發(fā)生。 在創(chuàng)建了映射矩陣w(i， j)之后，例如利用加權(quán)最小平方回歸方法來構(gòu)建線性匹
配函數(shù)H(x) = ax+b，其中，如下這樣來計(jì)算a和b :
^ 一 (=0尸o_rf=0 >o_"o戶o_ o產(chǎn)o
— V_',=o 乂=0
i=0 >0
j=0
(6)
M W
^ 艸o
=0戶o
(7〉 矩陣w(i， j)通常是稀疏矩陣。在該方法的一個實(shí)施例中，僅存儲非零值及其位置 以提高存儲器和計(jì)算的效率。
13
在執(zhí)行兩個圖像的模糊匹配之前將直方圖匹配函數(shù)H(x)應(yīng)用于f2的每個像素。 圖8示出了直方圖匹配的結(jié)果。 應(yīng)當(dāng)理解，直方圖匹配的主要目的是移除異常值。即使在執(zhí)行了匹配過程之后，可 以看出，匹配曲線仍然顯示出明顯的噪聲。因此，在執(zhí)行了匹配之后，根據(jù)多項(xiàng)式模型來對 3. 二維多頂式樽型 可以利用諸如二維(2-D)多項(xiàng)式函數(shù)之類的多維多項(xiàng)式函數(shù)來近似上述的匹配 曲線，以在移除圖4至圖8中所見的大部分失配噪聲時輔助計(jì)算。 在這種模型中，迭代數(shù)是鏡頭位置和對象距離的函數(shù)。例如響應(yīng)于使用最小平方 誤差二維多項(xiàng)式擬合算法來確定系數(shù)。二維多項(xiàng)式被用來對等式5的模糊迭代函數(shù)進(jìn)行建 模。
<formula>formula see original document page 14</formula>
(8) 禾U用在T. B. Deng的"Liner Approach to the Least-SquareMultidimensional Polynomial Fitting", Proc.IEEE International Conference onlnformation， Communication and Signal Processing, Singapore, 1997年9月中描述的方法來石角定系 數(shù)C(i， j)。 多項(xiàng)式的次數(shù)m和n是利用特定鏡頭和應(yīng)用來選擇的。圖中示出了雙二次(m = n = 2)和雙三次(m = n = 3)多項(xiàng)式的示例。 作為第一示例，雙二次函數(shù)系數(shù)可以用來近似擬合算法。作為示例而非限制，對于 雙二次近似，可以用如下的3X3矩陣來表示曲線
C(i， j)=-5. 268385e+00 1.014786e+01-3.073324e_02-9.677197e+00 _1. 522669e_02 3.695552e_04 3.325387e-02 _2.438326e_04 -3.833738e_07 圖9是虛線所示的雙二次擬合曲線與實(shí)線所示的匹配數(shù)據(jù)相的比較。雙二次曲線 擬合的平滑線與以經(jīng)驗(yàn)為根據(jù)收集的匹配數(shù)據(jù)的鋸齒狀線形成鮮明對比。可見，多項(xiàng)式提 供了與實(shí)線所示的匹配數(shù)據(jù)的充分匹配。 作為第二示例，可以將雙三次函數(shù)系數(shù)替代地用來近似擬合算法。作為示例而非 限制，對于雙三次近似，可以用如下的4X4矩陣來表示曲線
C(i， j)= -2. 096603e+01 1. 414987e+01 _1. 356138e_01
-1.074841e+01 _1. 387527e_01 4.771262e_03
8.499311e-02_4. 243161e_04_3.456327e_05
-3. 199641e-04 6. 471844e_06 5. 348240e_08
圖IO示出了虛線所示的雙三次擬合曲線與實(shí)線所示的匹配數(shù)據(jù)的比較?？梢?，該 雙三次多項(xiàng)式提供了比圖9所示的雙二次擬合略微更接近的匹配。
4.深度估計(jì)
通過等式5所示的模型，容易實(shí)現(xiàn)深度估計(jì)方法。首先，以位于一景深內(nèi)的聚焦位 置之間的距離捕獲不同聚焦位置處的兩個圖像。注意，此時不知道物距，因?yàn)槲锞嗾撬?估計(jì)的。處理所用的兩個影像可以在任意距離處捕獲，只要這兩個影像的聚焦位置之間的 差值為一景深即可。可選地，可以在確定模糊差異之前對所捕獲的圖像信息執(zhí)行諸如直方 圖匹配之類的噪聲處理。通過等式2-4來計(jì)算所捕獲圖像之間的模糊差異，并且等式5變 為單變量多項(xiàng)式等式。對多項(xiàng)式等式求解D，產(chǎn)生了估計(jì)出的對象的深度，亦稱為物距。應(yīng) 當(dāng)注意，可以以諸如整數(shù)或浮點(diǎn)數(shù)之類的任何所希望格式來配置D。對于自動聚焦應(yīng)用，鏡 頭可以被移動以在估計(jì)出的距離D處聚焦，并以相同的方式估計(jì)新的深度?？梢灾貜?fù)這種 過程直到迭代數(shù)收斂到0或某個所希望閾值之下為止。應(yīng)當(dāng)理解，對于變化的焦距和光圈， 可以將這種算法擴(kuò)展為更高維度的多項(xiàng)式模型。
5. X寸誠禾燥割勺一膽娜 圖11圖示出了例如將由諸如相機(jī)之類的給定成像設(shè)備的制造商執(zhí)行的校準(zhǔn)實(shí)施 例。在塊50，獲得用于在不同焦距處的階躍邊緣圖像的匹配曲線。作為多維多項(xiàng)式模型的 示例，隨后根據(jù)塊52創(chuàng)建二維模型來表示匹配曲線。在該校準(zhǔn)處理之后，諸如模型的多項(xiàng) 式系數(shù)之類的模型的表示被存儲54，例如被編碼在相機(jī)設(shè)備的非易失性程序存儲器中。
圖12圖示出了根據(jù)本發(fā)明在相機(jī)設(shè)備內(nèi)將多維多項(xiàng)式模型用于深度估計(jì)的實(shí)施 例。在校準(zhǔn)處理(圖11)之后，則該模型可以用于在特定相機(jī)設(shè)備內(nèi)估計(jì)對象深度。如塊 60所表示的，在不同聚焦位置處捕獲兩個圖像(例如，攝取影像)。優(yōu)選地，根據(jù)塊62對圖 像執(zhí)行直方圖匹配。隨后在塊64中計(jì)算模糊差異。此后，在塊66中將多項(xiàng)式模型用于基 于模糊差異以及捕獲兩個圖像的聚焦位置來估計(jì)深度。 應(yīng)當(dāng)理解，可以根據(jù)本發(fā)明執(zhí)行一系列的深度估計(jì)。例如，如果與相機(jī)聚焦調(diào)節(jié)相 配合來使用該方法，則在調(diào)節(jié)相機(jī)焦點(diǎn)時，可以收集另外的圖像輸入并且再次(或連續(xù)地) 執(zhí)行距離估計(jì)處理，以便當(dāng)物距估計(jì)與實(shí)際物距匹配時，由于相機(jī)接近適當(dāng)焦點(diǎn)而提供越 來越高的準(zhǔn)確度。 為了簡化聚焦匹配模型并且平滑響應(yīng)，希望消除因物理的相機(jī)要素(例如，光圈 變化、光學(xué)元件電能和溫度變化、機(jī)械鏡頭設(shè)置波動等)和環(huán)境因素(即，光照、運(yùn)動、溫度、 位置等)改變引起的誤差。雖然在確定模糊差異之前直方圖匹配處理移除了一些噪聲源， 然而，仍然存在測得的可消除噪聲，如在圖7中所見的。為了移除另外的噪聲，優(yōu)選地，例 如采用可用于深度估計(jì)的所希望次數(shù)(例如，2，3或4次)的多項(xiàng)式函數(shù)，來將響應(yīng)于校準(zhǔn) 處理而確定的聚焦匹配模型本身投射(cast)為充分平滑的數(shù)學(xué)表示(函數(shù))。因此，函數(shù) (例如，多項(xiàng)式函數(shù))被選來替代基于根據(jù)經(jīng)驗(yàn)收集的數(shù)據(jù)而創(chuàng)建的模型。當(dāng)然，替代函數(shù) 必須提供與經(jīng)驗(yàn)數(shù)據(jù)充分匹配(擬合)的曲線，以便使得模型的使用將提供足夠準(zhǔn)確的距 離估計(jì)。 例如，給定鏡頭位置和迭代數(shù)，則二維多項(xiàng)式等式變成單變量等式。本發(fā)明的各方
面將單變量等式的示例描述為可在一步中求解的二次或三次等式。還應(yīng)當(dāng)理解，可以按需
將算法擴(kuò)展為更高維度的多項(xiàng)式函數(shù)，例如以供與不同的焦距和光圈一起使用。 圖13圖示出了如圖12的塊62中所見的直方圖匹配處理，優(yōu)選地，該處理在計(jì)算
模糊差異之前被執(zhí)行來移除噪聲。如塊72所示，生成用于在不同聚焦位置處獲得的兩個影
像的直方圖。根據(jù)塊72，順序地從一個直方圖轉(zhuǎn)移像素，以均衡另一直方圖中最接近亮度的像素?cái)?shù)。如塊74所示，利用最小平方誤差解決方案來確定直方圖匹配函數(shù)。應(yīng)當(dāng)認(rèn)識到， 為了簡化起見，優(yōu)選地，一維線性函數(shù)被選擇用于這種直方圖匹配函數(shù)。應(yīng)當(dāng)認(rèn)識到，直方 圖匹配函數(shù)與聚焦匹配函數(shù)是不同的且有區(qū)別的，后者是二維多項(xiàng)式函數(shù)。
圖14圖示出了被配置用于根據(jù)本發(fā)明的深度估計(jì)的圖像捕獲設(shè)備(相機(jī))90的 示例實(shí)施例90。聚焦/變焦控制裝置94被示為在計(jì)算機(jī)(CPU) 96的控制下耦合到成像光 學(xué)器件92。計(jì)算機(jī)96響應(yīng)于來自存儲器98和/或輔助存儲器100的所運(yùn)行指令，來執(zhí)行 深度估計(jì)方法。作為示例示出的相機(jī)設(shè)備(例如，視頻或靜止)有圖像顯示裝置102和觸 摸屏104，然而，將理解，根據(jù)本發(fā)明的方法還可以在配置有聚焦控制裝置、聚焦指示器或其 組合的各種圖像捕獲設(shè)備上實(shí)現(xiàn)。應(yīng)當(dāng)理解，生成了例如由多項(xiàng)式系數(shù)定義的模型的校準(zhǔn) 處理(例如圖ll)由受計(jì)算機(jī)控制的測試裝置來執(zhí)行。作為對比，深度估計(jì)和聚焦控制應(yīng) 當(dāng)在如圖14所示的相機(jī)或類似成像設(shè)備中實(shí)現(xiàn)。 對于改變鏡頭焦距(亦稱為放大倍率)的變焦控制或其它裝置的使用，應(yīng)當(dāng)理解， 優(yōu)選地，根據(jù)本發(fā)明在相機(jī)和/或鏡頭系統(tǒng)的可應(yīng)用變焦范圍內(nèi)來對其進(jìn)行特征化。例如， 按照對如下情況中的所設(shè)置的鏡頭的每個離散焦距所述的那樣來執(zhí)行對相機(jī)和/或鏡頭 的特征化在具有離散鏡頭選擇的相機(jī)中，或者在沿著具有連續(xù)可選變焦控制的相機(jī)的變 焦范圍的遞增步驟中。以這種方式，可以針對如上所述的單焦距鏡頭或者針對具有連續(xù)范 圍(例如，變焦)或不連續(xù)范圍(通常稱為離散范圍)(例如，正常/宏設(shè)置或其它可選范 圍設(shè)置)的多個范圍的鏡頭來執(zhí)行到物體的距離的估計(jì)。在前一種選擇中，描述了將2維 多項(xiàng)式模型擴(kuò)展到更高維度，其提供了各種焦距(不同變焦位置)和光圈。作為示例而非 限制，可以將等式(5)寫為I = F(L， D， Z， A)，以提供四維的多項(xiàng)式模型，其中，Z是焦距，A 是光圈。 雖然上面的描述包含多個細(xì)節(jié)，然而，不應(yīng)當(dāng)認(rèn)為這些細(xì)節(jié)是限制本發(fā)明的范圍
的，而僅提供了對本發(fā)明當(dāng)前的一些優(yōu)選實(shí)施例的說明。因此，將理解，本發(fā)明的范圍完全
包括本領(lǐng)域技術(shù)人員可能想到的其它實(shí)施例，并且本發(fā)明的范圍僅由所附權(quán)利要求書來限
定，其中，除非明確說明，否則對單數(shù)元件的引用不希望是指"一個以及僅一個"而是指"一
個或多個"。本領(lǐng)域技術(shù)人員所知的與上述優(yōu)選實(shí)施例的元件等同的結(jié)構(gòu)和功能通過引用
明確包含于此，并且希望被本權(quán)利要求所包括。此外，本權(quán)利要求書所包括的設(shè)備或方法不
必解決企圖由本發(fā)明解決的每個問題。此外，不希望本公開中的元件、組件或方法步驟被視
為貢獻(xiàn)給公眾，無論元件、組件或方法步驟是否在權(quán)利要求書中明確闡述。這里要求包含的
元件不認(rèn)為是在35U. S. C. 112第6款的規(guī)定下的元件，除非利用短語"用于...的裝置"進(jìn)
行了清楚地闡述。 版權(quán)聲明 本專利文獻(xiàn)中的一部分資料受到美國及其它國家的版權(quán)法的版權(quán)保護(hù)。版權(quán)所有 者不反對任何人對如出現(xiàn)在專利和商標(biāo)局的專利文件或記錄中的本專利文獻(xiàn)或?qū)＠_ 的任一個進(jìn)行復(fù)制再現(xiàn)，但是無論怎樣版權(quán)所有者都保存所有版權(quán)權(quán)利。版權(quán)所有者不因 此而放棄維持本專利文獻(xiàn)的保密性的任何權(quán)利，包括不限制根據(jù)37C. C. R. § 1. 14的其權(quán) 利。
權(quán)利要求
一種電子地捕獲圖像的裝置，包括成像設(shè)備；耦合到所述成像設(shè)備的聚焦控制元件；計(jì)算機(jī)處理器，被耦合到所述成像設(shè)備和所述聚焦控制元件；存儲器，被耦合到所述計(jì)算機(jī)處理器，并且被配置用于保存從所述成像設(shè)備捕獲來的圖像并且保存可由所述計(jì)算機(jī)處理器執(zhí)行的程序；保存在所述存儲器中的多維聚焦匹配模型，其中，所述模型是基于不同焦距處的成像校準(zhǔn)目標(biāo)的；以及可由所述計(jì)算機(jī)處理器執(zhí)行的程序，以用于執(zhí)行如下步驟(i)捕獲多個對象圖像，并且(ii)基于將在圖像之間檢測到的模糊差異輸入到所述聚焦匹配模型中，響應(yīng)于執(zhí)行了對所述對象圖像的深度估計(jì)，來自動地調(diào)節(jié)所述聚焦控制元件。
2. 如權(quán)利要求1所述的裝置，其中，所述成像裝置包括照相機(jī)、視頻攝像機(jī)、或者照相機(jī)與視頻攝像機(jī)的組合。
3. 如權(quán)利要求1所述的裝置，其中，所述聚焦匹配模型使用多項(xiàng)式函數(shù)來減少失配噪聲°
4. 如權(quán)利要求3所述的裝置，其中，所述多項(xiàng)式函數(shù)的系數(shù)被存儲在存儲器中。
5. 如權(quán)利要求1所述的裝置，還包括保存在所述存儲器中的直方圖匹配程序，所述直方圖匹配程序可在所述模糊差異被輸入到所述聚焦匹配模型中之前，由所述計(jì)算機(jī)處理器執(zhí)行來處理所述對象圖像，以減少因聚焦位置之間的異常值引起的噪聲。
6. 如權(quán)利要求1所述的裝置，其中，其中，所述聚焦匹配模型是通過執(zhí)行校準(zhǔn)處理生成的，所述校準(zhǔn)處理包括獲取校準(zhǔn)目標(biāo)圖像序列以用于記錄合適的焦點(diǎn)；獲取所述校準(zhǔn)目標(biāo)圖像序列的聚焦曲線；以及基于對所述校準(zhǔn)目標(biāo)圖像序列的聚焦曲線的匹配，生成多維模型。
7. 如權(quán)利要求6所述的裝置其中，所述校準(zhǔn)處理包括在獲取所述校準(zhǔn)目標(biāo)圖像序列時用于減小相繼的聚焦位置之間的失配的直方圖匹配處理，所述直方圖匹配處理包括順序地將像素從第一直方圖轉(zhuǎn)移到第二直方圖，以均衡最接近亮度的像素；以及利用線性匹配函數(shù)來近似直方圖匹配；其中，噪聲效應(yīng)被減小，所述噪聲效應(yīng)是由于不希望的物理和環(huán)境變化而被引入模型中的。
8. —種用于估計(jì)從相機(jī)到對象的聚焦距離的裝置，包括計(jì)算機(jī)處理器，被配置用于結(jié)合相機(jī)的成像設(shè)備進(jìn)行操作；存儲器，被耦合到所述計(jì)算機(jī)處理器，并且被配置用于保存從所述成像設(shè)備捕獲來的對象的圖像并且保存可由所述計(jì)算機(jī)處理器執(zhí)行的程序；被保存在所述存儲器中的多維聚焦匹配模型，其中，該模型是基于不同焦距處的成像校準(zhǔn)目標(biāo)的；以及程序，可由所述計(jì)算機(jī)處理器執(zhí)行來通過執(zhí)行深度估計(jì)而自動地估計(jì)出適當(dāng)?shù)木劢咕嚯x，所述深度估計(jì)包括，(i) 捕獲多個對象圖像，(ii) 確定所述多個對象圖像之間的模糊差異，并且(iii) 將所述模糊差異輸入所述聚焦匹配模型以生成到對象的聚焦距離的估計(jì)。
9. 如權(quán)利要求8所述的裝置，其中，所述裝置被包括在照相機(jī)、視頻攝像機(jī)、或者照相機(jī)與視頻攝像機(jī)的組合中。
10. 如權(quán)利要求8所述的裝置，其中，所述聚焦匹配模型是基于模糊差異的，所述模糊差異是響應(yīng)于當(dāng)校準(zhǔn)目標(biāo)距離的相機(jī)改變經(jīng)過了相機(jī)聚焦范圍的至少一部分時所檢測到的對比度改變而確定的。
11. 如權(quán)利要求10所述的裝置，其中，圖像被捕獲時的聚焦距離以及圖像之間的模糊差異量在所述聚焦匹配模型中被建模。
12. 如權(quán)利要求8所述的裝置，其中，所述程序還包括直方圖匹配處理，所述直方圖匹配處理在確定模糊差異之前被執(zhí)行來移除相繼的聚焦位置之間的失配，以使得可以基于更準(zhǔn)確的模糊差異來更準(zhǔn)確地確定距離。
13. 如權(quán)利要求8所述的裝置，其中，所述聚焦匹配模型使用多項(xiàng)式函數(shù)來減少失配噪聲°
14. 如權(quán)利要求6所述的裝置，其中，所述聚焦匹配模型還包括針對多焦距鏡頭系統(tǒng)中的不同焦距設(shè)置的聚焦匹配信息。
15. —種用于自動地估計(jì)相機(jī)到對象的聚焦深度的方法，包括響應(yīng)于檢測到在不同聚焦距離處捕獲的校準(zhǔn)物體的多個圖像之間的模糊差異，來生成多維聚焦匹配模型；捕獲多個對象圖像；確定所述多個對象圖像之間的模糊差異；以及響應(yīng)于將所述多個對象圖像之間的模糊差異輸入到所述聚焦匹配模型中以生成到對象的聚焦距離的估計(jì)，從而估計(jì)出聚焦深度。
16. 如權(quán)利要求15所述的方法，其中，所述方法是與照相機(jī)、視頻攝像機(jī)、或照相機(jī)與視頻攝像機(jī)的組合相關(guān)聯(lián)地執(zhí)行的。
17. 如權(quán)利要求16所述的方法，其中，所述確定模糊差異是響應(yīng)于當(dāng)對象與相機(jī)之間的距離改變時檢測到對比度差異改變而被執(zhí)行的。
18. 如權(quán)利要求15所述的方法，還包括多個對象圖像的直方圖匹配，用于在確定模糊差異之前減少與聚焦位置之間的異常值相關(guān)聯(lián)的噪聲。
19. 如權(quán)利要求15所述的方法，還包括利用所述聚焦匹配模型中的多項(xiàng)式函數(shù)來減少失配噪聲。
20. —種計(jì)算機(jī)可讀介質(zhì)，包含可在計(jì)算機(jī)上執(zhí)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)被配置來響應(yīng)于如下步驟自動地估計(jì)對象的相機(jī)聚焦深度存儲響應(yīng)于模糊差異信息創(chuàng)建的聚焦匹配模型，所述模糊差異信息是針對在不同聚焦距離處的校準(zhǔn)目標(biāo)生成的；捕獲至少兩個不同聚焦位置時的圖像；計(jì)算所捕獲圖像之間的模糊差異；以及響應(yīng)于將所捕獲圖像之間的所述模糊差異輸入到所述聚焦匹配模型中并且求解模型 以生成到對象的距離的估計(jì)，從而估計(jì)出對象的深度。
全文摘要
本發(fā)明公開了用于基于兩個影像的匹配進(jìn)行深度估計(jì)的二維多項(xiàng)式模型。提供了用于電子地估計(jì)相機(jī)(照相機(jī)和/或視頻攝像機(jī))與物體之間的聚焦距離的裝置和方法。校準(zhǔn)目標(biāo)的不同聚焦位置處的圖像與物體位置之間的距離一起被收集。一方面，執(zhí)行直方圖匹配以減少噪聲誤差。然后，響應(yīng)于檢測到校準(zhǔn)目標(biāo)的連續(xù)圖像之間的模糊差異來生成聚焦匹配模型。優(yōu)選地，將聚焦匹配模型轉(zhuǎn)換為所希望次數(shù)的多項(xiàng)式等式，以平滑掉圖像采集噪聲。聚焦匹配模型被存儲以供在操作期間訪問。在使用中，通過捕獲圖像、檢測圖像之間的模糊差異并且將模糊差異信息輸入匹配模型，來估計(jì)出到對象的距離。
文檔編號G06T7/00GK101795361SQ20101010719
公開日2010年8月4日 申請日期2010年2月1日 優(yōu)先權(quán)日2009年1月30日
發(fā)明者厄爾·王, 李平山, 索羅吉·特里特亞帕拉賽爾特 申請人:索尼公司;索尼電子有限公司