測距成像中的運動補償?shù)闹谱鞣椒?br> 【專利摘要】在不增加獲取速度或降低距離測定的總體質(zhì)量的情況下，通過識別場景中的運動物體并確定物體的速度和方向來校正測距照相機中的運動模糊的方法和設(shè)備。
【專利說明】測距成像中的運動補償
[0001]相關(guān)申請的交叉引用
[0002]本申請根據(jù)35U.S.C.§ 119(e)要求2011年8月29日提交的、題目為“Mot1nCompensat1n in Range Imaging” 的美國臨時專利申請 N0.61/528，655 以及 2011 年 7月4日提交的、題目為“Mot1n Compensat1n in Range Imaging”的美國臨時專利申請N0.61/504, 244的權(quán)益，出于所有目的，其內(nèi)容通過引用全部并入本文。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明總體涉及補償測距成像期間的運動的方法和裝置。

【背景技術(shù)】
[0004]測距照相機，也稱為測距成像照相機、測距成像系統(tǒng)及測距設(shè)備，測定要成像場景中物體的距離和強度。測距照相機用在各種應(yīng)用中來測定物體與照相機之間的距離。盡管典型的測距照相機能夠精確測定到靜止物體的距離，但是也不能精確測定到運動物體的距離，原因是測距照相機是基于以下假設(shè)操作的，即在場景相關(guān)反射光的幾次抽樣的每一次中，從場景中的特定位置接收的信號數(shù)據(jù)從位于與照相機相同距離的相同物體反射到照相機。當(dāng)物體在成像期間移動時，該假設(shè)無效且會出現(xiàn)錯誤。
[0005]測定到運動物體的距離存在的困難是典型的測距照相機的基本操作的結(jié)果。測距照相機通常使用調(diào)幅連續(xù)波(“AMCW”)技術(shù)來測定照相機與物體之間的距離。使用AMCW技術(shù)的照相機使用光源來發(fā)射強度調(diào)制照明信號以照亮要成像的場景。然后通過場景內(nèi)的物體將該信號反射回測距照相機。因為反射信號在信號傳播離開以及返回照相機時滑出與發(fā)射的信號不同相，所以反射光的多個圖像由專門的傳感器芯片捕獲以記錄所設(shè)定的時間段的相位差。處理器然后用于將多個圖像進行相互比較并與發(fā)射的強度調(diào)制照明信號進行比較以測定光強度調(diào)制時的相位變化。然后對相位變化進行分析以測定對象與測距照相機之間的距離，并測定物體的尺寸、形狀和位置。
[0006]圖1示出了典型測距照相機的簡化版本。如圖1所示，典型AMCW測距照相機100可以包括朝要成像的場景發(fā)射強度調(diào)制照明信號的信號傳送設(shè)備101以及使用發(fā)射信號的從場景內(nèi)的物體反射回系統(tǒng)100的部分捕獲圖像的圖像傳感器102。處理器103然后將發(fā)射信號與捕獲圖像進行比較以測定捕獲圖像中每個像素的強度和相移。通過這樣做，處理器能夠測定場景中的物體距系統(tǒng)100的距離。系統(tǒng)100任選可以包含控制系統(tǒng)100的輸入設(shè)備104、顯示器105及存儲器106 ;或這些設(shè)備104，105及106可以呈由接口電纜連接的獨立計算機系統(tǒng)的形式。這些設(shè)備可以選自用于執(zhí)行這些功能的任意已知設(shè)備。
[0007]存在許多已知的調(diào)制信號傳送設(shè)備101和圖像傳感器102的方式。例如，信號傳送設(shè)備101可以簡單地是非常快速循環(huán)啟動和停止的光源，同時圖像傳感器102可以使用高速快門或通過控制圖像傳感器102的增益或靈敏度來調(diào)制。處理器103還可以包括信號生成器，或類似設(shè)備，以幫助調(diào)制信號傳送設(shè)備101和圖像傳感器102。然而，還可以單獨提供信號生成器。
[0008]圖2是上文中參照圖1描述的標(biāo)準(zhǔn)測距照相機的功能圖。如圖2所示，從信號傳送設(shè)備101發(fā)射的照明信號的強度調(diào)制包絡(luò)線以正弦波的形狀示出(雖然也可以通過方波調(diào)制)。然后從成像的場景內(nèi)的各個物體21，22及23反射信號。如圖2所示，反射回圖像傳感器102的光將基于反射光的物體21，22及23的相對距離來傳播不同距離。這將會導(dǎo)致基于所傳播的距離對具有不同相位的接收光進行調(diào)制。雖然圖2中未示出，但波形的振幅也可以基于所傳播的距離和物體的表面散射特性來改變。


【發(fā)明內(nèi)容】

[0009]描述了在不增加獲取速度的情況下且在不降低距離測定的總體質(zhì)量的情況下，校正測距照相機中的運動模糊的方法和設(shè)備。方法和設(shè)備設(shè)計來識別場景中的運動物體，并測定物體的速度和方向。在某些實施例中，跟蹤和/或預(yù)測物體在場景中的運動。該信息在某些應(yīng)用中(比如手勢識別應(yīng)用中)比在距離測定本身中更有用。
[0010]示例性實施例包括一種測定測距成像設(shè)備與至少一個運動物體之間的距離的方法，所述方法包括:在圖像傳感器處獲取與包含使用編碼曝光的至少一個運動物體的場景有關(guān)的相位階躍(St印，步長)測距圖像數(shù)據(jù)，所述相位階躍測距圖像數(shù)據(jù)包括第一相位階躍圖像和至少第二相位階躍圖像；使用處理器計算圖像傳感器與至少一個運動物體之間的距離的初始估計值，以及至少一個運動物體的亮度的初始估計值，其中估計值基于所獲取的相位階躍測距圖像數(shù)據(jù)；基于以下各項計算運動物體的光流:i)圖像傳感器與至少一個運動物體之間的距離的初始估計值；ii)至少一個運動物體的亮度的初始估計值；iii)第一相位階躍圖像；以及iv)第二相位階躍圖像；通過向相位階躍測距圖像數(shù)據(jù)施加反演的(inverted,反轉(zhuǎn)的,逆)編碼曝光校正所計算的光流來生成運動校正的圖像數(shù)據(jù)；以及基于校正圖像數(shù)據(jù)來計算圖像傳感器與至少一個運動物體之間的距離。
[0011]根據(jù)方法的應(yīng)用，編碼曝光優(yōu)選可以包括正弦函數(shù)或方波；圖像傳感器與至少一個運動物體之間的距離的初始估計值可以是雙相估計值，并且可以使用線性逼近來計算光流。該方法還可以包括使用調(diào)幅連續(xù)波信號來照亮場景。
[0012]替代實施例可以包括一種測定測距成像照相機與多個運動物體之間的距離的方法，所述方法包括:在圖像傳感器處使用編碼曝光來捕獲原始序列數(shù)據(jù)，原始序列圖像數(shù)據(jù)包括具有運動物體的場景的多個連續(xù)相位階躍圖像；在處理器處接收原始序列圖像數(shù)據(jù)；估計測距成像照相機與每個運動物體之間的距離的雙相估計值；使用連續(xù)相位階躍圖像來生成運動掩模以識別包括與運動物體有關(guān)的圖像數(shù)據(jù)的原始序列圖像數(shù)據(jù)中的區(qū)域；使用運動掩模來分割原始圖像數(shù)據(jù)以隔離與每個運動物體對應(yīng)的原始圖像數(shù)據(jù)的區(qū)域；基于雙相估計值和物體分割來測定每個運動物體的光流；計算每個運動物體的光流的大小和方向；基于所計算的每個運動物體的光流的大小和方向來旋轉(zhuǎn)并縮放連續(xù)相位階躍圖像；使旋轉(zhuǎn)和縮放的連續(xù)相位階躍圖像運動反演以補償運動物體的運動；對連續(xù)相位階躍圖像的旋轉(zhuǎn)和縮放反操作(reverse,反轉(zhuǎn))以生成運動校正的連續(xù)相位階躍圖像；使用編碼曝光來解碼運動校正的連續(xù)相位階躍圖像以生成運動校正的相位階躍序列；以及基于運動校正的相位階躍序列來計算測距成像照相機與每個運動物體之間的距離。
[0013]該方法可以進一步包括使用圖像傳感器(比如CMOS傳感器)來捕獲原始序列圖像數(shù)據(jù)。另外，雙相估計值可以包括多個像素的每一個的估計距離和/或亮度數(shù)據(jù)。光流可以用多個矢量表示，多個矢量的每一個都與多個像素之一相關(guān)聯(lián)。光流可以使用線性逼近來測定。
[0014]根據(jù)方法的應(yīng)用，編碼曝光優(yōu)選可以包括正弦函數(shù)或方波。同樣，場景可以使用信號生成器調(diào)制的照明信號來照亮。另外，計算測距成像照相機與每個運動物體之間的距離可以包括針對運動校正的相位階躍序列中的每個像素解碼距離。
[0015]替代實施例可以包括一種測距成像照相機，包括:使用調(diào)制照明信號來照亮場景的照明源；使用編碼曝光來從照明的場景捕獲原始序列圖像數(shù)據(jù)的圖像傳感器，其中圖像傳感器配置為捕獲從照亮的場景中的至少一個運動物體反射的調(diào)制照明信號的至少一部分；以及處理原始序列圖像數(shù)據(jù)以校正所捕獲的原始序列圖像數(shù)據(jù)中的運動的處理器，其中處理器配置為執(zhí)行以下操作:基于原始序列圖像數(shù)據(jù)來計算測距成像照相機與運動物體之間的距離的雙相估計值；基于原始序列圖像數(shù)據(jù)來生成運動掩模以識別包括與運動物體有關(guān)的圖像數(shù)據(jù)的原始序列圖像數(shù)據(jù)中的區(qū)域；基于運動掩模來分割原始序列圖像數(shù)據(jù)以隔離與運動物體對應(yīng)的原始序列圖像數(shù)據(jù)的區(qū)域；基于雙相估計值和分割的原始序列圖像數(shù)據(jù)來測定運動物體的光流；計算運動物體的光流的大小和方向；基于所計算的運動物體的光流的大小和方向來旋轉(zhuǎn)并縮放原始序列圖像數(shù)據(jù)；使旋轉(zhuǎn)和縮放的原始序列圖像數(shù)據(jù)運動反演以補償運動物體的運動；對原始序列圖像數(shù)據(jù)的旋轉(zhuǎn)和縮放反操作以生成運動校正序列圖像數(shù)據(jù)；使用編碼曝光來解碼運動校正的序列圖像數(shù)據(jù)以生成解碼的運動校正的序列圖像數(shù)據(jù)；以及基于解碼的運動校正的序列圖像數(shù)據(jù)來計算測距成像照相機與運動物體之間的距離。
[0016]根據(jù)各種實施例，照明信號可以用調(diào)幅連續(xù)波進行調(diào)制；圖像傳感器可以是CMOS傳感器；編碼曝光可以包括方波或正弦波；圖像傳感器可以將原始序列圖像數(shù)據(jù)傳輸至處理器；圖像傳感器可以包括像素陣列；雙相估計值可以包括多個像素的每一個的估計距離數(shù)據(jù)；雙相估計值可以包括多個像素的每一個的估計亮度數(shù)據(jù)；光流可以用多個矢量表示，多個矢量的每一個都與多個像素之一相關(guān)聯(lián)；測定光流可以包括線性逼近；并且計算測距成像照相機與運動物體之間的距離可以包括解碼所解碼的運動校正的序列圖像數(shù)據(jù)中的每個像素的距離。

【專利附圖】

【附圖說明】
[0017]圖1描述了標(biāo)準(zhǔn)成像設(shè)備的示意圖。
[0018]圖2描述了上文中參照圖1描述的標(biāo)準(zhǔn)測距照相機的簡化功能圖。
[0019]圖3描述了根據(jù)各種實施例的運動補償方法的框圖。
[0020]圖4描述了像素中運動對相位階躍測量的影響的模擬實例。
[0021]圖5a_5c描述了測距相位、有源振幅以及使用典型方法和編碼曝光(CE)的示例性測量的模擬。
[0022]圖6描述了來自交織CE AMCff測量的雙相估計值的實例。
[0023]圖7描述了運動掩模圖像的實例。
[0024]圖8描述了物體和對應(yīng)矢量的假定線性運動的實例。
[0025]圖9描述了光流和直線擬合的實例。
[0026]圖10描述了相位序列上的光流的最終估計值。
[0027]圖11描述了比較輸入相位階躍序列和運動校正方程的結(jié)果的實例。
[0028]圖12描述了具有與運動區(qū)中的靜態(tài)區(qū)域?qū)?yīng)的間隙的重建的相位和振幅。
[0029]圖13描述了在運動校正之前和之后的測距相位和振幅的示例性圖像。
[0030]圖14描述了雙相階躍振幅圖像的三個實例。
[0031]圖15描述了根據(jù)各個實施例的比較運動校正之前和之后的圖像之間的相位百分比誤差和振幅百分比誤差的模擬結(jié)果。
[0032]圖16描述了比較使用先前已知的運動校正方法進行的運動校正之前和之后的圖像之間的相位百分比誤差和振幅百分比誤差的模擬結(jié)果。
[0033]圖17描述了在所公開的運動校正方法的不同階段在場景下運動的列車的各個圖像。
[0034]圖18描述了在所公開的運動校正方法的不同階段在場景下并朝向場景運動的瓶子的各個圖像。
[0035]圖19描述了在所公開的運動校正方法的不同階段沿不同方向在場景下運動的兩只手的各個圖像。

【具體實施方式】
[0036]描述了校正成像場景中的運動以便對測距照相機與一個或多個運動物體之間的距離進行精確測定的方法和設(shè)備。典型測距照相機基于物體在每次相位階躍測量中處于相同位置的假設(shè)進行操作。當(dāng)該假設(shè)由于物體在連續(xù)的相位階躍中在不同位置成像而是錯誤的時，照相機不能精確測定到物體的距離。相反，下面描述的方法和設(shè)備隔離與運動物體有關(guān)的數(shù)據(jù)，以便估計每個物體運動的速度和方向，通過以數(shù)學(xué)的方式將每個物體“移回”其開始位置來校正幾個連續(xù)圖像，并確定到開始位置的每個物體的距離。
[0037]校正運動模糊并計算到運動物體的距離的處理的實例如圖3所示。該處理包括(O接收原始序列；(2)估計雙相估計值(Two Phase Estimate) ； (3)生成初始運動掩模(Initial Mot1n Mask); (4)分割原始圖像數(shù)據(jù)；(5)測定光流(Optical Flow);(6)計算光流的大小和方向；(7)旋轉(zhuǎn)并縮放相位階躍圖像(Phase Step Image) ； (8)使旋轉(zhuǎn)和縮放的相位階躍圖像運動反演(Mot1n Inverting) ； (9)對旋轉(zhuǎn)和縮放反操作(Reversing)；
(10)解碼運動校正圖像；以及(11)計算測距。下面將詳細描述這些區(qū)塊。
[0038]在校正運動模糊之前，可能必須生成要校正的原始序列數(shù)據(jù)。該數(shù)據(jù)通常使用發(fā)射通過調(diào)制信號傳送設(shè)備生成的調(diào)制照明信號的AMCW測距照相機來生成。該調(diào)制信號在已知的時間離開測距照相機。調(diào)制信號在被照相機前方的物體部分反射回測距照相機之前，按已知的速度遠離照相機傳播。(測距照相機的觀察區(qū)域，以及其中的物體，在本文中被稱為場景。)反射光然后聚集在通常包括像素陣列的圖像傳感器上，該反射光在此處被捕獲。圖像傳感器通常使用用于調(diào)制信號傳送設(shè)備的相同信號來調(diào)制。該處理被稱為零差A(yù)MCff (homodyne AMCW)?？蛇x地，可以按照不同頻率來調(diào)制驅(qū)動圖像傳感器和光源的信號。這被稱為外差A(yù)MCW(heterodyne AMCW)。測距照相機然后可以比較調(diào)制照明信號的相位與所捕獲的圖像的相位以測定信號在被發(fā)射與被捕獲之間傳播的距離。
[0039]在實踐中，人們發(fā)現(xiàn)一個以上的捕獲圖像對獲得準(zhǔn)確結(jié)果來說可能是必須的。因此，在典型測距照相機中，圖像傳感器捕獲場景的四個或四個以上圖像以便更準(zhǔn)確地測定照相機與成像場景中的各物體之間的距離。無論圖像以什么樣的格式捕獲，這些圖像都可以被稱為指示未對圖像進行處理的“原始”圖像。測距照相機使用連續(xù)的原始圖像數(shù)據(jù)來比較圖像傳感器的像素陣列中的每個像素處的相移以測定到物體的在像素上成像的部分的距離。處理后的圖像數(shù)據(jù)通常被稱為測距圖像幀，或簡稱幀。
[0040]通過假設(shè)光源按頻率f來進行調(diào)幅(在理想情況下根據(jù)正弦調(diào)幅輪廓(profile)或方波調(diào)制簡表(profile))，并且傳感器按相同頻率但相位偏移Θ來調(diào)制，可以對該處理建模。在傳感器處測量的光強度然后可以被建模為:
[0041]
Ι(χ, Θ) =A(x) sin (φ(χ) + θ) + B(x) ( I)
[0042]其中:φ(χ) = ?(χ)4π?7ο； c是光速；χ是像素坐標(biāo)；Α是有效亮度(且正比于返回光的強度、物體反射率及積分時間);Β是由背景光造成的附加偏移。術(shù)語B還可以接收由傳感器和源信號振幅造成的一些貢獻值。由光傳播導(dǎo)致的相位值φ在本文中被稱為測距相位，而用于θ的相位偏移值被稱為相位階躍值。Ι(χ，Θ)的值被稱為由其對Θ的依賴造成的相位階躍圖像。
[0043]反射信號數(shù)據(jù)由圖像傳感器反復(fù)收集，并且對于每次重復(fù)進行收集來說，Θ在集合中變?yōu)镹個不同值中的一個，甚至在步驟中從O到2π之間重復(fù)，以便編碼從測距照相機至以可逆的方式反射照明信號的物體的距離。測距編碼數(shù)據(jù)然后通過針對Θ來計算I (X，Θ )上的N點離散傅里葉變換的一階bin來進行分析。從所計算的一階傅里葉bin的相位中恢復(fù)相位Φ (并因此恢復(fù)距離d)。有效亮度A是對應(yīng)的振幅。
[0044]運動的數(shù)學(xué)建模
[0045]成像物體的運動的效應(yīng)可以通過引入對d (φ作為φ (x(t), t) )、A和B的時間依賴，以及通過卷積*和模糊核函數(shù)h產(chǎn)生的模糊效應(yīng)來建模:
[0046]
I(x(t)，t) = [A(x(t), t) sin (φ(χ⑴,t) + θ) + Β(χ⑴,t)] * h(v(x, t)) (2、
[0047]其中V是通過場景的運動速度矢量的光流矢量。卷積核h(v(x，t))是開始于每個像素和時間點(x, t)的空間變異線性元素(spatially variant linear element),具有方向Z v(x, t)和長度為I |kv(x，t) I I個像素。除非有必要,省略對X和t的明確依賴是有用的(在省略時，空間和時間依賴是隱含的)。
[0048]圖4描述了像素中運動對相位階躍測量的影響的模擬實例。更具體地地，圖4繪制了隨著時間的推移在像素上成像的靜態(tài)物體和運動物體的強度和相位階躍指數(shù)的圖表。靜態(tài)物體的數(shù)據(jù)假設(shè)物體定位在離照相機合適距離處，以便誘導(dǎo)相位π (例如，在f=25MHz時d=3(m))。運動物體的數(shù)據(jù)假設(shè)該物體在前四個相位階躍上是靜止的并因此誘導(dǎo)這些階躍上的相位η。然后假設(shè)物體每次在第四相位階躍與第五相位階躍之間的時間開始移動，使得相位針對最后四個相位階躍變?yōu)?η+1)。當(dāng)物體使用標(biāo)準(zhǔn)技術(shù)進行解碼時，測定靜態(tài)物體具有測距相位I而測定在這種特定情況下的運動物體具有測距相位U+l)/2。由除上述運動之外的運動誘導(dǎo)的相位，或除第四和第五之外的相位階躍之間的距離變化，會產(chǎn)生不同的(也是錯誤的)計算測距相位。
[0049]另外，運動模糊預(yù)期出現(xiàn)在空間維度中的每個相位階躍圖像中，如圖5a_5c的模擬所示，其描述了測距相位、有源振幅的模擬，以及使用典型方法和編碼曝光(CodedExposure，下面將詳細描述)的示例性測量。圖5a描述了具有前景物體(在相位圖像中為較暗的方形)的場景的初始相位和振幅，該前景物體沿對角線方向從場景的左上方運動至右下方。傳統(tǒng)上，運動模糊是由于在每個相位階躍打開了快門，圖像數(shù)據(jù)的積分，以及關(guān)閉了快門而發(fā)生的，如圖5b所示。然而，盡管該實例描述了該效應(yīng)是由打開并關(guān)閉快門造成的，但為了簡單起見，要注意的是現(xiàn)在的AMCW測距照相機使用圖像傳感器比如CXD或CMOS設(shè)備來代替快門。這些設(shè)備產(chǎn)生的結(jié)果也可以類似于圖5b中所示的結(jié)果。
[0050]因為普通運動模糊h是由恒定不變的正值組成的有限支撐的線性元素，因此提出了編碼曝光(“CE”)的使用。CE是設(shè)計為至少部分校正運動模糊的處理。在本發(fā)明中，CE適用于將物體移回在連續(xù)相位階躍時拍攝的圖像的起始位置。因為運動物體在連續(xù)相位階躍期間在不同像素上成像，如上所述，所以比較第一相位階躍時的第一像素與第二相位階躍時的第一像素會產(chǎn)生誤差，原因是像素使兩個不同的事物，即物體和背景有效成像。因此，將運動物體基本上移回在第一相位階躍期間所處的位置是有用的，使得測距照相機能夠比較在后繼相位階躍中與相同物體有關(guān)的數(shù)據(jù)。為了做到這一點，可以使用CE。CE將另一調(diào)制加入圖像傳感器。所添加的代碼將ON和OFF (I和O)的代碼應(yīng)用于圖像數(shù)據(jù)。
[0051]CE是用于規(guī)范運動模糊的技術(shù)，在獲取圖像數(shù)據(jù)時可能會發(fā)生該運動模糊。方程
(2)可以用簡化的形式改寫為:
[0052]I=10*h (3)
[0053]因此，可以使用傅里葉變換FT(.)和里葉逆變換IFT(.)來確定:

【權(quán)利要求】
1.一種測定測距成像設(shè)備與至少一個運動物體之間的距離的方法，所述方法包括: 使用編碼曝光，在圖像傳感器處獲取與包含至少一個運動物體的場景有關(guān)的相位階躍測距圖像數(shù)據(jù)，所述相位階躍測距圖像數(shù)據(jù)包括第一相位階躍圖像和至少第二相位階躍圖像； 使用處理器計算所述圖像傳感器與所述至少一個運動物體之間的距離的初始估計值，以及所述至少一個運動物體的亮度的初始估計值，其中，估計值基于所獲取的相位階躍測距圖像數(shù)據(jù)； 基于以下各項計算所述運動物體的光流:i)所述圖像傳感器與所述至少一個運動物體之間的所述距離的所述初始估計值；ii)所述至少一個運動物體的所述亮度的所述初始估計值；iii)所述第一相位階躍圖像；以及iv)所述第二相位階躍圖像； 通過向所述相位階躍測距圖像數(shù)據(jù)施加反演的編碼曝光以校正所計算的光流來生成運動校正的圖像數(shù)據(jù)；以及 基于所校正的圖像數(shù)據(jù)來計算所述圖像傳感器與所述至少一個運動物體之間的距離。
2.如權(quán)利要求1所述的方法，其中，所述編碼曝光包括正弦函數(shù)。
3.如權(quán)利要求1所述的方法，其中，所述編碼曝光包括方波。
4.如權(quán)利要 求1所述的方法，其中，所述圖像傳感器與所述至少一個運動物體之間的距離的所述初始估計值是雙相估計值。
5.如權(quán)利要求1所述的方法，其中，計算所述光流包括線性逼近。
6.如權(quán)利要求1所述的方法，其中，計算所述光流包括不等間距傅里葉逆變換。
7.如權(quán)利要求1所述的方法，其中，所述方法進一步包括使用調(diào)幅連續(xù)波信號來照亮所述場景。
8.一種測定測距成像照相機與多個運動物體之間的距離的方法，所述方法包括: 在圖像傳感器處使用編碼曝光來捕獲原始序列數(shù)據(jù)，所述原始序列圖像數(shù)據(jù)包括具有所述運動物體的場景的多個連續(xù)相位階躍圖像； 在處理器處接收所述原始序列圖像數(shù)據(jù)； 估計所述測距成像照相機與每個所述運動物體之間的距離的雙相估計值； 使用所述連續(xù)相位階躍圖像來生成運動掩模以識別包括與所述運動物體有關(guān)的圖像數(shù)據(jù)的所述原始序列圖像數(shù)據(jù)中的區(qū)域； 使用所述運動掩模來分割所述原始圖像數(shù)據(jù)以隔離與每個所述運動物體對應(yīng)的所述原始圖像數(shù)據(jù)的區(qū)域； 基于所述雙相估計值和所述物體的分割來測定每個所述運動物體的光流； 計算每個所述運動物體的所述光流的大小和方向； 基于所計算的每個所述運動物體的所述光流的大小和方向來旋轉(zhuǎn)并縮放所述連續(xù)相位階躍圖像； 使旋轉(zhuǎn)和縮放的連續(xù)相位階躍圖像運動反演以補償所述運動物體的所述運動； 對所述連續(xù)相位階躍圖像的所述旋轉(zhuǎn)和所述縮放反操作以生成運動校正的連續(xù)相位階躍圖像； 使用所述編碼曝光來解碼所述運動校正的連續(xù)相位階躍圖像以生成運動校正的相位階躍序列；以及基于所述運動校正的相位階躍序列來計算所述測距成像照相機與每個所述運動物體之間的所述距離。
9.如權(quán)利要求8所述的方法，進一步包括使用圖像傳感器來捕獲所述 原始序列圖像數(shù)據(jù)。
10.如權(quán)利要求9所述的方法，其中，所述圖像傳感器是CMOS傳感器。
11.如權(quán)利要求9所述的方法，其中，所述雙相估計值包括針對多個像素的每一個的估計距離數(shù)據(jù)。
12.如權(quán)利要求9所述的方法，其中，所述雙相估計值包括針對多個像素的每一個的估計亮度數(shù)據(jù)。
13.如權(quán)利要求9所述的方法，其中，所述光流用多個矢量表示，所述多個矢量中的每一個都與多個像素之一相關(guān)聯(lián)。
14.如權(quán)利要求8所述的方法，其中，測定所述光流包括線性逼近。
15.如權(quán)利要求8所述的方法，其中，計算所述光流包括不等間距傅里葉逆變換。
16.如權(quán)利要求8所述的方法，其中，所述編碼曝光包括方波。
17.如權(quán)利要求8所述的方法，其中，所述編碼曝光包括正弦波。
18.如權(quán)利要求8所述的方法，進一步包括使用調(diào)制照明信號來照亮所述場景。
19.如權(quán)利要求18所述的方法，進一步包括使用信號生成器來生成所述調(diào)制照明信號。
20.如權(quán)利要求9所述的方法，其中，計算所述測距成像照相機與每個所述運動物體之間的所述距離包括在所述運動校正的相位階躍序列中針對每個像素對距離進行解碼。
21.一種測距成像照相機，包括: 使用調(diào)制照明信號來照亮場景的照明源； 使用編碼曝光來從所照亮的場景捕獲原始序列圖像數(shù)據(jù)的圖像傳感器，其中，所述圖像傳感器被配置為捕獲從所照亮的場景中的至少一個運動物體反射的所述調(diào)制照明信號的至少一部分；以及 處理所述原始序列圖像數(shù)據(jù)以校正所捕獲的原始序列圖像數(shù)據(jù)中的運動的處理器，其中，所述處理器被配置為執(zhí)行以下操作: 基于所述原始序列圖像數(shù)據(jù)來計算所述測距成像照相機與所述運動物體之間的距離的雙相估計值； 基于所述原始序列圖像數(shù)據(jù)來生成運動掩模以識別包括與所述運動物體有關(guān)的圖像數(shù)據(jù)的所述原始序列圖像數(shù)據(jù)中的區(qū)域； 基于所述運動掩模來分割所述原始序列圖像數(shù)據(jù)以隔離與所述運動物體對應(yīng)的所述原始序列圖像數(shù)據(jù)的區(qū)域； 基于所述雙相估計值和所分割的原始序列圖像數(shù)據(jù)來測定所述運動物體的光流； 計算所述運動物體的所述光流的大小和方向； 基于所計算的所述運動物體的所述光流的大小和方向來旋轉(zhuǎn)并縮放所述原始序列圖像數(shù)據(jù)； 使旋轉(zhuǎn)和縮放的原始序列圖像數(shù)據(jù)運動反演以補償所述運動物體的所述運動； 對所述原始序列圖像數(shù)據(jù)的所述旋轉(zhuǎn)和所述縮放反操作以生成運動校正的序列圖像數(shù)據(jù)； 使用所述編碼曝光來解碼所述運動校正的序列圖像數(shù)據(jù)以生成解碼的運動校正的序列圖像數(shù)據(jù)；以及 基于所述解碼的運動校正的序列圖像數(shù)據(jù)來計算所述測距成像照相機與所述運動物體之間的所述距離。
22.如權(quán)利要求21所述的測距成像照相機，其中，所述照明信號用調(diào)幅連續(xù)波進行調(diào)制。
23.如權(quán)利要求21所述的測距成像照相機，其中，所述圖像傳感器是CMOS傳感器。
24.如權(quán)利要求21所述的測距成像照相機，其中，所述編碼曝光包括方波。
25.如權(quán)利要求21所述的測距成像照相機，其中，所述編碼曝光包括正弦波。
26.如權(quán)利要求21所述的測距成像照相機，其中，所述圖像傳感器將所述原始序列圖像數(shù)據(jù)傳輸至所述處理器。
27.如權(quán)利要求 21所述的測距成像照相機，其中，所述圖像傳感器包括像素陣列。
28.如權(quán)利要求27所述的測距成像照相機，其中，所述雙相估計值包括針對多個像素的每一個的估計距離數(shù)據(jù)。
29.如權(quán)利要求27所述的測距成像照相機，其中，所述雙相估計值包括針對多個像素的每一個的估計亮度數(shù)據(jù)。
30.如權(quán)利要求21所述的測距成像照相機，其中，所述光流用多個矢量表示，所述多個矢量的每一個都與所述多個像素之一相關(guān)聯(lián)。
31.如權(quán)利要求21所述的測距成像照相機，其中，測定所述光流包括線性逼近。
32.如權(quán)利要求21所述的測距成像照相機，其中，測定所述光流包括不等間距傅里葉逆變換。
33.如權(quán)利要求21所述的測距成像照相機，進一步包括信號生成器以便生成所述調(diào)制照明信號。
34.如權(quán)利要求21所述的測距成像照相機，其中，計算所述測距成像照相機與所述運動物體之間的所述距離包括在所解碼的運動校正序列圖像數(shù)據(jù)中針對每個像素對距離進行解碼。
【文檔編號】G01S17/36GK104137150SQ201280041242
【公開日】2014年11月5日 申請日期:2012年7月3日 優(yōu)先權(quán)日:2011年7月4日
【發(fā)明者】李·文森特·斯特里特, 阿德里安·安德魯·多林頓, 安德魯·德安·佩恩 申請人:李·文森特·斯特里特, 阿德里安·安德魯·多林頓, 安德魯·德安·佩恩