三維幾何建模和三維視頻內容創(chuàng)建的制作方法
【專利摘要】一種方法和裝置，其用于獲得圖像以使用具有多個不同的可識別的特征類型的二維編碼光圖樣來確定靜止或移動物體的三維形狀。編碼光圖樣投影到物體上，使得每個可識別的特征類型在可辨別的對極線的預定部分上出現(xiàn)至多一次。捕獲物體的圖像，并提取被反射的特征類型連同其在被捕獲的圖像中已知對極線上的位置。根據(jù)三角測量映射，在二維圖像中被識別的特征類型的位置對應到空間中的三維坐標。因此獲得在一個時間處的被成像的物體的三維映射或建模。
【專利說明】三維幾何建模和三維視頻內容創(chuàng)建
[0001]本申請是申請日為2007年11月20日，申請?zhí)枮?00780050227.5，發(fā)明名稱為“三維幾何建模和三維視頻內容創(chuàng)建”的申請的分案申請。
[0002]與現(xiàn)有申請的關系
[0003]本申請要求2006年11月21日提交的美國臨時專利60/860，209的優(yōu)先權，其內容由此通過引用被并入。
[0004]本申請還要求2007年4月4日提交的美國臨時專利60/907，495的優(yōu)先權，其內容由此通過引用被并入。
[0005]本申請還要求2007年5月3日提交的美國臨時專利60/924，206的優(yōu)先權，其內容由此通過引用被并入。
[0006]本申請還要求2007年7月13日提交的美國臨時專利60/929，835的優(yōu)先權，其內容由此通過引用被并入。
[0007]本申請還要求2007年8月13日提交的美國臨時專利60/935，427的優(yōu)先權，其內容由此通過引用被并入。
【技術領域】
[0008]本發(fā)明涉及用于使用主動三角測量法(active triangulation method)的物體的三維成像和深度測量的系統(tǒng)和方法，并且尤其但不排它地涉及在靜止和在運動中的物體的
三維成像。
【背景技術】
[0009]三維傳感器系統(tǒng)用在大量應用中。這些傳感器系統(tǒng)確定位于傳感器系統(tǒng)視野的場景中的物體的形狀和/或表面特征(feature)。近年來，提出了用于實現(xiàn)三維建模系統(tǒng)的很多方法，這些系統(tǒng)能夠對各種應用快速獲取物體的準確的高分辨率三維圖像。
[0010]這樣的三維成像系統(tǒng)的精確配置可能被改變。很多基于當前的三角測量的系統(tǒng)使用至少兩個或多個攝像機(camera)的陣列來確定稱為被動立體對應(passive stereocorrespondence)的深度值。這樣的方法依賴于被高紋理(texture)化的成像表面，因而易于產生誤差且非魯棒性的。而且，自動對應算法在來自不同攝像機的鏡頭的匹配中常常包含大量誤差。
[0011]其它方法利用LIDAR (光成像探測和測距)系統(tǒng)來確定遠距離目標的范圍和/或其它信息。用光脈沖的方法，通過測量光脈沖的傳輸和反射信號的探測之間的時間延遲來確定到物體的距離。稱為飛行時間的這樣的方法通常不受三角測量法中一般的阻塞(occlusion)的影響，但準確度和分辨率固有地不如在三角測量法中得到的準確度和分辨率。
[0012]基于主動三角測量的三維傳感器系統(tǒng)和方法一般具有作為光源用于投影到表面上的一個或多個投影儀，以及在離投影儀的限定的一般校正的相對位置處的用于使被照明的表面成像的一個或多個攝像機。攝像機和投影儀因此具有不同的光路，且它們之間的距離稱為基線。通過了解基線距離以及投影和成像角，已知的幾何/三角測量方程用于確定到被成像的物體的距離。在本領域中已知的各種三角測量法中的主要差異在于投影方法以及通常是結構光的所投影的光的類型、以及在于獲得三維數(shù)據(jù)的圖像解碼的過程。
[0013]光投影的方法從時間方法變化到空間編碼的結構光。在本領域中各種形式的投影光的例子包括“激光扇(laser fan) ”和“線編碼光”。
[0014]一旦捕獲了物體的二維圖像，光源被如上所述投影在物體上，圖像處理軟件通常分析圖像，以提取物體的三維幾何結構并可能提取物體通過空間的三維運動。這通常通過比較所捕獲的圖像中的特征與以前捕獲的圖像和/或與投影光的已知特點和特征來完成。該步驟的實現(xiàn)在當前已知的方法中廣泛地變化，一般是用于將光投影到物體上的方法的功能。不管所使用的方法是什么，過程的結果通常是在所捕獲的圖像中被識別的特征的一種視差/位移圖。根據(jù)公知的幾何方程，特別是三角測量方程，三維空間位置和/或三維運動捕獲的最后步驟包括上面提到的視差圖到深度數(shù)據(jù)的轉換。
[0015]當今存在數(shù)百種方法和系統(tǒng)的絕對事實暗示在根本問題是缺乏足夠有效和可靠的用于三維成像的方法。而且，利用主動三角測量法的大多數(shù)系統(tǒng)今天被限制到物體的非動態(tài)成像。也就是說，即使以高的幀率和快門速度，成像的物體也必須在圖像獲取期間保持靜止。例如，可給建筑物成像，而不是騎自行車的人或在街道上移動的汽車。對三維成像的這個限制是在大多數(shù)基于三角測量的三維成像系統(tǒng)中需要的直接結果，以獲得一系列圖像同時隨著時間的過去而改變光源的特點。例如，很多方法利用在一段時間間隔內投影的很多光圖樣，稱為時間編碼。
[0016]盡管如此，歷年來為移動物體的三維成像引入了很多方法，其中大部分是基于光的單個圖樣在被成像的物體上的投影，因而從一個或多個同時存在的圖像而不是在一段時間間隔內的多個圖像來實現(xiàn)深度測量的重建。這些單個圖樣方法可分成兩種主要的類別。第一種是輔助立體方法，其中單個圖樣被投影，且在來自兩個或多個成像系統(tǒng)的兩個或多個圖像之間進行比較，以計算深度數(shù)據(jù)。
[0017]第二種是結構光方法，特別是編碼結構光方法。這些方法常常只使用一個成像系統(tǒng)或攝像機。編碼結構光方法可進一步分成幾種編碼類型。使用編碼結構光的一種這樣的類型是空間編碼，其因精度和可靠性的各種各樣的問題而受到損害，特別是關于特征識別和其它嚴重的性能限制。因而，空間單個圖樣系統(tǒng)只以非常有限的方式在商業(yè)上實現(xiàn)。本領域中進一步的結構編碼技術是譜或彩色編碼，這需要中性色表面(color neutralsurface),且通常需要昂貴的成像系統(tǒng)。
[0018]因此，存在對克服上面的缺點的系統(tǒng)和方法的未滿足的需要，且具有這樣的系統(tǒng)和方法是高度有用的。

【發(fā)明內容】

[0019]一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線(bipolar line)為特征，所述方法包括:
[0020]提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0021]將編碼光圖樣投影到物體上，[0022]捕獲具有投影在物體上的被投影的編碼光圖樣的物體的二維圖像，所捕獲的二維圖像包括被反射的特征類型，
[0023]根據(jù)唯一的二維構成提取被反射的特征類型，以及
[0024]提取特征類型在所捕獲的圖像中相應的對極線上的位置。
[0025]所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
[0026]所述三維空間坐標的編制可包括三維點云。
[0027]所述三維點云可被進一步處理以構成三維網格。
[0028]所述三維網格可被進一步處理以添加所述被成像的物體的紋理數(shù)據(jù)。
[0029]可通過所述被捕獲的圖像中所述被反射的特征類型的位置與所述被投影的圖樣中相同的所述特征類型的位置之間的對應來計算所述三角測量。
[0030]所述編碼光圖樣可以是重復的周期性圖樣。
[0031 ] 所述編碼光圖樣可以是非周期性圖樣。
[0032]所述被投影的編碼光圖樣可投影成使得每個所述可識別的特征類型在所述可辨別的對極線的預定部分上至多出現(xiàn)一次。
[0033]所述對極線的所述預定部分可包括所述被捕獲的圖像中的對極線的整個長度。
[0034]所述對極線的所述預定部分可以是所述被捕獲的圖像中的對極線的長度的部分。
[0035]所述編碼光圖樣的所述投影可與所述對極線成預定的最佳角。
[0036]所述預定的最佳投影角可與所述編碼光圖樣的尺寸相適應。
[0037]所述預定的最佳投影角可與可辨別的對極線之間的水平距離相適應。
[0038]根據(jù)唯一的二維構成對所述特征類型的所述提取步驟可包括確定:
[0039]a)包括所述特征類型的元素；
[0040]b)所述特征類型的所述元素之間的對極距離。
[0041]特征的所述元素可以是在傳感器的像素區(qū)域上的二維光強度構成。
[0042]可通過在相鄰的采樣像素值中定位光強度的臨界點來識別所述構成。
[0043]所述元素可以是二進制值。
[0044]所述元素的位置可被表示為所述二維圖像中的兩維坐標。
[0045]所述元素之間的所述對極距離可以是恒定的。
[0046]所述元素之間的所述對極距離可變化。
[0047]所述唯一的二維構成可包括譜編碼。
[0048]所述被捕獲的圖像可在每個連續(xù)的時間幀被捕獲。
[0049]對于每個所述被捕獲的圖像，可沿著相應的對極線的所述被反射的特征類型根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
[0050]一系列幀的所有這樣的幀的所述三維坐標構成可提供三維運動捕獲的視頻流。
[0051]所述三維坐標可被實時地計算以提供三維運動捕獲的實時視頻流。
[0052]所述二維編碼光圖樣可通過將多個編碼矩陣疊加在菱形圖樣上來產生，所述矩陣可包括從Debruijn序列得到的二進制值。
[0053]上述方法進一步可包括對具有疊加的編碼矩陣的所述菱形圖樣進行高斯平滑。
[0054]一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的三維形狀的裝置，該二維圖像以可辨別的幾何分離的對極線為特征，所述裝置包括:
[0055]具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0056]投影儀，其用于將編碼光圖樣投影到物體上，
[0057]成像設備，其用于捕獲具有投影在物體上的被投影的編碼光圖樣的物體的圖像，所捕獲的圖像包括被反射的特征類型，以及
[0058]解碼器，其配置成:
[0059]a)根據(jù)唯一的二維構成提取被反射的特征類型，
[0060]b)提取特征類型在所捕獲的圖像中相應的對極線上的位置。
[0061]所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
[0062]上述裝置可進一步配置成在對所述物體的所述成像期間相對于所述物體在三維中移動。
[0063]上述裝置可進一步配置成捕獲相對于所述裝置在三維中移動的所述物體的所述圖像。
[0064]一種用于從二維視頻圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維視頻圖像中的移動物體的三維形狀的方法，該二維視頻圖像的每個幀以可辨別的幾何分離的對極線為特征，所述方法包括:
[0065]提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0066]將編碼光圖樣投影到移動物體上，
[0067]捕獲具有投影在移動物體上的被投影的編碼光圖樣的移動物體的二維視頻圖像，所捕獲的二維視頻圖像包括被反射的特征類型，以及
[0068]對于視頻圖像的每個被捕獲的幀:
[0069]a)根據(jù)唯一的二維構成提取被反射的特征類型，
[0070]b)提取特征類型在相應的對極線上的位置。
[0071]對于每個被捕獲的幀，所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
[0072]對于每個投影，每個所述可識別的特征類型可在所述可辨別的對極線的預定部分上至多出現(xiàn)一次。
[0073]—種用于從二維視頻圖像獲得數(shù)據(jù)以便確定出現(xiàn)在所述二維視頻圖像中的移動物體的三維形狀的裝置，該二維視頻圖像的每個幀以可辨別的幾何分離的對極線為特征，所述裝置包括:
[0074]具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0075]投影儀，其用于將編碼光圖樣投影到移動物體上，
[0076]成像設備，其用于捕獲具有投影在移動物體上的被投影的編碼光圖樣的移動物體的二維視頻圖像，所捕獲的二維視頻圖像包括被反射的特征類型，以及
[0077]解碼器，其配置成:[0078]a)根據(jù)唯一的二維構成提取被反射的特征類型，
[0079]b)對于視頻圖像的每個被捕獲的幀，提取特征類型在相應的對極線上的位置。
[0080]對于每個被捕獲的幀，所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
[0081]一種用于獲得包括一個或多個物體的場景的距離數(shù)據(jù)的方法，所述方法包括:
[0082]將具有多個不同的特征類型的二維編碼光圖樣投影到場景上，以便從場景中不同的相應反射位置反射光圖樣的每個特征，特征類型根據(jù)二維構成在圖樣上可辨別為唯一的，
[0083]捕獲包括被反射的特征的、場景的二維圖像，
[0084]對出現(xiàn)在二維圖像中的每個被反射的特征:
[0085]a)根據(jù)唯一的二維構成確定相應的特征類型，
[0086]b)確定特征類型在相應的對極線上的位置，
[0087]根據(jù)相應的確定的特征類型并根據(jù)相應的確定的對極線位置，對每個被反射的特征得到相應的相關反射點的相應距離。
[0088]所述相應距離的編制可包括所述被成像的物體的三維幾何形狀。
[0089]對所述相應的對極線位置的所述確定可包括產生所述被捕獲的圖像中所述相應的確定的特征類型與所述被投影的圖樣中相同的所述特征類型的位置之間的關聯(lián)。
[0090]在包括圖樣投影裝置和圖像捕獲裝置的系統(tǒng)中一種獲得場景數(shù)據(jù)的方法，所述圖樣投影裝置操作地將多個特征類型二維光圖樣投影到場景上使得多個特征類型二維光圖樣的每個特征從相應的反射點反射，所述圖像捕獲裝置操作地捕獲包括被反射的特征的、場景的二維圖像，所述方法包括:
[0091]a)對于特征集合中的每個特征，包括根據(jù)唯一的二維構成可辨別的特征，其中二維光圖樣的第一特征類型不同類的多個對極共線特征與第一對極線相關，而第二特征類型不同類的多個對極共線特征與不同于第一對極線的第二對極線相關，提供了相應的反射點距離:圖像點位置關系的相應描述，從而提供多個反射點距離:圖像點位置關系，
[0092]b)對于目標場景的被捕獲的二維圖像，對于特征集合中的每個特征，從場景的被捕獲的二維圖像根據(jù)唯一的二維構成確定相應的特征類型并確定每個特征的相應的對極線標識(identity)；
[0093]c)對特征集合中的每個特征，根據(jù)確定的特征類型和對極線標識，使每個特征與從多個反射點距離:圖像點位置關系選擇的相應的反射點距離:圖像點位置關系關聯(lián)；以及
[0094]d)對特征集合中的每個特征，使用相應的選定的反射點距離:圖像點位置關系來根據(jù)目標場景的被捕獲的二維圖像中的位置確定目標場景中相應的反射點的位置。
[0095]一種用于從目標場景獲得場景數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括:
[0096]a)圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼光圖樣投影到場景上，以便每個特征從相應的反射點反射，特征類型根據(jù)二維構成在圖樣中可辨別為唯一的，
[0097]b)圖像捕獲裝置，其操作地捕獲包括被反射的特征的、場景的二維圖像；以及
[0098]c)圖像處理元件，對二維圖像的每個被反射的特征，其操作來:[0099]i)對每個被反射的特征:
[0100]A.根據(jù)唯一的二維構成確定特征類型；
[0101]B.確定相應的對極線位置；以及
[0102]ii)根據(jù)相應的確定的特征類型并根據(jù)相應的確定的對極線位置，對每個被反射的特征得出相應的相關反射點的相應距離。
[0103]一種用于從目標場景獲得場景數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括:
[0104]a)圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼光圖樣投影到場景上，以便每個特征從相應的反射點反射，特征類型根據(jù)二維構成在圖樣中可辨別為唯一的，
[0105]b)圖像捕獲裝置，其操作地捕獲包括被反射的特征的、場景的二維圖像，圖樣投影裝置和圖像捕獲裝置配置成使得每個被反射的特征以不受場景距離影響的方式保持在被捕獲的二維圖像中確定的對極線上；以及
[0106]c)圖像處理元件，其操作來:
[0107]i)根據(jù)二維圖像中的特征的唯一的二維構成對每個被反射的特征確定相應的特征類型:
[0108]ii)以不受特征的對極線排序影響的方式區(qū)別開特征。
[0109]一種用于從目標場景獲得場景數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括:
[0110]a)圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼光圖樣投影到場景上，以便每個特征從相應的反射點反射，特征類型根據(jù)二維構成在圖樣中可辨別為唯一的，
[0111]b)圖像捕獲裝置，其操作地捕獲包括被反射的特征的、場景的二維圖像，其中圖樣投影裝置和圖像捕獲裝置以不受離目標場景的距離影響的方式操作，使得對于在所捕獲的二維圖像中多線對極線集合中的每個不同的對極線:
[0112]i) 二維光圖樣的特征類型不同類的多個投影特征存在于每個對極線上；
[0113]ii)至多一個特征類型存在于每個對極線上。
[0114]一種用于確定出現(xiàn)在兩個所得到的二維圖像中的被成像的物體的三維形狀的方法，所得到的圖像通過限定的對極場(bipolar field)彼此相關，所述方法包括:
[0115]提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0116]將編碼光圖樣投影到被成像的物體上，
[0117]捕獲被成像的物體的第一二維圖像，
[0118]捕獲被成像的物體的第二二維圖像，
[0119]選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PXl上的內容被約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
[0120]在第二圖像中沿著對極線EPm找到PXl的內容，以及
[0121]確定在第一圖像和第二圖像之間的PXl的內容出現(xiàn)的相對位置。
[0122]PXl內容的所述出現(xiàn)的所述相對位置可根據(jù)三角測量確定被成像的物體的相應的三維空間坐標。
[0123]所述被成像的物體可以是在城市場景中的物體，且所述三維空間坐標可用于對所述場景進行三維建模。
[0124]一種用于確定出現(xiàn)在兩個所得到的二維圖像中的被成像的物體的三維形狀的裝置，二維圖像從至少兩個實質上相鄰的成像設備得到，圖像通過限定的對極場彼此相關，所述裝置包括:
[0125]具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0126]投影儀，其用于將編碼光圖樣投影到被成像的物體上，
[0127]第一成像設備，其用于捕獲被成像的物體的第一二維圖像，
[0128]第二成像設備，其用于捕獲被成像的物體的第二二維圖像，
[0129]圖像處理設備，其用于
[0130]a)選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PXl上的內容被約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
[0131]b)在第二圖像中沿著對極線EPm找到PXl的內容，以及
[0132]c)確定在第一圖像和第二圖像之間的PXl的內容出現(xiàn)的相對位置。
[0133]PXl內容的所述出現(xiàn)的所述相對位置可根據(jù)三角測量確定被成像的物體的相應的三維空間坐標。
[0134]所述被成像的物體可以是在城市場景中的物體，且所述三維空間坐標可用于對所述場景進行三維建模。
[0135]一種用于城市場景的三維建模的基于三角測量的方法，該方法捕獲具有投影在城市場景上的被投影的結構光圖樣的城市場景的至少兩個圖像，圖像通過限定的對極場彼此相關，每個圖像進一步具有與投影儀有關的額外的對極場，所述方法包括:
[0136]提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0137]將編碼光圖樣投影到城市場景上，
[0138]捕獲包括被反射的特征類型的城市場景的第一二維圖像，
[0139]捕獲包括被反射的特征類型的城市場景的第二二維圖像，
[0140]選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PXl上的內容被約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
[0141]在第二圖像中沿著對極線EPm找到PXl的內容，以及
[0142]確定在第一圖像和第二圖像之間的PXl的內容出現(xiàn)的相對位置，以及
[0143]獨立地對于每個被捕獲的圖像，進一步根據(jù)唯一的二維構成提取被反射的特征類型和提取特征類型在相應的對極線上的位置。
[0144]所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定在所述城市場景中被成像的物體的相應的三維空間坐標。
[0145]PXl的所述內容的出現(xiàn)的所述相對位置可根據(jù)三角測量確定在所述城市場景中被成像的物體的相應的三維空間坐標。
[0146]所述三維空間坐標可用于對所述城市場景進行三維建模。
[0147]城市場景的所述三維建?？稍陲@示器上被顯示給用戶，所述顯示器可允許所述用戶在所述城市場景中巡視。[0148]紋理信息可被添加以補充所述城市建模。
[0149]空中數(shù)據(jù)可被添加以補充所述城市建模。
[0150]一種用于城市場景的基于三角測量的三維建模的裝置，該裝置包括用于捕獲城市場景的至少兩個圖像的至少兩個實質上相鄰的成像設備，該裝置進一步具有用于將結構光圖樣投影在場景中的物體上的投影儀，圖像通過限定的對極場彼此相關，每個圖像進一步具有與投影儀有關的額外的對極場，所述裝置包括:
[0151]具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0152]投影儀，其用于將編碼光圖樣投影到城市場景上，
[0153]第一成像設備，其用于捕獲包括被反射的特征類型的城市場景的第一二維圖像，
[0154]第二成像設備，其用于捕獲包括被反射的特征類型的城市場景的第二二維圖像，
[0155]圖像處理設備，其用于
[0156]a)選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PXl上的內容被約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
[0157]b)在第二圖像中沿著對極線EPm找到PXl的內容，
[0158]c)確定在第一圖像和第二圖像之間的PXl的內容出現(xiàn)的相對位置，以及
[0159]d)獨立地在每個圖像中根據(jù)唯一的二維構成提取被反射的特征類型和提取特征類型在相應的對極線上的位置。
[0160]所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定在所述城市場景中被成像的物體的相應的三維空間坐標。
[0161]PXl的所述內容的出現(xiàn)的所述相對位置可根據(jù)三角測量確定在所述城市場景中被成像的物體的相應的三維空間坐標。
[0162]所述三維空間坐標可用于對所述城市場景進行三維建模。
[0163]城市場景的所述三維建?？稍陲@示器上被顯示給用戶，所述顯示器可允許所述用戶在所述城市場景中巡視。
[0164]紋理信息可被添加以補充所述城市建模。
[0165]空中數(shù)據(jù)可被添加以補充所述城市建模。
[0166]上述裝置可進一步配置成在對所述城市場景的所述成像期間相對于所述城市場景中的物體在三維中移動。
[0167]上述裝置可進一步配置成捕獲相對于所述裝置在三維中移動的所述城市場景中的物體的所述圖像。
[0168]一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述方法包括:
[0169]提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0170]提供二維編碼光圖樣的反圖樣(inverse)，
[0171]將編碼光圖樣和反的編碼光圖樣投影在物體上，
[0172]捕獲:
[0173]I)具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第一圖像包括被反射的特征類型，
[0174]2)具有投影在物體上的反的編碼光圖樣的物體的第二圖像，第二圖像包括被反射的特征類型，
[0175]從第一被捕獲的圖像中減去第二被捕獲的圖像來獲得合成圖像(resultantimage),以及
[0176]在合成圖像中根據(jù)唯一的二維構成提取被反射的特征類型和提取特征類型在相應的對極線上的位置。
[0177]所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
[0178]所述光圖樣可在時間上被投影。
[0179]所述光圖樣可以光的不同譜值被投影。
[0180]具有不同譜值的所述光圖樣可在時間上被投影。
[0181]所述第一圖像和所述第二圖像可在時間上被捕獲。
[0182]所述時間成像可在不均勻的時間間隔上實施。
[0183]所述第一圖像和所述第二圖像可使用譜分化被同時捕獲。
[0184]上述方法進一步可包括對所述被成像的物體的第三圖像的捕獲，所述第三圖像可包括紋理信息。
[0185]所述合成圖像中所述特征類型的所述提取可通過確定采樣點的直接強度值來實施。
[0186]一種用于從兩個二維圖像獲得紋理數(shù)據(jù)的方法，每個圖像包括用于對每個圖像獨立地獲得被成像的物體的深度數(shù)據(jù)的反射碼，所述方法包括:
[0187]提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0188]提供二維編碼光圖樣的反圖樣，
[0189]將編碼光圖樣和反的編碼光圖樣投影在物體上，
[0190]捕獲:
[0191]I)具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第一圖像包括被反射的特征類型，
[0192]2)具有投影在物體上的反的編碼光圖樣的物體的第二圖像，第二圖像包括被反射的特征類型，
[0193]從第二被捕獲的圖像與第一被捕獲的圖像的相加中獲得合成圖像，合成圖像提供被成像的物體的紋理信息。
[0194]一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述方法包括:
[0195]提供具有多個不同的可識別的特征類型的第一二維編碼光圖樣，每個特征類型包括光強度變化的點，其中特征類型的一個點為最大值或最小值，
[0196]提供第二二維編碼光圖樣，第二二維編碼光圖樣包括具有最大值或最小值反轉了的第一圖樣，
[0197]將第一編碼光圖樣和第二編碼光圖樣投影在物體上，[0198]捕獲:
[0199]I)具有投影在物體上的第一被投影的編碼光圖樣的物體的第一圖像，第一圖像包括被反射的特征類型，
[0200]2)具有投影在物體上的第二編碼光圖樣的物體的第二圖像，第二圖像包括被反射的特征類型，
[0201]從第一被捕獲的圖像中減去第二被捕獲的圖像來獲得合成圖像，合成圖像包括被反射的特征類型的最大值點和最小值點，以及
[0202]在合成圖像中提取最大值點和最小值點以及最大值點和最小值點在相應的對極線上的位置。
[0203]最大值和最小值的所述位置可用于確定所述第一圖像中相應的特征類型位置。
[0204]一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述方法包括:
[0205]提供具有多個不同的可識別的特征類型的第一二維編碼光圖樣，每個特征類型由光強度變化的點組成，其中特征類型的一個點是最大值或最小值，
[0206]提供第二二維編碼光圖樣，第二二維編碼光圖樣包括具有最大值或最小值反轉了的第一圖樣，
[0207]將第一編碼光圖樣和第二編碼光圖樣投影在物體上，
[0208]捕獲:
[0209]I)具有投影在物體上的第一被投影的編碼光圖樣的物體的第一圖像，第一圖像包括被反射的特征類型，
[0210]2)具有投影在物體上的第二編碼光圖樣的物體的第二圖像，第二圖像包括被反射的特征類型，
[0211]從第一被捕獲的圖像與第二被捕獲的圖像的相加來獲得合成圖像，合成圖像包括被反射的特征類型的非最大值強度點和非最小值強度點，
[0212]在合成圖像中提取被反射的特征類型的非最大值點和非最小值點以及非最大值點和非最小值點在相關的對極線上的位置。
[0213]沿著相應的對極線的所述最大值和所述最小值的所述位置以及所述非最大值點和所述非最小值點的沿著相應的對極線的所述位置可根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
[0214]一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述方法包括:
[0215]提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0216]提供二維編碼光圖樣的反圖樣，
[0217]將編碼光圖樣和反的編碼光圖樣投影在物體上，
[0218]捕獲:
[0219]I)具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第一圖像包括被反射的特征類型，
[0220]2)具有投影在物體上的反的編碼光圖樣的物體的第二圖像，第二圖像包括被反射的特征類型，
[0221]從第一被捕獲的圖像與第二被捕獲的圖像相減的絕對值來獲得合成圖像，合成圖像包括被反射的特征類型的輪廓，
[0222]在合成圖像中提取輪廓以及輪廓在相應的對極線上的位置。
[0223]所述輪廓沿著相應的對極線的所述位置可根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
[0224]一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述方法包括:
[0225]提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0226]將編碼光圖樣投影在物體上，
[0227]捕獲:
[0228]I)具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第一圖像包括被反射的特征類型，
[0229]2)具有投影在物體上的環(huán)境光的物體的第二圖像，
[0230]從第一被捕獲的圖像中減去第二被捕獲的圖像來獲得合成圖像，
[0231]在合成圖像中提取被反射的特征類型和特征類型在相應的對極線上的位置。
[0232]所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
[0233]一種用于確定出現(xiàn)在兩個所得到的二維圖像中的被成像的解剖(anatomical)表面元件的三維形狀的方法，所得到的圖像通過限定的對極場彼此相關，所述方法包括:
[0234]提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0235]將編碼光圖樣投影到解剖表面元件上，
[0236]捕獲解剖表面元件的第一二維圖像，
[0237]捕獲解剖表面元件的第二二維圖像，
[0238]選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PXl上的內容被約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
[0239]在第二圖像中沿著對極線EPm找到PXl的內容，以及
[0240]確定在第一圖像和第二圖像之間的PXl的內容出現(xiàn)的相對位置。
[0241]PXl內容的所述出現(xiàn)的所述相對位置可根據(jù)三角測量確定被成像的解剖表面元件的相應的三維空間坐標。
[0242]一種用于確定出現(xiàn)在兩個所得到的二維圖像中的被成像的解剖表面元件的三維形狀的裝置，二維圖像從至少兩個實質上相鄰的成像設備得到，圖像通過限定的對極場彼此相關，所述裝置包括:
[0243]具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0244]投影儀，其用于將編碼光圖樣投影到解剖表面元件上，
[0245]第一成像設備，其用于捕獲被成像的解剖表面元件的第一二維圖像，[0246]第二成像設備，其用于捕獲被成像的解剖表面元件的第二二維圖像，
[0247]圖像處理設備，其用于
[0248]a)選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PXl上的內容被約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
[0249]b)在第二圖像中沿著對極線EPm找到PXl的內容，以及
[0250]c)確定在第一圖像和第二圖像之間的PXl的內容出現(xiàn)的相對位置。
[0251]PXl內容的所述出現(xiàn)的所述相對位置可根據(jù)三角測量確定被成像的解剖表面元件的相應的三維空間坐標。
[0252]一種用于解剖表面元件的三維建模的基于三角測量的方法，該方法捕獲具有投影在解剖表面元件上的被投影的結構光圖樣的解剖表面元件的至少兩個圖像，圖像通過限定的對極場彼此相關，每個圖像進一步具有與投影儀有關的額外的對極場，所述方法包括:
[0253]提供具有多個不同的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0254]將編碼光圖樣投影到解剖表面元件上，
[0255]捕獲包括被反射的特征類型的城市場景的第一二維圖像，
[0256]捕獲包括被反射的特征類型的城市場景的第二二維圖像，
[0257]選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PXl上的內容被約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
[0258]在第二圖像中沿著對極線EPm找到PXl的內容，
[0259]確定在第一圖像和第二圖像之間的PXl的內容出現(xiàn)的相對位置，以及
[0260]獨立地對于每個被捕獲的圖像，進一步根據(jù)唯一的二維構成提取被反射的特征類型和特征類型在相應的對極線上的位置。
[0261]所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定被成像的解剖表面元件的相應的三維空間坐標。
[0262]PXl的所述內容的出現(xiàn)的所述相對位置可根據(jù)三角測量確定被成像的解剖表面元件的相應的三維空間坐標。
[0263]所述三維空間坐標可用于對所述解剖表面元件進行三維建模。
[0264]解剖表面元件的所述三維建?？稍陲@示器上被顯示給用戶，所述顯示器可允許所述用戶在所述解剖表面元件周圍巡視。
[0265]紋理信息可被添加以補充所述解剖表面元件建模。
[0266]一種用于對解剖表面元件的基于三角測量的三維建模的裝置，該裝置包括用于捕獲表面元件的至少兩個圖像的至少兩個實質上相鄰的成像設備，該裝置進一步具有用于將結構光圖樣投影在解剖元件上的投影儀，圖像通過限定的對極場彼此相關，每個圖像進一步具有與投影儀有關的額外的對極場，所述裝置包括:
[0267]二維編碼光圖樣，其具有多個不同的特征類型，被反射的特征類型根據(jù)唯一的二維構成和特征類型在相應的對極線上的位置，
[0268]投影儀，其用于將編碼光圖樣投影到解剖元件上，
[0269]第一成像設備，其用于捕獲包括被反射的特征類型的解剖元件的第一二維圖像，
[0270]第二成像設備，其用于捕獲包括被反射的特征類型的解剖元件的第二二維圖像，[0271]圖像處理設備，其用于
[0272]a)選擇第一二維圖像的像素區(qū)域PX1，出現(xiàn)在PXl上的內容被約束為出現(xiàn)在第二二維圖像中特定的對極線EPm上，
[0273]b)在第二圖像中沿著對極線EPm找到PXl的內容，
[0274]c)確定在第一圖像和第二圖像之間的PXl的內容出現(xiàn)的相對位置，以及
[0275]d)獨立地在每個圖像中提取被反射的特征類型和特征類型在相應的對極線上的位置。
[0276]所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定被成像的解剖表面元件的相應的三維空間坐標。
[0277]PXl的所述內容的出現(xiàn)的所述相對位置可根據(jù)三角測量確定被成像的解剖表面元件的相應的三維空間坐標。
[0278]所述三維空間坐標可用于對所述解剖表面元件進行三維建模。
[0279]解剖表面元件的所述三維建?？稍陲@示器上被顯示給用戶，所述顯示器可允許所述用戶在所述解剖表面元件周圍巡視。
[0280]紋理信息可被添加以補充所述解剖表面元件建模。
[0281]上述裝置可進一步配置成在對所述解剖元件的所述成像期間相對于所述解剖表面元件在三維中移動。
[0282]上述裝置可配置成捕獲相對于所述裝置在三維中移動的所述解剖表面元件的所述圖像。
[0283]一種可安裝在機動車輛上的裝置，該裝置配置成獲得在離車輛尾部的一定范圍內的物體的深度數(shù)據(jù)，并進一步配置成獲得二維圖像以便從其確定深度數(shù)據(jù)，二維圖像以可辨別的幾何分離的對極線為特征，該裝置包括:
[0284]二維編碼光圖樣，其具有多個預定的可識別的特征類型，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0285]投影儀，其用于將編碼光圖樣投影到物體上，
[0286]第一成像設備，其用于捕獲具有投影在物體上的被投影的編碼光圖樣的物體的圖像，被捕獲的圖像包括被反射的特征類型，以及
[0287]解碼器，其配置成根據(jù)唯一的二維構成提取被反射的特征類型和提取特征類型在被捕獲的圖像中相應的對極線上的位置。
[0288]所述被反射的特征類型沿著相應的對極線的所述位置可根據(jù)三角測量確定所述被成像的物體的相應的三維空間坐標。
[0289]上述裝置可進一步配置成在對所述對象的所述成像期間相對于所述物體在三維中移動。
[0290]上述裝置可配置成捕獲相對于所述裝置在三維中移動的所述物體的所述圖像。
[0291]一種用于獲得位于機動車輛后的目標場景的深度數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括:
[0292]a)圖樣投影裝置，其操作地將具有多個不同的特征類型的二維編碼光圖樣投影到場景上，使得每個特征從相應的反射點反射，特征類型根據(jù)二維構成在圖樣上可辨別為唯一的；
[0293]b)圖像捕獲裝置，其可安裝在機動車輛上，并操作地捕獲包括被反射的特征的、場景的二維圖像；以及
[0294]c)圖像處理元件，其對二維圖像的每個被反射的特征操作來:
[0295]i)對每個被反射的特征:
[0296]A.根據(jù)唯一的二維構成確定特征類型；
[0297]B.確定相應的對極線位置；以及
[0298]ii)根據(jù)相應的確定的特征類型并根據(jù)相應的確定的對極線位置，對每個被反射的特征得出相應的相關反射點的相應距離。
[0299]一種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述方法包括:
[0300]提供具有多個不同的可識別的特征類型的二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0301]將編碼光圖樣投影到物體上，
[0302]捕獲:
[0303]I)具有投影在物體上的被投影的編碼光圖樣的物體的第一圖像，第一圖像包括被反射的特征類型，
[0304]2)具有投影在物體上的均勻光的物體的第二圖像，
[0305]從第一被捕獲的圖像被第二被捕獲的圖像除，來獲得合成圖像，
[0306]在合成圖像中提取被反射的特征類型和特征類型在相應的對極線上的位置。
[0307]—種用于從二維圖像獲得數(shù)據(jù)以便確定出現(xiàn)在二維圖像中的物體的三維形狀的方法，該二維圖像以可辨別的幾何分離的對極線為特征，所述方法包括:
[0308]提供具有多個不同的可識別的特征類型的第一二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0309]提供具有多個不同的可識別的特征類型的、不同于第一圖樣的、第二二維編碼光圖樣，每個特征類型根據(jù)唯一的二維構成是可辨別的，
[0310]將第一編碼光圖樣投和第二編碼光圖樣投影到物體上，
[0311]捕獲:
[0312]I)具有投影在物體上的第一被投影的編碼光圖樣的物體的第一圖像，第一圖像包括被反射的特征類型，
[0313]2)具有投影在物體上的第二編碼光圖樣的物體的第二圖像，第二圖像包括被反射的特征類型，
[0314]獨立地在每個圖像中根據(jù)唯一的二維構成提取被反射的特征類型和提取特征類型在相應的對極線上的位置，
[0315]比較在第二圖像中對極線的區(qū)域與在第一圖像中沿著相同對極線的相似區(qū)域，以驗證第一圖像中的特征標識。
[0316]除非另外規(guī)定，這里使用的所有技術和科學術語具有與本發(fā)明所屬的領域中的普通技術人員所一般理解的相同的含義。這里提供的資料、方法和例子僅僅是示例性的，且不意味著是限制性的。
[0317]本發(fā)明的方法和系統(tǒng)的實現(xiàn)包括手動、自動或組合地執(zhí)行或完成某些選定的任務或步驟。而且，根據(jù)本發(fā)明的方法和系統(tǒng)的優(yōu)選實施方式的實際儀器和設備，一些選定的步驟可通過硬件或通過軟件在任何固件的任何操作系統(tǒng)上實現(xiàn)，或由其組合實現(xiàn)。例如，作為硬件，本發(fā)明的選定步驟可實現(xiàn)為芯片或電路。作為軟件，本發(fā)明的選定步驟可實現(xiàn)為多個軟件指令，這些軟件指令由使用任何適當?shù)牟僮飨到y(tǒng)的計算機執(zhí)行。在任何情況下，本發(fā)明的方法和系統(tǒng)的選定階段可被描述為由數(shù)據(jù)處理器執(zhí)行，例如用于執(zhí)行多個指令的計算平臺。
[0318]附圖的簡要說明
[0319]參考附圖，僅作為例子在這里描述了本發(fā)明?，F(xiàn)在特別詳細地參考附圖，應強調，顯示的細節(jié)僅作為例子，并僅為了本發(fā)明的優(yōu)選實施方式的例證性討論，且介紹細節(jié)以便提供被認為是最有用的東西和本發(fā)明的原理和概念方面的容易理解的描述。在這方面，不試圖顯示比基本理解本發(fā)明所必需的更詳細的本發(fā)明的結構細節(jié)，采用附圖的描述使本發(fā)明的一些形式可如何體現(xiàn)在實踐中對于本領域技術人員變得明顯。
[0320]在附圖中:
[0321]圖1A-1G是示出本發(fā)明的一個實施方式的簡圖，其顯示二維光圖樣成像如何與對極幾何的原理一起使用。
[0322]圖2是示出在當前實施方式的三維圖像和/或運動圖像捕獲的過程中的步驟的簡化流程圖。
[0323]圖3示出被投影以獲得反射圖樣的對極分離和相應的圖像IPl的示例性空間周期性二維圖樣P1。
[0324]圖4是示出如何得到所捕獲的二維圖像中的被識別的特征的相應的三維空間位置的簡化流程圖和圖解。
[0325]圖5示出通過本發(fā)明的實施方式的方法得到的另外的示例性點云。
[0326]圖6A是根據(jù)對極分離原理投影之后的反射圖樣的簡化示意性表示。
[0327]圖6B再次示出反射圖樣的簡化示意性表示，但現(xiàn)在包括相同特征在圖像中的給定對極線上的多次出現(xiàn)。
[0328]圖7是根據(jù)本發(fā)明的特定實施方式投影的優(yōu)選光圖樣的被捕獲的圖像的簡化圖
/Jn ο
[0329]圖8是此刻關于對極場的方向、以較小的旋轉角投影的圖樣的簡化示意性表示。
[0330]圖9是可用在某些實施方式中的非有序和非周期性二維空間圖樣的簡化示意圖。
[0331]圖10示出包括優(yōu)選的編碼圖樣Pl的示例性特征類型的圖示。
[0332]圖11是在從成像立方體(imaged cube)反射之后如所見的圖像I’P1的示例性圖樣Pl的圖示。
[0333]圖12A和12B示出圖樣Pl中固有的構造過程和編碼方案。
[0334]圖12C包括在從被成像的物體反射并被視為成像裝置中所捕獲的圖像的部分之后，圖樣Pl中的采樣點的簡化圖示。
[0335]圖13A示出使用實現(xiàn)對極分離技術的圖樣Pl的優(yōu)選投影和成像方法。
[0336]圖13B1示出提供增加數(shù)量的采樣點的優(yōu)選圖樣P2。
[0337]圖13B2示出圖樣P2中固有的構造過程和編碼方案。
[0338]圖13C示出時間編碼實施方式的兩個優(yōu)選圖樣Tl和T2。
[0339]圖13D示出時間編碼實施方式的優(yōu)選圖樣T2的特寫。[0340]圖14示出示例性字符或特征類型連同示例性圖樣Pl的圖像I’ p10
[0341]圖15是涉及Pl和-Pl的本發(fā)明的優(yōu)選雙重投影和雙重成像實施方式的圖示。
[0342]圖16是兩個圖像P1和-P1的相加的圖示。
[0343]圖17是本發(fā)明的雙重投影和雙重成像方法的優(yōu)選實施方式。
[0344]圖18示出圖17的兩個成像圖樣的相加。
[0345]圖19示出從圖像P1減去-P1的絕對值得到的合成圖像的圖示。
[0346]圖20是從圖像P1減去-C的絕對值得到的合成圖像的圖示。
[0347]圖21是雙重圖樣投影和雙重圖樣成像的特定實施方式的圖示。
[0348]圖22是使用均勻光的雙重投影的特定實施方式的圖示。
[0349]圖23是示出兩個圖像之間的對極場如何相關的簡化圖示。
[0350]圖24是示出在特定實施方式中分離的對極場對于相應的成像裝置和投影儀如何存在的簡化圖示。
[0351]圖25是示出在產生城市地區(qū)的三維地圖的過程中的步驟的本發(fā)明特定實施方式的簡化流程圖。
[0352]圖26是示出在解剖部分的三維成像的過程中的步驟的本發(fā)明特定實施方式的簡化流程圖。
[0353]圖27是示出確定在倒車機動車輛的路徑中的障礙距離的過程中的步驟的本發(fā)明特定實施方式的簡化流程圖。
[0354]優(yōu)選實施方式的描述
[0355]本實施方式提供了用于靜止和運動物體的三維成像的裝置和方法。特別是，通過Ca)將編碼二維光圖樣投影在物體上；以及(b)利用與對極幾何和三角測量相關的光學約束和原理來分析反射二維光圖樣的二維圖像，可能確定給定物體的三維空間形狀數(shù)據(jù)。
[0356]參考附圖和附隨的描述可更好地理解根據(jù)本發(fā)明的裝置和方法的原理和操作。
[0357]在詳細解釋本發(fā)明的至少一個實施方式之前，應理解，本發(fā)明在其應用中不限于在下面的描述中闡述或在附圖中示出的結構的細節(jié)和部件的布置。本發(fā)明允許其它實施方式或能夠以各種方法實踐或實施。此外，應理解，這里使用的措辭和術語是為了描述的目的，而不應被視為限制性的。
[0358]圖1A-1G:確定一個或多個物體的三維深度圖
[0359]現(xiàn)在參考圖1A-1D，其為示出本發(fā)明的一個實施方式的簡圖。在圖1A-1D的特定例子中，系統(tǒng)10包括存在于相應的位置(χΛ yip，Zlp)和(χΛχΛζ/)的投影儀12和成像裝置14。包括可識別的特征類型的有限集合的預定陣列的編碼二維光圖樣16由投影儀12投影到在包含被成像的物體18a、18b和18c的場景中的表面上。在投影圖樣中的示例性特征被表示為20a、20b、20d和20f。在該特定例子中，投影圖樣采取強度變化的單色光束或陣列的形式，其中相鄰光束的組合包括具有二維空間構成(b1-dimensional spatial formation)的編碼特征或字母。這些特征在不同的反射點19a、19b、19d和19f處與被成像的物體表面相交，并接著在成像裝置14的傳感器24上捕獲的二維圖像22中被觀察到。投影特征19a、19b、19d和19f因而作為被捕獲的圖像22中的被反射的特征28a、28b、28d和28f出現(xiàn)。成像裝置14可例如是CCD或CMOS數(shù)字視頻攝像機或任何其它類型的光探測器元件陣列。
[0360]投影儀12和傳感器24之間的相對位置30是固定的，因而給予系統(tǒng)10以幾何約束。該約束將所捕獲的圖像22中的任何給定被反射特征28a、28b、28d和28f的位置限制到稱為對極線的圖像中的唯一一組點。對極線β、φ和P在圖中示出。也就是說，對于具有給定光圖樣以及投影儀和傳感器之間的固定相對位置的系統(tǒng)10，對于上面投影了圖樣的任何物體或一組物體，在所捕獲的圖像22中特定的單個對極線上總是觀察到投影圖樣的每個特征。而且，如下面將解釋的，不管被成像的物體是固定的還是處于與投影儀/成像裝置的相對運動中，上面內容都適用。圖樣中的每個特征和恒定的對極線之間的關系因而與所述特征被反射的三維空間中的反射點無關。
[0361]示例性投影特征的反射點被表示為19a、19b、19d和19f，并具有相關的相應反射距離Da、Db、Dd和Df。反射距離是從成像裝置的傳感器24到被成像的物體18a、18b、18c上給定特征被反射的三維空間中反射點位置的距離。反射距離有時稱為深度。
[0362]因此，如圖1A-1D所示，存在于圖像22中的每個被反射的特征28a、28b、28d和28f被約束到相應的特定對極線，而與特征被從其反射的空間中的點無關。特征28a因而被約束到與19a的三維位置無關或可選地與反射距離Da無關的對極線φ。特征28b和28d是來自共享相同的對極線β的圖樣的兩個被反射的特征。特征28b和28d總是存在于與反射距離Db和Dd無關的該對極線上。類似地，特征28f總是反射到與反射距離Df無關的對極線P上。
[0363]然而，反射距離或可選地特征被從其反射的三維空間中的點實際上確定沿著該對極線所述特征出現(xiàn)的地方。因此，反射距離不影響給定被反射的特征在其上出現(xiàn)的特定對極線，而更確切地只影響沿著該線的精確位置。
[0364]為了說明依賴于反射距離的沿著對極線的特征的位置的變化，我們現(xiàn)在轉到圖1E-1G0在圖1E、1F和IG的每個中，投影儀和成像裝置雖然總是彼此處于固定的相對距離，但相對于物體18a移動。在圖1E中，投影儀12和成像裝置14分別在(Xlp，yf，Z15)和(χΛ ΥΛ ζ/)位置。當從物體18a上的反射點19a被反射之后，在對極線φ上的被反射的特征28a (投影特征20a)的反射距離被看作Da。在圖1F中，投影儀和成像裝置移到空間中相應的點(x2P，y2P，z2p)和(χΛ y/，Z2O。當從物體18a上的不同反射點19a’被反射之后，被反射的特征28a的反射距離現(xiàn)在是Da’。作為結果，特征28a現(xiàn)在反射到對極線《P的下部分上。在圖1G中，投影儀和成像裝置移到空間中的第三組相應的坐標U/，y/, z3p)和(χΛ y3\ Z31)。當從物體18a上又一第三個反射點19a〃被反射之后，被反射的特征28a的反射距離現(xiàn)在是Da〃。作為結果，特征28a現(xiàn)在反射到對極線φ的上部分上。然而，不管反射距離是什么，被反射的特征28a (投影特征20a)都必須總是出現(xiàn)在對極線f上，且只在φ上。為了清楚的目的，每個特征都只與本實施方式中的一個對極線相關。應理解，因為特征包括被捕獲的圖像中光強度的空間構成，每個特征的元素可位于分立的可辨別的對極線上。
[0365]應理解，系統(tǒng)10和被成像的物體之間的任何相對運動使特定特征的反射距離變化。該相對運動可從被成像的物體的運動、從投影儀/成像系統(tǒng)的運動、或從被成像的物體和投影儀/成像系統(tǒng)兩者的運動產生。反射距離的任何變化都引起給定被反射的特征沿著該特征的相關對極線的精確位置的變化。然而，特征在其上出現(xiàn)的特定對極線保持不變。
[0366]因此，我們可斷定，對極幾何的原理規(guī)定圖像中的一組二維坐標和由成像裝置觀察的空間中的三維坐標之間的映射。此外，給定被捕獲的特征沿著特定對極線出現(xiàn)的精確位置依賴于特征的反射距離，或換句話說，特征從其被反射的三維空間中的點。[0367]對于每個圖像或幀，根據(jù)特征類型識別每個被反射的特征，且優(yōu)選地通過圖像處理設備36確定圖像中沿著特征的相關對極線的被反射的特征的位置。被識別的特征沿著特征的對極線的精確位置于是對應到該特征在原始投影圖樣中的位置。特征在圖像和投影圖樣之間這種對應允許基于三角測量的計算，以確定特征從其被反射的三維空間坐標。預先計算的三角測量表可用于確定特征從其被反射的物體上的點的三維空間位置。在一些實施方式中，這些基于三角測量的計算由圖像處理設備36實施。
[0368]該過程可對二維圖像的多個特征重復，其中每個特征從三維被成像的物體的表面上的不同的相應位置被反射。對于任何給定的圖像幀，所捕獲的二維圖像中每個這樣識別的特征導致三維空間位置，所有這樣的空間位置的編制(compilation)包括三維空間中位置的點云。此三維點云給出被成像的物體的三維映射。點云的進一步的處理可產生本質上將三維云的點熔合成三維表面的三維網格(mesh)。根據(jù)場景中物體的額外的紋理捕獲，該網格也可以是給定圖形紋理。對于運動中的物體的三維映射，對單個圖像描述的上面的過程在產生三維視頻的一系列圖像上實施。
[0369]圖2:三維圖像捕獲的簡化流程圖
[0370]參考圖2，其為示出在當前實施方式的三維圖像和/或運動圖像捕獲的過程中的步驟的簡化流程圖。在下面附圖中進一步詳細地討論該流程圖的每個步驟。流程圖連同圖1A-1G—起給讀者提供這里所述的三維成像過程的簡單和總體直觀的理解。
[0371]步驟70提供了預定的編碼光圖樣。如在圖1A-1D中舉例說明的并被表示為16的該編碼光圖樣，是以變化強度的光束的空間構成的形式的特征類型的有限集合的陣列。下面在附圖中討論圖樣的優(yōu)選實施方式及其特點。步驟72是該圖樣在物體上的投影。下面也在附圖中討論幾個優(yōu)選的投影方法。在步驟74中，捕獲包含從物體反射的特征的二維圖像，圖樣投影在該物體上。在步驟76，分析圖像以識別特征及其沿著相應的對極線的位置。在步驟78，接著使沿著其對極線的特征的位置與特征被反射的空間中的三維坐標相關。下面討論通過三角測量技術執(zhí)行的、沿著對極線的特征位置和三維空間坐標之間的此關聯(lián)過程。對于二維圖像中的每個被識別的特征，因而得到指示特征從被成像的物體反射的空間中的點的相應的三維坐標。在步驟80，通過所有這樣的三維坐標的編制，得到給出被成像的物體的三維映射的三維點云。點云的進一步的處理可產生本質上將三維云的點熔合成三維表面的三維網格。也可根據(jù)該場景中物體的額外的紋理捕獲給該網格提供圖形紋理。
[0372]在物體或攝像機在運動中的情況下，步驟74-80可連續(xù)重復，以獲得三維運動捕獲。在三維運動捕獲的這樣的情況下，從移動物體反射的光圖樣的一系列二維捕獲的圖像包括視頻序列中的幀。該二維視頻序列可按在流程圖中討論的方式被逐幀處理，以得到每幀的三維空間坐標。結果是一系列點云，視頻序列的每幀有一個點云，其一起包括隨著時間的過去的動態(tài)三維映射。
[0373]圖3:圖樣投影和對極分離
[0374]圖3提供了可投影到物體上的示例性空間周期性二維圖樣P1。二維圖樣包括多個不同的特征類型20，其出現(xiàn)在圖樣內的不同位置處。為了清楚，在本圖中，每個唯一的特征類型被任意分配字母字符。如下面在圖10中進一步詳細解釋的，每個圖樣特征都由黑點和白點的編碼空間構成組成。特征在代碼中以循環(huán)的方式重復。特別地，相同的特征類型在圖樣的垂直方向上每隔I行并在圖樣的水平方向上每隔16列重復自身。圖樣特征的黑點和白點相應于在被成像的物體上的單色光的高或低照明強度的投影。代碼中的每個字符因此是投影光強度的二維空間構成。在本實施方式的圖樣Pi中，該構成是連續(xù)的。也可實現(xiàn)具有非連續(xù)構成的其它圖樣。
[0375]在從三維物體反射之后，投影周期性圖樣Pl的子部分48產生包含反射圖樣的圖像IP1。示出對極線52、54和56。因此，圖像Ipi是當從被成像的物體反射時通過成像裝置被觀察到的反射圖樣的簡化圖示。為了簡單起見，只示出反射圖樣，而沒有示出也出現(xiàn)在Ipi中的任何反射的被成像的物體。在這個特定的實施方式中，投影儀和成像裝置彼此垂直地放置，因而使被捕獲的圖像中的對極線在實質上垂直的方向上。在另一可能的實施方式中，投影儀和成像裝置可彼此水平地放置，在這種情況下被捕獲的圖像中的對極線實質上是水平的。
[0376]如在上面看到和提到的，任何給定的特征類型在圖樣的垂直方向上循環(huán)地重復自身很多次，并且如果圖樣無旋轉地被投影，相同類型的很多特征在被捕獲的圖像中在相同的垂直對極線上會被觀察到。然而，通過投影圖樣的稍微旋轉，相同類型的特征被反射到圖像Ipi中分離的對極線上。例如，都是類型(A)的特征58和60現(xiàn)在反射到兩個相鄰的但可辨別地分離的對極線52和54上。如將在下面進一步解釋的，在被捕獲的圖像中分離的對極線上的所有相同圖樣特征類型的分離明確地實現(xiàn)每個特征的識別，該分離在這里稱為對極分離。為了理解為什么是這樣，接下來是系統(tǒng)校準的簡短討論，以理解在原始投影圖樣中的特征和被捕獲的圖像中的對極線之間的關系。
[0377]如上所解釋的，給定特定的圖樣，例如在本實施方式中描述的圖樣，并假定投影儀和成像裝置之間的固定相對位置的幾何約束，任何給定的圖樣特征出現(xiàn)在包含反射圖樣的圖像中恒定的預定對極線上。投影圖樣中的每個特征和反射圖樣的圖像中相關的對極線之間的此預定關系可用很多方法確定，包括強力(brute force)。確定該關系的過程可稱為對極場校準過程，并對于成像設備和投影儀的給定圖樣和給定配置實施一次。這樣的映射的結果是如下面看到的對極場表。
[0378]圖樣中的特征類型和位置被捕獲的圖像中的對極線
[0379]
【權利要求】
1.一種方法，包括: 提供具有第一多個特征類型的第一二維編碼光圖樣和具有第二多個特征類型的第二二維編碼光圖樣，并且來自所述第一多個特征類型和所述第二多個特征類型的每個特征類型根據(jù)變化的光強度的唯一的二維構成是可辨別的，并且變化的光強度的所述唯一的二維構成中的每一個與多個元素的唯一組合相關聯(lián)，所述多個元素包括:至少一個最大值或最小值非鞍點元素以及多個鞍點元素，并且 其中，來自所述第二多個特征類型的每個特征類型與來自所述第一多個特征類型的相應的特征類型相對應，以及其中，來自所述第二多個特征類型的每個特征類型的至少一個非鞍點元素相對于來自所述第一多個特征類型的所述相應的特征類型的至少一個非鞍點元素被反轉； 將所述第一二維編碼光圖樣和所述第二二維編碼光圖樣投影在物體上； 捕獲所述物體的第一圖像和所述物體的第二圖像，所述第一圖像具有投影在所述物體上的所述第一二維編碼光圖樣，所述第二圖像具有投影在所述物體上的所述第二二維編碼光圖樣；以及 處理所述第一圖像和所述第二圖像。
2.根據(jù)權利要求1 所述的方法，其中所述鞍點既不是最大值也不是最小值。
3.根據(jù)權利要求1所述的方法，其中所述處理包括從所述第一圖像減去所述第二圖像來獲得合成圖像。
4.根據(jù)權利要求3所述的方法，還包括: 確定所述被反射的特征類型的所述至少一個非鞍點元素和所述多個鞍點元素在所述合成圖像中的位置；以及 根據(jù)所述被反射的特征類型的所述至少一個非鞍點元素和所述多個鞍點元素在所述合成圖像中的位置，確定在所述第一圖像或所述第二圖像中的特征類型位置。
5.根據(jù)權利要求1所述的方法，其中所述處理包括從所述第二圖像與所述第一圖像的相加來獲得合成圖像。
6.根據(jù)權利要求5所述的方法，其中所述合成圖像包括所述第一多個特征類型和所述第二多個特征類型的增強的鞍點，并且，所述方法還包括根據(jù)在所述合成圖像中的相應的增強的鞍點的強度值來確定所述第一多個特征類型和/或所述第二多個特征類型的鞍點的鞍點識別息。
7.根據(jù)權利要求1所述的方法，其中所述處理包括從所捕獲的所述第一圖像與所捕獲的所述第二圖像的相減的絕對值來獲得合成圖像。
8.根據(jù)權利要求7所述的方法，其中所述合成圖像包括在所述第一圖像或所述第二圖像中的非鞍點之間的邊界線。
9.根據(jù)權利要求1所述的方法，其中所述投影包括下列項中的一個: 時間地投影所述第一二維編碼光圖樣和所述第二二維編碼光圖樣； 以不同的光譜值投影所述第一二維編碼光圖樣和所述第二二維編碼光圖樣；或者 以不同的偏振投影所述第一二維編碼光圖樣和所述第二二維編碼光圖樣。
10.根據(jù)權利要求1所述的方法，其中所述捕獲包括時間地捕獲所述第一圖像和所述第二圖像，產生時間成像。
11.根據(jù)權利要求10所述的方法，還包括在不均勻的時間間隔內執(zhí)行所述時間成像。
12.如權利要求1所述的方法，其中所述捕獲還包括通過使用譜分化或極分化來同時捕獲所述第一圖像和所述第二圖像。
13.一種裝置，包括: 具有第一多個特征類型的第一二維編碼光圖樣和具有第二多個特征類型的第二二維編碼光圖樣，并且來自所述第一多個特征類型和所述第二多個特征類型的每個特征類型根據(jù)變化的光強度的唯一的二維構成是可辨別的，并且變化的光強度的所述唯一的二維構成中的每一個與多個元素的唯一組合相關聯(lián)，所述多個元素包括:至少一個最大值或最小值非鞍點元素以及多個鞍點元素，并且 其中，來自所述第二多個特征類型的每個特征類型與來自所述第一多個特征類型的相應的特征類型相對應，以及其中，來自所述第二多個特征類型的每個特征類型的至少一個非鞍點元素相對于來自所述第一多個特征類型的所述相應的特征類型的至少一個非鞍點元素被反轉； 投影模塊，所述投影模塊能夠將所述第一二維編碼光圖樣和所述第二二維編碼光圖樣投影在物體上； 至少一個成像模塊，所述至少一個成像模塊能夠捕獲所述物體的第一圖像和所述物體的第二圖像，所述第一圖像具有投影在所述物體上的所述第一二維編碼光圖樣，所述第二圖像具有投影在所述物體上的所述第二二維編碼光圖樣；以及 圖像處理模塊，所述圖像處理模塊能夠處理所述第一圖像和所述第二圖像。
14.根據(jù)權利要求13所述的裝置，其中所述鞍點既不是最大值也不是最小值。
15.根據(jù)權利要求13所述的裝置，其中所述圖像處理模塊能夠從所述第一圖像減去所述第二圖像來獲得合成圖像。
16.根據(jù)權利要求15所述的裝置，其中所述圖像處理模塊能夠: 確定所述被反射的特征類型的所述至少一個非鞍點元素和所述多個鞍點元素在所述合成圖像中的位置；以及能夠 根據(jù)所述被反射的特征類型的所述至少一個非鞍點元素和所述多個鞍點元素在所述合成圖像中的位置，確定在所述第一圖像或所述第二圖像中的特征類型位置。
17.根據(jù)權利要求13所述的裝置，其中所述圖像處理模塊能夠從所述第二圖像與所述第一圖像的相加來獲得合成圖像。
18.根據(jù)權利要求17所述的裝置，其中所述合成圖像包括所述第一多個特征類型和所述第二多個特征類型的增強的鞍點，并且其中所述圖像處理模塊能夠根據(jù)在所述合成圖像中的相應的增強的鞍點的強度值來確定所述第一多個特征類型和/或所述第二多個特征類型的鞍點的鞍點識別信息。
19.根據(jù)權利要求13所述的裝置，其中所述處理模塊能夠從所捕獲的所述第一圖像與所捕獲的所述第二圖像的相減的絕對值來獲得合成圖像。
20.根據(jù)權利要求19所述的裝置，其中所述合成圖像包括在所述第一圖像或所述第二圖像中的非鞍點之間的邊界線。
21.根據(jù)權利要求13所述的裝置，其中所述投影模塊能夠執(zhí)行下列項中的任意一個: 時間地投影所述第一二維編碼光圖樣和所述第二二維編碼光圖樣；以不同的光譜值投影所述第一二維編碼光圖樣和所述第二二維編碼光圖樣；或者 以不同的偏振投影所述第一二維編碼光圖樣和所述第二二維編碼光圖樣。
22.根據(jù)權利要求13所述的裝置，其中所述至少一個成像模塊能夠時間地捕獲所述第一圖像和所述第二圖像，產生時間成像。
23.根據(jù)權利要求13所述的裝置，所述至少一個成像模塊能夠在不均勻的時間間隔內執(zhí)行所述時間成像。
24.如權利要求13所述的裝置，其中所述至少一個成像模塊能夠使用譜分化或極分化來同時捕獲所述第一圖像和所述第二圖像。
25.一種由機器可讀取的程序存儲設備，其可觸知地包含了由機器可執(zhí)行來實現(xiàn)方法的指令程序，所述方法包括: 提供具有第一多個特征類型的第一二維編碼光圖樣和具有第二多個特征類型的第二二維編碼光圖樣，并且來自所述第一多個特征類型和所述第二多個特征類型的每個特征類型根據(jù)變化的光強度的唯一的二維構成是可辨別的，并且變化的光強度的所述唯一的二維構成中的每一個與多個元素的唯一組合相關聯(lián)，所述多個元素包括:至少一個最大值或最小值非鞍點元素以及多個鞍點元素，并且 其中，來自所述第二多個特征類型的每個特征類型與來自所述第一多個特征類型的相應的特征類型相對應，以及其中，來自所述第二多個特征類型的每個特征類型的至少一個非鞍點元素相對于來自所述第一多個特征類型的所述相應的特征類型的至少一個非鞍點元素被反轉； 將所述第一二維編碼光圖樣和所述第二二維編碼光圖樣投影在物體上；` 捕獲所述物體的第一圖像和所述物體的第二圖像，所述第一圖像具有投影在所述物體上的所述第一二維編碼光圖樣，所述第二圖像具有投影在所述物體上的所述第二二維編碼光圖樣；以及 處理所述第一圖像和所述第二圖像。
26.—種包括計算機可使用的介質的計算機程序產品，該計算機可使用的介質具有包含在其中的計算機可讀程序代碼，所述計算機程序產品包括: 用于使計算機提供具有第一多個特征類型的第一二維編碼光圖樣和具有第二多個特征類型的第二二維編碼光圖樣的計算機可讀程序代碼，并且來自所述第一多個特征類型和所述第二多個特征類型的每個特征類型根據(jù)變化的光強度的唯一的二維構成是可辨別的，并且變化的光強度的所述唯一的二維構成中的每一個與多個元素的唯一組合相關聯(lián)，所述多個元素包括:至少一個最大值或最小值非鞍點元素以及多個鞍點元素，并且 其中，來自所述第二多個特征類型的每個特征類型與來自所述第一多個特征類型的相應的特征類型相對應，以及其中，來自所述第二多個特征類型的每個特征類型的至少一個非鞍點元素相對于來自所述第一多個特征類型的所述相應的特征類型的至少一個非鞍點元素被反轉； 用于使所述第一二維編碼光圖樣和所述第二二維編碼光圖樣被投影在物體上的計算機可讀程序代碼； 用于使所述計算機獲得所述物體的第一圖像和所述物體的第二圖像的計算機可讀程序代碼，所述第一圖像具有投影在所述物體上的所述第一二維編碼光圖樣，所述第二圖像具有投影在所述物體上的所述第二二維編碼光圖樣；以及 用于使所述計算機處理所述第一圖像和所述第二圖像的計算機可讀程序代碼。
【文檔編號】G06K9/20GK103776392SQ201310367081
【公開日】2014年5月7日 申請日期:2007年11月20日 優(yōu)先權日:2006年11月21日
【發(fā)明者】伊亞爾·戈登, 古爾·阿里·比坦 申請人:曼蒂斯影像有限公司