專利名稱：檢測對象的方法
技術領域：
本發(fā)明涉及根據(jù)權利要求1的前序的檢測對象的方法。
背景技術：
現(xiàn)代的立體方法以及距離測量傳感器(例如PMD、激光雷達或高分辨率雷達)生成周圍環(huán)境的三維圖像。從這些數(shù)據(jù)，可提取相關對象，例如靜態(tài)的或移動中的障礙物。在實踐性應用中，從原始數(shù)據(jù)到對象的步驟很多，通常導致許多啟發(fā)式特殊方案。因此，對于這樣的進一步處理，期望涉及小數(shù)據(jù)量的緊湊提取。立體圖像處理的已知方法操作于非密集的立體圖片，并使用認為適合的啟發(fā)法直接提取對象。通常，不存在支持這個步驟的非抽象水平。依據(jù)US2007/0274566A1，已知一種行人檢測的方法，其中記錄了在車輛前面的景象的圖像。在這個圖像中，隨后計算表示特征點的像素的速度和方向。將這個處理中獲得的像素的坐標轉(zhuǎn)換成平面圖。在這個處理中，確定特征點是代表二維還是三維對象。如果對象是三維的，則確定對象是否在移動中?；趯ο笠苿拥乃俣鹊母淖?，確定對象是否為行人。在提取特征點時，檢測和弱化對象的邊緣，因此確定邊緣的中部。然后，再一次擴展弱化的邊緣，使得邊緣具有預定寬度，例如3個像素，從而對象的所有邊緣具有等同寬度。

發(fā)明內(nèi)容
本發(fā)明基于指定用于檢測對象的改進方法的問題。根據(jù)本發(fā)明，這個問題通過具有權利要求1的特征的方法來解決。有利的進一步發(fā)展形成從屬權利要求的主題。在根據(jù)本發(fā)明的檢測對象的方法中，通過傳感器系統(tǒng)獲得水平和垂直角度上的距離圖像，其中周圍環(huán)境的深度圖依據(jù)所述距離圖像來確定。根據(jù)本發(fā)明，識別界定周圍環(huán)境的無障礙區(qū)域的自由空間界定線，用距離一平面具有相等或類似距離的像素形成適當相等寬度的段，從而在自由空間界定線之外并沿著自由空間界定線將所述深度圖分段，其中每個段的高度被估計為位于無障礙區(qū)域以外的對象的一部分，從而每個段通過基點的二維位置(例如通過相對于車輛的縱軸的距離和角度來確定)以及通過其高度來表征。通過距離圖像和深度圖描述的三維周圍環(huán)境通過無障礙區(qū)域(還稱為自由空間區(qū)域)來近似。無障礙區(qū)域例如可以是可通行區(qū)域，但不必是平坦的。無障礙區(qū)域通過類似桿狀的段來界定，其作為整體模型化了圍繞無障礙區(qū)域的對象。在最簡單的情況下，這些段豎立在地面上，并接近各個段的區(qū)域中的對象的平均高度?？勺兏叨鹊膶ο?例如從側(cè)面觀看的騎車人)在這里通過分段恒定高度功能來描述。這樣獲得的段(還稱為stixel)形成對象的緊湊和粗略的表示，并且僅需要有限的數(shù)據(jù)量，而不管用于提供深度圖的立體對應性分析的密度。對于每個stixel存儲位置和高度。這個表示最佳地適合于任意隨后步驟，例如對象形成和景象解釋。Mixel表示提供了獨立于應用的立體分析和應用專用的估計之間的理想接口。


以下參照附圖更詳細說明本發(fā)明的實施例。在附圖中圖1是周圍環(huán)境的二維表示，其具有自由空間界定線和多個段，用于模型化周圍環(huán)境中的對象。
具體實施例方式圖1示出周圍環(huán)境1的二維表示，其具有自由空間界定線2和多個段3，用于模型化周圍環(huán)境1中的對象4. 1至4. 6。段3或stixel模型化了由自由空間界定線2界定的自由駕駛空間。為了生成附圖中所示的表示，使用這樣一種方法，其中記錄兩個圖像，其每一個表示相應周圍環(huán)境，并通過立體圖像處理獲得差異圖像。對于立體圖像處理，可使用例如 [H. Hirschmiiiiller ,Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information", CVPR2005, San Diego, CA, Volume 2 (June 2005), pp. 807-814]中所述的方法。從由此獲得的差異，生成周圍環(huán)境的深度圖，例如[H. Badino, U. Franke, R. Mester :Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming，，in Dynamic Programming Workshop for ICCV07,Rio de Janeiro,Brazil] 所述。識別界定周圍環(huán)境1的無障礙區(qū)域的自由空間界定線2。在自由空間界定線2之外并沿著自由空間界定線2，通過用距離一個或多個相機的圖像平面相等或類似距離的像素形成預定寬度的段3來將深度圖分段。例如可通過[H. Badino, U. Franke, R. Mester :Free Space Computation using Stochastic Occupancy Grids and Dynamic Programming" in Dynamic Programming Workshop for ICCV07, Rio de Janeiro, Brazil]中所述的方法來執(zhí)行分段。建立的自由空間界定線2到預定寬度(任意可能預設)的段3 (桿、stixel)的近似提供了段的距離；如果相機對于周圍環(huán)境(例如在安裝相機的車輛前方的道路)的方位和3D布局已知，則獲得圖像中段3的各個基點。然后，對于每個段3估計高度，從而每個段3由基點的二維位置以及由其高度來表征。在最簡單的情況下，可通過段的區(qū)域中所有3D點的基于直方圖的估計來估計高度。這個步驟可使用動態(tài)編程來實現(xiàn)。不包含任何段3的區(qū)域是通過自由空間分析沒有發(fā)現(xiàn)對象的區(qū)域。可依次記錄和處理若干圖像，其中可從深度圖和差異圖像的改變提取移動信息， 并分配給段3。這樣，也可表示移動景象，并且例如將其用于預測對象4. 1至4. 6的預期移動。這樣類型的移動追蹤還稱為跟蹤。為了確定段3的移動，可檢測車輛本身的移動，并用于補償。段3的緊湊和粗略源自在段3的區(qū)域中多個像素的整合，以及-在跟蹤變形中-源自隨時間的額外整合。
可將對象4. 1至4. 6之一的每個段3的分配與關于每個段的其他信息一起存儲。 然而，并非絕對必要。移動信息例如可通過光流的整合來獲得，從而可對于每個段3估計真實移動。適當方法例如從DE102005008131 Al公布的6D視覺的工作已知。這個移動信息還簡化了對象的分組，因為他允許檢查一致的移動。段3的基點的位置、高度和移動信息可通過景象流獲得。景象流是一種方法，目標為從至少兩個連續(xù)的立體圖像對盡可能地確定出空間中的正確移動以及每個圖像點的3D 位置-見[Sundar Vedulay, Simon BakeryiPeter Randeryz, Robert Collinsy and Takeo Kanade :"Three_Dimensional Scene Flow，，，appeared in 7th International Conference on Computer Vision, Corfu，Greece，Septemberl999]?；谧R別的段3，可以為安裝相機的車輛中的駕駛員輔助系統(tǒng)生成信息。例如，可估計在車輛與段3代表的對象4. 1至4. 6碰撞之前剩余的時間。此外，駕駛通道5可位于車輛要使用的無障礙區(qū)域，其中確定至少一個對象4. 1至 4. 6與駕駛通道5的橫向距離。此外，可識別重要的，特別是移動中的，對象4. 1至4. 6，以支持轉(zhuǎn)向輔助系統(tǒng)和/ 或自動駕駛照明電路和/或行人保護系統(tǒng)和/或緊急制動系統(tǒng)?？梢詫碜云渌麄鞲衅鞯男畔⑴c向段3分配的支持駕駛員輔助系統(tǒng)的信息相結合(傳感器融合)。這特別地應用于活動傳感器，例如LIDAR。段3的寬度可設置為例如5個圖像點。對于具有VGA分辨率的圖像，這得到最大 640/5 = 1 個段，這通過距離和高度來清楚地描述。段3具有清楚的近似關系，并且可因此通過非常簡單的方式對于對象4. 1至4. 6分組。在最簡單的情況下，對于每個段3僅必須傳送距離和高度；如果段3的寬度已知，則從索引獲得角度(圖片中的圓柱)。距離圖像可在水平和垂直角度上通過任何傳感器系統(tǒng)來確定，并且可以從距離圖像確定周圍環(huán)境的深度圖。周圍環(huán)境1的兩個圖像可具體地通過每個相機來記錄，并且差異圖像可通過立體圖像處理來獲得，距離圖像和深度圖依據(jù)差異來確定。此外，照片混合檢測器和/或三維相機和/或激光雷達和/或雷達可用作傳感器系統(tǒng)。附圖標號列表1周圍環(huán)境2自由空間界定線3 段4. 1 至 4. 6 對象5駕駛通道
權利要求
1.一種檢測對象的設備，其中通過傳感器系統(tǒng)獲得水平和垂直角度上的距離圖像，其中周圍環(huán)境(1)的深度圖依據(jù)所述距離圖像來確定，其特征在于，在所述距離圖像中識別界定周圍環(huán)境(1)的無障礙區(qū)域的自由空間界定線O)，用距離一平面具有相等或類似距離的像素形成相等寬度的段(3)，從而在自由空間界定線(1)之外并沿著自由空間界定線 (1)將所述深度圖分段，其中每個段(3)的高度被估計為位于無障礙區(qū)域以外的對象(4. 1 到4. 6)的一部分，從而每個段C3)通過基點的二維位置以及通過其高度來表征。
2.如權利要求1所述的方法，其特征在于，周圍環(huán)境(1)的兩個圖像的每個通過每個相機來記錄，并且差異圖像通過立體圖像處理來獲得，距離圖像和深度圖依據(jù)檢測的差異來確定。
3.如權利要求1所述的方法，其特征在于，照片混合檢測器和/或三維相機和/或激光雷達和/或雷達用作傳感器系統(tǒng)。
4.如權利要求1至3中任一項所述的方法，其特征在于，依次獲得和處理若干距離圖像，其中從深度圖的改變提取移動信息，并將其分配給段(3)。
5.如權利要求4所述的方法，其特征在于，移動信息通過光流的整合來獲得。
6.如權利要求1至5中任一項所述的方法，其特征在于，確定段(3)到對象(4.1至 4. 6)之一的分配，以及向段(3)提供關于他們到對象(4. 1至4. 6)之一的分配的信息。
7.如任一項權利要求所述的方法，其特征在于，段3的基點的位置、高度和移動信息通過景象流獲得。
8.如任一項先前權利要求所述的方法，其特征在于，通過段(3)的區(qū)域中所有三維點的基于直方圖的估計來確定段(3)的高度。
9.如任一項先前權利要求所述的方法，其特征在于，基于識別的段(3)，為安裝有用于記錄圖像的相機的車輛中的駕駛員輔助系統(tǒng)生成信息。
10.如權利要求9所述的方法，其特征在于，估計在車輛與段(3)代表的對象(4.1至 4. 6)碰撞之前剩余的時間。
11.如權利要求9或10所述的方法，其特征在于，駕駛通道(5)位于無障礙區(qū)域，其中確定對象(4. 1至4. 6)中的至少一個與駕駛通道(5)的橫向距離。
12.如權利要求9至11中任一項所述的方法，其特征在于，識別關鍵對象1至4.6)， 以支持轉(zhuǎn)向輔助系統(tǒng)和/或自動駕駛照明電路和/或行人保護系統(tǒng)和/或緊急制動系統(tǒng)， 和/或當在車道上駕駛時支持駕駛員。
13.如權利要求9至12中任一項所述的方法，其特征在于，將來自其他傳感器的信息與向段(3)分配的支持駕駛員輔助系統(tǒng)的信息相結合。
全文摘要
本發(fā)明涉及一種檢測對象的方法，其中獲取周圍環(huán)境(1)的兩個圖像并通過立體圖像處理確定差異圖像，其中從確定的差異確定出周圍環(huán)境(1)的深度圖，其中識別自由空間界定線(2)，其界定周圍環(huán)境(1)的無障礙區(qū)域，其中在自由空間界定線(1)之外并沿著自由空間界定線(1)，用距離一圖像平面相等或類似距離的像素形成適當寬度的段(3)，從而將深度圖分段，其中每個段(3)的高度被估計為位于無障礙區(qū)域以外的對象(4.1到4.6)的一部分，從而每個段(3)通過基點的二維位置(例如到車輛縱軸的距離和角度)以及通過其高度來表征。
文檔編號G06K9/00GK102317954SQ201080007837
公開日2012年1月11日 申請日期2010年2月4日 優(yōu)先權日2009年2月16日
發(fā)明者H·巴迪諾, U·弗蘭克 申請人:戴姆勒股份公司