似地,三維位置3106確定投影在第一圖像3100上的投影位置3106。。三維位 置3106確定投影在第二圖像3102上的投影位置3106 Ji。
[0153] 在圖13中所示的示例中,在成像設備在第一位置Psa執(zhí)行成像的第一時間Tml 處,運動體3105存在于三維位置3106處。在成像設備在第二位置Psfi執(zhí)行成像的第二時 間Tm2處,運動體3105不存在于三維位置3106。
[0154] 如果運動體3105在第一時間Tml不存在于三維位置3106處,則位于連接三維位 置3106和第一圖像3100的光學中心的直線上的三維位置3107被投影在第一圖像3100上 的投影位置3106。上。
[0155] 三維位置3107被投影在第二圖像3102上的投影位置3107 Ji上。在三維空間內(nèi)部, 三維位置3106與三維位置3107不同。因此,投影位置3106ρ和位置3107 e是第二圖像上 的相互不同的位置。
[0156] 在示例中,運動體3105在第一時間Tml存在于三維位置3106處。因此,在第一圖 像3100上的投影位置3106。處的對象(被攝體)與在第二圖像3102上的投影位置3106 Ji處的對象不同。在第一圖像3100上的投影位置3106。處的外觀與在第二圖像3102上的投 影位置3106e處的外觀不同。通過在步驟S41到步驟S51中確定改變來提取前景區(qū)域。
[0157] 在該第二實施例中,圖像投影儀30將三維空間內(nèi)部的第三位置(例如,三維位置 3106)投影到第一圖像3100的第一投影位置(例如,投影位置3106。)?;诘谝粓D像3100 計算與第一投影位置對應的第一特征。此外,圖像投影儀30將第三位置投影到第二圖像 3102上的第二投影位置(例如,投影位置31060。基于第二圖像3102計算與第二投影位 置對應的第二特征。然后,改變確定單元50基于第一特征和第二特征確定改變,并檢測第 三位置處的對象是否在三維空間內(nèi)部運動。例如,在第一特征和第二特征之間的差大于規(guī) 定值時,第三位置被設定為包括在背景區(qū)域中。在第一特征和第二特征之間的差小于規(guī)定 值時,第三位置被設定為包括在前景區(qū)域中。
[0158] 如上所述,基于第一距離信息以及長度測量設備和成像設備的相對布置來確定第 一投影位置?;诘谝痪嚯x信息、長度測量設備和成像設備的相對布置、以及第一位置和第 二位置的相對布置來確定第二投影位置。
[0159] 例如,當投影位置不在步驟S25中確定的有效投影范圍內(nèi)時,該投影位置與具有 與運動運載體的運動相同的運動的運動體相對應。在有效投影范圍之外的這種投影位置被 預先去除。從而,例如,可以在步驟S41到步驟S51中執(zhí)行校正確定。例如,在第一投影位 置位于有效投影范圍內(nèi)時圖像投影儀30計算第一特征。
[0160] 圖14是例示圖像投影確定單元的操作的示意圖。
[0161] 在圖14所示的示例中,成像設備在第一時間Tml從第一位置Psa成像第一圖像 3120。成像設備在第二時間Tm2從第二位置Pse成像第二圖像3122。對象3121與成像設 備具有相同的運動。對象3121在第一圖像3120上出現(xiàn)為圖像3121。,并在第二圖像3122 上出現(xiàn)為圖像3121ρ。
[0162] 例如,對象3121上的位置3123在第一時間Tml位于三維位置3123ra處。三維位 置3123ra被投影在第一圖像3120上的投影位置3123 a上。
[0163] 例如,對象3121上的位置3123在第二時間Tm2位于三維位置3123re處。三維位 置3123re被投影在第二圖像3122上的投影位置3123 ^上。三維位置3123r a被投影在第 二圖像3122上的投影位置3124el。在圖像上,空間內(nèi)部與投影位置3123 e對應的位置不 同于空間內(nèi)部與投影位置3124e對應的位置。在步驟S41到步驟S51中,與該投影位置對 應的三維位置被確定為運動體。這種具有與運動運載體相同的運動的區(qū)域被使用步驟S25 的有效投影范圍的結(jié)果預先去除。
[0164] 在圖13所不的不例中,使用由長度測量設備3101在第一時間Tml從第一位置 Psa附近測量的第一距離信息。然而,存在與第一距離信息對應的三維位置不出現(xiàn)在第一 圖像3100中的情況。在這種情況下,可以使用從出現(xiàn)在第一圖像3100中的三維位置Psy測量的距離信息。例如,從三維位置?8,測量的距離信息包括三維位置3108。在步驟S21 中確定長度測量設備(三維位置Psy)和成像設備的相對布置。
[0165] 在步驟S41中,例如,基于第一圖像3100計算與投影位置3104。對應的特征和與 投影位置3106。對應的特征。此外,基于第二圖像3102計算與投影位置3104 Ji對應的特征 和與投影位置3106Ji對應的特征。
[0166] 投影位置處的亮度值(像素值)被用作特征??梢愿鶕?jù)包括投影位置的小窗口內(nèi) 部的多個像素值計算特征。投影位置處的像素值的梯度被用作特征??梢允褂弥T如SIFT、 SURF、ORB、BRISK、BRIEF等的方法計算特征。
[0167] 步驟S51相似于步驟S50。步驟S61相似于步驟S60。
[0168] 例如,改變確定單元50或輸出單元60可以基于在步驟S25中確定的有效投影范 圍輸出對應于位于有效投影范圍之外的三維位置。例如,可以基于第一圖像和第二圖像進 一步檢測對象正與成像設備一起運動。
[0169] 同樣在第二實施例中,例如,使用安裝在運動運載體中的長度測量設備獲取距離 信息。此外,使用安裝在運動運載體中的成像設備獲取多個圖像??梢曰诰嚯x信息和從 相互不同的多個視點獲得的圖像提取前景區(qū)域。
[0170] 例如,根據(jù)實施例的前景區(qū)域提取設備可以被安裝在汽車或機器人中。可以通過 使用安裝在汽車中的諸如激光傳感器、毫米波雷達等的長度測量設備和照相機指定諸如引 擎蓋和翼子板桿(fender pole)的汽車附件出現(xiàn)的圖像區(qū)域。在執(zhí)行諸如障礙檢測等周圍 事物的環(huán)境識別時不檢測車輛的附件。此外,用于檢測相對于諸如電線桿、建筑物等的靜止 區(qū)域運動的運動體這樣的用途是可能的。可以通過安裝在機器人或火車中獲得相似的功 能。
[0171] 根據(jù)實施例的前景區(qū)域提取設備可以被安裝在飛機中。被安裝在飛機中的成像設 備和長度測量設備被用于成像并執(zhí)行地面和空中的長度測量,以檢測運動車輛、人或其它 飛機。例如,通過使用提取的前景來提取僅靜止的背景。通過基于背景恢復地面的三維構 造,通過排除行進的車輛的區(qū)域,即使在車輛在路上運動時也能夠構造三維環(huán)境。此外,因 為可以去除變化的分量,所以城市環(huán)境等的模擬的便利性良好。
[0172] 根據(jù)實施例的前景區(qū)域提取設備可以在勘測儀器中使用。例如,可以在使用3D激 光掃描儀等進行勘測時使用根據(jù)實施例的前景區(qū)域,以從3D數(shù)據(jù)、人、車輛等中去除在進 行勘測時不期望地進入的測量區(qū)域。不會被測量的、不包括運動體的周圍事物的3D構造可 以通過提取前景區(qū)域并使用僅屬于前景區(qū)域的三維信息來獲取。
[0173] 根據(jù)實施例的前景區(qū)域提取設備可以被安裝在電梯中。例如,成像設備和長度測 量設備被安裝在電梯車廂之上或之下,并指向運動方向??梢允褂酶鶕?jù)實施例的前景區(qū)域 提取設備來去除在獲取電梯井內(nèi)的3D構造時由長度測量設備不期望地測量的電梯車廂的 三維位置。從而,可以獲取不包括電梯車廂或裝附到電梯車廂的物體(空調(diào)、卷揚機等)的 整個電梯井的三維結(jié)構。相似地,根據(jù)實施例的前景區(qū)域提取設備可以被安裝在經(jīng)由隧道 運動的車輛中。從而,通過去除車輛、車輛的附件、經(jīng)由隧道行進的其它車輛等的數(shù)據(jù)來獲 取隧道內(nèi)部的3D配置。
[0174] 根據(jù)實施例的前景區(qū)域提取設備可以包括:諸如CPU(中央處理單元)等的控制 器、諸如ROM、RAM等的存儲器設備、諸如HDD、SSD等的外部存儲器設備、諸如照相機等的成 像設備。根據(jù)實施例的前景區(qū)域提取設備可以包括利用正常計算機的硬件配置。上述根據(jù) 實施例的前景區(qū)域提取設備的每個部件可以是軟件或硬件。在實施例中,每個功能塊的部 分或每個整個功能塊的處理可以是由計算機實現(xiàn)的程序。
[0175] 在實施例中,存儲程序的存儲介質(zhì)可以是計算機可讀非暫態(tài)存儲介質(zhì)。存儲介質(zhì) 可以包括例如 CD-R〇M(-R/_RW)、磁光盤、HD(硬盤)、DVD-R0M(-R/-RW/-RAM)、FD(軟盤)、快 擦寫存儲器、存儲卡、存儲棒、其它各種ROM、RAM等。
[0176] 各實施例包括下面的特征。
[0177] 特征 1
[0178] -種前景區(qū)域提取方法,包括:
[0179] 獲取第一距離信息和第二距離信息,第一距離信息包括與在第一時間處的多個第 一距離有關的信息,第二距離信息包括與在不同于第一時間的第二時間處的多個第二距離 有關的ig息,
[0180] 第一距離中的每一個是三維空間內(nèi)部的第一位置和三維空間內(nèi)部的第一區(qū)域中 包括的多個點的位置之間的距離,
[0181] 第二距離中的每一個是三維空間內(nèi)部的第二位置和三維空間內(nèi)部的第二區(qū)域中 包括的多個位置中的位置之間的距離,
[0182] 第一區(qū)域和第二區(qū)域包括三維空間內(nèi)部的第三位置,第三位置與第一位置和第二 位置不同;
[0183] 基于第一距離信息得到被包括在第一區(qū)域中的各點投影到第一平面上的第一圖 像;
[0184] 計算基于第一圖像的第一特征,第一特征對應于第三位置投影到第一平面上的第 一投影位置;
[0185] 基于第二距離信息以及第一位置和第二位置的相對布置得到包括于第二區(qū)域中 的各點被投影在第二平面上的第二圖像;
[0186] 計算基于第二圖像的第二特征,第二特征對應于第三位置投影到第二平面上的第 二投影位置;
[0187] 在第一特征和第二特征之間的差大于規(guī)定值時,將第三位置設定為被包括在包括 在三維空間內(nèi)部運動的運動體的背景區(qū)域中;以及
[0188] 在差不大于規(guī)定值時,將第三位置設定為被包括在不包括運動體的前景區(qū)域中。
[0189] 特征 2
[0190] -種前景區(qū)域提取方法,包括:
[0191] 獲取三維空間內(nèi)部的第一區(qū)域的第一圖像,第一區(qū)域由成像設備在第一時間處從 第一位置成像;
[0192] 獲取三維空間內(nèi)部的第二區(qū)域的第二圖像,第二區(qū)域由成像設備在第二時間處從 第二位置成像,第二時間與第一時間不同;
[0193] 獲取第一距尚信息,該第一距尚信息包括與由長度測量設備測量的在第一時間處 的多個第一距離有關的信息,
[0194] 第一距離中的每一個是長度測量設備和三維空間內(nèi)部的第三區(qū)域中包括的多個 點的位置之間的距離,
[0195] 第一區(qū)域、第二區(qū)域和第三區(qū)域包括三維空間內(nèi)部的第三位置,第三位置與第一 位置和第二位置不同;
[0196] 計算基于第一圖像的第一特征,第一特征對應于第三位置投影到第一圖像上的第 一投影位置;
[0197] 計算基于第二圖像的第二特征,第二特征對應于第三位置投影到第二圖像上的第 二投影位置,
[0198] 基于第一距離信息以及長度測量設備和成像設備的相對布置來確定第一投影位 置,
[0199] 基于第一距離信息、長度測量設備和成像設備的相對布置、以及第一位置和第二 位置的相對布置來確定第二投影位置;以及
[0200] 在第一特征和第二特征之間的差大于規(guī)定值時,將第三位置設定為被包括在包括 在三維空間內(nèi)部運動的運動體的背景區(qū)域中,以