前方路緣觀察系統(tǒng)中的增強(qiáng)的俯瞰視圖生成的制作方法
【專利摘要】本發(fā)明公開(kāi)了前方路緣觀察系統(tǒng)中的增強(qiáng)的俯瞰視圖生成。一種用于利用來(lái)自左前部和右前部照相機(jī)的圖像來(lái)建立車輛前方區(qū)域的增強(qiáng)的虛擬俯瞰視圖的系統(tǒng)和方法。所述增強(qiáng)的虛擬俯瞰視圖不僅為駕駛員提供從原始照相機(jī)圖像無(wú)法直接得到的俯瞰視圖立體圖，而且移除了廣角鏡頭圖像中固有的失真和夸張的立體效果。所述增強(qiáng)的虛擬俯瞰視圖還包括對(duì)三種類型的問(wèn)題的修正，這三種類型的問(wèn)題典型地出現(xiàn)在去扭曲圖像中——包括車身部分到圖像內(nèi)的虛假突出物、圖像的邊緣周圍的低分辨率和噪聲以及地平面以上對(duì)象的“雙影”效果。
【專利說(shuō)明】前方路緣觀察系統(tǒng)中的增強(qiáng)的俯瞰視圖生成
[0001]相關(guān)申請(qǐng)交叉引用
[0002]本申請(qǐng)要求于2013年5月23日提交的名稱為“前方路緣觀察系統(tǒng)中的增強(qiáng)的俯瞰視圖生成”的美國(guó)臨時(shí)專利申請(qǐng)序列號(hào)61/826，904的 優(yōu)先權(quán)日:的利益。

【技術(shù)領(lǐng)域】
[0003]本發(fā)明總體上涉及車輛前方的路緣和其他結(jié)構(gòu)的增強(qiáng)的俯瞰視圖圖像的顯示，更特別地，涉及用于利用來(lái)自左前部和右前部照相機(jī)的圖像合成車輛前方區(qū)域的增強(qiáng)的虛擬俯瞰視圖的系統(tǒng)和方法，其中，增強(qiáng)的虛擬俯瞰視圖包括對(duì)到視圖內(nèi)的虛假車身部分突出物、視圖邊緣中的低分辨率和圖像噪聲以及地面以上對(duì)象的雙重成像的修正。

【背景技術(shù)】
[0004]近些年來(lái)，車輛越來(lái)越普遍地配備前視照相機(jī)。來(lái)自前視照相機(jī)的圖像被用于各種應(yīng)用，包括車道偏離警告和碰撞警告。在這些應(yīng)用中，照相機(jī)圖像并不顯示給車輛駕駛員，而是相反地，圖像由車載計(jì)算機(jī)使用圖像處理技術(shù)進(jìn)行分析，從這些圖像中檢測(cè)出車道邊界和潛在障礙物，并在需要時(shí)向駕駛員發(fā)出警告。
[0005]盡管新技術(shù)的出現(xiàn)使得緊湊、可靠和便宜的數(shù)碼照相機(jī)變?yōu)楝F(xiàn)實(shí)，但是長(zhǎng)久以來(lái)的問(wèn)題繼續(xù)困擾駕駛員。該問(wèn)題是，在停車時(shí)，駕駛員無(wú)法精確判斷車輛前部相對(duì)于障礙物(例如路緣)的位置。當(dāng)駛?cè)胪＼嚳臻g時(shí)，由于車輛前部的阻擋，駕駛員固有地?zé)o法看到路緣，因此駕駛員不得不估計(jì)要向前開(kāi)多遠(yuǎn)一以期望不會(huì)碰到路緣。這種判斷能夠是困難的，因?yàn)槠湟蕾囉谶^(guò)去的經(jīng)驗(yàn)，周邊視覺(jué)提示以及其他間接信息。如果駕駛員錯(cuò)誤地判斷前方間隙，車輛可能無(wú)法足夠遠(yuǎn)地駛?cè)胪＼嚳臻g，或者更糟的是，車輛前部可能碰到路緣，導(dǎo)致車輛損壞。
[0006]在停車操縱過(guò)程中，駕駛員通常專注于停車的許多個(gè)面，而可能沒(méi)有想到手動(dòng)打開(kāi)前方路緣觀察顯示器。然而，如果前方路緣觀察系統(tǒng)基于停車操縱的環(huán)境自動(dòng)顯示最合適的前方圖像，大多數(shù)駕駛員將發(fā)現(xiàn)該視覺(jué)信息是有幫助的——特別是如果該系統(tǒng)不僅選擇了對(duì)駕駛員提供最有幫助的一個(gè)或更多個(gè)圖像，而且還提供增強(qiáng)的圖像，該增強(qiáng)的圖像具有對(duì)固有地存在于廣角鏡頭圖像中的視覺(jué)失真的修正。
[0007]需要一種前視停車輔助系統(tǒng)，其利用車輛前方的路緣和其他結(jié)構(gòu)的可用圖像，并將能使駕駛員對(duì)車輛前部相對(duì)于路緣或其他前方對(duì)象精確定位的優(yōu)化圖像提供給駕駛員。


【發(fā)明內(nèi)容】

[0008]根據(jù)本發(fā)明的教導(dǎo)，系統(tǒng)和方法被公開(kāi)用于利用來(lái)自左前方和右前方照相機(jī)的圖像建立車輛前方區(qū)域的增強(qiáng)的虛擬俯瞰視圖。所述增強(qiáng)的虛擬俯瞰視圖不僅為駕駛員提供從原始照相機(jī)圖像無(wú)法直接得到的俯瞰立體圖，而且移除了廣角鏡頭圖像中固有的畸變和夸張的立體效果。所述增強(qiáng)的虛擬俯瞰視圖還包括對(duì)三種類型的問(wèn)題的修正，這些問(wèn)題典型地出現(xiàn)在去扭曲圖像中——包括車身部分到圖像內(nèi)的虛假突出物、圖像邊緣周圍的低分辨率和圖像/視頻噪聲以及地平面以上對(duì)象的“雙影”效果。
[0009]方案1、一種用于提供車輛前方區(qū)域的增強(qiáng)的俯瞰觀察的系統(tǒng)，所述系統(tǒng)包括:
[0010]安裝在車輛的左前部處的第一照相機(jī)；
[0011]安裝在車輛的右前部處的第二照相機(jī)；
[0012]與所述第一和第二照相機(jī)通信的圖像采集模塊，所述圖像采集模塊接收來(lái)自所述照相機(jī)的原始圖像，并且來(lái)自所述照相機(jī)的原始圖像具有大致前視圖立體圖；
[0013]包括存儲(chǔ)模塊的處理器，所述處理器配置為提供車輛前方區(qū)域的虛擬俯瞰視圖，其中，所述虛擬俯瞰視圖由來(lái)自所述照相機(jī)的原始圖像合成，并且所述虛擬俯瞰視圖包括對(duì)車身部分到所述視圖內(nèi)的虛假突出物、所述視圖的邊緣周圍的低分辨率和噪聲以及地平面以上對(duì)象的雙影效果的修正；以及
[0014]車輛的駕駛座區(qū)域中的顯示單元，用于顯示來(lái)自所述處理器的虛擬俯瞰視圖，用于由車輛駕駛員觀看。
[0015]方案2、根據(jù)方案I所述的系統(tǒng)，其中，對(duì)車身部分到視圖內(nèi)的虛假突出物的修正包括:識(shí)別所述虛擬俯瞰視圖中的遮蔽區(qū)域，其中所述遮蔽區(qū)域?yàn)樗鎏摂M俯瞰視圖中的車身部分虛假地展現(xiàn)為向前延伸過(guò)遠(yuǎn)的區(qū)域，并且所述遮蔽區(qū)域利用基于已知車輛幾何尺寸和照相機(jī)位置信息的計(jì)算被識(shí)別。
[0016]方案3、根據(jù)方案2所述的系統(tǒng)，其中，所述遮蔽區(qū)域被合成地重新紋理化，以展現(xiàn)為所述虛擬俯瞰視圖中的地面，包括利用空間填充技術(shù)，其中，所述遮蔽區(qū)域基于來(lái)自所述原始圖像的周圍紋理和結(jié)構(gòu)并利用時(shí)間填充技術(shù)(temporal filling techniques)而被重新紋理化，其中，來(lái)自剛好在所述原始圖像中的遮蔽區(qū)域外部的實(shí)際像素基于車輛運(yùn)動(dòng)被置換到所述虛擬俯瞰視圖中的遮蔽區(qū)域內(nèi)。
[0017]方案4、根據(jù)方案I所述的系統(tǒng)，其中，對(duì)所述視圖的邊緣周圍的低分辨率和噪聲的修正包括:識(shí)別所述虛擬俯瞰視圖的左、右和上周邊附近的低分辨率區(qū)域，其中，所述低分辨率區(qū)域?yàn)樗鎏摂M俯瞰視圖中的圖像分辨率由于去扭曲(de-warp)而導(dǎo)致低的區(qū)域，并且進(jìn)一步包括利用空間分辨率增強(qiáng)修正所述低分辨率區(qū)域，其中，空間分辨率增強(qiáng)包括:利用低分辨率區(qū)域內(nèi)部的顏色和強(qiáng)度組合所述低分辨率區(qū)域外部的表面紋理。
[0018]方案5、根據(jù)方案4所述的系統(tǒng)，其中，修正所述低分辨率區(qū)域進(jìn)一步包括:利用時(shí)間分辨率增強(qiáng)，其中，時(shí)間分辨率增強(qiáng)包括:基于車輛運(yùn)動(dòng)將來(lái)自剛好在所述原始圖像中的低分辨率區(qū)域外部的實(shí)際像素置換到所述虛擬俯瞰視圖中的低分辨率區(qū)域內(nèi)。
[0019]方案6、根據(jù)方案I所述的系統(tǒng)，其中，對(duì)地平面以上對(duì)象的雙影效果的修正包括:利用從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)技術(shù)(structure-from-mot1n techniques),該技術(shù)利用一系列所述原始圖像和來(lái)自車輛雷達(dá)或激光雷達(dá)系統(tǒng)的對(duì)象數(shù)據(jù)以構(gòu)建車輛前方的對(duì)象的三維模型，并且所述三維模型用于消除所述虛擬俯瞰視圖中的雙重成像。
[0020]方案7、根據(jù)方案I所述的系統(tǒng)，其中，對(duì)地平面以上對(duì)象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測(cè)所述雙影效果，對(duì)于成對(duì)出現(xiàn)的特征假設(shè)地平面以上的新高度，并基于所述新高度重新運(yùn)行去扭曲計(jì)算。
[0021]方案8、根據(jù)方案I所述的系統(tǒng)，其中，對(duì)地平面以上對(duì)象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測(cè)所述雙影效果，在合并之前找到來(lái)自所述第一和第二照相機(jī)的原始圖像中的共同特征點(diǎn)，以及利用圖像配準(zhǔn)技術(shù)轉(zhuǎn)換所述原始圖像，使得所述共同特征點(diǎn)在所述虛擬俯瞰視圖中對(duì)齊。
[0022]方案9、根據(jù)方案I所述的系統(tǒng)，其中，所述虛擬俯瞰視圖顯示于所述顯示單元上的第一視窗中，并且鳥(niǎo)瞰視圖顯示于所述顯示單元上的第二視窗中，其中，所述第一視窗大于所述第二視窗，并且所述鳥(niǎo)瞰視圖包括位于中心的車輛示圖，具有位于車輛示圖前方的前視圖圖像以及車輛示圖后方的后視圖圖像。
[0023]方案10、根據(jù)方案I所述的系統(tǒng)，其中，所述虛擬俯瞰視圖包括車輛前方的路緣是否將與車輛的低懸車身部件相接觸的指示，并且如果確定該車輛將接觸路緣，則提供警告。
[0024]方案11、一種用于提供車輛前方區(qū)域的增強(qiáng)的俯瞰觀察的方法，所述方法包括:
[0025]提供來(lái)自車輛上的安裝在前部的照相機(jī)的圖像，其中，所述圖像具有大致前視圖立體圖；
[0026]由來(lái)自所述照相機(jī)的圖像合成虛擬俯瞰視圖；
[0027]利用微處理器在所述虛擬俯瞰視圖上執(zhí)行去扭曲計(jì)算，以產(chǎn)生去扭曲的虛擬俯瞰視圖；
[0028]增強(qiáng)所述去扭曲的虛擬俯瞰視圖，以產(chǎn)生增強(qiáng)的虛擬俯瞰視圖，包括對(duì)車身部分到所述視圖內(nèi)的虛假突出物的修正，修正所述視圖的邊緣周圍的低分辨率和噪聲，并修正地平面以上對(duì)象的雙影效果；以及
[0029]在顯示設(shè)備上顯示所述增強(qiáng)的虛擬俯瞰視圖，用于由駕駛員觀看。
[0030]方案12、根據(jù)方案11所述的方法，其中，對(duì)車身部分到所述視圖內(nèi)的虛假突出物的修正包括:識(shí)別所述虛擬俯瞰視圖中的遮蔽區(qū)域，其中，所述遮蔽區(qū)域?yàn)樗鎏摂M俯瞰視圖中的車身部分虛假地展現(xiàn)為向前延伸過(guò)遠(yuǎn)的區(qū)域，并且所述遮蔽區(qū)域利用基于已知車輛幾何尺寸和照相機(jī)位置信息的計(jì)算被識(shí)別。
[0031]方案13、根據(jù)方案12所述的方法，其中，所述遮蔽區(qū)域被合成地重新紋理化，以展現(xiàn)為所述虛擬俯瞰視圖中的地面，包括利用空間填充技術(shù)，其中，所述遮蔽區(qū)域基于來(lái)自所述圖像的周圍紋理和結(jié)構(gòu)并利用時(shí)間填充技術(shù)而被重新紋理化，其中，來(lái)自剛好在所述圖像中的遮蔽區(qū)域外部的實(shí)際像素基于車輛運(yùn)動(dòng)被置換到所述虛擬俯瞰視圖中的遮蔽區(qū)域內(nèi)。
[0032]方案14、根據(jù)方案11所述的方法，其中，對(duì)所述視圖的邊緣周圍的低分辨率和噪聲的修正包括:識(shí)別所述虛擬俯瞰視圖的左、右和上周邊附近的低分辨率區(qū)域，其中，所述低分辨率區(qū)域?yàn)樗鎏摂M俯瞰視圖中的圖像分辨率由于去扭曲而導(dǎo)致低的區(qū)域，并且進(jìn)一步包括利用時(shí)間分辨率增強(qiáng)修正所述低分辨率區(qū)域，其中，時(shí)間分辨率增強(qiáng)包括:基于車輛運(yùn)動(dòng)將來(lái)自剛好在所述圖像中的低分辨率區(qū)域外部的實(shí)際像素置換到所述虛擬俯瞰視圖中的低分辨率區(qū)域內(nèi)。
[0033]方案15、根據(jù)方案14所述的方法，其中，修正所述低分辨率區(qū)域進(jìn)一步包括:利用空間分辨率增強(qiáng)，其中，空間分辨率增強(qiáng)包括:利用所述低分辨率區(qū)域內(nèi)部的顏色和強(qiáng)度組合所述低分辨率區(qū)域外部的表面紋理。
[0034]方案16、根據(jù)方案11所述的方法，其中，對(duì)地平面以上對(duì)象的雙影效果的修正包括:利用從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)技術(shù)，該技術(shù)利用一系列所述圖像以構(gòu)建車輛前方的對(duì)象的三維模型，并且所述三維模型用于消除所述虛擬俯瞰視圖中的雙重成像。
[0035]方案17、根據(jù)方案11所述的方法，其中，對(duì)地平面以上對(duì)象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測(cè)所述雙影效果，對(duì)于成對(duì)出現(xiàn)的特征假設(shè)地平面以上的新高度，并基于所述新高度重新運(yùn)行去扭曲計(jì)算。
[0036]方案18、根據(jù)方案11所述的方法，其中，對(duì)地平面以上對(duì)象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測(cè)所述雙影效果，在合并之前找到來(lái)自所述照相機(jī)的所述圖像中的共同特征點(diǎn)，以及利用圖像配準(zhǔn)技術(shù)轉(zhuǎn)換所述圖像，使得所述共同特征點(diǎn)在所述虛擬俯瞰視圖中對(duì)齊。
[0037]方案19、一種用于提供車輛前方區(qū)域的增強(qiáng)的俯瞰觀察的方法，所述方法包括:
[0038]提供來(lái)自車輛上的安裝在前部的照相機(jī)的圖像，其中，所述圖像具有大致前視圖立體圖；
[0039]由來(lái)自所述照相機(jī)的圖像合成虛擬俯瞰視圖；
[0040]利用微處理器在所述虛擬俯瞰視圖上執(zhí)行去扭曲計(jì)算，以產(chǎn)生去扭曲的虛擬俯瞰視圖；
[0041]增強(qiáng)所述去扭曲的虛擬俯瞰視圖，以通過(guò)對(duì)車身部分到視圖內(nèi)的虛假突出物的修正產(chǎn)生增強(qiáng)的虛擬俯瞰視圖，包括:通過(guò)計(jì)算所述增強(qiáng)的虛擬俯瞰視圖的哪些像素被車身部分遮擋來(lái)限定遮蔽區(qū)域，基于所述遮蔽區(qū)域周圍區(qū)域的圖像紋理和結(jié)構(gòu)來(lái)執(zhí)行所述遮蔽區(qū)域的空間填充，基于幀間運(yùn)動(dòng)執(zhí)行所述遮蔽區(qū)域的時(shí)間填充以將像素填充至所述遮蔽區(qū)域中，以及合并所述遮蔽區(qū)域的空間填充和所述時(shí)間填充；
[0042]修正所述增強(qiáng)的虛擬俯瞰視圖的邊緣周圍的低分辨率和噪聲，包括:識(shí)別所述增強(qiáng)的虛擬俯瞰視圖的邊緣周圍的低分辨率區(qū)域，基于所述低分辨率區(qū)域周圍的更高分辨率區(qū)域的圖像紋理來(lái)執(zhí)行所述低分辨率區(qū)域的空間分辨率增強(qiáng)，基于幀間運(yùn)動(dòng)執(zhí)行所述低分辨率區(qū)域的時(shí)間分辨率增強(qiáng)以填充像素至所述低分辨率區(qū)域中，以及合并所述低分辨率區(qū)域的空間分辨率增強(qiáng)和時(shí)間分辨率增強(qiáng)；
[0043]在所述增強(qiáng)的虛擬俯瞰視圖中修正地平面以上對(duì)象的雙影效果，包括:建立地面以上對(duì)象的三維模型，并基于所述三維模型渲染地面以上對(duì)象的圖像，所述地面以上對(duì)象包括在來(lái)自所述照相機(jī)的圖像中檢測(cè)到的路緣，利用應(yīng)用于來(lái)自所述照相機(jī)的圖像的立體視覺(jué)和從運(yùn)動(dòng)灰復(fù)結(jié)構(gòu)技術(shù)檢測(cè)到的地面以上對(duì)象，以及利用車載的其他傳感器檢測(cè)到的地面以上對(duì)象；以及
[0044]在顯示設(shè)備上顯示所述增強(qiáng)的虛擬俯瞰視圖，用于由駕駛員觀看。
[0045]方案20、根據(jù)方案19所述的方法，其中，所述虛擬俯瞰視圖包括車輛前方的路緣是否將與車輛的低懸車身部件相接觸的指示，并且如果確定車輛將接觸所述路緣，則提供敬生目口 ο
[0046]本發(fā)明的附加特征通過(guò)結(jié)合附圖將從以下說(shuō)明和所附權(quán)利要求變得明顯。

【專利附圖】

【附圖說(shuō)明】
[0047]圖1是包括能夠用于路緣觀察的前部照相機(jī)的車輛的俯視圖；
[0048]圖2是顯示圖1中車輛的側(cè)視圖，展示了照相機(jī)布置的更多細(xì)節(jié)；
[0049]圖3是用于自動(dòng)和增強(qiáng)的路緣觀察的系統(tǒng)的示意圖；
[0050]圖4是增強(qiáng)的路緣觀察系統(tǒng)的第一實(shí)施例的系統(tǒng)的方框圖；
[0051]圖5是增強(qiáng)的路緣觀察系統(tǒng)的第二實(shí)施例的系統(tǒng)的方框圖；
[0052]圖6是增強(qiáng)的路緣觀察系統(tǒng)的第三實(shí)施例的系統(tǒng)的方框圖；
[0053]圖7是圖6系統(tǒng)的方框圖，展示了學(xué)習(xí)模塊如何操作；
[0054]圖8是用于在車輛中提供增強(qiáng)的前方路緣觀察的方法的流程圖；
[0055]圖9是圖3中展示的顯示設(shè)備的圖示，展示了實(shí)例顯示模式，或顯示設(shè)備屏幕上的視圖布置；
[0056]圖10是保險(xiǎn)杠/橫梁區(qū)域中的車身部分如何能夠在虛擬俯瞰視圖中創(chuàng)建虛假突出物效果的圖示；
[0057]圖11是虛擬俯瞰視圖的圖示，在該虛擬俯瞰視圖中，由于照相機(jī)/車輛幾何結(jié)構(gòu)和圖像去扭曲而使圖10中展示的突出物虛假地向前延伸，從而創(chuàng)建遮蔽區(qū)域；
[0058]圖12是虛擬俯瞰視圖的圖示，在該虛擬俯瞰視圖中，通過(guò)圖像處理對(duì)遮蔽區(qū)域重新紋理化；
[0059]圖13是用于消除由車輛前部照相機(jī)圖像構(gòu)成的虛擬俯瞰視圖中出現(xiàn)的虛假車身部分的方法的流程圖；
[0060]圖14是虛擬俯瞰視圖的圖示，在該虛擬俯瞰視圖中，該視圖的某些部分展現(xiàn)了低分辨率和/或圖像噪聲；
[0061]圖15是用于消除由車輛前部照相機(jī)圖像構(gòu)成的虛擬俯瞰視圖的邊緣區(qū)域中的低分辨率和圖像噪聲的方法的流程圖；
[0062]圖16A和16B是分別來(lái)自左前部照相機(jī)和右前部照相機(jī)的虛擬俯瞰視圖的圖示；
[0063]圖17是當(dāng)左和右照相機(jī)圖像合并時(shí)，虛擬俯瞰視圖的一些部分如何能夠出現(xiàn)“雙影”的圖示；
[0064]圖18是用于在由車輛前部照相機(jī)圖像構(gòu)成的虛擬俯瞰視圖中消除地面之上障礙物的雙影效果的第一方法的流程圖；
[0065]圖19是用于在由車輛前部照相機(jī)圖像構(gòu)成的虛擬俯瞰視圖中消除地面之上障礙物的雙影效果的第二方法的流程圖；
[0066]圖20是用于創(chuàng)建由車輛前部照相機(jī)圖像構(gòu)成的增強(qiáng)的虛擬俯瞰視圖的方法的流程圖；
[0067]圖21是包括來(lái)自廣角鏡頭的圖像中固有的失真的車輛前方立體圖的圖示，其使用傳統(tǒng)去扭曲技術(shù)已經(jīng)被處理；
[0068]圖22是可用于修正圖21中所示失真的照相機(jī)圖像表面模型的圖示；
[0069]圖23是車輛前方立體圖的圖示，其中通過(guò)應(yīng)用圖22中的新虛擬圖像表面模型及其他處理技術(shù)已經(jīng)修正了圖21中看到的失真；以及
[0070]圖24是用于使用圖22中的照相機(jī)圖像表面模型創(chuàng)建由車輛前部照相機(jī)圖像構(gòu)成的增強(qiáng)的立體圖的方法的流程圖。

【具體實(shí)施方式】
[0071]致力于用于提供車輛前方區(qū)域的增強(qiáng)的虛擬俯瞰視圖的系統(tǒng)和方法的本發(fā)明的實(shí)施例的以下討論本質(zhì)上僅是示例性的，并不旨在限制本發(fā)明或其應(yīng)用或使用。例如，以下描述的本發(fā)明特別應(yīng)用于車輛的路緣前視成像。然而，本發(fā)明也可用于例如鏟車的其他機(jī)動(dòng)設(shè)備中，并且還可以用在后視或側(cè)視場(chǎng)合中。
[0072]圖1是包括能夠用于路緣觀察的前部照相機(jī)的車輛100的俯視圖。該車輛100包括定位于車輛100的格柵之后或前保險(xiǎn)杠中的一對(duì)照相機(jī)102、104。第一(或左)照相機(jī)102以水平或側(cè)向距離106與第二(或右)照相機(jī)104隔開(kāi)。距離106將取決于車輛100的品牌和型號(hào)變化，但在一些實(shí)施例中可以大約為一米。照相機(jī)102和104具有從車輛的向前方向偏移水平旋轉(zhuǎn)角度(pan angle) Θ的光學(xué)軸線108。所取的角度Θ可以取決于車輛100的品牌和型號(hào)變化，但在一些實(shí)施例中為大約10°。不論照相機(jī)102和104所選擇的取向如何，每一照相機(jī)都使用魚(yú)眼鏡頭抓取超寬視野(FOV)以提供在區(qū)域110處部分地重疊的大約180° F0V。照相機(jī)102的FOV由扇區(qū)112代表，并且照相機(jī)104的FOV由扇區(qū)114代表。由照相機(jī)102和104抓取的圖像可由視頻采集設(shè)備116接收，并且這些圖像在具有下文將要詳細(xì)討論的圖像處理硬件和/或軟件的處理器118中進(jìn)一步處理，以在顯示設(shè)備120上提供一個(gè)或更多個(gè)類型的駕駛員輔助圖像。
[0073]該處理器118是計(jì)算設(shè)備，其包括通常用于車輛中的任意類型的至少微處理器和存儲(chǔ)器模塊。該處理器118可以是還執(zhí)行其他計(jì)算功能的通用設(shè)備，或該處理器118可以是特別配置用于前方路緣視圖像處理的定制設(shè)計(jì)。在任何情況下，處理器118配置為執(zhí)行在本文討論的方法的步驟。即，用于增強(qiáng)的路緣觀察的方法意圖在例如處理器118的計(jì)算設(shè)備上執(zhí)行，而不是靠人腦或使用紙和筆執(zhí)行。
[0074]圖2顯示了車輛100的側(cè)視圖。右照相機(jī)104顯示為以距離130定位于道路/地面之上。該距離130將取決于車輛100的品牌和型號(hào)，但在一些實(shí)施例中大約為半米。知道該距離130有助于計(jì)算來(lái)自視野114的虛擬圖像以輔助車輛100的駕駛員。該照相機(jī)104(以及在車輛相對(duì)側(cè)上的照相機(jī)102)典型地對(duì)準(zhǔn)為使其以傾角P略微向下成角，以提供所示的視野114。該角度爐將根據(jù)車輛100的品牌和型號(hào)變化，但在一些實(shí)施例中可以為大約 10。。
[0075]如上面所討論的，圖1和2中的雙前部照相機(jī)布置在如今的車輛上常見(jiàn)，其圖像典型地用于碰撞躲避和車道偏離警告應(yīng)用中。也如上面所討論的，前方照相機(jī)圖像也能夠作為駕駛員輔助用作路緣觀察。然而，目前為止，仍然沒(méi)有用于在駕駛員期望的場(chǎng)合下提供增強(qiáng)的前方路緣觀察的自動(dòng)系統(tǒng)。
[0076]圖3是用于自動(dòng)和增強(qiáng)的路緣觀察的系統(tǒng)140的示意圖。該系統(tǒng)140包括關(guān)于圖1在上文中討論的元件，包括前部照相機(jī)102和104、視頻采集設(shè)備116、處理器118和顯示設(shè)備120。圖3提供展示基本元件的系統(tǒng)140的高級(jí)示圖。如能夠期望的，處理器118能夠包括許多不同功能和模塊，其將在接下來(lái)的附圖中進(jìn)行討論。
[0077]圖4是作為增強(qiáng)的路緣觀察系統(tǒng)的第一實(shí)施例的系統(tǒng)160的方框圖。該第一實(shí)施例是簡(jiǎn)單設(shè)計(jì)，其中用戶指令是用于啟動(dòng)前方路緣觀察的主要觸發(fā)器。如果駕駛員想觀察前方路緣的圖像，用戶輸入162提供來(lái)自車輛100的駕駛員的信號(hào)。用戶輸入162可以是實(shí)體按鍵、開(kāi)關(guān)、在例如顯示設(shè)備120的觸摸屏設(shè)備上的虛擬按鍵、檢測(cè)口頭指令的音頻麥克風(fēng)或者其他類型的輸入。當(dāng)駕駛員激活用戶輸入162時(shí)，這被當(dāng)作觸發(fā)器以在顯示設(shè)備120上提供前方路緣圖像，但只有在車輛速度低于某一閾值時(shí)才這樣，這可以是管制要求。車輛速度信號(hào)由車輛狀態(tài)模塊164提供，其可包括來(lái)自各種車輛傳感器的數(shù)據(jù)，包括車輛速度、轉(zhuǎn)向角、偏航角速度、縱向和側(cè)向加速度等。
[0078]如果用戶輸入162已經(jīng)被激活并且車輛速度低于閾值，則觸發(fā)模塊166將前方路緣觀察圖像狀態(tài)設(shè)定為是。開(kāi)關(guān)168確定什么顯示在顯示設(shè)備120上。如果該前方路緣觀察圖像狀態(tài)等于是，則開(kāi)關(guān)168命令處理模塊170使用來(lái)自視頻采集設(shè)備116的圖像輸入計(jì)算增強(qiáng)的前方路緣觀察圖像。最終，模式選擇模塊172確定哪個(gè)視圖或哪些視圖應(yīng)顯示在顯示設(shè)備120上。在系統(tǒng)160的簡(jiǎn)單實(shí)施例中，模式選擇模塊172可選擇默認(rèn)圖像布置(例如包括，前視立體圖以及虛擬俯瞰路緣視圖——在下文詳細(xì)討論)。模式選擇模塊172也可支持用戶選擇觀察模式——例如，通過(guò)用戶輸入162的方式。
[0079]如果前方路緣觀察圖像狀態(tài)等于否，則該開(kāi)關(guān)168傳送控制到顯示控制模塊174，其在顯示設(shè)備120上顯示其他信息。例如，當(dāng)駕駛員不觀察前方路緣圖像時(shí)，該顯示設(shè)備120能夠充當(dāng)廣播或其他音頻/視頻接口，或?qū)Ш降貓D顯示器，或任意其他適當(dāng)?shù)墓δ堋?br> [0080]觸發(fā)模塊166、開(kāi)關(guān)168、處理模塊170以及模式選擇模塊172都能夠被認(rèn)為包含于前文討論的處理器118中。即，每一個(gè)執(zhí)行單獨(dú)功能的元件166-172不需要單獨(dú)的實(shí)體設(shè)備，而是能夠體現(xiàn)在全部包含于處理器118中的硬件或軟件中。
[0081]圖5是作為增強(qiáng)的路緣觀察系統(tǒng)的第二實(shí)施例的系統(tǒng)180的方框圖。該第二實(shí)施例包括用于啟動(dòng)前方路緣觀察的附加觸發(fā)信號(hào)源。如果車輛速度低于閾值，用戶輸入162仍然為車輛100的駕駛員提供直接手段以表明他/她想觀察前方路緣圖像。然而，除了用戶輸入162之外，探索性模塊182使用各種數(shù)據(jù)源估計(jì)車輛的操作環(huán)境，并且應(yīng)用規(guī)則以確定駕駛員何時(shí)可能希望觀察前方路緣。探索性模塊182包括前文討論過(guò)的車輛狀態(tài)模塊164，其不僅提供車輛速度信號(hào)以與速度閾值比較，而且還可以提供轉(zhuǎn)向角、偏航角速度、縱向和側(cè)向加速度以及其他數(shù)據(jù)。規(guī)則能夠被限定為例如在車輛速度低并且轉(zhuǎn)向角大時(shí)觸發(fā)前方路緣觀察，從而指示可能的停車場(chǎng)操縱。
[0082]探索性模塊182也包括對(duì)象檢測(cè)模塊184，其從視頻采集設(shè)備116接收照相機(jī)圖像。對(duì)象檢測(cè)模塊184分析前方照相機(jī)圖像以檢測(cè)停車場(chǎng)、路緣或車輛100前面的任意其他對(duì)象。如果檢測(cè)到停車場(chǎng)，并且如果例如速度的其他車輛參數(shù)都合適，則可推斷駕駛員正在操縱車輛100?？吭谒鶛z測(cè)到的停車場(chǎng)中。這將導(dǎo)致探索性模塊182發(fā)出觸發(fā)信號(hào)以激活前方路緣觀察。即使沒(méi)有檢測(cè)到停車場(chǎng)，車輛100前面的路緣的存在也可導(dǎo)致該探索性模塊182發(fā)出觸發(fā)信號(hào)以激活前方路緣觀察。該路緣可以是具有明確的左右端的單獨(dú)豎立單元，或者其能夠是連續(xù)升高的人行道，如許多商業(yè)建筑停車場(chǎng)里常見(jiàn)的那樣。同樣，在車輛100緊前方檢測(cè)到的任意其他對(duì)象——例如墻、一個(gè)或更多個(gè)柱、圍欄等——可以觸發(fā)來(lái)自該探索性模塊182的對(duì)象檢測(cè)模塊184的前方路緣觀察信號(hào)。
[0083]探索性模塊182也包括GPS/地圖模塊186，其使用來(lái)自車載全球定位系統(tǒng)(GPS)接收器的車輛位置數(shù)據(jù)以及來(lái)自數(shù)字地圖和/或?qū)Ш较到y(tǒng)的數(shù)據(jù)以確定車輛100何時(shí)可能處于停車情形下。例如，由GPS和數(shù)字地圖數(shù)據(jù)能夠容易地確定車輛100處于商場(chǎng)的停車場(chǎng)中，或者處于辦公樓的停車場(chǎng)中。該認(rèn)知可以用于使用對(duì)象檢測(cè)模塊184開(kāi)始搜索停車位或路緣，或者如果例如速度和轉(zhuǎn)向角的車輛參數(shù)(來(lái)自車輛狀態(tài)模塊164)符合一定標(biāo)準(zhǔn)，該認(rèn)知可以用于直接觸發(fā)前方路緣觀察。
[0084]探索性模塊182估計(jì)所有可得數(shù)據(jù)，如上文所討論的，并且基于一組預(yù)先設(shè)立的規(guī)則確定駕駛員是否可能期望前方路緣觀察。當(dāng)然，如果路緣觀察經(jīng)由用戶輸入162被選擇，則激活前方路緣觀察(只要車輛速度低于閾值)，不論探索性模塊182做出何種確定。同樣，如果駕駛員經(jīng)由用戶輸入162指示不需要路緣觀察，則停用前方路緣觀察，不論探索性模塊182做出何種確定。
[0085]用戶輸入162和探索性模塊182提供信號(hào)到觸發(fā)模塊166，該觸發(fā)模塊166依據(jù)這些信號(hào)將前方路緣觀察圖像狀態(tài)設(shè)定為是或否。如在第一實(shí)施例中那樣，開(kāi)關(guān)168確定顯示什么在顯示設(shè)備120上。如果前方路緣觀察圖像狀態(tài)等于是，則開(kāi)關(guān)168命令處理模塊170使用來(lái)自視頻采集設(shè)備116的圖像輸入計(jì)算增強(qiáng)的前方路緣觀察圖像。最終，模式選擇模塊172確定應(yīng)當(dāng)在顯示設(shè)備120上顯示哪個(gè)或哪些視圖。
[0086]在由系統(tǒng)180代表的第二實(shí)施例中，模式選擇模塊172能夠基于由來(lái)自探索性模塊182的數(shù)據(jù)定義的情景的環(huán)境下選擇優(yōu)選顯示模式。例如，如果車輛100正在向右轉(zhuǎn)，或者如果停車場(chǎng)被檢測(cè)到在車輛100的前面和右面，則前右立體圖可以被選擇為顯示模式，可能同時(shí)有虛擬俯瞰視圖。視圖的許多組合可以定義在顯示模式中。同樣，許多不同因素可以在用于選擇顯示模式的邏輯中加以考慮，目標(biāo)是顯示在當(dāng)前停車情景的環(huán)境下為駕駛員提供最大幫助的那個(gè)視圖或那些視圖。該模式選擇模塊172也可支持用戶選擇觀察模式一例如，通過(guò)用戶輸入162的方式。
[0087]如果前方路緣觀察圖像狀態(tài)等于否，則該開(kāi)關(guān)168傳送控制到顯示控制模塊174，其在顯示設(shè)備120上顯示其他信息，如前文所討論的。觸發(fā)模塊166、開(kāi)關(guān)168、處理模塊170和模式選擇模塊172均能夠被認(rèn)為包含于處理器118中，也如前文所討論的。此外，系統(tǒng)180的探索性模塊182也能夠包含于處理器118中。
[0088]圖6是作為增強(qiáng)的路緣觀察系統(tǒng)的第三實(shí)施例的系統(tǒng)200的方框圖。該系統(tǒng)200包括上文所討論的系統(tǒng)180 (第二實(shí)施例)的全部元件。然而，該第三實(shí)施例還包括用于啟動(dòng)前方路緣觀察的另一觸發(fā)信號(hào)源。行為/歷史學(xué)習(xí)模塊202使用機(jī)器學(xué)習(xí)技術(shù)以確定車輛100的駕駛員何時(shí)可能想觀察前方路緣圖像。該學(xué)習(xí)模塊202提供信號(hào)到觸發(fā)模塊166，其依據(jù)三個(gè)信號(hào)源將前方路緣觀察圖像狀態(tài)設(shè)定為是或否。學(xué)習(xí)模塊202也可以學(xué)習(xí)駕駛員偏好用于顯示模式——即，在什么樣的停車情形下顯示哪個(gè)視圖或哪些視圖——并且可以將該數(shù)據(jù)提供到模式選擇模塊172 (經(jīng)由圖6中所示的觸發(fā)模塊166或直接)。
[0089]圖7是系統(tǒng)200的方框圖，展示了學(xué)習(xí)模塊202如何工作。系統(tǒng)200的不與學(xué)習(xí)模塊200相互作用的元件——特別是在觸發(fā)模塊166之下的每一元件——出于簡(jiǎn)化而從圖7中省略。學(xué)習(xí)模塊202包括離線或預(yù)編程學(xué)習(xí)和適應(yīng)性學(xué)習(xí)。數(shù)據(jù)庫(kù)204包含代表一般駕駛員群體的數(shù)據(jù)。數(shù)據(jù)庫(kù)204被預(yù)編程并且在車輛100是新的時(shí)可用。數(shù)據(jù)庫(kù)204并不連續(xù)更新，但可以對(duì)于一般駕駛員群體以新數(shù)據(jù)周期性地更新(例如經(jīng)由信息技術(shù)服務(wù))。來(lái)自數(shù)據(jù)庫(kù)204的數(shù)據(jù)用于離線學(xué)習(xí)模塊206以作出是否期望前方路緣觀察的第一確定，并且這是經(jīng)由信號(hào)從離線學(xué)習(xí)模塊206通信到學(xué)習(xí)模塊202。
[0090]在車輛操作期間，數(shù)據(jù)庫(kù)208連續(xù)收集來(lái)自用戶輸入162、探索性模塊182和觸發(fā)模塊166的數(shù)據(jù)。來(lái)自數(shù)據(jù)庫(kù)208的數(shù)據(jù)用在適應(yīng)性學(xué)習(xí)模塊210中以作出是否期望前方路緣觀察的第二確定，并且這是經(jīng)由信號(hào)從適應(yīng)性學(xué)習(xí)模塊210通信到學(xué)習(xí)模塊202。適應(yīng)性學(xué)習(xí)模塊210對(duì)來(lái)自數(shù)據(jù)庫(kù)208的數(shù)據(jù)應(yīng)用機(jī)器學(xué)習(xí)技術(shù)，以便基于前方路緣觀察是否在先前的類似環(huán)境下被觸發(fā)而確定在當(dāng)前情形下是否應(yīng)當(dāng)觸發(fā)前方路緣觀察。例如，在數(shù)據(jù)中可能明顯的是，車輛100的駕駛員在某一車輛位置頻繁地激活前方路緣觀察，即使地圖數(shù)據(jù)并未將該位置識(shí)別為停車場(chǎng)。在此場(chǎng)合下，當(dāng)車輛100再次到達(dá)該位置時(shí)并且當(dāng)車輛速度低于閾值時(shí)，適應(yīng)性學(xué)習(xí)模塊210能夠觸發(fā)前方路緣觀察。該分析能夠進(jìn)一步被增強(qiáng)以包括辨識(shí)駕駛員可以典型地遵循以到達(dá)某一停車空間的轉(zhuǎn)向操縱的特定模式。
[0091]作為另一實(shí)例，適應(yīng)性學(xué)習(xí)模塊210可確定在接近路緣和人行道時(shí)車輛100的駕駛員典型地不需要前方路緣觀察(可能由于該車輛100具有高離地間隙)，但是在接近柱、墻和圍欄時(shí)駕駛員的確需要前方觀察。該模式能夠在來(lái)自對(duì)象檢測(cè)模塊184和用戶輸入162的數(shù)據(jù)中檢測(cè)到。所有這些類型的確定能夠通過(guò)不僅估計(jì)來(lái)自探索性模塊182的三個(gè)部分的數(shù)據(jù)而且估計(jì)來(lái)自用戶輸入162和觸發(fā)模塊166的數(shù)據(jù)來(lái)作出。即，重要的是不僅考慮先前激活前方路緣觀察的環(huán)境，而且要考慮通過(guò)經(jīng)由用戶輸入162手動(dòng)激活或停用前方路緣觀察所表明的駕駛員的偏好。
[0092]適應(yīng)性學(xué)習(xí)模塊210還能夠通過(guò)關(guān)鍵飾物標(biāo)識(shí)或其他駕駛員辨識(shí)技術(shù)在車輛100的不同駕駛員之間辨別，并能夠相應(yīng)地適應(yīng)。例如，車輛100的兩個(gè)駕駛員對(duì)于前方路緣觀察可能具有非常不同的偏好，其中一個(gè)駕駛員可能從不需要使用它而另一個(gè)駕駛員可能頻繁使用它。另一方面，車輛100的兩個(gè)駕駛員可能具有相同的“家”位置，并且可確定兩個(gè)駕駛員均偏好在家位置激活路緣觀察。這些類型的特定駕駛員和/或特定車輛的確定能夠通過(guò)適應(yīng)性學(xué)習(xí)模塊210容易地作出。隨著車輛100被駕駛，學(xué)習(xí)車輛100的駕駛員偏好的能力從離線學(xué)習(xí)模塊206和探索性模塊182辨別適應(yīng)性學(xué)習(xí)模塊210。
[0093]圖8是用于在車輛中提供增強(qiáng)的前方路緣觀察的方法的流程圖220。在框222處，從車輛速度傳感器讀取車輛速度信號(hào)。在判斷菱形塊224處，確定車輛速度是否低于速度閾值，該速度閾值可以由用于顯示前方路緣視圖圖像的政府規(guī)定來(lái)限定。如果車輛速度不低于閾值，則該方法循環(huán)回到框222，直至車輛速度低于閾值的時(shí)候。如果在判斷菱形塊224處車輛速度低于閾值，則在判斷菱形塊226處確定車輛駕駛員是否已經(jīng)經(jīng)由用戶輸入162選擇了前方路緣觀察。
[0094]如果駕駛員尚未選擇前方路緣觀察，則在框228處，車輛操作環(huán)境被估計(jì)以確定是否有任何因素指示應(yīng)激活前方路緣觀察。車輛操作環(huán)境估計(jì)由探索性模塊182執(zhí)行，并且包括多個(gè)因素，例如車輛速度和轉(zhuǎn)向角度，停車場(chǎng)的存在，車輛前方的路緣或其他障礙物，以及由GPS和數(shù)字地圖指示的車輛位置。在框230處，車輛的駕駛行為和歷史由學(xué)習(xí)模塊202估計(jì)，以基于在先前相似的環(huán)境中是否觸發(fā)前方路緣觀察來(lái)確定在當(dāng)前情形下是否應(yīng)當(dāng)觸發(fā)前方路緣觀察。在判斷菱形塊232處，來(lái)自框228和230的信號(hào)被估計(jì)，以確定是否存在指示應(yīng)當(dāng)激活前方路緣觀察的任何觸發(fā)器。如果不存在這樣的觸發(fā)器，則在終點(diǎn)234處，結(jié)束該處理并且在顯示設(shè)備120上顯示其他信息(例如廣播或?qū)Ш?。
[0095]如果駕駛員在判斷菱形塊226處已經(jīng)選擇了前方路緣觀察，或者在判斷菱形塊232存在指示應(yīng)當(dāng)激活前方路緣觀察的觸發(fā)器，則在框236處處理來(lái)自視頻采集設(shè)備116的視頻信號(hào)以產(chǎn)生增強(qiáng)的前方路緣觀察圖像。在框238處，基于過(guò)去駕駛員的偏好和/或當(dāng)前停車情形的環(huán)境，選擇用于前方路緣觀察的顯示模式，如上文所討論的。在框240處，根據(jù)所選擇的顯示模式，增強(qiáng)的前方路緣視圖圖像被顯示。
[0096]使用上文描述的技術(shù)，增強(qiáng)的前方路緣觀察系統(tǒng)能夠被交付，其為車輛駕駛員提供用于在車輛前方的路緣和其他障礙物附近操縱的有價(jià)值的視覺(jué)輔助。增強(qiáng)的前方路緣觀察系統(tǒng)利用現(xiàn)有的顯示設(shè)備和照相機(jī)，并且為駕駛員提供以其他方式本來(lái)不可用的視覺(jué)信息——因此使得由于與前方障礙物接觸而使車輛損壞的事故遠(yuǎn)遠(yuǎn)變少。
[0097]如能夠從上文討論理解到的，某些前方視圖的選擇和顯示對(duì)前方路緣觀察系統(tǒng)的有效性是必要的。視圖能夠包括本地照相機(jī)視圖(例如來(lái)自左或右照相機(jī)的前視立體圖)和“虛擬視圖”的兩個(gè)增強(qiáng)的版本，“虛擬視圖”是通過(guò)處理多個(gè)照相機(jī)圖像合成的視圖以產(chǎn)生沒(méi)有照相機(jī)直接記錄的立體圖。
[0098]圖9是顯示設(shè)備120的圖，展示了實(shí)例顯示模式或顯示設(shè)備120屏幕上的視圖布置。圖9中展示的實(shí)例包括至少三個(gè)圖像視圖，其中顯示設(shè)備120的右側(cè)包括視圖250，其是前視立體圖(增強(qiáng)的立體圖的創(chuàng)建在下文討論)。顯示設(shè)備120的左側(cè)包括車輛100周圍區(qū)域的鳥(niǎo)瞰圖。視圖252是虛擬俯瞰前視圖(其是由來(lái)自照相機(jī)102和104的圖像合成的視圖)，并且視圖254是虛擬俯瞰后視圖(如果在停車過(guò)程中車輛被操縱向前和向后，則該視圖會(huì)有用)。出于參考，在視圖252和視圖254之間提供車輛100的示圖。側(cè)視圖256能夠由來(lái)自側(cè)視圖照相機(jī)的圖像(如果可用)構(gòu)造，或者能夠使用時(shí)間填充技術(shù)(下文討論)由前和后照相機(jī)圖像構(gòu)造。如能夠容易地設(shè)想到的，視圖的許多不同組合能夠定義為顯示模式，其如上文所詳細(xì)討論的那樣被選擇。
[0099]當(dāng)車輛100的前保險(xiǎn)杠在離路緣的大約兩英尺之內(nèi)時(shí)，許多駕駛員會(huì)發(fā)現(xiàn)俯瞰前視圖是最有幫助的。事實(shí)上，在向前停車操縱期間，許多駕駛員可能偏好增強(qiáng)的俯瞰前視圖占據(jù)顯示設(shè)備120的整個(gè)屏幕的顯示模式。用于處理數(shù)字圖像的技術(shù)在本領(lǐng)域是公知的一包括構(gòu)造虛擬圖像視圖，以及對(duì)來(lái)自廣角或?qū)︳~(yú)眼鏡頭的圖像去扭曲(dewarping)以消除失真。然而，創(chuàng)建來(lái)自廣角鏡頭的虛擬俯瞰視圖(其目的是更接近水平而不是豎直)產(chǎn)生了一系列挑戰(zhàn)，這些挑戰(zhàn)至今尚未解決。
[0100]三種類型的問(wèn)題已經(jīng)被識(shí)別與由來(lái)自照相機(jī)102和104的圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)。這三類問(wèn)題如下，其解決方案在下文詳細(xì)討論:
[0101]I)在去扭曲圖像中的本體部分假象(artifact)，
[0102]2)去扭曲圖像邊界周圍的低分辨率和/或噪聲，
[0103]3)在高于地平面的表面和對(duì)象中的“雙影”效果。
[0104]圖10是保險(xiǎn)杠/橫梁區(qū)域中的車身部分在虛擬俯瞰視圖中如何能夠形成虛假突出物效果的圖示。在圖10中，能夠看到照相機(jī)104安裝為使得鏡頭幾乎與車輛100的保險(xiǎn)杠面齊平。然而，許多車輛包括來(lái)自較低的前保險(xiǎn)杠或橫梁的突出物。這些突出物，例如突出物260，向照相機(jī)104的鏡頭前方延伸，并且妨礙照相機(jī)104對(duì)地面的觀察。因而，在虛擬俯瞰視圖中，突出物260將比其在真實(shí)俯瞰視圖中似乎更加向前并且更大。突出物260的表面上的大小/位置與在俯瞰視圖中的真實(shí)大小/位置之間的差異由距離262表示。距離262是照相機(jī)、突出物260和地面以上距離130的幾何尺寸的函數(shù)，并且能夠予以補(bǔ)償。
[0105]圖11是虛擬俯瞰視圖的圖示，其中突出物260由于照相機(jī)/車輛幾何結(jié)構(gòu)和圖像去扭曲而虛假地向前延伸，從而形成遮蔽區(qū)域280。展示為正顯示在顯示設(shè)備120上的虛擬俯瞰視圖示出了水平停車場(chǎng)表面270、在表面270以上升起某一高度的水平人行道表面272以及作為路緣的豎直面274。停車場(chǎng)表面和升起的路緣/人行道的這種配置在許多商用和零售停車場(chǎng)中是常見(jiàn)的。接縫276代表在人行道表面272的混凝土部段中的接縫，其中接縫276在豎直面274上是豎直的，并且接縫276可以延伸某一距離進(jìn)入停車場(chǎng)表面270內(nèi)。
[0106]在顯示設(shè)備120上的虛擬俯瞰視圖中，底部邊緣代表車輛100的真實(shí)前部。因而，當(dāng)車輛100慢速向前行駛時(shí)，駕駛員能夠看到何時(shí)觸及障礙物。如上面所討論的，突出物260明顯向前延伸的外觀是虛假的，遮蔽區(qū)域280是圖像去扭曲的假象以及是照相機(jī)鏡頭和突出物260相對(duì)于彼此及相對(duì)于地面的實(shí)際幾何關(guān)系。已經(jīng)開(kāi)發(fā)出的技術(shù)允許修改遮蔽區(qū)域280，使得突出物260在合成的虛擬俯瞰視圖中出現(xiàn)在其真實(shí)位置，并且遮蔽區(qū)域280被合成地紋理化，以表現(xiàn)為周圍地面。圖12是虛擬俯瞰視圖的圖示，其中遮蔽區(qū)域280的大小已經(jīng)被顯著地減小，以反映突出物260的真實(shí)位置，并且最初包括在遮蔽區(qū)域280中的大部分區(qū)域通過(guò)圖像處理而被重新紋理化。
[0107]圖13是用于消除由車輛前方照相機(jī)圖像構(gòu)造的虛擬俯瞰視圖中的虛假車身部分外觀的方法的流程圖300。通過(guò)量化上文討論的并且示于圖10中的幾何關(guān)系，圖12中所示的增強(qiáng)的虛擬俯瞰視圖的創(chuàng)建開(kāi)始于框302處。對(duì)于任何特別車輛模型，這些三維關(guān)系都是已知的不變的車輛設(shè)計(jì)量。因此，準(zhǔn)確確定照相機(jī)圖像的哪些像素將被突出物260遮蔽就變成相當(dāng)簡(jiǎn)單的計(jì)算。也可能的是比較車輛100前面的真實(shí)俯瞰視圖與圖11中所示的虛擬俯瞰視圖，并且手動(dòng)識(shí)別被突出物260虛假地遮蔽的像素。
[0108]在框304處，執(zhí)行去扭曲計(jì)算，以便當(dāng)來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像被平整化(flatten)或者“去扭曲”以使得直線變直時(shí)解決圖像的失真。圖像去扭曲計(jì)算是本領(lǐng)域公知的。在框306處，提供被車身突出物260虛假覆蓋的一組像素。來(lái)自框306的像素(其是圖11的遮蔽區(qū)域280)將需要重新紋理化以表現(xiàn)為地表面。
[0109]在框308處，遮蔽區(qū)域280中相同的像素被分析用于重新紋理化。兩種技術(shù)能夠用于對(duì)遮蔽區(qū)域280中的像素填充和重新紋理化。在框310處，執(zhí)行空間填充。在框310處的空間填充包括識(shí)別遮蔽區(qū)域280附近的紋理(例如風(fēng)化混凝土的模糊灰色外觀)和結(jié)構(gòu)(例如接縫276)，并且基于周圍的紋理和結(jié)構(gòu)在遮蔽區(qū)域280中填充。當(dāng)遮蔽區(qū)域280相當(dāng)小和/或停車場(chǎng)表面270的紋理相當(dāng)一致時(shí)，來(lái)自框310的空間填充技術(shù)能夠非常有效。
[0110]在框312處，執(zhí)行時(shí)間填充?？?12處的時(shí)間填充涉及利用在那些像素剛好在遮蔽區(qū)域280之外時(shí)獲得的停車場(chǎng)表面270的實(shí)際圖像像素，并且基于車輛運(yùn)動(dòng)將像素置換到遮蔽區(qū)域280內(nèi)。用于時(shí)間填充的車輛運(yùn)動(dòng)能夠從光流或從車輛動(dòng)態(tài)傳感器確定，其中光流涉及在獲得后續(xù)圖像時(shí)跟隨特征點(diǎn)的運(yùn)動(dòng)。利用在停車操縱期間典型地慢且穩(wěn)的車輛運(yùn)動(dòng)，代表遮蔽區(qū)域280之內(nèi)的停車場(chǎng)表面270的實(shí)際部分的像素能夠從之前的圖像復(fù)制到虛擬俯瞰視圖的后續(xù)圖像內(nèi)。
[0111]在框314處，使用來(lái)自框310的空間填充技術(shù)和來(lái)自框312的時(shí)間填充技術(shù)的組合對(duì)遮蔽區(qū)域280填充并重新紋理化。在框316處，創(chuàng)建增強(qiáng)的虛擬俯瞰視圖，其中來(lái)自框306的本體覆蓋區(qū)域由來(lái)自框314的周圍背景紋理填實(shí)，使得在視圖中僅保留突出物260的真實(shí)形狀。如能夠在圖12中看到的，通過(guò)利用填充的和重新紋理化的遮蔽區(qū)域280，減小了突出物260的外觀。
[0112]與由左前方和右前方照相機(jī)圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)的第二類問(wèn)題是去扭曲圖像邊界周圍的低分辨率和/或噪聲。圖14是虛擬俯瞰視圖的圖示，其中該視圖的某些部分能夠展現(xiàn)低分辨率和/或圖像噪聲。像圖11和12 —樣，圖14的虛擬俯瞰視圖示出了水平停車場(chǎng)表面270、在表面270以上升高某一高度的水平人行道表面272、作為路緣的豎直面274以及在人行道表面272的混凝土部段中的接縫276。
[0113]如上面所討論的，有必要對(duì)來(lái)自廣角鏡頭的圖像“去扭曲”，以便去除失真，并創(chuàng)建現(xiàn)實(shí)樣子的俯瞰視圖。當(dāng)對(duì)圖像去扭曲時(shí)，分辨率在虛擬視圖的周邊或邊緣區(qū)域中固有地?fù)p失，因?yàn)檫@些區(qū)域中的每個(gè)像素被放大以占據(jù)圖像的更多部分。如圖14中所示的左和右周邊區(qū)域320以及上周邊區(qū)域322代表了虛擬俯瞰視圖的低分辨率區(qū)域。圖像中的圖像/視頻噪聲也是區(qū)域320和322中的問(wèn)題，因?yàn)槲⑷醯墓饣虬蛋吣軌虮环糯笠燥@得比其實(shí)際的更大。當(dāng)然，低分辨率區(qū)域的邊界并不如圖14所示的完全筆直一但是區(qū)域320和322是概念闡述性的。在圖像較低部分中不存在低分辨率區(qū)域，因?yàn)樵撨吘夒x照相機(jī)102和104最近，并且這部分圖像中的像素不需要在去扭曲處理時(shí)明顯放大。
[0114]圖15是用于消除由車輛前方照相機(jī)圖像構(gòu)造的虛擬俯瞰視圖的邊緣區(qū)域中的低分辨率和圖像噪聲的方法的流程圖340。在框342處，在虛擬俯瞰視圖上執(zhí)行去扭曲計(jì)算，以當(dāng)來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像平整化以使直線變直時(shí)解決圖像的失真。在框344處，提供虛假的低分辨率的一組像素。這些像素代表邊緣區(qū)域320和322，其中低分辨率和噪聲是由于去扭曲處理中像素放大而產(chǎn)生的。
[0115]兩種技術(shù)能夠用于對(duì)低分辨率區(qū)域320和322中的像素填充并重新紋理化。在框346處，執(zhí)行空間分辨率增強(qiáng)和去噪聲計(jì)算。在框346處的空間增強(qiáng)包括:識(shí)別低分辨率區(qū)域320和322中的顏色和強(qiáng)度通道兩者，并且在保留邊緣的平滑計(jì)算中利用本地的顏色和強(qiáng)度,這些邊緣例如為豎直面274的邊緣。框346處的空間填充還包括:從例如區(qū)域324的鄰近的完整分辨率區(qū)域借紋理，該區(qū)域324能夠用于左側(cè)低分辨率區(qū)域320和上低分辨率區(qū)域322的左部。利用來(lái)自鄰近的完整分辨率區(qū)域324的表面紋理以及來(lái)自低分辨率區(qū)域320和322自身的顏色和強(qiáng)度式樣，框346處的空間分辨率增強(qiáng)和去噪聲計(jì)算能夠顯著修復(fù)在虛擬俯瞰視圖的邊緣周圍的圖像質(zhì)量。
[0116]在框348處，執(zhí)行時(shí)間分辨率增強(qiáng)和去噪聲計(jì)算?？?48處的時(shí)間增強(qiáng)涉及利用在那些像素剛好在低分辨率區(qū)域320和322之外時(shí)獲得的表面270、272和274的實(shí)際圖像像素，并且基于車輛運(yùn)動(dòng)將這些像素置換到低分辨率區(qū)域320和322中。如前面所討論的，用于時(shí)間增強(qiáng)的車輛運(yùn)動(dòng)能夠從光流或車輛動(dòng)態(tài)傳感器確定，其中光流涉及在獲得后續(xù)圖像時(shí)跟隨特征點(diǎn)的運(yùn)動(dòng)。特別地，車輛運(yùn)動(dòng)趨于對(duì)區(qū)域322的時(shí)間增強(qiáng)不利，因?yàn)槿绻囕v100僅僅只向前運(yùn)動(dòng)，則在該區(qū)域中的像素在之前將不處于圖像的高分辨率區(qū)域中。然而，時(shí)間增強(qiáng)對(duì)于左和右低分辨率區(qū)域320可以是有幫助的，尤其是當(dāng)車輛100在停車操縱的同時(shí)轉(zhuǎn)向時(shí)。利用車輛運(yùn)動(dòng)，在框348處，在低分辨率區(qū)域320之內(nèi)的代表表面270-274的實(shí)際部分的像素能夠從之前的圖像復(fù)制到虛擬俯瞰視圖的隨后圖像中。
[0117]在框350處，利用來(lái)自框346的空間增強(qiáng)技術(shù)和來(lái)自框348的時(shí)間增強(qiáng)技術(shù)的結(jié)果的組合，來(lái)重新定義低分辨率區(qū)域320和322。在框352處，創(chuàng)建增強(qiáng)的虛擬俯瞰視圖，其中來(lái)自低分辨率區(qū)域320和322的原始像素由來(lái)自框350的重新定義的像素替代，并且與來(lái)自框342的去扭曲圖像的剩余部分組合。
[0118]與由左前方和右前方照相機(jī)圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)的第三類問(wèn)題是在地平面之上突出的對(duì)象中的“雙影”效果。圖16A和16B是分別來(lái)自左前部照相機(jī)102和右前部照相機(jī)104的虛擬俯瞰視圖的圖示，并且圖17是當(dāng)左和右照相機(jī)圖像合并時(shí)虛擬俯瞰視圖的一些部分如何能夠出現(xiàn)“雙影”的圖示。在圖16和17中，表面270、272和274展現(xiàn)為之前圖形中那樣，接縫276也一樣(存在兩個(gè)不同的接縫276——個(gè)在左邊，一個(gè)在右邊——如圖11、12和14中所示)。在圖16A和16B中，可以在人行道表面272中看到裂縫360。裂縫360出現(xiàn)在圖16A中朝向左照相機(jī)圖像的右側(cè)，并且裂縫360出現(xiàn)在圖16B中朝向右照相機(jī)圖像的左側(cè)。
[0119]在圖17中，裂縫360出現(xiàn)兩次，即使在人行道表面272中只有一條裂縫360。該“雙影”效果是由于左和右圖像的組合引起的，該組合基于假設(shè)圖像中每種事物都處于同一地平面處的計(jì)算。在地平面以上延伸的對(duì)象或障礙物(其處于圖像的較低邊緣處，即，離照相機(jī)102和104最近的圖像部分，并且已知在照相機(jī)下方距離130處)在去扭曲和組合的虛擬俯瞰視圖中能夠展示不在正確的位置上。然而，該雙影效果能夠在增強(qiáng)的虛擬俯瞰視圖中經(jīng)由以下討論的計(jì)算來(lái)修正。
[0120]圖18是用于消除由車輛前方照相機(jī)圖像構(gòu)造的虛擬俯瞰視圖中的地面以上障礙物的雙影效果的第一方法的流程圖380。在框382處，在由左前方和右前方照相機(jī)圖像構(gòu)建的虛擬俯瞰視圖上執(zhí)行去扭曲計(jì)算，以在來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像被平整化以使直線變直時(shí)解決失真。在框384處，在構(gòu)建的虛擬俯瞰視圖中檢測(cè)路緣和升高的人行道。如之前所討論的，這些停車空間邊界能夠通過(guò)分析車輛運(yùn)動(dòng)期間的一系列圖像從而尋找直線以及路緣和升高的人行道的其它視覺(jué)指示物來(lái)檢測(cè)。
[0121]在框386處，利用立體視覺(jué)和/或從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)技術(shù)，在來(lái)自照相機(jī)102和104的圖像中檢測(cè)地面以上的障礙物。從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SFM)是指從可以與本地運(yùn)動(dòng)信號(hào)聯(lián)接的二維圖像序列估計(jì)三維結(jié)構(gòu)的處理。立體視覺(jué)和SFM分析提供關(guān)于在車輛100前方路徑中的地面以上障礙物的大小、形狀和位置的信息。在框388處，車輛100車載的其它傳感器提供車輛100前方區(qū)域的對(duì)象檢測(cè)信號(hào)。其它車載傳感器可以包括——但不限于——例如超聲波、近程雷達(dá)和LIDAR。
[0122]在交叉點(diǎn)390處，按比例縮放并組合框384-388中識(shí)別的前方障礙物，以使得所有的數(shù)據(jù)被用于定義車輛100前方區(qū)域中的對(duì)象地圖。在框392處，在車輛100前方的三維對(duì)象的完整模型——包括路緣、升高的人行道、柱子等——由來(lái)自框384-388的數(shù)據(jù)組建。三維對(duì)象的模型包括對(duì)象的位置、大小和形狀。在出現(xiàn)路緣和升高的人行道的情況下，出于至少兩個(gè)原因，能夠確定這些對(duì)象的高度極為有價(jià)值。首先，如果路緣或升高的人行道的高度為在停車場(chǎng)表面以上六英寸，并且車輛100具有的前方氣壩與地面間隙僅為5英寸，則能夠給駕駛員警告，以指示車輛100應(yīng)當(dāng)在前方保險(xiǎn)杠觸及路緣或升高的人行道之前停下(與向前駕駛相反，直到前方輪胎碰到阻擋件)。第二，知道升高的人行道272在停車場(chǎng)表面270以上的高度允許作出計(jì)算，其消除了如圖17中看到的裂縫360的雙圖像。
[0123]在框394處，利用來(lái)自框392的對(duì)象3D模型和來(lái)自框382的原始去扭曲圖像數(shù)據(jù)渲染路緣或其他地面以上障礙物的圖像。知道了在車輛100前面的任何地面以上障礙物的位置、大小和形狀，左前方和右前方照相機(jī)圖像能夠可靠地組合，而不顯示障礙物的雙重復(fù)制物。例如，考慮柱子出現(xiàn)在車輛100前方的中央左側(cè)的情形。如果左前方和右前方照相機(jī)圖像簡(jiǎn)單地去扭曲并組合，則組合圖像中就會(huì)出現(xiàn)兩個(gè)這樣的柱子，每個(gè)具有不同的表面距離和位置。然而，利用來(lái)自3D對(duì)象模型的僅存在一個(gè)這樣的柱子的知識(shí)以及柱子實(shí)際位置的知識(shí)，左前方和右前方照相機(jī)圖像能夠被處理為使得柱子正確地僅出現(xiàn)一次。該同種圖像處理能夠用于正確地渲染任何地面以上特征，包括圖17的裂縫360，其將僅出現(xiàn)一次。
[0124]最后，在框396處，合成改善的虛擬俯瞰視圖，包括來(lái)自框394的地面以上障礙物渲染。改善的虛擬俯瞰視圖不包括像裂縫360那樣的地面以上物件的錯(cuò)誤雙圖像，并且改善的視圖還利用所有可用數(shù)據(jù)源基于作為模型的對(duì)象的實(shí)際大小、形狀和位置提升了 3D對(duì)象的視覺(jué)渲染(rendering)。
[0125]圖19是用于消除在由車輛前方照相機(jī)圖像構(gòu)建的虛擬俯瞰視圖中的地面以上對(duì)象的雙影效果的第二方法的流程圖400。在框402處，在由自左前方和右前方照相機(jī)圖像構(gòu)建的虛擬俯瞰視圖上執(zhí)行去扭曲計(jì)算，以在來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像被平整化以使直線變直時(shí)解決失真。在框404處，分析去扭曲圖像，以檢測(cè)在紋理或結(jié)構(gòu)中的任何雙圖像效果。例如，已知的圖像分析技術(shù)能夠容易地辨別在圖17中出現(xiàn)兩次的裂縫360實(shí)際上是同一對(duì)象。
[0126]如果在框404處發(fā)現(xiàn)了雙圖像效果，則在決定菱形塊406處，處理循環(huán)回到框408，在這里基于雙重圖像之間的側(cè)向距離估計(jì)雙成像結(jié)構(gòu)的地面以上高度。之后處理回到框402，在這里利用關(guān)于包含雙成像結(jié)構(gòu)的視野部分的地面以上高度的矯正假設(shè)，再次執(zhí)行去扭曲計(jì)算。關(guān)于地面以上高度的矯正假設(shè)將修改去扭曲計(jì)算，使得對(duì)象在該視野部分中側(cè)向移位。
[0127]然而，在框404處重新分析圖像，并且如果有必要，進(jìn)一步矯正高度假設(shè)。繼續(xù)這一過(guò)程直到雙圖像效果消除，并且在決定菱形塊406處，處理移動(dòng)到框410，在這里輸出最后改善的虛擬俯瞰視圖。
[0128]如圖16和17中所示的消除在地平面以上突出的對(duì)象中的“雙影”效果的其他更簡(jiǎn)單的方法也是可能的。在一個(gè)這種更簡(jiǎn)單的方法中，不再像上述討論的圖19中方法中那樣重復(fù)估計(jì)路緣的高度，而是能夠假設(shè)一組標(biāo)準(zhǔn)路緣高度(例如5、6、7和8英寸)，并且能夠?qū)@些高度的每個(gè)預(yù)先計(jì)算圖像轉(zhuǎn)換映射。然后，當(dāng)在合并圖像中檢測(cè)到雙成像效果時(shí)，圖像轉(zhuǎn)換計(jì)算能夠?qū)τ谒械臉?biāo)準(zhǔn)路緣高度快速地重新運(yùn)行，并且結(jié)果能夠被分析以確定哪個(gè)路緣高度轉(zhuǎn)換對(duì)消除雙成像效果是最好的。該方法避免了前文討論的重復(fù)計(jì)算，并且直接提供具有最小雙圖像效果的最終圖像，同時(shí)還提供了能在其他車輛系統(tǒng)中使用的路緣高度估計(jì)。
[0129]消除在地平面以上突出的對(duì)象中的“雙影”效果的另一方法是簡(jiǎn)單比較左圖和右圖，在圖像的重疊區(qū)域中找到共同特征點(diǎn)，并且使用圖像配準(zhǔn)以轉(zhuǎn)換圖像，使得當(dāng)圖像合并時(shí)，共同特征點(diǎn)在重疊區(qū)域中排列。該方法并不提供路緣高度的估計(jì)，但是可以最簡(jiǎn)單地以計(jì)算機(jī)執(zhí)行，并且還提供了具有最小雙圖像效果的最終圖像。
[0130]圖20是用于創(chuàng)建由車輛前方照相機(jī)圖像構(gòu)建的增強(qiáng)的虛擬俯瞰視圖的方法的流程圖420。在框422處，在有左前方和右前方照相機(jī)圖像構(gòu)建的虛擬俯瞰視圖上執(zhí)行去扭曲計(jì)算，以在來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像被平整化以使直線變直時(shí)解決失真。在框424處，利用圖13中所示的流程圖300的方法，從去扭曲圖像移除虛假夸大的車身部分假象。在框426處，利用圖15中所示的流程圖340的方法，修正在去扭曲圖像邊緣周圍的低分辨率和圖像/視頻噪聲。在框428處，利用圖18或圖19中所示的方法之一或隨后所述的更簡(jiǎn)單方法之一，修正在地平面以上的表面或?qū)ο笾械摹半p影”效果。由框424-428而得到的圖像增強(qiáng)的結(jié)果是在外觀上比普通去扭曲圖像明顯更真實(shí)的虛擬俯瞰視圖。
[0131]利用上述技術(shù)，能夠解決典型地與由多個(gè)照相機(jī)圖像合成的虛擬俯瞰視圖相關(guān)聯(lián)的三個(gè)問(wèn)題，從而得到非常真實(shí)的虛擬俯瞰前方路緣視圖。在原型系統(tǒng)測(cè)試中，增強(qiáng)的虛擬俯瞰視圖已經(jīng)表明極大地有助于駕駛員在路緣和其它前方障礙物附近進(jìn)行操縱。如果可用照相機(jī)圖像，則在前方視圖的環(huán)境下在上文討論的虛擬俯瞰視圖合成技術(shù)還可以用到車輛100的后方和側(cè)面的虛擬俯瞰視圖。這些技術(shù)還能夠與每個(gè)虛擬視圖多于兩個(gè)的照相機(jī)一起使用。例如如果可用多于兩個(gè)照相機(jī)來(lái)構(gòu)建虛擬俯瞰前視圖，則得到的視圖質(zhì)量將提高，因?yàn)楦鄨D像像素將被作為輸入，并且圖像去扭曲效果能夠被降低。
[0132]如上面所討論的，由于駕駛員典型地查看立體圖覺(jué)得舒服，因此前視立體圖可以選擇為顯示設(shè)備120上的最大視圖。用于處理數(shù)字圖像的技術(shù)是本領(lǐng)域中公知的——包括對(duì)來(lái)自廣角鏡頭的圖像去扭曲，以移除失真，該失真產(chǎn)生魚(yú)眼效果，其中圖像前方中央的對(duì)象虛假放大，并且向著圖像周邊的對(duì)象縮小且遠(yuǎn)離中央傾斜。然而，傳統(tǒng)的去扭曲技術(shù)和照相機(jī)模型能夠在被處理圖像中產(chǎn)生其他問(wèn)題。
[0133]圖21是車輛100前方立體視圖的圖示，其包括由傳統(tǒng)去扭曲技術(shù)產(chǎn)生的失真。圖21是本質(zhì)上與之前圖形所示的相同場(chǎng)景的立體圖——包括水平停車場(chǎng)表面270、在表面270以上升高某一高度的水平人行道表面272、作為路緣的豎直表面274以及在人行道表面272的混凝土部段中的接縫276。立體圖還包括地平線之上區(qū)域440，其包括背景對(duì)象442，例如樹(shù)和電線桿。
[0134]兩個(gè)主要類型的問(wèn)題已經(jīng)被識(shí)別與利用傳統(tǒng)照相機(jī)模型處理時(shí)由來(lái)自照相機(jī)102和104的圖像合成的虛擬立體圖相關(guān)聯(lián)。這兩類問(wèn)題如下，其解決方案在下文詳細(xì)討論:
[0135]I)由于針孔模型的直線投影，在去扭曲廣角圖像的周邊部分處的拉伸和低分辨率效果。
[0136]2)在視野重疊區(qū)域中的“雙影”效果以及在合并圖像的盲點(diǎn)中的丟失對(duì)象。
[0137]對(duì)于立體圖的第一個(gè)問(wèn)題——拉伸和低分辨率——在圖21中的兩個(gè)地方是明顯的，通過(guò)利用針孔照相機(jī)模型通過(guò)直線投影，這些立體圖已經(jīng)利用傳統(tǒng)去扭曲被處理。首先，在區(qū)域444中，由于拉伸降低了圖像分辨率。其次，作為接縫276的豎直部分的豎直接縫446呈現(xiàn)為傾斜的而非豎直的。另外，例如前文所討論的突出物260的車身部分的突出物由于該拉伸而能夠存在放大的外觀。這些問(wèn)題都能夠通過(guò)利用新的照相機(jī)圖像表面模型得以解決。
[0138]圖22是可用于修正圖21中看到的失真的照相機(jī)圖像表面模型的圖。傳統(tǒng)針孔照相機(jī)模型460被顯示，其中來(lái)自場(chǎng)景的光穿過(guò)針孔縫隙并且打到成像表面上。在傳統(tǒng)模型460中，成像表面是平坦平面。這種類型的模型在圖21所示的去扭曲圖像的周邊區(qū)域中產(chǎn)生拉伸效果。為了修正該拉伸效果，成像表面462能夠被限定為處于水平的半圓柱形狀中。將成像表面462的模型應(yīng)用到圖21的虛擬立體圖像中能夠減少地平線以下區(qū)域中的拉伸效果。然而，在圖像的地平線以上區(qū)域中的圓柱形投影能夠使得背景對(duì)象422呈現(xiàn)為向圖像中央傾斜。為了避免引入這種不想要的失真效果，成像表面464能夠被限定，其中成像表面464對(duì)于圖像的地平線以下區(qū)域處于水平的四分之一圓柱的形狀中，并且對(duì)于圖像的地平線以上區(qū)域?yàn)槠教蛊矫嫘螤?。包括成像表?64的照相機(jī)模型已經(jīng)顯示為產(chǎn)生更優(yōu)的虛擬立體視圖圖像合成。
[0139]具有除了圖22所示的成像表面之外的成像表面的照相機(jī)模型也能夠被限定。例如，不同于在表面464中的四分之一圓柱和平坦平面，具有逐漸改變的曲率半徑的圖像表面能夠被限定。另外，從左到右的圖像表面曲率效果以及底部到頂部的曲率效果能夠被引入。利用例如這些組合的各種組合，復(fù)合圖像表面能夠被定義為產(chǎn)生真實(shí)并且視覺(jué)舒適的虛擬立體圖。
[0140]由左前方和右前方照相機(jī)圖像構(gòu)建的合并立體圖的第二個(gè)問(wèn)題是在視野重疊區(qū)域中的“雙影”效果,如在圖21中的樹(shù)448的雙外觀中看到的。所述的重疊區(qū)域顯示為接近于圖1的重疊區(qū)域110。盲點(diǎn)——或者未被左或右照相機(jī)圖像覆蓋的區(qū)域——也能夠存在，從而在合并視圖中導(dǎo)致丟失的對(duì)象或紋理(texture)。以下討論的其他處理技術(shù)能夠應(yīng)用到虛擬立體圖中，以便修正來(lái)自照相機(jī)102和照相機(jī)104的圖像之間的重疊區(qū)域或盲點(diǎn)中的差別。
[0141]能夠應(yīng)用于左前方和右前方圖像之間的重疊區(qū)域的一種技術(shù)作為視頻變形(morphing)而公知。在視頻變形技術(shù)中，特征點(diǎn)在圖像的中央重疊區(qū)域中被檢測(cè)，并且關(guān)鍵點(diǎn)被配準(zhǔn)。左和右圖像隨后被變形，也就是被拉伸或轉(zhuǎn)換，以使得特征點(diǎn)在合并圖像中匹配。之前的圖像幀和車輛運(yùn)動(dòng)信息能夠用于增強(qiáng)重疊區(qū)域中的圖像合成，其中一些對(duì)象從圖像的非重疊區(qū)域移動(dòng)到重疊區(qū)域。利用圖像變形和之前的圖像幀，時(shí)間視頻變形能夠應(yīng)用于虛擬立體圖，其修正重疊區(qū)域中的雙成像和空白點(diǎn)兩者。
[0142]能夠應(yīng)用于左前方和右前方圖像之間的重疊區(qū)域的另一技術(shù)是基于3D場(chǎng)景估計(jì)的圖像渲染。該技術(shù)類似于圖18的流程圖380中的上述方法。如上面所討論的，該技術(shù)涉及利用立體視覺(jué)、從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(SFM)以及來(lái)自車載傳感器的數(shù)據(jù)以構(gòu)建車輛100前方場(chǎng)景的3D模型。3D對(duì)象場(chǎng)景能夠關(guān)聯(lián)到圖像中的對(duì)象，并且立體視圖圖像能夠被重新渲染以消除任何對(duì)象的雙重外觀，例如樹(shù)448。
[0143]圖23是圖21中看到的失真已經(jīng)通過(guò)應(yīng)用圖22中的新虛擬圖像表面模型及上文討論過(guò)的其他技術(shù)修正后的車輛100前方立體圖的圖示。在圖23中能夠看到，由于在地平線以下區(qū)域中應(yīng)用了圓柱形照相機(jī)圖像模型，因此區(qū)域444中的拉伸效果被消除。因而，區(qū)域444中不存在分辨率丟失。在圖23中也能夠看到，同樣由于在地平線以下區(qū)域中應(yīng)用了圓柱形照相機(jī)圖像模型，豎直接縫446如其應(yīng)當(dāng)?shù)哪菢颖憩F(xiàn)為豎直的。最后，由于上文討論的重疊區(qū)域修正技術(shù)的應(yīng)用，樹(shù)448的雙圖像被消除。
[0144]圖24是用于利用圖22中的照相機(jī)圖像表面模型和其他修正技術(shù)創(chuàng)建由車輛前方照相機(jī)圖像構(gòu)建的增強(qiáng)的立體圖的方法的流程圖480。在框482處，在由左前方和右前方照相機(jī)圖像構(gòu)建的虛擬立體圖上執(zhí)行去扭曲計(jì)算，以在來(lái)自照相機(jī)102和104的廣角鏡頭的自然扭曲圖像被平面化以使直線變直時(shí)解決失真。在框484處，照相機(jī)模型圖像表面464應(yīng)用到去扭曲圖像，以修正圖像的地平線以下部分中的拉伸，同時(shí)保留圖像的地平線以上部分中的豎直對(duì)象的豎直外觀。在框486處，左和右照相機(jī)圖像重疊的區(qū)域被修正以消除對(duì)象的雙成像和空白點(diǎn)。在重疊區(qū)域中的修正能夠包括如上面所討論的視頻變形和3D場(chǎng)景估計(jì)技術(shù)兩者。在框488處，最終虛擬立體圖被提供，包括上文討論的修正，并如圖23所示。
[0145]利用上述技術(shù)，典型地與利用傳統(tǒng)照相機(jī)模型由廣角照相機(jī)圖像合成的虛擬立體圖相關(guān)聯(lián)的問(wèn)題能夠被解決，從而產(chǎn)生非常真實(shí)的虛擬前視立體圖。如果可用照相機(jī)圖像，在前視圖的環(huán)境下在上文討論的虛擬立體視圖合成技術(shù)還可以用于到車輛100的后方和側(cè)面的虛擬立體視圖。這些技術(shù)還能夠與每個(gè)虛擬視圖多于兩個(gè)的照相機(jī)一起使用。例如如果多于兩個(gè)的照相機(jī)可用以構(gòu)建虛擬立體前視圖，則得到的視圖質(zhì)量將提高，因?yàn)楦嗟膱D像像素將用作輸入，并且圖像去扭曲效果能夠降低。
[0146]增強(qiáng)的前方路緣觀察系統(tǒng)為駕駛員提供了以其他方式將無(wú)法獲取的視覺(jué)信息。前方路緣視圖為駕駛員提供了在接近路緣和其它前方障礙物時(shí)準(zhǔn)確?？克麄兊能囕v必須的輔助，并且提供了知道他們將不會(huì)意外撞到障礙物并損壞車輛的平靜心情。這些前方路緣視圖的自動(dòng)生成和顯示為駕駛員傳遞價(jià)值，從而增加了車輛的客戶滿意度，并且潛在地避免了昂貴的修理費(fèi)用。
[0147]前文的討論公開(kāi)并描述了本發(fā)明的僅僅示例性的實(shí)施例。本領(lǐng)域技術(shù)人員容易從這種討論以及從附圖和權(quán)利要求中意識(shí)到，各種變化、修改和變型能夠在此作出，而并不脫離如所附權(quán)利要求所限定的本發(fā)明的精神和范圍。
【權(quán)利要求】
1.一種用于提供車輛前方區(qū)域的增強(qiáng)的俯瞰觀察的系統(tǒng)，所述系統(tǒng)包括: 安裝在車輛的左前部處的第一照相機(jī)； 安裝在車輛的右前部處的第二照相機(jī)； 與所述第一和第二照相機(jī)通信的圖像采集模塊，所述圖像采集模塊接收來(lái)自所述照相機(jī)的原始圖像，并且來(lái)自所述照相機(jī)的原始圖像具有大致前視圖立體圖； 包括存儲(chǔ)模塊的處理器，所述處理器配置為提供車輛前方區(qū)域的虛擬俯瞰視圖，其中，所述虛擬俯瞰視圖由來(lái)自所述照相機(jī)的原始圖像合成，并且所述虛擬俯瞰視圖包括對(duì)車身部分到所述視圖內(nèi)的虛假突出物、所述視圖的邊緣周圍的低分辨率和噪聲以及地平面以上對(duì)象的雙影效果的修正；以及 車輛的駕駛座區(qū)域中的顯示單元，用于顯示來(lái)自所述處理器的虛擬俯瞰視圖，用于由車輛駕駛員觀看。
2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對(duì)車身部分到視圖內(nèi)的虛假突出物的修正包括:識(shí)別所述虛擬俯瞰視圖中的遮蔽區(qū)域，其中所述遮蔽區(qū)域?yàn)樗鎏摂M俯瞰視圖中的車身部分虛假地展現(xiàn)為向前延伸過(guò)遠(yuǎn)的區(qū)域，并且所述遮蔽區(qū)域利用基于已知車輛幾何尺寸和照相機(jī)位置信息的計(jì)算被識(shí)別。
3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其中，所述遮蔽區(qū)域被合成地重新紋理化，以展現(xiàn)為所述虛擬俯瞰視圖中的地面，包括利用空間填充技術(shù)，其中，所述遮蔽區(qū)域基于來(lái)自所述原始圖像的周圍紋理和結(jié)構(gòu)并利用時(shí)間填充技術(shù)而被重新紋理化，其中，來(lái)自剛好在所述原始圖像中的遮蔽區(qū)域外部的實(shí)際像素基于車輛運(yùn)動(dòng)被置換到所述虛擬俯瞰視圖中的遮蔽區(qū)域內(nèi)。
4.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對(duì)所述視圖的邊緣周圍的低分辨率和噪聲的修正包括:識(shí)別所述虛擬俯瞰視圖的左、右和上周邊附近的低分辨率區(qū)域，其中，所述低分辨率區(qū)域?yàn)樗鎏摂M俯瞰視圖中的圖像分辨率由于去扭曲而導(dǎo)致低的區(qū)域，并且進(jìn)一步包括利用空間分辨率增強(qiáng)修正所述低分辨率區(qū)域，其中，空間分辨率增強(qiáng)包括:利用低分辨率區(qū)域內(nèi)部的顏色和強(qiáng)度組合所述低分辨率區(qū)域外部的表面紋理。
5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，修正所述低分辨率區(qū)域進(jìn)一步包括:利用時(shí)間分辨率增強(qiáng)，其中，時(shí)間分辨率增強(qiáng)包括:基于車輛運(yùn)動(dòng)將來(lái)自剛好在所述原始圖像中的低分辨率區(qū)域外部的實(shí)際像素置換到所述虛擬俯瞰視圖中的低分辨率區(qū)域內(nèi)。
6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對(duì)地平面以上對(duì)象的雙影效果的修正包括:利用從運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)技術(shù)，該技術(shù)利用一系列所述原始圖像和來(lái)自車輛雷達(dá)或激光雷達(dá)系統(tǒng)的對(duì)象數(shù)據(jù)以構(gòu)建車輛前方的對(duì)象的三維模型，并且所述三維模型用于消除所述虛擬俯瞰視圖中的雙重成像。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對(duì)地平面以上對(duì)象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測(cè)所述雙影效果，對(duì)于成對(duì)出現(xiàn)的特征假設(shè)地平面以上的新高度，并基于所述新高度重新運(yùn)行去扭曲計(jì)算。
8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，對(duì)地平面以上對(duì)象的雙影效果的修正包括:分析所述虛擬俯瞰視圖以檢測(cè)所述雙影效果，在合并之前找到來(lái)自所述第一和第二照相機(jī)的原始圖像中的共同特征點(diǎn)，以及利用圖像配準(zhǔn)技術(shù)轉(zhuǎn)換所述原始圖像，使得所述共同特征點(diǎn)在所述虛擬俯瞰視圖中對(duì)齊。
9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述虛擬俯瞰視圖顯示于所述顯示單元上的第一視窗中，并且鳥(niǎo)瞰視圖顯示于所述顯示單元上的第二視窗中，其中，所述第一視窗大于所述第二視窗，并且所述鳥(niǎo)瞰視圖包括位于中心的車輛示圖，具有位于車輛示圖前方的前視圖圖像以及車輛不圖后方的后視圖圖像。
10.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述虛擬俯瞰視圖包括車輛前方的路緣是否將與車輛的低懸車身部件相接觸的指示，并且如果確定該車輛將接觸路緣，則提供警告。
【文檔編號(hào)】H04N13/04GK104185009SQ201410391665
【公開(kāi)日】2014年12月3日 申請(qǐng)日期:2014年5月23日 優(yōu)先權(quán)日:2013年5月23日
【發(fā)明者】W·張, J·王, K·S·利貝克, J·S·皮亞塞基, B·B·利特庫(kù)希, R·M·弗雷克斯 申請(qǐng)人:通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司