背景技術(shù)：

1、車輛環(huán)視系統(tǒng)(vehicle?surround?view?systems)為車輛的占用者提供車輛周圍區(qū)域的可視化。對于駕駛員而言，環(huán)視系統(tǒng)(surround?view?systems)為駕駛員提供觀察周圍區(qū)域的能力，而不需要重新定位(例如，轉(zhuǎn)動他們的頭部、離開駕駛員的座椅、傾斜某個方向等)，所述周圍區(qū)域包括盲點，在盲點處，駕駛員的視線被車輛的部分或環(huán)境中的其他對象遮擋。該可視化可輔助和促進各種駕駛操縱，諸如平滑地進入或離開停車點，而不撞擊易受攻擊的道路用戶，諸如行人或諸如路緣或其他車輛之類的對象。越來越多的車輛，特別是豪華品牌或新車型，正在生產(chǎn)配備有環(huán)視系統(tǒng)。

2、現(xiàn)有的車輛環(huán)視系統(tǒng)通常利用魚眼相機——通常安裝在車身的前側(cè)、左側(cè)、后側(cè)和右側(cè))——從多個方向感知周圍區(qū)域。在特殊情況下，如長卡車或帶拖車的車輛，可能會包括額外的相機。使用相機參數(shù)對齊幀并且使用混合技術(shù)組合重疊區(qū)域以提供水平360°環(huán)視可視化，將來自各個相機的幀拼接在一起。

3、由于噪聲或各種白平衡配置，在兩個圖像被拼接在一起的地方可出現(xiàn)明顯的接縫。雖然可使用各種減輕措施來平滑圖像像素值從一個圖像到另一圖像的過渡(例如，指派與其到邊緣的距離成比例的像素權(quán)重、基于多分辨率的混合、基于神經(jīng)網(wǎng)絡(luò)的混合)，但顯著接縫常常在拼接圖像中仍可見。一些常規(guī)技術(shù)嘗試避免在使用超聲傳感器檢測到的對象之上布置接縫。然而，超聲傳感器通常在非常短的范圍內(nèi)操作。因此，常規(guī)技術(shù)僅在布置接縫時考慮非常接近的對象，有效地忽略在超聲感測范圍之外的潛在重要的對象，或者在超聲感測范圍內(nèi)優(yōu)先考慮較不重要的對象，并且在拼接圖像的對于駕駛員安全操縱車輛潛在重要的區(qū)域上布置接縫。

4、遺憾的是，拼接圖像的過程可引入多種偽影，包含幾何失真(例如，未對齊)、紋理失真(例如，模糊、重影、對象消失、對象失真)和顏色失真。拼接圖像中的失真可由各種問題引起，包括視差效應(yīng)、透鏡失真、移動對象以及曝光或照明中的差異。例如，在一些情況下，使用多個相機俘獲移動對象的多個圖像可實際上從不同視角捕獲對象的圖像，使得不同圖像可用不同定向或姿勢捕獲對象。由于在拼接圖像時對象的不同表示可能不完美地對齊，所以重疊區(qū)域可有效地將對象的圖像與背景組合，從而產(chǎn)生可能出現(xiàn)在兩個位置中的幻影狀效果。一些對象甚至可從拼接圖像中消失。由于這些拼接偽影可能使有用的視覺信息模糊并且可能使駕駛員分心，所以拼接偽影可能干擾車輛的安全操作。因此，需要改進的拼接技術(shù)，該改進的拼接技術(shù)減少拼接偽影、更好地表示拼接圖像中的有用視覺信息和/或以其他方式改進拼接圖像的視覺質(zhì)量。

5、此外，在一些現(xiàn)有的環(huán)視系統(tǒng)中，二維(2d)圖像用于近似車輛周圍環(huán)境的三維(3d)視覺表示。對于給定魚眼圖像，例如，每個像素捕獲從周圍3d點發(fā)射并投射到魚眼相機的中心并成像到相機傳感器中的光線，該相機傳感器捕獲3d點的強度、顏色和取向。然而，在點與照相機中心之間的距離在投影過程中丟失。3d點可以是沿著由相機中心限定的光線和光線著陸在傳感器上的點的任何地方。例如使用lidar數(shù)據(jù)或運動結(jié)構(gòu)(structure?frommotion，sfm)重建此距離在計算上是昂貴的并且經(jīng)常是不切實際的。因此，一些環(huán)視系統(tǒng)將車輛周圍的環(huán)境的幾何形狀建模成靜態(tài)定形狀和大小的3d碗形狀，該3d碗形狀包括用于碗的內(nèi)部部分的圓形地平面，該圓形地平面連接至被表示為從地平面上升到一定高度或者具有與距碗中心的距離成比例地增加的斜率的曲面的外碗。照此，一些常規(guī)系統(tǒng)將圖像投影到此3d碗形狀上，從虛擬相機的視角渲染3d碗形狀上的投影圖像數(shù)據(jù)的視圖，以及在車輛的占用者(例如，駕駛員)可見的監(jiān)視器上呈現(xiàn)所渲染的視圖。

6、然而，依賴于這種3d碗幾何形狀的常規(guī)技術(shù)具有多種缺點。通常，由于這種幾何形狀僅是模型，現(xiàn)實世界中的深度通常不匹配所假設(shè)的幾何形狀，從而導(dǎo)致各種視覺偽影。例如，如果相機捕獲比碗的側(cè)面更靠近車輛的對象(例如，碗的內(nèi)部)，則將對象的圖像投影到碗的側(cè)面上會產(chǎn)生比例放大，因為深度是不正確的。碗的不同區(qū)域之間的所捕獲的對象還可導(dǎo)致具有顯著畸變的可視化。在一些情況下，碗內(nèi)部的對象可能在投影過程期間部分或完全丟失，導(dǎo)致部分或完全對象消失。如果多個相機拾取比碗的側(cè)面更遠(yuǎn)的對象(例如，碗的外部)，則將這些圖像投影到碗的側(cè)面上可能導(dǎo)致重影或復(fù)制。由于這些偽影可能使有用的視覺信息模糊或省略有用的視覺信息并且通常使駕駛員分心，這些偽影會干擾車輛的安全操作。因此，需要改進的可視化技術(shù)，該技術(shù)減少視覺偽影、更好地表示拼接圖像中的有用視覺信息和/或以其他方式改進拼接圖像的視覺質(zhì)量。

7、此外，現(xiàn)有的環(huán)視系統(tǒng)通常不并入來自車輛下方的相機的幀，這是由于難以保持相機鏡頭清潔或不充分的視場覆蓋。因此，現(xiàn)有的車輛環(huán)視系統(tǒng)僅能夠看到車輛的前側(cè)、左側(cè)、后側(cè)和右側(cè)，留下顯著的盲點：車輛下方的區(qū)域，其可以是幾平方米或更多。常規(guī)技術(shù)不包括車輛下方的可視化，或者用人工像素填充區(qū)域，例如，使用純黑來證明信息丟失，或者使用車輛的計算機圖形3d模型。然而，這種車輛下方區(qū)域在許多情況下對于感知是重要的，例如：以受控的方式精確地操縱進入和離開具有高路緣的狹窄的停車空間或區(qū)域，越過減速塊或坑洼，避開道路上的對象，在巖石或崎嶇地形上越野駕駛，和/或其他場景。因此，傳統(tǒng)的車輛環(huán)視系統(tǒng)不能提供有利于許多駕駛操縱的視覺信息。

8、最后，現(xiàn)有的環(huán)視系統(tǒng)通常限于捕獲本地傳感器數(shù)據(jù)并且向車輛的占用者(例如，駕駛員)呈現(xiàn)傳感器數(shù)據(jù)的表示。隨著通信和網(wǎng)絡(luò)技術(shù)的進步，存在對促進各種遠(yuǎn)程體驗和功能性的日益增長的需求。

技術(shù)實現(xiàn)思路

1、本公開的實施例涉及環(huán)繞視圖或環(huán)境可視化、基于對象顯著性的動態(tài)接縫布置、基于自我對象(ego-object)狀態(tài)的動態(tài)接縫布置、用取決于距檢測到的對象的距離和方向的形狀建模周圍環(huán)境的自適應(yīng)3d碗、重建自我對象下方的區(qū)域、和/或流式傳輸自我對象中和自我對象周圍的環(huán)境的表示。

2、與常規(guī)系統(tǒng)(例如上文所描述的系統(tǒng))相比，動態(tài)接縫布置可用于在重疊圖像數(shù)據(jù)的區(qū)域中定位接縫以避免跨越顯著對象或區(qū)域?？梢詮谋硎局T如車輛的自我對象周圍的環(huán)境的重疊視圖的圖像幀中檢測對象。可以對齊圖像以創(chuàng)建具有圖像數(shù)據(jù)的重疊區(qū)域的對齊的合成圖像或表面(例如，全景、360°圖像、碗形表面)，并且可以生成所檢測的對象和/或顯著區(qū)域的表示(例如，顯著性掩模(saliency?mask))并且將其投影到對齊的合成圖像或表面上。接縫可以被定位在重疊區(qū)域中以避免或最小化跨越投影掩模中表示的顯著像素，并且圖像數(shù)據(jù)可以在接縫處被混合以創(chuàng)建拼接的圖像或表面(例如，拼接的全景圖、拼接的360°圖像、拼接的紋理化表面)。

3、在一些實施例中，狀態(tài)機用于在默認(rèn)接縫布置或避開顯著區(qū)域的動態(tài)接縫布置之間進行選擇，并且基于自我運動(ego-motion)的速度、自我運動的方向、與顯著對象的接近度、活動視窗、駕駛員注視和/或其他因素來啟用和禁用動態(tài)接縫布置?？梢詫R表示環(huán)境的重疊視圖的圖像以創(chuàng)建具有圖像數(shù)據(jù)的重疊區(qū)域的對齊的合成圖像或表面(例如，全景、360°圖像、碗形表面)，并且可以基于駕駛場景(例如，駕駛方向、速度、與附近對象的接近度)選擇默認(rèn)接縫布置或動態(tài)接縫布置。因此，接縫可以被定位在圖像數(shù)據(jù)的重疊區(qū)域中，并且圖像數(shù)據(jù)可以在接縫處被混合以創(chuàng)建拼接的圖像或表面(例如，拼接的全景圖、拼接的360°圖像、拼接的紋理化表面)。

4、在一些實施例中，使用自適應(yīng)3d碗使自我對象周圍的環(huán)境可視化，該自適應(yīng)3d碗利用基于與檢測到的對象的距離(和方向)而改變的形狀對環(huán)境進行建模。到檢測到的對象的距離(和方向)可以使用3d對象檢測或俯視的2d或3d占用柵格來確定，并且用于以不同方式適配自適應(yīng)3d碗的形狀(例如，通過將其地平面定尺寸為適配在距離最接近的檢測到的對象的距離內(nèi))。自適應(yīng)3d碗可在每個時間切片期間啟用或禁用(例如，基于自我速度)，并且用于每個時間切片的3d碗可用于渲染環(huán)境的可視化(例如，俯視的投影圖像、紋理化的3d碗和/或其渲染的視圖)。

5、在一些實施例中，由自我對象捕獲的緩存?zhèn)鞲衅鲾?shù)據(jù)和自我對象的自我運動用于實時重建車輛下方區(qū)域。例如，可以將車輛隨時間捕獲的圖像數(shù)據(jù)緩存到可視化地面或可行駛區(qū)域的合成地圖中，并且可以使用車輛的自我運動來檢索合成地圖的與車輛下方區(qū)域相對應(yīng)的區(qū)域。對于每個時間切片，表示該時間切片的新捕獲或生成的圖像可用于生成地面的觀察部分的局部地圖，并且該局部地圖可與表示先前觀察的局部地圖的合成地圖合并。因此，可通過使用車輛的自我運動從合成圖中檢索對應(yīng)像素來重建該時間切片的車輛下方區(qū)域。

6、在一些實施例中，傳感器數(shù)據(jù)可由自我對象(例如，在物理環(huán)境中行駛的車輛)的傳感器捕獲，并且傳感器數(shù)據(jù)的表示可從自我對象流式傳輸?shù)竭h(yuǎn)程位置以促進各種遠(yuǎn)程體驗，例如，流式傳輸?shù)竭h(yuǎn)程觀看者(例如，朋友或親戚)、流式傳輸?shù)竭h(yuǎn)程或車隊操作者、流式傳輸?shù)奖慌渲脼樽酝；蛘賳咀晕覍ο蟮囊苿討?yīng)用、渲染物理環(huán)境的3d增強現(xiàn)實(ar)或虛擬現(xiàn)實(vr)表示，和/或其他。在一些實施例中，所述流包括一個或更多個命令信道，所述命令信道用于控制數(shù)據(jù)收集、渲染、流內(nèi)容或甚至車輛操縱，諸如在緊急情況、自?；蛘賳厩榫称陂g。