本申請(qǐng)總體上涉及車輛攝像機(jī)系統(tǒng)，并且更具體地涉及生成包括攝像機(jī)系統(tǒng)的視野之內(nèi)的車輛周圍環(huán)境和視野之外的區(qū)域的混合攝像機(jī)視圖。

背景技術(shù)：

現(xiàn)有的環(huán)視或360°視野攝像機(jī)系統(tǒng)收集由位于車輛周圍的各個(gè)位置處的攝像機(jī)拍攝到的圖像，并且生成在車輛顯示器上顯示以便車輛操作者查看的車輛周圍環(huán)境的實(shí)況視圖。這些系統(tǒng)可以將圖像處理技術(shù)應(yīng)用于由每個(gè)攝像機(jī)在給定的時(shí)間點(diǎn)拍攝到的圖像以生成實(shí)況視圖。例如，圖像處理技術(shù)可以包括用于識(shí)別攝像機(jī)圖像之間的共同特征、根據(jù)共同特征對(duì)準(zhǔn)圖像、并且將圖像組合或拼接在一起以形成車輛周圍環(huán)境的全景視圖的圖像配準(zhǔn)或其它技術(shù)?，F(xiàn)有的圖像處理技術(shù)還包括減少圖像失真、將信息覆蓋到圖像上、和/或均衡圖像特性(例如亮度或?qū)Ρ榷?以形成更均勻的全景圖像。

現(xiàn)有的車輛攝像機(jī)系統(tǒng)還使用圖像處理以在組合圖像以形成全景或環(huán)視圖像之前和/或之后并且在將所得到的圖像作為車輛周圍環(huán)境的實(shí)況視頻饋送在車輛顯示器上顯示之前改變拍攝到的圖像的視角。例如，每一個(gè)攝像機(jī)可以被定位在車輛上以拍攝對(duì)應(yīng)于相對(duì)于車輛的特定視野的圖像，例如，前視圖、左側(cè)視圖、右側(cè)視圖和后視圖。圖像處理技術(shù)可以被用于將由每一個(gè)攝像機(jī)拍攝到的圖像的視角變換成例如俯視圖或自上而下視圖(top-downview)。

例如，圖1a描繪了在現(xiàn)有的360°視野攝像機(jī)系統(tǒng)的當(dāng)前視野之內(nèi)的常規(guī)車輛10周圍的區(qū)域。攝像機(jī)系統(tǒng)可以包括至少前部攝像機(jī)、左側(cè)攝像機(jī)、右側(cè)攝像機(jī)和后部攝像機(jī)，并且每一個(gè)攝像機(jī)可以被定位在車輛10上以從相應(yīng)的視野(例如，分別為前部、左側(cè)、右側(cè)和后部視野)拍攝車輛周圍環(huán)境的圖像數(shù)據(jù)。車輛攝像機(jī)系統(tǒng)可以被配置為改變由每一個(gè)攝像機(jī)拍攝到的圖像的視角和/或?qū)τ擅恳粋€(gè)攝像機(jī)拍攝到的圖像應(yīng)用其他圖像處理技術(shù)，以獲得在該攝像機(jī)的視野之內(nèi)的區(qū)域的相應(yīng)的俯視圖，例如如圖1a所示的前部攝像機(jī)俯視圖、左側(cè)攝像機(jī)俯視圖、右側(cè)攝像機(jī)俯視圖和后部攝像機(jī)俯視圖。

為了說明，圖1b示出了停放在停車場(chǎng)14內(nèi)的停車位13中的車輛10的示例性俯視圖像12，圖像12被顯示在車輛顯示器16上。俯視圖像12可以由現(xiàn)有的360°視野攝像機(jī)系統(tǒng)使用從車輛10上的前部、左側(cè)、右側(cè)和后部攝像機(jī)拍攝到的圖像數(shù)據(jù)并且應(yīng)用上述圖像處理技術(shù)而生成。特別地，前部攝像機(jī)圖像數(shù)據(jù)可以被轉(zhuǎn)換成表示在前部攝像機(jī)的視野之內(nèi)的停車場(chǎng)區(qū)域的俯視圖的圖像，左側(cè)攝像機(jī)圖像數(shù)據(jù)可以被轉(zhuǎn)換成表示在左側(cè)攝像機(jī)的視野之內(nèi)的停車場(chǎng)區(qū)域的俯視圖的圖像，右側(cè)攝像機(jī)圖像數(shù)據(jù)可以被轉(zhuǎn)換成表示在右側(cè)攝像機(jī)的視野之內(nèi)的停車場(chǎng)區(qū)域的俯視圖的圖像，并且后部攝像機(jī)圖像數(shù)據(jù)可以被轉(zhuǎn)換成表示在后部攝像機(jī)的視野之內(nèi)的停車場(chǎng)區(qū)域的俯視圖的圖像。

現(xiàn)有的360°視野攝像機(jī)系統(tǒng)的一個(gè)缺點(diǎn)是所得到的環(huán)視圖像或由其組成的實(shí)況視頻饋送限于在車輛攝像機(jī)的當(dāng)前視野之內(nèi)拍攝到的圖像數(shù)據(jù)。例如，在圖1a中，灰色陰影區(qū)域表示從當(dāng)前視野中排除或在當(dāng)前視野之外的車輛10下方以及緊密圍繞車輛10的區(qū)域18。也就是說，每一個(gè)車輛攝像機(jī)的當(dāng)前視野不包括圖1a所示的區(qū)域18的任何部分。因此，現(xiàn)有的攝像機(jī)系統(tǒng)不具有呈現(xiàn)表示區(qū)域18或系統(tǒng)的當(dāng)前視野之外的其他區(qū)域的圖像數(shù)據(jù)的能力，并且可能將這些區(qū)域描繪為環(huán)繞圖像12內(nèi)的不可識(shí)別的灰色區(qū)域，如圖1b所示。

因此，在本領(lǐng)域中仍然需要可以提供關(guān)于在車輛攝像機(jī)的當(dāng)前視野之外的一個(gè)或多個(gè)區(qū)域的圖像數(shù)據(jù)或其他信息的車輛攝像機(jī)系統(tǒng)和方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明旨在通過提供被配置為生成車輛周圍環(huán)境的混合攝像機(jī)視圖的系統(tǒng)和方法來解決上述以及其他問題，該混合攝像機(jī)視圖包括在車輛攝像機(jī)的當(dāng)前視野之內(nèi)的區(qū)域的實(shí)況視頻或?qū)崟r(shí)視圖和表示鄰近車輛攝像機(jī)的當(dāng)前視野或在車輛攝像機(jī)的當(dāng)前視野之外的區(qū)域的補(bǔ)充或時(shí)間延遲視圖，補(bǔ)充視圖是使用存儲(chǔ)的由車輛攝像機(jī)先前拍攝到的圖像數(shù)據(jù)生成的。

例如，一個(gè)實(shí)施例提供了一種車輛，該車輛包含用于拍攝車輛周圍的視野之內(nèi)的圖像的多個(gè)攝像機(jī)；處理器，該處理器用于使用當(dāng)前拍攝到的圖像來生成視野之內(nèi)的區(qū)域的實(shí)時(shí)視圖并且使用存儲(chǔ)在存儲(chǔ)器中的先前拍攝到的圖像來生成視野之外的區(qū)域的時(shí)間延遲視圖；以及用于顯示包含實(shí)時(shí)視圖和時(shí)間延遲視圖的混合視圖的顯示器。

另一個(gè)示例實(shí)施例提供了一種方法，該方法包含：從存儲(chǔ)器中檢索示出車輛周圍的區(qū)域的存儲(chǔ)的圖像；基于檢索到的圖像由處理器來生成車輛下方的表面的時(shí)間延遲視圖；由處理器組合時(shí)間延遲視圖與由位于車輛周圍的攝像機(jī)拍攝到的實(shí)時(shí)圖像以形成車輛的混合視圖；以及將混合視圖提供至車輛顯示器以在其上顯示。

另一個(gè)示例實(shí)施例提供了一種車輛攝像機(jī)系統(tǒng)，該車輛攝像機(jī)系統(tǒng)包含：多個(gè)攝像機(jī)和處理器，該多個(gè)攝像機(jī)被配置為拍攝車輛周圍的視野之內(nèi)的圖像，該處理器被配置為使用當(dāng)前拍攝到的圖像來生成視野之內(nèi)的區(qū)域的實(shí)時(shí)視圖、使用存儲(chǔ)在存儲(chǔ)器中的先前拍攝到的圖像來生成視野之外的區(qū)域的時(shí)間延遲視圖、以及通過將時(shí)間延遲視圖整合到實(shí)時(shí)視圖中來生成車輛的混合視圖。

如可以領(lǐng)會(huì)的是，本公開是由所附的權(quán)利要求來限定。本說明書概述了實(shí)施例的多個(gè)方面并且不應(yīng)該被用于限制權(quán)利要求。根據(jù)本文所描述的技術(shù)，其他實(shí)施例是可預(yù)期的，如基于對(duì)以下附圖和具體實(shí)施例的考查對(duì)本領(lǐng)域普通技術(shù)人員來說將是顯而易見的，并且這樣的實(shí)施例旨在包含在本申請(qǐng)的范圍之內(nèi)。

附圖說明

為了更好地理解本發(fā)明，可以參照以下附圖中所示的實(shí)施例。附圖中的部件不一定按比例繪制并且相關(guān)元件可以被省略，或在某些情況下比例可以被夸大，以便強(qiáng)調(diào)和清楚地說明在此所描述的新穎性特征。此外，系統(tǒng)部件可以不同地布置，如本領(lǐng)域中已知的那樣。進(jìn)一步地，在附圖中，貫穿幾個(gè)視圖，相同的附圖標(biāo)記指代相應(yīng)的部分。

圖1a是定義現(xiàn)有的車輛攝像機(jī)系統(tǒng)的當(dāng)前視野的圖示；

圖1b是通過現(xiàn)有的車輛攝像機(jī)系統(tǒng)在圖1a所示的視野之內(nèi)拍攝到的示例性圖像數(shù)據(jù)的圖示；

圖2是根據(jù)某些實(shí)施例表示使用第一圖像處理技術(shù)生成的混合攝像機(jī)視圖的示例性圖像數(shù)據(jù)的圖示；

圖3是根據(jù)某些實(shí)施例表示使用第二圖像處理技術(shù)生成的混合攝像機(jī)視圖的示例性圖像數(shù)據(jù)的圖示；

圖4是根據(jù)某些實(shí)施例示出用于生成圖2和/或3的混合攝像機(jī)視圖的示例性車輛計(jì)算系統(tǒng)的框圖；

圖5是根據(jù)某些實(shí)施例用于提供圖2和/或3的混合攝像機(jī)視圖的示例方法的流程圖。

具體實(shí)施方式

雖然本發(fā)明可以實(shí)施為各種形式，但是在附圖中示出并且將在下文中描述一些示例性和非限制性實(shí)施例，要理解的是，本公開應(yīng)被認(rèn)為是本發(fā)明的例證，而不是旨在將本發(fā)明限制為所說明的具體實(shí)施例。

在本申請(qǐng)中，轉(zhuǎn)折連詞的使用旨在包括連詞。定冠詞或不定冠詞的使用并不旨在表示基數(shù)。特別是，參考“該”對(duì)象或“一個(gè)(a/an)”對(duì)象旨在還表示可能的復(fù)數(shù)個(gè)這樣的對(duì)象之一。

本文提供了用于使用根據(jù)實(shí)施例的車輛攝像機(jī)系統(tǒng)生成車輛及其周圍環(huán)境(包括車輛下方的區(qū)域)的混合攝像機(jī)視圖的系統(tǒng)和方法。該車輛攝像機(jī)系統(tǒng)(例如，圖4所示的車輛攝像機(jī)系統(tǒng)402)可以包括位于車輛上的各個(gè)位置處以拍攝相對(duì)于車輛的不同視圖的多個(gè)攝像機(jī)。例如，該車輛攝像機(jī)系統(tǒng)可以包括前視攝像機(jī)、后視攝像機(jī)、左視攝像機(jī)和右視攝像機(jī)(例如，圖4所示的攝像機(jī)404-410)。由車輛攝像機(jī)在給定的時(shí)間點(diǎn)拍攝到的視圖可以共同形成車輛攝像機(jī)系統(tǒng)的當(dāng)前視野，并且可以作為車輛周圍環(huán)境的實(shí)況視頻饋送的一部分在車輛顯示器上顯示。如圖1a所示，由于例如攝像機(jī)系統(tǒng)的每一個(gè)車輛攝像機(jī)的角度和/或位置和/或其他限制，車輛下方以及緊密圍繞或緊鄰車輛的區(qū)域(即，區(qū)域18)可能被從常規(guī)攝像機(jī)系統(tǒng)的當(dāng)前視野中排除或者在常規(guī)攝像機(jī)系統(tǒng)的當(dāng)前視野之外。根據(jù)實(shí)施例，本文所描述的混合攝像機(jī)視圖利用表示車輛攝像機(jī)系統(tǒng)的當(dāng)前視野之外的至少一個(gè)區(qū)域的存儲(chǔ)的圖像數(shù)據(jù)來補(bǔ)充車輛周圍環(huán)境的實(shí)況視頻饋送，從而為車輛操作者提供更完整的車輛附近的圖片。

更具體地，圖2說明了根據(jù)本文所論述的技術(shù)可以由處理器(例如，圖4所示的處理器412)生成的示例性混合攝像機(jī)視圖200。類似于圖1b所示的圖像12，混合攝像機(jī)視圖200示出停放在停車場(chǎng)14內(nèi)的停車位13中的車輛100，并且混合攝像機(jī)視圖200被顯示在車輛顯示器201上以呈現(xiàn)給車輛操作者。然而，如圖2所示，混合攝像機(jī)視圖200在一個(gè)視圖內(nèi)同時(shí)呈現(xiàn)(i)實(shí)時(shí)視圖202，其包含對(duì)應(yīng)于車輛攝像機(jī)系統(tǒng)的當(dāng)前視野之內(nèi)的區(qū)域的圖像數(shù)據(jù)，例如，常規(guī)的實(shí)況視頻饋送；和(ii)補(bǔ)充或時(shí)間延遲視圖208，其包含對(duì)應(yīng)于鄰近車輛攝像機(jī)系統(tǒng)的當(dāng)前視野和/或在車輛攝像機(jī)系統(tǒng)的當(dāng)前視野之外的一個(gè)或多個(gè)區(qū)域的存儲(chǔ)的圖像數(shù)據(jù)。例如，在圖2中，實(shí)時(shí)視圖202包含表示車輛100周圍(例如，在前側(cè)、左側(cè)、右側(cè)和后側(cè))并且在當(dāng)前視野之內(nèi)的停車場(chǎng)區(qū)域的實(shí)況或拍攝到的圖像數(shù)據(jù)，并且補(bǔ)充視圖208包含表示大部分在車輛100下方并且沒有被實(shí)時(shí)視圖202拍攝到的停車場(chǎng)104的區(qū)域的存儲(chǔ)的圖像數(shù)據(jù)。

在實(shí)施例中，實(shí)時(shí)視圖202可以構(gòu)成實(shí)況視頻饋送，該實(shí)況視頻饋送通過將由車輛攝像機(jī)當(dāng)前拍攝到的圖像(本文中也被稱為“當(dāng)前拍攝到的圖像”)實(shí)時(shí)地或接近實(shí)時(shí)地組合或拼接在一起而生成。處理器可以被配置為使用各種圖像處理技術(shù)來生成實(shí)時(shí)視圖202，諸如，例如，圖像配準(zhǔn)、校正、平移和旋轉(zhuǎn)。在實(shí)施例中，由車輛攝像機(jī)拍攝到的每一個(gè)圖像除了圖像數(shù)據(jù)之外還可以包括時(shí)間分量，諸如，例如，時(shí)間戳。圖像配準(zhǔn)技術(shù)可以被用于處理拍攝到的圖像并且將圖像數(shù)據(jù)內(nèi)的每一個(gè)像素映射到三維(3d)空間中相應(yīng)的位置，其中第三維度是時(shí)間并且像素被分配其余兩個(gè)維度內(nèi)的坐標(biāo)。像素配準(zhǔn)可以被用于識(shí)別由前部、左側(cè)、右側(cè)和后部攝像機(jī)同時(shí)拍攝到的圖像，并且沿著共同特征或像素匹配或?qū)?zhǔn)這些圖像。在一些情況下，實(shí)時(shí)視圖202可以通過將對(duì)準(zhǔn)的圖像拼接在一起以形成全景圖像或諸如此類而生成。

在實(shí)施例中，由車輛攝像機(jī)拍攝到的圖像可以被周期性地存儲(chǔ)在存儲(chǔ)器(例如，圖4所示的數(shù)據(jù)存儲(chǔ)設(shè)備414)中以便將來檢索和處理。存儲(chǔ)當(dāng)前拍攝到的圖像的速率和/或存儲(chǔ)在存儲(chǔ)器中的圖像的數(shù)量可以基于例如車輛100的速度、車輛100的行駛方向、車輛攝像機(jī)系統(tǒng)的當(dāng)前視野、可用的存儲(chǔ)器的量和/或其他相關(guān)因素來調(diào)節(jié)。在一些情況下，圖像數(shù)據(jù)可以在被刪除以便為新拍攝到的圖像數(shù)據(jù)形成空間之前被臨時(shí)地存儲(chǔ)在存儲(chǔ)器中持續(xù)預(yù)定量的時(shí)間。每一個(gè)圖像可以與其時(shí)間分量和/或像素配準(zhǔn)相關(guān)聯(lián)地存儲(chǔ)以用于未來圖像處理。

根據(jù)實(shí)施例，補(bǔ)充視圖208可以通過組合存儲(chǔ)在存儲(chǔ)器中并且示出當(dāng)前視野之外的區(qū)域的先前拍攝到的圖像的部分而生成。例如，在許多情況下，車輛攝像機(jī)將在車輛100到達(dá)該區(qū)域之前的時(shí)刻已拍攝當(dāng)前在車輛100下方的區(qū)域。例如，在圖2的情況下，當(dāng)車輛100接近并且進(jìn)入停車位13時(shí)，車輛攝像機(jī)可以拍攝區(qū)域108的圖像。補(bǔ)充視圖208可以通過以下方式生成：收集這些圖像或?qū)⑦@些圖像存儲(chǔ)在存儲(chǔ)器中，并且將先前拍攝到的圖像數(shù)據(jù)的相關(guān)部分組合或拼接在一起以形成現(xiàn)在在車輛攝像機(jī)的當(dāng)前視野之外的區(qū)域的表示。例如，使用用于每一個(gè)圖像的像素配準(zhǔn)，處理器可以識(shí)別示出車輛100下方的路面或區(qū)域108的其他部分的每一個(gè)存儲(chǔ)的圖像中的某些特征或像素，沿著共同特征對(duì)準(zhǔn)所識(shí)別的圖像，并且組合對(duì)準(zhǔn)的圖像以形成補(bǔ)充視圖208。

在實(shí)施例中，處理器可以被配置為利用由車輛攝像機(jī)當(dāng)前拍攝到并且顯示在車輛顯示器201上的實(shí)況圖像數(shù)據(jù)來空間地校正存儲(chǔ)在存儲(chǔ)器中的先前拍攝到的圖像，以便形成車輛100下方的道路的緊密結(jié)合的虛擬視圖，如圖2中的補(bǔ)充視圖208所示。在實(shí)施例中，車輛動(dòng)態(tài)傳感器(例如，圖4所示的車輛動(dòng)態(tài)傳感器416)可以被用于追蹤車輛的當(dāng)前運(yùn)動(dòng)狀態(tài)(例如，橫擺率、縱向和橫向加速度等)并且相應(yīng)地校準(zhǔn)車輛攝像機(jī)系統(tǒng)。用于生成補(bǔ)充視圖208的存儲(chǔ)的圖像可以基于車輛的當(dāng)前移動(dòng)狀態(tài)被適當(dāng)?shù)仄揭坪托D(zhuǎn)，使得補(bǔ)充視圖208和/或其中所示的路面被顯示在車輛顯示器201上相對(duì)于車輛100的當(dāng)前位置和實(shí)時(shí)視圖202的當(dāng)前取向的正確的位置處。例如，當(dāng)車輛100正進(jìn)入停車位13時(shí)，可以預(yù)先拍攝區(qū)域18的存儲(chǔ)的圖像，并且因此可以以一定角度拍攝區(qū)域18內(nèi)的路面。但是在圖2中，車輛100當(dāng)前平行于停車位13停放并且在停車位13的正上方。因此，當(dāng)生成補(bǔ)充視圖208時(shí)，相應(yīng)的存儲(chǔ)的圖像可能需要被校準(zhǔn)(例如，平移、旋轉(zhuǎn)等)以匹配車輛的當(dāng)前位置。

假定需要存儲(chǔ)的圖像數(shù)據(jù)來形成補(bǔ)充視圖208，與同時(shí)顯示在車輛顯示器201上的實(shí)時(shí)視圖202相比，補(bǔ)充視圖208必須至少有些時(shí)間延遲。一定量的時(shí)間延遲也可以根據(jù)車輛100的速度(如果行駛的話)以及其他因素(諸如，例如，存儲(chǔ)器、處理器、攝像機(jī)和顯示器的處理速度、圖像處理技術(shù)的類型和復(fù)雜程度、以及其它考慮)而引入，如可以領(lǐng)會(huì)的那樣。

在實(shí)施例中，補(bǔ)充視圖208可以被連續(xù)地或周期性地更新，例如，當(dāng)新拍攝到的圖像數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器中和/或當(dāng)車輛100移動(dòng)到新位置時(shí)，以便保持補(bǔ)充視圖208盡可能接近實(shí)時(shí)。例如，一旦當(dāng)前拍攝到的圖像數(shù)據(jù)被存儲(chǔ)在存儲(chǔ)器中作為新的先前拍攝到的圖像數(shù)據(jù)，處理器就可以使用新存儲(chǔ)的圖像來生成時(shí)間延遲視圖208的更新版本，并且更新的時(shí)間延遲視圖可以在車輛顯示器201上呈現(xiàn)以代替當(dāng)前正在顯示的時(shí)間延遲視圖208。根據(jù)可用的處理速度，補(bǔ)充視圖208可以使用剛好在實(shí)時(shí)視圖202所述的圖像之前由車輛攝像機(jī)拍攝到的圖像數(shù)據(jù)來生成。在實(shí)施例中，處理器可以被配置為獨(dú)立地更新混合攝像機(jī)視圖200的這兩個(gè)部分，以便實(shí)時(shí)視圖202可以實(shí)時(shí)更新而補(bǔ)充視圖208繼續(xù)接收如本文所述的時(shí)間延遲內(nèi)容。

在一些情況下，補(bǔ)充視圖208可能不可用直到足夠的圖像數(shù)據(jù)已被存儲(chǔ)在存儲(chǔ)器中和/或車輛100開始移動(dòng)。例如，當(dāng)首次開啟車輛和/或攝像機(jī)系統(tǒng)時(shí)，由于車輛攝像機(jī)還沒有拍攝任何圖像，所以可能沒有圖像數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器中。另外，為了形成例如車輛100下方的路面的時(shí)間延遲視圖的目的，車輛攝像機(jī)系統(tǒng)將不具有對(duì)應(yīng)于該區(qū)域的圖像數(shù)據(jù)，直到車輛100移動(dòng)到新的位置。因此，當(dāng)首次開啟攝像機(jī)系統(tǒng)并且直到車輛100開始移動(dòng)時(shí)，補(bǔ)充視圖208可能不可用。在這樣的情況下，混合攝像機(jī)視圖200可以在為補(bǔ)充視圖208保留的空間中簡(jiǎn)要地包括空白圖像。一旦車輛100開始移動(dòng)并且車輛攝像機(jī)開始拍攝圖像，存儲(chǔ)器就將開始接收當(dāng)前拍攝到的圖像進(jìn)行存儲(chǔ)。一旦將這些圖像存儲(chǔ)在存儲(chǔ)器中，處理器就可以開始形成補(bǔ)充視圖208。

在實(shí)施例中，補(bǔ)充視圖208可以被配置為提供車輛100下方的路面的虛擬視圖的“玻璃底(glass-bottom)”視圖。例如，車輛100的至少部分透明圖像210可以覆蓋補(bǔ)充視圖208中所示的圖像數(shù)據(jù)，使得車輛100下方的路面以及位于其上的任何對(duì)象可以通過車輛圖像210看到。在圖2中，玻璃底補(bǔ)充視圖208顯示在車輛100的發(fā)動(dòng)機(jī)罩區(qū)域下方的地面上的對(duì)象212(例如，充電線圈)，并且車輛100的前端已越過停車線214。在一些實(shí)施例中，混合攝像機(jī)視圖200可以被車輛操作者使用以幫助將車輛100精確地定位在車輛100下方的無(wú)線車輛充電線圈或其他結(jié)構(gòu)上方和/或在劃定的停車位內(nèi)對(duì)準(zhǔn)車輛100。車輛圖像210可以被預(yù)先選擇為與車輛100相同或相似的品牌、型號(hào)和/或顏色。在一些情況下，車輛圖像210可以由車輛100或類似車輛的一個(gè)或多個(gè)照片組成。

在實(shí)施例中，混合攝像機(jī)視圖200可以通過將補(bǔ)充視圖208整合到實(shí)時(shí)視圖202中而生成。例如，實(shí)時(shí)視圖202可以包括空白空間、灰色陰影區(qū)域或者表示在車輛攝像機(jī)系統(tǒng)的當(dāng)前視野之外的不可識(shí)別的區(qū)域(例如，如圖1b中所描繪的區(qū)域18所示)的其他標(biāo)記。最初可以在車輛顯示器201上顯示空白空間，例如，當(dāng)首次開啟車輛顯示器201并且在由車輛攝像機(jī)系統(tǒng)拍攝到的圖像數(shù)據(jù)已被存儲(chǔ)在存儲(chǔ)器中之前。一旦存儲(chǔ)器具有足夠的存儲(chǔ)的圖像以形成區(qū)域18的表示，處理器就可以利用補(bǔ)充視圖208來替換實(shí)時(shí)視圖202的空白空間，從而形成混合攝像機(jī)視圖200。

根據(jù)實(shí)施例，處理器可以被配置為使用圖像配準(zhǔn)和/或其他圖像處理技術(shù)來將補(bǔ)充視圖208的邊緣與實(shí)時(shí)視圖202的邊緣對(duì)準(zhǔn)，使得混合攝像機(jī)視圖200提供車輛周圍環(huán)境的視覺上緊密結(jié)合的圖像，如圖2所示。例如，為了形成混合攝像機(jī)視圖200，處理器可以被配置為使用特征檢測(cè)、匹配和對(duì)準(zhǔn)技術(shù)來識(shí)別實(shí)時(shí)視圖202的邊緣；使用實(shí)時(shí)視圖202中的當(dāng)前拍攝到的圖像作為參考，識(shí)別補(bǔ)充視圖208中的先前拍攝到的圖像中匹配出現(xiàn)在當(dāng)前拍攝到的圖像的邊緣處的特征的某些特征；并且沿著這些匹配特征將先前拍攝到的圖像與當(dāng)前拍攝到的圖像對(duì)準(zhǔn)，以便將補(bǔ)充視圖208整合到實(shí)時(shí)視圖202的空白空間中。

在圖2中，混合攝像機(jī)視圖200示出了車輛100的俯視視角。圖像處理技術(shù)可以被用于根據(jù)需要將補(bǔ)充視圖208和實(shí)時(shí)視圖202或其中包括的圖像的原始視角轉(zhuǎn)換成所示的俯視視圖。在其他情況下，混合攝像機(jī)視圖200可以從不同的視點(diǎn)來呈現(xiàn)，諸如，例如，鳥瞰視圖、鳥瞰拍攝視圖或在車輛上向下看或者從原始以其他方式改變的任何其他俯視圖。在一個(gè)實(shí)施例中，混合攝像機(jī)視圖200可以被配置為示出車輛100的三維視圖，使得攝像機(jī)看起來位于車輛100上方(例如，10英尺高)，并且離開車輛100的一側(cè)(例如，從后左或后右角)。在一些情況下，處理器還可以使用校正技術(shù)來使用于形成混合攝像機(jī)視圖200的圖像平坦化，以便實(shí)現(xiàn)所需的視角，諸如，例如，二維俯視圖。

在圖2中，補(bǔ)充視圖208以虛線來描繪僅僅為了說明。也就是說，在所示的實(shí)施例中，混合攝像機(jī)視圖200可以在補(bǔ)充視圖208與實(shí)時(shí)視圖202之間不包含分界，使得二者看起來形成一個(gè)緊密結(jié)合的圖像。在其他實(shí)施例中，補(bǔ)充視圖208可以被呈現(xiàn)有一個(gè)或多個(gè)區(qū)分特性，以在視覺上區(qū)分時(shí)間延遲的補(bǔ)充視圖208與實(shí)時(shí)視圖202。在一些情況下，區(qū)分特性可以是輕微的，例如輪廓，像圖2中用于指示補(bǔ)充視圖208的外邊緣或邊界的虛線。在其他情況下，對(duì)應(yīng)于補(bǔ)充視圖208的整個(gè)區(qū)域可以具有區(qū)分特性。

例如，包括在補(bǔ)充視圖208中的記錄的圖像可以以黑白顯示，而包括在實(shí)時(shí)視圖202中的實(shí)時(shí)圖像可以以彩色顯示。作為另一個(gè)示例，補(bǔ)充視圖208可以利用不同的圖像處理技術(shù)(例如邊緣檢測(cè))來顯示以區(qū)分時(shí)間延遲區(qū)域與實(shí)時(shí)視圖202。圖3示出了通過利用與實(shí)時(shí)視圖302相比顛倒的顏色(例如，深色變淺和淺色變深等)顯示補(bǔ)充視圖308來區(qū)分實(shí)時(shí)視圖302和補(bǔ)充視圖308的示例混合攝像機(jī)視圖300。用于視覺上區(qū)分在同一混合攝像機(jī)視圖200內(nèi)的實(shí)時(shí)視圖202和補(bǔ)充視圖208的其他技術(shù)也是可預(yù)期的。

圖4示出了根據(jù)實(shí)施例被配置為生成混合攝像機(jī)視圖(例如混合攝像機(jī)視圖200和/或300)的示例性車輛計(jì)算系統(tǒng)(vcs)400。vcs400可以被包括在任何類型的車輛中，包括，例如，圖2所示的車輛100。在實(shí)施例中，車輛計(jì)算系統(tǒng)400可以是車輛100的車輛電子系統(tǒng)或信息娛樂系統(tǒng)的一部分，例如由福特汽車公司(fordmotor)制造的同步系統(tǒng)。vcs400的其它實(shí)施例可以包括與下面所描述和圖4所示的部件不同的、更少的或附加的部件。

如圖所示，車輛計(jì)算系統(tǒng)400可以包含車輛攝像機(jī)系統(tǒng)402。車輛攝像機(jī)系統(tǒng)402包括多個(gè)攝像機(jī)，該多個(gè)攝像機(jī)包括前視攝像機(jī)404、后視攝像機(jī)406、左視攝像機(jī)408和右視攝像機(jī)410。多個(gè)攝像機(jī)可以分別位于例如車輛100的前側(cè)、后側(cè)、左側(cè)和右側(cè)處，以便拍攝圖1a所示的視野。

如圖所示，vcs400還包括數(shù)據(jù)處理器412、數(shù)據(jù)存儲(chǔ)設(shè)備414、車輛動(dòng)態(tài)傳感器416和車輛數(shù)據(jù)總線418。vcs400可以進(jìn)一步包括負(fù)責(zé)監(jiān)測(cè)和控制車輛100的電氣系統(tǒng)或子系統(tǒng)的各種電子控制單元(ecu)。每一個(gè)ecu可以包括例如用于收集、接收和/或傳送數(shù)據(jù)的一個(gè)或多個(gè)輸入和輸出、用于存儲(chǔ)數(shù)據(jù)的存儲(chǔ)器、以及用于處理數(shù)據(jù)和/或基于此生成新信息的處理器。在所示的實(shí)施例中，vcs400的ecu包括人機(jī)界面(hmi)402并且在某些情況下還包括車輛攝像機(jī)系統(tǒng)402。盡管未示出，但是vcs400可以包括其它ecu，諸如，例如，用于控制和監(jiān)測(cè)車輛100的約束系統(tǒng)的約束控制模塊(rcm)、用于控制和監(jiān)測(cè)車輛100的發(fā)動(dòng)機(jī)和變速器系統(tǒng)的動(dòng)力傳動(dòng)系統(tǒng)控制模塊(pcm)、用于使車輛100能夠連接到一個(gè)或多個(gè)無(wú)線網(wǎng)絡(luò)的遠(yuǎn)程信息處理控制單元(tcu)、以及用于控制和監(jiān)測(cè)車輛100的車身中的各種電子配件的車身控制模塊(bcm)。

vcs400的ecu可以通過車輛數(shù)據(jù)總線418(例如，控制器局域網(wǎng)(can)總線)互連，車輛數(shù)據(jù)總線418將數(shù)據(jù)傳遞到各種ecu和vcs400的其他部件(例如，車輛動(dòng)態(tài)傳感器416)以及與vcs400通信的其他車輛和/或輔助部件并且傳遞來自它們的數(shù)據(jù)。此外，數(shù)據(jù)處理器412可以經(jīng)由數(shù)據(jù)總線418與ecu、傳感器416和數(shù)據(jù)存儲(chǔ)設(shè)備414中的任何一個(gè)通信，以便執(zhí)行一個(gè)或多個(gè)功能，包括與混合視圖模塊422相關(guān)的功能。

在一些情況下，車輛攝像機(jī)系統(tǒng)402可以被實(shí)施為包含單獨(dú)的存儲(chǔ)器和單獨(dú)的處理器的電子控制單元(ecu)，該單獨(dú)的存儲(chǔ)器用于存儲(chǔ)混合視圖模塊422和/或用于執(zhí)行本文所描述的圖像處理技術(shù)的其他程序模塊或軟件指令，該單獨(dú)的處理器用于執(zhí)行存儲(chǔ)在ecu存儲(chǔ)器中的指令。在其他情況下，車輛攝像機(jī)系統(tǒng)402將由攝像機(jī)404-410拍攝到的圖像424提供至數(shù)據(jù)處理器412，以根據(jù)存儲(chǔ)在數(shù)據(jù)存儲(chǔ)設(shè)備414中的指令進(jìn)行處理，如圖4所示。在這種情況下，混合視圖模塊422和由攝像機(jī)404-410拍攝到的圖像424可以被存儲(chǔ)在數(shù)據(jù)存儲(chǔ)設(shè)備414中，如圖4所示。在實(shí)施例中，數(shù)據(jù)處理器412可以從數(shù)據(jù)存儲(chǔ)設(shè)備414中檢索存儲(chǔ)的圖像424中的一個(gè)或多個(gè)，以便生成圖2所示的補(bǔ)充視圖208或以其他方式執(zhí)行包括在混合視圖模塊422中的指令。另外，數(shù)據(jù)存儲(chǔ)設(shè)備414還可以存儲(chǔ)可以被用于生成混合攝像機(jī)視圖200的儲(chǔ)備圖像426(諸如，例如，圖2所示的車輛圖像210)和/或其他預(yù)先配置的圖像。

人機(jī)界面(hmi)420(也被稱為“用戶界面”)可以是用于允許用戶與車輛100交互、用于向車輛操作者呈現(xiàn)車輛信息并且用于向車輛操作者顯示混合攝像機(jī)視圖的ecu。hmi420可以包含儀表板(ip)428、媒體顯示屏430(例如，圖2所示的車輛顯示器201)、以及用于輸入、鍵入、接收、捕獲、顯示或輸出與車輛計(jì)算系統(tǒng)400、車輛攝像機(jī)系統(tǒng)402和/或本文所公開的技術(shù)相關(guān)聯(lián)的數(shù)據(jù)的一個(gè)或多個(gè)輸入設(shè)備(未示出)和/或輸出設(shè)備(未示出)。hmi420可以被配置為經(jīng)由數(shù)據(jù)總線418來與vcs400的其他ecu和/或數(shù)據(jù)處理器412交互，以便將經(jīng)由hmi420接收到的信息或輸入提供至vcs400的適當(dāng)部件并且向車輛操作者呈現(xiàn)從vcs400的各種部件接收到的信息或輸出，包括用于在媒體顯示屏430和/或ip428上顯示的混合攝像機(jī)視圖。

在實(shí)施例中，儀表板428(也被稱為“儀表盤”或“組合儀表”)包括位于駕駛員座椅前方的控制面板，用于容納儀表和用于車輛100的操作的控制器，包括，例如，方向盤、各種儀表(例如，速度計(jì)、里程表、燃料計(jì)等)和各種車輛指示器，諸如，例如，擋位選擇器的選擇的位置、座椅安全帶警告、低燃料、低輪胎壓力等。在一些情況下，儀表板428包括用于電子地或數(shù)字地顯示各種儀表或與其相關(guān)的值以及各種車輛指示器的顯示屏。在這種情況下，混合攝像機(jī)視圖可以被顯示在ip428的顯示屏上。

媒體顯示屏430可以與儀表板428分開，用于顯示其他車輛信息，諸如，例如，導(dǎo)航系統(tǒng)信息、音頻系統(tǒng)信息、由外部車輛攝像機(jī)404-410當(dāng)前拍攝到的視頻和/或圖像、由車載攝像機(jī)(未示出)拍攝到的圖像、加熱和空調(diào)信息等。在實(shí)施例中，vcs400可以將混合攝像機(jī)視圖提供至媒體顯示屏430以在其上顯示。

車輛動(dòng)態(tài)傳感器416可以包括用于檢測(cè)、監(jiān)測(cè)和/或測(cè)量車輛100的當(dāng)前運(yùn)動(dòng)的任何類型的傳感器。例如，在一些實(shí)施例中，車輛動(dòng)態(tài)傳感器416可以包括輪速傳感器、橫向加速度傳感器、縱向加速度傳感器、方向盤傳感器、轉(zhuǎn)向角傳感器和橫擺率傳感器。這些傳感器416的輸出可以經(jīng)由車輛數(shù)據(jù)總線418被提供至處理器412。基于接收到的輸出，處理器412可以確定車輛的當(dāng)前運(yùn)動(dòng)狀態(tài)，包括，例如，橫擺率、縱向和橫向加速度、俯仰和側(cè)傾速率等。車輛的運(yùn)動(dòng)狀態(tài)可以被混合視圖模塊422使用以將混合攝像機(jī)視圖校準(zhǔn)到車輛的當(dāng)前位置。

混合視圖模塊422可以包含用于以下操作的軟件指令：使用對(duì)應(yīng)于當(dāng)前圍繞車輛的區(qū)域并且在攝像機(jī)404-410的當(dāng)前視野之內(nèi)的實(shí)況圖像數(shù)據(jù)來生成實(shí)時(shí)視圖；使用對(duì)應(yīng)于車輛100下方和/或緊密圍繞車輛100并且在當(dāng)前視野之外(例如，圖1a所示的區(qū)域18)的區(qū)域(例如，路面)的存儲(chǔ)的先前拍攝到的圖像數(shù)據(jù)來生成補(bǔ)充或時(shí)間延遲視圖；并且通過組合補(bǔ)充視圖與實(shí)時(shí)視圖來生成混合攝像機(jī)視圖。另外，混合視圖模塊422可以包含用于下列操作的軟件指令：將時(shí)間延遲視圖更新為存儲(chǔ)在存儲(chǔ)器中的新拍攝到的圖像數(shù)據(jù)；將混合攝像機(jī)視圖提供至hmi420以便顯示給車輛操作者，以及執(zhí)行與混合攝像機(jī)視圖相關(guān)聯(lián)的其它功能。在一些情況下，混合視圖模塊422是獨(dú)立的模塊，其可以被添加到現(xiàn)有的車輛攝像機(jī)系統(tǒng)中以使得現(xiàn)有系統(tǒng)能夠生成混合攝像機(jī)視圖。在其他情況下，混合視圖模塊422可以被配置為用于替換用于處理和顯示拍攝到的圖像數(shù)據(jù)的現(xiàn)有軟件的新單元。

數(shù)據(jù)處理器412可以包含下列中的一個(gè)或多個(gè)：微處理器、微控制器、可編程邏輯陣列、專用集成電路、邏輯設(shè)備或用于處理、輸入、輸出、操縱、存儲(chǔ)、或檢索數(shù)據(jù)的其他電子設(shè)備。在實(shí)施例中，數(shù)據(jù)處理器412可以包括中央處理單元(cpu)和/或圖形處理單元(gpu)。在一些實(shí)施例中，vcs400可以包含通用計(jì)算機(jī)，該通用計(jì)算機(jī)編程有存儲(chǔ)在數(shù)據(jù)存儲(chǔ)設(shè)備414(例如，電子存儲(chǔ)器)或其他地方中的各種編程指令或模塊。

數(shù)據(jù)存儲(chǔ)設(shè)備414可以包含下列中的一個(gè)或多個(gè)：電子存儲(chǔ)器、非易失性隨機(jī)存取存儲(chǔ)器(例如ram)、觸發(fā)器(flip-flop)、計(jì)算機(jī)可寫或計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)、磁性或光學(xué)數(shù)據(jù)存儲(chǔ)設(shè)備、磁盤或光盤驅(qū)動(dòng)器、硬盤驅(qū)動(dòng)器、或用于存儲(chǔ)、檢索、讀取或?qū)懭霐?shù)據(jù)的其它電子設(shè)備。數(shù)據(jù)存儲(chǔ)設(shè)備414存儲(chǔ)一個(gè)或多個(gè)由數(shù)據(jù)處理器412執(zhí)行的軟件程序模塊或軟件指令，包括混合視圖模塊422。

圖5示出了根據(jù)實(shí)施例用于生成車輛及其周圍環(huán)境的混合攝像機(jī)視圖的示例方法500。方法500可以由包括在例如連接到車輛(例如，圖2所示的車輛100)的車輛計(jì)算系統(tǒng)(例如，圖4所示的車輛計(jì)算系統(tǒng)400)和/或車輛攝像機(jī)系統(tǒng)(例如，圖4所示的車輛攝像機(jī)系統(tǒng)402)中的一個(gè)或多個(gè)處理器(或控制器)執(zhí)行。在一個(gè)實(shí)施例中，方法500至少部分由vcs400的數(shù)據(jù)處理器412執(zhí)行，該數(shù)據(jù)處理器412執(zhí)行存儲(chǔ)在數(shù)據(jù)存儲(chǔ)設(shè)備414中的軟件，例如，混合視圖模塊422，并且與vcs400和/或耦合到其的車輛攝像機(jī)系統(tǒng)402的一個(gè)或多個(gè)部件交互。

在一些實(shí)施例中，方法500可以開始于步驟502，在步驟502，處理器和/或車輛攝像機(jī)系統(tǒng)接收由定位在車輛周圍的攝像機(jī)(例如，圖4所示的車輛攝像機(jī)404-410)當(dāng)前拍攝到的實(shí)時(shí)或?qū)崨r圖像并且將其存儲(chǔ)在存儲(chǔ)器中。在其他實(shí)施例中，方法500可以開始于步驟504。在步驟504，處理器和/或車輛攝像機(jī)系統(tǒng)從存儲(chǔ)器中檢索示出車輛周圍的區(qū)域(包括車輛下方的區(qū)域或路面)的存儲(chǔ)的圖像。存儲(chǔ)的圖像可以是先前拍攝到的圖像或者是由攝像機(jī)在拍攝在步驟502接收的實(shí)時(shí)圖像之前的時(shí)間點(diǎn)拍攝到的圖像。

在步驟506，處理器和/或車輛攝像機(jī)系統(tǒng)基于檢索到的圖像來生成車輛下方的表面(例如，圖1b中所示的區(qū)域18)的時(shí)間延遲視圖(例如，圖2所示的補(bǔ)充視圖208)。例如，車輛下方的表面可以在車輛攝像機(jī)的當(dāng)前視野之外，如圖1a所示。因此，在步驟502中接收和存儲(chǔ)的實(shí)時(shí)圖像可以不包括表示車輛下方的區(qū)域的圖像數(shù)據(jù)。

在一些實(shí)施例中，方法500進(jìn)一步包括步驟508，在步驟508，處理器和/或車輛攝像機(jī)系統(tǒng)使用在步驟502接收和存儲(chǔ)的實(shí)時(shí)圖像來生成車輛周圍的區(qū)域的實(shí)時(shí)視圖(例如，圖2所示的實(shí)時(shí)視圖202)。例如，實(shí)時(shí)視圖可以通過對(duì)準(zhǔn)和組合實(shí)時(shí)圖像的相應(yīng)方面而生成。在步驟510，處理器和/或車輛攝像機(jī)系統(tǒng)將時(shí)間延遲視圖與實(shí)時(shí)視圖或其中包括的實(shí)時(shí)圖像組合，以形成車輛的混合視圖。例如，實(shí)時(shí)視圖可以包括對(duì)應(yīng)于車輛下方的表面的位置的空白空間，并且時(shí)間延遲視圖可以被整合到該空白空間中以形成混合視圖。

在一些實(shí)施例中，方法500還包括步驟512，在步驟512，處理器和/或車輛攝像機(jī)系統(tǒng)格式化混合視圖以包括時(shí)間延遲視圖的第一特性和實(shí)時(shí)視圖的第二不同的特性。例如，實(shí)時(shí)視圖可以以彩色顯示，并且時(shí)間延遲視圖可以以黑白顯示。方法500進(jìn)一步包括步驟514，在步驟514，處理器和/或車輛攝像機(jī)系統(tǒng)將混合視圖提供至車輛顯示器(例如，圖4所示的顯示器430)以在其上顯示。

在一些實(shí)施例中，方法500進(jìn)一步包括步驟516，在步驟516，處理器和/或車輛攝像機(jī)系統(tǒng)基于從存儲(chǔ)器中檢索到的一組新的存儲(chǔ)的圖像(例如，新拍攝到的圖像數(shù)據(jù))來更新時(shí)間延遲視圖。同樣在一些實(shí)施例中，方法500進(jìn)一步包括步驟516，在步驟516，處理器和/或車輛攝像機(jī)系統(tǒng)將更新后的時(shí)間延遲視圖提供至車輛顯示器，以替換當(dāng)前正在顯示的時(shí)間延遲視圖。一旦車輛和/或車輛攝像機(jī)系統(tǒng)關(guān)閉，方法500就可以結(jié)束。

在某些實(shí)施例中，附圖——例如，圖5——中的過程描述或框可以表示代碼的模塊、段、或部分，代碼包括用于執(zhí)行過程中的特定邏輯功能或步驟的一個(gè)或多個(gè)可執(zhí)行指令。任何替代實(shí)施方式被包括在本文所描述的實(shí)施例的范圍之內(nèi)，其中功能可以根據(jù)涉及的功能按與所示或所討論的順序之外的順序執(zhí)行，包括大體上同時(shí)或以相反的順序，如本領(lǐng)域普通技術(shù)人員所理解的那樣。

應(yīng)當(dāng)強(qiáng)調(diào)的是，上述實(shí)施例，特別是，任何“優(yōu)選”實(shí)施例，是實(shí)施方式的可能示例，僅僅闡述用于清楚地理解本發(fā)明的原理。在大體上不脫離本文所描述的技術(shù)的精神和原理的前提下，可以對(duì)上述實(shí)施例作出許多變化和修改。所有這樣的修改在此旨在被包括在本公開的范圍之內(nèi)，并且受以下權(quán)利要求保護(hù)。