本申請(qǐng)要求于2014年5月14日提交的美國臨時(shí)專利申請(qǐng)No.61/993,050的優(yōu)先權(quán)的權(quán)益。通過引用將前述申請(qǐng)全部并入本文。

技術(shù)領(lǐng)域

本公開總體上涉及自主車輛導(dǎo)航，更具體地，涉及使用相機(jī)檢測(cè)與道路相關(guān)聯(lián)的路緣并評(píng)估潛在的行人危險(xiǎn)的系統(tǒng)和方法。

背景技術(shù)：

隨著技術(shù)不斷進(jìn)步，能夠在道路上導(dǎo)航的完全自主車輛的目標(biāo)即將實(shí)現(xiàn)。首先，自主車輛能夠識(shí)別其環(huán)境，并且無需來自人工操作者的輸入而進(jìn)行導(dǎo)航。自主車輛還可以考慮各種因素，并基于這些因素做出適當(dāng)?shù)臎Q定，以安全和準(zhǔn)確地達(dá)到預(yù)期的目的地。例如，當(dāng)車輛通常在道路上行駛時(shí)，會(huì)遇到各種對(duì)象，諸如其它車輛和行人。自主駕駛系統(tǒng)可以識(shí)別車輛的環(huán)境中的這些對(duì)象，并采取適當(dāng)和及時(shí)的動(dòng)作以避免碰撞。此外，自主駕駛系統(tǒng)可以識(shí)別其它指示符，諸如交通信號(hào)、交通標(biāo)志、車道標(biāo)記，這些指示符規(guī)范車輛運(yùn)動(dòng)(例如，車輛何時(shí)必須停止和何時(shí)可以行駛、車輛必須不能超過的速度、車輛在道路上必須位于的地點(diǎn)等)。自主駕駛系統(tǒng)可能需要確定何時(shí)車輛應(yīng)該改變車道、在交叉點(diǎn)處轉(zhuǎn)向、改變道路等。從這些示例中明顯看出，需要解決許多因素以便提供能夠安全和準(zhǔn)確地導(dǎo)航的自主車輛。

技術(shù)實(shí)現(xiàn)要素：

根據(jù)本公開的實(shí)施例提供用于自主車輛導(dǎo)航的系統(tǒng)和方法。所公開的實(shí)施例可以使用相機(jī)來提供自主車輛導(dǎo)航特征。例如，根據(jù)所公開的實(shí)施例，所公開的系統(tǒng)可以包括監(jiān)視車輛的環(huán)境的一個(gè)、兩個(gè)或更多相機(jī)，并且基于對(duì)由一個(gè)或多個(gè)所述相機(jī)捕捉的圖像的分析引起導(dǎo)航響應(yīng)。

根據(jù)所公開的實(shí)施例，提供一種用于車輛的檢測(cè)系統(tǒng)。所述檢測(cè)系統(tǒng)可以包含至少一個(gè)圖像捕捉裝置以及數(shù)據(jù)接口，所述至少一個(gè)圖像捕捉裝置被編程為獲取車輛前方的區(qū)域的多個(gè)圖像，所述區(qū)域包含將路面與非路面分離的路緣。所述檢測(cè)系統(tǒng)還可以包含至少一個(gè)處理裝置，被配置為經(jīng)由所述數(shù)據(jù)接口接收所述多個(gè)圖像，并且在所述多個(gè)圖像中確定多個(gè)路緣邊緣線候選。所述至少一個(gè)處理裝置可以進(jìn)一步被編程為將至少一個(gè)路緣邊緣線候選識(shí)別為所述路緣的邊緣線。

根據(jù)另一實(shí)施例，提供一種車輛。所述車輛可以包括車體、至少一個(gè)圖像捕捉裝置以及數(shù)據(jù)接口，所述至少一個(gè)圖像捕捉裝置被配置為獲取車輛前方的區(qū)域的多個(gè)圖像，所述區(qū)域包含將路面與非路面分離的路緣。所述車輛還可以包括至少一個(gè)處理裝置，其被編程為經(jīng)由所述數(shù)據(jù)接口接收所述多個(gè)圖像，并且在所述多個(gè)圖像中確定多個(gè)路緣邊緣線候選。所述至少一個(gè)處理裝置可以進(jìn)一步被編程為將至少一個(gè)路緣邊緣線候選識(shí)別為所述路緣的邊緣線，并且基于所述至少一個(gè)路緣邊緣線，識(shí)別所述多個(gè)圖像中對(duì)應(yīng)于路面和非路面的區(qū)域。

根據(jù)另一實(shí)施例，提供一種用于路緣檢測(cè)的方法。所述方法可以包含經(jīng)由至少一個(gè)圖像捕捉裝置，獲取車輛前方的區(qū)域的多個(gè)圖像，所述區(qū)域包含將路面與非路面分離的路緣，并在所述多個(gè)圖像中確定多個(gè)路緣邊緣線候選。所述方法還可以包含確定與每個(gè)路緣邊緣線候選相關(guān)聯(lián)的階梯函數(shù)的高度，并且基于所確定的高度，將至少一個(gè)路緣邊緣線候選識(shí)別為所述路緣的邊緣線。

根據(jù)其它所公開的實(shí)施例，非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)可以存儲(chǔ)程序指令，所述程序指令由至少一個(gè)處理裝置執(zhí)行并執(zhí)行任何本文所描述的方法。

前面的一般性描述和接下來的詳細(xì)描述僅是示例性和說明性的，并不限制權(quán)利要求。

附圖說明

并入本公開中并構(gòu)成本公開的一部分的附圖示出所公開的各種實(shí)施例。在附圖中：

圖1是根據(jù)所公開的實(shí)施例的示例系統(tǒng)的圖示表示。

圖2A是包括根據(jù)所公開實(shí)施例的系統(tǒng)的示例車輛的圖示性側(cè)視圖表示。

圖2B是根據(jù)所公開實(shí)施例的圖2A所示的車輛和系統(tǒng)的圖示性頂視圖表示。

圖2C是包括根據(jù)所公開實(shí)施例的系統(tǒng)的車輛的另一實(shí)施例的圖示性頂視圖表示。

圖2D是包括根據(jù)所公開實(shí)施例的系統(tǒng)的車輛的又一實(shí)施例的圖示性頂視圖表示。

圖2E是包括根據(jù)所公開實(shí)施例的系統(tǒng)的車輛的又一實(shí)施例的圖示性頂視圖表示。

圖2F是根據(jù)所公開實(shí)施例的示例車輛控制系統(tǒng)的圖示性表示。

圖3A是根據(jù)所公開實(shí)施例的包括后視鏡和用于車輛成像系統(tǒng)的用戶界面的車輛的內(nèi)部的圖示性表示。

圖3B是根據(jù)所公開實(shí)施例的配置為定位在后視鏡之后并抵靠車輛風(fēng)擋的相機(jī)安裝的示例的例示。

圖3C是根據(jù)所公開實(shí)施例的圖3B所示的相機(jī)安裝從不同的視角的例示。

圖3D是根據(jù)所公開實(shí)施例的配置為定位在后視鏡之后并抵靠車輛風(fēng)擋的相機(jī)安裝的示例的例示。

圖4是根據(jù)所公開實(shí)施例的配置為存儲(chǔ)用于執(zhí)行一個(gè)或多個(gè)操作的指令的存儲(chǔ)器的示例框圖。

圖5A是示出根據(jù)所公開實(shí)施例的用于基于單眼圖像分析引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)的示例過程的流程圖。

圖5B是示出根據(jù)所公開實(shí)施例的用于在一組圖像中檢測(cè)一個(gè)或多個(gè)車輛和/或行人的示例過程的流程圖。

圖5C是示出根據(jù)所公開實(shí)施例的用于在一組圖像中檢測(cè)道路標(biāo)記和/或車道幾何信息的示例過程的流程圖。

圖5D是示出根據(jù)所公開實(shí)施例的用于在一組圖像中檢測(cè)交通燈的示例過程的流程圖。

圖5E是示出根據(jù)所公開實(shí)施例的用于基于車輛路徑引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)的示例過程的流程圖。

圖5F是示出根據(jù)所公開實(shí)施例的用于確定前方車輛是否正在改變車道的示例過程的流程圖。

圖6是示出根據(jù)所公開實(shí)施例的用于基于立體圖像分析引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)的示例過程的流程圖。

圖7是示出根據(jù)所公開實(shí)施例的用于基于三組圖像的分析引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)的示例過程的流程圖。

圖8是根據(jù)所公開實(shí)施例的被配置為存儲(chǔ)用于執(zhí)行一個(gè)或多個(gè)操作的指令的示例性存儲(chǔ)器的框圖。

圖9是根據(jù)所公開實(shí)施例的車輛的環(huán)境的圖像的例示。

圖10A和圖10B是根據(jù)所公開實(shí)施例的包括路緣的圖像的例示。

圖11是根據(jù)所公開實(shí)施例的示例性模型化路緣的例示。

圖12是根據(jù)所公開實(shí)施例的用于在圖像或視頻序列內(nèi)識(shí)別路緣的示例過程的流程圖。

圖13是根據(jù)所公開實(shí)施例的用于評(píng)估行人所呈現(xiàn)的危險(xiǎn)的示例過程的流程圖。

具體實(shí)施方式

接下來的詳細(xì)描述參考附圖。只要可能，在附圖和接下來的描述中使用相同的參考標(biāo)號(hào)來指代相同或相似的部分。盡管本文描述了若干示例性實(shí)施例，但是修改、改編和其它實(shí)現(xiàn)方式是可能的。例如，可以對(duì)附圖中示出的組件做出替換、添加或修改，并且可以通過對(duì)所公開的方法進(jìn)行步驟的替換、重新排序、移除或添加，來對(duì)本文描述的示例性方法進(jìn)行修改。因此，接下來的詳細(xì)描述并不限于所公開的實(shí)施例和示例。相反，適當(dāng)?shù)姆秶伤綑?quán)利要求限定。

圖1是根據(jù)所公開的示例實(shí)施例的系統(tǒng)100的框圖表示。取決于特定實(shí)現(xiàn)方式的要求，系統(tǒng)100可以包括各種組件。在一些實(shí)施例中，系統(tǒng)100可以包括處理單元110、圖像獲取單元120、位置傳感器130、一個(gè)或多個(gè)存儲(chǔ)器單元140、150、地圖數(shù)據(jù)庫160和用戶界面170。處理單元110可以包括一個(gè)或多個(gè)處理裝置。在一些實(shí)施例中，處理單元110可以包括應(yīng)用處理器180、圖像處理器190或任何其它合適的處理裝置。類似地，取決于特定應(yīng)用的要求，圖像獲取單元120可以包括任意數(shù)量的圖像獲取裝置和組件。在一些實(shí)施例中，圖像獲取單元120可以包括一個(gè)或多個(gè)圖像捕捉裝置(例如，相機(jī))，諸如圖像捕捉裝置122、圖像捕捉裝置124和圖像捕捉裝置126。系統(tǒng)100還可以包括將處理裝置110通信地連接到圖像獲取裝置120的數(shù)據(jù)接口128。例如，數(shù)據(jù)接口128可以包括用于將由圖像獲取裝置120獲取的圖像數(shù)據(jù)發(fā)送到處理單元110的任何有線和/或無線的(多個(gè))鏈路。

應(yīng)用處理器180和圖像處理器190兩者都可以包括各種類型的處理裝置。例如，應(yīng)用處理器180和圖像處理器190中的任一者或兩者可以包括微處理器、預(yù)處理器(諸如圖像預(yù)處理器)、圖形處理器、中央處理單元(CPU)、輔助電路、數(shù)字信號(hào)處理器、集成電路、存儲(chǔ)器或適用于運(yùn)行應(yīng)用和適用于圖像處理和分析的任何其它類型的裝置。在一些實(shí)施例中，應(yīng)用處理器180和/或圖像處理器190可以包括任何類型的單核或多核處理器、移動(dòng)裝置微控制器、中央處理單元等。可以使用各種處理裝置，包括例如可從諸如等制造商獲得的處理器，并且可以包括各種架構(gòu)(例如，x86處理器、等)。

在一些實(shí)施例中，應(yīng)用處理器180和/或圖像處理器190可以包括可從獲得的任何EyeQ系列處理器芯片。這些處理器設(shè)計(jì)均包括具有本地存儲(chǔ)器和指令集的多個(gè)處理單元。這樣的處理器可以包括用于從多個(gè)圖像傳感器接收?qǐng)D像數(shù)據(jù)的視頻輸入，并且還可以包括視頻輸出能力。在一個(gè)示例中，使用在332兆赫茲下操作的90納米-微米技術(shù)。架構(gòu)由兩個(gè)浮點(diǎn)式超線程32位RISC CPU(核)、五個(gè)視覺計(jì)算引擎(VCE)、三個(gè)矢量微代碼處理器丹那利(Denali)64位移動(dòng)DDR控制器、128位內(nèi)部聲能互連(Sonics Interconnect)、雙16位視頻輸入和18位視頻輸出控制器、16通道DMA和若干外圍設(shè)備構(gòu)成。MIPS34K CPU管理這五個(gè)VCE、三個(gè)VMP^TM和DMA、第二MIPS34K CPU和多通道DMA以及其它外圍設(shè)備。這五個(gè)VCE、三個(gè)和MIPS34K CPU可以執(zhí)行多功能捆綁應(yīng)用所需要的密集視覺計(jì)算。在另一實(shí)例中，作為第三代處理器并且比強(qiáng)六倍的可以在所公開的實(shí)施例中使用。

任何本文所公開的處理裝置可以被配置為執(zhí)行某些功能。配置處理裝置(諸如任何所描述的EyeQ處理器或其它控制器或微處理器)以執(zhí)行某些功能可以包括對(duì)計(jì)算機(jī)可執(zhí)行指令的編程，并使處理裝置在其操作期間可獲得這些指令以用于執(zhí)行。在一些實(shí)施例中，配置處理裝置可以包括直接利用架構(gòu)指令對(duì)處理裝置編程。在其它實(shí)施例中，配置處理裝置可以包括將可執(zhí)行指令存儲(chǔ)在操作期間處理裝置可訪問的存儲(chǔ)器上。例如，處理裝置在操作期間可以訪問該存儲(chǔ)器以獲得并執(zhí)行所存儲(chǔ)的指令。

盡管圖1描繪了包含在處理單元110中的兩個(gè)單獨(dú)的處理裝置，但是可以使用更多或更少的處理裝置。例如，在一些實(shí)施例中，可以使用單個(gè)處理裝置完成應(yīng)用處理器180和圖像處理器190的任務(wù)。在其它實(shí)施例中，這些任務(wù)可以由兩個(gè)以上的處理裝置執(zhí)行。

處理單元110可以包括各種類型的裝置。例如，處理單元110可以包括各種裝置，諸如控制器、圖像預(yù)處理器、中央處理單元(CPU)、輔助電路、數(shù)字信號(hào)處理器、集成電路、存儲(chǔ)器或任何其它類型的用于圖像處理和分析的裝置。圖像預(yù)處理器可以包括用于捕捉、數(shù)字化和處理來自圖像傳感器的影像的視頻處理器。CPU可以包括任何數(shù)量的微控制器或微處理器。輔助電路可以是任何數(shù)量的本領(lǐng)域公知的電路，包括高速緩存、電力供給、時(shí)鐘和輸入輸出電路。存儲(chǔ)器可以存儲(chǔ)軟件，該軟件在由處理器執(zhí)行時(shí)控制系統(tǒng)的操作。存儲(chǔ)器可以包括數(shù)據(jù)庫和圖像處理軟件。存儲(chǔ)器可以包括任何數(shù)量的隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、閃速存儲(chǔ)器、磁盤驅(qū)動(dòng)器、光存儲(chǔ)、磁帶存儲(chǔ)、可移動(dòng)存儲(chǔ)和其它類型的存儲(chǔ)。在一個(gè)實(shí)例中，存儲(chǔ)器可以與處理單元110分離。在另一實(shí)例中，存儲(chǔ)器可以被集成到處理單元110中。

每個(gè)存儲(chǔ)器140、150可以包括軟件指令，該軟件指令在由處理器(例如，應(yīng)用處理器180和/或圖像處理器190)執(zhí)行時(shí)可以控制系統(tǒng)100的各個(gè)方面的操作。這些存儲(chǔ)器單元可以包括各種數(shù)據(jù)庫和圖像處理軟件。存儲(chǔ)器單元可以包括隨機(jī)存取存儲(chǔ)器、只讀存儲(chǔ)器、閃速存儲(chǔ)器、磁盤驅(qū)動(dòng)器、光存儲(chǔ)、磁帶存儲(chǔ)、可移動(dòng)存儲(chǔ)和/或任何其它類型的存儲(chǔ)。在一些實(shí)施例中，存儲(chǔ)器單元140、150可以與應(yīng)用處理器180和/或圖像處理器190分離。在其它實(shí)施例中，這些存儲(chǔ)器單元可以被集成到應(yīng)用處理器180和/或圖像處理器190中。

位置傳感器130可以包括適用于確定與系統(tǒng)100的至少一個(gè)組件相關(guān)聯(lián)的位置的任何類型的裝置。在一些實(shí)施例中，位置傳感器130可以包括GPS接收器。這種接收器可以通過處理由全球定位系統(tǒng)衛(wèi)星廣播的信號(hào)來確定用戶位置和速度?？梢允沟脕碜晕恢脗鞲衅?30的位置信息對(duì)于應(yīng)用處理器180和/或圖像處理器190可用。

用戶界面170可以包括適用于向系統(tǒng)100的一個(gè)或多個(gè)用戶提供信息或從系統(tǒng)100的一個(gè)或多個(gè)用戶接收輸入的任何裝置。在一些實(shí)施例中，用戶界面170可以包括用戶輸入裝置，包括例如觸摸屏、麥克風(fēng)、鍵盤、指針裝置、跟蹤轉(zhuǎn)輪、相機(jī)、旋鈕、按鈕等。利用這種輸入裝置，用戶能夠通過鍵入指令或信息、提供語音命令、使用按鈕、指針或眼睛跟蹤能力在屏幕上選擇菜單選項(xiàng)、或通過任何其它適用于向系統(tǒng)100傳送信息的技術(shù)來向系統(tǒng)100提供信息輸入或命令。

用戶界面170可以配備有一個(gè)或多個(gè)處理裝置，其配置為向用戶提供和從用戶接收信息，并處理該信息以由例如應(yīng)用處理器180使用。在一些實(shí)施例中，這種處理裝置可以執(zhí)行指令以識(shí)別和跟蹤眼睛運(yùn)動(dòng)、接收和解釋語音命令、識(shí)別和解釋在觸摸屏上做出的觸摸和/或手勢(shì)、響應(yīng)鍵盤輸入或菜單選擇等。在一些實(shí)施例中，用戶界面170可以包括顯示器、揚(yáng)聲器、觸覺裝置和/或任何其它用于向用戶提供輸出信息的裝置。

地圖數(shù)據(jù)庫160可以包括任何類型的用于存儲(chǔ)對(duì)系統(tǒng)100有用的地圖數(shù)據(jù)的數(shù)據(jù)庫。在一些實(shí)施例中，地圖數(shù)據(jù)庫160可以包括與各種項(xiàng)目在參考坐標(biāo)系統(tǒng)中的位置有關(guān)的數(shù)據(jù)，各種項(xiàng)目包括道路、水特征、地理特征、商業(yè)區(qū)、感興趣的點(diǎn)、餐館、加油站等。地圖數(shù)據(jù)庫160不僅可以存儲(chǔ)這些項(xiàng)目的位置，而且可以存儲(chǔ)與這些項(xiàng)目有關(guān)的描述符，包括例如與任何所存儲(chǔ)的特征相關(guān)聯(lián)的名稱。在一些實(shí)施例中，地圖數(shù)據(jù)庫160可以與系統(tǒng)100的其它部件物理上定位在一起。替代或附加地，地圖數(shù)據(jù)庫160或其一部分可以相對(duì)于系統(tǒng)100的其它組件(例如，處理單元110)遠(yuǎn)程地定位。在這種實(shí)施例中，來自地圖數(shù)據(jù)庫160的信息可以通過與網(wǎng)絡(luò)的有線或無線數(shù)據(jù)連接(例如，通過蜂窩網(wǎng)絡(luò)和/或因特網(wǎng)等)而下載。

圖像捕捉裝置122、124和126均可以包括任何類型的適用于從環(huán)境捕捉至少一個(gè)圖像的裝置。此外，可以使用任何數(shù)量的圖像捕捉裝置來獲取用于輸入到圖像處理器的圖像。一些實(shí)施例可以僅包括單個(gè)圖像捕捉裝置，而其它實(shí)施例可以包括兩個(gè)、三個(gè)、或甚至四個(gè)、或更多個(gè)圖像捕捉裝置。以下將參考圖2B-圖2E進(jìn)一步描述圖像捕捉裝置122、124和126。

系統(tǒng)100或其各種組件可以合并到各種不同的平臺(tái)中。在一些實(shí)施例中，系統(tǒng)100可以被包括在車輛200上，如圖2A所示。例如，車輛200可以配備有處理單元110和如上關(guān)于圖1描述的系統(tǒng)100的任何其它組件。而在一些實(shí)施例中，車輛200可以僅配備有單個(gè)圖像捕捉裝置(例如，相機(jī))，在其它實(shí)施例中，諸如結(jié)合圖2B-圖2E所討論的那些，可以使用多個(gè)圖像捕捉裝置。例如，圖2A中所示的車輛200的圖像捕捉裝置122和124中的任一個(gè)可以是ADAS(高級(jí)駕駛員輔助系統(tǒng))成像集的一部分。

包括在車輛200上作為圖像獲取單元120的一部分的圖像捕捉裝置可以被放置在任何合適的位置處。在一些實(shí)施例中，如圖2A-圖2E和圖3A-圖3C所示，圖像捕捉裝置122可以位于后視鏡附近。這個(gè)位置可以提供與車輛200的駕駛員的視線類似的視線，其可以幫助確定什么是駕駛員可見的和什么是駕駛員不可見的。圖像捕捉裝置122可以定位在后視鏡附近的任意位置處，但是將圖像捕捉裝置122放置在后視鏡的駕駛員側(cè)可以進(jìn)一步幫助獲得表示駕駛員的視場(chǎng)和/或視線的圖像。

還可以使用圖像獲取單元120的圖像捕捉裝置的其它位置。例如，圖像捕捉裝置124可以位于車輛200的保險(xiǎn)杠上或保險(xiǎn)杠中。這種位置尤其可以適用于具有寬視場(chǎng)的圖像捕捉裝置。位于保險(xiǎn)杠的圖像捕捉裝置的視線可以與駕駛員的視線不同，并且因此，保險(xiǎn)杠圖像捕捉裝置和駕駛員可能不總是看到相同的對(duì)象。圖像捕捉裝置(例如，圖像捕捉裝置122、124和126)還可以位于其它位置中。例如，圖像捕捉裝置可以位于車輛200的側(cè)視鏡中的一者或兩者之上或之中、車輛200的車頂上、車輛200的引擎罩上、車輛200的后備箱(trunk)上、車輛200的側(cè)面上、安裝在車輛200的任何車窗上，定位在車輛200的任何車窗的后面、或定位在任何車窗的前面、以及安裝在車輛200的前面和/或背面上的光象(light figure)中或其附近等。

除了圖像捕捉裝置，車輛200還可以包括系統(tǒng)100的各種其它組件。例如，處理單元110可以被包括在車輛200上，與車輛的引擎控制單元(ECU)集成或者分離。車輛200還可以配備有諸如GPS接收器的位置傳感器130，并且還可以包括地圖數(shù)據(jù)庫160以及存儲(chǔ)器單元140和150。

圖2A是根據(jù)所公開的實(shí)施例的示例車輛成像系統(tǒng)的圖示性側(cè)視圖表示。圖2B是圖2A中所示的實(shí)施例的圖示性頂視圖例示。如圖2B所示，所公開的實(shí)施例可以包括車輛200，該車輛200在其車體中包括系統(tǒng)100，該系統(tǒng)100具有位于車輛200的后視鏡附近和/或靠近駕駛員的第一圖像捕捉裝置122、位于車輛200的保險(xiǎn)杠區(qū)域(例如，保險(xiǎn)杠區(qū)域210中的一個(gè))之上或之中的第二圖像捕捉裝置124、以及處理單元110。

如圖2C所示，圖像捕捉裝置122和124兩者可以都位于車輛200的后視鏡附近和/或靠近駕駛員。此外，盡管圖2B和圖2C示出了兩個(gè)圖像捕捉裝置122和124，應(yīng)理解的是，其它實(shí)施例可以包括兩個(gè)以上的圖像捕捉裝置。例如，在圖2D和圖2E中所示的實(shí)施例中，第一圖像捕捉裝置122、第二圖像捕捉裝置124和第三圖像捕捉裝置126被包括在車輛200的系統(tǒng)100中。

如圖2D所示，圖像捕捉裝置122可以位于車輛200的后視鏡附近和/或靠近駕駛員，并且圖像捕捉裝置124和126可以位于車輛200的保險(xiǎn)杠區(qū)域(例如，保險(xiǎn)杠區(qū)域210中的一個(gè))之上或之中。并且如圖2E所示，圖像捕捉裝置122、124和126可以位于車輛200的后視鏡附近和/或靠近駕駛席。所公開的實(shí)施例不限于圖像捕捉裝置的任何特定數(shù)量和配置，并且圖像捕捉裝置可以位于車輛200內(nèi)或車輛200上的任何合適的位置中。

應(yīng)理解的是，所公開的實(shí)施例不限于車輛，并且可以被應(yīng)用在其它情景中。還應(yīng)理解，所公開的實(shí)施例不限于車輛200的特定類型，并且可以適用于所有類型的車輛，包括汽車、卡車、拖車和其它類型的車輛。

第一圖像捕捉裝置122可以包括任何合適類型的圖像捕捉裝置。圖像捕捉裝置122可以包括光軸。在一個(gè)實(shí)例中，圖像捕捉裝置122可以包括具有全局快門的AptinaM9V024WVGA傳感器。在其它實(shí)施例中，圖像捕捉裝置122可以提供1280×960像素的分辨率，并且可以包括滾動(dòng)快門。圖像捕捉裝置122可以包括各種光學(xué)元件。在一些實(shí)施例中，可以包括一個(gè)或多個(gè)鏡頭，例如用于為圖像捕捉裝置提供期望的焦距和視場(chǎng)。在一些實(shí)施例中，圖像捕捉裝置122可以與6毫米鏡頭或12毫米鏡頭相關(guān)聯(lián)。在一些實(shí)施例中，如圖2D所示，圖像捕捉裝置122可以配置為捕捉具有期望的視場(chǎng)(FOV)202的圖像。例如，圖像捕捉裝置122可以配置為具有常規(guī)FOV，諸如在40度到56度的范圍內(nèi)，包括46度FOV、50度FOV、52度FOV，或更大的FOV?？商娲?，圖像捕捉裝置122可以配置為具有在23至40度的范圍內(nèi)的窄FOV，諸如28度FOV或36度FOV。此外，圖像捕捉裝置122可以配置為具有在100至180度的范圍內(nèi)的寬FOV。在一些實(shí)施例中，圖像捕捉裝置122可以包括廣角保險(xiǎn)杠相機(jī)或者，具有高達(dá)180度的FOV的相機(jī)。

第一圖像捕捉裝置122可以獲取關(guān)于與車輛200相關(guān)聯(lián)的場(chǎng)景的多個(gè)第一圖像。多個(gè)第一圖像中的每一個(gè)可以作為一系列的圖像掃描線而被獲取，其可使用滾動(dòng)快門來捕捉。每個(gè)掃描線可以包括多個(gè)像素。

第一圖像捕捉裝置122可以具有與第一系列圖像掃描線中的每一個(gè)的獲取相關(guān)聯(lián)的掃描速率。掃描速率可以指，圖像傳感器可以以該掃描速率獲取與包含在特定掃描線中的每個(gè)像素相關(guān)聯(lián)的圖像數(shù)據(jù)。

圖像捕捉裝置122、124和126可以包含任何合適的類型和數(shù)量的圖像傳感器，例如，包括CCD傳感器或CMOS傳感器等。在一個(gè)實(shí)施例中，可以采用CMOS圖像傳感器以及滾動(dòng)快門，以使得一行中的每個(gè)像素一次被讀取一個(gè)，并且各行的掃描在逐行的基礎(chǔ)上繼續(xù)進(jìn)行，直到已經(jīng)捕捉了整個(gè)圖像幀。在一些實(shí)施例中，可以相對(duì)于幀從頂部到底部順序地捕捉各行。

滾動(dòng)快門的使用可能導(dǎo)致不同行中的像素在不同的時(shí)間被曝光和捕捉，這可能引起所捕捉的圖像幀中的扭曲和其它圖像偽像。另一方面，當(dāng)圖像捕捉裝置122配置為利用全局或同步快門操作時(shí)，所有像素可以以相同量的時(shí)間并且在共同曝光時(shí)段期間被曝光。其結(jié)果是，在從采用全局快門的系統(tǒng)收集的幀中的圖像數(shù)據(jù)表示在特定時(shí)間的整個(gè)FOV(諸如FOV 202)的快照。與之相比，在滾動(dòng)快門應(yīng)用中，在不同的時(shí)間，幀中的每行被曝光并且數(shù)據(jù)被捕捉。因此，在具有滾動(dòng)快門的圖像捕捉裝置中，移動(dòng)對(duì)象可能出現(xiàn)失真。將在下面更詳細(xì)地描述這種現(xiàn)象。

第二圖像捕捉裝置124和第三圖像捕捉裝置126可以是任何類型的圖像捕捉裝置。類似于第一圖像捕捉裝置122，圖像捕捉裝置124和126中的每一個(gè)可以包括光軸。在一個(gè)實(shí)施例中，圖像捕捉裝置124和126中的每一個(gè)可以包括具有全局快門的AptinaM9V024WVGA傳感器?？商娲?，圖像捕捉裝置124和126中的每一個(gè)可以包括滾動(dòng)快門。類似于圖像捕捉裝置122，圖像捕捉裝置124和126可以配置為包括各種鏡頭和光學(xué)元件。在一些實(shí)施例中，與圖像捕捉裝置124和126相關(guān)聯(lián)的鏡頭可以提供FOV(諸如FOV 204和206)，其等于或窄于與圖像捕獲裝置122相關(guān)聯(lián)的FOV(諸如FOV 202)。例如，圖像捕捉裝置124和126可以具有40度、30度、26度、23度、20度或更小的FOV。

圖像捕捉裝置124和126可以獲取關(guān)于與車輛200相關(guān)聯(lián)的場(chǎng)景的多個(gè)第二圖像和第三圖像。該多個(gè)第二圖像和第三圖像中的每一個(gè)可以作為第二系列和第三系列的圖像掃描線而被獲取，這可以使用滾動(dòng)快門進(jìn)行捕捉。每個(gè)掃描線或行可以具有多個(gè)像素。圖像捕捉裝置124和126可以具有與被包含在第二系列和第三系列中的每個(gè)圖像掃描線的獲取相關(guān)聯(lián)的第二掃描速率和第三掃描速率。

每個(gè)圖像捕捉裝置122、124和126可以放置在相對(duì)于車輛200的任何合適的位置和方向處?？梢赃x擇圖像捕捉裝置122、124和126的相對(duì)位置以幫助將從圖像捕捉裝置獲取的信息融合在一起。例如，在一些實(shí)施例中，與圖像捕捉裝置124相關(guān)聯(lián)的FOV(諸如FOV 204)可能部分地或完全地和與圖像捕捉裝置122相關(guān)聯(lián)的FOV(例如FOV 202)以及與圖像捕捉裝置126相關(guān)聯(lián)的FOV(例如FOV 206)重疊。

圖像捕捉裝置122、124和126可以定位在車輛200上的任何合適的相對(duì)高度處。在一個(gè)實(shí)例中，在圖像捕捉裝置122、124和126之間可以存在高度差，其可以提供足夠的視差信息以使能立體分析。例如，如圖2A所示，兩個(gè)圖像捕捉裝置122和124在不同的高度處。例如，在圖像捕捉裝置122、124和126之間還可以存在橫向位移差，為處理單元110的立體分析給出了額外的視差信息。如圖2C和圖2D所示，橫向位移的差異可以通過d_x表示。在一些實(shí)施例中，圖像捕捉裝置122、124和126之間可能存在前向或后向位移(例如，范圍位移)。例如，圖像捕捉裝置122可以定位在圖像捕捉裝置124和/或圖像捕捉裝置126之后0.5到2米或以上。這種類型的位移可以使得圖像捕捉裝置之一能夠覆蓋其它(一個(gè)或多個(gè))圖像捕捉裝置的潛在盲點(diǎn)。

圖像捕捉裝置122可以具有任何合適的分辨率能力(例如，與圖像傳感器相關(guān)聯(lián)的像素的數(shù)量)，并且與圖像捕捉裝置122相關(guān)聯(lián)的(一個(gè)或多個(gè))圖像傳感器的分辨率可以比與圖像捕捉裝置124和126相關(guān)聯(lián)的(一個(gè)或多個(gè))圖像傳感器的分辨率更高、更低、或者與之相同。在一些實(shí)施例中，與圖像捕捉裝置122和/或圖像捕捉裝置124和126相關(guān)聯(lián)的(一個(gè)或多個(gè))圖像傳感器可以具有640×480、1024×768、1280×960的分辨率，或任何其它合適的分辨率。

幀速率(例如，在所述速率下，圖像捕捉裝置獲取一個(gè)圖像幀的一組像素?cái)?shù)據(jù)，然后繼續(xù)捕捉與下一個(gè)圖像幀相關(guān)聯(lián)的像素?cái)?shù)據(jù))可以是可控的。與圖像捕捉裝置122相關(guān)聯(lián)的幀速率可以比與圖像捕捉裝置124和126相關(guān)聯(lián)的幀速率更高、更低或與之相同。與圖像捕捉裝置122、124和126相關(guān)聯(lián)的幀速率可以取決于可能影響幀速率的定時(shí)的各種因素。例如，圖像捕捉裝置122、124和126中的一個(gè)或多個(gè)可以包括可選擇的像素延遲時(shí)段，其在獲取與圖像捕捉裝置122、124和/或126中的圖像傳感器的一個(gè)或多個(gè)像素相關(guān)聯(lián)的圖像數(shù)據(jù)之前或之后施加。通常，可以根據(jù)用于該裝置的時(shí)鐘速率(例如，每個(gè)時(shí)鐘周期一個(gè)像素)來獲取對(duì)應(yīng)于每個(gè)像素的圖像數(shù)據(jù)。另外，在包括滾動(dòng)快門的實(shí)施例中，圖像捕捉裝置122、124和126中的一個(gè)或多個(gè)可以包括可選擇的水平消隱時(shí)段，其在獲取與圖像捕捉裝置122、124和/或126中的圖像傳感器的一行像素相關(guān)聯(lián)的圖像數(shù)據(jù)之前或之后施加。此外，圖像捕捉裝置122、124和126的一個(gè)或多個(gè)圖像可以包括可選擇的垂直消隱時(shí)段，其在獲取與圖像捕捉裝置122、124和126的圖像幀相關(guān)聯(lián)的圖像數(shù)據(jù)之前或之后施加。

這些定時(shí)控制可以使能與圖像捕捉裝置122、124和126相關(guān)聯(lián)的幀速率的同步，即便每個(gè)的線掃描率速率不同。此外，如將在下面更詳細(xì)地討論的，這些可選擇的定時(shí)控制以及其它因素(例如，圖像傳感器分辨率、最大線掃描速率等)可以使能從圖像捕捉裝置122的FOV與圖像捕捉裝置124和126的一個(gè)或多個(gè)FOV重疊的區(qū)域的圖像捕捉的同步，即便圖像捕捉裝置122的視場(chǎng)不同于圖像捕捉裝置124和126的FOV。

圖像捕捉裝置122、124和126中的幀速率定時(shí)可以取決于相關(guān)聯(lián)的圖像傳感器的分辨率。例如，假定兩個(gè)裝置線掃描速率類似，如果一個(gè)裝置包括具有640×480的分辨率的圖像傳感器，并且另一裝置包括具有1280×960的分辨率的圖像傳感器，則需要更多的時(shí)間來從具有更高分辨率的傳感器獲取一幀圖像數(shù)據(jù)。

可能影響圖像捕捉裝置122、124和126中的圖像數(shù)據(jù)獲取的定時(shí)的另一個(gè)因素是最大線掃描速率。例如，從被包含在圖像捕捉裝置122、124和126中的圖像傳感器獲取一行圖像數(shù)據(jù)將需要某個(gè)最低時(shí)間量。假定沒有添加像素延遲時(shí)段，則用于獲取一行圖像數(shù)據(jù)的此最低時(shí)間量將與用于特定裝置的最大線掃描速率相關(guān)。與具有較低的最大線掃描速率的裝置相比，提供較高的最大線掃描速率的裝置具有提供更高的幀速率的潛力。在一些實(shí)施例中，圖像捕捉裝置124和126中的一個(gè)或多個(gè)可以具有高于與圖像捕捉裝置122相關(guān)聯(lián)的最大線掃描速率的最大線掃描速率。在一些實(shí)施例中，圖像捕捉裝置124和/或126的最大線掃描速率可以是圖像捕捉裝置122的最大線掃描速率的1.25、1.5、1.75或2倍、或更多倍。

在另一實(shí)施例中，圖像捕捉裝置122、124和126可以具有相同的最大線掃描速率，但圖像捕捉裝置122可以以小于或等于其最大掃描速率的掃描速率來操作。該系統(tǒng)可以配置為使得圖像捕捉裝置124和126中的一個(gè)或多個(gè)以等于圖像捕捉裝置122的線掃描速度的線掃描速率來操作。在其它實(shí)例中，該系統(tǒng)可以配置為使得圖像捕捉裝置124和/或圖像捕捉裝置126的線掃描速率可以是圖像捕捉裝置122的線掃描速度的1.25、1.5、1.75、或2倍、或更多倍。

在一些實(shí)施例中，圖像捕捉裝置122、124和126可以是不對(duì)稱的。也就是說，它們可包括具有不同視場(chǎng)(FOV)和焦距的相機(jī)。例如，圖像捕捉裝置122、124和126的視場(chǎng)可以包括相對(duì)于車輛200的環(huán)境的任何期望的區(qū)域。在一些實(shí)施例中，圖像捕捉裝置122、124和126中的一個(gè)或多個(gè)可以配置為從在車輛200前面、車輛200后面、車輛200的側(cè)面、或其組合的環(huán)境獲取圖像數(shù)據(jù)。

此外，與每個(gè)圖像捕捉裝置122、124和/或126相關(guān)聯(lián)的焦距可以是可選擇的(例如，通過包括適當(dāng)?shù)溺R頭等)，使得每個(gè)裝置在相對(duì)于車輛200的期望的距離范圍處獲取對(duì)象的圖像。例如，在一些實(shí)施例中，圖像捕捉裝置122、124和126可以獲取離車輛幾米之內(nèi)的特寫對(duì)象的圖像。圖像捕捉裝置122、124和126還可以配置為獲取離車輛更遠(yuǎn)的范圍處(例如，25米、50米、100米、150米或更遠(yuǎn))的對(duì)象的圖像。此外，圖像捕捉裝置122、124和126的焦距可以被選擇，以使得一個(gè)圖像捕捉裝置(例如，圖像捕捉裝置122)可以獲取相對(duì)靠近車輛(例如，在10米內(nèi)或20米內(nèi)的)對(duì)象的圖像，而其它圖像捕捉裝置(例如，圖像捕捉裝置124和126)可以獲取離車輛200較遠(yuǎn)的(例如，大于20米、50米、100米、150米等的)對(duì)象的圖像。

根據(jù)一些實(shí)施例，一個(gè)或多個(gè)圖像捕捉裝置122、124和126的FOV可以具有廣角。例如，具有140度的FOV可能是有利的，尤其是對(duì)于可以被用于在捕捉車輛200附近的區(qū)域的圖像的圖像捕捉裝置122、124和126。例如，圖像捕捉裝置122可以被用來捕捉車輛200的右側(cè)或左側(cè)的區(qū)域的圖像，并且在這種實(shí)施例中，可能期望圖像捕捉裝置122具有寬FOV(例如，至少140度)。

與每個(gè)圖像捕捉裝置122、124和126相關(guān)聯(lián)的FOV可以取決于各自的焦距。例如，隨著焦距增加，對(duì)應(yīng)的視場(chǎng)減小。

圖像捕捉裝置122、124和126可以配置為具有任何合適的視場(chǎng)。在一個(gè)特定示例中，圖像捕捉裝置122可以具有46度的水平FOV，圖像捕捉裝置124可以具有23度的水平FOV，并且圖像捕捉裝置126可以具有在23度和46度之間的水平FOV。在另一實(shí)例中，圖像捕捉裝置122可以具有52度的水平FOV，圖像捕捉裝置124可以具有26度的水平FOV，并且圖像捕捉裝置126可以具有在26度和52度之間的水平FOV。在一些實(shí)施例中，圖像捕捉裝置122的FOV與圖像捕捉裝置124和/或圖像捕捉裝置126的FOV的比率可以從1.5到2.0變化。在其它實(shí)施例中，該比率可以在1.25與2.25之間變化。

系統(tǒng)100可以配置為使得圖像捕捉裝置122的視場(chǎng)至少部分地或完全地與圖像捕捉裝置124和/或圖像捕捉裝置126的視場(chǎng)重疊。在一些實(shí)施例中，系統(tǒng)100可以配置為使得圖像捕捉裝置124和126的視場(chǎng)例如落入(例如，窄于)圖像捕捉裝置122的視場(chǎng)，并且與圖像捕捉裝置122的視場(chǎng)共享共同的中心。在其它實(shí)施例中，圖像捕捉裝置122、124和126可以捕捉相鄰的FOV，或者可以在它們FOV中具有部分重疊。在一些實(shí)施例中，圖像捕捉裝置122、124和126的視場(chǎng)可以對(duì)齊，以使得較窄FOV圖像捕捉裝置124和/或126的中心可以位于較寬FOV裝置122的視場(chǎng)的下半部分中。

圖2F是根據(jù)所公開的實(shí)施例的示例車輛控制系統(tǒng)的圖示性表示。如圖2F所指示的，車輛200可以包括節(jié)流(throuttling)系統(tǒng)220、制動(dòng)系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240。系統(tǒng)100可以通過一個(gè)或多個(gè)數(shù)據(jù)鏈路(例如，任何用于傳輸數(shù)據(jù)的有線和/或無線鏈路)向節(jié)流系統(tǒng)220、制動(dòng)系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個(gè)或多個(gè)提供輸入(例如，控制信號(hào))。例如，基于對(duì)由圖像捕捉裝置122、124和/或126獲取的圖像的分析，系統(tǒng)100可以向節(jié)流系統(tǒng)220、制動(dòng)系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個(gè)或多個(gè)提供控制信號(hào)以導(dǎo)航車輛200(例如，通過引起加速度、轉(zhuǎn)向、車道變換等)。此外，系統(tǒng)100可以從節(jié)流系統(tǒng)220、制動(dòng)系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個(gè)或多個(gè)接收指示車輛200的運(yùn)行條件(例如，速度、車輛200是否正在制動(dòng)和/或轉(zhuǎn)向等)的輸入。以下結(jié)合圖4-圖7提供進(jìn)一步的細(xì)節(jié)。

如圖3A所示，車輛200還可以包括用于與車輛200的駕駛員或乘客進(jìn)行交互的用戶界面170。例如，車輛應(yīng)用中的用戶界面170可以包括觸摸屏320、旋鈕330、按鈕340和麥克風(fēng)350。車輛200的駕駛員或乘客還可以使用手柄(例如，位于車輛200的轉(zhuǎn)向桿上或附近，包括例如轉(zhuǎn)向信號(hào)手柄)、按鈕(例如，位于車輛200的方向盤上)等與系統(tǒng)100交互。在一些實(shí)施例中，麥克風(fēng)350可以定位為與后視鏡310相鄰。類似地，在一些實(shí)施例中，圖像捕捉裝置122可以定位為靠近后視鏡310。在一些實(shí)施例中，用戶界面170還可以包括一個(gè)或多個(gè)揚(yáng)聲器360(例如，車輛音頻系統(tǒng)的揚(yáng)聲器)。例如，系統(tǒng)100可以經(jīng)由揚(yáng)聲器360提供各種通知(例如，警報(bào))。

圖3B-圖3D是根據(jù)所公開的實(shí)施例的配置為位于后視鏡(例如，后視鏡310)后面并抵靠車輛風(fēng)擋的示例相機(jī)安裝370的例示。如圖3B所示，相機(jī)安裝370可以包括圖像捕捉裝置122、124和126。圖像捕捉裝置124和126可以位于遮光板380的后面，其中遮光板380可以相對(duì)于車輛風(fēng)擋平齊，并且包括薄膜和/或防反射材料的合成物。例如，遮光板380可被放置為使得它相對(duì)于具有匹配斜面的車輛的風(fēng)擋對(duì)齊。在一些實(shí)施例中，圖像捕捉裝置122、124和126中的每以個(gè)可以位于遮光板380的后面，例如在圖3D中所描繪的。所公開的實(shí)施例不限于圖像捕捉裝置122、124和126、相機(jī)安裝370和遮光板380的任何特定配置。圖3C是圖3B所示的相機(jī)安裝370從前面視角的例示。

如受益于本公開的本領(lǐng)域技術(shù)人員將理解的，可以對(duì)前述所公開的實(shí)施例做出許多變型和/或修改。例如，并非所有組件對(duì)于系統(tǒng)100的操作是必要的。此外，任何組件可以位于系統(tǒng)100的任何適當(dāng)?shù)牟考?，并且組件可以被重新布置成各種配置同時(shí)提供所公開的實(shí)施例的功能。因此，前述配置是示例性的，并且不管上述討論的配置如何，系統(tǒng)100都可以提供廣闊范圍的功能以分析車輛200的周圍并響應(yīng)于該分析而導(dǎo)航車輛200。

如在下面更詳細(xì)討論的并且根據(jù)各種所公開的實(shí)施例，系統(tǒng)100可以提供各種關(guān)于自主駕駛和/或駕駛員輔助技術(shù)的特征。例如，系統(tǒng)100可以分析圖像數(shù)據(jù)、位置數(shù)據(jù)(例如，GPS位置信息)、地圖數(shù)據(jù)、速度數(shù)據(jù)和/或來自包含在車輛200中的傳感器的數(shù)據(jù)。系統(tǒng)100可以從例如圖像獲取單元120、位置傳感器130以及其它傳感器收集數(shù)據(jù)用于分析。此外，系統(tǒng)100可以分析所收集的數(shù)據(jù)以確定車輛200是否應(yīng)該采取某個(gè)動(dòng)作，然后無需人工干預(yù)而自動(dòng)采取所確定的動(dòng)作。例如，當(dāng)車輛200無需人工干預(yù)而導(dǎo)航時(shí)，系統(tǒng)100可以自動(dòng)地控制車輛200的制動(dòng)、加速、和/或轉(zhuǎn)向(例如，通過向節(jié)流系統(tǒng)220、制動(dòng)系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240中的一個(gè)或多個(gè)發(fā)送控制信號(hào))。此外，系統(tǒng)100可以分析所收集的數(shù)據(jù)，并基于對(duì)所收集的數(shù)據(jù)的分析向車輛乘員發(fā)出警告和/或警報(bào)。下面提供關(guān)于系統(tǒng)100提供的各種實(shí)施例的額外的細(xì)節(jié)。

面向前方的多成像系統(tǒng)

如上所討論的，系統(tǒng)100可以提供使用多相機(jī)系統(tǒng)的駕駛輔助功能。多相機(jī)系統(tǒng)可以使用面向車輛的前方的一個(gè)或多個(gè)相機(jī)。在其它實(shí)施例中，多相機(jī)系統(tǒng)可以包括面向車輛的側(cè)方或面向車輛的后方的一個(gè)或多個(gè)相機(jī)。在一個(gè)實(shí)施例中，例如，系統(tǒng)100可以使用雙相機(jī)成像系統(tǒng)，其中，第一相機(jī)和第二相機(jī)(例如，圖像捕捉裝置122和124)可以位于車輛(例如，車輛200)的前面和/或側(cè)面處。第一相機(jī)可以具有大于、小于、或部分地重疊于第二相機(jī)的視場(chǎng)的視場(chǎng)。此外，第一相機(jī)可以連接到第一圖像處理器以執(zhí)行對(duì)由第一相機(jī)提供的圖像的單眼圖像分析，并且第二相機(jī)可以連接到第二圖像處理器以執(zhí)行對(duì)由第二相機(jī)提供的圖像的單眼圖像分析。第一圖像處理器和第二圖像處理器的輸出(例如，處理后的信息)可以被組合。在一些實(shí)施例中，第二圖像處理器可以從第一相機(jī)和第二相機(jī)兩者接收?qǐng)D像以執(zhí)行立體分析。在另一實(shí)施例中，系統(tǒng)100可以使用三相機(jī)成像系統(tǒng)，其中每個(gè)相機(jī)具有不同的視場(chǎng)。因此，這種系統(tǒng)可以基于從位于車輛的前方和側(cè)面的不同的距離處的對(duì)象得到的信息做出決定。對(duì)單眼圖像分析的參考可以參考基于從單個(gè)視點(diǎn)(例如，從單個(gè)相機(jī))捕捉的圖像執(zhí)行圖像分析的實(shí)例。立體圖像分析可以參考基于利用圖像捕捉參數(shù)的一個(gè)或多個(gè)變化而捕捉的兩個(gè)或多個(gè)圖像執(zhí)行圖像分析的實(shí)例。例如，適用于執(zhí)行立體圖像分析的捕捉到的圖像可以包括以下捕捉的圖像：從兩個(gè)或多個(gè)不同的位置、從不同的視場(chǎng)、使用不同的焦距、與視差信息一起捕捉的圖像，等等。

例如，在一個(gè)實(shí)施例中，系統(tǒng)100可以使用圖像捕捉裝置122-126實(shí)現(xiàn)三相機(jī)配置。在這種配置中，圖像捕捉裝置122可以提供窄視場(chǎng)(例如，34度、或從大約20度至45度的范圍選擇的其它值，等等)，圖像捕捉裝置124可以提供寬視場(chǎng)(例如，150度，或從大約100度至大約180度的范圍選擇的其它值)，并且圖像捕捉裝置126可以提供中間的視場(chǎng)(例如，46度，或從大約35度至大約60度的范圍選擇的其它值)。在一些實(shí)施例中，圖像捕捉裝置126可以作為主相機(jī)或初級(jí)相機(jī)。圖像捕捉裝置122-126可以位于后視鏡310的后面，并且基本上并排設(shè)置(例如，相距6厘米)。此外，在一些實(shí)施例中，如以上所討論的，圖像捕捉裝置122-126中的一個(gè)或多個(gè)可以被安裝在與車輛200的風(fēng)擋平齊的遮光板380的后面。這種遮擋可以作用為減少任何來自車內(nèi)的反射對(duì)圖像捕捉裝置122-126的影響。

在另一實(shí)施例中，如以上結(jié)合圖3B和3C所討論的，寬視場(chǎng)相機(jī)(例如，上述示例中的圖像捕捉裝置124)可以被安裝得低于窄視場(chǎng)相機(jī)和主視場(chǎng)相機(jī)(例如，上述的示例中的圖像捕捉裝置122和126)。這種配置可以提供從寬視場(chǎng)相機(jī)的自由的視線。為減少反射，相機(jī)可以被安裝得靠近車輛200的風(fēng)擋，并且在相機(jī)上可以包括偏振器以衰減(damp)反射光。

三相機(jī)系統(tǒng)可以提供某些性能特性。例如，一些實(shí)施例可以包括通過一個(gè)相機(jī)基于來自另一相機(jī)的檢測(cè)結(jié)果來驗(yàn)證對(duì)象的檢測(cè)的能力。在上面討論的三相機(jī)配置中，處理單元110可以包括例如三個(gè)處理裝置(例如，三個(gè)如以上所討論的EyeQ系列處理器芯片)，其中每個(gè)處理裝置專用于處理由圖像捕捉設(shè)備122-126中的一個(gè)或多個(gè)捕捉的圖像。

在三相機(jī)系統(tǒng)中，第一處理裝置可以從主相機(jī)和窄視場(chǎng)相機(jī)二者接收?qǐng)D像，并執(zhí)行對(duì)窄FOV相機(jī)的視覺處理以例如檢測(cè)其它車輛、行人、車道標(biāo)記、交通標(biāo)志、交通燈和其它道路對(duì)象。此外，第一處理裝置可以計(jì)算來自主相機(jī)和窄相機(jī)的圖像之間的像素的視差，并創(chuàng)建車輛200的環(huán)境的3D重建。然后，第一處理裝置可以將該3D重建與3D地圖數(shù)據(jù)或與基于來自另一相機(jī)的信息而計(jì)算的3D信息進(jìn)行組合。

第二處理裝置可以從主相機(jī)接收?qǐng)D像，并執(zhí)行視覺處理以檢測(cè)其它車輛、行人、車道標(biāo)記、交通標(biāo)志、交通燈和其它道路對(duì)象。另外，第二處理裝置可以計(jì)算相機(jī)位移，并且基于該位移計(jì)算連續(xù)圖像之間的像素的視差，并創(chuàng)建場(chǎng)景的3D重建(例如，運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(structure from motion))。第二處理裝置可以將基于運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)的3D重建發(fā)送到第一處理裝置以與立體3D圖像進(jìn)行組合。

第三處理裝置可以從寬FOV相機(jī)接收?qǐng)D像，并處理該圖像以檢測(cè)車輛、行人、車道標(biāo)記、交通標(biāo)志、交通燈和其它道路對(duì)象。第三處理裝置還可以執(zhí)行額外的處理指令來分析圖像，以識(shí)別圖像中移動(dòng)的對(duì)象，諸如改變車道的車輛、行人等。

在一些實(shí)施例中，使得基于圖像的信息的流被獨(dú)立地捕捉和處理可以提供用于在系統(tǒng)中提供冗余的機(jī)會(huì)。這種冗余可以包括例如，使用第一圖像捕捉裝置和從該裝置處理的圖像以驗(yàn)證和/或補(bǔ)充通過從至少第二圖像捕捉裝置捕捉和處理圖像信息而獲得的信息。

在一些實(shí)施例中，系統(tǒng)100可以使用兩個(gè)圖像捕捉裝置(例如，圖像捕捉裝置122和124)來為車輛200提供導(dǎo)航輔助，并使用第三圖像捕捉裝置(例如，圖像捕捉裝置126)來提供冗余并驗(yàn)證對(duì)從其它兩個(gè)圖像捕捉裝置接收到的數(shù)據(jù)的分析。例如，在這種配置中，圖像捕捉裝置122和124可以提供用于由系統(tǒng)100進(jìn)行立體分析的圖像以導(dǎo)航車輛200，而圖像捕捉裝置126可以提供用于由統(tǒng)100進(jìn)行單眼分析的圖像以提供冗余和對(duì)基于從圖像捕捉裝置122和/或圖像捕捉裝置124捕捉的圖像而獲得的信息的驗(yàn)證。即，圖像捕捉裝置126(和對(duì)應(yīng)的處理裝置)可以被視為提供了冗余子系統(tǒng)，其用于提供對(duì)從圖像捕捉裝置122和124得到的分析的檢查(例如，提供自動(dòng)緊急制動(dòng)(AEB)系統(tǒng))。

本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，上述相機(jī)配置、相機(jī)放置、相機(jī)數(shù)量、相機(jī)位置等僅為示例。在不脫離所公開的實(shí)施例的范圍下，這些組件和關(guān)于整個(gè)系統(tǒng)描述的其它組件可以被組裝并且在各種不同的配置中使用。關(guān)于使用多相機(jī)系統(tǒng)以提供駕駛員輔助和/或自主車輛功能的進(jìn)一步的細(xì)節(jié)如下。

圖4是根據(jù)所公開的實(shí)施例的可以存儲(chǔ)/編程有用于執(zhí)行一個(gè)或多個(gè)操作的指令的存儲(chǔ)器140和/或150的示例功能框圖。盡管以下參考存儲(chǔ)器140，但是本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，指令可以存儲(chǔ)在存儲(chǔ)器140和/或150中。

如圖4所示，存儲(chǔ)器140可以存儲(chǔ)單眼圖像分析模塊402、立體圖像分析模塊404、速度和加速度模塊406、以及導(dǎo)航響應(yīng)模塊408。所公開的實(shí)施例不限于存儲(chǔ)器140的任何特定配置。此外，應(yīng)用處理器180和/或圖像處理器190可以執(zhí)行在被包含在存儲(chǔ)器140中的任何模塊402-408中所存儲(chǔ)的指令。本領(lǐng)域的技術(shù)人員將理解，在下面的討論中，對(duì)處理單元110的參考可以單獨(dú)地或統(tǒng)一地指代應(yīng)用處理器180和圖像處理器190。因此，任何以下過程的步驟可以由一個(gè)或多個(gè)處理裝置來執(zhí)行。

在一個(gè)實(shí)施例中，單眼圖像分析模塊402可以存儲(chǔ)指令(諸如計(jì)算機(jī)視覺軟件)，該指令在由處理單元110執(zhí)行時(shí)，執(zhí)行對(duì)由圖像捕捉裝置122、124和126中的一個(gè)獲取的一組圖像的單眼圖像分析。在一些實(shí)施例中，處理單元110可以將來自一組圖像的信息與額外的感測(cè)信息(例如，來自雷達(dá)的信息)組合以執(zhí)行單眼圖像分析。如以下結(jié)合圖5A-圖5D所描述的，單眼圖像分析模塊402可以包括用于在該組圖像內(nèi)檢測(cè)一組特征的指令，所述特征諸如是車道標(biāo)記、車輛、行人、道路標(biāo)志、高速公路出口坡道、交通燈、危險(xiǎn)對(duì)象、以及任何其它與車輛的環(huán)境相關(guān)聯(lián)的特征。基于該分析，系統(tǒng)100(例如，經(jīng)由處理單元110)可以引起車輛200中的一個(gè)或多個(gè)導(dǎo)航響應(yīng)，諸如轉(zhuǎn)向、車道變換、加速度的改變等，如以下結(jié)合導(dǎo)航響應(yīng)模塊408所討論的。

在一個(gè)實(shí)施例中，立體圖像分析模塊404可以存儲(chǔ)指令(諸如，計(jì)算機(jī)視覺軟件)，該指令在由處理單元110執(zhí)行時(shí)，執(zhí)行對(duì)由從任意圖像捕捉裝置122、124和126中選擇的圖像捕捉裝置的組合而獲取的第一組圖像和第二組圖像的立體圖像分析。在一些實(shí)施例中，處理單元110可以將來自第一組圖像和第二組圖像的信息與額外的感測(cè)信息(例如，來自雷達(dá)的信息)組合以執(zhí)行立體圖像分析。例如，立體圖像分析模塊404可以包括用于基于由圖像捕捉裝置124獲取的第一組圖像和由圖像捕捉裝置126獲取的第二組圖像來執(zhí)行立體圖像分析的指令。如下面結(jié)合圖6所描述的，立體圖像分析模塊404可以包括用于檢測(cè)第一組圖像和第二組圖像內(nèi)的一組特征的指令，所述特征諸如是車道標(biāo)記、車輛、行人、道路標(biāo)志、高速公路出口坡道、交通燈、危險(xiǎn)對(duì)象等?；谠摲治?，處理單元110可以引起車輛200中的一個(gè)或多個(gè)導(dǎo)航響應(yīng)，諸如轉(zhuǎn)向、車道變換、加速度的改變等，如以下結(jié)合導(dǎo)航響應(yīng)模塊408所討論的。

在一個(gè)實(shí)施例中，速度和加速度模塊406可以存儲(chǔ)軟件，所述軟件配置為對(duì)從車輛200中配置為引起車輛200的速度和/或加速度的改變的一個(gè)或多個(gè)計(jì)算和機(jī)電裝置接收到的數(shù)據(jù)進(jìn)行分析。例如，處理單元110可以執(zhí)行與速度和加速度模塊406相關(guān)聯(lián)的指令，以基于從單眼圖像分析模塊402和/或立體圖像分析模塊404的執(zhí)行而得到的數(shù)據(jù)來計(jì)算車輛200的目標(biāo)速度。這種數(shù)據(jù)可以包括例如目標(biāo)位置、速度和/或加速度、車輛200相對(duì)于附近車輛、行人或道路對(duì)象的位置和/或速度、車輛200相對(duì)于道路的車道標(biāo)記等的位置信息等。此外，處理單元110可以基于感測(cè)輸入(例如，來自雷達(dá)的信息)和來自車輛200的其它系統(tǒng)(諸如節(jié)流系統(tǒng)220、制動(dòng)系統(tǒng)230和/或轉(zhuǎn)向系統(tǒng)240)的輸入來計(jì)算車輛200的目標(biāo)速度?；谟?jì)算的目標(biāo)速度，處理單元110可以向車輛200的節(jié)流系統(tǒng)220、制動(dòng)系統(tǒng)230和/或轉(zhuǎn)向系統(tǒng)240發(fā)送電子信號(hào)來觸發(fā)速度和/或加速度的變化，例如通過物理地壓下制動(dòng)器或放松車輛200的加速器。

在一個(gè)實(shí)施例中，導(dǎo)航響應(yīng)模塊408可以存儲(chǔ)軟件，所述軟件可由處理單元110執(zhí)行，以基于從單眼圖像分析模塊402和/或立體聲圖像分析模塊404的執(zhí)行而得到的數(shù)據(jù)來確定期望的導(dǎo)航響應(yīng)。這種數(shù)據(jù)可以包括與附近的車輛、行人和道路對(duì)象相關(guān)聯(lián)的位置和速度信息、車輛200的目標(biāo)位置信息等。另外，在一些實(shí)施例中，導(dǎo)航響應(yīng)可以(部分地或完全地)基于地圖數(shù)據(jù)、車輛200的預(yù)定位置、和/或車輛200與從單眼圖像分析模塊402和/或立體聲圖像分析模塊404的執(zhí)行檢測(cè)到的一個(gè)或多個(gè)對(duì)象之間的相對(duì)速度或相對(duì)加速度。導(dǎo)航響應(yīng)模塊408還可以基于感測(cè)輸入(例如，來自雷達(dá)的信息)和來自車輛200的其它系統(tǒng)(諸如車輛200的節(jié)流系統(tǒng)220、制動(dòng)系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240)的輸入確定期望的導(dǎo)航響應(yīng)?；谄谕膶?dǎo)航響應(yīng)，處理單元110可以向車輛200的節(jié)流系統(tǒng)220、制動(dòng)系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240發(fā)送電子信號(hào)以觸發(fā)期望的導(dǎo)航響應(yīng)，例如通過轉(zhuǎn)動(dòng)車輛200的方向盤以實(shí)現(xiàn)預(yù)定角度的旋轉(zhuǎn)。在一些實(shí)施例中，處理單元110可以使用導(dǎo)航響應(yīng)模塊408的輸出(例如，期望的導(dǎo)航響應(yīng))作為對(duì)速度和加速度模塊406的執(zhí)行的輸入，用于計(jì)算車輛200的速度的改變。

圖5A是示出根據(jù)所公開的實(shí)施例的用于基于單眼圖像分析引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)的示例過程500A的流程圖。在步驟510中，處理單元110可以經(jīng)由在處理單元110和圖像獲取單元120之間的數(shù)據(jù)接口128接收多個(gè)圖像。例如，包含在圖像獲取單元120中的相機(jī)(諸如具有視場(chǎng)202的圖像捕捉裝置122)可以捕捉車輛200的前方(例如，或者車輛的側(cè)面或后面)區(qū)域的多個(gè)圖像，并經(jīng)過數(shù)據(jù)連接(例如，數(shù)字、有線、USB、無線、藍(lán)牙等)將它們發(fā)送到處理單元110。在步驟520中，處理單元110可以執(zhí)行單眼圖像分析模塊402來分析該多個(gè)圖像，如以下結(jié)合圖5B-5D進(jìn)一步詳細(xì)描述的。通過執(zhí)行該分析，處理單元110可以在該組圖像內(nèi)檢測(cè)一組特征，諸如車道標(biāo)記、車輛、行人、道路標(biāo)志、高速公路出口坡道、交通燈等。

在步驟520中，處理單元110還可以執(zhí)行單眼圖像分析模塊402來檢測(cè)各種道路危險(xiǎn)，諸如卡車輪胎的部件、倒下的道路標(biāo)志、松散貨物、小動(dòng)物等。道路危險(xiǎn)可能在結(jié)構(gòu)、形狀、大小和顏色上變化，這可能使這種危險(xiǎn)的檢測(cè)更具有挑戰(zhàn)性。在一些實(shí)施例中，處理單元110可以執(zhí)行單眼圖像分析模塊402，來對(duì)該多個(gè)圖像執(zhí)行多幀分析以檢測(cè)道路危險(xiǎn)。例如，處理單元110可以估計(jì)連續(xù)圖像幀之間的相機(jī)運(yùn)動(dòng)，并計(jì)算幀之間的像素中的視差來構(gòu)建道路的3D地圖。然后，處理單元110可以使用該3D地圖來檢測(cè)路面、以及存在于路面上的危險(xiǎn)。

在步驟530中，處理單元110可以執(zhí)行導(dǎo)航響應(yīng)模塊408，以基于在步驟520中執(zhí)行的分析和如以上結(jié)合圖4描述的技術(shù)引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)。導(dǎo)航響應(yīng)可以包括例如轉(zhuǎn)向、車道變換、加速度變化等。在一些實(shí)施例中，處理單元110可以使用從速度和加速度模塊406的執(zhí)行得到的數(shù)據(jù)來引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)。此外，多個(gè)導(dǎo)航響應(yīng)可能同時(shí)地、按照順序地或以其任意組合而發(fā)生。例如，處理單元110可以通過例如順序地向車輛200的轉(zhuǎn)向系統(tǒng)240和節(jié)流系統(tǒng)220發(fā)送控制信號(hào)，使得車輛200變換一個(gè)車道然后加速?？商娲兀幚韱卧?10可以通過例如同時(shí)向車輛200的制動(dòng)系統(tǒng)230和轉(zhuǎn)向系統(tǒng)240發(fā)送控制信號(hào)，使得車輛200制動(dòng)，同時(shí)變換車道。

圖5B是示出根據(jù)所公開的實(shí)施例的用于在一組圖像中檢測(cè)一個(gè)或多個(gè)的車輛和/或行人的示例過程500B的流程圖。處理單元110可以執(zhí)行單眼圖像分析模塊402來實(shí)現(xiàn)過程500B。在步驟540中，處理單元110可以確定表示可能的車輛和/或行人的一組候選對(duì)象。例如，處理單元110可以掃描一個(gè)或多個(gè)圖像，將該圖像與一個(gè)或多個(gè)預(yù)定模式進(jìn)行比較，并且在每個(gè)圖像內(nèi)識(shí)別可能包含感興趣的對(duì)象(例如，車輛、行人或其部分)的可能的位置。預(yù)定模式可以以實(shí)現(xiàn)高“偽命中”率和低“漏掉”率的這種方式來設(shè)計(jì)。例如，處理單元110可以使用與預(yù)定模式相似的低閾值，以將候選對(duì)象識(shí)別為可能的車輛或行人。這樣做可以允許處理單元110減少漏掉(例如，未識(shí)別出)表示車輛或行人的候選對(duì)象的可能性。

在步驟542中，處理單元110可以基于分類標(biāo)準(zhǔn)過濾該組候選對(duì)象以排除某些候選(例如，不相關(guān)或較不相關(guān)的對(duì)象)。這種標(biāo)準(zhǔn)可以從與存儲(chǔ)在數(shù)據(jù)庫(例如，存儲(chǔ)在存儲(chǔ)器140中的數(shù)據(jù)庫)中的對(duì)象類型相關(guān)聯(lián)的各種屬性得到。屬性可以包括對(duì)象形狀、尺寸、紋理、位置(例如，相對(duì)于車輛200)等。因此，處理單元110可以使用一組或多組標(biāo)準(zhǔn)來從該組候選對(duì)象中拒絕偽候選。

在步驟544中，處理單元110可以分析多幀圖像，以確定在該組候選對(duì)象中的對(duì)象是否表示車輛和/或行人。例如，處理單元110可以跨連續(xù)幀來跟蹤檢測(cè)到的候選對(duì)象，并累積與檢測(cè)到的對(duì)象相關(guān)聯(lián)的逐幀數(shù)據(jù)(例如，大小、相對(duì)于車輛200的位置等)。此外，處理單元110可以估計(jì)檢測(cè)到的對(duì)象的參數(shù)，并將該對(duì)象的逐幀位置數(shù)據(jù)與預(yù)測(cè)的位置進(jìn)行比較。

在步驟546中，處理單元110可以構(gòu)建一組對(duì)于檢測(cè)到的對(duì)象的測(cè)量。這種測(cè)量可以包括例如與檢測(cè)到的對(duì)象相關(guān)聯(lián)的位置、速度和加速度值(相對(duì)于車輛200)。在一些實(shí)施例中，處理單元110可以基于使用一系列基于時(shí)間的觀察的(諸如卡爾曼濾波器或線性二次估計(jì)(LQE))的估計(jì)技術(shù)，和/或基于對(duì)于不同對(duì)象類型(例如，汽車、卡車、行人、自行車、道路標(biāo)志等)可用的建模數(shù)據(jù)來構(gòu)建該測(cè)量?？柭鼮V波器可以基于對(duì)象的比例的測(cè)量，其中比例測(cè)量與要碰撞的時(shí)間(例如，車輛200達(dá)到對(duì)象的時(shí)間量)成比例。因此，通過執(zhí)行步驟540-546，處理單元110可以識(shí)別在該組捕捉的圖像內(nèi)出現(xiàn)的車輛和行人，并得到與該車輛和行人相關(guān)聯(lián)的信息(例如，位置、速度、大小)?；谠撟R(shí)別和所得到的信息，處理單元110可以引起車輛200中的一個(gè)或多個(gè)導(dǎo)航響應(yīng)，如以上結(jié)合圖5A所描述的。

在步驟548中，處理單元110可以執(zhí)行對(duì)一個(gè)或多個(gè)圖像的光流分析，以減少檢測(cè)到“偽命中”和漏掉表示車輛或行人的候選對(duì)象的可能性。光流分析可以指代例如在與其它車輛和行人相關(guān)聯(lián)的一個(gè)或多個(gè)圖像中分析相對(duì)于車輛200的運(yùn)動(dòng)模式，并且其區(qū)別于路面運(yùn)動(dòng)。處理單元110可以通過跨越在不同時(shí)間捕捉到的多個(gè)圖像幀觀察對(duì)象的不同位置來計(jì)算候選對(duì)象的運(yùn)動(dòng)。處理單元110可以使用該位置和時(shí)間值作為對(duì)用于計(jì)算候選對(duì)象的運(yùn)動(dòng)的數(shù)學(xué)模型的輸入。因此，光流分析可以提供檢測(cè)車輛200附近的車輛和行人的另一種方法。處理單元110可以結(jié)合步驟540-546執(zhí)行光流分析，以提供檢測(cè)車輛和行人的冗余，并提高系統(tǒng)100的可靠性。

圖5C是示出根據(jù)所公開的實(shí)施例的用于在一組圖像中檢測(cè)道路標(biāo)記和/或車道幾何信息的示例過程500C的流程圖。處理單元110可以執(zhí)行單眼圖像分析模塊402來實(shí)現(xiàn)過程500C。在步驟550中，處理單元110可以通過掃描一個(gè)或多個(gè)圖像來檢測(cè)一組對(duì)象。為了檢測(cè)車道標(biāo)記、車道幾何信息以及其它相關(guān)的道路標(biāo)記的片段，處理單元110可以過濾該組對(duì)象以排除那些被確定為不相關(guān)的(例如，小坑洼、小石塊等)。在步驟552中，處理單元110可以將在步驟550中檢測(cè)到的屬于相同的道路標(biāo)記或車道標(biāo)記的片段分組在一起?；谠摲纸M，處理單元110可以產(chǎn)生表示所檢測(cè)到的片段的模型，諸如數(shù)學(xué)模型。

在步驟554中，處理單元110可以構(gòu)建與所檢測(cè)的片段相關(guān)聯(lián)的一組測(cè)量。在一些實(shí)施例中，處理單元110可以創(chuàng)建所檢測(cè)的片段從圖像平面到現(xiàn)實(shí)世界平面上的投影。該投影可以使用具有與諸如所檢測(cè)的道路的位置、斜率、曲率和曲率導(dǎo)數(shù)的物理屬性對(duì)應(yīng)的系數(shù)的三次多項(xiàng)式來表征。在產(chǎn)生該投影中，處理單元110可以考慮路面的變化、以及與車輛200相關(guān)聯(lián)的俯仰(pitch)和滾轉(zhuǎn)速率。此外，處理單元110可以通過分析出現(xiàn)在路面上的位置和運(yùn)動(dòng)提示來對(duì)道路標(biāo)高進(jìn)行建模。此外，處理單元110可以通過跟蹤一個(gè)或多個(gè)圖像中的一組特征點(diǎn)來估計(jì)與車輛200相關(guān)聯(lián)的俯仰和滾轉(zhuǎn)速率。

在步驟556中，處理單元110可以通過例如跨連續(xù)圖像幀跟蹤所檢測(cè)到的片段并累積與檢測(cè)到的片段相關(guān)聯(lián)的逐幀數(shù)據(jù)來執(zhí)行多幀分析。由于處理單元110執(zhí)行多幀分析，在步驟554中構(gòu)建的該組測(cè)量可以變得更可靠并且與越來越高的置信水平相關(guān)聯(lián)。因此，通過執(zhí)行步驟550-556，處理單元110可以識(shí)別在該組捕捉的圖像中出現(xiàn)的道路標(biāo)記并得到車道幾何信息?；谠撟R(shí)別和所得到的信息，處理單元110可以引起車輛200中的一個(gè)或多個(gè)導(dǎo)航響應(yīng)，如以上結(jié)合圖5A所描述的。

在步驟558中，處理單元110可以考慮額外的信息源，以進(jìn)一步產(chǎn)生車輛200的在其周圍的環(huán)境的情景中的安全模型。處理單元110可以使用該安全模型來限定其中系統(tǒng)100可以以安全的方式執(zhí)行車輛200的自主控制的情景。為產(chǎn)生該安全模型，在一些實(shí)施例中，處理單元110可以考慮其它車輛的位置和運(yùn)動(dòng)、所檢測(cè)的道路邊緣和柵欄、和/或從地圖數(shù)據(jù)(諸如來自地圖數(shù)據(jù)庫160的數(shù)據(jù))提取的一般道路形狀描述。通過考慮額外的信息源，處理單元110可以提供用于檢測(cè)道路標(biāo)記和車道幾何結(jié)構(gòu)的冗余，并增加系統(tǒng)100的可靠性。

圖5D是示出了根據(jù)所公開的實(shí)施例的用于在一組圖像中檢測(cè)交通燈的示例過程500D的流程圖。處理單元110可以執(zhí)行單眼圖像分析模塊402來實(shí)現(xiàn)過程500D。在步驟560中，處理單元110可以掃描該組圖像，并識(shí)別出現(xiàn)在圖像中的可能包含交通燈的位置處的對(duì)象。例如，處理單元110可以過濾所識(shí)別的對(duì)象來構(gòu)造一組候選對(duì)象，排除不可能對(duì)應(yīng)于交通燈的那些對(duì)象。過濾可以基于與交通燈相關(guān)聯(lián)的諸如形狀、尺寸、紋理、位置(例如，相對(duì)于車輛200)等的各種屬性來進(jìn)行。這些屬性可以基于交通燈和交通控制信號(hào)的多個(gè)示例并存儲(chǔ)在數(shù)據(jù)庫中。在一些實(shí)施例中，處理單元110可以對(duì)反映可能的交通燈的該組候選對(duì)象執(zhí)行多幀分析。例如，處理單元110可以跨連續(xù)圖像幀跟蹤候選對(duì)象，估計(jì)候選對(duì)象的現(xiàn)實(shí)世界位置，并過濾掉那些移動(dòng)的對(duì)象(其不可能是交通燈)。在一些實(shí)施例中，處理單元110可以對(duì)候選對(duì)象執(zhí)行顏色分析，并識(shí)別出現(xiàn)在可能的交通燈內(nèi)的所檢測(cè)到的顏色的相對(duì)位置。

在步驟562中，處理單元110可以分析交叉口的幾何結(jié)構(gòu)。該分析可以基于以下的任意組合：(i)在車輛200的任一側(cè)檢測(cè)到的車道的數(shù)量、(ii)在道路上檢測(cè)到的標(biāo)記(如箭頭標(biāo)記)、和(iii)從地圖數(shù)據(jù)(例如，來自地圖數(shù)據(jù)庫160的數(shù)據(jù))提取的交叉口的描述。處理單元110可以使用從單眼分析模塊402的執(zhí)行得到的信息進(jìn)行分析。此外，處理單元110可以確定在步驟560中檢測(cè)到的交通燈和在車輛200附近出現(xiàn)的車道之間的對(duì)應(yīng)性。

在步驟564中，隨著車輛200接近交叉口，處理單元110可以更新與所分析的交叉口幾何結(jié)構(gòu)和所檢測(cè)到的交通燈相關(guān)聯(lián)的置信度水平。例如，被估計(jì)為出現(xiàn)在交叉口處的交通燈的數(shù)量與實(shí)際出現(xiàn)在交叉口處的交通燈的數(shù)量相比可能影響置信度水平。因此，基于該置信度水平，處理單元110可以將控制委托給車輛200的駕駛員以便改進(jìn)安全條件。通過執(zhí)行步驟560-564，處理單元110可以識(shí)別出現(xiàn)在該組捕捉的圖像內(nèi)的交通燈，并分析交叉口幾何信息。基于該識(shí)別和分析，處理單元110可以引起車輛200中的一個(gè)或多個(gè)導(dǎo)航響應(yīng)，如以上結(jié)合圖5A所描述的。

圖5E是示出了根據(jù)所公開的實(shí)施例的用于基于車輛路徑引起車輛中的一個(gè)或多個(gè)導(dǎo)航響應(yīng)的示例過程500E的流程圖。在步驟570中，處理單元110可以構(gòu)建與車輛200相關(guān)聯(lián)的初始車輛路徑。車輛路徑可以使用以坐標(biāo)(x,z)表達(dá)的一組點(diǎn)來表示，并且該組點(diǎn)中的兩個(gè)點(diǎn)之間的距離d_i可以落入1至5米的范圍中。在一個(gè)實(shí)施例中，處理單元110可以使用諸如左和右道路多項(xiàng)式的兩個(gè)多項(xiàng)式來構(gòu)建初始車輛路徑。處理單元110可以計(jì)算該兩個(gè)多項(xiàng)式之間的幾何中點(diǎn)，并將被包含在得到的車輛路徑中的每個(gè)點(diǎn)偏移預(yù)定的偏移(例如，智能車道偏移)，如果有的話(零偏移可以對(duì)應(yīng)于在車道的中間行駛)。偏移可以在垂直于在車輛路徑中的任何兩點(diǎn)之間的線段的方向上。在另一個(gè)實(shí)施例中，處理單元110可以使用一個(gè)多項(xiàng)式和估計(jì)的車道寬度來將車輛路徑的每個(gè)點(diǎn)偏移估計(jì)的車道寬度的一半加上預(yù)定偏移(例如，智能車道偏移)。

在步驟572中，處理單元110可以更新在步驟570中構(gòu)建的車輛路徑。處理單元110可以使用更高的分辨率來重建在步驟570中構(gòu)建的車輛路徑，以使得表示車輛路徑的該組點(diǎn)中的兩個(gè)點(diǎn)之間的距離d_k小于上述距離d_i。例如，該距離d_k可以落入0.1至0.3米的范圍中。處理單元110可以使用拋物線樣條算法(parabolic spline algorithm)重建車輛路徑，這可以產(chǎn)生對(duì)應(yīng)于車輛路徑的總長度的累積距離向量S(即，基于表示車輛路徑的該組點(diǎn))。

在步驟574中，處理單元110可以基于在步驟572中構(gòu)建的更新的車輛路徑來確定前瞻點(diǎn)(look-ahead point)(以坐標(biāo)表達(dá)為(x_i,z_i))。處理單元110可以從累積距離向量S提取前瞻點(diǎn)，并且該前瞻點(diǎn)可以與前瞻距離和前瞻時(shí)間相關(guān)聯(lián)?？梢跃哂蟹秶鸀閺?0米至20米的下限的前瞻距離可以被計(jì)算為車輛200的速度和前瞻時(shí)間的乘積。例如，隨著車輛200的速度下降，前瞻距離也可以減小(例如，直到它到達(dá)下限)。范圍可以從0.5到1.5秒的前瞻時(shí)間可以與關(guān)聯(lián)于引起車輛200中的導(dǎo)航響應(yīng)的一個(gè)或多個(gè)控制環(huán)路的增益成反比，例如是航向誤差(heading error)跟蹤控制回路。例如，該航向誤差跟蹤控制環(huán)路的增益可以取決于橫擺角速率環(huán)路、轉(zhuǎn)向致動(dòng)器環(huán)路、汽車橫向動(dòng)力學(xué)等的帶寬。因此，航向誤差跟蹤控制環(huán)路的增益越高，前瞻時(shí)間越低。

在步驟576中，處理單元110可以基于在步驟574中確定的前瞻點(diǎn)來確定航向誤差和橫擺角速率命令。處理單元110可以通過計(jì)算前瞻點(diǎn)的反正切，例如arctan(x_i/z_i)來確定航向誤差。處理單元110可以將橫擺角率命令確定為航向誤差和高水平控制增益的乘積。如果前瞻距離不在下限處，則高水平控制增益可以等于：(2/前瞻時(shí)間)。否則，高水平控制增益可以等于：(2×車輛200的速度/前瞻距離)。

圖5F是示出了根據(jù)所公開的實(shí)施例的用于確定前方車輛是否正在改變車道的示例過程500F的流程圖。在步驟580中，處理單元110可以確定與前方車輛(例如，在車輛200前方行駛的車輛)相關(guān)聯(lián)的導(dǎo)航信息。例如，處理單元110可以使用以上結(jié)合圖5A和圖5B所描述的技術(shù)來確定前方車輛的位置、速度(例如，方向和速度)和/或加速度。處理單元110還可以使用以上結(jié)合圖5E所描述的技術(shù)來確定一個(gè)或多個(gè)道路多項(xiàng)式、前瞻點(diǎn)(與車輛200相關(guān)聯(lián))、和/或追蹤軌跡(snail trail)(例如，描述前車所采取的路徑的一組點(diǎn))。

在步驟582中，處理單元110可以分析在步驟580中確定的導(dǎo)航信息。在一個(gè)實(shí)施例中，處理單元110可以計(jì)算追蹤軌跡和道路多項(xiàng)式之間的距離(例如，沿著該軌跡)。如果沿著該軌跡的這個(gè)距離的變化超過預(yù)定的閾值(例如，在直路上0.1至0.2米，在適度彎曲道路上0.3至0.4米，以及在具有尖銳曲線的道路上0.5至0.6米)，則處理單元110可以確定前方車輛很可能正在改變車道。在檢測(cè)到多個(gè)車輛在車輛200前方行駛的情形中，處理單元110可以比較與每個(gè)車輛相關(guān)聯(lián)的追蹤軌跡。基于該比較，處理單元110可以確定追蹤軌跡與其它車輛的追蹤軌跡不匹配的車輛很可能正在改變車道。處理單元110可以額外地將(與前方車輛相關(guān)聯(lián)的)追蹤軌跡的曲率與前方車輛正在其中行駛的道路段的期望曲率相比較。期望曲率可以從地圖數(shù)據(jù)(例如，來自地圖數(shù)據(jù)庫160的數(shù)據(jù))、從道路多項(xiàng)式、從其它車輛的追蹤軌跡、從關(guān)于道路現(xiàn)有知識(shí)等提取。如果追蹤軌跡的曲率和道路段的期望曲率的差異超過預(yù)定的閾值，則處理單元110可以確定前方車輛很可能正在改變車道。

在另一個(gè)實(shí)施例中，處理單元110可以在特定時(shí)間段(例如，0.5至1.5秒)將前方車輛的瞬時(shí)位置與(與車輛200相關(guān)聯(lián)的)前瞻點(diǎn)相比較。如果前方車輛的瞬時(shí)位置與前瞻點(diǎn)之間的距離在特定時(shí)間段期間變化，并且變化的累積總和超過預(yù)定閾值(例如，直路上0.3至0.4米，適度彎曲道路上0.7至0.8米，以及在具有尖銳曲線的道路上1.3至1.7米)，則處理單元110可以確定前方車輛很可能正在改變車道。在另一實(shí)施例中，處理單元110可以通過將沿著追蹤軌跡行駛的橫向距離與該追蹤路徑的期望曲率相比較來分析該追蹤軌跡的幾何結(jié)構(gòu)。期望曲率半徑可以根據(jù)公式確定：(δ_z²+δ_x²)/2/(δ_x)，其中δ_x表示行駛的橫向距離，且δ_z表示的行駛的縱向距離。如果行駛的橫向距離和期望曲率之間的差異超過預(yù)定閾值(例如，500至700米)，則處理單元110可以確定前方車輛很可能正在改變車道。在另一個(gè)實(shí)施例中，處理單元110可以分析前方車輛的位置。如果前方車輛的位置使道路多項(xiàng)式模糊不清(例如，前車覆蓋在道路多項(xiàng)式的上方)，則處理單元110可以確定前方車輛很可能正在改變車道。在前方車輛的位置是使得在前方車輛的前方檢測(cè)到另一車輛，并且這兩個(gè)車輛的追蹤軌跡不平行的情況下，處理單元110可以確定(較近的)前方車輛很可能正在改變車道。

在步驟584中，處理單元110可以基于在步驟582中進(jìn)行的分析確定前方車輛200是否正在改變車道。例如，處理單元110可以基于在步驟582中執(zhí)行的各個(gè)分析的加權(quán)平均來做出該確定。在這種方案下，例如，由處理單元110基于特定類型的分析做出的前方車輛很可能正在改變通道的決定可以被分配值“1”(以及“0”，用來表示前方車輛不太可能正在改變車道的確定)。在步驟582中執(zhí)行的不同分析可以被分配不同的權(quán)重，并且所公開的實(shí)施例不限于分析和權(quán)重的任何特定組合。

圖6是示出了根據(jù)所公開的實(shí)施例的用于基于立體圖像分析引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)的示例過程600的流程圖。在步驟610中，處理單元110可以經(jīng)由數(shù)據(jù)接口128接收第一和第二多個(gè)圖像。例如，被包含在圖像獲取單元120的相機(jī)(諸如具有視場(chǎng)202和204的圖像捕捉裝置122和124)可以捕捉在車輛200前方的區(qū)域的第一和第二多個(gè)圖像，并經(jīng)過數(shù)字連接(例如，USB、無線、藍(lán)牙等)將它們發(fā)送到處理單元110。在一些實(shí)施例中，處理單元110可以經(jīng)由兩個(gè)或多個(gè)數(shù)據(jù)接口接收該第一和第二多個(gè)圖像。所公開的實(shí)施例不限于任何特定的數(shù)據(jù)接口配置或協(xié)議。

在步驟620中，處理單元110可以執(zhí)行立體圖像分析模塊404來執(zhí)行對(duì)第一和第二多個(gè)圖像的立體圖像分析，以創(chuàng)建在車輛前方的道路的3D地圖并檢測(cè)圖像內(nèi)的特征，諸如車道標(biāo)記、車輛、行人、道路標(biāo)志、高速公路出口坡道、交通燈、道路危險(xiǎn)等。立體圖像分析可以以類似于以上結(jié)合圖5A-圖5D描述的步驟的方式來執(zhí)行。例如，處理單元110可以執(zhí)行立體圖像分析模塊404以在第一和第二多個(gè)圖像內(nèi)檢測(cè)候選對(duì)象(例如，車輛、行人、道路標(biāo)志、交通燈、道路危險(xiǎn)等)，基于各種標(biāo)準(zhǔn)過濾掉候選對(duì)象的子集，并對(duì)剩余的候選對(duì)象執(zhí)行多幀分析、構(gòu)建測(cè)量、并確定置信度水平。在執(zhí)行上述步驟中，處理單元110可以考慮來自第一和第二多個(gè)圖像二者的信息，而不是來自單獨(dú)一組圖像的信息。例如，處理單元110可以分析出現(xiàn)在第一和第二多個(gè)圖像二者中的候選對(duì)象的像素級(jí)數(shù)據(jù)(或來自捕捉的圖像的兩個(gè)流中的其它數(shù)據(jù)子集)的差異。作為另一示例，處理單元110可以通過觀察該對(duì)象出現(xiàn)在多個(gè)圖像的一個(gè)中但不出現(xiàn)在另一個(gè)中、或者關(guān)于在兩個(gè)圖像流情況下可能存在的相對(duì)于出現(xiàn)的對(duì)象的其它差異，來估計(jì)候選對(duì)象(例如，相對(duì)于車輛200)的位置和/或速度。例如，可以基于與出現(xiàn)在圖像流的一個(gè)或二者中的對(duì)象相關(guān)聯(lián)的軌跡、位置、移動(dòng)特性等特征來確定相對(duì)于車輛200的位置、速度和/或加速度。

在步驟630中，處理單元110可以執(zhí)行導(dǎo)航響應(yīng)模塊408，以基于在步驟620中執(zhí)行的分析和如以上結(jié)合圖4所描述的技術(shù)而引起車輛200中的一個(gè)或多個(gè)導(dǎo)航響應(yīng)。導(dǎo)航響應(yīng)可以包括例如轉(zhuǎn)向、車道變換、加速度的改變、速度的改變、制動(dòng)等。在一些實(shí)施例中，處理單元110可以使用從速度和加速度模塊406的執(zhí)行得到的數(shù)據(jù)來引起該一個(gè)或多個(gè)導(dǎo)航響應(yīng)。此外，多個(gè)導(dǎo)航響應(yīng)可以同時(shí)地、按照順序地、或以其任意組合而發(fā)生。

圖7是示出了根據(jù)所公開的實(shí)施例的用于基于三組圖像的分析來引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)的示例過程700的流程圖。在步驟710中，處理單元110可以經(jīng)由數(shù)據(jù)接口128接收第一、第二和第三多個(gè)圖像。例如，被包含在圖像獲取單元120的相機(jī)(諸如具有視場(chǎng)202、204和206的圖像捕捉裝置122、124和126)可以捕捉在車輛200前方和/或側(cè)面的區(qū)域的第一、第二和第三多個(gè)圖像并且經(jīng)過數(shù)字連接(例如，USB、無線、藍(lán)牙等)將它們發(fā)送到處理單元110。在一些實(shí)施例中，處理單元110可以經(jīng)由三個(gè)或更多數(shù)據(jù)接口接收第一、第二和第三多個(gè)圖像。例如，圖像捕捉裝置122、124、126中的每一個(gè)可以具有用于向處理單元110傳送數(shù)據(jù)的相關(guān)聯(lián)的數(shù)據(jù)接口。所公開的實(shí)施例不限于任何特定的數(shù)據(jù)接口配置或協(xié)議。

在步驟720中，處理單元110可以分析該第一、第二和第三多個(gè)圖像以檢測(cè)圖像內(nèi)的特征，諸如車道標(biāo)記、車輛、行人、道路標(biāo)志、高速公路出口坡道、交通燈、道路危險(xiǎn)等。該分析可以以類似于以上結(jié)合圖5A-圖5D和圖6所描述的步驟的方式來執(zhí)行。例如，處理單元110可以對(duì)第一、第二和第三多個(gè)圖像中的每一個(gè)執(zhí)行單眼圖像分析(例如，經(jīng)由單眼圖像分析模塊402的執(zhí)行以及基于以上結(jié)合圖5A-圖5D所描述的步驟)?？商娲?，處理單元110可對(duì)第一和第二多個(gè)圖像、第二和第三多個(gè)圖像、和/或第一和第三多個(gè)圖像執(zhí)行立體圖像分析(例如，經(jīng)由立體圖像分析模塊404的執(zhí)行以及基于以上結(jié)合圖6所描述的步驟)。對(duì)應(yīng)于第一、第二和/或第三多個(gè)圖像的分析的處理后的信息可以進(jìn)行組合。在一些實(shí)施例中，處理單元110可以執(zhí)行單眼和立體圖像分析的組合。例如，處理單元110可以對(duì)第一多個(gè)圖像執(zhí)行單眼圖像分析(例如，經(jīng)由單眼圖像分析模塊402的執(zhí)行)并且對(duì)第二和第三多個(gè)圖像執(zhí)行立體圖像分析(例如，經(jīng)由立體圖像分析模塊404的執(zhí)行)。圖像捕捉裝置122、124和126—包括它們各自的位置和視場(chǎng)202、204和206—的配置可以影響對(duì)第一、第二和第三多個(gè)圖像進(jìn)行的分析的類型。所公開的實(shí)施例不限于圖像捕捉裝置122、124和126的特定配置或?qū)Φ谝?、第二和第三多個(gè)圖像進(jìn)行的分析的類型。

在一些實(shí)施例中，處理單元110可以基于在步驟710和720中所獲取和分析的圖像對(duì)系統(tǒng)100執(zhí)行測(cè)試。這種測(cè)試可以提供對(duì)于圖像獲取裝置122、124和126的某些配置的系統(tǒng)100的整體性能的指示符。例如，處理單元110可以確定“偽命中”(例如，其中系統(tǒng)100不正確地確定車輛或行人的存在的情況)和“漏掉”的比例。

在步驟730中，處理單元110可以基于從第一、第二和第三多個(gè)圖像中的兩個(gè)得到的信息引起車輛200中的一個(gè)或多個(gè)導(dǎo)航響應(yīng)。第一、第二和第三多個(gè)圖像中的兩個(gè)的選擇可以取決于各種因素，例如在多個(gè)圖像的每個(gè)中檢測(cè)到的對(duì)象的數(shù)量、類型和大小。處理單元110還可以基于圖像質(zhì)量和分辨率、圖像中反映的有效視場(chǎng)、捕捉的幀的數(shù)量、實(shí)際出現(xiàn)在幀中的感興趣的一個(gè)或多個(gè)對(duì)象的程度(例如，其中出現(xiàn)對(duì)象的幀的百分比、出現(xiàn)在每個(gè)這種幀中的對(duì)象的比例)等進(jìn)行選擇。

在一些實(shí)施例中，處理單元110可以通過確定從一個(gè)圖像源得到的信息與從其它圖像源得到的信息的相一致的程度，選擇從第一、第二和第三多個(gè)圖像中的兩個(gè)得到的信息。例如，處理單元110可以將從圖像捕捉裝置122、124和126中的每一個(gè)得到的處理后的信息組合(無論通過單眼分析、立體分析、還是兩者的任意組合)，并確定在從圖像捕捉裝置122、124和126的每個(gè)捕捉的圖像之間一致的視覺指示符(例如，車道標(biāo)記、檢測(cè)到的車輛及其位置和/或路徑、檢測(cè)到的交通燈等)。處理單元110還可以排除在捕捉到的圖像之間不一致的信息(例如，改變車道的車輛、指示車輛太靠近車輛200的車道模型等)。因此，處理單元110可以基于一致和不一致的信息的確定來選擇從第一、第二和第三多個(gè)圖像中的兩個(gè)得到的信息。

導(dǎo)航響應(yīng)可以包括例如轉(zhuǎn)向、車道變換、制動(dòng)、加速度的改變等。處理單元110可以基于在步驟720中所執(zhí)行的分析和如以上結(jié)合圖4所描述的技術(shù)引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)。處理單元110還可以使用從速度和加速度模塊406的執(zhí)行得到的數(shù)據(jù)引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)。在一些實(shí)施例中，處理單元110可以基于在車輛200與在第一、第二和第三多個(gè)圖像的任一者內(nèi)檢測(cè)到的對(duì)象之間的相對(duì)位置、相對(duì)速度和/或相對(duì)加速度來引起一個(gè)或多個(gè)導(dǎo)航響應(yīng)。多個(gè)導(dǎo)航響應(yīng)可以同時(shí)地、按順序地或以其任意組合而發(fā)生。

路緣(curb)檢測(cè)和行人危險(xiǎn)評(píng)估

如本文所述，系統(tǒng)100可以包括允許對(duì)某些元素的檢測(cè)的技術(shù)特征和能力，其幫助系統(tǒng)100停留在道路上并且避免碰撞。在一個(gè)示例中，系統(tǒng)100被配置為檢測(cè)限定道路的道路邊界和/或道路附近的行人。獲知物理道路邊界允許系統(tǒng)100以避免駛離道路和/或與對(duì)象或行人碰撞的方式來警告駕駛員或控制車輛。例如，識(shí)別道路邊界有助于通過劃分其中可能存在行人的區(qū)域，以提供對(duì)在道路附近的人行道上的行人的物理保護(hù)。

在示例性實(shí)施例中，系統(tǒng)100可以被配置為檢測(cè)路緣作為道路邊界。在大多數(shù)情況下，路緣是將路面與非路面(例如，人行道、小路、中央隔離帶、建筑物等)分離的物理邊界。防止車輛穿過路緣有助于保持道路上的車輛和人行道上的行人安全。然而，位于路面上的行人處于被移動(dòng)車輛撞擊的更高的風(fēng)險(xiǎn)之中。因此，將行人分類為在路緣上和在路緣外的能力、以及對(duì)車輛和行人軌跡的估計(jì)為系統(tǒng)100提供了車輛對(duì)行人構(gòu)成的危險(xiǎn)進(jìn)行評(píng)估的能力。公開的實(shí)施例包括路緣檢測(cè)和行人危險(xiǎn)評(píng)估特征，以對(duì)系統(tǒng)100提供這些和其它功能。

為了實(shí)現(xiàn)路緣檢測(cè)和行人危險(xiǎn)評(píng)估功能，處理單元110可以接收由圖像捕捉裝置122、124、126中的至少一個(gè)所捕捉的圖像，并執(zhí)行一個(gè)或多個(gè)圖像分析處理。例如，處理單元110可以執(zhí)行路緣識(shí)別過程以識(shí)別所捕捉的圖像中的路緣，和執(zhí)行行人識(shí)別過程以確定行人相對(duì)于路面的位置。

在一些實(shí)施例中，存儲(chǔ)器140和/或150可以存儲(chǔ)指令，該指令被編程為使得，當(dāng)被處理裝置執(zhí)行時(shí)，提供路緣檢測(cè)和/或行人危險(xiǎn)評(píng)估功能。如圖8所示，存儲(chǔ)器140和/或150可以存儲(chǔ)路緣識(shí)別模塊810、路緣配準(zhǔn)(registration)模塊820、行人識(shí)別模塊830、和數(shù)據(jù)庫840。路緣識(shí)別模塊810可以存儲(chǔ)用于識(shí)別圖像的對(duì)應(yīng)于路緣的元素的指令。路緣配準(zhǔn)模塊820可以存儲(chǔ)用于對(duì)路緣進(jìn)行建模和/或確定每個(gè)所識(shí)別路緣的屬性的指令。行人識(shí)別模塊830可以存儲(chǔ)用于在一個(gè)或多個(gè)捕捉的圖像中檢測(cè)行人并對(duì)行人進(jìn)行分類的指令。數(shù)據(jù)庫840可以被配置為存儲(chǔ)與路緣檢測(cè)和/或行人危險(xiǎn)評(píng)估功能相關(guān)聯(lián)的數(shù)據(jù)。此外，路緣識(shí)別模塊810、路緣配準(zhǔn)模塊820、以及行人識(shí)別模塊830可以存儲(chǔ)可由一個(gè)或多個(gè)處理器(例如，處理單元110)單獨(dú)地或彼此以各種組合執(zhí)行的指令。例如，路緣識(shí)別模塊810、路緣配準(zhǔn)模塊820、以及行人識(shí)別模塊830可以被配置為與彼此交互和/或與系統(tǒng)100的其它模塊交互，以執(zhí)行根據(jù)所公開的實(shí)施例的功能。

數(shù)據(jù)庫840可以包括一個(gè)或多個(gè)存儲(chǔ)器裝置，其存儲(chǔ)信息并且通過諸如處理單元110的計(jì)算裝置訪問和/或管理。在一些實(shí)施例中，數(shù)據(jù)庫840可以位于存儲(chǔ)器140或150中，如圖8所示。在其它實(shí)施例中，數(shù)據(jù)庫840可以離存儲(chǔ)器140或150遠(yuǎn)程地定位，并且系統(tǒng)100的其它組件(例如，處理單元120)可經(jīng)由一個(gè)或多個(gè)無線連接(例如，無線網(wǎng)絡(luò))對(duì)其進(jìn)行訪問。盡管示出一個(gè)數(shù)據(jù)庫840，但是應(yīng)該理解的是，若干個(gè)獨(dú)立的和/或互連的數(shù)據(jù)庫可以組成數(shù)據(jù)庫840。數(shù)據(jù)庫840可以包括計(jì)算組件(例如，數(shù)據(jù)庫管理系統(tǒng)、數(shù)據(jù)庫服務(wù)器等)，該計(jì)算組件配置為接收和處理對(duì)存儲(chǔ)在與數(shù)據(jù)庫840相關(guān)聯(lián)的存儲(chǔ)器裝置中的數(shù)據(jù)的請(qǐng)求，并從數(shù)據(jù)庫840提供數(shù)據(jù)(例如，到處理單元110)。

在一些實(shí)施例中，數(shù)據(jù)庫840可以被配置為存儲(chǔ)與提供路緣檢測(cè)和/或行人危險(xiǎn)評(píng)估功能相關(guān)聯(lián)的數(shù)據(jù)。例如，數(shù)據(jù)庫840可以存儲(chǔ)數(shù)據(jù)，諸如圖像、圖像的部分、地圖、算法、值的集合等，其可以允許處理單元110識(shí)別在圖像中檢測(cè)到的信息。例如，數(shù)據(jù)庫840可以存儲(chǔ)允許系統(tǒng)100識(shí)別路緣和/或行人的信息，諸如存儲(chǔ)的路緣的圖像和/或行人的圖像。

圖9描繪了由圖像捕捉設(shè)備122、124、126中的一個(gè)捕捉的示例性圖像900。圖像900包括通?？梢员硎井?dāng)車輛在道路上行駛時(shí)可見的設(shè)定的環(huán)境。例如，圖像900包括在相對(duì)的路緣920之間限定的道路910、以及多個(gè)行人930。在示例性實(shí)施例中，系統(tǒng)100可以被配置為識(shí)別和/或區(qū)分圖像900的各種特征。獲知這些特征允許系統(tǒng)100做出有助于促進(jìn)車輛的安全操作的決定。例如，路緣920的識(shí)別提供了有助于將車輛保持在道路910的物理邊界內(nèi)、遠(yuǎn)離于人行道上的行人930的信息。此外，路緣920的識(shí)別允許系統(tǒng)100識(shí)別道路910的表面上的行人，并且因此識(shí)別潛在的行人危險(xiǎn)，這可能需要進(jìn)一步的動(dòng)作以避免碰撞。

圖像900的全部可以表示一個(gè)或多個(gè)圖像捕捉設(shè)備122、124、126的視場(chǎng)。在一些實(shí)施例中，系統(tǒng)100可以被配置為在FOV內(nèi)識(shí)別感興趣的區(qū)域(ROI)950。在示例性實(shí)施例中，系統(tǒng)100可以是被配置為處理選定的ROI950和/或與圖像900(和/或多個(gè)圖像，圖像900是其中一個(gè))相關(guān)聯(lián)的完整視場(chǎng)以識(shí)別路緣920的檢測(cè)系統(tǒng)。

在一個(gè)實(shí)施例中，系統(tǒng)100(例如，路緣識(shí)別模塊810)可以被配置為檢測(cè)線性圖像邊緣作為路緣邊緣線候選。路緣識(shí)別模塊810可以基于所識(shí)別的路緣邊緣線候選，分析圖像以識(shí)別路緣的一個(gè)或多個(gè)邊緣線。例如，路緣識(shí)別模塊810可以通過分析邊緣線候選來確定哪一個(gè)(如果有的話)包括與路緣底部邊緣的特征匹配的特征，以識(shí)別路緣的底部邊緣，該底部邊緣可以是圖像中的路緣和路面之間的過渡線。

在一些實(shí)施例中，系統(tǒng)100(例如，路緣配準(zhǔn)模塊820)可以被配置為通過確定路緣邊緣線候選附近的像素的運(yùn)動(dòng)場(chǎng)是否與具有適當(dāng)高度的階梯(step)的三維結(jié)構(gòu)相一致，來確定路緣邊緣線候選是否是路緣的一部分(例如，候選將會(huì)被正確地識(shí)別為路緣的邊緣線)。例如，系統(tǒng)100可以將路緣建模為陡(sharp)階梯函數(shù)，并使用多個(gè)捕捉的圖像(例如，先前和當(dāng)前的圖像)來計(jì)算階梯的什么屬性將會(huì)最好地對(duì)捕捉的圖像幀之間的像素的運(yùn)動(dòng)場(chǎng)進(jìn)行建模。圖9示出在最近的路中行人930A附近的所識(shí)別出的路緣920A的示例。

在示例性實(shí)施例中，路緣識(shí)別模塊810可以通過使用圖像分析方法識(shí)別路緣邊緣線候選。例如，系統(tǒng)100可以使用利用霍夫(Hough)變換的方法，霍夫變換是可以用于識(shí)別圖像中的線的圖像處理技術(shù)。在另一個(gè)示例中，系統(tǒng)100可以使用坎尼(Canny)邊緣檢測(cè)技術(shù)，利用圖像梯度分析來識(shí)別存在于圖像中的邊緣?？梢允褂闷渌鼒D像分析方法，諸如，通過強(qiáng)度、對(duì)比度、或其它參數(shù)對(duì)圖像像素進(jìn)行分組來識(shí)別存在于圖像中的線和/或曲線的其它方法。

路緣邊緣，包括路緣底部邊緣，通?？雌饋頌閳D像的強(qiáng)度圖樣(pattern)中的細(xì)長線性邊緣，從而允許使用的上述的圖像分析方法中的一種對(duì)其進(jìn)行識(shí)別。然而，對(duì)于出現(xiàn)在圖像中的包含長的線性特征的非路緣對(duì)象和道路標(biāo)記也是如此。因此，在圖像中發(fā)現(xiàn)的細(xì)長線性邊緣并不一定是路緣的邊緣。路緣配準(zhǔn)模塊820可以執(zhí)行路緣檢測(cè)處理以分析路緣邊緣線候選，來識(shí)別路緣邊緣線(并且因此識(shí)別路緣)。

圖10A描繪了示例性圖像1000，包括由路緣識(shí)別模塊810識(shí)別為路緣1020的潛在邊緣的線性邊緣1010。線性邊緣1010中的一些可能對(duì)應(yīng)于路緣1020的邊緣線(例如，路緣的頂部和/或底部邊緣)，而其它一些線性邊緣1010可能對(duì)應(yīng)于非路緣對(duì)象，諸如裂縫、接縫、標(biāo)記等。路緣配準(zhǔn)模塊820可以分析圖像1000和線性邊緣1010，以確定路緣1020的位置和/或?qū)β肪?020進(jìn)行建模。圖10B描繪了根據(jù)所公開的實(shí)施例的具有已經(jīng)被確定和建模的路緣1020的圖像1000。

路緣配準(zhǔn)模塊820可以被配置為存儲(chǔ)與允許如圖10B所示的對(duì)路緣1020進(jìn)行識(shí)別和建模的一個(gè)或多個(gè)算法相關(guān)聯(lián)的指令。例如，路緣配準(zhǔn)模塊820可以包括路緣分析算法(CAA)，其可以允許系統(tǒng)100在圖像和/或視頻序列中的多個(gè)圖像內(nèi)識(shí)別路緣。在示例性實(shí)施例中，處理單元110可以使用CAA確定路緣邊緣線候選是否對(duì)應(yīng)于路緣邊緣線(例如，路緣底部邊緣或路緣頂部邊緣)。

圖11描繪了可以用于對(duì)對(duì)應(yīng)于真實(shí)路緣1105的路緣進(jìn)行建模的模型化階梯函數(shù)1100的示例，其包括當(dāng)執(zhí)行CAA時(shí)可以由系統(tǒng)100使用的至少一些參數(shù)。如圖11所示，系統(tǒng)110可以跨多個(gè)捕捉的圖像幀來分析感興趣的區(qū)域1110以對(duì)階梯函數(shù)1100進(jìn)行建模，而不考慮屏蔽(mask)區(qū)域1120。這可以允許處理單元110只關(guān)注路緣邊緣線候選周圍的像素。在示例性實(shí)施例中，為了確定路緣邊緣線候選是否對(duì)應(yīng)于路緣邊緣線，可以計(jì)算階梯函數(shù)1100的高度(即，相關(guān)聯(lián)的模型化路緣的高度)(以下稱為“Z_curb”)。例如，可以對(duì)于在視頻序列的一個(gè)圖像中檢測(cè)到的給定的路緣邊緣線候選、先前幀、以及已知的、假定的、或估計(jì)的參數(shù)(例如，相機(jī)的校準(zhǔn)和自運(yùn)動(dòng)參數(shù))計(jì)算Z_curb。

在一個(gè)示例中，路緣配準(zhǔn)模塊820可以利用參數(shù)化圖像扭曲(wrap)函數(shù)和誤差最小化函數(shù)E(p)來對(duì)于給定的路緣邊緣線候選計(jì)算Z_curb。圖像扭曲函數(shù)可以是分段式單應(yīng)矩陣(homography)扭曲，由此每個(gè)單應(yīng)矩陣在感興趣的區(qū)域1110的不同部分上操作以對(duì)在捕捉的幀圖像之間的三維空間中的像素進(jìn)行匹配。例如，圖像扭曲函數(shù)可以被定義為：

如圖11所示，每個(gè)單應(yīng)矩陣H₁、H₂和H₃可以對(duì)應(yīng)于感興趣區(qū)域1120的一部分。在示例性實(shí)施例中，H₁可以表示路緣1105的底部邊緣的內(nèi)側(cè)的區(qū)域(例如，路面)，H₂可以表示路緣1105的底部邊緣與路緣1105的頂部邊緣之間的區(qū)域(例如，路緣的高度)，并且H₃可以表示遠(yuǎn)離于路緣1105的頂部和路面而延伸的區(qū)域(例如，人行道)，所有都在感興趣的區(qū)域1120內(nèi)。系統(tǒng)100可以使用圖像扭曲函數(shù)來跟隨諸如當(dāng)前圖像I_a和先前圖像I_b的多個(gè)圖像之間的像素，以確定與路緣線邊緣線候選相關(guān)聯(lián)的階梯函數(shù)。

在示例性實(shí)施例中，可以基于單應(yīng)矩陣確定公式計(jì)算每個(gè)單應(yīng)矩陣H₁、H₂和H₃，諸如：

在一般情況下，限定每個(gè)單應(yīng)矩陣的參數(shù)可以是已知的、假定的、或基于與車輛200和圖像捕捉裝置122、124、126相關(guān)聯(lián)的信息估計(jì)的。例如，K可以是可以考慮焦距、圖像中心、和/或其它相機(jī)設(shè)定的圖像捕捉裝置參數(shù)，并且可以被定義為：

幀間自運(yùn)動(dòng)參數(shù)可以使用以下得到：

t_ab＝(ΔX,ΔY,ΔZ)^T

Δθ_ab＝(Δα,Δβ,Δγ)^T

Rab＝Rz(Δγ)Ry(Δβ)Rx(Δα)可以是在幀I_a的相機(jī)坐標(biāo)系統(tǒng)中的幀I_a和幀I_a之間的由俯仰(x)、偏航(y)和滾轉(zhuǎn)(z)旋轉(zhuǎn)(對(duì)于相對(duì)于道路平面的俯仰角α、偏轉(zhuǎn)角β和滾轉(zhuǎn)角γ)所構(gòu)成的相機(jī)旋轉(zhuǎn)矩陣。

關(guān)于表面法線n_i：

n₂＝-u×n₁

在這些公式中，u＝(X2–X1)/||(X2-X1)||，u是在路緣的底部邊緣的方向上的單位向量，且R_calib＝Rz(γ)Ry(β)Rx(α)，R_calib是道路校準(zhǔn)矩陣。

關(guān)于到三個(gè)平面的距離d_i：

d₁＝Z_cam

d₃＝Z_cam-Z_curb

在上述公式中，可以使用被投射到道路平面上的圖像坐標(biāo)和的世界坐標(biāo)X₁和X₂。對(duì)應(yīng)于和的、在階梯函數(shù)1100的上半部分上的點(diǎn)的圖像坐標(biāo)和可以限定分隔感興趣的區(qū)域1110內(nèi)的區(qū)域H₂和H₃的線。這些點(diǎn)可以因此被定義為：

X_3,4＝X_1,2+Z_curbn₁

在這些公式中，x可被用于表示相對(duì)應(yīng)的二維圖像點(diǎn)x的三維齊次(homogenous)圖像坐標(biāo)。

上面的公式可以用于確定使用圖像扭曲函數(shù)函數(shù)的單應(yīng)矩陣H₁、H₂和H₃。由于階梯函數(shù)1100的路緣高度Z_curb是未知的參數(shù)，圖像扭曲函數(shù)可以進(jìn)行迭代求解，直到確定適當(dāng)?shù)腪_curb。適當(dāng)?shù)腪_curb可以對(duì)應(yīng)于當(dāng)對(duì)在捕捉的圖像幀之間的感興趣的區(qū)域1120的坐標(biāo)進(jìn)行扭曲時(shí)、在滿意的誤差內(nèi)的圖像扭曲公式的結(jié)果。這可以使用誤差最小化函數(shù)E(p)來確定，其中E(p)被定義為：

誤差最小化函數(shù)E(p)可以被用于利用已知的信息、假定和/或估計(jì)的信息，來使當(dāng)前幀和先前幀的扭曲之間的差異最小化。例如，當(dāng)使用誤差最小化函數(shù)E(p)時(shí)，系統(tǒng)100可以使用亮度恒定假定。誤差最小化函數(shù)E(p)允許通過將一幀的坐標(biāo)扭曲到另一幀的坐標(biāo)，來使一個(gè)捕捉的圖像幀與另一個(gè)捕捉的圖像幀進(jìn)行比較。最小化扭曲的誤差允許系統(tǒng)100提供Z_curb的更精確的計(jì)算(例如，由于低誤差值可以指示出精確地考慮了捕捉的圖像幀之間的差異)。

對(duì)于每個(gè)路緣邊緣線候選，系統(tǒng)100可以使用圖像扭曲函數(shù)以識(shí)別參數(shù)向量p。取決于其它參數(shù)是否是已知的、假定的、或估計(jì)的(例如，可以內(nèi)置額外的自由度以允許一些參數(shù)是未知的)，參數(shù)向量p至少包括Z_curb?；趨?shù)向量p，系統(tǒng)100可以基于誤差最小化函數(shù)E(p)來確定誤差閾值內(nèi)的路緣高度Z_curb。此Z_curb值可以表示建模至給定的路緣邊緣線候選的階梯函數(shù)的高度的值。系統(tǒng)100可將計(jì)算出的Z_curb值與預(yù)期Z_curb值比較(例如，可以預(yù)期在道路上被發(fā)現(xiàn)的路緣的平均高度)，以確定計(jì)算出的Z_curb值是否在閾值差內(nèi)。如果計(jì)算出的Z_curb值在閾值差內(nèi)，系統(tǒng)100可以確定路緣邊緣線候選對(duì)應(yīng)于路緣邊緣線。

系統(tǒng)100可以重復(fù)使用CAA(其可以包括上述的公式)的過程，以確定一個(gè)或多個(gè)識(shí)別的路緣邊緣線候選是否對(duì)應(yīng)于路緣邊緣線。系統(tǒng)100可以將每個(gè)路緣邊緣線候選建模成路緣底部邊緣和路緣頂部邊緣二者，以確定路緣邊緣線候選是否匹配路緣的任一邊緣?；谶@些過程，系統(tǒng)100可以確定圖像或圖像視頻序列內(nèi)的一個(gè)或多個(gè)路緣的位置。

在已經(jīng)識(shí)別路緣后，行人識(shí)別模塊830可以執(zhí)行一個(gè)或多個(gè)過程，以識(shí)別相對(duì)于路緣的行人。例如，行人識(shí)別模塊830可以評(píng)估所識(shí)別的行人是否是潛在的危險(xiǎn)。當(dāng)車輛在道路上行駛時(shí)，系統(tǒng)100可以使用與路緣和行人有關(guān)的信息向駕駛員提供警告和/或控制車輛。

圖12是示出用于識(shí)別圖像和/或視頻序列內(nèi)的路緣的示例過程1200的流程圖。在示例性實(shí)施例中，系統(tǒng)100可以執(zhí)行過程1200來確定路緣的位置，使得系統(tǒng)100可以確定路面的邊界。獲知路面的邊界可以通過幫助將車輛維持在路面上且不與對(duì)象和/或行人碰撞，來允許系統(tǒng)100促進(jìn)車輛的安全操作。另外，獲知路面的邊界可以允許系統(tǒng)100評(píng)估任何行人或其它對(duì)象是否在路面上，并因此針對(duì)危險(xiǎn)應(yīng)該采取一些動(dòng)作以防止碰撞。

在步驟1202中，處理單元110可以接收車輛環(huán)境的多個(gè)圖像。例如，一個(gè)或多個(gè)圖像捕捉裝置122、124、126可以獲取車輛200的前方區(qū)域的多個(gè)圖像。車輛的前方區(qū)域可以包括各種特征，如在圖9所描繪的那些。

在步驟1204中，處理單元110可以識(shí)別路緣邊緣線候選。例如，處理單元110(例如，路緣識(shí)別模塊810)可以使用算法或公式來識(shí)別捕捉圖像內(nèi)的線性邊緣。這些線性邊緣可以表示路緣邊緣候選，其可以被進(jìn)一步處理以確定它們是否正確地表示存在于圖像或視頻序列中的路緣的邊緣。在一個(gè)示例中，處理單元110可以使用邊緣檢測(cè)方法，諸如使用霍夫變換或?qū)⒕€擬合成坎尼邊緣響應(yīng)的長連接的分量，以識(shí)別路緣邊緣線候選。

在步驟1206中，處理單元110可以分析每個(gè)路緣邊緣線候選。例如，處理單元110(例如，路緣配準(zhǔn)模塊820)可以使用算法或公式來迭代處理路緣邊緣線候選，以確定他們中的任何一些是否對(duì)應(yīng)于路緣邊緣線。例如，處理單元可以使用CAA來將每個(gè)路緣邊緣線候選建模成階梯函數(shù)，并確定該階梯函數(shù)的相對(duì)應(yīng)的高度是否對(duì)應(yīng)于所預(yù)期的真實(shí)路緣的高度。

在步驟1208中，處理單元110可以識(shí)別路緣邊緣線候選中的至少一個(gè)作為路緣的邊緣線。例如，處理單元110(例如，路緣配準(zhǔn)模塊820)可以選擇被確定為路緣的邊緣線的路緣邊緣線候選并進(jìn)行存儲(chǔ)，或以其它方式識(shí)別該邊緣線候選作為路緣邊緣線。路緣邊緣線可以被識(shí)別為路緣頂部邊緣或路緣底部邊緣。

此外，處理單元110可以基于所識(shí)別的路緣的邊緣線，來識(shí)別對(duì)應(yīng)于路面和非路面的區(qū)域。例如，處理單元110可以使用所確定的路緣的邊緣線，來識(shí)別在整個(gè)圖像和/或視頻序列中的路緣，并且在整個(gè)圖像和/或視頻序列的每個(gè)圖像中，可以識(shí)別第一區(qū)域作為路面和第二區(qū)域作為非路面。以這種方式，處理單元110可以識(shí)別車輛200在其上行駛的道路的物理邊界。在一些實(shí)施例中，處理單元110可以存儲(chǔ)與所識(shí)別路緣邊緣線或路緣相關(guān)聯(lián)的位置和/或坐標(biāo)信息。

在步驟1210中，處理單元110可以使用所識(shí)別的路緣邊緣線或路緣來控制車輛200。例如，處理單元110可以將位置和/或坐標(biāo)信息提供給車輛控制模塊，該模塊做出關(guān)于車輛200的速度、方向、加速度等的決定。在一些情況下，處理單元110可以使用模型化的路緣，來評(píng)估是否存在需要考慮的危險(xiǎn)。例如，處理單元110可以使用模型化的路緣評(píng)估行人危險(xiǎn)，如以下更詳細(xì)說明的。

圖13是示出用于評(píng)估由行人或可能位于道路內(nèi)的其它對(duì)象所呈現(xiàn)的危險(xiǎn)的示例過程1300的流程圖。在示例性實(shí)施例中，系統(tǒng)100可以執(zhí)行過程1300，以確定關(guān)于圖像捕捉裝置122、124、126的視場(chǎng)中的一個(gè)或多個(gè)行人的位置。例如，系統(tǒng)100可確定一個(gè)或多個(gè)行人位于道路的路面上(例如，因此不在非路面上)，并確定應(yīng)當(dāng)采取的以防止與行人碰撞的一個(gè)或多個(gè)動(dòng)作。

在步驟1310中，處理單元110可以識(shí)別圖像和/或視頻序列的圖像內(nèi)的行人。例如，處理單元110(例如，行人識(shí)別模塊830)可以處理一個(gè)或多個(gè)圖像來識(shí)別圖像內(nèi)的感興趣的對(duì)象。處理單元110可以進(jìn)一步分析感興趣的對(duì)象，以確定它們是否對(duì)應(yīng)于行人(或其它可被視為行人的對(duì)象，諸如動(dòng)物、騎自行車的人等)。在一個(gè)示例中，處理單元可以將圖像與存儲(chǔ)的圖像進(jìn)行比較，以將圖像的特征與已知的對(duì)應(yīng)于行人的信息(例如，人的形狀的圖形)進(jìn)行匹配。在另一示例中，處理單元可以將視頻序列的多個(gè)圖像進(jìn)行比較，以識(shí)別以與行人一致的方式進(jìn)行移動(dòng)的對(duì)象。

在步驟1320中，處理單元110可以對(duì)行人進(jìn)行分類。例如，處理單元110(例如，行人識(shí)別模塊830)可以將行人分類為在路面上或在非路面上的任一者。在一個(gè)示例中，處理單元110可以將所識(shí)別的行人的位置和/或軌跡與被識(shí)別且模型化的路緣(例如，使用處理1200模型化的路緣)的位置進(jìn)行比較。例如，處理單元可確定行人是否在被確定為路面(例如，路緣的底部邊緣的內(nèi)側(cè))的區(qū)域內(nèi)，還是在被確定為非路面(例如，路緣的頂部邊緣的外側(cè))的區(qū)域內(nèi)。

在步驟1330中，處理單元110可以評(píng)估行人是否對(duì)車輛200呈現(xiàn)出危險(xiǎn)。在一個(gè)示例中，處理單元110可以確定在路面上的行人是危險(xiǎn)。在另一示例中，處理單元110可以將車輛200的軌跡與路面上的所識(shí)別的行人的軌跡進(jìn)行比較，以確定是否存在車輛與行人之間碰撞的可能性。

在步驟1340中，處理單元110可警告駕駛員和/或控制車輛200，以防止碰撞。在一個(gè)示例中，處理單元110可以在每當(dāng)行人被分類為在路面上時(shí)，向駕駛員警告路面上的行人。在另一示例中，僅當(dāng)處理單元110確定與行人可能碰撞(例如，風(fēng)險(xiǎn)閾值之上，諸如基于車輛200與行人之間在某個(gè)時(shí)間點(diǎn)預(yù)測(cè)的最近距離)時(shí)，警告駕駛員。在一些實(shí)施例中，處理單元110可以使用對(duì)行人危險(xiǎn)的評(píng)估，以自動(dòng)地控制車輛200的駕駛。例如，處理單元110可以修改車輛200的路徑(例如，轉(zhuǎn)向方向)、速度、加速度等，以避免與行人碰撞。

系統(tǒng)100可以使用過程1200和/或1300，以識(shí)別車輛200的環(huán)境的特征，并使用這些特征來操作/控制車輛200。特別地，如在上面的示例中所討論的，系統(tǒng)100可以識(shí)別道路邊界，并基于行人相對(duì)于道路邊界的位置來確定是否有任何行人危險(xiǎn)。然而，應(yīng)當(dāng)理解，這些是示例，并且可以實(shí)現(xiàn)其它類似的過程。例如，除路緣之外，還可以確定其它道路邊界，諸如欄桿、中央隔離帶、路肩等，并可以基于它們相對(duì)于道路邊界的定位和/或位置來識(shí)別和評(píng)估除行人之外的其它危險(xiǎn)，諸如其它車輛、碎片、道路缺陷等。

出于說明的目的已經(jīng)呈現(xiàn)了前面的描述。它不是窮舉性的并且不限于所公開的實(shí)施例的精確形式。本領(lǐng)域技術(shù)人員通過考慮所公開的實(shí)施例的說明和實(shí)踐，修改和改編將是顯而易見的。另外，盡管所公開的實(shí)施例的方面被描述為存儲(chǔ)在存儲(chǔ)器中，本領(lǐng)域的技術(shù)人員將理解，這些方面也可以存儲(chǔ)在其它類型的計(jì)算機(jī)可讀介質(zhì)上，諸如輔助存儲(chǔ)設(shè)備，例如，硬盤或CDROM、或其它形式的RAM或ROM、USB介質(zhì)、DVD、藍(lán)光、或其它光驅(qū)動(dòng)介質(zhì)。

基于書面說明和所公開的方法的計(jì)算機(jī)程序在有經(jīng)驗(yàn)的開發(fā)人員的技術(shù)范圍內(nèi)。可以使用任何本領(lǐng)域技術(shù)人員已知的技術(shù)來創(chuàng)建或可以結(jié)合現(xiàn)有的軟件來設(shè)計(jì)各種程序或程序模塊。例如，程序段或程序模塊可以以或通過.NET Framework、.NET Compact Framework(以及相關(guān)的語言，諸如Visual Basic，C等)、JAVA、C++、Objective-C、HTML、HTML/AJAX組合、XML或者包含Java小程序的HTML來設(shè)計(jì)。

此外，雖然已經(jīng)在本文中描述了說明性實(shí)施例，但是本領(lǐng)域技術(shù)人員基于本公開將認(rèn)識(shí)到具有(例如，遍及各個(gè)實(shí)施例的方面的)等同的要素、修改、省略、組合、改編和/或改變的任何以及所有實(shí)施例的范圍。權(quán)利要求書中的限定將基于權(quán)利要求書中采用的語言寬泛地解釋，并且不限于在本說明書中或在本申請(qǐng)的審查期間所描述的示例。示例將被理解為非排他性的。此外，所公開的方法的步驟可以以任何方式修改，包括通過重新排序步驟和/或插入或刪除步驟。因此，意圖是說明書和示例被視為僅是說明性的，真正的范圍和精神由以下權(quán)利要求及其等同物的全部范圍來表示。