專利名稱：基于車輛的成像系統(tǒng)的功能診斷和驗證的制作方法
技術(shù)領(lǐng)域：
實施例主要涉及基于車輛視覺的系統(tǒng)。
背景技術(shù)：
基于視覺的成像系統(tǒng)例如后方倒車攝像頭被用于在車輛靜止或倒車時為駕駛員生成車輛周圍環(huán)境的實時畫面。這就允許駕駛員監(jiān)視在車輛向后行駛的行進(jìn)路徑上是否存在任何障礙物例如人。系統(tǒng)依賴于在車輛向后行進(jìn)時捕捉車輛后方區(qū)域圖像的視覺成像設(shè)備例如視頻攝像頭。捕獲的圖像被發(fā)送至客廂內(nèi)的視頻顯示屏，在此對駕駛員顯示捕獲的環(huán)境。在視頻表現(xiàn)出易被駕駛員忽視的不起作用狀態(tài)時可能會出現(xiàn)問題。如果視頻信號在發(fā)送期間停滯或者被污垢或另外的物體遮擋就可能就會出現(xiàn)不起作用的狀態(tài)。隨意掃視視頻顯示屏的駕駛員可能不會意識到在車輛行進(jìn)的短距離內(nèi)捕獲圖像并未改變。因此，自動檢測基于視頻的成像系統(tǒng)工作是否正常應(yīng)該是有利的。

發(fā)明內(nèi)容
實施例的優(yōu)點是檢測基于視覺的成像系統(tǒng)中的錯誤并將這樣的錯誤通知車輛駕駛員。系統(tǒng)利用來自基于車輛視覺的成像系統(tǒng)的捕獲圖像以在不同的時間點識別圖像中的地標(biāo)。比較地標(biāo)以用于分辨在捕獲圖像之間是否已發(fā)生移動。這通過生成邊緣圖并比較邊緣圖中的像素位置以確定圖像是否已停滯或被遮擋而實現(xiàn)。另外，應(yīng)用驗證技術(shù)以驗證基于視覺的成像系統(tǒng)的可操作性。驗證技術(shù)可以僅利用基于視覺的成像設(shè)備的捕獲圖像或者也可以利用另一種已有的車載測量設(shè)備來驗證基于視覺的成像設(shè)備的操作。優(yōu)點是系統(tǒng)僅利用現(xiàn)有的車載部件來診斷和分析基于視覺的成像系統(tǒng)的功能性。實施例設(shè)想了一種確定車用基于視覺的成像系統(tǒng)的功能性的方法。圖像由基于視覺的成像系統(tǒng)捕捉。圖像包括在多幅圖像中識別出的地標(biāo)以用于分辨圖像之間的地標(biāo)移位。處理模塊生成用于每一幅圖像的邊緣圖。比較至少兩幅邊緣圖中的相似區(qū)域以用于分辨至少兩幅邊緣圖之間的地標(biāo)移位。每一幅邊緣圖都由具有不同亮度值的像素構(gòu)成。將第一邊緣圖中的每一個像素位置與第二邊緣圖中的相同像素位置進(jìn)行比較。將至少兩幅邊緣圖中每一個相同的像素位置彼此比較以用于確定每一個比較的像素位置是否具有不同的亮度值。確定至少兩幅邊緣圖之間具有不同亮度值的像素位置的總數(shù)。對總數(shù)是否大于用于指示至少兩幅邊緣圖之間地標(biāo)移位的閾值進(jìn)行判定。響應(yīng)于總數(shù)小于閾值而生成出錯信肩、O本發(fā)明具體由以下方案實現(xiàn):
方案1、一種確定車用基于視覺的成像系統(tǒng)的功能性的方法，所述方法包括以下步驟:通過基于視覺的成像系統(tǒng)捕捉圖像， 所述圖像包括在多幅圖像中識別出的地標(biāo)以用于分辨圖像之間的地標(biāo)移位；
處理模塊生成用于每一幅圖像的邊緣圖； 比較至少兩幅邊緣圖中的相似區(qū)域以用于分辨至少兩幅邊緣圖之間的地標(biāo)移位，每一幅邊緣圖都由具有不同亮度值的像素構(gòu)成，其中將第一邊緣圖中的每一個像素位置與第二邊緣圖中的相同像素位置進(jìn)行比較，其中將至少兩幅邊緣圖中每一個相同的像素位置彼此比較以用于判定每一個比較的像素位置是否具有不同的亮度值；并且確定至少兩幅邊緣圖之間具有不同亮度值的像素位置的總數(shù)；
對總數(shù)是否大于用于指示至少兩幅邊緣圖之間地標(biāo)移位的閾值進(jìn)行判定；并且 響應(yīng)于總數(shù)小于閾值而生成出錯信息。方案2、如方案I所述的方法，其中響應(yīng)于總數(shù)小于閾值而生成出錯信息包括:
響應(yīng)于總數(shù)小于閾值而判定車輛是否在移動；并且
僅響應(yīng)于車輛正在移動的判定才由輸出設(shè)備生成出錯信息。方案3、如方案2所述的方法，其中出錯信息表示在基于視覺的成像系統(tǒng)內(nèi)傳送的成像信號已暫停。方案4、如方案2所述的方法，其中出錯信息表示由基于視覺的成像系統(tǒng)捕捉的圖像被物體遮擋。方案5、如方案I所述的方法，進(jìn)一步包括以下步驟:
響應(yīng)于總數(shù)大于閾值而驗證基于視覺的成像系統(tǒng)的功能性；并且 響應(yīng)于確定基于視覺的成像系統(tǒng)的功能性無效而由輸出設(shè)備生成出錯信息。方案6、如方案5所述的方法，其中驗證基于視覺的成像系統(tǒng)的功能性包括驗證由基于視覺的成像系統(tǒng)捕獲的道路中車道標(biāo)記的標(biāo)識符。方案7、如方案6所述的方法，其中驗證基于視覺的成像系統(tǒng)包括:
判定車輛是否在移動；
響應(yīng)于車輛正在移動的判定而由基于視覺的成像系統(tǒng)識別車道標(biāo)記；
比較至少兩幅圖像中識別出的車道標(biāo)記；
確定第一圖像中車道標(biāo)記的特征以用于與第二圖像中車道標(biāo)記的特征相比較；并且響應(yīng)于第一圖像中車道標(biāo)記的特征與第二圖像中車道標(biāo)記的特征不匹配而宣告基于視覺的成像系統(tǒng)的功能性無效。方案8、如方案7所述的方法，其中車道標(biāo)記的特征包括車道標(biāo)記在圖像內(nèi)的位置。方案9、如方案7所述的方法，其中車道標(biāo)記的特征包括車道標(biāo)記在圖像內(nèi)的取向。方案10、如方案6所述的方法，其中驗證基于視覺的成像系統(tǒng)進(jìn)一步包括:
由基于視覺的成像系統(tǒng)識別車道標(biāo)記；
由車輛中的第二測量系統(tǒng)識別車道標(biāo)記；
將由基于視覺的成像系統(tǒng)捕獲的車道標(biāo)記與由第二測量系統(tǒng)捕獲的車道標(biāo)記進(jìn)行比較；并且
響應(yīng)于由基于視覺的成像系統(tǒng)捕獲的車道標(biāo)記與由第二測量系統(tǒng)捕獲的車道標(biāo)記不匹配而宣告基于視覺的成像系統(tǒng)無效。方案11、如方案10所述的方法，其中基于視覺的成像系統(tǒng)包括基于后視的成像設(shè)備，并且其中由第二測量系統(tǒng)識別車道標(biāo)記包括使用基于前視的成像設(shè)備識別車道標(biāo)記。
方案12、如方案10所述的方法，其中基于視覺的成像系統(tǒng)包括基于后視的成像設(shè)備，并且其中由第二測量系統(tǒng)識別車道標(biāo)記包括使用基于側(cè)視的成像設(shè)備識別車道標(biāo)記。方案13、如方案10所述的方法，其中由第二測量系統(tǒng)識別車道標(biāo)記包括使用基于全球定位的系統(tǒng)識別車道標(biāo)記。方案14、如方案10所述的方法，其中由第二測量系統(tǒng)識別車道標(biāo)記包括使用基于激光雷達(dá)的測量系統(tǒng)識別車道標(biāo)記。方案15、如方案5所述的方法,其中所述出錯信息表不基于視覺的成像系統(tǒng)未被校準(zhǔn)。方案16、如方案5所述的方法，其中所述出錯信息表示視頻連接被錯誤地連接。方案17、如方案5所述的方法，其中所述出錯信息表示基于視覺的成像系統(tǒng)不穩(wěn)定。方案18、如方案I所述的方法,其中由輸出設(shè)備生成出錯信息包括生成表明基于視覺的成像系統(tǒng)出錯的音頻信息。方案19、如方案I所述的方法,其中由輸出設(shè)備生成出錯信息包括生成表明基于視覺的成像系統(tǒng)出錯的視覺信息。方案20、如方案I所述的方法，其中表明基于視覺的成像系統(tǒng)出錯的視覺信息被顯示在基于車輛視覺的成像輸出顯示屏上。方案21、如方案I所述的方法，其中由輸出設(shè)備生成出錯信息包括生成用于表明基于視覺的成像系統(tǒng)出錯的觸覺感應(yīng)。


圖1是捕捉道路圖像的車輛的俯視圖。圖2是由基于視覺的成像設(shè)備捕獲的圖像。圖3是邊緣圖的數(shù)據(jù)圖。圖4是用于確定圖像捕捉出錯的方法流程圖。
具體實施例方式如圖1所示，車輛10沿道路12行進(jìn)。基于視覺的成像系統(tǒng)14捕捉車輛10的道路圖像以用于檢測行進(jìn)的可行區(qū)域(以下稱為無障礙路徑)內(nèi)的圖像?；谝曈X的成像系統(tǒng)14在車輛靜止、向后移動或向如移動時捕捉車輛后方的圖像。在本文所述的實施例中，基于視覺的成像系統(tǒng)將被描述為捕捉車輛后方的圖像；但是應(yīng)該理解基于視覺的成像系統(tǒng)14也可以擴展為捕捉車輛前方和車輛兩側(cè)的圖像?；谝曈X的成像系統(tǒng)14如圖1所示在車輛沿向后的方向、向前的方向行駛或靜止時顯示車輛后方的物體。在優(yōu)選實施例中，基于視覺的成像系統(tǒng)14被用于識別道路內(nèi)的無障礙路徑或車道標(biāo)記以供各種系統(tǒng)例如但不限于倒車物體檢測系統(tǒng)、車道偏離報警系統(tǒng)或車道對中系統(tǒng)使用。基于視覺的成像系統(tǒng)14包括基于視覺的成像設(shè)備，其優(yōu)選被安裝在車輛的外部位置(例如與牌照并列)以用于捕捉車輛外部和后方的環(huán)境。盡管基于視覺的成像系統(tǒng)14可用于各種功能(例如在倒車時用于顯示車輛后方環(huán)境的視頻圖像)，但是本文中介紹的實施例利用捕獲圖像來識別地標(biāo)，包括但不限于道路標(biāo)記、車道標(biāo)記、道路標(biāo)志、建筑物、樹木、人或其他路面物體以使得能夠檢測視頻中圖像幀之間的地標(biāo)移動。這種系統(tǒng)的示例包括但不限于倒車檢測系統(tǒng)和后視成像，其中必不可少的是系統(tǒng)要能夠識別車輛向后行進(jìn)路徑內(nèi)的物體。圖2示出了由車載基于視覺的成像系統(tǒng)捕捉的圖像。捕獲圖像內(nèi)的任何地標(biāo)都可被用于檢測圖像之間的暫時差異。對于每一幅捕捉的圖像，由處理模塊生成邊緣圖以使得可以對圖像進(jìn)行紋理分析。圖3中示出了用于捕獲圖像的邊緣圖。邊緣圖生成物體的邊緣。邊緣由其值表示邊緣圖內(nèi)地標(biāo)的不同明暗狀態(tài)的像素構(gòu)成。一旦邊緣圖構(gòu)建完成，就將用于第一圖像的邊緣圖內(nèi)的區(qū)域與用于第二圖像的邊緣圖內(nèi)的相同區(qū)域進(jìn)行比較以確定兩幅對比邊緣圖的像素之間的暫時差異。根據(jù)相應(yīng)邊緣圖中相同區(qū)域的比較結(jié)果，即可對捕捉圖像系統(tǒng)工作是否正常進(jìn)行判定。圖4示出了用于判定基于視覺的成像系統(tǒng)工作是否正常的方法流程圖。在步驟20通過基于視覺的成像設(shè)備捕捉圖像?；谝曈X的成像設(shè)備可以包括視頻攝像頭或類似設(shè)備。在步驟21，選擇圖像用于紋理分析并且為每一幅捕獲圖像生成邊緣圖以用于分析每一幅圖像中地標(biāo)的紋理。應(yīng)該理解邊緣圖僅是一種用于區(qū)分圖像內(nèi)地標(biāo)的技術(shù)并且可以使用其他的技術(shù)。原始圖像包含由于表面和光照轉(zhuǎn)變而產(chǎn)生的邊緣。邊緣圖可以包括豎直邊緣圖或水平邊緣圖。豎直邊緣圖數(shù)據(jù)通過檢測輸入圖像數(shù)據(jù)中的豎直邊緣而生成。僅將輸入圖像中物體的豎直邊緣用于生成豎直邊緣圖數(shù)據(jù)。圖3中示出了豎直邊緣圖數(shù)據(jù)的示意圖。為了檢測豎直邊緣，輸入圖像被視為像素矩陣。將相關(guān)濾波器應(yīng)用于輸入圖像。放大水平方向變化并且衰減豎直方向變化的幾種濾波器中的任何一種均可使用?？蛇x地，可以生成并分析水平邊緣圖。在步驟22，在兩幅選擇用于比較的圖像的邊緣圖上執(zhí)行地標(biāo)移位技術(shù)。在執(zhí)行地標(biāo)移位技術(shù)時，選擇每一幅圖像中基本相似的區(qū)域。比較至少兩個基本相似的邊緣圖區(qū)域中的相同區(qū)域以用于判定相應(yīng)區(qū)域內(nèi)相同的像素位置是否具有不同的亮度值。用于連續(xù)圖像的相同像素位置之間的亮度值變化就表示在兩幅捕獲圖像之間車輛相對于地標(biāo)有移動或者地標(biāo)的重新定位。這通過識別第一邊緣圖中的像素位置與第二邊緣圖中相同的像素位置相比是否具有不同的亮度值來完成。在比較完相應(yīng)區(qū)域的第一和第二邊緣圖內(nèi)的每一個相關(guān)像素位置之后，生成第一和第二邊緣地圖中具有不同亮度值的像素位置組合的總數(shù)。在步驟23，將總數(shù)與閾值比較。對總數(shù)是否大于閾值進(jìn)行判定?？倲?shù)小于閾值可以表示兩幅相應(yīng)邊緣圖中識別出的地標(biāo)并未移動并且相同的圖像是連續(xù)捕獲。如果做出的判定是總數(shù)不大于閾值，那么程序前進(jìn)至步驟24，否則程序前進(jìn)至步驟26。在步驟24，對車輛是否在移動進(jìn)行判定。如果車輛未在移動，那么車輛的不動性即可提供捕獲圖像的連續(xù)幀之間地標(biāo)位置為何沒有改變的理由。如果判定車輛在捕捉圖像時并未移動，那么就返回到步驟20。如果判定車輛在捕捉圖像時正在移動，那么程序就前進(jìn)至步驟25。在步驟25，發(fā)出信息表示基于視覺的成像系統(tǒng)已經(jīng)出現(xiàn)錯誤。錯誤可以是視頻暫停的結(jié)果，或者是視野區(qū)域被障礙物(例如污垢或拖車)遮擋的結(jié)果，或者是攝像頭信號在傳送期間停滯的結(jié)果。出錯信息可以是由輸出設(shè)備生成的視覺、音頻或觸覺信息。例如，如果出錯信息是視覺信息，那么信息可以視覺顯示在向車輛駕駛員顯示捕獲視頻圖像的基于視頻的圖像輸出顯示屏上。這就確保了駕駛員在觀看輸出顯示屏?xí)r駕駛員能夠意識到基于視覺的成像系統(tǒng)的不可操作性。再次參照步驟23，如果做出的判定是總數(shù)大于閾值，那么就在步驟26啟動車道標(biāo)記識別驗證技術(shù)。成功的驗證表明視頻成像系統(tǒng)工作正常。本文中介紹的驗證技術(shù)使用了由基于視覺的成像設(shè)備檢測到的地標(biāo)例如車道標(biāo)記。步驟27和28介紹了用于判定驗證是否失敗的車道標(biāo)記驗證技術(shù)。在步驟27，使用兩種測量設(shè)備以判定基于視覺的成像設(shè)備是否有效。將由基于視覺的成像設(shè)備捕獲的當(dāng)前圖像中的檢測到的車道標(biāo)記與由另一種測量設(shè)備得到的車道標(biāo)記檢測結(jié)果進(jìn)行比較。另一種測量設(shè)備可以包括另外的基于視覺的圖像設(shè)備(例如前視頻攝像頭、雷達(dá)/激光雷達(dá)傳感器、GPS和地圖)。由于圖像是從兩種獨立的測量設(shè)備獲得并且可以在基本相同的時間點獲得，因此不必考慮車輛的移動。結(jié)果就是在驗證基于視覺的成像設(shè)備時不需要圖像中的暫時差異。如果在兩種設(shè)備的車道標(biāo)記之間有明顯不同，那么就表示其中一種測量設(shè)備可能工作不正常。由于測量設(shè)備之間的不一致而不應(yīng)該依賴基于視覺的成像設(shè)備。因此在步驟29發(fā)出出錯信息。如果由基于視覺的成像設(shè)備和另一種測量設(shè)備捕獲的圖像匹配，那么就做出基于視覺的成像設(shè)備工作正常的判定并且不需要采取行動。程序返回步驟20以繼續(xù)監(jiān)測基于視覺的成像系統(tǒng)尋找錯誤。在步驟28應(yīng)用另一種驗證技術(shù)。步驟28中介紹的驗證技術(shù)使用僅由基于視覺的成像設(shè)備捕獲的圖像中的暫時差異。將從前一幀檢測到的車道標(biāo)記與當(dāng)前幀中檢測到的車道標(biāo)記進(jìn)行匹配。為了僅依賴于單個測量設(shè)備執(zhí)行驗證，車輛必須移動以便比較暫存圖像。如果車輛并不移動，那么驗證就無法執(zhí)行，原因在于這種相應(yīng)的技術(shù)要求由基于視覺的成像設(shè)備捕捉車道標(biāo)記的移位，這只有在車輛移動時才能獲得。如果車輛在移動，那么就將前一幀中車道標(biāo)記的至少一種特征與當(dāng)前幀中車道標(biāo)記的對應(yīng)特征相比較。特征包括但不限于位置、取向、結(jié)構(gòu)、形狀、設(shè)計、模式或設(shè)置方式。如果在檢測特征之間不存在匹配，那么驗證失敗并在步驟29發(fā)出出錯信息。錯誤可以是在基于視覺的成像系統(tǒng)內(nèi)視頻輸入被錯誤連接的結(jié)果，基于視覺的成像系統(tǒng)未被正確校準(zhǔn)的結(jié)果，或者是車道測量系統(tǒng)不穩(wěn)定或不可靠的結(jié)果。如果在檢測的特征之間存在匹配，那么就不采取任何行動，并且程序返回步驟20以繼續(xù)監(jiān)測基于視覺的成像設(shè)備或系統(tǒng)尋找錯誤。盡管已經(jīng)詳細(xì)介紹了本發(fā)明的某些實施例，但是熟悉本發(fā)明相關(guān)領(lǐng)域的技術(shù)人員應(yīng)該意識到所附權(quán)利要求定義了用于實踐本發(fā)明的各種可選設(shè)計方案和實施例。
權(quán)利要求
1.一種確定車用基于視覺的成像系統(tǒng)的功能性的方法，所述方法包括以下步驟: 通過基于視覺的成像系統(tǒng)捕捉圖像，所述圖像包括在多幅圖像中識別出的地標(biāo)以用于分辨圖像之間的地標(biāo)移位； 處理模塊生成用于每一幅圖像的邊緣圖； 比較至少兩幅邊緣圖中的相似區(qū)域以用于分辨至少兩幅邊緣圖之間的地標(biāo)移位，每一幅邊緣圖都由具有不同亮度值的像素構(gòu)成，其中將第一邊緣圖中的每一個像素位置與第二邊緣圖中的相同像素位置進(jìn)行比較，其中將至少兩幅邊緣圖中每一個相同的像素位置彼此比較以用于判定每一個比較的像素位置是否具有不同的亮度值；并且確定至少兩幅邊緣圖之間具有不同亮度值的像素位置的總數(shù)； 對總數(shù)是否大于用于指示至少兩幅邊緣圖之間地標(biāo)移位的閾值進(jìn)行判定；并且 響應(yīng)于總數(shù)小于閾值而生成出錯信息。
2.如權(quán)利要求1所述的方法，其中響應(yīng)于總數(shù)小于閾值而生成出錯信息包括: 響應(yīng)于總數(shù)小于閾值而判定車輛是否在移動；并且 僅響應(yīng)于車輛正在移動的判定才由輸出設(shè)備生成出錯信息。
3.如權(quán)利要求2所述的方法，其中出錯信息表示在基于視覺的成像系統(tǒng)內(nèi)傳送的成像信號已暫停。
4.如權(quán)利要求2所述的方法，其中出錯信息表示由基于視覺的成像系統(tǒng)捕捉的圖像被物體遮擋。
5.如權(quán)利要求1所述的方法，進(jìn)一步包括以下步驟: 響應(yīng)于總數(shù)大于閾值而驗證基于視覺的成像系統(tǒng)的功能性；并且 響應(yīng)于確定基于視覺的成像系統(tǒng)的功能性無效而由輸出設(shè)備生成出錯信息。
6.如權(quán)利要求5所述的方法，其中驗證基于視覺的成像系統(tǒng)的功能性包括驗證由基于視覺的成像系統(tǒng)捕獲的道路中車道標(biāo)記的標(biāo)識符。
7.如權(quán)利要求6所述的方法，其中驗證基于視覺的成像系統(tǒng)包括: 判定車輛是否在移動； 響應(yīng)于車輛正在移動的判定而由基于視覺的成像系統(tǒng)識別車道標(biāo)記； 比較至少兩幅圖像中識別出的車道標(biāo)記； 確定第一圖像中車道標(biāo)記的特征以用于與第二圖像中車道標(biāo)記的特征相比較；并且響應(yīng)于第一圖像中車道標(biāo)記的特征與第二圖像中車道標(biāo)記的特征不匹配而宣告基于視覺的成像系統(tǒng)的功能性無效。
8.如權(quán)利要求7所述的方法，其中車道標(biāo)記的特征包括車道標(biāo)記在圖像內(nèi)的位置。
9.如權(quán)利要求7所述的方法，其中車道標(biāo)記的特征包括車道標(biāo)記在圖像內(nèi)的取向。
10.如權(quán)利要求6所述的方法，其中驗證基于視覺的成像系統(tǒng)進(jìn)一步包括: 由基于視覺的成像系統(tǒng)識別車道標(biāo)記； 由車輛中的第二測量系統(tǒng)識別車道標(biāo)記； 將由基于視覺的成像系統(tǒng)捕獲的車道標(biāo)記與由第二測量系統(tǒng)捕獲的車道標(biāo)記進(jìn)行比較；并且 響應(yīng)于由基于視覺的成像系統(tǒng)捕獲的車道標(biāo)記與由第二測量系統(tǒng)捕獲的車道標(biāo)記不匹配而宣告基于視覺的成像系統(tǒng)無效。
全文摘要
一種基于車輛的成像系統(tǒng)的功能診斷和驗證，包括通過基于視覺的成像系統(tǒng)捕捉圖像。圖像包括在多幅圖像中識別出的地標(biāo)以用于分辨圖像之間的地標(biāo)移位。生成用于每一幅圖像的邊緣圖。比較至少兩幅邊緣圖中的相似區(qū)域以用于分辨至少兩幅邊緣圖之間的地標(biāo)移位。將第一邊緣圖中的每一個像素位置與第二邊緣圖中的相同像素位置進(jìn)行比較以用于判定每一個比較的像素位置是否具有不同的亮度值。確定至少兩幅邊緣圖之間具有不同亮度值的像素位置的總數(shù)并與閾值相比較。響應(yīng)于總數(shù)小于閾值而生成出錯信息。
文檔編號H04N17/00GK103139595SQ20121050213
公開日2013年6月5日 申請日期2012年11月30日 優(yōu)先權(quán)日2011年11月30日
發(fā)明者W.張, B.B.利特庫希 申請人:通用汽車環(huán)球科技運作有限責(zé)任公司