專利名稱：用于夜間探測道路的方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及基于紅外攝像機生成的信號探測夜間或者較差視覺 條件下的道路的夜視系統(tǒng)。本發(fā)明還涉及通過從紅外攝像機獲得的 圖像探測夜間或者較差視覺條件下的道路的方法。本發(fā)明還涉及存 儲數(shù)據(jù)處理器的指令的數(shù)據(jù)載體，在被裝載到計算機系統(tǒng)內之后， 所述數(shù)據(jù)處理器執(zhí)行探測夜間或較差視覺條件下的道路的方法。
背景技術：
幾乎70%的事故涉及夜間的行人。這樣的事故的主要原因之一 在于夜間能見度的降低。此外，有些人還會因為特殊的視力問題而 造成夜間視敏度的下降，從而受到阻礙。因此，汽車公司非常關心 為司機提供能夠在夜間對道路進行自動障礙物/物體探測或計算機 增強成像的車載系統(tǒng)。這需要有效的道路探測系統(tǒng)。
由于夜間道路照明不充分或者沒有照明，因此，感測物體溫度 的紅外(IR)攝像機有可能替代或補充基于視覺的系統(tǒng)。夜視系統(tǒng) 的主要應用在于對道路上的物體的魯棒探測，從而警告司機或者增 強司機可以獲得的觀察。
前面已經(jīng)聯(lián)系行人探測描述了采用單個紅外攝像機的夜間道路 探測。最近，國際PCT專利申請No. WO2004/029659公開了一種有 助于識別可能的行人的道路探測算法。該專利申請描述了一種基于 某種特征的道路探測算法，該特征是說，在將圖像區(qū)的溫度值變換 為灰度級代碼之后，道路將呈現(xiàn)為具有恒定強度的光滑表面。在這 樣的假設下，諸如Sobel邊緣探測算法的邊緣探測技術能夠識別出 道路圖案。但是，前述技術存在幾種缺點。將會把道路標記識別為 將道路劃分為幾個表面的邊緣。道路可能在其表面上呈現(xiàn)紋理圖案 而不是恒定強度，其降低了邊緣探測技術的有效性。天空也將呈現(xiàn)
為光滑表面，并且可能具有與道路相同的邊緣和紋理特性。此外， 沒有說明將道路與天空區(qū)分開的明確方法。
因而，用于夜間或較差視覺條件下的改進的或者更為魯棒的道 路探測方法將是有利的，具體而言，用于探測夜間或較差視覺條件 下的道路的視覺系統(tǒng)將是有利的。
本發(fā)明基于這樣的觀察，即，道路在夜間具有低溫；因而，與 在紅外攝像機圖像幀內觀察到的其余景物相比，其在該圖像幀內將 導致低強度像素值。本發(fā)明還基于這樣的觀察，車輛司機遇到不良 視覺條件的絕大多數(shù)情況發(fā)生在冬季的月份，這時，平均溫度低， 并且紅外攝像機也能夠在白天提供有用的信息。本發(fā)明還基于這樣 的事實，即，如果道路和天空在從紅外攝像機獲得的圖像中呈現(xiàn)為 單個表面，那么它們通常在與地平面一致的線處相連。
本發(fā)明的目的在于提供克服現(xiàn)有技術的問題的探測夜間道路的 方法和系統(tǒng)。本發(fā)明的另一目的在于提供魯棒并且經(jīng)濟有效的探測 夜間道路的方法和系統(tǒng)。

發(fā)明內容
本發(fā)明的目的是通過一種用于探測夜間或不良視覺條件下的道 路的方法實現(xiàn)的，所述方法以圖像幀為基礎，并通過計算機執(zhí)行， 將所述圖像幀劃分為像素，每一像素具有被賦予的強度值，該強度 值對應于所述圖像幀代表的環(huán)境的點的溫度，所述方法包括的步驟 有
通過在所述圖像幀內探測作為顯示道路的候選的像素計算掩
碼；
從所述候選道路像素中選擇候選道路像素的初始群作為對所述 道路的估算，其具有與所述圖像幀的下部一致的或者處于其附近的 下邊界；
確定初始地平線估算，作為以候選道路像素的不同強度為特征 的水平區(qū)域之間的第一條水平取向邊界；
通過校正所選擇的具有上邊界的候選道路像素的初始群界定最 終的道路群，所述校正是以所述上邊界相對于所述初始估算地平線 和地平線位置的預定上限的位置為基礎的。
所述的候選道路像素的探測可以以由所述圖像幀的像素強度值 計算第一閾值為基礎，其中，通過將每一像素強度值與所述第一閾 值比較探測所述候選道路像素。
就本發(fā)明的一個方面而言，可以將所述第一閾值作為所述圖像 幀中的像素值的平均值計算。由此令人吃驚地獲得了有用的第一閾 值。由此通過提供降低的計算機處理需求簡化了所述閾值的計算。 但是，就本發(fā)明的另一方面而言，可以采用所述圖像幀中的像素強 度值的標準偏差對所述第一閾值加權。
可以由所述掩碼的候選道路像素的垂直投影和所述投影的導數(shù) 計算所述初始地平線估算。由此獲得了確定地平線的有效計算方法。
所述初始地平線估算基于
第二地平線估算，其被確定為導數(shù)的絕對值大于預定常數(shù)的掩 碼R的最上面的一行；或者
所述第二地平線估算和第一地平線估算的平均值，其中，將所 述第一地平線估算確定為垂直投影大于所述掩碼的預定行的垂直投 影和所述預定常數(shù)之和的掩碼的最上面一行。
候選道路像素的選擇包括識別掩碼中具有相同候選像素值的連 通群(connected cluster),并選擇最大的連貫群(coherent cluster), 其大于所有像素的預定百分比，并且具有位于掩碼的某一行之下的 下邊界。
就本發(fā)明的一方面而言，通過將連通分支標識算法應用于所述 掩碼執(zhí)行對掩碼中具有相等像素值的連通群的識別。
所述最終道路群的選擇包括
如果初始道路群的上邊界處于預定第二閾值之上，那么通過以 初始地平線估算重新界定初始道路群的上邊界來校正所述初始道路 群；以及
如果所述初始道路群的上邊界位于所述第二閾值之下或處于所 述預定第二閾值上，那么選擇所述初始道路群，并調整所述地平線
估算，使之與所述初始道路群的上邊界一致。
由此實現(xiàn)了使最終道路估算變得更為精確，因為采用圖像中最 可能與道路估算相關的信息對該方法進行了加權。
本發(fā)明的目的還通過一種用于探測夜間或不良視覺條件下的道 路的系統(tǒng)實現(xiàn)，所述系統(tǒng)包括一個或多個數(shù)據(jù)處理器以及一個或多 個數(shù)據(jù)存儲器，所述系統(tǒng)將數(shù)據(jù)存儲到所述一個或多個存儲器內， 其表示被劃分為像素的圖像幀，每一像素具有被賦予的強度值，所 述強度值對應于所述圖像幀代表的環(huán)境點的溫度，為所述系統(tǒng)提供 指令，所述指令通過一個或多個處理器執(zhí)行后使該系統(tǒng)適于
通過在所述圖像幀內探測作為顯示道路的候選的像素計算掩
碼；
從所述候選道路像素中選擇候選道路像素的初始群作為對所述 道路的估算，其具有與所述圖像幀的下部一致的或者處于其附近的 下邊界；
確定初始地平線估算，作為以候選道路像素的不同強度為特征 的水平區(qū)域之間的第一條水平取向邊界；
通過校正所選擇的具有上邊界的候選道路像素的初始群界定最 終的道路群，所述校正是以所述上邊界相對于所述初始估算地平線 和地平線位置的預定上限的位置為基礎的。
就本發(fā)明的一個方面而言，所述系統(tǒng)還包括用于獲得圖像幀的 單個紅外攝像機。由此能夠獲得經(jīng)濟有效且魯棒的系統(tǒng)。
但是，就本發(fā)明的另一個方面而言，所述系統(tǒng)可以包括用于獲 得圖像幀的多個紅外攝像機。由此，能夠將根據(jù)本發(fā)明的方法和系 統(tǒng)應用到用于校準多個攝像機的更為傳統(tǒng)的系統(tǒng)當中。
就本發(fā)明的另一方面而言，所述系統(tǒng)還適于將最終道路群的圖 像顯示給用戶。由此，應用了該系統(tǒng)的車輛的用戶，即司機可以對 所顯示的道路的圖像做出反應，由此在視覺條件差時，例如，在夜 間改善其駕駛。
本發(fā)明的目的還通過一種存儲數(shù)據(jù)處理器的指令的數(shù)據(jù)載體實 現(xiàn)，在指令裝載到計算機系統(tǒng)內之后，其執(zhí)行上述方法。
在當前語境中，"導數(shù)" 一詞用于表示兩個數(shù)或矢量之間的數(shù)值差。
在當前語境中，"上"、"下"以及"上部"和"下部"是指對圖 像的觀察中通常感受到的圖像幀的取向，除非另行說明。
在當前語境中，"群(cluster)"是指具有類似的像素值的像素的 連貫組(coherent group )。


現(xiàn)在將參考附圖，僅通過舉例的方式說明本發(fā)明，在附圖中 圖1是示出了根據(jù)本發(fā)明的第一方面的、用于探測夜間或者不 良視覺條件下的道路的系統(tǒng)的方框圖2是示出了根據(jù)本發(fā)明的第一方面的道路探測模塊的方框圖3是示出了根據(jù)本發(fā)明的第二方面的通過由單個紅外攝像機 獲得的圖像幀探測夜間或不良視覺條件下的道路的方法的流程圖4是示出了根據(jù)本發(fā)明的第二方面的、用于探測道路候選像 素和提供初始紅外影像的二進制掩碼(mask)的算法的流程圖5是示出了根據(jù)本發(fā)明的第二方面的、估計地平線的算法的 流程圖6是示出了根據(jù)本發(fā)明的第二方面的、根據(jù)候選道路像素的 二進制掩碼識別和探測道路的算法的流程圖7是示出了根據(jù)本發(fā)明的第二方面的、基于天空顯示和地平 線情況校正道路界定的算法的流程圖8是示出了根據(jù)本發(fā)明的實施例的、顯示疊加在對應的初始 紅外圖像上的道路的算法的流程圖；以及
圖9示意性地示出了用于探測夜間或不良視覺條件下的道路的 方法的操作的例子。所述例子包括景物的圖像(就像其在白天呈現(xiàn) 的一樣)、對圖像的算法操作的中間歩驟以及綜合圖像(resulting image),在綜合圖像中，將計算出的道路、地平線估算和天空區(qū)域 疊加到初始圖像上。
具體實施例方式
在圖1中示出了用于探測夜間或不良視覺條件下的道路的系統(tǒng)
IO的示意圖，其包括計算機系統(tǒng)20、紅外攝像機60、顯示器70、 視聽報警器80和一系列控制鍵90。計算機系統(tǒng)10包括存儲器25、 輸入/輸出控制器35、通信總線45和處理器55。存儲器25包括圖 像幀存儲模塊30、警報模塊40和道路探測模塊50。將紅外攝像機 60、顯示器70和視聽報警器80通過(例如)同軸電纜、雙絞線電 纜或者利用射頻連接連接至計算機系統(tǒng)20。輸入/輸出控制器35、 存儲器25和處理器55通過通信總線45相互連接。將幀存儲模塊30、 警報模塊40和道路探測模塊50置于存儲器25內。例如，控制鍵90 可以(例如)實現(xiàn)系統(tǒng)的啟動和停機，當然還存在其他可能的應用。
在本發(fā)明的一個應用中，可以將用于探測夜間或不良視覺條件 下的道路的系統(tǒng)10放到車輛當中，例如，小汽車、摩托車或卡車， 其能夠幫助司機、用戶在駕駛過程中識別前方道路。
現(xiàn)在將描述用于探測夜間或不良視覺條件下的道路的系統(tǒng)10的 操作。處理器55通過輸入/輸出控制器35和通信總線45從紅外攝 像機60接收圖像。將幀存儲在存儲器25內，更具體地說，存儲在 幀存儲模塊30內。處理器55從道路探測模塊50接收操作指令，并 提供對路面的估算，所述估算是從接收自紅外攝像機60并存儲在幀 存儲模塊30內的圖像幀觀察到的。此外，在本發(fā)明的一個實施例中， 處理器55將估算的路面疊加到從攝像機60接收的圖像幀上，并在 顯示器70上顯示對應的綜合圖像。在第二實施例中，處理器55可 以擇一 (alternatively)或者額外接收來自警報模塊40的操作指令， 并(例如)當在從攝像機60接收的紅外圖像中識別不到道路時，通 過視聽報警器80提醒汽車司機。警報模塊40可以擇一或者額外向 伺服控制系統(tǒng)提供反饋信息，從而使汽車保持在道路界限內。
在圖2中更為詳細地示出了道路探測模塊50，其中，模塊50 包括候選道路像素探測模塊100、初始地平線估算模塊IIO、道路界 定模塊120和道路/地平線校正模塊130。在本發(fā)明的一個實施例中， 顯示器顯示模塊140可以補充所述方法。處理器55接收來自道路探
測模塊50的指令，并通過候選道路像素探測模塊100、初始地平線 估算模塊110、道路界定模塊120和道路/地平線校正模塊130依次 執(zhí)行指令。在本發(fā)明的一個實施例中，所述模塊將最終執(zhí)行包含在 顯示器顯示模塊140內的指令。
在圖3中通過200總體標示體現(xiàn)了通過從單個紅外攝像機獲得 的圖像探測夜間或者不良視覺條件下的道路的方法的步驟的流程 圖。優(yōu)選通過圖1所示的系統(tǒng)10中的道路探測模塊50將該方法作 為算法執(zhí)行。所述方法包括的步驟有按下探測系統(tǒng)啟動210，在可 以獲得下一圖像幀時，訪問下一圖像幀220，探測候選道路像素230， 提供二進制掩碼，估算地平線240，通過二進制掩模界定道路250， 校正道路和地平線260，如有必要，任選地在顯示器上顯示圖像270， 如果用戶已經(jīng)指示了停止，以處理額外的幀，那么進行檢驗280。
在通過控制鍵90按下系統(tǒng)啟動210，并且可以在幀存儲模塊30 內獲得新的圖像幀時，訪問圖像幀220，并執(zhí)行探測候選道路像素的 算法步驟230?；趶暮蜻x像素獲得的二進制掩碼230，執(zhí)行初始地 平線估算240和道路界定250算法。在道路和/或地平線的校正260 算法中獲得對道路識別和地平線放置的最終判決。之后，優(yōu)選在顯 示器上70上連同道路和地平線估算一起顯示初始紅外圖像幀270。 最后，算法200檢驗是否能夠確認(例如)用戶采用控制鍵90輸入 了系統(tǒng)停止信號280;如果沒有觀察到停止信號，算法200訪問新圖 像幀，之后再次執(zhí)行前述步驟。如果觀察到系統(tǒng)停止信號，那么算 法200將其自身設置到等待狀態(tài)290，等待重新按下系統(tǒng)啟動210。
從紅外攝像機獲得的圖像幀通常由像素矩陣構成(Xma/ymax)，其 中，Xn^表示水平方向可用的像素數(shù)量，即列數(shù)，ymax表示垂直方向 可用的像素的數(shù)量，即行數(shù)。每一像素被賦予一個表示該像素所涉 及的圖像的區(qū)域的溫度的具體值。通常，像素值將隨著每一圖像幀 而改變其強度。在下述說明中，為圖像的最上面的一行賦予行值i=l ， 為圖像的最下面的一行賦予行值i=Ymax。
在圖4中示出了涉及探測候選道路像素的算法230的流程圖。 在處理器55接收到構成圖2所示的候選道路像素探測模塊100的指
令時，執(zhí)行所述算法。算法230包括的步驟有通過復制一份有待
分析的圖像幀開始310，估算閾值320，訪問來自所述圖像幀的第一 像素330，評估像素強度是否處于在步驟320中估算的閾值之上340， 為像素賦予零值350， P=0，或者為其賦予一值360, P=l，檢驗估算 的像素是否是圖像中的最后一個像素370，訪問下一像素圖像380， 創(chuàng)建并存儲候選道路像素的二進制掩碼390，并結束395。
一旦使第一幀/下一幀處于可用狀態(tài)220，候選道路像素算法230 就通過在存儲圖像幀存儲模塊30內復制一份有待分析的圖像幀而開 始運行。通常，將閾值772作為圖像幀像素值的強度的平均值/及其 標準偏差Q的函數(shù)進行估算320。方程(1)示出了這一函數(shù)，其中 ^和^是確定兩統(tǒng)計項，即/—和^的貢獻的參數(shù)。根據(jù)具體的應用， 可以找到這些參數(shù)^和^的最佳值。在本發(fā)明的一個實施例中，將 閾值T72直接作為紅外圖像像素值的強度的平均值/計算，其表示將 k,視為l，將k2視為零。這一實施例的優(yōu)點在于，避免了用于計算 標準偏差cn的密集計算處理，從而確保了低成本。上述實施例的性 能已經(jīng)得到了仔細的檢驗，并且與包括標準偏差的最佳閾值進行了 比較。結果表明，在應用于道路探測應用中時，本發(fā)明的這一方法 在降低了處理要求的同時提供了偽最佳狀況(pseudo-optimum situation)。
77z=^X/+^Xw (1) 在與本發(fā)明沒有直接關系的情況下，如果需要計算標準偏差ff/，
使用^和^二者。在寬條件范圍內獲得的涉及圖像的詳細試驗研究 表明在為^和^二者都賦予值0.5時實現(xiàn)了最佳性能。
在算法230的下一步驟中，從幀存儲模塊30訪問紅外圖像的第 一像素，并將其強度值與估算的閾值相比較340。如果像素強度處于 閾值772之上350，那么為像素P賦予值0。如果像素的強度小于等 于閾值77z，那么為像素賦予值l。這一程序嘗試提取具有較低溫度 的像素作為候選道路像素。在所述方法的步驟370，檢驗所訪問的像 素是否是來自所述圖像幀的最后一個像素。如果其是最后一個像素， 那么將包括所有候選道路像素的二進制掩碼存儲在幀存儲模塊30
內。如果不是最后一個像素，將訪問下一像素P380，并執(zhí)行與閾值 Th的新的比較340，直到抵達最后一個像素為止，從而結束了對道 路候選像素的執(zhí)行395。在方程(2)中示出了步驟360，其中，將 二進制掩碼i ^"定義為紅外圖像的像素的強度/(^y,和閾值277的函數(shù)。
圖5示出了給出最初估算地平線的算法240的步驟的流程圖。 在處理器55接收到構成圖2所示的初始地平線估算模塊110的指令 時，執(zhí)行所述算法。所述算法包括的步驟有訪問候選道路像素的 二進制掩碼410，計算像素的垂直投影(vertical projection) 420，計 算所述垂直投影的導數(shù)430，計算第一地平線估算440，計算第二地 平線估算450，確定最終地平線估算并存儲其位置460。
垂直投影計算420負責針對從候選道路像素的二進制掩碼訪問 410的像素數(shù)據(jù)的每一行計算所有像素值的和，并將該和存儲在存儲 器的矢量尸/力內。如方程(3)中所示，可以在數(shù)學上將這一步驟 表示為對Pv(y)的計算。該算法中的下一步驟是對垂直投影的導數(shù) P"y)的計算430;其計算如方程(4)所示，其中，N是在微分過程 中所要減去的元(element)之間的行差。涉及在寬條件范圍內生成 的圖像的詳細試驗研究得出的結論為，N=3提供了最佳的算法性能。 但是，從這一最佳值N=3產(chǎn)生的小變化，例如，N=2， N=4， N=5 對算法的精確度沒有顯著的影響。主要針對包括(320X240)像素 的圖像幀執(zhí)行測試。如果就像素(xmaxXymax)而言，紅外圖像具有 其他尺寸，那么N值通常將縮放至處于方程(5)中表示的裕量內的 值。<formula>formula see original document page 14</formula> ( 5 )
通過計算方程(6)來計算第一地平線估算440。從最上面的圖 像行i—啟動比較，繼續(xù)進行檢驗，直到找到與方程(6)中表示的 不等式匹配的行為止，其中，/^表示估算到地平線的行編號。
<formula>formula see original document page 14</formula> (6)
在方程(6)中，/^表示在其上具有找到天空區(qū)域的高概率的行， 將7!。^定義為包括來自處于地平線處的道路的預期寬度(根據(jù)其包 括的像素的數(shù)量定義的寬度)和由噪聲生成的候選道路像素的影響 的常數(shù)。圖像幀內的噪聲可能源自于具有與道路類似的溫度特性的 物體，或者只是簡單地源自于圖像的記錄過程。
在天空溫度通常高于閾值Th，并且通常不將其像素考慮為候選 道路像素的情況下，對第一地平線估算的計算440尤為貼切。
在已經(jīng)抵達了二進制掩碼的最低行i=Ymax，但卻沒有與所述不 等式匹配的行的情況下，退出第一地平線估算440，算法240將在決 定生成最終的地平線估算460的過程中僅考慮第二地平線估算450。 例如，在所有的天空像素的溫度均低于平均溫度的情況下，將會產(chǎn) 生后面描述的情況。
在本發(fā)明的一個實施例中，其中，所獲得的紅外圖像幀包括由 分別處于水平方向和垂直方向的320*240像素構成的矩陣，認為4P 處于30和70之間，T^，處于20和80之間。這些值是從涉及在寬 條件范圍內獲得的圖像的詳細試驗研究中獲得的。如果就像素(xmax
Xym^)而言，紅外圖像具有其他尺寸，那么iup和T^ge的值通常將
縮放至處于方程(7)和(8)表示的裕量內的值。
<formula>formula see original document page 14</formula> ( 7 )
<formula>formula see original document page 15</formula>
第二地平線估算450基于這樣的觀察，即，在地平線處垂直投 影/V力應當存在大局部導數(shù)。通過估算方程(9)計算這一估算450。 從最上面的圖像行i-l啟動比較，接下來進行檢驗，直到找到與方 程(9)中表示的不等式匹配的行為止，其中，//2表示估算到地平線 的行編號。
^a—n(liU/)l〉71哮') (9)
在已經(jīng)抵達二進制掩碼的最低行&4ax，卻沒有與方程(9)中
的不等式匹配的行，即沒有識別出地平線的情況下，認為第二地平 線估算450處于二進制掩碼之外，即，地平線必然處于圖像幀所顯 示的內容之上。將第二地平線估算賦予值零，//2=0，從而避免在該 算法的其他步驟中出現(xiàn)不確定性。
初始地平線估算460的確定和存儲是以第一地平線估算440和 第二地平線估算450為基礎的。如果沒有找到第一地平線估算 那么初始地平線估算H 460將等于第二地平線估算//2。如果將第一 和第二地平線估算二者都計算了出來，那么將根據(jù)方程(10)計算 初始地平線估算H，即，將其作為兩個估算的平均值計算，其在所 分析的例子中提供了最為精確的估算。
/j^巧+仏 (10) 2
在圖6中示出了涉及允許在圖像幀中界定道路的算法250的流 程圖。在處理器55接收到構成圖2所示的道路界定模塊120的指令 時，執(zhí)行所述算法。所述算法包括的歩驟有訪問候選道路像素的 二進帝U掩碼410，將連通分支標i只算法(connected component labeling algorithm)應用于所述二進制掩碼520，識別道路候選者530，從所 述候選者中選擇道路540，以及計算并存儲所選道路的最小邊界框 (minimum-bounding box) 550。
連通分支標識算法520包括的步驟有從掩碼的上部到下部， 左側到右側逐像素掃描所述二進制掩碼，以識別具有相互類似的強 度值的相鄰像素的區(qū)域；在這種情況下，以1標記具有相互類似的 值的相鄰像素。在所述分支標記算法的實現(xiàn)中，有可能采用不同的 連通度(connectivity)的測量。在本發(fā)明的一個實施例中，采用8 連通度。采用4連通度也有可能，但是其將在道路估算方面影響算 法的準確性。所述算法提供了在x-y平面內表示的候選道路區(qū)域530 的列表，基于下述說明中的三個原則從該列表中選擇道路540，其中， 圖像的最低y坐標y=l對應于圖像的頂部，圖像的最高y坐標y=Ymax 對應于圖像的底部。第一個原則是有效道路區(qū)域必須至少覆蓋像素 總量的一定百分比。第二個原則是，應當將候選道路區(qū)域放到屏幕 的特定區(qū)域內，并且其最大y坐標/^ ^應當高于某一預定常數(shù) i C油。第三個原則是，將道路看作是符合第一和第二原則的最大候 選道路區(qū)域。最后，計算道路的最小邊界框，并將其存儲在存儲器 550內。涉及在寬條件范圍內獲得的圖像的詳細試驗研究表明，如果 道路候選者覆蓋了像素總量的至少10%，應當將其視為有效。在本 發(fā)明的一個實施例中，其中，所獲得的紅外圖像由320X240個像素 的矩陣構成，RC^被認為等于120，其表明預計道路的最低部分， 即其最高的y坐標處于下半部分，即圖像的底部。如果就像素(xmax
Xymax)而言，紅外圖像具有其他尺寸，那么值RCmin通常將縮放至 方程(11)中表示的值。<formula>formula see original document page 16</formula> (11)
在圖7中示出了表示用于校正道路和/或地平線的算法260的歩 驟的流程圖。在處理器55接收到構成圖2所示的道路/地平線校正 模塊130的指令時，執(zhí)行所述算法。在下述說明中，圖像的最低y 坐標y=l對應于圖像的頂部，圖像的最高y坐標y二Ym狀對應于圖像 的底部。算法260包括的步驟有
訪問初始地平線估算和道路的最小邊界框610;
將道路最小邊界框的最小垂直y坐標值與預定第二閾值AW比 較620;
如有必要校正地平線630;
如有必要校正道路的最大垂直坐標(y) 640;以及
最后存儲更新的地平線和道路邊界框660。
前面已經(jīng)結合圖5描述了地平線估算240，并且前面己經(jīng)結合圖 6描述了最小邊界框道路界定250。
通過將道路最小邊界框的最小垂直y坐標值《y_與預定第二閾 值iV—比較啟動校正道路和/或地平線的算法260。作為所述比較的 第一選擇，如果i^曲小于A^，那么分析地平線估算//。如果地平 線估算/Z等于零，那么不修改道路最小邊界框。如果地平線估算H 不同于零，那么修改道路最小邊界框，使之僅包括處于地平線//下 的部分，即，從垂直分量低于地平線值i/的候選道路區(qū)域中擦除所 有像素。作為所述比較的第二個選擇，如果^y大于等于A^v，那 么修改地平線估算，并將其值重新定義為等于道路最小邊界框的最 小垂直y坐標值i^^。最后，將新的道路最小邊界框(如果受到了 修改)和新的地平線(如果受到了修改)存儲在存儲器660內。在 本發(fā)明的一個實施例中，其中，所獲得的紅外圖像由320X240像素 的矩陣構成，N^被認為處于30和70之間。這些值是從涉及在寬 條件范圍內獲得的圖像的詳細試驗研究中獲得的。如果就像素(xmax Xymax)而言，紅外圖像具有其他尺寸，那么W—值通常將縮放至處 于方程(12)中表示的裕量內的值。
在(例如)駕車穿過景觀或城市的過程中，在能夠設想到的大 多數(shù)情況下，當前描述的校正初始道路群的標準均適用于所述方法。 但是，可能發(fā)生特殊的情況，對于所述情況而言，可能要在校正算 法260內實施額外的標準。
在圖8中示出了有關顯示疊加在對應的紅外圖像上的相關信息
的算法270的流程圖，所述相關信息是由在夜間或不良視覺條件下 探測道路的方法200獲得的。所述算法270包括的步驟有訪問初 始紅外圖像幀710，如果用戶指定則疊加道路邊界框720，如果用戶 指定則疊加估算地平線730，如果用戶指定則疊加天空邊界框740， 以及將最終的圖像通過顯示器70呈現(xiàn)給用戶750。除了從幀存儲模塊30獲得的對應的初始紅外圖像之外，用戶可 以通過(例如)控制鍵90決定使哪些特征在顯示器70中顯示。可 以通過不同的顏色代碼在顯示器中顯示天空和道路特征，從而使用 戶容易地進行視覺識別。所述選擇包括下述選擇中的零項到全部 -道路邊界框720 -地平線估算730 -天空邊界框740
在可以獲得天空估算時，將天空的邊界框740作為處于地平線 估算以上的區(qū)域計算。在所指定的元素中的一個或多個無法得到的 情況下，可以通過(例如)視聽報警器80，例如，在顯示器70上顯 示的消息提醒用戶該情況。
在圖9中示出了說明探測夜間或不良視覺條件下的道路的方法 的操作的例子。所述例子包括景物810 (就像白天所呈現(xiàn)的一樣)、 從紅外圖像幀生成的包含在二進制掩碼中的候選道路像素S20、從應 用到紅外圖像幀上的算法獲得的地平線估算和道路邊界框830以及 提供給屏幕的最終圖像840，其中，道路、地平線估算(horizon estimate)和天空區(qū)域被疊加到了初始圖像幀上。
圖9所示的例子代表以具有16X 12的降低分辨率的圖像為基礎 的算法200的應用。圖示的例子的特征在于具有天空區(qū)域，其中， 天空的溫度處于圖像幀的平均溫度之下。天空的低溫在天空區(qū)域內 提供了候選道路像素，這一點可以在二進制掩碼820中觀察到。盡 管天空邊界框構成了最大邊界框，但是排除將其作為道路候選者， 因為其最高y坐標處于某一位置i C^之上，在所給出的例子中，認 為i C一為6。所述算法提供了地平線估算和道路邊界框830作為結 果，在本發(fā)明的一個實施例中，除了天空區(qū)域之外，所述地平線估
18
算和道路邊界框830均被疊加到初始紅外圖像幀840上，從而在顯 示器70上為用戶提供導航信息。
應當認識到，在不背離后附權利要求界定的本發(fā)明的范圍的情 況下，可以對上文中描述的本發(fā)明的實施例進行修改。
在權利要求中，結合包含在括號內的附圖標記和其他符號的目 的在于促進對權利要求的理解，而不是以任何方式限制權利要求的 范圍。
在解釋說明書及其相關權利要求時，不應以排他的方式解釋諸 如"包括"、"包含"、"結合"、"是"、"具有"的表達方式，即，應 當將其解釋為同樣允許未明確定義的其他項目或部分存在。對單數(shù) 的引用還可以被解釋為對復數(shù)的引用，反之亦然。
總之，本發(fā)明涉及通過源自于紅外敏感攝像機的圖像信號探測 道路特征的方法?？傮w來講，所述方法包括，通過響應于其代表性 溫度為幀內的像素賦予二進制值來處理圖像幀，之后對所述二進制 掩碼進行空間分析，以識別被賦予的二進制值相互類似的像素的區(qū) 域。接下來，通過對所識別的具有相互類似的二進制值的區(qū)域的分 析找到道路特征，并將與圖像幀相關的道路特征的視覺指示提供給 用戶。
權利要求
1、一種用于在夜間或不良視覺條件下探測道路的方法，所述方法以圖像幀為基礎，并通過計算機執(zhí)行，將所述圖像幀I劃分為像素，每一像素具有被賦予的強度值，該強度值對應于所述圖像幀代表的環(huán)境點的溫度，所述方法包括的步驟有通過在所述圖像幀內探測作為顯示道路的候選的像素計算掩碼R(230)；從所述候選道路像素中選擇(250)候選道路像素的初始群作為對所述道路的估算，所述初始群具有與所述圖像幀的下部一致的或者處于其附近的下邊界；確定初始地平線估算(240)作為以候選道路像素的不同強度為特征的水平區(qū)域之間的第一條水平取向邊界；通過校正所選擇的具有上邊界的候選道路像素的初始群(250)界定最終道路群(260)，所述校正是以所述上邊界相對于所述初始估算地平線和地平線位置的預定上限的位置為基礎的。
2、 根據(jù)權利要求1所述的方法，其中，所述候選道路像素的探 測(230)是以從所述圖像幀的像素強度值計算第一閾值Th為基礎 的，并且其中，通過將每一像素強度值與所述第一閾值Th進行比較 來探測所述候選道路像素(230)。
3、 根據(jù)權利要求2所述的方法，其中，將所述第一閾值Th作 為所述圖像幀中的像素值的平均值I計算。
4、 根據(jù)權利要求3所述的方法，其中，用所述圖像幀中的像素 強度值的標準偏差o !為所述第一閾值Th加權。
5、 根據(jù)權利要求l-4中的任何一項所述的方法，其中，由所述 掩碼R的候選道路像素的垂直投影Pv和所述投影Pv的導數(shù)Pov計算所述初始地平線估算(240)。
6、 根據(jù)權利要求5所述的方法，其中，所述初始地平線估算(240) 基于-第二地平線估算H2，其被確定為導數(shù)PDv的絕對值大于預定常數(shù)Tl，的掩碼R的最上面的一行；或者所述第二地平線估算H2和第一地平線估算H,的平均值，其中， 所述第一地平線估算H,被確定為垂直投影Pv大于掩碼R的預定行的垂直投影Pv(iup)和所述預定常數(shù)T^ge之和的掩碼R的最上面一行。
7、 根據(jù)權利要求l-6中的任何一項所述的方法，其中，所述的 候選道路像素的選擇(250)包括識別掩碼R中具有相等候選像素值 的連通群，并選擇最大的連貫群，其大于所有像素的預定百分比， 并且具有位于掩碼R的某一行RC,之下的下邊界。
8、 根據(jù)權利要求7所述的方法，其中，所述的在掩碼R中具有 相等像素值的連通群的識別是通過將連通分支標識算法應用于掩碼 R執(zhí)行的。
9、 根據(jù)權利要求l-8中的任何一項所述的方法，其中，所述的 最終道路群的選擇(260)包括如果所述初始道路群的上邊界處于預定第二閾值(Nsky)之上， 那么通過以所述初始地平線估算重新界定所述初始道路群的上邊界 來校正(640)所述初始道路群(250);以及如果所述初始道路群的上邊界位于所述預定第二閾值Nsky之下 或處于所述預定第二閾值N勿上，那么選擇(630)所述初始道路群 (250)，并調整所述地平線估算，使之與所述初始道路群的所述上 邊界一致。
10、 一種用于在夜間或不良視覺條件下探測道路的系統(tǒng)，所述 系統(tǒng)包括一個或多個數(shù)據(jù)處理器以及一個或多個數(shù)據(jù)存儲器，所述 系統(tǒng)將數(shù)據(jù)存儲在所述一個或多個存儲器內，其表示被劃分為像素 的圖像幀I，每一像素具有被賦予的強度值，所述強度值對應于所述 圖像幀代表的環(huán)境點的溫度，為所述系統(tǒng)提供指令，所述指令通過 所述一個或多個處理器執(zhí)行后使該系統(tǒng)適于通過在所述圖像幀內探測作為顯示道路的候選的像素計算掩碼R (230);從所述候選道路像素中選擇(250)候選道路像素的初始群作為 對所述道路的估算，所述初始群具有與所述圖像幀的下部一致的或 者處于其附近的下邊界；確定初始地平線估算(240)作為以候選道路像素的不同強度為 特征的水平區(qū)域之間的第一條水平取向邊界；通過校正所選擇的具有上邊界的候選道路像素的初始群(250) 界定最終道路群(260)，所述校正是以所述上邊界相對于所述初始 估算地平線和地平線位置的預定上限的位置為基礎的。
11、 根據(jù)權利要求10所述的系統(tǒng)，還包括用于獲得圖像幀I的 單個紅外攝像機。
12、 根據(jù)權利要求10所述的系統(tǒng)，包括用于獲得圖像幀I的多 個紅外攝像機。
13、 根據(jù)權利要求10-12中的任何一項所述的系統(tǒng)，其中，所 述系統(tǒng)還適于向用戶顯示最終道路群(260)的圖像。
14、 采用根據(jù)權利要求12所述的系統(tǒng)校正所述多個攝像機。
15、 一種存儲用于數(shù)據(jù)處理器的指令的數(shù)據(jù)載體，在裝載到計 算機系統(tǒng)中時，其執(zhí)行根據(jù)權利要求1-9中的任何一項所述的方法。
全文摘要
一種在源自于紅外敏感攝像機的圖像信號中探測道路特征的方法?？傮w來講，所述方法包括，通過響應于其代表性溫度為幀內的像素賦予二進制值來處理圖像幀，之后對所述二進制掩碼進行空間分析，以識別被賦予的二進制值相互類似的像素的區(qū)域。接下來，通過對所識別的具有相互類似的二進制值的區(qū)域的分析找到道路特征，并將與圖像幀相關的道路特征的視覺指示提供給用戶。
文檔編號G06K9/46GK101185084SQ200680018883
公開日2008年5月21日 申請日期2006年5月16日 優(yōu)先權日2005年5月31日
發(fā)明者A·伊金 申請人:皇家飛利浦電子股份有限公司