本發(fā)明涉及評估其上行駛有車輛的路面的方法和裝置。
背景技術：
：現(xiàn)代機動車輛正在越來越大程度上被提供具有自主駕駛的能力。機動車輛靠其自身駕駛以關于機動車輛的環(huán)境的信息將是可用的為先決條件。例如，被設計用于自主駕駛的機動車輛必須能夠識別其它道路使用者，例如，第二車輛和行人。另一重要方面涉及在給定的情況下當前其上行駛有機動車輛的路面。機動車輛的駕駛員典型地形象地記錄道路條件，適當調(diào)節(jié)他的/她的駕駛風格。如果，例如，對于駕駛員來說道路看起來滑或光滑，則駕駛員典型地更謹慎地駕駛并且，在適當?shù)那闆r下，也激活合適的系統(tǒng)，例如，全輪驅(qū)動。另一方面，在機動車輛靠其自身或，更確切的說，自主地駕駛的情況下，機動車輛自身檢查路面是有必要的。道路的摩擦的自動估算可對車輛更智能的控制做出貢獻，尤其是在機動車輛自主駕駛的情況下。不同的方法在現(xiàn)有技術中是已知的，其能夠利用攝像系統(tǒng)區(qū)分不同類型的道路。在這一點上使用的一種技術包含兩個攝像機的連接，每個裝備有偏振濾波器，所述偏振濾波器相對于彼此旋轉(zhuǎn)90°角。由于在濕表面上偏振的光僅由具有適當偏振濾波器的攝像機記錄，所以通過各自攝像圖像之間的差異可推斷出，例如，車輛是否正行駛在濕的道路上。然而，該方法不能用在僅裝備有一個攝像機的車輛中。在另一個方法中，不同圖像參數(shù)——例如，發(fā)冷光、顏色信息和表面結(jié)構(gòu)——被提取，并且相應的性質(zhì)被用于訓練分類器的目的。然而，已知的方法被相應地限制彩色攝像機的使用以及有限數(shù)量的性質(zhì)或濾波器的使用。關于現(xiàn)有技術，僅以示例性方式對wo2013/173911a1、us2013/0226421a1、cn101609607a、jp2002162343a和jp2002162343a進行參考。技術實現(xiàn)要素：本發(fā)明的目標是使用于評估其上行駛有車輛的路面的方法和裝置可用，該方法和裝置能夠快速并有效的評估，尤其是為了由駕駛員輔助系統(tǒng)或類似的使用的目的。該目標由根據(jù)獨立權(quán)利要求1的特征的方法和根據(jù)獨立權(quán)利要求7的特征的裝置實現(xiàn)。在根據(jù)本發(fā)明的方法中，基于由處在車輛上的攝像機記錄的至少一個圖像，對其上行駛有車輛的路面使用分類器進行分類，其中分類器基于從至少一個圖像提取的圖像特征進行訓練，其中多個圖像細節(jié)被限定在至少一個圖像中，其中圖像特征的提取針對這些圖像細節(jié)中的每個被單獨執(zhí)行。根據(jù)本發(fā)明，尤其是使用車載攝像機對路面進行分類，其中執(zhí)行對多個道路類型或道路條件(例如，三類“干的道路”、“濕的道路”和“白雪覆蓋的道路”)中的一個的評估。不同的性質(zhì)或特征從記錄的圖像中提取，這些特征被用于訓練不同分類器的目的。最終，這些分類器基于驗證圖像進行檢查，導致增加準確度(例如，超過95％的準確度)。進一步隱含在本發(fā)明中的概念是，尤其是，實現(xiàn)和訓練用于評估其上行駛有車輛的路面的分類器，其中使用對應于不同道路條件(例如，干、濕、雪、冰、泥、草、沙等)的多個道路圖像。本發(fā)明進一步包含，尤其是，使用由一個或多個攝像機在某些時間點記錄的多個圖像的概念，在這一點上，各個攝像機(或多個攝像機)可以是前置攝像機、側(cè)置攝像機或后置攝像機。在每個圖像中，之后進行記錄或識別道路以及將攝像機圖像分成更小的圖像，這在以下也被稱為“路段”(“道路區(qū)(roadboxes)”)。根據(jù)本發(fā)明，每個路段可被實時地分類。針對所有路段的該分類的結(jié)果被彼此結(jié)合，以便產(chǎn)生針對車輛的環(huán)境的相應的路面地圖。本發(fā)明的一個優(yōu)點是使用灰度攝像機的可能性(也就是說，沒有提供色彩信息)，在這種情況下，此外，相對低的攝像機分辨率是足夠的。根據(jù)本發(fā)明的方法被設計成實時應用，在該過程中，尤其是，在數(shù)據(jù)處理之后無需存儲各個圖像。根據(jù)本發(fā)明，尤其是可使用兩組圖像，這些圖像組中的一個是用于訓練根據(jù)本發(fā)明的算法的訓練組，并且這些圖像組的另一個是用于驗證算法的效率的驗證組。在這種情況下，兩組圖像中的每個可以，僅以示例性方式，包含45個圖像，15個圖像在每個示例中用于三類道路中的每個。在這種情況下，驗證組的圖像可屬于與訓練組的圖像相同的圖像序列或相同的剪輯并且，例如，可在幾秒鐘后被記錄，使得在每個示例中，呈現(xiàn)相同類型的道路，僅表現(xiàn)出道路的不同細節(jié)。各個圖像組的單個圖像優(yōu)先呈現(xiàn)關于路面(例如，瀝青或鵝卵石路面)、照明條件(晴朗或多云)或天氣條件(例如，暴雨)的大差異，以便實現(xiàn)根據(jù)本發(fā)明的算法面對場景或天氣條件變化時的更大魯棒性。在圖像的可選的修整之后(為了消除不良信息)，可以選擇單個圖像中的例如，三個區(qū)域或細節(jié)(例如，根據(jù)圖2a，各個車道的兩個細節(jié)以及天空或視野的細節(jié)為了計算進一步的性質(zhì)——參見以下關于步驟s130的解釋性說明)。如圖2b中描述的，可進行選擇的圖像細節(jié)關于數(shù)量和形狀或幾何的隨后修改，以便考慮在每個示例中在圖像細節(jié)中重現(xiàn)的在道路的區(qū)域的實際尺寸中由視角產(chǎn)生的包含在各個圖像中的干預對象的影響，光強度中的波動以及改變的影響。分類——在以下描述的進一步步驟中執(zhí)行——針對之前選擇的(例如，三個)圖像細節(jié)分開進行，其中，如在以下更詳細地闡明的，在每個實例中對分類的分配可參考基于加權(quán)的多個(例如，三個)區(qū)域執(zhí)行。因為用于訓練分類器的圖像的數(shù)量對于實現(xiàn)估算的質(zhì)量是至關重要的，所以分類的更高精度可通過考慮適合預定義分類的進一步的“子類”來實現(xiàn)。而且，在根據(jù)本發(fā)明的方法無需車輛或道路的物理模式的情況下，在這一點上，尤其是，也無需估算道路輪廓高度。而且，如果，例如，出現(xiàn)路面的誤分類，則可進行自動校準。本發(fā)明的進一步優(yōu)點是無需彩色攝像機。通過增加攝像機分辨率，也可獲得根據(jù)本發(fā)明的方法的更高準確性。根據(jù)本發(fā)明的方法可用于不同的車輛控制系統(tǒng)中，例如，防抱死制動系統(tǒng)(abs)、電動助力轉(zhuǎn)向系統(tǒng)(epas)、高級駕駛輔助系統(tǒng)(adas)或自適應循環(huán)控制系統(tǒng)(acc)。根據(jù)本發(fā)明的道路分類能夠，尤其是，用于建立道路圖像和各個輪胎摩擦力能力之間的聯(lián)系，以便獲得針對車輛控制系統(tǒng)的容易使用的接口。根據(jù)本發(fā)明分配的道路分類可以，尤其是，包含不同信息的組合，例如關于路面條件(“干”、“潮濕”、“濕”、“雪”、“冰”、“泥”)、道路類型(例如，新瀝青、老瀝青、鵝卵石路面、混凝土、碎石、建筑工程、沙、越野地形)或摩擦間距類別(例如，高摩擦：0.8至1.2、中摩擦：0.3至0.8、低摩擦：0至0.3)。通過根據(jù)本發(fā)明的方法獲得的結(jié)果可與中央單元進行交換，以便在包含來自于不同來源(或車輛)的實時數(shù)據(jù)的智能道路地圖的構(gòu)建中提供幫助。本發(fā)明的進一步配置可通過說明書以及從屬權(quán)利要求獲得。本發(fā)明將基于在附圖中呈現(xiàn)的示例性實施例在以下被更詳細地描述。附圖說明附圖中：圖1示出了在實施例中用于闡明根據(jù)本發(fā)明的方法的順序的流程圖；圖2a-b示出了在每個實例中，用于闡明在根據(jù)本發(fā)明執(zhí)行的圖像選擇過程中進行的可能方式的示例性圖像；圖3示出了用于闡明根據(jù)本發(fā)明的實施例執(zhí)行的圖像分析的直方圖；以及圖4示出了用于闡明根據(jù)本發(fā)明的方法的可能基本順序的進一步流程圖。具體實施方式根據(jù)本發(fā)明，一種方法是可用的，其能夠?qū)⒂砂惭b在車輛中的攝像機記錄的路面的圖像分配給關于道路條件的多個類別中的一個，例如，“干的道路”、“濕的道路”或“白雪覆蓋的道路”，其中不斷擴展的類別也可為了合并進一步的道路條件(例如，冰、泥、沙等)而發(fā)生。根據(jù)本發(fā)明的算法包含，特別地，在圖1的流程圖中表示的以下步驟。在第一步驟s110中，來自于攝像機的單個圖像的載入通過使用圖像載入單元發(fā)生，各自的單個圖像從攝像機傳輸至相應的處理單元。一旦討論中的(單個)圖像被恰當接收到，就在第二步驟s120中執(zhí)行圖像選擇，在該過程中，將被處理的路段圖像從主要或全部圖像中選擇。在下面，將首先假定分為三類——即“干的道路”、“濕的道路”和“白雪覆蓋的道路”。根據(jù)本發(fā)明的算法的更穩(wěn)健行為可通過選擇針對這些類別中的每個的路段圖像被實現(xiàn)，這些類別中的每個的路段圖像關于另外的性質(zhì)有所不同，例如，路面(瀝青、鵝卵石路面等)或照明條件(例如，晴、多云、逆光、暴雨等)。而且，算法的改進可通過在適當?shù)那闆r下，如果例如，對象(例如樹或橋)——其此外減少有用的光強度——被定位在各個圖像細節(jié)中，則圖像選擇被修改而獲得。根據(jù)本發(fā)明，尤其是路段(“道路區(qū)”)可被限定在每個圖像中(在這種情況下，例如，可使用每個圖像至少6個路段)。這些路段中的每個或者每個“道路區(qū)”代表在車輛前方或車輛的環(huán)境中(例如，與車輛有已知的間隔)的特定的、限定的和有界限的路段。通過這些路段中的每個，相應的圖像特征在之后被提取，如以下描述的。在進一步的步驟s130中，進行道路性質(zhì)或道路特征的計算。在示例性實施例中，例如，針對每個道路圖像，可以計算出總共22個性質(zhì)或特征。這些特征構(gòu)成特殊圖像濾波器的初始值。在根據(jù)本發(fā)明提出的算法中，可使用標準性質(zhì)或特征，例如，直方圖和對比。圖3示出了圖像的示例性直方圖，其中在“0”(＝“黑”)和“255”(＝“白”)之間的亮度值被分配至每個像素。在圖3的直方圖中可識別到兩個峰，處于較黑的區(qū)域中的峰對應于道路，并且處于較亮的區(qū)域中的峰對應于天空。在根據(jù)本發(fā)明的圖像分析的過程中，不同的圖像性質(zhì)或特征在步驟s130中被計算。這些性質(zhì)中的一個是作為隨機分布的度量的熵。在這一點上，高的熵表示所有像素在灰度范圍上比較均勻地分布，而直方圖中明顯的峰和相對不均勻的分布被呈現(xiàn)在低熵的情況下。這樣，熵可以關于道路的表面結(jié)構(gòu)(“質(zhì)地”)進行設置。作為另外的圖像性質(zhì)，針對“道路”和“天空”獲得的強度的強度比被確定。在這種情況下，環(huán)境可被考慮成，雖然白雪覆蓋的道路呈現(xiàn)出，通常，比干凈或干的柏油路更亮，但是強度也由場景的亮度決定，使得黑暗中的白雪覆蓋的道路可導致與在極亮的情況下的干凈的柏油路相同的強度值。然而，通過利用道路和天空的強度比，對上述場景可進行區(qū)分，因為在亮的天空的情況下暗的柏油路比暗的或多云的天空的情況下白雪覆蓋的道路提供更高的強度比。作為另外的性質(zhì)，所謂的灰度值矩陣(glcm＝灰度共生矩陣(gray-levelco-occurrencematrix))可為了提供質(zhì)地信息而被計算。在這種情況下，針對像素的各自相鄰像素的灰度級值的某些結(jié)合的頻率以已知方式確定，該確定針對所有像素被成功地執(zhí)行。用于從各個圖像確定質(zhì)地信息的進一步的可能性是所謂的lbp(＝局部二值模式(localbinarypattern))的計算，其中針對每個像素，在預定半徑內(nèi)的周圍的像素的值被確定并與閾值(對應于中心像素的值)比較。用這種方法，在各個圖像中的特別大梯度的出現(xiàn)可被識別，通過其，各個路面的均勻性可被同樣推斷出。數(shù)值的定量登記或分配可通過相關性進行，其中首先，lbp的灰度值矩陣被確定并且之后該灰度值矩陣的相關性被計算。在接下來的步驟s240中，進行道路的分類。在這種情況下，針對每個道路圖像，計算出的性質(zhì)或特征被用作分類器的輸入數(shù)據(jù)，以便實現(xiàn)或輸出道路的最優(yōu)分類。在這種情況下，總共六個可能的道路類別，例如，可基于同一個主圖像的六個不同的道路圖像獲得。根據(jù)本發(fā)明能夠使用的分類模型包括(然而，本發(fā)明對其沒有限制)，例如，訓練的支持向量機(svm＝supportvectormachine)模型或訓練的神經(jīng)網(wǎng)絡(深度學習神經(jīng)網(wǎng)絡)。根據(jù)本發(fā)明的分類器模型的訓練可脫機或在線進行為分類器模型的自我訓練，以便執(zhí)行對不同道路類型和調(diào)節(jié)的適應。每個路段以取決于提取的圖像性質(zhì)或特征的方式進行分類。物理性質(zhì)由車載傳感器(例如，慣性測量單元(imu)、全球定位系統(tǒng)(gps))提取，或者由用于確定懸架高度、轉(zhuǎn)向角、車輪轉(zhuǎn)速的傳感器提取、或通過駕駛員輸入提取。提取的物理特征可包括(本發(fā)明對其沒有限制)輪胎摩擦系數(shù)、輪胎剛度參數(shù)、輪胎力和轉(zhuǎn)向扭矩。天氣數(shù)據(jù)(例如，露點或溫度)可同樣被用作物理性質(zhì)。而且，數(shù)據(jù)聯(lián)動可進行，以便將每個路段的分類結(jié)果和物理性質(zhì)彼此結(jié)合并且，例如，以便提取處于各個車輛前方的路段或車輛的環(huán)境的道路摩擦地圖。根據(jù)本發(fā)明，可以實施具有不同復雜性的不同的分類方法。一個可能性是所謂的“最近鄰分類”(也稱為knn，“k-近鄰”算法)，其中執(zhí)行類別分配，將k-近鄰納入考慮。在這種情況下，為了將新數(shù)據(jù)點分類，k最近數(shù)據(jù)點被分析，新數(shù)據(jù)點被分配給對應于大多數(shù)k最近數(shù)據(jù)點的類別。進一步可能的方法是分類樹方法，其中基于做出的多個決定的數(shù)據(jù)的逐次劃分以已知的方式連續(xù)進行。在進一步的實施例中，也可使用一組(集合)分類器，例如，一組決策樹或分類樹。上述分類針對不同的圖像細節(jié)被單獨執(zhí)行，其中，結(jié)果是，針對類別的多數(shù)決定可在每個實例中進行。該多數(shù)決定可相應地以加權(quán)為先導，通過其，另外存在的問題可被考慮，即結(jié)合的分數(shù)可導致針對每個圖像細節(jié)獲得的各個不同的類別的情況。由于該加權(quán)，在每個實例中，提供最有意義的信息的圖像細節(jié)可被尤其重要的考慮。僅以示例性的方式，較低的圖像區(qū)域可考慮具有1.5的權(quán)重因數(shù)、中心圖像區(qū)域具有1.25的權(quán)重因數(shù)、以及較高的圖像區(qū)域具有1的權(quán)重因數(shù)。根據(jù)圖4，根據(jù)本發(fā)明的分類以(例如，45個)訓練圖像的圖像分析(步驟s411-s414)開始。用這種方式，訓練數(shù)據(jù)(s420)被獲得，其包含訓練圖像的各自性質(zhì)。訓練數(shù)據(jù)隨即被使用以便訓練分類器(s440)的相應的組或集合，導致收到集合分類器。該分類器基于驗證數(shù)據(jù)(s430)被隨即檢查，驗證數(shù)據(jù)通過驗證圖像的分析而確定。在驗證數(shù)據(jù)的分類之后，結(jié)果與已知的類別比較，通過這樣，執(zhí)行的方法的準確度被計算。在表1中，不同分類器的準確度基于示例性實施例被指定。在這種情況下，準確度已經(jīng)被限定為類別的正確分類的圖像的數(shù)量除以考慮中的類別的圖像的總數(shù)量。如果，例如，對于已經(jīng)被相應地分類為“干的道路”的干道路29的30個圖像，相應的準確度量值達到96.7％。表1:分類器干[％]濕[％]雪[％]平均值[％]速度(fps)分類器樹96.786.786.79019集合99.78695.693.76svm10093.396.796.712在進一步的步驟s150中，針對每個道路圖像，固有的加權(quán)可被考慮。在考慮單個道路圖像的各自加權(quán)之后和在適當?shù)慕M合之后，通過重新參照圖1，最終的道路分類的輸出在步驟s160進行。隨后，根據(jù)圖1，返回至步驟s110進行，以便接收用于處理的新的攝像機圖像。上述方法可被實時執(zhí)行。在在機動車輛中實施之前，優(yōu)先執(zhí)行校準，以便執(zhí)行針對將要在給定情況下確定的路面或性質(zhì)的分類器的訓練。雖然在實施例中僅描述了單個圖像被用于道路評估并因此，尤其是，無需立體攝像機，但本發(fā)明不限于使用單個攝像機。在進一步的實施例中，立體攝像機也可被用于改進效率。當前第1頁12