道路上的線型指示標(biāo)志的檢測(cè)方法和裝置制造方法
【專利摘要】公開(kāi)了一種道路上的線型指示標(biāo)志的檢測(cè)方法和裝置。該檢測(cè)方法可以包括：獲得包括路面區(qū)域的U視差圖；在U視差圖上，確定道路消失點(diǎn)；以由第一預(yù)定極點(diǎn)間距和第一預(yù)定極角間距表征的第一分辨率，獲取道路消失點(diǎn)附近的預(yù)定區(qū)域的直線的第一分辨率概率分布圖；基于物理世界中相互平行的直線之間的實(shí)際距離與該相互平行的直線在第一分辨率概率分布圖上的對(duì)應(yīng)極角間的關(guān)系，判定不同類型的線型指示標(biāo)志。根據(jù)本發(fā)明實(shí)施例的道路上的線型標(biāo)志物檢測(cè)方法和裝置，能夠檢測(cè)各種類型的道路上的線型標(biāo)志物，如斑馬線、道路上的箭頭、道路上的白字、道路上的車道線，有助于車輛輔助駕駛。
【專利說(shuō)明】道路上的線型指示標(biāo)志的檢測(cè)方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理，更具體地涉及道路上的線型指示標(biāo)志的檢測(cè)方法和裝置。

【背景技術(shù)】
[0002] 駕駛輔助系統(tǒng)的應(yīng)用日漸普及。駕駛輔助系統(tǒng)可以包括路面檢測(cè)功能、行人和車 輛檢測(cè)功能、路上柵欄檢測(cè)、道路上各種標(biāo)志物檢測(cè)功能等等。
[0003] 道路上存在各種線型標(biāo)志物，一般是和道路走勢(shì)平行的，例如白色斑馬線、單白 線、雙白線、三條白線、單黃線、雙黃線、白色箭頭線等等。
[0004] 下文描述中，將不區(qū)分線型標(biāo)志物的顏色，統(tǒng)稱之為"白線"。不過(guò)需要說(shuō)明的是， 這僅是為了描述方便，其實(shí)該線可以為其它的顏色。在檢測(cè)出白線類型之后，可以輔助以例 如彩色圖的顏色來(lái)區(qū)分線的顏色。
[0005] 每種白線類型都有它特定的交通行駛指示含義。對(duì)白線類型的檢測(cè)可以有助于司 機(jī)的安全駕駛。根據(jù)車輛在其上行駛的道路的白線類型的不同，可以給予行人檢測(cè)或者車 輛預(yù)警不同的權(quán)重。
[0006] 而且，白線類型信息對(duì)于無(wú)人駕駛以及輔助駕駛也有重要作用，它可以預(yù)測(cè)行駛 路線，提供自動(dòng)剎車指導(dǎo)等。


【發(fā)明內(nèi)容】

[0007] 需要一種適合于檢測(cè)各種道路上的線型標(biāo)志物的方法和裝置。
[0008] 為此，提出了本發(fā)明。
[0009] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種路上的線型指示標(biāo)志的檢測(cè)方法，可以包括： 獲得包括路面區(qū)域的U視差圖；在U視差圖上，確定道路消失點(diǎn)；以由第一預(yù)定極點(diǎn)間距和 第一預(yù)定極角間距表征的第一分辨率，獲取道路消失點(diǎn)附近的預(yù)定區(qū)域的直線的第一分辨 率概率分布圖；基于物理世界中相互平行的直線之間的實(shí)際距離與該相互平行的直線在第 一分辨率概率分布圖上的對(duì)應(yīng)極角間的關(guān)系，判定不同類型的線型指示標(biāo)志。
[0010] 根據(jù)本發(fā)明的另一個(gè)方面，提供了一種道路上的線型指示標(biāo)志的檢測(cè)裝置，可以 包括：U視差圖獲得部件，用于獲得包括路面區(qū)域的U視差圖；道路消失點(diǎn)確定部件，用于在 U視差圖上，確定道路消失點(diǎn)；第一分辨率概率分布圖獲得部件，用于以由第一預(yù)定極點(diǎn)間 距和第一預(yù)定極角間距表征的第一分辨率，獲取道路消失點(diǎn)附近的預(yù)定區(qū)域的直線的第一 分辨率概率分布圖；不同類型線型指示標(biāo)志區(qū)分部件，用于基于物理世界中相互平行的直 線之間的實(shí)際距離與該相互平行的直線在第一分辨率概率分布圖上的對(duì)應(yīng)極角間的關(guān)系， 判定不同類型的線型指示標(biāo)志。
[0011] 根據(jù)本發(fā)明實(shí)施例的道路上的線型標(biāo)志物檢測(cè)方法和裝置，能夠檢測(cè)各種類型的 道路上的線型標(biāo)志物，如斑馬線、道路上的箭頭、道路上的白字、道路上的車道線，有助于車 輛輔助駕駛。
[0012] 進(jìn)一步地，根據(jù)本發(fā)明實(shí)施例的道路上的線型標(biāo)志物檢測(cè)方法和裝置還可以包 括：以由第二預(yù)定極點(diǎn)間距和第二預(yù)定極角間距表征的第二分辨率，獲取道路消失點(diǎn)附近 的預(yù)定區(qū)域的直線的第二分辨率概率分布圖，其中第二分辨率高于第一分辨率；對(duì)于判定 為車道線的線型指示標(biāo)志，確定其在第二分辨率概率分布圖上表現(xiàn)出的對(duì)應(yīng)線的條數(shù)；以 及根據(jù)表現(xiàn)出的對(duì)應(yīng)線的條數(shù)，進(jìn)一步判定該車道線的類型。由此，能夠利用第一分辨率 (低分辨率）的概率分布圖，來(lái)實(shí)現(xiàn)道路上的線型指示標(biāo)志的粗分類，而且利用第二分辨率 (高分辨率）的概率分布圖，基于不同車道線在概率分布圖上顯現(xiàn)的線的條數(shù)，實(shí)現(xiàn)車道線 的細(xì)分類。

【專利附圖】

【附圖說(shuō)明】
[0013] 從下面結(jié)合附圖對(duì)本發(fā)明實(shí)施例的詳細(xì)描述中，本發(fā)明的這些和/或其它方面和 優(yōu)點(diǎn)將變得更加清楚并更容易理解，其中：
[0014] 圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的車輛自動(dòng)控制系統(tǒng)100的示意圖；
[0015] 圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的可用于圖1中所示的車輛自動(dòng)控制系統(tǒng)100 中的攝像頭101和圖像處理模塊102的組成示例的示意圖；
[0016] 圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的道路上的線型指示標(biāo)志檢測(cè)裝置300的基本 功能組成示例；
[0017] 圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的道路上的線型指示標(biāo)志檢測(cè)方法的總體流 程圖；
[0018] 圖5示意性地示出了包括路面區(qū)域的視差圖和視差圖變換得到的U視差圖；
[0019] 圖6 (a)示意性示出了 U視差圖上的一個(gè)候選道路消失點(diǎn)CVP，以及示例的用極點(diǎn) b和極角0來(lái)表示的經(jīng)過(guò)該候選道路消失點(diǎn)CVP的一條直線；圖6(b)示意性地示出了所 有基本點(diǎn)的所有直線的概率分布圖；圖6(c)示出了圖6 (b)的概率分布圖對(duì)應(yīng)的候選道路 消失點(diǎn)CVP (即基本點(diǎn)b)的聚合度分布曲線示意圖；圖6d)示出了利用聚合度分布曲線確 定消失點(diǎn)x〇的示意圖；圖6e)是和圖6b) -樣的概率分布圖，其中臨近消失點(diǎn)，包含大多 數(shù)直線的區(qū)域，在圖6e)中用矩形框標(biāo)識(shí)出來(lái)；圖6f)示出了灰度圖上的對(duì)應(yīng)白線；
[0020] 圖7示出了通過(guò)將圖6(e)中的矩形框部分（即道路消失點(diǎn)附近的區(qū)域）單獨(dú)取出 得到的某分辨率的概率分布圖或角度分布圖；
[0021] 圖8a)示出了原始灰度圖，圖8b)示出了對(duì)應(yīng)的U圖，圖8c)和圖8d)示意性地示 出了兩個(gè)不同分辨率的角度分布圖的示例；
[0022] 圖9中的a)和（b)示意性地示出了角度分布圖的點(diǎn)和原始灰度圖上的直線之間 的對(duì)應(yīng)關(guān)系；
[0023] 圖IOa)示意性地顯示了立體視覺(jué)原理，圖IOb)示出了真實(shí)世界中兩個(gè)點(diǎn)P和Q 有同樣的深度的情況下，真實(shí)距離和像素距離之間的關(guān)系；
[0024] 圖11示出了在U視差圖中兩條道路白線間的像素寬度Dwidth與道路白線的傾斜 角度之間的關(guān)系；
[0025] 圖12中的a)到c)示意性地示出了灰度圖上的各種道路上的線型指示標(biāo)志與第 一分辨率的概率分布圖上的對(duì)應(yīng)點(diǎn)(或?qū)?yīng)曲線)之間的對(duì)應(yīng)關(guān)系，圖12d)示出了經(jīng)區(qū)分留 下的灰度圖上的圓圈所顯示的車道線部分；
[0026] 圖13示出了根據(jù)本發(fā)明第三實(shí)施例的道路上的線型指示標(biāo)志檢測(cè)方法500的總 體流程圖；
[0027] 圖14a)示意性示出了由不同條數(shù)的白線組成的車道線的例子；圖14b)示意性示 出了灰度圖上的不同類型的車道線和高分辨率角度分布圖中的對(duì)應(yīng)曲線；
[0028] 圖15a)和b)示出了灰度圖上的車道線、高分辨率角度分布圖上的對(duì)應(yīng)曲線和灰 度圖中直線對(duì)應(yīng)的密度列表；以及
[0029] 圖16示出了適于用來(lái)實(shí)現(xiàn)本發(fā)明實(shí)施方式的示例性計(jì)算系統(tǒng)600的框圖。

【具體實(shí)施方式】
[0030] 為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā) 明作進(jìn)一步詳細(xì)說(shuō)明。
[0031] 本發(fā)明各實(shí)施例中道路上的線型指示標(biāo)志檢測(cè)以視差圖和/或U視差圖(可選地 還包括灰度圖或彩色圖)為操作對(duì)象，下面對(duì)視差圖以及作為視差圖的俯瞰圖的U視差圖進(jìn) 行簡(jiǎn)要介紹。
[0032] 視差圖（disparity map)是以任一幅圖像為基準(zhǔn)，其大小為該基準(zhǔn)圖像的大小，元 素值為視差值的圖像。視差圖包含了場(chǎng)景的距離信息。視差圖可以從雙目相機(jī)拍攝的左圖 像和右圖像中計(jì)算得到，或者通過(guò)立體視圖中的深度圖計(jì)算得到。
[0033] 普通二維視差圖中的某點(diǎn)坐標(biāo)一般以（u，V)表示，其中U為橫坐標(biāo)，V為縱坐標(biāo)； 點(diǎn)（U，v)處的像素的像素值用d(u，v)表示，表示該點(diǎn)（u，v)處的視差。
[0034] 視差俯敵圖或U-視差圖可以從視差圖中計(jì)算得到。U-視差圖中任意一點(diǎn)（u, d) 的灰度值是對(duì)應(yīng)視差圖的橫坐標(biāo)為u的列中視差值等于d的點(diǎn)的個(gè)數(shù)。
[0035] 有關(guān)視差圖的概念、獲得、以及如何從視差圖獲得U-視差圖的詳細(xì)介紹，可以在 本 申請(qǐng)人:的另一篇題目為"道路分割物檢測(cè)方法和裝置"、申請(qǐng)?zhí)枮镹o. 201110409269. 1的 在先申請(qǐng)中得到。
[0036] 下面，將按如下順序進(jìn)行描述：
[0037] 〈1、第一實(shí)施例〉
[0038] 〈1. 1、車輛自動(dòng)控制系統(tǒng)〉
[0039] 〈1. 2、攝像頭和圖像處理模塊〉
[0040] 〈1. 3、道路上的線型指示標(biāo)志檢測(cè)裝置〉
[0041] 〈2、第二實(shí)施例：道路上的線型指示標(biāo)志檢測(cè)方法〉
[0042] 〈3、第三實(shí)施例：道路上的線型指示標(biāo)志檢測(cè)方法〉
[0043] 〈4、第四實(shí)施例：檢測(cè)道路上的線型指示標(biāo)志的計(jì)算系統(tǒng)〉
[0044] 〈1、第一實(shí)施例〉
[0045] 〈1. 1、車輛自動(dòng)控制系統(tǒng)〉
[0046] 圖1示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的車輛自動(dòng)控制系統(tǒng)100的示意圖。車輛自動(dòng) 控制系統(tǒng)100安裝在車輛之上。該車輛自動(dòng)控制系統(tǒng)100包括例如兩個(gè)攝像頭101、圖像處 理模塊102、車輛控制模塊103。攝像頭101可以安裝在靠近車輛后視鏡的位置，用于捕獲 車輛前方的場(chǎng)景。所捕獲的車輛前方場(chǎng)景的圖像將作為圖像處理模塊102的輸入。圖像處 理模塊102分析輸入的視差圖像，進(jìn)行各種檢測(cè)處理，例如本發(fā)明實(shí)施例的道路上的線型 指示標(biāo)志檢測(cè)，以及其他的路面檢測(cè)處理、柵欄檢測(cè)處理、行人檢測(cè)處理等等。車輛控制模 塊103接收由圖像處理模塊102輸出的信號(hào)，根據(jù)檢測(cè)得到的當(dāng)前道路上的線型指示標(biāo)志 如各種分道線(諸如，區(qū)分各個(gè)車道（lane)的線)，以及路面、柵欄、行人等信息生成控制信 號(hào)來(lái)控制車輛的行駛方向和行駛速度等。
[0047] 圖中所示的車輛自動(dòng)控制系統(tǒng)100僅為示例，其還可以包括其他部件，例如GPS導(dǎo) 航部分等。
[0048] 〈1. 2、攝像頭和圖像處理模塊〉
[0049] 圖2示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的可用于圖1中所示的車輛自動(dòng)控制系統(tǒng)100 中的攝像頭101和圖像處理模塊102的組成示例的示意圖。
[0050] 如圖2所示，圖中左側(cè)示出了兩個(gè)攝像頭101，攝像頭101包括圖像傳感器201和 攝像頭數(shù)字信號(hào)處理器（digital signal processing, DSP) 202。圖像傳感器201將光信 號(hào)轉(zhuǎn)換為電子信號(hào)，將捕獲的當(dāng)前車輛前方的圖像轉(zhuǎn)換為模擬圖像信號(hào)，再將結(jié)果傳入攝 像頭DSP202。如果需要，攝像頭101還可以進(jìn)一步包括鏡頭，濾鏡，等等。在本設(shè)備中，可以 包括兩個(gè)或多個(gè)(未示出)攝像頭101，這些攝像頭配準(zhǔn)后可以同時(shí)捕獲多幅圖像，以便用于 雙目成像或多目成像。攝像頭DSP202將模擬圖像信號(hào)轉(zhuǎn)換為數(shù)字圖像信號(hào)，并發(fā)送到圖像 處理模塊102。
[0051] 如圖像處理模塊102的功能框圖所示，圖像處理模塊102可以包括，例如，圖像輸 入部分203、視差圖成像部分204、路面檢測(cè)部分204、行人和車輛檢測(cè)部分205、道路上的線 型指示標(biāo)志檢測(cè)部分206等。圖像輸入部分203可以按規(guī)定的時(shí)間間隔取得圖像。視差圖 成像部分204利用雙目視覺(jué)原理，將輸入的一對(duì)數(shù)字圖像轉(zhuǎn)換為視差圖。路面檢測(cè)部分204 可以例如基于來(lái)自視差圖成像部分204的視差圖(和/或灰度圖)而檢測(cè)路面。行人和車輛 檢測(cè)部分205可以例如基于來(lái)自視差圖成像部分204的視差圖(和/或灰度圖)而檢測(cè)行人 和車輛。道路上的線型指示標(biāo)志檢測(cè)部分206可以例如基于來(lái)自視差圖成像部分204的視 差圖(可選地，還基于灰度圖）而檢測(cè)道路上的線型指示標(biāo)志。
[0052] 圖2中所示的用于后續(xù)獲得視差的雙目攝像機(jī)成像僅為示例，也可以例如采用其 他基于紅外光飛行速度和基于紋理光的立體攝像機(jī)等等設(shè)置。另外，車輛上可以不配置攝 像設(shè)備，而例如通過(guò)有線網(wǎng)絡(luò)或者無(wú)線網(wǎng)絡(luò)連接接收來(lái)自外部的圖像數(shù)據(jù)等。
[0053] 圖2中所示的圖像處理模塊僅為示例，其可以省略其中的某些部分例如省略路面 檢測(cè)部分204,以及可以包括額外的其他部分，例如柵欄檢測(cè)部分、U視差圖獲得部分、V視 差圖獲得部分、基于灰度圖的對(duì)象檢測(cè)等。
[0054] 下面將重點(diǎn)介紹本發(fā)明所關(guān)注的道路上的線型指示標(biāo)志檢測(cè)部分的組成和操作 過(guò)程。
[0055] 〈1. 3、道路上的線型指示標(biāo)志檢測(cè)裝置〉
[0056] 下面將結(jié)合圖3描述根據(jù)本發(fā)明一個(gè)實(shí)施例的道路上的線型指示標(biāo)志檢測(cè)裝置 的基本功能組成示例。
[0057] 圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的道路上的線型指示標(biāo)志檢測(cè)裝置300的基本 功能組成示例，該道路上的線型指示標(biāo)志檢測(cè)裝置300可用于圖2中所示的道路上的線型 指示標(biāo)志檢測(cè)部分206。該道路上的線型指示標(biāo)志檢測(cè)裝置300輸入為圖像數(shù)據(jù)例如雙目 相機(jī)拍攝的左圖像和右圖像，輸出為檢測(cè)得到的某種或某些道路上的線型指示標(biāo)志。
[0058] 如圖3所示，根據(jù)本發(fā)明一個(gè)實(shí)施例的道路上的線型指示標(biāo)志檢測(cè)裝置300可 以包括：U視差圖獲得部件310,用于獲得包括路面區(qū)域的U視差圖；道路消失點(diǎn)確定部件 320,用于在U視差圖上，確定道路消失點(diǎn)；第一分辨率概率分布圖獲得部件330,用于以由 第一預(yù)定極點(diǎn)間距和第一預(yù)定極角間距表征的第一分辨率，獲取道路消失點(diǎn)附近的預(yù)定區(qū) 域的直線的第一分辨率概率分布圖；不同類型線型指示標(biāo)志區(qū)分部件340,用于基于物理 世界中相互平行的直線之間的距離與該相互平行的直線在第一分辨率概率分布圖上的對(duì) 應(yīng)極角間的關(guān)系，判定不同類型的線型指示標(biāo)志。
[0059] 需要說(shuō)明的是，上述道路上的線型指示標(biāo)志的檢測(cè)裝置300的部件可以用軟件程 序來(lái)實(shí)現(xiàn)，例如通過(guò)通用計(jì)算機(jī)中的CPU結(jié)合RAM和ROM等以及其中運(yùn)行的軟件代碼來(lái)實(shí) 現(xiàn)。軟件程序可以存儲(chǔ)在諸如閃存、軟盤(pán)、硬盤(pán)、光盤(pán)等存儲(chǔ)介質(zhì)上，在運(yùn)行時(shí)加載到諸如隨 機(jī)訪問(wèn)存儲(chǔ)器RAM上來(lái)由CPU執(zhí)行。另外，除了通用計(jì)算機(jī)上，還可以通過(guò)專用集成電路和 軟件之間的合作來(lái)實(shí)現(xiàn)。所述集成電路包括通過(guò)例如MPU (微處理單元)、DSP (數(shù)字信號(hào)處 理器)、FPGA (現(xiàn)場(chǎng)可編程門陣列）、ASIC (專用集成電路）等中的至少一個(gè)來(lái)實(shí)現(xiàn)。這樣的 通用計(jì)算機(jī)或者專用集成電路等例如可以裝載在車輛上，并且與安裝在例如車輛上的成像 設(shè)備例如照相機(jī)來(lái)通信，以便對(duì)照相機(jī)拍攝獲得的二維圖像和/或立體圖像進(jìn)行處理來(lái)得 到道路上的線型指示標(biāo)志檢測(cè)結(jié)果，以及可選地還可以根據(jù)道路上的線型指示標(biāo)志檢測(cè)結(jié) 果對(duì)車輛的駕駛進(jìn)行控制，例如給出警告信息、自動(dòng)剎車或啟動(dòng)應(yīng)急保護(hù)裝置等。另外，道 路上的線型指示標(biāo)志的檢測(cè)裝置300的各個(gè)部件可以用專門的硬件來(lái)實(shí)現(xiàn)，例如特定的現(xiàn) 場(chǎng)可編程門陣列、專用集成電路等。另外，道路上的線型指示標(biāo)志的檢測(cè)裝置300的各個(gè)部 件也可以利用軟件和硬件的結(jié)合來(lái)實(shí)現(xiàn)。
[0060] 需要說(shuō)明的是，圖3中所示的箭頭只表示兩個(gè)部件的功能之間存在邏輯關(guān)系，兩 個(gè)部件之間可以直接或者間接地操作性地連接。另外，即便圖3中的某兩個(gè)部件之間未示 出某方向的箭頭連接，但是這并不表明兩者之間必然不存在該方向的邏輯關(guān)系，相反，兩者 之間可以存在操作性的連接關(guān)系，例如第一分辨率概率分布圖獲得部件330和不同類型線 型指示標(biāo)志區(qū)分部件340和U視差圖獲得部件310之間可以存在邏輯關(guān)聯(lián)，其中第一分辨 率概率分布圖獲得部件330和不同類型線型指示標(biāo)志區(qū)分部件340在操作過(guò)程中可能需要 利用U視差圖獲得部件310所獲得的U視差圖。
[0061] 上述道路上的線型指示標(biāo)志的檢測(cè)裝置300中的各個(gè)單元的結(jié)構(gòu)和數(shù)量不對(duì)本 發(fā)明的范圍構(gòu)成限制。根據(jù)本發(fā)明的一個(gè)實(shí)施例，上述U視差圖獲得部件310、道路消失點(diǎn) 確定部件320、第一分辨率概率分布圖獲得部件330、不同類型線型指示標(biāo)志區(qū)分部件340 可以合并為一個(gè)獨(dú)立的部件來(lái)執(zhí)行和實(shí)現(xiàn)相應(yīng)的功能和操作，或者可以將U視差圖獲得部 件310、道路消失點(diǎn)確定部件320、第一分辨率概率分布圖獲得部件330、不同類型線型指示 標(biāo)志區(qū)分部件340進(jìn)一步拆分為更小的單元來(lái)實(shí)現(xiàn)他們各自的功能和操作。
[0062] 另外，需要說(shuō)明的是，圖3中所示的結(jié)構(gòu)并不是排他式的，相反道路上的線型指示 標(biāo)志的檢測(cè)裝置300可以包括其他部件，例如顯示部件，用于例如不同類型線型指示標(biāo)志 區(qū)分部件340處理后的結(jié)果，以及例如通信部件，用于將有關(guān)信息和/或中間處理結(jié)果傳遞 到外部等。
[0063] 下面參考圖4-9詳細(xì)描述道路上的線型指示標(biāo)志檢測(cè)裝置300的各部件的功能和 操作的示例。
[0064] 〈2、第二實(shí)施例：道路上的線型指示標(biāo)志檢測(cè)方法〉
[0065] 圖4示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的道路上的線型指示標(biāo)志檢測(cè)方法400的總體 流程圖。
[0066] 如圖4所示，在步驟S410, U視差圖獲得部件310獲得包括路面區(qū)域的U視差圖。 [0067] 如前所述，可以通過(guò)雙目相機(jī)、多目相機(jī)、立體相機(jī)拍攝并計(jì)算得到包括道路區(qū)域 的視差圖，由視差圖變換得到U視差圖；或者從立體視圖中獲得深度圖，根據(jù)深度圖得到視 差圖，由視差圖變換得到U視差圖。
[0068] 在首先獲得包括路面區(qū)域的視差圖，然后從視差圖轉(zhuǎn)換得到U視差圖的情況下， 關(guān)于如何從例如立體相機(jī)獲得的圖像中獲得路面區(qū)域的視差圖，可以采用例如下述幾種途 徑：由手動(dòng)指定路面區(qū)域；也可以例如采用預(yù)定高度閾值rh來(lái)將視差圖中自路面起高度大 于rh的所有點(diǎn)移除，因?yàn)?，高度大于rh的點(diǎn)可能代表路上的車輛、騎自行車的人或者電線 桿等噪聲等；或者可以采用各種路面估計(jì)或檢測(cè)方法來(lái)檢測(cè)路面從而獲得包括路面區(qū)域的 視差圖，例如采用本 申請(qǐng)人:的題目為"路面檢測(cè)方法和裝置"、申請(qǐng)?zhí)枮镹o. 201210194074. 4 中介紹的路面檢測(cè)方法。
[0069] 在獲得包括路面區(qū)域的視差圖后，可以獲得視差圖的俯瞰圖，即U視差圖。
[0070] 圖5示意性地示出了包括路面區(qū)域的視差圖（左圖）和視差圖變換得到的U視差 圖(右圖)，其中左圖橫坐標(biāo)是X，縱坐標(biāo)是y，右圖中橫坐標(biāo)是X，縱坐標(biāo)是d。
[0071] 此外，這里還可以對(duì)如此得到的U視差圖進(jìn)行一些后處理，例如去噪，其中一種實(shí) 現(xiàn)方式是，將所有灰度值小于預(yù)定閾值的點(diǎn)都從視差俯瞰圖中去除，也即將所有灰度值小 于預(yù)定閾值的點(diǎn)的灰度值改為零。這是因?yàn)?，噪聲一般是離散點(diǎn)，在視差圖的各列中，不會(huì) 存在很多視差一樣的噪聲點(diǎn)。另外，為了避免無(wú)意地去除諸如白線的分道線，優(yōu)選地，將預(yù) 定閾值設(shè)置為較小值，例如設(shè)置為1。
[0072] 前文描述的情形是先獲得視差圖，然后從視差圖獲得U視差圖。不過(guò)這僅為示例， 也可以通過(guò)對(duì)例如雙目相機(jī)獲得的圖像進(jìn)行處理或計(jì)算，直接獲得U視差圖。或者，也可以 直接從外部通過(guò)有線網(wǎng)絡(luò)或者無(wú)線網(wǎng)絡(luò)通信來(lái)接收包括路面區(qū)域的U視差圖。
[0073] 回到圖4,在步驟S420中在U視差圖上，確定道路消失點(diǎn)。
[0074] 由本領(lǐng)域技術(shù)人員公知的射影變換原理可知，原三維空間中相互平行的直線在U 視差圖中相交于視差值等于零（即d=0)的點(diǎn)，我們將此交點(diǎn)稱為道路消失點(diǎn)。在視差俯瞰 圖中，視差值等于零的點(diǎn)位于一條橫線上，我們將視差值等于零的點(diǎn)統(tǒng)稱為基本點(diǎn)，也稱之 為候選道路消失點(diǎn)。如果考察經(jīng)過(guò)各個(gè)基本點(diǎn)的各個(gè)直線存在的概率的話，那么應(yīng)該是經(jīng) 過(guò)道路消失點(diǎn)的作為道路分割物的直線存在的概率最大，或者說(shuō)最集中（即最不分散)。
[0075] 由此可以基于這樣的聚合度分布來(lái)確定道路消失點(diǎn)。
[0076] 在一個(gè)實(shí)施例中，在U視差圖上，確定道路消失點(diǎn)可以包括：
[0077] (1)在U視差圖上，針對(duì)各個(gè)候選道路消失點(diǎn)，計(jì)算經(jīng)過(guò)候選道路消失點(diǎn)的各個(gè)直 線存在的概率，獲得經(jīng)過(guò)各個(gè)候選道路消失點(diǎn)的直線的概率分布圖，每條直線由對(duì)應(yīng)候選 道路消失點(diǎn)作為極點(diǎn)和對(duì)應(yīng)極角來(lái)限定，由此獲得了各個(gè)候選道路消失點(diǎn)的直線的概率分 布；
[0078] 這里，候選道路消失點(diǎn)簡(jiǎn)稱為CVP (candidate vanishing point)，圖6 (a)示出了 U視差圖上的一個(gè)候選道路消失點(diǎn)CVP，該圖中的括號(hào)顯示了待選消失點(diǎn)區(qū)間的位置。橫坐 標(biāo)是X，縱坐標(biāo)是d，與圖5中的右圖相同。候選道路消失點(diǎn)CVP的位置用橫坐標(biāo)b表示(縱 坐標(biāo)為視差d=0)，經(jīng)過(guò)該候選道路消失點(diǎn)CVP的一條直線用極點(diǎn)b和極角0來(lái)表示。
[0079] 圖6(b)示意性地示出了所有基本點(diǎn)的所有直線的概率分布圖，其中橫坐標(biāo)表示 各個(gè)CVP點(diǎn)（即橫坐標(biāo)b)，縱坐標(biāo)表示夾角角度Angle(即0)，點(diǎn)（b，0)處的取值為概率 Dis(0，b)，即表示由極點(diǎn)b和夾角0確定的直線存在的概率，該概率例如可以根據(jù)落在該 條直線上的U視差圖像上的非零點(diǎn)的數(shù)目占U視差圖像上全部非零點(diǎn)的數(shù)目的比率來(lái)計(jì) 算。
[0080] 從U視差圖生成方式可以看出，圖6f)中灰度圖上的右側(cè)白線，對(duì)應(yīng)著圖6a)中的 由極點(diǎn)b和夾角0確定的直線（b，0)，如從圖6(a)到圖6(f)的箭頭曲線所示。也因此， 圖6b)中的大的黑圓點(diǎn)處的像素點(diǎn)，表示由極點(diǎn)b和夾角0確定的直線（b，0)的存在概 率，可見(jiàn)其對(duì)應(yīng)著圖6f)中的右側(cè)白線，換句話說(shuō)，一定程度上表征圖6f)中的右側(cè)白線存 在的概率。
[0081] 需要說(shuō)明的是，關(guān)于概率分布圖，關(guān)于各條直線的概率，可以基于極點(diǎn)間預(yù)定間距 和極角間的預(yù)定間距來(lái)對(duì)各個(gè)直線進(jìn)行概率計(jì)算，由此得到了不同分辨率的概率分布圖， 極點(diǎn)間的間距越小、極角間的間距越小，概率分布圖的分辨率越高。
[0082] (2)基于經(jīng)過(guò)每個(gè)候選道路消失點(diǎn)的各個(gè)直線存在的概率，得到表征每個(gè)候選道 路消失點(diǎn)的直線存在的概率的分布的聚合程度的聚合度，由此得到候選道路消失點(diǎn)的聚合 度分布。
[0083] 針對(duì)每個(gè)候選道路消失點(diǎn)CVP(也可稱為基本點(diǎn)b)，改變極角0，即得到一組相關(guān) 聯(lián)的直線。如果這組直線經(jīng)過(guò)的是真正的消失點(diǎn)，那么他們每條直線的概率，要么很大（白 線所在直線），要么很小（很少有點(diǎn)的直線）。從信息論的角度來(lái)講，這組直線的概率分布 的聚合程度是收斂的。而如果這組直線經(jīng)過(guò)的不是真正的消失點(diǎn)，那么這組直線的概率分 布的聚合程度是發(fā)散的。為了定量度量每組直線的概率分布的聚合程度(收斂或發(fā)散)，在 一個(gè)示例中，可以采用信息熵來(lái)計(jì)算，例如，用如下的公式（1)來(lái)表示候選道路消失點(diǎn)CVP (即基本點(diǎn)b)的聚合度En(b) :
[0084]

【權(quán)利要求】
1. 一種道路上的線型指示標(biāo)志的檢測(cè)方法，包括： 獲得包括路面區(qū)域的U視差圖； 在U視差圖上，確定道路消失點(diǎn)； 以由第一預(yù)定極點(diǎn)間距和第一預(yù)定極角間距表征的第一分辨率，獲取道路消失點(diǎn)附近 的預(yù)定區(qū)域的直線的第一分辨率概率分布圖； 基于物理世界中相互平行的直線之間的實(shí)際距離與該相互平行的直線在第一分辨率 概率分布圖上的對(duì)應(yīng)極角間的關(guān)系，判定不同類型的線型指示標(biāo)志。
2. 根據(jù)權(quán)利要求1的道路上的線型指示標(biāo)志的檢測(cè)方法，還包括： 以由第二預(yù)定極點(diǎn)間距和第二預(yù)定極角間距表征的第二分辨率，獲取道路消失點(diǎn)附近 的預(yù)定區(qū)域的直線的第二分辨率概率分布圖，其中第二分辨率高于第一分辨率； 對(duì)于判定為車道線的線型指示標(biāo)志，確定其在第二分辨率概率分布圖上表現(xiàn)出的對(duì)應(yīng) 線的條數(shù)；以及 根據(jù)表現(xiàn)出的對(duì)應(yīng)線的條數(shù)，進(jìn)一步判定該車道線的類型。
3. 根據(jù)權(quán)利要求1的道路上的線型指示標(biāo)志的檢測(cè)方法，所述在U視差圖上，確定道路 消失點(diǎn)包括： 在U視差圖上，針對(duì)各個(gè)候選道路消失點(diǎn)，計(jì)算經(jīng)過(guò)候選道路消失點(diǎn)的各個(gè)直線存在 的概率，獲得經(jīng)過(guò)各個(gè)候選道路消失點(diǎn)的直線的概率分布圖，每條直線由對(duì)應(yīng)候選道路消 失點(diǎn)作為極點(diǎn)和對(duì)應(yīng)極角來(lái)限定，由此獲得了各個(gè)候選道路消失點(diǎn)的直線的概率分布； 基于經(jīng)過(guò)每個(gè)候選道路消失點(diǎn)的各個(gè)直線存在的概率，得到表征每個(gè)候選道路消失點(diǎn) 的直線存在的概率的分布的聚合程度的聚合度，由此得到候選道路消失點(diǎn)的聚合度分布； 以及 基于候選道路消失點(diǎn)的聚合度分布，確定道路消失點(diǎn)。
4. 根據(jù)權(quán)利要求1的道路上的線型指示標(biāo)志的檢測(cè)方法，所述基于物理世界中相互平 行的直線之間的實(shí)際距離與該相互平行的直線在第一分辨率概率分布圖上的對(duì)應(yīng)極角間 的關(guān)系，判定不同類型的線型指示標(biāo)志包括： 對(duì)于第一分辨率概率分布圖上的極點(diǎn)位置位于道路消失點(diǎn)、且概率大于預(yù)定閾值的各 條直線，確定各條直線的極角；以及 基于各條直線的極角和基于物理世界中相互平行的直線之間的實(shí)際距離與該相互平 行的直線在第一分辨率概率分布圖上的對(duì)應(yīng)極角間的關(guān)系，計(jì)算在第一分辨率概率分布圖 上的所述各條直線中相鄰直線之間在物理世界中的實(shí)際距離；以及 至少部分基于計(jì)算的各條直線中相鄰直線之間在物理世界中的實(shí)際距離，判定不同類 型的線型指示標(biāo)志。
5. 根據(jù)權(quán)利要求2的道路上的線型指示標(biāo)志的檢測(cè)方法，還包括： 對(duì)于在第二分辨率概率分布圖上表現(xiàn)出形同線的條數(shù)的車道線，通過(guò)該車道線在灰度 圖上的特征，來(lái)進(jìn)一步區(qū)分該車道線的類型。
6. 根據(jù)權(quán)利要求1-5中任一項(xiàng)的道路上的線型指示標(biāo)志的檢測(cè)方法，還包括： 基于檢測(cè)到的線型指示標(biāo)志來(lái)給出提示信息或自動(dòng)控制車輛的行駛。
7. -種道路上的線型指示標(biāo)志的檢測(cè)裝置，包括： U視差圖獲得部件，用于獲得包括路面區(qū)域的U視差圖； 道路消失點(diǎn)確定部件，用于在U視差圖上，確定道路消失點(diǎn)； 第一分辨率概率分布圖獲得部件，用于以由第一預(yù)定極點(diǎn)間距和第一預(yù)定極角間距表 征的第一分辨率，獲取道路消失點(diǎn)附近的預(yù)定區(qū)域的直線的第一分辨率概率分布圖； 不同類型線型指示標(biāo)志區(qū)分部件，用于基于物理世界中相互平行的直線之間的距離與 該相互平行的直線在第一分辨率概率分布圖上的對(duì)應(yīng)極角間的關(guān)系，判定不同類型的線型 指示標(biāo)志。
8. 根據(jù)權(quán)利要求7的道路上的線型指示標(biāo)志的檢測(cè)裝置，還包括： 第二分辨率概率分布圖獲得部件，用于以由第二預(yù)定極點(diǎn)間距和第二預(yù)定極角間距表 征的第二分辨率，獲取道路消失點(diǎn)附近的預(yù)定區(qū)域的直線的第二分辨率概率分布圖，其中 第二分辨率高于第一分辨率； 車道線對(duì)應(yīng)線條數(shù)確定部件，用于對(duì)于判定為車道線的線型指示標(biāo)志，確定其在第二 分辨率概率分布圖上表現(xiàn)出的對(duì)應(yīng)線的條數(shù)；以及 車道線類型判定部件，用于根據(jù)表現(xiàn)出的對(duì)應(yīng)線的條數(shù)，進(jìn)一步判定該車道線的類型。
9. 根據(jù)權(quán)利要求7的道路上的線型指示標(biāo)志的檢測(cè)裝置，所述道路消失點(diǎn)確定部件在 U視差圖上，確定道路消失點(diǎn)包括： 在U視差圖上，針對(duì)各個(gè)候選道路消失點(diǎn)，計(jì)算經(jīng)過(guò)候選道路消失點(diǎn)的各個(gè)直線存在 的概率，獲得經(jīng)過(guò)各個(gè)候選道路消失點(diǎn)的直線的概率分布圖，每條直線由對(duì)應(yīng)候選道路消 失點(diǎn)作為極點(diǎn)和對(duì)應(yīng)極角來(lái)限定，由此獲得了各個(gè)候選道路消失點(diǎn)的直線的概率分布； 基于經(jīng)過(guò)每個(gè)候選道路消失點(diǎn)的各個(gè)直線存在的概率，得到表征每個(gè)候選道路消失點(diǎn) 的直線存在的概率的分布的聚合程度的聚合度，由此得到候選道路消失點(diǎn)的聚合度分布； 以及 基于候選道路消失點(diǎn)的聚合度分布，確定道路消失點(diǎn)。
10. 根據(jù)權(quán)利要求7的道路上的線型指示標(biāo)志的檢測(cè)裝置，所述不同類型線型指示標(biāo) 志區(qū)分部件基于物理世界中相互平行的直線之間的距離與該相互平行的直線在第一分辨 率概率分布圖上的對(duì)應(yīng)極角間的關(guān)系，判定不同類型的線型指示標(biāo)志包括： 對(duì)于第一分辨率概率分布圖上的極點(diǎn)位置位于道路消失點(diǎn)、且概率大于預(yù)定閾值的各 條直線，確定各條直線的極角； 基于各條直線的極角和基于物理世界中相互平行的直線之間的實(shí)際距離與該相互平 行的直線在第一分辨率概率分布圖上的對(duì)應(yīng)極角間的關(guān)系，計(jì)算在第一分辨率概率分布圖 上的所述各條直線中相鄰直線之間在物理世界中的實(shí)際距離；以及 至少部分基于計(jì)算的各條直線中相鄰直線之間在物理世界中的實(shí)際距離，判定不同類 型的線型指示標(biāo)志。
【文檔編號(hào)】B60R16/02GK104376297SQ201310349606
【公開(kāi)日】2015年2月25日 申請(qǐng)日期:2013年8月12日 優(yōu)先權(quán)日:2013年8月12日
【發(fā)明者】胡平, 魯耀杰, 師忠超, 劉媛 申請(qǐng)人:株式會(huì)社理光