本公開總體涉及圖像處理領(lǐng)域，具體涉及道路場景識別方法及設(shè)備。

背景技術(shù)：

可靠的3D道路環(huán)境理解對于車輛的自主駕駛十分重要。3D道路環(huán)境理解主要包括道路場景識別(道路分類)、路面估計、消失點計算、車輛檢測、行人識別等。其中，道路場景識別是3D道路環(huán)境理解中很重要的一部分，其主要用于識別道路圖像中顯示的道路場景。圖1例示了一些常見的道路場景類別。如圖1所示，道路場景可以包括例如直道、彎道、十字路口等。通過道路場景識別所識別出的具體道路場景對于車道檢測模型的選擇、對可行駛區(qū)域的檢測、行人及車輛的識別、ACC&AEB駕駛模式的選擇等都提供了非常有用的信息。

當(dāng)前的道路場景識別方法大致可以分為基于底層特征的方法、基于分割的方法和基于目標(biāo)的方法三類?；诘讓犹卣鞯姆椒ㄍǔ２捎弥T如顏色、邊緣、梯度等微觀特征來進行像素或圖像的分類；該方法由于缺乏足夠的信息，導(dǎo)致識別的結(jié)果往往不夠魯棒。基于分割的方法通過結(jié)合一些識別過的圖像區(qū)域來進行整個道路場景圖像的識別；該方法由于僅提供了局部的信息，因此缺少全局信息的指導(dǎo)，導(dǎo)致識別結(jié)果不夠準(zhǔn)確。基于目標(biāo)的方法利用檢測到的目標(biāo)(車輛、車道線等)作為線索來進行場景的識別；該方法在進行識別之前需要先檢測多種目標(biāo)，而這需要大量額外的計算，而且在復(fù)雜場景下檢測多目標(biāo)是較為困難的。

技術(shù)實現(xiàn)要素：

鑒于以上問題而提出了本公開。

根據(jù)本公開的一個方面的實施例，提供了一種道路場景識別方法，該方法包括：將包含所述道路場景的視差圖劃分為多個子圖像區(qū)域；對于每個子圖像區(qū)域，提取基于其中的各個像素點在世界坐標(biāo)系的各平面中的投影信息 構(gòu)造的特征向量；將所述視差圖劃分為預(yù)定大小的單元格，并基于各個所述子圖像區(qū)域的特征向量確定每個所述單元格的對應(yīng)的子特征向量；基于各個單元格的子特征向量，利用通過統(tǒng)計學(xué)習(xí)方法預(yù)先訓(xùn)練得到的道路場景分類器，識別所述道路場景。

根據(jù)本公開的另一個方面的實施例，提供了一種道路場景識別設(shè)備，該設(shè)備包括：處理器；存儲器；和存儲在所述存儲器中的計算機程序指令。在所述計算機程序指令被所述處理器運行時執(zhí)行以下步驟：將包含所述道路場景的視差圖劃分為多個子圖像區(qū)域；對于每個子圖像區(qū)域，提取基于其中的各個像素點在世界坐標(biāo)系的各平面中的投影信息構(gòu)造的特征向量；將所述視差圖劃分為預(yù)定大小的單元格，并基于各個所述子圖像區(qū)域的特征向量確定每個所述單元格的對應(yīng)的子特征向量；基于各個單元格的子特征向量，利用通過統(tǒng)計學(xué)習(xí)方法預(yù)先訓(xùn)練得到的道路場景分類器，識別所述道路場景。

根據(jù)本公開的另一個方面的實施例，提供了一種道路場景識別設(shè)備，該設(shè)備包括：圖像分割裝置，將所述包含道路場景的視差圖劃分為多個子圖像區(qū)域；特征提取裝置，對于每個子圖像區(qū)域，提取基于其中的各個像素點在世界坐標(biāo)系的各平面中的投影信息構(gòu)造的特征向量；子特征確定裝置，將所述視差圖劃分為預(yù)定大小的單元格，并基于各個所述子圖像區(qū)域的特征向量確定每個所述單元格的對應(yīng)的子特征向量；道路識別裝置，基于各個單元格的子特征向量，利用通過統(tǒng)計學(xué)習(xí)方法預(yù)先訓(xùn)練得到的道路場景分類器，識別所述道路場景。

通過根據(jù)本公開的上述方面的道路場景識別方法和設(shè)備，一些對于道路場景識別有用的信息得到了增強并且還使得一些原本不容易區(qū)分的物體變得線性可分，由此使得道路場景識別具有較高的準(zhǔn)確度。

附圖說明

通過結(jié)合附圖對本公開實施例進行更詳細的描述，本公開的上述以及其它目的、特征和優(yōu)勢將變得更加明顯。附圖用來提供對本公開實施例的進一步理解，并且構(gòu)成說明書的一部分，與本公開實施例一起用于解釋本公開，并不構(gòu)成對本公開的限制。在附圖中，相同的參考標(biāo)號通常代表相同部件或步驟。

圖1例示了一些常見的道路場景類別。

圖2示出了根據(jù)本公開實施例的道路場景識別方法的流程圖。

圖3(a)示出了示例性的道路場景的視差圖，圖3(b)示出了將圖3(a)中的視差圖劃分得到的多個子圖像區(qū)域。

圖4示出了根據(jù)本公開實施例的道路場景識別方法中、對于一個子圖像區(qū)域提取基于其中的各個像素點在世界坐標(biāo)系的各平面中的投影信息構(gòu)造的特征向量的處理的示意性流程圖。

圖5(a)例示了一個子圖像區(qū)域中的各個像素點在世界坐標(biāo)系中的投影點，圖5(b)例示了該投影點分別在XY、XZ和YZ平面中的投影點。

圖6例示了對一個子圖像區(qū)域中的各個像素點在XY、XZ和YZ平面中的投影點進行擬合得到的線段。

圖7中示意性地例示了原始的道路場景視差圖以及該視差圖在XY平面上用線段重構(gòu)表示的圖像。

圖8(a)示出了與圖7中的視差圖對應(yīng)的、一個示例性道路場景的灰度圖，圖8(b)示出了該道路場景中的某些物體在一個示例特征子空間的投影；圖8(c)示出了所述某些物體在另一個示例特征子空間的投影。

圖9(a)示出了具有虛線型車道線的示例性道路場景的灰度圖，圖9(b)示出了圖9(a)中的車道線在示例的2D特征子空間中的投影。

圖10(a)示出了具有多條車道線的示例性道路場景的灰度圖，圖10(b)示出了圖10(a)中的車道線在示例的2D特征子空間中的投影。

圖11(a)示出了具有彎道車道線的示例性道路場景的灰度圖，圖11(b)示出了圖11(a)中的彎道車道線在示例的2D特征子空間中的投影。

圖12(a)示出了具有人行橫道線的示例性道路場景的灰度圖，圖12(b)示出了圖12(a)中的人行橫道線在示例的3D特征子空間中的投影。

圖13示出了根據(jù)本公開的實施例的道路場景識別設(shè)備的框圖。

圖14示出了可用于實現(xiàn)本公開實施例的道路場景識別的示例性計算設(shè)備的框圖。

具體實施方式

下面將結(jié)合本公開實施例中的附圖，對本公開實施例中的技術(shù)方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本公開一部分實施例，而不是全部的實施例?；诒竟_中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做 出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本公開保護的范圍。

首先對本公開中涉及的技術(shù)術(shù)語進行簡單的介紹。

眾所周知，灰度圖是一種具有從黑到白多個灰度色域或多個灰度等級的單色圖像。該圖像中的每個像素通常用8位數(shù)據(jù)表示，這樣該圖像可以有256種灰度。而彩色圖則是每個像素通常是由紅(R)、綠(G)、藍(B)三個分量來表示的，分量介于0到255之間。盡管如此，灰度圖和彩色圖的形成方式和主要功能都是類似的(用來表示顏色信息)。因此，下文的描述中出現(xiàn)的灰度圖均可以替換為對應(yīng)的彩色圖。

視差圖則是以左右圖像中的任一圖像為參考圖像，其尺寸為該參考圖像的尺寸，并且其每個像素點的值為參考圖像中對應(yīng)點的視差的圖像。視差圖中的像素點的坐標(biāo)可以表示為(x，y，d)，其中x為橫坐標(biāo)，y為縱坐標(biāo)，d為該像素點的視差值。相比于灰度圖(彩色圖)，視差圖具有物體的視差(距離)信息，因此適合于需要立體信息的各種應(yīng)用。

下面參考圖2對根據(jù)本公開實施例的道路場景識別方法進行描述。圖2示出了根據(jù)本公開實施例的道路場景識別方法的流程圖。

如圖2所示，在步驟S210，將包含所述道路場景的視差圖劃分為多個子圖像區(qū)域。

聚類和分割是進行圖像劃分的兩大類方法，此處可以采用任何具體的聚類算法或分割方法將包含待識別道路場景的視差圖劃分為多個子圖像區(qū)域。例如，圖3(a)示出了示例性的道路場景的視差圖，圖3(b)示出了采用聚類算法中的連通域分析法(CCA)將圖3(a)中的視差圖劃分得到的多個子圖像區(qū)域。如圖3(b)中的各個矩形框所示，經(jīng)過聚類處理之后，具有相近的視差值且在水平和垂直方向上鄰近的像素點被聚集在了一起，形成一個類，即成為一個子圖像區(qū)域。需要說明的是，實際上每一個聚類得到的子圖像區(qū)域都具有包絡(luò)該類像素點的輪廓，而并非都具有矩形輪廓。而且，不同子圖像區(qū)域的輪廓在3D空間中是非重疊的。此處采用矩形框來表示子圖像區(qū)域僅僅是出于示意的目的而已。

能夠理解，通過調(diào)整聚類或分割算法的準(zhǔn)則及參數(shù)可以控制子圖像區(qū)域的劃分程度。可選的，可以將所述準(zhǔn)則和參數(shù)調(diào)整為使得所述子圖像區(qū)域被過分割。所謂子圖像區(qū)域被過分割是指對于一個完整的物體，其可能跨多個子圖像區(qū)域，但是一個圖像子區(qū)域至多只能包含一個物體?？蛇x的，也可以 將所述準(zhǔn)則和參數(shù)調(diào)整為使得所述子圖像區(qū)域欠分割。所謂子圖像區(qū)域欠分割是指多個相近的物體可能被劃分到同一個子圖像區(qū)域中?？蛇x的，也可以將所述準(zhǔn)則和參數(shù)調(diào)整為使得分割得到的每個子圖像區(qū)域中恰好只包含一個完整物體，并且每個物體也存在于一個子圖像區(qū)域中。本公開中對于上述子圖像區(qū)域的劃分程度不做限制，下文中僅僅是為了便于說明，將以子圖像區(qū)域被過分割為例進行描述。

在步驟S220，對于每個子圖像區(qū)域，提取基于其中的各個像素點在世界坐標(biāo)系的各平面中的投影信息構(gòu)造的特征向量。

下面將參考圖4對該步驟中的處理進行詳細描述。圖4示出了根據(jù)本公開實施例的、對于一個子圖像區(qū)域提取基于其中的各個像素點在世界坐標(biāo)系的各平面中的投影信息構(gòu)造的特征向量的處理的示意性流程圖。

如圖4所示，在步驟S2201，通過坐標(biāo)變換，確定該子圖像區(qū)域中的各個像素點在XY、XZ和YZ平面中的投影點。

眾所周知，視差圖中的每個像素點都表示3D空間中的一個位置。因此，可以通過公知的坐標(biāo)變換確定子圖像區(qū)域中的每個像素點在XZ平面與地面重合、Y軸與地面垂直的世界坐標(biāo)系中的投影點，進而得到所述像素點在構(gòu)成該世界坐標(biāo)系的XY、XZ和YZ平面中的投影點。圖5(a)例示了某一子圖像區(qū)域中的各個像素點在世界坐標(biāo)系中的投影點，圖5(b)例示了該投影點分別在XY、XZ和YZ平面中的投影點。通過坐標(biāo)變換確定圖像區(qū)域中的各個像素點在XY、XZ和YZ平面中的投影點是本領(lǐng)域中的公知技術(shù)，為了避免不必要地混淆本發(fā)明的發(fā)明內(nèi)容，此處省略對該變換投影過程的詳細描述。

在步驟S2202，在XY、XZ和YZ平面中分別對所述投影點進行線段擬合。

可以采用諸如最小二乘法等任何直線擬合方法在各平面中分別對投影點進行線段擬合。圖6例示了對某一子圖像區(qū)域中的各個像素點在XY、XZ和YZ平面中的投影點進行擬合得到的線段。

能夠理解，通過對于每個子圖像區(qū)域中的各個像素點進行上述線段擬合處理，原始的道路場景視差圖可以分別在各平面中用線段來表示，其中各平面中的線段對應(yīng)于原始的道路場景視差圖中用線段表示的物體。例如，圖7中的左圖示意性地示出了原始的道路場景視差圖，右圖示出了該視差圖在XY 平面上用線段重構(gòu)表示的圖像。

在步驟S2203，提取基于擬合得到的線段的參數(shù)構(gòu)造的特征向量。

所述特征向量可以選取適當(dāng)?shù)木€段參數(shù)來構(gòu)造，以使得對于道路場景識別有用的信息得到增強，并使得圖像中原本不容易區(qū)分的物體變得線性可分，由此提高對道路場景識別的準(zhǔn)確度。

作為示例，所述線段的參數(shù)可以包括在XY、XZ和YZ平面中擬合得到的線段各自的極坐標(biāo)表示。具體的，對于任一線段，可以如表達式(1)所示通過極坐標(biāo)來表示:

ρ＝x·cos(θ)+y·sin(θ)……(1)

因此對于子圖像區(qū)域中用于表示物體的任一線段，可以利用其在XY、XZ和YZ平面中對應(yīng)的擬合得到的線段的極坐標(biāo)表示構(gòu)造如下特征向量：

f_line＝(θ_xy,θ_xz,θ_yz,ρ_xy,ρ_xz,ρ_yz)……(2)

其中ρ_xy,ρ_xz,ρ_yz分別表示XY平面、XZ平面和YZ平面中擬合得到的線段距極點的距離，θ_xy,θ_xz,θ_yz分別表示XY平面、XZ平面和YZ平面中垂直于擬合得到的線段的直線與極軸的夾角。

作為示例，所述線段的參數(shù)還可以包括XY、XZ和YZ平面中的擬合得到的線段各自的長度，以及XY、XZ和YZ平面中包含所述擬合得到的線段的直線與相應(yīng)的消失線的交點坐標(biāo)。具體的，對于子圖像區(qū)域中用于表示物體的任一線段，可以構(gòu)造如下特征向量：

f_line＝(θ_xy,θ_xz,θ_yz,ρ_xy,ρ_xz,ρ_yz,l_xy,l_xz,l_yz,v_xz,v_xy,v_yz)……(3)

其中l(wèi)_xy,l_xz,l_yz分別表示XY、XZ和YZ平面中的擬合得到的線段各自的長度；v_xz,v_xy,v_yz分別表示XY、XZ和YZ平面中包含擬合得到的線段的直線與相應(yīng)的消失線的交點坐標(biāo)，其中v_xy表示在XY平面上與消失線交點的x坐標(biāo)，v_xz表示在XZ平面上與消失線交點的x坐標(biāo)，v_yz表示在YZ平面上與消失線交點的y坐標(biāo)。

能夠理解，表達式(2)和(3)所示的特征向量僅僅是示例，本領(lǐng)域技術(shù)人員也可以基于線段的參數(shù)構(gòu)造其他適當(dāng)?shù)奶卣飨蛄俊＠?，線段的極坐標(biāo)表示并不僅限于上面描述的方式，而是可以采用諸如線段的兩個端點的坐標(biāo)、線段中點的坐標(biāo)加上線段的斜率等其他方式作為線段的極坐標(biāo)表示，并進而構(gòu)造相應(yīng)的特征向量。再比如，可以基于XY、XZ和YZ平面中擬合得到的線段各自的極坐標(biāo)表示及長度構(gòu)造特征向量，而不考慮XY、XZ和YZ 平面中包含擬合得到的線段的直線與相應(yīng)的消失線的交點坐標(biāo)。

下面將結(jié)合附圖，例舉一些示例性的子圖像區(qū)域及其對應(yīng)的如表達式(2)或(3)所示的特征向量，以有助于理解本公開的內(nèi)容。由于如表達式(2)或(3)所述的多維特征向量無法直接可視化，因此下面的例子中將把多維特征向量從高維特征空間映射到多個低維特征子空間來進行說明。

(示例1)

圖8(a)示出了與圖7中的視差圖對應(yīng)的、某一示例性道路場景的灰度圖，其中的實線橢圓圈出了該道路場景中一些由線段表示的路面(道路平面上的)物體(如車道線、路面陰影等)，虛線橢圓圈出了該道路場景中一些由線段表示的非路面(垂直于路面的)物體(如車輛、行人等)。圖8(b)示出了圖8(a)中由實線和虛線橢圓圈出的物體在一個示例的3D特征空間(θ_xz,θ_zy,ρ_xz)中的投影。如圖8(b)所示，由于路面物體都具有相同的傾斜角度θ_zy，因此這些路面物體會投影到一個具有相同θ_zy的平面(θ_xz,ρ_xz)上；同時，垂直于路面的物體都具有另一個相同的傾斜角度θ_zy，因此這些垂直于路面的物體會投影到具有另外一個相同θ_zy的平面(θ_xz,ρ_xz)上。

圖8(c)示出了圖8(a)中由實線和虛線橢圓圈出的物體在另外一個示例的2D特征子空間(θ_zy,ρ_zy)中的投影。由于所有路面物體都具有相同的傾斜角度θ_zy和距離ρ_zy，因此這些路面物體應(yīng)當(dāng)投影到2D特征子空間(θ_zy,ρ_zy)中的一點。事實上，由于噪聲及線段擬合精度的影響，道路平面上的物體實際可能投影于一個小區(qū)域之內(nèi)，如圖8(c)所示。能夠理解，由于所有路面物體都投影于該特征空間中一個小區(qū)域內(nèi)(理想情況下投影于一個點)，因此有效的道路識別信息得到了增強。類似的，垂直于路面且縱向排列的物體都應(yīng)具有相同的傾角θ_zy和不同的距離ρ_zy，其在2D特征子空間(θ_zy,ρ_zy)中的投影分布如圖8(c)所示。能夠理解，諸如圖8(a)中道路盡頭以最小的虛線橢圓圈出的物體(車輛)在圖8(a)中可能難以與路面物體相區(qū)分，而通過投影到圖8(c)中則可以清楚地與路面物體相區(qū)分，即原本不容易區(qū)分的物體變得線性可分了。

(示例2)

圖9(a)示出了具有虛線型車道線的示例性道路場景的灰度圖，其中的實線橢圓圈出了該道路場景中虛線型的車道線。圖9(b)示出了圖9(a)中由實線橢圓圈出的車道線在示例的2D特征子空間(θ_xy,ρ_xy)中的投影。

(示例3)

圖10(a)示出了具有多條車道線的示例性道路場景的灰度圖，其中的實線橢圓圈出了該道路場景中的多條車道線。這些車道線在XY平面中的投影點擬合得到的線段具有相同的特征值v_xy，即與消失線具有相同的交點。換言之，這些擬合線段所在的直線在XY平面中相交于一點(v_xy,y_xy)。另外，所有經(jīng)過該點的直線方程為：ρ(θ)＝v_xy·cos(θ)+y_xy·sin(θ),其中，ρ為XY平面中直線距極點的距離，θ為XY平面中垂直于所述直線的直線與極軸的夾角。因此，根據(jù)Hough(霍夫)變換的原理可知，所有經(jīng)過該點(v_xy,y_xy)的直線在特征子空間(θ_xy,ρ_xy)中的投影位于一條正余弦曲線上，如圖10(b)所示。

(示例4)

圖11(a)示出了具有彎道車道線的示例性道路場景的灰度圖，其中的實線橢圓圈出了該道路場景中的彎道車道線。圖11(b)示出了圖11(a)中由實線橢圓圈出的彎道車道線在示例的2D特征子空間(θ_xy,ρ_xy)中的投影。

(示例5)

圖12(a)示出了具有人行橫道線的示例性道路場景的灰度圖，其中的實線橢圓圈出了人行橫道線長度方向的兩條邊。由于人行橫道線具有相同的長度l_xz，因此圖12(a)中的人行橫道線在3D特征子空間(l_xz,θ_xz,ρ_xz)投影在同一平面上，如圖12(b)所示。

通過上面的圖8(a)-12(b)及對應(yīng)的描述可以看出，通過采用如表達式(2)或(3)所例示的特征向量，使得對于道路場景識別有用的一些信息得到了增強，并使得原本不容易區(qū)分的物體變得線性可分了，由此能夠提高對道路場景識別的準(zhǔn)確度。

以上已經(jīng)對根據(jù)本公開實施例的、針對一個子圖像區(qū)域提取基于其中的各個像素點在XY、XZ和YZ平面中的投影信息構(gòu)造的特征向量的處理進行了描述。能夠理解，取決于子圖像區(qū)域的劃分程度，某一子圖像區(qū)域中可能包含一條或多條用于表示物體的線段，相應(yīng)的，針對該子圖像區(qū)域可能提取出一個或多個特征向量。

需要說明的是，如前所述，在本公開中是利用視差圖進行道路場景的識別，而各子圖像區(qū)域也是視差圖中劃分得到的子圖像區(qū)域。之所以在圖8(a)、9(a)、10(a)、11(a)和12(a)中顯示與視差圖對應(yīng)的灰度圖而不顯示視差圖，僅僅是因為灰度圖相比于視差圖更加直觀、更有助于理解本公開而已。

回到圖2，在步驟S230，將所述視差圖劃分為預(yù)定大小的單元格，并基于各個所述子圖像區(qū)域的特征向量確定每個所述單元格的對應(yīng)的子特征向量。

單元格的大小可以根據(jù)具體情況預(yù)先設(shè)定，本公開對其具體值沒有限制。下文中，為了便于描述，假設(shè)視差圖被劃分為M×N個預(yù)定大小的單元格。

每個單元格中可能包含有一個或多個物體或者一個或多個物體的一部分，也可能不包含任何物體。在本實施例中，對于每個單元格，基于最能代表該單元格的物體所在的子圖像區(qū)域的特征向量來確定該單元格的子特征向量。

作為示例，對于M×N個單元格中的任一個單元格i，可以如表達式(4)所示確定其子特征向量：

其中，f_i,unit表示單元格i的子特征向量，f_j,line為單元格i中最長的線段j的特征向量，其可以基于該線段j所在的子圖像區(qū)域的特征向量來確定。例如，假設(shè)特征向量采用表達式(2)所示的形式，則對于單元格i中的最長線段j，其特征向量f_j,line與該線段j所在的子圖像區(qū)域針對包含該線段j的線段J(即所述線段j是線段J的一部分或全部)提取的特征向量相同。類似的，假設(shè)特征向量采用表達式(3)所示的形式，則對于單元格i中的最長線段j，其特征向量f_j,line中的特征θ_xy,θ_xz,θ_yz,ρ_xy,ρ_xz,ρ_yz,v_xz,v_xy,v_yz與該線段j所在的子圖像區(qū)域針對包含該線段j的線段J提取的對應(yīng)特征相同；而對于特征向量f_j,line中的特征l_xy,l_xz,l_yz，則可以基于線段j與線段J的長度的比例，根據(jù)與線段J對應(yīng)的特征l_xy,l_xz,l_yz來確定。

表達式(4)所示的僅僅是一種示例，也可以采用其他方式來確定單元格i的子特征向量。例如，作為一種基本的替換方式，可以將單元格中最長的n條線段的特征向量的平均值作為單元格的子特征向量。

在步驟S240，基于各個單元格的子特征向量，利用通過統(tǒng)計學(xué)習(xí)方法預(yù)先訓(xùn)練得到的道路場景分類器，識別所述道路場景。

在本實施例中，采用如表達式(5)所示的、將各個單元格的子特征向量結(jié)合起來形成的高維特征向量作為用于描述整個道路場景的視差圖的特征向量：

f_image＝[f_1,unit,f_2,unit,...,f_M×N,unit]……(5)

在得到用于描述整個道路場景的視差圖的特征向量后，可以通過道路場景分類器對該特征向量進行分類，由此識別出道路場景。所述道路場景分類器是根據(jù)預(yù)先采樣的對應(yīng)于各個道路場景視差圖的特征向量及相應(yīng)的道路場景標(biāo)簽(如，直道、彎道、十字路口等)預(yù)先訓(xùn)練得到的，其中所采樣的各個道路場景視差圖的特征向量都采用如表達式(5)所示的形式。如何針對特征向量和道路場景標(biāo)簽來訓(xùn)練分類器是本領(lǐng)域中公知的，此處不再贅述。

以上已經(jīng)參考附圖描述了根據(jù)本公開實施例的道路場景識別方法。在該方法中，基于道路場景圖像中的各個像素點在XY、XZ和YZ平面中的投影點擬合得到的線段的參數(shù)來構(gòu)造特征向量，其較好地反映了圖像中的各個像素點的空間分布，使得對于道路場景識別有用的信息得到了增強，并使得原本不容易區(qū)分的物體變得線性可分了，由此提高了對道路場景識別的準(zhǔn)確度。

下面參考圖13描述根據(jù)本公開實施例的道路場景識別設(shè)備。該設(shè)備可以放置于在道路上行駛的車輛上，并實時識別所拍攝的道路場景。由于該設(shè)備執(zhí)行的各個操作的細節(jié)與在上文中針對圖2描述的方法基本相同，因此為了避免重復(fù)，在下文中僅對所述設(shè)備進行簡要的描述，而省略對相同細節(jié)的描述。

如圖13所示，道路場景識別設(shè)備1300可以包括：立體相機1310，圖像分割裝置1320，特征提取裝置1330，子特征確定裝置1340以及道路識別裝置1350。其中，圖像分割裝置1320，特征提取裝置1330，子特征確定裝置1340，道路識別裝置1350可以由通用處理器、數(shù)字信號處理器、ASIC等處理器來實現(xiàn)。

立體相機1310可以在車輛行駛過程中實時拍攝要識別的道路場景。立體相機可以用于拍攝視差圖，也可以用于拍攝普通的灰度圖像。在本實施例中，利用立體相機拍攝的包含道路場景的視差圖對道路場景進行識別。當(dāng)然，也可以利用其他拍攝設(shè)備拍攝所述圖像，并且將拍攝的圖像發(fā)送給道路場景識別設(shè)備1300。在這種情況下，可以省略立體相機1310。

圖像分割裝置1320配置為將包含所述道路場景的視差圖劃分為多個子圖像區(qū)域。聚類和分割是進行圖像劃分的兩大類方法，此處圖像分割裝置1320可以采用任何具體的聚類算法或分割方法將包含待識別道路場景的視差圖劃分為多個子圖像區(qū)域。能夠理解，通過調(diào)整聚類或分割算法的準(zhǔn)則及參數(shù)可 以控制子圖像區(qū)域的劃分程度。例如，可以將所述準(zhǔn)則和參數(shù)調(diào)整為使得所述子圖像區(qū)域被過分割，也可以將所述準(zhǔn)則和參數(shù)調(diào)整為使得所述子圖像區(qū)域欠分割，也可以將所述準(zhǔn)則和參數(shù)調(diào)整為使得分割得到的每個子圖像區(qū)域中恰好只包含一個完整物體，并且每個物體也存在于一個子圖像區(qū)域中。本公開中對于上述子圖像區(qū)域的劃分程度不做限制，下文中僅僅是為了便于說明，將以子圖像區(qū)域被過分割為例進行描述。

特征提取裝置1330配置為對于每個子圖像區(qū)域提取基于其中的各個像素點在世界坐標(biāo)系的各平面中的投影信息構(gòu)造的特征向量。具體的，該特征提取裝置1330包括變換單元、擬合單元和提取單元。

變換單元通過坐標(biāo)變換確定該子圖像區(qū)域中的各個像素點在XY、XZ和YZ平面中的投影點。眾所周知，視差圖中的每個像素點都表示3D空間中的一個位置。因此，變換單元可以通過公知的坐標(biāo)變換確定子圖像區(qū)域中的每個像素點在X-Z平面與地面重合、Y軸與地面垂直的世界坐標(biāo)系中的投影點，進而得到所述像素點在構(gòu)成該世界坐標(biāo)系的XY、XZ和YZ平面中的投影點。在步驟S2202，在XY、XZ和YZ平面中分別對所述投影點進行線段擬合。

擬合單元采用諸如最小二乘法等任何直線擬合方法在各平面中分別對投影點進行線段擬合。能夠理解，通過對于每個子圖像區(qū)域中的各個像素點進行上述線段擬合處理，原始的道路場景視差圖可以分別在各平面中用線段來表示，其中各平面中的線段對應(yīng)于原始的道路場景視差圖中用線段表示的物體。

提取單元提取基于擬合得到的線段的參數(shù)構(gòu)造的特征向量。所述特征向量可以選取適當(dāng)?shù)木€段參數(shù)來構(gòu)造，以使得對于道路場景識別有用的信息得到增強，并使得圖像中原本不容易區(qū)分的物體變得線性可分，由此提高對道路場景識別的準(zhǔn)確度。

可選的，所述參數(shù)可以包括在XY、XZ和YZ平面中擬合得到的線段各自的極坐標(biāo)表示。具體的，對于子圖像區(qū)域中用于表示物體的任一線段，可以利用其在XY、XZ和YZ平面中對應(yīng)的擬合得到的線段的極坐標(biāo)表示構(gòu)造特征向量f_line＝(θ_xy,θ_xz,θ_yz,ρ_xy,ρ_xz,ρ_yz)；其中ρ_xy,ρ_xz,ρ_yz分別表示XY平面、XZ平面和YZ平面中擬合得到的線段距極點的距離，θ_xy,θ_xz,θ_yz分別表示XY平面、XZ平面和YZ平面中垂直于擬合得到的線段的直線與極軸的夾角。

可選的，所述參數(shù)還可以包括XY、XZ和YZ平面中的擬合得到的線段 各自的長度，以及XY、XZ和YZ平面中包含所述擬合得到的線段的直線與相應(yīng)的消失線的交點坐標(biāo)。具體的，對于子圖像區(qū)域中用于表示物體的任一線段，可以構(gòu)造特征向量f_line＝(θ_xy,θ_xz,θ_yz,ρ_xy,ρ_xz,ρ_yz,l_xy,l_xz,l_yz,v_xz,v_xy,v_yz)；其中l(wèi)_xy,l_xz,l_yz分別表示XY、XZ和YZ平面中的擬合得到的線段各自的長度；v_xz,v_xy,v_yz分別表示XY、XZ和YZ平面中包含擬合得到的線段的直線與相應(yīng)的消失線的交點坐標(biāo)，其中v_xy表示在XY平面上與消失線交點的x坐標(biāo)，v_xz表示在XZ平面上與消失線交點的x坐標(biāo)，v_yz表示在YZ平面上與消失線交點的y坐標(biāo)。

當(dāng)然，上面所示的特征向量僅僅是示例，本領(lǐng)域技術(shù)人員也可以基于線段的參數(shù)構(gòu)造其他適當(dāng)?shù)奶卣飨蛄?。另外，能夠理解，取決于子圖像區(qū)域的劃分程度，某一子圖像區(qū)域中可能包含一條或多條用于表示物體的線段，相應(yīng)的，針對該子圖像區(qū)域可能提取出一個或多個特征向量。

子特征確定裝置1340將視差圖劃分為預(yù)定大小的單元格，并基于各個所述子圖像區(qū)域的特征向量確定每個所述單元格的對應(yīng)的子特征向量。單元格的大小可以根據(jù)具體情況預(yù)先設(shè)定，本公開對其具體值沒有限制。下文中，為了便于描述，假設(shè)視差圖被劃分稱為M×N個預(yù)定大小的單元格。每個單元格中可能包含有一個或多個物體或者一個或多個物體的一部分，也可能不包含任何物體。在本實施例中，對于每個單元格，基于最能代表該單元格的物體所在的子圖像區(qū)域的特征向量來確定該單元格的子特征向量。例如，可以如上文中的表達式(4)所示，選取該單元格中最長的線段所在的子圖像區(qū)域的特征向量來確定單元格的子特征向量。

道路識別裝置1350基于各個單元格的子特征向量，利用通過統(tǒng)計學(xué)習(xí)方法預(yù)先訓(xùn)練得到的道路場景分類器，識別所述道路場景。在本實施例中，將各個單元格的子特征向量結(jié)合起來形成的高維特征向量作為用于描述整個道路場景的視差圖的特征向量。在得到用于描述整個道路場景的視差圖的特征向量后，道路識別裝置1350利用道路場景分類器對該特征向量進行分類，由此識別出道路場景。所述道路場景分類器是根據(jù)預(yù)先采樣的對應(yīng)于各個道路場景視差圖的特征向量及相應(yīng)的道路場景標(biāo)簽(如，直道、彎道、十字路口等)預(yù)先訓(xùn)練得到的，其中所采樣的各個道路場景視差圖的特征向量都采用上述將各個單元格的子特征向量結(jié)合起來形成的高維特征向量的形式。如何針對特征向量和道路場景標(biāo)簽來訓(xùn)練分類器是本領(lǐng)域中公知的，此處不再贅 述。

下面，參照圖14來描述可用于實現(xiàn)本公開的實施例的示例性計算設(shè)備的框圖。該計算設(shè)備可以放置于在道路上行駛的車輛上，并且例如是配備有立體相機的計算機。

如圖14所示，計算設(shè)備1400包括一個或多個處理器1402、存儲裝置1404、立體相機1406和輸出裝置1408，這些組件通過總線系統(tǒng)1410和/或其它形式的連接機構(gòu)(未示出)互連。應(yīng)當(dāng)注意，圖14所示的計算設(shè)備1400的組件和結(jié)構(gòu)只是示例性的，而非限制性的，根據(jù)需要，計算設(shè)備1400也可以具有其他組件和結(jié)構(gòu)。

處理器1402可以是中央處理單元(CPU)或者具有數(shù)據(jù)處理能力和/或指令執(zhí)行能力的其它形式的處理單元，并且可以控制計算設(shè)備1400中的其它組件以執(zhí)行期望的功能。

存儲裝置1404可以包括一個或多個計算機程序產(chǎn)品，所述計算機程序產(chǎn)品可以包括各種形式的計算機可讀存儲介質(zhì)，例如易失性存儲器和/或非易失性存儲器。所述易失性存儲器例如可以包括隨機存取存儲器(RAM)和/或高速緩沖存儲器(cache)等。所述非易失性存儲器例如可以包括只讀存儲器(ROM)、硬盤、閃存等。在所述計算機可讀存儲介質(zhì)上可以存儲一個或多個計算機程序指令，處理器1402可以運行所述程序指令，以實現(xiàn)下文所述的本公開的實施例的功能以及/或者其它期望的功能。在所述計算機可讀存儲介質(zhì)中還可以存儲各種應(yīng)用程序和各種數(shù)據(jù)，例如上述道路場景涉及的視差圖、像素點在XY、XZ和YZ平面中的投影位置、線段的參數(shù)、各單元格中的最長線段、對應(yīng)于視差圖的特征向量、預(yù)先訓(xùn)練好的分類器等等。

立體相機1406用于拍攝用戶期望的道路場景的視差圖(例如圖像、視頻等)，并且將所拍攝的道路場景存儲在存儲裝置1404中以供其它組件使用。當(dāng)然，立體相機1406也可以根據(jù)需要拍攝道路場景的灰度圖。輸出裝置1408可以向外部(例如用戶或車輛)輸出各種信息，例如圖像信息、聲音信息、道路場景識別結(jié)果，并且可以包括顯示器、揚聲器等中的一個或多個。

以上結(jié)合具體實施例描述了本公開的基本原理，但是，需要指出的是，在本公開中提及的優(yōu)點、優(yōu)勢、效果等僅是示例而非限制，不能認為這些優(yōu)點、優(yōu)勢、效果等是本公開的各個實施例必須具備的。另外，上述公開的具體細節(jié)僅是為了示例的作用和便于理解的作用，而非限制，上述細節(jié)并不限 制本公開為必須采用上述具體的細節(jié)來實現(xiàn)。

本公開中涉及的器件、裝置、設(shè)備、系統(tǒng)的方框圖僅作為例示性的例子并且不意圖要求或暗示必須按照方框圖示出的方式進行連接、布置、配置。如本領(lǐng)域技術(shù)人員將認識到的，可以按任意方式連接、布置、配置這些器件、裝置、設(shè)備、系統(tǒng)。諸如“包括”、“包含”、“具有”等等的詞語是開放性詞匯，指“包括但不限于”，且可與其互換使用。這里所使用的詞匯“或”和“和”指詞匯“和/或”，且可與其互換使用，除非上下文明確指示不是如此。這里所使用的詞匯“諸如”指詞組“諸如但不限于”，且可與其互換使用。

本公開中的步驟流程圖以及以上方法描述僅作為例示性的例子并且不意圖要求或暗示必須按照給出的順序進行各個實施例的步驟，某些步驟可以并行、彼此獨立或按照其他適當(dāng)?shù)捻樞驁?zhí)行。另外，諸如“其后”、“然后”、“接下來”等等的詞語不意圖限制步驟的順序；這些詞語僅用于引導(dǎo)讀者通讀這些方法的描述。

還需要指出的是，在本公開的裝置和方法中，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應(yīng)視為本公開的等效方案。

提供所公開的方面的以上描述以使本領(lǐng)域的任何技術(shù)人員能夠做出或者使用本公開。對這些方面的各種修改對于本領(lǐng)域技術(shù)人員而言是非常顯而易見的，并且在此定義的一般原理可以應(yīng)用于其他方面而不脫離本公開的范圍。因此，本公開不意圖被限制到在此示出的方面，而是按照與在此公開的原理和新穎的特征一致的最寬范圍。盡管以上已經(jīng)討論了多個示例方面和實施例，但是本領(lǐng)域技術(shù)人員將認識到其某些變型、修改、改變、添加和子組合。