112]具體地，下面對TOF傳感器和圖像傳感器交織陣列芯片進行簡單的介紹。
[0113]韓國三星電子公司開發(fā)出了可同時獲得深度圖像和普通RGB彩色圖像的CMOS傳感器，用一個CMOS傳感器同時獲得這兩種圖像屬當時全球首次，該公司于2012年2月22日在美國“ISSCC2012”會議上對該CMOS傳感器進行了論文發(fā)表。該種類型的CMOS傳感器即屬于CMOS的TOF傳感器和圖像傳感器交織陣列芯片的范疇。如圖2顯示了韓國三星電子公司開發(fā)的該CMOS傳感器的構成，其中每個像素單元包含I個Z像素(T0F傳感器，用于產生深度圖像)和8個RGB像素(圖像傳感器，用于產生RGB彩色圖像)，即I個Z像素對應2個R像素、4個G像素和2個B像素。如圖3顯示了該CMOS傳感器的電子布線，在使用同一組光學鏡片時，該CMOS傳感器能夠幾乎同時拍攝一幅深度圖像(其水平解析度為480，垂直解析度為360)和一幅RGB彩色圖像(其水平解析度為1920，垂直解析度為720)。
[0114]應該理解的是，所拍攝的一幅圖像實際為給定行/列長度(或水平、垂直的解析度)、給定數(shù)值變化范圍和給定數(shù)值排列方式的一個數(shù)值矩陣。
[0115]因此，CMOS的TOF傳感器和圖像傳感器交織陣列芯片一旦確定，Z像素和RGB (或YUV亮度、色差等)像素的比例和排列關系即可確定，其拍攝的該彩色圖像(或亮度圖像)與深度圖像之間的交織映射關系也就確定。
[0116]在本發(fā)明的實施例中，如圖4所示，具有CMOS的TOF傳感器和圖像傳感器交織陣列芯片的攝像頭Cl (由圖中帶橫紋的小方框示意)通常安裝在本車輛Carl (由圖中白色大方框示意)的車身中線上。攝像頭Cl可以安裝在Carl車頭并向車頭前方成像，也可以安裝在Carl車尾并向車尾后方成像，還可以在Carl的車頭和車尾各安裝一個攝像頭Cl同時向車頭前方和車尾后方成像。在此，不對攝像頭Cl的安裝位置和成像方向進行限制。即本發(fā)明的車輛識別的方法對不同的安裝位置和成像方向都是適用的，因此下文并不做區(qū)分并且只說明安裝一個攝像頭Cl的情況。
[0117]車道線獲取模塊200用于根據(jù)第一圖像獲取公路車道線。
[0118]具體地，車道線獲取模塊200根據(jù)攝像頭拍攝到的彩色圖像或亮度圖像來獲取公路車道線。
[0119]在本發(fā)明的一個實施例中，如圖24所示，車道線獲取模塊200包括:亮度閾值生成單元210、二值圖像創(chuàng)建單元220和獲取單元230。
[0120]其中，亮度閾值生成單元210用于根據(jù)第一圖像生成灰度圖像，并根據(jù)灰度圖像生成亮度閾值。
[0121]具體地，人們常見的彩色圖像可以使用多種顏色制式在顯示設備實現(xiàn)彩色顯示，例如RGB (紅、綠、藍三原色)制式、YUV (Y表示亮度、U\V表示色差)制式等。因此，如果所拍攝的彩色圖像采用YUV制式，則亮度閾值生成單元210可以直接抽取Y信號來創(chuàng)建關于亮度的灰度圖像；如果所拍攝的彩色圖像采用RGB制式(或經(jīng)過gamma校準的R’ G’ B’)，則亮度閾值生成單元210根據(jù)公式Y=0.299R’ +0.587G’ +0.114B’來創(chuàng)建關于亮度的灰度圖像。
[0122]進一步地，由于車道線的亮度與公路路面的亮度存在明顯差異(車道線的亮度較高)，因此可以通過查找得到某些亮度閾值，亮度閾值可以利用“直方圖統(tǒng)計一雙峰”算法來查找得到；還可以將灰度圖像分成多個子圖像并對每個子圖像執(zhí)行“直方圖統(tǒng)計一雙峰”算法來查找得到多個亮度閾值，以應對公路路面或車道線亮度變化的情況。
[0123]更具體地，如圖6所示，假設灰度圖像中像素的量化亮度變化范圍為O到255，直方圖就統(tǒng)計了灰度圖像或其子圖像的所有像素關于量化亮度變化的分布概率(或統(tǒng)計數(shù))，其中，亮度較低的包含公路路面的若干像素集中分布在一個概率分布峰，而亮度較高的包含車道線的若干像素集中分布在另一個概率分布峰，概率分布“雙峰”之間的谷底處的量化亮度即亮度閾值，例如，如圖6所示，亮度閾值為170。因此，只要在直方圖中沿著量化亮度軸分別從兩頭各查找一個峰值及其位置，再從兩個峰值位置之間查找一個谷底值及其位置，該谷底位置就是亮度閾值。
[0124]二值圖像創(chuàng)建單元220用于根據(jù)灰度圖像和亮度閾值創(chuàng)建二值圖像。
[0125]具體地，在灰度圖像中，二值圖像創(chuàng)建單元220將亮度高于亮度閾值的包含車道線的灰度圖像像素值設置為1，將亮度低于亮度閾值的包含公路路面的其他的灰度圖像像素值設置為0，從而創(chuàng)建了突出車道線的二值圖像ΜΒ0，如圖7所示。
[0126]獲取單元230用于根據(jù)二值圖像識別初始公路車道線，并根據(jù)初始公路車道線獲取公路車道線。
[0127]在本發(fā)明的一個實施例中，獲取單元230還用于:在獲根據(jù)二值圖像識別初始公路車道線之后，對初始公路車道線進行篩選以獲取兩條直線段，并對所述兩條直線段進行延長或合并，以獲取所述公路車道線。
[0128]具體地，由于接近本車輛Carl的車道線總是接近于直的，因此獲取單元230可以利用Hough直線檢測算法(Hough變換)在二值圖像MBO中識別接近本車輛Carl的車道線。通常運用Hough直線檢測算法將檢測到較多像素值為I的直線段，如圖7所示的直線段中，除了車道線還可能包含護欄、減速帶等。因此需要從檢測到的多個直線段中挑選出具有較長長度并且與水平線成較大銳角的N條直線段，如圖8所示為經(jīng)挑選后的6條直線段(直線段如粗實線所示，考慮圖中右半邊圖像的直線段與水平線所成角的余角為銳角，水平線和銳角如虛線所示)，拋棄其他直線段，從而創(chuàng)建了二值圖像MB1。又由于最接近本車輛Carl的車道線通常有左右2條，并且該左右2條車道線段與水平線所形成的銳角在較長長度的N條直線段中具有比較穩(wěn)定的銳角度變化范圍，因此該左右2條車道線段能夠被從上述N條直線段中挑選出來，從而創(chuàng)建了二值圖像MB2，如圖9所示。
[0129]更具體地，將挑選得到的左右2條車道直線段(即圖8中所示的2條車道直線段)在灰度圖像坐標系中延長即可創(chuàng)建車道線原始坐標集合，該車道線原始坐標集合包含該延長的左右2條車道直線段經(jīng)過灰度圖像的各個像素的坐標集合，從而創(chuàng)建了二值圖像MB3，如圖10所示。圖10中所示即為公路車道線的示意圖。
[0130]此外，當距離本車輛Carl較遠處的車道線是彎道時，如果按照上述方法將挑選得到的左右2條車道直線段延長以形成公路車道線，將與實際情況存在較大的誤差。例如，如圖11所示，粗的實線段(標號為1、2)為Hough直線檢測算法識別的車道線，細的虛線段(標號為3、4)為經(jīng)挑選的左右2條車道直線段的延長線，實線段5以及虛線段6為實際中的公路車道線，那么如果后續(xù)按照線段1、2、3和4組成的車道線生成車輛識別范圍，則將產生較大的誤差，即線段3和線段5之間區(qū)域的為錯誤的車輛識別范圍，而線段4和線段6之間的區(qū)域為遺漏的車輛識別范圍。為此，在存在彎道的情況下，不對該左右2條車道直線段(即線段I和線段2)進行延長，而是在該左右2條車道直線段的上端附近查找直線段，并進行線段的合并；在合并后的線段的上端繼續(xù)查找、合并直線段，直到合并的線段的長度達到設定的限值。其中，線段的合并過程如圖12、13、14所示。完成合并的左右2條車道線段經(jīng)過灰度圖像的各個像素的坐標的集合即車道線原始坐標集合。圖14所示，即為在存在彎道的情況下獲取到的公路車道線的示意圖。
[0131]識別范圍生成模塊300用于根據(jù)第一圖像和第二圖像之間的交織映射關系架構公路車道線映射至第二圖像中以在第二圖像中生成車輛識別范圍。
[0132]具體地，由于車道線緊貼公路路面，厚度小，在深度圖像中車道線與公路路面有非常接近的深度變化(不是亮度變化)，難以在深度圖像中將車道線和公路路面區(qū)分開來，因此，可以根據(jù)彩色圖像(或亮度圖像、灰度圖像)與深度圖像之間的交織映射關系將所獲得的公路車道線映射到深度圖像中以得到車輛識別范圍。
[0133]更具體地，例如，以最簡單的等比例交織映射關系為例，可設定深度圖像中每一行Z像素對應灰度圖像的N行Y像素(灰度圖像的垂直解析度為深度圖像的N倍)，并且每一列Z像素對應灰度圖像的M列Y像素(灰度圖像的水平解析度為深度圖像的M倍)。進一步地，根據(jù)上述交織映射關系的比例設定，對于車道線原始坐標集合中包含的每個坐標(包含原始行坐標和原始列坐標)，將其原始行坐標除以N后取整得到映射的行坐標，其原始列坐標除以M后取整得到映射的列坐標。根據(jù)映射的行坐標和映射的列坐標可以創(chuàng)建關于深度圖像的車道線映射坐標集合(即車輛識別范圍)。由此，最接近本車輛Carl的左右2條車道線就從彩色圖像(或亮度圖像、灰度圖像)映射到了深度圖像，映射的左右2條車道線之間的深度圖像部分像素區(qū)域即為車輛識別范圍。
[0134]識別模塊400用于根據(jù)車輛識別范圍對車輛進行識別。
[0135]具體地，當本車輛Carl以外的對方車輛出現(xiàn)在彩色圖像(或亮度圖像)與深度圖像中的時候，通常對方車輛的背面或正面距離本車輛Carl最近并且與公路路面(或其他更遠的事物)形成強烈的亮度和深度差異(對方車輛的背面或正面的內部各部分具有幾乎同樣深度，卻明顯高出路面)，而深度圖像還直接包含了對方車輛距離信息。因此，可以根據(jù)車輛識別范圍對車輛進行識別。
[0136]在本發(fā)明的一個實施例中，如圖25所示，識別模塊400包括:識別單元410、距離獲取單元420、相對速度獲取單元430、碰撞時間獲取單元440和信息生成單元450。
[0137]識別單元410用于根據(jù)第二圖像和車輛識別范圍識別對方車輛。
[0138]在本發(fā)明的一個實施例中，識別單元410具體用于:獲取不同時刻拍攝的兩幅第二圖像，并根據(jù)兩幅第二圖像創(chuàng)建突出移動對象的時間微分深度圖像；以及根據(jù)突出移動對象的時間微分深度圖像獲取車輛識別范圍內的對方車輛的時間微分深度圖像。
[0139]具體地，通常本車輛Carl與對方車輛的距離總是變化的，在深度圖像中即表現(xiàn)為對方車輛的深度像素值或對方車輛在深度圖像坐標系的位置隨時間發(fā)生變化。因此，可以利用關于深度圖像的時間微分算法來識別對方車輛。例如，拍攝時刻分別為Tl、T2(T1早于Τ2)的兩幅深度圖像Α1、Α2(分別如圖17、18所示，圖中兩條細的虛線之間為車輛識別范圍，為說明簡便，示意圖不繪出車輛以外的事物)，將Al中每個像素al的深度值與A2中每個像素a2的深度值相減并取絕對值(其中al和a2具有同樣的深度圖像坐標)，從而創(chuàng)建了突出移動對象的時間微分深度圖像MC(如圖19所示)。
[0140]更具體地，將Al或A2的車輛識別范圍應用到突出移動對象的時間微分深度圖像MC中，將MC中車輛識別范圍以外的像素值設置為0，從而創(chuàng)建了車輛識別范圍內的對方車輛的時間微分深度圖像MD(如圖20所示)。在圖20中，以MD中填充網(wǎng)格的多邊形圖框突出表示上述Al、A2中對方車輛包含的深度像素的深度值的相減值。
[0141]進一步地，識別單元410還用于:對對方車輛的時間微分深度圖像沿行方向、列方向進行投影，以