本發(fā)明涉及全景圖像生成技術(shù)領(lǐng)域，特別是涉及車輛全景圖像處理方法及裝置。

背景技術(shù)：

隨著圖像和計算機(jī)視覺技術(shù)的快速發(fā)展，越來越多的技術(shù)被應(yīng)用到汽車電子領(lǐng)域，傳統(tǒng)的基于圖像的倒車影像系統(tǒng)只在車尾安裝攝像頭，只能覆蓋車尾周圍有限的區(qū)域，而車輛周圍和車頭的盲區(qū)無疑增加了安全駕駛的隱患，在狹隘擁堵的市區(qū)和停車場容易出現(xiàn)碰撞和刮蹭事件。為擴(kuò)大駕駛員視野，就必須能感知360°全方位的環(huán)境，這就需要多個視覺傳感器的相互協(xié)同配合作用然后通過視頻合成處理，形成全車周圍的一整套的視頻圖像，就是有這類需求，全景視覺泊車輔助系統(tǒng)應(yīng)運(yùn)而生。

但是，全景泊車系統(tǒng)標(biāo)定完成之后，如果車身高度發(fā)生變化，則拼接圖像拼接質(zhì)量會受影響，產(chǎn)生拼接錯位問題，高度變化越大則錯位越嚴(yán)重。

因?yàn)榇蟛糠周囕v在使用過程中不可避免的會有不同程度的承載變化，車身高度變化也不可避免，所以實(shí)車使用過程中總會有不同程度的拼接錯位問題，使得用戶體驗(yàn)差。

技術(shù)實(shí)現(xiàn)要素：

鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本發(fā)明的目的在于提供車輛全景圖像處理方法及裝置，用于解決現(xiàn)有技術(shù)中全景圖像拼接錯位的問題。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種車輛全景圖像處理方法，包括：通過設(shè)于一車輛上朝向不同方向的多路圖像采集裝置分別采集圖像；識別并收集各路圖像中出現(xiàn)的車道線的圖像位置數(shù)據(jù)；利用相鄰圖像采集裝置所采集的關(guān)于同一條車道線的圖像位置數(shù)據(jù)來計算各條車道線的空間物理位置；對所述空間物理位置的數(shù)據(jù)進(jìn)行處理以估計出車身沉降數(shù)據(jù)；利用所述車身沉降數(shù)據(jù)對圖像采集裝置的標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償處理；利用補(bǔ)償后的所述標(biāo)定數(shù)據(jù)拼接各路圖像以生成全景拼接畫面。

于本發(fā)明的一實(shí)施例中，所述識別并收集各路圖像中出現(xiàn)的車道線的圖像位置數(shù)據(jù)，包括：識別各路所述圖像采集裝置所采集圖像中的車道線，并獲得車道線在標(biāo)定地平面上的圖像位置數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述對所述空間物理圖像位置數(shù)據(jù)進(jìn)行處理以估計出車身沉降數(shù)據(jù)，包括：選擇車道線所在空間物理位置上兩個物理點(diǎn)的物理位置數(shù)據(jù)放入頂點(diǎn)緩沖池；根據(jù)積累在所述頂點(diǎn)緩沖池中的物理點(diǎn)的物理位置數(shù)據(jù)形成物理地面點(diǎn)云數(shù)據(jù)；將所述地面點(diǎn)云數(shù)據(jù)通過最小二乘平面擬合獲得對應(yīng)的真實(shí)物理地面方程。

于本發(fā)明的一實(shí)施例中，所述利用所述車身沉降數(shù)據(jù)對圖像采集裝置的標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償處理，包括：利用所述真實(shí)物理地面方程更新所述標(biāo)定數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述圖像采集裝置為魚眼攝像頭，所述不同方向包括：前、后、左、及右。

為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本發(fā)明提供一種車輛全景圖像處理裝置，包括：采集模塊，用于通過設(shè)于一車輛上朝向不同方向的多路圖像采集裝置分別采集圖像；圖像識別模塊，用于識別并收集各路圖像中出現(xiàn)的車道線的圖像位置數(shù)據(jù)；計算模塊，用于利用相鄰圖像采集裝置所采集的關(guān)于同一條車道線的圖像位置數(shù)據(jù)來計算各條車道線的空間物理位置；數(shù)據(jù)估計模塊，用于對所述空間物理位置的數(shù)據(jù)進(jìn)行處理以估計出車身沉降數(shù)據(jù)；補(bǔ)償模塊，用于利用所述車身沉降數(shù)據(jù)對圖像采集裝置的標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償處理；圖像拼接模塊，用于利用補(bǔ)償后的所述標(biāo)定數(shù)據(jù)拼接各路圖像以生成全景拼接畫面。

于本發(fā)明的一實(shí)施例中，所述識別并收集各路圖像中出現(xiàn)的車道線的圖像位置數(shù)據(jù)，包括：識別各路所述圖像采集裝置所采集圖像中的車道線，并獲得車道線在標(biāo)定地平面上的圖像位置數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述對所述空間物理圖像位置數(shù)據(jù)進(jìn)行處理以估計出車身沉降數(shù)據(jù)，包括：選擇車道線所在空間物理位置上兩個物理點(diǎn)的物理位置數(shù)據(jù)放入頂點(diǎn)緩沖池；根據(jù)積累在所述頂點(diǎn)緩沖池中的物理點(diǎn)的物理位置數(shù)據(jù)形成物理地面點(diǎn)云數(shù)據(jù)；將所述地面點(diǎn)云數(shù)據(jù)通過最小二乘平面擬合獲得對應(yīng)的真實(shí)物理地面方程。

于本發(fā)明的一實(shí)施例中，所述利用所述車身沉降數(shù)據(jù)對圖像采集裝置的標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償處理，包括：利用所述真實(shí)物理地面方程更新所述標(biāo)定數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述圖像采集裝置為魚眼攝像頭，所述不同方向包括：前、后、左、及右。

如上所述，本發(fā)明的完整的車輛全景圖像處理方法及裝置，通過設(shè)于一車輛上朝向不同方向的多路圖像采集裝置分別采集圖像；識別并收集各路圖像中出現(xiàn)的車道線的圖像位置數(shù)據(jù)；利用相鄰圖像采集裝置所采集的關(guān)于同一條車道線的圖像位置數(shù)據(jù)來計算各條車道線的空間物理位置；對所述空間物理位置的數(shù)據(jù)進(jìn)行處理以估計出車身沉降數(shù)據(jù)；利用所述車身沉降數(shù)據(jù)對圖像采集裝置的標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償處理；利用補(bǔ)償后的所述標(biāo)定數(shù)據(jù)拼接各路圖像以生成全景拼接畫面；利用路面車道線信息來對標(biāo)定數(shù)據(jù)進(jìn)行處理分析監(jiān)測，以避免拼接錯位，使得任何時刻全景畫面都處于較好的拼接效果。

附圖說明

圖1顯示為本發(fā)明于一實(shí)施例中車輛全景圖像處理方法的流程示意圖。

圖2顯示為本發(fā)明于一實(shí)施例中車輛全景圖像處理方法的一步驟分支展開的流程示意圖。

圖3a及3b顯示為現(xiàn)有技術(shù)與本發(fā)明生成的全景鳥瞰圖的比對示意圖。

圖4顯示為本發(fā)明于一實(shí)施例中車輛全景圖像處理裝置的模塊示意圖。。

元件標(biāo)號說明

401采集模塊

402圖像識別模塊

403計算模塊

404數(shù)據(jù)估計模塊

405補(bǔ)償模塊

406圖像拼接模塊

s101～s106方法步驟

s201～s203方法步驟

具體實(shí)施方式

以下通過特定的具體實(shí)例說明本發(fā)明的實(shí)施方式，本領(lǐng)域技術(shù)人員可由本說明書所揭露的內(nèi)容輕易地了解本發(fā)明的其他優(yōu)點(diǎn)與功效。本發(fā)明還可以通過另外不同的具體實(shí)施方式加以實(shí)施或應(yīng)用，本說明書中的各項(xiàng)細(xì)節(jié)也可以基于不同觀點(diǎn)與應(yīng)用，在沒有背離本發(fā)明的精神下進(jìn)行各種修飾或改變。需說明的是，在不沖突的情況下，以下實(shí)施例及實(shí)施例中的特征可以相互組合。

需要說明的是，以下實(shí)施例中所提供的圖示僅以示意方式說明本發(fā)明的基本構(gòu)想，遂圖式中僅顯示與本發(fā)明中有關(guān)的組件而非按照實(shí)際實(shí)施時的組件數(shù)目、形狀及尺寸繪制，其實(shí)際實(shí)施時各組件的型態(tài)、數(shù)量及比例可為一種隨意的改變，且其組件布局型態(tài)也可能更為復(fù)雜。

如圖1所示，本發(fā)明提供一種車輛全景圖像處理方法實(shí)施例，其包括：

步驟s101：通過設(shè)于一車輛上朝向不同方向的多路圖像采集裝置分別采集圖像。

于本發(fā)明的一實(shí)施例中，所述圖像采集裝置為魚眼攝像頭，所述魚眼攝像頭可設(shè)有至少4個，分別設(shè)于車輛的前、后、左、右位置，較佳的，是設(shè)于車輛的左右車燈位置，以及車輛前、后端的保險杠中部附近位置。

所述魚眼攝像頭至少能采集180度以上視角的圖像。

步驟s102：識別并收集各路圖像中出現(xiàn)的車道線的圖像位置數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，在車道中行駛的過程中，車道線的存在可以作為用于辨識路面數(shù)據(jù)的參考依據(jù)，因此，通過圖像采集裝置識別該些車道線在圖像中的圖像位置數(shù)據(jù)。

具體的，關(guān)于車道線識別的技術(shù)，為常見技術(shù)，例如中國專利申請?zhí)?01510121902.5所公開的“車道識別裝置，其具有分界線候選項(xiàng)識別部和分界線候選項(xiàng)修正部。分界線候選項(xiàng)識別部根據(jù)攝像頭的拍攝圖像中具有規(guī)定連續(xù)性的邊緣點(diǎn)，識別出分界線候選項(xiàng)，所述分界線候選項(xiàng)是劃分車道的左右一對分界線的候選項(xiàng)。分界線候選項(xiàng)修正部在由所述分界線候選項(xiàng)識別部識別出的左右一對分界線候選項(xiàng)的平行度在規(guī)定水平以下時，將真實(shí)空間中的對應(yīng)位置到所述攝像頭的距離在規(guī)定距離以上的邊緣點(diǎn)除外，根據(jù)未被除外的邊緣點(diǎn)中的具有規(guī)定連續(xù)性的邊緣點(diǎn)，再次對左右一對分界線候選項(xiàng)進(jìn)行識別”；又或者如中國專利申請?zhí)?01410621254.5所公開的“基于360度全景的車道偏離預(yù)警方法，包括：s1、在車輛的四周安裝若干廣角攝像頭，使廣角攝像頭覆蓋車輛周圍360°的視場區(qū)域；s2、由攝像頭標(biāo)定工具箱對廣角攝像頭采集到的圖像進(jìn)行校正畸變，并實(shí)時將圖像投影到地面生成360度全景俯視圖；s3、利用全景車道線檢測二值化算子對360度全景俯視圖二值化，利用區(qū)域生長法在二值化圖像中識別車道線；s4、實(shí)時計算車道線與車輛之間的位置關(guān)系并預(yù)警”，從上述內(nèi)容可知，車道線識別技術(shù)為現(xiàn)有，因此此處不作展開贅述。

步驟s103：利用相鄰圖像采集裝置所采集的關(guān)于同一條車道線的圖像位置數(shù)據(jù)來計算各條車道線的空間物理位置。

具體的，該步驟s103是通過識別各路所述圖像采集裝置所采集圖像中的同一條車道線上，通過獲得該同一條車道線在標(biāo)定地平面上的圖像位置數(shù)據(jù)，從而可計算對應(yīng)的同一條車道線實(shí)際的空間物理位置，即從圖像坐標(biāo)到物理坐標(biāo)的轉(zhuǎn)換。

步驟s104：對所述空間物理位置的數(shù)據(jù)進(jìn)行處理以估計出車身沉降數(shù)據(jù)。

如圖2所示，步驟s104具體可包括：

步驟s201：選擇車道線所在空間物理位置上兩個物理點(diǎn)的物理位置數(shù)據(jù)放入頂點(diǎn)緩沖池。

于本發(fā)明的一實(shí)施例中，所述兩個物理點(diǎn)可以是同一車道線在相鄰兩個圖像采集裝置所采集圖像中對應(yīng)相接位置的頂點(diǎn)。

步驟s202：根據(jù)積累在所述頂點(diǎn)緩沖池中的物理點(diǎn)的物理位置數(shù)據(jù)形成物理地面點(diǎn)云數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，在所述頂點(diǎn)緩沖池中的物理點(diǎn)數(shù)量積累到一定程度后，可通過該些物理點(diǎn)的物理位置數(shù)據(jù)形成車道線的地面點(diǎn)云數(shù)據(jù)。

所謂“點(diǎn)云”，是在目標(biāo)表面特性的海量點(diǎn)集合，根據(jù)激光測量原理得到的點(diǎn)云，包括三維坐標(biāo)(xyz)和激光反射強(qiáng)度(intensity)，根據(jù)攝影測量原理得到的點(diǎn)云，包括三維坐標(biāo)(xyz)和顏色信息(rgb)；結(jié)合激光測量和攝影測量原理得到點(diǎn)云，包括三維坐標(biāo)(xyz)、激光反射強(qiáng)度(intensity)和顏色信息(rgb)；在獲取物體表面每個采樣點(diǎn)的空間坐標(biāo)后，得到的是一個點(diǎn)的集合，稱之為“點(diǎn)云”(pointcloud)。

在本實(shí)施例中，采用的是魚眼攝像頭來采集圖像數(shù)據(jù)，因此，所述點(diǎn)云數(shù)據(jù)中包含了每個物理點(diǎn)的三維坐標(biāo)以及顏色信息。

步驟s203：將所述地面點(diǎn)云數(shù)據(jù)通過最小二乘平面擬合獲得對應(yīng)的真實(shí)物理地面方程。

最小二乘法(又稱最小平方法)是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。

于本發(fā)明的一實(shí)施例中，根據(jù)地面點(diǎn)云數(shù)據(jù)，并經(jīng)過最小二乘平面擬合獲得描述地面真實(shí)狀況(例如是凸出、平面或沉降等情況)的真實(shí)物理地面方程。

步驟s105：利用所述車身沉降數(shù)據(jù)對圖像采集裝置的標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償處理。

于本發(fā)明的一實(shí)施例中，原標(biāo)定數(shù)據(jù)可能是基于標(biāo)定地平面獲得的數(shù)據(jù)，不存在凹凸、沉降等情況，則通過能反映地面真實(shí)狀況的真實(shí)物理地面方程即可對所述標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償更新。

步驟s106：利用補(bǔ)償后的所述標(biāo)定數(shù)據(jù)拼接各路圖像以生成全景拼接畫面。

于本發(fā)明的一實(shí)施例中，通過補(bǔ)償后的標(biāo)定數(shù)據(jù)來拼接各路圖像所生成的全景拼接畫面可以避免錯位的問題。

如圖3a和圖3b所示，分別展示現(xiàn)有的全景鳥瞰圖以及采用本發(fā)明的方法拼接生成的全景鳥瞰圖，從中可見，采用本發(fā)明的方法已避免了由于沉降等原因而造成的拼接錯位的問題。

如圖4所示，本發(fā)明提供一種車輛全景圖像處理裝置實(shí)施例，其原理與上述方法實(shí)施例大致相同，實(shí)施例間可通用的技術(shù)特征不作重復(fù)贅述；所述車輛全景圖像處理裝置包括：采集模塊401，用于通過設(shè)于一車輛上朝向不同方向的多路圖像采集裝置分別采集圖像；圖像識別模塊402，用于識別并收集各路圖像中出現(xiàn)的車道線的圖像位置數(shù)據(jù)；計算模塊403，用于利用相鄰圖像采集裝置所采集的關(guān)于同一條車道線的圖像位置數(shù)據(jù)來計算各條車道線的空間物理位置；數(shù)據(jù)估計模塊404，用于對所述空間物理位置的數(shù)據(jù)進(jìn)行處理以估計出車身沉降數(shù)據(jù)；補(bǔ)償模塊405，用于利用所述車身沉降數(shù)據(jù)對圖像采集裝置的標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償處理；圖像拼接模塊406，用于利用補(bǔ)償后的所述標(biāo)定數(shù)據(jù)拼接各路圖像以生成全景拼接畫面。

于本發(fā)明的一實(shí)施例中，所述識別并收集各路圖像中出現(xiàn)的車道線的圖像位置數(shù)據(jù)，包括：識別各路所述圖像采集裝置所采集圖像中的車道線，并獲得車道線在標(biāo)定地平面上的圖像位置數(shù)據(jù)。

具體的，關(guān)于車道線識別的技術(shù)，為常見技術(shù)，例如中國專利申請?zhí)?01510121902.5所公開的“車道識別裝置，其具有分界線候選項(xiàng)識別部和分界線候選項(xiàng)修正部。分界線候選項(xiàng)識別部根據(jù)攝像頭的拍攝圖像中具有規(guī)定連續(xù)性的邊緣點(diǎn)，識別出分界線候選項(xiàng)，所述分界線候選項(xiàng)是劃分車道的左右一對分界線的候選項(xiàng)。分界線候選項(xiàng)修正部在由所述分界線候選項(xiàng)識別部識別出的左右一對分界線候選項(xiàng)的平行度在規(guī)定水平以下時，將真實(shí)空間中的對應(yīng)位置到所述攝像頭的距離在規(guī)定距離以上的邊緣點(diǎn)除外，根據(jù)未被除外的邊緣點(diǎn)中的具有規(guī)定連續(xù)性的邊緣點(diǎn)，再次對左右一對分界線候選項(xiàng)進(jìn)行識別”；又或者如中國專利申請?zhí)?01410621254.5所公開的“基于360度全景的車道偏離預(yù)警方法，包括：s1、在車輛的四周安裝若干廣角攝像頭，使廣角攝像頭覆蓋車輛周圍360°的視場區(qū)域；s2、由攝像頭標(biāo)定工具箱對廣角攝像頭采集到的圖像進(jìn)行校正畸變，并實(shí)時將圖像投影到地面生成360度全景俯視圖；s3、利用全景車道線檢測二值化算子對360度全景俯視圖二值化，利用區(qū)域生長法在二值化圖像中識別車道線；s4、實(shí)時計算車道線與車輛之間的位置關(guān)系并預(yù)警”，從上述內(nèi)容可知，車道線識別技術(shù)為現(xiàn)有，因此此處不作展開贅述。

于本發(fā)明的一實(shí)施例中，所述對所述空間物理圖像位置數(shù)據(jù)進(jìn)行處理以估計出車身沉降數(shù)據(jù)，包括：選擇車道線所在空間物理位置上兩個物理點(diǎn)的物理位置數(shù)據(jù)放入頂點(diǎn)緩沖池；根據(jù)積累在所述頂點(diǎn)緩沖池中的物理點(diǎn)的物理位置數(shù)據(jù)形成物理地面點(diǎn)云數(shù)據(jù)；將所述地面點(diǎn)云數(shù)據(jù)通過最小二乘平面擬合獲得對應(yīng)的真實(shí)物理地面方程。

其中，所謂“點(diǎn)云”，是在目標(biāo)表面特性的海量點(diǎn)集合，根據(jù)激光測量原理得到的點(diǎn)云，包括三維坐標(biāo)(xyz)和激光反射強(qiáng)度(intensity)，根據(jù)攝影測量原理得到的點(diǎn)云，包括三維坐標(biāo)(xyz)和顏色信息(rgb)；結(jié)合激光測量和攝影測量原理得到點(diǎn)云，包括三維坐標(biāo)(xyz)、激光反射強(qiáng)度(intensity)和顏色信息(rgb)；在獲取物體表面每個采樣點(diǎn)的空間坐標(biāo)后，得到的是一個點(diǎn)的集合，稱之為“點(diǎn)云”(pointcloud)。

在本實(shí)施例中，采用的是魚眼攝像頭來采集圖像數(shù)據(jù)，因此，所述點(diǎn)云數(shù)據(jù)中包含了每個物理點(diǎn)的三維坐標(biāo)以及顏色信息。

最小二乘法(又稱最小平方法)是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。利用最小二乘法可以簡便地求得未知的數(shù)據(jù)，并使得這些求得的數(shù)據(jù)與實(shí)際數(shù)據(jù)之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。

于本發(fā)明的一實(shí)施例中，所述利用所述車身沉降數(shù)據(jù)對圖像采集裝置的標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償處理，包括：利用所述真實(shí)物理地面方程更新所述標(biāo)定數(shù)據(jù)。

于本發(fā)明的一實(shí)施例中，所述圖像采集裝置為魚眼攝像頭，所述不同方向包括：前、后、左、及右；所述魚眼攝像頭至少能采集180度以上視角的圖像；較佳的，是設(shè)于車輛的左右車燈位置，以及車輛前、后端的保險杠中部附近位置。

綜上所述，本發(fā)明的完整的車輛全景圖像處理方法及裝置，通過設(shè)于一車輛上朝向不同方向的多路圖像采集裝置分別采集圖像；識別并收集各路圖像中出現(xiàn)的車道線的圖像位置數(shù)據(jù)；利用相鄰圖像采集裝置所采集的關(guān)于同一條車道線的圖像位置數(shù)據(jù)來計算各條車道線的空間物理位置；對所述空間物理位置的數(shù)據(jù)進(jìn)行處理以估計出車身沉降數(shù)據(jù)；利用所述車身沉降數(shù)據(jù)對圖像采集裝置的標(biāo)定數(shù)據(jù)進(jìn)行補(bǔ)償處理；利用補(bǔ)償后的所述標(biāo)定數(shù)據(jù)拼接各路圖像以生成全景拼接畫面；利用路面車道線信息來對標(biāo)定數(shù)據(jù)進(jìn)行處理分析監(jiān)測，以避免拼接錯位，使得任何時刻全景畫面都處于較好的拼接效果。

本發(fā)明有效克服了現(xiàn)有技術(shù)中的種種缺點(diǎn)而具高度產(chǎn)業(yè)利用價值。

上述實(shí)施例僅例示性說明本發(fā)明的原理及其功效，而非用于限制本發(fā)明。任何熟悉此技術(shù)的人士皆可在不違背本發(fā)明的精神及范疇下，對上述實(shí)施例進(jìn)行修飾或改變。因此，舉凡所屬技術(shù)領(lǐng)域中具有通常知識者在未脫離本發(fā)明所揭示的精神與技術(shù)思想下所完成的一切等效修飾或改變，仍應(yīng)由本發(fā)明的權(quán)利要求所涵蓋。