本申請(qǐng)涉及視頻圖像處理領(lǐng)域，具體涉及一種全景泊車輔助系統(tǒng)的圖像自動(dòng)調(diào)試系統(tǒng)、方法和裝置。

背景技術(shù)：

全景泊車輔助系統(tǒng)，又稱360度全景輔助系統(tǒng)，主要采用安裝在車身前后左右四個(gè)方向的超廣角攝像頭進(jìn)行圖像采集，并通過(guò)對(duì)攝像頭采集的圖像去畸變及拼接后，展現(xiàn)出效果上相當(dāng)于從車頂俯視車身周邊的全景圖。

全景圖的拼接需要兩個(gè)參數(shù)：攝像頭的內(nèi)參和外參。內(nèi)參反映的是攝像頭本身的特性，通過(guò)內(nèi)參的調(diào)整能夠去除攝像頭本身的畸變，其主要包括焦距，中心點(diǎn)，以及畸變參數(shù)(包括k1、k2、k3、k4等，通常用于對(duì)圖像進(jìn)行建模)；外參反映的是攝像頭在汽車所處三維世界坐標(biāo)的位置關(guān)系，通過(guò)攝像頭外參，能夠?qū)⑺膫€(gè)攝像頭中的圖片，拼接成一個(gè)完整的360度全景圖，其主要包括平移向量和旋轉(zhuǎn)向量

現(xiàn)有全景泊車輔助系統(tǒng)的圖像調(diào)試方法在調(diào)試時(shí)常常需要在待調(diào)試的車輛周圍鋪設(shè)特定的調(diào)試模板布(如棋盤(pán)格)來(lái)標(biāo)定攝像頭的內(nèi)外參，從而調(diào)試好全景泊車輔助系統(tǒng)圖像。然而，臨時(shí)鋪設(shè)棋盤(pán)格，比較麻煩，還量取各個(gè)布?jí)K之間距離，工作效率不高，而且棋盤(pán)格鋪設(shè)不好，可能導(dǎo)致測(cè)試不準(zhǔn)。

技術(shù)實(shí)現(xiàn)要素：

本申請(qǐng)?zhí)峁┮环N全景泊車輔助系統(tǒng)的圖像自動(dòng)調(diào)試系統(tǒng)、方法和裝置，優(yōu)化圖像內(nèi)、外參數(shù)集，提高圖像調(diào)試工作效率。

根據(jù)本申請(qǐng)第一方面，本申請(qǐng)?zhí)峁┮环N全景泊車輔助系統(tǒng)的圖像自動(dòng)調(diào)試系統(tǒng),包括:

可見(jiàn)光平臺(tái)，用于射出可見(jiàn)光，在地面形成以亮點(diǎn)為特征點(diǎn)的調(diào)試用模板；

攝像頭，用于采集所述調(diào)試用模板的圖像數(shù)據(jù)；

控制器，用于建立汽車所處的世界坐標(biāo)并獲取調(diào)試用模板特征點(diǎn)的世界坐標(biāo)值；控制攝像頭采集所述調(diào)試用模板的圖像數(shù)據(jù)并接收該圖像數(shù)據(jù)，所述圖像數(shù)據(jù)至少包括調(diào)試用模板特征點(diǎn)在所采集圖像中的理論坐標(biāo)值；將所述調(diào)試用模板特征點(diǎn)的世界坐標(biāo)值映射到攝像頭采集的調(diào)試用模板的圖像數(shù)據(jù)中，得到調(diào)試用模板特征點(diǎn)的圖像觀測(cè)值，還用于根據(jù)所述圖像觀測(cè)值與實(shí)際坐標(biāo)值進(jìn)行比對(duì)，優(yōu)化校正參數(shù)，得到優(yōu)化后的內(nèi)、外參數(shù)集。

在一些實(shí)施例中，所述可見(jiàn)光平臺(tái)為激光平臺(tái)，激光平臺(tái)包括至少兩個(gè)激光器，激光器被放置于待調(diào)試汽車的對(duì)角線角點(diǎn)處，激光器被打開(kāi)后在地面形成以光斑為特征點(diǎn)的調(diào)試用模板，不同激光器分別采用不同顏色的激光燈。

在一些實(shí)施例中，所述控制器在計(jì)算特征點(diǎn)的圖像觀測(cè)值時(shí)，通過(guò)對(duì)攝像頭采集的調(diào)試用模板的圖像進(jìn)行顏色分割，找出所述圖像中的有用區(qū)域并在有用區(qū)域內(nèi)找出激光光斑像素級(jí)的邊緣點(diǎn)，對(duì)所述像素級(jí)的邊緣點(diǎn)進(jìn)行亞像素處理后得到更高角度的邊緣點(diǎn)，再根據(jù)邊緣點(diǎn)計(jì)算出特征點(diǎn)的坐標(biāo)，獲得圖像觀測(cè)值，其中，所述有用區(qū)域?yàn)榘ㄈ抗獍叩膮^(qū)域。

在一些實(shí)施例中，所述可見(jiàn)光平臺(tái)射出可見(jiàn)光的同時(shí)輸出調(diào)試開(kāi)始信號(hào)至所述控制器，所述控制器根據(jù)所述調(diào)試開(kāi)始信號(hào)向攝像頭輸出采集命令，控制所述攝像頭采集所述調(diào)試用模板的圖像數(shù)據(jù)。

根據(jù)本申請(qǐng)第二方面，本申請(qǐng)?zhí)峁┮环N全景泊車輔助系統(tǒng)的圖像自動(dòng)調(diào)試方法,包括:

獲取世界坐標(biāo)步驟，獲取調(diào)試用模板特征點(diǎn)的世界坐標(biāo)，所述調(diào)試用模板為利用可見(jiàn)光平臺(tái)在地面形成的以亮點(diǎn)為特征點(diǎn)的陣列；

采集圖像數(shù)據(jù)步驟，控制攝像頭采集所述調(diào)試用模板的圖像數(shù)據(jù)并接收該圖像數(shù)據(jù)，所述圖像數(shù)據(jù)至少包括調(diào)試用模板特征點(diǎn)在所采集圖像中的理論坐標(biāo)值；

優(yōu)化參數(shù)步驟，建立汽車所處的世界坐標(biāo)并獲取調(diào)試用模板特征點(diǎn)的世界坐標(biāo)值，將所述調(diào)試用模板特征點(diǎn)的世界坐標(biāo)值映射到攝像頭所采集的調(diào)試用模板的圖像數(shù)據(jù)中，得到調(diào)試用模板特征點(diǎn)的圖像觀測(cè)值，根據(jù)所述圖像觀測(cè)值與理論坐標(biāo)值進(jìn)行比對(duì)，優(yōu)化校正參數(shù)，得到優(yōu)化后的內(nèi)、外參數(shù)集。

在一些實(shí)施例中，得到調(diào)試用模板特征點(diǎn)的圖像觀測(cè)值的方法包括：

通過(guò)對(duì)攝像頭采集的調(diào)試用模板的圖像進(jìn)行顏色分割，并找出所述圖像中的有用區(qū)域并在有用區(qū)域內(nèi)找出激光光斑像素級(jí)的邊緣點(diǎn)，其中，所述有用區(qū)域?yàn)榘ㄈ抗獍叩膮^(qū)域；

對(duì)所述像素級(jí)的邊緣點(diǎn)進(jìn)行亞像素處理后得到更高角度的邊緣點(diǎn)，再根據(jù)邊緣點(diǎn)計(jì)算出特征點(diǎn)的坐標(biāo)，獲得圖像觀測(cè)值。

在一些實(shí)施例中，根據(jù)所述圖像觀測(cè)值與實(shí)際的理論坐標(biāo)值進(jìn)行比對(duì)，優(yōu)化校正參數(shù)包括：

觀測(cè)模型建立步驟，根據(jù)調(diào)試用模板特征點(diǎn)的世界坐標(biāo)，建立特征點(diǎn)的圖像觀測(cè)值與內(nèi)、外參數(shù)集之間的觀測(cè)模型；

優(yōu)化迭代步驟，計(jì)算當(dāng)前次特征點(diǎn)的圖像觀測(cè)值與理論坐標(biāo)值之間的誤差；并迭代優(yōu)化誤差，得到優(yōu)化后的內(nèi)、外參數(shù)集。

根據(jù)本申請(qǐng)第三方面，本申請(qǐng)?zhí)峁┮环N全景泊車輔助系統(tǒng)的圖像自動(dòng)調(diào)試裝置，包括：

用于獲取調(diào)試用模板特征點(diǎn)的世界坐標(biāo)的模塊，所述調(diào)試用模板為利用可見(jiàn)光平臺(tái)在地面形成的以亮點(diǎn)為特征點(diǎn)的陣列；

用于控制攝像頭采集所述調(diào)試用模板的圖像數(shù)據(jù)并接收該圖像數(shù)據(jù)的模塊，所述圖像數(shù)據(jù)至少包括調(diào)試用模板特征點(diǎn)在所采集圖像中的理論坐標(biāo)值；

用于建立汽車所處的世界坐標(biāo)并獲取調(diào)試用模板特征點(diǎn)的世界坐標(biāo)值，將所述調(diào)試用模板特征點(diǎn)的世界坐標(biāo)值映射到攝像頭所采集的調(diào)試用模板的圖像數(shù)據(jù)中，得到調(diào)試用模板特征點(diǎn)的圖像觀測(cè)值，和根據(jù)所述圖像觀測(cè)值與理論坐標(biāo)值進(jìn)行比對(duì)，優(yōu)化校正參數(shù)，得到優(yōu)化后的內(nèi)、外參數(shù)集的模塊。

根據(jù)本申請(qǐng)第四方面，本申請(qǐng)?zhí)峁┮环N全景泊車輔助系統(tǒng)的圖像自動(dòng)調(diào)試，包括：

存儲(chǔ)器，用于存儲(chǔ)程序；

處理器，用于通過(guò)執(zhí)行所述存儲(chǔ)器存儲(chǔ)的程序以實(shí)現(xiàn)如本申請(qǐng)第二方面中任一項(xiàng)所述的方法。

根據(jù)本申請(qǐng)第五方面，本申請(qǐng)?zhí)峁┮环N計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括程序，所述程序能夠被處理器執(zhí)行以實(shí)現(xiàn)如本申請(qǐng)第二方面中任一項(xiàng)所述的方法。

依據(jù)上述實(shí)施例的全景泊車輔助系統(tǒng)的圖像自動(dòng)調(diào)試系統(tǒng)、方法和裝置，由于本申請(qǐng)利用可見(jiàn)光形成以亮點(diǎn)為特征點(diǎn)的調(diào)試用模板代替現(xiàn)有的調(diào)試模板布，免去人工鋪設(shè)調(diào)試模板、量取各個(gè)布?jí)K之間距離的工作，可獲取精確的內(nèi)、外參數(shù)，而且該調(diào)試系統(tǒng)適應(yīng)性強(qiáng)，現(xiàn)場(chǎng)調(diào)試簡(jiǎn)單方便，使得全景泊車輔助系統(tǒng)的圖像調(diào)試工作簡(jiǎn)便、效率高。

附圖說(shuō)明

圖1為本申請(qǐng)的一種全景泊車輔助系統(tǒng)的圖像調(diào)試系統(tǒng)結(jié)構(gòu)示意圖；

圖2為一種實(shí)施例全景泊車輔助系統(tǒng)的圖像調(diào)試系統(tǒng)使用狀態(tài)示意圖；

圖3為本申請(qǐng)的全景泊車輔助系統(tǒng)的圖像調(diào)試系統(tǒng)方法流程圖；

圖4為一種實(shí)施例攝像頭采集的調(diào)試用模板圖像示意圖；

圖5為廣角攝像頭采集圖像畸變?cè)韴D；

圖6為一種實(shí)施例的迭代優(yōu)化流程圖；

圖7為一種實(shí)施例攝像頭采集的調(diào)試用模板圖像迭代優(yōu)化后的效果示意圖。

具體實(shí)施方式

下面通過(guò)具體實(shí)施方式結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)說(shuō)明。其中不同實(shí)施方式中類似元件采用了相關(guān)聯(lián)的類似的元件標(biāo)號(hào)。在以下的實(shí)施方式中，很多細(xì)節(jié)描述是為了使得本申請(qǐng)能被更好的理解。然而，本領(lǐng)域技術(shù)人員可以毫不費(fèi)力的認(rèn)識(shí)到，其中部分特征在不同情況下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情況下，本申請(qǐng)相關(guān)的一些操作并沒(méi)有在說(shuō)明書(shū)中顯示或者描述，這是為了避免本申請(qǐng)的核心部分被過(guò)多的描述所淹沒(méi)，而對(duì)于本領(lǐng)域技術(shù)人員而言，詳細(xì)描述這些相關(guān)操作并不是必要的，他們根據(jù)說(shuō)明書(shū)中的描述以及本領(lǐng)域的一般技術(shù)知識(shí)即可完整了解相關(guān)操作。

由于全景泊車輔助系統(tǒng)采用的廣角攝像頭在采集的圖像會(huì)發(fā)生畸變，因此需要對(duì)廣角攝像頭采集的圖像數(shù)據(jù)進(jìn)行調(diào)試，得到校正參數(shù)，以實(shí)現(xiàn)畸變圖像的校正。在現(xiàn)有技術(shù)中常使用棋盤(pán)格來(lái)作為調(diào)試的模板，但鋪設(shè)棋盤(pán)格，比較麻煩，還要量取各個(gè)布?jí)K之間距離，工作效率不高?；诖?，發(fā)明人在構(gòu)思本申請(qǐng)時(shí)，利用激光平臺(tái)射出激光后形成的以光斑為特征點(diǎn)的長(zhǎng)方形十字陣列代替現(xiàn)有的調(diào)試模板布，免去鋪設(shè)模板的工作，從而提高調(diào)試工作效率，進(jìn)一步，通過(guò)優(yōu)化激光平臺(tái)的控制方式，還可實(shí)現(xiàn)圖像調(diào)試的自動(dòng)化，下面具體說(shuō)明。

請(qǐng)參考圖1，為本申請(qǐng)的一種全景泊車輔助系統(tǒng)的圖像調(diào)試系統(tǒng)，包括可見(jiàn)平臺(tái)2、攝像頭3和控制器1。

可見(jiàn)光平臺(tái)2，用于射出可見(jiàn)光，在地面形成以亮點(diǎn)為特征點(diǎn)的調(diào)試用模板。在一些實(shí)施例中，可見(jiàn)光平臺(tái)2為激光平臺(tái)，激光平臺(tái)射出激光，在地面形成以光斑為特征點(diǎn)的調(diào)試用模板，該模板包括長(zhǎng)方形或平行四邊形。

攝像頭3為安裝在車身前后左右四個(gè)方向的超廣角攝像頭，攝像頭3用于采集調(diào)試用模板的圖像數(shù)據(jù)。

控制器1用于建立汽車所處的世界坐標(biāo)并獲取調(diào)試用模板特征點(diǎn)的世界坐標(biāo)值；控制攝像頭采集所述調(diào)試用模板的圖像數(shù)據(jù)并接收該圖像數(shù)據(jù)，所述圖像數(shù)據(jù)至少包括調(diào)試用模板特征點(diǎn)在所采集圖像中的理論坐標(biāo)值；將所述調(diào)試用模板特征點(diǎn)的世界坐標(biāo)值映射到攝像頭采集的調(diào)試用模板的圖像數(shù)據(jù)中，得到調(diào)試用模板特征點(diǎn)的圖像觀測(cè)值，還用于根據(jù)所述圖像觀測(cè)值與實(shí)際坐標(biāo)值進(jìn)行比對(duì)，優(yōu)化校正參數(shù)，得到優(yōu)化后的內(nèi)、外參數(shù)集。

由此可見(jiàn)，本申請(qǐng)通過(guò)利用可見(jiàn)光平臺(tái)2射出可見(jiàn)光，在地面形成以亮點(diǎn)為特征點(diǎn)的調(diào)試模板，免去了人工鋪設(shè)調(diào)試模板、量取各個(gè)布?jí)K之間距離等工作，提高了調(diào)試工作的效率。

在一種具體實(shí)施例中，可見(jiàn)光平臺(tái)2為激光平臺(tái)時(shí)，激光平臺(tái)至少包括兩個(gè)激光器，激光器被放置于待調(diào)試汽車的對(duì)角線角點(diǎn)處。參考圖2，兩個(gè)激光器分別放置在待調(diào)試汽車的對(duì)角線兩端，不同激光器分別采用不同顏色(如紅色和綠色，圖2中，以“+”表示紅色，“x”表示綠色)的激光燈，當(dāng)激光燈打開(kāi)后，在地面上形成長(zhǎng)方形的激光十字線陣列，將該陣列作為調(diào)試用模板，該調(diào)試用模板以十字線光斑為特征點(diǎn)，十字線光斑包括紅色光斑和綠色光斑。其中，在紅色光斑和綠色光斑交叉時(shí)，光斑保持重合，激光平臺(tái)的相對(duì)坐標(biāo)就確定下來(lái)。

其中，在控制器1在計(jì)算特征點(diǎn)的圖像觀測(cè)值時(shí)，先通過(guò)對(duì)采集的調(diào)試用模板的圖像進(jìn)行顏色分割再找出圖像中包括全部光斑的區(qū)域作為有用區(qū)域，并在有用區(qū)域內(nèi)找出十字線光斑像素級(jí)的邊緣點(diǎn)，對(duì)這些像素級(jí)的邊緣點(diǎn)進(jìn)行亞像素處理后得到更高角度的邊緣點(diǎn)，再根據(jù)邊緣點(diǎn)計(jì)算出特征點(diǎn)的坐標(biāo)，獲得圖像觀測(cè)值。在一些實(shí)施中，具體為：先將圖像格式由grb轉(zhuǎn)換為hsv，再對(duì)hsv圖像的h和s通道的圖像進(jìn)行處理，將激光光斑的顏色區(qū)域大體分割出來(lái)；再找出圖像中包括全部光斑的區(qū)域作為有用區(qū)域，采用基于局域亮度最大原則在有用區(qū)域內(nèi)找出激光十字光斑像素級(jí)的邊緣點(diǎn)，對(duì)這些像素級(jí)的邊緣點(diǎn)進(jìn)行亞像素處理后得到更高角度的邊緣點(diǎn)，再根據(jù)邊緣點(diǎn)利用最小二乘法計(jì)算出特征點(diǎn)的坐標(biāo)，獲得圖像觀測(cè)值。

如圖1所示，在一些實(shí)施例中，控制器包括：世界坐標(biāo)獲取模塊11、映射處理模塊12、觀測(cè)模型建立模塊13和優(yōu)化迭代模塊14。

世界坐標(biāo)獲取模塊11用于建立汽車所處的世界坐標(biāo)并獲取調(diào)試用模板特征點(diǎn)的世界坐標(biāo)；映射處理模塊12用于控制攝像頭3采集調(diào)試用模板的圖像數(shù)據(jù)并接收該圖像數(shù)據(jù)，所述圖像數(shù)據(jù)至少包括調(diào)試用模板特征點(diǎn)在所采集圖像中的理論坐標(biāo)值；將調(diào)試用模板特征點(diǎn)的世界坐標(biāo)映射到攝像頭3采集的調(diào)試用模板的圖像數(shù)據(jù)中，得到調(diào)試用模板特征點(diǎn)的圖像觀測(cè)值；觀測(cè)模型建立模塊13用于根據(jù)調(diào)試用模板特征點(diǎn)的世界坐標(biāo)，建立特征點(diǎn)的圖像觀測(cè)值與內(nèi)、外參數(shù)集之間的觀測(cè)模型；優(yōu)化迭代模塊14用于計(jì)算當(dāng)前次特征點(diǎn)的圖像觀測(cè)值與理論坐標(biāo)值之間的誤差；并迭代優(yōu)化誤差，得到優(yōu)化后的內(nèi)、外參數(shù)集。

在具體實(shí)施例中，觀測(cè)模型建立模塊13將調(diào)試用模板特征點(diǎn)的圖像數(shù)據(jù)與調(diào)試用模板特征點(diǎn)的世界坐標(biāo)進(jìn)行映射得到初始化外參；根據(jù)初始化外參和預(yù)設(shè)內(nèi)參建立特征點(diǎn)的圖像觀測(cè)值與內(nèi)、外參數(shù)集之間的觀測(cè)模型。

在具體實(shí)施例中，迭代優(yōu)化模塊14根據(jù)當(dāng)前次特征點(diǎn)的圖像觀測(cè)值與理論坐標(biāo)值之間的誤差得到當(dāng)前次內(nèi)、外參的迭代增量；將當(dāng)前次內(nèi)、外參的迭代增量加入當(dāng)前的內(nèi)、外參集更新觀測(cè)模型；根據(jù)更新后的觀測(cè)模型計(jì)算下一次特征點(diǎn)的圖像觀測(cè)值與理論坐標(biāo)值之間的誤差；并迭代優(yōu)化誤差，得到優(yōu)化后的內(nèi)、外參數(shù)集。

在一種實(shí)施例中，迭代優(yōu)化模塊4根據(jù)如下公式計(jì)算迭代增量：

δxi＝(j^tj)^-1j^tεi，

其中，δxi為當(dāng)前次內(nèi)、外參的迭代增量，j為當(dāng)前次觀測(cè)模型對(duì)內(nèi)、外參集的雅可比導(dǎo)數(shù)矩陣，εi為當(dāng)前次特征點(diǎn)的圖像觀測(cè)值與理論坐標(biāo)值之間的誤差。

在另一種實(shí)施例中，迭代優(yōu)化模塊4根據(jù)如下如下公式計(jì)算迭代增量：

δxi＝(j^tj+μi)^-1j^tεi，

其中，δxi為當(dāng)前次內(nèi)、外參的迭代增量，j為當(dāng)前次觀測(cè)模型對(duì)內(nèi)、外參集的雅可比導(dǎo)數(shù)矩陣，μ為阻尼系數(shù)，i為單位對(duì)角陣，εi為當(dāng)前次特征點(diǎn)的圖像觀測(cè)值與理論坐標(biāo)值之間的誤差。

在一種實(shí)施例中，可見(jiàn)光平臺(tái)2射出可見(jiàn)光的同時(shí)輸出調(diào)試開(kāi)始信號(hào)至控制器1，控制器1根據(jù)該調(diào)試開(kāi)始信號(hào)向攝像頭3輸出采集命令，控制攝像頭3采集調(diào)試用模板的圖像數(shù)據(jù)；之后，控制器1將調(diào)試用模板特征點(diǎn)的世界坐標(biāo)映射到攝像頭3采集的調(diào)試用模板的圖像數(shù)據(jù)中，得到調(diào)試用模板特征點(diǎn)的圖像觀測(cè)值，并根據(jù)圖像觀測(cè)值與理論坐標(biāo)值進(jìn)行比對(duì)，優(yōu)化校正參數(shù)，得到優(yōu)化后的內(nèi)、外參數(shù)集。如此一來(lái)，本實(shí)施例便實(shí)現(xiàn)了全景泊車輔助系統(tǒng)的圖像自動(dòng)調(diào)試，即將待調(diào)試的車開(kāi)入平坦地面后，操作可見(jiàn)光平臺(tái)2發(fā)出可見(jiàn)光后，本申請(qǐng)的調(diào)試系統(tǒng)就可自動(dòng)完成全景泊車輔助系統(tǒng)的圖像調(diào)試工作。

綜上所述，本申請(qǐng)的調(diào)試系統(tǒng)適應(yīng)性強(qiáng)，現(xiàn)場(chǎng)調(diào)試簡(jiǎn)單方便、效率高。

基于上述公開(kāi)的全景泊車輔助系統(tǒng)，本實(shí)施例還公開(kāi)了一種全景泊車輔助系統(tǒng)的圖像調(diào)試方法。

請(qǐng)參考圖3，為全景泊車輔助系統(tǒng)的圖像調(diào)試方法流程圖，該方法具體包括如下步驟：

步驟100，獲取世界坐標(biāo)：獲取調(diào)試用模板特征點(diǎn)的世界坐標(biāo)，該調(diào)試用模板為利用可見(jiàn)光平臺(tái)在地面形成的以亮點(diǎn)為特征點(diǎn)的陣列，該陣列包括長(zhǎng)方形或平行四邊形。

步驟200，采集圖像數(shù)據(jù)：控制攝像頭采集所述調(diào)試用模板的圖像數(shù)據(jù)并接收該圖像數(shù)據(jù)，所述圖像數(shù)據(jù)至少包括調(diào)試用模板特征點(diǎn)在所采集圖像中的的理論坐標(biāo)值。請(qǐng)參考圖4，為一種實(shí)施例攝像頭采集的調(diào)試用模板圖像示意圖，該實(shí)施例中調(diào)試用模板為以激光光斑為特征點(diǎn)的長(zhǎng)方形十字線陣列，由圖4可知，由于攝像頭3是廣角攝像頭，采集到的圖像發(fā)生了畸變。

步驟300，優(yōu)化參數(shù)：將調(diào)試用模板特征點(diǎn)的世界坐標(biāo)映射到攝像頭所采集的調(diào)試用模板的圖像數(shù)據(jù)中，得到調(diào)試用模板特征點(diǎn)的圖像觀測(cè)值，根據(jù)圖像觀測(cè)值與實(shí)際的理論坐標(biāo)值進(jìn)行比對(duì)，優(yōu)化校正參數(shù)，得到優(yōu)化后的內(nèi)、外參數(shù)集。

在一種實(shí)施例中，調(diào)試用模板為以激光光斑為特征點(diǎn)的長(zhǎng)方形十字線陣列，其特征點(diǎn)的圖像觀測(cè)值計(jì)算方法包括：

通過(guò)對(duì)采集的調(diào)試用模板的圖像進(jìn)行顏色分割，并找出圖像中的有用區(qū)域并在有用區(qū)域內(nèi)找出激光十字光斑像素級(jí)的邊緣點(diǎn)，有用區(qū)域指包括全部光斑的區(qū)域；

對(duì)這些像素級(jí)的邊緣點(diǎn)進(jìn)行亞像素處理后得到更高角度的邊緣點(diǎn)，利用最小二乘法計(jì)算出特征點(diǎn)的坐標(biāo)，獲得圖像觀測(cè)值。

在一些實(shí)施中，具體為：先將圖像格式由grb轉(zhuǎn)換為hsv，再對(duì)hsv圖像的h和s通道的圖像進(jìn)行處理，將激光光斑的顏色區(qū)域大體分割出來(lái)；再找出圖像中的有用區(qū)域后，采用基于局域亮度最大原則在有用區(qū)域內(nèi)找出激光十字光斑像素級(jí)的邊緣點(diǎn)，對(duì)這些像素級(jí)的邊緣點(diǎn)進(jìn)行亞像素處理后得到更高角度的邊緣點(diǎn)，利用最小二乘法計(jì)算出特征點(diǎn)的坐標(biāo)，獲得圖像觀測(cè)值。

一些實(shí)施例中，步驟300還包括步驟310和步驟320.

步驟310：觀測(cè)模型建立。即根據(jù)調(diào)試用模板特征點(diǎn)的世界坐標(biāo)，建立特征點(diǎn)的圖像觀測(cè)值與攝像頭3的內(nèi)、外參數(shù)集之間的觀測(cè)模型。

其中，內(nèi)參為攝像頭自身所引起畸變的參數(shù)，例如：焦距包括橫向焦距fx和縱向焦距fy；中心點(diǎn)包括橫向中心點(diǎn)cx和縱向中心點(diǎn)cy；以及用于建模的畸變參數(shù)等。外參為世界平面坐標(biāo)系映射到攝像頭采集圖像平面坐標(biāo)系的所需要進(jìn)行的坐標(biāo)轉(zhuǎn)換參數(shù)，轉(zhuǎn)換過(guò)程通常包括坐標(biāo)系的平移和旋轉(zhuǎn)，因此，外參包括如齊次坐標(biāo)坐標(biāo)系之間的平移向量和旋轉(zhuǎn)向量

在具體實(shí)施例中，可以將獲取的調(diào)試用的激光十字線陣列特征的圖像數(shù)據(jù)與調(diào)試用的激光十字線陣列特征的世界坐標(biāo)進(jìn)行映射得到初始化外參，如平移向量和旋轉(zhuǎn)向量請(qǐng)參考圖5，調(diào)試用的激光十字線陣列特征pa在經(jīng)透鏡折射至采集平面后，會(huì)發(fā)生位置的變更，在采集平面上如p′c所示，調(diào)試用的激光十字線陣列特征pa經(jīng)透鏡折射至采集圖像中的理論位置如p′c所示，該p′c的坐標(biāo)值為特征點(diǎn)pa經(jīng)透鏡折射至采集圖像中的理論坐標(biāo)值；pc為觀測(cè)模型所輸出的特征點(diǎn)，即pc由世界坐標(biāo)特征點(diǎn)pa通過(guò)觀測(cè)模型映射到采集圖像平面坐標(biāo)所得到的，在本實(shí)施例中，pc的坐標(biāo)值為特征點(diǎn)pa圖像觀測(cè)值；為了將調(diào)試用的激光十字線陣列特征pa映射至采集平面的理論位置p′c，需要對(duì)世界坐標(biāo)中調(diào)試用的激光十字線陣列特征pa進(jìn)行相應(yīng)的平移和旋轉(zhuǎn)，由此可以得到各特征點(diǎn)平移和旋轉(zhuǎn)所采用的平移向量和旋轉(zhuǎn)向量

根據(jù)初始化外參和預(yù)設(shè)內(nèi)參建立特征點(diǎn)的圖像觀測(cè)值與內(nèi)、外參數(shù)集之間的觀測(cè)模型。預(yù)設(shè)內(nèi)參可以根據(jù)廣角攝像頭所采用的具體透鏡類型或者經(jīng)驗(yàn)確定，請(qǐng)參考圖5，調(diào)試用的激光十字線陣列特征pa在經(jīng)透鏡折射至采集平面點(diǎn)pc后，例如可以根據(jù)折射角θd與入射角θ之間的關(guān)系建立觀測(cè)模型來(lái)得到畸變參數(shù)一種實(shí)施例中，可以采用如下公式來(lái)確定畸變參數(shù)

θd＝θ*(1+k1*θ²+k2*θ⁴+k3*θ⁶+k4*θ⁸)

其中，其中入射角θ＝arctan(r/d)，r為調(diào)試用的激光十字線陣列特征pa到中心點(diǎn)的水平距離，d為世界平面到透鏡所在平面的距離，k1、k2、k3和k4為畸變參數(shù)在具體實(shí)施例中，畸變參數(shù)可以根據(jù)需要進(jìn)行增減參數(shù)的個(gè)數(shù)。在一種實(shí)施例中，透鏡的內(nèi)參焦距和中心點(diǎn)可以通過(guò)系統(tǒng)預(yù)設(shè)。

在獲得內(nèi)、外參數(shù)集之后，便可以建立各特征點(diǎn)的圖像觀測(cè)模型fi(x)，其中，fi(x)為第i個(gè)特征點(diǎn)的觀測(cè)值，x為內(nèi)、外參數(shù)集，包括：畸變參數(shù)如k1、k2、k3和k4；橫向焦距fx和縱向焦距fy；橫向中心點(diǎn)cx和縱向中心點(diǎn)cy；以及平移向量和旋轉(zhuǎn)向量

步驟320：迭代優(yōu)化。即計(jì)算當(dāng)前次特征點(diǎn)的圖像觀測(cè)值與理論坐標(biāo)值之間的誤差；并迭代優(yōu)化誤差，得到優(yōu)化后的內(nèi)、外參數(shù)集。

在經(jīng)步驟310建立圖像觀測(cè)模型fi(x)后，根據(jù)圖像觀測(cè)模型fi(x)可以得到第i個(gè)特征點(diǎn)映射到采集平面的觀測(cè)值，將該觀測(cè)值與該特征點(diǎn)在采集平面的理論坐標(biāo)值作差，可以得到該特征點(diǎn)的觀測(cè)誤差其中，為第i個(gè)特征點(diǎn)第j次觀測(cè)誤差。判斷是否小于預(yù)設(shè)的閾值，當(dāng)小于預(yù)設(shè)閾值時(shí)，則可輸出當(dāng)前次觀測(cè)的內(nèi)、外參數(shù)集x^j，其中，x^j為第j次觀測(cè)時(shí)的內(nèi)、外參數(shù)集；當(dāng)大于預(yù)設(shè)閾值時(shí)，則說(shuō)明觀測(cè)的誤差較大，需要對(duì)內(nèi)、外參數(shù)集x進(jìn)行迭代優(yōu)化，直到小于預(yù)設(shè)閾值，輸出對(duì)應(yīng)的內(nèi)、外參數(shù)集x^j，即為優(yōu)化后的內(nèi)、外參數(shù)集。

在具體實(shí)施例中，可以使用高斯-牛頓迭代法，迭代優(yōu)化內(nèi)、外參數(shù)集x^j，求得所有內(nèi)、外參數(shù)，具體地，請(qǐng)參考圖6，迭代優(yōu)化過(guò)程可以包括：

步驟321：迭代增量計(jì)算。根據(jù)當(dāng)前次特征點(diǎn)的圖像觀測(cè)值fi^j(x)與該特征點(diǎn)理論坐標(biāo)值y′c之間的誤差得到當(dāng)前次內(nèi)、外參的迭代增量。

請(qǐng)參考圖5，如特征點(diǎn)pa在映射至采集平面時(shí)，其采集平面的理論坐標(biāo)為y′c，于是可以得到該特征點(diǎn)當(dāng)前次(第j次)觀測(cè)誤差各特征點(diǎn)當(dāng)前次觀測(cè)誤差集合構(gòu)成了當(dāng)前次各特征點(diǎn)的觀測(cè)誤差集合ε^j。

而后，再使用svd分解和偽逆矩陣的求解法，得出所有內(nèi)外參數(shù)當(dāng)前次的高斯-牛頓法迭代增量δx^j?？梢允紫惹蟮卯?dāng)前次觀測(cè)模型對(duì)內(nèi)、外參集的雅可比導(dǎo)數(shù)矩陣j，具體地，可以采用如下公式求取雅可比導(dǎo)數(shù)矩陣j：

其中，x1……xm為內(nèi)、外參集中的各個(gè)參數(shù)，f1……fn分別為第1至n個(gè)特征點(diǎn)的觀測(cè)模型。

在利用(1)求得雅可比導(dǎo)數(shù)矩陣j后，可采用如下公式計(jì)算高斯-牛頓法迭代增量δx^j：

δx^j＝(j^tj)^-1j^tε^j(2)

其中，j為雅可比導(dǎo)數(shù)矩陣j的轉(zhuǎn)置矩陣，δx^j為各內(nèi)、外參集中各參數(shù)第j次迭代后的高斯-牛頓法迭代增量集合。

需要說(shuō)明的是，在優(yōu)選的實(shí)施例中，為了避免在迭代過(guò)程中，內(nèi)、外參數(shù)收斂太快出現(xiàn)病態(tài)矩陣，可以在高斯-牛頓下降因子上加入阻尼系數(shù)，一種方法為levenberg-marquardt法，簡(jiǎn)稱lm法，具體為，在高斯牛頓增量公式(2)上增加阻尼因子μ，得到新的增量公式：δx^j＝(j^tj+μi)^-1j^tε^j，其中，δx^j為當(dāng)前次內(nèi)、外參的迭代增量，j為當(dāng)前次觀測(cè)模型對(duì)內(nèi)、外參集的雅可比導(dǎo)數(shù)矩陣，μ為阻尼系數(shù)，i為單位對(duì)角陣，ε^j為當(dāng)前次特征點(diǎn)的圖像觀測(cè)值與理論坐標(biāo)值之間的誤差，j為迭代次數(shù)。

步驟322：觀測(cè)模型更新。將當(dāng)前次內(nèi)、外參的迭代增量加入當(dāng)前的內(nèi)、外參集更新觀測(cè)模型。將公式(2)求得的高斯-牛頓法迭代增量δx^j與第j次內(nèi)、外參集x^j相加，即可得到下一次迭代的輸入內(nèi)、外參集x^j+1，于是完成了觀測(cè)模型f^j+1(x)的更新。

步驟323：計(jì)算下一次特征點(diǎn)誤差。根據(jù)更新后的觀測(cè)模型計(jì)算下一次(第j+1次)特征點(diǎn)的圖像觀測(cè)值與理論坐標(biāo)值之間的觀測(cè)誤差ε^j+1，具體的計(jì)算方式可參見(jiàn)步驟321，在此不再贅述。并判斷觀測(cè)誤差ε^j+1是否小于預(yù)設(shè)閾值c。

如果判斷結(jié)果為觀測(cè)誤差ε^j+1小于預(yù)設(shè)閾值c，則說(shuō)明當(dāng)前的精度達(dá)到要求，于是可以輸出步驟322求得的內(nèi)、外參集x^j+1，該參數(shù)集即為優(yōu)化后的內(nèi)、外參數(shù)集；

如果判斷結(jié)果為觀測(cè)誤差ε^j+1大于預(yù)設(shè)閾值c，則說(shuō)明當(dāng)前的精度未達(dá)到要求，需要返回步驟321進(jìn)行再次的迭代優(yōu)化誤差。

請(qǐng)參考圖7，為圖4所示的調(diào)試用模板圖像經(jīng)迭代優(yōu)化后的效果示意圖，圖7表明，依據(jù)上述實(shí)施例提供的調(diào)試方法，能夠有效地去除廣角攝像頭采集圖像所帶來(lái)的畸變，并且也能夠同時(shí)調(diào)試內(nèi)、外參數(shù)。

本申請(qǐng)的調(diào)試方法，通過(guò)將車停入調(diào)試用模板內(nèi)，經(jīng)獲取調(diào)試用激光十字線線模板的特征點(diǎn)、建立觀測(cè)模型和優(yōu)化圖像觀測(cè)值與理論坐標(biāo)值之間的誤差后，可獲取精確的內(nèi)、外參數(shù)，使得全景泊車輔助系統(tǒng)的圖像調(diào)試工作方法簡(jiǎn)便、效率高，免除廠家對(duì)攝像頭參數(shù)管理的繁重工作，提高了工作效率。

本領(lǐng)域技術(shù)人員可以理解，上述實(shí)施方式中各種方法的全部或部分功能可以通過(guò)硬件的方式實(shí)現(xiàn)，也可以通過(guò)計(jì)算機(jī)程序的方式實(shí)現(xiàn)。當(dāng)上述實(shí)施方式中全部或部分功能通過(guò)計(jì)算機(jī)程序的方式實(shí)現(xiàn)時(shí)，該程序可以存儲(chǔ)于一計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，存儲(chǔ)介質(zhì)可以包括：只讀存儲(chǔ)器、隨機(jī)存儲(chǔ)器、磁盤(pán)、光盤(pán)、硬盤(pán)等，通過(guò)計(jì)算機(jī)執(zhí)行該程序以實(shí)現(xiàn)上述功能。例如，將程序存儲(chǔ)在設(shè)備的存儲(chǔ)器中，當(dāng)通過(guò)處理器執(zhí)行存儲(chǔ)器中程序，即可實(shí)現(xiàn)上述全部或部分功能。另外，當(dāng)上述實(shí)施方式中全部或部分功能通過(guò)計(jì)算機(jī)程序的方式實(shí)現(xiàn)時(shí)，該程序也可以存儲(chǔ)在服務(wù)器、另一計(jì)算機(jī)、磁盤(pán)、光盤(pán)、閃存盤(pán)或移動(dòng)硬盤(pán)等存儲(chǔ)介質(zhì)中，通過(guò)下載或復(fù)制保存到本地設(shè)備的存儲(chǔ)器中，或?qū)Ρ镜卦O(shè)備的系統(tǒng)進(jìn)行版本更新，當(dāng)通過(guò)處理器執(zhí)行存儲(chǔ)器中的程序時(shí)，即可實(shí)現(xiàn)上述實(shí)施方式中全部或部分功能。

以上應(yīng)用了具體個(gè)例對(duì)本發(fā)明進(jìn)行闡述，只是用于幫助理解本發(fā)明，并不用以限制本發(fā)明。對(duì)于本發(fā)明所屬技術(shù)領(lǐng)域的技術(shù)人員，依據(jù)本發(fā)明的思想，還可以做出若干簡(jiǎn)單推演、變形或替換。