寬視場攝像機(jī)圖像的校準(zhǔn)和扭曲恢復(fù)的制作方法
【專利摘要】本發(fā)明涉及寬視場攝像機(jī)圖像的校準(zhǔn)和扭曲恢復(fù)，具體提供一種對(duì)超寬視場攝像機(jī)進(jìn)行校準(zhǔn)和扭曲恢復(fù)的系統(tǒng)和方法。所述方法包括利用接近光軸的物點(diǎn)的多個(gè)測量值和針孔攝像機(jī)模型估算固有參數(shù)，諸如攝像機(jī)的焦距和攝像機(jī)的像中心。所述方法進(jìn)一步包括利用角變形模型估算攝像機(jī)的變形參數(shù)，該角變形模型限定穿過物體空間中的物點(diǎn)的入射光線與像平面上的像點(diǎn)之間的角關(guān)系，所述像平面上的像點(diǎn)是入射光線上的物點(diǎn)的圖像。所述方法可包括參數(shù)優(yōu)化過程以進(jìn)一步精確參數(shù)估算值。
【專利說明】寬視場攝像機(jī)圖像的校準(zhǔn)和扭曲恢復(fù)
[0001]相關(guān)申請(qǐng)的交叉引用
本申請(qǐng)要求2012年9月25日提交的名稱為寬視場攝像機(jī)圖像的校準(zhǔn)和扭曲恢復(fù)的美國臨時(shí)專利申請(qǐng)序列號(hào)N0.61/705，534的 優(yōu)先權(quán)日:的權(quán)益。
【技術(shù)領(lǐng)域】
[0002]本發(fā)明總體涉及對(duì)寬視場(F0V)攝像機(jī)進(jìn)行校準(zhǔn)和扭曲恢復(fù)的系統(tǒng)和方法，更具體地涉及對(duì)超寬視場(F0V)車輛攝像機(jī)進(jìn)行校準(zhǔn)和扭曲恢復(fù)的系統(tǒng)和方法，其中，所述方法首先估算攝像機(jī)的焦距和攝像機(jī)像平面的光學(xué)中心，然后利用角變形估算模型確定變形參數(shù)。
【背景技術(shù)】
[0003]現(xiàn)代車輛通常包括一個(gè)或多個(gè)攝像機(jī)，用于提供倒車輔助，拍攝車輛駕駛員的圖像以確定駕駛員困倦或?qū)Ｗ⒊潭?，在車輛行駛時(shí)為了避免碰撞而提供路面圖像，提供結(jié)構(gòu)識(shí)別(諸如道路標(biāo)志識(shí)別)，等等。對(duì)于圖形重疊在攝像機(jī)圖像上的那些應(yīng)用，關(guān)鍵是準(zhǔn)確地校準(zhǔn)攝像機(jī)相對(duì)于車輛的位置和方向。攝像機(jī)校準(zhǔn)通常包括確定使攝像機(jī)圖像坐標(biāo)與車輛坐標(biāo)相關(guān)(反之亦然)的一組參數(shù)。一些攝像機(jī)參數(shù)是穩(wěn)定的，諸如攝像機(jī)焦距、光學(xué)中心等，而另一些參數(shù)是不穩(wěn)定的，諸如攝像機(jī)的方向和位置。例如，攝像機(jī)的高度取決于車輛的負(fù)荷，該負(fù)荷將實(shí)時(shí)變化。該變化會(huì)導(dǎo)致攝像機(jī)圖像上的車輛軌跡重疊圖像不準(zhǔn)確。
[0004]當(dāng)前的車輛上的后倒車攝像機(jī)通常是寬視場攝像機(jī)，例如，135°視場。寬視場攝像機(jī)通常提供彎曲的圖像，這導(dǎo)致圖像的邊緣周圍發(fā)生圖像變形。在本領(lǐng)域已知為這些類型的攝像機(jī)圖像提供變形修正的各種方法，包括利用基于針孔攝像機(jī)的模型和通過限定徑向參數(shù)來修正徑向變形的模型。
[0005]在本領(lǐng)域中已經(jīng)提出在車輛上設(shè)置包括前攝像機(jī)、后攝像機(jī)以及左和右攝像機(jī)的環(huán)繞視野攝像機(jī)系統(tǒng)，其中，該攝像機(jī)系統(tǒng)利用來自攝像機(jī)的圖像產(chǎn)生車輛和周圍區(qū)域的俯視視野，并且其中，圖像在車輛轉(zhuǎn)角處互相重疊。該俯視視野可以顯示給車輛駕駛員，以觀看圍繞車輛的事物，以便倒車、停車等。此外，未來的車輛可能不采用后視鏡，但是可以替代地包括由環(huán)繞視野攝像機(jī)提供的數(shù)字圖像。
[0006]為了用最少數(shù)量的攝像機(jī)在車輛的整個(gè)周圍提供環(huán)繞視野，可用的具有135°視場的寬視場攝像機(jī)將無法提供所需的覆蓋程度，并且因此，攝像機(jī)將必須是具有180°或更大視場的超寬視場攝像機(jī)。這些類型的超寬視場攝像機(jī)有時(shí)被稱作魚眼攝像機(jī)，因?yàn)樗鼈兊膱D像是顯著彎曲或變形的。為了使車輛倒車和環(huán)繞視野應(yīng)用有效，需要修正圖像的變形。

【發(fā)明內(nèi)容】

[0007]根據(jù)本發(fā)明的教導(dǎo)，公開了對(duì)超寬視場攝像機(jī)進(jìn)行校準(zhǔn)和扭曲恢復(fù)的系統(tǒng)和方法。所述方法包括利用接近光軸的物點(diǎn)的多個(gè)測量值和針孔攝像機(jī)模型估算固有參數(shù)，諸如攝像機(jī)的焦距和攝像機(jī)的像中心。所述方法進(jìn)一步包括利用角變形模型估算攝像機(jī)的變形參數(shù)，該角變形模型限定穿過物體空間中的物點(diǎn)的入射光線與作為入射光線上的物點(diǎn)的圖像的像平面上的像點(diǎn)之間的角關(guān)系。所述方法可包括參數(shù)優(yōu)化過程以進(jìn)一步精確參數(shù)估算值。
[0008]方案1.一種用于對(duì)攝像機(jī)進(jìn)行校準(zhǔn)和扭曲恢復(fù)的方法，所述方法包括:
估算攝像機(jī)的焦距；
估算攝像機(jī)的像平面的像中心；
提供角變形模型，該角變形模型限定穿過物體空間中的物點(diǎn)的入射光線與像平面上的像點(diǎn)之間的角關(guān)系，所述像平面上的像點(diǎn)是入射光線上的物點(diǎn)的圖像；以及估算變形模型中的變形參數(shù)。
[0009]方案2.根據(jù)方案1所述的方法，進(jìn)一步包括優(yōu)化所估算的參數(shù)以進(jìn)一步精確參數(shù)估算。
[0010]方案3.根據(jù)方案2所述的方法，其中，優(yōu)化所估算的參數(shù)包括:利用攝像機(jī)的焦距和像中心以及目標(biāo)上多個(gè)點(diǎn)的變形參數(shù)的初步估算值來進(jìn)一步精確焦距和像中心的估算值和攝像機(jī)位置的估算值，并且利用經(jīng)進(jìn)一步精確的焦距和像中心的估算值來進(jìn)一步精確變形參數(shù)的估算值，并且其中，迭代地執(zhí)行對(duì)焦距、像中心、攝像機(jī)位置和變形參數(shù)的估算值的進(jìn)一步精確，直至達(dá)到預(yù)定值。[0011]方案4.根據(jù)方案1所述的方法，其中，估算攝像機(jī)的焦距和像平面的像中心包括:將攝像機(jī)安裝到平移臺(tái)并且沿該臺(tái)將攝像機(jī)移動(dòng)到不同位置，將棋盤式目標(biāo)安裝到與平移臺(tái)相對(duì)應(yīng)地安置的目標(biāo)臺(tái)，圍繞攝像機(jī)的光軸在目標(biāo)上限定包括棋盤式目標(biāo)中的方塊的目標(biāo)區(qū)域，以及利用針孔攝像機(jī)模型和沿所述臺(tái)的不同位置處獲取的圖像中的方塊的角的位置來確定焦距和像中心。
[0012]方案5.根據(jù)方案4所述的方法，進(jìn)一步包括確定攝像機(jī)的非固有參數(shù)。
[0013]方案6.根據(jù)方案5所述的方法，其中，所述攝像機(jī)的非固有參數(shù)包括在物體空間坐標(biāo)中的攝像機(jī)的旋轉(zhuǎn)矩陣和攝像機(jī)的平移矢量。
[0014]方案7.根據(jù)方案6所述的方法，其中，利用從攝像機(jī)光圈點(diǎn)到物體空間中心點(diǎn)的矢量確定所述平移矢量。
[0015]方案8.根據(jù)方案6所述的方法，其中，通過針孔攝像機(jī)模型確定旋轉(zhuǎn)矩陣和平移矢量。
[0016]方案9.根據(jù)方案4所述的方法，其中，所述目標(biāo)區(qū)域滿足針孔攝像機(jī)模型和立體直線投影條件。
[0017]方案10.根據(jù)方案1所述的方法，其中，估算變形參數(shù)包括將攝像機(jī)安裝到沿兩個(gè)垂直旋轉(zhuǎn)方向旋轉(zhuǎn)攝像機(jī)的雙軸旋轉(zhuǎn)臺(tái)，以及基于兩個(gè)旋轉(zhuǎn)角的組合計(jì)算組合角。
[0018]方案11.根據(jù)方案10所述的方法，其中，確定角變形參數(shù)包括確定多組兩個(gè)旋轉(zhuǎn)角的組合入射角。
[0019]方案12.根據(jù)方案1所述的方法，其中，提供角變形模型包括利用下列方程:
【權(quán)利要求】
1.一種用于對(duì)攝像機(jī)進(jìn)行校準(zhǔn)和扭曲恢復(fù)的方法，所述方法包括:估算攝像機(jī)的焦距；估算攝像機(jī)的像平面的像中心；提供角變形模型，該角變形模型限定穿過物體空間中的物點(diǎn)的入射光線與像平面上的像點(diǎn)之間的角關(guān)系，所述像平面上的像點(diǎn)是入射光線上的物點(diǎn)的圖像；以及估算變形模型中的變形參數(shù)。
2.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括優(yōu)化所估算的參數(shù)以進(jìn)一步精確參數(shù)估笪
3.根據(jù)權(quán)利要求2所述的方法，其中，優(yōu)化所估算的參數(shù)包括:利用攝像機(jī)的焦距和像中心以及目標(biāo)上多個(gè)點(diǎn)的變形參數(shù)的初步估算值來進(jìn)一步精確焦距和像中心的估算值和攝像機(jī)位置的估算值，并且利用經(jīng)進(jìn)一步精確的焦距和像中心的估算值來進(jìn)一步精確變形參數(shù)的估算值，并且其中，迭代地執(zhí)行對(duì)焦距、像中心、攝像機(jī)位置和變形參數(shù)的估算值的進(jìn)一步精確，直至達(dá)到預(yù)定值。
4.根據(jù)權(quán)利要求1所述的方法，其中，估算攝像機(jī)的焦距和像平面的像中心包括:將攝像機(jī)安裝到平移臺(tái)并且沿該臺(tái)將攝像機(jī)移動(dòng)到不同位置，將棋盤式目標(biāo)安裝到與平移臺(tái)相對(duì)應(yīng)地安置的目標(biāo)臺(tái)，圍繞攝像機(jī)的光軸在目標(biāo)上限定包括棋盤式目標(biāo)中的方塊的目標(biāo)區(qū)域，以及利用針孔攝像機(jī)模型和沿所述臺(tái)的不同位置處獲取的圖像中的方塊的角的位置來確定焦距和像中心。
5.根據(jù)權(quán)利要求4所述的方法，進(jìn)一步包括確定攝像機(jī)的非固有參數(shù)。`
6.根據(jù)權(quán)利要求5所述的方法，其中，所述攝像機(jī)的非固有參數(shù)包括在物體空間坐標(biāo)中的攝像機(jī)的旋轉(zhuǎn)矩陣和攝像機(jī)的平移矢量。
7.根據(jù)權(quán)利要求6所述的方法，其中，利用從攝像機(jī)光圈點(diǎn)到物體空間中心點(diǎn)的矢量確定所述平移矢量。
8.根據(jù)權(quán)利要求6所述的方法，其中，通過針孔攝像機(jī)模型確定旋轉(zhuǎn)矩陣和平移矢量。
9.一種用于對(duì)寬視場或超寬視場車用攝像機(jī)進(jìn)行校準(zhǔn)和扭曲恢復(fù)的方法，所述方法包括:估算攝像機(jī)的焦距和像平面的像中心，其中，估算攝像機(jī)的焦距和像平面的像中心包括:將攝像機(jī)安裝到平移臺(tái)并且沿該臺(tái)將攝像機(jī)移動(dòng)到不同位置，將棋盤式目標(biāo)安裝到與平移臺(tái)相對(duì)應(yīng)地安置的目標(biāo)臺(tái)，圍繞攝像機(jī)的光軸在目標(biāo)上限定包括棋盤式目標(biāo)中的方塊的目標(biāo)區(qū)域，以及利用針孔攝像機(jī)模型和沿所述臺(tái)的不同位置處獲取的圖像中的方塊的角的位置來確定焦距和像中心；提供角變形模型，該角變形模型限定穿過物體空間中的物點(diǎn)的入射光線與作為入射光線上的物點(diǎn)的圖像的像平面上的像點(diǎn)之間的角關(guān)系；以及估算變形模型中的變形參數(shù)，其中，估算變形參數(shù)包括將攝像機(jī)安裝到沿兩個(gè)垂直的旋轉(zhuǎn)方向旋轉(zhuǎn)攝像機(jī)的雙軸旋轉(zhuǎn)臺(tái)，以及基于兩個(gè)旋轉(zhuǎn)角的組合來計(jì)算組合角。
10.一種用于對(duì)攝像機(jī)進(jìn)行校準(zhǔn)和扭曲恢復(fù)的系統(tǒng)，所述系統(tǒng)包括:用于估算攝像機(jī)的焦距的裝置；用于估算攝像機(jī)的像平面的像中心的裝置；用于提供角變形模型的裝置，該角變形模型限定穿過物體空間中的物點(diǎn)的入射光線與作為入射光線上的物點(diǎn)的圖像的像平面上的像點(diǎn)之間的角關(guān)系；以及用于估算變形模型中的變形參數(shù)的裝置。
【文檔編號(hào)】H04N5/232GK103685936SQ201310440993
【公開日】2014年3月26日 申請(qǐng)日期:2013年9月25日 優(yōu)先權(quán)日:2012年9月25日
【發(fā)明者】W.張, J.王, B.B.利特庫希 申請(qǐng)人:通用汽車環(huán)球科技運(yùn)作有限責(zé)任公司