環(huán)景攝像機系統(tǒng)(vpm)在線校準的制作方法
【專利說明】環(huán)景攝像機系統(tǒng)(VPM)在線校準
與相關申請的交叉引用
[0001]本申請主張2014年5月16日提交的題目為“環(huán)景攝像機系統(tǒng)(VPM)在線校準”的美國臨時專利申請?zhí)朜0.61/994，649的優(yōu)先權日的權益。
技術領域
[0002]本發(fā)明主要涉及一種用于校準車輛上的環(huán)景攝像機系統(tǒng)中的攝像機的系統(tǒng)和方法，并且更特別地，涉及用于為車輛上的環(huán)景攝像機系統(tǒng)中的攝像機提供在線校準的系統(tǒng)和方法。
【背景技術】
[0003]現(xiàn)代車輛通常包括一個或多個攝像機，該攝像機可提供倒車輔助、拍攝車輛駕駛員的圖像以確定駕駛員困倦或注意力、提供車輛行駛時道路圖像用于避免碰撞目的、提供結構辨別，諸如道路標記等。其他的車輛視圖應用包括車道感測系統(tǒng)，其用于感測車輛行駛車道并在車道中央駕駛車輛。許多上述已知車道感測系統(tǒng)為各種應用檢測道路上的車道標識，諸如車道偏離警告(LDW)、車道保持(LK)、車道居中(LC)等，并且通常使用位于車輛前部或位于車輛后部的單一攝像機以提供用于檢測車道標識的圖像。
[0004]本領域已提出，在車輛上提供環(huán)景攝像機系統(tǒng)，其包括前置攝像機、后置攝像機以及左側(cè)和右側(cè)攝像機，其中攝像機系統(tǒng)使用來自攝像機的圖像生成車輛及周圍區(qū)域的自頂向下(top-down)的視圖，并且其中圖像在車輛角部處相互重疊。自頂向下的視圖可以顯示給車輛駕駛員，以看到車輛周圍的情況用于在倒車、泊車等。未來的車輛可能不使用后視鏡，而可以替代地包括由環(huán)景攝像機提供的數(shù)字圖像。
[0005]2013年4月9日授予Zhang(張)等人的題目為“具有環(huán)景系統(tǒng)的全速車道感測”的美國專利申請公開號N0.2013/0293717，轉(zhuǎn)讓給本申請的受讓人，并且通過引用方式并入本文，公開了一種通過檢測道路車道標識來在車輛上提供車道感側(cè)的系統(tǒng)和方法，其中該系統(tǒng)采用了提供車輛周圍的自頂向下視圖圖像的環(huán)景攝像機系統(tǒng)。該方法包括在自頂向下視圖中檢測左側(cè)和右側(cè)車道邊界線，并且然后確定圖像中的車道邊界線在該自頂向下視圖圖像中從一個圖像幀至下一個圖像幀是否對齊以及在圖像與圖像之間是否對齊。
[0006]對于許多基于攝像機的車輛應用而言，精確校準攝像機相對于車輛的定位和定向至關重要。攝像機校準通常指估算大量攝像機參數(shù)，包括內(nèi)在參數(shù)和外在參數(shù)，其中內(nèi)在參數(shù)包括焦距、光心、徑向畸變參數(shù)等，并且外在參數(shù)包括攝像機位置、攝像機定向等。攝像機外在參數(shù)校準通常包括確定將攝像機圖像坐標與車輛坐標關聯(lián)的一組參數(shù)，反之亦然。一些攝像機參數(shù)，諸如攝像機焦距、光心等，是穩(wěn)定的，而另一些參數(shù)，諸如攝像機的定向和位置，是不穩(wěn)定。例如，攝像機的高度取決于將會不時地變化的車輛的負載。
[0007]在已知的環(huán)景攝像機系統(tǒng)中，來自攝像機的圖像在車輛的角部處重疊，其中攝像機校準過程將相鄰圖像“拼接”在一起，使得單獨圖像中的公共元素直接相互重疊，以提供期望的自頂向下視圖。在車輛制造期間，這些攝像機圖像被拼接在一起以提供該圖像使用任何數(shù)量的校準技術，從而使得當車輛初次投入使用時，攝像機被正確地校準。使用的一種校準技術是將車輛定位于具有交替的明的和暗的正方形的測試板圖案上，其中正方開的每個點被便當?shù)刈R別。在顯影圖像中，使用這些點允許攝像機校準軟件修正圖像的位置，這樣使得在相同位置識別出相鄰圖像中的重疊點。
[0008]然而，一旦車輛投入使用，則可能發(fā)生各種情況，其可能導致攝像機定向和位置變化，其中攝像機的校準包括導致自頂向下圖像中產(chǎn)生未對準的誤差。這些情況可能包括車輛的負載，其導致攝像機位置(諸如高度)和/或攝像機定向(諸如俯仰角)相對于世界坐標發(fā)生改變；對車輛的小撞擊，其可能改變攝像機的定位和定向等。但是，處理來自攝像機的圖像以生成自頂向下視圖的當前視頻處理模塊(VPM)無法在車輛使用時在線重新校準攝像機。相反，車輛操作者必須將車輛帶至有能力以在車輛制造期間所進行的同樣方式重新校準攝像機的經(jīng)銷商或其他授權服務中心，這具有顯而易見的缺點。

【發(fā)明內(nèi)容】

[0009]本公開描述了一種為車輛上的環(huán)景攝像機系統(tǒng)中多個攝像機提供在線校準的系統(tǒng)和方法。所述方法提供來自環(huán)景系統(tǒng)中每個攝像機的連續(xù)圖像，并且識別相鄰攝像機的圖像重疊區(qū)。該方法識別圖像的重疊區(qū)中的匹配特征點，并且估算用于每個攝像機的世界坐標中的攝像機參數(shù)。然后，該方法估算車輛在世界坐標中的車輛姿態(tài)，并使用估算的世界坐標中的攝像機參數(shù)和估算的車輛姿態(tài)計算車輛坐標中的攝像機參數(shù)，以提供校準。
本發(fā)明包括以下方案:
1、一種為車輛上的環(huán)景攝像機系統(tǒng)中的多個攝像機提供在線校準的方法，所述方法包括:
提供來自環(huán)景攝像機系統(tǒng)中每個攝像機的連續(xù)圖像，其中來自前視攝像機的圖像與來自右視攝像機的圖像重疊，來自前視攝像機的圖像與來自左視攝像機的圖像重疊，來自后視攝像機的圖像與來自右視攝像機的圖像重疊，以及來自后視攝像機的圖像與來自左視攝像機的圖像重疊；
識別來自前視攝像機、左視攝像機、右視攝像機和后視攝像機的圖像的重疊區(qū)中的匹配特征點；
估算每個攝像機在世界坐標中的攝像機參數(shù)；
估算車輛在世界坐標中的車輛姿態(tài)；以及
利用估算的世界坐標中的攝像機參數(shù)和估算的世界坐標中的車輛姿態(tài)來確定車輛坐標中的攝像機外部參數(shù)，其中攝像機外部參數(shù)限定特定攝像機的在線校準。
2、如上述方案I中所述的方法，其中估算世界坐標中的攝像機參數(shù)包括限定用于每個攝像機的旋轉(zhuǎn)矩陣和轉(zhuǎn)換矢量。
3、如上述方案2中所述的方法，其中旋轉(zhuǎn)矩陣限定每個攝像機在世界坐標中的俯仰角、側(cè)傾角和橫擺角。
4、如上述方案I中所述的方法，其中估算車輛姿態(tài)包括利用車輛速度和車輛橫擺率的輸入來確定車輛是否在直線駕駛。
5、如上述方案I中所述的方法，其中估算車輛姿態(tài)包括追蹤在車輛前方并沿側(cè)面或者在車輛后方并沿側(cè)面的顯著距離的固定參照物體上的點。 6、如上述方案I中所述的方法，其中估算車輛姿態(tài)包括計算相對于車輛前方或后方的消失點的圖像的光流。
7、如上述方案I中所述的方法，其中估算車輛姿態(tài)包括監(jiān)測車輛上的車輛車身參照點。
8、如上述方案I中所述的方法，進一步包括為攝像機的在線校準提供驗證、跟蹤和求精過程。
9、如上述方案8中所述的方法，其中驗證過程驗證用于直線和平穩(wěn)車輛駕駛的校準估算，以證實來自攝像機的重疊圖像中的匹配特征點被對齊。
10、一種提供安裝在移動平臺上的多個攝像機的在線校準的方法，所述方法包括:
提供來自于每個攝像機的連續(xù)圖像，其中來自相鄰攝像機的圖像重疊以限定重疊區(qū)；
識別重疊區(qū)中的匹配特征點；
估算每個攝像機在世界坐標中的攝像機參數(shù)；
估算平臺在世界坐標中的姿態(tài)；以及
利用估算的世界坐標中的攝像機參數(shù)和估算的平臺在世界坐標中的姿態(tài)來確定平臺坐標中的攝像機外部參數(shù)，其中攝像機外部參數(shù)限定特定攝像機的在線校準。
11、如上述方案10中所述的方法，其中估算世界坐標中的攝像機參數(shù)包括限定用于每個攝像機的旋轉(zhuǎn)矩陣和轉(zhuǎn)換矢量。
12、如上述方案11中所述的方法，其中旋轉(zhuǎn)矩陣限定每個攝像機在世界坐標中的俯仰角、側(cè)傾角和橫擺角。
13、如上述方案10中所述的方法，其中估算結構姿態(tài)包括利用平臺速度和平臺橫擺率的輸入來確定平臺是否在直線移動。
14、一種提供車輛上的環(huán)景攝像機系統(tǒng)中的多個攝像機的在線校準的系統(tǒng)，所述系統(tǒng)包括:
用于提供來自環(huán)景攝像機系統(tǒng)中每個攝像機的連續(xù)圖像的裝置，其中來自前視攝像機的圖像與來自右視攝像機的圖像重疊，來自前視攝像機的圖像與來自左視攝像機的圖像重疊，來自后視攝像機的圖像與來自右視攝像機的圖像重疊，以及來自后視攝像機的圖像與來自左視攝像機的圖像重疊；
用于識別來自前視攝像機、左視攝像機、右視攝像機和后視攝像機的圖像的重疊區(qū)中的匹配特征點的裝置；
用于估算每個攝像機在世界坐標中的攝像機參數(shù)的裝置；
用于估算車輛在世界坐標中的車輛姿態(tài)的裝置；以及
用于利用估算的世界坐標中的攝像機參數(shù)和估算的世界坐標中的車輛姿態(tài)來確定車輛坐標中的攝像機外部參數(shù)的裝置，其中攝像機外部參數(shù)限定特定攝像機的在線校準。
15、如上述方案14中所述的系統(tǒng)，其中用于估算世界坐標中的攝像機參數(shù)的裝置限定用于每個攝像機的旋轉(zhuǎn)矩陣和轉(zhuǎn)換矢量。
16、如上述方案15中所述的系統(tǒng)，其中旋轉(zhuǎn)矩陣限定每個攝像機在世界坐標中的俯仰角、側(cè)傾角和橫擺角。
17、如上述方案14中所述的系統(tǒng)，其中用于估算車輛姿態(tài)的裝置包括利用車輛速度和車輛橫擺率的輸入來確定車輛是否在直線駕駛。 18、如上述方案