用于車輛上攝像機的在線校準(zhǔn)的系統(tǒng)、車輛和方法
【專利摘要】本發(fā)明涉及用于車輛上攝像機的在線校準(zhǔn)的系統(tǒng)、車輛和方法。用于車輛(1)上攝像機(2、3、4)的在線校準(zhǔn)的方法被提供。攝像機(2、3、4)在攝像機圖像坐標(biāo)系中具有攝像機旋轉(zhuǎn)參數(shù)、θ、ψ與攝像機平移參數(shù)xc、yc、zc，并且車輛具有車輛坐標(biāo)系。所述方法包括：在車輛(1)相對于地面移動的同時，使用平行幾何方法校準(zhǔn)攝像機旋轉(zhuǎn)參數(shù)、θ、ψ，并獨立于攝像機旋轉(zhuǎn)參數(shù)、θ、ψ校準(zhǔn)攝像機平移參數(shù)xc、yc。
【專利說明】用于車輛上攝像機的在線校準(zhǔn)的系統(tǒng)、車輛和方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于車輛（vehicle)上攝像機（camera)的在線校準(zhǔn)（calibration) 的系統(tǒng)、車輛和方法。

【背景技術(shù)】
[0002] -輛車可能包括一個或更多個用于捕獲其周圍環(huán)境的圖像的攝像機。所述圖像可 用于檢測諸如路上的車道或交通標(biāo)志的目標(biāo)的存在，或可給駕駛員提供車輛的緊接附近的 視圖（view)。車輛的緊接附近的視圖可用于在停車時輔助駕駛員，或可用于提高安全性，因 為駕駛員能夠觀看到在正常駕駛位置中對他遮擋住的區(qū)域。還可從捕獲的一張或多張圖像 檢測危險或隱患，并然后給駕駛員提供警告，或者可結(jié)合駕駛員輔助系統(tǒng)使用該信息，以有 效地控制車輛并避免危險。
[0003] 典型地，在車輛上提供幾個攝像機，例如四個。來自每個攝像機的圖像可被組合， 以提供頂視圖（也稱為鳥瞰圖）或全景圖的形式的360°圖像。為了提供不間斷的360° 視圖，來自相鄰攝像機（例如前攝像機和側(cè)攝像機）的圖像可彼此重疊。
[0004] 可對攝像機進(jìn)行校準(zhǔn)以確定攝像機相對于其周圍環(huán)境的位置和取向。對車輛而 言，可確定攝像機相對于已知基準(zhǔn)（datum)(例如前軸中心）的位置和取向，以便來自攝像 機的圖像可被用于例如將多個攝像機視圖準(zhǔn)確組合成單個環(huán)繞視圖并準(zhǔn)確確定障礙物的 范圍。
[0005] 可在車輛制造期間執(zhí)行攝像機的校準(zhǔn)。但是，已開發(fā)出了在車輛駕駛的同時自動 校準(zhǔn)攝像機的系統(tǒng)，以補償在車輛壽命內(nèi)可能出現(xiàn)的未對準(zhǔn)，或在其制造之后對安裝在車 輛上的攝像機的位置進(jìn)行校準(zhǔn)。例如，DE 10 2009 057 996 Al公開了用于確定攝像機相 對于車輛位置的位置的系統(tǒng)。這樣的在車輛移動的同時對攝像機進(jìn)行校準(zhǔn)的系統(tǒng)可被稱為 在線校準(zhǔn)系統(tǒng)。


【發(fā)明內(nèi)容】

[0006] 本發(fā)明的目的是提供一種用于車輛上攝像機的在線校準(zhǔn)的方法和系統(tǒng)，其使得能 夠進(jìn)行準(zhǔn)確的校準(zhǔn)，并且其可使用較少的處理資源被執(zhí)行。
[0007] 通過獨立權(quán)利要求的主題解決了這一目的。進(jìn)一步的有利特征是從屬權(quán)利要求的 主題。
[0008] -種用于車輛上攝像機的在線校準(zhǔn)的方法被提供。攝像機在攝像機圖像坐標(biāo)系 中具有攝像機旋轉(zhuǎn)參數(shù)9、θ、ψ以及攝像機平移參數(shù) X、y、Z，并且車輛具有車輛坐標(biāo)系。 所述方法包括：在車輛相對于地面移動的同時，使用平行幾何方法校準(zhǔn)攝像機旋轉(zhuǎn)參數(shù)φ、 θ、v，并且獨立于攝像機旋轉(zhuǎn)參數(shù)φ、Θ、ψ校準(zhǔn)攝像機平移參數(shù)Xe、y。。
[0009] 攝像機旋轉(zhuǎn)參數(shù)通過歐拉角Φ、θ、ψ表示，而攝像機平移參數(shù)通過笛卡爾坐標(biāo)系 x^y^z。表示,這里,z。是攝像機在地面之上的高度,X。表示汽車長度上的方向，而y。是汽車 寬度上的方向。可使用平行幾何方法（諸如WO 2012/143036 Al中公開的平行幾何方法） 確定攝像機旋轉(zhuǎn)參數(shù)Φ、Θ、V，并且可選地，確定高度z。。
[0010] 根據(jù)本發(fā)明，在與攝像機旋轉(zhuǎn)參數(shù)φ、θ、ψ分離的步驟中對攝像機的平移參 數(shù)xe、y。進(jìn)行校準(zhǔn)。這避免了由于試圖同時求解多個獨立變量而造成的數(shù)據(jù)模糊（data ambiguity)，其中，如果在單個方法中校準(zhǔn)旋轉(zhuǎn)參數(shù)和平移參數(shù)，則可能出現(xiàn)所述數(shù)據(jù)模 糊。
[0011] 在一個實施案例中，由于可在不知曉攝像機平移參數(shù)X。、y。的情況下實施平行幾 何方法，因此在第一步驟中使用該方法來校準(zhǔn)攝像機旋轉(zhuǎn)參數(shù)以及攝像機高度Z。。因此，通 過首先校準(zhǔn)旋轉(zhuǎn)參數(shù)φ、θ、ψ和高度參數(shù)z。，并通過在第二獨立階段中校準(zhǔn)平移參數(shù)X。、 y。，來將整個校準(zhǔn)分為兩個階段。因此，避免了由于同時求解相互依賴的參數(shù)而造成的任何 準(zhǔn)確度下降。
[0012] 攝像機可以是每秒捕獲許多圖像或幀的數(shù)字或模擬的視頻攝像機?？稍陲@示圖 像的同時捕獲圖像并存儲數(shù)據(jù)?？赏瑫r地或在收集數(shù)據(jù)集之后的后來時間執(zhí)行對圖像的 分析，以識別圖像中的一個或更多個特征并跟蹤特征的軌跡。還可收集多個數(shù)據(jù)集以進(jìn)一 步提高校準(zhǔn)的準(zhǔn)確度。表示實際的車輛移動的數(shù)據(jù)（例如車輛速度和換向角（Steering angle))可同時被收集，并與圖像和/或從圖像獲得的數(shù)據(jù)相關(guān)聯(lián)。
[0013] 在一實施例中，通過確定相對于車輛坐標(biāo)系的攝像機平移參數(shù)X。、y。的差，并將偏 移（offset)施加至攝像機圖像坐標(biāo)系中的平移參數(shù)X。、y。，來校準(zhǔn)攝像機平移參數(shù)X。、y。。 計算該偏移以對該差進(jìn)行補償。
[0014] 可在車輛沿彎曲路徑移動的同時對攝像機平移參數(shù)Xc;、y。進(jìn)行校準(zhǔn)。因此，在一實 施例中，所述方法包括確定車輛正沿彎曲路徑移動，并在車輛沿彎曲路徑移動的同時對攝 像機平移參數(shù) Xc;、y。進(jìn)行校準(zhǔn)。換向盤的位置可從車輛控制單元獲得，并被評估以確定車輛 正沿直線還是沿彎曲路徑行駛。在一些實施例中，僅在車輛正沿彎曲路徑移動的同時才可 發(fā)生對平移參數(shù) Xc;、y。的校準(zhǔn)。
[0015] 在一實施例中，通過確定攝像機圖像坐標(biāo)系中的車輛轉(zhuǎn)向（turning)中心與車輛 坐標(biāo)系中的車輛轉(zhuǎn)向中心之間的差，來對攝像機平移參數(shù)X。、y。進(jìn)行校準(zhǔn)。
[0016] 特別地，可通過跟蹤攝像機在一時間段上捕獲的至少兩個圖像中的兩個或更多個 特征，將所述兩個或更多個特征映射到地平面，使弧與映射的特征擬合，并根據(jù)弧計算攝像 機圖像坐標(biāo)系中的車輛轉(zhuǎn)向中心，來確定攝像機圖像坐標(biāo)系中的車輛轉(zhuǎn)向中心。
[0017] 可通過測量車輛換向角，并根據(jù)車輛換向角計算車輛坐標(biāo)系中的車輛轉(zhuǎn)向中心， 來確定車輛坐標(biāo)系中的車輛轉(zhuǎn)向中心。
[0018] 如果攝像機圖像坐標(biāo)系中與車輛坐標(biāo)系中的車輛轉(zhuǎn)向中心的位置的差被確定，則 確定要添加至攝像機平移參數(shù)X。、y。的偏移，使得攝像機圖像坐標(biāo)系中的車輛轉(zhuǎn)向中心的 位置與車輛坐標(biāo)系中的車輛轉(zhuǎn)向中心的位置對應(yīng)。該偏移然后被施加至攝像機平移參數(shù) xc、yc。
[0019] 為了進(jìn)一步提高校準(zhǔn)的準(zhǔn)確度，可在車輛沿逆時針彎曲的彎曲路徑和沿順時針彎 曲的彎曲路徑移動（即，駕駛員正換向至左面或至右面）的同時，對攝像機平移參數(shù) Xc;、y。 進(jìn)行校準(zhǔn)。
[0020] 還可通過在車輛沿具有不同半徑的彎曲路徑移動的同時（即，在車輛正通過平緩 曲線或陡峭曲線移動至左面或至右面時）對攝像機平移參數(shù)x^y。進(jìn)行校準(zhǔn)，來提高校準(zhǔn)的 準(zhǔn)確度。
[0021] 典型地，用于校準(zhǔn)攝像機旋轉(zhuǎn)參數(shù)的平行幾何方法僅在車輛正沿直線行駛的情況 下被執(zhí)行。因此，在進(jìn)一步的實施例中，所述方法包括確定車輛正沿直線行駛，并使用平行 幾何方法校準(zhǔn)攝像機旋轉(zhuǎn)參數(shù)φ、θ、Ψ。例如，換向盤角度可被用于確定車輛正沿直線行 駛?；谄叫袔缀卧淼母鞣N方法可被用于確定攝像機旋轉(zhuǎn)參數(shù)，以及可選地，確定攝像機 1?度 zc。
[0022] 在一實施例中，平行幾何方法包括：在車輛沿直線行駛的同時，對來自攝像機在一 時間段上捕獲的至少兩個圖像的兩個或更多個縱向特征進(jìn)行跟蹤，并且調(diào)整攝像機旋轉(zhuǎn)， 使得從攝像機圖像坐標(biāo)系映射到車輛坐標(biāo)系時所記錄的軌跡平行。
[0023] 如果要確定攝像機的高度，則這可通過在跟蹤縱向特征的同時記錄車輛速度、并 確定特征在預(yù)定時間段中在攝像機圖像中已移動的距離來執(zhí)行。
[0024] 可通過確定根據(jù)攝像機圖像測量的距離與根據(jù)車輛速度計算的預(yù)測距離之間的 差，根據(jù)該差計算攝像機的高度的偏移，并將該偏移添加至攝像機高度的存儲值，來對攝像 機的高度進(jìn)行校準(zhǔn)。
[0025] 還提供了一種計算機程序產(chǎn)品，其包括其上有形地實施的代碼，當(dāng)在處理器上執(zhí) 行所述代碼時，使所述處理器執(zhí)行上述實施例之一的方法。
[0026] 計算機程序產(chǎn)品可為諸如光驅(qū)動器、硬盤、閃存等的數(shù)據(jù)載體。如果計算機程序要 升級或增強現(xiàn)有系統(tǒng)，則該實施例可能是有用的。
[0027] 還可將計算機程序存儲在用于圖像捕獲和/或圖像處理的設(shè)備或系統(tǒng)中的存儲 器中。如果設(shè)備和系統(tǒng)被提供以用于安裝在車輛中，則可使用該實施例。
[0028] 提供了一種包括校準(zhǔn)單元的系統(tǒng)，該校準(zhǔn)單元包括：用于從至少一個攝像機接收 圖像的第一輸入裝置；用于存儲攝像機平移參數(shù)X^y。、％以及攝像機旋轉(zhuǎn)參數(shù)φ、Θ、Ψ的 存儲器；用于接收實際的車輛換向角的第二輸入裝置；用于接收實際的車輛速度的第三輸 入裝置；以及用于執(zhí)行上述實施例之一的方法的處理裝置。處理裝置可包括存儲器，該存儲 器包括有形代碼，當(dāng)通過處理裝置執(zhí)行該有形代碼時，使處理裝置執(zhí)行上述實施例之一的 方法。
[0029] 系統(tǒng)可進(jìn)一步包括至少一個攝像機以及用于顯示來自攝像機的圖像的顯示器。
[0030] 典型地，在車輛上設(shè)置幾個攝像機，例如四個。來自每個攝像機的圖像可被組合， 以提供頂視圖（也稱為鳥瞰圖）或全景圖的形式的360°圖像。典型地，為了提供不間斷的 360°視圖，來自相鄰攝像機（例如前攝像機和側(cè)攝像機）的圖像彼此重疊?？墒褂糜商幚?單元實施的另外方法對來自兩個或更多個攝像機的圖像進(jìn)行組合。使用這里描述的方法之 一對攝像機的校準(zhǔn)可被用于去除或減小由不同攝像機捕獲的圖像內(nèi)的特征的位置差，以提 供"無縫"組合圖像。
[0031] 提供了一種車輛，其包括安裝在車輛上的至少一個攝像機和上述實施例之一的系 統(tǒng)。

【專利附圖】

【附圖說明】
[0032] 現(xiàn)在將參照附圖對實施例進(jìn)行描述。
[0033] 圖1示出車輛和車輛坐標(biāo)系的示意圖。
[0034] 圖2示出包括攝像機和用于校準(zhǔn)攝像機的系統(tǒng)的車輛的示意圖。
[0035] 圖3示出用于車輛上攝像機的在線校準(zhǔn)的方法的示意圖。
[0036] 圖4示出用于校準(zhǔn)攝像機平移參數(shù)的方法的示意圖。
[0037] 圖5示出用于校準(zhǔn)攝像機旋轉(zhuǎn)參數(shù)的方法的示意圖。

【具體實施方式】
[0038] 圖1示出車輛1和車輛坐標(biāo)系xv、yv、zv的示意圖。車輛坐標(biāo)系是具有基準(zhǔn)的笛卡 爾坐標(biāo)系，在本實施例中基準(zhǔn)被取作前軸中心。在車輛坐標(biāo)系中，方向X v在車輛長度方向 上延伸，方向yv在車輛寬度方向上，并且方向zv在車輛高度方向上。由于基準(zhǔn)位于前軸中 心，因此，-y v延伸至車輛左面，+yv延伸至車輛右面，-χν為前軸的前面，+χν為前軸的后面， +z v在前軸上面，且-zv在前軸下面。
[0039] 圖2示出包括四個攝像機的車輛1的示意側(cè)視圖，其中三個攝像機2、3、4示出在 車輛1的視圖中。攝像機2被定位為捕獲車輛前面的環(huán)境，攝像機3被定位為捕獲面向車 輛左側(cè)的環(huán)境，攝像機4被定位為捕獲車輛后面的環(huán)境，并且未示出的攝像機被定位于車 輛右手側(cè)以捕獲車輛1右面的環(huán)境。
[0040] 攝像機具有廣的視野，以便能捕獲車輛1的緊接附近的完整360°圖像。然而，這 里描述的方法可用于具有較小視野的攝像機，可用于包含僅單個攝像機或多于四個攝像機 的車輛。
[0041] 攝像機具有內(nèi)在參數(shù)和外在參數(shù)。攝像機外在參數(shù)描述攝像機圖像坐標(biāo)系，該攝 像機圖像坐標(biāo)系包含三個旋轉(zhuǎn)參數(shù)φ、θ、 Ψ和三個平移參數(shù)Xe、ye、z。。三個平移參數(shù)Xc、 yc;、z。在圖2中示出。
[0042] 希望攝像機圖像坐標(biāo)系的這些參數(shù)與真實世界的那些參數(shù)對應(yīng)，例如，與車輛坐 標(biāo)系的那些參數(shù)對應(yīng)，使得攝像機的圖像中所捕獲的特征的位置可準(zhǔn)確映射到它們在真實 世界中的位置。該映射可用于檢測車輛附近的目標(biāo)，例如危險。該信息可用于警告車輛駕駛 員，或可被駕駛員輔助系統(tǒng)使用，使得車輛駕駛員輔助系統(tǒng)自動采取適當(dāng)行動以避免危險。
[0043] 當(dāng)在工廠中將攝像機安裝在車輛上時，可對攝像機外在參數(shù)（extrinsics)的旋 轉(zhuǎn)參數(shù)<Ρ、Θ、Ψ和平移參數(shù)x^y^z。進(jìn)行校準(zhǔn)。但是，攝像機外在參數(shù)可隨時間變動，例 如因為攝像機在車輛上的位置稍微地變化，或者，由于攝像機在其制備之后被裝配于車輛， 因此攝像機可能要求校準(zhǔn)。校準(zhǔn)攝像機的一種方式是使用在線校準(zhǔn)方法在攝像機移動的同 時（并且由于攝像機安裝在車輛上，因此在車輛移動的同時）對攝像機進(jìn)行校準(zhǔn)。
[0044] 車輛1包括含有校準(zhǔn)單元6的系統(tǒng)5,該校準(zhǔn)單元6具有耦接至攝像機以使其能接 收來自這些攝像機的圖像的第一輸入端7、以及用于顯示來自攝像機的圖像的顯示器11。 校準(zhǔn)單元6還包括用于接收實際車輛換向角的第二輸入端8、以及用于接收實際車輛速度 的第三輸入端9。校準(zhǔn)單元6還包括用于安裝在車輛1上的攝像機2、3、4中的至少一個的 在線校準(zhǔn)的處理裝置10。
[0045] 圖3示出根據(jù)第一實施例的用于車輛上攝像機（諸如圖2所示的安裝在車輛1上 的攝像機2、3、4之一）的在線校準(zhǔn)的方法20的示意圖。
[0046] 在第一步驟中，在車輛相對于地面移動的同時，使用平行幾何方法21 (諸如WO 2012/143036 Al中公開的平行幾何方法）對攝像機旋轉(zhuǎn)參數(shù)φ、θ、ψ進(jìn)行校準(zhǔn)。在第二 步驟22中獨立于攝像機旋轉(zhuǎn)參數(shù)φ、Θ、ψ并且獨立于校準(zhǔn)攝像機旋轉(zhuǎn)參數(shù)的方法21對 攝像機平移參數(shù)X。、y。進(jìn)行校準(zhǔn)。
[0047] 可首先執(zhí)行平行幾何方法21，之后執(zhí)行第二步驟22。因此，在對攝像機旋轉(zhuǎn)參數(shù) 9、θ、Ψ進(jìn)行校準(zhǔn)后，執(zhí)行進(jìn)一步的校準(zhǔn)以對攝像機平移參數(shù)Xc;、y。進(jìn)行校準(zhǔn)。
[0048] 在方法22中，通過確定相對于車輛坐標(biāo)系（因此，相對于真實世界）的攝像機平 移參數(shù)之間的差來對攝像機平移參數(shù) Xc;、y。進(jìn)行校準(zhǔn)。如果差被確定，則將偏移施加給攝像 機圖像坐標(biāo)系中的平移參數(shù)，以對該差進(jìn)行補償。
[0049] 在車輛沿彎曲路徑移動的同時對攝像機平移參數(shù)X。、y。、Z。進(jìn)行校準(zhǔn)。因此，第二 步驟22包括接收來自車輛（例如來自車輛控制單元）的有關(guān)車輛速度和換向盤角度的數(shù) 據(jù)23,以便確定車輛正相對于地面沿彎曲路徑移動。在步驟24中從攝像機接收圖像，并且 在步驟25中記錄來自車輛的圖像和數(shù)據(jù)。在步驟26中，識別第一圖像內(nèi)的至少兩個特征。 對同一攝像機收集的后續(xù)圖像進(jìn)一步分析，以確定所述兩個或更多個特征的位置，并在攝 像機在一時間段上捕獲的兩個或更多個圖像上對這些特征的位置進(jìn)行跟蹤。該數(shù)據(jù)被用于 識別攝像機圖像坐標(biāo)系中的車輛轉(zhuǎn)向中心T。以及車輛坐標(biāo)系中的車輛轉(zhuǎn)向中心T v。
[0050] 圖4示出用于確定攝像機圖像坐標(biāo)系中的車輛轉(zhuǎn)向中心Τ。及車輛坐標(biāo)系中的車 輛轉(zhuǎn)向中心T v的方法的示意圖。示出了具有后攝像機3的車輛1沿彎曲路徑移動。在所 示的例子中，確定了針對五個圖像的兩個特征30、31相對于地面的位置，使弧32、33與圖像 30、31形成的軌跡中的每一個擬合，并根據(jù)這些弧32、33計算車輛轉(zhuǎn)向中心Τ。。
[0051] 來自車輛的有關(guān)換向盤角度的實際數(shù)據(jù)被用于計算車輛坐標(biāo)系中的車輛轉(zhuǎn)向中 心Tv。對攝像機圖像坐標(biāo)系中的車輛轉(zhuǎn)向中心Τ。與車輛坐標(biāo)系中的車輛轉(zhuǎn)向中心T v之間的 位置進(jìn)行比較，如果存在差34,則該差可被用于計算被施加給攝像機參數(shù)X。、y。的偏移35， 由此對攝像機平移參數(shù)X。、y。進(jìn)行校準(zhǔn)。
[0052] 回到圖3,在用于校準(zhǔn)攝像機旋轉(zhuǎn)參數(shù)φ、θ、ψ的平行幾何方法21中，在步驟24 中收集來自攝像機的數(shù)據(jù)，并且在步驟25中，在車輛沿直線行駛的同時收集來自車輛的數(shù) 據(jù)。
[0053] 如果車輛相對于地面沿直線移動，則可通過對攝像機在一時間段上捕獲的至少兩 個圖像中的兩個或更多個縱向特征進(jìn)行跟蹤，來執(zhí)行攝像機旋轉(zhuǎn)參數(shù)的在線校準(zhǔn)。例如，可 使用WO 2012/143036 Al中公開的平行幾何方法。
[0054] 調(diào)整攝像機旋轉(zhuǎn)9、Θ、ψ，使得在從攝像機圖像坐標(biāo)系映射至車輛坐標(biāo)系時，所 記錄的縱向特征的軌跡平行。這在圖5中示出。
[0055] 圖5示出安裝在車輛40上的兩個攝像機所捕獲的圖像的示意圖。在前攝像機45 捕獲的圖像41中，示出了兩個縱向特征42、43,例如路上的車道標(biāo)記。在后攝像機46捕獲 的圖像44中，捕獲到相同的兩個縱向特征42'、43'。可以看出，圖像41中捕獲的縱向特征 42、43與圖像44中捕獲的縱向特征42'、43'的位置之間存在偏移47。由于兩個攝像機45、 46捕獲相同的縱向特征，因此在兩個圖像41、44中縱向特征的位置應(yīng)相同。因此，差47可 被用于調(diào)整攝像機旋轉(zhuǎn)參數(shù)，使得在兩個圖像41、44中縱向特征42、43的位置相同。
[0056] 也通過在跟蹤縱向特征的同時記錄車輛速度來使用平行幾何方法確定攝像機高 度z。。這使得能夠確定特征在預(yù)定時間段中在攝像機圖像中已移動的距離。通過使用三角 測量，可確定攝像機高度z。。
[0057] 也可通過確定從攝像機圖像測量的距離與從車輛速度計算的預(yù)測距離之間的差， 來對攝像機高度z。進(jìn)行校準(zhǔn)。如果該差被確定，則這可被用于計算能添加至存儲的攝像機 高度值的偏移。
[0058] 概括而言，在與攝像機旋轉(zhuǎn)參數(shù)φ、Θ、ψ的校準(zhǔn)分離的方法步驟中對攝像機 平移參數(shù)X。、y。進(jìn)行校準(zhǔn)，以便避免由于試圖同時求解多個獨立變量而造成的數(shù)據(jù)模糊， 其中，如果在單個方法中校準(zhǔn)旋轉(zhuǎn)參數(shù)和平移參數(shù)，則可能出現(xiàn)該數(shù)據(jù)模糊。諸如WO 2012/143036 Al中公開的方法的現(xiàn)有技術(shù)平行幾何方法可被用于對攝像機旋轉(zhuǎn)參數(shù)φ、 Θ、Ψ進(jìn)行校準(zhǔn)，并且，可選地，可被用于對高度ζ。進(jìn)行校準(zhǔn)。
【權(quán)利要求】
1. 一種用于車輛（1)上攝像機（2、3、4)的在線校準(zhǔn)的方法，攝像機（2、3、4)在攝像機 圖像坐標(biāo)系中具有攝像機旋轉(zhuǎn)參數(shù)φ、Θ、ψ和攝像機平移參數(shù)Xc;、yc;、z。，并且車輛具有車 輛坐標(biāo)系，所述方法包括： 在車輛（1)相對于地面移動的同時，使用平行幾何方法校準(zhǔn)攝像機旋轉(zhuǎn)參數(shù)9、Θ、V， 以及 獨立于攝像機旋轉(zhuǎn)參數(shù)<Ρ、θ、Ψ校準(zhǔn)攝像機平移參數(shù)x^y。。
2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，通過確定攝像機平移參數(shù)Xc;、y。相對于車 輛坐標(biāo)系的差并將偏移施加至攝像機圖像坐標(biāo)系中的平移參數(shù) Xc;、y。，來校準(zhǔn)攝像機平移參 數(shù) xc、yc。
3. 根據(jù)權(quán)利要求1或權(quán)利要求2所述的方法，其特征在于，在已校準(zhǔn)攝像機旋轉(zhuǎn)參數(shù)φ 、θ、Ψ后，對攝像機平移參數(shù)Xc;、y。進(jìn)行校準(zhǔn)。
4. 根據(jù)權(quán)利要求1至3之一所述的方法，還包括：確定車輛（1)正沿彎曲路徑移動，并 在車輛沿彎曲路徑移動的同時對攝像機平移參數(shù)X。、 y。進(jìn)行校準(zhǔn)。
5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，通過以下步驟來校準(zhǔn)攝像機平移參數(shù)X。、 Yc ： 跟蹤攝像機（2、3、4)在一時間段上捕獲的至少兩個圖像中的兩個或更多個特征， 將所述兩個或更多個特征映射到地平面， 使弧與映射的特征擬合， 根據(jù)弧計算攝像機圖像坐標(biāo)系中的車輛轉(zhuǎn)向中心T。， 確定車輛換向角， 根據(jù)車輛換向角計算車輛坐標(biāo)系中的車輛轉(zhuǎn)向中心Tv， 確定攝像機圖像坐標(biāo)系中的車輛轉(zhuǎn)向中心Τ。與車輛坐標(biāo)系中的車輛轉(zhuǎn)向中心Tv之間 的差， 確定要添加至攝像機平移參數(shù)Xc;、y。以使得攝像機圖像坐標(biāo)系中的車輛轉(zhuǎn)向中心Τ。的 位置與車輛坐標(biāo)系中的車輛轉(zhuǎn)向中心Tv的位置對應(yīng)的偏移，以及 將偏移施加至攝像機平移參數(shù)X。、y。。
6. 根據(jù)權(quán)利要求3至5之一所述的方法，其特征在于，在車輛沿逆時針彎曲的彎曲路徑 和沿順時針彎曲的彎曲路徑移動的同時，對攝像機平移參數(shù)X。、y。進(jìn)行校準(zhǔn)。
7. 根據(jù)權(quán)利要求3至6之一所述的方法，其特征在于，當(dāng)車輛沿具有不同半徑的彎曲路 徑移動的同時，對攝像機平移參數(shù)X。、y。進(jìn)行校準(zhǔn)。
8. 根據(jù)權(quán)利要求1至7之一所述的方法，還包括：確定車輛（1)正沿直線行駛，并使用 平行幾何方法對攝像機旋轉(zhuǎn)參數(shù)φ、Θ、Ψ進(jìn)行校準(zhǔn)。
9. 根據(jù)權(quán)利要求8所述的方法，其特征在于，所述平行幾何方法包括： 在車輛（1)沿直線行駛的同時，對來自攝像機在一時間段上捕獲的至少兩個圖像的兩 個或更多個縱向特征進(jìn)行跟蹤， 調(diào)整攝像機旋轉(zhuǎn)參數(shù)，使得當(dāng)從攝像機圖像坐標(biāo)系映射至車輛坐標(biāo)系時，所記錄的軌 跡平行。
10. 據(jù)權(quán)利要求9所述的方法，還包括：通過在跟蹤縱向特征的同時記錄車輛（1)的速 度，并確定特征在預(yù)定時間段中在攝像機圖像中已移動的距離，來確定攝像機（2、3、4)的 1?度 zc。
11. 根據(jù)權(quán)利要求10所述的方法，還包括：確定根據(jù)攝像機圖像測量的距離與根據(jù)車 輛速度計算的預(yù)測距離之間的差，根據(jù)所述差計算攝像機的高度Z。的偏移，并將所述偏移 添加至攝像機的高度Z。的存儲值。
12. -種計算機程序產(chǎn)品，包括其上有形地實施的代碼，當(dāng)在處理器上執(zhí)行所述代碼 時，使所述處理器執(zhí)行權(quán)利要求1至11之一所述的方法。
13. -種包括校準(zhǔn)單元的系統(tǒng)（5),所述校準(zhǔn)單元包括： 第一輸入裝置（7)，用于從至少一個攝像機（2、3、4)接收圖像， 存儲器，用于存儲攝像機平移參數(shù)x^y。、％和攝像機旋轉(zhuǎn)參數(shù)9、Θ、V， 第二輸入裝置（8)，用于接收實際的車輛換向角， 第三輸入裝置（9)，用于接收實際的車輛速度， 處理裝置（10)，用于執(zhí)行權(quán)利要求1至11之一所述的方法。
14. 根據(jù)權(quán)利要求13所述的系統(tǒng)（5)，還包括至少一個攝像機和用于顯示來自攝像機 的圖像的顯示器（11)。
15. -種車輛（1)，包括安裝在車輛（1)上的至少一個攝像機（2、3、4)和權(quán)利要求13 或權(quán)利要求14所述的系統(tǒng)（5)。
【文檔編號】G06T7/00GK104517283SQ201410496131
【公開日】2015年4月15日 申請日期:2014年9月25日 優(yōu)先權(quán)日:2013年10月1日
【發(fā)明者】P·博尼, P·厄米勒斯, P·加尼翁, D·韋博勒 申請人:應(yīng)用解決方案(電子及視頻)有限公司