用于車輛攝像機(jī)的在線校準(zhǔn)的方法和裝置制造方法
【專利摘要】一種用于確定布置在車輛上的攝像機(jī)相對(duì)于車輛坐標(biāo)系的取向的方法，所述方法包括：基于所述攝像機(jī)的視頻流的光流測(cè)量所述攝像機(jī)的坐標(biāo)系中的增量車輛運(yùn)動(dòng)；以由直線運(yùn)動(dòng)分量和轉(zhuǎn)動(dòng)運(yùn)動(dòng)構(gòu)成的運(yùn)動(dòng)表示所述增量車輛運(yùn)動(dòng)，其中，以方向向量表示所述直線運(yùn)動(dòng)，以轉(zhuǎn)動(dòng)軸和轉(zhuǎn)動(dòng)角表示所述轉(zhuǎn)動(dòng)運(yùn)動(dòng)；基于所確定的轉(zhuǎn)動(dòng)角將所測(cè)量的增量車輛運(yùn)動(dòng)分類為直線運(yùn)動(dòng)或轉(zhuǎn)動(dòng)運(yùn)動(dòng)；測(cè)量至少一個(gè)分類為直線運(yùn)動(dòng)的增量運(yùn)動(dòng)；測(cè)量至少一個(gè)分類為轉(zhuǎn)動(dòng)運(yùn)動(dòng)的增量運(yùn)動(dòng)；和使用至少一個(gè)所測(cè)量的直線運(yùn)動(dòng)的方向向量來(lái)估算車輛的縱軸；使用至少一個(gè)所測(cè)量的轉(zhuǎn)動(dòng)運(yùn)動(dòng)的轉(zhuǎn)動(dòng)向量來(lái)估算車輛平面的法線，使得所述攝像機(jī)相對(duì)于車輛坐標(biāo)系的取向是由在所述攝像機(jī)的坐標(biāo)系中已經(jīng)分別確定的車輛縱軸和所述車輛平面的法線推出的。
【專利說(shuō)明】用于車輛攝像機(jī)的在線校準(zhǔn)的方法和裝置
[0001] 本發(fā)明涉及一種用于確定連接到車輛的攝像機(jī)相對(duì)于車輛坐標(biāo)系的取向，即自動(dòng) 的攝像機(jī)-車輛校準(zhǔn)（以下稱為在線校準(zhǔn)）的方法和裝置。
[0002] 目前，攝像機(jī)相對(duì)于車輛的取向的確定通過(guò)所謂的離線校準(zhǔn)來(lái)執(zhí)行。這涉及在車 輛生產(chǎn)周期結(jié)束時(shí)專門的硬件設(shè)置。
[0003] 該過(guò)程既不靈活，同時(shí)還是昂貴的。這種死板的校準(zhǔn)過(guò)程的最大缺點(diǎn)在于假設(shè)攝 像機(jī)取向在最終使用者（駕駛員）使用車輛期間不會(huì)變化。但是，機(jī)械負(fù)載和溫度影響導(dǎo) 致去校準(zhǔn)，也即是說(shuō)，導(dǎo)致實(shí)際值和工廠確定值之間的差異。因此，存在在實(shí)際使用期間發(fā) 生攝像機(jī)系統(tǒng)去校準(zhǔn)的技術(shù)問(wèn)題（通過(guò)機(jī)械負(fù)載和溫度影響對(duì)車輛結(jié)構(gòu)的影響），這導(dǎo)致 攝像機(jī)相對(duì)于車輛不精確或錯(cuò)誤的定位，從而導(dǎo)致對(duì)例如駕駛員輔助系統(tǒng)（ADAS)的不精 確或錯(cuò)誤的輸入數(shù)據(jù)。
[0004] 為此，車輛制造商對(duì)通過(guò)在最終使用者處全自動(dòng)的校準(zhǔn)來(lái)替換或補(bǔ)充離線校準(zhǔn)非 常感興趣。
[0005]因此，本發(fā)明的一個(gè)目的是這種全自動(dòng)校準(zhǔn)，以及駕駛時(shí)自動(dòng)校正發(fā)生的去校準(zhǔn)。
[0006] 已經(jīng)存在的用于在線校準(zhǔn)的方法基于道路標(biāo)志的檢測(cè)或基于檢測(cè)道路上的特征。 而首先提及的方法導(dǎo)致對(duì)適合于校準(zhǔn)的環(huán)境的嚴(yán)格限制；后者提及的方法易于產(chǎn)生錯(cuò)誤， 這是因?yàn)橐环矫娌荒芸偸菨M足在特定圖像區(qū)域內(nèi)平整道路的假設(shè)，另一方面稀疏的柏油路 紋理是對(duì)于特征提取非常不利的環(huán)境。
[0007] 基于道路標(biāo)志檢測(cè)的構(gòu)想例如在人.Cataldi-Prat、J.Rataj和R.Reulke的 Self-calibrationsystemfortheorientationofavehiclecamera,Proc.ofthe ISPRSCom.VSymposium:ImageEngineeringandVisionMetrology，2006，第 68 - 73 頁(yè)，以及在S.Hold、S.Gormer、A.Kummert、Μ·Meute和S.Muller-Schneiders的Anovel approachfortheonlineinitialcalibrationofextrinsicparametersfora car-mountedcamera,IntelligentTransportationSystems, 2009.ITSC^ 09. 12th Inter-nationalIEEEConferenceon，IEEE，2009，第I_6 頁(yè)，或在M.Wu和X.An的 Anautomaticextrinsicparametercalibrationmethodforcamera-〇n-vehicle onstructuredroad,VehicularElectronicsandSafety,2007.IC-VES.IEEE InternationalConferenceon，IEEE，2007，第I_5 頁(yè)中進(jìn)行描述。
[0008] 在M.Miksch、B.Yang和K.Zimmermann的Homography-basedextrinsic self-calibrationforcamerasinautomotiveapplications,WorkshoponIntelligent Transportation, 2010，第17 - 22頁(yè)中的描述的系統(tǒng)使用柏油路的自然紋理用于校準(zhǔn)，但 是，其假設(shè)了平整的柏油路，且其在圖像中的取向需要是已知的，而且系統(tǒng)需要車輛里程 計(jì)。
[0009] 因此，本發(fā)明的一個(gè)目的是提供一種避免所述現(xiàn)有技術(shù)的缺點(diǎn)的在線校準(zhǔn)方法和 裝直。
[0010] 根據(jù)一個(gè)實(shí)施方案，提供了一種用于確定連接到車輛的攝像機(jī)相對(duì)于車輛坐標(biāo)系 的取向的方法，其包括： toon] 基于攝像機(jī)的視頻流的光流測(cè)量攝像機(jī)的坐標(biāo)系中的增量車輛運(yùn)動(dòng)；
[0012] 以由直線運(yùn)動(dòng)分量和轉(zhuǎn)動(dòng)運(yùn)動(dòng)構(gòu)成的運(yùn)動(dòng)表示增量車輛運(yùn)動(dòng)，其中，以方向向量 表示所述直線運(yùn)動(dòng)分量，以轉(zhuǎn)動(dòng)軸和轉(zhuǎn)動(dòng)角表示所述轉(zhuǎn)動(dòng)運(yùn)動(dòng)；
[0013] 基于所確定的轉(zhuǎn)動(dòng)角將所測(cè)量的增量車輛運(yùn)動(dòng)分類為直線運(yùn)動(dòng)或轉(zhuǎn)動(dòng)運(yùn)動(dòng)；
[0014] 測(cè)量至少一個(gè)已經(jīng)分類為直線運(yùn)動(dòng)的增量運(yùn)動(dòng)；
[0015] 測(cè)量至少一個(gè)已經(jīng)分類為轉(zhuǎn)動(dòng)運(yùn)動(dòng)的增量運(yùn)動(dòng)；和
[0016] 使用至少一個(gè)所測(cè)量的直線運(yùn)動(dòng)的方向向量來(lái)估算車輛的縱軸；
[0017] 使用至少一個(gè)所測(cè)量的轉(zhuǎn)動(dòng)運(yùn)動(dòng)的轉(zhuǎn)動(dòng)向量來(lái)估算車輛平面的法線，使得攝像機(jī) 相對(duì)于車輛坐標(biāo)系的取向是由攝像機(jī)的坐標(biāo)系中已經(jīng)分別確定的車輛縱軸和車輛平面的 法線推出的。
[0018] 通過(guò)使用只是視覺(jué)里程計(jì)的數(shù)據(jù)，可以省略其它信息來(lái)源。這些用于在線校準(zhǔn)的 數(shù)據(jù)的使用通過(guò)使用車輛運(yùn)動(dòng)的相對(duì)簡(jiǎn)單的模型成為可能，所述模型將運(yùn)動(dòng)分類為轉(zhuǎn)動(dòng)運(yùn) 動(dòng)或直線運(yùn)動(dòng)，且之后基于此的所述模型直接基于所測(cè)量的運(yùn)動(dòng)確定車輛縱軸或車輛法線 的估算。
[0019] 根據(jù)一個(gè)實(shí)施方案，所述方法還包括：
[0020] 測(cè)量多個(gè)增量車輛運(yùn)動(dòng)；
[0021] 使用車輛縱軸和轉(zhuǎn)動(dòng)軸的多個(gè)估算來(lái)確定對(duì)車輛縱軸和轉(zhuǎn)動(dòng)軸的改善的估算。
[0022] 通過(guò)將多個(gè)測(cè)量值包括進(jìn)估算中，可以提高精確度。
[0023] 根據(jù)一個(gè)實(shí)施方案，所述方法還包括：
[0024] 當(dāng)增量車輛運(yùn)動(dòng)的轉(zhuǎn)動(dòng)角小于特定閾值時(shí)，將運(yùn)動(dòng)分類為直線運(yùn)動(dòng)；
[0025] 當(dāng)增量運(yùn)動(dòng)的轉(zhuǎn)動(dòng)角大于特定閾值時(shí)，將運(yùn)動(dòng)分類為轉(zhuǎn)動(dòng)運(yùn)動(dòng)。
[0026] 這樣，車輛運(yùn)動(dòng)可以以簡(jiǎn)單的方式分類為兩種類別"直線運(yùn)動(dòng)"或"機(jī)動(dòng)/曲線/ 轉(zhuǎn)動(dòng)運(yùn)動(dòng)"中的一種。
[0027] 根據(jù)一個(gè)實(shí)施方案，所述方法還包括：
[0028] 使用直線運(yùn)動(dòng)或直線運(yùn)動(dòng)分量的平面的法線作為對(duì)除了轉(zhuǎn)動(dòng)軸之外的車輛縱軸 的垂線的另一估算；
[0029] 基于所確定的直線運(yùn)動(dòng)或運(yùn)動(dòng)分量的垂線和轉(zhuǎn)動(dòng)運(yùn)動(dòng)的轉(zhuǎn)動(dòng)軸的結(jié)合來(lái)確定對(duì) 車輛平面的法線的估算。
[0030] 因此，還可以考慮以下事實(shí)：直線運(yùn)動(dòng)的平面（穿過(guò)其法線）傳達(dá)了關(guān)于車輛法線 的信息和由此關(guān)于轉(zhuǎn)動(dòng)軸的信息。
[0031] 根據(jù)一個(gè)實(shí)施方案，基于由測(cè)量確定的或由直線運(yùn)動(dòng)分量確定的直線運(yùn)動(dòng)的平面 的法線與轉(zhuǎn)動(dòng)向量應(yīng)當(dāng)平行的要求來(lái)確定所述結(jié)合。
[0032] 這使得直線運(yùn)動(dòng)和轉(zhuǎn)動(dòng)運(yùn)動(dòng)的數(shù)據(jù)能夠融合。
[0033] 根據(jù)一個(gè)實(shí)施方案，通過(guò)增量車輛運(yùn)動(dòng)的重復(fù)測(cè)量來(lái)迭代地確定車輛的縱軸和車 輛的法線的估算值。
[0034] 這提高了估算的精確度。
[0035] 根據(jù)一個(gè)實(shí)施方案，所述方法還包括：
[0036] 通過(guò)測(cè)量i將車輛的法線的更新值確定為：
【權(quán)利要求】
1. 一種用于確定連接到車輛的攝像機(jī)相對(duì)于車輛坐標(biāo)系的取向的方法，其包括： 基于所述攝像機(jī)的視頻流的光流測(cè)量所述攝像機(jī)的坐標(biāo)系中的增量車輛運(yùn)動(dòng)； 以由直線運(yùn)動(dòng)分量和轉(zhuǎn)動(dòng)運(yùn)動(dòng)構(gòu)成的運(yùn)動(dòng)表示所述增量車輛運(yùn)動(dòng)，其中，以方向向量 表示所述直線運(yùn)動(dòng)分量，以轉(zhuǎn)動(dòng)軸和轉(zhuǎn)動(dòng)角表示所述轉(zhuǎn)動(dòng)運(yùn)動(dòng)； 基于所確定的轉(zhuǎn)動(dòng)角將所測(cè)量的增量車輛運(yùn)動(dòng)分類為直線運(yùn)動(dòng)或轉(zhuǎn)動(dòng)運(yùn)動(dòng)； 測(cè)量至少一個(gè)已經(jīng)分類為直線運(yùn)動(dòng)的增量運(yùn)動(dòng)； 測(cè)量至少一個(gè)已經(jīng)分類為轉(zhuǎn)動(dòng)運(yùn)動(dòng)的增量運(yùn)動(dòng)；和 使用至少一個(gè)所測(cè)量的直線運(yùn)動(dòng)的方向向量來(lái)估算所述車輛的縱軸； 使用至少一個(gè)所測(cè)量的轉(zhuǎn)動(dòng)運(yùn)動(dòng)的轉(zhuǎn)動(dòng)向量來(lái)估算車輛平面的法線，使得所述攝像機(jī) 相對(duì)于車輛坐標(biāo)系的取向是由在所述攝像機(jī)的坐標(biāo)系中已經(jīng)分別確定的車輛縱軸和所述 車輛平面的法線推出的。
2. 權(quán)利要求1所述的方法，其還包括： 測(cè)量多個(gè)增量車輛運(yùn)動(dòng)； 使用車輛縱軸和轉(zhuǎn)動(dòng)軸的多個(gè)估算來(lái)確定對(duì)所述車輛縱軸和所述轉(zhuǎn)動(dòng)軸的改善的估 算。
3. 權(quán)利要求1或2所述的方法，其還包括： 當(dāng)所述增量車輛運(yùn)動(dòng)的轉(zhuǎn)動(dòng)角小于特定閾值時(shí)，將所述運(yùn)動(dòng)分類為直線運(yùn)動(dòng)； 當(dāng)所述增量運(yùn)動(dòng)的轉(zhuǎn)動(dòng)角大于特定閾值時(shí)，將所述運(yùn)動(dòng)分類為轉(zhuǎn)動(dòng)運(yùn)動(dòng)。
4. 前述權(quán)利要求中任一項(xiàng)所述的方法，其還包括： 使用所述直線運(yùn)動(dòng)或所述直線運(yùn)動(dòng)分量的平面的法線作為對(duì)除了所述轉(zhuǎn)動(dòng)軸之外的 所述車輛縱軸的垂線的另一估算； 基于所確定的直線運(yùn)動(dòng)或運(yùn)動(dòng)分量的垂線和所述轉(zhuǎn)動(dòng)運(yùn)動(dòng)的轉(zhuǎn)動(dòng)軸的結(jié)合來(lái)確定對(duì) 所述車輛平面的法線的估算。
5. 權(quán)利要求4所述的方法，其中， 基于由所述測(cè)量確定的或由所述直線運(yùn)動(dòng)分量確定的所述直線運(yùn)動(dòng)的平面的法線與 所述轉(zhuǎn)動(dòng)向量應(yīng)當(dāng)平行的要求來(lái)確定所述結(jié)合。
6. 前述權(quán)利要求中任一項(xiàng)所述的方法，其中， 通過(guò)所述增量車輛運(yùn)動(dòng)的重復(fù)測(cè)量來(lái)迭代地確定所述車輛的縱軸和所述車輛的法線 的估算值。
7. 權(quán)利要求6所述的方法，其包括： 通過(guò)測(cè)量i將所述車輛的法線的更新值確定為：
其中，= +馬是權(quán)重或信息矩陣，且其中，Qt和義是直 線車輛軸或所述車輛的法線的協(xié)方差矩陣，所述協(xié)方差矩陣具有高斯過(guò)程噪聲。
8. -種用于確定連接到車輛的攝像機(jī)相對(duì)于車輛坐標(biāo)系的取向的裝置，其包括： 用于基于所述攝像機(jī)的視頻流的光流測(cè)量所述攝像機(jī)的坐標(biāo)系中的增量車輛運(yùn)動(dòng)的 模塊； 用于以由直線運(yùn)動(dòng)分量和轉(zhuǎn)動(dòng)運(yùn)動(dòng)構(gòu)成的運(yùn)動(dòng)表示所述增量車輛運(yùn)動(dòng)的模塊，其中， 以方向向量表示所述直線運(yùn)動(dòng)分量，以轉(zhuǎn)動(dòng)軸和轉(zhuǎn)動(dòng)角表示所述轉(zhuǎn)動(dòng)運(yùn)動(dòng)； 用于基于所確定的轉(zhuǎn)動(dòng)角將所測(cè)量的增量車輛運(yùn)動(dòng)分類為直線運(yùn)動(dòng)或轉(zhuǎn)動(dòng)運(yùn)動(dòng)的模 塊； 用于測(cè)量至少一個(gè)已經(jīng)分類為直線運(yùn)動(dòng)的增量運(yùn)動(dòng)的模塊； 用于測(cè)量至少一個(gè)已經(jīng)分類為轉(zhuǎn)動(dòng)運(yùn)動(dòng)的增量運(yùn)動(dòng)的模塊；和 用于使用至少一個(gè)所測(cè)量的直線運(yùn)動(dòng)的方向向量來(lái)估算所述車輛的縱軸的模塊； 用于使用至少一個(gè)所測(cè)量的轉(zhuǎn)動(dòng)運(yùn)動(dòng)的轉(zhuǎn)動(dòng)向量來(lái)估算車輛平面的法線的模塊，使得 所述攝像機(jī)相對(duì)于車輛坐標(biāo)系的取向是由在所述攝像機(jī)的坐標(biāo)系中已經(jīng)分別確定的車輛 縱軸和所述車輛平面的法線推出的。
9. 權(quán)利要求8所述的裝置，其還包括： 一個(gè)或更多個(gè)用于實(shí)施根據(jù)權(quán)利要求1至7中任一項(xiàng)所述的方法的模塊。
10. -種計(jì)算機(jī)程序，其包括： 計(jì)算機(jī)程序代碼，所述計(jì)算機(jī)程序代碼在計(jì)算機(jī)上執(zhí)行時(shí)使得其能夠?qū)嵤└鶕?jù)權(quán)利要 求1至7中任一項(xiàng)所述的方法。
【文檔編號(hào)】G06T7/00GK104246825SQ201380006092
【公開日】2014年12月24日 申請(qǐng)日期:2013年1月17日 優(yōu)先權(quán)日:2012年1月20日
【發(fā)明者】克里斯多夫·普夫盧格, 朱里·普拉托諾夫, 帕維爾·卡奇馬爾斯基, 托馬斯·加保爾 申請(qǐng)人:Esg電子系統(tǒng)及邏輯股份有限公司