專利名稱：通過地平線估計(jì)進(jìn)行的攝像機(jī)自動(dòng)校準(zhǔn)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及一種用于提供攝像機(jī)圖像中的地平線估計(jì)的系統(tǒng)和方法，更具體地說，涉及一種用于提供攝像機(jī)圖像中的地平線估計(jì)，以便在俯仰方向上對(duì)攝像機(jī)進(jìn)行 校準(zhǔn)的系統(tǒng)和方法。
背景技術(shù)：
現(xiàn)代車輛有時(shí)候包括一個(gè)或多個(gè)攝像機(jī)，這些攝像機(jī)提供支持協(xié)助，采集車輛駕駛員的圖像以確定駕駛員的睡意和注意力，為了防止碰撞的目的而在車輛行駛時(shí)提供路面 的圖像，提供建筑物-例如路標(biāo)的識(shí)別等等。對(duì)于這些圖形在攝像機(jī)圖像上疊加的應(yīng)用來 說，準(zhǔn)確地校準(zhǔn)攝像機(jī)相對(duì)于車輛的位置和方位是很關(guān)鍵的。由于制造公差，每輛車都必須 執(zhí)行獨(dú)立的終檢線攝像機(jī)校準(zhǔn)(end-of-line camera calibration)或后續(xù)市場(chǎng)攝像機(jī)調(diào) 節(jié)，以便進(jìn)行例如預(yù)定車輛路線的準(zhǔn)確疊加。某些已知的攝像機(jī)系統(tǒng)不提供攝像機(jī)校準(zhǔn)，但是可以恢復(fù)到一個(gè)默認(rèn)值，該默認(rèn)值可能提供多度誤差。其他攝像機(jī)系統(tǒng)提供如下預(yù)校準(zhǔn)方法在車輛坐標(biāo)系中手動(dòng)標(biāo)注攝 像機(jī)圖像上的點(diǎn)并手動(dòng)測(cè)量特征點(diǎn)位置，例如通過提供圖像的檢測(cè)板圖案(checker board pattern) 0然而，這些校準(zhǔn)技術(shù)通常耗時(shí)，且必須在服務(wù)站實(shí)施。因此，如果車輛正在行駛 并且撞到路面上的不平物或其他障礙物，則攝像機(jī)位置可能改變，校準(zhǔn)可能不準(zhǔn)確，直到將 車輛移到服務(wù)站進(jìn)行校正。攝像機(jī)校準(zhǔn)包括確定將攝像機(jī)圖像坐標(biāo)與地球坐標(biāo)相關(guān)聯(lián)以及將地球坐標(biāo)與攝像機(jī)圖像坐標(biāo)相關(guān)聯(lián)的一組參數(shù)。一些攝像機(jī)參數(shù)-例如攝像機(jī)焦距、光心等都是固定的， 然而其他參數(shù)-例如攝像機(jī)方位和位置卻不是固定的。例如，攝像機(jī)的高度取決于車輛的 負(fù)載，其隨時(shí)會(huì)變化。這種變化引起攝像機(jī)圖像上的車輛軌跡的不準(zhǔn)確的疊加圖形。因此， 需要一種攝像機(jī)校準(zhǔn)程序，其在車輛被驅(qū)動(dòng)時(shí)自動(dòng)地校準(zhǔn)不太穩(wěn)定的攝像機(jī)參數(shù)，該車載 攝像機(jī)系統(tǒng)持續(xù)地隨時(shí)進(jìn)行自我適應(yīng)。攝像機(jī)圖像中的地平線估計(jì)提供一種技術(shù)，通過該技術(shù)可以校準(zhǔn)攝像機(jī)圖像，特別是在俯仰方向上。然而，依賴于地平線估計(jì)的公知的攝像機(jī)校準(zhǔn)技術(shù)通常是不準(zhǔn)確且不 可靠的。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的教導(dǎo)，公開一種用于估計(jì)攝像機(jī)圖像中的地平線以提供俯仰方向上的攝像機(jī)自動(dòng)校準(zhǔn)的系統(tǒng)和方法。該方法包括攝取一個(gè)場(chǎng)景的圖像并采用地平線邊緣 檢測(cè)分析來產(chǎn)生該圖像的紋理地圖，以定位該場(chǎng)景中的地平線邊緣。該方法還包括通過提 供連續(xù)圖像之間的圖像差別來提供運(yùn)動(dòng)地圖，以便在車輛移動(dòng)時(shí)找出圖像中沒有運(yùn)動(dòng)的 區(qū)域。將紋理地圖和運(yùn)動(dòng)地圖相組合來識(shí)別圖像中不運(yùn)動(dòng)且包含地平線邊緣的候選區(qū)域 (candidate areas)。通過計(jì)數(shù)地圖中候選區(qū)域中的地平線方向上的白點(diǎn)，從組合地圖中產(chǎn) 生地平線投影。使該地平線投影平滑化以消除干擾，并且通過識(shí)別地平線投影中的最大峰值來估計(jì)圖像中的地平線位置。然后，估計(jì)出的地平線就可以被用于自動(dòng)校準(zhǔn)程序，以校準(zhǔn) 攝像機(jī)。方案1、一種用于估計(jì)攝像機(jī)圖像上的地平線的方法，所述方法包括提供源于攝像機(jī)的第一和第二圖像；提供源于所述圖像中的一個(gè)的紋理地圖，該紋理地圖對(duì)所述圖像中的邊緣進(jìn)行定位；提供源于所述第一和第二圖像之間的差別的運(yùn)動(dòng)地圖，該運(yùn)動(dòng)地圖對(duì)所述圖像中沒有發(fā)生運(yùn)動(dòng)的區(qū)域進(jìn)行定位；將所述紋理地圖和所述運(yùn)動(dòng)地圖進(jìn)行組合以識(shí)別組合地圖中不運(yùn)動(dòng)且包括地平線邊緣的位置；提供包括所述組合地圖中沿地平線方向的一定數(shù)量的位置的地平線投影，這些位置識(shí)別出所述組合地圖中的地平線邊緣的數(shù)量；對(duì)所述地平線投影進(jìn)行平滑處理以減少所述地平線投影中的干擾；以及識(shí)別平滑處理過的地平線投影中的最大峰值，該最大峰值識(shí)別出所述圖像中的估 計(jì)地平線。方案2、根據(jù)方案1所述的方法，其中，提供紋理地圖包括采用地平線邊緣檢測(cè)分 析來定位地平線邊緣。方案3、根據(jù)方案2所述的方法，其中，提供地平線邊緣檢測(cè)分析包括采用Sobel濾 波。方案4、根據(jù)方案1所述的方法，其中，所述紋理地圖中的邊緣、所述組合地圖中的 位置以及所述地平線投影中的位置都是白點(diǎn)。方案5、根據(jù)方案1所述的方法，其中，對(duì)所述地平線投影進(jìn)行平滑處理包括采用 Gaussian平滑濾波器。方案6、根據(jù)方案1所述的方法，其中，所述地平線投影是地平線直方圖。方案7、根據(jù)方案1所述的方法，其中，所述攝像機(jī)是車載攝像機(jī)。方案8、根據(jù)方案1所述的方法，還包括采用地平線估計(jì)來更新攝像機(jī)的俯仰角。方案9、一種用于估計(jì)攝像機(jī)圖像中的地平線的方法，所述方法包括提供源于攝像機(jī)的第一和第二圖像；提供源于所述圖像中的一個(gè)的紋理地圖，該紋理地圖將所述圖像中的地平線邊緣 定位成白點(diǎn)，其中，提供紋理地圖包括采用地平線邊緣檢測(cè)分析來定位地平線邊緣；提供源于所述第一和第二圖像之間的差別的運(yùn)動(dòng)地圖，該運(yùn)動(dòng)地圖將所述圖像中 沒有發(fā)生運(yùn)動(dòng)的區(qū)域定位成白點(diǎn)；將所述紋理地圖和所述運(yùn)動(dòng)地圖進(jìn)行組合以便將組合地圖中不運(yùn)動(dòng)且包括地平 線邊緣的位置識(shí)別成白點(diǎn)；提供包括所述組合地圖中沿地平線方向的一定數(shù)量的白點(diǎn)的地平線投影，這些白 點(diǎn)識(shí)別出所述組合地圖中的地平線邊緣的數(shù)量；對(duì)所述地平線投影進(jìn)行平滑處理以減少所述地平線投影中的干擾；以及識(shí)別平滑處理過的地平線投影中的最大峰值，該最大峰值識(shí)別出所述圖像中的估 計(jì)地平線。
方案10、根據(jù)方案9所述的方法，其中，提供地平線邊緣檢測(cè)分析包括采用Sobel 濾波。方案11、根據(jù)方案9所述的方法，其中，對(duì)所述地平線投影進(jìn)行平滑處理包括采用 Gaussian平滑濾波器。方案12、根據(jù)方案9所述的方法，其中，所述地平線投影是地平線直方圖。方案13、根據(jù)方案9所述的方法，其中，所述攝像機(jī)是車載攝像機(jī)。方案14、根據(jù)方案9所述的方法，進(jìn)一步包括采用地平線估計(jì)來更新攝像機(jī)的俯仰角。方案15、一種用于估計(jì)攝像機(jī)圖像中的地平線的系統(tǒng)，所述系統(tǒng)包括用于提供源于攝像機(jī)的第一和第二圖像的裝置；用于提供源于所述圖像中的一個(gè)的紋理地圖的裝置，該紋理地圖將所述圖像中的邊緣定位成白點(diǎn)；用于提供所述第一和第二圖像之間的差別的運(yùn)動(dòng)地圖的裝置，該運(yùn)動(dòng)地圖將所述 圖像中沒有發(fā)生運(yùn)動(dòng)的區(qū)域定位成白點(diǎn)；用于將所述紋理地圖和所述運(yùn)動(dòng)地圖進(jìn)行組合以便將組合地圖中不運(yùn)動(dòng)且包括 地平線邊緣的位置識(shí)別成白點(diǎn)的裝置；用于提供地平線投影的裝置，該地平線投影包括所述組合地圖中沿地平線方向的 一定數(shù)量的白點(diǎn)，這些白點(diǎn)識(shí)別出所述組合地圖中的地平線邊緣的數(shù)量；用于對(duì)所述地平線投影進(jìn)行平滑處理以減少所述地平線投影中的干擾的裝置；以 及用于識(shí)別平滑處理過的地平線投影中的最大峰值的裝置，該最大峰值識(shí)別出所述 圖像中的估計(jì)地平線。方案16、根據(jù)方案15所述的系統(tǒng)，其中，用于提供紋理地圖的裝置采用Sobel濾 波。方案17、根據(jù)方案15所述的系統(tǒng)，其中，用于對(duì)地平線投影進(jìn)行平滑處理的裝置 采用Gaussian平滑濾波器。方案18、根據(jù)方案15所述的系統(tǒng)，其中，所述地平線投影是地平線直方圖。方案19、根據(jù)方案15所述的系統(tǒng)，其中，所述攝像機(jī)是車載攝像機(jī)。方案20、根據(jù)方案15所述的系統(tǒng)，進(jìn)一步包括采用地平線估計(jì)來更新攝像機(jī)的俯 仰角的裝置。結(jié)合附圖，從下面的描述和所附權(quán)利要求書，可以清楚本發(fā)明的其他特征。


圖1是示出一種用于提供攝像機(jī)圖像地平線估計(jì)的程序的流程圖表；以及圖2是示出一種采用地平線估計(jì)來提供攝像機(jī)自動(dòng)校準(zhǔn)的系統(tǒng)的框圖。
具體實(shí)施例方式下面對(duì)本發(fā)明實(shí)施例的論述涉及一種用于提供攝像機(jī)圖像中的地平線估計(jì)以便 在俯仰方向上對(duì)攝像機(jī)進(jìn)行自動(dòng)校準(zhǔn)的系統(tǒng)和方法，該論述實(shí)質(zhì)上僅僅作為示例，并不對(duì)本發(fā)明及其應(yīng)用或使用進(jìn)行限制。例如，本發(fā)明特別用于校準(zhǔn)車載攝像機(jī)。然而，如本領(lǐng)域技術(shù)人員將會(huì)意識(shí)到的，本發(fā)明還可應(yīng)用于除車載攝像機(jī)之外的其它攝像機(jī)。圖1為流程圖表10，其示出了用于估計(jì)攝像機(jī)圖像中的地平線的方法。車輛前方的道路在時(shí)間k時(shí)用攝像機(jī)圖像12表示，在時(shí)間k+Ι時(shí)用攝像機(jī)圖像14表示。如下所述， 該方法估計(jì)圖像12和14中的地平線，該地平線基本上是一條包含許多地平線邊緣的直線， 天空和道路在這些地平線邊緣處相交。地平線在從一幅圖像到下一幅圖像中基本上是相同 的，使得該值可被用于在俯仰方向上對(duì)攝像機(jī)進(jìn)行校準(zhǔn)。該方法的下一個(gè)步驟是使用地平 線結(jié)構(gòu)分析產(chǎn)生一個(gè)紋理地圖16，以提供地平線邊緣檢測(cè)。該地平線邊緣檢測(cè)可采用任何 合適的濾波過程-例如Sobel濾波來識(shí)別圖像12中的地平線邊緣。特別地，如果圖像12中 的地平線邊緣響應(yīng)超出限定地平線邊緣的某一閾值，則那個(gè)位置就用一個(gè)白點(diǎn)30來識(shí)別， 白點(diǎn)的組合便形成紋理地圖16。采用運(yùn)動(dòng)分析過程將兩幅圖像12和14組合起來，以找出圖像12和14中當(dāng) 車輛移動(dòng)時(shí)沒有發(fā)生太多運(yùn)動(dòng)的區(qū)域。通過該分析，圖像12和14彼此相減或求差異 (differenced)，并且那些沒有超過某一閾值的區(qū)域或像素并不運(yùn)動(dòng)且也用白點(diǎn)34識(shí)別， 如運(yùn)動(dòng)地圖18所示。地平線在圖像12和14中應(yīng)該是不移動(dòng)的，因?yàn)樗诤苓h(yuǎn)處。地平線 估計(jì)過程中的下一個(gè)步驟是將紋理地圖16與運(yùn)動(dòng)地圖18組合到組合地圖20中，以找出地 圖16和18中都不運(yùn)動(dòng)且包含地平線邊緣的區(qū)域。下一個(gè)步驟是統(tǒng)計(jì)組合地圖20中地平線方向上的白點(diǎn)36的數(shù)量，以提供地平線投影以及識(shí)別組合地圖20中的地平線位置。該步驟由作為地平線直方圖的圖表22表示， 其示出了沿著組合地圖20的垂直側(cè)的位置以及統(tǒng)計(jì)出的地平線軸線上的白點(diǎn)36的數(shù)目。 200附近的主要峰值識(shí)別出估計(jì)出的地平線。這個(gè)地平線投影包括許多干擾，這些干擾可使 用合適的平滑濾波器_例如Gaussian濾波器使其變平滑，以得到如圖表24所示的平滑的 地平線投影。圖表24中的最大峰值26識(shí)別出了圖像30中的線28處的估計(jì)出的地平線。圖2是流程圖表50，其示出了用于提供攝像機(jī)自動(dòng)校準(zhǔn)的程序，該攝像機(jī)自動(dòng)校準(zhǔn)采用基于上述流程的地平線估計(jì)。圖像在方框(box)52處產(chǎn)生。這些圖像可提供給方框 54，該方框54可通過上述流程提供攝像機(jī)地平線估計(jì)。此外，這些圖像還可提供給方框56， 該方框56提供車道標(biāo)記估計(jì)以確定遠(yuǎn)處的消失點(diǎn)，例如2008年7月18日提交的名稱為 "Camera-Based Lane Marker Detection”的美國(guó)專利申請(qǐng)?zhí)朜o. 12/175631 中所公開的，該 申請(qǐng)已轉(zhuǎn)讓給本申請(qǐng)的申請(qǐng)人并且在此通過引用并入本申請(qǐng)。這些圖像也可以被提供給基 于點(diǎn)的攝像機(jī)自動(dòng)校準(zhǔn)方框58，該方框58提供攝像機(jī)自動(dòng)校準(zhǔn)，例如2008年5月22日提 交的名禾爾為"Self-Calibration of Camera Parameters for a Vehicle Camera，，的美國(guó) 專利申請(qǐng)?zhí)朜o. 12/125471中所公開的，該申請(qǐng)已轉(zhuǎn)讓給本申請(qǐng)的申請(qǐng)人并且在此通過引 用并入本申請(qǐng)。采用攝像機(jī)地平線估計(jì)、車道標(biāo)記估計(jì)以及基于點(diǎn)的攝像機(jī)自動(dòng)校準(zhǔn)，在方框60處自動(dòng)更新攝像機(jī)方位。攝像機(jī)地平線估計(jì)可以在方框62處更新攝像機(jī)俯仰角，并且攝像 機(jī)地平線估計(jì)可以在方框62處更新攝像機(jī)俯仰角以及在方框64處更新攝像機(jī)橫擺角(yaw angle)。該基于點(diǎn)的自動(dòng)校準(zhǔn)可以用于更新方框62中的攝像機(jī)傾斜角、方框64中的攝像 機(jī)橫擺角、方框66中的攝像機(jī)滾轉(zhuǎn)角(roll angle)以及方框68中的攝像機(jī)離地高度。前面的討論僅僅公開和描述了本發(fā)明的示例性實(shí)施例。本領(lǐng)域技術(shù)人員根據(jù)這些討論以及附圖和權(quán)利要求書將會(huì)容易地認(rèn)識(shí)到，在不脫離所附權(quán)利要求限定的本發(fā)明的精神和范圍的情況下，可以做出各種不同的改變、改型和變型。
權(quán)利要求
一種用于估計(jì)攝像機(jī)圖像上的地平線的方法，所述方法包括提供源于攝像機(jī)的第一和第二圖像；提供源于所述圖像中的一個(gè)的紋理地圖，該紋理地圖對(duì)所述圖像中的邊緣進(jìn)行定位；提供源于所述第一和第二圖像之間的差別的運(yùn)動(dòng)地圖，該運(yùn)動(dòng)地圖對(duì)所述圖像中沒有發(fā)生運(yùn)動(dòng)的區(qū)域進(jìn)行定位；將所述紋理地圖和所述運(yùn)動(dòng)地圖進(jìn)行組合以識(shí)別組合地圖中不運(yùn)動(dòng)且包括地平線邊緣的位置；提供包括所述組合地圖中沿地平線方向的一定數(shù)量的位置的地平線投影，這些位置識(shí)別出所述組合地圖中的地平線邊緣的數(shù)量；對(duì)所述地平線投影進(jìn)行平滑處理以減少所述地平線投影中的干擾；以及識(shí)別平滑處理過的地平線投影中的最大峰值，該最大峰值識(shí)別出所述圖像中的估計(jì)地平線。
2.根據(jù)權(quán)利要求1所述的方法，其中，提供紋理地圖包括采用地平線邊緣檢測(cè)分析來 定位地平線邊緣。
3.根據(jù)權(quán)利要求2所述的方法，其中，提供地平線邊緣檢測(cè)分析包括采用Sobel濾波。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述紋理地圖中的邊緣、所述組合地圖中的位置 以及所述地平線投影中的位置都是白點(diǎn)。
5.根據(jù)權(quán)利要求1所述的方法，其中，對(duì)所述地平線投影進(jìn)行平滑處理包括采用 Gaussian平滑濾波器。
6.根據(jù)權(quán)利要求1所述的方法，其中，所述地平線投影是地平線直方圖。
7.根據(jù)權(quán)利要求1所述的方法，其中，所述攝像機(jī)是車載攝像機(jī)。
8.根據(jù)權(quán)利要求1所述的方法，還包括采用地平線估計(jì)來更新攝像機(jī)的俯仰角。
9. 一種用于估計(jì)攝像機(jī)圖像中的地平線的方法，所述方法包括 提供源于攝像機(jī)的第一和第二圖像；提供源于所述圖像中的一個(gè)的紋理地圖，該紋理地圖將所述圖像中的地平線邊緣定位 成白點(diǎn)，其中，提供紋理地圖包括采用地平線邊緣檢測(cè)分析來定位地平線邊緣；提供源于所述第一和第二圖像之間的差別的運(yùn)動(dòng)地圖，該運(yùn)動(dòng)地圖將所述圖像中沒有 發(fā)生運(yùn)動(dòng)的區(qū)域定位成白點(diǎn)；將所述紋理地圖和所述運(yùn)動(dòng)地圖進(jìn)行組合以便將組合地圖中不運(yùn)動(dòng)且包括地平線邊 緣的位置識(shí)別成白點(diǎn)；提供包括所述組合地圖中沿地平線方向的一定數(shù)量的白點(diǎn)的地平線投影，這些白點(diǎn)識(shí) 別出所述組合地圖中的地平線邊緣的數(shù)量；對(duì)所述地平線投影進(jìn)行平滑處理以減少所述地平線投影中的干擾；以及 識(shí)別平滑處理過的地平線投影中的最大峰值，該最大峰值識(shí)別出所述圖像中的估計(jì)地 平線。
10.根據(jù)權(quán)利要求9所述的方法，其中，提供地平線邊緣檢測(cè)分析包括采用Sobel濾波。
全文摘要
本發(fā)明涉及通過地平線估計(jì)進(jìn)行的攝像機(jī)自動(dòng)校準(zhǔn)。一種用于估計(jì)攝像機(jī)圖像中的地平線以提供俯仰方向上的攝像機(jī)自動(dòng)校準(zhǔn)的方法。該方法包括攝取一個(gè)場(chǎng)景的圖像并采用地平線邊緣檢測(cè)分析來產(chǎn)生該圖像的紋理地圖，以定位圖像中的地平線邊緣。該方法還包括通過提供連續(xù)圖像之間的圖像差別來提供運(yùn)動(dòng)地圖，以便在車輛移動(dòng)時(shí)找出圖像中沒有運(yùn)動(dòng)的區(qū)域。將紋理地圖和運(yùn)動(dòng)地圖進(jìn)行組合以識(shí)別圖像中不運(yùn)動(dòng)且包含地平線邊緣的區(qū)域。通過統(tǒng)計(jì)地圖中沿地平線方向的白點(diǎn)，從組合地圖中產(chǎn)生地平線投影。對(duì)該地平線投影進(jìn)行平滑處理以消除干擾，并且通過識(shí)別地平線投影中的最大峰值來估計(jì)圖像中的地平線位置。
文檔編號(hào)G06T7/00GK101800908SQ20101013819
公開日2010年8月11日 申請(qǐng)日期2010年2月8日 優(yōu)先權(quán)日2009年2月6日
發(fā)明者S·M·奈克, W·張 申請(qǐng)人:通用汽車環(huán)球科技運(yùn)作公司