專利名稱：雙目視覺傳感系統(tǒng)結構參數(shù)的標定方法
技術領域：
本發(fā)明涉及一種雙目視覺傳感系統(tǒng)的標定方法，屬于視覺測量領域，特別適用于兩個相機的光軸成夾角分布的雙目傳感系統(tǒng)的標定。

背景技術：
視覺測量具有非接觸、測速快、方便靈活等優(yōu)點，在虛擬現(xiàn)實、工業(yè)檢測等領域有著重要的意義和廣闊的應用前景。在雙目視覺傳感系統(tǒng)中，標定視覺傳感器的結構參數(shù)，即兩個相機之間的位置關系，是視覺傳感器進行三維測量的必要前提。
從雙目視覺模型可知，雙目視覺傳感系統(tǒng)的標定是指相機的內(nèi)部參數(shù)的標定和雙目視覺傳感系統(tǒng)的結構參數(shù)(外部參數(shù))的標定。傳統(tǒng)的雙目視覺傳感器結構參數(shù)的標定方法分為兩大類，一類標定方法是內(nèi)外參數(shù)一起標定，并且進行射影重建，這類標定方法可以用在計算機虛擬現(xiàn)實中，但是不適用于測量。另一類標定方法就是內(nèi)外參數(shù)分開標定的歐式三維重建，這一類標定方法才能應用于測量。對于外部參數(shù)的標定目前有一種方法就是通過線性方程直接求解左右相機之間的旋轉矩陣和平移矩陣，另一種方法就是利用基礎矩陣來求解左右相機的旋轉矩陣和平移矩陣，但是這兩種方法都是基于代數(shù)方法，避免不了解線性方程帶來的大量計算和引入的誤差。


發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種雙目視覺傳感器結構參數(shù)的標定方法，具有計算簡單、精度較高的優(yōu)點。
根據(jù)本發(fā)明的一方面，提供一種雙目視覺傳感器結構參數(shù)的標定方法，該方法包括利用左相機光心Ol、右相機光心Or、左相機的左圖像面、右相機的右圖像面以及被測物體上任一點P建立對極幾何關系；利用對極幾何關系得出包含相機內(nèi)部參數(shù)和系統(tǒng)結構參數(shù)的基礎矩陣；通過分解基礎矩陣分別得到左右相機的左右極點el和er；利用左右極點信息分別計算左右旋轉矩陣Rl和Rr，左右相機分別以各自的光心Ol和Or、分別以左右旋轉矩陣Rl和Rr進行相機旋轉校正，使得左右相機的光軸平行，同時分別以左右旋轉矩陣Rl和Rr旋轉左相機的左圖像面和右相機的右圖像面，使左右圖像面上的極線相互平行，由此使得空間物點在左右圖像面上的坐標只有在x軸不同，在y軸和z軸相同；在經(jīng)過旋轉校正后的坐標系下根據(jù)標定板反求出左相機光心Ol和右相機光心Or之間的連線的長度，由此完成所述標定，其中，左右相機對所述標定板同時進行拍攝。
根據(jù)本發(fā)明的標定方法簡單、快速，不需要復雜的計算和昂貴的標定輔助設備，可用于雙目視覺傳感系統(tǒng)的標定。



通過結合附圖，從下面的實施例的描述中，本發(fā)明這些和/或其它方面及優(yōu)點將會變得清楚，并且更易于理解，其中 圖1示出了根據(jù)本發(fā)明的雙目立體視覺和極線約束的示意圖； 圖2示出了根據(jù)本發(fā)明的共面約束的示意圖； 圖3示出了根據(jù)本發(fā)明的光軸相互平行的雙目立體幾何的示意圖； 圖4示出了根據(jù)本發(fā)明的由左相機拍攝的標定板左圖像的示意圖； 圖5示出了根據(jù)本發(fā)明的由右相機拍攝的標定板右圖像的示意圖； 圖6示出了根據(jù)本發(fā)明的雙目視覺傳感器結構參數(shù)的標定方法的流程圖。

具體實施例方式 現(xiàn)在將詳細描述本發(fā)明的實施例，其示例在附圖中示出，其中，相同的標號始終表示相同的部件。下面通過參照附圖來描述實施例以解釋本發(fā)明。
針對現(xiàn)有技術存在的問題，本發(fā)明引入了對極幾何和基礎矩陣的概念，但是僅僅利用雙目相機之間的空間幾何關系對雙目視覺傳感系統(tǒng)結構參數(shù)進行標定，這樣避免了求解線性方程帶來的大量計算和引入的誤差。
本發(fā)明引入一種新的標定方法。該方法是在相機內(nèi)部參數(shù)(包括畸變系數(shù))已經(jīng)知道的基礎上，利用對極幾何理論得出包含相機內(nèi)部參數(shù)和系統(tǒng)結構參數(shù)的基礎矩陣，通過分解基礎矩陣可以得到雙目相機的左右極點，利用左右極點信息計算左右旋轉矩陣，以左右旋轉矩陣旋轉左右相機使光軸平行，同時以左右旋轉矩陣旋轉左右圖像面使相應圖像面上的極線相互平行、空間物點在左右圖像面上的坐標只有x軸不同，y軸和z軸是相同的，然后利用三角關系就可以進行空間物點信息的三維重建。
下面參照圖1至圖3從理論上對雙目視覺傳感系統(tǒng)結構參數(shù)的標定方法進行詳細說明，所述雙目視覺傳感系統(tǒng)包括左相機和右相機。
圖1示出了根據(jù)本發(fā)明的雙目立體視覺和極線約束的示意圖。
如圖1所示Ol是左相機光心，Or是右相機光心，P是被測物體上任一點。由Ol、Or和P構成的平面稱為極平面，左相機的左圖像面和極平面的交線稱為左極線Ll，右相機的右圖像面和極平面的交線稱為右極線Lr，Ol和Or之間的連線稱為基線，基線和左圖像面的交點稱為左極點el，基線和右圖像面的交點稱為右極點er。這種由左右圖像面和極平面構成的描述相機之間存在關系的幾何就是對極幾何，它與場景結構無關，只依賴于相機的內(nèi)外參數(shù)。本發(fā)明的標定方法就是基于這種關系建立起來的。
圖2示出了根據(jù)本發(fā)明的共面約束的示意圖。
如圖2所示，T＝Ol-Or是左右兩個相機的平移矩陣，Pl、Pr是所述點P在左、右相機坐標系中左右圖像面上的物理坐標系，在射影空間它們分別代表左右圖像面上的齊次坐標系，在歐式空間它們分別是兩個向量。OlOrP決定了一個平面，由共面關系可知 (Pl-T)T(T×Pl)＝0 其中，Pr＝R(Pl-T)，R是左相機到右相機的旋轉矩陣。
由以上兩個公式可得出 PrTRSPl＝0(1) 其中S為T的反對稱矩陣。
令E＝RS，則E為本質(zhì)矩陣，本質(zhì)矩陣只與視覺傳感系統(tǒng)的外部參數(shù)有關，秩為2，自由度為5。
設pl和pr是點P在左右相機圖像面上的像素點坐標，Kl和Kr是左右圖像的內(nèi)部參數(shù)矩陣，則可得出pl＝KlPl和pr＝KrPr，變換后得 Pl＝Kl-1pl，Pr＝Kr-1pr 將上兩式帶入公式(1)，得出prTKr-TEKl-1pl＝0。
令F＝Kr-TEKl-1，得出 prTFPl＝0(2) 公式(2)中的F就是基礎矩陣，它的秩為2，自由度為7，與視覺傳感系統(tǒng)的內(nèi)外參數(shù)都有關系。
根據(jù)基礎矩陣可以計算左右極線和極點。具體地講，根據(jù)射影幾何的知識，點在一條直線上，則prTLr＝0，再結合公式(2)就可以得到右極線為 Lr＝Fpl 同理，可得到左極線為Ll＝FTpr 由于右極點在所有的右極線上erTLr＝erTFpl＝0，可以得到 FTer＝0 同理，可得出Fel＝0 將F和FT進行齊次方程的奇異值分解，就可以解出左右極點。
得到左右極點的信息以后就可以求解出兩個旋轉矩陣Rl和Rr，左右相機分別以各自的光心、分別以左右旋轉矩陣Rl和Rr進行相機旋轉校正，旋轉以后左右相機的方位相同，只有原點不重合，在左右相機中的左右圖像面也以各自的旋轉矩陣進行空間坐標變換。結果，空間點在左右相機中的坐標只有在x軸是不同的，在y和z軸是相同的，這樣達到理想狀態(tài)以后重建就變得非常簡單?？汕蟪鱿旅娴淖笥倚D矩陣Rl和Rr。
建立一個以Ol為原心的坐標系統(tǒng)(el1，el2，el3)，其中，左旋轉矩陣使左相機坐標系和圖像面以此左旋轉矩陣旋轉。同時，建立一個以Or為原心的坐標系統(tǒng)(er1，er2，er3)，其中，右旋轉矩陣使右相機坐標系和圖像面以此右旋轉矩陣旋轉。
el3＝el1×el2 其中，elx、ely、elz是左極點el在未旋轉的左相機坐標系下的坐標，z＝(0 0 1)T是在所述左相機坐標系中任取的一個向量。
er3＝er1×er2 其中，erx、ery、erz是右極點er在未旋轉的右相機坐標系下的坐標，z′＝(a b c)T是z點對應的右極線Lz＝Fz上的任一點。
這樣，就保證了相機旋轉以后的共面性。經(jīng)過以上兩個矩陣的旋轉，左右相機就旋轉到了理想的狀態(tài)。
此外，左右圖像面的旋轉是在歸一化為物理坐標系下進行的，左右圖像面上攜帶標定板空間信息的像素坐標是通過像素坐標系和物理坐標系之間的關系轉化為歸一化物理坐標系進行旋轉的，這樣旋轉的圖像面已經(jīng)消除了左右相機內(nèi)部參數(shù)的差異。在旋轉以后再將左右相機乘以相同的理想內(nèi)部參數(shù)，恢復圖像面的像素坐標系。這樣成像面已經(jīng)被理想化，帶來的好處就是空間點在左右圖像面上所在的左右極線y軸的坐標相同。
這樣，左右相機被理想化為內(nèi)部參數(shù)相同、x軸重合、y和z軸分別平行的理想狀態(tài)，如圖3所示。
圖3示出了根據(jù)本發(fā)明的光軸相互平行的雙目立體幾何的示意圖。
設空間點P在Ol下的坐標系為(x，y，z)，在Or下的坐標系為(x-b，y，z)，其中b為基線距離，為理想化的內(nèi)部參數(shù)，則根據(jù)圖像面上物理坐標系和像素坐標系之間的關系可得 根據(jù)以上公式可以得到空間點P的三維坐標如下 其中，x、y和z是物理坐標系，以mm為單位，ul和vl是左圖像面上物體所成像的像素坐標，ur和vr是右圖像面上物體所成像的像素坐標；K為內(nèi)部參數(shù)，αx＝f/dx，αy＝f/dy，其中，f為相機的焦距，dx和dy分別為CCD的像素單位，即，一個像素的橫向大小和縱向大小；(u0，v0)為主點(光軸和圖像面的交點)在像素坐標系中的位置，內(nèi)部參數(shù)以像素為單位。
從上述的推導可以看出，經(jīng)過圖像旋轉校正的三維重建已經(jīng)變得簡單，計算量也大大降低。但是如果不求基線長度，則從公式(4)可以看出，求出來的物體三維坐標是相對的，所以在圖像旋轉校正之后再在經(jīng)過旋轉校正后的坐標系下根據(jù)標定板反求出基線的長度，這樣就完成了標定。
下面描述根據(jù)標定板反求出基線的長度的示例性步驟。
標定板是一塊尺寸具有很高精度的棋盤格，在該棋盤格的橫排和豎排上分別布置有彼此黑白相間的方格。標定的整個過程可利用左右相機同時對標定板攝像，然后利用標定板的角點信息(棋盤格黑白相間的地方)來完成雙目視覺傳感系統(tǒng)標定(包括求解基礎矩陣、基線長度等)。因此，利用標定板反求基線長度的步驟可包括利用標定板的任意兩個不同角點在左右相機同時拍攝的標定板左右圖像中的像素坐標(在標定過程中左右相機可在不同角度同時拍攝多組標定板左右圖像)，再利用前面提到的旋轉校正后的坐標系下的三維重建來求出所述任意兩個不同角點的三維坐標，此時求出的三維信息是相對的，即它們的長、寬、高都是與基線長度成正比的；然后求出上述任意兩個不同角點之間的距離(因為知道三維坐標后可方便求出該距離)，此時求出的兩個不同角點距離也是與基線長度成正比的一個相對距離，因為高精度的棋盤格兩個不同角點之間的實際距離是可以得到的，所以利用上述兩個距離相等就可反求出唯一的未知數(shù)，即，基線的長度。圖4示出了根據(jù)本發(fā)明的由左相機拍攝的標定板左圖像的示意圖，圖5示出了根據(jù)本發(fā)明的由右相機拍攝的標定板右圖像的示意圖，左右相機同時拍攝標定板左右圖像。
圖6示出了根據(jù)本發(fā)明的雙目視覺傳感器結構參數(shù)的標定方法的流程圖。
參照圖6，在步驟601，利用左相機光心Ol、右相機光心Or、左相機的左圖像面、右相機的右圖像面以及被測物體上任一點P建立對極幾何關系。
在步驟602，利用對極幾何關系得出包含相機內(nèi)部參數(shù)和系統(tǒng)結構參數(shù)的基礎矩陣。
在步驟603，通過分解基礎矩陣分別得到左右相機的左右極點el和er。
在步驟604，利用左右極點信息分別計算左右旋轉矩陣Rl和Rr，左右相機分別以各自的光心Ol和Or、分別以左右旋轉矩陣Rl和Rr進行相機旋轉校正，使得左右相機的光軸平行，同時分別以左右旋轉矩陣Rl和Rr旋轉左相機的左圖像面和右相機的右圖像面，使左右圖像面上的極線相互平行，由此使得空間物點在左右圖像面上的坐標只有在x軸不同，在y軸和z軸相同。
在步驟605，在理想坐標系下根據(jù)標定板反求出左相機光心Ol和右相機光心Or之間的連線的距離，由此完成所述標定。
因此，根據(jù)本發(fā)明的標定方法只需要相機參數(shù)以及標定相機參數(shù)時用到的平面靶標圖片角點坐標信息。利用對極幾何計算包含雙目相機位置關系的基礎矩陣，通過分解基礎矩陣得到左右圖像面上的極點。然后利用左右極點信息分別計算左右旋轉矩陣，使左右相機方位相同的，圖像面上的極點位于無窮遠處，極線相互平行。此后，可利用三角關系進行三維重建。根據(jù)本發(fā)明的結構參數(shù)的標定方法簡單、快速，不需要復雜的計算和昂貴的標定輔助設備，可用于雙目視覺傳感系統(tǒng)的標定。
雖然已經(jīng)參照本發(fā)明的示例性實施例具體描述和顯示了本發(fā)明，但是本領域的普通技術人員應該理解，在不脫離由權利要求限定的本發(fā)明的精神和范圍的情況下，可以對其進行形式和細節(jié)的各種改變。
權利要求
1、一種雙目視覺傳感系統(tǒng)結構參數(shù)的標定方法，所述雙目視覺傳感系統(tǒng)包括左相機和右相機，所述方法包括以下步驟
利用左相機光心Ol、右相機光心Or、左相機的左圖像面、右相機的右圖像面以及被測物體上任一點P建立對極幾何關系；
利用對極幾何關系得出包含相機內(nèi)部參數(shù)和系統(tǒng)結構參數(shù)的基礎矩陣；
通過分解基礎矩陣分別得到左右相機的左右極點el和er；
利用左右極點信息分別計算左右旋轉矩陣Rl和Rr，左右相機分別以各自的光心Ol和Or、分別以左右旋轉矩陣Rl和Rr進行相機旋轉校正，使得左右相機的光軸平行，同時分別以左右旋轉矩陣Rl和Rr旋轉左相機的左圖像面和右相機的右圖像面，使左右圖像面上的極線相互平行，由此使得空間物點在左右圖像面上的坐標只有在x軸不同，在y軸和z軸相同；
在經(jīng)過旋轉校正后的坐標系下根據(jù)標定板反求出左相機光心Ol和右相機光心Or之間的連線的長度，由此完成所述標定，其中，左右相機對所述標定板同時進行拍攝。
2、根據(jù)權利要求1所述的標定方法，其中，由左相機光心Ol、右相機光心Or和被測物體上所述一點P構成極平面，左相機的左圖像面和極平面的交線構成左極線Ll，右相機的右圖像面和極平面的交線構成右極線Lr，左相機光心Ol和右相機光心Or之間的連線構成基線，基線和左圖像面的交點構成左極點el，基線和右圖像面的交點構成右極點er，由此建立對極幾何關系。
3、根據(jù)權利要求2所述的標定方法，其中，根據(jù)標定板反求出所述連線的長度的步驟包括
利用標定板上的任意兩個不同角點在左右相機同時拍攝的標定板左右圖像中的像素坐標，并利用旋轉校正后的坐標系下的三維重建來求出所述任意兩個不同角點的三維坐標；
根據(jù)所述任意兩個不同角點的三維坐標求出所述任意兩個不同角點的距離；
基于求出的所述任意兩個不同角點的距離與標定板上的所述任意兩個不同角點的實際距離相等的關系，反求出所述連線的長度。
4、根據(jù)權利要求2所述的標定方法，其中，通過對基礎矩陣進行齊次方程的奇異值分解，得到左右極點el和er。
全文摘要
提供一種雙目視覺傳感系統(tǒng)結構參數(shù)的標定方法，包括利用左右相機的光心、左右相機的左右圖像面以及被測物體上任一點建立對極幾何關系；利用對極幾何關系得出包含相機內(nèi)部參數(shù)和系統(tǒng)結構參數(shù)的基礎矩陣；分解基礎矩陣得到左右相機的左右極點；利用左右極點信息分別計算左右旋轉矩陣，左右相機分別以各自的光心、分別以左右旋轉矩陣進行相機旋轉校正，使得左右相機的光軸平行，同時分別以左右旋轉矩陣旋轉左相機的左圖像面和右相機的右圖像面，使左右圖像面上的極線相互平行，由此使得空間物點在左右圖像面上的坐標只有在x軸不同，在y軸和z軸相同；在旋轉后的坐標系下根據(jù)標定板反求出左相機光心和右相機光心之間的連線的長度，完成所述標定。
文檔編號G01B11/245GK101581569SQ20091014688
公開日2009年11月18日 申請日期2009年6月17日 優(yōu)先權日2009年6月17日
發(fā)明者婁小平, 郭美萍, 呂乃光 申請人:北京信息科技大學