專利名稱：一種魯棒的立體像對矯正新方法
技術(shù)領(lǐng)域：
本發(fā)明涉及計算機視覺領(lǐng)域，具體涉及圖像矯正技術(shù)。
背景技術(shù)：
立體匹配是計算機視覺研究中一個重要和活躍的課題。隨著立體匹配應(yīng)用越來越多，怎樣提高匹配的效率也成為了一個亟需解決的問題。圖像矯正正是一個提高匹配速度的有效方法。圖像矯正又稱為兩視矯正，它是指對立體圖像對分別實施一次平面射影變換，使得兩個圖像中對應(yīng)的對極線都平行于X軸(或者I軸)，也就是說圖像間的視差僅僅發(fā)生在X (y)方向，y (X)方向沒有視差，從而使沿極線搜索對應(yīng)點變得更加方便快捷。
圖像矯正可以在相機標(biāo)定和無相機標(biāo)定的情況下進行。Fusiello在攝像機標(biāo)定的情況下，通過應(yīng)用兩個透視矩陣到各自的攝像機矩陣中，從而計算一對矯正投影矩陣。這種方法明顯增加了矯正的工作量和誤差，因此無相機標(biāo)定的方法具有更大的適應(yīng)性。無相機的標(biāo)定方法是建立在一系列對應(yīng)點坐標(biāo)之上，也就是要求矯正的圖像具有部分共同的場景。通過圖像特征點提取及匹配技術(shù)可以得到圖像對中興趣點的對應(yīng)點集。在依據(jù)對應(yīng)點集而建立的圖像矯正算法中，Po 11 efey s等人提出以對極點為極坐標(biāo)的原點，利用坐標(biāo)變換以達到圖像矯正的目的，這種方法在對極點位于圖像內(nèi)部時可以得到較好效果，但是當(dāng)對極點原理圖像時精度就得不到的保證；FranCesC0等提出了一種只依賴與對應(yīng)點集信息的圖像矯正方法，它無需計算基本矩陣，在校正過程使用非線性優(yōu)化計算求出矯正矩陣的相關(guān)參數(shù)，但是也存在初始值選取缺乏可信度，采用金字塔結(jié)構(gòu)的優(yōu)化過程計算量很大的問題，是一種不穩(wěn)定的方法；Yu提出應(yīng)用RANSAC算法到圖像矯正中以避免由于噪聲和興趣點誤匹配導(dǎo)致的錯誤，雖然得到了較好的效果，但是采用LM迭代和EP算法也使效率不高。

發(fā)明內(nèi)容
本發(fā)明為了解決圖像矯正過程中計算量大，運算時間長，垂直誤差較大的情況，提出了一種基于對極線匹配的立體像對魯棒矯正方法。本發(fā)明首先需要計算圖像對間的匹配點的信息；然后尋找一個投影矩陣H’將右圖的對極點e’映射到無窮遠(yuǎn)點，此時的右圖上的對極線被映射為平行于X軸的直線；接著分析圖像矯正的基本原理，推導(dǎo)出應(yīng)用在左圖上的投影矩陣H，使得該圖像上的對極線與右圖上的對極線互相匹配；最后根據(jù)得到的投影矩陣H和H’重新采樣對應(yīng)的圖像，達到最終的矯正目的。本發(fā)明的基于對極線匹配的立體像對魯棒矯正方法步驟如下所示
O通過興趣點提取匹配算法，至少確定兩幅圖像間的7對匹配點
2)使用得到匹配點對計算基本矩陣，并求出兩幅圖像的對極點e和e’；
3)尋找一個投影矩陣H’將e’映射到無窮遠(yuǎn)點(1，0，0)τ;
4)根據(jù)圖像矯正后滿足的條件/Γ = Η-ΤΓ ,推導(dǎo)出與投影矩陣H’相匹配的另一個投影矩陣H ；
5)使用投影矩陣H和H’分別重采樣對應(yīng)的圖像得到矯正圖像。


圖I是本發(fā)明方法的流程框 圖2是本發(fā)明的立體像對的對極幾何 圖3是本發(fā)明的矯正過程示意圖；
圖4是本發(fā)明步驟I的輸出結(jié)果 圖5是本發(fā)明的矯正前對極線 圖6是本發(fā)明的矯正后對極線圖。
具體實施例方式結(jié)合圖I說明本實施方式，其具體步驟如下
1、通過興趣點提取匹配算法至少確定兩幅圖像間的7對匹配點 確定兩幅圖像的匹配點有很多方法，SURF算法就是其中比較熱門的一個。SURF算法可以看成著名算法SIFT的加速版，它在適當(dāng)?shù)臈l件下基本可以實時處理兩幅圖像興趣點的提取和匹配，其快速的基礎(chǔ)得益于積分圖像計算以及Hessian行列式簡化和近似.
2、使用得到匹配點對計算基本矩陣并求出兩幅圖像的對極點e和e’。I)基本矩陣計算?；揪仃嘑是對極幾何的代數(shù)表示，它最基本的性質(zhì)就是滿足以下公式
XfrFX = O(O
其中X’和X就是兩幅圖像中任何一對對應(yīng)點的齊次坐標(biāo)。得到匹配點之后就可以根據(jù)公式(I)使用RANSAC算法獲取內(nèi)點和使用內(nèi)點通過歸一化8點算法求得基本矩陣。2)對極點計算。令e和e’為兩攝像機的對極點，F(xiàn)是攝像機對的基本矩陣，則有
ieirF = 0
<(2)
[Fe = O
即e’是F的左零矢量，e是F的右零矢量。通過F的svd分解就可以求得對極點.
3、尋找一個投影矩陣H’將e’映射到無窮遠(yuǎn)點(1，0，0)τ。這里構(gòu)造一個射影變換H’，它可以分解成四個過程
1)平移變換Ht:將點X0 = (x0, y0, I)平移到原點；
I O X0
^t= O I y0(3)
_0 O 1_
2)旋轉(zhuǎn)變換札以原點為軸心，旋轉(zhuǎn)對極點e’到X軸上一點(U，O,1)τ ；
令e =Te= (Sif, sy,if , Θ= arctan(e'v ie'x),則
權(quán)利要求
1.基于對極線匹配的立體像對魯棒矯正方法，首先需要計算圖像對間的匹配點的信息；然后尋找ー個投影矩陣H’將右圖的對極點e’映射到無窮遠(yuǎn)點，此時的右圖上的對極線被映射為平行于X軸的直線；接著分析圖像矯正的基本原理，推導(dǎo)出應(yīng)用在左圖上的投影矩陣H，使得該圖像上的對極線與右圖上的對極線互相匹配；最后根據(jù)得到的投影矩陣H和H’重新采樣對應(yīng)的圖像，達到最終的矯正目的。
2.根據(jù)權(quán)利要求I所述的基于對極線匹配的立體像對魯棒矯正方法，其特征在于包括以下步驟 O通過興趣點提取匹配算法，至少確定兩幅圖像間的7對匹配點x^x!； 2)使用得到匹配點對計算基本矩陣，并求出兩幅圖像的對極點e和e’； 3)尋找ー個投影矩陣H’將e’映射到無窮遠(yuǎn)點(1，0，0)τ; 4)根據(jù)圖像矯正后滿足的條件//I= H1-rIt ,推導(dǎo)出與投影矩陣H’相匹配的另ー個投影矩陣H ； 5)使用投影矩陣H和H’分別重采樣對應(yīng)的圖像得到矯正圖像。
3.根據(jù)權(quán)利要求2所述的基于對極線匹配的立體像對魯棒矯正方法，其特征在于所述的通過興趣點提取匹配算法至少確定兩幅圖像間的7對匹配點ろeW步驟. 確定兩幅圖像的匹配點有很多方法，SURF算法就是其中比較熱門的ー個；SURF算法可以看成著名算法SIFT的加速版，它在適當(dāng)?shù)臈l件下基本可以實時處理兩幅圖像興趣點的提取和匹配，其快速的基礎(chǔ)得益于積分圖像計算以及Hessian行列式簡化和近似。
4.根據(jù)權(quán)利要求2所述的基于對極線匹配的立體像對魯棒矯正方法，其特征在于所述的使用得到匹配點對計算基本矩陣并求出兩幅圖像的對極點e和e’步驟. 1)基本矩陣計算 基本矩陣F是對極幾何的代數(shù)表示，它最基本的性質(zhì)就是滿足以下公式 XirFX = O(O 其中X’和X就是兩幅圖像中任何一對對應(yīng)點的齊次坐標(biāo).得到匹配點之后就可以根據(jù)公式(I)使用RANSAC算法獲取內(nèi)點和使用內(nèi)點通過歸ー化8點算法求得基本矩陣. 2)對極點計算 令e和e’為兩攝像機的對極點，F(xiàn)是攝像機對的基本矩陣，則有TefrF = O^ (2)IFe = O 即e’是F的左零矢量，e是F的右零矢量.通過F的svd分解就可以求得對極點。
5.根據(jù)權(quán)利要求2所述的基于對極線匹配的立體像對魯棒矯正方法，其特征在于所述的尋找ー個投影矩陣H’將e’映射到無窮遠(yuǎn)點(1，0，0)τ步驟. 這里構(gòu)造ー個射影變換H’，它可以分解成四個過程 I)平移變換Ht :將點X0 = (x0, y0, I)平移到原點； O X0' Ht-O I >!0(3)_0 O I _ 2)旋轉(zhuǎn)變換札以原點為軸心，旋轉(zhuǎn)對極點e’到X軸上一點(U，O,1)τ ； 令 e =Te= \ex, sy,\f , Θ= arctanf^ fe'K),貝丨J cos Θ sin θ 0Hr= -sin Θ cos5 0(4) 0 0 1_3)透視變換Hp:映射點(u，0，l)T到無窮遠(yuǎn)點(u，0，0)T ; I O O' Mf= O I. O(5)[-1/a O I 4)逆平移變換H_t:將Xtl平移到原來的位置O -χ0 — H.t = O I -_y0(6) OO I 因此，射影變換H就是以上四個變換的組合丑f =。
6.根據(jù)權(quán)利要求2所述的基于對極線匹配的立體像對魯棒矯正方法，其特征在于所述的根據(jù)圖像矯正后滿足的條件/rq = Ht-rV ,推導(dǎo)出與投影矩陣H’相匹配的另ー個投影矩陣H步驟. 對于兩幅圖像Ptl和P;，分別記H和H’為施加的射影變換，使得采樣后的圖像P1和P/為矯正效果，則在矯正圖像P1和P1'中的對極線I1和V相匹配，表達為I1= V，滿足這個條件的變換對H和H’稱為變換匹配對，更具體說，如果Itl和1;是Ptl和P;中的任何一對對應(yīng)的對極線，則有 n t い(7) 1[=れ J 令I(lǐng)和I’是對應(yīng)的對極線，且k是不過對極點e的任何直線，k’是不過對極點e’的任何直線，則I和I’間的關(guān)系是 ⑶ 記要點5中的對極點和投影矩陣分別為e，和H’，現(xiàn)在就尋找與H’匹配的變換H， 由式(7)和式(8)可以得到 Η~7ρΤ[β<\1 = H ト ％(9) 因為所有的對極線對都滿足式(7)，因此對H和所有的1;都滿足式(9)，從而推出
7.根據(jù)權(quán)利要求2所述的基于對極線匹配的立體像對魯棒矯正方法，其特征在于所述的使用投影矩陣H和H’分別重采樣對應(yīng)的圖像得到矯正圖像步驟；對于采樣前兩幅圖像P。和P;中的對應(yīng)點分別為Xtl和Χο’，則采樣后矯正圖像P1和P1'中的對應(yīng)點X1和X/，則矯正圖像點像素與原來圖像點像素關(guān)系滿足[コ:Ηふ。
全文摘要
基于對極線匹配的立體像對魯棒矯正方法，屬于計算機視覺領(lǐng)域。該算法是一種無相機標(biāo)定的立體圖像對矯正算法，只需要計算基本矩陣和圖像對間的匹配點的信息。首先尋找一個投影矩陣H’將右圖的對極點e’映射到無窮遠(yuǎn)點，此時該圖上的對極線被映射為平行于x軸的直線；基于矯正后立體像對的對應(yīng)極線相同的原理，推導(dǎo)出應(yīng)用在左圖上的矯正矩陣H；最后根據(jù)得到的投影矩陣H和H’重新采樣對應(yīng)的圖像，達到最終的矯正目的。該算法實現(xiàn)簡單、矯正速度快、并且有效的消除了垂直誤差。
文檔編號G06T5/00GK102842118SQ20121024530
公開日2012年12月26日 申請日期2012年7月17日 優(yōu)先權(quán)日2012年7月17日
發(fā)明者劉怡光, 曹麗萍, 何文森 申請人:劉怡光