一種基于逆向除法模型的廣角鏡頭圖像畸變校正方法
【專利摘要】一種基于逆向除法模型的廣角鏡頭圖像畸變校正方法，依據(jù)直接求逆的方法建立逆向除法校正模型，再將其轉(zhuǎn)換為校正前后圖像像素坐標(biāo)之間的關(guān)系式；采用迭代的方式檢驗(yàn)?zāi)嫦蛐ＵＰ偷男Ｕ?，并進(jìn)行參數(shù)優(yōu)化，保證逆向模型的畸變校正系數(shù)和正向模型保持一致。本方法在保證校正精度不變的情況下，避免了校正后圖像像素缺失的現(xiàn)象，提高了整個校正過程的實(shí)時性，對于嵌入式系統(tǒng)以及場地應(yīng)用場合，逆向除法校正模型要優(yōu)于傳統(tǒng)的正向除法校正模型。
【專利說明】一種基于逆向除法模型的廣角鏡頭圖像畸變校正方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像處理領(lǐng)域，具體涉及一種基于逆向除法模型的廣角鏡頭圖像畸變校正方法。

【背景技術(shù)】
[0002]廣角鏡頭具有大視場、短焦距等優(yōu)點(diǎn)，經(jīng)常用于擴(kuò)大普通針孔相機(jī)的視野范圍。在機(jī)器人導(dǎo)航、視頻會議、監(jiān)視和虛擬現(xiàn)實(shí)應(yīng)用等計(jì)算機(jī)視覺領(lǐng)域，都需要使用具有較大視場的廣角或魚眼攝像機(jī)。研究者普遍認(rèn)為:一般的攝像頭(包括廣角攝像頭)都遵循線性針孔模型，也就是符合一般的透視投影規(guī)律。然而，廣角鏡頭光學(xué)系統(tǒng)引入強(qiáng)烈的光學(xué)畸變，導(dǎo)致針孔模型的假設(shè)不再成立。為了充分利用這些具有嚴(yán)重畸變的圖像透視投影信息，需要將畸變后的圖像校正為理想的線性透視投影圖像。在廣角鏡頭產(chǎn)生的畸變中，最顯著的畸變類型是徑向畸變，其在廣角鏡頭光學(xué)中體現(xiàn)出畸變圖像的中間區(qū)域呈現(xiàn)出高分辨率，而在圖像的邊緣部分呈現(xiàn)圖像分辨率的非線性下降。徑向畸變是廣角鏡頭引入的最顯著的畸變類型，因此畸變校正的關(guān)鍵問題在于如何對廣角鏡頭圖像實(shí)施徑向畸變校正。
[0003]目前對于廣角攝像機(jī)圖像畸變校正問題的研究，主要基于傳統(tǒng)的攝像機(jī)標(biāo)定理論。廣角鏡頭標(biāo)定算法是一類精確畸變校正的方法，在建立廣角鏡頭畸變模型的基礎(chǔ)上，考慮到廣角鏡頭成像的主要畸變類型，尤其是徑向畸變，依此建立精確的廣角攝像機(jī)模型并計(jì)算出相應(yīng)的內(nèi)參矩陣各分量。攝像機(jī)標(biāo)定方法主要包括照相機(jī)視覺標(biāo)定、自標(biāo)定以及張正友標(biāo)定，這些標(biāo)定方法都需要特制的標(biāo)定模塊和模板。其中，張正友標(biāo)定具有精度高、魯棒性強(qiáng)且靈活的特點(diǎn)，因此廣為采用。張正友標(biāo)定要求攝像機(jī)在至少兩個方位上拍攝一個平面標(biāo)定板，攝像機(jī)和二維平面標(biāo)定板可以自由移動，且內(nèi)部參數(shù)始終保持不變。由于二維平面標(biāo)定板在世界坐標(biāo)系中7=0，因此通過線性模型分析即可求解出攝像機(jī)內(nèi)部參數(shù)和外部參數(shù)的優(yōu)化解，然后通過最大似然估計(jì)和Levenberg-Marquardt進(jìn)行非線性求精；然后采用合適的正向校正模型來擬合徑向畸變函數(shù)，實(shí)現(xiàn)廣角攝像機(jī)圖像的畸變校正。目前比較常用的是多項(xiàng)式模型，除法模型以及球面透視投影模型等等。
[0004]綜上所述，廣角攝像機(jī)校正模型大都采用正向去畸變校正思路，將校正前的圖像像素坐標(biāo)通過校正模型轉(zhuǎn)換為校正后的圖像坐標(biāo)。由于這種映射關(guān)系不是一一對應(yīng)的，校正后的圖像必然會導(dǎo)致某些像素缺失，也就是空洞現(xiàn)象。傳統(tǒng)的廣角畸變校正必然伴隨著后續(xù)圖像插值處理，其中包括最近鄰域插值、雙線性插值、雙三次插值方法等等。然而，由于引入了插值操作，很容易導(dǎo)致算法的實(shí)時性降低，進(jìn)而影響最終的校正效果。


【發(fā)明內(nèi)容】

[0005]本發(fā)明針對正向校正算法的不足，提出了一種新穎的基于逆向除法校正模型的廣角攝像頭畸變校正方法。
[0006]將正向校正模型的理想校正圖像物理坐標(biāo)點(diǎn)與主點(diǎn)坐標(biāo)的距離r?和畸變后的魚眼圖像物理坐標(biāo)點(diǎn)與主點(diǎn)坐標(biāo)的距離r,的關(guān)系式，經(jīng)過直接求逆得到了逆向除法校正模型，通過逆向校正模型將校正后的圖像坐標(biāo)轉(zhuǎn)換為校正前的圖像坐標(biāo)。實(shí)驗(yàn)表明這種算法有效避免了校正后圖像像素缺失的現(xiàn)象，從而避免了后續(xù)的插值處理，在減少了運(yùn)算量的同時有效地提高了整個校正過程的實(shí)時性。
[0007]本發(fā)明涉及一種基于逆向除法模型的廣角鏡頭圖像畸變校正方法。具體地:基于確定的正向除法校正模型，計(jì)算出逆向校正模型的表達(dá)式和相應(yīng)的畸變校正系數(shù)』，最后通過最大似然估計(jì)進(jìn)行非線性求精。若校正精度下降的情況，則重新進(jìn)行最大似然求精，直到校正精度滿足要求。
[0008]本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:首先采用張正友標(biāo)定算法計(jì)算出廣角攝像頭的內(nèi)部參數(shù)和外部參數(shù)，建立廣角攝像頭的畸變模型，對廣角攝像頭建立正向除法畸變校正模型。由于正向除法畸變校正模型表達(dá)式可以直接求逆，因此我們采用對正向模型的&和rd表達(dá)式直接求逆得到逆向除法校正模型。
[0009]基于逆向除法模型的廣角圖像畸變校正方法包括如下主要步驟:
步驟一:對廣角攝像機(jī)進(jìn)行張正友標(biāo)定，獲得攝像機(jī)的內(nèi)參矩陣和外參矩陣中的每個分量;
步驟二:先建立正向除法畸變校正的和r,關(guān)系模型，在僅考慮徑向畸變條件下給出正向除法模型中的校正系數(shù)』。
[0010]步驟三:對標(biāo)定得到的內(nèi)參、外參和正向除法模型的校正系數(shù)』采用Levenberg-Marquardt算法進(jìn)行非線性求精,得到相對精確的標(biāo)定參數(shù)值；
步驟四:依據(jù)直接求逆的方法建立逆向除法校正模型的4和&表達(dá)式，再將其轉(zhuǎn)換為校正前后圖像像素坐標(biāo)之間的關(guān)系表達(dá)式。
[0011]為了實(shí)現(xiàn)坐標(biāo)轉(zhuǎn)換，首先做出如下假設(shè):(I)光軸嚴(yán)格垂直于成像平面，主點(diǎn)沒有偏離圖像中心。這樣我們可以忽略離心畸變(2)忽略切向畸變，僅考慮徑向畸變。考慮圖像幾何關(guān)系，容易推導(dǎo)出逆向模型中校正前后物理坐標(biāo)系中的坐標(biāo)關(guān)系，然后容易推得校正前后圖像坐標(biāo)系中的坐標(biāo)關(guān)系。通過步驟三的最大似然估計(jì)對內(nèi)參以及畸變校正系數(shù)等參數(shù)值進(jìn)行優(yōu)化，即可得到待定畸變校正參數(shù)』的優(yōu)化值。
[0012]步驟五:檢驗(yàn)?zāi)嫦蛐ＵＰ偷男Ｕ?是，則輸出校正后的圖像；否，則繼續(xù)參數(shù)優(yōu)化的過程，返回步驟三；
步驟六:輸出最終的校正后圖像，作為后續(xù)圖像辨識、分析、處理使用。
[0013]有益效果
本發(fā)明方法充分考慮了正向除法校正產(chǎn)生的像素缺失問題對校正過程實(shí)時性的影響，在充分保證校正精度的情況下，采用逆向除法模型提高了算法的實(shí)時性，避免了圖像部分像素缺失的現(xiàn)象，從而有效避免了插值處理并提高了校正過程的運(yùn)算效率。

【專利附圖】

【附圖說明】
[0014]圖1本發(fā)明【具體實(shí)施方式】的方法流程圖；
圖2本發(fā)明【具體實(shí)施方式】的廣角鏡頭畸變圖像；
圖3本發(fā)明【具體實(shí)施方式】的正向除法校正效果(未插值)；
圖4本發(fā)明【具體實(shí)施方式】的正向除法校正效果(已插值)；
圖5本發(fā)明【具體實(shí)施方式】的逆向除法校正效果(首次設(shè)定』值)；圖6本發(fā)明【具體實(shí)施方式】的逆向除法最終效果(迭代優(yōu)化』值后)。

【具體實(shí)施方式】
[0015]下面結(jié)合附圖對本發(fā)明的具體實(shí)施做詳細(xì)說明。
[0016]本實(shí)施方式的方法，軟件環(huán)境為WINDOWS 7系統(tǒng)，仿真環(huán)境為MATLAB2008a，流程如圖1所示:
步驟一:采用張正友標(biāo)定算法計(jì)算廣角攝像頭的內(nèi)參和外參，主要包括主點(diǎn)坐標(biāo)(u0, v0), u軸和r軸向的尺度因子a , β O
[0017]我們對一款576*720分辨率的廣角攝像頭(此處采用的型號為PC1030，具體型號不影響處理過程)進(jìn)行標(biāo)定得到的標(biāo)定參數(shù)如下:

【權(quán)利要求】
1.一種基于逆向除法模型的廣角鏡頭圖像畸變校正方法，依據(jù)確定的正向除法校正模型，計(jì)算出逆向校正模型的表達(dá)式和相應(yīng)的畸變校正系數(shù)，然后通過最大似然估計(jì)進(jìn)行非線性求精；若校正精度下降則重新進(jìn)行最大似然求精，直到校正精度滿足要求；其特征在于:(I)依據(jù)直接求逆的方法建立逆向除法校正模型，再將其轉(zhuǎn)換為校正前后圖像像素坐標(biāo)之間的關(guān)系表達(dá)式；采用迭代的方式檢驗(yàn)?zāi)嫦蛐ＵＰ偷男Ｕ?，并進(jìn)行參數(shù)優(yōu)化，保證逆向模型的畸變校正系數(shù)和正向模型保持一致；(2)由于每個校正后的圖像坐標(biāo)必然會通過逆向校正模型對應(yīng)到校正前圖像中某一像素值，因此采用逆向除法模型校正可以在不損失校正精度的前提下有效避免校正后圖像的像素缺失現(xiàn)象，不必進(jìn)行插值操作。
2.所述的一種基于逆向除法模型的廣角鏡頭圖像畸變校正方法，其特征在于:包括如下步驟: 步驟一:對廣角攝像機(jī)進(jìn)行張正友標(biāo)定，獲得攝像機(jī)的內(nèi)參矩陣和外參矩陣中的每個分量; 步驟二:先建立正向除法畸變校正的理想校正圖像物理坐標(biāo)點(diǎn)與主點(diǎn)坐標(biāo)的距離&和畸變后的魚眼圖像物理坐標(biāo)點(diǎn)與主點(diǎn)坐標(biāo)的距離r,的關(guān)系式，在僅考慮徑向畸變條件下給出正向除法模型中的校正系數(shù)； 步驟三:對標(biāo)定得到的內(nèi)參、外參和正向除法模型的校正系數(shù)進(jìn)行非線性求精，得到相對精確的標(biāo)定參數(shù)值； 步驟四:依據(jù)直接求逆的方法建立逆向除法校正模型的4和&表達(dá)式，再將其轉(zhuǎn)換為校正前后圖像像素坐標(biāo)之間的關(guān)系表達(dá)式； 步驟五:迭代檢驗(yàn)?zāi)嫦蛐ＵＰ偷男Ｕ?，若滿足則進(jìn)入下一步，不滿足要求則返回步驟三； 步驟六:輸出最終的校正后圖像，作為后續(xù)圖像辨識、分析、處理使用。
【文檔編號】G06T5/00GK104182933SQ201310203310
【公開日】2014年12月3日 申請日期:2013年5月28日 優(yōu)先權(quán)日:2013年5月28日
【發(fā)明者】張?jiān)浦? 楊文綸, 張翰鐸, 高亮, 王少楠, 張益凱 申請人:東北大學(xué)