用于使用棋盤圖案的一幅或多幅圖像的自動(dòng)相機(jī)校準(zhǔn)的方法和裝置制造方法
【專利摘要】本發(fā)明涉及一種為了最佳圖像質(zhì)量而校準(zhǔn)并確定鏡頭圍繞其對(duì)稱軸的旋轉(zhuǎn)范圍、由此更新投影模型并使用并行處理實(shí)時(shí)校正圖像的徑向失真的高精度方法、模型和裝置。在此提供的解決方案依賴于光學(xué)設(shè)備的完全幾何校準(zhǔn)，并在隨后實(shí)時(shí)呈現(xiàn)透視校正圖像，該光學(xué)設(shè)備諸如通常用于醫(yī)療和一般工業(yè)的相機(jī)。校準(zhǔn)包括確定將每個(gè)參數(shù)分配至對(duì)應(yīng)入射光的3D方向的合適映射函數(shù)的參數(shù)。這類解決方案的實(shí)際實(shí)現(xiàn)是非常直接的，僅要求相機(jī)捕捉輕易可用的校準(zhǔn)目標(biāo)的單個(gè)視圖，并且計(jì)算機(jī)實(shí)現(xiàn)的處理流水線使用計(jì)算平臺(tái)的并行執(zhí)行能力實(shí)時(shí)運(yùn)行，該校準(zhǔn)目標(biāo)可裝配在專用校準(zhǔn)裝置內(nèi)部。
【專利說(shuō)明】用于使用祺盤圖案的一幅或多幅圖像的自動(dòng)相機(jī)校準(zhǔn)的方法和裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種為了最佳圖像質(zhì)量而校準(zhǔn)并確定鏡頭圍繞其對(duì)稱軸的旋轉(zhuǎn)范圍、由此更新投影模型并使用并行處理實(shí)時(shí)校正圖像的徑向失真的高精度方法、模型和裝置。
【背景技術(shù)】
[0002]通常需要光學(xué)儀器產(chǎn)生給定對(duì)象的幾何組成圖像，其中3D中的每個(gè)點(diǎn)被投影到該圖像中的點(diǎn)內(nèi)。該圖像通常根據(jù)某些預(yù)定義成像模型(在此情況下假設(shè)為針孔模型)形成。實(shí)際光學(xué)系統(tǒng)與理想性態(tài)的偏差導(dǎo)致在所得圖像中引入像差。在此像差是會(huì)出現(xiàn)在彩色和灰度級(jí)成像設(shè)備兩者中的鏡頭失真。其特性在考慮定桶形或枕形失真效應(yīng)的情況下主要是像素的徑向幾何移位。鏡頭失真是許多相對(duì)直接的圖像分析任務(wù)中的棘手問(wèn)題。它完全劣化了實(shí)際圖像中所得測(cè)量值的精度，在該實(shí)際圖像中正常透視相機(jī)中的像素會(huì)沿徑向遭受較大位移。此外，它還會(huì)影響視覺(jué)感知，即通過(guò)改變深度暗示。
[0003]解決鏡頭失真的一種已知方法是結(jié)合相機(jī)系統(tǒng)的完全校準(zhǔn)。完全相機(jī)校準(zhǔn)實(shí)質(zhì)上意味著獲取相機(jī)的內(nèi)部和外部參數(shù)[8]。許多應(yīng)用不獲取完整的內(nèi)部相機(jī)參數(shù)以及相對(duì)于某一校準(zhǔn)目標(biāo)的相對(duì)定向。非度量(Non-metric)應(yīng)用的不同之處在于在無(wú)需估計(jì)整個(gè)相機(jī)的內(nèi)部和外部參數(shù)的情況下確定失真。
[0004]在1960年代,攝影測(cè)量領(lǐng)域內(nèi)工作的Duane C.Brown提出了一種基于直線必須被成像為直線的常識(shí)來(lái)確定鏡頭失真的方法。由Brown在1971年發(fā)布并由Fryer和Brown在1986年擴(kuò)展的這一技術(shù)變?yōu)橐阎摹般U垂線”法。完整的歷史性回顧由Clarke和Fryer在1998年給出。該技術(shù)由提供鉛垂線法簡(jiǎn)化版本的機(jī)器視覺(jué)社區(qū)所采用，諸如Prescott和McLean (1997b)(同樣參見專利 Prescott 和 McLean (1997a) XP000683415), Haneishi 等人(1995a)(同樣參見專利 Haneishi 等人(1995b)XP000527216)，Poulo 和 Gorman (1999)US6002525以及Asari等人(1999)，這些文獻(xiàn)都描述了使用同線點(diǎn)圖像校正失真的類似常識(shí)。由于這些方法僅估計(jì)失真，因此它們有時(shí)被稱為非度量校準(zhǔn)。
[0005]基于“鉛垂線”校準(zhǔn)的一個(gè)固有問(wèn)題在于優(yōu)化/搜索必須相對(duì)于直線參數(shù)(未知的)和失真參數(shù)(也是未知的)進(jìn)行。也可以利用例如Devernay和Faugeras (2001)、Tzu_Hung(2003)以及Bing (1999)EP0895189的替換方法，其中迭代調(diào)整失真參數(shù)以最小化擬合至失真線分段的線。由于目標(biāo)誤差和失真參數(shù)之間不存在足夠有效的數(shù)學(xué)關(guān)系，因此沒(méi)有分析推導(dǎo)可用。這導(dǎo)致收斂緩慢并且除非如Swaminathan和Nayar (2000)所述那樣采取特定步驟，否則對(duì)升高的失真水平會(huì)變得不穩(wěn)定。在此非度量方法中，Swaminathan和Nayar(2000)在失真空間而非平常的非失真空間內(nèi)重新闡述了目標(biāo)函數(shù)。
[0006]另一種方法已由Ahmed和Farag (2001)提出，其中使用檢測(cè)線的曲率來(lái)估計(jì)導(dǎo)出的失真式的參數(shù)。然而，模擬結(jié)果示出了存在噪聲的糟糕性能，并且實(shí)際結(jié)果缺乏量化估計(jì)。
[0007]校準(zhǔn)失真的一種更為標(biāo)準(zhǔn)的方法是同時(shí)估計(jì)相機(jī)的外源和本征參數(shù)。Tsai的方法(Tsai, 1987)涉及在考慮到一組控制點(diǎn)的3D位置的情況下通過(guò)迭代數(shù)字優(yōu)化方案同時(shí)估計(jì)單失真參數(shù)和某些內(nèi)部參數(shù)，諸如焦距。這一方法的缺點(diǎn)在于它需要知曉3D控制點(diǎn),但反過(guò)來(lái)對(duì)所有但簡(jiǎn)單的失真輪廓線僅提供相對(duì)低的精度。這一原理的算術(shù)變化已由若干作者提出，諸如針對(duì)鏡頭失真使用更為合適模型的Weng等人(1992)以及Wei和Ma (1994)。這些方法也需要知曉3D控制點(diǎn)。
[0008]失真校正圖像的渲染在描述了需要3D控制點(diǎn)或多圖像組的2D控制點(diǎn)的Heikkila和Silven (1997),wHeikkila (2000)中得到了深入研究?；诙嘟M2D控制點(diǎn)的替換方法也由Zhang (1998, 2000)以及Sturm和Maybank (1999)推進(jìn)。該技術(shù)通過(guò)替換的線性最小二乘解(隨后在包括所有估計(jì)參數(shù)的數(shù)字最小化中迭代調(diào)整)來(lái)解決失真。這些技術(shù)的相對(duì)復(fù)雜性由于包括了鏡頭失真而增加。
[0009]另一方面，存在其中僅需要移除失真而非本征和外源參數(shù)整體的許多情況。一個(gè)例子在于實(shí)際圖像中的多視圖幾何的估計(jì)，其中已經(jīng)具體提出了順應(yīng)鏡頭失真的技術(shù)。Zhang (1996)深入研究了同時(shí)估計(jì)失真參數(shù)和基本矩陣的可能性。結(jié)果是如果噪聲較低且失真較高則是可能的。Fitzgibbon (2001)(具有專利 Fitzgibbon (2003)GB2380887)、Micusik和Pajdla (2003)以及Barreto和Daniilidis (2004)使用會(huì)導(dǎo)致多項(xiàng)式本征值問(wèn)題的替換失真模型以及更為可靠的失真和幾何估計(jì)。Stein (1997)采取了相反的方法，并且使用基本矩陣估計(jì)中的誤差作為目標(biāo)誤差來(lái)估計(jì)失真參數(shù)。
[0010]存在失真校準(zhǔn)的替換方法，其中由于失真自由場(chǎng)景的取代而丟棄控制點(diǎn)對(duì)應(yīng)。這些場(chǎng)景隨后由相機(jī)系統(tǒng)成像，隨后進(jìn)行圖像對(duì)準(zhǔn)處理以校正失真。Lucchese和Mitra(2003)描述了一種其中失真圖像被扭曲直到其(關(guān)于強(qiáng)度)與基準(zhǔn)圖像配準(zhǔn)為止。使用粗略濾波以找出配準(zhǔn)的類似技術(shù)在Tamaki(2002)(具有專利Tamaki等人(2002)US2002057345)中描述，而Sawhney和Kumar (1999)(同樣具有專利Kumar等人(1998) W09821690)則描述了一種不需要非失真基準(zhǔn)圖像的配準(zhǔn)技術(shù)。代替地，多個(gè)圖像與馬賽克圖像(例如由若干不同視圖組合得到的全景圖像)的生成配準(zhǔn)，并同時(shí)估計(jì)失真。這些技術(shù)基于極高的計(jì)算開銷，在Tamaki (2002)的引用中為20分鐘。
[0011]最后一類非度量校準(zhǔn)方法基于的是頻域中失真引起的高階相關(guān)。Farid和Popescu (2001)描述了一種技術(shù)，但是相比于常規(guī)相機(jī)校準(zhǔn)技術(shù)其性能不佳，并且看上去還多少依賴于圖像內(nèi)容。Yu (2004)使用替換的失真模型進(jìn)一步發(fā)展了這種方法，并且報(bào)告了在源圖像是常規(guī)校準(zhǔn)目標(biāo)的情況下使用常規(guī)相機(jī)校準(zhǔn)完成的精度方法。最后，由Gary(2003)US2003141433提出了一種建立彎曲CXD陣列的途徑。鏡頭失真輪廓線由一系列線段復(fù)制到陣列內(nèi)，由此得到的圖像看上去沒(méi)有失真。

【發(fā)明內(nèi)容】

[0012]在此提供的解決方案依賴于光學(xué)設(shè)備(諸如通常用于醫(yī)療和一般工業(yè)的相機(jī))的完全幾何校準(zhǔn)，并在隨后實(shí)時(shí)呈現(xiàn)透視校正圖像。校準(zhǔn)包括確定將每個(gè)參數(shù)分配至對(duì)應(yīng)入射光的3D方向的合適映射函數(shù)的參數(shù)。這類解決方案的實(shí)際實(shí)現(xiàn)是非常直接的，僅要求相機(jī)捕捉容易獲得的校準(zhǔn)目標(biāo)(可裝配到專用校準(zhǔn)裝置內(nèi)部)的單個(gè)視圖，并且計(jì)算機(jī)實(shí)現(xiàn)的處理流水線使用計(jì)算平臺(tái)的并行執(zhí)行能力實(shí)時(shí)運(yùn)行。
[0013]本發(fā)明還涉及在計(jì)算機(jī)介質(zhì)上具體化的計(jì)算機(jī)程序，其在由處理器執(zhí)行時(shí)實(shí)現(xiàn)所有的方法步驟。
[0014]對(duì)本發(fā)明更為全面的理解將從隨后的描述、附圖和權(quán)利要求中得到。
【專利附圖】

【附圖說(shuō)明】
[0015]被包括用于提供對(duì)本發(fā)明進(jìn)一步理解的附圖并入并組成本應(yīng)用一部分，所述附圖例示了本發(fā)明的實(shí)施例并且與描述一起用于闡明本發(fā)明的原理。在附圖中:
[0016]圖1 (a)示出了組成管道鏡的具有CXD相機(jī)的剛性內(nèi)窺鏡。該系統(tǒng)能夠?qū)﹄y以接近或受限的人體體腔進(jìn)行可視化，并被廣泛用于手術(shù)和診斷。圖1 (b)是通過(guò)30°傾斜視角關(guān)節(jié)內(nèi)窺鏡獲取的膝關(guān)節(jié)內(nèi)部圖像。
[0017]圖2示出了根據(jù)平面棋盤圖案的單幅圖像校準(zhǔn)內(nèi)窺鏡相機(jī)。圖2 (a)的校準(zhǔn)圖像使用圖2 (b)所示的設(shè)置以非限制性的方式(沒(méi)有關(guān)于相機(jī)和平面的相對(duì)姿態(tài)的假設(shè))獲取。呈現(xiàn)的設(shè)置由控制光照條件的丙烯酸盒組成。平面柵格是在無(wú)需用戶介入的情況下使得能夠魯棒且準(zhǔn)確檢測(cè)圖像邊角的的背光。 [0018]圖3是示出了被提出用于校準(zhǔn)相機(jī)并校正圖像/視頻的徑向失真的系統(tǒng)的不同模塊的方案。左手側(cè)涉及僅在將內(nèi)窺鏡鏡頭連接至CCD相機(jī)之后執(zhí)行一次并要求使用圖2中的設(shè)置獲取單幅校準(zhǔn)圖像的初始化程序。右手側(cè)則示出了在每個(gè)幀時(shí)刻i執(zhí)行以校正內(nèi)窺鏡視頻流中的徑向失真的處理流水線。
[0019]圖4示出了邊界輪廓的跟蹤。從左到右的方案涉及在時(shí)刻i獲取的原始圖像、使用仿射變換S的扭曲圖像、以及通過(guò)從笛卡爾坐標(biāo)改變至球形坐標(biāo)而獲取的極性圖。紅色虛線覆蓋圖涉及在先邊界估計(jì)結(jié)果，而十字則是當(dāng)前輪廓S映射Ωη至單位元中的檢測(cè)點(diǎn)。紫色陰影區(qū)是遭受極性扭曲并且在其中執(zhí)行搜索的圖像區(qū)。
[0020]圖5示出了(a)在鏡頭經(jīng)歷完全旋轉(zhuǎn)時(shí)主點(diǎn)C、三角標(biāo)記P和邊界中心w的繪圖。
(b)和(c)則例示了被考慮用于更新內(nèi)窺鏡相機(jī)的本征矩陣的模型和假設(shè)。鏡頭將虛擬圖像投影至由C⑶相機(jī)成像到I內(nèi)的平面I'上。鏡頭圍繞平行于光軸且與平面I和I'正交的軸I進(jìn)行相對(duì)旋轉(zhuǎn)。c表示主點(diǎn)而q則是導(dǎo)出圖像旋轉(zhuǎn)的中心。
[0021]圖6示出了(a)在三角標(biāo)記被正確檢測(cè)時(shí)以及(b)沒(méi)有標(biāo)記信息時(shí)的圖像旋轉(zhuǎn)中心Qi的計(jì)算。
[0022]圖7示出了作為三角位移α的函數(shù)的RMS再投影誤差。藍(lán)線表示沒(méi)有旋轉(zhuǎn)補(bǔ)償(其值是圖像邊角的RMS位移)情況下的誤差。紅線則示出了使用本發(fā)明模型(式11)時(shí)的再投影誤差。對(duì)于α =0，描繪的值是SIC校準(zhǔn)的再投影誤差。
[0023]圖8示出了具有鏡頭探針旋轉(zhuǎn)的內(nèi)窺鏡視頻序列的徑向失真校正。原始的和扭曲的幀分別在頂行和底行中呈現(xiàn)。(a)示出了用于執(zhí)行初始校準(zhǔn)的基準(zhǔn)位置(α =0)。(b)比較了在沒(méi)有(左)和具有(右)鏡頭旋轉(zhuǎn)運(yùn)動(dòng)補(bǔ)償?shù)那闆r下的失真校正結(jié)果。(C)和(d)則是示出了就感知場(chǎng)景而言的RD校正的益處。由于選擇維持中央圖像區(qū)中的尺寸，扭曲的幀更大。
[0024]圖9示出了用于不同輸出圖像分辨率的每幀執(zhí)行時(shí)間。輸入圖像具有1600 X 1200像素的分辨率，而輸出圖像具有可變方形大小。右側(cè)的表格示出了相對(duì)于單純CPU解決方案使用優(yōu)化的混合CPU+GPU方法實(shí)現(xiàn)的加速。
[0025]圖10示出了用于混合CPU+GPU計(jì)算單元的特定情況的徑向失真校正算法步驟。紅框標(biāo)識(shí)CUDA內(nèi)核調(diào)用。綠點(diǎn)框表示分配的設(shè)備存儲(chǔ)器。除了在CPU上計(jì)算的紫框之外，所有處理都在GPU上執(zhí)行。
[0026]圖11示出了在SIC和bouguet校準(zhǔn)工具盒之間的校準(zhǔn)參數(shù)比較。
[0027]圖12示出了針對(duì)不同圖像分辨率使用全系統(tǒng)運(yùn)行優(yōu)化的混合CPU+GPU解決方案所實(shí)現(xiàn)的執(zhí)行時(shí)間(毫秒單位)和每秒幀數(shù)(fps)。
[0028]圖13示出了根據(jù)單幅圖像(軟件屏幕快照)的校準(zhǔn)。
[0029]圖14示出了校準(zhǔn)盒方案。(I)-使用不透明的防水材料建造以避免光從外部進(jìn)入的盒上隔室；(2)-用于鏡頭探針進(jìn)入的開口 ；(3)-最小化從外部進(jìn)入的光的不透明材料膜；(4)-圖像獲取設(shè)備；(5)-其中安裝了漫射光源的盒的下隔室；(6)-上下隔室之間的隔離物；(7)-由透明或不透明材料制成且被置于隔離物頂部上的已知圖案的平面網(wǎng)格。
【具體實(shí)施方式】
[0030]本發(fā)明提出了用于鏡頭旋轉(zhuǎn)情況下投影參數(shù)的校準(zhǔn)和在線更新以及實(shí)時(shí)徑向失真校正的完全解決方案。該解決方案包括圖3的方案和圖14的裝置示出的模塊和框，其中操作者從使用圖2的設(shè)置獲取棋盤圖案的單幅圖像開始。
[0031]在此呈現(xiàn)的系統(tǒng)最初旨在用于典型地利用安裝在標(biāo)準(zhǔn)CCD相機(jī)上的管道鏡鏡頭探針的醫(yī)療內(nèi)窺鏡。然而，本發(fā)明的解決方案可以擴(kuò)展至具有可以從精確幾何校準(zhǔn)和實(shí)時(shí)圖像校正中獲益的顯著徑向失真的相機(jī)的其他應(yīng)用領(lǐng)域。這些領(lǐng)域的例子包括通常依賴于由安裝了相機(jī)的魚眼鏡頭、廣角鏡頭、迷你鏡頭或低質(zhì)量光學(xué)器件獲取的圖像/視頻的監(jiān)視、工業(yè)檢查、汽車、機(jī)器人導(dǎo)航等。
[0032]在本專利申請(qǐng)中公開的裝置包括用于獲取已知圖案的單幅圖像的校準(zhǔn)盒(圖14)。獲取的圖像被用作新穎校準(zhǔn)算法(圖13)的輸入，該算法將提供執(zhí)行實(shí)時(shí)和獨(dú)立于鏡頭旋轉(zhuǎn)的圖像失真校正所需的相機(jī)參數(shù)。
[0033]校準(zhǔn)圖像使用由不透明材料建造以避免光從外部進(jìn)入的盒來(lái)獲取(圖13)。該盒具有用于鏡頭探針進(jìn)入的一個(gè)或多個(gè)開口(圖13-3)，并且每個(gè)開口由用于最小化從外部進(jìn)入的光的橡膠膜(圖13-2)所圍繞。該盒由透明或半透明材料的隔離物(圖13-6)分隔成兩個(gè)隔室。由透明或半透明材料制成的具有已知圖案的平面網(wǎng)格(圖13-7)被置于隔離物上的上隔室(圖13-1)內(nèi)。用于平面網(wǎng)格的散射背光照明的光源則被置于下隔室(圖13-5)內(nèi)。上隔室可由用于更好地重復(fù)將執(zhí)行視覺(jué)檢查的部件的流體填充。該裝置包括具有順序和并行處理能力且與用于圖像獲取的相機(jī)(圖13-4)相連的計(jì)算機(jī)單元，諸如中央處理單元和圖形處理單元。還需要連接至該計(jì)算機(jī)單元的顯示器和接口設(shè)備用于可視化和輸入用戶命令。
[0034]用于在鏡頭旋轉(zhuǎn)的情況下投影參數(shù)的校準(zhǔn)和在線更新以及使用并行處理的實(shí)時(shí)圖像修正/校正的方法總結(jié)如下:檢測(cè)校準(zhǔn)幀中的邊角，并且在無(wú)需進(jìn)一步用戶介入的情況下估計(jì)相機(jī)本征Ktl和徑向失真ξ。在該簡(jiǎn)要的初始化步驟之后，對(duì)每幅獲取的圖像執(zhí)行圖3右側(cè)所示的處理流水線。在每個(gè)幀時(shí)刻i，檢測(cè)邊界輪廓Qi以及三角標(biāo)記Pi的位置。檢測(cè)結(jié)果用作考慮到校準(zhǔn)幀中的輪廓Qi以及三角標(biāo)記Pi時(shí)估計(jì)濾波器中的輸入，并在隨后估計(jì)由于鏡頭探針相對(duì)于相機(jī)頭的可能運(yùn)動(dòng)引起的相對(duì)圖像旋轉(zhuǎn)。這一 2D旋轉(zhuǎn)由基于新的自適應(yīng)投影模型用作更新相機(jī)校準(zhǔn)的輸入的角度a i和固定點(diǎn)qi參數(shù)化。最后，當(dāng)前幾何校準(zhǔn)I，I被用來(lái)扭曲輸入幀并校正徑向失真。類似于圖像扭曲和邊界檢測(cè)，該處理 流水線以計(jì)算密集任務(wù)實(shí)時(shí)運(yùn)行，其使用GPU的并行執(zhí)行能力而被有效執(zhí)行。
[0035]A. 一幅或多幅棋盤圖案圖像的獲取
[0036]用戶介入被限制為使用圖13中詳示的圖2 (b)的校準(zhǔn)盒獲取一幅或多幅校準(zhǔn)圖 像。相機(jī)相對(duì)于棋盤平面的姿勢(shì)是任意的，并且圖13的盒旨在控制用于圖像邊角自動(dòng)檢測(cè) 的照明條件。獲取的圖像與圖2 (a)類似。
[0037]B.校準(zhǔn)圖像中網(wǎng)格邊角的檢測(cè)以及圖像平面對(duì)應(yīng)的建立
[0038]重要的是意識(shí)到在具有嚴(yán)重徑向失真的圖像中定位邊角會(huì)由于直線的彎曲而很 成問(wèn)題。在幀獲取之后的處理步驟如下：
[0039]1)局域化其中失真更不明顯的中央圖像區(qū)域內(nèi)12個(gè)邊角的最小值。這一操作通 過(guò)使用標(biāo)準(zhǔn)圖像處理技術(shù)的探試算法進(jìn)行。圖像邊角x和網(wǎng)格點(diǎn)g之間的一致對(duì)應(yīng)通過(guò)計(jì) 數(shù)棋盤圖案的方形來(lái)實(shí)現(xiàn)。
[0040]2)圖像平面對(duì)應(yīng)被用于估計(jì)將平面網(wǎng)格坐標(biāo)中的點(diǎn)映射至圖像坐標(biāo)中的點(diǎn)的函 數(shù)，即使用類DLT方法估計(jì)l?6x6 (B部分中的式7)。
[0041 ] 3)使在圖像外圍中生成邊角假設(shè)（hypotheses)的單應(yīng)性（homography)來(lái)將棋盤 圖案投影至圖像平面。這些假設(shè)通過(guò)應(yīng)用標(biāo)準(zhǔn)圖像邊角查找器來(lái)確認(rèn)和細(xì)化。
[0042]4)迭代執(zhí)行步驟2)和3)直到認(rèn)為建立的對(duì)應(yīng)的數(shù)目令人滿意為止。
[0043]C.使用至少一幅校準(zhǔn)圖像內(nèi)的圖像平面對(duì)應(yīng)確定相機(jī)本征參數(shù)
[0044]圖3所示初始化程序的目的在于確定鏡頭探針處于基準(zhǔn)位置Q 0, p0時(shí)的本征校 準(zhǔn)矩陣&和徑向失真I。相機(jī)校準(zhǔn)是文獻(xiàn)中有幾百篇引用文獻(xiàn)的充分研究的主題。使用 最廣泛的軟件或許是利用Zhang的方法[17]以根據(jù)3幅平面網(wǎng)格圖像的最小值校準(zhǔn)一般 性相機(jī)的Bouguet的工具盒[16]。不幸的是,Bouguet工具盒不符合本申請(qǐng)的可用性要求。 在實(shí)踐中，用于實(shí)現(xiàn)精確結(jié)果的輸入圖像數(shù)遠(yuǎn)大于3，并且使用RD檢測(cè)圖像中的網(wǎng)格邊角 需要實(shí)質(zhì)性的用戶介入。本發(fā)明的方法可以使用最少一幅圖像來(lái)工作。
[0045]若干作者已經(jīng)解決了醫(yī)療內(nèi)窺鏡本征校準(zhǔn)的特定問(wèn)題[9] - [11]，[18]，[19]。然 而，這些方法要么無(wú)法在0R中實(shí)際使用，要么它們利用圓點(diǎn)圖案來(lái)使得能夠進(jìn)行校準(zhǔn)點(diǎn)的 自動(dòng)檢測(cè)，這降低可結(jié)果精度[20]。
[0046]裝備有管道鏡的相機(jī)是具有復(fù)雜光學(xué)布置的復(fù)合系統(tǒng)。投影在中央[5]，并且圖像 失真由所謂的分隔模型良好描述[21]，[14]，[13]。
[0047]Barreto等人示出了按照在上述投影模型的相機(jī)能夠根據(jù)從任意位置獲取的平面 棋盤圖案的單幅圖像來(lái)校準(zhǔn)。設(shè)g是平面同質(zhì)坐標(biāo)中表達(dá)的棋盤中的點(diǎn)，x是圖像平面中 的對(duì)應(yīng)點(diǎn)，且H是平面和相機(jī)之間相對(duì)姿態(tài)的單應(yīng)性編碼[8]。棋盤平面內(nèi)的點(diǎn)g通過(guò)如下 函數(shù)映射到圖像內(nèi)：
[0048]x ?K0 r ; (Hg).
[0049]其中r ,是計(jì)及圖像徑向失真的非線性投影函數(shù)[21]，而I是具有如下結(jié)構(gòu)的本 征參數(shù)矩陣：
【權(quán)利要求】
1.一種設(shè)備，包括如下部分: (i)由不透明材料制成以避免光從外部進(jìn)入的盒(I)，其具有允許鏡頭探針進(jìn)入的一個(gè)或多個(gè)開口(2)，每個(gè)開口由用于將從外部進(jìn)入的光最小化的橡膠膜(3)圍繞；該盒由透明或半透明材料的隔離物(6)分隔成兩個(gè)隔室，一個(gè)開口隔室能夠由用于更好地重復(fù)將執(zhí)行視覺(jué)檢查的部件的流體填充； (?)由透明或半透明材料制成且被置于隔離物頂部上的具有已知圖案的平面網(wǎng)格(7)； (iii)安裝在下盒隔室(5)中且用于平面網(wǎng)格的漫射背光照明的光源； (iv)具有順序和并行處理能力且與用于圖像獲取的相機(jī)相連的計(jì)算機(jī)單元，諸如中央處理單元和圖形處理單元； (v)連接至所述計(jì)算機(jī)單元的顯示設(shè)備；以及 (vi)連接至所述計(jì)算機(jī)單元的用于輸入用戶命令的接口設(shè)備。
2.如權(quán)利要求1所述的設(shè)備，包括平面棋盤圖案，該平面棋盤圖案通過(guò)所述相機(jī)查看并且能夠作為結(jié)果包括位于兩個(gè)連續(xù)對(duì)角線白色方形的中心處并標(biāo)識(shí)位于這兩個(gè)連續(xù)對(duì)角線白色方形之間的網(wǎng)格邊角的可區(qū)分特征。
3.如權(quán)利要求1所述的設(shè)備，還能夠包括用于查看所述平面圖案的多個(gè)可能進(jìn)入點(diǎn)，這些進(jìn)入點(diǎn)根據(jù)鏡頭探針的類型具有多種形狀和尺寸并且用于從不同視角查看所述圖案。
4.一種用于自動(dòng)相機(jī)校準(zhǔn)、根據(jù)可能的鏡頭探針旋轉(zhuǎn)更新投影模型以及實(shí)時(shí)圖像失真校正的方法，所述方法執(zhí) 行如下操作: (i)使用校準(zhǔn)盒棋盤圖案的一幅或多幅圖像的用戶命令獲?。? (?)檢測(cè)校準(zhǔn)圖像中的網(wǎng)格邊角并建立圖像平面對(duì)應(yīng)； (iii)使用至少一幅校準(zhǔn)圖像中的圖像平面對(duì)應(yīng)確定相機(jī)本征參數(shù)，諸如焦距、主點(diǎn)、偏斜和縱橫比以及鏡頭失真； (iv)在諸如內(nèi)窺鏡相機(jī)的醫(yī)療或工業(yè)設(shè)備中連續(xù)獲取圖像/視頻； (v)在適用時(shí)檢測(cè)圓形和幀區(qū)域之間的邊界輪廓、三角標(biāo)記的圖像坐標(biāo)，該操作在每個(gè)幀時(shí)刻執(zhí)行； (Vi)在適用時(shí)使用(V)的輸出魯棒確定鏡頭探針經(jīng)受的相對(duì)于相機(jī)頭的角位移； (Vii)考慮到(iii)的初始相機(jī)校準(zhǔn)來(lái)更新本征校準(zhǔn)信息，并且在適用時(shí)使用用于描述傾斜視角內(nèi)窺鏡或其鏡頭相對(duì)于相機(jī)頭旋轉(zhuǎn)的任何其他相機(jī)設(shè)備的新投影模型更新(Vi)的相對(duì)旋轉(zhuǎn)信息； (Viii)使用(Vii)的當(dāng)前相機(jī)校準(zhǔn)執(zhí)行用于校正徑向失真的實(shí)時(shí)圖像修正。
5.如權(quán)利要求4所述的方法，其中操作(ii)包括在具有棋盤圖案的平面的邊角點(diǎn)和校準(zhǔn)圖像的邊角點(diǎn)之間自動(dòng)建立對(duì)應(yīng)，并且還包括如下步驟: a)使用圖像處理技術(shù)檢測(cè)中央圖像區(qū)域中的邊角或種子點(diǎn)； b)推斷該邊角或種子點(diǎn)在網(wǎng)格平面內(nèi)的坐標(biāo)； c)使用相機(jī)參數(shù)、鏡頭失真以及網(wǎng)格平面和相機(jī)之間的相對(duì)姿態(tài)的隱式編碼確定將平面網(wǎng)格坐標(biāo)中的點(diǎn)映射至圖像坐標(biāo)中的點(diǎn)的函數(shù)； d)使用在(C)中確定的函數(shù)將平面網(wǎng)格邊角投影到圖像內(nèi)； e)通過(guò)圍繞投影的平面網(wǎng)格邊角的局部搜索定位圖像中的新邊角；f)迭代執(zhí)行步驟(C)至(e)，直到認(rèn)為建立的邊角對(duì)應(yīng)的數(shù)目令人滿意為止。
6.如權(quán)利要求4所述的方法，其中操作(iii)包括使用權(quán)利要求4中建立的邊角對(duì)應(yīng)從單幅校準(zhǔn)圖像估計(jì)相機(jī)本征參數(shù)和鏡頭失真，并且還包括如下步驟: a)計(jì)算將平面網(wǎng)格內(nèi)的提升點(diǎn)坐標(biāo)映射至圖像平面中的提升點(diǎn)坐標(biāo)的函數(shù)； b)分解(a)的映射函數(shù)以確定焦距、主點(diǎn)、縱橫比、偏斜、失真參數(shù)、以及網(wǎng)格平面和相機(jī)之間的相對(duì)姿態(tài)、旋轉(zhuǎn)和平移。
7.如權(quán)利要求6所述的方法，其能夠由用于實(shí)現(xiàn)如下一個(gè)或多個(gè)目的的迭代非線性優(yōu)化的附加步驟所補(bǔ)充: a)細(xì)化估計(jì)的參數(shù)， b)融合由不同校準(zhǔn)圖像提供的估計(jì)結(jié)果， c)使用與為如權(quán)利要求5和6所述的計(jì)算方法假設(shè)的模型函數(shù)不同的模型函數(shù)估計(jì)徑向失真。
8.如權(quán)利要求4所述的方法，其中操作(V)包括無(wú)監(jiān)督地實(shí)時(shí)跟蹤圓形圖像(Cl)的邊界輪廓并在三角標(biāo)記可見時(shí)檢測(cè)三角標(biāo)記，并且包括如下步驟: a)在部分或完全包含Cl邊界的最后估計(jì)結(jié)果的原始圖像中定義環(huán)形區(qū)； b)渲染其中在先邊界估計(jì)結(jié)果被映射至中央垂線的新條帶圖像； c)使用圖像處理技術(shù)檢測(cè)條帶圖像中的邊界點(diǎn)；` d)將檢測(cè)到的點(diǎn)映射回原始圖像并使用魯棒的估計(jì)結(jié)果擬合二次曲線； e)重復(fù)步驟(a)至(d)直到邊界輪廓估計(jì)結(jié)果收斂為止； f)通過(guò)掃描略偏右的條帶圖像中的輔助垂線，選擇具有最大強(qiáng)度的像素位置并將該像素位置映射回原始圖像，來(lái)魯棒檢測(cè)三角標(biāo)記。
9.如權(quán)利要求4所述的方法，其中操作(vi)包括在鏡頭探針經(jīng)歷旋轉(zhuǎn)運(yùn)動(dòng)時(shí)估計(jì)相對(duì)于鏡頭位置的角位移，用以獲取用作權(quán)利要求5，6和7的方法中的輸入的校準(zhǔn)幀，并利用在適用時(shí)由權(quán)利要求8針對(duì)基準(zhǔn)位置獲取的邊界輪廓和三角標(biāo)記以及利用視頻的連續(xù)獲取，并且對(duì)于當(dāng)前幀還包括如下步驟: a)如權(quán)利要求8所述在適用時(shí)檢測(cè)邊界輪廓和三角標(biāo)記； b)將(a)的信息饋入隨機(jī)濾波器，該隨機(jī)濾波器推斷當(dāng)前角位移，由此推斷使用專門圖像信息確定的相對(duì)旋轉(zhuǎn)。
10.如權(quán)利要求4所述的方法，其中操作(vii)包括在鏡頭探針經(jīng)歷旋轉(zhuǎn)運(yùn)動(dòng)時(shí)，在考慮到在如權(quán)利要求5，6和7所述獲取的初始基準(zhǔn)位置處的相機(jī)本征校準(zhǔn)以及如權(quán)利要求9所述獲取的鏡頭探針相對(duì)于該基準(zhǔn)位置的當(dāng)前角位移的情況下，推斷用于當(dāng)前幀的本征校準(zhǔn)和投影模型，該本征校準(zhǔn)和投影模型包括焦距、主點(diǎn)、縱橫比、偏斜和失真參數(shù)。
11.如權(quán)利要求4所述的方法，其中操作(viii)包括基于并行處理并利用常規(guī)計(jì)算單元系統(tǒng)通過(guò)圖像扭曲實(shí)時(shí)校正徑向失真，所述方法包括: a)將數(shù)據(jù)從主機(jī)計(jì)算單元傳輸?shù)讲⑿刑幚韱卧? b)在系統(tǒng)并行處理單元上處理圖像； c)將最終處理的圖像傳輸回主機(jī)計(jì)算單元； d)將結(jié)果可視化。
12.—種在計(jì)算機(jī)介質(zhì)上具體化的計(jì)算機(jī)程序，在由處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求4至11中任一項(xiàng)的方法步驟。
13.使用并行處理單元的·并行計(jì)算能力加速如權(quán)利要求8至11所述的方法。
【文檔編號(hào)】G01B21/04GK103827917SQ201280042178
【公開日】2014年5月28日 申請(qǐng)日期:2012年7月25日 優(yōu)先權(quán)日:2011年7月25日
【發(fā)明者】J·P·D·A·巴瑞圖, G·F·P·非爾那德斯, R·J·M·苔克絲艾拉 申請(qǐng)人:科英布拉大學(xué)