269] 雖然傾斜軸假設(shè)在焦距f上產(chǎn)生了一個(gè)非常小的誤差，但它將會(huì)在圖像中心（Cx， CY)和焦點(diǎn)0和0'上產(chǎn)生一個(gè)很大的偏置。因?yàn)?和0'偏離了位置，所以用來找到Μ的三 角測(cè)量會(huì)產(chǎn)生系統(tǒng)的3D誤差。從所建議的校準(zhǔn)實(shí)例，因?yàn)槲覀兡軌驒z索到1/4像素精度， 所以光學(xué)中心〇和〇'上的兩（2)個(gè)像素誤差主宰著像點(diǎn)m和m'上的任何測(cè)量誤差。
[0270] 特征點(diǎn)的提?。╩和m'）受制于邊緣取向偏置，以及必須校準(zhǔn)處理的拐角探測(cè)偏 置。
[0271] 最后，三角測(cè)量，采用經(jīng)典的奇異值分解（SVD)方法，因其穩(wěn)定性和速度。沒有什 么能保證兩條線在空間相交。因此，Μ是在兩條線最接近的空間中找到的點(diǎn)。
[0272] 在我們的調(diào)查過程中，測(cè)量了幾個(gè)影響準(zhǔn)確性的偏置源，相機(jī)模型偏置作為主要 貢獻(xiàn)者。偏置源包括以下：
[0273] -相機(jī)/透鏡模型（圖像中心（Cx，CY)上的2像素誤差）
[0274] -亞像素邊緣取向偏置（1/4像素邊緣移動(dòng)）
[0275] -亞像素角探測(cè)偏置（1/4像素角偏移）
[0276] -未考慮的色畸變（與色彩相關(guān)的1/2像素邊緣移動(dòng)）
[0277] -補(bǔ)償下的幾何畸變（不易探測(cè)到的1/2像素殘余彎曲）
[0278] -亞像素級(jí)JPEG圖像過濾（JPEG質(zhì)量參數(shù)變量）
[0279] 除了相機(jī)模型偏置，大多數(shù)偏置源將導(dǎo)致特征點(diǎn)提取誤差。消除這些偏置來源導(dǎo) 致累積效益。使用廣角微鏡頭通過簡(jiǎn)單地改變相機(jī)的內(nèi)部模型，實(shí)現(xiàn)低分辨率拜爾型相機(jī) 的f精確到10 顯示出了主要的改進(jìn)，并且，解釋了為什么到現(xiàn)在為止精確的變焦鏡頭 模型是不可能的。
[0280] 3. 2模型偏置：整體和變焦鏡頭
[0281] 如上所述，參考傾斜軸假設(shè)，每個(gè)鏡頭參數(shù)都被內(nèi)部相機(jī)模型偏置'污染'了。為 了 3D內(nèi)部相機(jī)像平面的精確視角模型，可以通過改變傾斜假設(shè)去除偏置。
[0282] 在3D三角測(cè)量中，無論是從立體或是從移動(dòng)相機(jī)，其影響是，因?yàn)閳D像比例和圖 像中心是錯(cuò)誤的，三角測(cè)量會(huì)偏移。
[0283] 表1中示出的實(shí)例也示出透鏡畸變參數(shù)是估計(jì)的，&中的負(fù)號(hào)意味著桶形畸變。 在將多幅圖像拼接成一個(gè)圖時(shí)，結(jié)果形成了從圖像到圖像的彎曲累積。
[0284] 范圍和目的測(cè)量也被偏置了，且與焦距f上的誤差百分比相關(guān)，因?yàn)橄鄼C(jī)給出了 比例測(cè)量。
[0285] 它還阻止了變焦鏡頭相機(jī)的精確建模。在變焦鏡頭，焦點(diǎn)0沿透鏡軸線Ζε移動(dòng)。 來自校準(zhǔn)，已知圖像中心（cx，CY)，找到0, f是與像平面呈直角的遠(yuǎn)離。所提出的實(shí)例示出 了這些參數(shù)中的系統(tǒng)偏置。當(dāng)考慮到透鏡機(jī)制結(jié)束時(shí)時(shí)，它會(huì)變得更糟，因?yàn)樗赝哥R軸zc移動(dòng)。
[0286] 如果相機(jī)模型沒有所建議的修改，那么將不可能對(duì)變焦鏡頭進(jìn)行建模。
[0287] 變焦鏡頭相機(jī)的建模需要在空間中繪制焦點(diǎn)0的位移。理想的變焦鏡頭將沿透鏡 軸線ZJ:的直線移動(dòng)0,入口平面f = 1沿著移動(dòng)。一旦出現(xiàn)機(jī)械裝配誤差，點(diǎn)0的線性位 移關(guān)系就會(huì)破壞。因此，評(píng)估變焦鏡頭機(jī)械質(zhì)量的唯一的方法取決于圖像中心（CX，CY)和f 的準(zhǔn)確知識(shí)。
[0288] 機(jī)械質(zhì)量行為還是變焦鏡頭的權(quán)衡：在透鏡機(jī)制中，必要時(shí)，需要以損失裝配公差 精度為代價(jià)，放大去獲得額外的精度。
[0289] 3. 3幾何畸變?nèi)コ龑?shí)例
[0290] 現(xiàn)在參考圖14,使用如上所述先前校準(zhǔn)的測(cè)試相機(jī)，并且從所提出的透鏡幾何畸 變表示為方程（16)的算法，圖14示出了如何從圖像中去除透鏡畸變。在黑白圖像上看不 見色畸變。
[0291] 3. 4色畸變
[0292] 現(xiàn)在，參考圖15,其示出了來自f = 4mm cosmicar? C Mount的透鏡色畸變，分辨 率為1024X768。一旦真實(shí)的圖像中心（CX，CY)已知，即可對(duì)色畸變進(jìn)行建模。在大多數(shù)圖 像中，色畸變幾乎是不可見的，除非對(duì)象是全黑白色，且采用彩色相機(jī)拍照。文獻(xiàn)[2]給出 了一個(gè)模型，其中，每個(gè)RGB彩色通道都是獨(dú)立建模的。
[0293] 在圖15中，示出放大了五十（50)倍的色畸變目標(biāo)位移。目標(biāo)位置顯示為紅、綠和 藍(lán)（RGB)相機(jī)彩色通道，并且按三（3)個(gè)一群進(jìn)行分組。"X"或十字標(biāo)記符號(hào)表示藍(lán)色的 目標(biāo)提取，"+"或加標(biāo)記符號(hào)表示紅色的目標(biāo)提取，以及點(diǎn)或點(diǎn)標(biāo)記符號(hào)表示綠色的目標(biāo)提 取?？梢姽庾V擴(kuò)展把紅色目標(biāo)中心向外推動(dòng)，相對(duì)于綠色，藍(lán)色目標(biāo)中心向里推動(dòng)。圖15中 的圖示出了大致的徑向行為。對(duì)于任何給定的目標(biāo)位置，連接紅色、綠色和藍(lán)色中心的假想 線，傾向于排隊(duì)，并瞄準(zhǔn)接近（500,400)像素坐標(biāo)，由圓形加號(hào)標(biāo)記符號(hào)表示的圖像中心。
[0294] 接下來的兩（2)個(gè)圖，如圖16和圖17中所示，示出了在圖像中心處，藍(lán)色和紅色 的色畸變是零，從預(yù)期的坐標(biāo)原點(diǎn)（〇,〇)開始。如透鏡理論行為所預(yù)測(cè)，圖像中心處的色畸 變應(yīng)該為零。
[0295] 在距離中心不同的徑向距離處，藍(lán)色和紅色的色畸變有其峰值。從超過±1/2像 素，色畸變能夠建模，且下降至小于±1/8像素。
[0296] 在從圖像中心（Cx，CY)所取的徑向坐標(biāo)中，改變對(duì)象的顏色，或改變光源的光譜， 未考慮的色畸變會(huì)在邊緣位置產(chǎn)生±1/2像素的誤差。它強(qiáng)調(diào)從Bayer模式彩色圖像提取 RGB時(shí)要小心，因?yàn)檫吘墮z測(cè)是顏色偏置的。
[0297] 3. 5 Bayer 模式恢復(fù)
[0298] 現(xiàn)在參考圖18, Bayer模式彩色相機(jī)給每個(gè)給定的像素，紅色、綠色或藍(lán)色一個(gè)顏 色信號(hào)，如圖18像素?cái)?shù)中R、G或B前綴所示。使用鄰近的像素信息對(duì)缺失的顏色信息進(jìn)行 插值。
[0299] 最準(zhǔn)確的Bayer模式插值方案使用邊緣檢測(cè)來恢復(fù)缺失的RGB信息。我們不能在 邊緣插值，因?yàn)榫_的Bayer模式恢復(fù)需要避免中斷。
[0300] 在兩步驟的過程中，我們首先計(jì)算在B和R像素上缺失的G像素值。例如，在紅色 像素R13上，缺失的G13值計(jì)算如下：
[0301] (G12+G14)/2 如果邊緣是水平的（R13>(R3+R23)/2) (11)
[0302] (G8+G18)/2 如果邊緣是豎直的（R13>(Rll+R15)/2) (12)
[0303] (G12+G8+G14+G18)/4 其它（13)
[0304] 在第二步，我們使用已知的邊緣檢測(cè)的G值，計(jì)算缺失的B和R值，假設(shè)發(fā)現(xiàn)B和 R的邊緣與G的邊緣在相同的像平面位置。
[0305] 由于透鏡引入色畸變，所以Bayer模式恢復(fù)需要調(diào)整，以彌補(bǔ)當(dāng)我們從B到G再到 R像素進(jìn)行掃描時(shí)的"顏色轉(zhuǎn)移"邊緣位置。
[0306] 3. 6光學(xué)系統(tǒng)設(shè)計(jì)權(quán)衡
[0307] 對(duì)于監(jiān)視、3D遙測(cè)和掃描儀，已證明需要消除相機(jī)校準(zhǔn)偏置。該技術(shù)的其它主要資 產(chǎn)包括，但不局限于：
[0308] 1.軟件方法創(chuàng)建開放的集成架構(gòu)；
[0309] 2.允許使用廣角鏡頭或減小鏡頭尺寸；
[0310] 3.允許對(duì)變焦鏡頭相機(jī)建模；
[0311] 4.圖像幾何和色畸變校正算法計(jì)算速度增加，且加入無損圖像壓縮；
[0312] 5.去除色畸變?cè)斐傻腂ayer模式恢復(fù)誤差。
[0313] 應(yīng)該注意的是，超越相機(jī)硬件的功能，軟件似乎是提高精度的唯一策略。
[0314] 作為一個(gè)推動(dòng)者，該技術(shù)允許：
[0315] ?廣角鏡頭的使用，增加了相機(jī)的視角，并不損失精度。1/3CCD f = 4_的結(jié)合提 供了 90度的視角。
[0316] ?通過加入色畸變建模和頻譜的亞像素邊緣測(cè)量，來補(bǔ)償相機(jī)的低分辨率。
[0317] ?小型化：使用微鏡和焦距評(píng)價(jià)，我們實(shí)現(xiàn)了精確至10 的校準(zhǔn)，大約是氫分子 的大小。
[0318] *SWIR彩色合成圖像雷達(dá)LIDAR之間的傳感器融合：實(shí)現(xiàn)精確融合，每個(gè)圖像比例 和圖像中心都已知，且已去除圖像畸變。
[0319] 數(shù)字圖像滯后可導(dǎo)致人類觀察者惡心，優(yōu)選所建議的幾何畸變?nèi)コ?:1簡(jiǎn)化。來 自校準(zhǔn)偏置的殘余3D誤差也將導(dǎo)致人不適，例如頭痛或網(wǎng)絡(luò)疾病。測(cè)試士兵視力的視覺放 大得出結(jié)論，合成成像滯后1/4秒實(shí)際能讓觀測(cè)者惡心。
[0320] 由于該解決方案是軟件實(shí)現(xiàn)，它成為跨平臺(tái)獨(dú)立的。
[0321] 在低分辨率圖像上，亞像素邊緣提取和繪圖幫助人腦解讀圖像。低分辨率SWIR圖 像可以與更高分辨率彩色圖像融合。
[0322] 在增強(qiáng)現(xiàn)實(shí)中，計(jì)算機(jī)生成的圖像具有理想的角度和已知的焦距。由于計(jì)算機(jī)生 成的圖像是完全的針孔，從設(shè)定值f產(chǎn)生的，它要去校正相機(jī)圖像畸變，并將其按照與合成 圖像相同的比例進(jìn)行擬合。
[0323] 在地球觀測(cè)和衛(wèi)星監(jiān)視中，任何透鏡系統(tǒng)將在一定程度上表現(xiàn)出畸變。地球的大 氣還增加了畸變，只有當(dāng)透鏡畸變精確已知時(shí)，才可以補(bǔ)償該畸變。拼接圖像時(shí)，欠補(bǔ)償?shù)?幾何畸變將建立彎曲，以及由傾斜軸假設(shè)造成的偏置視角將產(chǎn)生形狀變化：垂直度的損失， 垂直度的損失…
[0324] 亞像素邊緣提取是目前最有效的圖像壓縮方法。校正透鏡畸變圖像和通過JPEG 修改，還表明了額外的30%無損圖像壓縮。
[0325] 所提出的方法對(duì)于變焦鏡頭遙測(cè)是優(yōu)選的，提高了廣角鏡頭應(yīng)用中的速度和精 度，并允許兩種方式的系統(tǒng)小型化。首先，從較小的透鏡系統(tǒng)提供附加的精度，其次，通過軟 件過濾允許更簡(jiǎn)化的光學(xué)。
[0326] 它為精度、速度、成本、體積、重量、維護(hù)和升級(jí)提供了最佳的權(quán)衡。
[0327] 4. 0 結(jié)論
[0328] 沒有比它的儀器更精確的自動(dòng)化系統(tǒng)。在智能系統(tǒng)（IS)中作為測(cè)量工具使用的 數(shù)碼相機(jī)需要相機(jī)校準(zhǔn)。
[0329] 增加的精度只有通過軟件才可實(shí)現(xiàn)，因?yàn)樯虡I(yè)鏡頭在焦距f上可以有10%的公 差，而且，軟件是在亞像素級(jí)補(bǔ)償透鏡畸變的唯一途徑。
[0330] 傾斜軸假設(shè)產(chǎn)生了主要的偏置，并且必須由像平面的視角模型替換，該模型保留 了相機(jī)像平面3D幾何形狀：水平和垂直圖像比例相等且呈直角。傾斜軸假設(shè)引入了出現(xiàn)在 3D三角測(cè)量上的校準(zhǔn)偏置，因?yàn)閳D像中心偏離了位置。在上述實(shí)例中，兩（2)個(gè)像素圖像中 心偏置控制了三角測(cè)量過程中的其它每個(gè)誤差，因?yàn)閳D像特征可以提取到1/4像素精度。
[0331] 因?yàn)榭赡軙?huì)出現(xiàn)幾個(gè)子像素的偏置，所以在提取圖像特征的校準(zhǔn)中需要注意。亞 像素偏置源包括，但不局限于：
[0332] -亞像素邊緣位置-取向偏置；
[0333] -亞像素角探測(cè)偏置；
[0334] -未考慮的色畸變；
[0335] -補(bǔ)償下的幾何畸變；
[0336] -亞像素級(jí)JPEG圖像過濾。
[0337] 內(nèi)部相機(jī)像平面的視角模型是必要的，以確定在變焦鏡頭中的透鏡焦距位移。軟 件校正方法提高了速度和廣角鏡頭應(yīng)用的精度，且允許兩種方式的系統(tǒng)小型化。首先，從較 小的透鏡系統(tǒng)提供附加的精度，其次，通過軟件過濾允許更簡(jiǎn)化的光學(xué)。超越硬件限制，軟 件模型/校準(zhǔn)是提高相機(jī)性能的唯一技術(shù)。
[0338] 在框圖中所示的成組的離散組件，通過不同的數(shù)據(jù)信號(hào)連接彼此通信，本領(lǐng)域的 技術(shù)人員將理解，本實(shí)施例由硬件和軟件組件的組合提供，其中，一些組件由給定的硬件或 軟件系統(tǒng)的功能或操作來實(shí)現(xiàn)，并且示出的許多數(shù)據(jù)路徑由計(jì)算機(jī)應(yīng)用或操作系統(tǒng)中的數(shù) 據(jù)通信來實(shí)現(xiàn)。由此，示出的結(jié)構(gòu)提供了教導(dǎo)本實(shí)施例的效率。
[0339] 應(yīng)該注意的是，本發(fā)明可以作為一種方法執(zhí)行，可在系統(tǒng)中和/或在計(jì)算機(jī)可讀 介質(zhì)上體現(xiàn)。上述發(fā)明的實(shí)施例僅僅旨在是示例性的。因此，本發(fā)明的范圍旨在僅由所附 權(quán)利要求的范圍限制。
[0340] 參考文獻(xiàn)
[0341] [l]Frederic Devernay. A Non-Maxima Suppression Method for Edge Detection with Sub-Pixel Accuracy. INRIA:INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMA