的位置的第二組平面坐標。
【附圖說明】
[0073] 通過參考附圖進行的以下詳細說明，本發(fā)明的進一步的特點和優(yōu)點將變得明顯， 其中：
[0074] 圖1是示出透鏡畸變的示意圖；
[0075] 圖2是示出桶形和枕形透鏡幾何畸變的示意圖；
[0076] 圖3是示出在兩個相鄰像素顏色混合時邊緣抖動的平面圖；
[0077] 圖4是示出假設像平面與視線垂直的在理想相機模型表示中定義相機/透鏡結合 行為的參數(shù)的示意圖；
[0078] 圖5是相機內部模型的傾斜軸假設的示意圖，其中對圖4中的理想相機表示進行 傾斜軸補償；
[0079] 圖6是根據(jù)本發(fā)明的示例性實施例的相機內部模型一組新變量的示意圖；
[0080] 圖7是根據(jù)本發(fā)明的示例性實施例的徑向畸變模式的示意圖；
[0081] 圖8a是根據(jù)本發(fā)明的示例性實施例的計算像點位置的方法的流程圖；
[0082] 圖8b是采用外部相機模型的在平面f = 1上進行投影的圖8a的步驟的流程圖；
[0083] 圖8c是應用透鏡畸變模型的圖8a的步驟的流程圖；
[0084] 圖8d是采用內部相機模型的在傾斜像平面f上進行投影的圖8a的步驟的流程 圖；
[0085] 圖9a是根據(jù)本發(fā)明的示例性實施例的計算像點位置的系統(tǒng)的示意圖；
[0086] 圖9b是示出在圖9a的處理器上運行的示范性應用的方框圖；
[0087] 圖10是校準目標的畸變照片視圖；
[0088] 圖11是具有電路板的微型透鏡測試相機的照片視圖；
[0089] 圖12是目標提取的綜合說明；
[0090] 圖13是同時采用兩個相機圖像來測量3D物體的立體對的示意圖；
[0091] 圖14是采用測試相機說明幾何畸變校正的照片；
[0092] 圖15是說明f = 4mm Cosmicar:1;' C Mount透鏡的色畸變的圖；
[0093] 圖16是說明紅色畸變、徑向校正相對與圖像中心的距離（像素）的圖；
[0094] 圖17是說明藍色畸變、徑向校正相對與圖像中心的距離（像素）的圖；以及
[0095] 圖18是彩色相機的Bayer模式布局的示意圖。
[0096] 值得注意的是，整個附圖中，相同的特征用相同的參考標號表示。
【具體實施方式】
[0097] 1. 1透鏡畸變
[0098] 透鏡畸變介紹了數(shù)字成像中發(fā)現(xiàn)的最大誤差。這在圖1和圖2中說明。如圖1所 示，魚眼效應指幾何畸變，使得直線彎曲。圖像邊緣處的彩影（coloured shading)(稱為 圖1中的《藍色染邊》和《紅色染邊》）稱為色畸變，且由成像設備（未示出）透鏡中的光分 裂引起。這些偏離針孔行為隨著透鏡視角而增加。這些畸變必須建模，并進行補償以實現(xiàn) 亞像素精度，補償可能只能通過軟件進行，超出了硬件能力的范圍。如圖2所示，當幾何畸 變壓縮圖像本身時，它稱為桶形畸變（見圖2(a));當圖像膨脹時，它稱為枕形畸變（見圖 2(b)) 〇
[0099] 1. 2 抖動
[0100] 參考圖3,抖動是在邊緣穿過給定像素和相鄰顏色混合時，中間像素顏色所遇到 的。像素顏色是相對于像素內每種顏色各自的平面，在邊緣的每側的相鄰顏色值的加權平 均。
[0101] 在低清晰度圖像中，邊緣抖動（在實體邊緣的陰影）與透鏡幾何和色畸變相互干 擾。采用來自黑白目標的彩色圖像，彩色邊緣陰影是由色畸變引起。對于黑白目標而言，類 似幾何畸變，抖動呈現(xiàn)為灰色陰影。所以，最好采用邊緣顏色，以將色透鏡畸變與邊緣抖動 或幾何畸變分離開。
[0102] 1.3相機模型
[0103] 對相機（或其它成像設備）建模需要數(shù)學模型和校準程序，以測量定義特定相機 /透鏡組合的行為的參數(shù)。
[0104] 雖然此處提到相機，但應該理解，所提出的系統(tǒng)和方法也適應于其它成像設備。 尤其是，包括但不局限于變焦鏡頭相機；近紅外（NIR)、短波長紅外（SWIR)和長波長紅外 (LWIR)成像設備；雷達以及光探測和測距（LIDAR)設備；拋物面反射鏡望遠鏡成像儀；外 科內窺鏡相機；計算機斷層（CT)掃描設備；衛(wèi)星成像設備；聲納設備；以及多光譜傳感器 融合系統(tǒng)的設備也可以應用：
[0105] 根據(jù)該主題已發(fā)表的文獻，理想的相機模型有三個部分，如圖4所示，即：
[0106] 1-外部模型：位于焦點0處（其中所有光折射到單個點的空間中的點）的相機坐 標和世界坐標系中的世界坐標（Xw Yw zw)之間的關系；
[0107] 2-內部模型：相機平面坐標系（Xc Yc Zc)，其中4是透鏡軸（即透鏡視線）；以及
[0108] 3-透鏡模型：透鏡幾何和色畸變方程。
[0109] 焦點0是在其中所有圖像折射到單個點的空間中的位置；焦點0前面是相機像平 面（未示出）。透鏡軸Zc在兩個（2)直角（即，隨之為垂直）處穿過像平面，由此規(guī)定圖像 中心位置（cx，CY)。
[0110] 1.3相機外部模型
[0111] 整個文獻中，相機外部模型顯示精確。定義兩套坐標，
[0112] 1-原點設在（0, 0, 0)處的世界（Xw Yw Zw);以及
[0113] 2-焦點0處的相機（Xc Yc Zc)。
[0114] 如圖4可見，其示出了理想的相機模型，相機坐標組（Xc Yc Zc)設置從透鏡軸&開 始且焦點0作為原點，選擇&與相機像平面的水平軸（未示出）對準。幾何地，豎直軸Y c應該采用右手定則完成設置。外部模型寫為矩陣[r3x3 τ3χ1](下面進一步討論），表示原點 設在（0, 0, 0)處的世界坐標設置（Xw Yw zw)。
[0115] 外部相機模型表示旋轉(κ φ Ω)和平移（Tx Τγ Tz)，需要將相機坐標設置（Xc YcZc)與世界坐標設置（Xw Yw Zw)對齊，以及將焦點0帶至世界原點（0,0,0)處。所以，外部 相機模型具有六個（6)自由度，即旋轉角度(ΚφΩ)和平移（Tx Τγ Tz)。
[0116] 1.3. 2相機內部模型
[0117] 除圖4之外，現(xiàn)在參照圖5,現(xiàn)在將描述現(xiàn)有技術相機內部模型，其中進行了垂直 度偏離補償。若像平面能與透鏡軸4完全垂直，那么在X和y方向上，世界測量Xw Yw和相 機測量X。Υε之間的比例因子都將是f。考慮到透鏡軸Ζε與像平面之間源自制造誤差的垂 直度缺失，研究團體引入傾斜軸假設，如圖5所示。在傾斜軸假設中，假設像平面軸傾斜，由 此可以認為像平面與透鏡軸相互垂直。
[0118] 存在多種公式化，必要地：
[0119] -參數(shù)a是水平圖像比例，與相機像素柵格陣列的水平軸完全對齊；
[0120] -區(qū)別于a，豎直比例設定為b ;
[0121] -相對于軸Yc，像平面豎直軸的比例和取向傾斜偏移參數(shù)s，其中s是相對于圖像 比例的比例傾斜測量。
[0122] 圖像中心（Cx，CY)是透鏡軸&與像平面的交點，根據(jù)已出版工作采用的傾斜軸假 設，坐標（Cx，CY)、a、b和s將是五個內部相機參數(shù)。所以，內部相機模型具有五個（5)自由 度。
[0123] 具有非常精確制造過程的像平面像素柵格陣列，校準應該檢索水平圖像比例等于 豎直圖像比例，即a = b = f，沒有豎直軸傾斜，即s = 0。然而，通過移動所有其它相機參 數(shù)，廣泛的傾斜軸假設都引入了視角偏置，且它應該被保留了相機像平面幾何的像平面全 3D視角模型替代。所以，建議為內部相機模型引入一組新變量，如圖6所示，在相機坐標（從 焦點〇開始）中表示模型。
[0124] 在建議的模型中，圖像中心（CX，CY)保留在透鏡軸Z c與相機（像）平面的交點?？?慮外部3D世界目標（其P點位于相對于軸（Χε Υε Ζε)的給定坐標處的世界中的某處）的 兩個比例獨立同時的視角。
[0125] 直觀地說，透鏡系統(tǒng)的入口定義為沿視線軸Ζε的在f = 1處的理論平面，該理論 平面由圖6中的兩個軸表示，在單位焦距f = 1處，且與透鏡軸&完全垂直（即直角）。第 一平面表示3D目標在X和y無窮維平面上完全的1:1真實比例投影。
[0126] 所以，在f = 1的投影表示為矩陣變換[R3x3 T3xl]:
[0127]
[0128] 采用齊次坐標，3D世界坐標（X Y Z相對于世界坐標（Xw Yw Zw)，X' Y' Z'相對于相 機坐標系（Xc Yc Zc))中的點P = [X Υ Ζ 1]τ投影為：
[0129] [R3x3T3xl] [X Υ Ζ 1]τ= [X， Υ' V ] [Xr /V V /1 1] τ (2)
[0130] 其中，產生的3D矢量中的第三分量Ζ'重新歸一，由此[X' Υ' Ζ' ]τ比例等價于 [X' /Z' Y' /Z' 1]T。3D 點 P = (X Υ Ζ)在兩維中投影為（X' /Ζ'，Υ' /Ζ'）。方程⑵中 的符號~表示齊次坐標中的比例等價運算符。
[0131] 方程⑴中的元素 ri j，i，j = 1，2,3是模型參數(shù)，即上述三個旋轉角度(κφΩ)，和 相對于焦點〇的世界原點的位置（Τχ Τγ Τζ)的函數(shù)。
[0132] 除外部3D世界目標的真實比例視角之外，第二視角是像平面本身，即透鏡系統(tǒng)的 輸出。像平面由圖6中在（CX，CY)處相交的兩個軸來表示。因為焦距f處的相機平面與透 鏡軸4是垂直度偏離的，所以它需要五個（5)參數(shù)。采用如焦點0處的坐標設置（即坐標 設置（? Yc Zc))，位于f處像平面上相同的水平和豎直軸取向，相對于X和y軸的兩個旋 轉角度α和β用來考慮相機平面的傾斜。具體地并且如圖6中所示，像平面的X軸旋轉 角度α，而像平面的y軸旋轉角度β，由此，相對于X和y軸，像平面傾斜角度α和β，其 中像平面的X和y軸最初，即旋轉前與原點0處的&和Υε相平行。換句話說，在采用旋轉 傾斜像平面之前，X和y軸示意性地與原點〇處的X。和Υ。相平行，且在像平面是可再現(xiàn)的。 所以，像平面的傾斜可由空間中兩個（2)3D旋轉表示，即關于\軸旋轉度角α和關于1軸 第二旋轉角度β。因為像平面的X軸任意選擇為與水平相機平面方向相一致，所以沒必要 對Ζ軸旋轉角度。在某些實施例，例如，同時采用沿同一個視線的兩個成像設備，捕獲世界 目標的圖像的實施，或采用三CCD相機（三個獨立的電荷耦合設備（CCDs))的實施例中，應 該理解為最好是ζ軸旋轉角度。除了旋轉角度α和β，隨后相機內部模型剩余的自由度是 焦距f (或相機圖像比例）和圖像中心坐標（Cx，CY)。
[0133] 與圖5中普遍傾斜軸假設對應的內部K矩陣由以下等式（3)給出。
[0135] 方程（3)中的左上角2X2矩陣部分表示像平面X和y軸，其傾斜參數(shù)s，水平比例 a和豎直比例b。像平面X軸與相機平面像素柵格陣列（未示出）的水平軸相一致，作為列 向量，記為K矩陣（2, 1)位置中的值0。如圖5所示，像平面y軸沿X方向傾斜s。最后一 列表示圖像中心位置（Cx，CY)。
[0136] 圖5的傾斜軸假設的誤差在左下角1X2矩陣部分可見。當透鏡軸與相機平面垂 直度偏離時，左下角1X 2部分的兩（2)項不應該是0。當它們非零時，隨著一個從圖像中心 移開，這些項將對像平面中的X和y比例進行視角校正。
[0137] 為了計算投影的X和y軸，此時應該考慮視角，所以建議從相機像平面與透鏡軸Zc 完全垂直開始。于是，如上所述，投影的X和y軸分別計算為傾斜角度α和β，由此，獲得 與透鏡軸4垂直度偏離的像平面。在提出的方法中，內部相機模型被定義為具有五個（5) 自由度的視角轉換，該轉換將真實1:1比例的外部相機模型投影與共同視線ZJ:焦距f處 的像平面投影關聯(lián)起來，且其中像平面相對于像平面的X和y軸傾斜角度α和β，在任何 旋轉之前，所采用X和y軸與原點〇處的&和Y c相平行。圖6示出了視線Z c處的（C x，CY)。 在圖6中，Zc作為所有平面與視線相交的原點。最初，我們假設（CX，CY) = (0,0)