一種基于多鏡頭多傳感器的全景相機標(biāo)定裝置和方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明公開了一種全景相機標(biāo)定裝置，特別是一種基于多鏡頭多傳感器的全景相 機標(biāo)定裝置。
【背景技術(shù)】
[0002] 采用全景拼接方式構(gòu)建的拼接式全景攝像機，可以對場景同時實現(xiàn)大視場和高分 辨率的拍攝。但是全景攝像機在投入使用之前需要進行標(biāo)定，以估計攝像機內(nèi)參、外參，確 定各鏡頭間、以及空間物體表面某點在圖像上的位置相互關(guān)系。。公開號CN103533266的專 利公開了一種名為垂直方向?qū)捯曈虻?60度拼接式全景攝像機的技術(shù)方案，它包括若干個 相同的豎直排列的圖像傳感器，傳感器的型號、數(shù)量和相對位置根據(jù)全景拼接應(yīng)用對視場 大小的需求確定。它還提供了基于所述全景攝像機的標(biāo)定方法和拼接方法，通過進行標(biāo)定， 將各路圖像投影在同一平面上;再利用動態(tài)規(guī)劃方法和梯度域融合方法完成全景圖像的拼 接。使用該專利的全景攝像機進行標(biāo)定時，對標(biāo)定場景有較高要求，首先標(biāo)定區(qū)域要求空間 比較充裕，其次要求標(biāo)定場景擁有足夠的特征點，再次對匹配算法的優(yōu)越性也有較高要求。 目前常用的標(biāo)定裝置，一般要求標(biāo)定區(qū)域是以最小標(biāo)定距離為半徑的圓，通常最小標(biāo)定距 離大于10米，本發(fā)明公開的全景相機標(biāo)定裝置降低了對標(biāo)定區(qū)域大小的要求，且保證能夠 找到足夠的特征點，并減輕了算法的復(fù)雜度。本發(fā)明涉及的畸變校正方法和全局調(diào)整方法 都是比較少見的。目前的全局調(diào)整方法大多是采用圖像像素值差作為代價指標(biāo)，本發(fā)明利 用標(biāo)定靶采用坐標(biāo)差作為代價指標(biāo)，在提高優(yōu)化效果的同時，也降低了算法的復(fù)雜程度。另 外，不同于一般的構(gòu)建二維離散坐標(biāo)映射表方法，本發(fā)明構(gòu)建了兩個一維離散坐標(biāo)映射表， 并采用n*n間隔和差分坐標(biāo)值形式存儲，大大減少存儲空間，便于硬件實現(xiàn)。

【發(fā)明內(nèi)容】

[0003] 本發(fā)明公開了一種基于多鏡頭多傳感器的全景相機標(biāo)定裝置，可以克服目前全景 相機標(biāo)定對場景有較高要求的缺點，可以在較小的場景中對相機進行標(biāo)定，并且可以借助 標(biāo)定靶，保證找到足夠的特征點的同時，大大降低匹配算法的復(fù)雜度。
[0004] 本發(fā)明公開了一種基于多鏡頭多傳感器的全景相機標(biāo)定裝置，包括全景攝像模 塊、電機驅(qū)動模塊、圖像處理模塊和圖像顯示模塊，全景攝像模塊包括支架、設(shè)置在支架上 的多個鏡頭組和與多個傳感器組，每個鏡頭組對應(yīng)一個傳感器組，鏡頭組中的每個鏡頭對 應(yīng)傳感器組中的一個傳感器，并且與該傳感器相連；
[0005] 每個鏡頭組包括η個鏡頭，1 100,其中各鏡頭組中鏡頭位置的排列方向、距離 相同，位于每個鏡頭組中同一位置的鏡頭組成一個成像組，在每個成像組中，任意兩個相鄰 的鏡頭在成像時有重疊區(qū)域，同一個成像組的各個鏡頭參數(shù)相同；
[0006] 全景攝像組連接電機驅(qū)動模塊，圖像處理模塊連接全景攝像模塊，圖像顯示模塊 連接圖像處理模塊，電機驅(qū)動模塊驅(qū)動支架平移和旋轉(zhuǎn)，可以調(diào)整鏡頭方向，保證獲取足夠 的特征點，減小標(biāo)定所需要的區(qū)域大小。
[0007] 優(yōu)選的，全景攝像機模塊設(shè)置為球面狀態(tài)，支架為球面支架，每個鏡頭都設(shè)置在球 面支架的外側(cè)面，沿球面半徑方向朝向球面的外側(cè)，球面支架的球心和鏡頭中心點的連線 與鏡頭光軸所成角度小于等于5°。設(shè)置為球面狀態(tài)的全景攝像機模塊，適用于720°的全景 拍攝，可以取到所有角度的圖像。
[0008] 優(yōu)選的，全景攝像機模塊設(shè)置為柱面狀態(tài)，支架為圓柱面支架，每個鏡頭都設(shè)置在 圓柱面支架的側(cè)面，沿圓柱側(cè)面半徑方向朝向圓柱面的外側(cè)，且處于同一柱面高度，位于該 高度的圓柱面支架橫截面圓心和鏡頭中心點的連線與鏡頭光軸所成角度小于等于5°。設(shè)置 為柱面狀態(tài)的全景攝像模塊，適用于360°的全景拍攝，可以取到全景相機四周的圖像。
[0009] 優(yōu)選的，全景攝像機組設(shè)置為矩陣形態(tài)，支架為平面支架，每個都設(shè)于平面鏡頭架 的一側(cè)，鏡頭方向朝向平面的同一側(cè)。設(shè)置為矩陣形態(tài)的全景攝像機模塊，適用于面對一個 方向的全景拍攝。
[0010] 優(yōu)選的，每組鏡頭包括兩個鏡頭，組成兩個成像組，分別模擬人體左眼和右眼成 像，經(jīng)過圖像處理模塊的處理，形成3D立體圖像。
[0011]優(yōu)選的，每組鏡頭包括多個鏡頭，組成多個成像組，每個成像組獨立成像，經(jīng)過圖 像處理模塊的處理，可以將每個成像組形成的圖像進行疊加，根據(jù)每個成像組鏡頭的設(shè)置， 進而獲得3D圖像或熱成像圖像等。
[0012] 優(yōu)選的，成像組中，至少一組全部由普通光學(xué)鏡頭組成，保證標(biāo)定可以順利進行。
[0013] 優(yōu)選的，成像組包括兩個分別模擬人體左眼和右眼的成像的成像組，將圖像疊加 后獲得3D立體圖。
[0014] 優(yōu)選的，鏡頭與支架轉(zhuǎn)動連接，可以根據(jù)需要獨立調(diào)整每個鏡頭在當(dāng)前位置的角 度。
[0015] 優(yōu)選的，圖像處理模塊為芯片或計算機;芯片安裝在全景攝像模塊的支架處，與傳 感器連接，進一步減小整個裝置的體積，處理后將圖像輸出到外部圖像顯示模塊。當(dāng)使用計 算機作為圖像處理模塊時，使用計算機軟件進行處理，計算機外接于傳感器。
[0016] 優(yōu)選的，全景相機標(biāo)定裝置還包括標(biāo)定靶，標(biāo)定靶的圖案設(shè)置為黑白相間的棋盤 格，棋盤格上設(shè)有定位標(biāo)志。使用標(biāo)定靶，可以保證標(biāo)定時能夠找到足夠數(shù)量的、分布均勻 的、足夠精度且基本處于同一景深的特征點，而不受標(biāo)定所處現(xiàn)實場景的影響。
[0017] 優(yōu)選的，全景相機標(biāo)定裝置包括多塊標(biāo)定靶，多塊標(biāo)定靶圖案可以不完全一致，設(shè) 置多塊標(biāo)定革G，可以進一步提尚標(biāo)定的成功率，并減少標(biāo)定裝置轉(zhuǎn)動幅度。
[0018] -種全景相機標(biāo)定方法，使用全景攝像機模塊設(shè)置為球面狀態(tài)的全景相機標(biāo)定裝 置和標(biāo)定靶進行標(biāo)定，包括以下步驟：
[0019] (1)針對配置的標(biāo)定靶，各鏡頭基本正對標(biāo)定靶采集圖像，進行畸變校正，選取徑 向畸變模型：
[0020]
[0021]其中，
[0022]
[0023]其中（xs，ys)是畸變校正前點坐標(biāo)，（xd，yd)是畸變校正后點坐標(biāo)，（xcd，ycd)是畸 變中心點坐標(biāo)，（kl，k2，k3，…）是畸變參數(shù)；
[0024]先空間上的點投影到圖像平面，再平面圖像點擴展到畸變圖像的點上，由于畸變 點和空間點的關(guān)系為點和直線的關(guān)系，同時推導(dǎo)得到的空間點和畸變點映射關(guān)系也和基本 矩陣一樣。所以可以利用F矩陣求取極點的方法求取畸變中心；
[0025]利用無畸變圖像三點共線對應(yīng)的三點坐標(biāo)構(gòu)成的矩陣的行列式為0,求取畸變參 數(shù)，假定畸變中心坐標(biāo)已知，并將圖像坐標(biāo)系的原點置于畸變中心處，對于圖像上共線的3 點Pi=(xi yi)T，ri=| |(xi yi)| |是3點距離畸變中心的長度，存在關(guān)系：
[0026]
[0027] 根據(jù)上述行列式，對于多組三點共線行列式，通過求解最小二乘問題來求取畸變 參數(shù)；
[0028] (2)針對配置的標(biāo)定靶，每兩個相鄰鏡頭的角平分線基本正對標(biāo)定靶，且標(biāo)定靶上 的定位點處于兩個鏡頭可視范圍的重疊區(qū)域，完成全局調(diào)整圖像采集工作，對于每一組圖 像，找出圖像中標(biāo)定靶的角點，并根據(jù)與定位點的位置關(guān)系，匹配好兩張圖像的角點，得到 匹配點對，假定第i組的匹配點對為(pli，p2i)，
[0029] 選取球面投影模型：
[0030]
[0031] 其中（xd，yd)是球面投影前點坐標(biāo)，（Xsp，ysp)是球面投影后點坐標(biāo)，r是球面投影 半徑，每鏡頭經(jīng)過球面投影前，進行射影變換，以使得投影前平面圖像能與假定半徑為r的 球面相切，切點坐標(biāo)( XCS，yCS)是球面投影中心坐標(biāo)。假定射影變換的單應(yīng)性矩陣為H，從原 圖像到目標(biāo)圖像的總坐標(biāo)映射為FO ;
[0032] 上述中的球面投影中心坐標(biāo)(XCS，yCS)、球面投影半徑r，單應(yīng)性矩陣Η即是全局調(diào) 整所需優(yōu)化的參數(shù)。結(jié)合成像組各鏡頭的姿態(tài)角（以其中一個鏡頭為基準(zhǔn)），這里可以采用 Levenberg-Marquardt算法，以所有組匹配點對的坐標(biāo)差的絕對值總和為代價指標(biāo)，優(yōu)化出 所需參數(shù)：
[0033] (xcs,ycs ,r ,H) = argmin Zabs(F(pli)-F(p2i))
[0034] (3)將經(jīng)過上述映射的投影圖在YUV顏色空間上利用濾波器卷積分離出多個頻段 的圖像，每兩相鄰的投影圖在每個頻段圖像上采用漸入漸出或金字塔方式線性融合，得到 球面拼接全景圖像。
[0035] -種全景相機標(biāo)定方法，使用全景攝像機模塊設(shè)置為圓柱面狀態(tài)的全景相機標(biāo)定 裝置和標(biāo)定靶進行標(biāo)定，包括以下步驟：
[0036] (1)針對配置的標(biāo)定靶，各鏡頭基本正對標(biāo)定靶采集圖像，進行畸變校正。選取徑 向畸變模型：
[0037]
[0038]
[0039]
[0040]其中（xs，ys)是畸變校正前點坐標(biāo)，（xd，yd)是畸變校正后點坐標(biāo)，（xcd，ycd)是畸 變中心點坐標(biāo)，（kl，k2，k3，…）是畸變參數(shù)；
[0041]先將空間上的點投影到圖像平面，再將平面圖像點擴展到畸變圖像的點上，由于 畸變點和空間點的關(guān)系為點和直線的關(guān)系，同時推導(dǎo)得到的空間點和畸變點映射關(guān)系也和 基本矩陣一樣，所以可以利用F矩陣求取極點的方法求取畸變中心；
[0042]利用無畸變圖像三點共線對應(yīng)的三點坐標(biāo)構(gòu)成的矩陣的行列式為0,求取畸變參 數(shù)，假定畸變中心坐標(biāo)已知，并將圖像坐標(biāo)系的原點置于畸變中心處，對于圖像上共線的3 點Pi=(xi yi)T，ri=| |(xi yi)| |是3點距離畸變中心的長度，存在關(guān)系：
[0043]
[0044] 根據(jù)上述行列式，對于多組三點共線行列式，通過求解最小二乘問題來求取畸變 參數(shù)；
[0045] (2)針對配置的標(biāo)定靶，每兩個相鄰鏡頭的角平分線基本正對標(biāo)定靶，且標(biāo)定靶上 的定位點處于兩個鏡頭可視范圍的重疊區(qū)域，完成全局調(diào)整圖像采集工作，對于每一組圖 像，找出圖像中標(biāo)定靶的角點，并根據(jù)與定位點的位置關(guān)系，匹配好兩張圖像的角點，得到 匹配點對，假定第i組的匹配點對為(pli，p2i)，
[0046] 選取柱面投影模型：
[0047]
[0048] 其中（xd，yd)是柱面投影前點坐標(biāo)，（xc，yc)是柱面投影后點坐標(biāo)，（xcc，ycc)是柱 面投影中心坐標(biāo)，r是柱面投影半徑；
[0049] 每鏡頭經(jīng)過柱面投影后，進行射影變換，以配準(zhǔn)對齊各相鄰視角圖像，假定該單應(yīng) 性矩陣為H，從原圖像到目標(biāo)圖像的總坐標(biāo)映射為F();
[