基于激光掃描測距儀與多相機融合的透視成像方法
【專利摘要】本發(fā)明涉及一種基于激光掃描測距儀與多相機融合的透視成像方法，摒棄了傳統方法只采用圖像傳感器的方式，在使用圖像傳感器獲取圖像信息的基礎上引入了激光掃描測距儀獲取場景的點云數據，利用點云數據獲取場景的深度信息，根據深度信息進行聚焦深度的選擇，減少時間復雜度。同時本發(fā)明利用場景的深度信息，可以對獲得的投影點進行篩選，提高透視成像結果的清晰度。由于本發(fā)明采用全景相機獲取場景的圖像信息，同時獲取多視角的圖像，因此能夠獲取多視角透視成像結果。本發(fā)明在自建數據庫上進行測試結果，測試結果顯示本方法能夠快速有效的得到更清晰的多視角透視成像結果。
【專利說明】
【技術領域】
[0001] 本發(fā)明涉及一種合成孔徑透視成像方法，特別是一種基于激光掃描測距儀與多相 機融合的透視成像方法。 基于激光掃描測距儀與多相機融合的透視成像方法
【背景技術】
[0002] 相機陣列透視成像是計算機視覺領域的一個重要研究課題，在視頻監(jiān)控、隱藏 目標探測等方面具有廣泛的應用。文獻"Synthetic Aperture Imaging using Pixel Labeling via Energy Minimization, PR, 46 (1) : 174-187, 2013" 公開了一種基于能量最小 化像素標記的合成孔徑成像方法。該方法將透視成像轉化為前景點/非前景點的分類問 題，首先對每個相機視角下的像素利用能量最小化方法標記屬于遮擋物的前景像素點，然 后，在給定聚焦深度對非前景像素點進行平均，獲得遮擋目標透視成像。雖然這種方法能夠 對指定深度目標的透視成像，但是由于該方法采用了能量最小化像素標記的方式進行前景 的標記工作，需要進行大量的計算，因此時間復雜度高。同時，由于標記的精度問題，使得前 景的標記工作存在較大誤差，影響透視成像的清晰度。此外，該方法只進行了傳統的單鏡頭 的透視成像工作，對于大場景多視角的透視成像不具有適用性。
【發(fā)明內容】
[0003] 要解決的技術問題
[0004] 為了避免現有技術的成像方法透視成像不夠清晰、時間復雜度較高、無法完成多 視角透視成像的缺點，本發(fā)明提出一種基于激光掃描測距儀與多相機融合的透視成像方 法。
[0005] 技術方案
[0006] -種基于激光掃描測距儀與多相機融合的透視成像方法，其特征在于步驟如下：
[0007] 步驟1 :確定以激光掃描測距儀載臺中心為世界坐標系原點的世界坐標系，測量 激光掃描測距儀A、B和C的二維掃描坐標系的原點到世界坐標系的距離和偏轉角度，計算 激光掃描測距儀掃描獲取的二維點云到世界坐標系的旋轉矩陣和平移矩陣，完成激光掃描 測距儀的標定；
[0008] 步驟2 :對激光掃描測距儀A在t時刻采集的目標點云集Pt中每個點的領域進行 高斯分布統計分析，刪除不符合高斯分布的離群點，獲得目標點集P' t ;使用KD-tree方法 對激光掃描測距儀A在t-Ι時刻采集的點集Pt_i構建拓撲結構，利用點集P' t查找點集Pt_i 中對應的臨近點，獲得參考點集Pt_/ ;使用ICP算法獲取目標點集P't到參考點集Pt_i'的 2x2的旋轉矩陣R t'和2x1的平移矩陣Tt'，計算點集Pt投影到全局世界坐標系的旋轉矩陣 Rt = RhR't，平移矩陣Tt = Rt · Tt' +Τη，其中Rh、Τη分別為點集Pt_/至lj全局世界坐標系 的旋轉矩陣和平移矩陣，將點集Pt投影到全局世界坐標系中，獲取二維地圖；
[0009] 步驟3 :利用張氏標定法對第0-5號相機的鏡頭進行內參標定，獲取內參矩陣 Κ〇, Κ1； Κ2, Κ3, Κ4, Κ5 ；
[0010] 步驟4:利用黑白格標定板方法，計算標定平面參數N，采用標準線性最小二乘法 計算矩陣Η :
[0011]
【權利要求】
1. 一種基于激光掃描測距儀與多相機融合的透視成像方法，其特征在于步驟如下： 步驟1 :確定以激光掃描測距儀載臺中心為世界坐標系原點的世界坐標系，測量激光 掃描測距儀A、B和C的二維掃描坐標系的原點到世界坐標系的距離和偏轉角度，計算激光 掃描測距儀掃描獲取的二維點云到世界坐標系的旋轉矩陣和平移矩陣，完成激光掃描測距 儀的標定； 步驟2 :對激光掃描測距儀A在t時刻采集的目標點云集Pt中每個點的領域進行高斯 分布統計分析，刪除不符合高斯分布的離群點，獲得目標點集P't ;使用KD-tree方法對激 光掃描測距儀A在t-Ι時刻采集的點集Pt_i構建拓撲結構，利用點集P' t查找點集Pt_i中對 應的臨近點，獲得參考點集PtY ;使用ICP算法獲取目標點集P't到參考點集'的2x2的 旋轉矩陣Rt'和2x1的平移矩陣T t'，計算點集Pt投影到全局世界坐標系的旋轉矩陣Rt = IWV，平移矩陣Tt = Rt · Tt' +Τη，其中Rh、Τη分別為點集Pt_/至lj全局世界坐標系的旋 轉矩陣和平移矩陣，將點集Pt投影到全局世界坐標系中，獲取二維地圖； 步驟3 :利用張氏標定法對第0-5號相機的鏡頭進行內參標定，獲取內參矩陣 Κ〇, Κ1； Κ2, Κ3, Κ4, Κ5 ； 步驟4 :利用黑白格標定板方法，計算標定平面參數Ν，采用標準線性最小二乘法計算 矩陣Η :
通過Η計算第0號鏡頭相對于激光掃描測距儀Α的標準正交方向矩陣以及位置向 量，利用非線性優(yōu)化算法進一步優(yōu)化方向矩陣以及位置向量7^，同樣方法得到第1 號鏡頭與激光掃描測距儀B的標準正交方向矩陣以及位置向量7^，第4號鏡頭與激光 掃描測距儀C的標準正交方向矩陣/匕以及位置向量; 步驟5 :根據二維地圖構建過程中所獲取的點集PtA到全局世界坐標系的旋轉矩陣Rt以 及平移矩陣Tt，所述的PtA為激光掃描測距儀A在t時刻獲取激光點云集合，則在t時刻相 機視角對應的位姿參數為：
步驟6 :利用二維地圖構建過程中使用的ICP算法，獲取激光掃描測距儀B或C在t時 刻采集的點集Ptis(i = 1，2,…，n. s = B, C)到上一組點集PtQs(s = B, C)所在坐標系的旋 轉矩陣Rti〇s和Tti(ls，計算變換后的點集if及if :
計算< 及到第1號鏡頭及第4號鏡頭的相機坐標系中的對應點集合：
根據小孔成像模型Pimg = KP。獲取點集PtlB，Pt2B，…，P tnB以及Ptle，Pt2 e，…，Ptne在彩色圖 像上的對應像素坐標，K表示相機內參標定獲取的相機內參矩陣；從而得到點云數據的彩 色紋理信息，實現點云數據與圖像數據的融合，獲取圖像數據中部分像素所對應的深度信 息； 步驟7 :計算聚焦平面ndes上的像素點Pdes (X，y)在參考視角坐標系下對應的3維空間 點為. Pref = Pdes * Step+WS 其中step表示在參考視角坐標系下ndes中一個像素的大小，ws表示ndes在參考視角 坐標系下的起始點，所述的參考視角為每個相機采集的第一幀圖像；Step可以由以下公式 求?。?br>
其中w和h分別表示合成圖像的寬和高，fx和fy表示相機的焦距，cbp表示聚焦平面 的深度，計算PMf在世界坐標系下的對應點Pw : Pw Rref Pref+Tref 其中RMf表示參考視角的旋轉矩陣，TMf表示參考視角的平移矩陣，通過對pw利用針孔 相機模型進行投影變換，得到像素點Pfcs(x，y)在每一個視角下對應的點P/，并組成一個點 集合表示為 P' =
{ρ/,ρ；/，···，？/}: 其中[RilTj為第i個視角的旋轉矩陣和平移矩陣，如果Pi'在成像平面1^上，則可以 獲得這個點的RGB值，記為(^，以及深度值七，同樣方法獲取所有投影點的像素值，組成顏色 值集合cdes= ，…，cn}和深度值集合Ddes= {dp d2, ···，(!"}，根據深度值信息，去除不 合理的投影點，采用求取平均值的方式，獲取點Pdes (X，y)的顏色值，得到遮擋目標的透視成 像。
【文檔編號】G06T7/00GK104156972SQ201410422858
【公開日】2014年11月19日 申請日期:2014年8月25日 優(yōu)先權日:2014年8月25日
【發(fā)明者】楊濤, 張艷寧, 馬文廣, 王斯丙, 姚博偉 申請人:西北工業(yè)大學