一種基于三維激光點云進行全景影像拼接方法
【技術領域】
[0001] 本發(fā)明涉及一種基于三維激光點云進行全景影像拼接方法，屬于測繪地理信息領 域。
【背景技術】
[0002] 街景服務是目前互聯網地圖的熱點。街景數據一般用車載全景相機進行采集，經 后處理得到全景影像，再發(fā)布到互聯網。街景地圖要求全景影像視覺上無拼接痕跡，因此拼 接時需對相機進行內外參數精確標定，并用嚴格的投影模型將原始影像投影到球面上生成 全景影像。
[0003] 現有的投影方法一般如下：
[0004] 首先構造一個半徑為R的全景球，球心為全景相機的中心，全景球上的每一個點 與目標全景影像的像素坐標對應。
[0005] 像素坐標轉換為極坐標公式：
[0007] 極坐標轉換為球面上的點坐標：
[0009] 由公式1和公式2可以將影像像素坐標轉換為球面上的點坐標（X，Y，Z)。
[0010] 根據該三維坐標，利用相機的內外參數可以計算對應原始照片的像素坐標。這樣 就得到了目標全景影像像素坐標對應的原始照片像素坐標，從而可以得到全景相機各個鏡 頭影像在全景影像上的投影結果，進行全景影像的拼接。
[0011] 以上所述的投影過程無法確定物體與全景相機中心的實際距離，只能根據經驗統(tǒng) 一設置距離R，這樣與實際不符，會造成一定的投影偏差，影響拼接效果。
[0012] 如圖2,全景中心為0,實際物體為P，鏡頭中心為C，P在原始影像上的像點為pl， 如果設置統(tǒng)一的深度R，則投影時認為物體的位置為P'，對應的像點位置為P2?？梢灾烙?于深度R與實際不符，會造成p2與pi的差異。
[0013]

【發(fā)明內容】

[0014] 現在的車載街景采集設備一般配有激光掃描儀和全景相機，可以同時采集點云數 據和影像數據，而且相機拍照時在點云中的位置和姿態(tài)是已知的，因此可以利用點云確定 影像上對應實際物體的三維坐標，用更精確的模型進行投影生成全景影像。
[0015] 本發(fā)明提供了一種基于三維激光點云進行全景影像拼接的方法，在計算目標影像 像素和原始影像像素對應關系時利用點云數據提供的實際物體坐標，解決了現有的全景拼 接方法中的不足，能夠提高拼接準確度。
[0016] 實現本發(fā)明所采用的技術方案為：
[0017] (1)根據目標全景影像像素坐標與全景球坐標的關系構造射線，利用相機在點云 坐標系中的姿態(tài)將射線轉換到點云坐標系中；
[0018] (2)根據鄰近點云內插得到射線方向上的三維坐標；
[0019] (3)根據該三維坐標，利用相機在點云坐標系中的位置和姿態(tài)以及相機的內外參 數計算對應原始照片的像素坐標。
[0020] 步驟（1)中全景影像像素（u，v)可轉換為單位全景球（半徑為一個單位）上的一 點（xn，yn，zn)，該點與全景球中心構成射線，其方向向量為（xn，yn，zn)。已知全景相機在點 云坐標系中的姿態(tài)角（yaw，pitch，roll)，可將射線轉換到點云坐標系中，該射線在點云坐 標系中的方向向量為（Xn，Yn，Zn)。
[0023] 步驟（2)中內插的方法包含但不僅限于以下兩種
[0024] 方法一：直接利用點云內插
[0025] 需要先進行空間查詢得到全景相機在點云坐標系中的位置（HZJ附近一定范 圍內的點云，再在這些點云中搜索少量的點》131，2 1)，使得點與（1，乙，2。）構成的方向向 量與（Xn，Yn，Zn)最為接近，使下式最小。
[0026]ν= (Χηι-Χη)2+(Υηι-Υη)2+(Ζη-Ζη)2
[0027] 其中
[0028]Xni=Xi/mod
[0029]Yni=Yi/mod
[0030]Zni=Zi/mod
[0031]
[0032] 搜索范圍限制可設置為一定夾角內的視錐范圍，夾角大小的經驗值為2°~5°。 如圖3所示
[0033]
[0034] 取滿足以上搜索條件的最近的三個點構成三角形，再進行內插得到（Xn，Yn，Zn)方 向上的點坐標（X，Y，Z)。如果搜索到的點數為0,則設置一個較大的深度，如R= 200m;如 果搜索到的點數為1，則不需要內插；如果搜索到的點數為2,則取平均值。
[0035] 方法二：利用點云構造空間三角網進行內插
[0036] 先利用點云構造空間三角網，然后求相機位置（Xe，Ye，Z。）處方向向量為（Xn，Yn，Zn) 的射線與三角網的交點坐標即為所需要求的（X，Υ，Ζ)。
[0037] 步驟（3)中，根據點云坐標（X，Υ，Ζ)、全景相機在點云坐標系中的位置（X。，Υ。，Ζ。） 和姿態(tài)角（yaw，pitch，roll)，以及相機的內外參數，可得到該點在原始照片上的像素坐標 (uQ，v。）。如下公式
[0038]
[0039] (u。，v。）=F(int，ext，Xp，Yp，Zp)
[0040] F為成像函數，不同的鏡頭（如魚眼鏡頭和廣角鏡頭）成像函數可能不一樣，int 為內參數，ext為外參數，為點云在全景相機坐標系中的坐標。
[0041]根據以上步驟（1)到步驟（3)，實際獲得了目標全景像素（u，v)與原始照片的像 素坐標（IVV。）之間的對應關系。再根據一般的拼接方法最終可得到全景影像。
[0042] 本發(fā)明所提供的方法利用了車載激光點云的三維坐標，以及拍照時刻全景相機在 點云中的位置和姿態(tài)，計算出目標全景影像上各像素的實際深度（即物體與全景相機中心 的距離），比傳統(tǒng)的方法指定一個統(tǒng)一的深度構造的模型更加精確。相比傳統(tǒng)的方法，能夠 改善全景影像拼接效果，減少后續(xù)人工編輯工作量，極大縮短街景數據生產的制作周期，具 有很高的實際運用價值。
【附圖說明】
[0043] 圖1:為本發(fā)明流程圖。
[0044] 圖2 :為由于深度R與實際不符造成的投影差異示意圖。
[0045] 圖3:為視維范圍不意圖。
【具體實施方式】
[0046] 下面結合具體實施例對本發(fā)明做具體的說明。
[0047] 本實施例中所用的采集設備為車載移動測量系統(tǒng)，采集數據的對象為一條街道， 采集到的數據為街道的點云數據和原始的全景相機數據。車載移動測量系統(tǒng)已進行標定， 即全景相機在點云坐標系中拍照時刻的位置和姿態(tài)角已知，全景相機各鏡頭的內參數已 知，各鏡頭在全景相機坐標系中的位置和姿態(tài)角已知。
[0048] 根據以上描述的步驟，先設定目標全景影像的分辨率為2dXd。
[0049] 取目標全景影像的像素坐標（u，v)進行橫向和縱向循環(huán)，根據以上步驟（2)計算 (u，v)對應的全景球方向向量在點云坐標系中的坐標。
[0050] 因為車載點云是按照時間和掃描線順序存儲的，所以可很方便地獲取全景相機當 前位置附近的點云。按照步驟（2)所述進行空間內插得到方向向量對應的點云坐標。再根 據步驟（3)到得到目標全景影像像素與所有鏡頭影像像素之間的對應關系，則可得到各鏡 頭投影到全景上的影像，最后進行拼接得到全景影像。
【主權項】
1. 一種基于三維激光點云進行全景影像拼接方法，其特征在于包括以下步驟： (1) 根據目標全景影像像素坐標與全景球坐標的關系構造射線，利用相機在點云坐標 系中的姿態(tài)將射線轉換到點云坐標系中； (2) 根據鄰近點云內插得到射線方向上的三維坐標； (3) 根據該三維坐標，利用相機在點云坐標系中的位置和姿態(tài)以及相機的內外參數計 算對應原始照片的像素坐標。2. 根據權利要求1所述的基于三維激光點云進行全景影像拼接方法，其特征在于：計 算目標全景影像像素所對應的原始影像像素時，沒有設置統(tǒng)一的全景球半徑，而是利用點 云數據經過以上步驟（2)到得到實際物體的三維坐標。
【專利摘要】本發(fā)明提供了一種基于三維激光點云進行全景影像拼接的方法，在計算目標全景影像對應的原始影像像素坐標時包括以下步驟：1)根據目標全景影像像素坐標構造射線，利用相機在點云坐標系中的姿態(tài)將射線轉換到點云坐標系；2)根據鄰近點云內插得到射線方向上的三維坐標；3)根據該三維坐標，利用相機在點云坐標系中的位置和姿態(tài)以及相機的內外參數計算對應原始照片的像素坐標。本發(fā)明所提供的方法解決了現有的全景拼接方法中的不足，能夠提高拼接準確度，減少人工操作，縮短數據生產的周期，具有非常巨大的經濟和社會價值。
【IPC分類】G06T3/40
【公開號】CN105243637
【申請?zhí)枴緾N201510598828
【發(fā)明人】汪開理, 劉守軍, 姚立
【申請人】武漢海達數云技術有限公司
【公開日】2016年1月13日
【申請日】2015年9月21日