基于影像點云的大范圍虛擬地理場景自動構(gòu)建方法
【專利摘要】本發(fā)明公開了一種基于影像點云的大范圍虛擬地理場景自動構(gòu)建方法。包括如下步聚：（1）輸入序列航空/航天攝影影像，及其對應的定向參數(shù)文件，進行影像分塊裁剪存儲、確定多視影像匹配的基準影像、搜索影像和待匹配區(qū)域等預處理工作；（2）采用附加物方信息約束和雙向一致性驗證的多視影像匹配方法，獲取基準影像上待匹配區(qū)域內(nèi)所有像素在搜索影像上的同名像點；（3）根據(jù)多像光束法平差，計算待匹配像素對應地物點的三維坐標，再結(jié)合其RGB顏色信息，并按照一定的數(shù)據(jù)結(jié)構(gòu)，生成表達待匹配區(qū)域地理場景的三維影像點云。根據(jù)本發(fā)明的方法獲得的影像點云可用于從序列影像中自動構(gòu)建大范圍地理場景的虛擬三維模型。
【專利說明】基于影像點云的大范圍虛擬地理場景自動構(gòu)建方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明屬于攝影測量、計算機視覺和虛擬地理環(huán)境領(lǐng)域，涉及基于影像的虛擬地理場景構(gòu)建方法。
【背景技術(shù)】
[0002]地理場景的三維重建既是3DGIS和虛擬地理環(huán)境發(fā)展的關(guān)鍵技術(shù)，也是空間信息服務環(huán)境具備強沉浸感體驗性的基礎。快速且自動地實現(xiàn)大范圍復雜地理場景的真三維虛擬重建，一直是GIS、計算機視覺、虛擬現(xiàn)實、攝影測量等領(lǐng)域的難點問題和研究熱點。針對地理場景的數(shù)字化三維重建，當前的方法按技術(shù)實現(xiàn)的途徑可主要分為兩大類:基于三維激光掃描的方法和基于影像的方法。雖然三維激光掃描獲得的三維點云的幾何精度高、點的密度較大，但在從點云到三維模型的重建過程中，需對點云進行配準、濾波、分割、特征提取、表面格網(wǎng)構(gòu)建、紋理映射等一系列的處理，人機交互工作量較大；而且，點云數(shù)據(jù)中缺乏紋理和語義信息，若要構(gòu)建真實感較強的三維模型，必需額外進行紋理影像的采集和紋理映射，增加了自動化三維建模的處理復雜度。
[0003]相較于激光掃描點云，影像數(shù)據(jù)中所蘊含的信息要豐富很多，其集幾何、屬性、語義等多種隱含的或顯示的信息于一身，是真實地理場景最直觀、最簡潔的記錄方式。但是，現(xiàn)有基于影像的三維重建方法或是僅將影像視為紋理屬性來用，或是僅利用影像來提取幾何模型(格網(wǎng)、TIN等)；且在三維模型構(gòu)建完成后，原始采集的帶有各種定位信息的高分辨率的影像數(shù)據(jù)就不再使用。這種幾何模型與紋理屬性分開采集再映射融合的三維重建方法，一方面增加了數(shù)據(jù)處理的復雜度，一方面也使得重建場景的視覺效果不夠真實。
[0004]在攝影測量領(lǐng)域，立體像對經(jīng)相對定向和絕對定向后，可獲得地理場景的真實感很強的視覺三維立體模型。然而，此視覺模型仍是一個不可接觸的虛擬視像，也不能直接以數(shù)字化方式存儲；需要同時保存其對應的原始立體像對和定向參數(shù)，才能在專業(yè)的數(shù)字攝影測量系統(tǒng)(VirtuoZo、JX4、Imagelnfo-PixelGrid、Inpho等)中對其進行可視化與人機交互數(shù)據(jù)采集等操作。若能將視覺立體模型中所看到的每個地物點都以三維彩色點形式明確地編碼并記錄其幾何空間信息和顏色屬性，則可將基于原始影像呈現(xiàn)的視覺立體模型轉(zhuǎn)換成可接觸的數(shù)字化三維虛擬場景模型，從而有望以真實、簡潔的數(shù)據(jù)模型來重建三維虛擬地理場景，并支持場景的可視化、交互及地理分析。顯然，同時具有三維幾何信息和二維顏色紋理信息的影像點云，是實現(xiàn)視覺立體模型到數(shù)字化虛擬場景轉(zhuǎn)換的有效方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于針對現(xiàn)有基于影像的三維建模方法中人機交互操作過多、處理過程復雜和效率低下的不足，提出一種基于影像點云的大范圍虛擬地理場景自動構(gòu)建方法。本發(fā)明的影像點云是根據(jù)攝影測量原理，從序列航空或航天攝影影像中生成的同時具有三維激光掃描點云的三維幾何信息和二維平面影像的顏色紋理屬性的三維彩色點集，其能有效地將幾何信息和顏色紋理信息進行一體化表達，且點集密度遠遠超過傳統(tǒng)機載LiDAR點云，可有效地對現(xiàn)實地理場景進行真三維數(shù)字化重建和再現(xiàn)。
[0006]基于影像點云的大范圍虛擬地理場景自動構(gòu)建方法包括如下步驟:
[0007]步驟一，輸入序列航空或航天攝影影像，及其對應的定向參數(shù)文件，進行影像分塊裁剪存儲、確定多視影像匹配的基準影像、搜索影像和待匹配區(qū)域等預處理工作；
[0008]步驟二，采用附加物方信息約束和雙向一致性驗證的多視影像匹配方法，獲取基準影像上待匹配區(qū)域內(nèi)所有像素在搜索影像上的同名像點；
[0009]步驟三，根據(jù)多像光束法平差，計算待匹配像素對應地物點的三維坐標，再結(jié)合其RGB顏色信息，并按照一定的數(shù)據(jù)結(jié)構(gòu)，生成表達待匹配區(qū)域地理場景的三維影像點云。
[0010]所述步驟一具體包括:
[0011](1)輸入具有重置度的η幅序列航空或航天攝影影像,及其對應的定向參數(shù)文件；
[0012](2)將輸入的序列影像，按t*t分塊裁剪并存儲,其中t為兩位整數(shù)；
[0013](3)確定一幅基準影像Ic^Pn-1幅搜索影像SpSi'…、Sn_1;并根據(jù)影像間的重疊度，確定基準影像上的待匹配區(qū)域范圍的左上角和右下角的行列號；
[0014](4)將待匹配區(qū)域進行m*m均勻格網(wǎng)劃分，以提高后續(xù)的多視影像匹配的效率。
[0015]所述步驟二具體包括:對于基準影像上m*m均勻格網(wǎng)劃分的待匹配區(qū)域，依次取出每一塊待匹配區(qū)域，對此區(qū)域內(nèi)的每一個待匹配像素點并行進行如下的多視影像匹配過程。
[0016](I)根據(jù)待匹配區(qū)域的最大高程Zmax和最小高程Zmin，確定待匹配點在各幅搜索影像上的候選同名點搜索范圍；
[0017](2)在同名點搜索范圍內(nèi)，分別計算待匹配點和各幅搜索影像上的每個候選點的匹配測度P P…、Plri，取n-ι個匹配測度的平均值作為每個候選同名點和待匹配點的多像匹配測度，并以最大多像匹配測度所對應的各個候選同名點作為待匹配點在各幅搜索影像上的同名像點；
[0018](3)對于每幅搜索影像上的同名像點，按照雙像立體影像匹配的方式，確定其在基準影像上的同名點，并將該同名點和原來的待匹配點進行比較，如果其列號之間的差值小于一定的閾值，則認為該幅搜索影像上的同名像點有效，并將該同名像點放入基準影像上待匹配點的同名像點集合；若待匹配點在各幅搜索影像上都沒有找到有效的同名像點，則該待匹配點為無效的點，其同名像點集合為空，并賦予其對應地物點的三維坐標為一個無效的值。
[0019]所述步驟三具體包括:
[0020](I)對于待匹配區(qū)域內(nèi)的每一個有效的待匹配點，利用此待匹配點在基準影像上的行列數(shù)值、及其對應的同名點集合中的各個同名點在各自搜索影像上的行列數(shù)值，根據(jù)多像光束法平差，計算待匹配點對應地物點的三維空間坐標X、Y、Z;再結(jié)合該待匹配點在基準影像上的RGB顏色信息，將此待匹配點從二維像素轉(zhuǎn)換成一個三維彩色點；
[0021](2)按照一定的數(shù)據(jù)結(jié)構(gòu)，將待匹配區(qū)域內(nèi)的所有三維彩色點組織成測區(qū)地理場景的二維影像點ζ?。
[0022]本發(fā)明的基于影像點云的大范圍虛擬地理場景自動構(gòu)建方法是全自動的方法，僅需要用戶指定一些初始輸入?yún)?shù)。本發(fā)明根據(jù)多視攝影測量原理，將序列航空或航天攝影影像的重疊區(qū)域內(nèi)的每一個二維平面像素轉(zhuǎn)換成具有三維空間坐標和RGB顏色信息的彩色點，從而得到重疊區(qū)域內(nèi)地理場景的超密集三維彩色點集，即影像點云。此種影像點云同時具有三維激光掃描點云的三維幾何信息和二維平面影像的顏色紋理屬性，能有效地將幾何信息和顏色紋理信息進行一體化表達，可有效地對現(xiàn)實地理場景進行真三維數(shù)字化重建和再現(xiàn)；其點集密度遠遠超過傳統(tǒng)機載LiDAR點云，可用于從序列影像中自動構(gòu)建大范圍地理場景的虛擬三維模型，有效地對現(xiàn)實地理場景進行真三維數(shù)字化重建和再現(xiàn)，解決了傳統(tǒng)基于影像的三維建模過程中先幾何建模再紋理映射的效率低下問題。
【專利附圖】

【附圖說明】
[0023]圖1是本發(fā)明實施例的方法框架圖；
[0024]圖2是本發(fā)明實施例搜索影像上同名像點的同名搜索核線示意圖；
[0025]圖3是本發(fā)明實施例多視攝影測量交會定點示意圖；
[0026]圖4是本發(fā)明實施例某地區(qū)局部區(qū)域的航空影像；
[0027]圖5是本發(fā)明實施例生成的某地區(qū)地理場景的三維影像點云效果圖。
【具體實施方式】
[0028]以下結(jié)合具體實施例，并參照附圖，對本發(fā)明作進一步詳細說明。
[0029]如圖1所示,基于影像點云的大范圍虛擬地理場景自動構(gòu)建方法包括三部分:(1)影像數(shù)據(jù)準備與預處理；(2)逐像素的多視影像并行匹配；(3)影像點云生成。具體實施步驟為:
[0030]第一步:影像數(shù)據(jù)準備與預處理。
[0031](I)輸入具有重疊度的η幅序列航空/航天攝影影像，及其對應的定向參數(shù)文件，參數(shù)文件包括數(shù)碼傳感器的檢校參數(shù)文件、每幅影像的外方位元素文件或RPC參數(shù)文件(航空攝影影像為空中三角測量處理后得到的外方位元素文件，航天攝影影像為RPC參數(shù)文件)、立體像對的空中三角測量處理后的相對定向像點坐標文件(用以自動計算測區(qū)的最大、最低高程，此文件不是必須使用)；
[0032](2)將輸入的序列影像，按t*t分塊裁剪并存儲(t為兩位整數(shù)，如t取10，則每幅影像被裁剪成100塊小塊影像)，存儲時，各分塊影像文件名的命名規(guī)則為:原始影像文件名兩位字符串表示的分塊行數(shù)+兩位字符串表示的分塊列數(shù)(如第I行第9列處的小塊影像，其名稱為原始影像文件名_0109)；
[0033](3)確定一幅基準影像Ici和η-1幅搜索影像SpSi'…、Sn_1;并根據(jù)影像間的重疊度，確定基準影像上的待匹配區(qū)域范圍的左上角和右下角的行列號；
[0034]若原始影像的寬度為Width、高度為Height (單位像素)，影像間的重疊度為p%，則基準影像上的待匹配區(qū)域的左上角行列號(Ru CTJ、右下角行列號(Rbk，Cbe)按下式計算:
【權(quán)利要求】
1.基于影像點云的大范圍虛擬地理場景自動構(gòu)建方法，其特征在于包括如下步驟: 步驟一，輸入序列航空或航天攝影影像，及其對應的定向參數(shù)文件，進行影像分塊裁剪存儲、確定多視影像匹配的基準影像、搜索影像和待匹配區(qū)域的預處理工作； 步驟二，采用附加物方信息約束和雙向一致性驗證的多視影像匹配方法，獲取基準影像上待匹配區(qū)域內(nèi)所有像素在搜索影像上的同名像點； 步驟三，根據(jù)多像光束法平差，計算待匹配像素對應地物點的三維坐標，再結(jié)合其RGB顏色信息，并按照一定的數(shù)據(jù)結(jié)構(gòu)，生成表達待匹配區(qū)域地理場景的三維影像點云。
2.根據(jù)權(quán)利要求1所述的基于影像點云的虛擬地理場景自動構(gòu)建方法，其特征在于，所述步驟一的具體過程為: (1)輸入具有重疊度的η幅序列航空或航天攝影影像，及其對應的定向參數(shù)文件； (2)將輸入的序列影像，按t*t分塊裁剪并存儲，其中t為兩位整數(shù)； (3)確定一幅基準影像Ici和η-1幅搜索影像S:、Sp…、Sn_1；并根據(jù)影像間的重疊度，確定基準影像上的待匹配區(qū)域范圍的左上角和右下角的行列號； (4)將待匹配區(qū)域進行m*m均勻格網(wǎng)劃分，以提高后續(xù)的多視影像匹配的效率。
3.根據(jù)權(quán)利要求1 所述的基于影像點云的虛擬地理場景自動構(gòu)建方法，其特征在于，所述步驟二的具體過程為: 對于基準影像上m*m均勻格網(wǎng)劃分的待匹配區(qū)域，依次取出每一塊待匹配區(qū)域，對此區(qū)域內(nèi)的每一個待匹配像素點并行進行如下的多視影像匹配過程: (1)根據(jù)待匹配區(qū)域的最大高程Zmax和最小高程Zmin，確定待匹配點在各幅搜索影像上的候選同名點搜索范圍； (2)在同名點搜索范圍內(nèi)，分別計算待匹配點和各幅搜索影像上的每個候選點的匹配測度P P…、Plri，取η-1個匹配測度的平均值作為每個候選同名點和待匹配點的多像匹配測度，并以最大多像匹配測度所對應的各個候選同名點作為待匹配點在各幅搜索影像上的同名像點； (3)對于每幅搜索影像上的同名像點，按照雙像立體影像匹配的方式，確定其在基準影像上的同名點，并將該同名點和原來的待匹配點進行比較，如果其列號之間的差值小于一定的閾值，則認為該幅搜索影像上的同名像點有效，并將該同名像點放入基準影像上待匹配點的同名像點集合；若待匹配點在各幅搜索影像上都沒有找到有效的同名像點，則該待匹配點為無效的點，其同名像點集合為空，并賦予其對應地物點的三維坐標為一個無效的值。
4.根據(jù)權(quán)利要求1所述的基于影像點云的虛擬地理場景自動構(gòu)建方法，其特征在于，所述步驟三的具體過程為: (1)對于待匹配區(qū)域內(nèi)的每一個有效的待匹配點，利用此待匹配點在基準影像上的行列數(shù)值、及其對應的同名點集合中的各個同名點在各自搜索影像上的行列數(shù)值，根據(jù)多像光束法平差，計算待匹配點對應地物點的三維空間坐標X、Y、Z ;再結(jié)合該待匹配點在基準影像上的RGB顏色信息，將此待匹配點從二維像素轉(zhuǎn)換成一個三維彩色點； (2)按照一定的數(shù)據(jù)結(jié)構(gòu)，將待匹配區(qū)域內(nèi)的所有三維彩色點組織成測區(qū)地理場景的二維影像點z?。
【文檔編號】G06T7/00GK103606151SQ201310573915
【公開日】2014年2月26日 申請日期:2013年11月15日 優(yōu)先權(quán)日:2013年11月15日
【發(fā)明者】張卡, 閭國年, 盛業(yè)華, 劉學軍 申請人:南京師范大學