一種融合附加信息的大場景三維重建方法
【專利摘要】一種融合附加信息的大場景三維重建方法，包括：提取所有圖像的SIFT點，進行圖像匹配，構建外極幾何圖，得到對應于所有三維場景點的軌跡；根據(jù)慣性測量單元信息或者指南針角度得到每幅圖像的初始攝像頭旋轉矩陣，迭代地搜尋外極幾何圖中當前可靠的連接邊，并利用這些邊進行全局優(yōu)化；初始化攝像頭的中心為對應圖像的GPS，根據(jù)圖像初始焦距信息，旋轉矩陣和攝像頭中心位置得到每幅圖像的初始投影矩陣，根據(jù)這些投影矩陣和三維場景點軌跡迭代地三角化和捆綁調(diào)整。本發(fā)明方法計算迅速，得到的三維場景合理可靠，對圖像誤匹配敏感度低，泛化性能強，對有序和無序圖像集都適用。
【專利說明】一種融合附加信息的大場景三維重建方法

【技術領域】
[0001]本發(fā)明涉及一種計算機視覺領域的三維重建方法，尤其是一種融合附加信息的大場景三維重建方法。

【背景技術】
[0002]融合附加信息輔助三維重建是計算機視覺的重要研究方向之一，其在三維地貌生成、古跡遺址數(shù)字文化遺產(chǎn)保存、三維街景城市導航等方面有著廣泛的應用。在三維重建的過程中，如何有效地融合含有噪聲的先驗信息對于是否可以快速魯棒地三維重建具有重要影響，現(xiàn)有方法中尚沒有一套完整思路算法來充分融合各種先驗信息輔助各種場景下的快速魯棒三維重建。
[0003]經(jīng)對現(xiàn)有技術的文獻檢索發(fā)現(xiàn)，Pollefeys等于2008年在《2008Internat1nalJournal of Computer Vis1n》(2008年的《計算機視覺》國際期刊)上發(fā)表的論文“Detailed real-time urban 3 d reconstruct1n from video”(基于視頻的精細實時城市3D重建)提出通過GPS、慣性測量單元等附加信息輔助實時三維重建。該方法計算準確，但是需要很高精度的GPS和慣性測量單元設備才能完成，這對于一般的無人機設備和街景車設備來講是不現(xiàn)實的。David J.Crandall等于2013年在《IEEE Transact1nson Pattern Analysis and Machine Intelligence)) (IEEE:模式分析與機器智能會刊)上發(fā)表的論文 “SfM with MRFs:Discrete_Continuous Optimizat1n for Large-ScaleStructure from Mot1n”(基于運動的大場景離散連續(xù)優(yōu)化)提出利用馬爾科夫隨機場與GPS附加信息來首先求解離散朝向和離散攝像頭位置，然后連續(xù)優(yōu)化場景。該方法具有較高的計算效率，但無法適用于無人機圖像，且該方法魯棒性不夠好，對誤匹配的三維場景點對應的軌跡過于敏感。


【發(fā)明內(nèi)容】

[0004]為了克服現(xiàn)有技術中存在的上述缺陷，本發(fā)明提出了一種融合附加信息的大場景三維重建方法，以實現(xiàn)大場景的快速魯棒三維重建。
[0005]本發(fā)明的融合附加信息的大場景三維重建方法，包括以下步驟:
[0006]步驟1，提取所有圖像的SIFT點，進行圖像匹配，構建外極幾何圖，得到對應于所有三維場景點的軌跡；
[0007]步驟2，根據(jù)慣性測量單元信息或者指南針角度得到每幅圖像初始攝像頭旋轉矩陣，迭代地搜尋所述外極幾何圖中可靠的連接邊，并利用所述可靠邊進行全局優(yōu)化；
[0008]步驟3，初始化攝像頭的中心為對應圖像的GPS，根據(jù)圖像初始焦距信息，旋轉矩陣和攝像頭中心位置得到每幅圖像的初始投影矩陣，根據(jù)這些投影矩陣和三維場景點的軌跡迭代地三角化和捆綁調(diào)整。
[0009]其中，所述附加信息包括拍攝圖像時與圖像同步存儲的GPS、慣性測量單元信息、指南針角度以及可交換圖像文件。
[0010]其中，所述步驟I進一步包括下列步驟:
[0011 ] 提取所有圖像的SIFT特征點，根據(jù)所述圖像SIFT特征點建立圖像語義樹，得到初始的匹配圖像對，然后再根據(jù)GPS去除距離較遠的圖像對，對剩余的圖像對進行特征匹配；
[0012]將圖像作為外極幾何圖的頂點，根據(jù)5點法求取兩幅圖像的極幾何關系，如果他們之間匹配特征點超過20個，這兩幅圖像之間有邊連接，以此得到外極幾何圖；
[0013]在由此得到的所述外極幾何圖上，構建場景對應的三維場景點軌跡。
[0014]其中，所述步驟2進一步包括下列步驟:
[0015]將全局坐標系與GPS坐標系設為一致，在這個全局坐標系下定義初始旋轉矩陣，根據(jù)步驟I中得到的所述外極幾何圖，每條邊定義一個殘差:

【權利要求】
1.一種融合附加信息的大場景三維重建方法，包括以下步驟: 步驟I，提取所有圖像的SIFT點，進行圖像匹配，構建外極幾何圖，得到對應于所有三維場景點的軌跡； 步驟2，根據(jù)慣性測量單元信息或者指南針角度得到每幅圖像初始攝像頭旋轉矩陣，迭代地搜尋所述外極幾何圖中可靠的連接邊，并利用所述可靠邊進行全局優(yōu)化； 步驟3，初始化攝像頭的中心為對應圖像的GPS，根據(jù)圖像初始焦距信息，旋轉矩陣和攝像頭中心位置得到每幅圖像的初始投影矩陣，根據(jù)這些投影矩陣和三維場景點的軌跡迭代地三角化和捆綁調(diào)整。
2.根據(jù)權利要求1所述的融合附加信息的大場景三維重建方法，其中所述附加信息包括拍攝圖像時與圖像同步存儲的GPS、慣性測量單元信息、指南針角度以及可交換圖像文件。
3.根據(jù)權利要求1所述的融合附加信息的大場景三維重建方法，其中所述步驟I進一步包括下列步驟: 提取所有圖像的SIFT特征點，根據(jù)所述圖像SIFT特征點建立圖像語義樹，得到初始的匹配圖像對，然后再根據(jù)GPS去除距離較遠的圖像對，對剩余的圖像對進行特征匹配； 將圖像作為外極幾何圖的頂點，根據(jù)5點法求取兩幅圖像的極幾何關系，如果他們之間匹配特征點超過20個，這兩幅圖像之間有邊連接，以此得到外極幾何圖； 在由此得到的所述外極幾何圖上，構建場景對應的三維場景點軌跡。
4.根據(jù)權利要求1所述的融合附加信息的大場景三維重建方法，其中所述步驟2進一步包括下列步驟: 將全局坐標系與GPS坐標系設為一致，在這個全局坐標系下定義初始旋轉矩陣，根據(jù)步驟I中得到的所述外極幾何圖，每條邊定義一個殘差:
eij =IlRij — rTRj IIf 其中，Rij表示兩幅圖像i與j之間的相對旋轉矩陣，Ri與&分別表示圖像i與圖像j的絕對旋轉矩陣，I 1*1 If表示矩陣的F范數(shù)，當殘差e小于閾值T時，認為該條邊是當前可靠邊；其中，T的計算方法如下:
其中，M表示外極幾何圖中邊的總數(shù)目，N表示圖像的總數(shù)目；ρ表示第P次迭代々是一個0-1函數(shù)，當在第P次迭代，外極幾何圖中的邊ij的殘差e u大于T時設為1，否則為O ; α為一個預設的閾值，初始值定為0.9 ； 迭代進行上述操作，每次都要重新確定哪些邊是當前可靠邊，然后優(yōu)化這些當前可靠邊獲取攝像頭旋轉矩陣，直到相鄰兩次迭代中當前可靠邊不再發(fā)生變化時迭代收斂。
5.根據(jù)權利要求4所述的融合附加信息的大場景三維重建方法，其中所述將全局坐標系與GPS坐標系設為一致的步驟為將全局坐標系與GPS坐標系均設為東-北-上分別表示x-y-z軸方向。
6.根據(jù)權利要求4所述的融合附加信息的大場景三維重建方法，其中在所述計算閾值T的步驟中，如果當前可靠邊不能覆蓋所有圖像時，需要增大α來滿足覆蓋約束。
7.根據(jù)權利要求1所述的融合附加信息的大場景三維重建方法，其中所述步驟3進一步包括下列步驟: 如下計算任意一幅圖像i的初始投影矩陣Pi:
其中，4表示圖像i的焦距，來源于圖像的可交換圖像文件信息，Ri是步驟2的結果，表示第i幅圖像的絕對旋轉矩陣，GPSi表示第i幅圖像的GPS坐標；根據(jù)投影矩陣和步驟I得到的三維場景點的軌跡集合，做三角化得到初始的三維點； 當三維點的平均重投影誤差大于閾值H時，認為該三維點是當前可靠三維點；其中H的計算方式如下:
其中，K表示三維場景點對應的軌跡總數(shù)目；δ$Ρ)是一個0-1函數(shù)，當在第P次迭代中，第q個三維點的平均重投影誤差的殘差大于H時δ$)設為1，否則為0;β是一個設定的閾值，設為0.8 ; 對于錯誤投影點，采用Huber形式的重投影誤差函數(shù)，考慮到可交換圖像文件中的焦距可靠性，計算最小化的優(yōu)化函數(shù)如下:
其中:g(P，X)表示Huber函數(shù)形式重投影誤差函數(shù)；Vij表示第j個三維點是否在第i幅圖像中可見，可見設為1，不可見設為O ;N表示圖像的數(shù)目，K表示三維場景點對應的軌跡的數(shù)目表示二維圖像的坐標；Y (*)表示重投影函數(shù)，這里重投影時只考慮徑向畸變參數(shù)的中前兩個參數(shù)，分別對應二階項和四階項術丨1)表示在第1次迭代中，第j個三維點是不是當前可靠的三維點，如果是設為1，如果不是設為O 表示第1次迭代時第i幅圖像當前焦距，Gxifi表示第i圖像中可交換圖像文件中讀取出的焦距；以及 迭代進行上述步驟3:每次都要重新確定哪些三維場景點是當前可靠場景點，然后優(yōu)化這些當前可靠點獲取新的攝像頭投影矩陣，利用新的投影矩陣做下一次迭代的三角化操作；當相鄰兩次迭代中可靠場景點不再發(fā)生變化迭代收斂。
8.根據(jù)權利要求7所述的融合附加信息的大場景三維重建方法，其中在計算閾值H的步驟中，當所有三維場景點的軌跡的可見圖像所組成的集合不能覆蓋所有圖像時，增大β來滿足覆蓋約束。
9.根據(jù)權利要求7所述的融合附加信息的大場景三維重建方法，其中進一步包括下列步驟:將得到的所述數(shù)據(jù)最終三維點云和攝像頭姿態(tài)寫成vrml語言表示的形式。
【文檔編號】G06T17/00GK104200523SQ201410460622
【公開日】2014年12月10日 申請日期:2014年9月11日 優(yōu)先權日:2014年9月11日
【發(fā)明者】胡占義, 崔海楠, 申抒含, 高偉 申請人:中國科學院自動化研究所