一種無特征提取的緊致sfm三維重建方法
【專利摘要】本發(fā)明公開了一種無特征提取的緊致SFM三維重建方法，包括：輸入關于某場景的n幅圖像，n≥2；建立與某個相機坐標系相一致的世界坐標系；以三維場景的深度和相機投影矩陣作為變量，構造類似光流估計的目標函數(shù)，采用由粗到細的金字塔方法，設計迭代算法對目標函數(shù)進行優(yōu)化，輸出表示場景三維信息的深度和代表相機相對位姿信息的相機投影矩陣；根據(jù)表示場景三維信息的深度，實現(xiàn)緊致的射影、相似或者歐幾里德重建。本發(fā)明能夠一步完成緊致SFM三維重建。由于通過一步優(yōu)化實現(xiàn)緊致三維信息的估計，以目標函數(shù)值作為指標，能夠得到最優(yōu)解，至少是局部最優(yōu)解，比現(xiàn)有方法有很大改進，已初步得到實驗驗證。
【專利說明】一種無特征提取的緊致SFM三維重建方法
【技術領域】
[0001]本發(fā)明涉及圖像三維重建領域，更具體地，涉及一種無特征提取的緊致SFM三維
重建方法。
【背景技術】
[0002]基于計算機視覺的三維重建是指利用數(shù)碼相機或者攝像機獲取圖像，構建算法以估計所拍攝場景或者目標的三維信息，實現(xiàn)表達三維客觀世界的目的，其應用范圍包括機器人導航、汽車自動或者輔助駕駛、虛擬現(xiàn)實、數(shù)字媒體創(chuàng)作、計算機動畫、基于圖像的繪制(image-based rendering)和文化遺產(chǎn)的保存等。
[0003]基于運動的建模(Structure from Motion, SFM)是目前常用的一種三維重建方法，即從兩幅、多幅圖像或者視頻估計場景或者目標的三維信息。已有實現(xiàn)SFM三維重建的技術手段有以下特點:基于特 征點的、稀疏的和分兩步完成。已有SFM三維重建分兩步完成:首先從圖像檢測并匹配具有尺度或者仿射等不變性(invariance)的特征點，包括Harris 特征點、Kanade-Lukas-Tomasi (KLT)特征和 Lowe 尺度不變特征(scale invariantfeature transform, SIFT),然后估計所檢測特征量的三維信息和相機的姿態(tài)(包括位置和角度)。
[0004]已有的SFM三維重建算法分為兩步完成，不能真正達到最優(yōu)化效果。由于從圖像中檢測到特征點的二維坐標有誤差，在其基礎上即使采用優(yōu)化算法重建其三維信息，也無法獲得全局意義上的優(yōu)化結果。由于特征點的匹配精度通常比較低，因此不可避免的造成低精度的三維重建。
[0005]三維重建效果是稀疏的(sparse);由于只對所提取特征點估計其三維信息，不能實現(xiàn)緊致的(dense)三維重建，即不能估計出所有像素點的三維信息。對于30萬像素的480*640圖像，在保證一定正確匹配率的前提下，通常只能檢測到200~300個甚至更少的特征點，相對于30萬像素的圖像來說，特征點是非常稀疏的，絕大部分像素都沒有直接估計其三維信息。雖然可以進一步在特征點基礎上，利用估計出的極線約束(epipolarconstraint)等技術手段進一步估計其它點的三維信息，實現(xiàn)緊致或者半緊致(quasidense)重建，但是由于所估計的特征點的三維信息和相機姿態(tài)存在一定的誤差，影響后續(xù)其它點的三維估計效果。

【發(fā)明內容】

[0006]為了克服現(xiàn)有技術的不足，本發(fā)明提出一種無特征提取的緊致SFM三維重建方法。采用該SFM三維重建方法，不需要特征點檢測及匹配，采用一步優(yōu)化即可實現(xiàn)緊致三維重建。
[0007]為了實現(xiàn)上述目的，本發(fā)明的技術方案為:
[0008]一種無特征提取的緊致SFM三維重建方法，包括以下步驟:
[0009]S1.輸入關于某場景的η幅圖像，η≥2 ;[0010]S2.建立與某個相機坐標系相一致的世界坐標系，設世界坐標系與第一相機的坐標系相一致，即世界坐標系的原點、X軸和I軸與第一相機的相機中心、第一相機成像平面的X軸和I軸重合，其Z軸垂直指向第一相機的成像平面；
[0011]S3.以三維場景的深度和相機投影矩陣作為變量，所述三維場景的深度是指第I幅圖像像素點對應的三維空間點具有的深度q;所述相機投影矩陣是指其它(η-l)幅圖像的3 X 4相機投影矩陣Pi, 2≤i≤η ;
[0012]S4.構造類似光流估計的目標函數(shù)，所述目標函數(shù)是連續(xù)域上的變分目標函數(shù)或其離散形式的目標函數(shù)；
[0013]S5.采用由粗到細的金字塔方法，在連續(xù)域或者離散域上設計迭代算法對目標函數(shù)進行優(yōu)化，輸出表示場景三維信息的深度和代表相機相對位姿信息的相機投影矩陣；
[0014]S6.根據(jù)表示場景三維信息的深度，實現(xiàn)緊致的射影、相似或者歐幾里德重建。
[0015]該方法能夠一步完成SFM三維重建，由于通過一步優(yōu)化實現(xiàn)三維信息的估計，以目標函數(shù)值作為指標，能夠得到最優(yōu)解，至少是局部最優(yōu)解，比已有方法有很大改進，且已初步得到實驗驗證。
[0016]上述的相機是指某幅圖像對應的相機，在本發(fā)明中，關于場景的第一幅圖像對應的相機是第一相機，第一相機的坐標系與世界坐標系相一致；各幅圖像均對應一個3X4相機投影矩陣。 [0017]在本發(fā)明中采用該類方式建立世界坐標系是為了計算方便，在實際中，可以任意建立世界坐標系，如果任意建立坐標系，則待估計的參數(shù)包括η個相機投影矩陣，刻畫每個三維點需要三個坐標參數(shù)。在本發(fā)明雖然沒有給出這種方案的技術細節(jié)，但是任意建立世界坐標系的方案與上述建立世界坐標系的方案基本原理一樣。
[0018]為了實現(xiàn)射影三維重建，則首先要進行參數(shù)化設定，即在實現(xiàn)射影三維重建中，參數(shù)化具體為:在建立世界坐標系的同時，其第一相機的相機投影矩陣為[I3 O] e R3’4，其中I3是一個3 X 3的單位陣，O是一個3 X I的零向量；其它相機投影矩陣Pi e R3’4，2≤i≤n，作為待估計的未知參數(shù)；場景的三維結構由定義在第一副圖像上的三維場景的深度決定:假設與第一幅圖像像素(x，y)相對應的三維空間點的三維場景的深度為qx,y，則該三維點的三維坐標為
[0019](qx,yXx，qx，yXy, qx，y) (I)
[0020]在射影三維重建中，相機投影矩陣Pi和三維場景的深度qx，y作為待估計的未定參數(shù)，為了表達式的簡練，在不造成誤解的情況下，省略下標X，y。
[0021]實現(xiàn)連續(xù)域上射影三維重建的具體實現(xiàn)過程為:
[0022]構造的連續(xù)域上的目標函數(shù)具體為:
[0023]f (P2，...，Pn，Q) fdata+f smooth—uv+f smooth—depth ( 2 )
[0024]其中
【權利要求】
1.一種無特征提取的緊致SFM三維重建方法，其特征在于，包括以下步驟: S1.輸入關于某場景的η幅圖像，η≥2; S2.建立與某個相機坐標系相一致的世界坐標系，設世界坐標系與第一相機的坐標系相一致，即世界坐標系的原點、X軸和y軸與第一相機的相機中心、第一相機成像平面的X軸和I軸重合，其z軸垂直指向第一相機的成像平面； S3.以三維場景的深度和相機投影矩陣作為變量，所述三維場景的深度是指第I幅圖像像素點對應的三維空間點具有的深度q;所述相機投影矩陣是指其它(η-l)幅圖像的3 X 4相機投影矩陣Pi, 2≤i≤η ; S4.構造類似光流估計的目標函數(shù)，所述目標函數(shù)是連續(xù)域上的變分目標函數(shù)或其離散形式的目標函數(shù)； S5.采用由粗到細的金字塔方法，在連續(xù)域或者離散域上設計迭代算法對目標函數(shù)進行優(yōu)化，輸出表示場景三維信息的深度和代表相機相對位姿信息的相機投影矩陣； S6.根據(jù)表示場景三維信息的深度，實現(xiàn)緊致的射影、相似或者歐幾里德重建。
2.根據(jù)權利要求1所述的無特征提取的緊致SFM三維重建方法，其特征在于，在實現(xiàn)射影三維重建中，參數(shù)化具體為:在建立世界坐標系的同時，其第一相機的相機投影矩陣為[I3 O] e R3’4，其中I3是一個3X3的單位陣，O是一個3X1的零向量；其它相機投影矩陣Pi e R3'4,2 ^ i ( n，作為待估計的未知參數(shù)；場景的三維結構由定義在第一副圖像上的三維場景的深度決定:假設與第一幅圖像像素(x，y)相對應的三維空間點的三維場景的深度為qx，y，則該三維點的三維坐標為
(qx；yXx, qx；yXy, qx；y) (I) 在射影三維重建中，相機投影矩陣Pi和三維場景的深度qx，y作為待估計的未定參數(shù)，為了表達式的簡練，在不造成誤解的情況下，省略下標X，I。
3.根據(jù)權利要求2所述的無特征提取的緊致SFM三維重建方法，其特征在于，實現(xiàn)連續(xù)域上射影三維重建的具體實現(xiàn)過程為: 構造的連續(xù)域上的目標函數(shù)具體為:
4.根據(jù)權利要求3所述的無特征提取的緊致SFM三維重建方法，其特征在于，目標函數(shù)(2)中的數(shù)據(jù)項和偏移平滑項能夠采用其它類似的變化形式:
5.根據(jù)權利要求2所述的無特征提取的緊致SFM三維重建方法，其特征在于，構造離散形式的目標函數(shù)具體為:
6.根據(jù)權利要求1所述的無特征提取的緊致SFM三維重建方法，其特征在于，由粗到細的金字塔方法步驟具體為:計算圖像的η層金字塔表示；在最粗圖像層，初始化η-l個相機投影矩陣為Pi= [I3 0]，2 Si Sn，所有點的三維場景的深度初始化為I;由粗到細依次估計相機投影矩陣和三維場景的深度，并且對相機投影矩陣和三維場景的深度分別修正和插值，以此作為下一精細圖像層迭代過程的初始值； 關于不同精度層之間三維場景的深度的插值，采用雙線性插值或雙三次插值方法實現(xiàn)；關于不同精度層之間相機投影矩陣的修正，設相鄰兩級精度的圖像在X和I方向的像素比為S1和s2，Sl，S2 < 1，在較低精度圖像層估計得到某個相機的相機投影矩陣為p(k+1)，其中上標(k+Ι)代表圖像金字塔結構的第k+Ι層，那么對應第k層圖像的相機投影矩陣為
7.根據(jù)權利要求2或6所述的無特征提取的緊致SFM三維重建方法，其特征在于，實現(xiàn)相似三維重建或者歐幾里德三維重建的具體過程為: 參數(shù)化具體為:相機投影矩陣由相機內部參數(shù)和相機外部參數(shù)描述: P = K[R t]



其中相機內部參數(shù)αχ、ay、s、Pj^PPy包含在3X3矩陣
8.根據(jù)權利要求6所述的無特征提取的緊致SFM三維重建方法，其特征在于，所述無特征提取的緊致SFM三維重建方法還能夠推廣到大基線情形，具體步驟為:在射影幾何中，大基線情形是指相機之間的相對運動比較大，造成圖像之間有顯著的區(qū)別，在大基線情形中，具體來說，SFM三維重建分為三步: 第一步，從圖像提取特征并匹配，提取的特征為=Harris特征、SIFT特征或KLT特征； 第二步，在所提取特征的基礎上，估計特征點的三維信息和相機投影矩陣； 第三步，在前面兩步的基礎上，利用算法3實現(xiàn)緊致SFM三維重建； 其中，以第二步估計得到的相機投影矩陣作為第三步的相機投影矩陣初始值，對第二步估計得到的三維場景的深度進行插值，作為第三步的三維場景的深度初始值。
【文檔編號】G06T17/00GK103914874SQ201410139234
【公開日】2014年7月9日 申請日期:2014年4月8日 優(yōu)先權日:2014年4月8日
【發(fā)明者】陳佩 申請人:中山大學