基于射線模型三維重構(gòu)的圖像定位方法以及裝置的制造方法
【專利摘要】本發(fā)明公開了一種基于射線模型三維重構(gòu)的圖像定位方法及裝置，其中方法包括：預(yù)先采集多個(gè)場景的多個(gè)圖像，并分別對這些圖像進(jìn)行特征提取以得到多個(gè)特征點(diǎn)集合；對該多個(gè)圖像進(jìn)行兩兩圖像的特征匹配，并根據(jù)這些特征匹配生成對應(yīng)的本征矩陣，并對其進(jìn)行噪聲處理；基于射線模型根據(jù)噪聲處理后的特征匹配以及本征矩陣進(jìn)行三維重構(gòu)以生成三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合；獲取查詢圖像，并對其進(jìn)行特征提取以得到對應(yīng)的二維特征點(diǎn)集合；基于定位姿態(tài)圖優(yōu)化框架根據(jù)二維特征點(diǎn)集合、三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合進(jìn)行圖像定位。該方法提高重構(gòu)效果，降低重構(gòu)過程的采集成本，提高計(jì)算速度，并在圖像定位過程中，提高圖像定位的精度。
【專利說明】
基于射線模型三維重構(gòu)的圖像定位方法以及裝置
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像處理及模式識別技術(shù)領(lǐng)域，尤其涉及一種基于射線模型三維重構(gòu) 的圖像定位方法以及裝置。
【背景技術(shù)】
[0002] 圖像定位技術(shù)是通過一張或一組圖像，計(jì)算得到自身的位姿。該項(xiàng)技術(shù)可以用于 機(jī)器人導(dǎo)航、路徑規(guī)劃、數(shù)字旅游、虛擬現(xiàn)實(shí)等，能夠適用于GPS(Global Positioning System，全球定位系統(tǒng))無法工作的區(qū)域，如室內(nèi)和地下等。相比基于藍(lán)牙、WiFi (Wireless Fidel ity，無線保真）的定位技術(shù)，圖像定位技術(shù)不依賴于專業(yè)設(shè)備，實(shí)施成本低。
[0003] 相關(guān)技術(shù)中，基于圖像定位的方法主要有兩類:一類是基于圖像檢索的方法，此類 方法尋找查詢圖像在數(shù)據(jù)庫中的近鄰圖像，以其位置作為自身位置;另一類是基于三維重 構(gòu)結(jié)合圖像-點(diǎn)云(2D-3D)匹配的方法，這類方法首先預(yù)先采集大量關(guān)于目標(biāo)場景的平面圖 像，離線進(jìn)行三維重構(gòu)，得到場景的三維特征點(diǎn)云，并當(dāng)在線定位階段時(shí)，提取查詢圖像特 征，并將其與三維特征點(diǎn)云進(jìn)行2D-3D匹配，利用匹配結(jié)果估計(jì)目標(biāo)攝像機(jī)的位姿。
[0004] 但是存在的問題是:針對上述圖像檢索方法，由于沒有更充分的利用三維信息，只 能適用于查詢圖像與庫圖像姿態(tài)差異較小的情況，其定位精度不優(yōu)于庫圖像本身的位置精 度和采樣間隔;相比圖像檢索方法，上述第二類方法雖然能夠得到精度更高的定位結(jié)果，但 是，其三維重構(gòu)算法只能用于平面攝像機(jī)，受限于平面攝像機(jī)較小的視場，通常需要對同一 位置變換多個(gè)角度進(jìn)行拍攝，得到數(shù)量較大的平面圖像集合進(jìn)行三維重建，重構(gòu)代價(jià)較高， 如采集量大、計(jì)算量大等。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明的目的旨在至少在一定程度上解決上述的技術(shù)問題之一。
[0006] 為此，本發(fā)明的第一個(gè)目的在于提出一種基于射線模型三維重構(gòu)的圖像定位方 法。該方法提高了重構(gòu)效果，降低了重構(gòu)過程的采集成本，提高了計(jì)算速度，并在圖像定位 過程中，提高圖像定位的精度。
[0007] 本發(fā)明的第二個(gè)目的在于提出一種基于射線模型三維重構(gòu)的圖像定位裝置。
[0008] 為了實(shí)現(xiàn)上述目的，本發(fā)明第一方面實(shí)施例的基于射線模型三維重構(gòu)的圖像定位 方法，包括以下步驟:預(yù)先采集多個(gè)場景的多個(gè)圖像，并分別對所述多個(gè)圖像進(jìn)行特征提取 以得到對應(yīng)的多個(gè)特征點(diǎn)集合;對所述多個(gè)圖像進(jìn)行兩兩圖像的特征匹配，并根據(jù)所述兩 兩圖像的特征匹配生成對應(yīng)的本征矩陣，并對所述本征矩陣進(jìn)行噪聲處理;基于射線模型 根據(jù)噪聲處理后的所述特征匹配以及本征矩陣進(jìn)行三維重構(gòu)以生成三維特征點(diǎn)云以及重 構(gòu)的攝像機(jī)位姿集合;獲取查詢圖像，并對所述查詢圖像進(jìn)行特征提取以得到對應(yīng)的二維 特征點(diǎn)集合；以及基于定位姿態(tài)圖優(yōu)化框架根據(jù)所述二維特征點(diǎn)集合、所述三維特征點(diǎn)云 以及重構(gòu)的攝像機(jī)位姿集合進(jìn)行圖像定位。
[0009] 根據(jù)本發(fā)明實(shí)施例的基于射線模型三維重構(gòu)的圖像定位方法，在基于射線模型的 三維重構(gòu)過程中，通過使用三維射線描述二維像素坐標(biāo)，射線模型能夠無畸變地表達(dá)多種 攝像機(jī)模型（如全景、魚眼、平面），即能夠適用于多種類型的攝像機(jī)，并充分利用其內(nèi)在的 幾何性質(zhì)，使得重構(gòu)效果更好，且降低了采集成本，提高了計(jì)算速度，并且在圖像定位過程 中，提出的基于姿態(tài)圖優(yōu)化的定位框架，融合了圖像點(diǎn)云之間的2D-3D特征匹配和近鄰攝像 機(jī)的位姿信息，提高了圖像定位的精度。
[0010]為了實(shí)現(xiàn)上述目的，本發(fā)明第二方面實(shí)施例的基于射線模型三維重構(gòu)的圖像定位 裝置，包括:第一獲取模塊，用于預(yù)先采集多個(gè)場景的多個(gè)圖像，并分別對所述多個(gè)圖像進(jìn) 行特征提取以得到對應(yīng)的多個(gè)特征點(diǎn)；生成模塊，用于對所述多個(gè)圖像進(jìn)行兩兩圖像的特 征匹配，并根據(jù)所述兩兩圖像的特征匹配生成對應(yīng)的本征矩陣，并對所述本征矩陣進(jìn)行噪 聲處理；重構(gòu)模塊，用于基于射線模型根據(jù)噪聲處理后的所述本征矩陣進(jìn)行三維重構(gòu)以生 成三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合;第二獲取模塊，用于獲取查詢圖像，并對所述 查詢圖像進(jìn)行特征提取以得到對應(yīng)的二維特征點(diǎn)集合；以及圖像定位模塊，用于基于定位 姿態(tài)圖優(yōu)化框架根據(jù)所述二維特征點(diǎn)集合、所述三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合 進(jìn)行圖像定位。
[0011]根據(jù)本發(fā)明實(shí)施例的基于射線模型三維重構(gòu)的圖像定位裝置，在基于射線模型的 三維重構(gòu)過程中，通過使用三維射線描述二維像素坐標(biāo)，射線模型能夠無畸變地表達(dá)多種 攝像機(jī)模型（如全景、魚眼、平面），即能夠適用于多種類型的攝像機(jī)，并充分利用其內(nèi)在的 幾何性質(zhì)，使得重構(gòu)效果更好，且降低了采集成本，提高了計(jì)算速度，并且在圖像定位過程 中，提出的基于姿態(tài)圖優(yōu)化的定位框架，融合了圖像點(diǎn)云之間的2D-3D特征匹配和近鄰攝像 機(jī)的位姿信息，提高了圖像定位的精度。
[0012] 本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變 得明顯，或通過本發(fā)明的實(shí)踐了解到。
【附圖說明】
[0013] 本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對實(shí)施例的描述中將變得 明顯和容易理解，其中，
[0014]圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于射線模型三維重構(gòu)的圖像定位方法的流程 圖；
[0015] 圖2是根據(jù)本發(fā)明實(shí)施例的生成三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合的流程 圖；
[0016] 圖3是根據(jù)本發(fā)明實(shí)施例的圖像定位的具體實(shí)現(xiàn)過程的流程圖；
[0017] 圖4是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于射線模型三維重構(gòu)的圖像定位方法的示例 圖；
[0018] 圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于射線模型三維重構(gòu)的圖像定位裝置的結(jié)構(gòu)框 圖；
[0019] 圖6是根據(jù)本發(fā)明一個(gè)實(shí)施例的重構(gòu)模塊的結(jié)構(gòu)框圖；
[0020]圖7是根據(jù)本發(fā)明另一個(gè)實(shí)施例的重構(gòu)模塊的結(jié)構(gòu)框圖；以及
[0021]圖8是根據(jù)本發(fā)明一個(gè)實(shí)施例的圖像定位模塊的結(jié)構(gòu)框圖。
【具體實(shí)施方式】
[0022] 下面詳細(xì)描述本發(fā)明的實(shí)施例，所述實(shí)施例的示例在附圖中示出，其中自始至終 相同或類似的標(biāo)號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附 圖描述的實(shí)施例是示例性的，旨在用于解釋本發(fā)明，而不能理解為對本發(fā)明的限制。
[0023] 下面參考附圖描述根據(jù)本發(fā)明實(shí)施例的基于射線模型三維重構(gòu)的圖像定位方法 以及裝置。
[0024] 圖1是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于射線模型三維重構(gòu)的圖像定位方法的流程 圖。如圖1所示，該基于射線模型三維重構(gòu)的圖像定位方法可以包括：
[0025] SlOl，預(yù)先采集多個(gè)場景的多個(gè)圖像，并分別對多個(gè)圖像進(jìn)行特征提取以得到對 應(yīng)的多個(gè)特征點(diǎn)集合。
[0026] 其中，在本發(fā)明的實(shí)施例中，術(shù)語"多個(gè)"可進(jìn)行廣義理解，即對應(yīng)足夠多的數(shù)量。 此外，在本發(fā)明的實(shí)施例中，圖像的類型可包括但不限于全景類型、魚眼類型和平面類型 等。
[0027] 具體地，可預(yù)先采集足夠的場景圖像作為本實(shí)施例所提到的圖像，并分別對這些 圖像提取SIFT (Scale-invariant feature transform，尺度不變特征變換)特征，得到每個(gè) 特征點(diǎn)的位置以及描述子集合，其中該描述子集合用于描述對應(yīng)的特征點(diǎn)的周圍區(qū)域信 息。
[0028] S102,對多個(gè)圖像進(jìn)行兩兩圖像的特征匹配，并根據(jù)兩兩圖像的特征匹配生成對 應(yīng)的本征矩陣，并對本征矩陣進(jìn)行噪聲處理。
[0029] 具體而言，在本發(fā)明的實(shí)施例中，可先根據(jù)多個(gè)特征點(diǎn)集合對多個(gè)圖像進(jìn)行兩兩 匹配，并存儲每個(gè)圖像對的特征點(diǎn)匹配情況。之后，可基于匹配上的特征點(diǎn)集合估計(jì)本征矩 陣。
[0030] 更具體地，可根據(jù)特征點(diǎn)的描述子集合對所有圖像進(jìn)行兩兩匹配，并儲存每個(gè)圖 像對的特征點(diǎn)匹配情況，然后，可基于匹配上的特征點(diǎn)估計(jì)本征矩陣，并同時(shí)對該本征矩陣 進(jìn)行過濾噪聲?？梢岳斫?，在本發(fā)明的實(shí)施例中，若將上述兩兩匹配的特征點(diǎn)組織起來，則 可形成多條軌跡，其中，每條軌跡對應(yīng)于將被重構(gòu)的一個(gè)3D(三維）點(diǎn)。
[0031] S103,基于射線模型根據(jù)噪聲處理后的特征匹配以及本征矩陣進(jìn)行三維重構(gòu)以生 成三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合。
[0032] 可以理解，相較于傳統(tǒng)的基于像素的平面模型，本發(fā)明通過射線模型能夠適應(yīng)不 同的攝像機(jī)類型(如全景類型、魚眼類型、平面類型等），并將其統(tǒng)一起來。
[0033] 具體地，可先構(gòu)建姿態(tài)圖，其中，該姿態(tài)圖可包含攝像機(jī)借點(diǎn)、三維(3D)點(diǎn)節(jié)點(diǎn)、攝 像機(jī)-攝像機(jī)連接邊、攝像機(jī)-3D點(diǎn)連接邊等，這些可共同用于描述攝像機(jī)集合與3D點(diǎn)集合 之間的可視性關(guān)系。之后，可基于射線模型的增量式重構(gòu)，即：可先選擇相對姿態(tài)估計(jì)質(zhì)量 較高的一對攝像機(jī)作為初始種子，利用基于射線模型的三角測量(triangulation)尋找新 的樣本3D點(diǎn)，之后可利用新的樣本3D點(diǎn)基于射線模型尋找更多的攝像機(jī)，不斷迭代并去噪 優(yōu)化，直至尋找不到更多的攝像機(jī)或者3D點(diǎn)。
[0034]具體而言，在本發(fā)明的一個(gè)實(shí)施例中，如圖2所示，基于射線模型根據(jù)噪聲處理后 的特征匹配以及本征矩陣進(jìn)行三維重構(gòu)以生成三維特征點(diǎn)云以及攝像機(jī)位姿集合的具體 實(shí)現(xiàn)過程可包括以下步驟：
[0035] S201，對噪聲處理后的本征矩陣進(jìn)行分解以得到對應(yīng)的多個(gè)攝像機(jī)之間的相對姿 ??τ O
[0036] S202,根據(jù)多個(gè)攝像機(jī)之間的相對姿態(tài)和多個(gè)特征點(diǎn)構(gòu)建對應(yīng)的姿態(tài)圖。
[0037] 具體地，可通過預(yù)設(shè)的姿態(tài)圖創(chuàng)建公式根據(jù)多個(gè)攝像機(jī)之間的相對姿態(tài)和多個(gè)特 征點(diǎn)構(gòu)建對應(yīng)的姿態(tài)圖。其中，在本發(fā)明的實(shí)施例中，預(yù)設(shè)的姿態(tài)圖創(chuàng)建公式可為：
[0038] G=(NP，NX，EP，EX) (1)
[0039] 其中，NP為攝像機(jī)節(jié)點(diǎn)，NX為特征點(diǎn)（即樣本3D點(diǎn)）節(jié)點(diǎn)，EP為攝像機(jī)-攝像機(jī)連接 邊，邊上附有攝像機(jī)i和k之間的相對位置姿態(tài)屬性，該屬性可包括相對旋轉(zhuǎn)R lk和相對平移 方向Cik，即EPreIpcise(Lk) = (RihCik);EX為攝像機(jī)-特征點(diǎn)連接邊，該邊上附有該攝像機(jī)觀 測到的特征點(diǎn)坐標(biāo)EXcjx = Xi j;根據(jù)該姿態(tài)圖可以定義可視性函數(shù)Vi sX(Xj，Ps)和Vi sP (Pi， Xs)，其中Vi sX (Xj，Ps) = {i : (i，j) e EX，i e Ps}意為給定特征點(diǎn)Xj和攝像機(jī)集合Ps的條件下， 返回Ps中觀測到Xj的攝像機(jī)集合;Vi sP(Pi，Xs) = {j : (i，j) e EX，j e Xs}意為給定特征點(diǎn)集合 Xs和攝像機(jī)^的條件下，返回Xs中被P 1觀測到的特征點(diǎn)集合。
[0040] S203,分別獲取多個(gè)攝像機(jī)的模型，并分別根據(jù)多個(gè)攝像機(jī)的模型定義對應(yīng)的射 線模型。
[0041] 具體地，可先獲取攝像機(jī)的模型，如全景模型、魚眼模型、平面模型等，之后可根據(jù) 不同的攝像機(jī)的模型分別定義對應(yīng)的射線模型。需要說明的是，射線模型是基于每條射線r 可以用原點(diǎn)和單位球上的另一個(gè)點(diǎn)X (X，y，Z)，x2+y2+z2 = 1所定義的，該射線與圖像坐標(biāo)u (u，v)通過映射函數(shù)--對應(yīng);映射函數(shù)k可定義為x = k(u，K) ,U = IT1(Xj)，其中K為攝像機(jī)
的內(nèi)參;對于不同的攝像機(jī)模型，其映射函數(shù)各自不同，其中，對于全景攝像機(jī)、魚眼攝像 機(jī)、平面攝像機(jī)所對應(yīng)的映射函數(shù)可分別由如下式（2 M 4)描沭：
[0042]
[0043]
[0044]
[0045]
[0046]
[0047]
[0048]
[0049]
[0050]
[0051]其中，式（2)-(4)中Uc為攝像機(jī)主點(diǎn)坐標(biāo)，f為焦距，特別的對于全景攝像機(jī)
為繞y軸的旋轉(zhuǎn)角度，t為繞X軸的俯仰角度，m、Vl、Φ、θ、 Γ均為臨時(shí)變 量。
[0052] S204,基于對應(yīng)的射線模型對姿態(tài)圖進(jìn)行增量式重構(gòu)以生成三維特征點(diǎn)云以及重 構(gòu)的攝像機(jī)位姿集合。
[0053] 具體地，可先選擇多個(gè)攝像機(jī)之間的相對姿態(tài)估計(jì)質(zhì)量較高的一對攝像機(jī)作為初 始種子，之后可利用基于對應(yīng)的射線模型的三角測量(triangulation)尋找新的3D點(diǎn)，而后 利用新的3D點(diǎn)基于該射線模型尋找更多的攝像機(jī)，不斷迭代，直至尋找不到更多的攝像機(jī) 或者3D點(diǎn)；其中，在該過程可不斷實(shí)施非線性優(yōu)化，以用于減小三維重構(gòu)的誤差；同時(shí)使用 質(zhì)量評價(jià)函數(shù)剔除質(zhì)量不高的攝像機(jī)和3D點(diǎn)。需要說明的是，在該過程中的距離度量、三角 測量、攝像機(jī)姿態(tài)估計(jì)、非線性優(yōu)化、質(zhì)量評價(jià)函數(shù)等模塊都是針對射線模型所改進(jìn)的，相 比傳統(tǒng)的僅適用平面圖像的重構(gòu)算法，具有更廣泛的普適性。
[0054]由此，在基于射線模型的三維重構(gòu)算法中，通過使用三維射線描述二維像素坐標(biāo)， 射線模型能夠無畸變地表達(dá)多種攝像機(jī)模型（如全景、魚眼、平面等），，即適用于多種類型 的攝像機(jī)，擴(kuò)大了適用范圍。
[0055]進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，在生成三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位 姿集合之后，該圖像定位方法還可包括:建立三維特征點(diǎn)云中每個(gè)三維特征點(diǎn)云的索引樹， 并針對重構(gòu)的攝像機(jī)位姿集合中多個(gè)攝像頭建立空間位置的索引樹。具體地，在三維重構(gòu) 完成之后，可建立點(diǎn)云特征與攝像機(jī)位置索引樹，其中可以理解，三維特征點(diǎn)云中的每個(gè)點(diǎn) 都附帶若干特征，這些特征來自于觀測到該點(diǎn)的圖像;在后續(xù)在線定位階段中，需要建立查 詢圖像的特征與該特征點(diǎn)云的匹配，以實(shí)現(xiàn)圖像定位;為了加速匹配過程，本發(fā)明對特征點(diǎn) 云建立Kd-tree索引樹，以加快檢索速度;此外，由于在線定位階段需要檢索查詢圖像的空 間近鄰，所以本發(fā)明又對重構(gòu)出的攝像機(jī)建立空間位置的Kchtree索引樹。
[0056]需要說明的是，在本發(fā)明的實(shí)施例中，上述步驟S101-S103均可為離線分析。也就 是說，通過上述步驟S101-S103可以預(yù)先建立圖像庫，并根據(jù)該圖像庫預(yù)先生成對應(yīng)的三維 特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合，并存儲，以供后續(xù)在線圖像定位階段的使用。
[0057] S104，獲取查詢圖像，并對查詢圖像進(jìn)行特征提取以得到對應(yīng)的二維特征點(diǎn)集合。
[0058]具體地，可對獲取到的查詢圖像提取特征，得到該查詢圖像的二維特征點(diǎn)集合。需 要說明的是，每一個(gè)二維特征點(diǎn)對應(yīng)一個(gè)特征描述子，而3D特征點(diǎn)云中每個(gè)3D點(diǎn)對應(yīng)多個(gè) 特征描述子，這些描述子可由三維重構(gòu)階段多張圖像所貢獻(xiàn)。
[0059] S105,基于定位姿態(tài)圖優(yōu)化框架根據(jù)二維特征點(diǎn)集合、三維特征點(diǎn)云以及重構(gòu)的 攝像機(jī)位姿集合進(jìn)行圖像定位。
[0060] 具體地，可將查詢圖像的特征與離線部分生成的3D點(diǎn)云的特征進(jìn)行匹配（即2D-3D 匹配），依據(jù)足夠數(shù)量的有效匹配，利用攝像機(jī)姿態(tài)估計(jì)算法估計(jì)查詢圖像的初始位姿，之 后，可根據(jù)該初始位姿查詢近鄰庫攝像機(jī)（即近鄰圖像），并融合2D-3D匹配和與近鄰圖像之 間的相對姿態(tài)建立定位姿態(tài)圖優(yōu)化框架并進(jìn)行優(yōu)化以得到更高精度的定位結(jié)果。
[0061] 具體而言，在本發(fā)明的一個(gè)實(shí)施例中，如圖3所示，基于定位姿態(tài)圖優(yōu)化框架根據(jù) 二維特征點(diǎn)集合、三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合進(jìn)行圖像定位的具體實(shí)現(xiàn)過程 可包括以下步驟：
[0062] S301，根據(jù)多個(gè)三維特征點(diǎn)云的索引樹將二維特征點(diǎn)集合與三維特征點(diǎn)云進(jìn)行有 效匹配以得到雙向2D-3D匹配集合。
[0063] 具體地，可先對某一個(gè)二維特征點(diǎn)Fi2%3D點(diǎn)云特征集合F3d中進(jìn)行k近鄰查詢（如k = 5)，如果k近鄰中來自不同3D點(diǎn)的最近鄰與次近鄰的比值小于某一閾值thmatch，則認(rèn)為二 維特征點(diǎn)與最近鄰3D點(diǎn)之間構(gòu)建了一個(gè)2D至3D的單向有效匹配，F(xiàn) 2d*所有此類匹配構(gòu)成了 一個(gè)2D至3D的單向有效匹配集合M2p3D(F 2D，F(xiàn)3D);其次對M2p3D(F2D，F(xiàn) 3D)中的每個(gè)3D點(diǎn)，反向 在查詢圖像的特征集合F2d中查詢近鄰和次近鄰.若最近鄰與次近鄰的比值小于閾值 th match，則認(rèn)為得到了一個(gè)有效的3D至2D的單向匹配，這些匹配構(gòu)成3D至2D的單項(xiàng)匹配集合 M20^3d ( F2d，F(xiàn)3d );這兩單向匹配集合M^3d ( F2d，F(xiàn)3d )和M20^3d ( F2d，F(xiàn)3d )的交集即為雙向2D-3D匹 配集合 M2D-3D(F2D，F(xiàn)3D)。
[0064] S302,通過攝像機(jī)姿態(tài)估計(jì)算法對雙向2D-3D匹配集合進(jìn)行估計(jì)以生成查詢圖像 的初始位姿。
[0065] 具體地，基于雙向2D-3D匹配集合M2D_3D(F2D，F(xiàn)3D)通過攝像機(jī)姿態(tài)估計(jì)算法剔除不 滿足攝像機(jī)幾何約束的2D-3D匹配，得到內(nèi)點(diǎn)集合I2D_3D，并估計(jì)出查詢圖像的初始位姿P q2D ^ = Rql3D[I I ，其中，PqI3D為查詢攝像機(jī)的攝像機(jī)矩陣，由旋轉(zhuǎn)矩陣R和該攝像機(jī) 矩陣的光心位置C構(gòu)成。
[0066] S303,根據(jù)查詢圖像的初始位姿以及空間位置的索引樹在重構(gòu)的攝像機(jī)位姿集合 中進(jìn)行查詢以得到近鄰圖像。
[0067] 具體地，可先從查詢圖像的初始位姿中得到查詢圖像q的初始空間位置Cq2D_3D，之 后可根據(jù)該查詢圖像的初始空間位置以及空間位置的索引樹，在3D特征點(diǎn)云對應(yīng)的重構(gòu)的 攝像機(jī)位姿集合中查詢以得到k近鄰(P 1J = I, ...，k}，即近鄰圖像。
[0068] S304,將查詢圖像與近鄰圖像進(jìn)行特征匹配以得到對應(yīng)的多個(gè)有效匹配集合。
[0069]具體地，可將查詢圖像與近鄰圖像進(jìn)行2D-2D的特征匹配得到兩個(gè)圖像之間的多 個(gè)有效匹配集合。
[0070] S305,根據(jù)多個(gè)有效匹配集合生成近鄰圖像之間的相對姿態(tài)。
[0071] 具體地，基于該有效匹配集合估計(jì)本征矩陣，并同時(shí)得到內(nèi)點(diǎn)匹配，當(dāng)匹配數(shù)量少 于某一閾值時(shí)，可認(rèn)為該本征矩陣噪聲較大，移除該近鄰圖像，并分解該本征矩陣以得到與 近鄰圖像間的相對姿態(tài)1^，(：1(1，其中相對姿態(tài)中的平移Clq只能提供方向，不能提供大小。 [0072] S306,融合雙向2D-3D匹配集合和近鄰圖像之間的相對姿態(tài)建立定位姿態(tài)圖優(yōu)化 框架。
[0073]具體地，可定義關(guān)于查詢圖像q的姿態(tài)圖Gq =( NP，NX，EP，EX )，其中，NP為攝像機(jī)節(jié) 點(diǎn)，包含查詢圖像的攝像機(jī)Pq和其近鄰圖像的攝像機(jī){Pi，i = l，...，k}，NX為3D點(diǎn)節(jié)點(diǎn)，對應(yīng) 于2D-3D匹配得到的中的3D點(diǎn)；EP為查詢圖像的攝像機(jī)Pq與近鄰圖像的攝像機(jī)（P 1, i = 1，...，k}的連接邊，邊上附有i和q之間的相對位置姿態(tài)，包括相對旋轉(zhuǎn)Riq和相對平移方向 C iq，即EPrel-1^(丨，9)=(心<1，(^)觀為查詢圖像的攝像機(jī)? (1與30點(diǎn)乂」的連接邊，邊上附有查 詢圖像的攝像機(jī)Pq觀測到的特征點(diǎn)射線坐標(biāo)EXox = Xq j。
[0074] 之后，對反投影誤差及相對姿態(tài)誤差之和進(jìn)行優(yōu)化，基于該查詢圖像構(gòu)建目標(biāo)函 數(shù)(即上述的定位姿態(tài)圖優(yōu)化框架)如下：
[0075]
[0076] 兵甲，Pq = Kq L 1卜Cq」73符1 ?；囊藙⑧?冢的攝1冢機(jī)圯件，Kq，(Jq73該攝像機(jī)在世界 坐標(biāo)系下的旋轉(zhuǎn)和平移；{(xqj，Xj)，j = I，. . .η}為輸入的雙向2D-3D匹配集合；{(Pi，Riq， Clq)，i = l，...m}為查詢圖像的近鄰圖像以及相應(yīng)的相對姿態(tài)集合;λ為兩類代價(jià)的平衡因 子;drel 〇為相對姿態(tài)邊上的代價(jià)函數(shù)，其定義如下：
[0077]
(6)
[0078] 其中，相對姿態(tài)的代價(jià)函數(shù)包含兩項(xiàng)，分別為旋轉(zhuǎn)的代價(jià)和平移方向的代價(jià)，二者 相互獨(dú)立;旋轉(zhuǎn)的代價(jià)定義為R1，Rq的相對歐拉角，
平移 方向的代價(jià)為觀測出的平移方向Ri，Ciq與待優(yōu)化的平移方向
U司的弦距離。
[0079] S307,根據(jù)定位姿態(tài)圖優(yōu)化框架對查詢圖像的初始位姿進(jìn)行優(yōu)化以實(shí)現(xiàn)圖像定 位。
[0080] 具體地，采用2D-3D的定位結(jié)果（即上述的查詢圖像的初始位姿)Pq2D_3D作為初值， 根據(jù)定位姿態(tài)圖優(yōu)化框架通過Levenberg-Marquardt算法對該查詢圖像的初始位姿Pq 2D^3D 進(jìn)行優(yōu)化以得到更高精度的定位結(jié)果。
[0081] 由此，相比傳統(tǒng)僅使用2D-3D匹配信息的定位方法，本發(fā)明通過使用圖優(yōu)化的方法 融合了 2D-3D的匹配信息和圖像間的相對姿態(tài)信息，提高了最終定位結(jié)果的精確性。
[0082] 需要說明的是，上述步驟S104-S105為在線計(jì)算，即接收查詢圖像，然后根據(jù)該查 詢圖像查詢預(yù)先生成的三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合，以實(shí)現(xiàn)圖像定位。
[0083] 下面將結(jié)合圖4對本發(fā)明實(shí)施例的基于射線模型三維重構(gòu)的圖像定位方法進(jìn)行描 述。
[0084]舉例而言，如圖4所示，可預(yù)先進(jìn)行離線重構(gòu)，以得到三維特征點(diǎn)云以及重構(gòu)的攝 像機(jī)位姿集合，即可先離線采集足夠場景的圖像，并提取圖像特征并對圖像進(jìn)行兩兩匹配， 之后，可構(gòu)建姿態(tài)圖，并基于射線模型的增量式進(jìn)行三維重構(gòu)，以得到三維特征點(diǎn)云以及重 構(gòu)的攝像機(jī)位姿集合，并建立三維特征點(diǎn)云的索引樹以及攝像頭的空間位置索引樹。當(dāng)獲 取到查詢圖像時(shí)，可進(jìn)行在線定位，即可先對獲取到的查詢圖像提取特征，并將提取到的特 征與三維特征點(diǎn)云進(jìn)行2D-3D的有效匹配以得到雙向2D-3D匹配集合，之后通過攝像機(jī)姿態(tài) 估計(jì)算法對該雙向2D-3D匹配集合進(jìn)行估計(jì)以生成查詢圖像的初始位姿，并檢索近鄰攝像 機(jī)并計(jì)算相對位姿，最后，通過建立定位姿態(tài)圖融合二者信息得到更高精度的定位結(jié)果，即 目標(biāo)攝像機(jī)位置與姿態(tài)。
[0085]根據(jù)本發(fā)明實(shí)施例的基于射線模型三維重構(gòu)的圖像定位方法，在基于射線模型的 三維重構(gòu)過程中，通過使用三維射線描述二維像素坐標(biāo)，射線模型能夠無畸變地表達(dá)多種 攝像機(jī)模型（如全景、魚眼、平面），即能夠適用于多種類型的攝像機(jī)，并充分利用其內(nèi)在的 幾何性質(zhì)，使得重構(gòu)效果更好，且降低了采集成本，提高了計(jì)算速度，并且在圖像定位過程 中，提出的基于姿態(tài)圖優(yōu)化的定位框架，融合了圖像點(diǎn)云之間的2D-3D特征匹配和近鄰攝像 機(jī)的位姿信息，提高了圖像定位的精度。
[0086]為了實(shí)現(xiàn)上述實(shí)施例，本發(fā)明還提出了一種基于射線模型三維重構(gòu)的圖像定位裝 置。
[0087] 圖5是根據(jù)本發(fā)明一個(gè)實(shí)施例的基于射線模型三維重構(gòu)的圖像定位裝置的結(jié)構(gòu)框 圖。如圖5所示，該基于射線模型三維重構(gòu)的圖像定位裝置可以包括:第一獲取模塊100、生 成模塊200、重構(gòu)模塊300、第二獲取模塊400和圖像定位模塊500。
[0088] 具體地，第一獲取模塊100可用于預(yù)先采集多個(gè)場景的多個(gè)圖像，并分別對多個(gè)圖 像進(jìn)行特征提取以得到對應(yīng)的多個(gè)特征點(diǎn)集合。其中，在本發(fā)明的實(shí)施例中，術(shù)語"多個(gè)"可 進(jìn)行廣義理解，即對應(yīng)足夠多的數(shù)量。此外，在本發(fā)明的實(shí)施例中，圖像的類型可包括但不 限于全景類型、魚眼類型和平面類型等。
[0089] 更具體地，第一獲取模塊100可預(yù)先采集足夠的場景圖像作為本實(shí)施例提到的圖 像，并分別對這些圖像提取SIFT (Scale-invariant feature transform，尺度不變特征變 換)特征，得到每個(gè)特征點(diǎn)的位置以及描述子集合，其中該描述子集合用于描述對應(yīng)的特征 點(diǎn)的周圍區(qū)域信息。
[0090] 生成模塊200可用于對多個(gè)圖像進(jìn)行兩兩圖像的特征匹配，并根據(jù)兩兩圖像的特 征匹配生成對應(yīng)的本征矩陣，并對本征矩陣進(jìn)行噪聲處理。具體而言，在本發(fā)明的實(shí)施例 中，生成模塊200可先根據(jù)多個(gè)特征點(diǎn)集合對多個(gè)圖像進(jìn)行兩兩匹配，并存儲每個(gè)圖像對的 特征點(diǎn)匹配情況，之后，可基于匹配上的特征點(diǎn)集合估計(jì)本征矩陣。
[0091] 更具體地，生成模塊200可根據(jù)特征點(diǎn)的描述子集合對所有圖像進(jìn)行兩兩匹配，并 儲存每個(gè)圖像對的特征點(diǎn)匹配情況，然后，可基于匹配上的特征點(diǎn)估計(jì)本征矩陣，并同時(shí)對 該本征矩陣進(jìn)行過濾噪聲?？梢岳斫?，在本發(fā)明的實(shí)施例中，若將上述兩兩匹配的特征點(diǎn)組 織起來，則可形成多條軌跡，其中，每條軌跡對應(yīng)于將被重構(gòu)的一個(gè)3D(三維）點(diǎn)。
[0092]重構(gòu)模塊300可用于基于射線模型根據(jù)噪聲處理后的本征矩陣進(jìn)行三維重構(gòu)以生 成三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合?？梢岳斫?，相較于傳統(tǒng)的基于像素的平面模 型，本發(fā)明通過射線模型能夠適應(yīng)不同的攝像機(jī)類型（如全景類型、魚眼類型、平面類型 等），并將其統(tǒng)一起來。
[0093]更具體地，重構(gòu)模塊300可先構(gòu)建姿態(tài)圖，其中，該姿態(tài)圖可包含攝像機(jī)借點(diǎn)、三維 (3D)點(diǎn)節(jié)點(diǎn)、攝像機(jī)-攝像機(jī)連接邊、攝像機(jī)-3D點(diǎn)連接邊等，這些可共同用于描述攝像機(jī)集 合與3D點(diǎn)集合之間的可視性關(guān)系，之后，可基于射線模型的增量式重構(gòu)，即：可先選擇相對 姿態(tài)估計(jì)質(zhì)量較高的一對攝像機(jī)作為初始種子，利用基于射線模型的三角測量 (triangulation)尋找新的3D點(diǎn)，之后可利用新的3D點(diǎn)基于射線模型尋找更多的攝像機(jī)，不 斷迭代并去噪優(yōu)化，直至尋找不到更多的攝像機(jī)或者3D點(diǎn)。
[0094]具體而言，在本發(fā)明的實(shí)施例中，如圖6所示，該重構(gòu)模塊300可包括：分解單元 310、構(gòu)建單元320、定義單元330和重構(gòu)單元340。更具體地，分解單元310可用于對噪聲處理 后的本征矩陣進(jìn)行分解以得到對應(yīng)的多個(gè)攝像機(jī)之間的相對姿態(tài)。
[0095] 構(gòu)建單元320可用于根據(jù)多個(gè)攝像機(jī)之間的相對姿態(tài)和多個(gè)特征點(diǎn)構(gòu)建對應(yīng)的姿 態(tài)圖。更具體地，可通過預(yù)設(shè)的姿態(tài)圖創(chuàng)建公式根據(jù)多個(gè)攝像機(jī)之間的相對姿態(tài)和多個(gè)特 征點(diǎn)構(gòu)建對應(yīng)的姿態(tài)圖。其中，在本發(fā)明的實(shí)施例中，預(yù)設(shè)的姿態(tài)圖創(chuàng)建公式可為上述式 ⑴。
[0096] 定義單元330可用于分別獲取多個(gè)攝像機(jī)的模型，并分別根據(jù)多個(gè)攝像機(jī)的模型 定義對應(yīng)的射線模型。更具體地，定義單元330可先獲取攝像機(jī)的模型，如全景模型、魚眼模 型、平面模型等，之后可根據(jù)不同的攝像機(jī)的模型分別定義對應(yīng)的射線模型。需要說明的 是，射線模型是基于每條射線r可以用原點(diǎn)和單位球上的另一個(gè)點(diǎn)x(x，y，z)，x2+y2+z 2 = l所 定義的，該射線與圖像坐標(biāo)u(u，V)通過映射函數(shù)--對應(yīng);映射函數(shù)k可定義為x = k(u，K), U = ITi(X1K),其中K為攝像機(jī)的內(nèi)參;對于不同的攝像機(jī)模型，其映射函數(shù)各自不同，其中， 對于全景攝像機(jī)、魚眼攝像機(jī)、平面攝像機(jī)所對應(yīng)的映射函數(shù)可分別由上述式（2)-(4)描 述。
[0097]重構(gòu)單元340可用于基于對應(yīng)的射線模型對姿態(tài)圖進(jìn)行增量式重構(gòu)以生成三維特 征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合。更具體地，重構(gòu)單元340可先選擇多個(gè)攝像機(jī)之間的相 對姿態(tài)估計(jì)質(zhì)量較高的一對攝像機(jī)作為初始種子，之后可利用基于對應(yīng)的射線模型的三角 測量(triangulation)尋找新的3D點(diǎn)，而后利用新的3D點(diǎn)基于該射線模型尋找更多的攝像 機(jī)，不斷迭代，直至尋找不到更多的攝像機(jī)或者3D點(diǎn)；其中，在該過程可不斷實(shí)施非線性優(yōu) 化，以用于減小三維重構(gòu)的誤差；同時(shí)使用質(zhì)量評價(jià)函數(shù)剔除質(zhì)量不高的攝像機(jī)和3D點(diǎn)。需 要說明的是，在該過程中的距離度量、三角測量、攝像機(jī)姿態(tài)估計(jì)、非線性優(yōu)化、質(zhì)量評價(jià)函 數(shù)等模塊都是針對射線模型所改進(jìn)的，相比傳統(tǒng)的僅適用平面圖像的重構(gòu)算法，具有更廣 泛的普適性。
[0098]由此，在基于射線模型的三維重構(gòu)算法中，通過使用三維射線描述二維像素坐標(biāo)， 射線模型能夠無畸變地表達(dá)多種攝像機(jī)模型（如全景、魚眼、平面等），，即適用于多種類型 的攝像機(jī)，擴(kuò)大了適用范圍。
[0099]進(jìn)一步地，在本發(fā)明的一個(gè)實(shí)施例中，如圖7所示，該重構(gòu)模塊300還可包括:建立 單元350,建立單元350可用于在重構(gòu)單元340生成三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集 合之后，建立三維特征點(diǎn)云中每個(gè)三維特征點(diǎn)云的索引樹，并針對重構(gòu)的攝像機(jī)位姿集合 中多個(gè)攝像頭建立空間位置的索引樹。具體地，建立單元350在重構(gòu)單元340三維重構(gòu)完成 之后，可建立點(diǎn)云特征與攝像機(jī)位置索引樹，其中可以理解，三維特征點(diǎn)云中的每個(gè)點(diǎn)都附 帶若干特征，這些特征來自于觀測到該點(diǎn)的圖像;在后續(xù)在線定位階段中，需要建立查詢圖 像的特征與該特征點(diǎn)云的匹配，以實(shí)現(xiàn)圖像定位;為了加速匹配過程，本發(fā)明對特征點(diǎn)云建 立Kchtree索引樹，以加快檢索速度;此外，由于在線定位階段需要檢索查詢圖像的空間近 鄰，所以本發(fā)明又對重構(gòu)出的攝像機(jī)建立空間位置的Kchtree索引樹。
[0100]第二獲取模塊400可用于獲取查詢圖像，并對查詢圖像進(jìn)行特征提取以得到對應(yīng) 的二維特征點(diǎn)集合。更具體地，第二獲取模塊400可對獲取到的查詢圖像提取特征，得到該 查詢圖像的二維特征點(diǎn)集合。需要說明的是，每一個(gè)二維特征點(diǎn)對應(yīng)一個(gè)特征描述子，而3D 特征點(diǎn)云中每個(gè)3D點(diǎn)對應(yīng)多個(gè)特征描述子，這些描述子可由三維重構(gòu)階段多張圖像所貢 獻(xiàn)。
[0101]圖像定位模塊500可用于基于定位姿態(tài)圖優(yōu)化框架根據(jù)二維特征點(diǎn)集合、三維特 征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合進(jìn)行圖像定位。更具體地，圖像定位模塊500可將查詢圖 像的特征與離線部分生成的3D點(diǎn)云的特征進(jìn)行匹配（即2D-3D匹配），依據(jù)足夠數(shù)量的有效 匹配，利用攝像機(jī)姿態(tài)估計(jì)算法估計(jì)查詢圖像的初始位姿，之后，可根據(jù)該初始位姿查詢近 鄰庫攝像機(jī)（即近鄰圖像），并融合2D-3D匹配和與近鄰圖像之間的相對姿態(tài)建立定位姿態(tài) 圖優(yōu)化框架并進(jìn)行優(yōu)化以得到更高精度的定位結(jié)果。
[0102]具體而言，在本發(fā)明的實(shí)施例中，如圖8所示，該圖像定位模塊500可包括:第一匹 配單元510、第一生成單元520、查詢單元530、第二匹配單元540、第二生成單元550、建立單 元560和圖像定位單元570。
[0103]具體地，第一匹配單元510可用于根據(jù)多個(gè)三維特征點(diǎn)云的索引樹將二維特征點(diǎn) 集合與三維特征點(diǎn)云進(jìn)行有效匹配以得到雙向2D-3D匹配集合。
[0104] 更具體地，第一匹配單元510可先對某一個(gè)二維特征點(diǎn)？，在30點(diǎn)云特征集合F3d* 進(jìn)行k近鄰查詢（如k = 5)，如果k近鄰中來自不同3D點(diǎn)的最近鄰與次近鄰的比值小于某一閾 值thmatch，則認(rèn)為二維特征點(diǎn)與最近鄰3D點(diǎn)之間構(gòu)建了一個(gè)2D至3D的單向有效匹配，F(xiàn) 2d* 所有此類匹配構(gòu)成了一個(gè)2D至3D的單向有效匹配集合M^3D(F2D，F(xiàn) 3D);其次對M^3D(F2D， F3D)中的每個(gè)3D點(diǎn)，反向在查詢圖像的特征集合F 2d中查詢近鄰和次近鄰.若最近鄰與次近 鄰的比值小于閾值thmatch，則認(rèn)為得到了一個(gè)有效的3D至2D的單向匹配，這些匹配構(gòu)成3D至 2D的單項(xiàng)匹配集合M 20^3d (F2D，F(xiàn)3d);這兩單向匹配集合M^3d (F2D，F(xiàn)3d)和M20^3d (F2D，F(xiàn)3d)的交 集即為雙向2D-3D匹配集合M2D- 3D(F2D，F(xiàn)3D)。
[0105] 第一生成單元520可用于通過攝像機(jī)姿態(tài)估計(jì)算法對雙向2D-3D匹配集合進(jìn)行估 計(jì)以生成查詢圖像的初始位姿。更具體地，第一生成單元520可基于雙向2D-3D匹配集合M 2d _3D(F2D，F(xiàn)3D)通過攝像機(jī)姿態(tài)估計(jì)算法剔除不滿足攝像機(jī)幾何約束的2D-3D匹配，得到內(nèi)點(diǎn) 集合1 2D_3D，并估計(jì)出查詢圖像的初始位姿Pq2D_ 3D = Rq2D_3D [ 11-C嚴(yán)3D]，其中，P嚴(yán)％為查詢攝 像機(jī)的攝像機(jī)矩陣，由旋轉(zhuǎn)矩陣R和該攝像機(jī)矩陣的光心位置C構(gòu)成。
[0106] 查詢單元530可用于根據(jù)查詢圖像的初始位姿以及空間位置的索引樹在重構(gòu)的攝 像機(jī)位姿集合中進(jìn)行查詢以得到近鄰圖像。更具體地，查詢單元530可先從查詢圖像的初始 位姿中得到查詢圖像q的初始空間位置(：嚴(yán) 3°，之后可根據(jù)該查詢圖像的初始空間位置以及 空間位置的索引樹，在3D特征點(diǎn)云對應(yīng)的重構(gòu)的攝像機(jī)位姿集合中查詢以得到k近鄰(P 1, i = l，...，k}，即近鄰圖像。
[0107] 第二匹配單元540可用于將查詢圖像與近鄰圖像進(jìn)行特征匹配以得到對應(yīng)的多個(gè) 有效匹配集合。更具體地，第二匹配單元540可將查詢圖像與近鄰圖像進(jìn)行2D-2D的特征匹 配得到兩個(gè)圖像之間的多個(gè)有效匹配集合。
[0108] 第二生成單元550可用于根據(jù)多個(gè)有效匹配集合生成近鄰圖像之間的相對姿態(tài)。 更具體地，第二生成單元550可基于該有效匹配集合估計(jì)本征矩陣，并同時(shí)得到內(nèi)點(diǎn)匹配， 當(dāng)匹配數(shù)量少于某一閾值時(shí)，可認(rèn)為該本征矩陣噪聲較大，移除該近鄰圖像，并分解該本征 矩陣以得到與近鄰圖像間的相對姿態(tài)1^，(： 1(1，其中相對姿態(tài)中的平移Clq只能提供方向，不 能提供大小。
[0109] 建立單元560可用于融合雙向2D-3D匹配集合和近鄰圖像之間的相對姿態(tài)建立定 位姿態(tài)圖優(yōu)化框架。更具體地，建立單元560可定義關(guān)于查詢圖像q的姿態(tài)圖G q= (NP，NX， EP，EX)，其中，NP為攝像機(jī)節(jié)點(diǎn)，包含查詢圖像的攝像機(jī)Pq和其近鄰圖像的攝像機(jī){Pi，i = 1，...，k}，NX為3D點(diǎn)節(jié)點(diǎn)，對應(yīng)于2D-3D匹配得到的中的3D點(diǎn)；EP為查詢圖像的攝像機(jī) 近鄰圖像的攝像機(jī)(P 1J = I, ...，k}的連接邊，邊上附有i和q之間的相對位置姿態(tài)，包括相 對旋轉(zhuǎn)Riq和相對平移方向Ciq，即EPrei- pcise (i，q) = (Riq，Ciq); EX為查詢圖像的攝像機(jī)Pq與3D 點(diǎn)心的連接邊，邊上附有查詢圖像的攝像機(jī)Pq觀測到的特征點(diǎn)射線坐標(biāo)EX cix = Xtu，之后，對 反投影誤差及相對姿態(tài)誤差之和進(jìn)行優(yōu)化，基于該查詢圖像構(gòu)建目標(biāo)函數(shù)（即上述的定位 姿態(tài)圖優(yōu)化框架)如上述式(5)。
[0110]圖像定位單元570可用于根據(jù)定位姿態(tài)圖優(yōu)化框架對查詢圖像的初始位姿進(jìn)行優(yōu) 化以實(shí)現(xiàn)圖像定位。更具體地，圖像定位單元570可采用2D-3D的定位結(jié)果（即上述的查詢圖 像的初始位姿)Pq2IK3D作為初值，根據(jù)定位姿態(tài)圖優(yōu)化框架通過Levenberg-Marquardt算法 對該查詢圖像的初始位姿P qi3D進(jìn)行優(yōu)化以得到更高精度的定位結(jié)果。
[0111] 由此，相比傳統(tǒng)僅使用2D-3D匹配信息的定位方法，本發(fā)明通過使用圖優(yōu)化的方法 融合了 2D-3D的匹配信息和圖像間的相對姿態(tài)信息，提高了最終定位結(jié)果的精確性。
[0112] 根據(jù)本發(fā)明實(shí)施例的基于射線模型三維重構(gòu)的圖像定位裝置，在基于射線模型的 三維重構(gòu)過程中，通過使用三維射線描述二維像素坐標(biāo)，射線模型能夠無畸變地表達(dá)多種 攝像機(jī)模型（如全景、魚眼、平面），即能夠適用于多種類型的攝像機(jī)，并充分利用其內(nèi)在的 幾何性質(zhì)，使得重構(gòu)效果更好，且降低了采集成本，提高了計(jì)算速度，并且在圖像定位過程 中，提出的基于姿態(tài)圖優(yōu)化的定位框架，融合了圖像點(diǎn)云之間的2D-3D特征匹配和近鄰攝像 機(jī)的位姿信息，提高了圖像定位的精度。
[0113] 在本發(fā)明的描述中，需要理解的是，術(shù)語"第一"、"第二"僅用于描述目的，而不能 理解為指示或暗示相對重要性或者隱含指明所指示的技術(shù)特征的數(shù)量。由此，限定有"第 一"、"第二"的特征可以明示或者隱含地包括至少一個(gè)該特征。在本發(fā)明的描述中，"多個(gè)" 的含義是至少兩個(gè)，例如兩個(gè)，三個(gè)等，除非另有明確具體的限定。
[0114] 在本說明書的描述中，參考術(shù)語"一個(gè)實(shí)施例"、"一些實(shí)施例"、"示例"、"具體示 例"、或"一些示例"等的描述意指結(jié)合該實(shí)施例或示例描述的具體特征、結(jié)構(gòu)、材料或者特 點(diǎn)包含于本發(fā)明的至少一個(gè)實(shí)施例或示例中。在本說明書中，對上述術(shù)語的示意性表述不 必須針對的是相同的實(shí)施例或示例。而且，描述的具體特征、結(jié)構(gòu)、材料或者特點(diǎn)可以在任 一個(gè)或多個(gè)實(shí)施例或示例中以合適的方式結(jié)合。此外，在不相互矛盾的情況下，本領(lǐng)域的技 術(shù)人員可以將本說明書中描述的不同實(shí)施例或示例以及不同實(shí)施例或示例的特征進(jìn)行結(jié) 合和組合。
[0115] 盡管上面已經(jīng)示出和描述了本發(fā)明的實(shí)施例，可以理解的是，上述實(shí)施例是示例 性的，不能理解為對本發(fā)明的限制，本領(lǐng)域的普通技術(shù)人員在本發(fā)明的范圍內(nèi)可以對上述 實(shí)施例進(jìn)行變化、修改、替換和變型。
【主權(quán)項(xiàng)】
1. 一種基于射線模型三維重構(gòu)的圖像定位方法，其特征在于，包括以下步驟： 預(yù)先采集多個(gè)場景的多個(gè)圖像，并分別對所述多個(gè)圖像進(jìn)行特征提取以得到對應(yīng)的多 個(gè)特征點(diǎn)集合； 對所述多個(gè)圖像進(jìn)行兩兩圖像的特征匹配，并根據(jù)所述兩兩圖像的特征匹配生成對應(yīng) 的本征矩陣，并對所述本征矩陣進(jìn)行噪聲處理； 基于射線模型根據(jù)噪聲處理后的所述特征匹配以及本征矩陣進(jìn)行三維重構(gòu)以生成三 維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合； 獲取查詢圖像，并對所述查詢圖像進(jìn)行特征提取以得到對應(yīng)的二維特征點(diǎn)集合；以及 基于定位姿態(tài)圖優(yōu)化框架根據(jù)所述二維特征點(diǎn)集合、所述三維特征點(diǎn)云以及重構(gòu)的攝 像機(jī)位姿集合進(jìn)行圖像定位。2. 如權(quán)利要求1所述的基于射線模型三維重構(gòu)的圖像定位方法，其特征在于，所述對所 述多個(gè)圖像進(jìn)行兩兩圖像的特征匹配，并根據(jù)所述兩兩圖像的特征匹配生成對應(yīng)的本征矩 陣，具體包括： 根據(jù)所述多個(gè)特征點(diǎn)集合對所述多個(gè)圖像進(jìn)行兩兩匹配，并存儲每個(gè)圖像對的特征點(diǎn) 匹配情況；以及 基于匹配上的特征點(diǎn)集合估計(jì)本征矩陣。3. 如權(quán)利要求1所述的基于射線模型三維重構(gòu)的圖像定位方法，其特征在于，基于射線 模型根據(jù)噪聲處理后的所述特征匹配以及本征矩陣進(jìn)行三位重構(gòu)以生成樣本三維特征點(diǎn) 云以及重構(gòu)的攝像機(jī)位姿集合，具體包括： 對所述噪聲處理后的本征矩陣進(jìn)行分解以得到對應(yīng)的多個(gè)攝像機(jī)之間的相對姿態(tài)； 根據(jù)所述多個(gè)攝像機(jī)之間的相對姿態(tài)和多個(gè)特征點(diǎn)構(gòu)建對應(yīng)的姿態(tài)圖； 分別獲取所述多個(gè)攝像機(jī)的模型，并分別根據(jù)所述多個(gè)攝像機(jī)的模型定義對應(yīng)的射線 豐旲型； 基于所述對應(yīng)的射線模型對所述姿態(tài)圖進(jìn)行增量式重構(gòu)以生成三維特征點(diǎn)云以及重 構(gòu)的攝像機(jī)位姿集合。4. 如權(quán)利要求3所述的基于射線模型三維重構(gòu)的圖像定位方法，其特征在于，在生成三 維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合之后，所述方法還包括： 建立所述三維特征點(diǎn)云中多個(gè)三維特征點(diǎn)云的索引樹，并針對所述重構(gòu)的攝像機(jī)位姿 集合中多個(gè)攝像頭建立空間位置的索引樹。5. 如權(quán)利要求4所述的基于射線模型三維重構(gòu)的圖像定位方法，其特征在于，基于定位 姿態(tài)圖優(yōu)化框架根據(jù)所述二維特征點(diǎn)集合、所述三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合 進(jìn)行圖像定位，具體包括： 根據(jù)所述多個(gè)三維特征點(diǎn)云的索引樹將所述二維特征點(diǎn)集合與所述三維特征點(diǎn)云進(jìn) 行有效匹配以得到雙向2D-3D匹配集合； 通過攝像機(jī)姿態(tài)估計(jì)算法對所述雙向2D-3D匹配集合進(jìn)行估計(jì)以生成所述查詢圖像的 初始位姿； 根據(jù)所述查詢圖像的初始位姿以及所述空間位置的索引樹在所述重構(gòu)的攝像機(jī)位姿 集合中進(jìn)行查詢以得到近鄰圖像； 將所述查詢圖像與所述近鄰圖像進(jìn)行特征匹配以得到對應(yīng)的多個(gè)有效匹配集合； 根據(jù)所述多個(gè)有效匹配集合生成所述近鄰圖像之間的相對姿態(tài)； 融合所述雙向2D-3D匹配集合和所述近鄰圖像之間的相對姿態(tài)建立所述定位姿態(tài)圖優(yōu) 化框架；以及 根據(jù)所述定位姿態(tài)圖優(yōu)化框架對所述查詢圖像的初始位姿進(jìn)行優(yōu)化以實(shí)現(xiàn)圖像定位。6. -種基于射線模型三維重構(gòu)的圖像定位裝置，其特征在于，包括： 第一獲取模塊，用于預(yù)先采集多個(gè)場景的多個(gè)圖像，并分別對所述多個(gè)圖像進(jìn)行特征 提取以得到對應(yīng)的多個(gè)特征點(diǎn)集合； 生成模塊，用于對所述多個(gè)圖像進(jìn)行兩兩圖像的特征匹配，并根據(jù)所述兩兩圖像的特 征匹配生成對應(yīng)的本征矩陣，并對所述本征矩陣進(jìn)行噪聲處理； 重構(gòu)模塊，用于基于射線模型根據(jù)噪聲處理后的所述本征矩陣進(jìn)行三維重構(gòu)以生成三 維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合； 第二獲取模塊，用于獲取查詢圖像，并對所述查詢圖像進(jìn)行特征提取以得到對應(yīng)的二 維特征點(diǎn)集合;以及 圖像定位模塊，用于基于定位姿態(tài)圖優(yōu)化框架根據(jù)所述二維特征點(diǎn)集合、所述三維特 征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合進(jìn)行圖像定位。7. 如權(quán)利要求6所述的基于射線模型三維重構(gòu)的圖像定位裝置，其特征在于，所述生成 模塊具體用于： 根據(jù)所述多個(gè)特征點(diǎn)集合對所述多個(gè)圖像進(jìn)行兩兩匹配，并存儲每個(gè)圖像對的特征點(diǎn) 匹配情況；以及 基于匹配上的特征點(diǎn)集合估計(jì)本征矩陣。8. 如權(quán)利要求6所述的基于射線模型三維重構(gòu)的圖像定位裝置，其特征在于，所述重構(gòu) 豐吳塊包括： 分解單元，用于對所述噪聲處理后的本征矩陣進(jìn)行分解以得到對應(yīng)的多個(gè)攝像機(jī)之間 的相對姿態(tài)； 構(gòu)建單元，用于根據(jù)所述多個(gè)攝像機(jī)之間的相對姿態(tài)和多個(gè)特征點(diǎn)構(gòu)建對應(yīng)的姿態(tài) 圖； 定義單元，用于分別獲取所述多個(gè)攝像機(jī)的模型，并分別根據(jù)所述多個(gè)攝像機(jī)的模型 定義對應(yīng)的射線模型； 重構(gòu)單元，用于基于所述對應(yīng)的射線模型對所述姿態(tài)圖進(jìn)行增量式重構(gòu)以生成三維特 征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合。9. 如權(quán)利要求8所述的基于射線模型三維重構(gòu)的圖像定位裝置，其特征在于，還包括： 建立單元，用于在所述重構(gòu)單元生成三維特征點(diǎn)云以及重構(gòu)的攝像機(jī)位姿集合之后， 建立所述三維特征點(diǎn)云中多個(gè)三維特征點(diǎn)云的索引樹，并針對所述重構(gòu)的攝像機(jī)位姿集合 中多個(gè)攝像頭建立空間位置的索引樹。10. 如權(quán)利要求9所述的基于射線模型三維重構(gòu)的圖像定位裝置，其特征在于，所述圖 像定位模塊包括： 第一匹配單元，用于根據(jù)所述多個(gè)三維特征點(diǎn)云的索引樹將所述二維特征點(diǎn)集合與所 述三維特征點(diǎn)云進(jìn)行有效匹配以得到雙向2D-3D匹配集合； 第一生成單元，用于通過攝像機(jī)姿態(tài)估計(jì)算法對所述雙向2D-3D匹配集合進(jìn)行估計(jì)以 生成所述查詢圖像的初始位姿； 查詢單元，用于根據(jù)所述查詢圖像的初始位姿以及所述空間位置的索引樹在所述重構(gòu) 的攝像機(jī)位姿集合中進(jìn)行查詢以得到近鄰圖像； 第二匹配單元，用于將所述查詢圖像與所述近鄰圖像進(jìn)行特征匹配以得到對應(yīng)的多個(gè) 有效匹配集合； 第二生成單元，用于根據(jù)所述多個(gè)有效匹配集合生成所述近鄰圖像之間的相對姿態(tài)； 建立單元，用于融合所述雙向2D-3D匹配集合和所述近鄰圖像之間的相對姿態(tài)建立所 述定位姿態(tài)圖優(yōu)化框架；以及 圖像定位單元，用于根據(jù)所述定位姿態(tài)圖優(yōu)化框架對所述查詢圖像的初始位姿進(jìn)行優(yōu) 化以實(shí)現(xiàn)圖像定位。
【文檔編號】G06T17/00GK105844696SQ201511026787
【公開日】2016年8月10日
【申請日】2015年12月31日
【發(fā)明人】周杰, 鄧?yán)? 段岳圻
【申請人】清華大學(xué)