基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和方法
【專利摘要】本發(fā)明涉及一種基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和方法。其利用圖像的自然特征信息處理圖像的匹配技術(shù)，實(shí)現(xiàn)多模板的無標(biāo)識增強(qiáng)現(xiàn)實(shí)技術(shù)。在特征點(diǎn)匹配過程中使用了去誤匹配算法，提高了圖像匹配的準(zhǔn)確性；利用corse-to-fine策略，兩次提取特征參數(shù)的方法；匹配失敗或者跟蹤失敗時(shí)，系統(tǒng)只需執(zhí)行粗特征提取，提高了系統(tǒng)的執(zhí)行速度；在目標(biāo)圖像與標(biāo)識圖像特征點(diǎn)匹配過程中，利用跟蹤算法由當(dāng)前匹配的特征點(diǎn)估計(jì)下一幀的匹配特征點(diǎn)位置，得到變化穩(wěn)定的特征點(diǎn)對，保證模型顯示的穩(wěn)定性，提高了用戶體驗(yàn)感。
【專利說明】基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和方法，尤其涉及一種基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí) 的系統(tǒng)和方法。

【背景技術(shù)】
[0002] 增強(qiáng)現(xiàn)實(shí)借助計(jì)算機(jī)圖形技術(shù)和可視化技術(shù)生成現(xiàn)實(shí)環(huán)境中不存在的虛擬對象， 并通過圖像識別定位技術(shù)將虛擬對象準(zhǔn)確"放置"在真實(shí)環(huán)境中，借助顯示設(shè)備將虛擬對象 與真實(shí)環(huán)境融為一體，并呈現(xiàn)給使用者一個(gè)真實(shí)的視覺感受。增強(qiáng)現(xiàn)實(shí)技術(shù)利用標(biāo)識物建 立虛擬三維空間，標(biāo)識物在虛擬空間與現(xiàn)實(shí)空間之間起到連接的作用。根據(jù)標(biāo)識物類別目 前分為有標(biāo)識（Marker)增強(qiáng)現(xiàn)實(shí)技術(shù)和無標(biāo)識（Markless)增強(qiáng)現(xiàn)實(shí)技術(shù)兩類。相比于 有標(biāo)識的增強(qiáng)現(xiàn)實(shí)技術(shù)，無標(biāo)識的增強(qiáng)現(xiàn)實(shí)技術(shù)利用識別模板圖像本身的內(nèi)容進(jìn)行識別， 這樣可以避免人為的標(biāo)記對真實(shí)感的破壞，并且識別準(zhǔn)確性會更好。缺點(diǎn)則是，目標(biāo)的跟 蹤與識別的技術(shù)變得復(fù)雜，穩(wěn)定性降低。在無標(biāo)識增強(qiáng)現(xiàn)實(shí)技術(shù)中，利用圖像的隨機(jī)厥特 征（RandomFern)進(jìn)行圖像識別與姿態(tài)估計(jì)，可以得到較好的跟蹤與識別效果。然而，由于 隨機(jī)厥特征計(jì)算復(fù)雜，特征數(shù)據(jù)量很大，在多個(gè)模板的無標(biāo)識的AR應(yīng)用中具有很大的局限 性，尤其是當(dāng)標(biāo)識數(shù)量達(dá)到幾十甚至上百數(shù)目時(shí)候。圖像的0RB特征相較于隨機(jī)厥特征，在 圖像特征表示方面具有同樣的理想效果，0RB特征具有尺度不變性與旋轉(zhuǎn)不變性，并且比隨 機(jī)厥特征計(jì)算簡單，數(shù)據(jù)量小。然而，圖像的0RB特征計(jì)算具有一定的隨機(jī)性，就是說，對相 同圖像計(jì)算0RB特征，得到的特征在圖像上位置分布具有隨機(jī)性，這種差異使得0RB特征在 圖像識別方面穩(wěn)定性較差。201310208905. 3涉及利用圖像捕獲和識別技術(shù)實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)的 方法，其公開了可行的圖像捕獲與匹配方案，但是直接進(jìn)行特征匹配，數(shù)據(jù)處理量大，系統(tǒng) 響應(yīng)慢。


【發(fā)明內(nèi)容】

[0003] 本發(fā)明要解決的技術(shù)問題在于提出一種基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和 方法，有效地解決大量圖像標(biāo)識識別和疊加三維模型的穩(wěn)定性等問題。
[0004] 本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：
[0005] -種基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于包括：
[0006] 圖像捕獲單元，用于捕獲目標(biāo)物的目標(biāo)圖像；
[0007] 特征存儲單元，用于存儲多個(gè)特征文件的多尺度特征；
[0008] 模型存儲單元，用于存儲至少一個(gè)的與特征文件對應(yīng)的模型；
[0009] 第一特征提取單元，用于提取目標(biāo)圖像的自然特征；
[0010] 第一特征匹配單元，用于分別匹配多個(gè)特征文件的特征與目標(biāo)圖像的特征，并查 找與目標(biāo)圖像最優(yōu)匹配的特征文件；
[0011] 第二特征提取單元，用于進(jìn)一步提取目標(biāo)圖像的自然特征；
[0012] 第二特征匹配單元，用于匹配最優(yōu)特征文件的特征與目標(biāo)圖像的特征，并剔除所 述第二特征匹配單元的誤匹配；
[0013] 位置標(biāo)定單元，用于根據(jù)目標(biāo)圖像的特征匹配結(jié)果計(jì)算目標(biāo)圖像中目標(biāo)平面與相 機(jī)平面的單應(yīng)性矩陣，再利用相機(jī)標(biāo)定算法計(jì)算相機(jī)內(nèi)參數(shù)，由單應(yīng)性矩陣以及相機(jī)內(nèi)參 數(shù)，計(jì)算出目標(biāo)物相對相機(jī)平面的位移與旋轉(zhuǎn)；
[0014] 圖像處理單元，用于根據(jù)目標(biāo)物相對相機(jī)平面的旋轉(zhuǎn)參數(shù)確定對應(yīng)模型的對應(yīng)視 角的模型；
[0015] 圖像顯示單元，用于根據(jù)目標(biāo)物相對相機(jī)平面的平移參數(shù)在特定顯示區(qū)域顯示該 視角；
[0016] 特征跟蹤單元，用于跟蹤目標(biāo)圖像的特征并將該圖像特征的狀態(tài)反饋至第二特征 匹配單元；
[0017] 在本發(fā)明增強(qiáng)現(xiàn)實(shí)的系統(tǒng)中，所述特征跟蹤單元根據(jù)光流法跟蹤目標(biāo)圖像的特 征；
[0018] 在本發(fā)明增強(qiáng)現(xiàn)實(shí)的系統(tǒng)中，所述模型為三維模型、三維動畫、二維圖片或視頻；
[0019] 在本發(fā)明增強(qiáng)現(xiàn)實(shí)的系統(tǒng)中，所述目標(biāo)物為載有圖像數(shù)據(jù)的二維模板。
[0020] -種基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，包括以下步驟：
[0021] 捕獲目標(biāo)物的目標(biāo)圖像；
[0022] 提取目標(biāo)圖像的自然特征；
[0023] 比較已存儲的多個(gè)特征文件的特征與該目標(biāo)圖像的特征，查找與目標(biāo)圖像最優(yōu)匹 配的特征文件；
[0024] 進(jìn)一步提取目標(biāo)圖像的自然特征；
[0025] 匹配最優(yōu)匹配的特征文件的特征與該目標(biāo)圖像的特征，剔除誤匹配；
[0026] 根據(jù)特征匹配結(jié)果計(jì)算目標(biāo)圖像中目標(biāo)與相機(jī)平面的單應(yīng)性矩陣，再利用相機(jī)標(biāo) 定算法計(jì)算相機(jī)內(nèi)參數(shù)，由單應(yīng)性矩陣以及相機(jī)內(nèi)參數(shù)，計(jì)算出目標(biāo)物相對相機(jī)平面的位 移與旋轉(zhuǎn)；
[0027] 根據(jù)目標(biāo)物相對相機(jī)平面的旋轉(zhuǎn)參數(shù)確定在最優(yōu)特征文件對應(yīng)的模型的對應(yīng)視 角；
[0028] 根據(jù)目標(biāo)物相對相機(jī)平面的位移參數(shù)在特定顯示區(qū)域顯示模型該視角；
[0029] 跟蹤上述進(jìn)一步提取的目標(biāo)圖像的特征，跟蹤成功后，則對最優(yōu)匹配的特征文件 的特征與特征跟蹤結(jié)果的特征進(jìn)行匹配，繼續(xù)計(jì)算目標(biāo)物的位移與旋轉(zhuǎn)參數(shù)；跟蹤失敗則 反饋捕獲目標(biāo)物的目標(biāo)圖像。
[0030] 在本發(fā)明增強(qiáng)現(xiàn)實(shí)的方法中，根據(jù)捕獲目標(biāo)圖像并進(jìn)行跟蹤目標(biāo)圖像特征，不斷 地識別目標(biāo)物的位置與三維姿態(tài)，使得模型隨目標(biāo)物同步運(yùn)動。
[0031] 在本發(fā)明增強(qiáng)現(xiàn)實(shí)的方法中，由多個(gè)預(yù)存圖像提取特征文件。
[0032] 在本發(fā)明增強(qiáng)現(xiàn)實(shí)的方法中，捕獲目標(biāo)物的目標(biāo)圖像后進(jìn)行降噪、增強(qiáng)處理。
[0033] 實(shí)施本發(fā)明的基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)和方法，具有以下有益效果： 利用圖像的自然特征信息處理圖像的匹配問題，在特征點(diǎn)匹配過程中使用了去誤匹配算 法，提高了圖像匹配的準(zhǔn)確性；采用兩次提取特征參數(shù)的方法，匹配失敗或者跟蹤失敗時(shí)， 系統(tǒng)只需執(zhí)行粗特征提取，提高了系統(tǒng)的執(zhí)行速度；在目標(biāo)圖像與標(biāo)識圖像特征點(diǎn)匹配過 程中，利用跟蹤算法由當(dāng)前匹配的特征點(diǎn)估計(jì)下一幀的匹配特征點(diǎn)位置，得到變化穩(wěn)定的 特征點(diǎn)對，保證模型顯示的穩(wěn)定性，提高了用戶體驗(yàn)感。

【專利附圖】

【附圖說明】
[0034] 圖1為本發(fā)明的基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)的示意圖；
[0035] 圖2為本發(fā)明的基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的方法的流程圖；
[0036] 圖3為在剔除誤匹配之前，最優(yōu)匹配的特征文件與該目標(biāo)圖像的匹配結(jié)果；
[0037] 圖4為在剔除誤匹配之后，最優(yōu)匹配的特征文件與該目標(biāo)圖像的匹配結(jié)果；
[0038] 圖5為模板對應(yīng)于注冊三維模型的顯示圖像的一種視角；
[0039] 圖6為圖5的三維顯示圖像的另一視角。

【具體實(shí)施方式】
[0040] 下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完 整地描述。
[0041] 如圖1、2所示的本發(fā)明的這種基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，包括：圖像 捕獲單元、特征存儲單元、模型存儲單元、第一特征提取單元、第一特征匹配單元、第二特征 提取單元、第二特征匹配單元、位置標(biāo)定單元、圖像處理單元、圖像顯示單元、特征跟蹤單 J Li 〇
[0042] 圖像捕獲單元捕獲目標(biāo)物的目標(biāo)圖像，第一特征提取單元提取目標(biāo)圖像的自然特 征。特征存儲單元存儲多個(gè)特征文件的多尺度特征，模型存儲單元存儲至少一個(gè)的與特征 文件對應(yīng)的模型。多尺度特征包括不同參數(shù)下的粗略的特征和精細(xì)的特征，多尺度特征的 提取方法與目標(biāo)圖像的自然特征的提取方法相同。第一特征匹配單元分別匹配多個(gè)特征文 件的特征與目標(biāo)圖像的特征，并查找與目標(biāo)圖像最優(yōu)匹配的特征文件。第二特征提取單元 進(jìn)一步提取目標(biāo)圖像的自然特征，該自然特征為更為精細(xì)的自然特征。第二特征匹配單元 匹配最優(yōu)匹配特征文件的特征與目標(biāo)圖像的特征，并查找某些誤匹配，剔除誤匹配。位置標(biāo) 定單元根據(jù)第二特征匹配單元的特征匹配結(jié)果，計(jì)算目標(biāo)圖像中目標(biāo)平面與相機(jī)平面的單 應(yīng)性矩陣，再利用相機(jī)標(biāo)定算法計(jì)算相機(jī)內(nèi)參數(shù)，由單應(yīng)性矩陣以及相機(jī)內(nèi)參數(shù)，計(jì)算出目 標(biāo)物相對相機(jī)平面的位移與旋轉(zhuǎn)。圖像處理單元根據(jù)目標(biāo)物相對相機(jī)平面的旋轉(zhuǎn)參數(shù)確定 對應(yīng)模型的對應(yīng)視角的模型，該模型為模型存儲單元存儲的與最優(yōu)匹配的特征文件對應(yīng)的 模型。圖像顯示單元根據(jù)目標(biāo)物相對相機(jī)平面的位移在特定顯示區(qū)域顯示該視角。至此完 成模型注冊。
[0043] 為了提高人機(jī)交互能力，要求目標(biāo)物的運(yùn)動，模型的視角也應(yīng)發(fā)生變化。特征跟蹤 單元根據(jù)光流法跟蹤目標(biāo)圖像的特征，并將該圖像特征的狀態(tài)反饋至第二特征匹配單元。 特征跟蹤單元在跟蹤過程中判斷目標(biāo)圖像的特征下一幀狀態(tài)。不需要重新計(jì)算各個(gè)特征點(diǎn) 的位置，提高了特征匹配速度和模型注冊速度。
[0044] 所述模型為三維模型、三維動畫、二維圖片或視頻。所述目標(biāo)物為載有圖像數(shù)據(jù)的 二維模板。
[0045] 一種基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的方法，包括以下步驟：捕獲目標(biāo)物的目標(biāo)圖 像，降噪、增強(qiáng)處理；提取目標(biāo)圖像的自然特征；比較已存儲的多個(gè)特征文件的特征與該目 標(biāo)圖像的特征，查找與目標(biāo)圖像最優(yōu)匹配的特征文件；進(jìn)一步提取目標(biāo)圖像的自然特征； 比較最優(yōu)匹配的特征文件的特征與該目標(biāo)圖像的特征，剔除誤匹配；根據(jù)第二特征匹配單 元的特征匹配結(jié)果，計(jì)算目標(biāo)圖像中目標(biāo)平面與相機(jī)平面的單應(yīng)性矩陣，再利用相機(jī)標(biāo)定 算法計(jì)算相機(jī)內(nèi)參數(shù)，由單應(yīng)性矩陣以及相機(jī)內(nèi)參數(shù)，計(jì)算出目標(biāo)物相對相機(jī)平面的位移 與旋轉(zhuǎn)；根據(jù)目標(biāo)物相對相機(jī)平面的旋轉(zhuǎn)參數(shù)確定在最優(yōu)特征文件對應(yīng)的模型的對應(yīng)視 角；根據(jù)目標(biāo)物相對相機(jī)平面的位移參數(shù)在特定顯示區(qū)域顯示模型該視角；跟蹤上述進(jìn)一 步提取的目標(biāo)圖像的特征，跟蹤成功則匹配最優(yōu)匹配的特征文件的特征與特征跟蹤的結(jié)果 的預(yù)測特征，繼續(xù)計(jì)算目標(biāo)物的位移與旋轉(zhuǎn)參數(shù)；跟蹤失敗則反饋捕獲目標(biāo)物的目標(biāo)圖像； 根據(jù)捕獲目標(biāo)圖像并進(jìn)行跟蹤目標(biāo)圖像特征，不斷地識別目標(biāo)物的位置與三維姿態(tài)，使得 模型隨目標(biāo)物同步運(yùn)動。
[0046] 特征文件由多個(gè)預(yù)存圖像提取出來，特征文件中含有預(yù)存圖像不同尺度下的多尺 度特征。如果尋找到的最優(yōu)匹配模板與目標(biāo)圖像匹配的特征點(diǎn)數(shù)目小于預(yù)設(shè)的閾值，可以 認(rèn)為匹配失敗，重新捕獲目標(biāo)圖像。如果跟蹤失敗，即追蹤到的特征數(shù)量小于閾值，可以認(rèn) 為跟蹤失敗，重新捕獲目標(biāo)圖像。利用多線程處理技術(shù)，最優(yōu)匹配特征搜索與目標(biāo)物位移旋 轉(zhuǎn)參數(shù)計(jì)算分開處理，采用coarse-to-fine策略解決了算法實(shí)時(shí)性與算法有效性的平衡問 題。在第一次匹配失敗時(shí)，不進(jìn)行第二次匹配，降低了系統(tǒng)運(yùn)行負(fù)荷。
[0047] 圖3和圖4顯示了剔除誤匹配前后的特征匹配圖。模板1上的特征通過人為連線 的方式對應(yīng)至顯示界面2上的特征，圖3存在不正確匹配的特征，圖4剔除不正確匹配關(guān) 系。圖5、6顯示了注冊三維模型后的增強(qiáng)現(xiàn)實(shí)，顯示界面在模板上注冊三維模型，并隨模板 的運(yùn)動而顯示模型的不同視角。
[0048] 本發(fā)明具體可以采下述步驟實(shí)施。
[0049] 步驟1，獲取目標(biāo)圖像T，計(jì)算其自然特征。
[0050] 對目標(biāo)圖像T，計(jì)算其角點(diǎn)特征，特征包括特征點(diǎn)Κτ以及特征描述算子DT。
[0051] 步驟2,計(jì)算每個(gè)模板圖像Mk, k e {1，2, · · ·，η}的多尺度自然特征。
[0052] 計(jì)算每個(gè)模板圖像Mk，k e {1，2, . . .，η}的特征點(diǎn)和特征描述子，其中，η 是模板圖像的個(gè)數(shù)。
[0053] 步驟3,求解出模板圖像％，其中模板圖像吣與目標(biāo)圖像Τ的特征匹配最優(yōu)。
[0054] 利用特征匹配算法，對每個(gè)模板圖像Mk，k e {l，2，...，n}特征與目標(biāo)圖像T進(jìn)行 特征點(diǎn)匹配，得到匹配的特征點(diǎn)數(shù)目最多時(shí)對應(yīng)的模板圖像％，即模板圖像％包含在目標(biāo) 圖像T中，此時(shí)得到模板％對應(yīng)的虛擬對象Models
[0055] 步驟4,計(jì)算模板圖像吣與目標(biāo)圖像T的精確匹配特征點(diǎn)。
[0056] 修改參數(shù)，計(jì)算模板圖像吣的特征點(diǎn)Γ Mi和特征描述子D' Mi，并與目標(biāo)圖像T 進(jìn)行特征匹配，得到精確匹配的特征點(diǎn)對，并對所得的匹配特征點(diǎn)，濾除誤匹配點(diǎn)。
[0057] 步驟5,特征點(diǎn)跟蹤。
[0058] 對目標(biāo)圖像匹配的特征點(diǎn)進(jìn)行跟蹤，下一幀利用跟蹤的特征點(diǎn)進(jìn)行特征點(diǎn)匹配；
[0059] 步驟6,計(jì)算模板圖像吣相對相機(jī)的位移參數(shù)S和旋轉(zhuǎn)參數(shù)R。
[0060] 利用新的匹配特征點(diǎn)計(jì)算模板圖像Mi相對相機(jī)平面的單應(yīng)性矩陣H，由相機(jī)標(biāo)定 算法計(jì)算相機(jī)內(nèi)參和外參，根據(jù)單應(yīng)性矩陣Η以及相機(jī)內(nèi)參數(shù)估計(jì)模板圖像Mi相對相機(jī)的 位移參數(shù)S和旋轉(zhuǎn)參數(shù)R。
[0061] 步驟7,注冊虛擬三維模型。
[0062] 利用相機(jī)外部參數(shù)，以及模板圖像％相對相機(jī)的位移參數(shù)S和旋轉(zhuǎn)參數(shù)R，在目標(biāo) 圖像T中繪制出與模板圖像吣對應(yīng)的三維模型Models
[0063] 算法實(shí)際樣例
[0064] 目標(biāo)圖像與標(biāo)識圖像使用StefanLeutenegger等人提出的算法計(jì)算BRISK特征， 該算法用AGAST算法進(jìn)行角點(diǎn)檢測，用BRIEF算法生成特征描述符。標(biāo)識圖像在3層金字 塔結(jié)構(gòu)上提取特征點(diǎn)，特征點(diǎn)計(jì)算的距離閾值設(shè)為90,檢測圖像在原尺度上提取特征點(diǎn)，閾 值設(shè)置相同為90。特征點(diǎn)匹配時(shí)使用Hamming距離。
[0065] 表1是利用隨機(jī)厥特征、0RB特征以及BRISK特征對模板圖像進(jìn)行特征提取和匹 配時(shí)間比較。單位為毫秒（ms)。
[0066]

【權(quán)利要求】
1. 一種基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于包括： 圖像捕獲單元，用于捕獲目標(biāo)物的目標(biāo)圖像； 特征存儲單元，用于存儲多個(gè)特征文件的多尺度特征； 模型存儲單元，用于存儲至少一個(gè)的與特征文件對應(yīng)的模型； 第一特征提取單元，用于提取目標(biāo)圖像的自然特征； 第一特征匹配單元，用于分別匹配多個(gè)特征文件的特征與目標(biāo)圖像的特征，并查找與 目標(biāo)圖像最優(yōu)匹配的特征文件； 第二特征提取單元，用于進(jìn)一步提取目標(biāo)圖像的自然特征； 第二特征匹配單元，用于匹配最優(yōu)特征文件的特征與目標(biāo)圖像的特征，并剔除所述第 二特征匹配單元的誤匹配； 位置標(biāo)定單元，用于根據(jù)目標(biāo)圖像的特征匹配結(jié)果計(jì)算目標(biāo)圖像中目標(biāo)平面與相機(jī)平 面的單應(yīng)性矩陣，再利用相機(jī)標(biāo)定算法計(jì)算相機(jī)內(nèi)參數(shù)，由單應(yīng)性矩陣以及相機(jī)內(nèi)參數(shù)，計(jì) 算出目標(biāo)物相對相機(jī)平面的位移與旋轉(zhuǎn)； 圖像處理單元，用于根據(jù)目標(biāo)物相對相機(jī)平面的旋轉(zhuǎn)參數(shù)確定對應(yīng)模型的對應(yīng)視角的 模型； 圖像顯示單元，用于根據(jù)目標(biāo)物相對相機(jī)平面的平移參數(shù)在特定顯示區(qū)域顯示該視 角； 特征跟蹤單元，用于跟蹤目標(biāo)圖像的特征并將該圖像特征的狀態(tài)反饋至第二特征匹配 單元。
2. 根據(jù)權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于，所述特征跟蹤單元根據(jù)光流 法跟蹤目標(biāo)圖像的特征。
3. 根據(jù)權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于，所述特征跟蹤單元跟蹤目標(biāo) 圖像特征的過程中，進(jìn)行特征匹配并剔除誤匹配，同時(shí)估計(jì)下一幀目標(biāo)圖像特征的位置。
4. 根據(jù)權(quán)利要求1所述的增強(qiáng)現(xiàn)實(shí)的系統(tǒng)，其特征在于，所述模型為三維模型、三維動 畫、二維圖片或視頻。
5. -種基于圖像特征匹配的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，包括以下步驟： 捕獲目標(biāo)物的目標(biāo)圖像； 提取目標(biāo)圖像的自然特征； 比較已存儲的多個(gè)特征文件的特征與該目標(biāo)圖像的特征，查找與目標(biāo)圖像最優(yōu)匹配的 特征文件； 進(jìn)一步提取目標(biāo)圖像的自然特征； 匹配最優(yōu)匹配的特征文件的特征與該目標(biāo)圖像的特征，剔除誤匹配； 根據(jù)特征匹配結(jié)果計(jì)算目標(biāo)圖像中目標(biāo)與相機(jī)平面的單應(yīng)性矩陣，再利用相機(jī)標(biāo)定算 法計(jì)算相機(jī)內(nèi)參數(shù)，由單應(yīng)性矩陣以及相機(jī)內(nèi)參數(shù)，計(jì)算出目標(biāo)物相對相機(jī)平面的位移與 旋轉(zhuǎn)； 根據(jù)目標(biāo)物相對相機(jī)平面的旋轉(zhuǎn)參數(shù)確定在最優(yōu)特征文件對應(yīng)的模型的對應(yīng)視角； 根據(jù)目標(biāo)物相對相機(jī)平面的位移參數(shù)在特定顯示區(qū)域顯示模型該視角； 跟蹤上述進(jìn)一步提取的目標(biāo)圖像的特征，跟蹤成功則匹配最優(yōu)匹配的特征文件的特征 與特征跟蹤的結(jié)果的預(yù)測特征，繼續(xù)計(jì)算目標(biāo)物的位移與旋轉(zhuǎn)參數(shù)；跟蹤失敗則反饋捕獲 目標(biāo)物的目標(biāo)圖像。
6. 根據(jù)權(quán)利要求5所述的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，根據(jù)目標(biāo)圖像的跟蹤結(jié)果，不 斷更新目標(biāo)物的位置，使得模型隨目標(biāo)物同步運(yùn)動。
7. 根據(jù)權(quán)利要求5或6所述的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，由多個(gè)預(yù)存圖像提取特征 文件。
8. 根據(jù)權(quán)利要求5或6所述的增強(qiáng)現(xiàn)實(shí)的方法，其特征在于，捕獲目標(biāo)物的目標(biāo)圖像后 降噪、增強(qiáng)處理。
【文檔編號】G06T7/00GK104050475SQ201410275712
【公開日】2014年9月17日 申請日期:2014年6月19日 優(yōu)先權(quán)日:2014年6月19日
【發(fā)明者】樊曉東, 孟俊華, 唐文平, 劉家賓, 樊曉莉, 惠艷萍, 馮欣, 馮賓, 田明 申請人:樊曉東