本發(fā)明涉及城市地區(qū)和室內(nèi)導(dǎo)航定位技術(shù)領(lǐng)域，具體涉及一種通過用戶視覺傳感器采集圖像信息和提取特征，并通過利用與三維模型的特征匹配構(gòu)建相機(jī)交會(huì)的立體幾何映射，在城市峽谷和室內(nèi)提供厘米級(jí)的高精度定位技術(shù)，為將來無人駕駛和室內(nèi)定位提供有效的技術(shù)支撐。

背景技術(shù)：

當(dāng)今社會(huì)，人們對(duì)導(dǎo)航定位信息的需求日益增長(zhǎng)。隨著科學(xué)技術(shù)的飛速發(fā)展，以GNSS(Global Navigation Satellite System,全球?qū)Ш叫l(wèi)星系統(tǒng))為代表的天基定位系統(tǒng)時(shí)刻為全球用戶提供全天候、低成本的定位、導(dǎo)航與授時(shí)服務(wù)。然而，天基定位系統(tǒng)在城市地區(qū)和室內(nèi)面臨著越來越多的環(huán)境限制。例如在城市中心商業(yè)區(qū)，由于高層建筑對(duì)射頻信號(hào)的遮擋和多路徑干擾等現(xiàn)象的存在，用戶設(shè)備無法連續(xù)跟蹤衛(wèi)星信號(hào)，導(dǎo)致定位結(jié)果出現(xiàn)等待時(shí)間長(zhǎng)、精度低、連續(xù)性差等問題，嚴(yán)重時(shí)甚至無法定位。在室內(nèi)環(huán)境中，多數(shù)情況下GNSS信號(hào)會(huì)因受建筑物的完全遮擋而無法用于定位。

為了改善天基定位系統(tǒng)在城市地區(qū)的定位性能，提高整體導(dǎo)航定位結(jié)果的可靠性和連續(xù)性，輔助GNSS(A－GNSS)應(yīng)運(yùn)而生并將地面蜂窩網(wǎng)絡(luò)和天基定位系統(tǒng)進(jìn)行融合。A－GNSS雖然能夠提高天基衛(wèi)星信號(hào)的搜索效率、縮短首次定位時(shí)間并在一定程度上減少定位移動(dòng)終端的功耗，然而對(duì)定位精度并無本質(zhì)優(yōu)化。

隨著城市數(shù)字化和信息化進(jìn)程的不斷深入，數(shù)字城市乃至智慧城市逐漸成為未來城市發(fā)展的方向，并借助物聯(lián)網(wǎng)、傳感器網(wǎng)等構(gòu)建全新的城市形態(tài)。研究人員已開始將Wi-Fi接入點(diǎn)AP或藍(lán)牙等無線傳感器用作定位源，借助指紋匹配定位原理實(shí)現(xiàn)城市和室內(nèi)環(huán)境下的無縫定位。以Wi-Fi為例，其AP接入點(diǎn)在城市范圍大量存在，雖然系統(tǒng)易于搭建，應(yīng)用范圍廣泛，然而信號(hào)覆蓋范圍有限，指紋庫搭建階段需耗費(fèi)大量勞力，信號(hào)易受射頻干擾，定位精度和定位結(jié)果穩(wěn)定性差，功耗也較高。此外，當(dāng)城市建筑物結(jié)構(gòu)發(fā)生改變或?qū)P接入點(diǎn)進(jìn)行更換時(shí)，整個(gè)定位系統(tǒng)面臨失效的風(fēng)險(xiǎn)。

隨著無人車、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)等技術(shù)的發(fā)展，在城市峽谷地區(qū)和室內(nèi)環(huán)境提供厘米級(jí)高精度定位服務(wù)在不遠(yuǎn)的將來將成為大眾需求。由于這些定位環(huán)境的復(fù)雜性，上述諸類定位技術(shù)難以滿足用戶對(duì)精度、可靠性、連續(xù)性的要求。高端同步定位與制圖系統(tǒng)(Simultaneous Location and Mapping)能提供高精度、高可靠性定位技術(shù)，但其昂貴的硬件成本是實(shí)現(xiàn)大眾普及的最大障礙。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明旨在提供一種針對(duì)城市地區(qū)和室內(nèi)應(yīng)用的高精度無縫定位方法，利用用戶終端視覺傳感器(如相機(jī)、錄像機(jī)、智能手機(jī)等)采集周圍場(chǎng)景圖像信息，在不改造現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)設(shè)施和用戶終端傳感器的前提下，實(shí)現(xiàn)厘米級(jí)實(shí)時(shí)定位。

本發(fā)明提供一種城市地區(qū)和室內(nèi)高精度視覺定位系統(tǒng)，用于基于視覺傳感器采集周圍環(huán)境圖像信息而實(shí)現(xiàn)高精度定位的城市地區(qū)和室內(nèi)定位，包括圖像特征計(jì)算子單元、圖像特征匹配子單元、相機(jī)交會(huì)計(jì)算子單元、特征庫及三維模型更新子單元；其中，

圖像特征計(jì)算子單元，用于在視覺傳感器拍攝場(chǎng)景圖像信息后計(jì)算并提取圖像的顯著特征信息；

圖像特征匹配子單元，用于根據(jù)由所述圖像特征計(jì)算子單元所確定的顯著特征信息在數(shù)字三維模型的特征信息庫中進(jìn)行相似度識(shí)別與匹配，并記錄下匹配后特征在圖像中的二維坐標(biāo)以及在真實(shí)場(chǎng)景中的三維地理坐標(biāo)；

相機(jī)交會(huì)計(jì)算子單元，用于根據(jù)圖像特征匹配子單元所記錄下的匹配坐標(biāo)信息，恢復(fù)從三維場(chǎng)景到二維圖像的幾何映射關(guān)系，并建立由圖像二維坐標(biāo)到三維空間坐標(biāo)的相機(jī)交會(huì)模型，確定視覺傳感器設(shè)備及動(dòng)態(tài)用戶的三維位置和姿態(tài)信息；

特征庫及三維模型更新子單元，用于接收視覺傳感器拍攝的眾源圖像信息，重新構(gòu)建或更新真實(shí)場(chǎng)景相應(yīng)數(shù)字三維模型，并更新特征信息庫。

而且，定位環(huán)境包括室內(nèi)及室外環(huán)境；

動(dòng)態(tài)用戶對(duì)象包括行人、機(jī)動(dòng)車司機(jī)、機(jī)動(dòng)車乘客、有人駕駛車輛和無人駕駛車輛；

所述視覺傳感器包括智能手機(jī)、可穿戴設(shè)備、數(shù)碼相機(jī)、攝影機(jī)、監(jiān)視器、運(yùn)動(dòng)相機(jī)、行車記錄儀、倒車照相機(jī)、深度相機(jī)；

而且，所述視覺傳感器數(shù)量包括一臺(tái)或多臺(tái)；所述視覺傳感器拍攝范圍包括單方位、多方位和全方位視角。

而且，若使用機(jī)動(dòng)車作為動(dòng)態(tài)用戶，視覺傳感器的擺放位置包括車艙內(nèi)和車艙外；視覺傳感器擺放姿態(tài)包括前視、后視、左視、右視、側(cè)視、俯視、仰視。

而且，數(shù)字三維模型的特征信息庫中至少包括特征描述信息，以及與特征相對(duì)應(yīng)的三維坐標(biāo)信息，且所述特征的具體描述形式由所選取的特征提取算法決定。

而且，用于定位場(chǎng)景的數(shù)字三維模型及特征信息庫的獲取途徑包括商業(yè)購買、網(wǎng)絡(luò)資源獲取和自主式構(gòu)建。

而且，用于定位場(chǎng)景的數(shù)字三維模型及特征信息庫的自主式構(gòu)建實(shí)現(xiàn)方式，包括在云服務(wù)器中整合眾源圖像信息數(shù)據(jù)、提取并匹配眾源圖像場(chǎng)景特征、利用計(jì)算機(jī)視覺幾何關(guān)系計(jì)算三維模型并記錄特征信息庫。

而且，所述圖像特征計(jì)算子單元所計(jì)算并記錄的特征信息，包括特征的平面坐標(biāo)和表述此特征的各類統(tǒng)計(jì)信息值，所述特征的具體表述形式由所選取的特征提取算法決定。

而且，所述圖像特征匹配子單元，采用概略用戶位置信息，用于提高圖像特征與特征信息庫數(shù)據(jù)的匹配效率。

而且，圖像特征匹配子單元通過對(duì)比圖像特征中和特征信息庫中特征的各類統(tǒng)計(jì)信息值，依據(jù)所選取特征匹配準(zhǔn)則，確定從二維圖像到三維模型的合適匹配，在一組匹配中至少記錄下包括圖像二維坐標(biāo)和真實(shí)場(chǎng)景三維坐標(biāo)。

而且，所述相機(jī)交會(huì)計(jì)算子單元包括錯(cuò)誤特征匹配剔除和定位求解，

所述錯(cuò)誤特征匹配剔除過程用于在所有的二維到三維的匹配映射中檢測(cè)并查找出錯(cuò)誤匹配，從而在進(jìn)行所述定位求解前對(duì)錯(cuò)誤匹配進(jìn)行剔除；

所述定位求解通過恢復(fù)從真實(shí)場(chǎng)景中多個(gè)空間點(diǎn)的三維坐標(biāo)到圖像對(duì)應(yīng)特征點(diǎn)的二維像素坐標(biāo)的立體幾何映射，確定視覺傳感器或用戶在已知坐標(biāo)系下的位置和姿態(tài)信息。

而且，所述相機(jī)交會(huì)計(jì)算子單元還包括濾波器，用于對(duì)定位結(jié)果進(jìn)行進(jìn)一步濾波和優(yōu)化處理。

而且，所述相機(jī)交會(huì)計(jì)算子單元將某單一視覺傳感器位置作為求解對(duì)象并忽略其他視覺傳感器，或采取聯(lián)合處理方式將多臺(tái)視覺傳感器信息進(jìn)行融合。

而且，所述特征庫及三維模型更新子單元，不斷接收由大量視覺傳感器拍攝的眾源圖像和/或視頻信息，在眾源圖像信息所涵蓋的范圍內(nèi)重新構(gòu)建或更新真實(shí)場(chǎng)景相應(yīng)數(shù)字三維模型，并將新出現(xiàn)的特征及其對(duì)應(yīng)三維坐標(biāo)添加至原有特征信息庫中，構(gòu)建更新后的特征信息庫，以用于提供穩(wěn)健可靠的可持續(xù)定位功能。

本發(fā)明相應(yīng)提供一種城市地區(qū)和室內(nèi)高精度視覺定位方法，用于基于視覺傳感器采集周圍環(huán)境圖像信息而實(shí)現(xiàn)高精度定位的城市地區(qū)和室內(nèi)定位，包括圖像特征計(jì)算過程、圖像特征匹配過程、相機(jī)交會(huì)計(jì)算過程、特征庫及三維模型更新過程；其中，

圖像特征計(jì)算過程，用于在視覺傳感器拍攝場(chǎng)景圖像信息后計(jì)算并提取圖像的顯著特征信息；

圖像特征匹配過程，用于根據(jù)由所述圖像特征計(jì)算過程所確定的顯著特征信息在數(shù)字三維模型的特征信息庫中進(jìn)行相似度識(shí)別與匹配，并記錄下匹配后特征在圖像中的二維坐標(biāo)以及在真實(shí)場(chǎng)景中的三維地理坐標(biāo)；

相機(jī)交會(huì)計(jì)算過程，用于根據(jù)圖像特征匹配過程所記錄下的匹配坐標(biāo)信息，恢復(fù)從三維場(chǎng)景到二維圖像的幾何映射關(guān)系，并建立由圖像二維坐標(biāo)到三維空間坐標(biāo)的相機(jī)交會(huì)模型，確定視覺傳感器設(shè)備及動(dòng)態(tài)用戶的三維位置和姿態(tài)信息；

特征庫及三維模型更新過程，用于接收視覺傳感器拍攝的眾源圖像信息，重新構(gòu)建或更新真實(shí)場(chǎng)景相應(yīng)數(shù)字三維模型，并更新特征信息庫。

而且，定位環(huán)境包括室內(nèi)及室外環(huán)境；

動(dòng)態(tài)用戶對(duì)象包括行人、機(jī)動(dòng)車司機(jī)、機(jī)動(dòng)車乘客、有人駕駛車輛和無人駕駛車輛；

所述視覺傳感器包括智能手機(jī)、可穿戴設(shè)備、數(shù)碼相機(jī)、攝影機(jī)、監(jiān)視器、運(yùn)動(dòng)相機(jī)、行車記錄儀、倒車照相機(jī)、深度相機(jī)；

而且，所述視覺傳感器數(shù)量包括一臺(tái)或多臺(tái)；所述視覺傳感器拍攝范圍包括單方位、多方位和全方位視角。

而且，若使用機(jī)動(dòng)車作為動(dòng)態(tài)用戶，視覺傳感器的擺放位置包括車艙內(nèi)和車艙外；視覺傳感器擺放姿態(tài)包括前視、后視、左視、右視、側(cè)視、俯視、仰視。

而且，數(shù)字三維模型的特征信息庫中至少包括特征描述信息，以及與特征相對(duì)應(yīng)的三維坐標(biāo)信息，且所述特征的具體描述形式由所選取的特征提取算法決定。

而且，用于定位場(chǎng)景的數(shù)字三維模型及特征信息庫的獲取途徑包括商業(yè)購買、網(wǎng)絡(luò)資源獲取和自主式構(gòu)建。

而且，用于定位場(chǎng)景的數(shù)字三維模型及特征信息庫的自主式構(gòu)建實(shí)現(xiàn)方式，包括在云服務(wù)器中整合眾源圖像信息數(shù)據(jù)、提取并匹配眾源圖像場(chǎng)景特征、利用計(jì)算機(jī)視覺幾何關(guān)系計(jì)算三維模型并記錄特征信息庫。

而且，所述圖像特征計(jì)算過程所計(jì)算并記錄的特征信息，包括特征的平面坐標(biāo)和表述此特征的各類統(tǒng)計(jì)信息值，所述特征的具體表述形式由所選取的特征提取算法決定。

而且，所述圖像特征匹配過程，采用概略用戶位置信息，用于提高圖像特征與特征信息庫數(shù)據(jù)的匹配效率。

而且，圖像特征匹配過程通過對(duì)比圖像特征中和特征信息庫中特征的各類統(tǒng)計(jì)信息值，依據(jù)所選取特征匹配準(zhǔn)則，確定從二維圖像到三維模型的合適匹配，在一組匹配中至少記錄下包括圖像二維坐標(biāo)和真實(shí)場(chǎng)景三維坐標(biāo)。

而且，所述相機(jī)交會(huì)計(jì)算過程包括錯(cuò)誤特征匹配剔除和定位求解，

所述錯(cuò)誤特征匹配剔除過程用于在所有的二維到三維的匹配映射中檢測(cè)并查找出錯(cuò)誤匹配，從而在進(jìn)行所述定位求解前對(duì)錯(cuò)誤匹配進(jìn)行剔除；

所述定位求解通過恢復(fù)從真實(shí)場(chǎng)景中多個(gè)空間點(diǎn)的三維坐標(biāo)到圖像對(duì)應(yīng)特征點(diǎn)的二維像素坐標(biāo)的立體幾何映射，確定視覺傳感器或用戶在已知坐標(biāo)系下的位置和姿態(tài)信息。

而且，所述相機(jī)交會(huì)計(jì)算過程還包括濾波器，用于對(duì)定位結(jié)果進(jìn)行進(jìn)一步濾波和優(yōu)化處理。

而且，所述相機(jī)交會(huì)計(jì)算過程將某單一視覺傳感器位置作為求解對(duì)象并忽略其他視覺傳感器，或采取聯(lián)合處理方式將多臺(tái)視覺傳感器信息進(jìn)行融合。

而且，所述特征庫及三維模型更新過程，不斷接收由大量視覺傳感器拍攝的眾源圖像和/或視頻信息，在眾源圖像信息所涵蓋的范圍內(nèi)重新構(gòu)建或更新真實(shí)場(chǎng)景相應(yīng)數(shù)字三維模型，并將新出現(xiàn)的特征及其對(duì)應(yīng)三維坐標(biāo)添加至原有特征信息庫中，構(gòu)建更新后的特征信息庫，以用于提供穩(wěn)健可靠的可持續(xù)定位功能。

本發(fā)明所提出的城市地區(qū)和室內(nèi)高精度視覺定位技術(shù)方案具有以下有益效果：

(1)以手持或車載、穿戴式等移動(dòng)視覺傳感器設(shè)備所采集的圖像或視頻數(shù)據(jù)作為城市地區(qū)和室內(nèi)環(huán)境下的直接觀測(cè)信息，無需持續(xù)接收來自GNSS或WLAN的射頻信號(hào)，避免了射頻信號(hào)可能出現(xiàn)的多徑和遮擋現(xiàn)象，從而實(shí)現(xiàn)連續(xù)定位；

(2)當(dāng)所拍攝環(huán)境有足夠的匹配特征點(diǎn)時(shí)，本發(fā)明所述的相機(jī)交會(huì)技術(shù)方案可有效避免傳統(tǒng)定位方法中由于場(chǎng)景切換造成的定位結(jié)果跳變，低成本、高效率地實(shí)現(xiàn)厘米級(jí)定位；

(3)本發(fā)明所述技術(shù)方案所需硬件完全基于現(xiàn)有市場(chǎng)上可供應(yīng)的設(shè)備(包括視覺傳感器和云服務(wù)器等)，無需額外花費(fèi)成本進(jìn)行硬件改造和升級(jí)，并支持眾源數(shù)據(jù)采集方式，極大減少所需耗費(fèi)的勞力；

(4)通過本發(fā)明所述技術(shù)方案對(duì)周圍環(huán)境進(jìn)行圖像采集，可實(shí)現(xiàn)對(duì)城市和室內(nèi)數(shù)字三維模型的補(bǔ)充和更新，進(jìn)而保證當(dāng)周圍環(huán)境或場(chǎng)景出現(xiàn)變化(如改變裝飾布局、新建樓宇等)，該方案能夠提供穩(wěn)健的可持續(xù)定位能力。

附圖說明

圖1為現(xiàn)有技術(shù)的城市環(huán)境下GNSS衛(wèi)星信號(hào)接收示意圖

圖2為本發(fā)明實(shí)施例的利用手持式移動(dòng)設(shè)備拍攝室內(nèi)圖像信息示意圖。

圖3為本發(fā)明實(shí)施例利用頭戴式視覺傳感器設(shè)備實(shí)現(xiàn)城市地區(qū)高精度視覺定位方法示例圖。

圖4為本發(fā)明實(shí)施例利用車載式移動(dòng)視覺傳感器設(shè)備實(shí)現(xiàn)城市地區(qū)高精度視覺定位方法示例圖。

圖5為本發(fā)明實(shí)施例城市地區(qū)高精度視覺定位方法中的特征匹配示意圖。

圖6為本發(fā)明實(shí)施例圖像平面坐標(biāo)系o-xy、像機(jī)坐標(biāo)系O-X_cY_cZ_c和大地坐標(biāo)系O_g-X_gY_gZ_g示意及轉(zhuǎn)換關(guān)系圖。

圖7為本發(fā)明實(shí)施例所述定位信息獲取數(shù)據(jù)流示意圖。

圖8為本發(fā)明實(shí)施例所述城市地區(qū)高精度視覺定位方法實(shí)施流程圖。

具體實(shí)施方式

下面通過實(shí)施例及附圖，對(duì)本發(fā)明的技術(shù)方案作進(jìn)一步具體的說明。

首先描述城市環(huán)境下以射頻信號(hào)為基礎(chǔ)的用戶定位信號(hào)接收情況。圖1是描述了城市環(huán)境下GNSS衛(wèi)星信號(hào)接收的示意圖。

如圖1所示，用戶(汽車)行駛在高樓林立的城市峽谷中，GNSS天線持續(xù)接收來自導(dǎo)航衛(wèi)星(包括但不局限于GPS、BeiDou、GLONASS、Galileo、WAAS、EGNOS、QZSS、GAGAN/IRNSS等)和(或)地基偽衛(wèi)星的導(dǎo)航衛(wèi)星射頻信號(hào)。圖1中由于高層建筑對(duì)射頻信號(hào)的遮擋，用戶可視范圍內(nèi)無法連續(xù)跟蹤多顆衛(wèi)星的導(dǎo)航信號(hào)，導(dǎo)致定位結(jié)果出現(xiàn)等待時(shí)間長(zhǎng)、精度低、連續(xù)性差等問題，嚴(yán)重時(shí)甚至無法定位。

另一方面，視覺傳感器能在很短(0.001-0.01秒)時(shí)間內(nèi)通過圖像或視頻的方式捕獲大量的高精度信息。當(dāng)其處于外界光源覆蓋范圍內(nèi)，周圍場(chǎng)景圖像或視頻信息可隨時(shí)被獲取。由于城市地區(qū)建筑物林立，室內(nèi)環(huán)境場(chǎng)景復(fù)雜，因此當(dāng)用戶位于城市地區(qū)或室內(nèi)環(huán)境時(shí)，視覺傳感器所采集的圖像和(或)視頻信息往往具有豐富多樣和清晰可辨的邊緣和(或)紋理特征，且不同場(chǎng)景間圖像特征往往差異性大。

具體實(shí)施時(shí)，本發(fā)明所提供方法可基于軟件技術(shù)實(shí)現(xiàn)自動(dòng)運(yùn)行流程，也可采用模塊化方式實(shí)現(xiàn)相應(yīng)系統(tǒng)。

本發(fā)明實(shí)施例提供的視覺定位系統(tǒng)包括圖像特征計(jì)算子單元、圖像特征匹配子單元、相機(jī)交會(huì)計(jì)算子單元、特征庫及三維模型更新子單元四部分；其中，

圖像特征計(jì)算子單元，用于在視覺傳感器拍攝場(chǎng)景圖像信息后計(jì)算并提取圖像的顯著特征信息；

圖像特征匹配子單元，用于根據(jù)由所述圖像特征計(jì)算子單元所確定的顯著特征信息在數(shù)字三維模型的特征信息庫中進(jìn)行相似度識(shí)別與匹配，并記錄下匹配后特征在圖像中的二維坐標(biāo)以及在真實(shí)場(chǎng)景中的三維地理坐標(biāo)；

相機(jī)交會(huì)計(jì)算子單元，用于根據(jù)圖像特征匹配子單元所記錄下的匹配坐標(biāo)信息，恢復(fù)從三維場(chǎng)景到二維圖像的幾何映射關(guān)系，并建立由圖像二維坐標(biāo)到三維空間坐標(biāo)的相機(jī)交會(huì)模型，確定視覺傳感器設(shè)備及動(dòng)態(tài)用戶的三維位置和姿態(tài)信息；

特征庫及三維模型更新子單元，用于接收視覺傳感器拍攝的眾源圖像信息，重新構(gòu)建或更新真實(shí)場(chǎng)景相應(yīng)數(shù)字三維模型，并更新特征信息庫。

本發(fā)明適用的定位環(huán)境包括室內(nèi)及室外環(huán)境。

本發(fā)明適用對(duì)象包括(但不限于)行人、機(jī)動(dòng)車司機(jī)、機(jī)動(dòng)車乘客、有人駕駛車輛和無人駕駛車輛等；本發(fā)明所使用視覺傳感器平臺(tái)包括(但不限于)智能手機(jī)、數(shù)碼相機(jī)(包括普通數(shù)碼相機(jī))、運(yùn)動(dòng)相機(jī)、可穿戴設(shè)備(例如頭戴式設(shè)備)、攝影機(jī)、監(jiān)視器、(車輛前裝或后裝)行車記錄儀、(車輛前裝或后裝)倒車照相機(jī)、深度相機(jī)等。如使用車輛平臺(tái)，視覺傳感器可擺放的位置包括車艙內(nèi)和車艙外(包括車頂)；視覺傳感器姿態(tài)可包括(但不限于)前視、后視、左視、右視、側(cè)視等；視覺傳感器數(shù)量既可為一臺(tái)，亦可為多臺(tái)；(一臺(tái)或多臺(tái))視覺傳感器可通過單方位、多方位或全方位視角觀測(cè)并感知周圍場(chǎng)景信息。

優(yōu)選地，使用機(jī)動(dòng)車作為動(dòng)態(tài)用戶，視覺傳感器的擺放位置包括車艙內(nèi)和車艙外。若使用機(jī)動(dòng)車作為動(dòng)態(tài)用戶，視覺傳感器擺放姿態(tài)包括前視、后視、左視、右視、側(cè)視、俯視、仰視。

現(xiàn)將以手持移動(dòng)設(shè)備為本發(fā)明的一個(gè)實(shí)施例來說明室內(nèi)環(huán)境下利用所獲取的圖像信息作為定位信息源的示意圖。如圖2所示，用戶手持移動(dòng)終端位于室內(nèi)廚房，通過移動(dòng)終端相機(jī)傳感器將真實(shí)三維場(chǎng)景信息捕獲并在二維圖像空間進(jìn)行數(shù)字化顯示。通過獲取一系列內(nèi)容豐富、邊緣清晰可辨的圖像和(或)視頻信息，本發(fā)明的核心思想是通過提取用戶視覺傳感器所采集到的圖像或視頻信息特征，并在城市或室內(nèi)三維模型中進(jìn)行特征匹配，進(jìn)而恢復(fù)從真實(shí)場(chǎng)景特征到圖像對(duì)應(yīng)特征的立體幾何映射，最終計(jì)算用戶視覺傳感器的三維位置坐標(biāo)和(或)姿態(tài)。

圖3是示出利用頭戴式視覺傳感器設(shè)備實(shí)現(xiàn)城市地區(qū)高精度視覺定位方法的實(shí)施例示意圖，在(包括但不限于)虛擬現(xiàn)實(shí)或增強(qiáng)現(xiàn)實(shí)環(huán)境中實(shí)現(xiàn)如圖2所示的對(duì)現(xiàn)實(shí)城市或室內(nèi)場(chǎng)景的圖像和(或)視頻信息獲取。類似的，圖4是示出利用車載式移動(dòng)視覺傳感器設(shè)備實(shí)現(xiàn)城市地區(qū)高精度視覺定位方法的實(shí)施例示意圖。

需要借助定位場(chǎng)景的數(shù)字三維模型及特征信息庫，定位場(chǎng)景數(shù)字三維模型的特征信息庫中至少包括特征描述信息，以及與特征相對(duì)應(yīng)的三維坐標(biāo)信息，且所述特征的具體描述形式由所選取的特征提取算法決定。

因此，使用本發(fā)明所提出的城市和室內(nèi)高精度視覺定位的一個(gè)前提是需要借助定位場(chǎng)景的數(shù)字三維模型，且三維模型具備豐富且完整的特征信息庫。在特征信息庫中，提取并描述特征點(diǎn)的方法包括(但不局限于)Harris算法、對(duì)比度紋理直方圖(Contrast Context Histogram，CCH)算法、尺度不變換特征變換(Scale invariant feature Transform，SIFT)算法、加速穩(wěn)健特征(Speeded Up Robust Features，SURF)算法、最鄰近特征軌跡(Nearest Feature Trajectory，NFT)算法以及諸如此類算法的衍生算法或合成算法等。

定位場(chǎng)景數(shù)字三維模型的特征信息庫中包括(但不限于)三維模型中每一特征點(diǎn)的描述信息，以及與每一特征點(diǎn)相對(duì)應(yīng)的三維坐標(biāo)。特征點(diǎn)的描述形式由所選取的特征提取算法決定，包括(但不限于)Harris算法、對(duì)比度紋理直方圖(Contrast Context Histogram，CCH)算法、尺度不變換特征變換(Scale invariant feature Transform，SIFT)算法、加速穩(wěn)健特征(Speeded Up Robust Features，SURF)算法、最鄰近特征軌跡(Nearest Feature Trajectory，NFT)算法以及諸如此類算法的衍生算法或合成算法等。

定位場(chǎng)景的數(shù)字三維模型及所述特征信息庫可通過(但不限于)商業(yè)購買、網(wǎng)絡(luò)資源獲取或自主式構(gòu)建等。

所述定位場(chǎng)景數(shù)字三維模型及所述特征信息庫的自主式構(gòu)建步驟包括：在云服務(wù)器中整合眾源圖像信息數(shù)據(jù)、提取并匹配眾源圖像場(chǎng)景特征、利用計(jì)算機(jī)視覺幾何關(guān)系計(jì)算三維模型并記錄特征信息庫。采取自主式構(gòu)建場(chǎng)景數(shù)字三維模型的方法，即通過在云服務(wù)器中整合眾源圖像場(chǎng)景信息數(shù)據(jù)，依靠計(jì)算機(jī)視覺算法(諸如SIFT、SURF、NFT以及諸如此類算法的衍生算法或合成算法等)提取并匹配大量的場(chǎng)景特征點(diǎn)，構(gòu)建場(chǎng)景特征信息庫，利用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from Motion，SfM)理論和少量已知點(diǎn)坐標(biāo)，在眾源圖像信息所涵蓋的范圍內(nèi)構(gòu)建真實(shí)場(chǎng)景三維模型。

本發(fā)明中，所述眾源圖像信息數(shù)據(jù)來自上述各類定位環(huán)境、動(dòng)態(tài)用戶、視覺傳感器、傳感器數(shù)量、傳感器拍攝范圍、傳感器擺放位置、傳感器擺放姿態(tài)。優(yōu)選地，眾源數(shù)據(jù)的信息源包括(但不限于)大量智能手機(jī)用戶所拍攝并上傳至云服務(wù)器的圖像或視頻信息以及大量車輛平臺(tái)所搭載的視覺傳感器所拍攝并上傳至云服務(wù)器的圖像或視頻信息等。

定位場(chǎng)景三維模型的三維坐標(biāo)系可基于全球參考基準(zhǔn)(如地心地固坐標(biāo)系(Earth-Centered,Earth-Fixed，ECEF))或區(qū)域參考基準(zhǔn)(如當(dāng)?shù)氐乩碜鴺?biāo)系)亦或其他參考基準(zhǔn)。

本發(fā)明實(shí)施例所提出的高精度視覺定位方法，相應(yīng)包括(I)單張或多張圖像特征計(jì)算過程、(II)單張或多張圖像特征匹配過程、(III)相機(jī)交會(huì)過程、(IV)特征庫及三維模型更新過程四部分。

(I)單張或多張圖像特征計(jì)算：在視覺傳感器拍攝場(chǎng)景圖像信息后計(jì)算并提取圖像的顯著特征信息。

對(duì)第(I)部分而言，進(jìn)行圖像特征計(jì)算時(shí)，所計(jì)算并記錄的特征信息包括特征的平面坐標(biāo)和表述此特征的各類統(tǒng)計(jì)信息值，所述特征的具體表述形式由所選取的特征提取算法決定。計(jì)算平臺(tái)包括視覺傳感器或遠(yuǎn)端平臺(tái)。

具體實(shí)施時(shí)，視覺傳感器在拍攝場(chǎng)景圖像信息后，立即對(duì)圖像特征進(jìn)行分析，可通過使用Harris、CCH、SIFT、SURF、NFT算法以及諸如此類算法的衍生算法或合成算法等，計(jì)算并提取單張或多張圖像(如車載多個(gè)相機(jī)同步拍攝)的所有顯著特征。此部分的計(jì)算任務(wù)既可在視覺傳感器平臺(tái)上實(shí)現(xiàn)，亦可通過(有線或無線)傳輸鏈路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)將圖像上傳至云服務(wù)器實(shí)現(xiàn)。

對(duì)第(II)部分而言，進(jìn)行圖像特征匹配時(shí)，可提供概略用戶位置信息，用于提高圖像特征與特征信息庫數(shù)據(jù)的匹配效率；通過對(duì)比圖像特征中和特征信息庫中特征的各類統(tǒng)計(jì)信息值，依據(jù)所選取特征匹配準(zhǔn)則，確定從二維圖像到三維模型的最佳匹配，在一組匹配中至少記錄下包括圖像二維坐標(biāo)和真實(shí)場(chǎng)景三維坐標(biāo)。

具體實(shí)施時(shí)，任一時(shí)刻單一用戶平臺(tái)的視覺傳感器可拍攝單張(如行人手持智能手機(jī)拍攝)或多張(車載多方位或全方位相機(jī)拍攝)周圍場(chǎng)景圖像。此環(huán)節(jié)將所拍攝的(單張或多張)圖像的所有特征逐一在定位場(chǎng)景三維模型的特征信息庫中進(jìn)行匹配。每找到一組匹配特征，同時(shí)記錄下該特征在當(dāng)前圖片中的像素坐標(biāo)以及在特征庫中的三維地理坐標(biāo)。所采用的圖像特征匹配算法可包括(但不限于)va-file、IQ-tree、LPC-file、IDistance、多重kD-Tree、聚類分解B+-Tree、VQ-Index、LSH、KLSH、LSB-tree、TCAN技術(shù)、WSH、MS-tree、MRSVQH、Best-Bin-First算法以及諸如此類算法的衍生算法或合成算法等。

為了提高當(dāng)前(單張或多張)圖像特征與特征信息庫數(shù)據(jù)的匹配效率，可通過利用現(xiàn)有適用于城市和室內(nèi)環(huán)境的定位技術(shù)，對(duì)用戶進(jìn)行概略定位(數(shù)米～數(shù)十米精度)，由此所需檢索的特征信息庫數(shù)據(jù)可縮小至用戶概略位置周圍。概略定位可由一種定位技術(shù)實(shí)現(xiàn)，也可由多種定位技術(shù)融合實(shí)現(xiàn)。具體進(jìn)行概略定位的技術(shù)可包括(但不限于)GNSS定位、Wi-Fi定位、地磁定位、行人航位推算(Pedestrian Dead Reckoning，PDR)定位以及諸如此類算法的衍生算法或合成算法等。在復(fù)雜定位場(chǎng)所中進(jìn)行概略定位尤為重要，因?yàn)榇祟惌h(huán)境中場(chǎng)景特征信息庫可能信息量巨大，概略位置的提供可縮小搜索范圍以便極大提高特征信息庫數(shù)據(jù)搜索和特征匹配效率。

第(II)部分計(jì)算任務(wù)既可在視覺傳感器平臺(tái)上實(shí)現(xiàn)，亦可在云服務(wù)器中實(shí)現(xiàn)。當(dāng)?shù)?II)部分計(jì)算任務(wù)在視覺傳感器平臺(tái)上實(shí)現(xiàn)時(shí)(如用戶使用智能手機(jī)、可穿戴設(shè)備等)，視覺傳感器平臺(tái)可預(yù)先通過(有線或無線)傳輸鏈路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)從云服務(wù)器下載周圍場(chǎng)景特征信息庫數(shù)據(jù)；當(dāng)?shù)?II)部分計(jì)算任務(wù)在云服務(wù)器上實(shí)現(xiàn)時(shí)(如用戶使用車載平臺(tái)的普通數(shù)碼相機(jī)、運(yùn)動(dòng)相機(jī)、行車記錄儀、倒車照相機(jī)等)，云服務(wù)器至少通過(有線或無線)傳輸鏈路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)接收發(fā)自視覺傳感器的當(dāng)前概略位置和圖像特征點(diǎn)信息。

對(duì)第(III)部分而言，進(jìn)行相機(jī)交會(huì)計(jì)算時(shí)包括錯(cuò)誤特征匹配剔除和定位求解，所述錯(cuò)誤特征匹配剔除過程用于在所有的二維到三維的匹配映射中檢測(cè)并查找出錯(cuò)誤匹配，從而在進(jìn)行所述定位求解前對(duì)錯(cuò)誤匹配進(jìn)行剔除；所述的定位求解通過恢復(fù)從真實(shí)場(chǎng)景中多個(gè)空間點(diǎn)的三維坐標(biāo)到圖像對(duì)應(yīng)特征點(diǎn)的二維像素坐標(biāo)的立體幾何映射，確定視覺傳感器或用戶在已知坐標(biāo)系下的位置和姿態(tài)信息。

進(jìn)一步地，進(jìn)行相機(jī)交會(huì)計(jì)算時(shí)還包括使用濾波器和(或)其他優(yōu)化算法，用于對(duì)定位結(jié)果進(jìn)行進(jìn)一步濾波和優(yōu)化處理。

進(jìn)一步地，可以將某單一視覺傳感器位置作為求解對(duì)象并簡(jiǎn)單忽略其他視覺傳感器，或采取聯(lián)合處理方式將多臺(tái)視覺傳感器信息進(jìn)行融合。

在進(jìn)行任務(wù)(II)之后，利用相機(jī)交會(huì)原理恢復(fù)從真實(shí)場(chǎng)景中多個(gè)空間點(diǎn)的三維坐標(biāo)到當(dāng)前(單張或多張)圖像對(duì)應(yīng)特征點(diǎn)的二維像素坐標(biāo)的立體幾何映射。圖5描述了圖4所描述的實(shí)施例中的特征匹配示意圖。其中，O點(diǎn)為相機(jī)光心。A、B、C、D、E為真實(shí)場(chǎng)景三維點(diǎn)，A’、B’、C’、D’、E’分別為各自在圖像二維平面中的匹配特征點(diǎn)，特征點(diǎn)的匹配結(jié)果由第(II)部分計(jì)算得到。

針對(duì)第(II)部分特征匹配之后可能存在的錯(cuò)誤匹配現(xiàn)象，在第(III)部分中利用核面幾何(Epipolar Geometry)原理和約束條件，利用隨機(jī)抽樣一致性(Random Sample Consensus，RANSAC)算法或其衍生算法或其他算法，對(duì)當(dāng)前所拍攝的(單張或多張)圖像點(diǎn)特征和三維空間點(diǎn)特征的誤匹配進(jìn)行剔除，并建立由圖像二維坐標(biāo)到三維空間坐標(biāo)的相機(jī)交會(huì)模型，計(jì)算視覺傳感器設(shè)備的三維位置坐標(biāo)和姿態(tài)。

為簡(jiǎn)化說明本發(fā)明原理，以下以單張圖像的相機(jī)交會(huì)原理進(jìn)行說明(本發(fā)明亦包括同步拍攝多張圖像及其他情況，此例僅作說明)，視覺傳感器設(shè)備成像幾何關(guān)系由圖6表示。其中O點(diǎn)稱為相機(jī)光心，X_c與Y_c兩坐標(biāo)軸分別與圖像平面坐標(biāo)系o-xy的x軸和y軸平行，Z_c為像機(jī)主光軸，且和圖像平面垂直，主光軸與圖像平面的交點(diǎn)為像主點(diǎn)o，O-X_cY_cZ_c構(gòu)成像機(jī)坐標(biāo)系，Oo為像機(jī)焦距f。O_g-X_gY_gZ_g為當(dāng)?shù)刈鴺?biāo)系(可基于全球參考基準(zhǔn)，或區(qū)域參考基準(zhǔn)，亦或其他參考基準(zhǔn))。以下描述了本發(fā)明的一個(gè)實(shí)施例。

任意三維空間點(diǎn)P和其像點(diǎn)p滿足攝影測(cè)量直接線性變換(Direct Linear Transformation，DLT)關(guān)系：

其中，(u,v)^T和(X,Y,Z)^T分別為P點(diǎn)在當(dāng)?shù)刈鴺?biāo)系和像平面坐標(biāo)系下的坐標(biāo)，系數(shù)l_i(i＝1,2,…,11)是相機(jī)傳感器內(nèi)方位元素(u₀,v₀,f)^T、外方位元素(X_c,Y_c,Z_c,ω,φ,κ)^T、相機(jī)坐標(biāo)軸非正交因子d_s和坐標(biāo)軸比例系數(shù)d_c的函數(shù)。(u₀,v₀)^T為像主點(diǎn)o的坐標(biāo)偏移量，外方位元素中，三個(gè)線元素(X_c,Y_c,Z_c)^T和三個(gè)角元素(ω,φ,κ)^T分別描述相機(jī)坐標(biāo)系原點(diǎn)在當(dāng)?shù)刈鴺?biāo)系下的坐標(biāo)以及相機(jī)坐標(biāo)系相對(duì)于當(dāng)?shù)刈鴺?biāo)系的旋轉(zhuǎn)參數(shù)，因此在本實(shí)施例中，最終用戶定位結(jié)果的確定即是求解外方位元素(X_c,Y_c,Z_c,ω,φ,κ)^T。

在進(jìn)行完本發(fā)明的步驟(II)之后，對(duì)第i個(gè)匹配點(diǎn)而言，通過公式(1)可得

A_2n×11l_11×1＝b_2n×1 (2)

其中，n為進(jìn)行完步驟(II)之后找到的匹配點(diǎn)總個(gè)數(shù)，矩陣l_11×1、b_2n×1和A_2n×11分別如下，

l_11×1＝[l₁ l₂ l₃ l₄ l₅ l₆ l₇ l₈ l₉ l₁₀ l₁₁]^T (3)

b_2n×1＝-[u₁ v₁ u₂ v₂ … … u_n v_n]^T (4)

當(dāng)任意圖像拍攝時(shí)刻的匹配點(diǎn)個(gè)數(shù)n≥6(即r_row≥r_column，其中r_row和r_column分別為系數(shù)矩陣A_2n×11的行秩和列秩)時(shí)，令A(yù)_2n×11、l_11×1和b_2n×1分別簡(jiǎn)寫為A、l和b，

由最小二乘可得

l＝(A^TA)^-1A^Tb (6)

相機(jī)傳感器內(nèi)方位元素(u₀,v₀,f)^T、相機(jī)坐標(biāo)軸非正交因子d_s和坐標(biāo)軸比例系數(shù)d_c可通過相機(jī)傳感器校正獲取先驗(yàn)數(shù)值，亦可通過本實(shí)施例中的直接線性變換(DLT)進(jìn)行直接解算，由于內(nèi)方位元素及d_s和d_c的計(jì)算為現(xiàn)有技術(shù)，本發(fā)明不予贅述。

就三個(gè)外方位線元素而言，根據(jù)l_i(i＝1,2,…,11)的表達(dá)式有

由于三個(gè)外方位角元素(ω,φ,κ)^T構(gòu)成的方向余弦可描述為

根據(jù)系數(shù)l_i(i＝1,2,…,11)與外方位元素的方向余弦關(guān)系有

由公式(9)可知，角度取值不唯一，令其取值分別為φ∈[0,π/2]、ω∈[0,π/2]和κ∈[0,π]。實(shí)際情況下，三個(gè)外方位角元素取值均可為±α和π±α(α＝ω,φ,κ)。另一方面，直接線性變換中焦距f與三個(gè)外方位角元素滿足關(guān)系

其中，γ＝r₃₁X_c+r₃₂Y_c+r₃₃Z_c，r_ij(1≤i≤2,1≤j≤3)為公式(8)中旋轉(zhuǎn)矩陣R的對(duì)應(yīng)元素。利用角度ω、φ和κ可取值的角度進(jìn)行組合，重新計(jì)算r_ij元素和γ，最終使公式(10)中8組焦距f的估值均為正的三個(gè)外方位角元素估值即為ω、φ和κ值。

需要強(qiáng)調(diào)的是，由公式(7～10)得到的視覺傳感器設(shè)備相對(duì)于當(dāng)?shù)刈鴺?biāo)系的旋轉(zhuǎn)參數(shù)和平移變量，即是用戶在當(dāng)?shù)刈鴺?biāo)系下的位置和姿態(tài)信息。

需要重申的是，以上僅對(duì)任一時(shí)刻拍攝單張圖像情況下的用戶在當(dāng)?shù)刈鴺?biāo)系下位置進(jìn)行求解舉例并對(duì)實(shí)際情況做了相應(yīng)簡(jiǎn)化，實(shí)際應(yīng)用中可在公式(7～10)的基礎(chǔ)上繼續(xù)利用(但不限于)攝影測(cè)量空間后方交會(huì)、光束法平差等方法繼續(xù)進(jìn)行精確求解，因此本發(fā)明所述城市地區(qū)和室內(nèi)環(huán)境高精度視覺定位系統(tǒng)及方法不限于上述實(shí)施例列舉情況。

在得到用戶位置和姿態(tài)信息后，可依據(jù)具體實(shí)施例對(duì)定位結(jié)果進(jìn)行進(jìn)一步濾波和優(yōu)化處理，以得到更加理想的定位信息，包括使用(但不限于)各類濾波器及(或)其衍生算法及(或)其他優(yōu)化算法。

由于用戶平臺(tái)可搭載單臺(tái)或多臺(tái)視覺傳感器，對(duì)周圍場(chǎng)景進(jìn)行單方位、多方位甚至全方位拍攝，因此某一時(shí)刻在進(jìn)行完第(II)部分之后，所找到的與三維空間點(diǎn)對(duì)應(yīng)的二維特征點(diǎn)可能出自一臺(tái)視覺傳感器，亦可能出自多臺(tái)視覺傳感器。當(dāng)這些特征點(diǎn)出自多臺(tái)視覺傳感器時(shí)，可<1>將某單一視覺傳感器位置作為求解對(duì)象并簡(jiǎn)單忽略其他視覺傳感器，亦可<2>采取聯(lián)合處理方式將多臺(tái)視覺傳感器信息進(jìn)行融合。

當(dāng)按策略<1>處理時(shí)，即可簡(jiǎn)單忽略來自其他視覺傳感器的二維特征點(diǎn)信息，此情況等效于全部特征點(diǎn)均出自單一視覺傳感器。當(dāng)按策略<2>處理時(shí)，可針對(duì)不同的視覺傳感器序貫或并行地執(zhí)行策略<1>，并將求解出的若干視覺傳感器位置求取(但不限于)加權(quán)平均或幾何中心；亦可結(jié)合多個(gè)視覺傳感器間的幾何關(guān)系，經(jīng)過處理在統(tǒng)一的相機(jī)交會(huì)模型中求解用戶位置。

以上僅是列舉可能出現(xiàn)的任一時(shí)刻多臺(tái)視覺傳感器同步拍攝圖像情況下的用戶位置求解策略，但本發(fā)明所述的城市地區(qū)和室內(nèi)高精度視覺定位方法不限于上述列舉情況。

對(duì)第(III)部分而言，視覺傳感器定位精度主要取決于特征信息庫中的特征點(diǎn)在當(dāng)前(單張或多張)圖像中的像素坐標(biāo)分布。若特征信息庫中特征點(diǎn)在當(dāng)前(單張或多張)圖像中出現(xiàn)密集且分布較均勻，用戶定位精度可維持在厘米級(jí)；若特征信息庫中特征點(diǎn)在當(dāng)前(單張或多張)圖像中出現(xiàn)稀疏且分布不均勻，用戶定位精度會(huì)相應(yīng)降低(達(dá)到分米～米級(jí))。

第(III)部分計(jì)算任務(wù)既可在視覺傳感器平臺(tái)上實(shí)現(xiàn)，亦可在云服務(wù)器中實(shí)現(xiàn)。當(dāng)?shù)?III)部分計(jì)算任務(wù)在視覺傳感器平臺(tái)上實(shí)現(xiàn)時(shí)(如用戶使用智能手機(jī)、可穿戴設(shè)備等)，視覺傳感器平臺(tái)至少通過(有線或無線)傳輸鏈路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)預(yù)先從云服務(wù)器下載匹配后的特征點(diǎn)信息及與之相對(duì)應(yīng)的三維空間點(diǎn)坐標(biāo)；當(dāng)?shù)?III)部分計(jì)算任務(wù)在云服務(wù)器上實(shí)現(xiàn)時(shí)(如用戶使用車載平臺(tái)的普通數(shù)碼相機(jī)、運(yùn)動(dòng)相機(jī)、行車記錄儀、倒車照相機(jī)等)，移動(dòng)終端至少通過(有線或無線)傳輸鏈路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)上傳匹配后的特征點(diǎn)信息及與之相對(duì)應(yīng)的平面像素坐標(biāo)。

對(duì)第(IV)部分而言，特征庫及三維模型更新時(shí)，不斷接收由大量視覺傳感器拍攝的眾源圖像和(或)視頻信息，在眾源圖像信息所涵蓋的范圍內(nèi)重新構(gòu)建或更新真實(shí)場(chǎng)景三維模型，并將新出現(xiàn)的特征及其對(duì)應(yīng)三維坐標(biāo)添加至原有特征信息庫中，構(gòu)建更新后的特征信息庫，以用于提供穩(wěn)健可靠的可持續(xù)定位功能。

云服務(wù)器通過(有線或無線)傳輸鏈路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)，不斷接收由大量視覺傳感器拍攝的眾源圖像和視頻信息，由此新的場(chǎng)景內(nèi)容將不斷出現(xiàn)。云服務(wù)器利用計(jì)算機(jī)視覺技術(shù)中的Harris、CCH、SIFT、SURF、NFT等算法以及諸如此類算法的衍生算法或合成算法等提取和匹配大量的場(chǎng)景特征，并結(jié)合原有的特征信息庫數(shù)據(jù)，利用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)(Structure from Motion，SfM)理論或其衍生理論，在眾源圖像信息所涵蓋的范圍內(nèi)重新構(gòu)建或更新真實(shí)場(chǎng)景三維模型。在對(duì)真實(shí)場(chǎng)景三維模型實(shí)現(xiàn)更新后，將新出現(xiàn)的特征及其對(duì)應(yīng)三維坐標(biāo)添加至原有特征信息庫中，構(gòu)建更新后的特征信息庫。

對(duì)第(IV)部分而言，云服務(wù)器可依靠眾源視覺傳感器數(shù)據(jù)構(gòu)建三維地理信息系統(tǒng)(Geographic Information System，GIS)數(shù)據(jù)庫。完整的三維GIS數(shù)據(jù)庫有助于滿足大量虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)的實(shí)際應(yīng)用。同時(shí)，眾源數(shù)據(jù)資源的不斷充實(shí)會(huì)對(duì)場(chǎng)景特征信息庫和城市數(shù)字三維模型進(jìn)行補(bǔ)充和更新，當(dāng)在周圍環(huán)境或場(chǎng)景出現(xiàn)變化(如改變裝飾布局、新建樓宇等)時(shí)，云服務(wù)器能夠不斷修復(fù)和更新場(chǎng)景特征信息庫和三維模型，便于本方法提供穩(wěn)健可靠的可持續(xù)定位功能。

具體實(shí)施時(shí)，可根據(jù)需要進(jìn)行各部分的處理，并不限于順序執(zhí)行。圖7詳細(xì)描述根據(jù)本發(fā)明實(shí)施例的一個(gè)具體定位信息獲取數(shù)據(jù)流示意圖。視覺傳感器設(shè)備首先進(jìn)行圖像拍攝，計(jì)算并提取圖像特征信息；在利用現(xiàn)有定位方法對(duì)視覺傳感器設(shè)備進(jìn)行概略定位后，確定局部范圍的城市數(shù)字三維模型，并確定場(chǎng)景特征信息庫數(shù)據(jù)；在特征信息庫中逐一搜索并匹配圖像中對(duì)應(yīng)的特征；在記錄下對(duì)應(yīng)的二維和三維特征坐標(biāo)信息后，通過相機(jī)交會(huì)的立體映射關(guān)系恢復(fù)相機(jī)傳感器設(shè)備的位置和姿態(tài)信息，實(shí)現(xiàn)相機(jī)傳感器設(shè)備提供用戶定位信息；與此同時(shí)，利用運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)等三維模型構(gòu)建方法補(bǔ)充場(chǎng)景特征信息庫，實(shí)現(xiàn)城市數(shù)字三維模型的更新。

圖8詳細(xì)描述根據(jù)本發(fā)明實(shí)施例應(yīng)用的一個(gè)具體實(shí)施流。視覺傳感器獲取圖像后進(jìn)行特征信息提取，在城市數(shù)字三維模型和場(chǎng)景特征信息庫支持下實(shí)現(xiàn)特征匹配，并逆向補(bǔ)充和更新城市數(shù)字三維模型及場(chǎng)景特征信息庫；若所述實(shí)施例所用視覺設(shè)備為單臺(tái)傳感器，則直接利用相機(jī)交會(huì)算法實(shí)現(xiàn)用戶位置和姿態(tài)的獲?。蝗羲鰧?shí)施例所用視覺設(shè)備為多臺(tái)傳感器，則依是否當(dāng)作單臺(tái)處理而定；若將實(shí)施例中多臺(tái)視覺傳感器視為單臺(tái)設(shè)備，則計(jì)算方法與處理單臺(tái)設(shè)備一致；若并非視為單臺(tái)設(shè)備，則在采取具體的融合處理策略后進(jìn)行相機(jī)交會(huì)計(jì)算。相機(jī)交會(huì)計(jì)算后，進(jìn)行相機(jī)坐標(biāo)系與當(dāng)?shù)刈鴺?biāo)系轉(zhuǎn)換，得到用戶位置、姿態(tài)信息。

綜上，本發(fā)明所提出的城市地區(qū)和室內(nèi)高精度視覺定位方法通過利用(單個(gè)或多個(gè))視覺傳感器，實(shí)現(xiàn)對(duì)周圍環(huán)境圖像信息的(單方位、多方位或全方位)采集，借助城市數(shù)字三維模型和高性能云計(jì)算服務(wù)平臺(tái)，在不改造現(xiàn)有硬件基礎(chǔ)設(shè)施或增加設(shè)備傳感器的前提下，為大量個(gè)人或車載(包括有人駕駛或無人駕駛)用戶提供方便、快捷的厘米級(jí)定位結(jié)果，極大提高了移動(dòng)用戶在城市地區(qū)和室內(nèi)的高精度無縫定位能力，定位之同時(shí)通過對(duì)周圍環(huán)境進(jìn)行圖像采集，實(shí)現(xiàn)對(duì)城市和室內(nèi)數(shù)字三維模型的補(bǔ)充和更新，進(jìn)而保證在周圍環(huán)境發(fā)生變化時(shí)該方法能夠提供穩(wěn)健的可持續(xù)定位能力。所有傳輸鏈路方法包括廣域無線傳輸、局域無線傳輸、個(gè)人無線傳輸和有線傳輸。

本發(fā)明所提供系統(tǒng)的各單元具體實(shí)現(xiàn)與方法各部分相應(yīng)，不予贅述。

上述提供的說明應(yīng)被看作對(duì)可應(yīng)用于不同的可能實(shí)施例的舉例說明。