室內(nèi)環(huán)境三維地圖制作方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及建模領(lǐng)域，尤其涉及一種室內(nèi)環(huán)境三維地圖制作方法及裝置。
【背景技術(shù)】
[0002]隨著互聯(lián)網(wǎng)、移動(dòng)通信、移動(dòng)定位以及智能移動(dòng)終端的普及與應(yīng)用，位置服務(wù)已成為構(gòu)建智慧城市、實(shí)現(xiàn)智能交通、應(yīng)急自然災(zāi)害、體現(xiàn)公眾服務(wù)等的重要基礎(chǔ)支撐。從技術(shù)層面出發(fā)，位置服務(wù)的提供主要依賴于地圖的建立。近幾年來(lái)，隨著計(jì)算機(jī)技術(shù)，特別是計(jì)算機(jī)圖形學(xué)、網(wǎng)絡(luò)、多媒體、虛擬現(xiàn)實(shí)技術(shù)、三維仿真技術(shù)的快速發(fā)展，地圖正在向三維化方向發(fā)展。
[0003]針對(duì)室內(nèi)環(huán)境的位置服務(wù)，現(xiàn)有技術(shù)提供了多種室內(nèi)環(huán)境三維地圖的建立方法。現(xiàn)有技術(shù)通常通過(guò)如下原理建立室內(nèi)環(huán)境三維地圖:首先，通過(guò)攝像機(jī)采集室內(nèi)環(huán)境圖像，其次，對(duì)室內(nèi)環(huán)境圖像進(jìn)行特征提取和幀圖像匹配，最后，根據(jù)特征提取的結(jié)果和幀圖像匹配的結(jié)果進(jìn)行三維建模。
[0004]然而，由于現(xiàn)有技術(shù)制作室內(nèi)環(huán)境三維地圖的過(guò)程中，在特征提取時(shí)，只考慮到了室內(nèi)環(huán)境的二維圖像特征，而沒(méi)有考慮到室內(nèi)環(huán)境的深度特征，導(dǎo)致最終得到的地圖環(huán)境表達(dá)能力弱，可視化效果較差。

【發(fā)明內(nèi)容】

[0005]本發(fā)明提供了一種室內(nèi)環(huán)境三維地圖制作方法及裝置，能夠結(jié)合室內(nèi)環(huán)境的深度特征制作三維地圖，從而保證制作出的三維地圖環(huán)境表達(dá)能力強(qiáng)，具有更好的可視化效果。
[0006]第一方面，本發(fā)明實(shí)施例提供了一種室內(nèi)環(huán)境三維地圖制作方法，所述方法包括:
[0007]通過(guò)三維視覺(jué)傳感器采集室內(nèi)環(huán)境圖像，所述室內(nèi)環(huán)境圖像包括彩色圖像和深度圖像，并將所述深度圖像轉(zhuǎn)化為點(diǎn)云數(shù)據(jù)；
[0008]從所述彩色圖像和所述深度圖像提取特征矢量，根據(jù)所述特征矢量確定所述室內(nèi)環(huán)境圖像的關(guān)鍵幀圖像；
[0009]結(jié)合所述點(diǎn)云數(shù)據(jù)計(jì)算所述關(guān)鍵幀圖像之間的變換參數(shù)；
[0010]根據(jù)所述關(guān)鍵幀圖像之間的變換參數(shù)將所述關(guān)鍵幀圖像聯(lián)結(jié)起來(lái)，生成所述室內(nèi)環(huán)境的三維點(diǎn)云地圖，根據(jù)所述三維點(diǎn)云地圖制作室內(nèi)環(huán)境三維地圖。
[0011]結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面第一種可能的實(shí)施方式，其中，從所述彩色圖像和所述深度圖像提取特征矢量，包括:
[0012]從所述彩色圖像和所述深度圖像分別提取256位的二進(jìn)制獨(dú)立特征BRIEF(BinaryRobust Independent Elementary Features，二進(jìn)制獨(dú)立特征)，對(duì)提取到的所述256位的BRIEF進(jìn)行拼接操作，得到512位的BRIEF，將所述512位的BRIEF作為提取到的特征矢量。
[0013]結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面第二種可能的實(shí)施方式，其中，根據(jù)所述特征矢量確定所述室內(nèi)環(huán)境圖像的關(guān)鍵幀圖像，包括:
[0014]根據(jù)所述特征矢量計(jì)算所述室內(nèi)環(huán)境圖像的當(dāng)前幀圖像與前一幀關(guān)鍵幀圖像之間的匹配參數(shù)，當(dāng)所述匹配參數(shù)滿足預(yù)設(shè)條件時(shí)，確定所述當(dāng)前幀圖像為所述室內(nèi)環(huán)境圖像的關(guān)鍵幀圖像:
[0015]其中，所述匹配參數(shù)包括以下至少之一:所述當(dāng)前幀圖像與所述前一幀關(guān)鍵幀圖像之間的匹配度;所述當(dāng)前幀圖像與所述前一幀關(guān)鍵幀圖像之間的采集時(shí)間間隔；
[0016]所述預(yù)設(shè)條件包括以下至少之一:所述當(dāng)前幀圖像與所述前一幀關(guān)鍵幀圖像之間的匹配度小于預(yù)設(shè)匹配度閾值;所述當(dāng)前幀圖像與所述前一幀關(guān)鍵幀圖像之間的采集時(shí)間間隔大于預(yù)設(shè)時(shí)間間隔閾值。
[0017]結(jié)合第一方面，本發(fā)明實(shí)施例提供了第一方面第三種可能的實(shí)施方式，其中，結(jié)合所述點(diǎn)云數(shù)據(jù)計(jì)算所述關(guān)鍵幀圖像之間的變換參數(shù)，包括:
[0018]采用RANSAC(Random Sample Consensus，隨機(jī)抽樣一致)算法對(duì)所述關(guān)鍵幀圖像進(jìn)行計(jì)算，得到所述關(guān)鍵幀圖像之間的初始變換參數(shù)；
[0019]以所述初始變換參數(shù)為依據(jù)，采用ICP(Iterativeclosest point，迭代最近點(diǎn))算法對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行計(jì)算，得到所述關(guān)鍵幀圖像之間的精確變換參數(shù)，將所述精確變換參數(shù)作為所述關(guān)鍵幀圖像之間的變換參數(shù)。
[0020]結(jié)合第一方面上述實(shí)施方式，本發(fā)明實(shí)施例提供了第一方面第四種可能的實(shí)施方式，其中，在結(jié)合所述點(diǎn)云數(shù)據(jù)計(jì)算所述關(guān)鍵幀圖像之間的變換參數(shù)之后，還包括:
[0021 ]對(duì)所述關(guān)鍵幀圖像進(jìn)行閉環(huán)檢測(cè)，當(dāng)檢測(cè)到存在閉環(huán)點(diǎn)時(shí)，利用G20(GeneraIGraph Optimizat1n，通用圖優(yōu)化)算法對(duì)所述關(guān)鍵幀圖像之間的變換參數(shù)進(jìn)行優(yōu)化，將優(yōu)化后的所述變換參數(shù)確定為所述關(guān)鍵幀圖像之間的變換參數(shù)。
[0022 ]第二方面，本發(fā)明實(shí)施例提供了一種室內(nèi)環(huán)境三維地圖制作裝置，所述裝置包括:
[0023]圖像采集模塊，用于通過(guò)三維視覺(jué)傳感器采集室內(nèi)環(huán)境圖像，所述室內(nèi)環(huán)境圖像包括彩色圖像和深度圖像，并將所述深度圖像轉(zhuǎn)化為點(diǎn)云數(shù)據(jù)；
[0024]關(guān)鍵幀確定模塊，用于從所述彩色圖像和所述深度圖像提取特征矢量，根據(jù)所述特征矢量確定所述室內(nèi)環(huán)境圖像的關(guān)鍵幀圖像；
[0025]變換參數(shù)計(jì)算模塊，用于結(jié)合所述點(diǎn)云數(shù)據(jù)計(jì)算所述關(guān)鍵幀圖像之間的變換參數(shù)；
[0026]三維地圖制作模塊，用于根據(jù)所述關(guān)鍵幀圖像之間的變換參數(shù)將所述關(guān)鍵幀圖像聯(lián)結(jié)起來(lái)，生成所述室內(nèi)環(huán)境的三維點(diǎn)云地圖，根據(jù)所述三維點(diǎn)云地圖制作室內(nèi)環(huán)境三維地圖。
[0027]結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面第一種可能的實(shí)施方式，其中，所述關(guān)鍵幀確定模塊包括:
[0028]特征矢量提取單元，用于從所述彩色圖像和所述深度圖像分別提取256位的二進(jìn)制獨(dú)立特征BRIEF，對(duì)提取到的所述256位的BRIEF進(jìn)行拼接操作，得到512位的BRIEF，將所述512位的BRIEF作為提取到的特征矢量。
[0029]結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面第二種可能的實(shí)施方式，其中，所述關(guān)鍵幀確定模塊包括:
[0030]關(guān)鍵幀匹配單元，用于根據(jù)所述特征矢量計(jì)算所述室內(nèi)環(huán)境圖像的當(dāng)前幀圖像與前一幀關(guān)鍵幀圖像之間的匹配參數(shù)，當(dāng)所述匹配參數(shù)滿足預(yù)設(shè)條件時(shí)，確定所述當(dāng)前幀圖像為所述室內(nèi)環(huán)境圖像的關(guān)鍵幀圖像:
[0031]其中，所述匹配參數(shù)包括以下至少之一:所述當(dāng)前幀圖像與所述前一幀關(guān)鍵幀圖像之間的匹配度;所述當(dāng)前幀圖像與所述前一幀關(guān)鍵幀圖像之間的采集時(shí)間間隔；
[0032]所述預(yù)設(shè)條件包括以下至少之一:所述當(dāng)前幀圖像與所述前一幀關(guān)鍵幀圖像之間的匹配度小于預(yù)設(shè)匹配度閾值;所述當(dāng)前幀圖像與所述前一幀關(guān)鍵幀圖像之間的采集時(shí)間間隔大于預(yù)設(shè)時(shí)間間隔閾值。
[0033]結(jié)合第二方面，本發(fā)明實(shí)施例提供了第二方面第三種可能的實(shí)施方式，其中，所述變換參數(shù)計(jì)算模塊包括:
[0034]初始變換參數(shù)計(jì)算單元，用于采用RANSAC算法對(duì)所述關(guān)鍵幀圖像進(jìn)行計(jì)算，得到所述關(guān)鍵幀圖像之間的初始變換參數(shù)；
[0035]精確變換參數(shù)計(jì)算單元，用于以所述初始變換參數(shù)為依據(jù)，采用ICP算法對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行計(jì)算，得到所述關(guān)鍵幀圖像之間的精確變換參數(shù)，將所述精確變換參數(shù)作為所述關(guān)鍵幀圖像之間的變換參數(shù)。
[0036]結(jié)合第二方面上述實(shí)施方式，本發(fā)明實(shí)施例提供了第二方面第四種可能的實(shí)施方式，其中，所述裝置還包括:
[0037]變換參數(shù)優(yōu)化模塊，用于對(duì)所述關(guān)鍵幀圖像進(jìn)行閉環(huán)檢測(cè)，當(dāng)檢測(cè)到存在閉環(huán)點(diǎn)時(shí)，利用G20算法對(duì)所述關(guān)鍵幀圖像之間的變換參數(shù)進(jìn)行優(yōu)化，將優(yōu)化后的所述變換參數(shù)確定為所述關(guān)鍵幀圖像之間的變換參數(shù)。
[0038]通過(guò)本實(shí)施例中的方法及裝置，在進(jìn)行圖像特征提取時(shí)，既考慮到了室內(nèi)環(huán)境的二維圖像特征，也考慮到了圖像的深度特征，并結(jié)合室內(nèi)環(huán)境的深度特征制作三維地圖，保證制作出的三維地圖環(huán)境表達(dá)能力強(qiáng)，具有更好的可視化效果。
【附圖說(shuō)明】
[0039]為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例中所需要使用的附圖作簡(jiǎn)單地介紹，應(yīng)當(dāng)理解，以下附圖僅示出了本發(fā)明的某些實(shí)施例，因此不應(yīng)被看作是對(duì)范圍的限定，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他相關(guān)的附圖。
[0040]圖1示出了本發(fā)明第一實(shí)施例所提供的室內(nèi)環(huán)境三維地圖制作