本發(fā)明涉及一種基于深度學(xué)習(xí)的機(jī)器人閉環(huán)檢測方法。

背景技術(shù)：

在機(jī)器人學(xué)與計(jì)算機(jī)視覺領(lǐng)域，視覺里程計(jì)是一種利用連續(xù)的圖像序列來估計(jì)機(jī)器人移動(dòng)距離的方法。視覺里程計(jì)增強(qiáng)了機(jī)器人在任何表面以任何方式移動(dòng)時(shí)的導(dǎo)航精度。視覺里程計(jì)是機(jī)器人定位、地圖構(gòu)建以及路徑規(guī)劃等高層任務(wù)的基礎(chǔ)。但是視覺里程計(jì)由于傳感器的估計(jì)精度，會(huì)產(chǎn)生累計(jì)誤差，其估計(jì)的機(jī)器人位姿會(huì)與真實(shí)位姿之間發(fā)生漂移，這種漂移可以通過閉環(huán)檢測消除。

傳統(tǒng)的閉環(huán)檢測方法多依賴單一傳感器信息，通過人為設(shè)計(jì)的特征提取和描述方法進(jìn)行信息配準(zhǔn)，有較大的應(yīng)用局限性，這些方法忽略了環(huán)境中有用的信息，造成閉環(huán)檢測的準(zhǔn)確度不高。因此，不可避免地導(dǎo)致機(jī)器人定位、地圖構(gòu)建的魯棒性差，而且，這些方法計(jì)算代價(jià)較大，不適合實(shí)時(shí)檢測。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明為了解決上述問題，提出了一種基于深度學(xué)習(xí)的機(jī)器人閉環(huán)檢測方法，基于深度學(xué)習(xí)技術(shù)，實(shí)現(xiàn)了基于多傳感器信息的融合，可同時(shí)提取環(huán)境結(jié)構(gòu)特征和色彩紋理特征，另外無需人工設(shè)計(jì)和計(jì)算特征點(diǎn)及描述子，更無須執(zhí)行繁雜的特征點(diǎn)匹配方法，具有較強(qiáng)的魯棒性和實(shí)時(shí)性。

為了實(shí)現(xiàn)上述目的，本發(fā)明采用如下方案：

一種基于深度學(xué)習(xí)的機(jī)器人閉環(huán)檢測方法，其特征在于：

(1)獲取首幀環(huán)境的RGB圖像和三維數(shù)據(jù)，將環(huán)境的RGB圖像和三維數(shù)據(jù)進(jìn)行配準(zhǔn)獲得環(huán)境的RGB+DEPTH四通道圖像，將所述RGB+DEPTH四通道圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中，采用卷積神經(jīng)網(wǎng)絡(luò)的中間層輸出作為首幀的特征提取結(jié)果；

(2)采用(1)的方法獲取連續(xù)N幀的特征提取結(jié)果；

(3)將第N幀與第M幀的特征提取結(jié)果進(jìn)行特征匹配，根據(jù)特征匹配結(jié)果判斷閉環(huán)是否發(fā)生，其中M+1<N。

進(jìn)一步，獲取RGB+DEPTH四通道圖像具體包括：對(duì)機(jī)器人的攝像機(jī)進(jìn)行標(biāo)定，得到攝像機(jī)的內(nèi)外參數(shù)，根據(jù)攝像機(jī)內(nèi)外參數(shù)將所述三維數(shù)據(jù)投影到所述環(huán)境的RGB圖像平面，采用像素插值結(jié)合平滑處理方法生成對(duì)應(yīng)的深度圖；深度圖像與RGB圖像并聯(lián)生成RGBD四通道圖像。

所述卷積神經(jīng)網(wǎng)絡(luò)采用預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)Alexnet或基于Places數(shù)據(jù)庫對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)再訓(xùn)練和參數(shù)調(diào)優(yōu)的數(shù)據(jù)庫，或是結(jié)構(gòu)類似的卷積神經(jīng)網(wǎng)絡(luò)。

進(jìn)一步，采用相似性矩陣對(duì)第N幀與第M幀的特征提取結(jié)果進(jìn)行特征匹配，用于避免根據(jù)特征匹配結(jié)果做出偽閉環(huán)的判斷。

相似性矩陣是對(duì)稱矩陣，其中的第N行、第M列元素代表第N幀和第M幀之間的歸一化后的歐式距離。

進(jìn)一步，對(duì)所述相似性矩陣進(jìn)行特征值分解，去掉較大特征值，以得到降秩后的矩陣，用于避免根據(jù)特征匹配結(jié)果做出偽閉環(huán)的判斷。

進(jìn)一步，選取多個(gè)關(guān)鍵幀作為候選幀集合，第M幀出自于所述候選幀集合；所述候選幀集合的幀數(shù)滿足100％閉環(huán)召回率。

進(jìn)一步，將第N幀與第M幀的特征提取結(jié)果記為第1結(jié)果，將第M幀相鄰幀與第N幀的特征提取結(jié)果也分別進(jìn)行特征匹配，并記為第w結(jié)果，其中w>1，第M幀相鄰幀為以第M幀為中心的前后多幀；若第1結(jié)果判斷發(fā)生閉環(huán)，且第w結(jié)果也判斷發(fā)生閉環(huán)，則決策認(rèn)為發(fā)生真閉環(huán)；若第1結(jié)果判斷發(fā)生閉環(huán)，且第w結(jié)果判斷未發(fā)生閉環(huán)，則決策認(rèn)為發(fā)生偽閉環(huán)。

本發(fā)明的有益效果：

本發(fā)明提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的深度學(xué)習(xí)閉環(huán)檢測方法?？梢酝瑫r(shí)融合3D激光點(diǎn)云數(shù)據(jù)與RGB圖像數(shù)據(jù)，自適應(yīng)的提取隱含在數(shù)據(jù)中的環(huán)境紋理信息、色彩信息和結(jié)構(gòu)信息，生成對(duì)場景的有效特征描述，可提高閉環(huán)檢測的準(zhǔn)確率。相對(duì)于單一的三維激光點(diǎn)云匹配或者圖像檢索識(shí)別方法，該技術(shù)可同時(shí)利用點(diǎn)云結(jié)構(gòu)信息和圖像色彩及紋理信息，是信息融合的有效方法。此外，該技術(shù)無需手動(dòng)提取特征或構(gòu)建描述子，是從數(shù)據(jù)中學(xué)習(xí)和挖掘特征，具有較強(qiáng)的魯棒性和實(shí)時(shí)性。

附圖說明

圖1為本發(fā)明簡化的流程圖。

具體實(shí)施方式：

下面結(jié)合附圖與實(shí)施例對(duì)本發(fā)明作進(jìn)一步說明。

實(shí)施例1：一種基于深度學(xué)習(xí)的機(jī)器人閉環(huán)檢測方法，

(1)機(jī)器人攝像頭獲取的RGB圖像與三維激光掃描儀獲取的三維數(shù)據(jù)，即激光點(diǎn)云數(shù)據(jù)進(jìn)行配準(zhǔn)，從而構(gòu)造出RGB+DEPTH四通道圖像。配準(zhǔn)方法為：激光器數(shù)據(jù)利用攝像機(jī)內(nèi)外參數(shù)投影到上述RGB圖像平面，經(jīng)過像素插值和平滑生成對(duì)應(yīng)的深度圖像，與RGB彩色圖像并聯(lián)生成RGBD四通道圖像，將RGB+DEPTH四通道圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)中，采用卷積神經(jīng)網(wǎng)絡(luò)的中間層輸出作為首幀的特征提取結(jié)果；

本發(fā)明可采用廣泛應(yīng)用于視覺識(shí)別的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)Alexnet，也可基于場景識(shí)別數(shù)據(jù)庫Places對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)再進(jìn)行參數(shù)調(diào)優(yōu)，或是結(jié)構(gòu)類似的卷積神經(jīng)網(wǎng)絡(luò)。將配準(zhǔn)數(shù)據(jù)輸入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中，其各個(gè)隱含層的輸出對(duì)應(yīng)于圖像特征表示，本發(fā)明選用匹配精度較高的中間層特征完成特征提取。

(2)采用(1)的方法獲取連續(xù)N幀的特征提取結(jié)果；

(3)將第N幀與第M幀的特征提取結(jié)果進(jìn)行特征匹配，根據(jù)特征匹配結(jié)果判斷閉環(huán)是否發(fā)生，其中M+1<N。

本發(fā)明為避免特征匹配時(shí)做出假閉環(huán)決策，采用以下優(yōu)化方法：一方面對(duì)相似性矩陣進(jìn)行特征值分解，舍棄較大的特征值，以得到降秩后的相似性矩陣；另一方面閉環(huán)的發(fā)生在機(jī)器人行進(jìn)過程中有一定的連續(xù)性，因此可根據(jù)相鄰關(guān)鍵幀是否都能夠檢測到閉環(huán)做出決策。

即為：將第N幀與第M幀的特征提取結(jié)果記為第1結(jié)果，將第M幀相鄰幀與第N幀的特征提取結(jié)果也分別進(jìn)行特征匹配，并記為第w結(jié)果，其中w>1，第M幀相鄰幀為以第M幀為中心的前后多幀；若第1結(jié)果判斷發(fā)生閉環(huán)，且第w結(jié)果也判斷發(fā)生閉環(huán)，則決策認(rèn)為發(fā)生真閉環(huán)；若第1結(jié)果判斷發(fā)生閉環(huán)，且第w結(jié)果判斷未發(fā)生閉環(huán)，則決策認(rèn)為發(fā)生偽閉環(huán)。

進(jìn)一步，本發(fā)明可以選取多個(gè)關(guān)鍵幀作為候選幀集合，第M幀出自于所述候選幀集合；所述候選幀集合的幀數(shù)滿足100％閉環(huán)召回率。

關(guān)鍵幀有多種方法選取機(jī)制：可以通過判斷上一幀和當(dāng)前幀之間的特征差異，也可以通過距離和角度變化來決定，可參考王可、賈松敏等人的相關(guān)論著。

關(guān)鍵幀的選取主要是為了減少機(jī)器人在構(gòu)建地圖過程中的冗余信息，使得地圖存儲(chǔ)量得到精簡，提升檢索效率。

實(shí)施例2：一種機(jī)器人，包括攝像機(jī)，其特征在于：還配置有三維激光掃描儀，采用上述的閉環(huán)檢測方法判斷閉環(huán)是否發(fā)生。采用這種方法的機(jī)器人，可提高閉環(huán)檢測的準(zhǔn)確率。相對(duì)于單一的三維激光點(diǎn)云匹配或者圖像檢索識(shí)別方法，本發(fā)明可同時(shí)利用點(diǎn)云結(jié)構(gòu)信息和圖像色彩及紋理信息，是信息融合的有效方法。此外，本發(fā)明無需手動(dòng)提取特征或構(gòu)建描述子，是從數(shù)據(jù)中學(xué)習(xí)和挖掘特征，具有較強(qiáng)的魯棒性和實(shí)時(shí)性。

上述雖然結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以內(nèi)。