為了使檢測到的特征點滿足旋轉(zhuǎn)不變形，ORB算法中使用強度矩屯、的方法為檢測到的 特征點分配方向；該方法假設(shè)角點的強度為它與中屯、的偏移量，并且該個矢量能用于求解 角點方向；局部圖像的矩如式（1-2)所示： nipq= ^x.yxVl(x,y) (1-2) 然后通過式（1-2)求出矩m。。、mi。和后，根據(jù)式（1-3)求出矩屯、C;
(1-3) 然后構(gòu)建一個從角點中屯、0到矩屯、C的向量巧巧^的方向正是局部圖像角點的方 向，計算公式如式（1-4)所示： 白=atan2 (m〇i，niio) (1-4) 此外，為增強方法的旋轉(zhuǎn)不變性，求取矩的時候，X和y應(yīng)當(dāng)始終在角點的r半徑圓形 鄰域內(nèi)，所W在ORB算法中顯示地令r為局部圖像的大小，即X和y的范圍為[-r，r];得到 了帶有方向的FAST特征點，它被稱為oFAST特征點。
3.根據(jù)權(quán)利要求1所述的基于RGB-D的SLAM算法的改進(jìn)方法，其特征在于，所述 巧RIEF描述符提取的具體步驟如下所述；其中BRIEF特征描述符是一種快速計算的二進(jìn)制 編碼形式描述符；它首先對圖像進(jìn)行高斯平滑濾波，然后在oFAST特征點的某鄰域內(nèi)隨機 選取點對（X，y)并對該些點的灰度值進(jìn)行二值化測試，并將測試結(jié)果按照一定順序生成一 個二進(jìn)制串，該個二進(jìn)制串即為BRIEF特征描述符；二值化測試T的定義如式（1-5)所示， 其中，P(x)為P在點X處的強度；
(1-5) BRIEF特征描述符即為n個二值化測試所構(gòu)成的向量，如式（1-6)所示： f>) := (p'Xi'Yi) (1-6) 在ORB算法中，點對（x，y)的選取符合高斯分布，其中S為特征點的鄰域大
I ??； 由于BRIEF不具有旋轉(zhuǎn)不變性，所WORB算法中利用特征點的方向矢量對BRIEF特征 描述符進(jìn)行轉(zhuǎn)向，生成steeredBRIEF特征描述符； 設(shè)原始的BRIEF選取的點集如式（1-7)所示： (1-7) 使用特征點方向0和相應(yīng)的旋轉(zhuǎn)矩陣Re構(gòu)建旋轉(zhuǎn)的點集Se，如式（1-8)所示： Se=ReS (1-8) 則生成的SteeredBRIEF特征描述符即如式（1-9)所示：gn(P，日）：=fn(P)I(Xi，Yi)eSe(1-9) 貪屯、學(xué)習(xí)算法具體過程如下；首先對全部的訓(xùn)練局部圖像執(zhí)行所有可能的二值化測 試，然后根據(jù)測試結(jié)果與均值0. 5的距離對所有測試進(jìn)行排序，并生成測試向量T，然后開 始貪屯、捜索過程；首先從T中取出第一個測試放入結(jié)果向量R中，然后從T中取出下一個測 試，并將它和R中的所有測試進(jìn)行比較，并估算它們之間的相關(guān)性，如果相關(guān)性高于某個闊 值，則丟棄它；否則將它加入R;重復(fù)上述步驟，直到R中的測試數(shù)目達(dá)到256個，然后結(jié)束； 否則如果T中的所有測試都已經(jīng)取出，而R中的測試數(shù)目仍然少于256,那么降低闊值，重新 開始貪屯、捜索過程；通過上述步驟即得到具有旋轉(zhuǎn)不變形和強抗噪聲能力巧RIEF特征描 述符。
4.根據(jù)權(quán)利要求1所述的基于RGB-D的SLAM算法的改進(jìn)方法，其特征在于，所述基于FLMN的增強特征匹配方法，具體內(nèi)容如下；FLMN是在高維空間執(zhí)行快速近似最近鄰捜索 的一個庫，它包含一組優(yōu)秀的最近鄰捜索算法和一個自動選擇最優(yōu)算法并且根據(jù)數(shù)據(jù)集對 算法參數(shù)進(jìn)行優(yōu)化的系統(tǒng)；對于高維空間中的最近鄰捜索問題，F(xiàn)LAW^采用基于分層k-均 值樹的優(yōu)先級捜索算法或采用多重隨機k-d樹時具有最好的性能；相對于其他傳統(tǒng)最近 鄰捜索算法，基于FLAW^的近似快速最近鄰捜索的速度提高了一個數(shù)量級；其次，為了解決 化uteForce匹配法為查找帖中所有特征點查找其在訓(xùn)練帖中距離最近的匹配特征點的問 題，采用基于FLAW^的腳W捜索方法進(jìn)行查找，并對查找結(jié)果進(jìn)行過濾；當(dāng)給定向量空間M 中的一個點集P= {pi，P2，. . .，p。}和一個待查詢點qGM，則q的最近鄰元素NN(q，P)GP 定義為順(q，巧=argmin,epd(q，X)，其中d(q，X)表示q與X的距離；KNN捜索就是同時 查找K最近鄰的捜索方法，K最近鄰的定義如式（1-10)所示： KNN(q，P，K)=A (1-10) 其中A是滿足如式（1-11)所示約束的集合： UI=CF,￥x€A.y€P-A,d(q.x) <d(q.y) (1-11) 在使用K順捜索方法時令k= 2,即對查找帖中的每一個特征點Si,都在訓(xùn)練帖中使用 腳W二近鄰捜索方法查找它的最近鄰點tii和次近鄰點t12,Si和它們的距離分別為d和d12; 比較d。和d。之間的距離，只有當(dāng)d。遠(yuǎn)遠(yuǎn)小于d。時，則Si和ti是正確匹配點對；否則當(dāng) d。和d。比較接近時，則S郝111、Si和t。都不是正確匹配點化應(yīng)該將其剔除；或者認(rèn)為 Si和t11、Si和t12都能夠正確匹配，但是為了減少該種匹配關(guān)系對后續(xù)運動變換的影響，也 應(yīng)該將其剔除；令^在最終實現(xiàn)的系統(tǒng)中，當(dāng)ratio;小于0. 6時保留對應(yīng)的匹 ， 配點對，否則將其剔除； 為了消除單方向匹配造成的錯誤匹配點對，使用雙向的基于FLAW^的腳W捜索來查 找正確的匹配點對；具體做法為，首先對于查找帖如eiT化ame中的每一個特征點，使用基 于FLA順的二近鄰捜索在訓(xùn)練帖Train化ame中查找匹配點對，并對最近鄰和次近鄰距離 相近的匹配點對過濾，記錄下最終得到的好的匹配點對集合Si;然后反方向執(zhí)行上述步驟， 即為對于訓(xùn)練帖Train化ame中的每一個特征點，使用基于FLA順的二近鄰捜索在查找帖 Queir化ame中查找匹配點對，并對最近鄰和次近鄰距離相近的匹配點對過濾，記錄下最終 得到的好的匹配點對集合Sg;對于任意pair(i，如GSi，查找相應(yīng)的pair(j，k)GSg，如 果i=k則認(rèn)為查找帖Queir化ame中的特征點i與訓(xùn)練帖Trai址'rame中的特征點j是雙 向匹配的，將該匹配點對加入集合S;否則認(rèn)為查找帖如eiT化ame中的特征點i與訓(xùn)練帖 Trai址'rame中的特征點j不匹配，將其丟棄；遍歷集合Si中的各個匹配點對，對其執(zhí)行上述 操作，得到的集合S即為滿足雙向匹配關(guān)系的匹配點對集合； 為了解決相同或者相似物體在環(huán)境中重復(fù)出現(xiàn)導(dǎo)致匹配結(jié)果錯誤的問題，使用單應(yīng)性 矩陣變換來進(jìn)一步優(yōu)化匹配結(jié)果；具體做法是，對于每一個pair(i，j)GS，提取出i在查 找帖如eiT化ame中的坐標(biāo)（Xi，yi)并加入查找帖坐標(biāo)集合如reyPosSets，提取出j在訓(xùn)練 帖Trai址'rame中的坐標(biāo)（Xj，Yj)并加入訓(xùn)練帖坐標(biāo)集合TrainPosSets，然后對該兩個坐標(biāo) 集合使用RANSAC方法進(jìn)行單應(yīng)性矩陣變換求出最優(yōu)單應(yīng)性變換矩陣，然后剔除集合S中不 滿足單應(yīng)性變換矩陣約束的匹配點對，得到的集合S即為具有高可信度的匹配點對。
5.根據(jù)權(quán)利要求1所述的基于RGB-D的SLAM算法的改進(jìn)方法，其特征在于，基于GICP的運動變換優(yōu)化方法：標(biāo)準(zhǔn)ICP算法首先計算兩個點云中的匹配點，然后計算使該些匹配 點距離最小的運動變換； 點到面ICP是標(biāo)準(zhǔn)ICP的一種改進(jìn)，通過使用表面法線信息來提高點云配準(zhǔn)的精度；該 算法使用
來代替標(biāo)準(zhǔn)ICP算法的運動變換求 解約束，其中rii為點的表面法線； GICP在對標(biāo)準(zhǔn)ICP和點到面ICP進(jìn)行綜合的基礎(chǔ)上，還在運動變換求解步驟中使用了 概率模型進(jìn)行最小化運算；假設(shè)在標(biāo)準(zhǔn)ICP算法中for循環(huán)部分計算兩個點云中的匹配點 的步驟完成后得到了兩個點云A= {a山=1, ...,w和B=化山=1, ...,w，且下標(biāo)相同的A和B 的元素相互對應(yīng)，同時假設(shè)A和B集合中滿足Ilmi-T'bill>cU對應(yīng)關(guān)系已經(jīng)被剔除，則 GICP算法的改進(jìn)方法如下； 在概率模型中假設(shè)存在基礎(chǔ)點集J= {巧}和5 =巧}，且它們根據(jù)~WX巧,C巧巧 每~JVX瓦巧）生成集合A和B，其中{C巧和犯f}是待測量點的協(xié)方差矩陣;假設(shè)i和S完全對應(yīng)，則存在運動變換T*滿足式（1-12); S,= .、 ! ! (1-12) 對任意剛體變換T，定義di? =bi-Ta;，則有式（1-13)成立；
U-13) 而式（1-13)正是GICP對標(biāo)準(zhǔn)ICP運動變換求解步驟的具體改進(jìn)方法；當(dāng)Cf=/且 辟二0阿，式a-蝴退化為標(biāo)準(zhǔn)icp的運動變換求解約束；當(dāng)cf=巧且辟二〇1時，
式（1-13)退化為 而該式為點到面的ICP的運動變換求解約 ， 束的另一種表示形式，即GICP退化為點到面ICP;因此，上述改進(jìn)方法被命名為GICP，即廣 義ICP。
【專利摘要】本發(fā)明公開了一種基于RGB-D的SLAM算法的改進(jìn)方法，分為前端和后端兩部分，前端的任務(wù)分為特征檢測與描述符提取、特征匹配、運動變換估計和運動變換優(yōu)化；后端的任務(wù)利用前端得到的6D運動變換關(guān)系初始化位姿圖進(jìn)行閉環(huán)檢測添加閉環(huán)約束條件，利用非線性誤差函數(shù)優(yōu)化方法進(jìn)行位姿圖優(yōu)化，得到全局最優(yōu)相機位姿和相機運動軌跡，并進(jìn)行三維環(huán)境重建。本發(fā)明使用ORB方法進(jìn)行特征檢測與描述符提取，并對深度信息不合法的特征點進(jìn)行過濾；使用基于FLANN的KNN方法進(jìn)行雙向特征匹配，使用單應(yīng)性矩陣變換對匹配結(jié)果進(jìn)行優(yōu)化；使用改進(jìn)RANSAC的運動變換估計方法得到更精確的inliers匹配點對；使用基于GICP的運動變換優(yōu)化方法提高點云配準(zhǔn)的速度和精度。
【IPC分類】G06T7-00, G06T7-20
【公開號】CN104851094
【申請?zhí)枴緾N201510246229
【發(fā)明人】張亮, 沈沛意, 朱光明, 宋娟, 劉強強
【申請人】西安電子科技大學(xué)
【公開日】2015年8月19日
【申請日】2015年5月14日