本發(fā)明屬于計(jì)算機(jī)視覺，具體涉及一種基于語(yǔ)義分割技術(shù)的多傳感器融合agv動(dòng)態(tài)目標(biāo)剔除方法和裝置。

背景技術(shù)：

1、agv(automated?guided?vehicle)是一種先進(jìn)的自動(dòng)運(yùn)輸工具，常用于工業(yè)和物流領(lǐng)域的一種輪式移動(dòng)機(jī)器人，協(xié)助廠區(qū)和車間進(jìn)行物料的無(wú)人運(yùn)輸，提高生產(chǎn)效率。當(dāng)前agv實(shí)現(xiàn)了狀態(tài)估計(jì)到圖優(yōu)化的后端優(yōu)化方法，以及基于視覺技術(shù)的slam(simultaneouslocalization?and?mapping)架構(gòu)和多傳感器融合構(gòu)成的精準(zhǔn)定位。上述技術(shù)實(shí)現(xiàn)了靜態(tài)環(huán)境的定位和建圖的精準(zhǔn)化，但應(yīng)用于動(dòng)態(tài)環(huán)境時(shí)還存在一些不足。

2、傳統(tǒng)的視覺slam，其精確度高，有著優(yōu)秀的回環(huán)效果，但在動(dòng)態(tài)環(huán)境下，因動(dòng)態(tài)特征點(diǎn)的存在會(huì)使構(gòu)建的地圖錯(cuò)亂，影響定位精度。為此，建圖時(shí)實(shí)現(xiàn)對(duì)動(dòng)態(tài)對(duì)象進(jìn)行的分離尤為重要。動(dòng)態(tài)對(duì)象的分離方法，通常分為目標(biāo)檢測(cè)、語(yǔ)義分割、實(shí)例分割三種方法。目標(biāo)檢測(cè)方法，對(duì)視覺傳感器捕捉到的圖像進(jìn)行檢測(cè)，以最小外接矩形框選中目標(biāo)并去除，但存在框內(nèi)的靜態(tài)特征點(diǎn)也同時(shí)被去除，影響了定位精度。語(yǔ)義分割方法，對(duì)視覺傳感器捕捉到的圖像進(jìn)行檢測(cè)并賦予語(yǔ)義，能夠沿著檢測(cè)對(duì)象輪廓進(jìn)行分割，去除檢測(cè)對(duì)象的特征點(diǎn)，將剩余特征點(diǎn)用于建圖。實(shí)例分割方法，對(duì)視覺傳感器捕捉到的圖像進(jìn)行檢測(cè)并賦予語(yǔ)義，能夠?qū)μ囟▽?duì)象進(jìn)行分割與跟蹤，對(duì)運(yùn)動(dòng)對(duì)象進(jìn)行動(dòng)態(tài)跟蹤，優(yōu)化動(dòng)態(tài)特征點(diǎn)和靜態(tài)特征點(diǎn)。動(dòng)態(tài)目標(biāo)的跟蹤和分割需要借助聚類方法，存在區(qū)域誤匹配的問(wèn)題。另外語(yǔ)義分割方法和實(shí)例分割方法都是基于視覺slam，易受到環(huán)境光照影響，而且計(jì)算復(fù)雜度高，其穩(wěn)定性和實(shí)時(shí)性難以保證。

3、視覺傳感器中通常分為深度相機(jī)、雙目相機(jī)、魚眼相機(jī)、單目相機(jī)和全景相機(jī)，其中深度相機(jī)存在工作距離有限、超出一定范圍后深度信息準(zhǔn)確度丟失的問(wèn)題，雙目相機(jī)存在計(jì)算復(fù)雜度高、基線長(zhǎng)度固定的問(wèn)題，魚眼相機(jī)存在數(shù)據(jù)冗余、畸變嚴(yán)重和邊緣區(qū)域精度低的問(wèn)題，單目相機(jī)存在深度信息缺失、尺度不確定性、初始化困難的問(wèn)題，全景相機(jī)存在深度信息缺失、拼接復(fù)雜問(wèn)題。

4、傳統(tǒng)的二維激光slam，其能夠探測(cè)較遠(yuǎn)的尺度，受光照影響小，計(jì)算速度快，因而得到廣泛的應(yīng)用。但由于特征點(diǎn)局限于平面，且稀疏，在遇到相似環(huán)境結(jié)構(gòu)時(shí)會(huì)造成誤匹配。

5、可見將視覺和激光傳感器融合可彌補(bǔ)各自的不足，利用激光雷達(dá)的高頻特性檢測(cè)場(chǎng)景內(nèi)可能存在的動(dòng)態(tài)目標(biāo)，再利用視覺的目標(biāo)檢測(cè)和語(yǔ)義分割方法切除動(dòng)態(tài)目標(biāo)。構(gòu)建一種階段性特征投影的柵格地圖方法，基于激光slam的框架附加一條視覺線程，將視覺線程分為確認(rèn)動(dòng)態(tài)目標(biāo)區(qū)域和切割動(dòng)態(tài)目標(biāo)兩個(gè)階段，在確認(rèn)動(dòng)態(tài)目標(biāo)區(qū)域階段先進(jìn)行確定的靜態(tài)特征點(diǎn)投影，再在切割動(dòng)態(tài)目標(biāo)階段對(duì)特征點(diǎn)進(jìn)行補(bǔ)充，提高動(dòng)態(tài)環(huán)境slam的運(yùn)行速度和精度。在傳統(tǒng)的多傳感器融合的動(dòng)態(tài)對(duì)象剔除方法中，提取的是視覺和激光點(diǎn)云的特征，同時(shí)需要完全切割動(dòng)態(tài)對(duì)象后再進(jìn)行特征點(diǎn)的投影，降低了動(dòng)態(tài)環(huán)境下slam的運(yùn)行速度。

6、現(xiàn)有技術(shù)中至少存在如下問(wèn)題：

7、基于語(yǔ)義分割的slam優(yōu)化方法只使用視覺傳感器，容易受到光照條件影響，影響語(yǔ)義分割對(duì)象，對(duì)于動(dòng)態(tài)目標(biāo)的跟蹤，需要先使用聚類方法確定跟蹤區(qū)域，跟蹤特征點(diǎn)會(huì)受到聚類方法的影響，存在誤匹配的可能，對(duì)于視覺目標(biāo)的檢測(cè)需要先進(jìn)行一定的復(fù)雜計(jì)算。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明要解決視覺傳感器對(duì)目標(biāo)檢測(cè)需要進(jìn)行初步復(fù)雜計(jì)算以及二維激光雷達(dá)動(dòng)態(tài)點(diǎn)錯(cuò)誤檢測(cè)的問(wèn)題，提出一種基于目標(biāo)檢測(cè)和語(yǔ)義分割技術(shù)的多傳感器融合agv動(dòng)態(tài)目標(biāo)剔除方法和裝置。

2、本發(fā)明對(duì)單目相機(jī)、二維激光雷達(dá)、里程計(jì)和imu(inertial?measurement?unit)的傳感器信息進(jìn)行融合，基于cartographer和yolov8算法進(jìn)行構(gòu)建。使用二維激光雷達(dá)的差分計(jì)算和目標(biāo)檢測(cè)算法標(biāo)記動(dòng)態(tài)對(duì)象，利用二維激光雷達(dá)數(shù)據(jù)量少和高頻掃描的特性可快速判斷是否有動(dòng)態(tài)目標(biāo)，使用目標(biāo)檢測(cè)算法進(jìn)行輔助判斷，排除二維激光雷達(dá)錯(cuò)誤檢測(cè)動(dòng)態(tài)目標(biāo)的情況，僅對(duì)目標(biāo)檢測(cè)區(qū)域進(jìn)行語(yǔ)義分割，減少語(yǔ)義分割的計(jì)算量。優(yōu)化復(fù)雜動(dòng)態(tài)環(huán)境建圖質(zhì)量，實(shí)現(xiàn)agv的定位精度的提升，解決在光照不良、有低速運(yùn)動(dòng)物體以及動(dòng)態(tài)變化的復(fù)雜環(huán)境下，產(chǎn)生誤判或過(guò)多去除特征點(diǎn)的問(wèn)題。

3、為實(shí)現(xiàn)上述目的，本發(fā)明的第一方面，提供基于目標(biāo)檢測(cè)和語(yǔ)義分割技術(shù)的多傳感器融合agv動(dòng)態(tài)目標(biāo)剔除方法，具體步驟如下：

4、(1)安裝二維激光雷達(dá)和單目相機(jī)，對(duì)單目相機(jī)和二維激光雷達(dá)進(jìn)行聯(lián)合標(biāo)定，獲得相機(jī)的內(nèi)參矩陣和激光雷達(dá)坐標(biāo)系到單目相機(jī)坐標(biāo)系的轉(zhuǎn)換矩陣tlc；

5、(2)激光slam進(jìn)入激光跟蹤線程，對(duì)激光點(diǎn)云預(yù)處理，融合imu、里程計(jì)的位姿信息對(duì)獲取的二維激光點(diǎn)云進(jìn)行掃描匹配，通過(guò)掃描匹配修正激光點(diǎn)云，使用激光雷達(dá)數(shù)據(jù)幀進(jìn)行幀間差分計(jì)算，對(duì)前后兩組動(dòng)態(tài)點(diǎn)云的最小鄰點(diǎn)對(duì)距離進(jìn)行動(dòng)態(tài)閾值的檢測(cè)；

6、(3)對(duì)單目相機(jī)采集到工廠內(nèi)的圖像和激光點(diǎn)云進(jìn)行時(shí)間戳的匹配，基于動(dòng)態(tài)點(diǎn)所屬時(shí)刻tl對(duì)視覺數(shù)據(jù)幀進(jìn)行插值計(jì)算，得到對(duì)應(yīng)時(shí)刻tc的視覺數(shù)據(jù)幀framel，將其作為視覺關(guān)鍵幀；

7、(4)將激光動(dòng)態(tài)點(diǎn)進(jìn)行坐標(biāo)轉(zhuǎn)換，投影到tc時(shí)刻視覺關(guān)鍵幀framel的圖像坐標(biāo)系，將激光雷達(dá)動(dòng)態(tài)點(diǎn)輸入到目標(biāo)檢測(cè)線程中；

8、(5)對(duì)tc時(shí)刻的視覺關(guān)鍵幀進(jìn)行目標(biāo)檢測(cè)，對(duì)目標(biāo)檢測(cè)框進(jìn)行跟蹤，用目標(biāo)檢測(cè)方法輔助確認(rèn)動(dòng)態(tài)對(duì)象，提取目標(biāo)檢測(cè)框外的特征點(diǎn)，用于更新子圖；

9、(6)在目標(biāo)檢測(cè)框區(qū)域進(jìn)行語(yǔ)義分割，將特征點(diǎn)根據(jù)語(yǔ)義分割結(jié)果進(jìn)行過(guò)濾，篩選出靜態(tài)特征點(diǎn)，在地圖構(gòu)建階段，對(duì)柵格概率進(jìn)行更新。

10、進(jìn)一步地，步驟(1)具體過(guò)程如下：

11、步驟1-1、在同一環(huán)境下同時(shí)使用激光雷達(dá)和相機(jī)采集數(shù)據(jù)，使用能夠被兩個(gè)傳感器識(shí)別的標(biāo)定物進(jìn)行特征的提取，將視覺特征投影到激光雷達(dá)坐標(biāo)系中，建立激光雷達(dá)坐標(biāo)系與相機(jī)坐標(biāo)系的聯(lián)系；

12、步驟1-2、通過(guò)優(yōu)化算法求解最佳的旋轉(zhuǎn)矩陣和平移向量，獲得二維激光雷達(dá)和單目相機(jī)的外參數(shù)矩陣。

13、步驟1-3、在求解外參數(shù)矩陣的過(guò)程中，激光雷達(dá)和單目相機(jī)通過(guò)對(duì)同一標(biāo)定物進(jìn)行特征的提取，得到激光雷達(dá)坐標(biāo)系中的數(shù)據(jù)點(diǎn)組pl和相機(jī)坐標(biāo)系中對(duì)應(yīng)的點(diǎn)組pc，其中rlc為旋轉(zhuǎn)矩陣，t為平移向量，使得：

14、??????????????（1）

15、pc和pl分別表示相同物理點(diǎn)在相機(jī)坐標(biāo)系和激光雷達(dá)坐標(biāo)系中的位置。

16、步驟1-4、通過(guò)lm（levenberg-marquardt）方法最小化重投影誤差來(lái)求解rlc和t。將相機(jī)坐標(biāo)系中的點(diǎn)投影到圖像坐標(biāo)系中，獲取相機(jī)的內(nèi)參數(shù)矩陣k，使得：

17、????????????????（2）

18、其中，pi為圖像坐標(biāo)系上的點(diǎn)坐標(biāo)。

19、進(jìn)一步地，步驟(2)具體過(guò)程如下：

20、步驟2-1、激光雷達(dá)掃描獲得點(diǎn)云，通過(guò)激光雷達(dá)幀間差分方法進(jìn)行動(dòng)態(tài)點(diǎn)云檢測(cè)，每隔一定時(shí)間間隔掃描得到一組點(diǎn)云數(shù)據(jù)集p(t)和p(t+δt)，其中δt是兩次掃描的時(shí)間間隔。將前后兩次掃描得到的二維激光點(diǎn)云進(jìn)行icp(iterative?closest?pointalgorithm)算法的迭代配準(zhǔn)。

21、步驟2-2、將當(dāng)前二維激光雷達(dá)數(shù)據(jù)引入kd樹以提高對(duì)最近鄰點(diǎn)對(duì)的檢索速度，為加速檢測(cè)icp匹配的最近鄰點(diǎn)對(duì)，選擇x軸和y軸作為分割軸，以軸內(nèi)的最大方差作為分割依據(jù)，對(duì)數(shù)據(jù)進(jìn)行遞歸劃分。

22、步驟2-3、在最近鄰的搜索過(guò)程中，從根節(jié)點(diǎn)出發(fā)，根據(jù)分割軸和最大方差將查詢點(diǎn)向下遞歸地指向左子樹或右子樹，直到達(dá)到葉節(jié)點(diǎn)。更新最近鄰點(diǎn)對(duì)，在葉節(jié)點(diǎn)，計(jì)算查詢點(diǎn)與葉節(jié)點(diǎn)中數(shù)據(jù)點(diǎn)的距離，更新當(dāng)前最近鄰點(diǎn)和最短距離。

23、???????????????（3）

24、步驟2-4、其中d(q,p)是查詢點(diǎn)q和數(shù)據(jù)點(diǎn)p的歐氏距離，和分別是點(diǎn)q和點(diǎn)p在第i維上的坐標(biāo)。對(duì)父節(jié)點(diǎn)進(jìn)行回溯，觀察另一側(cè)子樹是否包含有點(diǎn)到分割平面的距離小于當(dāng)前最短距離的點(diǎn)，對(duì)另一側(cè)子樹進(jìn)行向下遞歸搜索并更新最近鄰點(diǎn)。搜索完成后，當(dāng)前最近鄰點(diǎn)為查詢點(diǎn)的最近匹配點(diǎn)。

25、步驟2-5、在icp算法迭代過(guò)程中，利用kd樹計(jì)算得到的最近鄰點(diǎn)進(jìn)行計(jì)算，目的是計(jì)算出當(dāng)前激光雷達(dá)幀與參考激光雷達(dá)幀的旋轉(zhuǎn)平移矩陣r，實(shí)現(xiàn)兩組點(diǎn)云的最優(yōu)對(duì)齊。設(shè)有一組對(duì)應(yīng)點(diǎn)為，其中是當(dāng)前點(diǎn)云的點(diǎn)，是參考點(diǎn)云的對(duì)應(yīng)的最近鄰近點(diǎn)，變換由旋轉(zhuǎn)矩陣r和平移向量t組成，構(gòu)成最小化誤差函數(shù)：

26、?????????????（4）

27、步驟2-6、與參考幀進(jìn)行最小鄰點(diǎn)對(duì)的檢索，得到最優(yōu)的旋轉(zhuǎn)矩陣r和平移向量t，將旋轉(zhuǎn)平移矩陣作用在當(dāng)前幀的激光雷達(dá)坐標(biāo)系上，得到世界坐標(biāo)系下的激光雷達(dá)位姿，將三維激光雷達(dá)位姿轉(zhuǎn)換到二維平面上，賦予位姿當(dāng)前的激光雷達(dá)數(shù)據(jù)幀，兩組點(diǎn)云匹配成功，則記錄當(dāng)前三維空間下的激光雷達(dá)位姿ξ。

28、步驟2-7、在任意連續(xù)幀內(nèi)有動(dòng)態(tài)物體進(jìn)入或者離開，激光點(diǎn)云位置發(fā)生變化，差分可以簡(jiǎn)化為δp(x,y)?=?p(t+δt)(x,y)-p(t)(x,y)。對(duì)于前后幀激光點(diǎn)，根據(jù)差分結(jié)果判斷是否有位移變化，設(shè)定閾值δ，如果||δp(x,y)||?>?δ,則認(rèn)為該點(diǎn)存在動(dòng)態(tài)變化。

29、進(jìn)一步地，步驟(3)具體過(guò)程如下：

30、步驟3-1、單目相機(jī)與激光雷達(dá)傳感器的采樣率不同，需要通過(guò)已知的數(shù)據(jù)點(diǎn)進(jìn)行匹配，對(duì)于視覺傳感器，其采樣率遠(yuǎn)低于雷達(dá)傳感器，需要使用插值匹配的方法對(duì)視覺數(shù)據(jù)幀進(jìn)行估算。tl時(shí)刻為激光雷達(dá)的動(dòng)態(tài)點(diǎn)產(chǎn)生時(shí)刻，

31、步驟3-2、tc1和tc2為單目相機(jī)相鄰的兩個(gè)數(shù)據(jù)幀所在時(shí)刻，framel為估算得到的數(shù)據(jù)幀，framec1和framec2為相鄰的兩個(gè)數(shù)據(jù)幀內(nèi)容，由以下公式對(duì)framel進(jìn)行計(jì)算。

32、??（5）

33、進(jìn)一步地，步驟(4)具體過(guò)程如下：

34、將激光動(dòng)態(tài)點(diǎn)進(jìn)行坐標(biāo)轉(zhuǎn)換，步驟二中得到的任意動(dòng)態(tài)激光點(diǎn)p經(jīng)過(guò)旋轉(zhuǎn)矩陣rlc和平移向量t，在步驟三中的得到framel視覺數(shù)據(jù)幀中進(jìn)行坐標(biāo)轉(zhuǎn)換，得到framel相機(jī)坐標(biāo)系下的激光點(diǎn)集合p_c。將相機(jī)坐標(biāo)系下的激光點(diǎn)p_c，經(jīng)過(guò)相機(jī)的針孔投影模型進(jìn)行投影，由內(nèi)參矩陣k描述，經(jīng)過(guò)旋轉(zhuǎn)平移，將任意激光點(diǎn)p_c(xc,yc,zc)?轉(zhuǎn)換到圖像坐標(biāo)系得到圖像激光點(diǎn)p_t(xt,yt,1)，得到圖像激光點(diǎn)集合p_t。

35、進(jìn)一步地，步驟(5)具體過(guò)程如下：

36、步驟5-1、使用目標(biāo)檢測(cè)方法輔助確認(rèn)動(dòng)態(tài)對(duì)象，yolov8中動(dòng)態(tài)檢測(cè)框以(xc,yc,w,h)進(jìn)行表示，檢測(cè)框的左上角坐標(biāo)可以表示為(x1,x2)=(xc-w/2,yc-h/2)，檢測(cè)框的右下角坐標(biāo)則可以表示為(x2,y2)=(xc+w/2,yc+h/2)，對(duì)于步驟四中的任意激光點(diǎn)p_t(xt,yt,1)，只需要滿足，，則可以得到該目標(biāo)檢測(cè)區(qū)域；

37、步驟5-2、對(duì)目標(biāo)檢測(cè)框進(jìn)行動(dòng)態(tài)追蹤，獲取上一幀中的的真實(shí)檢測(cè)框，與當(dāng)前框進(jìn)行計(jì)算，利用檢測(cè)框的中心點(diǎn)坐標(biāo)(cx,?cy)進(jìn)行中心點(diǎn)的位移計(jì)算，得到位移距離d，再基于位移距離d和連續(xù)兩幀之間的時(shí)間間隔計(jì)算速度v，設(shè)定速度閾值vd，若速度v大于vd，則認(rèn)為當(dāng)前區(qū)域內(nèi)存在動(dòng)態(tài)對(duì)象。

38、步驟5-3、對(duì)原始圖像進(jìn)行orb(oriented?fast?and?rotated?brief)的特征提取，將步驟5-1中得到的目標(biāo)檢測(cè)框區(qū)域以外的圖像區(qū)域的特征點(diǎn)標(biāo)記為靜態(tài)特征點(diǎn)。

39、步驟5-4、構(gòu)建靜態(tài)特征點(diǎn)集合pj，將步驟二中得到的激光雷達(dá)位姿ξ通過(guò)旋轉(zhuǎn)平移矩陣rlc和t轉(zhuǎn)換為視覺傳感器位姿，使用當(dāng)前幀的視覺傳感器位姿與參考幀的視覺傳感器位姿進(jìn)行求解，將當(dāng)前幀的靜態(tài)特征點(diǎn)與上一幀的靜態(tài)特征點(diǎn)進(jìn)行深度求解，得到深度值z(mì)，將特征點(diǎn)及其深度值投影到當(dāng)前幀的agv坐標(biāo)系上。

40、?????????????????????（6）

41、f是相機(jī)的焦距，b是基線，和分別是當(dāng)前幀和上一幀的特征點(diǎn)的橫坐標(biāo)。

42、步驟5-4、將機(jī)器人坐標(biāo)系上的三維特征點(diǎn)投影到二維平面上與激光雷達(dá)點(diǎn)云進(jìn)行疊加，轉(zhuǎn)換為柵格地圖。

43、進(jìn)一步地，步驟(6)具體過(guò)程如下：

44、步驟6-1、對(duì)步驟5-1中得到的目標(biāo)檢測(cè)框區(qū)域進(jìn)行語(yǔ)義分割，獲取語(yǔ)義分割掩膜，將掩膜內(nèi)的特征點(diǎn)標(biāo)記為動(dòng)態(tài)語(yǔ)義特征點(diǎn)，掩膜外的特征點(diǎn)標(biāo)記為靜態(tài)語(yǔ)義特征點(diǎn)。

45、步驟6-2、對(duì)語(yǔ)義分割后的特征點(diǎn)進(jìn)行過(guò)濾，保留靜態(tài)語(yǔ)義特征點(diǎn)，將靜態(tài)語(yǔ)義特征點(diǎn)坐標(biāo)轉(zhuǎn)換到世界坐標(biāo)系，將世界坐標(biāo)系中的語(yǔ)義特征點(diǎn)坐標(biāo)轉(zhuǎn)換為柵格索引，計(jì)算語(yǔ)義特征點(diǎn)所在柵格的對(duì)數(shù)幾率得到，設(shè)定一個(gè)對(duì)數(shù)幾率增量，得到語(yǔ)義特征點(diǎn)投影后的對(duì)數(shù)幾率。

46、??????????????（7）

47、將對(duì)數(shù)幾率轉(zhuǎn)換為柵格概率p，得到該柵格坐標(biāo)的新柵格概率，實(shí)現(xiàn)柵格概率的更新。

48、本發(fā)明的第二個(gè)方面涉及一種基于語(yǔ)義分割的多傳感器融合agv動(dòng)態(tài)目標(biāo)剔除裝置，包括存儲(chǔ)器和一個(gè)或多個(gè)處理器，所述存儲(chǔ)器中存儲(chǔ)有可執(zhí)行代碼，所述一個(gè)或多個(gè)處理器執(zhí)行所述可執(zhí)行代碼時(shí)，用于實(shí)現(xiàn)本發(fā)明的基于語(yǔ)義分割的多傳感器融合agv動(dòng)態(tài)目標(biāo)剔除方法。

49、本發(fā)明的第三個(gè)方面涉及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)本發(fā)明的基于語(yǔ)義分割的多傳感器融合agv動(dòng)態(tài)目標(biāo)剔除方法。

50、本發(fā)明的第四個(gè)方面涉及一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明的基于語(yǔ)義分割的多傳感器融合agv動(dòng)態(tài)目標(biāo)剔除方法。

51、本發(fā)明還涉及一種基于語(yǔ)義分割的多傳感器融合agv動(dòng)態(tài)目標(biāo)剔除系統(tǒng)，包括移動(dòng)底盤、特征去除模塊、運(yùn)動(dòng)控制模塊；特征去除模塊包括單目相機(jī)數(shù)據(jù)處理模塊、二維激光雷達(dá)數(shù)據(jù)處理模塊、目標(biāo)檢測(cè)模塊、語(yǔ)義分割模塊；通過(guò)相機(jī)數(shù)據(jù)處理模塊對(duì)環(huán)境的特征點(diǎn)和深度圖進(jìn)行提取，由激光雷達(dá)數(shù)據(jù)處理模塊進(jìn)行位姿推算、子圖匹配、圖優(yōu)化。使用二維激光雷達(dá)對(duì)周邊環(huán)境進(jìn)行動(dòng)態(tài)的粗檢測(cè)，實(shí)現(xiàn)初步的動(dòng)態(tài)檢測(cè)，將粗檢測(cè)的動(dòng)態(tài)激光點(diǎn)組投影到圖像坐標(biāo)系，將該動(dòng)態(tài)激光點(diǎn)組投影到圖像坐標(biāo)系中，對(duì)圖像坐標(biāo)系中目標(biāo)檢測(cè)算法檢測(cè)到的目標(biāo)檢測(cè)框范圍進(jìn)行檢索，若有動(dòng)態(tài)激光點(diǎn)落入目標(biāo)檢測(cè)框內(nèi)，則認(rèn)為該目標(biāo)對(duì)象為動(dòng)態(tài)對(duì)象，進(jìn)行初步去除，否則將該區(qū)域內(nèi)特征點(diǎn)轉(zhuǎn)換到柵格地圖中。將目標(biāo)檢測(cè)框區(qū)域的圖像作為語(yǔ)義分割線程的輸入，賦予語(yǔ)義標(biāo)簽，將分割的語(yǔ)義對(duì)象作為動(dòng)態(tài)語(yǔ)義對(duì)象，目標(biāo)檢測(cè)框內(nèi)的剩余區(qū)域作為靜態(tài)語(yǔ)義對(duì)象，將特征點(diǎn)根據(jù)語(yǔ)義分割結(jié)果進(jìn)行過(guò)濾，篩選出靜態(tài)特征點(diǎn)，在地圖構(gòu)建階段，對(duì)柵格概率進(jìn)行更新，實(shí)現(xiàn)動(dòng)態(tài)特征點(diǎn)的去除，并增加剩余靜態(tài)特征點(diǎn)在柵格地圖的表征，本發(fā)明豐富了二維激光slam的地圖特征，并在動(dòng)態(tài)環(huán)境下進(jìn)行地圖的構(gòu)建。

52、本發(fā)明的有益效果是：采用激光雷達(dá)的動(dòng)態(tài)特征點(diǎn)作為目標(biāo)檢測(cè)線程的輸入，輔助確認(rèn)運(yùn)動(dòng)對(duì)象的存在，減少語(yǔ)義分割的分割區(qū)域。利用激光雷達(dá)動(dòng)態(tài)點(diǎn)將環(huán)境中的實(shí)時(shí)動(dòng)態(tài)反饋，使用目標(biāo)檢測(cè)方法確認(rèn)動(dòng)態(tài)目標(biāo)的存在，優(yōu)化動(dòng)態(tài)檢測(cè)效果。僅在確認(rèn)為真實(shí)動(dòng)態(tài)物體時(shí)，進(jìn)行語(yǔ)義分割，減少計(jì)算資源的消耗。對(duì)獲取的特征點(diǎn)進(jìn)行多個(gè)階段處理，提高地圖的準(zhǔn)確性。