本發(fā)明屬于同步定位與建圖的，具體涉及一種多模態(tài)slam方法、系統(tǒng)、設(shè)備、介質(zhì)及程序產(chǎn)品。

背景技術(shù)：

1、在現(xiàn)代自主導(dǎo)航和環(huán)境感知技術(shù)中，多模態(tài)同步定位與建圖（slam）方法扮演著至關(guān)重要的角色。這種方法通過整合來自不同傳感器的數(shù)據(jù)，如激光雷達(dá)、攝像頭和慣性測量單元（imu），實現(xiàn)對周圍環(huán)境的全面感知和精確定位。然而，傳統(tǒng)的多模態(tài)slam方法在實際應(yīng)用中仍面臨諸多挑戰(zhàn)。

2、首先，動態(tài)環(huán)境中的移動物體（如行人和車輛）會干擾slam系統(tǒng)，導(dǎo)致定位和地圖構(gòu)建不準(zhǔn)確。雖然現(xiàn)有技術(shù)通過將語義分割與slam結(jié)合來解決動態(tài)環(huán)境中的建圖問題，但這種方法僅是將語義信息以松耦合方式融入slam，未能充分利用語義信息實現(xiàn)更精確的動態(tài)目標(biāo)檢測。其次，環(huán)境的快速變化（如光照和天氣變化）會影響傳感器的數(shù)據(jù)質(zhì)量，進(jìn)一步降低slam系統(tǒng)的可靠性和穩(wěn)定性；當(dāng)前技術(shù)在處理這些數(shù)據(jù)時通常一視同仁，未根據(jù)數(shù)據(jù)質(zhì)量進(jìn)行有效區(qū)分，導(dǎo)致低質(zhì)量數(shù)據(jù)和高質(zhì)量數(shù)據(jù)被同等對待，從而削弱了系統(tǒng)對環(huán)境變化的適應(yīng)能力。此外，傳統(tǒng)方法往往依賴預(yù)設(shè)的參數(shù)和模型，難以應(yīng)對不同場景和復(fù)雜環(huán)境中的多樣性需求。因此，迫切需要一種能更好適應(yīng)動態(tài)變化和復(fù)雜環(huán)境的多模態(tài)slam方法，以提高系統(tǒng)的穩(wěn)定性和魯棒性。

技術(shù)實現(xiàn)思路

1、本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點與不足，提供一種多模態(tài)slam方法、系統(tǒng)、設(shè)備、介質(zhì)及程序產(chǎn)品，通過引入先進(jìn)的語義分割和顯著性預(yù)測技術(shù)，以及基于點云分割的實例回環(huán)檢測，綜合利用多種傳感器數(shù)據(jù)，提高了對環(huán)境特征的感知能力，有效應(yīng)對了傳統(tǒng)方法在復(fù)雜環(huán)境中感知不足和定位精度下降的問題。

2、為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

3、本發(fā)明第一目的在于提供一種多模態(tài)slam方法，包括下述步驟：

4、s1、使用搭載在移動平臺上的單目相機、多線雷達(dá)獲取周圍環(huán)境的當(dāng)前圖像幀和當(dāng)前點云幀；

5、s2、采用輕量級語義分割網(wǎng)絡(luò)對當(dāng)前圖像幀進(jìn)行分割得到當(dāng)前圖像幀的語義掩膜；同時應(yīng)用相機針孔模型以及變換矩陣對當(dāng)前圖像幀的語義掩膜進(jìn)行矯正并投影到三維點云上得到當(dāng)前圖像幀在雷達(dá)坐標(biāo)系下的點云圖，再采用輕量級語義分割網(wǎng)絡(luò)對當(dāng)前圖像幀在雷達(dá)坐標(biāo)系下的點云圖進(jìn)行點云分割，獲得多個擁有不同語義分類標(biāo)簽的點云集；所述輕量級語義分割網(wǎng)絡(luò)為基于輕量化transformer多注意力融合的語義分割模型；

6、s3、對當(dāng)前圖像幀進(jìn)行對象掩蓋并結(jié)合當(dāng)前圖像幀的語義掩膜預(yù)測當(dāng)前圖像幀的顯著性掩膜；

7、s4、根據(jù)當(dāng)前圖像幀的顯著性掩膜，動態(tài)調(diào)整視覺orb特征提取算法的提取閾值，提取當(dāng)前圖像幀的視覺特征點；

8、s5、運用基于三軸投影聚類的快速深度注冊算法，將當(dāng)前圖像幀的視覺特征點和當(dāng)前點云幀的雷達(dá)點進(jìn)行關(guān)聯(lián)，獲取視覺特征點的深度值；

9、s6、對視覺特征點進(jìn)行跟蹤并構(gòu)建局部地圖；

10、s7、利用scan-context描述子以及相似距離對點云集進(jìn)行回環(huán)檢測、全局ba并構(gòu)建全局地圖。

11、作為優(yōu)選的技術(shù)方案，所述獲得當(dāng)前圖像幀的語義掩膜，具體為：

12、s201、將當(dāng)前圖像幀以列表形式輸入輕量級語義分割網(wǎng)絡(luò)，經(jīng)由通用3×3卷積的下采樣模塊進(jìn)行下采樣，提取當(dāng)前圖像幀的圖片張量；

13、s202、將當(dāng)前圖像幀的圖片張量傳入由4個編碼器模塊依次連接構(gòu)成的特征提取骨干網(wǎng)絡(luò)，得到對應(yīng)編碼器模塊的輸出張量；所述編碼器模塊包含通用線性多頭注意力模塊及自適應(yīng)全局縱橫注意力模塊；

14、s203、把特征提取骨干網(wǎng)絡(luò)中第二個編碼器模塊的輸出張量輸入多尺度特征提取模塊和深度可分離非對稱融合模塊進(jìn)行多尺度特征提取及特征融合，得到均勻特征張量和第一融合特征；

15、s204、將第一融合特征與特征提取骨干網(wǎng)絡(luò)的輸出結(jié)果進(jìn)行多尺度融合，經(jīng)由4個通用上采樣模塊依次連接的上采樣網(wǎng)絡(luò)處理后得到當(dāng)前圖像幀的語義掩膜；所述4個編碼器模塊與4個上采樣模塊對應(yīng)跳躍連接；

16、所述獲得多個擁有不同語義分類標(biāo)簽的點云集，具體為：

17、s205、應(yīng)用相機針孔模型以及變換矩陣，采用視覺幾何的反投影將當(dāng)前圖像幀的語義掩膜映射到雷達(dá)坐標(biāo)系的三維點云中，得到當(dāng)前圖像幀在雷達(dá)坐標(biāo)系下的點云圖；映射過程為：

18、將當(dāng)前圖像幀的語義掩膜的像素坐標(biāo)轉(zhuǎn)換至相機坐標(biāo)，得到當(dāng)前圖像幀在相機坐標(biāo)系下的點云圖；

19、利用變換矩陣將當(dāng)前圖像幀在相機坐標(biāo)系下的點云圖轉(zhuǎn)換為在雷達(dá)坐標(biāo)系下的點云圖；

20、s206、使用輕量級語義分割網(wǎng)絡(luò)對當(dāng)前圖像幀在雷達(dá)坐標(biāo)系下的點云圖進(jìn)行點云分割，獲得擁有多個點云集的激光雷達(dá)點云幀；

21、s207、根據(jù)當(dāng)前圖像幀的語義掩膜為分割出的各點云集賦予對應(yīng)的語義分類標(biāo)簽，得到多個擁有不同語義分類標(biāo)簽的點云集。

22、作為優(yōu)選的技術(shù)方案，所述自適應(yīng)全局縱橫注意力模塊對通用線性多頭注意力模塊的輸出進(jìn)行特征強化，過程為：

23、對線性多頭注意力模塊的輸出張量x進(jìn)行通道分離后，一方面輸送到包含全局平均池化層、自適應(yīng)平均池化層a和自適應(yīng)平均池化層b的池化層模塊，提取池化特征；另一方面，輸送到包含深度卷積3×3和深度卷積5×5的卷積模塊進(jìn)行通道激勵壓縮操作，然后與線性多頭注意力模塊的輸出張量x進(jìn)行相乘，最后與池化層模塊輸出的池化特征進(jìn)行相加，得到像素值域分離特征；

24、將線性多頭注意力模塊的輸出張量x分別進(jìn)行水平自適應(yīng)池化和垂直自適應(yīng)池化后，進(jìn)行向量堆疊融合輸入依次連接的非對稱3×1卷積和非對稱1×5卷積中進(jìn)行空間關(guān)聯(lián)學(xué)習(xí)，最后使用 sigmoid函數(shù)輸出并進(jìn)行通道廣播，生成注意力矩陣；

25、把像素值域分離特征與注意力矩陣相乘得到特征強化結(jié)果，并與通用線性多頭注意力模塊的輸出張量相加得到編碼器模塊的輸出張量；

26、所述均勻特征張量和第一融合特征的獲取過程為：

27、把特征提取骨干網(wǎng)絡(luò)中第二個編碼器模塊的輸出張量作為多尺度特征提取模塊的輸入張量x2進(jìn)行通道分離，一方面輸入由深度膨脹卷積a、深度膨脹卷積b和1×1卷積組成的感受野擴張網(wǎng)絡(luò)中獲取擴張尺度特征；另一方面輸入由非對稱卷積1×3、非對稱卷積3×1和1×1卷積組成的保留尺度網(wǎng)絡(luò)中獲取保留尺度特征；最后將擴張尺度特征和保留尺度特征進(jìn)行通道堆疊和通道洗牌操作得到包含多尺度的均勻特征張量；

28、將均勻特征張量輸入深度可分離非對稱融合模塊，分別經(jīng)由深度非對稱1×3卷積、深度非對稱3×1卷積和歸一化逐點卷積組成的分支網(wǎng)絡(luò)和由簡單的歸一化逐點卷積構(gòu)成的分支網(wǎng)絡(luò)進(jìn)行特征壓縮，得到兩個壓縮特征張量再進(jìn)行通道堆疊得到第一融合特征。

29、作為優(yōu)選的技術(shù)方案，所述預(yù)測當(dāng)前圖像幀的顯著性掩膜，具體為：

30、s301、將當(dāng)前圖像幀進(jìn)行灰度化處理獲得灰度圖像；

31、s302、使用高斯濾波器對灰度圖像進(jìn)行平滑處理；

32、s303、使用sobel算子計算經(jīng)過平滑處理后的灰度圖像在水平和垂直方向的梯度值，得到每個像素點的梯度強度和方向；

33、s304、對經(jīng)過平滑處理后的灰度圖像進(jìn)行非極大值抑制處理，比較梯度方向上每個像素點與偏移點的梯度值大小，保留梯度方向上梯度值極大的像素點；

34、s305、對非極大值抑制處理后的灰度圖像中的像素點進(jìn)行分類，包括強邊緣 strong、弱邊緣 weak和非邊緣 non-edge；當(dāng)像素點的梯度值大于等于梯度值高閾值 m h時，將其分類為強邊緣 strong；當(dāng)像素點的梯度值低于梯度值低閾值 m l時，將其分類為非邊緣 non-edge；當(dāng)像素點的梯度值介于梯度值高閾值 m h和梯度值低閾值 m l之間時，將其分類為弱邊緣 weak；

35、s306、使用聯(lián)通性分析算法，在非極大值抑制處理后的灰度圖像中將強邊緣和其設(shè)定曼哈頓距離的弱邊緣連接起來形成完整的邊緣，獲得當(dāng)前幀圖像的邊緣線圖；

36、s307、將當(dāng)前圖像幀的語義掩膜中分類為天空、地面和人的像素點的灰度值置為0，其余像素點的灰度值置為255，獲得當(dāng)前圖像幀的語義二值圖；

37、s308、在當(dāng)前幀圖像的邊緣線圖中，把與語義二值圖中灰度值為0的像素點對應(yīng)位置的像素點的灰度值也置為0，其余像素點不變，獲得當(dāng)前幀圖像的幾何焦距圖；

38、s309、利用高斯濾波器對幾何焦距圖進(jìn)行擴散操作得到當(dāng)前圖像幀的顯著性掩膜。

39、作為優(yōu)選的技術(shù)方案，所述提取當(dāng)前圖像幀的視覺特征點，具體為：

40、s401、構(gòu)建當(dāng)前圖像幀的高斯圖像金字塔及當(dāng)前圖像幀顯著性掩膜的高斯圖像金字塔；

41、s402、計算當(dāng)前圖像幀的高斯圖像金字塔單位面積可提取的視覺特征點數(shù)量和當(dāng)前圖像幀的高斯圖像金字塔各層圖像需提取的視覺特征點數(shù)量，計算過程為：

42、計算當(dāng)前圖像幀的高斯圖像金字塔的總圖像面積 s；

43、計算當(dāng)前圖像幀的高斯圖像金字塔單位面積可提取的視覺特征點數(shù)量；

44、計算當(dāng)前圖像幀的高斯圖像金字塔各層圖像需提取的視覺特征點數(shù)量；

45、s403、對當(dāng)前圖像幀的高斯圖像金字塔各層圖像進(jìn)行分塊得到多個方格；；

46、s404、對當(dāng)前圖像幀的高斯圖像金字塔的各層圖像的每個方格進(jìn)行遍歷，根據(jù)方格和當(dāng)前圖像幀顯著性掩膜的高斯圖像金字塔計算視覺orb特征提取算法的提取閾值，過程為：

47、讀取當(dāng)前圖像幀的高斯圖像金字塔第 i層第 j個方格對應(yīng)在當(dāng)前圖像幀顯著性掩膜的高斯圖像金字塔第 i層圖像相對位置的圖像塊 p ij并計算圖像塊 p ij的平均灰度值；

48、計算當(dāng)前圖像幀的高斯圖像金字塔第 i層圖像第 j個方格的視覺orb特征提取算法的提取閾值；

49、s405、根據(jù)視覺orb特征提取算法的提取閾值和當(dāng)前圖像幀的高斯圖像金字塔各層圖像需提取的視覺特征點數(shù)量，使用視覺orb特征提取算法對當(dāng)前圖像幀的高斯圖像金字塔各層圖像中的方格提取視覺特征點，提取出的視覺特征點以方格所處當(dāng)前圖像幀的高斯圖像金字塔的圖像層數(shù)為標(biāo)簽保存到特征點集中；

50、s406、對特征點集中各層圖像的視覺特征點進(jìn)行四叉樹均勻化，剔除部分質(zhì)量差的視覺特征點，剩余的視覺特征點以同樣的方式分層保存到關(guān)鍵點集中，作為當(dāng)前圖像幀的視覺特征點。

51、作為優(yōu)選的技術(shù)方案，所述獲取視覺特征點的深度值，具體為：

52、s501、通過單目相機和多線雷達(dá)的外參，將兩傳感器的坐標(biāo)系對齊；

53、s502、計算當(dāng)前圖像幀的視覺特征點和當(dāng)前點云幀的雷達(dá)點在相機坐標(biāo)系下的坐標(biāo)；

54、s503、將視覺特征點和雷達(dá)點在相機坐標(biāo)系下的坐標(biāo)投影到以相機為中心的單位球體表面上，歸一化為單位球體表面的三維坐標(biāo)；

55、s504、遍歷單位球體表面上的每一個視覺特征點獲取其深度值。

56、作為優(yōu)選的技術(shù)方案，所述遍歷單位球體表面上的每一個視覺特征點獲取其深度值，具體為：

57、將單位球體表面的視覺特征點 j和各雷達(dá)點分別投影到單位球體所在的三維立體坐標(biāo)系的xoy平面、yoz平面和zox平面；所述視覺特征點和雷達(dá)點的投影數(shù)量呈現(xiàn)為一對多的形式，即一個視覺特征點的投影會連攜到多個雷達(dá)點的投影；

58、對各平面內(nèi)的雷達(dá)點分別使用手肘法確定各平面的聚類簇數(shù)量 k，并設(shè)置雷達(dá)點聚類距離函數(shù)；

59、根據(jù)視覺特征點 j和各雷達(dá)點在各平面內(nèi)的坐標(biāo)，計算各平面內(nèi)各雷達(dá)點到視覺特征點 j的歐式距離并使用 k均值聚類，得到各平面內(nèi)的 k個簇和 k個簇首雷達(dá)點；

60、從計算出的 k個簇首雷達(dá)點中選取 t個到視覺特征點 j歐式距離最近的簇首雷達(dá)點，并將 t個簇首雷達(dá)點相連，在每個平面內(nèi)形成一個包含視覺特征點 j的最大聯(lián)通邊緣圖；

61、將各平面上形成的最大聯(lián)通邊緣圖分別沿z軸、x軸和y軸投影，獲得在單位球體表面三個雷達(dá)點集 u1、 u2和 u3；

62、將三個雷達(dá)點集 u1、 u2和 u3進(jìn)行交操作獲得最佳雷達(dá)點集 u= u1∩ u2∩ u3；

63、計算最佳雷達(dá)點集 u中所有雷達(dá)點的平均深度值作為視覺特征點 j的深度值。

64、作為優(yōu)選的技術(shù)方案，所述對視覺特征點進(jìn)行跟蹤并構(gòu)建局部地圖，具體為：

65、s601、檢查當(dāng)前圖像幀中具有深度值的視覺特征點的數(shù)量是否大于閾值 ɑ；若滿足，則將當(dāng)前圖像幀標(biāo)記為初始圖像幀；若不滿足，則檢查下一圖像幀，直到找出初始圖像幀；

66、s602、將初始圖像幀中具有深度值的視覺特征點的像素坐標(biāo)轉(zhuǎn)換為相機坐標(biāo)系下的3d點；

67、s603、將相機初始位姿設(shè)置為單位矩陣，即相機坐標(biāo)系與世界坐標(biāo)系重合，因此，世界坐標(biāo)系下的3d點直接等于相機坐標(biāo)系下的3d點；

68、s604、將初始圖像幀中所有具有深度值的視覺特征點及其相對應(yīng)在世界坐標(biāo)系的3d點存儲為初始地圖點；

69、s605、將上一初始圖像幀中在世界坐標(biāo)系的3d點投影到初始圖像幀中，獲得其投影坐標(biāo)；

70、s606、以初始圖像幀中具有深度值的視覺特征點為圓心，在初始圖像幀中設(shè)立半徑為 β的圓形搜索區(qū)域，計算圓形搜索區(qū)域中上一初始圖像幀內(nèi)每個3d點的投影坐標(biāo)和圓心坐標(biāo)的歐式距離，記錄歐式距離最小的像素點對，若最小歐式距離小于閾值 θ，則將該像素點作為匹配點對，同時記錄匹配點對數(shù)量；

71、s607、若初始圖像幀與上一初始圖像幀之間的匹配點對數(shù)量大于閾值 η，則對每個匹配點對進(jìn)行三角化，從而生成3d地圖點，進(jìn)而得到局部地圖。

72、作為優(yōu)選的技術(shù)方案，所述進(jìn)行回環(huán)檢測、全局ba并構(gòu)建全局地圖，具體為：

73、s701、計算當(dāng)前點云幀的scan-context描述子矩陣，將當(dāng)前點云幀按照徑向與環(huán)向劃分為不同的扇形柵格，其中徑向與環(huán)向數(shù)量分別為 n r與 n s；將當(dāng)前點云幀轉(zhuǎn)換為一個( n r, n s)的scan-context描述子矩陣；所述scan-context描述子矩陣中的元素值表示所在扇形柵格中所有雷達(dá)點的高度最大值；

74、s702、將當(dāng)前點云幀的scan-context描述子矩陣降維得到一個大小為 n r*1的一維ring?key向量；所述ring?key向量的值是scan-context描述子矩陣中每一行的高度最大值均值，使用環(huán)編碼函數(shù)表示；

75、s703、在歷史關(guān)鍵點云幀構(gòu)建的kd樹中，通過計算ring?key向量中ring?key值間的距離搜索得到相近的參考點云幀；

76、s704、將搜索得到的參考點云幀的scan?context描述子矩陣和當(dāng)前點云幀的scancontext描述子矩陣進(jìn)行距離比較，找到與當(dāng)前點云幀的scan?context描述子矩陣最相似的scan?context描述子矩陣，并且距離比較得分高于設(shè)定距離閾值則認(rèn)為找到回環(huán)，將最相似的scan?context描述子矩陣對應(yīng)的參考點云幀作為最終回環(huán)點云幀；

77、s705、判斷當(dāng)前圖像幀的視覺特征點是否大于設(shè)定特征點數(shù)量，若大于則將當(dāng)前圖像幀標(biāo)記為關(guān)鍵圖像幀；獲取局部地圖中的地圖點并根據(jù)地圖點進(jìn)行重投影，將當(dāng)前圖像幀視覺特征點在世界坐標(biāo)系的坐標(biāo)通過局部地圖中的估計相機位置和地圖點位置進(jìn)行投影，再計算當(dāng)前圖像幀視覺特征點在世界坐標(biāo)系的坐標(biāo)與投影到局部地圖中的三維坐標(biāo)之間的差異，使用誤差函數(shù)表示；

78、s706、使用高斯牛頓法計算誤差函數(shù)的雅可比矩陣和海森矩陣，并迭代更新變量優(yōu)化目標(biāo)函數(shù)；

79、s707、對局部地圖的局部ba、回環(huán)檢測以及周期計數(shù)器進(jìn)行監(jiān)聽，若局部地圖構(gòu)建完成后機器人檢測到回到了之前訪問過的區(qū)域時觸發(fā)回環(huán)檢測，當(dāng)周期計數(shù)器計時滿足條件則會進(jìn)入步驟s708；

80、s708、對所有現(xiàn)有的關(guān)鍵幀和地圖點誤差進(jìn)行全局ba操作；然后將關(guān)鍵幀和地圖點構(gòu)建成圖結(jié)構(gòu)，使用g2o圖優(yōu)化方法進(jìn)一步優(yōu)化全局地圖；

81、s709、若檢測到機器人回到之前訪問過的區(qū)域時，添加新的約束，進(jìn)一步優(yōu)化全局地圖，消除累計誤差。

82、s710、對比關(guān)鍵幀列表，將新獲取的數(shù)據(jù)與現(xiàn)有地圖進(jìn)行融合，更新地圖信息。

83、第二目的在于提供一種多模態(tài)slam系統(tǒng)，包括數(shù)據(jù)采集單元、語義分割單元、顯著性預(yù)測單元、特征點提取單元、深度值計算單元、跟蹤單元以及全局構(gòu)建單元；

84、所述數(shù)據(jù)采集單元用于使用搭載在移動平臺上的單目相機、多線雷達(dá)獲取周圍環(huán)境的當(dāng)前圖像幀和當(dāng)前點云幀；

85、所述語義分割單元用于采用輕量級語義分割網(wǎng)絡(luò)對當(dāng)前圖像幀進(jìn)行分割得到當(dāng)前圖像幀的語義掩膜；同時應(yīng)用相機針孔模型以及變換矩陣對當(dāng)前圖像幀的語義掩膜進(jìn)行矯正并投影到三維點云上得到當(dāng)前圖像幀在雷達(dá)坐標(biāo)系下的點云圖，再采用輕量級語義分割網(wǎng)絡(luò)對當(dāng)前圖像幀在雷達(dá)坐標(biāo)系下的點云圖進(jìn)行點云分割，獲得多個擁有不同語義分類標(biāo)簽的點云集；所述輕量級語義分割網(wǎng)絡(luò)為基于輕量化transformer多注意力融合的語義分割模型；

86、所述顯著性預(yù)測單元用于對當(dāng)前圖像幀進(jìn)行對象掩蓋并結(jié)合當(dāng)前圖像幀的語義掩膜預(yù)測當(dāng)前圖像幀的顯著性掩膜；

87、所述特征點提取單元用于根據(jù)當(dāng)前圖像幀的顯著性掩膜，動態(tài)調(diào)整視覺orb特征提取算法的提取閾值，提取當(dāng)前圖像幀的視覺特征點；

88、所述深度值計算單元用于運用基于三軸投影聚類的快速深度注冊算法，將當(dāng)前圖像幀的視覺特征點和當(dāng)前點云幀的雷達(dá)點進(jìn)行關(guān)聯(lián)，獲取視覺特征點的深度值；

89、所述跟蹤單元用于對視覺特征點進(jìn)行跟蹤并構(gòu)建局部地圖；

90、所述全局構(gòu)建單元用于利用scan-context描述子以及相似距離對點云集進(jìn)行回環(huán)檢測、全局ba并構(gòu)建全局地圖。

91、第三目的在于提供一種電子設(shè)備，包括：

92、至少一個處理器；以及與所述至少一個處理器通信連接的存儲器；其中，

93、所述存儲器存儲有可被所述至少一個處理器執(zhí)行的計算機程序指令，所述計算機程序指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行上述的多模態(tài)slam方法。

94、第四目的在于提供一種計算機可讀存儲介質(zhì)，存儲有程序，當(dāng)程序被處理器執(zhí)行時，實現(xiàn)上述的多模態(tài)slam方法。

95、第五目的在于提供一種計算機程序產(chǎn)品，包括計算機程序或指令，所述計算機程序或指令被處理器執(zhí)行時，實現(xiàn)上述的多模態(tài)slam方法。

96、本發(fā)明與現(xiàn)有技術(shù)相比，具有如下優(yōu)點和有益效果：

97、1、本發(fā)明引入了先進(jìn)的語義分割和顯著性預(yù)測技術(shù)，能夠在環(huán)境中精確提取出關(guān)鍵特征。通過語義分割，可以有效區(qū)分不同類型的物體和場景，并提供詳細(xì)的語義信息，有助于全面理解環(huán)境；顯著性預(yù)測技術(shù)則能快速識別環(huán)境中的重要特征區(qū)域，增強了系統(tǒng)的感知能力。

98、2、本發(fā)明利用點云分割輔助的回環(huán)檢測和結(jié)合顯著性信息的視覺特征提取技術(shù)，有效提升了定位精度和地圖構(gòu)建的準(zhǔn)確性。點云分割輔助回環(huán)檢測技術(shù)可以識別環(huán)境中的相似特征，從而更精確地確定自身位置；同時，結(jié)合顯著性信息進(jìn)行的視覺特征提取，可以更好地適應(yīng)環(huán)境變化，提高定位的穩(wěn)定性和準(zhǔn)確性。

99、3、本發(fā)明采用多模態(tài)slam方法，充分利用激光雷達(dá)和視覺傳感器的數(shù)據(jù)，提高了系統(tǒng)在不同環(huán)境中的魯棒性和適應(yīng)性。通過綜合利用多種傳感器的數(shù)據(jù)，系統(tǒng)能夠更有效地應(yīng)對動態(tài)場景干擾和環(huán)境結(jié)構(gòu)變化，即使在復(fù)雜多變的環(huán)境中也能保持優(yōu)異的性能表現(xiàn)。

100、4、本發(fā)明實現(xiàn)了自適應(yīng)的特征提取和環(huán)境感知，顯著減少了對人工干預(yù)的需求，這不僅降低了操作和維護(hù)的復(fù)雜性和成本，還減少了人為因素對系統(tǒng)性能的影響，從而提高了整體系統(tǒng)的穩(wěn)定性和可靠性。