本技術(shù)涉及無人船自主巡航領(lǐng)域，具體涉及一種基于多模塊融合的無人船自主巡航方法及系統(tǒng)。

背景技術(shù)：

1、無人船能夠借助精確定位技術(shù)、多傳感技術(shù)以及通信技術(shù)，可按照預(yù)設(shè)任務(wù)在水面按著預(yù)設(shè)的路線進行自主巡航，躲避障礙。自主巡航的無人船已經(jīng)在水利環(huán)境監(jiān)測、環(huán)境水樣采取等多個領(lǐng)域的發(fā)揮重要應(yīng)用。無人船能夠自動完成預(yù)定任務(wù)的關(guān)鍵在于其自主導(dǎo)航能力，無人船的自主導(dǎo)航能力不僅依賴于其高效的動力系統(tǒng)和控制算法，還與其環(huán)境感知能力密切相關(guān)。環(huán)境感知是無人船能夠安全、高效地在復(fù)雜水域中行駛的基礎(chǔ)，尤其是在存在障礙物的情況下。

2、如申請?zhí)枮?02111528825.7的中國專利公開了一種基于圖像識別技術(shù)的無人船避障系統(tǒng)，包括一圖像獲取模塊、圖像過濾模塊、圖像識別模塊和控制模塊；圖像獲取模塊用于獲取無人船前進方向的圖像；圖像過濾模塊用于判斷無人船前進方向的圖像是否符合預(yù)設(shè)的過濾條件；圖像識別模塊用于對圖像過濾模塊傳輸過來的無人船前進方向的圖像進行圖像識別處理，判斷無人船前進方向的圖像中是否包含障礙物，若是，則計算障礙物與無人船之間的位置關(guān)系；控制模塊用于根據(jù)所述位置關(guān)系對無人船進行控制，該發(fā)明有利于避免低質(zhì)量的圖像進入到后續(xù)的圖像識別過程中，有利于提高對障礙物的識別結(jié)果的準(zhǔn)確性，避免由于圖像處理作無效的運算導(dǎo)致縮短無人船對障礙物的反應(yīng)時間。

3、然而，傳統(tǒng)的環(huán)境感知方法主要依賴單一傳感器，如攝像頭、激光雷達或聲納等，單一傳感器在多變的水上環(huán)境中常常面臨諸多挑戰(zhàn)。例如，攝像頭在低光照或惡劣天氣條件下的表現(xiàn)可能不佳，而毫米波雷達在檢測小型或低反射物體時也可能存在局限，存在一定的盲區(qū)，在避障時表現(xiàn)不夠靈敏。

4、因此，需要一種基于多模塊融合的無人船自主巡航方案來解決上述技術(shù)問題。

技術(shù)實現(xiàn)思路

1、考慮到以上問題而做出了本技術(shù)。本技術(shù)的一個目的是提供一種基于多模塊融合的無人船自主巡航方法及系統(tǒng)。

2、本技術(shù)的實施例提供了一種基于多模塊融合的無人船自主巡航方法，其包括：

3、獲取由攝像頭采集的航行可見光圖像；

4、獲取由毫米波雷達采集的航行毫米波探測圖像；

5、對所述航行可見光圖像進行基于航行狀況的多尺度特征掃描以得到航行狀況可見光淺層特征圖和航行狀況可見光深層特征圖；

6、將所述航行狀況可見光淺層特征圖和所述航行狀況可見光深層特征圖輸入雙向全域細(xì)粒度注意力特征聯(lián)合模塊以得到航行狀況可見光淺層-深層聯(lián)合感知特征圖；

7、基于所述航行毫米波探測圖像進行航向狀況深度顯性描繪以得到航行狀況深度毫米波探測語義特征向量；

8、將所述航行狀況可見光淺層-深層聯(lián)合感知特征圖和所述航行狀況深度毫米波探測語義特征向量輸入基于跨模態(tài)信息融合的門控transformer結(jié)構(gòu)編碼器以得到航行狀態(tài)多模塊跨域融合特征圖；

9、基于所述航行狀態(tài)多模塊跨域融合特征圖，生成巡航指令，所述巡航指令用于表示是否進行障礙物避障。

10、例如，根據(jù)本技術(shù)的實施例的基于多模塊融合的無人船自主巡航方法，其中，對所述航行可見光圖像進行基于航行狀況的多尺度特征掃描以得到航行狀況可見光淺層特征圖和航行狀況可見光深層特征圖，包括：將所述航行可見光圖像輸入基于空洞金字塔網(wǎng)絡(luò)的航行狀況多尺度特征掃描器以得到所述航行狀況可見光淺層特征圖和所述航行狀況可見光深層特征圖。

11、例如，根據(jù)本技術(shù)的實施例的基于多模塊融合的無人船自主巡航方法，其中，將所述航行狀況可見光淺層特征圖和所述航行狀況可見光深層特征圖輸入雙向全域細(xì)粒度注意力特征聯(lián)合模塊以得到航行狀況可見光淺層-深層聯(lián)合感知特征圖，包括：

12、對所述航行狀況可見光淺層特征圖和所述航行狀況可見光深層特征圖進行特征細(xì)粒度解構(gòu)以得到航行狀況可見光淺層通道維度局部特征矩陣的集合和航行狀況可見光深層通道維度局部特征矩陣的集合；

13、分別以所述航行狀況可見光淺層通道維度局部特征矩陣的集合中的各個航行狀況可見光淺層通道維度局部特征矩陣作為查詢特征矩陣，以所述航行狀況可見光深層通道維度局部特征矩陣的集合作為鍵特征矩陣的集合，將所述查詢特征矩陣和所述鍵特征矩陣的集合輸入基于第一轉(zhuǎn)換器結(jié)構(gòu)的單向全域注意力交互模塊以得到單向全域注意力優(yōu)化航行狀況可見光淺層通道維度局部特征矩陣的集合；

14、分別以所述航行狀況可見光深層通道維度局部特征矩陣的集合中的各個航行狀況可見光深層通道維度局部特征矩陣作為查詢特征矩陣，以所述航行狀況可見光淺層通道維度局部特征矩陣的集合作為鍵特征矩陣的集合，將所述查詢特征矩陣和所述鍵特征矩陣的集合輸入基于第二轉(zhuǎn)換器結(jié)構(gòu)的單向全域注意力交互模塊以得到單向全域注意力優(yōu)化航行狀況可見光淺層通道維度局部特征矩陣的集合；

15、分別對所述單向全域注意力優(yōu)化航行狀況可見光淺層通道維度局部特征矩陣的集合和所述單向全域注意力優(yōu)化航行狀況可見光淺層通道維度局部特征矩陣的集合進行特征沿通道維度耦合以得到單向全域交互優(yōu)化航行狀況可見光淺層特征圖和單向全域交互優(yōu)化航行狀況可見光深層特征圖；

16、計算所述單向全域交互優(yōu)化航行狀況可見光淺層特征圖和所述單向全域交互優(yōu)化航行狀況可見光深層特征圖之間的按位置加權(quán)和以得到所述航行狀況可見光淺層-深層聯(lián)合感知特征圖。

17、例如，根據(jù)本技術(shù)的實施例的基于多模塊融合的無人船自主巡航方法，其中，分別以所述航行狀況可見光淺層通道維度局部特征矩陣的集合中的各個航行狀況可見光淺層通道維度局部特征矩陣作為查詢特征矩陣，以所述航行狀況可見光深層通道維度局部特征矩陣的集合作為鍵特征矩陣的集合，將所述查詢特征矩陣和所述鍵特征矩陣的集合輸入基于第一轉(zhuǎn)換器結(jié)構(gòu)的單向全域注意力交互模塊以得到單向全域注意力優(yōu)化航行狀況可見光淺層通道維度局部特征矩陣的集合，包括：

18、從所述航行狀況可見光淺層通道維度局部特征矩陣的集合中選出預(yù)定的航行狀況可見光淺層通道維度局部特征矩陣作為查詢特征矩陣；

19、計算所述預(yù)定的航行狀況可見光淺層通道維度局部特征矩陣分別與所述航行狀況可見光深層通道維度局部特征矩陣的集合中的各個所述航行狀況可見光深層通道維度局部特征矩陣的轉(zhuǎn)置矩陣之間的乘積以得到航行狀況可見光淺層-深層通道維度局部語義交互特征矩陣的集合；

20、將所述航行狀況可見光淺層-深層通道維度局部語義交互特征矩陣的集合中的各個航行狀況可見光淺層-深層通道維度局部語義交互特征矩陣分別按位置點除所述預(yù)定的航行狀況可見光淺層通道維度局部特征矩陣的尺度平方根后，再利用softmax函數(shù)對得到的特征矩陣的集合中的各個特征矩陣進行軟最大值歸一化處理以得到航行狀況可見光淺層通道維度局部權(quán)重矩陣的集合；

21、以所述航行狀況可見光淺層通道維度局部權(quán)重矩陣的集合作為加權(quán)權(quán)重，計算所述航行狀況可見光淺層通道維度局部特征矩陣的集合中的各個的航行狀況可見光淺層通道維度局部特征矩陣之間的按位置加權(quán)和以得到所述單向全域注意力優(yōu)化航行狀況可見光淺層通道維度局部特征矩陣。

22、例如，根據(jù)本技術(shù)的實施例的基于多模塊融合的無人船自主巡航方法，其中，分別以所述航行狀況可見光深層通道維度局部特征矩陣的集合中的各個航行狀況可見光深層通道維度局部特征矩陣作為查詢特征矩陣，以所述航行狀況可見光淺層通道維度局部特征矩陣的集合作為鍵特征矩陣的集合，將所述查詢特征矩陣和所述鍵特征矩陣的集合輸入基于第二轉(zhuǎn)換器結(jié)構(gòu)的單向全域注意力交互模塊以得到單向全域注意力優(yōu)化航行狀況可見光淺層通道維度局部特征矩陣的集合，包括：

23、從所述航行狀況可見光深層通道維度局部特征矩陣的集合中選出預(yù)定的航行狀況可見光深層通道維度局部特征矩陣作為查詢特征矩陣；

24、計算所述預(yù)定的航行狀況可見光深層通道維度局部特征矩陣分別與所述航行狀況可見光淺層通道維度局部特征矩陣的集合中的各個所述航行狀況可見光淺層通道維度局部特征矩陣的轉(zhuǎn)置矩陣之間的乘積以得到航行狀況可見光深層-淺層通道維度局部語義交互特征矩陣的集合；

25、將所述航行狀況可見光深層-淺層通道維度局部語義交互特征矩陣的集合中的各個航行狀況可見光深層-淺層通道維度局部語義交互特征矩陣分別按位置點除所述預(yù)定的航行狀況可見光深層通道維度局部特征矩陣的尺度平方根后，再利用softmax函數(shù)對得到的特征矩陣的集合中的各個特征矩陣進行軟最大值歸一化處理以得到航行狀況可見光深層通道維度局部權(quán)重矩陣的集合；

26、以所述航行狀況可見光深層通道維度局部權(quán)重矩陣的集合作為加權(quán)權(quán)重，計算所述航行狀況可見光深層通道維度局部特征矩陣的集合中的各個的航行狀況可見光深層通道維度局部特征矩陣之間的按位置加權(quán)和以得到所述單向全域注意力優(yōu)化航行狀況可見光深層通道維度局部特征矩陣。

27、例如，根據(jù)本技術(shù)的實施例的基于多模塊融合的無人船自主巡航方法，其中，基于所述航行毫米波探測圖像進行航向狀況深度顯性描繪以得到航行狀況深度毫米波探測語義特征向量，包括：將所述航行毫米波探測圖像輸入基于深度可分離卷積網(wǎng)絡(luò)的航向狀況深度顯性描繪器以得到所述航行狀況深度毫米波探測語義特征向量。

28、例如，根據(jù)本技術(shù)的實施例的基于多模塊融合的無人船自主巡航方法，其中，將所述航行狀況可見光淺層-深層聯(lián)合感知特征圖和所述航行狀況深度毫米波探測語義特征向量輸入基于跨模態(tài)信息融合的門控transformer結(jié)構(gòu)編碼器以得到航行狀態(tài)多模塊跨域融合特征圖，包括：

29、對所述航行狀況可見光淺層-深層聯(lián)合感知特征圖進行層歸一化和卷積編碼處理以得到航行狀況可見光淺層-深層聯(lián)合感知空間深化特征圖；

30、復(fù)制所述航行狀況可見光淺層-深層聯(lián)合感知空間深化特征圖以得到備份航行狀況可見光淺層-深層聯(lián)合感知空間深化特征圖；

31、分別對所述備份航行狀況可見光淺層-深層聯(lián)合感知空間深化特征圖和所述航行狀況可見光淺層-深層聯(lián)合感知空間深化特征圖進行特征形狀重塑以得到備份航行狀況可見光淺層-深層聯(lián)合感知空間深化特征矩陣作為仿查詢特征矩陣和航行狀況可見光淺層-深層聯(lián)合感知空間深化特征矩陣作為仿鍵特征矩陣；

32、計算所述仿查詢特征矩陣與所述仿鍵特征矩陣的轉(zhuǎn)置矩陣之間的乘積以得到航行狀況可見光淺層-深層聯(lián)合感知局部自相關(guān)庫矩陣；

33、將所述航行狀況可見光淺層-深層聯(lián)合感知局部自相關(guān)庫矩陣輸入基于gelu函數(shù)的注意力門控單元以得到航行狀況可見光淺層-深層聯(lián)合感知門控局部自相關(guān)庫權(quán)重矩陣；

34、以所述航行狀況深度毫米波探測語義特征向量作為值特征向量，計算所述航行狀況可見光淺層-深層聯(lián)合感知門控局部自相關(guān)庫權(quán)重矩陣與所述航行狀況深度毫米波探測語義特征向量之間的乘積以得到航行狀況深度毫米波探測語義跨模態(tài)交互融合條件權(quán)重向量；

35、以所述航行狀況深度毫米波探測語義跨模態(tài)交互融合條件權(quán)重向量作為權(quán)重向量，對所述航行狀況可見光淺層-深層聯(lián)合感知特征圖進行逐通道加權(quán)以得到所述航行狀態(tài)多模塊跨域融合特征圖。

36、例如，根據(jù)本技術(shù)的實施例的基于多模塊融合的無人船自主巡航方法，其中，對所述航行狀況可見光淺層-深層聯(lián)合感知特征圖進行層歸一化和卷積編碼處理以得到航行狀況可見光淺層-深層聯(lián)合感知空間深化特征圖，包括：

37、對所述航行狀況可見光淺層-深層聯(lián)合感知特征圖進行層歸一化處理以得到層歸一化航行狀況可見光淺層-深層聯(lián)合感知特征圖；

38、對所述層歸一化航行狀況可見光淺層-深層聯(lián)合感知特征圖進行點卷積編碼后再進行空間卷積編碼以得到所述航行狀況可見光淺層-深層聯(lián)合感知空間深化特征圖。

39、例如，根據(jù)本技術(shù)的實施例的基于多模塊融合的無人船自主巡航方法，其中，基于所述航行狀態(tài)多模塊跨域融合特征圖，生成巡航指令，所述巡航指令用于表示是否進行障礙物避障，包括：將所述航行狀態(tài)多模塊跨域融合特征圖輸入基于分類器的巡航指令生成模塊以得到所述巡航指令。

40、本技術(shù)的實施例還提供了一種基于多模塊融合的無人船自主巡航系統(tǒng)，其包括：

41、航行可見光圖像采集模塊，用于獲取由攝像頭采集的航行可見光圖像；

42、航行毫米波探測圖像采集模塊，用于獲取由毫米波雷達采集的航行毫米波探測圖像；

43、多尺度特征掃描模塊，用于對所述航行可見光圖像進行基于航行狀況的多尺度特征掃描以得到航行狀況可見光淺層特征圖和航行狀況可見光深層特征圖；

44、淺深聯(lián)合感知模塊，用于將所述航行狀況可見光淺層特征圖和所述航行狀況可見光深層特征圖輸入雙向全域細(xì)粒度注意力特征聯(lián)合模塊以得到航行狀況可見光淺層-深層聯(lián)合感知特征圖；

45、航向狀況深度顯性描繪模塊，用于基于所述航行毫米波探測圖像進行航向狀況深度顯性描繪以得到航行狀況深度毫米波探測語義特征向量；

46、跨模態(tài)信息融合模塊，用于將所述航行狀況可見光淺層-深層聯(lián)合感知特征圖和所述航行狀況深度毫米波探測語義特征向量輸入基于跨模態(tài)信息融合的門控transformer結(jié)構(gòu)編碼器以得到航行狀態(tài)多模塊跨域融合特征圖；

47、巡航指令生成模塊，用于基于所述航行狀態(tài)多模塊跨域融合特征圖，生成巡航指令，所述巡航指令用于表示是否進行障礙物避障。

48、本技術(shù)至少具有如下技術(shù)效果：與現(xiàn)有技術(shù)相比，本技術(shù)的實施例的基于多模塊融合的無人船自主巡航方法及系統(tǒng)，其通過攝像頭監(jiān)測采集航行可見光圖像，并通過毫米波雷達監(jiān)測采集的航行毫米波探測圖像，然后在后端引入基于人工智能和深度學(xué)習(xí)的圖像處理和分析算法來對于該航行可見光圖像和航行毫米波探測圖像進行特征分析和提取，以此來捕獲和刻畫出所述航行可見光圖像和所述航行毫米波探測圖像中關(guān)于無人船的環(huán)境感知特征和航行狀態(tài)多模塊跨域融合特征，從而進行巡航過程的環(huán)境感知以判斷是否進行障礙物避障，可以幫助無人船識別障礙物，優(yōu)化其自主巡航的避障策略，規(guī)劃出有效避障、節(jié)省動力的優(yōu)化巡航路線。