本發(fā)明屬于基于側(cè)掃聲納圖像的目標(biāo)檢測研究領(lǐng)域,尤其涉及多尺度海底目標(biāo)檢測方法。
背景技術(shù):
1、海底目標(biāo)的探測與識別一直是海洋測繪、水下搜救、水雷檢測和管線測量等方面的主要工作內(nèi)容。側(cè)掃聲吶能夠在能見度極低的水下環(huán)境中實施探測并提供高分辨率的水下目標(biāo)圖像,是海底目標(biāo)探測的常用儀器設(shè)備,在搜尋失事飛機(jī)、船只殘骸及失事人員,定位海底管線及探測突出的礁石、海底礦石和沉底水雷等方面發(fā)揮了重要作用。當(dāng)前,側(cè)掃聲吶圖像海底目標(biāo)的識別仍以人工為主,其過度依賴主觀經(jīng)驗且效率低下,嚴(yán)重影響了其在海底目標(biāo)檢測中的廣泛應(yīng)用,特別是無法滿足水下搜救和水雷等軍事目標(biāo)檢測的實時性應(yīng)用需求。為了實現(xiàn)側(cè)掃聲吶圖像海底目標(biāo)的實時檢測,國內(nèi)外學(xué)者對側(cè)掃聲吶圖像預(yù)處理、分類識別和目標(biāo)檢測算法等進(jìn)行了大量研究,取得了一定的效果。首先,由于受復(fù)雜海洋環(huán)境以及水下散射機(jī)理等因素影響,側(cè)掃聲吶圖像存在大量的噪聲。因此,有效抑制噪聲的同時能夠很好地保持圖像的邊緣和細(xì)節(jié),將有助于提高目標(biāo)分類識別及檢測的精度。傳統(tǒng)的側(cè)掃聲吶圖像降噪方法主要集中在空間域,如均值濾波、中值濾波、維納濾波,盡管這些方法實現(xiàn)簡單,但大多在降噪與保持圖像細(xì)節(jié)之間矛盾突出。小波變換是頻率域降噪的典型方法之一,由于其具有良好的時頻特性、多分辨率分析特性和稀疏表示特性,被廣泛應(yīng)用于側(cè)掃聲吶圖像降噪。
2、在側(cè)掃聲吶圖像目標(biāo)檢測方面,目前主要以深度學(xué)習(xí)算法為主。利用深度學(xué)習(xí)算法進(jìn)行目標(biāo)檢測一般分為兩種,分別是兩階段檢測模型和一階段檢測模型兩大類。其中,雙階段檢測模型首先生成候選目標(biāo)框的區(qū)域建議網(wǎng)絡(luò),初步篩選出可能包含目標(biāo)的候選區(qū)域;然后是對這些候選框進(jìn)行分類和邊界框回歸的網(wǎng)絡(luò),進(jìn)一步確定候選框中目標(biāo)的類別和精確位置。雖然兩階段模型結(jié)構(gòu)較復(fù)雜、較大、較慢,但在檢測精度方面具有一定優(yōu)勢。具有代表性的兩階段模型包括r-cnn、fast-rcnn和faster-rcnn等。
3、單階段目標(biāo)檢測算法在單一前向傳播中完成目標(biāo)檢測任務(wù),無需生成候選區(qū)域。它們通過密集的網(wǎng)格或錨框直接預(yù)測目標(biāo)的類別和位置。與雙階段目標(biāo)檢測算法相比,一階段的算法無需生成候選區(qū)域,再進(jìn)行回歸預(yù)測,因此單階段算法通常具有更快的推理速度,適用于實時應(yīng)用或?qū)λ俣纫筝^高的場景。雖然單階段算法在速度方面具有優(yōu)勢,但它們通常在準(zhǔn)確性上略遜于雙階段算法。單階段目標(biāo)檢測的代表性算法包括yolo(you?onlylook?once)、ssd(single?shot?multibox?detector)、retinanet等。
4、水下目標(biāo)智能探測對探測模型在精度上提出了較高的要求,傳統(tǒng)的基于深度學(xué)習(xí)算法的側(cè)掃聲納水下目標(biāo)檢測方法雖然在檢測精度上取得了不錯的成績,但是如何在復(fù)雜海洋噪聲背景下進(jìn)一步提高不同尺寸目標(biāo)檢測的準(zhǔn)確性、降低重疊目標(biāo)漏警和虛是一個亟需解決的課題。
技術(shù)實現(xiàn)思路
1、本發(fā)明主要針對側(cè)掃聲納圖像目標(biāo)檢測時,難以顧及不同尺度目標(biāo)的檢測精度,提出一種名為bes-yolov8的海底目標(biāo)檢測模型。該模型在yolov8模型的基礎(chǔ)上引入雙向特征金字塔結(jié)構(gòu)(bifpn)、多尺度注意力模塊(ema)以及形狀-交并比損失函數(shù)(shape-iou)構(gòu)成,在yolov8的backbone中引入ema注意力機(jī)制,融合不同尺度的信息,獲得更清晰的多尺度特征,在neck部分使用bifpn結(jié)構(gòu)進(jìn)行特征融合,以便更全面地表征不同大小的目標(biāo),提高多尺度目標(biāo)的檢測性能,最后采用shape_iou損失函數(shù)評估目標(biāo)檢測模型的性能、不斷優(yōu)化目標(biāo)檢測模型以提高其精,三者結(jié)合能有效提升側(cè)掃聲納圖像多尺度目標(biāo)的檢測精度及效率,提出的算法可應(yīng)用于auv等水下平臺實施海底目標(biāo)的智能檢測。
2、為了達(dá)到上述目的,本發(fā)明的技術(shù)方案為:
3、一種基于bes-yolov8模型的海底目標(biāo)檢測方法,具體包括以下步驟:
4、第一步,數(shù)據(jù)集預(yù)處理
5、在圖像預(yù)處理過程中,對低分辨率圖像進(jìn)行最鄰近插值,并將插值所得的圖像利用haar小波進(jìn)行離散小波變換,使原圖完全轉(zhuǎn)化為其低頻系數(shù),且不存在任何信息損失,即低頻部分包含原始低分辨率圖像的所有信息;接著對原圖進(jìn)行雙三次插值后進(jìn)行haar小波分解,提取其三個方向上的高頻系數(shù);在完成對低頻成分與三個疊加高頻成分的整合后,利用小波逆變換重建出高分辨率圖像;
6、第二步,構(gòu)建bes-yolov8模型并訓(xùn)練
7、bes-yolov8模型包括輸入端、backbone、neck和head四部分;
8、在輸入端,輸入的圖像首先會被縮放到固定的尺寸,接下來,圖像的像素值會被歸一化到0到1之間的范圍,再將圖像的通道順序轉(zhuǎn)換為bgr,最后,圖像的維度會被調(diào)整為網(wǎng)絡(luò)所需的格式;
9、backbone用于提取目標(biāo)的通用特征,包含5個conv模塊、4個c2f模塊、1個sppf模塊、1個ema模塊;conv模塊為卷積層,c2f模塊為csplayer_2conv模塊,用于減少計算量并增加梯度流;c2f模塊由多個bottleneck塊組成,每個bottleneck塊都包含兩個卷積層;這些卷積層對輸入特征圖進(jìn)行變換,提取出更高級別的特征表示;bes-yolov8模型,在主干網(wǎng)絡(luò)的倒數(shù)第二層引入ema模塊,用于增強(qiáng)模型對不同尺度信息的感知能力,捕獲跨維度交互并建立維度之間的依賴關(guān)系,使神經(jīng)元的局部感受野能高效獲得更清晰的多尺度特征,降低圖像中干擾因素的影響;backbone的最后一層為sppf模塊,sppf模塊通過一系列連續(xù)的5×5卷積核最大池化操作,分別捕捉感受野大小為5、9和13的信息;
10、neck用于進(jìn)一步豐富特征的多樣性以達(dá)到提升模型魯棒性的目的,設(shè)置于backbone和head之間,包含4個c2f,2個conv,2個upsample和4個bifpn_concat2;從backbone中經(jīng)過sppf處理的特征層與未經(jīng)處理的特征層采用bifpn結(jié)構(gòu)進(jìn)行融合,用以綜合不同尺度的特征信息;neck部分分別將4層和14層、6層和11層、13層和17層、10層和20層的特征圖經(jīng)過4個bifpn_concat2模塊進(jìn)行融合,實現(xiàn)多尺度信息的融合;
11、head為目標(biāo)檢測模型的決策部分,負(fù)責(zé)產(chǎn)生最終的檢測結(jié)果;采用原始yolov8模型的解耦頭結(jié)構(gòu),將分類和檢測頭分離,解耦頭結(jié)構(gòu)先分叉開兩個conv卷積模塊,然后經(jīng)過一個conv2d,最后分別算出classifcation?loss和bbox?loss;在head部分的三個解耦頭分別對應(yīng)著neck部分的三個尺度的特征圖輸出,以便能對不同尺度的目標(biāo)進(jìn)行檢測;
12、最后引入shape_iou損失函數(shù),用于準(zhǔn)確地評估目標(biāo)檢測模型的性能、優(yōu)化目標(biāo)檢測模型;
13、第三步,模型預(yù)測
14、通過將驗證集放入訓(xùn)練好的模型中,進(jìn)行檢測,獲得圖像中的目標(biāo)信息,同時通過精確率p、召回率r、平均精度均值指標(biāo)進(jìn)行評估模型性能。
15、本發(fā)明的有益效果為:本發(fā)明提供的一種基于bes-yolov8模型的海底目標(biāo)檢測方法,融合了雙向特征金字塔結(jié)構(gòu)、多尺度注意力模塊以及形狀-交并比損失函數(shù),有效提取側(cè)掃聲納圖像中的多尺度特征,并更好地融合多尺度信息,有助于模型更全面地理解不同大小的目標(biāo),提高了對多尺度物體的檢測性能,同時也增強(qiáng)了對物體的上下文理解,有效提升側(cè)掃聲納圖像目標(biāo)檢測的精度,在進(jìn)行探測時,可用于對海底目標(biāo)的實時智能探測,具有實際應(yīng)用價值。