本發(fā)明屬于圖像處理，具體涉及一種基于特征信息重建增強(qiáng)的圖像分割方法。

背景技術(shù)：

1、圖像分割是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一項(xiàng)基礎(chǔ)技術(shù)，它旨在將圖像劃分成多個(gè)區(qū)域或?qū)ο螅员阌谶M(jìn)一步的分析和處理。這項(xiàng)技術(shù)對(duì)于理解圖像內(nèi)容、提取有用信息至關(guān)重要，廣泛應(yīng)用于醫(yī)學(xué)成像、遙感、視頻監(jiān)控、自動(dòng)駕駛等多個(gè)領(lǐng)域。傳統(tǒng)的圖像分割技術(shù)依賴于像素級(jí)別的分析，通過(guò)邊緣檢測(cè)、閾值分割、區(qū)域生長(zhǎng)等方法來(lái)區(qū)分不同的區(qū)域。例如，邊緣檢測(cè)算法通過(guò)尋找像素強(qiáng)度的顯著變化來(lái)確定物體的輪廓；而閾值分割則是根據(jù)像素的灰度值將圖像分為前景和背景。

2、隨著深度學(xué)習(xí)的發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)(cnn)的圖像分割方法取得了顯著進(jìn)展。這些方法能夠?qū)W習(xí)圖像中的特征表示，并自動(dòng)進(jìn)行更準(zhǔn)確的分割。典型的深度學(xué)習(xí)模型包括全卷積網(wǎng)絡(luò)(fcn)、u-net、mask?r-cnn等，它們利用編碼器-解碼器架構(gòu)來(lái)捕捉圖像的上下文信息，并進(jìn)行精確的區(qū)域定位。

3、最近，transformer架構(gòu)也被引入到圖像分割中，利用自注意力機(jī)制來(lái)處理圖像序列化表示，進(jìn)一步提升了分割性能。這些方法能夠更好地處理長(zhǎng)距離依賴關(guān)系，捕捉全局上下文信息，適用于大規(guī)模和復(fù)雜的圖像分割任務(wù)。

4、但是，圖像分割領(lǐng)域任然存在著分割不徹底，特征信息融合不全面的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于提供出一種基于特征信息重建增強(qiáng)的圖像分割方法，通過(guò)對(duì)兩張?zhí)卣鲌D的特征信息重建，提高全局信息關(guān)注度，通過(guò)特征信息重建(ufa)模塊和跳躍注意力(sam)模塊的互相協(xié)調(diào)，將特征信息的提取效率最大化，最終得到全面的特征信息。

2、本發(fā)明通過(guò)以下技術(shù)方案實(shí)現(xiàn)：

3、步驟一：輸入兩張?jiān)紙D像，經(jīng)過(guò)編碼模塊提取相應(yīng)的特征圖信息；

4、步驟二：分別將兩種特征圖信息經(jīng)過(guò)具有特征信息重建(ufa)模塊和跳躍注意力(sam)模塊的分支進(jìn)行特征信息重建和注意力計(jì)算；

5、步驟三：將得到的特征信息送入解碼器后得出輸出圖。

6、進(jìn)一步，所述的步驟一具體為：將whu數(shù)據(jù)集80％劃分為訓(xùn)練集，20％劃分為測(cè)試集，將訓(xùn)練集的兩張圖片送入輕量化模型mobilev2訓(xùn)練，降低損失，提取有效特征信息。

7、進(jìn)一步，所述的步驟二具體為：將提取到的兩張圖的特征信息分別經(jīng)過(guò)特征信息重建(ufa)模塊，即對(duì)特征信息的特征統(tǒng)計(jì)量使用高斯重參數(shù)化技術(shù)重建得到新的特征信息，同時(shí)經(jīng)過(guò)sam模塊，對(duì)重建后的特征信息進(jìn)行窗口化劃分細(xì)分區(qū)域和線性變換轉(zhuǎn)化，然后計(jì)算特征權(quán)重。

8、進(jìn)一步，所述的特征信息重建(ufa)模塊具體為：首先，分別對(duì)兩張?zhí)卣鲌D的特征統(tǒng)計(jì)量進(jìn)行不確定性估計(jì)，獲得其概率分布，然后，基于估計(jì)的不確定性，建立每個(gè)特征統(tǒng)計(jì)量的概率分布，并使用高斯重參數(shù)化技術(shù)從這些分布中隨機(jī)采樣新的特征統(tǒng)計(jì)量，最后，將兩張?zhí)卣餍畔⒌慕y(tǒng)計(jì)量混合，生成具有語(yǔ)義變化的新查詢特征，不確定性估計(jì)公式如下：

9、

10、其中，μq和σq表示圖像的特征統(tǒng)計(jì)，var(μq)和var(σq)表示特征統(tǒng)計(jì)的方差，nbs表示小批量中的樣本數(shù)。

11、進(jìn)一步，所述的跳躍注意力(sam)模塊具體為：首先將像素查詢圖和對(duì)應(yīng)的編碼特征信息通過(guò)卷積操作調(diào)整到相同的通道數(shù)后經(jīng)過(guò)layer?norm后，再經(jīng)過(guò)窗口劃分細(xì)分特征區(qū)域，然后經(jīng)過(guò)linear層線性變換生成特征值，接著，在有限的窗口內(nèi)計(jì)算注意力權(quán)重，使用關(guān)注各個(gè)區(qū)域特征的注意力算法來(lái)嵌入不同深度范圍的信息，最后，通過(guò)kan網(wǎng)絡(luò)層線性組合聚合每個(gè)像素的深度嵌入信息。

12、進(jìn)一步，所述步驟三具體為：將經(jīng)過(guò)ufa模塊特征信息重建后的特征圖和sam模塊并行多窗口劃分特征區(qū)域重視權(quán)重處理后的特征信息聚合，然后經(jīng)過(guò)解碼后得到處理后的輸出圖。

13、本發(fā)明的有益效果如下：

14、本發(fā)明通過(guò)特征信息重建(ufa)模塊和跳躍注意力(sam)模塊讓模型更加關(guān)注多維尺度的特征信息，增強(qiáng)了特征信息，并豐富了信息特征的多樣性，為處理圖像特征信息提供了有效的方法。

技術(shù)特征：

1.一種基于特征信息重建增強(qiáng)的圖像分割方法，其特征在于，所述的一種基于特征信息重建增強(qiáng)的圖像分割方法包括如下步驟：

2.如權(quán)利要求1所述的方法，其特征在于，所述的步驟一具體為：將whu數(shù)據(jù)集80％劃分為訓(xùn)練集，20％劃分為測(cè)試集，將訓(xùn)練集的兩張圖片送入輕量化模型mobilev2訓(xùn)練，降低損失，提取有效特征信息。

3.如權(quán)利要求1所述的方法，其特征在于，所述的步驟二具體為：將提取到的兩張圖的特征信息分別經(jīng)過(guò)特征信息重建(ufa)模塊，即對(duì)特征信息的特征統(tǒng)計(jì)量使用高斯重參數(shù)化技術(shù)重建得到新的特征信息，同時(shí)經(jīng)過(guò)sam模塊，對(duì)重建后的特征信息進(jìn)行窗口化劃分細(xì)分區(qū)域和線性變換轉(zhuǎn)化，然后計(jì)算特征權(quán)重。

4.如權(quán)利要求3所述的方法，其特征在于，所述的特征信息重建(ufa)模塊具體為：首先，分別對(duì)兩張?zhí)卣鲌D的特征統(tǒng)計(jì)量進(jìn)行不確定性估計(jì)，獲得其概率分布，然后，基于估計(jì)的不確定性，建立每個(gè)特征統(tǒng)計(jì)量的概率分布，并使用高斯重參數(shù)化技術(shù)從這些分布中隨機(jī)采樣新的特征統(tǒng)計(jì)量，最后，將兩張?zhí)卣餍畔⒌慕y(tǒng)計(jì)量混合，生成具有語(yǔ)義變化的新查詢特征，不確定性估計(jì)公式如下：

5.如權(quán)利要求3所述的方法，其特征在于，所述的跳躍注意力(sam)模塊具體為：首先將像素查詢圖和對(duì)應(yīng)的編碼特征信息通過(guò)卷積操作調(diào)整到相同的通道數(shù)后經(jīng)過(guò)layer?norm后，再經(jīng)過(guò)窗口劃分細(xì)分特征區(qū)域，然后經(jīng)過(guò)linear層線性變換生成特征值，接著，在有限的窗口內(nèi)計(jì)算注意力權(quán)重，使用關(guān)注各個(gè)區(qū)域特征的注意力算法來(lái)嵌入不同深度范圍的信息，最后，通過(guò)kan網(wǎng)絡(luò)層線性組合聚合每個(gè)像素的深度嵌入信息。

6.如權(quán)利要求1所述的方法，其特征在于，所述步驟三具體為：將經(jīng)過(guò)ufa模塊特征信息重建后的特征圖和sam模塊并行多窗口劃分特征區(qū)域重視權(quán)重處理后的特征信息聚合，然后經(jīng)過(guò)解碼后得到處理后的輸出圖。

技術(shù)總結(jié)
本發(fā)明公開(kāi)了一種基于特征信息重建增強(qiáng)的圖像分割方法，屬于圖像處理技術(shù)領(lǐng)域。本發(fā)明包括如下步驟：首先，輸入兩張?jiān)紙D像，經(jīng)過(guò)編碼模塊提取相應(yīng)的特征圖信息；然后，分別將兩種特征圖信息經(jīng)過(guò)具有特征信息重建(UFA)模塊和跳躍注意力(SAM)模塊的分支進(jìn)行特征信息重建和注意力計(jì)算；最后，將得到的特征信息送入解碼器后得出輸出圖。本方法提高了模型的魯棒性，為圖像分割特征信息提取不全面提供了新的解決方法。

技術(shù)研發(fā)人員：胡長(zhǎng)江,劉敏賢,張夢(mèng)洋
受保護(hù)的技術(shù)使用者：西南科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/9/9