本發(fā)明涉及圖像分割,具體涉及一種基于狀態(tài)空間模型和雙路徑多尺度增強(qiáng)的心臟圖像分割方法。
背景技術(shù):
1、在當(dāng)下的醫(yī)療成像處理領(lǐng)域,心臟圖像的精確分割對(duì)于深入了解心臟疾病、制定治療計(jì)劃以及疾病進(jìn)展監(jiān)控至關(guān)重要。隨著人工智能在醫(yī)療領(lǐng)域的應(yīng)用不斷擴(kuò)展,深度學(xué)習(xí),特別是卷積神經(jīng)網(wǎng)絡(luò)(cnn)和transformer模型,在心臟圖像分割任務(wù)中顯示了巨大的潛力。這些神經(jīng)網(wǎng)絡(luò)模型通過自動(dòng)提取高維度特征和識(shí)別復(fù)雜的圖像模式,為醫(yī)學(xué)圖像分析提供了強(qiáng)大的工具,較傳統(tǒng)方法顯著提高了分割精度和效率。
2、然而,盡管深度學(xué)習(xí)模型已經(jīng)取得了顯著的進(jìn)步,但它們在心臟圖像分割任務(wù)中仍面臨一些局限性。cnn模型被限制于局部感受野,難以有效捕獲長距離的圖像特征依賴性,這對(duì)于理解心臟結(jié)構(gòu)的完整性至關(guān)重要。而基于transformer的模型雖可處理全局信息,其自注意力機(jī)制導(dǎo)致的計(jì)算復(fù)雜度隨圖像尺寸呈二次方增加,大大增加了處理高分辨率心臟圖像的計(jì)算負(fù)擔(dān),限制了其在實(shí)際臨床應(yīng)用中的使用。最近,結(jié)合狀態(tài)空間模型(ssm)的mamba模型的引入,為我們提供了一個(gè)全新的視角。ssm在處理長距離依賴性方面展現(xiàn)了其獨(dú)特的優(yōu)勢,同時(shí)其計(jì)算復(fù)雜度與輸入大小呈線性關(guān)系,相比于傳統(tǒng)的深度學(xué)習(xí)模型大幅度降低了計(jì)算資源的需求。因此,探尋一種既能有效處理心臟圖像中的長距離依賴,又能保持計(jì)算資源使用高效率的方法尤為重要。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明為了克服以上技術(shù)的不足,提供了一種有效處理心臟圖像中的長距離依賴,又能保持計(jì)算資源使用高效率的心臟圖像分割方法。
2、本發(fā)明克服其技術(shù)問題所采用的技術(shù)方案是:
3、一種基于狀態(tài)空間模型和雙路徑多尺度增強(qiáng)的心臟圖像分割方法,包括:
4、a)收集n個(gè)左心房mri圖像數(shù)據(jù),得到左心房mri圖像數(shù)據(jù)集e,e={e1,e2,...,ei,...,en},ei為第i個(gè)左心房mri圖像數(shù)據(jù),i∈{1,...,n};b)將第i個(gè)左心房mri圖像數(shù)據(jù)ei進(jìn)行預(yù)處理,得到預(yù)處理后的第i個(gè)左心房mri圖像數(shù)據(jù)si,預(yù)處理后的左心房mri圖像數(shù)據(jù)集為s,s={s1,s2,...,si,...,sn};
5、c)將預(yù)處理后的左心房mri圖像數(shù)據(jù)集s劃分為訓(xùn)練集、驗(yàn)證集、測試集,將訓(xùn)練集中的各個(gè)預(yù)處理后的左心房mri圖像數(shù)據(jù)沿z軸切片,得到x個(gè)切片圖像構(gòu)成的切片圖像集ftrain,ftrain={f1,f2,...,fi,...,fx},fi為第i個(gè)切片圖像,i∈{1,…,x},將測試集中的各個(gè)預(yù)處理后的左心房mri圖像數(shù)據(jù)沿z軸切片,得到y(tǒng)個(gè)切片圖像構(gòu)成的切片圖像集ftest,ftest={f1,f2,...,fj,...,fy},fj為第j個(gè)切片圖像,i∈{1,...,y};
6、d)建立由編碼器、解碼器構(gòu)成的分割網(wǎng)絡(luò)模型;
7、e)將訓(xùn)練集中第i個(gè)切片圖像fi輸入到分割網(wǎng)絡(luò)模型的編碼器中,輸出得到特征圖
8、f)將特征圖輸入到分割網(wǎng)絡(luò)模型的解碼器中,輸出得到預(yù)測分割圖像
9、g)使用sgd優(yōu)化器,利用總損失函數(shù)ltotal訓(xùn)練分割網(wǎng)絡(luò)模型,得到優(yōu)化后的分割網(wǎng)絡(luò)模型;
10、h)將測試集中第第j個(gè)切片圖像fj輸入到優(yōu)化后的分割網(wǎng)絡(luò)模型中,輸出得到預(yù)測分割圖像進(jìn)一步的,步驟a)中從2018心房分割挑戰(zhàn)賽數(shù)據(jù)集中收集n個(gè)左心房mri圖像數(shù)據(jù)。
11、進(jìn)一步的,步驟b)包括如下步驟:
12、b-1)將第i個(gè)左心房mri圖像數(shù)據(jù)ei沿z軸切片,將切割的若干切片進(jìn)行x軸方向的像素間距為1.5、y軸方向的像素間距為1.5的重采樣操作;
13、b-2)使用pytorch中的centercrop函數(shù)將重采樣操作后的切片進(jìn)行中心剪裁操作,剪裁后的切片的大小為112×112;
14、b-3)使用torch.stack()函數(shù)將中心剪裁后的各個(gè)切片堆疊操作,重新恢復(fù)為左心房mri圖像數(shù)據(jù)ei′;
15、b-4)使用random_flip_rotate()函數(shù)將左心房mri圖像數(shù)據(jù)ei′以0.5的概率沿水平軸或垂直軸進(jìn)行翻轉(zhuǎn),翻轉(zhuǎn)角度為90度,得到旋轉(zhuǎn)后的左心房mri圖像數(shù)據(jù)ei″;
16、b-5)將旋轉(zhuǎn)后的左心房mri圖像數(shù)據(jù)ei″進(jìn)行z-score標(biāo)準(zhǔn)化處理,得到預(yù)處理后的第i個(gè)左心房mri圖像數(shù)據(jù)si。
17、進(jìn)一步的,步驟c)中將預(yù)處理后的左心房mri圖像數(shù)據(jù)集s按照6:1:3的比例劃分為訓(xùn)練集、驗(yàn)證集、測試集。
18、進(jìn)一步的,步驟e)包括如下步驟:
19、e-1)分割網(wǎng)絡(luò)模型的編碼器由卷積層、第一狀態(tài)空間注意力模塊sssca、第一最大池化層、第二狀態(tài)空間注意力模塊sssca、第二最大池化層、第三狀態(tài)空間注意力模塊sssca、第三最大池化層、第四狀態(tài)空間注意力模塊sssca、第四最大池化層構(gòu)成,第一狀態(tài)空間注意力模塊sssca、第二狀態(tài)空間注意力模塊sssca、第三狀態(tài)空間注意力模塊sssca、第四狀態(tài)空間注意力模塊sssca均由ssm分支、卷積分支、注意力分支構(gòu)成;ssm分支由第一layernorm層、第一linear層、第一silu激活函數(shù)、第二linear層、深度可分離卷積層、第二silu激活函數(shù)、狀態(tài)空間模型ssm、第二layernorm層構(gòu)成;卷積分支均由batchnorm層、第一卷積層、第一relu激活函數(shù)、第二卷積層、第二relu激活函數(shù)、逐點(diǎn)卷積層構(gòu)成;注意力分支由通道注意力機(jī)制cam、空間注意力機(jī)制sam構(gòu)成;
20、e-2)將訓(xùn)練集中第i個(gè)切片圖像fi輸入到編碼器的卷積層中,輸出得到特征圖
21、e-3)通過pytorch中的torch.chunk()函數(shù)對(duì)特征圖進(jìn)行split操作,輸出得到特征圖和特征圖將特征圖輸入到第一狀態(tài)空間注意力模塊sssca的ssm分支的第一layernorm層中,輸出得到特征圖fl1-1,將特征圖fl1-1依次輸入到第一狀態(tài)空間注意力模塊sssca的ssm分支的第一linear層、第一silu激活函數(shù)中,輸出得到特征圖將特征圖依次輸入到第一狀態(tài)空間注意力模塊sssca的ssm分支的第二linear層、深度可分離卷積層、第二silu激活函數(shù)中,輸出得到特征圖fl1-3,將fl1-3依次輸入到第一狀態(tài)空間注意力模塊sssca的ssm分支的狀態(tài)空間模型ssm、第二layernorm層中,輸出得到特征圖fl1-4,將特征圖fl1-2與特征圖fl1-4進(jìn)行相乘操作,得到特征圖fl1;將特征圖輸入到第一狀態(tài)空間注意力模塊sssca的卷積分支的batchnorm層中,輸出得到特征圖將特征圖依次輸入到第一狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層、第一relu激活函數(shù)、第二卷積層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖輸入到第一狀態(tài)空間注意力模塊sssca的卷積分支的逐點(diǎn)卷積層中,輸出得到特征圖將特征圖fl1與特征圖通過pytorch中的torch.cat()函數(shù)進(jìn)行concat操作,得到特征圖將特征圖輸入到第一狀態(tài)空間注意力模塊sssca的注意力分支的通道注意力機(jī)制cam中,輸出得到特征圖將特征圖輸入到第一狀態(tài)空間注意力模塊sssca的注意力分支的空間注意力機(jī)制sam中,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,得到特征圖e-4)將特征圖輸入到編碼器的第一最大池化層中,輸出得到特征圖e-5)通過pytorch中的torch.chunk()函數(shù)對(duì)特征圖進(jìn)行split操作,輸出得到特征圖和特征圖將特征圖輸入到第二狀態(tài)空間注意力模塊sssca的ssm分支的第一layernorm層中,輸出得到特征圖fl2-1,將特征圖fl2-1依次輸入到第二狀態(tài)空間注意力模塊sssca的ssm分支的第一linear層、第一silu激活函數(shù)中,輸出得到特征圖fl2-2,將特征圖fl2-1依次輸入到第二狀態(tài)空間注意力模塊sssca的ssm分支的第二linear層、深度可分離卷積層、第二silu激活函數(shù)中,輸出得到特征圖fl2-3,將fl2-3依次輸入到第二狀態(tài)空間注意力模塊sssca的ssm分支的狀態(tài)空間模型ssm、第二layernorm層中,輸出得到特征圖fl2-4,將特征圖fl2-2與特征圖fl2-4進(jìn)行相乘操作,得到特征圖fl2;將特征圖輸入到第二狀態(tài)空間注意力模塊sssca的卷積分支的batchnorm層中,輸出得到特征圖將特征圖依次輸入到第二狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層、第一relu激活函數(shù)、第二卷積層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖輸入到第二狀態(tài)空間注意力模塊sssca的卷積分支的逐點(diǎn)卷積層中,輸出得到特征圖將特征圖fl2與特征圖通過pytorch中的torch.cat()函數(shù)進(jìn)行concat操作,得到特征圖將特征圖輸入到第二狀態(tài)空間注意力模塊sssca的注意力分支的通道注意力機(jī)制cam中,輸出得到特征圖將特征圖輸入到第二狀態(tài)空間注意力模塊sssca的注意力分支的空間注意力機(jī)制sam中,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,得到特征圖e-6)將特征圖輸入到編碼器的第二最大池化層中,輸出得到特征圖e-7)通過pytorch中的torch.chunk()函數(shù)對(duì)特征圖進(jìn)行split操作,輸出得到特征圖和特征圖將特征圖輸入到第三狀態(tài)空間注意力模塊sssca的ssm分支的第一layernorm層中,輸出得到特征圖fl3-1,將特征圖fl3-1依次輸入到第三狀態(tài)空間注意力模塊sssca的ssm分支的第一linear層、第一silu激活函數(shù)中,輸出得到特征圖fl3-2,將特征圖fl3-1依次輸入到第三狀態(tài)空間注意力模塊sssca的ssm分支的第二linear層、深度可分離卷積層、第二silu激活函數(shù)中,輸出得到特征圖fl3-3,將fl3-3依次輸入到第三狀態(tài)空間注意力模塊sssca的ssm分支的狀態(tài)空間模型ssm、第二layernorm層中,輸出得到特征圖fl3-4,將特征圖fl3-2與特征圖fl3-4進(jìn)行相乘操作,得到特征圖fl3;將特征圖輸入到第三狀態(tài)空間注意力模塊sssca的卷積分支的batchnorm層中,輸出得到特征圖將特征圖依次輸入到第三狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層、第一relu激活函數(shù)、第二卷積層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖輸入到第三狀態(tài)空間注意力模塊sssca的卷積分支的逐點(diǎn)卷積層中,輸出得到特征圖將特征圖fl3與特征圖通過pytorch中的torch.cat()函數(shù)進(jìn)行concat操作,得到特征圖將特征圖輸入到第三狀態(tài)空間注意力模塊sssca的注意力分支的通道注意力機(jī)制cam中,輸出得到特征圖將特征圖輸入到第三狀態(tài)空間注意力模塊sssca的注意力分支的空間注意力機(jī)制sam中,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,得到特征圖e-8)將特征圖輸入到編碼器的第三最大池化層中,輸出得到特征圖e-9)通過pytorch中的torch.chunk()函數(shù)對(duì)特征圖進(jìn)行split操作,輸出得到特征圖和特征圖將特征圖輸入到第四狀態(tài)空間注意力模塊sssca的ssm分支的第一layernorm層中,輸出得到特征圖fl4-1,將特征圖fl4-1依次輸入到第四狀態(tài)空間注意力模塊sssca的ssm分支的第一linear層、第一silu激活函數(shù)中,輸出得到特征圖fl4-2,將特征圖fl4-1依次輸入到第四狀態(tài)空間注意力模塊sssca的ssm分支的第二linear層、深度可分離卷積層、第二silu激活函數(shù)中,輸出得到特征圖fl4-3,將fl4-3依次輸入到第四狀態(tài)空間注意力模塊sssca的ssm分支的狀態(tài)空間模型ssm、第二layernorm層中,輸出得到特征圖fl4-4,將特征圖fl4-2與特征圖fl4-4進(jìn)行相乘操作,得到特征圖fl4;將特征圖輸入到第四狀態(tài)空間注意力模塊sssca的卷積分支的batchnorm層中,輸出得到特征圖將特征圖依次輸入到第四狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層、第一relu激活函數(shù)、第二卷積層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖輸入到第四狀態(tài)空間注意力模塊sssca的卷積分支的逐點(diǎn)卷積層中,輸出得到特征圖將特征圖fl4與特征圖通過pytorch中的torch.cat()函數(shù)進(jìn)行concat操作,得到特征圖將特征圖輸入到第四狀態(tài)空間注意力模塊sssca的注意力分支的通道注意力機(jī)制cam中,輸出得到特征圖將特征圖輸入到第四狀態(tài)空間注意力模塊sssca的注意力分支的空間注意力機(jī)制sam中,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,得到特征圖e-10)將特征圖輸入到編碼器的第四最大池化層中,輸出得到特征圖優(yōu)選的,步驟e-2)中編碼器的卷積層的卷積核大小為3×3;步驟e-3)中第一狀態(tài)空間注意力模塊sssca的ssm分支的深度可分離卷積層卷積核大小為3×3、填充為1、步長為1,第一狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層的卷積核大小為3×3、填充為1、步長為1,第一狀態(tài)空間注意力模塊sssca的卷積分支的第二卷積層的卷積核大小為3×3、填充為1、步長為1,第一狀態(tài)空間注意力模塊sssca的卷積分支的逐點(diǎn)卷積層的卷積核大小為3×3、步長為1;步驟e-4)中第一最大池化層的池化核為2×2、步長為2;步驟e-5)中第二狀態(tài)空間注意力模塊sssca的ssm分支的深度可分離卷積層卷積核大小為3×3、填充為1、步長為1,第二狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層的卷積核大小為3×3、填充為1、步長為1,第二狀態(tài)空間注意力模塊sssca的卷積分支的第二卷積層的卷積核大小為3×3、填充為1、步長為1,第二狀態(tài)空間注意力模塊sssca的卷積分支的逐點(diǎn)卷積層的卷積核大小為3×3、步長為1;步驟e-6)中第二最大池化層的池化核為2×2、步長為2;步驟e-7)中第三狀態(tài)空間注意力模塊sssca的ssm分支的深度可分離卷積層卷積核大小為3×3、填充為1、步長為1,第三狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層的卷積核大小為3×3、填充為1、步長為1,第三狀態(tài)空間注意力模塊sssca的卷積分支的第二卷積層的卷積核大小為3×3、填充為1、步長為1,第三狀態(tài)空間注意力模塊sssca的卷積分支的逐點(diǎn)卷積層的卷積核大小為3×3、步長為1;步驟e-8)中第三最大池化層的池化核為2×2、步長為2;步驟e-9)中第四狀態(tài)空間注意力模塊sssca的ssm分支的深度可分離卷積層卷積核大小為3×3、填充為1、步長為1,第四狀態(tài)空間注意力模塊sssca的卷積分支的第一卷積層的卷積核大小為3×3、填充為1、步長為1,第四狀態(tài)空間注意力模塊sssca的卷積分支的第二卷積層的卷積核大小為3×3、填充為1、步長為1,第四狀態(tài)空間注意力模塊sssca的卷積分支的逐點(diǎn)卷積層的卷積核大小為3×3、步長為1;步驟e-10)中第四最大池化層的池化核為2×2、步長為2。
22、進(jìn)一步的,步驟f)包括如下步驟:
23、f-1)分割網(wǎng)絡(luò)模型的解碼器由第一雙路徑多尺度增強(qiáng)模塊dpmsfe、第一轉(zhuǎn)置卷積層、第一殘差塊、第二雙路徑多尺度增強(qiáng)模塊dpmsfe、第二轉(zhuǎn)置卷積層、第二殘差塊、第三路徑多尺度增強(qiáng)模塊dpmsfe、第三轉(zhuǎn)置卷積層、第三殘差塊、第四雙路徑多尺度增強(qiáng)模塊dpmsfe、第四轉(zhuǎn)置卷積層、第四殘差塊、卷積層構(gòu)成;第一雙路徑多尺度增強(qiáng)模塊dpmsfe、第二雙路徑多尺度增強(qiáng)模塊dpmsfe、第三雙路徑多尺度增強(qiáng)模塊dpmsfe、第四雙路徑多尺度增強(qiáng)模塊dpmsfe均由下卷積層、通道聚合分支、多尺度融合分支、上卷積層構(gòu)成,通道聚合分支依次由平均池化層、第一卷積層、relu激活函數(shù)、第二卷積層構(gòu)成,多尺度融合分支由第一卷積層、第二卷積層、第三卷積層、最大池化層、第四卷積層、sigmoid激活函數(shù)構(gòu)成;第一殘差塊、第二殘差塊、第三殘差塊、第四殘差塊均由第一卷積層、第一batchnorm層、第一relu激活函數(shù)、第二卷積層、第二batchnorm層、第二relu激活函數(shù)、第三relu激活函數(shù)構(gòu)成;
24、f-2)將特征圖輸入到解碼器的第一雙路徑多尺度增強(qiáng)模塊dpmsfe的下卷積層中,輸出得到特征圖將特征圖輸入到解碼器的第一雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支中,輸出得到特征圖將特征圖與特征圖進(jìn)行相乘操作,得到特征圖將特征圖分別輸入到解碼器的第一雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第一卷積層、第二卷積層、第三卷積層中,輸出得到特征圖特征圖特征圖將特征圖特征圖特征圖進(jìn)行相加操作,得到特征圖將特征圖依次輸入到解碼器的第一雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的最大池化層、第四卷積層、sigmoid激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進(jìn)行相乘操作,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第一雙路徑多尺度增強(qiáng)模塊dpmsfe的上卷積層中,輸出得到特征圖f-3)將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖f-4)將特征圖輸入到解碼器的第一轉(zhuǎn)置卷積層中,輸出得到特征圖將特征圖依次輸入到解碼器的第一殘差塊的第一卷積層、第一batchnorm層、第一relu激活函數(shù)中,輸出得到特征圖將特征圖依次輸入到解碼器的第一殘差塊的第二卷積層、第二batchnorm層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第一殘差塊的第三relu激活函數(shù)中,輸出得到特征圖f-5)將特征圖輸入到解碼器的第二雙路徑多尺度增強(qiáng)模塊dpmsfe的下卷積層中,輸出得到特征圖將特征圖輸入到解碼器的第二雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支中,輸出得到特征圖將特征圖與特征圖進(jìn)行相乘操作,得到特征圖將特征圖分別輸入到解碼器的第二雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第一卷積層、第二卷積層、第三卷積層中,輸出得到特征圖特征圖特征圖將特征圖特征圖特征圖進(jìn)行相加操作,得到特征圖將特征圖依次輸入到解碼器的第二雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的最大池化層、第四卷積層、sigmoid激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進(jìn)行相乘操作,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第二雙路徑多尺度增強(qiáng)模塊dpmsfe的上卷積層中,輸出得到特征圖f-6)將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖f-7)將特征圖輸入到解碼器的第二轉(zhuǎn)置卷積層中,輸出得到特征圖將特征圖依次輸入到解碼器的第二殘差塊的第一卷積層、第一batchnorm層、第一relu激活函數(shù)中,輸出得到特征圖將特征圖依次輸入到解碼器的第二殘差塊的第二卷積層、第二batchnorm層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第二殘差塊的第三relu激活函數(shù)中,輸出得到特征圖f-8)將特征圖輸入到解碼器的第三雙路徑多尺度增強(qiáng)模塊dpmsfe的下卷積層中,輸出得到特征圖將特征圖輸入到解碼器的第三雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支中,輸出得到特征圖將特征圖與特征圖進(jìn)行相乘操作,得到特征圖將特征圖分別輸入到解碼器的第三雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第一卷積層、第二卷積層、第三卷積層中,輸出得到特征圖特征圖特征圖將特征圖特征圖特征圖進(jìn)行相加操作,得到特征圖將特征圖依次輸入到解碼器的第三雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的最大池化層、第四卷積層、sigmoid激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進(jìn)行相乘操作,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第三雙路徑多尺度增強(qiáng)模塊dpmsfe的上卷積層中,輸出得到特征圖f-9)將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖f-10)將特征圖輸入到解碼器的第三轉(zhuǎn)置卷積層中,輸出得到特征圖將特征圖依次輸入到解碼器的第三殘差塊的第一卷積層、第一batchnorm層、第一relu激活函數(shù)中,輸出得到特征圖將特征圖依次輸入到解碼器的第三殘差塊的第二卷積層、第二batchnorm層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第三殘差塊的第三relu激活函數(shù)中,輸出得到特征圖f-11)將特征圖輸入到解碼器的第四雙路徑多尺度增強(qiáng)模塊dpmsfe的下卷積層中,輸出得到特征圖將特征圖輸入到解碼器的第四雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支中,輸出得到特征圖將特征圖與特征圖進(jìn)行相乘操作,得到特征圖將特征圖分別輸入到解碼器的第四雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第一卷積層、第二卷積層、第三卷積層中,輸出得到特征圖特征圖特征圖將特征圖特征圖特征圖進(jìn)行相加操作,得到特征圖將特征圖依次輸入到解碼器的第四雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的最大池化層、第四卷積層、sigmoid激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進(jìn)行相乘操作,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第四雙路徑多尺度增強(qiáng)模塊dpmsfe的上卷積層中,輸出得到特征圖f-12)將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖f-13)將特征圖輸入到解碼器的第四轉(zhuǎn)置卷積層中,輸出得到特征圖將特征圖依次輸入到解碼器的第四殘差塊的第一卷積層、第一batchnorm層、第一relu激活函數(shù)中,輸出得到特征圖將特征圖依次輸入到解碼器的第四殘差塊的第二卷積層、第二batchnorm層、第二relu激活函數(shù)中,輸出得到特征圖將特征圖與特征圖進(jìn)行相加操作,輸出得到特征圖將特征圖輸入到解碼器的第四殘差塊的第三relu激活函數(shù)中,輸出得到特征圖f-14)將特征圖輸入到解碼器的卷積層中,輸出得到預(yù)測分割圖像優(yōu)選的,步驟f-2)中第一雙路徑多尺度增強(qiáng)模塊dpmsfe的下卷積層的卷積核大小為1×1、步長為1,第一雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支的第一卷積層的卷積核大小為1×1,第一雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支的第二卷積層的卷積核大小為1×1,第一雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第一卷積層的卷積核大小為3×3、步長為1、填充為1,第一雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第二卷積層的卷積核大小為5×5、步長為1、填充為2,第一雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第三卷積層的卷積核大小為7×7、步長為1、填充為3,第一雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第四卷積層的卷積核大小為7×7、步長為1、填充為3,第一雙路徑多尺度增強(qiáng)模塊dpmsfe的上卷積層的卷積核大小為1×1、步長為1;步驟f-4)中解碼器的第一轉(zhuǎn)置卷積層的卷積核大小為2×2、步長為2,解碼器的第一殘差塊的第一卷積層的卷積核大小為3×3,解碼器的第一殘差塊的第二卷積層的卷積核大小為3×3;步驟f-5)中第二雙路徑多尺度增強(qiáng)模塊dpmsfe的下卷積層的卷積核大小為1×1、步長為1,第二雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支的第一卷積層的卷積核大小為1×1,第二雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支的第二卷積層的卷積核大小為1×1,第二雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第一卷積層的卷積核大小為3×3、步長為1、填充為1,第二雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第二卷積層的卷積核大小為5×5、步長為1、填充為2,第二雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第三卷積層的卷積核大小為7×7、步長為1、填充為3,第二雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第四卷積層的卷積核大小為7×7、步長為1、填充為3,第二雙路徑多尺度增強(qiáng)模塊dpmsfe的上卷積層的卷積核大小為1×1、步長為1;步驟f-7)中解碼器的第二轉(zhuǎn)置卷積層的卷積核大小為2×2、步長為2,解碼器的第二殘差塊的第一卷積層的卷積核大小為3×3,解碼器的第二殘差塊的第二卷積層的卷積核大小為3×3;步驟f-8)中第三雙路徑多尺度增強(qiáng)模塊dpmsfe的下卷積層的卷積核大小為1×1、步長為1,第三雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支的第一卷積層的卷積核大小為1×1,第三雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支的第二卷積層的卷積核大小為1×1,第三雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第一卷積層的卷積核大小為3×3、步長為1、填充為1,第三雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第二卷積層的卷積核大小為5×5、步長為1、填充為2,第三雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第三卷積層的卷積核大小為7×7、步長為1、填充為3,第三雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第四卷積層的卷積核大小為7×7、步長為1、填充為3,第三雙路徑多尺度增強(qiáng)模塊dpmsfe的上卷積層的卷積核大小為1×1、步長為1;步驟f-10)中解碼器的第三轉(zhuǎn)置卷積層的卷積核大小為2×2、步長為2,解碼器的第三殘差塊的第一卷積層的卷積核大小為3×3,解碼器的第三殘差塊的第二卷積層的卷積核大小為3×3;步驟f-11)中第四雙路徑多尺度增強(qiáng)模塊dpmsfe的下卷積層的卷積核大小為1×1、步長為1,第四雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支的第一卷積層的卷積核大小為1×1,第四雙路徑多尺度增強(qiáng)模塊dpmsfe的通道聚合分支的第二卷積層的卷積核大小為1×1,第四雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第一卷積層的卷積核大小為3×3、步長為1、填充為1,第四雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第二卷積層的卷積核大小為5×5、步長為1、填充為2,第四雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第三卷積層的卷積核大小為7×7、步長為1、填充為3,第四雙路徑多尺度增強(qiáng)模塊dpmsfe的多尺度融合分支的第四卷積層的卷積核大小為7×7、步長為1、填充為3,第四雙路徑多尺度增強(qiáng)模塊dpmsfe的上卷積層的卷積核大小為1×1、步長為1;步驟f-13)中解碼器的第四轉(zhuǎn)置卷積層的卷積核大小為2×2、步長為2,解碼器的第四殘差塊的第一卷積層的卷積核大小為3×3,解碼器的第四殘差塊的第二卷積層的卷積核大小為3×3。進(jìn)一步的,通過公式ltotal=αldice+βlce計(jì)算得到總損失函數(shù)ltotal,式中α和β均為超參數(shù),ldice為dice損失函數(shù),lce為交叉熵?fù)p失函數(shù)。
25、優(yōu)選的,訓(xùn)練分割網(wǎng)絡(luò)模型時(shí)學(xué)習(xí)率設(shè)置為0.01、批次大小設(shè)置為8、迭代次數(shù)設(shè)置為1000、超參數(shù)α設(shè)置為0.4、超參數(shù)β設(shè)置為0.4。
26、本發(fā)明的有益效果是:狀態(tài)空間注意力模塊通過整合ssm狀態(tài)空間模型分支、卷積分支和注意力分支,不僅提高了模型對(duì)心臟圖像中各個(gè)結(jié)構(gòu)邊界的識(shí)別精度,而且利用了ssm在保持對(duì)輸入大小線性相關(guān)的計(jì)算復(fù)雜度的同時(shí),處理長距離依賴性的獨(dú)特優(yōu)勢,有助于更精確且計(jì)算高效地分割心臟圖像。雙路徑多尺度增強(qiáng)模塊通過通道聚合分支和多尺度融合分支,可以增強(qiáng)模型對(duì)不同尺度結(jié)構(gòu)的識(shí)別能力,提高模型的適應(yīng)性和魯棒性,有助于處理各種大小的心臟結(jié)構(gòu)。因此,我們的方法可以更好地適應(yīng)心臟圖像分割的復(fù)雜性和多樣性,提供更高精度和效率的分割結(jié)果,顯著提升心臟疾病診斷和治療規(guī)劃的準(zhǔn)確性。