本發(fā)明屬于智能醫(yī)學(xué)圖像處理領(lǐng)域，尤其涉及一種基于多尺度注意力和特征對齊(multi-scale?attention?and?feature?alignment，msa-fa)的甲狀腺結(jié)節(jié)彈性超聲圖像分割方法。

背景技術(shù)：

1、甲狀腺結(jié)節(jié)超聲圖像中包含甲狀腺結(jié)節(jié)的大小、形態(tài)、結(jié)構(gòu)和血流情況等信息，臨床上常用灰階超聲、彈性超聲等多種模態(tài)超聲對甲狀腺進(jìn)行檢查。與灰階超聲相比，彈性超聲圖像能夠量化組織硬度，有助于醫(yī)生更精準(zhǔn)地判斷病變組織的性質(zhì)與狀態(tài)。因此，實現(xiàn)甲狀腺結(jié)節(jié)彈性超聲圖像分割，獲得結(jié)節(jié)邊緣和位置信息，能夠提高甲狀腺結(jié)節(jié)良惡性診斷的準(zhǔn)確性。

2、基于區(qū)域和輪廓的甲狀腺結(jié)節(jié)超聲圖像分割利用區(qū)域間灰度統(tǒng)計特性，或設(shè)定初始輪廓和先驗形狀信息分割甲狀腺結(jié)節(jié)超聲圖像，需要人工設(shè)計特征，建模較困難且分割精度不高?；谏疃葘W(xué)習(xí)的甲狀腺結(jié)節(jié)超聲圖像分割利用深度神經(jīng)網(wǎng)絡(luò)捕獲甲狀腺結(jié)節(jié)超聲圖像高級語義和上下文信息，能夠?qū)崿F(xiàn)甲狀腺結(jié)節(jié)的精準(zhǔn)分割。然而，該方法通常依賴高質(zhì)量的數(shù)據(jù)集，彈性超聲圖像數(shù)據(jù)采集和標(biāo)注較困難，導(dǎo)致可用于模型訓(xùn)練的數(shù)據(jù)較少，限制了基于深度學(xué)習(xí)的甲狀腺結(jié)節(jié)彈性超聲圖像分割的臨床應(yīng)用。

3、遷移學(xué)習(xí)能夠緩解醫(yī)學(xué)圖像建模數(shù)據(jù)不足的問題，在數(shù)據(jù)量受限的情況下提高模型的性能。因此，本發(fā)明充分考慮甲狀腺結(jié)節(jié)彈性超聲圖像和灰階超聲圖像的共有特征，針對彈性超聲圖像樣本較少影響甲狀腺結(jié)節(jié)分割精度的問題，引入遷移學(xué)習(xí)，構(gòu)建多尺度注意力模塊、特征分布對齊網(wǎng)絡(luò)，建立基于msa-fa的甲狀腺結(jié)節(jié)彈性超聲圖像分割模型，實現(xiàn)甲狀腺結(jié)節(jié)彈性超聲圖像的精準(zhǔn)分割。

技術(shù)實現(xiàn)思路

1、本發(fā)明以提高甲狀腺結(jié)節(jié)彈性超聲圖像分割精度為目的，發(fā)明一種基于msa-fa的甲狀腺結(jié)節(jié)彈性超聲圖像分割方法，包括以下步驟：

2、步驟一：獲取甲狀腺灰階超聲和彈性超聲圖像中甲狀腺結(jié)節(jié)的位置信息并進(jìn)行裁剪，通過將原始圖像旋轉(zhuǎn)不同角度實現(xiàn)數(shù)據(jù)增強，構(gòu)建甲狀腺結(jié)節(jié)超聲圖像數(shù)據(jù)集；

3、步驟二：引入大核注意力機制，構(gòu)建多尺度注意力模塊應(yīng)用于u-net跳躍連接層，采用dice損失函數(shù)和二元交叉熵?fù)p失函數(shù)之和作為模型損失函數(shù)，建立甲狀腺結(jié)節(jié)灰階超聲圖像分割模型；

4、步驟三：結(jié)合條件生成對抗網(wǎng)絡(luò)，構(gòu)建特征分布對齊網(wǎng)絡(luò)，實現(xiàn)甲狀腺灰階超聲圖像和彈性超聲圖像的特征分布對齊；在步驟二所構(gòu)建的甲狀腺結(jié)節(jié)灰階超聲圖像分割模型的基礎(chǔ)上，采用權(quán)值共享策略，遷移灰階超聲圖像分割網(wǎng)絡(luò)的特征提取層參數(shù)，構(gòu)建甲狀腺結(jié)節(jié)彈性超聲圖像分割網(wǎng)絡(luò)的目標(biāo)函數(shù)，建立基于msa-fa的甲狀腺結(jié)節(jié)彈性超聲圖像分割模型；

5、步驟四：輸入待測甲狀腺結(jié)節(jié)彈性超聲圖像，利用基于msa-fa的甲狀腺結(jié)節(jié)彈性超聲圖像分割模型對彈性超聲圖像中的甲狀腺結(jié)節(jié)進(jìn)行分割，輸出每個彈性超聲圖像中甲狀腺結(jié)節(jié)的分割結(jié)果。

6、具體而言，步驟一包括如下步驟：

7、采集甲狀腺結(jié)節(jié)灰階超聲圖像數(shù)據(jù)、甲狀腺結(jié)節(jié)彈性超聲圖像數(shù)據(jù)并去除無效邊框，采用labelme標(biāo)注工具繪制圖像中的甲狀腺結(jié)節(jié)邊緣形狀，生成json格式的標(biāo)注文件，經(jīng)過批量二值化處理轉(zhuǎn)為png格式的標(biāo)簽文件；將原始甲狀腺超聲圖像通過旋轉(zhuǎn)角度、水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)等變換進(jìn)行數(shù)據(jù)增強，實現(xiàn)甲狀腺結(jié)節(jié)超聲圖像數(shù)據(jù)預(yù)處理，構(gòu)建甲狀腺灰階超聲數(shù)據(jù)集和彈性超聲數(shù)據(jù)集。

8、步驟二包括如下步驟：

9、多尺度注意力網(wǎng)絡(luò)由批量標(biāo)準(zhǔn)化、gelu激活函數(shù)、大核注意力和卷積前饋網(wǎng)絡(luò)組成，原理圖如圖1所示。大核注意力(large-kernel?attention,lka)通過構(gòu)建一個大內(nèi)核卷積(大小21×21)來捕獲甲狀腺結(jié)節(jié)超聲圖像中的長距離依賴關(guān)系，由深度卷積(大小為7×7)、深度膨脹卷積(大小為5×5，膨脹率為4)和1×1點卷積組成，利用少量計算成本和參數(shù)估計甲狀腺結(jié)節(jié)超聲圖像中某一區(qū)域的重要程度并生成注意力權(quán)重，其計算式為

10、attention＝conv1×1(dd-conv(d-conv(input)))??(1)

11、

12、式中，input∈rc×h×w為輸入的甲狀腺結(jié)節(jié)超聲圖像，c為甲狀腺結(jié)節(jié)超聲圖像的通道數(shù)，h為甲狀腺結(jié)節(jié)超聲圖像的長度，w為甲狀腺結(jié)節(jié)超聲圖像的寬度；d-conv(·)表示深度卷積；dd-conv(·)表示深度膨脹卷積；conv1×1(·)表示點卷積；attention∈rc×h×w為注意力權(quán)重；為克羅內(nèi)克積。

13、將u-net網(wǎng)絡(luò)中的跳躍連接層替換為多尺度注意力網(wǎng)絡(luò)模塊，將骨干網(wǎng)絡(luò)提取的前四層特征輸入至多尺度注意力網(wǎng)絡(luò)，利用多尺度注意力網(wǎng)絡(luò)模塊融合甲狀腺結(jié)節(jié)灰階超聲圖像的多尺度信息，并將輸出的特征圖與反卷積得到的特征圖融合，充分提取甲狀腺結(jié)節(jié)的邊界和細(xì)節(jié)特征信息，基于多尺度注意力機制的甲狀腺結(jié)節(jié)灰階超聲圖像分割網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

14、甲狀腺結(jié)節(jié)灰階超聲圖像分割網(wǎng)絡(luò)的損失函數(shù)loss為

15、loss＝lossdice+lossbce??(3)

16、式中，lossdice是dice損失函數(shù)；lossbec是二元交叉熵(binary?cross?entropy，bce)損失函數(shù)。

17、dice損失函數(shù)用于評估甲狀腺結(jié)節(jié)超聲圖像中不同區(qū)域的相似度，dice損失函數(shù)值的計算式為

18、

19、式中，|x∩y|是甲狀腺結(jié)節(jié)超聲圖像中區(qū)域x和區(qū)域y相交的面積；|x|和|y|分別表示甲狀腺結(jié)節(jié)超聲圖像中區(qū)域x和區(qū)域y的面積。

20、bce損失函數(shù)用于衡量甲狀腺結(jié)節(jié)超聲圖像分割模型的輸出與真實值的差異程度，bce損失函數(shù)值的計算式為

21、lossbce＝-(y*log(p)+(1-y)*log(1-p))??(5)

22、式中，y表示甲狀腺結(jié)節(jié)邊緣的真實值；p表示模型輸出的甲狀腺結(jié)節(jié)邊緣的預(yù)測值；log(·)表示對數(shù)計算。

23、利用步驟一構(gòu)建的甲狀腺結(jié)節(jié)灰階超聲圖像訓(xùn)練數(shù)據(jù)對預(yù)訓(xùn)練分割模型進(jìn)行訓(xùn)練，迭代網(wǎng)絡(luò)參數(shù)至損失函數(shù)收斂，獲得基于多尺度注意力機制的甲狀腺結(jié)節(jié)灰階超聲圖像分割模型。

24、步驟三包括如下步驟：

25、引入條件生成對抗網(wǎng)絡(luò)，采用甲狀腺結(jié)節(jié)灰階超聲圖像分割網(wǎng)絡(luò)的特征提取層來提取灰階超聲圖像和彈性超聲圖像的特征，然后分為兩支，一支使用灰階超聲圖像特征和標(biāo)簽來訓(xùn)練灰階超聲圖像鑒別器，另一支則是計算域分類誤差，判定輸入的特征是來自灰階超聲圖像還是彈性超聲圖像，從而讓模型理解并減小不同模態(tài)間的特征分布差異，實現(xiàn)跨模態(tài)特征分布的對齊。

26、甲狀腺結(jié)節(jié)灰階超聲圖像和彈性超聲圖像特征分布對齊網(wǎng)絡(luò)如圖3所示，結(jié)合條件生成對抗網(wǎng)絡(luò)目標(biāo)函數(shù)，構(gòu)建甲狀腺結(jié)節(jié)超聲圖像特征分布對齊網(wǎng)絡(luò)的損失函數(shù)lossda為

27、lossda＝lmmd+lcoral??(6)

28、式中，lmmd為最大平均差異(maximum?mean?discrepancy，mmd)損失函數(shù)；lcoral為coral損失函數(shù)。

29、計算mmd損失值為

30、

31、式中，φ(·)表示非線性映射函數(shù)；n、m分別表示甲狀腺結(jié)節(jié)灰階超聲圖像和甲狀腺結(jié)節(jié)彈性超聲圖像數(shù)量；xi和yj分別表示第i個甲狀腺結(jié)節(jié)灰階超聲圖像特征和第j個甲狀腺結(jié)節(jié)彈性超聲圖像特征。

32、coral損失函數(shù)通過計算甲狀腺結(jié)節(jié)灰階超聲圖像與甲狀腺結(jié)節(jié)彈性超聲圖像分布的二階矩，表征分布的差異程度，coral損失函數(shù)值的計算式為

33、

34、式中，d為特征位數(shù)；cs和ct分別為灰階超聲圖像特征和彈性超聲圖像特征經(jīng)過域適應(yīng)層輸出的協(xié)方差矩陣。

35、結(jié)合損失函數(shù)和正則化項，構(gòu)建甲狀腺結(jié)節(jié)彈性超聲圖像分割網(wǎng)絡(luò)的目標(biāo)函數(shù)。目標(biāo)函數(shù)l由dice損失函數(shù)、二元交叉熵?fù)p失函數(shù)和正則化項組成，通過誤差的反向傳播，不斷更新模型參數(shù)，使目標(biāo)函數(shù)收斂。模型的優(yōu)化目標(biāo)為

36、

37、式中，θ為甲狀腺結(jié)節(jié)彈性超聲圖像分割模型參數(shù)；λ為正則化系數(shù)。

38、構(gòu)建的甲狀腺結(jié)節(jié)彈性超聲圖像分割模型的結(jié)構(gòu)如圖4所示，采用步驟一構(gòu)建的甲狀腺結(jié)節(jié)彈性超聲圖像訓(xùn)練數(shù)據(jù)對甲狀腺結(jié)節(jié)彈性超聲圖像分割模型進(jìn)行訓(xùn)練，迭代網(wǎng)絡(luò)參數(shù)至目標(biāo)函數(shù)收斂，獲得基于msa-fa的甲狀腺結(jié)節(jié)彈性超聲圖像分割模型。

39、步驟四包括如下步驟：

40、輸入待分割的甲狀腺彈性超聲圖像，加載步驟三訓(xùn)練完成的基于msa-fa的甲狀腺結(jié)節(jié)彈性超聲圖像分割模型，對甲狀腺結(jié)節(jié)彈性超聲圖像數(shù)據(jù)進(jìn)行分割，輸出最終彈性超聲圖像的甲狀腺結(jié)節(jié)分割結(jié)果。

41、本發(fā)明的優(yōu)點：針對甲狀腺彈性超聲數(shù)據(jù)較少影響甲狀腺結(jié)節(jié)分割精度的問題，充分考慮了甲狀腺結(jié)節(jié)彈性超聲圖像和甲狀腺結(jié)節(jié)灰階超聲圖像的共有特征，在u-net網(wǎng)絡(luò)的跳躍連接中引入多尺度注意力，增強分割網(wǎng)絡(luò)的甲狀腺結(jié)節(jié)超聲圖像局部信息和全局信息提取能力，提高了甲狀腺結(jié)節(jié)灰階超聲圖像分割的精度；在此基礎(chǔ)上，采用特征分布對齊網(wǎng)絡(luò)和權(quán)值共享的策略，將灰階超聲圖像特征遷移到彈性超聲圖像中，實現(xiàn)了甲狀腺結(jié)節(jié)彈性超聲圖像的精準(zhǔn)分割，提高了甲狀腺結(jié)節(jié)彈性超聲圖像的分割精度。