本發(fā)明涉及圖像分割，尤其是涉及一種基于多重注意力的醫(yī)學圖像分割方法。

背景技術(shù)：

1、多參數(shù)核磁共振成像是現(xiàn)在前列腺癌活檢前診斷的首選非侵入性成像技術(shù)。因此，使用磁共振（mr）成像對前列腺進行準確可靠的分割對于前列腺癌的輔助診斷和輔助治療至關(guān)重要。即使對于經(jīng)驗豐富的放射學家來說，手動描繪仍具有挑戰(zhàn)性并且耗時高，因此開發(fā)自動化方法具有巨大的臨床價值。

2、由于深度學習展現(xiàn)出較強的面向任務(wù)學習能力，深度神經(jīng)網(wǎng)絡(luò)已被廣泛應用于前列腺圖像分割等各種醫(yī)學圖像分析任務(wù)中。然而醫(yī)學圖像分割任務(wù)具有挑戰(zhàn)性，因為前列腺?mr?圖像往往具有腺體大小和形狀的較大變異性、直腸內(nèi)線圈周圍信號強度的異質(zhì)性、腺體與鄰近結(jié)構(gòu)之間的低對比度和各向異性空間分辨率?，F(xiàn)有基于二維的醫(yī)學圖像分割方法沒有充分考慮或系統(tǒng)地學習可用的跨切片信息，因此它們可能忽略前列腺的重要結(jié)構(gòu)信息，導致分割結(jié)果不一致?，F(xiàn)有基于三維的醫(yī)學圖像分割網(wǎng)絡(luò)在前列腺?mr圖像中的應用也受到限制，它們使用為近各向同性圖像設(shè)計的三維卷積方法，無法很好的處理前列腺mr圖像的各向異性空間分辨率，即高切片內(nèi)分辨率和低切片間分辨率。因此，現(xiàn)有的醫(yī)學圖像分割方法不能精確的分割出圖像中的目標。

技術(shù)實現(xiàn)思路

1、本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本發(fā)明提出一種基于多重注意力的醫(yī)學圖像分割方法，能夠提高醫(yī)學圖像分割的精確度。

2、第一方面，本發(fā)明實施例提供了一種基于多重注意力的醫(yī)學圖像分割方法，所述基于多重注意力的醫(yī)學圖像分割方法包括：

3、獲取待分割的醫(yī)學圖像，并將所述待分割的醫(yī)學圖像輸入至包含多個顯示衰減注意力模塊的編碼器，得到每個所述顯示衰減注意力模塊輸出的編碼特征；

4、將每個所述顯示衰減注意力模塊輸出的所述編碼特征輸入至跨切片注意力模塊，得到與所述顯示衰減注意力模塊對應的跨切片特征；

5、將所述編碼器中最底層的所述顯示衰減注意力模塊輸出的編碼特征輸入至全局和局部交互模塊，得到全局局部特征；

6、將所述全局局部特征和與所述編碼器中最底層的所述顯示衰減注意力模塊對應的跨切片特征進行逐元素求和，得到與最底層的所述顯示衰減注意力模塊對應的解碼器模塊的輸入特征；將所述解碼器的輸入特征進行解碼操作，得到解碼特征，并將所述解碼特征進行上采樣，得到上采樣特征；將所述上采樣特征和最底層的所述顯示衰減注意力模塊的上一層顯示衰減注意力模塊對應的跨切片特征進行逐元素求和，得到所述上一層顯示衰減注意力模塊對應的解碼器模塊的輸入特征，直到獲得解碼器中最頂層解碼器模塊輸出的解碼特征；

7、將所述最頂層解碼器模塊輸出的解碼特征進行上采樣，得到最終特征，并將所述最終特征輸入至分割頭，獲得最終的醫(yī)學圖像分割結(jié)果。

8、與現(xiàn)有技術(shù)相比，本發(fā)明第一方面具有以下有益效果：

9、本方法通過將待分割的醫(yī)學圖像輸入至包含多個顯示衰減注意力模塊的編碼器，得到每個顯示衰減注意力模塊輸出的編碼特征，采用顯示衰減注意力模塊能夠豐富特征表示，為后期準確分割醫(yī)學圖像奠定基礎(chǔ)；將每個顯示衰減注意力模塊輸出的編碼特征輸入至跨切片注意力模塊，得到與顯示衰減注意力模塊對應的跨切片特征，能夠?qū)Σ煌叨鹊纳疃忍卣鲌D應用多重注意力機制，以學習各向異性醫(yī)學圖像上的所有跨切片信息，從而改善圖像中各個位置上的分割性能；將編碼器中最底層的顯示衰減注意力模塊輸出的編碼特征輸入至全局和局部交互模塊，得到全局局部特征，采用全局和局部交互模塊能夠獲得更精準的全局和局部特征表示，進一步提高醫(yī)學圖像分割的準確性；將全局局部特征和對應的跨切片特征進行逐元素求和，一直重復操作，直到獲得解碼器中最頂層解碼器模塊輸出的解碼特征，然后將最頂層解碼器模塊輸出的解碼特征進行上采樣，得到最終特征，并將最終特征輸入至分割頭，獲得最終的醫(yī)學圖像分割結(jié)果，能夠提高醫(yī)學圖像分割的精確度。

10、根據(jù)本發(fā)明的一些實施例，所述顯示衰減注意力模塊包括局部感知塊、保持性自注意力和多尺度令牌聚合前饋網(wǎng)絡(luò)，所述將所述待分割的醫(yī)學圖像輸入至包含多個顯示衰減注意力模塊的編碼器，得到每個所述顯示衰減注意力模塊輸出的編碼特征，包括：

11、將所述待分割的醫(yī)學圖像輸入至每個所述顯示衰減注意力模塊的編碼器中，采用所述局部感知塊對所述待分割的醫(yī)學圖像進行位置編碼，得到編碼位置信息；

12、將所述編碼位置信息進行層歸一化并將層歸一化后的編碼位置信息輸入至所述保持性自注意力，通過所述保持性自注意力將顯示衰減拓展至與圖像結(jié)構(gòu)對齊的雙向、二維形式并引入空間距離先驗知識至所述編碼位置信息，得到所述保持性自注意力的輸出結(jié)果；

13、將所述保持性自注意力的輸出結(jié)果與所述編碼位置信息進行逐元素相加，得到逐元素相加結(jié)果，并將所述逐元素相加結(jié)果進行層歸一化，得到層歸一化后的結(jié)果；

14、將所述層歸一化后的結(jié)果輸入至所述多尺度令牌聚合前饋網(wǎng)絡(luò)中執(zhí)行多尺度令牌聚合，得到所述多尺度令牌聚合前饋網(wǎng)絡(luò)的輸出結(jié)果；

15、將所述多尺度令牌聚合前饋網(wǎng)絡(luò)的輸出結(jié)果與所述逐元素相加結(jié)果進行逐元素相加，得到每個所述顯示衰減注意力模塊輸出的編碼特征。

16、根據(jù)本發(fā)明的一些實施例，通過如下方式將顯示衰減拓展至與圖像結(jié)構(gòu)對齊的雙向、二維形式并引入空間距離先驗知識至所述編碼位置信息，得到所述保持性自注意力的輸出結(jié)果：

17、

18、

19、

20、

21、其中，表示層歸一化后的編碼位置信息，,,分別表示查詢向量、關(guān)鍵向量和數(shù)值向量，表示令牌的數(shù)量，表示第n個令牌，,表示可學習的參數(shù)，表示的復共軛，表示逐元素點乘，表示自然常數(shù)，表示虛數(shù)單位，表示常數(shù)，表示第n個token的二維坐標，表示每個元素相應令牌對在各自位置上的曼哈頓距離的指數(shù)衰減，表示衰減率，表示轉(zhuǎn)置，softmax表示softmax激活函數(shù)，resa表示保持性自注意力的輸出結(jié)果。

22、根據(jù)本發(fā)明的一些實施例，通過如下方式將所述層歸一化后的結(jié)果輸入至所述多尺度令牌聚合前饋網(wǎng)絡(luò)中執(zhí)行多尺度令牌聚合，得到所述多尺度令牌聚合前饋網(wǎng)絡(luò)的輸出結(jié)果：

23、

24、

25、

26、其中，msta-ffn表示多尺度令牌聚合前饋網(wǎng)絡(luò)的輸出結(jié)果，表示層歸一化后的結(jié)果，表示1×1卷積，表示內(nèi)核大小為的深度卷積，表示經(jīng)內(nèi)核大小為的深度卷積處理后得到的結(jié)果，表示經(jīng)內(nèi)核大小為1的深度卷積處理后得到的結(jié)果，表示經(jīng)內(nèi)核大小為3的深度卷積處理后得到的結(jié)果，表示經(jīng)內(nèi)核大小為5的深度卷積處理后得到的結(jié)果，表示通道串聯(lián)操作，表示殘差連接操作。

27、根據(jù)本發(fā)明的一些實施例，所述跨切片注意力模塊包括語義注意力、位置注意力和切片注意力，所述將每個所述顯示衰減注意力模塊輸出的所述編碼特征輸入至跨切片注意力模塊，得到與所述顯示衰減注意力模塊對應的跨切片特征，包括：

28、將每個所述顯示衰減注意力模塊輸出的所述編碼特征輸入至跨切片注意力模塊，采用所述語義注意力生成語義注意力圖，采用所述位置注意力生成位置注意力圖；

29、將所述語義注意力圖和所述位置注意力圖進行逐元素相加，得到第一結(jié)果；

30、將所述第一結(jié)果輸入至激活函數(shù)，得到第二結(jié)果；

31、將所述第二結(jié)果與所述顯示衰減注意力模塊輸出的所述編碼特征進行逐元素相乘，得到第三結(jié)果；

32、將所述第三結(jié)果與所述顯示衰減注意力模塊輸出的所述編碼特征進行逐元素相加，得到第四結(jié)果；

33、采用所述切片注意力將所述第四結(jié)果生成切片注意力圖，并將所述切片注意力圖與所述第四結(jié)果進行逐元素相乘，得到與所述顯示衰減注意力模塊對應的跨切片特征。

34、根據(jù)本發(fā)明的一些實施例，所述全局和局部交互模塊包括全局交互塊和局部交互塊，所述將所述編碼器中最底層的所述顯示衰減注意力模塊輸出的編碼特征輸入至全局和局部交互模塊，得到全局局部特征，包括：

35、將所述編碼器中最底層的所述顯示衰減注意力模塊輸出的編碼特征輸入至全局和局部交互模塊，采用卷積層得到平滑特征；

36、將所述平滑特征輸入至所述全局交互塊，采用所述全局交互塊捕獲所述平滑特征的遠距離依賴關(guān)系，得到全局特征；

37、將所述平滑特征輸入至所述局部交互塊，采用所述局部交互塊聚合局部區(qū)域特征，得到局部特征；

38、將所述全局特征和所述局部特征進行逐元素相加，得到融合特征；

39、將所述融合特征輸入至多個卷積層，得到卷積結(jié)果，并將所述卷積結(jié)果和所述融合特征進行殘差操作，得到全局局部特征。

40、根據(jù)本發(fā)明的一些實施例，所述局部交互塊包括固有密碼本和視覺中心的縮放因子，所述將所述平滑特征輸入至所述局部交互塊，采用所述局部交互塊聚合局部區(qū)域特征，得到局部特征，包括：

41、將所述平滑特征輸入至一組卷積層，得到卷積平滑特征；

42、將所述卷積平滑特征輸入至包含3×3卷積、批歸一化層和relu激活函數(shù)的cbr塊中，得到編碼平滑特征；

43、采用所述固有密碼本和所述視覺中心的縮放因子對所述編碼平滑特征進行計算，得到完整信息；

44、將所述完整信息進行批歸一化、relu激活函數(shù)和平均計算，得到平均計算結(jié)果；

45、將所述平均計算結(jié)果經(jīng)過全連接層和卷積層，得到關(guān)鍵特征；

46、將所述關(guān)鍵特征和所述平滑特征進行逐元素相乘，得到相乘結(jié)果，并將所述相乘結(jié)果和所述平滑特征進行逐元素相加，得到局部特征。

47、第二方面，本發(fā)明實施例還提供了一種基于多重注意力的醫(yī)學圖像分割系統(tǒng)，所述基于多重注意力的醫(yī)學圖像分割系統(tǒng)包括：

48、特征編碼單元，用于獲取待分割的醫(yī)學圖像，并將所述待分割的醫(yī)學圖像輸入至包含多個顯示衰減注意力模塊的編碼器，得到每個所述顯示衰減注意力模塊輸出的編碼特征；

49、跨切片特征獲取單元，用于將每個所述顯示衰減注意力模塊輸出的所述編碼特征輸入至跨切片注意力模塊，得到與所述顯示衰減注意力模塊對應的跨切片特征；

50、全局局部交互單元，用于將所述編碼器中最底層的所述顯示衰減注意力模塊輸出的編碼特征輸入至全局和局部交互模塊，得到全局局部特征；

51、特征解碼單元，用于將所述全局局部特征和與所述編碼器中最底層的所述顯示衰減注意力模塊對應的跨切片特征進行逐元素求和，得到與最底層的所述顯示衰減注意力模塊對應的解碼器模塊的輸入特征；將所述解碼器的輸入特征進行解碼操作，得到解碼特征，并將所述解碼特征進行上采樣，得到上采樣特征；將所述上采樣特征和最底層的所述顯示衰減注意力模塊的上一層顯示衰減注意力模塊對應的跨切片特征進行逐元素求和，得到所述上一層顯示衰減注意力模塊對應的解碼器模塊的輸入特征，直到獲得解碼器中最頂層解碼器模塊輸出的解碼特征；

52、圖像分割單元，用于將所述最頂層解碼器模塊輸出的解碼特征進行上采樣，得到最終特征，并將所述最終特征輸入至分割頭，獲得最終的醫(yī)學圖像分割結(jié)果。

53、第三方面，本發(fā)明實施例還提供了一種基于多重注意力的醫(yī)學圖像分割設(shè)備，包括至少一個控制處理器和用于與所述至少一個控制處理器通信連接的存儲器；所述存儲器存儲有可被所述至少一個控制處理器執(zhí)行的指令，所述指令被所述至少一個控制處理器執(zhí)行，以使所述至少一個控制處理器能夠執(zhí)行如上所述的一種基于多重注意力的醫(yī)學圖像分割方法。

54、第四方面，本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有計算機可執(zhí)行指令，所述計算機可執(zhí)行指令用于使計算機執(zhí)行如上所述的一種基于多重注意力的醫(yī)學圖像分割方法。

55、可以理解的是，上述第二方面至第四方面與相關(guān)技術(shù)相比存在的有益效果與上述第一方面與相關(guān)技術(shù)相比存在的有益效果相同，可以參見上述第一方面中的相關(guān)描述，在此不再贅述。