本發(fā)明屬于醫(yī)學圖像分割，具體涉及一種基于兩視角和半監(jiān)督注意力模型的3d心臟圖像分割系統(tǒng)。

背景技術(shù)：

1、醫(yī)學圖像分割已成為計算機視覺中至關(guān)重要的任務(wù)之一。由于三維(3d)醫(yī)學圖像分割能提供比二維醫(yī)學圖像更多的信息而變得越來越重要。準確的3d醫(yī)學圖像分割可以增強臨床診斷和決策。近年來，隨著深度學習的分割方向取得了快速的發(fā)展，在很多場景中都取得了很好的效果。然而，傳統(tǒng)的3d醫(yī)學圖像分割方法往往嚴重依賴醫(yī)生的經(jīng)驗標注。而且通常只訓練來自一個方向的圖像，這不利于學習3d醫(yī)學圖像分割的互補信息。半監(jiān)督學習是一種機器學習方法，它同時利用具有標記和未標記數(shù)據(jù)進行訓練。在半監(jiān)督學習中，只有小部分數(shù)據(jù)集被手動標記，而大部分數(shù)據(jù)則沒有標記。與完全監(jiān)督學習相比，這種方法可以更有效地利用數(shù)據(jù)，尤其是在標記數(shù)據(jù)很難獲取或成本很高的情況下。

2、綜上所述，由于傳統(tǒng)3d醫(yī)學圖像分割方法只訓練來自一個方向的圖像，不利于學習3d醫(yī)學圖像分割的互補信息，而且醫(yī)學圖像數(shù)據(jù)集采集與標注難度較大，小的數(shù)據(jù)量無法訓練出較為理想的結(jié)果，因此，傳統(tǒng)3d醫(yī)學圖像分割方法的分割性能仍然較差，提出一種新的3d醫(yī)學圖像分割方法以解決上述問題是十分必要的。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是為解決傳統(tǒng)3d醫(yī)學圖像分割方法的分割性能差的問題，而提出了一種基于兩視角和半監(jiān)督注意力模型的3d心臟圖像分割系統(tǒng)。

2、本發(fā)明為解決上述技術(shù)問題所采取的技術(shù)方案是：一種基于兩視角和半監(jiān)督注意力模型的3d心臟圖像分割系統(tǒng)，所述系統(tǒng)包括3d心臟圖像獲取模塊、3d心臟圖像預處理模塊、圖像混合模塊和半監(jiān)督注意力模型，其中：

3、所述3d心臟圖像獲取模塊用于獲取3d心臟圖像，并對獲取的部分3d心臟圖像進行分割標簽的標注；

4、所述3d心臟圖像預處理模塊用于對獲取的3d心臟圖像進行預處理，得到各個圖像補??；

5、所述圖像混合模塊用于對圖像補丁進行處理，生成混合圖像；

6、所述半監(jiān)督注意力模型根據(jù)帶標簽的3d心臟圖像、不帶標簽的3d心臟圖像和混合圖像進行訓練；

7、利用訓練好的半監(jiān)督注意力模型對待分割的3d心臟圖像進行分割。

8、進一步地，所述3d心臟圖像獲取模塊獲取的3d心臟圖像來自于la數(shù)據(jù)集和cetus數(shù)據(jù)集。

9、進一步地，所述3d心臟圖像預處理模塊的工作過程為：

10、對3d心臟圖像進行隨機旋轉(zhuǎn)、隨機翻轉(zhuǎn)和縮放后，再對圖像進行中心裁剪和隨機裁剪，將la數(shù)據(jù)集中的3d心臟圖像預處理為112×112×80的圖像補丁大小，將cetus數(shù)據(jù)集中的3d心臟圖像預處理為192×192×64的圖像補丁大小。

11、進一步地，所述圖像混合模塊的工作過程為：

12、對于任意兩個帶標簽的圖像補?。?/p>

13、隨機選擇裁剪框的位置和大小，再根據(jù)裁剪框的位置和大小從兩個帶標簽的圖像補丁中截取出裁剪框內(nèi)的圖像，將從兩個帶標簽的圖像補丁中截取出的圖像分別記為xa和xb；

14、則生成的融合圖像為：其中，m是掩碼矩陣；

15、根據(jù)xa的標簽和xb的標簽生成混合圖像的標簽其中，ya是xa的標簽，yb是xb的標簽，λ為權(quán)重；

16、利用生成的融合圖像替換截取出的圖像在原始圖像補丁中的位置，得到混合圖像；

17、對于任意兩個不帶標簽的圖像補?。?/p>

18、隨機選擇裁剪框的位置和大小，再根據(jù)裁剪框的位置和大小從兩個帶標簽的圖像補丁中截取出裁剪框內(nèi)的圖像，將從兩個帶標簽的圖像補丁中截取出的圖像分別記為x′a和x′b；

19、則生成的融合圖像為：其中，m是掩碼矩陣；

20、利用生成的融合圖像替換截取出的圖像在原始圖像補丁中的位置，得到混合圖像。

21、進一步地，所述半監(jiān)督注意力模型包括監(jiān)督模塊和分割網(wǎng)絡(luò)，且分割網(wǎng)絡(luò)包括第一分割模塊和第二分割模塊；

22、所述監(jiān)督模塊用于獲取冠狀面與橫斷面兩個方向的權(quán)重圖；

23、第一分割模塊根據(jù)帶標簽的3d心臟圖像、不帶標簽的3d心臟圖像、混合圖像以及冠狀面方向的權(quán)重圖進行訓練；

24、第二分割模塊根據(jù)帶標簽的3d心臟圖像、不帶標簽的3d心臟圖像、混合圖像以及橫斷面方向的權(quán)重圖進行訓練。

25、進一步地，所述監(jiān)督模塊的工作過程為：

26、對于冠狀面方向

27、步驟1、從三維醫(yī)學圖像的冠狀面方向選取出中間切片，將中間切片的權(quán)重記為weight；

28、步驟2、對于冠狀面方向的其它任意一個切片，根據(jù)該切片與中間切片的距離d，計算該切片的權(quán)重weightd；

29、步驟3、根據(jù)冠狀面方向上的各個切片的權(quán)重生成三維醫(yī)學圖像在冠狀面方向的權(quán)重圖；

30、同理，生成三維醫(yī)學圖像在橫斷面方向的權(quán)重圖。

31、進一步地，所述第一分割模塊中包括編碼器部分和解碼器部分，且編碼器部分包括四個下采樣單元，解碼器部分包括四個上采樣單元；

32、第一下采樣單元內(nèi)包括自適應(yīng)池化子單元、第一卷積層、cbam子單元和第二卷積層；且第一下采樣單元的工作過程為：

33、將第一分割模塊的輸入作為編碼器部分的第一下采樣單元的輸入，在第一下采樣單元內(nèi)，輸入首先依次經(jīng)過自適應(yīng)池化子單元、第一卷積層和cbam子單元，再將第一下采樣單元的輸入與cbam子單元的輸出進行逐元素求和得到逐元素求和結(jié)果a，最后將逐元素求和結(jié)果a經(jīng)過第二卷積層，將第二卷積層的輸出作為第一下采樣單元的輸出；

34、第二下采樣單元內(nèi)包括第一卷積層、第二卷積層、cbam子單元和第三卷積層；且第二下采樣單元的工作過程為：

35、將第一下采樣單元的輸出作為第二下采樣單元的輸入，在第二下采樣單元內(nèi)，輸入首先依次經(jīng)過第一卷積層、第二卷積層和cbam子單元，再將第二下采樣單元的輸入與cbam子單元的輸出進行逐元素求和得到逐元素求和結(jié)果b，最后將逐元素求和結(jié)果b經(jīng)過第三卷積層，將第三卷積層的輸出作為第二下采樣單元的輸出；

36、第三下采樣單元內(nèi)包括第一卷積層、第二卷積層、第三卷積層、cbam子單元和第四卷積層；且第三下采樣單元的工作過程為：

37、將第二下采樣單元的輸出作為第三下采樣單元的輸入，在第三下采樣單元內(nèi)，輸入首先依次經(jīng)過第一卷積層、第二卷積層、第三卷積層和cbam子單元，再將第三下采樣單元的輸入與cbam子單元的輸出進行逐元素求和得到逐元素求和結(jié)果c，最后將逐元素求和結(jié)果c經(jīng)過第四卷積層，將第四卷積層的輸出作為第三下采樣單元的輸出；

38、第四下采樣單元內(nèi)包括第一卷積層、第二卷積層、第三卷積層、cbam子單元和第四卷積層；且第四下采樣單元的工作過程為：

39、將第三下采樣單元的輸出作為第四下采樣單元的輸入，在第四下采樣單元內(nèi)，輸入首先依次經(jīng)過第一卷積層、第二卷積層、第三卷積層和cbam子單元，再將第四下采樣單元的輸入與cbam子單元的輸出進行逐元素求和得到逐元素求和結(jié)果d，最后將逐元素求和結(jié)果d經(jīng)過第四卷積層，將第四卷積層的輸出作為第四下采樣單元的輸出；

40、逐元素求和結(jié)果d再依次經(jīng)過三個卷積層得到輸出e，再將e與d進行逐元素求和得到f，f再經(jīng)過反卷積層，得到反卷積層的輸出f'；

41、第一上采樣單元內(nèi)包括第一卷積層、第二卷積層、第三卷積層和反卷積層；且第一上采樣單元的工作過程為：

42、對逐元素求和結(jié)果d和反卷積層的輸出f'進行特征連接后，將特征連接結(jié)果記為d'，在第一上采樣單元內(nèi)，特征連接結(jié)果d'依次經(jīng)過第一卷積層、第二卷積層和第三卷積層，再將第三卷積層的輸出與f'進行逐元素求和，再將逐元素求和結(jié)果經(jīng)過反卷積層，將反卷積層的輸出作為第一上采樣單元的輸出；

43、第二上采樣單元內(nèi)包括第一卷積層、第二卷積層、第三卷積層和反卷積層；且第二上采樣單元的工作過程為：

44、對逐元素求和結(jié)果c和第一上采樣單元的輸出進行特征連接后，將特征連接結(jié)果依次經(jīng)過第一卷積層、第二卷積層和第三卷積層，再將第三卷積層的輸出與第一上采樣單元的輸出進行逐元素求和，再將逐元素求和結(jié)果經(jīng)過反卷積層，將反卷積層的輸出作為第二上采樣單元的輸出；

45、第三上采樣單元內(nèi)包括第一卷積層、第二卷積層和反卷積層；且第三上采樣單元的工作過程為：

46、對逐元素求和結(jié)果b和第二上采樣單元的輸出進行特征連接后，將特征連接結(jié)果依次經(jīng)過第一卷積層和第二卷積層，再將第二卷積層的輸出與第二上采樣單元的輸出進行逐元素求和，再將逐元素求和結(jié)果經(jīng)過反卷積層，將反卷積層的輸出作為第三上采樣單元的輸出；

47、第四上采樣單元內(nèi)包括第一卷積層；且第四上采樣單元的工作過程為：

48、對逐元素求和結(jié)果a和第三上采樣單元的輸出進行特征連接后，將特征連接結(jié)果經(jīng)過第一卷積層，再將第一卷積層的輸出與第三上采樣單元的輸出進行逐元素求和，將逐元素求和作為第四上采樣單元的輸出，即獲得第一分割模塊的輸出；

49、第二分割模塊與第一分割模塊的網(wǎng)絡(luò)結(jié)構(gòu)相同。

50、進一步地，所述自適應(yīng)池化子單元的工作過程為：

51、將自適應(yīng)池化子單元的輸入記為x，將x依次經(jīng)過自適應(yīng)平均池化層、sigmoid激活函數(shù)層和擴展層，將擴展層的輸出與x進行逐元素相乘，將逐元素相乘結(jié)果作為自適應(yīng)池化子單元的輸出；

52、所述cbam子單元的工作過程為：

53、將cbam子單元的輸入記為y，首先將y經(jīng)過卷積層，并將卷積層的輸出記為y'，將y'經(jīng)過通道注意力層，再將通道注意力層的輸出與y'進行融合，將融合結(jié)果再經(jīng)過卷積層，得到卷積層的輸出y”，并將y”經(jīng)過空間注意力層，將空間注意力層的輸出與y”進行融合，將融合結(jié)果作為cbam子單元的輸出。

54、進一步地，所述第一分割模塊和第二分割模塊進行聯(lián)合訓練；聯(lián)合訓練的具體過程為：

55、步驟一、初始化訓練數(shù)據(jù)批次t＝1；

56、步驟二、從冠狀面的數(shù)據(jù)集中選取出第t批次的訓練數(shù)據(jù)；

57、步驟三、利用步驟二中選取出的訓練數(shù)據(jù)對第一分割模塊進行訓練，訓練時采用的損失函數(shù)ltotal為：

58、ltotal＝lsup+lsemi+λ·luncertainty

59、其中，lsup是有標注的圖像數(shù)據(jù)集的分割損失，lsemi是沒有標注的圖像數(shù)據(jù)集的分割損失，luncertainty是不確定糾正損失，λ是權(quán)重系數(shù)；

60、分割損失lsup和lsemi均包括交叉損失lce和dice損失兩部分；其中：

61、對于不帶標簽的圖像來說，交叉損失lce的計算方法為：

62、

63、其中，wi是冠狀面方向的權(quán)重圖w的第i個體素，h、w和d是圖像的長度、寬度和高度，pi表示第i個體素屬于前景的概率，yi表示第i個體素的偽標簽；

64、對于不帶標簽的圖像來說，dice損失的計算方法為：

65、

66、同理，計算帶標簽圖像的交叉損失和dice損失；

67、不確定糾正損失luncertainty為：

68、

69、其中，是第i個體素經(jīng)過第s個上采樣單元輸出的預測值，是第i個體素經(jīng)過全部s個上采樣單元輸出的預測值的平均值，表示第i個體素經(jīng)過第s個上采樣單元的校正值，表示的不確定性，||·||2表示2范數(shù)；

70、

71、其中，是在第j個通道的值，是在第j個通道的值，c是通道的數(shù)量；

72、步驟四、采用平均指數(shù)傳參的方式，將步驟三中訓練好的第一分割模塊的參數(shù)傳遞給第二分割模塊，第二分割模塊根據(jù)接收到的參數(shù)進行自身參數(shù)的更新；

73、步驟五、從橫斷面的數(shù)據(jù)集中選取出第t批次的訓練數(shù)據(jù)；

74、步驟六、利用步驟五中選取出的訓練數(shù)據(jù)對參數(shù)更新后的第二分割模塊進行訓練；

75、步驟七、采用平均指數(shù)傳參的方式，將步驟六中訓練好的第二分割模塊的參數(shù)傳遞給第一分割模塊，第一分割模塊根據(jù)接收到的參數(shù)進行自身參數(shù)的更新；

76、步驟八、令批次數(shù)t＝t+1，再返回執(zhí)行步驟二，直至訓練結(jié)束。

77、更進一步地，所述利用訓練好的半監(jiān)督注意力模型對待分割的3d心臟圖像進行分割，具體為：

78、將待分割的3d心臟圖像分別作為訓練好的第一分割模塊和第二分割模塊的輸入，得到第一分割模塊輸出的分割結(jié)果以及第二分割模塊輸出的分割結(jié)果；

79、再根據(jù)評估指標從第一分割模塊輸出的分割結(jié)果和第二分割模塊輸出的分割結(jié)果中選擇出最佳的分割結(jié)果。

80、本發(fā)明的有益效果是：

81、本發(fā)明采用了數(shù)據(jù)增強機制，即利用圖像中的混合區(qū)域來擴展數(shù)據(jù)集，以增強在3d心臟醫(yī)學圖像分割任務(wù)中的性能，從冠狀面和橫斷面兩個視角對3d心臟圖像進行分割，可以獲取兩個視角的互補分割信息，而且本發(fā)明設(shè)計的分割網(wǎng)絡(luò)更加關(guān)注分割區(qū)域和邊緣部分，同時通過采用半監(jiān)督學習的方式，在不需要對全部3d心臟圖像進行標注的情況下，結(jié)合兩個視角的互補分割信息保證了圖像的分割性能。