本發(fā)明屬于計算機視覺領(lǐng)域的圖像處理技術(shù)，具體而言，涉及一種基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法。

背景技術(shù)：

1、對于管狀結(jié)構(gòu)的醫(yī)學圖像分割研究一直是一個重要的研究內(nèi)容。管狀結(jié)構(gòu)的醫(yī)學圖像有著結(jié)構(gòu)細長曲折的特點，且人體器官的多種重點研究部分都是管狀結(jié)構(gòu)，比如心臟血管，動脈血管，下頜神經(jīng)管等。然而絕大部分的醫(yī)學圖像分割網(wǎng)絡(luò)并沒有針對這類結(jié)構(gòu)的醫(yī)學圖像做專門的研究，這給該類醫(yī)學圖像的分割處理造成了困難。

技術(shù)實現(xiàn)思路

1、為解決現(xiàn)有技術(shù)中針對管狀結(jié)構(gòu)醫(yī)學圖像的分割處理的問題，本發(fā)明提出一種基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法，包括以下步驟：

2、s1.?構(gòu)建訓練數(shù)據(jù)集：采集下頜神經(jīng)管cbct圖像，再利用人工標注的手段對采集到的cbct圖像進行處理生成全景cbct圖像，對全景cbct圖像中需要分割的部位進行標注并轉(zhuǎn)化為標簽圖，代表需要分割部位的像素點賦值為1，代表背景的像素點賦值為0，標簽圖與相應(yīng)的cbct圖像構(gòu)成一組訓練樣本，送入網(wǎng)絡(luò)中訓練；

3、s2.?構(gòu)建訓練框架：訓練框架包括stem層、編碼器部分、解碼器部分、跳躍連接部分三部分，編碼器部分由四個編碼器組成，每個編碼器包括mamba模塊、gsc模塊和tuc模塊，解碼器部分包括卷積層，上采樣層、分割頭，跳躍連接和殘差連接層，一次迭代的過程如下：

4、s2-1.?將要進行訓練的全景cbct圖像先送入stem層，stem層采用深度卷積，圖像經(jīng)過stem層提取第一個特征尺度；然后將送入編碼器部分的mamba模塊和相應(yīng)的下采用層；

5、s2-2.?在第一個mamba模塊中，先經(jīng)過門控空間卷積模塊gsc提取來自stem層中的圖像空間特征，在之后的每一個mamba模塊中，先經(jīng)過門控空間卷積模塊gsc提取來自上一個mamba模塊中的圖像空間特征；輸入的第m個空間特征首先被送入兩個tuc模塊中得到和；接著，這兩個特征進行逐像素相乘，以門控機制的方式控制信息傳輸；最后，利用另一個tuc模塊將這兩個特征進一步融合成，并通過解碼器部分的殘差連接層將特征送入解碼器；

6、s2-3.經(jīng)過gsc和三個tuc模塊得到特征后，再經(jīng)過tom模塊從多個方向上建模特征之間的依賴關(guān)系；特征沿三個不同方向展開成三個序列，然后執(zhí)行相應(yīng)的特征交互操作，最終獲得整合后的特征圖；

7、s2-4.重復s2-1、s2-2、s2-3的步驟，得到四個編碼器輸出的特征圖、、、并輸入到跳躍連接層，得到每一個跳躍連接層的結(jié)果、、、；

8、s2-5.將最后一個編碼器得到的特征圖輸入到解碼器中進行上采樣操作得到特征圖，解碼器部分同時接收，與特征圖在通道維度上進行拼接得到；然后再進行卷積上采樣得到；將與特征圖在通道維度上進行拼接得到；然后再進行卷積上采樣得到；將與特征圖在通道維度上進行拼接得到；然后再進行卷積上采樣得到；對再進行一次卷積上采樣后得到與輸入特征圖的分辨率大小相同的特征圖；

9、s2-6.將得到的特征圖經(jīng)過一個分割頭進行輸出，并將輸出的結(jié)果與標簽圖進行損失函數(shù)的計算，根據(jù)計算的結(jié)果進行反向傳播，至此一輪迭代完成。

10、可選地，步驟s2-1中，全景cbct圖像數(shù)據(jù)統(tǒng)一表示為：

11、

12、其中c表示輸入通道數(shù)，，h，w分別代表全景cbct圖像的長、寬、高的值；對于stem層采用內(nèi)核大小為，填充大小，步長，經(jīng)過stem提取全景cbct圖像的第一個尺度特征表示為：

13、。

14、可選地，步驟s2-2中，gsc計算方式用以下公式表示：

15、,

16、其中，表示輸入的第m個空間特征，tuc表示管狀卷積塊。

17、可選地，步驟s2-2中，在tuc中，先給定一個標準的3d卷積坐標，中心坐標為；一個3×3×3的卷積核k表示為：

18、,

19、其中x軸方向的變化，表示為：

20、

21、y軸方向的變化為：

22、

23、z軸方向的變化為：

24、

25、其中，i,j,k分別表示x,y,z軸方向的變化，?x,?y,?z分別表示對應(yīng)方向的偏移量，由于偏移量是小數(shù)，然而坐標是整數(shù)形式，因此采用雙線性插值，表示為：

26、

27、其中，表示方程、方程和方程的小數(shù)位置，k’列舉所有整數(shù)空間位置，b是雙線性插值核，分解為三個一維核，即：

28、，

29、其中,b表示在每個方向上的雙線性插值核，,,分別表示沿著三個方向的卷積核；對于每個k，從x軸、y軸、z軸提取來自第l層的三個特征圖、、，表示為：

30、,

31、其中，、、表示對應(yīng)位置處的權(quán)重，第l層卷積核k提取的特征采用累積方法計算。

32、可選地，步驟s2-3中，tom模塊計算方式可以用以下公式表示：

33、,

34、其中，mamba是用于在序列中建模全局信息的mamba層，表示前向方向的特征，表示反向方向的特征，表示切片間方向的特征；

35、對于第m個mamba層，其計算過程可以定義為:

36、,

37、,

38、,

39、其中，gsc?和?tom?分別表示網(wǎng)絡(luò)中的門控空間卷積模塊和三向mamba模塊，，ln?表示層歸一化，mlp?表示多層感知機層，用于豐富特征表示，表示來自第?層的特征。

40、可選地，步驟s2-4中，將作為輸入,之后再經(jīng)過卷積、殘差連接，最后經(jīng)過卷積進行特征融合和尺寸調(diào)整，表示為：

41、，

42、其中表示第i個mamba模塊跳躍連接的最終輸出結(jié)果，表示進行卷積操作。

43、可選地，步驟s2-5中，解碼器中每一次上采樣之后得到的特征圖，與同一層編碼器輸出的在通道維度進行拼接，得到拼接后的特征圖，再經(jīng)過卷積層，最后輸出與原始圖像尺寸大小相同的的特征圖。

44、可選地，步驟s2-6中，最后經(jīng)過分割頭得到網(wǎng)絡(luò)最終的輸出結(jié)果，輸出結(jié)果與標簽圖計算交叉熵損失，計算公式如下：

45、，

46、其中，n是樣本數(shù)量，c是類別數(shù)，是真實標簽中像素i屬于類別c的指示函數(shù)，是模型預測像素i屬于類別c的概率。

47、本發(fā)明還提出一種下頜神經(jīng)管cbct全景圖像處理方法，采用由前述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法獲得的分割網(wǎng)絡(luò)。

48、本發(fā)明的有益效果是：通過本發(fā)明的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法，提高了在醫(yī)學圖像分割領(lǐng)域數(shù)據(jù)來源受限的情況下對下頜管下頜神經(jīng)管的分割能力，為智能醫(yī)學圖像處理提供了一種有效的管狀結(jié)構(gòu)數(shù)據(jù)分割方案。

技術(shù)特征：

1.基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法，其特征在于，包括以下步驟：

2.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法，其特征在于，步驟s2-1中，全景cbct圖像數(shù)據(jù)統(tǒng)一表示為：

3.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法，其特征在于，步驟s2-2中，gsc計算方式用以下公式表示：

4.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法，其特征在于，步驟s2-2中，在tuc中，先給定一個標準的3d卷積坐標，中心坐標為；一個3×3×3的卷積核k表示為：

5.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法，其特征在于，步驟s2-3中，tom模塊計算方式用以下公式表示：

6.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法，其特征在于，步驟s2-4中，將作為輸入,之后再經(jīng)過卷積、殘差連接，最后經(jīng)過卷積進行特征融合和尺寸調(diào)整，表示為：

7.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法，其特征在于，步驟s2-5中，解碼器中每一次上采樣之后得到的特征圖，與同一層編碼器輸出的在通道維度進行拼接，得到拼接后的特征圖，再經(jīng)過卷積層，最后輸出與原始圖像尺寸大小相同的的特征圖。

8.根據(jù)權(quán)利要求1所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法，其特征在于，步驟s2-6中，最后經(jīng)過分割頭得到網(wǎng)絡(luò)最終的輸出結(jié)果，輸出結(jié)果與標簽圖計算交叉熵損失，計算公式如下：

9.一種下頜神經(jīng)管cbct全景圖像處理方法，其特征在于，采用由權(quán)利要求1~8任一項所述的基于mamba架構(gòu)的下頜神經(jīng)管cbct全景圖像分割網(wǎng)絡(luò)訓練方法獲得的分割網(wǎng)絡(luò)。

技術(shù)總結(jié)
本發(fā)明公開了基于Mamba架構(gòu)的下頜神經(jīng)管CBCT全景圖像分割網(wǎng)絡(luò)訓練方法，涉及計算機視覺領(lǐng)域的圖像處理技術(shù)。該分割網(wǎng)絡(luò)訓練方法采用編碼器解碼器架構(gòu)，其基于管狀卷積核的特征提取操作通過擴大感受野和學習形變來提取管狀結(jié)構(gòu)特征，之后進行三視覺特征融合策略進一步引導模型從不同角度補充對關(guān)鍵特征的關(guān)注；編碼器部分通過Mamba架構(gòu)建模全局和多尺度特征，并在訓練和推理過程保持高效，最終使網(wǎng)絡(luò)對于管狀結(jié)構(gòu)的CBCT圖像有更加完整的分割效果。

技術(shù)研發(fā)人員：王志明,蔡彪,易驚濤,楊帆
受保護的技術(shù)使用者：感躍醫(yī)療科技（成都）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19