本公開(kāi)涉及圖像處理相關(guān)，具體地說(shuō)，是涉及一種基于圖像分割的椎體三維重建方法、骨質(zhì)檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提供了與本公開(kāi)相關(guān)的背景技術(shù)信息，并不必然構(gòu)成在先技術(shù)。

2、深度學(xué)習(xí)在醫(yī)學(xué)圖像分析，特別是圖像分割領(lǐng)域，提供了強(qiáng)大的工具和方法，顯著提升了自動(dòng)化分析的精度和效率。這不僅減輕了醫(yī)生的工作負(fù)擔(dān)，還提高了診斷和治療的效果，推動(dòng)了醫(yī)學(xué)影像技術(shù)的發(fā)展和應(yīng)用。

3、現(xiàn)有的醫(yī)療輔助診斷工具大多集中于腹部和腦部等器官的診斷，針對(duì)腰椎相關(guān)疾病的醫(yī)療輔助系統(tǒng)較少。發(fā)明人在研究中發(fā)現(xiàn)，現(xiàn)有的醫(yī)療輔助診斷系統(tǒng)，采用深度學(xué)習(xí)的u形網(wǎng)絡(luò)如swin-unetr網(wǎng)絡(luò)、u-net網(wǎng)絡(luò)等模型網(wǎng)絡(luò)進(jìn)行圖像處理，在進(jìn)行自動(dòng)化分割時(shí)無(wú)法準(zhǔn)確識(shí)別目標(biāo)器官以及組織的結(jié)構(gòu)邊界，整體分割精度低，不能融合圖像的位置和通道特征從而導(dǎo)致分割結(jié)果不準(zhǔn)確，不準(zhǔn)確的分割結(jié)果進(jìn)而可能會(huì)導(dǎo)致重建結(jié)果存在畸變、缺失或者模糊等問(wèn)題，從而影響對(duì)病變部位的識(shí)別和診斷。并且，現(xiàn)有的輔助診斷系統(tǒng)人機(jī)交互界面不友好存在復(fù)雜的操作流程、不直觀的界面設(shè)計(jì)等問(wèn)題，醫(yī)生在操作時(shí)可能需要較長(zhǎng)的學(xué)習(xí)時(shí)間，降低了使用效率。從而影響醫(yī)生的使用體驗(yàn)。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)為了解決上述問(wèn)題，提出了一種基于圖像分割的椎體三維重建方法、骨質(zhì)檢測(cè)方法及系統(tǒng)，改進(jìn)現(xiàn)有的圖像分割模型，對(duì)ct圖像進(jìn)行高精度的分割以及三維重建，可以以更加直觀和更為精準(zhǔn)的方式觀察患者的椎體和軟組織結(jié)構(gòu)，從而準(zhǔn)確識(shí)別病變部位、神經(jīng)走行等重要信息；同時(shí)，基于圖像分割后的結(jié)構(gòu)采用多實(shí)例學(xué)習(xí)和注意力機(jī)制實(shí)現(xiàn)了骨質(zhì)檢測(cè)，能夠提供骨質(zhì)分類(lèi)結(jié)果和骨密度數(shù)據(jù)，為醫(yī)生診斷提供三維模型圖像以及骨質(zhì)檢測(cè)數(shù)據(jù)，實(shí)現(xiàn)高效的智慧醫(yī)療輔助。

2、為了實(shí)現(xiàn)上述目的，本公開(kāi)采用如下技術(shù)方案：

3、本公開(kāi)第一方面提供了基于圖像分割的椎體三維重建方法，包括如下步驟：

4、獲取待處理的脊柱ct平掃圖像數(shù)據(jù)；

5、將圖像數(shù)據(jù)輸入至基于swin-unetr網(wǎng)絡(luò)改進(jìn)后的圖像分割模型，得到脊柱ct圖像的分割圖像；

6、所述改進(jìn)后的圖像分割模型，在swin-unetr網(wǎng)絡(luò)的編碼器前增加awm灰度自適應(yīng)網(wǎng)絡(luò)，用于自適應(yīng)調(diào)節(jié)輸入圖像的灰度；并在編碼器后的跳躍連接上設(shè)置da-block模塊，用于提取圖像的位置特征和通道特征；

7、針對(duì)分割后的圖像，采用三維重建方法對(duì)圖像數(shù)據(jù)進(jìn)行處理并提取信息，構(gòu)建椎體結(jié)構(gòu)的三維模型。

8、本公開(kāi)第二方面提供了基于圖像分割的骨質(zhì)檢測(cè)方法，包括如下步驟：

9、獲取待處理的脊柱ct平掃圖像數(shù)據(jù)；

10、將圖像數(shù)據(jù)輸入至基于swin-unetr網(wǎng)絡(luò)改進(jìn)后的圖像分割模型，得到脊柱ct圖像的分割圖像；

11、所述改進(jìn)后的圖像分割模型，在swin-unetr網(wǎng)絡(luò)的編碼器前增加awm灰度自適應(yīng)網(wǎng)絡(luò)，用于自適應(yīng)調(diào)節(jié)輸入圖像的灰度；并在編碼器后的跳躍連接上設(shè)置da-block模塊，用于提取圖像的位置特征和通道特征；

12、針對(duì)分割后的圖像，進(jìn)行補(bǔ)丁位置提議，從分割后的圖像中選擇實(shí)例以組成袋子，作為實(shí)例級(jí)特征袋；

13、通過(guò)補(bǔ)丁網(wǎng)絡(luò)對(duì)實(shí)例級(jí)特征袋中的實(shí)例級(jí)特征進(jìn)行變換；

14、通過(guò)注意力多實(shí)例學(xué)習(xí)以及池化，對(duì)變換后的實(shí)例進(jìn)行組合；

15、基于組合后的袋子級(jí)特征進(jìn)行分類(lèi)，得到疏松程度以及對(duì)應(yīng)的骨密度值。

16、本公開(kāi)第三方面提供了基于圖像分割的椎體三維重建系統(tǒng)，包括：

17、數(shù)據(jù)獲取模塊：被配置為獲取待處理的脊柱ct平掃圖像數(shù)據(jù)；

18、圖像分割模塊：被配置為將圖像數(shù)據(jù)輸入至基于swin-unetr網(wǎng)絡(luò)改進(jìn)后的圖像分割模型，得到脊柱ct圖像的分割圖像；

19、所述改進(jìn)后的圖像分割模型，在swin-unetr網(wǎng)絡(luò)的編碼器前增加awm灰度自適應(yīng)網(wǎng)絡(luò)，用于自適應(yīng)調(diào)節(jié)輸入圖像的灰度；并在編碼器后的跳躍連接上設(shè)置da-block模塊，用于提取圖像的位置特征和通道特征；

20、三維建模模塊：被配置為針對(duì)分割后的圖像，采用三維重建方法對(duì)圖像數(shù)據(jù)進(jìn)行處理并提取信息，構(gòu)建椎體結(jié)構(gòu)的三維模型。

21、本公開(kāi)第四方面提供了基于圖像分割的骨質(zhì)檢測(cè)系統(tǒng)，包括：

22、數(shù)據(jù)獲取模塊：被配置為獲取待處理的脊柱ct平掃圖像數(shù)據(jù)；

23、圖像分割模塊：被配置為將圖像數(shù)據(jù)輸入至基于swin-unetr網(wǎng)絡(luò)改進(jìn)后的圖像分割模型，得到脊柱ct圖像的分割圖像；

24、所述改進(jìn)后的圖像分割模型，在swin-unetr網(wǎng)絡(luò)的編碼器前增加awm灰度自適應(yīng)網(wǎng)絡(luò)，用于自適應(yīng)調(diào)節(jié)輸入圖像的灰度；并在編碼器后的跳躍連接上設(shè)置da-block模塊，用于提取圖像的位置特征和通道特征；

25、實(shí)例級(jí)特征生成模塊：被配置為針對(duì)分割后的圖像，進(jìn)行補(bǔ)丁位置提議，從分割后的圖像中選擇實(shí)例以組成袋子，作為實(shí)例級(jí)特征袋；

26、變換模塊：被配置為通過(guò)補(bǔ)丁網(wǎng)絡(luò)對(duì)實(shí)例級(jí)特征袋中的實(shí)例級(jí)特征進(jìn)行變換；

27、實(shí)例組合模塊：被配置為通過(guò)注意力多實(shí)例學(xué)習(xí)以及池化，對(duì)變換后的實(shí)例進(jìn)行組合；

28、預(yù)測(cè)輸出模塊：被配置為基于組合后的袋子級(jí)特征進(jìn)行分類(lèi)，得到骨質(zhì)疏松程度以及對(duì)應(yīng)的骨密度值。

29、與現(xiàn)有技術(shù)相比，本公開(kāi)的有益效果為：

30、本公開(kāi)對(duì)swin?unetr網(wǎng)絡(luò)模型進(jìn)行改進(jìn)，得到具有集成位置和通道的圖像特定特征、自適應(yīng)調(diào)整輸入圖像灰度值的sad-unetr圖像分割模型，并且在sad-unetr圖像分割模型的編碼器后的跳躍連接中集成了da-block模塊；這一模塊專(zhuān)注于提取圖像的位置信息和通道特征，能夠更準(zhǔn)確地捕捉目標(biāo)區(qū)域的空間和語(yǔ)義信息，提升分割任務(wù)的精確度。成功實(shí)現(xiàn)了對(duì)脊柱圖像的精確分割，基于準(zhǔn)確的分割結(jié)果進(jìn)行三維建模能夠得到準(zhǔn)確的三維模型。

31、同時(shí)，基于準(zhǔn)確的圖像分割結(jié)果，融合采用先進(jìn)的多實(shí)例學(xué)習(xí)和注意力機(jī)制，提供了一種高效、精準(zhǔn)的骨質(zhì)檢測(cè)方法，有效提升了骨質(zhì)疏松分類(lèi)以及骨密度預(yù)測(cè)的性能，能夠有效捕捉局部和全局結(jié)構(gòu)特征，以提高骨質(zhì)疏松分類(lèi)以及骨密度預(yù)測(cè)的性能，區(qū)分骨量正常、骨量減少和骨質(zhì)疏松的不同狀態(tài)，準(zhǔn)確預(yù)測(cè)骨密度值。

32、本公開(kāi)的優(yōu)點(diǎn)以及附加方面的優(yōu)點(diǎn)將在下面的具體實(shí)施例中進(jìn)行詳細(xì)說(shuō)明。

技術(shù)特征：

1.基于圖像分割的椎體三維重建方法，其特征在于，包括如下步驟：

2.如權(quán)利要求1所述的基于圖像分割的椎體三維重建方法，其特征在于：da-block模塊的網(wǎng)絡(luò)結(jié)構(gòu)，包括：

3.如權(quán)利要求1所述的基于圖像分割的椎體三維重建方法，其特征在于：

4.如權(quán)利要求1所述的基于圖像分割的椎體三維重建方法，其特征在于：

5.基于圖像分割的骨質(zhì)檢測(cè)方法，其特征在于，包括如下步驟：

6.如權(quán)利要求5項(xiàng)所述的基于圖像分割的骨質(zhì)檢測(cè)方法，其特征在于，基于補(bǔ)丁位置提議得到實(shí)例級(jí)特征袋，包括如下步驟：

7.如權(quán)利要求5所述的基于圖像分割的骨質(zhì)檢測(cè)方法，其特征在于，構(gòu)建骨密度預(yù)測(cè)回歸模型，包括：補(bǔ)丁網(wǎng)絡(luò)、注意力多實(shí)例學(xué)習(xí)池化模塊和注意力感知全局分類(lèi)器以及預(yù)測(cè)分支；

8.如權(quán)利要求5所述的基于圖像分割的骨質(zhì)檢測(cè)方法，其特征在于，建立人機(jī)交互平臺(tái)，實(shí)現(xiàn)三維重建過(guò)程以及骨質(zhì)檢測(cè)過(guò)程的人機(jī)交互；通過(guò)人機(jī)交互界面實(shí)現(xiàn)可視化展示，包括分割結(jié)果、重建展示和骨密度預(yù)測(cè)結(jié)果。

9.基于圖像分割的椎體三維重建系統(tǒng)，其特征在于，包括：

10.基于圖像分割的骨質(zhì)檢測(cè)系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本公開(kāi)涉及圖像處理技術(shù)領(lǐng)域，提出了一種基于圖像分割的椎體三維重建方法、骨質(zhì)檢測(cè)方法及系統(tǒng)，首先在Swin?UNetR網(wǎng)絡(luò)改進(jìn)構(gòu)建了能夠?qū)崿F(xiàn)圖像目標(biāo)準(zhǔn)確分割的SAD?UNetR圖像分割模型，在精確分割圖上的基礎(chǔ)上進(jìn)行了三維建模，能夠得到椎骨結(jié)構(gòu)的準(zhǔn)確三維模型；基于準(zhǔn)確的分割結(jié)果，同時(shí)提出了骨密度預(yù)測(cè)回歸模型，基于多實(shí)例學(xué)習(xí)和注意力機(jī)制對(duì)骨質(zhì)進(jìn)行識(shí)別，能夠提供骨質(zhì)分類(lèi)結(jié)果和骨密度數(shù)據(jù)，為醫(yī)生診斷提供智能輔助，同時(shí)避免了專(zhuān)門(mén)骨密度測(cè)量帶來(lái)的輻射風(fēng)險(xiǎn)、經(jīng)濟(jì)消耗和時(shí)間消耗，擴(kuò)充了骨質(zhì)檢測(cè)的測(cè)量手段，具有廣闊的應(yīng)用前景。

技術(shù)研發(fā)人員：趙曰峰,孫鵬飛,胡楠楠,陶倩倩,曾憲磊,吳長(zhǎng)舉
受保護(hù)的技術(shù)使用者：山東師范大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19