本發(fā)明涉及醫(yī)學(xué)影像處理和計(jì)算機(jī)輔助診斷的，具體涉及一種基于語義分割模型下平掃ct圖像的肝臟及骨骼三維重建方法。

背景技術(shù)：

1、肝臟和骨骼的三維重建在醫(yī)學(xué)診斷和手術(shù)規(guī)劃中具有重要意義。傳統(tǒng)的平掃ct圖像提供的是二維切片信息，醫(yī)生需要通過多張切片來推測三維解剖結(jié)構(gòu)，過程復(fù)雜且容易產(chǎn)生誤差?，F(xiàn)有的三維重建技術(shù)主要依賴于人工標(biāo)注，效率較低且對結(jié)果的準(zhǔn)確性影響較大。因此，需要一種能夠自動(dòng)化處理的三維重建方法，提高對肝臟及骨骼的建模精度，減少醫(yī)生的工作負(fù)擔(dān)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明針對背景技術(shù)部分提到的挑戰(zhàn)，提供了一種創(chuàng)新的方法，一種基于語義分割模型下平掃ct圖像的肝臟及骨骼三維重建方法，通過對肝臟和骨骼進(jìn)行精確的三維建模，使醫(yī)生能夠直觀了解肝臟及骨骼的空間位置關(guān)系，從而便于病灶的定位和評估，有利于手術(shù)規(guī)劃和治療，同時(shí)提高患者對自身病情的理解，具有實(shí)用性和廣泛適用性。

2、本發(fā)明的一種基于語義分割模型下平掃ct圖像的肝臟及骨骼三維重建方法采用如下技術(shù)方案：

3、一種基于語義分割模型下平掃ct圖像的肝臟及骨骼三維重建方法，包括以下步驟：

4、1)建立平掃ct數(shù)據(jù)庫，形成包含多組患者平掃ct影像數(shù)據(jù)的文檔；

5、2)采集足夠數(shù)量的人體平掃ct影像數(shù)據(jù)，將符合要求的影像數(shù)據(jù)存入患者文檔中；

6、3)將患者文檔中的ct影像數(shù)據(jù)導(dǎo)入三維重建系統(tǒng)中；

7、4)根據(jù)興趣區(qū)域(roi)對ct平掃數(shù)據(jù)進(jìn)行圖像預(yù)處理；

8、5)三維重建系統(tǒng)中內(nèi)嵌的語義分割模型自動(dòng)對平掃ct影像中的骨骼及肝臟進(jìn)行標(biāo)注；

9、6)系統(tǒng)將標(biāo)注后的ct影像進(jìn)行校準(zhǔn)、融合，并從軸狀、冠狀、矢狀三個(gè)方向進(jìn)行多視角處理；

10、7)生成肝臟及骨骼的三維模型，對模型進(jìn)行優(yōu)化。

11、優(yōu)選的，步驟4)中的根據(jù)興趣區(qū)域(roi)對ct平掃數(shù)據(jù)進(jìn)行圖像預(yù)處理圖像裁剪crop操作，即：

12、cropped_image＝original_image[xmin:xmax,ymin:ymax](1)；

13、優(yōu)選的，步驟4)中的根據(jù)興趣區(qū)域(roi)對ct平掃數(shù)據(jù)進(jìn)行圖像預(yù)處理圖像重采樣resample操作，

14、即：

15、

16、優(yōu)選的，步驟4)中的根據(jù)興趣區(qū)域(roi)對ct平掃數(shù)據(jù)進(jìn)行圖像預(yù)處理圖像標(biāo)準(zhǔn)化normalization操作，即：

17、

18、優(yōu)選的，步驟5)中自動(dòng)對平掃ct影像中的骨骼及肝臟進(jìn)行標(biāo)注的語義分割模型其損失函數(shù)為dice損失和交叉熵?fù)p失(cross-entropy,ce)的組合函數(shù)用于分割ct圖像中的肝臟及骨骼,組合損失函數(shù)的公式可表示為：

19、

20、將(4)(5)代入(6)中,且(0＜α＜1)

21、l＝α·lce+(1-α)·ldice(6)；

22、優(yōu)選的，步驟5)中自動(dòng)對平掃ct影像中的骨骼及肝臟進(jìn)行標(biāo)注的語義分割模型其激活函數(shù)為使用leaky?relu作為激活函數(shù)，替換了常用的relu激活函數(shù)。leakyrelu的公式的組合函數(shù)用于分割ct圖像中的肝臟及骨骼,函數(shù)的公式可表示為：

23、f(x)＝max(0.01x,x)(7)；

24、優(yōu)選的，步驟5)中自動(dòng)對平掃ct影像中的骨骼及肝臟進(jìn)行標(biāo)注的語義分割模型其其歸一化方法使用使用instance?normalization代替了更流行的batch?normalization，歸一化方法instance?normalization的公式為：

25、

26、優(yōu)選的，步驟6)中的圖像校準(zhǔn)采用了基于特征點(diǎn)的配準(zhǔn)方法，確保各視角數(shù)據(jù)的空間對齊。同時(shí)，圖像融合過程通過加權(quán)平均的方法，將來自不同方向的圖像信息進(jìn)行綜合，權(quán)重根據(jù)實(shí)際需求動(dòng)態(tài)調(diào)整，確保最終生成的三維模型具有更高的精度和一致性。

27、優(yōu)選的，步驟7)中對于肝臟和骨骼模型的重建，采用使用插片和等值面提取的方式來處理各相鄰ct影像圖片之間的過渡，以實(shí)現(xiàn)模型的平滑連接。依據(jù)三維數(shù)據(jù)的每一個(gè)頂點(diǎn)，判斷其值是否大于等于給定的等值，如果是，則標(biāo)記為1；否則標(biāo)記為0；即：

28、

29、優(yōu)選的，步驟7)中對于三維重建器官的展示，使用cmap顏色映射的方式。生成的三維模型通過映射和渲染模塊進(jìn)行可視化展示。系統(tǒng)使用以下方法來確定每個(gè)模型的顏色(color)和透明度(opacity)：

30、

31、opacity(x,y,z)＝calculateopacity(f(x,y,z))??(11)；

32、優(yōu)選的，步驟7)中對于三維重建器官的加載，使用多線程調(diào)度的方式。在三維重建過程中，系統(tǒng)會(huì)顯示當(dāng)前的進(jìn)度，確保用戶能夠?qū)崟r(shí)了解處理進(jìn)展。進(jìn)度更新的方法如下：

33、

34、本發(fā)明的有益效果是：

35、1.精確分割與增強(qiáng)顯示：本發(fā)明通過采用先進(jìn)的語義分割算法，能夠在原始ct圖像中準(zhǔn)確識別和分割出肝臟、骨骼等組織結(jié)構(gòu)以及病灶，尤其是在低對比度的情況下也能夠有效區(qū)分。這種精確的分割結(jié)合三維重建技術(shù)，使得醫(yī)生可以清晰地看到病灶和重要解剖結(jié)構(gòu)的相對位置和形態(tài)，從而為手術(shù)規(guī)劃提供更準(zhǔn)確的信息。

36、2.多層次、多維度的影像融合：本發(fā)明可以將多層次的ct影像進(jìn)行融合處理，生成具有多維度信息的三維圖像。通過調(diào)整各影像層的透明度和顏色映射，可以突出不同解剖結(jié)構(gòu)的特點(diǎn)，便于醫(yī)生對病變位置和其與周圍結(jié)構(gòu)的關(guān)系進(jìn)行全面評估。這種多層次的影像融合技術(shù)，能夠在復(fù)雜的病例中提供更加精細(xì)的圖像分析能力。

37、3.快速處理和實(shí)時(shí)交互：本發(fā)明所涉及的圖像處理方法和三維重建算法經(jīng)過優(yōu)化，能夠在較短時(shí)間內(nèi)完成大數(shù)據(jù)量ct影像的重建和處理。通過實(shí)時(shí)交互功能，醫(yī)生可以隨時(shí)調(diào)整視角、旋轉(zhuǎn)模型或切換不同的顯示模式，使得影像的分析過程更加高效，并大大縮短了診斷和治療規(guī)劃的時(shí)間。

38、4.個(gè)性化治療方案制定：本發(fā)明提供的精確三維重建和圖像分析技術(shù)，可以結(jié)合患者的個(gè)體解剖特征，幫助醫(yī)生制定個(gè)性化的治療方案。通過對三維模型的深入分析，醫(yī)生可以更好地判斷治療方案的可行性，選擇最佳的治療路徑和方法，從而提高治療效果并減少風(fēng)險(xiǎn)。

技術(shù)特征：

1.一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟4)中圖像預(yù)處理包括圖像裁剪crop操作，即：

3.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟4)中圖像預(yù)處理包括重采樣resample操作，即：

4.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟4)中圖像預(yù)處理包括標(biāo)準(zhǔn)化normalization操作，即：

5.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟5)中語義分割模型采用深度學(xué)習(xí)技術(shù)，其損失函數(shù)為dice損失和交叉熵?fù)p失(cross-entropy,ce)的組合函數(shù)用于分割ct圖像中的肝臟及骨骼,組合損失函數(shù)的公式可表示為：

6.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟5)中語義分割模型采用深度學(xué)習(xí)技術(shù)，其激活函數(shù)為使用leakyrelu作為激活函數(shù)，替換了常用的relu激活函數(shù)。leakyrelu的公式的組合函數(shù)用于分割ct圖像中的肝臟及骨骼,函數(shù)的公式可表示為：

7.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟5)中語義分割模型采用深度學(xué)習(xí)技術(shù)，其歸一化方法使用使用instancenormalization代替了更流行的batchnormalization，歸一化方法instancenormalization的公式為：

8.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟6)中的圖像校準(zhǔn)采用了基于特征點(diǎn)的配準(zhǔn)方法，確保各視角數(shù)據(jù)的空間對齊。同時(shí)，圖像融合過程通過加權(quán)平均的方法，將來自不同方向的圖像信息進(jìn)行綜合，權(quán)重根據(jù)實(shí)際需求動(dòng)態(tài)調(diào)整，確保最終生成的三維模型具有更高的精度和一致性。

9.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟7)中對于肝臟和骨骼模型的重建，采用使用插片和等值面提取的方式來處理各相鄰ct影像圖片之間的過渡，以實(shí)現(xiàn)模型的平滑連接。依據(jù)三維數(shù)據(jù)的每一個(gè)頂點(diǎn)，判斷其值是否大于等于給定的等值，如果是，則標(biāo)記為1；否則標(biāo)記為0；即：

10.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟7)中對于三維重建器官的展示，使用cmap顏色映射的方式。生成的三維模型通過映射和渲染模塊進(jìn)行可視化展示。系統(tǒng)使用以下方法來確定每個(gè)模型的顏色(color)和透明度(opacity)：

11.根據(jù)權(quán)利要求1所述的一種基于平掃ct圖像的肝臟及骨骼的三維重建方法，其特征在于：步驟7)中對于三維重建器官的加載，使用多線程調(diào)度的方式。在三維重建過程中，系統(tǒng)會(huì)顯示當(dāng)前的進(jìn)度，確保用戶能夠?qū)崟r(shí)了解處理進(jìn)展。進(jìn)度更新的方法如下：

技術(shù)總結(jié)
本發(fā)明涉及醫(yī)學(xué)影像處理和計(jì)算機(jī)輔助診斷的技術(shù)領(lǐng)域，具體涉及一種基于語義分割模型下平掃CT圖像的肝臟及骨骼三維重建方法。該方法包括以下步驟：1)建立平掃CT數(shù)據(jù)庫；2)采集人體的平掃CT影像數(shù)據(jù)；3)將CT影像數(shù)據(jù)導(dǎo)入三維重建系統(tǒng)中；4)根據(jù)興趣區(qū)域(ROI)對CT平掃數(shù)據(jù)進(jìn)行圖像預(yù)處理5)三維重建系統(tǒng)中內(nèi)嵌的語義分割模型自動(dòng)對平掃CT影像中的骨骼及肝臟進(jìn)行標(biāo)注；6)系統(tǒng)將標(biāo)注后的CT影像校準(zhǔn)融合，并從軸狀、冠狀、矢狀三個(gè)方向進(jìn)行多視角處理；7)生成人體的仿真三維模型；本發(fā)明通過對肝臟及骨骼進(jìn)行精確的三維建模，使醫(yī)生能夠更直觀地了解人體解剖結(jié)構(gòu)的相對位置關(guān)系，有助于提高手術(shù)的安全性和治療效果，便于醫(yī)生與患者的溝通。

技術(shù)研發(fā)人員：朱聰斌,程琪,胡聰,蘇桐,黃海峰
受保護(hù)的技術(shù)使用者：珠海橫琴全星醫(yī)療科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19