本發(fā)明屬于信息技術(shù)應(yīng)用，具體涉及一種ai賦能的肝腫瘤三維圖像重建平臺(tái)搭建方法。

背景技術(shù)：

1、ai賦能的肝腫瘤三維圖像重建平臺(tái)，采用人工智能方法重建組織器官與腫瘤，將重建后的模型部署到服務(wù)器端，可通過(guò)web應(yīng)用交互式查看，虛擬模型通過(guò)軟件與真實(shí)影像數(shù)據(jù)疊加，增強(qiáng)現(xiàn)實(shí)輔助醫(yī)生切除腫瘤。對(duì)應(yīng)上述流程，肝腫瘤三維圖像重建平臺(tái)涉及的技術(shù)包括：醫(yī)學(xué)圖像分割技術(shù)、交互平臺(tái)部署和增強(qiáng)現(xiàn)實(shí)技術(shù)。

2、醫(yī)學(xué)圖像分割是一種計(jì)算機(jī)視覺(jué)技術(shù)，旨在從醫(yī)學(xué)成像數(shù)據(jù)中自動(dòng)或半自動(dòng)地識(shí)別并分隔出感興趣的區(qū)域(roi)，如器官、組織、病灶等，以便更容易、更準(zhǔn)確地進(jìn)行分析、解釋和進(jìn)一步處理。本發(fā)明擬通過(guò)圖像分割，幫助醫(yī)生精確地定位腫瘤區(qū)域從而提供更準(zhǔn)確的診斷信息。在術(shù)中，精確的圖像分割可以幫助引導(dǎo)醫(yī)生完成肝腫瘤切除。醫(yī)學(xué)圖像分割技術(shù)仍面臨一些挑戰(zhàn)如，標(biāo)記樣本數(shù)量少，圖像質(zhì)量低，算法的泛化能力差等。本發(fā)明擬設(shè)計(jì)一種有效的肝腫瘤自動(dòng)分割方法，用于三維模型重建。

3、實(shí)現(xiàn)重建模型的服務(wù)器部署，從而支持交互式查看，包括模型的部署、前后端的開(kāi)發(fā)以及部署環(huán)境的配置等內(nèi)容。選擇一個(gè)適合的服務(wù)器(如阿里云，華為云等)進(jìn)行部署。服務(wù)器端需要設(shè)置服務(wù)器環(huán)境，包括安裝必要的軟件(如python、相關(guān)庫(kù))、配置網(wǎng)絡(luò)(如設(shè)置防火墻規(guī)則，確保api端口可訪問(wèn))。開(kāi)發(fā)一個(gè)簡(jiǎn)單的前端應(yīng)用，可以使用html/css/javascript，或者框架如react、vue.js來(lái)創(chuàng)建交互式用戶界面。前端應(yīng)包括文件上傳(或其他數(shù)據(jù)輸入方式)、發(fā)送請(qǐng)求到服務(wù)器的功能，并能展示服務(wù)器返回的重建模型或結(jié)果。如果模型輸出是三維模型或需要復(fù)雜交互，可以考慮使用three.js、babylon.js等javascript庫(kù)在前端進(jìn)行三維模型的渲染和交互。一個(gè)可交互的三維模型查詢平臺(tái)，大大降低了醫(yī)生和患者的模型查詢成本，有利于醫(yī)患之間的溝通。

4、增強(qiáng)現(xiàn)實(shí)(augmented?reality，ar)是一種通過(guò)在現(xiàn)實(shí)世界中疊加計(jì)算機(jī)生成的信息(如視覺(jué)圖像、聲音、文本、視頻等)來(lái)增強(qiáng)我們對(duì)現(xiàn)實(shí)世界的感知的技術(shù)。將ar技術(shù)用于術(shù)中引導(dǎo)系統(tǒng)，正在開(kāi)創(chuàng)醫(yī)療診斷和手術(shù)治療的新紀(jì)元。該技術(shù)的提高了手術(shù)準(zhǔn)確性，增強(qiáng)了醫(yī)生的空間感知能力，并且在很大程度上改善了患者的治療效果。在醫(yī)生的視野中疊加虛擬三維重建模型(關(guān)鍵標(biāo)記)，以增強(qiáng)對(duì)現(xiàn)實(shí)世界的感知。使用特殊的ar眼鏡、頭盔或通過(guò)手術(shù)室內(nèi)的屏幕實(shí)現(xiàn)，將虛擬圖像與真實(shí)世界準(zhǔn)確對(duì)齊。實(shí)時(shí)指導(dǎo)醫(yī)生在手術(shù)過(guò)程中準(zhǔn)確地定位、切割和操作，尤其是在視線受限的情況下。該技術(shù)將提高手術(shù)的成功率，特別是能幫助年輕醫(yī)生迅速成長(zhǎng)。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述存在的問(wèn)題，本發(fā)明提出：一種ai賦能的肝腫瘤三維圖像重建平臺(tái)搭建方法，包括如下步驟：

2、s1、分別使用人工和ai方法，對(duì)ct數(shù)據(jù)集中的器官與腫瘤部分進(jìn)行分割；

3、s2、將分割后的圖片重建成三維的模型，使用next.js和three.js將模型部署到服務(wù)器后端，使得用戶可通過(guò)前端的web應(yīng)用交互式查看；

4、s3、使用arkit軟件開(kāi)發(fā)包進(jìn)行增強(qiáng)現(xiàn)實(shí)模型部署，之后通過(guò)增強(qiáng)現(xiàn)實(shí)眼鏡，將重建模型投影到真實(shí)場(chǎng)景中，協(xié)助醫(yī)生完成腫瘤切割手術(shù)。

5、進(jìn)一步地，所述步驟s1中，進(jìn)行醫(yī)學(xué)圖像分割使用的人工方法具體為：

6、使用3dslicer，在每個(gè)切面上手動(dòng)繪制感興趣區(qū)域的輪廓，然后使用自動(dòng)填充算法將繪制的輪廓擴(kuò)展到整個(gè)3d數(shù)據(jù)集，從而得到完整的分割結(jié)果；

7、將人工分割的三維模型導(dǎo)出為stl格式，隨后使用blender進(jìn)行模型的渲染，通過(guò)調(diào)整光照、材質(zhì)、紋理屬性獲得所需的渲染效果，為之后的可視化與交互做準(zhǔn)備。

8、進(jìn)一步地，所述步驟s1中，進(jìn)行醫(yī)學(xué)圖像分割使用的ai方法具體為：

9、使用在腹部基準(zhǔn)數(shù)據(jù)集abdomenct-1k上預(yù)訓(xùn)練的擴(kuò)散模型對(duì)現(xiàn)有數(shù)據(jù)進(jìn)行擴(kuò)充，將原始數(shù)據(jù)集和生成數(shù)據(jù)集合并成一個(gè)新的擴(kuò)充數(shù)據(jù)集；

10、在擴(kuò)充后的數(shù)據(jù)集上訓(xùn)練nnu-net模型進(jìn)行圖像分割。

11、進(jìn)一步地，進(jìn)行醫(yī)學(xué)圖像分割使用的ai方法中，將nnu-net用于圖像分割的方式為：

12、對(duì)ct數(shù)據(jù)集進(jìn)行預(yù)處理，包括裁剪、重采樣、歸一化的處理步驟；

13、利用基本的u-net架構(gòu)池，使用五倍交叉驗(yàn)證方法自動(dòng)配置和訓(xùn)練；

14、結(jié)合骰子和交叉熵?fù)p失來(lái)訓(xùn)練nnu-net網(wǎng)絡(luò)：

15、ltotal＝ldice+lce

16、基于網(wǎng)絡(luò)u的softmax輸出和真實(shí)分割圖v來(lái)計(jì)算骰子損失：

17、

18、其中，u是網(wǎng)絡(luò)的softmax輸出，v是地面實(shí)況分割圖的單熱編碼，u和v都具有形狀i×k，其中i∈i是訓(xùn)練塊或批次中的像素?cái)?shù)，k∈k是類(lèi)別；

19、使用基于補(bǔ)丁的推理策略，網(wǎng)絡(luò)精度在補(bǔ)丁邊界處降低，在跨補(bǔ)丁的預(yù)測(cè)聚合過(guò)程中，使靠近中心的體素權(quán)重更高；

20、通過(guò)組合不同的模型來(lái)執(zhí)行集成，自動(dòng)選擇在訓(xùn)練集交叉驗(yàn)證中獲得最高平均前景骰子分?jǐn)?shù)的模型，選擇表現(xiàn)最好的模型進(jìn)行最終提交；

21、使用訓(xùn)練好的模型以全分辨率生成分割，對(duì)分割結(jié)果進(jìn)行后處理操作，運(yùn)用連接組件分析，確保分割標(biāo)簽連貫，并刪除較小的組件以提高準(zhǔn)確性。

22、進(jìn)一步地，所述步驟s2中，使用three.js渲染3d模型，并使用next.js實(shí)現(xiàn)交互式查詢，具體為：

23、將三維重建后的模型文件上傳到服務(wù)器端，服務(wù)端配置了交互式查詢必要的next.js和three.js環(huán)境，用戶通過(guò)ip地址訪問(wèn)到服務(wù)器端的模型，并使用交互式的方式查詢模型；

24、用戶使用手機(jī)小程序，通過(guò)掃描二維碼的方式訪問(wèn)模型，或通過(guò)電腦web應(yīng)用交互查詢。

25、進(jìn)一步地，所述步驟s3中，開(kāi)發(fā)和部署三維重建模型在真實(shí)世界環(huán)境中使用，將重建圖像投影到真實(shí)場(chǎng)景中的方式為：

26、使用集成了arkit增強(qiáng)現(xiàn)實(shí)框架xcode開(kāi)發(fā)應(yīng)用，確保模型的渲染和交互符合真實(shí)場(chǎng)景需要的精度；

27、擬將術(shù)中的影像與三維圖像擬合疊加，使醫(yī)生在進(jìn)行微創(chuàng)手術(shù)操作過(guò)程中，獲得更好的視野，明晰腫瘤與器官的分割區(qū)域，提高手術(shù)的成功率。

28、本發(fā)明采用的以上技術(shù)方案，與現(xiàn)有技術(shù)相比，具有的優(yōu)點(diǎn)是：將ai算法應(yīng)用到肝腫瘤術(shù)前診斷，術(shù)中引導(dǎo)，術(shù)后分析整個(gè)治療過(guò)程中，搭建肝腫瘤三維圖像重建平臺(tái)，該平臺(tái)主要體現(xiàn)了以下優(yōu)點(diǎn)：

29、(1)使用改進(jìn)的nnu-net，根據(jù)具體的醫(yī)學(xué)圖像分割任務(wù)自動(dòng)選擇最優(yōu)的網(wǎng)絡(luò)架構(gòu)，減輕手動(dòng)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)的負(fù)擔(dān)，并且更容易實(shí)現(xiàn)模型的自適應(yīng)和優(yōu)化；

30、(2)使用生成式模型擴(kuò)充數(shù)據(jù)集，解決了醫(yī)療數(shù)據(jù)資源有限的問(wèn)題；

31、(3)采用服務(wù)器-客戶端模式，設(shè)計(jì)用戶友好的界面，降低操作門(mén)檻，使用方便快捷。

技術(shù)特征：

1.一種ai賦能的肝腫瘤三維圖像重建平臺(tái)搭建方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述ai賦能的肝腫瘤三維圖像重建平臺(tái)搭建方法，其特征在于，所述步驟s1中，進(jìn)行醫(yī)學(xué)圖像分割使用的人工方法具體為：

3.根據(jù)權(quán)利要求1所述ai賦能的肝腫瘤三維圖像重建平臺(tái)搭建方法，其特征在于，所述步驟s1中，進(jìn)行醫(yī)學(xué)圖像分割使用的ai方法具體為：

4.根據(jù)權(quán)利要求3所述ai賦能的肝腫瘤三維圖像重建平臺(tái)搭建方法，其特征在于，進(jìn)行醫(yī)學(xué)圖像分割使用的ai方法中，將nnu-net用于圖像分割的方式為：

5.根據(jù)權(quán)利要求1所述ai賦能的肝腫瘤三維圖像重建平臺(tái)搭建方法，其特征在于，所述步驟s2中，使用three.js渲染3d模型，并使用next.js實(shí)現(xiàn)交互式查詢，具體為：

6.根據(jù)權(quán)利要求1所述ai賦能的肝腫瘤三維圖像重建平臺(tái)搭建方法，其特征在于，所述步驟s3中，開(kāi)發(fā)和部署三維重建模型在真實(shí)世界環(huán)境中使用，將重建圖像投影到真實(shí)場(chǎng)景中的方式為：

技術(shù)總結(jié)
一種AI賦能的肝腫瘤三維圖像重建平臺(tái)搭建方法，包括：分別使用人工和AI方法，對(duì)CT數(shù)據(jù)集中的器官與腫瘤部分進(jìn)行分割；將分割后的圖片重建成三維的模型，使用Next.js和three.js將模型部署到服務(wù)器后端，使得用戶可通過(guò)前端的Web應(yīng)用交互式查看；使用ARKit軟件開(kāi)發(fā)包進(jìn)行增強(qiáng)現(xiàn)實(shí)模型部署，之后通過(guò)增強(qiáng)現(xiàn)實(shí)眼鏡，將重建模型投影到真實(shí)場(chǎng)景中。該方法可以幫助醫(yī)生評(píng)估復(fù)雜且多樣的醫(yī)學(xué)圖像資料，實(shí)現(xiàn)了對(duì)肝臟及腫瘤的自動(dòng)定位與劃分，最終為醫(yī)生提供增強(qiáng)現(xiàn)實(shí)的三維模型進(jìn)行高質(zhì)量診斷。

技術(shù)研發(fā)人員：劉延?xùn)|,國(guó)思捷,林曦陽(yáng),張士龍,車(chē)超
受保護(hù)的技術(shù)使用者：大連大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/19