本法名涉及醫(yī)學(xué)影像和深度學(xué)習(xí)領(lǐng)域，具體涉及一種用于肺部及肺部腫瘤數(shù)據(jù)集格式轉(zhuǎn)換以及肺部腫瘤數(shù)據(jù)集格式轉(zhuǎn)換以及基于提示學(xué)習(xí)編碼器網(wǎng)絡(luò)的分割方法。

背景技術(shù)：

1、肺癌是一種發(fā)病率高且死亡率高的惡性疾病，肺癌的發(fā)病率和死亡率在世界各國都在迅速增加，肺結(jié)節(jié)是肺癌早期的主要癥狀，如果我們能夠及時診斷早期的肺結(jié)節(jié)，并跟蹤和治療可疑的患者，就可以有效降低肺癌的發(fā)病率，目前的肺部影像技術(shù)主要有x光成像檢查、ct(計算機體層掃描)和mri(磁共振技術(shù))，由于其高分辨率，和能夠檢查到x光檢查不到的位置，ct已經(jīng)被應(yīng)用于許多疾病的篩查，而磁共振技術(shù)雖然比ct圖更能很好的區(qū)分肺部的每個區(qū)域，但是當肺中有大量氣體，磁共振的觀察效果就遠不如ct，并且磁共振技術(shù)，高昂的設(shè)備費用，并沒能得到推廣，因此ct才是主流的肺部影像技術(shù)。

2、ct掃描是肺癌檢測的最可靠、穩(wěn)定和準確的醫(yī)學(xué)檢測方法之一，肺癌的發(fā)病率和死亡率在世界各國都在迅速上升，世界衛(wèi)生組織國際癌癥研究署(iarc)在2021年發(fā)布的全球癌癥數(shù)據(jù)顯示，全球新增肺癌病例有220萬例，僅次于226萬例的乳腺癌，2021年全球癌癥死亡人數(shù)996萬，其中肺癌死亡180萬居首位，肺結(jié)節(jié)是肺癌早期的主要表現(xiàn)，ct影像上呈半透明或不透明類球體狀組織，如果肺部出現(xiàn)的結(jié)節(jié)可以在早期及時診斷，對疑似患者進行隨訪和治療，肺癌的發(fā)病率可以有效降低，ct設(shè)備的普及導(dǎo)致醫(yī)生每天需要觀察大量圖像，由于長時間查看ct掃描結(jié)果，醫(yī)生可能會誤判和漏診病變，使用計算機輔助檢測(cad)系統(tǒng)幫助醫(yī)生診斷檢測結(jié)果具有重要意義。

3、據(jù)統(tǒng)計，醫(yī)學(xué)影像的疾病誤診率可達到10％～30％，由此產(chǎn)生的假陰性結(jié)果會使病人錯過最佳的治療時機，而假陽性病例一般要依靠活檢等臨床手段排除，這不但增加了病人的費用，也給他們增添了痛苦和病情惡化風(fēng)險。在此形勢下，計算機輔助檢測(computer?aided?detection，簡稱cade)與計算機輔助診斷(computer?aided?diagnosis，簡稱cadx)的成為時代的需求。

技術(shù)實現(xiàn)思路

1、針對目前肺結(jié)節(jié)分割的精確度問題，許多模型對小目標特征的魯棒性不夠強，使得肺結(jié)節(jié)分割結(jié)果經(jīng)常容易受到醫(yī)學(xué)圖像當中的噪聲因素干擾，分割出的肺結(jié)節(jié)容易出現(xiàn)過分割，欠分割的問題，本次發(fā)明設(shè)計了針對上述問題的策略和解決方案，提出了對于三維醫(yī)學(xué)影像快速的轉(zhuǎn)換方法以及基于錨點卷積神經(jīng)網(wǎng)絡(luò)的yolov5模型：yosam用于肺結(jié)節(jié)分割，改進head模塊用于特征分割，為了提高模型的精確性，在head部分產(chǎn)生3種特征圖之后，添加了sam模塊，sam模塊如圖3所示，并重新設(shè)計sam模塊的prompt?encoder，將anchors替換為原有的boxes、classification替換為原有的text，減少point輸入，使用半自動監(jiān)督的方法，經(jīng)驗證該模塊可以有效提高分割精度和分割速度，對于經(jīng)典yolo系列模型對小目標特征不敏感導(dǎo)致漏檢、誤檢等問題做出改進方案，通過設(shè)計圖片編碼器，引入提示學(xué)習(xí)以及蒙版編碼器。加快了網(wǎng)絡(luò)的分割速度，提升網(wǎng)絡(luò)對于肺結(jié)節(jié)的檢測與分割能力，提升了分割與檢測時的速度。

2、本發(fā)明的技術(shù)方案：基于錨點的提示學(xué)習(xí)編碼器與檢測分割可視化方法，流程圖如圖1所示包括如下步驟：

3、s1、對公開的胸部醫(yī)學(xué)影像進行數(shù)據(jù)處理制作含有肺部結(jié)節(jié)的二維醫(yī)學(xué)圖像；

4、s2、對制作好的二維肺部醫(yī)學(xué)影像進行預(yù)處理；

5、s3、對預(yù)處理之后的醫(yī)學(xué)影像進行數(shù)據(jù)增強；

6、s4、將數(shù)據(jù)增強后的數(shù)據(jù)集按照7：3的比例分配為訓(xùn)練集與測試集兩部分；

7、s5、搭建yosam網(wǎng)絡(luò)型，并將處理好的二維醫(yī)學(xué)影像訓(xùn)練集傳入搭建的網(wǎng)絡(luò)進行訓(xùn)練，得到最優(yōu)的訓(xùn)練權(quán)重，保存最優(yōu)模型；

8、s6、對劃分好的測試集數(shù)據(jù)集，載入到最優(yōu)模型當中，進行測試，獲得分割結(jié)果并和公開數(shù)據(jù)集當中標注的肺結(jié)節(jié)部位與肺結(jié)節(jié)金標準進行對比。

9、進一步概括s1包括以下1個步驟：

10、第一步：依據(jù)肺結(jié)節(jié)的金標準數(shù)據(jù)進行處理，將現(xiàn)有的公開的最大的三維肺部醫(yī)學(xué)影像數(shù)據(jù)集，luna16，通過肺結(jié)節(jié)的在圖像中的占比大小，剔除無肺部無肺結(jié)節(jié)的切片，同時為了避免因二維轉(zhuǎn)換后金標準切片的標簽產(chǎn)生格式混亂，首先將肺結(jié)節(jié)部分掃描像素值歸一化處理肺結(jié)節(jié)部分為像素1，其余部分為像素0，對標簽中的肺的像素值統(tǒng)一設(shè)定為(127，127，127)。

11、進一步概括s2包括以下1個步驟：

12、第一步：對原始圖像進行處理，首先，使用k-means聚類算法和圖像二值化根據(jù)肺組織內(nèi)像素的平均值將肺組織與外來組織分開，其次，采用形態(tài)學(xué)侵蝕和擴張操作保留血管等組織的細節(jié)信息，通過侵蝕和肺整體特征信息的擴張，最后，計算圖像連通域，以最大連通域作為肺掩模，繼續(xù)進行擴張操作填充肺掩模并優(yōu)化肺實質(zhì)邊緣與侵蝕操作，創(chuàng)建新的肺部圖像，并根據(jù)二維標簽剔除無價值切片，使新肺部圖像名稱與新二維標簽一致。

13、進一步概括s3包括以下1個步驟：

14、第一步：對原始圖像進行數(shù)據(jù)增強，包括：鏡像反轉(zhuǎn)，中心旋轉(zhuǎn)，水平翻轉(zhuǎn)，隨即調(diào)整飽和度、對比度、亮度。為了擴充樣本數(shù)量，減小過擬合的影響，提高局部邊緣區(qū)域的像素分割的準確性，本發(fā)明對產(chǎn)生的數(shù)據(jù)集進行了隨機裁剪工作，統(tǒng)一設(shè)定裁剪大小是640×640dpi。

15、進一步概括s4包括以下1個步驟：

16、設(shè)計python程序，將每個圖像的絕對地址，標簽的絕對地址，并按照順序從1到10循環(huán)標號，存放到.xlsx文件中，再將標號為1-7的圖像與標簽存放到測試集的.xlsx文件中，8-10存放到訓(xùn)練集的.xlsx文件中，這樣能夠保證訓(xùn)練和測試的平衡以及防止過擬合的現(xiàn)象發(fā)生，提高網(wǎng)絡(luò)泛化能力。

17、進一步概括s5包括以下1個步驟：

18、第一步：在所提出的yosam模型的訓(xùn)練階段，首先對肺部醫(yī)學(xué)影響數(shù)據(jù)集當中的測試集進行預(yù)處理和數(shù)據(jù)增強、將圖像裁剪成相同的640×640×3的大小，然后將處理好的肺部醫(yī)學(xué)映像輸入yosam模型進行訓(xùn)練，訓(xùn)練后將生成肺結(jié)節(jié)割的最優(yōu)權(quán)重。

19、進一步概括s6包括以下1個步驟：

20、第一步：將步驟4分好的訓(xùn)練集導(dǎo)入模型當中進行測試驗證，最終得到最優(yōu)的肺結(jié)節(jié)分割結(jié)果。

21、實驗參數(shù)：

22、在肺部肺結(jié)節(jié)分割實驗中，硬件環(huán)境為：nvidia?geforce?rtx2080ti

23、顯卡，顯存11g；操作系統(tǒng)：windows11；pytorch深度學(xué)習(xí)框架。采用adam優(yōu)化器用于更新參數(shù)。其中，初始化學(xué)習(xí)率(learning?rate，lr)設(shè)置為(1e-4)*3，betas參數(shù)設(shè)置為(0.9，0.999)，批處理大小(batch?size)設(shè)置為14，總共訓(xùn)練輪數(shù)(epoch)設(shè)置為500。在訓(xùn)練過程中，采用學(xué)習(xí)率余弦退火衰減策略，在第t個epoch時的學(xué)習(xí)率可表示為：

24、