本發(fā)明涉及影像融合，具體為一種基于深度學(xué)習(xí)的spect/ct影像融合方法及系統(tǒng)。

背景技術(shù)：

1、在醫(yī)學(xué)影像領(lǐng)域，單光子發(fā)射計算機(jī)斷層掃描（spect）和計算機(jī)斷層掃描（ct）是兩種重要的成像技術(shù)，各自具有獨(dú)特的優(yōu)勢。spect能夠提供體內(nèi)功能性信息，如代謝活動、血流狀態(tài)和器官功能等，通過注射放射性示蹤劑顯示特定區(qū)域的放射性分布，廣泛應(yīng)用于心臟病、腫瘤、神經(jīng)疾病等功能性檢測。然而，spect影像的空間分辨率較低，圖像邊緣模糊，不利于準(zhǔn)確的解剖定位。

2、ct作為一種高分辨率的結(jié)構(gòu)成像技術(shù)，能夠清晰顯示解剖細(xì)節(jié)，如骨骼、軟組織和血管等。ct影像因其快速掃描、細(xì)節(jié)清晰等特點(diǎn)，被廣泛用于急診、創(chuàng)傷、腫瘤檢測等領(lǐng)域。然而，ct只能提供解剖學(xué)信息，缺乏對組織功能狀態(tài)的反映，這限制了其在評估代謝和生理變化方面的應(yīng)用。

3、為了提高診斷的準(zhǔn)確性，近年來興起了spect/ct融合成像技術(shù)，通過將spect的功能性信息與ct的解剖結(jié)構(gòu)信息結(jié)合，實(shí)現(xiàn)功能與解剖的同步顯示，為臨床診斷和治療規(guī)劃提供了更全面的參考。然而，傳統(tǒng)的融合方法通常依賴簡單的圖像疊加或人工調(diào)整，不僅難以保證兩種影像的精確對齊，且融合效果容易受偽影和噪聲干擾，導(dǎo)致診斷效果不理想。

4、隨著深度學(xué)習(xí)技術(shù)的發(fā)展，研究人員開始探索利用卷積神經(jīng)網(wǎng)絡(luò)（cnn）等先進(jìn)算法對多模態(tài)影像進(jìn)行特征提取和融合，以實(shí)現(xiàn)更精確的影像配準(zhǔn)和融合。深度學(xué)習(xí)方法能夠自動學(xué)習(xí)影像的復(fù)雜特征關(guān)系，具有高度的適應(yīng)性和魯棒性，為提升spect/ct影像融合的質(zhì)量和效率提供了新途徑。然而，如何在融合過程中保留各自影像的關(guān)鍵特征，最大化提高診斷價值，仍是一個亟需解決的技術(shù)難題。

技術(shù)實(shí)現(xiàn)思路

1、鑒于上述存在的問題，提出了本發(fā)明。

2、為解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于深度學(xué)習(xí)的spect/ct影像融合方法，包括：

3、分別通過spect技術(shù)和ct技術(shù)，獲取影像；

4、構(gòu)建多模態(tài)深度學(xué)習(xí)特征提取網(wǎng)絡(luò)，分別提取spect和ct影像的特征；

5、針對提取到的特征生成融合策略；

6、根據(jù)所述融合策略，對spect和ct進(jìn)行融合。

7、作為本發(fā)明所述的基于深度學(xué)習(xí)的spect/ct影像融合方法的一種優(yōu)選方案，其中：通過所述spect技術(shù)，獲取功能性影像數(shù)據(jù)；同時通過所述ct技術(shù)，獲取高分辨率的解剖結(jié)構(gòu)影像數(shù)據(jù)。

8、作為本發(fā)明所述的基于深度學(xué)習(xí)的spect/ct影像融合方法的一種優(yōu)選方案，其中：將spect和ct的影像數(shù)據(jù)進(jìn)行歸一化處理，統(tǒng)一像素值范圍；

9、并將spect和ct影像的位置進(jìn)行匹配，建立映射關(guān)系；對于同一幀影像數(shù)據(jù)，任意兩個像素點(diǎn)的映射結(jié)果都不相同；

10、所述映射關(guān)系具體為：

11、在獲取spect影像數(shù)據(jù)時，生成每個像素點(diǎn)在三維實(shí)體的映射關(guān)系：

12、

13、sp表示spect影像數(shù)據(jù)的像素點(diǎn)集合，表示映射關(guān)系，sw表示三維實(shí)體的位置集合；其中，集合sp中的第i個像素點(diǎn)都能夠映射到sw的三維實(shí)體中的位置上；

14、在獲取ct影像數(shù)據(jù)時，生成每個像素點(diǎn)在三維實(shí)體的映射關(guān)系：

15、

16、c表示ct影像數(shù)據(jù)的像素點(diǎn)集合；其中，集合c中的第j個像素點(diǎn)都能夠映射到sw的三維實(shí)體中的位置上；

17、根據(jù)三維實(shí)體中的位置，將兩種影像的像素之間，分別建立映射關(guān)系；

18、其中，spect到ct的映射關(guān)系具體包括，首先，利用spect影像數(shù)據(jù)與三維實(shí)體的映射關(guān)系，獲取每個像素點(diǎn)對應(yīng)的位置，將獲取的位置標(biāo)簽；在ct影像數(shù)據(jù)的與三維實(shí)體的映射過程中，出現(xiàn)標(biāo)簽位置，則獲取ct影像數(shù)據(jù)的像素點(diǎn)，同時獲取產(chǎn)生標(biāo)簽時，spect影像數(shù)據(jù)的像素點(diǎn)，建立和的映射關(guān)系；依次循環(huán)完成所有像素點(diǎn)，完成spect到ct的映射；

19、映射結(jié)果表示為：；

20、其中，ct到spect的映射關(guān)系與所述spect到ct的映射關(guān)系相反；映射結(jié)果表示為：。

21、作為本發(fā)明所述的基于深度學(xué)習(xí)的spect/ct影像融合方法的一種優(yōu)選方案，其中：所述構(gòu)建多模態(tài)深度學(xué)習(xí)特征提取網(wǎng)絡(luò)包括，一個雙流卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)包含兩個獨(dú)立的輸入流，分別處理spect和ct影像數(shù)據(jù)，使用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行異常特征提取和位置檢測；

22、分別通過訓(xùn)練集和驗(yàn)證集，對兩個獨(dú)立通道的深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，使每個通道的神經(jīng)網(wǎng)絡(luò)能夠識別輸入影像的異常區(qū)域；

23、所述深度卷積神經(jīng)網(wǎng)絡(luò)的整體架構(gòu)包括：

24、輸入層：輸入尺寸?is=?128×128×1，單通道影像數(shù)據(jù)；

25、卷積層1?：卷積核大小?3×3，數(shù)量?32，步長?1，激活函數(shù)relu，輸出尺寸?128×128×32；

26、池化層1：最大池化?2×2，步長?2，輸出尺寸?64×64×32；

27、卷積層2?：卷積核大小?3×3，數(shù)量?64，步長?1，激活函數(shù)relu，輸出尺寸?64×64×64；

28、池化層2：最大池化?2×2，步長?2，輸出尺寸?32×32×64；

29、異常檢測層：使用一個3×3卷積核，輸出一個單通道的異常特征圖，尺寸為?32×32×1，用于標(biāo)記spect圖像中異常特征位置。

30、作為本發(fā)明所述的基于深度學(xué)習(xí)的spect/ct影像融合方法的一種優(yōu)選方案，其中：所述分別提取spect和ct影像的特征包括，通過所述雙流卷積神經(jīng)網(wǎng)絡(luò)的兩個獨(dú)立的通道，分別對spect和ct影像數(shù)據(jù)進(jìn)行異常特征進(jìn)行檢測，輸出兩張異常特征位置圖和，分別為spect和ct影像中檢測到的異常位置；

31、是從spect影像中提取的異常特征位置圖，是一個與原始影像相對應(yīng)的圖像，包含標(biāo)記了spect圖像中異常特征的位置；是從ct影像中提取的異常特征位置圖，是一個與原始ct影像相對應(yīng)的圖像，包含標(biāo)記了ct圖像中異常解剖特征的位置；

32、在圖像中，異常特征的位置會以不同的視覺標(biāo)記顯示。

33、作為本發(fā)明所述的基于深度學(xué)習(xí)的spect/ct影像融合方法的一種優(yōu)選方案，其中：所述融合策略包括，通過前端界面的交互選擇，用戶能夠選擇融合策略；

34、策略一：以功能性影像為主體的融合結(jié)果，利用ct影像對spect影像進(jìn)行局部輪廓清晰化；

35、策略二：以高分辨率的解剖結(jié)構(gòu)影像為主體的融合結(jié)果，利用spect影像對ct影像進(jìn)行標(biāo)記和局部增強(qiáng)。

36、作為本發(fā)明所述的基于深度學(xué)習(xí)的spect/ct影像融合方法的一種優(yōu)選方案，其中：所述策略一具體包括，使用邊緣檢測算法提取ct影像的解剖結(jié)構(gòu)?輪廓，對ct影像的結(jié)構(gòu)輪廓進(jìn)行復(fù)制，根據(jù)spect與ct的映射關(guān)系，將提取到的ct結(jié)構(gòu)輪廓映射到spect影像?中，形成相應(yīng)的輪廓標(biāo)記；

37、設(shè)輪廓邊緣的像素點(diǎn)為中心，分別向內(nèi)側(cè)和外側(cè)各擴(kuò)展寬度的區(qū)域，形成兩側(cè)的檢測區(qū)域內(nèi)側(cè)區(qū)域和；

38、計算內(nèi)側(cè)區(qū)域和外側(cè)區(qū)域的平均放射性強(qiáng)度，分別記為和；

39、計算放射性表現(xiàn)差異度d：

40、

41、設(shè)置差異度閾值，?若，則判定內(nèi)外側(cè)放射性表現(xiàn)相似，不進(jìn)行處理；若，則內(nèi)外側(cè)放射性表現(xiàn)差異較大，進(jìn)行邊緣增強(qiáng)；定義邊緣像素強(qiáng)度，根據(jù)內(nèi)外側(cè)差異調(diào)整邊緣像素值：

42、

43、其中，表示增強(qiáng)后的邊緣像素強(qiáng)度；為加重系數(shù)，根據(jù)實(shí)際應(yīng)用調(diào)整以控制增強(qiáng)力度；

44、所述策略二具體包括，獲取從spect影像中提取的異常特征位置圖，根據(jù)中標(biāo)記異常特征的位置以及spect與ct的映射關(guān)系，在ct影像中定位異常位置wz1；

45、獲取從ct影像中提取的異常特征位置圖中標(biāo)記異常特征的位置wz2；

46、將wz1和wz2在ct影像中標(biāo)記，并通過spect與ct的映射關(guān)系，在spect影像中對ct影像中的所有標(biāo)記位置進(jìn)行提取，將提取到標(biāo)記位置的功能性影像復(fù)制到ct影像中的標(biāo)記位置上，得到融合策略二的融合結(jié)果。

47、一種采用如權(quán)利要求1-7任一所述方法的基于深度學(xué)習(xí)的spect/ct影像融合系統(tǒng)，其中：

48、采集單元，分別通過spect技術(shù)和ct技術(shù)，獲取影像；

49、提取單元，構(gòu)建多模態(tài)深度學(xué)習(xí)特征提取網(wǎng)絡(luò)，分別提取spect和ct影像的特征；

50、融合單元，針對提取到的特征生成融合策略；

51、執(zhí)行單元，根據(jù)所述融合策略，對spect和ct進(jìn)行融合。

52、一種計算機(jī)設(shè)備，包括：存儲器和處理器；所述存儲器存儲有計算機(jī)程序，其中：所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)本發(fā)明中任一項所述的方法的步驟。

53、一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其中：所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)本發(fā)明中任一項所述的方法的步驟。

54、本發(fā)明的有益效果：本發(fā)明提供的基于深度學(xué)習(xí)的spect/ct影像融合方法，通過深度學(xué)習(xí)構(gòu)建多模態(tài)特征提取網(wǎng)絡(luò)，實(shí)現(xiàn)spect與ct影像的精準(zhǔn)融合，充分保留spect的功能信息和ct的解剖細(xì)節(jié)，提高影像的清晰度與對比度，增強(qiáng)對異常區(qū)域的檢測能力，顯著提升診斷準(zhǔn)確性，為臨床決策提供更全面的支持。