本發(fā)明涉及一種基于深度學(xué)習(xí)的無需造影劑的虛擬多期相造影劑增強(qiáng)磁共振成像重建算法,無需造影劑實現(xiàn)傳統(tǒng)多期相造影劑增強(qiáng)肝臟磁共振成像重建生成。
背景技術(shù):
1、對比劑(contrast?agent,ca)增強(qiáng)磁共振成像(contrast-enhanced?magneticresonance?imaging,ce-mri)在臨床診斷中具有非常重要的作用,對于肝細(xì)胞癌(hepatocellular?carcinoma,hcc)尤為如此。首先,不同的增強(qiáng)期相(動脈期(arterialphase)、門靜脈期(portal?venous?phase)、延遲期(delayed?phase)和/或肝膽特異期(hepatobiliary?phase))反映的影像特征對于準(zhǔn)確評估診斷hcc意義重大。其次,有鑒于li-rads(liver?imaging?reporting?and?data?system)的巨大成功,越來越多的研究揭示了多期相ce-mri對肝臟的診斷。再者,近年來提出肝臟特異性對比劑,如gd-eob-dtpa等,對于乃至小于1cm的hcc都可以達(dá)到很高的診斷效能。
2、然而gd-eob-dtpa多期相ce-mri具有如下缺點(diǎn):1、患者需要接受注射造影劑,根據(jù)已有報道,肝腎功能不全及過敏患者有很大的生物安全隱患;2、肝臟的多期相ce-mri需要多次掃描,肝膽特異期掃描需要在造影劑注射20分鐘之后進(jìn)行采集,這對于很多中重癥患者來說無法忍受;3、對于醫(yī)療資源欠缺的地區(qū),單次掃描時間的延長將進(jìn)一步加劇醫(yī)療資源緊張;4、造影劑價格不菲,有研究報道指出,美國一年的造影劑注射花費(fèi)高達(dá)十億美金以上。
技術(shù)實現(xiàn)思路
1、本發(fā)明的目的是:提出一種基于深度學(xué)習(xí)的重建算法,以增強(qiáng)前肝臟mri圖像作為輸入,無需造影劑,高效快速地輸出肝臟的多期相(動脈期、門靜脈期、延遲期和肝膽特異期)增強(qiáng)圖像,供臨床診斷評估。
2、為了達(dá)到上述目的,本發(fā)明的技術(shù)方案是提供了一種無需造影劑的虛擬多期相造影劑增強(qiáng)磁共振成像重建方法,其特征在于,包括以下步驟:
3、步驟1、構(gòu)建基于生成對抗網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)模型,包括對生成器和判別器的設(shè)計,進(jìn)一步包括以下步驟:
4、步驟101、設(shè)計生成器,基于u-net的生成器由編碼器和解碼器組成,其中,編碼器包含八個編碼器塊,分別定義為ecov?block?1-8,解碼器包含八個解碼器塊,分別定義為dcov?block?1-8,其中,編碼器塊ecov?block?2-8與解碼器塊dcov?block?2-8之間對應(yīng)地跳躍連接,且在編碼器以及解碼器中,當(dāng)前編碼器塊或解碼器塊輸出的特征圖輸入下一個編碼器塊或解碼器塊;
5、對于編碼器:
6、在編碼器塊ecov?block?1中:輸入的特征圖依次經(jīng)過一個leaky?relu激活層一、一個2d卷積層一、一個leaky?relu激活層二、一個2d卷積層二、一個leaky?relu激活層三和一個2d卷積層三處理,且將輸入編碼器塊ecov?block?1的特征圖與2d卷積層三輸出的特征圖殘差連接后,再通過一個2d卷積層四進(jìn)行跨步下采樣卷積,獲得編碼器塊ecov?block?1所輸出的特征圖;
7、編碼器塊ecov?block?2-3的結(jié)構(gòu)相同:輸入的特征圖依次經(jīng)過一個leaky?relu激活層一、一個實例歸一化層一、一個2d卷積層一、一個leaky?relu激活層二、一個實例歸一化層二、一個2d卷積層二、一個leaky?relu激活層三、一個實例歸一化層三和一個2d卷積層三處理,且將輸入編碼器塊ecov?block?2或3的特征圖與2d卷積層三輸出的特征圖殘差連接后,再通過一個2d卷積層四進(jìn)行跨步下采樣卷積,獲得編碼器塊ecov?block?2或3所輸出的特征圖;
8、編碼器塊ecov?block?4-7的結(jié)構(gòu)相同:輸入的特征圖依次經(jīng)過一個leaky?relu激活層一、一個實例歸一化層一、一個2d卷積層一、一個leaky?relu激活層二、一個實例歸一化層二、一個2d卷積層二、一個leaky?relu激活層三、一個實例歸一化層三、一個2d卷積層三和一個dropout層處理,且將輸入編碼器塊ecov?block?4、5、6或7的特征圖與dropout層輸出的特征圖殘差連接后,再通過一個2d卷積層四進(jìn)行跨步下采樣卷積,獲得編碼器塊ecov?block?4、5、6或7所輸出的特征圖;
9、在編碼器塊ecov?block?8中:輸入的特征圖依次經(jīng)過一個leaky?relu激活層一、一個2d卷積層一、一個leaky?relu激活層二、一個2d卷積層二、一個leaky?relu激活層三、一個2d卷積層三和一個dropout層處理,且將輸入編碼器塊ecov?block?8的特征圖與dropout層輸出的特征圖殘差連接后,再通過一個2d卷積層四進(jìn)行跨步下采樣卷積,獲得編碼器塊ecov?block?8所輸出的特征圖;
10、對于解碼器:
11、在解碼器塊dcov?block?1中:輸入的特征圖依次經(jīng)過一個leaky?relu激活層一、一個2d卷積層一、一個leaky?relu激活層二、一個2d卷積層二、一個leaky?relu激活層三、一個2d卷積層三和一個dropout層處理,且將輸入編碼器塊ecov?block?8的特征圖與dropout層輸出的特征圖殘差連接后,再通過一個卷積層五進(jìn)行轉(zhuǎn)置上采樣卷積,獲得解碼器塊dcov?block?1所輸出的特征圖;
12、解碼器塊dcov?block?2-4的結(jié)構(gòu)相同:輸入的特征圖依次經(jīng)過一個leaky?relu激活層一、一個實例歸一化層一、一個2d卷積層一、一個leaky?relu激活層二、一個實例歸一化層二、一個2d卷積層二、一個leaky?relu激活層三、一個實例歸一化層三、一個2d卷積層三和一個dropout層處理,且將輸入解碼器塊dcov?block?2、3或4的特征圖與dropout層輸出的特征圖殘差連接后,再通過一個2d卷積層五進(jìn)行轉(zhuǎn)置上采樣卷積,獲得解碼器塊dcovblock?2、3或4所輸出的特征圖;
13、解碼器塊dcov?block?5-7的結(jié)構(gòu)相同:輸入的特征圖依次經(jīng)過一個leaky?relu激活層一、一個實例歸一化層一、一個2d卷積層一、一個leaky?relu激活層二、一個實例歸一化層二、一個2d卷積層二、一個leaky?relu激活層三、一個實例歸一化層三和一個2d卷積層三處理,且將輸入解碼器塊dcov?block?5、6或7的特征圖與2d卷積層三輸出的特征圖殘差連接后,再通過一個2d卷積層五進(jìn)行轉(zhuǎn)置上采樣卷積,獲得解碼器塊dcov?block?5、6或7所輸出的特征圖;
14、在解碼器塊dcov?block?8中:所輸入的特征圖依次經(jīng)過一個上采樣層、一個零填充層、一個2d卷積層六以及一個tanh激活層的處理,獲得最終的輸出;
15、步驟102、設(shè)計判別器
16、判別器包括六個判別器塊,分別定義為判別器塊block?1-6,當(dāng)前判別器塊的輸出輸入下一個判別器塊,其中:
17、在判別器塊block?1中:所輸入的特征圖分別經(jīng)過一個2d卷積層和一個leakyrelu層的處理;
18、判別器塊block?2-5的結(jié)構(gòu)相同:所輸入的特征圖分別經(jīng)過一個2d卷積層、一個實例歸一化層和一個leaky?relu層的處理;
19、在判別器塊block?6中:所輸入的特征圖分別經(jīng)過一個2d卷積層和一個tanh激活層的處理;
20、步驟2、部署步驟1所構(gòu)建的神經(jīng)網(wǎng)絡(luò)模型,并對該神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練,訓(xùn)練時,分別訓(xùn)練四個神經(jīng)網(wǎng)絡(luò)模型,這四個神經(jīng)網(wǎng)絡(luò)模型分別從平掃期mri合成動脈期、門靜脈期、過渡期和肝膽特異期圖像;
21、步驟3、將實時獲得的平掃期mri輸入訓(xùn)練后的四個神經(jīng)網(wǎng)絡(luò)模型,獲得四個神經(jīng)網(wǎng)絡(luò)模型的生成器所推理得到的成動脈期、門靜脈期、過渡期和肝膽特異期圖像。
22、優(yōu)選地,步驟2中,對所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時,判別器的優(yōu)化目標(biāo)是最小化基于二進(jìn)制交叉熵的損失,生成器的優(yōu)化目標(biāo)是最小化基于bce和均方誤差的損失組合。
23、優(yōu)選地,步驟2中,對所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時,四個所述神經(jīng)網(wǎng)絡(luò)模型獨(dú)立訓(xùn)練,使用相同的超參數(shù)架構(gòu)。
24、本發(fā)明通過建立基于對抗生成網(wǎng)絡(luò)(generative?adversarial?networks)的深度學(xué)習(xí)模型,以增強(qiáng)前mri圖像為輸入,以各期相增強(qiáng)圖像為金標(biāo)準(zhǔn)訓(xùn)練模型,在模型訓(xùn)練完成后,即可通過輸入任意增強(qiáng)前圖像,從而由模型輸出四期相肝臟增強(qiáng)圖像。
25、與現(xiàn)有技術(shù)方案相比,本發(fā)明具有如下有益效果:
26、1)無需造影劑注射;2)時間效率高:在1秒內(nèi)可完成常規(guī)方法半小時實現(xiàn)的多期增強(qiáng)mri采集;3)對呼吸運(yùn)動偽影不敏感,魯棒性強(qiáng);4)生成的多期圖像比起之間為相互配準(zhǔn)的,有利于疾病診斷和評估。最終為患者和臨床醫(yī)療機(jī)構(gòu)帶來臨床獲益,減輕醫(yī)療成本。