本發(fā)明屬于智慧醫(yī)療領(lǐng)域,尤其涉及一種基于多尺度特征融合的主動(dòng)脈病變?cè)u(píng)估方法和評(píng)估裝置。
背景技術(shù):
1、主動(dòng)脈病變分為急性病變與慢性病變,急性主動(dòng)脈病變通常包括主動(dòng)脈夾層、壁內(nèi)血腫、急性穿透性潰瘍等,會(huì)引起胸背痛等癥狀,慢性主動(dòng)脈病變通常包括動(dòng)脈瘤、慢性穿透性潰瘍等,慢性主動(dòng)脈病變可能有輕微的胸背不適癥狀或無(wú)癥狀,但是大多數(shù)主動(dòng)脈病變的病人癥狀不典型,癥狀和其他病變有重疊,因此醫(yī)生往往先給患者安排胸腹部平掃ct檢查,確認(rèn)是否有氣胸、骨折、頸椎病、椎間盤(pán)突出、闌尾炎、膽囊炎、尿路結(jié)石等常見(jiàn)病變,大多數(shù)情況下,主動(dòng)脈病變?cè)谛馗共科綊遚t上的征象不明顯,容易被忽視,導(dǎo)致漏診或延誤治療,需要經(jīng)驗(yàn)十分豐富的醫(yī)生才能在胸腹部平掃ct中識(shí)別出主動(dòng)脈病變對(duì)應(yīng)的圖像特征。
2、現(xiàn)有技術(shù)中,主動(dòng)脈的病變主要通過(guò)主動(dòng)脈血管造影檢查cta診斷的,其通過(guò)注射碘對(duì)比劑,使主動(dòng)脈內(nèi)流動(dòng)血液的密度增高,從而凸顯主動(dòng)脈壁的病變,該檢查技術(shù)難度較高,費(fèi)用較高,不適用于對(duì)碘過(guò)敏和腎功能不全的患者,通常不作為臨床一線的常規(guī)檢查。
3、近年來(lái),深度學(xué)習(xí)技術(shù)廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域,其中醫(yī)學(xué)影像人工智能也已廣泛應(yīng)用于臨床篩查中,比如肺結(jié)節(jié)篩查,肋骨骨折篩查,冠狀動(dòng)脈、腦動(dòng)脈血管造影術(shù)的處理和病灶識(shí)別等。為了提高效率、減少漏診,幾乎所有的胸腹部平掃ct都會(huì)使用人工智能模型進(jìn)行肺結(jié)節(jié)、肺炎、胸部骨病等常見(jiàn)病變的篩查。然而,作為全身最重要的主干血管,現(xiàn)有技術(shù)中還未有能夠基于胸腹部平掃ct智能識(shí)別多種主動(dòng)脈病變類(lèi)型的人工智能模型,例如中國(guó)專(zhuān)利cn113947609b公開(kāi)了一種深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)及多標(biāo)簽主動(dòng)脈夾層ct圖像分割方法,該專(zhuān)利采用分組多標(biāo)簽分割方法,通過(guò)序列特征金字塔注意力sfpa模塊,挖掘ct圖像切片之間的序列相關(guān)性,同時(shí)利用聯(lián)合注意力模塊,關(guān)聯(lián)類(lèi)間關(guān)系同時(shí)提高分類(lèi)器性能,然而該專(zhuān)利計(jì)算復(fù)雜度高,還僅能用于處理主動(dòng)脈夾層類(lèi)急性病病種,限于急診和胸痛中心場(chǎng)景,而主動(dòng)脈病變類(lèi)型包括多種慢性病及多種急性病,且主動(dòng)脈病變常常是多種疾病同時(shí)存在,導(dǎo)致該專(zhuān)利的應(yīng)用范圍狹窄。
4、基于以上,本技術(shù)提供了解決以上技術(shù)問(wèn)題的技術(shù)方案。
5、參考文獻(xiàn):
6、[1]lowe?d?g.distinctive?image?features?from?scale-invariant?keypoints[j].internationaljournal?ofcomputervision,2004,60:91-110.
7、[2]zhao?h,jiang?l,jia?j,et?al.point?transformer[c]//proceedings?ofthe?ieee/cvf?international?conference?on?computervision.2021:16259-16268.
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)現(xiàn)有技術(shù)中根據(jù)圖像智能識(shí)別主動(dòng)脈病變類(lèi)型領(lǐng)域還存在技術(shù)空白的缺陷,本發(fā)明提供了一種基于多尺度特征融合的主動(dòng)脈病變?cè)u(píng)估方法,所述主動(dòng)脈病變?cè)u(píng)估方法基于深度學(xué)習(xí)網(wǎng)絡(luò)實(shí)現(xiàn),包括以下步驟:
2、步驟s1、獲取待評(píng)估胸腹部平掃ct圖像,所述待評(píng)估胸腹部平掃ct圖像包括主動(dòng)脈部分,從所述待評(píng)估胸腹部平掃ct圖像中提取并重建主動(dòng)脈三維結(jié)構(gòu),得到主動(dòng)脈三維結(jié)構(gòu)圖像;
3、步驟s2、基于所述主動(dòng)脈三維結(jié)構(gòu)圖像獲得多尺度圖像特征,所述多尺度圖像特征包括多尺度融合圖像特征和主動(dòng)脈三維圖像特征;
4、步驟s3、獲取主動(dòng)脈病變?cè)u(píng)估模型,將所述多尺度圖像特征輸入所述主動(dòng)脈病變?cè)u(píng)估模型;
5、步驟s4、所述主動(dòng)脈病變?cè)u(píng)估模型根據(jù)所述待評(píng)估胸腹部平掃ct圖像的所述多尺度圖像特征評(píng)估所述待評(píng)估胸腹部平掃ct圖像對(duì)應(yīng)的主動(dòng)脈病變?cè)u(píng)估結(jié)果。
6、在本發(fā)明的一個(gè)具體實(shí)施方式中,所述步驟s2包括:
7、步驟s2.1、分割所述主動(dòng)脈三維結(jié)構(gòu)圖像,獲取若干分割圖像,所述分割圖像包括若干二維切面圖像和若干三維切塊圖像;
8、步驟s2.2、提取所述二維切面圖像和三維切塊圖像中的二維圖像特征與三維圖像特征,計(jì)算主動(dòng)脈三維參數(shù);
9、步驟s2.3、基于knn方法聚合二維圖像特征、三維圖像特征與主動(dòng)脈距離場(chǎng)信息,形成多尺度融合圖像特征;
10、步驟s2.4、基于卷積神經(jīng)網(wǎng)絡(luò)提取所述主動(dòng)脈三維結(jié)構(gòu)圖的主動(dòng)脈三維圖像特征。
11、在本發(fā)明的一個(gè)具體實(shí)施方式中,所述步驟s2.1包括:
12、步驟s2.1.1、提取主動(dòng)脈中心線,將所述主動(dòng)脈三維結(jié)構(gòu)圖轉(zhuǎn)化為主動(dòng)脈拉直圖;
13、步驟s2.1.2、獲取所述主動(dòng)脈拉直圖任意位置處的若干三維切塊圖像;
14、步驟s2.1.3、將每一張三維切塊圖像分解為若干張二維切面圖像。
15、在本發(fā)明的一個(gè)具體實(shí)施方式中,所述主動(dòng)脈三維參數(shù)為主動(dòng)脈距離場(chǎng)信息,所述步驟s2.2包括:
16、步驟s2.2.1、基于尺度不變特征轉(zhuǎn)換sift算法提取若干二維切面圖像和若干三維切塊圖像中的二維圖像特征與三維圖像特征,同時(shí)獲取二維圖像特征坐標(biāo)與三維圖像特征坐標(biāo);
17、步驟s2.2.2、基于點(diǎn)云處理網(wǎng)絡(luò)處理所述二維圖像特征與三維圖像特征形成的點(diǎn)云數(shù)據(jù),獲取形態(tài)特征。
18、在本發(fā)明的一個(gè)具體實(shí)施方式中,所述主動(dòng)脈病變?cè)u(píng)估模型基于多層感知器mlp實(shí)現(xiàn),所述mlp包括輸入層、隱藏層與輸出層,輸入層、隱藏層與輸出層中的若干神經(jīng)元通過(guò)全連接模式連接。
19、在本發(fā)明的一個(gè)具體實(shí)施方式中,所述主動(dòng)脈病變?cè)u(píng)估模型的訓(xùn)練步驟包括:
20、步驟a1、獲取用于訓(xùn)練模型的主動(dòng)脈三維結(jié)構(gòu)樣本圖像;
21、步驟a2、將所述主動(dòng)脈三維結(jié)構(gòu)樣本圖像輸入所述輸入層,并傳遞至所述隱藏層;
22、步驟a3、所述隱藏層提取所述主動(dòng)脈三維結(jié)構(gòu)樣本圖像的特征并進(jìn)行非線性變換,所述輸出層進(jìn)一步處理非線性變換結(jié)果,并輸出計(jì)算結(jié)果;
23、步驟a4、基于所述計(jì)算結(jié)果和樣本圖像,采用反向傳播算法和梯度下降算法更新神經(jīng)元參數(shù);
24、步驟a5、判斷損失函數(shù)是否收斂,若損失函數(shù)收斂,完成mlp訓(xùn)練,若損失函數(shù)未收斂,則返回步驟a3。
25、在本發(fā)明的一個(gè)具體實(shí)施方式中,步驟s4包括:
26、所述mlp通過(guò)解碼所述多尺度融合圖像特征,得到待評(píng)估胸腹部平掃ct圖像對(duì)應(yīng)主動(dòng)脈病變類(lèi)型的評(píng)估結(jié)果。
27、在本發(fā)明的一個(gè)具體實(shí)施方式中,所述mlp還包括正則化模塊,所述正則化模塊執(zhí)行l(wèi)1正則化算法或dropout正則化算法。
28、在本發(fā)明的一個(gè)具體實(shí)施方式中,主動(dòng)脈病變類(lèi)型包括:主動(dòng)脈夾層、主動(dòng)脈壁內(nèi)血腫、主動(dòng)脈穿透性潰瘍、主動(dòng)脈瘤、主動(dòng)脈不穩(wěn)定脂質(zhì)斑塊、主動(dòng)脈擴(kuò)張扭曲。
29、本發(fā)明還提供一種基于多尺度特征融合的主動(dòng)脈病變?cè)u(píng)估裝置,所述主動(dòng)脈病變?cè)u(píng)估裝置用于實(shí)現(xiàn)前述任一項(xiàng)所述的基于多尺度特征融合的主動(dòng)脈病變?cè)u(píng)估方法,包括以下結(jié)構(gòu):
30、待評(píng)估圖像獲取模塊,用于獲取待評(píng)估胸腹部平掃ct圖像,從所述待評(píng)估胸腹部平掃ct圖像中提取并重建主動(dòng)脈三維結(jié)構(gòu),得到主動(dòng)脈三維結(jié)構(gòu)圖像;
31、特征提取模塊,基于所述主動(dòng)脈三維結(jié)構(gòu)圖像獲得多尺度圖像特征,所述多尺度圖像特征包括多尺度融合圖像特征和主動(dòng)脈三維圖像特征;
32、主動(dòng)脈病變?cè)u(píng)估模型,用于接收所述多尺度圖像特征,并根據(jù)所述待評(píng)估胸腹部平掃ct圖像的所述多尺度圖像特征評(píng)估所述待評(píng)估胸腹部平掃ct圖像對(duì)應(yīng)的主動(dòng)脈病變?cè)u(píng)估結(jié)果。
33、本發(fā)明能夠帶來(lái)以下至少一種有益效果:本發(fā)明提出了一種基于多尺度特征融合的主動(dòng)脈病變?cè)u(píng)估方法和評(píng)估裝置,從所述待評(píng)估胸腹部平掃ct圖像中提取并重建主動(dòng)脈三維結(jié)構(gòu),并基于該主動(dòng)脈三維結(jié)構(gòu)獲得多尺度融合圖像特征和主動(dòng)脈三維圖像特征,并通過(guò)預(yù)先訓(xùn)練的主動(dòng)脈病變?cè)u(píng)估模型根據(jù)所述待評(píng)估胸腹部平掃ct圖像的所述多尺度圖像特征評(píng)估對(duì)應(yīng)的主動(dòng)脈病變類(lèi)型,該方案先對(duì)胸腹部平掃ct圖像中的主動(dòng)脈部分進(jìn)行預(yù)處理,利用距離場(chǎng)參數(shù)表征位置信息并與二維圖像特征、三維圖像特征融合,大大提升了病變?cè)u(píng)估的準(zhǔn)確度,再基于訓(xùn)練后的主動(dòng)脈病變?cè)u(píng)估模型對(duì)主動(dòng)脈病變的征象進(jìn)行篩查、分割和量化評(píng)估,有效降低了假陽(yáng)性率,從而在基于胸腹部平掃ct圖像的主動(dòng)脈病變識(shí)別任務(wù)中實(shí)現(xiàn)了高精度的診斷輔助,最大化胸腹部平掃ct檢查的價(jià)值,提高主動(dòng)脈病變的總體診斷水平,能夠降低人工診斷的誤診與漏診缺陷,提升診斷效率。