本發(fā)明涉及醫(yī)學(xué)圖像分類，特別的涉及一種基于gnn和cnn雙向結(jié)合的ct圖像分類模型構(gòu)建方法。

背景技術(shù)：

1、計算機斷層掃描成像(computer?tomography,ct)是一種通過x射線成像技術(shù)，利用計算機算法將二維橫截面圖像轉(zhuǎn)換為三維體積數(shù)據(jù)的醫(yī)學(xué)影像。ct圖像在醫(yī)學(xué)領(lǐng)域中廣泛用于診斷和治療規(guī)劃，可清晰顯示人體內(nèi)部的骨骼結(jié)構(gòu)、組織器官、血管和腫瘤等病變。所以ct圖像在醫(yī)學(xué)中扮演著重要的角色，通過發(fā)現(xiàn)ct圖像中的異常結(jié)構(gòu)或病變，可以幫助醫(yī)生及時發(fā)現(xiàn)疾病的早期征兆，提供更早的診斷和治療機會。此外，ct圖像的分析還能為精準(zhǔn)診斷提供支持，幫助醫(yī)生準(zhǔn)確診斷疾病類型、病變位置和程度，為患者提供更精準(zhǔn)的治療方案。

2、醫(yī)學(xué)圖像作為數(shù)字圖像中一類特殊的圖像，一直很依賴于醫(yī)生的主觀評判，ct圖像也不例外。醫(yī)生通過肉眼觀察ct圖像的形狀、密度、邊緣等特征來進(jìn)行診斷。這是最傳統(tǒng)的方法，通常需要經(jīng)驗豐富的醫(yī)生進(jìn)行解讀。而計算機輔助診斷(computer-aided?diagnos?i?s,cad)結(jié)合人工智能和機器學(xué)習(xí)算法，能夠幫助醫(yī)生更準(zhǔn)確地分析ct圖像中的異常結(jié)構(gòu)或病變。通過cad系統(tǒng)，計算機可以快速處理大量的圖像數(shù)據(jù)，提取關(guān)鍵信息并生成輔助診斷報告。隨著技術(shù)的不斷進(jìn)步和計算機輔助診斷算法的持續(xù)改進(jìn)，計算機輔助診斷的未來在改革醫(yī)學(xué)診斷、提高患者治療效果方面具有巨大的潛力。

3、近年來，深度學(xué)習(xí)方法在各種醫(yī)學(xué)圖像分析任務(wù)中取得了越來越大的成功，深度卷積神經(jīng)網(wǎng)絡(luò)(convo?l?ut?i?ona?l?neura?l?network,cnn)已經(jīng)被應(yīng)用于開發(fā)人類疾病的先進(jìn)cad方法，如歐陽等人在某文章中提出了一個具有3d卷積網(wǎng)絡(luò)的新穎在線注意力模塊，以便在做出診斷決策時關(guān)注肺部的感染區(qū)域。深度學(xué)習(xí)雖然在醫(yī)學(xué)圖像領(lǐng)域取得了一定的成就，但還是無法與深度學(xué)習(xí)在自然圖像領(lǐng)域取得的成就相比較，原因在于醫(yī)學(xué)圖像具有解剖學(xué)復(fù)雜性、多樣性、高灰度和隱私等問題。另一方面深度學(xué)習(xí)在處理醫(yī)學(xué)圖像時，還有很多局限性。如自然圖像領(lǐng)域遷徙的cnn微調(diào)模型和權(quán)重用于分析醫(yī)學(xué)圖像，最終結(jié)果與醫(yī)生給出的診斷可能有很大差距。再如ct圖像訓(xùn)練任務(wù)大多使用二維ct切片作為cnn模型的輸入，而這些切片缺乏深度信息，導(dǎo)致無法識別解剖結(jié)構(gòu)從而無法對疾病分類，而3dcnn可以獲得空間信息，幫助疾病診斷，但訓(xùn)練一個良好且功能強大的3d?cnn需要大規(guī)模帶注釋的訓(xùn)練數(shù)據(jù)集，這就涉及到成本問題和隱私問題。

4、圖神經(jīng)網(wǎng)絡(luò)(graph?neura?l?network,gnn)是最近的一個研究熱點。gnn主要應(yīng)用在一些存在復(fù)雜關(guān)系的場景中，比如推薦系統(tǒng)、社交網(wǎng)絡(luò)和分子結(jié)構(gòu)等。gnn強大的學(xué)習(xí)和聚類能力，不適用于圖像和文本這類歐幾里得數(shù)據(jù)。但gnn在非歐幾里得數(shù)據(jù)任務(wù)擁有強大表現(xiàn)，且圖像本身是一種特殊的圖，這使得圖像任務(wù)模型有使用gnn的可能，陳等人在文章“mu?l?t?i-labe?l?image?recogn?i?t?i?on?with?graph?convo?l?ut?i?ona?lnetworks”中已經(jīng)使用gnn幫助cnn進(jìn)行自然圖像多標(biāo)簽識別。

5、為此，提出一種基于gnn和cnn雙向結(jié)合的ct圖像分類模型構(gòu)建方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的就在于為了解決上述問題而提供一種基于gnn和cnn雙向結(jié)合的ct圖像分類模型構(gòu)建方法，解決基于cnn的模型通過ct圖像進(jìn)行疾病診斷準(zhǔn)確率較低的問題。即提出的分類模型能很好的融合現(xiàn)有基于cnn的分類模型，提升cnn在ct圖像數(shù)據(jù)集上的表現(xiàn)，并支持gnn和cnn的雙向結(jié)合，增強了網(wǎng)絡(luò)實際使用中的泛化性。

2、本發(fā)明通過以下技術(shù)方案來實現(xiàn)上述目的，一種基于gnn和cnn雙向結(jié)合的ct圖像分類模型構(gòu)建方法，包括以下步驟：

3、步驟1，ct圖像數(shù)據(jù)集劃分合適比例的訓(xùn)練集和驗證集。根據(jù)數(shù)據(jù)集大小調(diào)整訓(xùn)練集和驗證集比例，保證各標(biāo)簽的數(shù)據(jù)量大致相同。

4、步驟2，cnn模型輸入預(yù)權(quán)重，將步驟1的訓(xùn)練集預(yù)處理后輸入模型提取圖像特征。

5、步驟3，根據(jù)分類要求和醫(yī)生經(jīng)驗，構(gòu)建圖的框架，構(gòu)圖方向可選擇縱向構(gòu)圖，如患者ct圖像的多個切片作為圖節(jié)點,切片之間的空間關(guān)系作為邊的連接依據(jù)。選擇橫向構(gòu)圖，可將其他病人圖像信息作為圖節(jié)點，性別和年齡等作為節(jié)點之間的權(quán)重。

6、步驟4，選擇cnn模型或者gnn模型作為融合特征輸出方向。若選擇gnn模型輸出作為最終標(biāo)簽，則將步驟2提取的圖像特征作為步驟3建立圖框架的圖節(jié)點特征(方式1)。若選擇cnn模型輸出作為最終標(biāo)簽，則將通過步驟3中g(shù)nn模型訓(xùn)練后圖節(jié)點的特征值構(gòu)建標(biāo)簽關(guān)聯(lián)矩陣，作為分類器，輸入cnn模型的全連接層(方式2)。

7、步驟5，方式1則進(jìn)行g(shù)nn模型節(jié)點的聚合、更新，輸出標(biāo)簽值，方式2則將全連接層的特征映射與標(biāo)簽關(guān)聯(lián)矩陣采取相乘的方式進(jìn)行融合，輸出標(biāo)簽值。

8、步驟6，建立損失函數(shù)，通過梯度下降更新模型參數(shù)，設(shè)置合理的超參數(shù)進(jìn)行訓(xùn)練。

9、步驟7，輸入測試集，驗證模型性能。

10、優(yōu)選的：在步驟2中，采用的resnet-101網(wǎng)絡(luò)并不需要進(jìn)行專項的預(yù)訓(xùn)練，只需在大型數(shù)據(jù)集，如imagenet上訓(xùn)練得到初始權(quán)重即可，這些權(quán)重在互聯(lián)網(wǎng)上公開并且可輕易獲取，無需進(jìn)行分步訓(xùn)練。

11、優(yōu)選的：在步驟3中，在醫(yī)學(xué)圖像領(lǐng)域引入gnn模型，單獨的gnn模型并不適合圖像任務(wù)，但與圖像領(lǐng)域的cnn模型結(jié)合，卻能達(dá)到相輔相成的效果。gnn算法很多，這里以最經(jīng)典的圖卷積網(wǎng)絡(luò)(graph?convo?l?ut?iona?l?network,gcn)來介紹，其基本思想是通過在節(jié)點之間傳播信息來更新節(jié)點表示。

12、與對圖像局部歐幾里得結(jié)構(gòu)進(jìn)行操作的標(biāo)準(zhǔn)卷積不同，gcn的目標(biāo)是學(xué)習(xí)圖g上的函數(shù)f(.,.)，該函數(shù)以圖g的特征描述fl∈rn×d和對應(yīng)的鄰接矩陣a∈rn×n作為輸入(其中n表示節(jié)點數(shù)，d表示特征的維度)，并將節(jié)點特征更新為fl+1∈rn×d*，每一個gcn層都可以寫成一個非線性函數(shù)：

13、fl+1＝f(fl,a)

14、函數(shù)f(.,.)可以具體展開寫為：

15、

16、式中是鄰接矩陣a正則化后的結(jié)果，是待學(xué)習(xí)變換的矩陣。堆疊多個這樣的gcn層來學(xué)習(xí)節(jié)點之間的復(fù)雜關(guān)系，實現(xiàn)對cnn模型的半監(jiān)督。

17、優(yōu)選的：在步驟4中，cnn模型和gnn模型可雙向融合，這實際操作中就有了更多的選擇性，模型中本質(zhì)上是cnn和gnn需要對方的功能特點進(jìn)行互補。

18、優(yōu)選的：在步驟5中，節(jié)點的聚合、更新是對節(jié)點特征值的操作，第一層的初始節(jié)點特征值來自于步驟3構(gòu)圖時獲取的節(jié)點信息，節(jié)點信息為圖像，則節(jié)點特征值則表示為提取的圖像特征，節(jié)點信息為非圖像，則節(jié)點特征值來自于非圖像信息的提取的詞向量。節(jié)點信息的多樣選擇，在同一醫(yī)學(xué)圖像任務(wù)中，可采取多種構(gòu)圖方式，只要有效構(gòu)圖，即保證相互關(guān)系的正確，就可保證對cnn模型分類性能的提升。

19、優(yōu)選的：在步驟6中，醫(yī)學(xué)圖像最終是用于醫(yī)生對病情的診斷，計算機輔助診斷在實際情況中多可表示為分類問題，如正常、嚴(yán)重、較輕和異常等，損失函數(shù)選擇：

20、

21、式中σ為s?igmo?id函數(shù)，yc為真實標(biāo)簽，為模型預(yù)測標(biāo)簽。

22、本發(fā)明的有益效果是：

23、本發(fā)明提出了一種ct圖像的分類模型，該模型采用將gnn與cnn進(jìn)行融合的方法。利用gnn對特征信息和結(jié)構(gòu)信息的學(xué)習(xí)能力，對cnn處理ct圖像進(jìn)行半監(jiān)督，提高cnn對ct圖像的學(xué)習(xí)和分類效果，也可利用cnn對圖像數(shù)據(jù)特征提取的優(yōu)良表現(xiàn)，改進(jìn)gnn面對歐幾里得數(shù)據(jù)的不佳表現(xiàn)。同時該方法為gnn在面對ct圖像任務(wù)時提出兩種方向的構(gòu)圖方式，一是以患者自身信息進(jìn)行縱向構(gòu)圖，二是多名患者數(shù)據(jù)進(jìn)行橫向構(gòu)圖，這兩種構(gòu)圖方式可滿足大多數(shù)ct圖像分類任務(wù)的構(gòu)圖需要。