本發(fā)明涉及一種基于深度學(xué)習(xí)的不規(guī)則采樣眼底圖像預(yù)測(cè)系統(tǒng)及方法，屬于圖像處理。

背景技術(shù)：

1、眼底圖像是通過(guò)一種非侵入式檢查得到的展示眼睛后部包括視網(wǎng)膜、視神經(jīng)、血管和黃斑等結(jié)構(gòu)的詳細(xì)視圖。根據(jù)眼底圖像可以對(duì)糖尿病視網(wǎng)膜病變，青光眼，病理性近視，老年性黃斑變性等疾病的特定病灶或特征進(jìn)行深入分析，進(jìn)而輔助醫(yī)生進(jìn)行臨床研究。這些疾病的發(fā)展均為漸進(jìn)的過(guò)程，若能根據(jù)隨診圖像監(jiān)測(cè)疾病的進(jìn)展進(jìn)行眼底圖像預(yù)測(cè)分析，則可以輔助醫(yī)生為病人提供個(gè)性化的診療建議，旨在有效減緩甚至預(yù)防疾病進(jìn)程，提高患者的生活質(zhì)量。

2、現(xiàn)有針對(duì)于眼底圖像的研究主要集中在疾病的分類或病變的分割，這些研究都是對(duì)當(dāng)前輸入的眼底狀況進(jìn)行即時(shí)分析。在像素級(jí)眼底圖像預(yù)測(cè)中，現(xiàn)有方法往往是基于單一時(shí)刻的圖像和時(shí)間間隔來(lái)進(jìn)行眼底圖像預(yù)測(cè)分析，并沒(méi)有充分利用序列數(shù)據(jù)中的時(shí)間維度信息。盡管目前已有一些利用序列眼底圖像進(jìn)行預(yù)測(cè)任務(wù)的方法，但這些方法都是對(duì)于單一疾病進(jìn)行預(yù)測(cè)，本質(zhì)上是分類操作，其沒(méi)有實(shí)現(xiàn)像素級(jí)別的精細(xì)預(yù)測(cè)。這些方法在處理序列數(shù)據(jù)時(shí)，主要是依次提取每一時(shí)刻的參數(shù)或者特征，學(xué)習(xí)序列特征之間的時(shí)間關(guān)聯(lián)，忽略了空間信息。此外，現(xiàn)有的基于序列圖像的預(yù)測(cè)任務(wù)中，通常要求輸入的序列圖像具有均勻的采樣間隔，這與實(shí)際臨床應(yīng)用中得到的不規(guī)則采樣隨診數(shù)據(jù)不符。若能開發(fā)出根據(jù)不規(guī)則采樣的序列眼底數(shù)據(jù)進(jìn)行圖像預(yù)測(cè)的方法，將有助于醫(yī)生掌握疾病或病變的進(jìn)展趨勢(shì)，從而提供更全面的診療方案，這對(duì)于提升疾病的防控效果具有十分重要的意義。

3、因此，如何利用不規(guī)則采樣的眼底圖像數(shù)據(jù)進(jìn)行像素級(jí)的眼底圖像預(yù)測(cè)已經(jīng)成為亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了解決現(xiàn)有眼底圖像預(yù)測(cè)分析中無(wú)法利用不規(guī)則采樣的眼底圖像數(shù)據(jù)進(jìn)行像素級(jí)的眼底圖像預(yù)測(cè)分析的技術(shù)問(wèn)題，提出一種基于深度學(xué)習(xí)的不規(guī)則采樣眼底圖像預(yù)測(cè)系統(tǒng)及方法。

2、本發(fā)明的工作原理為：通過(guò)在遞歸卷積神經(jīng)網(wǎng)絡(luò)堆疊的卷積循環(huán)單元之間嵌入基于神經(jīng)常微分的運(yùn)動(dòng)估計(jì)單元實(shí)現(xiàn)對(duì)序列圖像的連續(xù)建模，從而有效解決不規(guī)則眼底圖像數(shù)據(jù)輸入的問(wèn)題。同時(shí)，本發(fā)明在整體預(yù)測(cè)結(jié)構(gòu)中引入風(fēng)格遷移方法，以避免不同時(shí)刻圖像風(fēng)格之間的差異對(duì)眼底圖像預(yù)測(cè)分析產(chǎn)生影響。本發(fā)明采用了基于卷積遞歸神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)了利用不規(guī)則采樣眼底數(shù)據(jù)進(jìn)行眼底圖像的預(yù)測(cè)分析。

3、本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

4、本發(fā)明公開的一種基于深度學(xué)習(xí)的不規(guī)則采樣眼底圖像預(yù)測(cè)方法，包括以下步驟：

5、步驟1：初始化眼底圖像數(shù)據(jù)集，利用隨機(jī)分配的方式將數(shù)據(jù)集分割為訓(xùn)練集和測(cè)試集；

6、步驟2：構(gòu)建風(fēng)格遷移模型；

7、步驟2.1：對(duì)風(fēng)格遷移模型中的特征編碼器、特征解碼器、內(nèi)容自適應(yīng)模塊、風(fēng)格自適應(yīng)模塊和自適應(yīng)交互模塊進(jìn)行初始化；

8、步驟2.2：將圖像輸入至vgg19網(wǎng)絡(luò)的特征編碼器中，得到圖像特征；

9、步驟2.3：對(duì)輸入的圖像特征進(jìn)行歸一化，利用內(nèi)容自適應(yīng)模塊的像素點(diǎn)自注意力進(jìn)行自適應(yīng)，從而得到內(nèi)容特征；

10、步驟2.4：利用風(fēng)格自適應(yīng)模塊的通道自注意力將輸入的圖像特征進(jìn)行風(fēng)格表示，從而得到風(fēng)格特征；

11、步驟2.5：對(duì)步驟2.3和步驟2.4所述的內(nèi)容特征和風(fēng)格特征利用自適應(yīng)交互模塊的交叉注意力進(jìn)行特征融合，得到融合特征；

12、步驟2.6：通過(guò)卷積層和激活層交叉疊加構(gòu)建特征解碼器，將融合特征通過(guò)特征解碼器進(jìn)行輸出；

13、步驟3：對(duì)風(fēng)格遷移模型進(jìn)行訓(xùn)練獲得訓(xùn)練完成的風(fēng)格遷移模型；

14、步驟3.1：將訓(xùn)練集中的圖像通過(guò)特征編碼器進(jìn)行圖像特征提??；

15、步驟3.2：利用風(fēng)格遷移模型的內(nèi)容自適應(yīng)模塊和風(fēng)格自適應(yīng)模塊對(duì)圖像提取的特征分別進(jìn)行內(nèi)容特征和風(fēng)格特征的增強(qiáng)；

16、步驟3.3：將增強(qiáng)后的內(nèi)容特征和風(fēng)格特征輸入至自適應(yīng)交互模塊得到增強(qiáng)后的融合特征；

17、步驟3.4：將增強(qiáng)后融合特征通過(guò)特征解碼器進(jìn)行特征解碼；

18、步驟4：利用時(shí)序數(shù)據(jù)對(duì)時(shí)空預(yù)測(cè)模型進(jìn)行訓(xùn)練；

19、步驟4.1：時(shí)空預(yù)測(cè)模型的構(gòu)建；

20、步驟4.1.1：對(duì)步驟3完成的風(fēng)格遷移模型進(jìn)行重構(gòu)得到內(nèi)容編碼模塊、風(fēng)格編碼模塊和目標(biāo)解碼模塊；進(jìn)一步的將特征編碼器與內(nèi)容自適應(yīng)模塊級(jí)聯(lián)形成內(nèi)容編碼模塊，特征編碼器與風(fēng)格自適應(yīng)模塊級(jí)聯(lián)形成風(fēng)格編碼模塊，自適應(yīng)交互模塊與特征解碼器級(jí)聯(lián)形成目標(biāo)解碼模塊；

21、步驟4.1.2：對(duì)時(shí)空預(yù)測(cè)模型中的卷積循環(huán)單元和運(yùn)動(dòng)估計(jì)單元采用式(1)所示的方式進(jìn)行重構(gòu)；

22、

23、其中，表示第t時(shí)刻第l層卷積循環(huán)單元輸出的隱藏狀態(tài)，enc和dec分別表示編碼和解碼操作，h′為編碼之后的特征，et表示第t-1時(shí)刻和第t時(shí)刻間的時(shí)間間隔，和分別表示第t-1時(shí)刻第l層的運(yùn)動(dòng)偏移和運(yùn)動(dòng)趨勢(shì)，為對(duì)h′以時(shí)間間隔et連續(xù)積分后的結(jié)果，*和wg分別表示卷積操作和卷積核，σ表示sigmoid激活操作，⊙表示哈達(dá)瑪積，gt為計(jì)算得到的門控變量，為采用神經(jīng)常微分的運(yùn)動(dòng)估計(jì)單元得到的隱藏狀態(tài)。

24、步驟4.1.3：對(duì)步驟4.1.2運(yùn)動(dòng)估計(jì)單元采用如式(2)所示的方式進(jìn)行優(yōu)化；

25、

26、其中，odesolver利用式(2)以累積方式進(jìn)行連續(xù)建模；δt表示當(dāng)前循環(huán)的時(shí)間間隔，ut為更新門，rt為重置門，表示瞬時(shí)運(yùn)動(dòng)速度，f′t-1+δt表示瞬時(shí)變化，α為預(yù)設(shè)的超參數(shù)(0到1之間)，tanh表示tanh激活操作，warp為雙線性插值的變形操作；

27、步驟4.2：通過(guò)訓(xùn)練時(shí)空預(yù)測(cè)模型得到預(yù)測(cè)圖像；

28、步驟4.2.1：將數(shù)據(jù)集中的歷年樣本與首年樣本眼底圖像采用關(guān)鍵點(diǎn)檢測(cè)方式分別對(duì)訓(xùn)練集和測(cè)試集進(jìn)行配準(zhǔn)，得到配準(zhǔn)后的訓(xùn)練集和配準(zhǔn)后的測(cè)試集；

29、步驟4.2.1：利用內(nèi)容編碼模塊和風(fēng)格編碼模塊對(duì)配準(zhǔn)后的訓(xùn)練集的內(nèi)容特征和風(fēng)格特征進(jìn)行提??；

30、步驟4.2.2：將配準(zhǔn)后的訓(xùn)練集的內(nèi)容特征和時(shí)間間隔信息依次輸入至堆疊的卷積循環(huán)單元和運(yùn)動(dòng)估計(jì)單元進(jìn)行內(nèi)容特征預(yù)測(cè)；

31、步驟4.2.3：將配準(zhǔn)后的訓(xùn)練集的風(fēng)格特征和時(shí)空預(yù)測(cè)模型輸出的內(nèi)容特征通過(guò)目標(biāo)解碼模塊經(jīng)融合后生成預(yù)測(cè)圖像集；

32、步驟4.2.4：將步驟4.2.3采用如式(3)所示的損失函數(shù)通過(guò)循環(huán)迭代的方式獲得訓(xùn)練完成的時(shí)空預(yù)測(cè)模型；

33、

34、l＝ll1+βlmse+lfeature+lperceptual

35、其中n表示訓(xùn)練迭代的批次大小，ii,2:t和分別表示第i個(gè)配準(zhǔn)后訓(xùn)練樣本對(duì)應(yīng)的第2到t時(shí)刻的原始輸入圖像和輸出預(yù)測(cè)圖像；fi,2:t和分別表示第i個(gè)配準(zhǔn)后訓(xùn)練樣本對(duì)應(yīng)的第2到t時(shí)刻的內(nèi)容特征和輸出預(yù)測(cè)內(nèi)容特征；φj表示采用imagenet預(yù)訓(xùn)練的vgg19網(wǎng)絡(luò)的第j層。β是預(yù)設(shè)的超參數(shù)。

36、步驟4.2.5：將配準(zhǔn)后的測(cè)試集輸入至訓(xùn)練完成的時(shí)空預(yù)測(cè)模型中，進(jìn)而獲得預(yù)測(cè)圖像；

37、步驟5：對(duì)預(yù)測(cè)圖像和配準(zhǔn)后的測(cè)試集進(jìn)行聯(lián)合分析，生成用于眼底圖像分析的疾病分類曲線和病變分割曲線；

38、步驟5.1：對(duì)預(yù)測(cè)圖像與配準(zhǔn)后的測(cè)試集按照疾病類型分別進(jìn)行疾病分類；

39、步驟5.2：對(duì)預(yù)測(cè)圖像與配準(zhǔn)后的測(cè)試集按照病變狀態(tài)分別進(jìn)行病變分割；

40、步驟5.3：通過(guò)步驟5.1所述的疾病分類和步驟5.2所述的病變分割分別對(duì)預(yù)測(cè)圖像與配準(zhǔn)后的測(cè)試集進(jìn)行聯(lián)合分析；

41、步驟5.4：通過(guò)步驟5.3所述的聯(lián)合分析利用統(tǒng)計(jì)方法分別生成疾病分類曲線和病變分割曲線；

42、本發(fā)明公開的一種基于深度學(xué)習(xí)的不規(guī)則采樣眼底圖像預(yù)測(cè)系統(tǒng)用于實(shí)現(xiàn)上述方法。本發(fā)明公開的一種基于深度學(xué)習(xí)的不規(guī)則采樣眼底圖像預(yù)測(cè)系統(tǒng)，包括特征分解模塊、特征庫(kù)模塊、預(yù)測(cè)模塊、目標(biāo)解碼模塊、應(yīng)用模塊。

43、所述特征分解模塊，用于對(duì)樣本眼底圖像提取內(nèi)容特征和風(fēng)格特征；進(jìn)一步的，對(duì)輸入至特征分解模塊的樣本眼底圖像利用像素點(diǎn)自注意力和通道自注意力分別獲得內(nèi)容特征和風(fēng)格特征，并將內(nèi)容特征和風(fēng)格特征置于特征庫(kù)模塊；

44、所述特征庫(kù)模塊，用于將來(lái)自特征分解模塊的樣本的內(nèi)容特征和風(fēng)格特征進(jìn)行存儲(chǔ)，將樣本的內(nèi)容特征輸入至預(yù)測(cè)模塊，將樣本的風(fēng)格特征輸入至目標(biāo)解碼模塊；

45、所述預(yù)測(cè)模塊，用于將內(nèi)容特征轉(zhuǎn)化為預(yù)測(cè)的內(nèi)容特征，進(jìn)而，對(duì)眼底圖像所對(duì)應(yīng)的內(nèi)容特征預(yù)測(cè)；預(yù)測(cè)模塊包含堆疊的卷積遞歸單元和基于常微分的運(yùn)動(dòng)估計(jì)單元，卷積遞歸單元對(duì)來(lái)自特征庫(kù)模塊的內(nèi)容特征經(jīng)過(guò)捕捉序列數(shù)據(jù)動(dòng)態(tài)的特征獲得更新后的內(nèi)容特征，將其輸入至運(yùn)動(dòng)估計(jì)單元；運(yùn)動(dòng)估計(jì)單元將內(nèi)容特征與時(shí)間間隔信息結(jié)合通過(guò)校正運(yùn)動(dòng)的特征后輸出預(yù)測(cè)的內(nèi)容特征，將預(yù)測(cè)的內(nèi)容特征作為目標(biāo)解碼模塊的輸入；

46、所述目標(biāo)解碼模塊，用于對(duì)預(yù)測(cè)的內(nèi)容特征和樣本的風(fēng)格特征融合并輸出預(yù)測(cè)眼底圖像；進(jìn)一步的，將預(yù)測(cè)的內(nèi)容特征和樣本的風(fēng)格特征輸入至目標(biāo)解碼模塊，目標(biāo)解碼模塊利用交叉注意力對(duì)內(nèi)容特征和樣本的風(fēng)格特征進(jìn)行融合，并利用特征解碼器對(duì)融合后的內(nèi)容特征和樣本的風(fēng)格特征解碼后輸出預(yù)測(cè)眼底圖像，將預(yù)測(cè)眼底圖像作為應(yīng)用模塊的輸入；

47、所述應(yīng)用模塊，用于對(duì)眼底圖像的預(yù)測(cè)分析，將預(yù)測(cè)的眼底圖像與樣本圖像根據(jù)疾病分類和病變分割進(jìn)行聯(lián)合分析，生成不規(guī)則采樣眼底圖像的疾病分類曲線和病變分割曲線，并根據(jù)疾病分類曲線和病變分割曲線的走勢(shì)獲得眼底疾病和病變的演變結(jié)果。

48、有益效果：

49、與現(xiàn)有眼底圖像預(yù)測(cè)網(wǎng)絡(luò)相比，具有如下有益效果：

50、1、本發(fā)明無(wú)需對(duì)序列眼底圖像預(yù)先進(jìn)行風(fēng)格歸一化操作，通過(guò)在預(yù)測(cè)網(wǎng)絡(luò)中引入風(fēng)格遷移機(jī)制，將圖像的風(fēng)格特征與內(nèi)容特征解耦，只對(duì)內(nèi)容特征進(jìn)行預(yù)測(cè)學(xué)習(xí)，這樣可以避免不同輸入時(shí)刻之間圖像風(fēng)格的差異對(duì)預(yù)測(cè)造成干擾，最后為了生成可視化眼底圖像再采用任意指定的風(fēng)格特征與預(yù)測(cè)的內(nèi)容特征進(jìn)行融合并解碼；

51、2、本發(fā)明通過(guò)在時(shí)空預(yù)測(cè)模塊中堆疊卷積循環(huán)單元和基于神經(jīng)常微分的運(yùn)動(dòng)估計(jì)單元以連續(xù)的方法對(duì)序列眼底圖像的變化進(jìn)行建模，從而實(shí)現(xiàn)輸入數(shù)據(jù)為不規(guī)則采樣圖像時(shí)的時(shí)空預(yù)測(cè)；

52、3、本發(fā)明能夠?qū)崿F(xiàn)未來(lái)眼底圖像的預(yù)測(cè)，圖像中包含更多的信息，通過(guò)對(duì)已有序列圖像和預(yù)測(cè)圖像進(jìn)行疾病分類或病變分割等分析，可以輔助醫(yī)生評(píng)估多種眼底疾病的發(fā)展趨勢(shì)，有助于醫(yī)生提供更具針對(duì)性和個(gè)性化的防控或診療建議。