本發(fā)明涉及基于局部-全局圖神經(jīng)網(wǎng)絡(luò)的類器官atp預(yù)測方法，屬于計算機視覺、深度學(xué)習(xí)。

背景技術(shù)：

1、類似于組織器官的類器官是一種體外三維培養(yǎng)物，它能近似地模擬源器官或組織，并能建立一個模擬體內(nèi)環(huán)境的模型。類器官能在最大程度上模擬真實器官的結(jié)構(gòu)和功能，而且比動物模型更容易操作。它們還可用于研究疾病發(fā)生和發(fā)展的機制，是將癌癥基礎(chǔ)研究成果轉(zhuǎn)化為新的治療策略并為患者實現(xiàn)個性化精準藥物篩選的重要臨床研究模型。其中，在類器官明場圖像中測量出類器官atp活性是藥敏檢測中相當(dāng)重要的一步?，F(xiàn)有檢測類器官活性的通用方法為ctg(cell?titer-glo)發(fā)光法，該方法需要加入對應(yīng)試劑，使類器官發(fā)光，通過檢測發(fā)光信號反映類器官的atp指標，但該檢測過程會導(dǎo)致類器官裂解，檢測完畢后的類器官無法繼續(xù)進行培養(yǎng)，并且檢測程序相對復(fù)雜、耗時。

2、最近，深度學(xué)習(xí)算法在醫(yī)學(xué)圖像處理中取得了巨大的成功，大量的研究致力于標志物預(yù)測、疾病分類和細胞類型預(yù)測等任務(wù)中。然而，面向明場圖像的類器官atp活性算法亟需開發(fā)。同時，由于類器官明場圖像的對比度低，且類器官的粘附性強、背景噪聲大、邊界模糊，現(xiàn)存的深度學(xué)習(xí)算法缺乏提取全局和局部空間關(guān)系的能力，故限制了類器官atp活性預(yù)測的精度。

技術(shù)實現(xiàn)思路

1、為了提升類器官atp活性預(yù)測的精度，本發(fā)明提供了基于局部-全局圖神經(jīng)網(wǎng)絡(luò)的類器官atp預(yù)測方法，所述技術(shù)方案如下：

2、本發(fā)明的第一個目的在于提供一種類器官atp預(yù)測方法，包括：

3、步驟1：獲取待檢測類器官的明場圖像和非成像信息；

4、步驟2：對所述明場圖像進行閾值分割，獲取若干個候選類器官；

5、步驟3：利用局部關(guān)注圖卷積神經(jīng)網(wǎng)絡(luò)對所述候選類器官進行特征提取，得到節(jié)點信息局部關(guān)注特征；

6、所述局部關(guān)注圖卷積神經(jīng)網(wǎng)絡(luò)包括：區(qū)域圖構(gòu)建模塊和局部關(guān)注模塊，所述區(qū)域圖構(gòu)建模塊用于構(gòu)建區(qū)域圖表征類器官的拓撲信息，所述局部關(guān)注模塊用于學(xué)習(xí)局部類器官圖嵌入；

7、步驟4：利用自注意力池化融合機制對所述非成像信息和所述局部類器官圖嵌入進行融合，得到局部圖文共表達特征；

8、步驟5：利用全局主題圖卷積神經(jīng)網(wǎng)絡(luò)對所述局部圖文共表達特征和局部類器官圖嵌入進行處理，得到所述待檢測類器官明場圖像的全局主題特征；

9、所述全局主題圖卷積神經(jīng)網(wǎng)絡(luò)包括：全局圖構(gòu)建模塊和主題圖感知模塊，所述全局圖構(gòu)建模塊用于將非成像信息和空間信息納入框架，所述主題圖感知模塊通過多尺度架構(gòu)對圖的層次結(jié)構(gòu)和上下文信息進行建模，從而得到所述類器官明場圖像的全局主題特征；

10、步驟6：利用多層感知機mlp層對所述待檢測類器官明場圖像的全局主題特征進行處理，得到atp預(yù)測結(jié)果。

11、可選的，所述非成像信息包括：染色藥劑名稱、溫度、濕度。

12、可選的，所述步驟3包括：

13、步驟31：基于所述步驟2得到的若干個候選類器官構(gòu)建類器官區(qū)域圖glocal，其中每個節(jié)點對應(yīng)于一個候選類器官，即v＝{v1,...,vn}，glocal中的節(jié)點特征表示為矩陣其中xi是與節(jié)點vi關(guān)聯(lián)的特征表示，a是v的鄰接矩陣，其中的元素定義為：

14、

15、其中cov(vi,vj)是vi和vj對應(yīng)的候選類器官之間的互協(xié)方差，aij是兩個相鄰節(jié)點vi和vj之間的pearson相關(guān)系數(shù)；

16、步驟32：利用所述局部關(guān)注模塊學(xué)習(xí)局部類器官圖嵌入，所述局部關(guān)注模塊包括三個圖卷積層，三個relu激活函數(shù)、兩個跳躍操作，具有relu激活的第t∈{1,2}圖卷積層定義為：

17、

18、其中是a的度矩陣，w(t)表示第t層的可訓(xùn)練的權(quán)重矩陣，表示第t層圖卷積的節(jié)點表示；

19、將第t層圖卷積層的輸入與輸出進行跳躍連接操作：l(t)＝conv(cat(x(t-1),x(t)))，得到所述節(jié)點信息局部關(guān)注特征

20、可選的，所述步驟4包括：

21、步驟41：利用圖卷積層估計所述節(jié)點信息局部關(guān)注特征l(t)的自注意力分數(shù)z：

22、z＝gc(l(t),a)

23、步驟42：將tanh函數(shù)應(yīng)用于z的k個最大元素來獲得所選節(jié)點的自注意力分數(shù)

24、

25、步驟43：采用top-k節(jié)點選擇策略來保留區(qū)域圖的一部分節(jié)點，其中k是選擇建立新圖的節(jié)點數(shù)；

26、在k個節(jié)點的選擇中，節(jié)點排序的運算輸出基于z的k個最大值的索引idx：

27、

28、步驟44：根據(jù)索引idx篩選出索引特征并將和的逐元素乘法來捕獲池化節(jié)點特征a(idx,idx)進行行列提取，形成新的鄰接矩陣

29、

30、步驟45：將步驟44的輸出和步驟1中類器官的非成像信息進行融合，得到自注意力池化融合機制輸出的所述局部圖文共表達特征y；

31、所述非成像信息經(jīng)過相似度計算和多層感知機mlp操作進行特征降維和高緯度信息提取得到高層次非成像信息t，具體過程如下：

32、

33、其中sim表示兩個輸入向量之間的余弦相似度，ni和nj代表不同的非成像信息。

34、可選的，所述步驟5包括：

35、步驟51：提取每張類器官明場圖像的特征并構(gòu)造相似度矩陣s1：

36、

37、其中，z1,z2,...,zm分別表示類器官的明場圖像，m是類器官的數(shù)量，ρ是相關(guān)距離，σ是[ρ(zi,zj)]2的平均值；

38、基于所述局部圖文共表達特征y構(gòu)建節(jié)點相似性度量s2以獲得臨床輔助信息：

39、s2＝conv(meanpool(y),maxpool(y))

40、其中，meanpool和maxpool表示全局平均池化和全局最大池化；

41、通過hadamard乘積融合這兩個矩陣：g′＝s1*s2，將g′權(quán)重大于0.4的連通性設(shè)為1，其他設(shè)為0，得到全局圖特征gglobal；

42、步驟52：基于所述全局圖特征gglobal和所述局部圖文共表達特征y構(gòu)建全局主題特征b：

43、β＝awab(concat(y,deepblock(gglobal)))

44、其中，awab表示自適應(yīng)權(quán)重聚合塊，deepblock表示深度模塊。

45、可選的，所述深度模塊deepblock包括依次連接的deepconv層、批量歸一化層、relu激活層和dropout層。

46、可選的，所述步驟2中采用python中的opencv包對對所述明場圖像進行閾值分割。

47、本發(fā)明的第二個目的在于提供一種類器官atp預(yù)測系統(tǒng)，應(yīng)用于如上述任一項所述的類器官atp預(yù)測方法，所述系統(tǒng)包括：

48、圖像獲取模塊，被配置為獲取待檢測類器官的明場圖像和非成像信息；

49、閾值分割模塊，被配置為對所述明場圖像進行閾值分割，獲取若干個候選類器官；

50、局部關(guān)注圖卷積神經(jīng)網(wǎng)絡(luò)模塊，被配置為包括：區(qū)域圖構(gòu)建模塊和局部關(guān)注模塊，所述區(qū)域圖構(gòu)建模塊用于構(gòu)建區(qū)域圖表征類器官的拓撲信息，所述局部關(guān)注模塊用于學(xué)習(xí)局部類器官圖嵌入；

51、自注意力池化融合機制，被配置為對所述非成像信息和所述局部類器官圖嵌入進行融合，得到局部圖文共表達特征；

52、全局主題圖卷積神經(jīng)網(wǎng)絡(luò)模塊，被配置為包括：全局圖構(gòu)建模塊和主題圖感知模塊，所述全局圖構(gòu)建模塊用于將非成像信息和空間信息納入框架，所述主題圖感知模塊通過多尺度架構(gòu)對圖的層次結(jié)構(gòu)和上下文信息進行建模，從而得到所述類器官明場圖像的全局主題特征；

53、mlp層，被配置為對所述待檢測類器官明場圖像的全局主題特征進行處理，得到atp預(yù)測結(jié)果。

54、本發(fā)明的第三個目的在于提供一種電子設(shè)備，包括存儲器和處理器；

55、所述存儲器，用于存儲計算機程序；

56、所述處理器，用于當(dāng)執(zhí)行所述計算機程序時，實現(xiàn)如上述任一項所述的類器官atp預(yù)測方法。

57、本發(fā)明的第四個目的在于提供一種計算機可讀存儲介質(zhì)，其特征在于，所述存儲介質(zhì)上存儲有計算機程序，當(dāng)所述計算機程序被處理器執(zhí)行時，實現(xiàn)如上述任一項所述的類器官atp預(yù)測方法。

58、本發(fā)明有益效果是：

59、本發(fā)明可以對類器官明場圖像進行處理，高效地預(yù)測顯微圖像中的類器官atp活性；本發(fā)明利用局部關(guān)注圖卷積神經(jīng)網(wǎng)絡(luò)、全局主題圖卷積神經(jīng)網(wǎng)絡(luò)和自注意力池化融合機制構(gòu)造atp預(yù)測模型，有效地挖掘了類器官顯微圖像中至關(guān)重要的拓撲信息的局部和全局空間信息，解決了類器官atp活性預(yù)測精度低的問題；實驗結(jié)果證明，本發(fā)明提供的智能預(yù)測方法可實現(xiàn)快速、精準、無損、高通量的預(yù)測類器官atp活性。