本發(fā)明屬于胚胎發(fā)育的多階段分類領(lǐng)域，具體涉及一種面向胚胎發(fā)育多階段分類的深度學習方法及系統(tǒng)。

背景技術(shù)：

1、本部分的陳述僅僅是提供了與本公開相關(guān)的背景技術(shù)信息，不必然構(gòu)成在先技術(shù)。

2、不孕不育是一個廣泛的全球性問題。根據(jù)世界衛(wèi)生組織(who)的數(shù)據(jù)，目前全球約有六分之一的人口受不孕不育的困擾。

3、目前國內(nèi)外指南和專家共識均指出，體外受精-胚胎移植(in?vitrofertilization-embryo?transfer，ivf-et)是解決不孕不育問題最有效的方法之一。根據(jù)統(tǒng)計數(shù)據(jù)，目前ivf的成功率通常僅為40％左右。在ivf治療過程中，為了降低多胎妊娠帶來的孕產(chǎn)期及胎兒健康風險，醫(yī)生通常建議在一個胚胎移植周期中只移植一枚胚胎。因此如何選擇一枚最具種植潛力的胚胎進行植入，對提高ivf成功率而言顯得至關(guān)重要。

4、胚胎發(fā)育過程可細分為16個連續(xù)的階段，具體包括，ppb2、ppna、ppnf、p2、p3、p4、p5、p6、p7、p8、p9+、pm、psb、pb、peb和phb。對胚胎發(fā)育階段的細粒度分類，可以更好的了解其發(fā)育狀態(tài)，因而對于選擇最有潛力的胚胎進行移植具有重要意義。

5、目前在臨床中，胚胎學家利用其專業(yè)知識和經(jīng)驗，通過觀察胚胎的形態(tài)特征和發(fā)育速度來選擇具有高潛力的胚胎，然而這種方法容易受到主觀作用的影響，存在標準不一、主觀誤差大及工作量繁重等問題。同時，不同地區(qū)、不同實驗室存在一定的技術(shù)水平差異。因此，迫切需要一種客觀且自動化的評價手段，為胚胎學家提供有效的輔助支持，同時為醫(yī)療水平欠缺地區(qū)的實驗室提供先進的技術(shù)，實現(xiàn)在更廣泛范圍內(nèi)推廣高效的ivf治療手段，最終提高全球范圍內(nèi)ivf成功率。

6、近年來，隨著深度學習神經(jīng)網(wǎng)絡(luò)的蓬勃發(fā)展，將深度學習技術(shù)應(yīng)用于輔助生殖領(lǐng)域的研究開始受到學術(shù)界的重視。深度學習技術(shù)有望實現(xiàn)對胚胎發(fā)育階段的準確分類，進而為醫(yī)生和胚胎學家提供豐富的信息，幫助醫(yī)生選擇發(fā)育狀態(tài)相對好的胚胎。

7、盡管基于深度學習的胚胎分類方法在輔助生殖領(lǐng)域取得了重大進展，但是這些方法仍然面臨著許多挑戰(zhàn)。具體而言，胚胎在不同發(fā)育階段表現(xiàn)出復雜的形態(tài)和結(jié)構(gòu)變化，因此提高胚胎發(fā)育的多階段分類的準確率，關(guān)鍵在于局部和全局特征的精確提取。然而，現(xiàn)有的基于深度學習的相關(guān)方法，在特征提取過程中可能存在信息丟失的問題，進而影響了胚胎發(fā)育多階段分類的準確性，從而可能影響后續(xù)ivf成功率。

技術(shù)實現(xiàn)思路

1、為克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種面向胚胎發(fā)育多階段分類的深度學習方法及系統(tǒng)，本方法及系統(tǒng)結(jié)合了雙分支局部特征融合模塊和transformer深度神經(jīng)網(wǎng)絡(luò)模塊，結(jié)合這兩種模塊的優(yōu)勢用于胚胎發(fā)育階段的分類，不僅能夠充分提取胚胎圖像的局部和全局信息，提高分類階段的準確率，同時為深度學習在ivf中的應(yīng)用提供了一種新思路。

2、為實現(xiàn)上述目的，本發(fā)明的一個或多個實施例提供了如下技術(shù)方案：

3、第一方面，本發(fā)明提供了一種面向胚胎發(fā)育多階段分類的深度學習方法，包括：

4、獲取胚胎圖像，對所述胚胎圖像進行預(yù)處理，得到預(yù)處理后的胚胎圖像；

5、對預(yù)處理后的胚胎圖像進行分塊操作，并將其輸入至雙分支局部特征融合模塊進行局部特征提取，得到含有細粒度局部特征的特征圖；

6、將所述含有細粒度局部特征的特征圖輸入至深度神經(jīng)網(wǎng)絡(luò)模塊進行全局特征提取和編碼，得到最終特征圖；

7、將所述最終特征圖輸入至分類器進行發(fā)育階段預(yù)測，輸出預(yù)測的胚胎發(fā)育階段。

8、進一步的技術(shù)方案，所述雙分支局部特征融合模塊包括并列連接的第一分支模塊和第二分支模塊，所述第一分支模塊捕獲輸入圖像的局部空間信息，所述第二分支模塊有效提取通道特征。

9、進一步的技術(shù)方案，依次按照順序連接全連接層和局部自注意力模塊，得到所述第一分支模塊，依次按照順序連接全連接層和深度卷積模塊，得到所述第二分支模塊。

10、進一步的技術(shù)方案，所述局部自注意力模塊和所述深度卷積模塊之間連接有跨分支交互融合模塊，實現(xiàn)跨分支特征交互和融合操作。

11、進一步的技術(shù)方案，所述跨分支交互融合模塊包括并列的通道交互模塊和空間交互模塊，通過通道交互模塊將所述深度卷積模塊提取的特征交互至局部自注意力模塊，通過空間交互模塊將空間關(guān)系從局部自注意力模塊傳遞到深度卷積模塊中。

12、進一步的技術(shù)方案，依次按照順序連接池化層、1×1的卷積層、批歸一化、gelu激活函數(shù)、1×1的卷積層和sigmoid函數(shù)，得到通道交互模塊，依次按照順序連接1×1的卷積層、批歸一化、gelu激活函數(shù)、1×1的卷積層和sigmoid函數(shù)，得到空間交互模塊。

13、進一步的技術(shù)方案，所述深度神經(jīng)網(wǎng)絡(luò)模塊具體為transformer編碼器模塊。

14、第二方面，本發(fā)明提供了一種面向胚胎發(fā)育多階段分類的深度學習系統(tǒng)，包括：

15、圖像獲取模塊，其被配置為：獲取胚胎圖像，對所述胚胎圖像進行預(yù)處理，得到預(yù)處理后的胚胎圖像；

16、局部特征提取模塊，其被配置為：對預(yù)處理后的胚胎圖像進行分塊操作，并將其輸入至雙分支局部特征融合模塊進行局部特征提取，得到含有細粒度局部特征的特征圖；

17、全局特征提取模塊，其被配置為：將所述含有細粒度局部特征的特征圖輸入至深度神經(jīng)網(wǎng)絡(luò)模塊進行全局特征提取和編碼，得到最終特征圖；

18、階段預(yù)測模塊，其被配置為：將所述最終特征圖輸入至分類器進行發(fā)育階段預(yù)測，輸出預(yù)測的胚胎發(fā)育階段。

19、第三方面，本發(fā)明提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如第一方面所述的一種面向胚胎發(fā)育多階段分類的深度學習方法中的步驟。

20、第四方面，本發(fā)明提供了一種計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如第一方面所述的一種面向胚胎發(fā)育多階段分類的深度學習方法中的步驟。

21、以上一個或多個技術(shù)方案存在以下有益效果：

22、本發(fā)明結(jié)合了雙分支局部特征融合模塊和transformer深度神經(jīng)網(wǎng)絡(luò)模塊，transformer深度神經(jīng)網(wǎng)絡(luò)模塊為全局特征提取模塊。雙分支局部特征融合模塊由局部自注意力模塊、深度卷積模塊和跨分支交互融合模塊組成，用于從胚胎圖像中有效地提取局部特征；transformer模塊中編碼器通過多頭自注意力和前饋神經(jīng)網(wǎng)絡(luò)，從輸入特征圖中提取全局上下文特征。本發(fā)明結(jié)合這兩種模塊的優(yōu)勢用于胚胎發(fā)育階段的分類，不僅能夠充分提取胚胎圖像的局部和全局信息，提高分類階段的準確率，同時為深度學習在ivf中的應(yīng)用提供了一種新思路。

23、本發(fā)明設(shè)計了一種新的基于transformer的雙分支局部特征融合網(wǎng)絡(luò)，可以從輸入胚胎圖像中進行局部和全局特征提取，有效地提高了胚胎發(fā)育多階段分類的準確性。

24、本發(fā)明提出了一個新的雙分支局部特征融合模塊，用于局部特征提取。雙分支局部特征融合模塊主要包括局部自注意力模塊、深度卷積模塊和跨分支交互融合模塊。局部自注意力模塊可以捕獲輸入圖像的局部空間信息，深度卷積模塊可以有效地提取通道特征，跨分支交互和融合模塊處理雙分支之間的特征交互。