本發(fā)明涉及生物醫(yī)學圖像處理，更具體的，涉及一種基于自監(jiān)督學習的冷凍電子斷層掃描圖像去噪方法。

背景技術：

1、冷凍電子斷層掃描(cryo-electron?tomography,cryo-et)是目前唯一能夠以納米分辨率在三維空間中原位可視化細胞的方法。通過快速冷凍樣品并從不同角度拍攝一系列二維圖像(稱為傾斜系列投影圖像)，cryo-et能夠重建出三維結構，為生物醫(yī)學和藥物設計等領域提供了重要的結構信息。在其原生環(huán)境中，蛋白質通常不是單獨執(zhí)行生物學功能，而是與各種伙伴在復雜網絡中協(xié)同工作。為了全面理解大分子蛋白質復合物的功能，結構分析至關重要，而cryo-et正是實現這一目標的強大工具。然而，由于cryo-et在拍攝圖像時存在諸多限制，如低電子劑量拍攝以減少輻射損傷以及冰的厚度，導致圖像噪聲水平高且對比度低，這給后續(xù)的圖像分析帶來了極大的挑戰(zhàn)。因此，圖像去噪成為cryo-et圖像處理中一個基礎且極其重要的環(huán)節(jié)。通過去噪可以提高cryo-et圖像的信噪比(signal-to-noise?ratio,snr)，增強圖像的細節(jié)和結構特征，使得后續(xù)的數據處理和分析更加準確可靠。

2、提高cryo-et圖像信噪比的傳統(tǒng)方法包括各種濾波技術，如高斯濾波、中值濾波和非局部均值濾波等。這些方法在一定程度上可以去除噪聲，但往往也會導致圖像細節(jié)的丟失。此外，頻域濾波如傅里葉變換濾波和小波變換濾波也被廣泛應用，但同樣面臨細節(jié)損失的問題。其中，基于塊匹配和四維濾波方法(block-matching?and?4d?filtering,bm4d)是傳統(tǒng)方法中較為先進的一種，bm4d通過在圖像內部搜索相似的塊，并將這些相似塊組合成四維數據集，然后應用四維變換域中的硬閾值技術來實現去噪。盡管bm4d在去噪方面表現出色，但對于信噪比極低的cryo-et圖像，其去噪效果仍有改進空間，特別是在背景噪聲的抑制方面存在不足。

3、隨著近些年神經網絡的發(fā)展，特別是深度學習的快速進步，基于人工智能的cryo-et圖像去噪方法在性能上超過傳統(tǒng)方法。由于有監(jiān)督學習去噪方法依賴于大量的帶噪聲—無噪聲圖像，而在cryo-et中這樣的無噪聲圖像很難獲得。相比之下，自監(jiān)督學習不需要無噪聲參考圖像，因此在cryo-et領域中更為適用。近年來，noise2noise(n2n)和noise2void(n2v)已成為自監(jiān)督去噪模型的兩個主要分支。具體而言，n2n利用成對的噪聲圖像進行訓練，即使沒有干凈的參考圖像，通過學習從一個噪聲圖像到另一個噪聲圖像的映射，仍能實現去噪效果。n2v則進一步簡化，只需要單個噪聲圖像進行訓練，利用圖像本身的冗余性和局部相似性，通過掩蓋部分像素并預測其值，來學習圖像的內在結構特征。

4、2019年，buchholz等人首次將卷積神經網絡(convolutional?neural?network,cnn)應用于冷凍電鏡圖像去噪中，該方法結合了n2n的思想，提出了基于雙層u-net結構的cryo-care網絡。該網絡通過成對的噪聲圖像而非成對的噪聲和干凈圖像進行訓練，相較于傳統(tǒng)方法增加了圖像的對比度。然而，cryo-care的模型相對簡單，特征提取和恢復能力有限，背景噪聲去除效果不足。2020年，bepler等人提出了topaz通用去噪模型，topaz采用六層u-net網絡，使用通過在各種成像條件下收集的數千張冷凍電鏡圖像組成的數據集進行訓練。該通用模型無需額外訓練即可對新數據集進行去噪，增加了方法的泛化能力并進一步提升去噪效果。然而，在面對噪聲較復雜的圖像時，topaz容易導致圖像過于光滑，丟失細節(jié)信息。2021年，yang等人提出了sc-net，利用稀疏性約束和n2v的思想，提高了圖像恢復的質量，但去噪后的圖像存在偽影，圖像整體較模糊。其中，偽影的產生主要源于圖像處理中的下采樣過程，特別是當圖像含有高頻成分—即圖像中的細節(jié)或快速變化部分。在未經適當處理直接進行下采樣的情況下，這些高頻成分可能無法在降低后的分辨率中得到準確的呈現。結果，就可能出現高頻成分與低頻成分紊亂混合，產生錯誤的低頻信號，從而導致混疊?；殳B效應的直接后果是圖像失真、產生偽影，表現為不自然的圖案或邊緣。這種失真不僅降低了圖像的視覺質量，也會影響到基于這些圖像進行的后續(xù)處理和分析工作的有效性。

5、由于現有的cryo-et圖像去噪方法去噪后的圖像過于平滑，存在偽影以及重要的細節(jié)信息模糊等問題，如何發(fā)明一種既能去除偽影，又能保留細節(jié)信息的方法，是本技術領域亟待解決的問題。

技術實現思路

1、本發(fā)明為了解決現有技術去噪后的圖像過于平滑、存在偽影的問題，提出了一種基于自監(jiān)督學習的冷凍電子斷層掃描圖像去噪方法，去噪后的圖像具有信噪比高、細節(jié)清晰的特點。

2、為實現上述本發(fā)明目的，采用的技術方案如下：

3、一種基于自監(jiān)督學習的冷凍電子斷層掃描圖像去噪方法，包括以下步驟：s1.獲得冷凍電子斷層掃描的傾斜系列投影圖像，對其進行三維重建，得到噪聲圖像v(x)；s2.對傾斜系列投影圖像進行二維去噪,得到去噪后的傾斜系列投影圖像，并將其重建為平滑圖像s3.將v(x)和分別裁剪成一系列重疊圖像塊，并將噪聲圖像塊利用平均體積盲點替換策略構造訓練數據對；s4.構建結合抗偽影池化層和特征聚焦注意力模塊的去噪模型；s5.將訓練數據對和對應的平滑圖像塊輸入到去噪模型中進行訓練，直到模型收斂。

4、優(yōu)選的，所述的步驟s1中，對傾斜系列投影圖像進行三維重建，得到噪聲圖像v(x)，具體為：先對原始傾斜系列投影圖像利用imod軟件進行對齊等一系列預處理操作，然后重建為三維噪聲圖像。

5、進一步的，所述的步驟s2中，對傾斜系列投影圖像進行二維去噪，然后重建為平滑圖像具體為：使用topaz二維去噪預訓練模型對傾斜系列中的每張二維圖像進行去噪處理，得到去噪后的傾斜系列投影圖像，接著，利用imod軟件將這些去噪后的圖像重建為平滑三維圖像。盡管topaz預訓練模型可以減少噪聲，但同時也會導致圖像細節(jié)的丟失，從而使得重建得到的三維cryo-et圖像呈現出平滑的效果，這種平滑的圖像可以為去噪網絡提供關于圖像梯度的先驗知識。

6、進一步的，所述的步驟s3中，將v(x)和分別裁剪成一系列重疊圖像塊，并將噪聲圖像塊利用平均體積盲點替換策略構造訓練數據對，具體為：將噪聲圖像和平滑圖像分別裁剪成大小為128×128×128重疊的圖像塊，并通過旋轉和鏡像進行增強操作。平均體積盲點替換策略具體為：在每次訓練迭代中，隨機從噪聲三維圖像塊v(x)中選擇一組體素，對于每個被選中的體素，將其n-1個鄰近體素一同考慮在內，然后，從這些體素的局部鄰近區(qū)域內隨機選取m個n×n×n體積塊，并計算其平均值，用這個平均值替換原圖像塊中的相應位置，形成替換后的體積塊v′(x)，被替換的體積塊v′(x)作為輸入，連同作為目標的原始輸入塊v(x)在每次迭代中組成一個訓練數據對。

7、進一步的，所述的步驟s4中，構建結合抗偽影池化層和特征聚焦注意力模塊的去噪模型具體為：首先構建一個最近鄰上采樣模塊，然后構建一個結合抗偽影池化層和特征聚焦注意力模塊的u-net型去噪網絡，最后構建一個最近鄰下采樣模塊，輸入的數據經過最近鄰上采樣模塊，然后被送到去噪網絡中，對去噪網絡的輸出再進行最近鄰下采樣就得到與輸入大小相同的去噪圖像。

8、更進一步的，本文u-net型去噪網絡中基本的卷積塊包括一個大小為3×3×3的conv3d層、一個batchnorm3d層和一個k＝0.1的leakyrelu層。編碼器中的下采樣采用抗偽影池化層，解碼器中的上采樣為最近鄰上采樣。編碼器和解碼器對應層均有跳躍連接，在每一對跳躍連接中間插入了特征聚焦注意力模塊以重點關注重要特征。

9、更進一步的，本文u-net型去噪網絡中的抗偽影池化層具體為：抗偽影池化層包括一個三維最大池化層、一個具有高斯模糊核的深度卷積層和一個三線性插值下采樣層。三維最大池化層用來增強特征圖中顯著的特征，同時通過設置stride＝1和適當的padding保持了特征圖的原始空間尺寸，為后續(xù)的高斯模糊處理做準備。深度卷積層應用高斯模糊核來平滑特征圖，以減少噪聲和細節(jié)的高頻成分，從而減少混疊偽影。三線性插值下采樣層用來下采樣圖像，降低特征圖的空間尺寸?？箓斡俺鼗瘜邮紫韧ㄟ^最大池化強化特征，然后通過深度卷積應用模糊，最后通過三線性插值下采樣，實現了在下采樣過程中減少混疊偽影并保留圖像重要細節(jié)的效果。

10、更進一步的，本文u-net型去噪網絡中的特征聚焦注意力模塊具體為：首先，將輸入編碼器對應層的跳躍連接和來自解碼器的特征分別通過一個1×1×1conv3d層和batchnorm3d層，以調整特征圖的通道數。接著，將這兩部分特征進行融合，并通過一個relu激活函數進行非線性變換。隨后，激活后的特征再次經過一個1×1×1conv3d卷積層和batchnorm3d層，使輸出通道數變?yōu)?。接著，通過一個sigmoid激活函數將輸出限制在0到1之間。最終，sigmoid激活后的輸出與初始的跨連接輸入部分進行逐元素相乘，生成最終的輸出。這一過程旨在通過更深層次的特征調整輸入跨連接部分特征的強度，增強重要特征的表達，同時抑制不重要的特征。

11、更進一步的，對于去噪模型的訓練構造了一個組合損失函數，組合損失函數為：

12、l＝λ1lstr+λ2lgrad+λ3ltv+λ4lreg

13、其中，lstr為結構保持損失函數，用于恢復圖像的結構信息；lgrad為梯度指導損失函數，用于指導網絡在去噪的同時平滑圖像；ltv為二階總變分損失函數，用來在去噪的同時指導網絡保留更多圖像細節(jié)，使去噪后的圖像更自然；lreg為正則化項，通過對網絡輸出圖像的一階梯度進行約束，防止模型在訓練過程中過度擬合訓練數據。

14、更進一步的，結構保持損失函數專注于盲點替換后的體素，用于保留結構信息，同時減少噪聲，計算公式為：

15、

16、其中vi′(x)是對第i個圖像塊進行盲點替換后得到的圖像塊,fθ(vi′(x))是網絡模型的輸出，⊙表示為逐元素相乘，m是一個三維掩碼，用于指示vi′(x)中的體素(x,y,z)是否進行了盲點替換，如果替換則為1，否則為0。

17、所述的梯度指導損失函數具體為：由于圖像的平滑區(qū)域其梯度值很小，相反圖像的紋理或細節(jié)區(qū)域其梯度值顯著增大，因此圖像的梯度可以用來指示平滑和紋理細節(jié)區(qū)域，通過最小化平滑圖像和網絡輸出圖像梯度之間的差異可以達到保持圖像的局部平滑性。

18、本文利用sobel算子作為梯度特征提取器，計算公式為：

19、

20、其中為卷積操作符，為圖像塊，gx和gy分別是兩個維度上的sobel算子，具體如下：

21、

22、因此，梯度指導損失函數計算公式為：

23、

24、二階總變分損失函數計算公式為:

25、

26、其中，n是圖像塊的像素總數，fθ(vi′(x)是網絡模型的輸出，gx′和gy′和gz′是拉普拉斯算子，具體為：

27、

28、正則化項的計算公式為：

29、

30、更進一步的，采用adam優(yōu)化器對冷凍電子斷層掃描圖像去噪模型進行優(yōu)化，其中adam的超參數設置為：β1＝0.5，β2＝0.999，初始學習率為0.0005。同時，使用reducelronplateau學習率調度器，根據模型在訓練過程中的性能動態(tài)調整學習率。通過這種方法，學習率會根據模型的表現不斷調整，從而優(yōu)化去噪模型的參數。當損失函數達到最小時，冷凍電子斷層掃描圖像去噪模型的訓練即告完成。

31、本發(fā)明的有益效果如下：

32、本發(fā)明公開了一種基于自監(jiān)督學習的冷凍電子斷層掃描圖像去噪方法。針對冷凍電子斷層掃描圖像信噪比極低且不存在干凈的參考圖像、現有方法去噪后的圖像過于平滑且存在偽影等問題，本發(fā)明提出了一種結合抗偽影池化層和特征聚焦注意力模塊的u-net去噪模型，并結合梯度指導損失和二階總變分損失進行網絡訓練。該方法在有效去除噪聲的同時，保留了圖像細節(jié)區(qū)域并減少了混疊偽影，由此解決了上述問題。去噪后的圖像具有信噪比高、細節(jié)清晰的特點。