本發(fā)明涉及圖像處理,尤其涉及一種基于深度學習的oct圖像智能分類處理方法及系統(tǒng)。
背景技術:
1、oct圖像即光學相干斷層成像,是一種具有無接觸、高分辨率等特點的新型眼科醫(yī)學診斷方法,現(xiàn)在已經作為醫(yī)生臨床診斷眼科疾病的重要參考物,尤其對于視網膜病變早期發(fā)現(xiàn)和臨床診斷來說至關重要。然而,oct圖像種類繁多,目前對于oct圖像分類主要依賴于人工經驗,不僅費時費力,給醫(yī)生帶來了較大的工作負擔,同時其分類的準確度也無法保證,從而影響診斷質量。
技術實現(xiàn)思路
1、為了解決上述提出的至少一個技術問題,本發(fā)明提供一種基于深度學習的oct圖像智能分類處理方法及系統(tǒng)。
2、第一方面,本發(fā)明提供了一種基于深度學習的oct圖像智能分類處理方法,所述方法包括:
3、獲取目標對象的oct圖像,對所述oct圖像進行降噪處理;
4、從降噪后的oct圖像中提取原始roi區(qū)域,對所述原始roi區(qū)域進行數(shù)據偏置場校正處理,得到目標roi區(qū)域;
5、對所述目標roi區(qū)域中每一種類型的特征進行局部特征提取,利用pca算法對所提取的每種特征的局部特征進行特征降維,生成目標特征;
6、將所述目標特征輸入至訓練好的oct圖像分類模型,生成分類結果。
7、優(yōu)選地,對所述oct圖像進行降噪處理,包括:
8、利用改進的卷積網絡模型對所述oct圖像進行降噪,所述改進的卷積網絡模型包括稀疏局部注意力模塊、深度提取模塊、全局注意力模塊和殘差模塊;
9、所述稀疏局部注意力模塊包括空洞卷積層、批歸一化層、relu激活層和卷積層;
10、所述深度提取模塊采用三層卷積提取網絡,每層卷積提取網絡包括批歸一化層、relu激活層和卷積層;
11、所述全局注意力模塊采用卷積核對于所述稀疏局部注意力模塊、所述深度提取模塊提取的特征進行壓縮,生成權重向量;所述權重向量用于調整所述稀疏局部注意力模塊、所述深度提取模塊的網絡權重。
12、優(yōu)選地,在所述利用改進的卷積網絡模型對所述oct圖像進行降噪之后,還包括:
13、利用評價指標對于降噪效果進行評價,所述評價指標為:
14、
15、式中,fpsnr表示峰值信噪比,max(i)表示圖像i中像素的最大灰度值,fmse為降噪圖像與真值圖像之間的均方誤差;w、h分別表示圖像的寬度和高度,id(x,y)表示降噪圖像的灰度值,ic(x,y)表示真值圖像的灰度值,(x,y)表示圖像像素點的坐標。
16、優(yōu)選地,所述從降噪后的oct圖像中提取原始roi區(qū)域,包括:
17、基于降噪后的oct圖像,去除空白邊緣,利用oct圖像中背景像素的平均值填補圖像的空白區(qū)域;
18、對填補后圖像進行全局閾值處理,生成第一視網膜結構圖像;
19、對閾值處理后的圖像進行中值濾波,去除視網膜中的黑色斑點,生成第二視網膜結構圖像;
20、對第二視網膜結構圖像進行二次多項式擬合,生成擬合曲線;
21、將不同視網膜結構圖像進行對齊,在對齊后將每一列像素向上或向下平移若干個像素,使得所述擬合曲線上的像素點位于同一水平線后,切割出原始roi區(qū)域。
22、優(yōu)選地,對所述目標roi區(qū)域中每一種類型的特征進行局部特征提取,包括:
23、將所述目標roi區(qū)域分割為若干個矩形塊,在每個所述矩形塊中計算每個像素的量化系數(shù);
24、在每個所述矩形塊上生成量化系數(shù)的直方圖,將所有所述直方圖合并,得到每一種特征的局部特征;
25、其中,所述局部特征的表達式為:
26、
27、式中,(x,y)為像素點坐標,wu表示頻率為u的二維離散傅里葉變換的基向量,表示基向量wu的轉置,j表示第j個分量,fx表示nx中m2個像素的灰度值所組成的向量,nx為m×m的矩形鄰域。
28、優(yōu)選地,所述oct圖像分類模型采用mobilenet網絡訓練得到;所述mobilenet網絡包括:
29、多特征融合模塊,用于將所述目標特征進行多特征融合,生成融合特征圖;所述多特征融合包括通道層特征融合和空間層特征融合;
30、通道注意力模塊,用于將所述融合特征圖進行平均池化,將平均池化后的壓縮圖像經過兩次卷積,并通過sigmoid函數(shù)激活,將激活后的特征圖和輸入的融合特征圖相乘,得到通道輸出特征圖;
31、空間注意力模塊,用于對所述通道輸出特征圖依次進行最大池化和平均池化進行處理,將處理后的特征圖輸入至卷積核為8×8的卷積層中,在通過sigmoid函數(shù)激活之后與所述通道輸出特征圖相乘,生成最終的分類特征圖。
32、優(yōu)選地,所述目標特征的表達式為:
33、
34、公式中,fadd為目標特征,ki表示卷積核,*表示卷積,di視網膜平伏程度,zi為黃斑中心凹陷程度,vi為視網膜神經纖維寬度,i=1,2,3…n。
35、第二方面,本發(fā)明還提供了一種基于深度學習的oct圖像智能分類處理系統(tǒng),所述系統(tǒng)包括:
36、降噪單元,用于獲取目標對象的oct圖像,對所述oct圖像進行降噪處理;
37、roi區(qū)域生成單元,用于從降噪后的oct圖像中提取原始roi區(qū)域,對所述原始roi區(qū)域進行數(shù)據偏置場校正處理,得到目標roi區(qū)域;
38、目標特征生成單元,用于對所述目標roi區(qū)域中每一種類型的特征進行局部特征提取,利用pca算法對所提取的每種特征的局部特征進行特征降維,生成目標特征;
39、oct圖像分類單元,用于將所述目標特征輸入至訓練好的oct圖像分類模型,生成分類結果。
40、第三方面,本發(fā)明還提供了一種電子設備,包括:處理器和存儲器,所述存儲器用于存儲計算機程序代碼,所述計算機程序代碼包括計算機指令,當所述處理器執(zhí)行所述計算機指令時,所述電子設備執(zhí)行如上述第一方面及其任意一種可能實現(xiàn)的方式的方法。
41、第四方面,本發(fā)明還提供了一種計算機可讀存儲介質,所述計算機可讀存儲介質中存儲有計算機程序,所述計算機程序包括程序指令,所述程序指令當被電子設備的處理器執(zhí)行時,使所述處理器執(zhí)行如上述第一方面及其任意一種可能實現(xiàn)的方式的方法。
42、與現(xiàn)有技術相比,本發(fā)明的有益效果在于:
43、本發(fā)明提供了一種基于深度學習的oct圖像智能分類處理方法,首先獲取目標對象的oct圖像,對所述oct圖像進行降噪處理。在降噪處理時主要利用改進的卷積網絡模型進行無監(jiān)督降噪,該模型包含了稀疏局部注意力模塊、深度提取模塊、全局注意力模塊和殘差模塊,能夠在數(shù)據集不充分時依然實現(xiàn)良好的降噪性能,泛化能力強,為后續(xù)處理提供了質量較優(yōu)的圖像樣本。在提取roi區(qū)域時,通過像素填補、全局閾值處理、中值濾波、多項式擬合及圖像切割,生成原始roi區(qū)域,進一步經過偏置場校正得到目標roi區(qū)域;在特征提取時,通過對多種類型的特征進行局部特征提取,以及利用pca算法實現(xiàn)的特征降維,能夠大大降低運算量,提高識別效率。最后將多特征融合,基于改進的mobilenet網絡進行oct圖像分類,能夠快速、準確地完成oct圖像,相比于人工經驗分類來說,具有效率高、準確度高的優(yōu)點。
44、應當理解的是,以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的,而非限制本公開。