本發(fā)明涉及圖像處理技術(shù)領(lǐng)域,尤其涉及一種視網(wǎng)膜圖像分類方法及裝置。
背景技術(shù):
醫(yī)學(xué)的發(fā)展與人類的健康密切相關(guān),因此數(shù)字圖像處理技術(shù)從一開始就引起了生物醫(yī)學(xué)界的濃厚興趣。早在七十年代末就有文獻(xiàn)統(tǒng)計(jì)指出圖像處理的一個(gè)十分廣泛的應(yīng)用場合是醫(yī)學(xué)圖像處理。醫(yī)學(xué)上不論在基礎(chǔ)學(xué)科還是臨床應(yīng)用,都是圖像處理種類極多的領(lǐng)域。但是由于醫(yī)學(xué)圖像的處理技術(shù)難度大,使得很多處理很難達(dá)到臨床實(shí)用化程度。近年來,隨著數(shù)字圖像處理設(shè)備成木的降低,用數(shù)字圖像處理技術(shù)改善各類醫(yī)學(xué)圖像質(zhì)量已達(dá)到實(shí)用階段。
視網(wǎng)膜病變是致盲的主要原因之一。此外,高血壓、腦血管硬化、冠狀動(dòng)脈硬化等心腦血管疾病是目前我國老年人死亡和致殘的主要原因,此類疾病損傷的組織水平首先是在微循環(huán)和微血管層次的變化。眼底視網(wǎng)膜微血管是人體唯一可以非創(chuàng)傷性直接觀察的較深層的微血管,它的改變程度與高血壓等疾病的病程、嚴(yán)重程度及愈后情況密切相關(guān)。通過對(duì)視網(wǎng)膜血管系統(tǒng)的檢查可以發(fā)現(xiàn)高血壓,糖尿病,動(dòng)脈硬化等疾病。
現(xiàn)有技術(shù)中大多通過檢查和評(píng)估視網(wǎng)膜數(shù)字彩色照片,以對(duì)視網(wǎng)膜病變的情況進(jìn)行判斷,非常費(fèi)時(shí)費(fèi)力。因此,現(xiàn)有的亟待解決的技術(shù)問題之一為:如何提供一種高效率、高準(zhǔn)確度的視網(wǎng)膜圖像分類方法。
技術(shù)實(shí)現(xiàn)要素:
為了解決上述技術(shù)問題,本申請一方面提供了一種視網(wǎng)膜圖像分類方法,包括:
獲取樣本視網(wǎng)膜圖像;
提取所述樣本視網(wǎng)膜圖像的感興趣區(qū)域,并提取所述感興趣區(qū)域中的視盤區(qū)域和血管區(qū)域;
提取所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像特征訓(xùn)練圖像分類器;
獲取待分類的目標(biāo)視網(wǎng)膜圖像;
提取所述目標(biāo)視網(wǎng)膜圖像的目標(biāo)感興趣區(qū)域,并提取所述目標(biāo)感興趣區(qū)域中的視盤區(qū)域和血管區(qū)域;
提取所述目標(biāo)感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像分類器對(duì)所述目標(biāo)視網(wǎng)膜圖像進(jìn)行分類。
可選地,所述提取所述樣本視網(wǎng)膜圖像的感興趣區(qū)域,包括:
獲取所述樣本視網(wǎng)膜圖像對(duì)應(yīng)的二值化圖像,并對(duì)所述二值化圖像極性膨脹和腐蝕處理,以得到所述感興趣區(qū)域。
可選地,所述提取所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像特征訓(xùn)練圖像分類器,包括:
從所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域中,隨機(jī)提取多個(gè)圖像小塊;
根據(jù)神經(jīng)網(wǎng)絡(luò)算法提取所述多個(gè)圖像小塊的圖像特征,并根據(jù)所述圖像特征確定最終圖像特征,以根據(jù)所述最終圖像特征訓(xùn)練圖像分類器。
可選地,所述提取所述感興趣區(qū)域中的視盤區(qū)域,包括:
對(duì)所述感興趣區(qū)域作高斯金字塔分解,并在分解得到的最后一級(jí)圖像中,以灰度最大的點(diǎn)為視盤中心、以預(yù)設(shè)長度為半徑確定目標(biāo)圓型區(qū)域,以將所述圓形區(qū)域作為所述視盤區(qū)域。
可選地,所述樣本視網(wǎng)膜圖像為RGB三通道圖像;
相應(yīng)地,所述提取所述感興趣區(qū)域中的血管區(qū)域,包括:
首先選取所述三通道圖像中的綠色通道圖像Ig,對(duì)所述綠色通道圖像Ig進(jìn)行開運(yùn)算得到圖像;
對(duì)所述圖像進(jìn)行差值運(yùn)算以及中值濾波得到Igo圖像;
對(duì)所述Igo圖像進(jìn)行開運(yùn)算并與所述Igo圖像進(jìn)行差運(yùn)算得到圖像;
對(duì)所述圖像采用Ostu分割法進(jìn)行分割,得到所述血管區(qū)域。
可選地,所述圖像分類器包括softmax分類器。
另一方面,本發(fā)明還提供了一種視網(wǎng)膜圖像分類裝置,包括:
樣本圖像獲取單元,用于獲取樣本視網(wǎng)膜圖像;
圖像區(qū)域提取單元,用于提取所述樣本視網(wǎng)膜圖像的感興趣區(qū)域,并提取所述感興趣區(qū)域中的視盤區(qū)域和血管區(qū)域;
分類器訓(xùn)練單元,用于提取所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像特征訓(xùn)練圖像分類器;
目標(biāo)圖像獲取單元,用于獲取待分類的目標(biāo)視網(wǎng)膜圖像;
目標(biāo)區(qū)域獲取單元,用于提取所述目標(biāo)視網(wǎng)膜圖像的目標(biāo)感興趣區(qū)域,并提取所述目標(biāo)感興趣區(qū)域中的視盤區(qū)域和血管區(qū)域;
目標(biāo)圖像分類單元,用于提取所述目標(biāo)感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像分類器對(duì)所述目標(biāo)視網(wǎng)膜圖像進(jìn)行分類。
可選地,所述圖像區(qū)域提取單元具體用于獲取所述樣本視網(wǎng)膜圖像對(duì)應(yīng)的二值化圖像,并對(duì)所述二值化圖像極性膨脹和腐蝕處理,以得到所述感興趣區(qū)域。
可選地,所述分類器訓(xùn)練單元具體用于:
從所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域中,隨機(jī)提取多個(gè)圖像小塊;
根據(jù)神經(jīng)網(wǎng)絡(luò)算法提取所述多個(gè)圖像小塊的圖像特征,并根據(jù)所述圖像特征確定最終圖像特征,以根據(jù)所述最終圖像特征訓(xùn)練圖像分類器。
可選地,所述圖像區(qū)域提取單元具體用于對(duì)所述感興趣區(qū)域作高斯金字塔分解,并在分解得到的最后一級(jí)圖像中,以灰度最大的點(diǎn)為視盤中心、以預(yù)設(shè)長度為半徑確定目標(biāo)圓型區(qū)域,以將所述圓形區(qū)域作為所述視盤區(qū)域。
本發(fā)明的視網(wǎng)膜圖像分類方法及裝置,通過提取樣本視網(wǎng)膜圖像的感興趣區(qū)域,并提取所述感興趣區(qū)域中的視盤區(qū)域和血管區(qū)域,再提取所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像特征訓(xùn)練圖像分類器,進(jìn)而提取目標(biāo)視網(wǎng)膜圖像的目標(biāo)感興趣區(qū)域,并提取所述目標(biāo)感興趣區(qū)域中的視盤區(qū)域和血管區(qū)域,并提取所述目標(biāo)感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像分類器對(duì)所述目標(biāo)視網(wǎng)膜圖像進(jìn)行分類,可以提高視網(wǎng)膜圖像分類的效率和準(zhǔn)確度,簡單易行,適用范圍廣。
附圖說明
為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實(shí)施例,對(duì)于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動(dòng)的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1為本發(fā)明一個(gè)實(shí)施例的視網(wǎng)膜圖像分類方法的流程示意圖;
圖2為本發(fā)明一個(gè)實(shí)施例的樣本視網(wǎng)膜圖像;
圖3為本發(fā)明一個(gè)實(shí)施例的感興趣區(qū)域示意圖;
圖4為本發(fā)明一個(gè)實(shí)施例的視盤區(qū)域和血管區(qū)域示意圖;
圖5為本發(fā)明一個(gè)實(shí)施例的視網(wǎng)膜圖像分類裝置的結(jié)構(gòu)示意圖。
具體實(shí)施方式
為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚,下面將結(jié)合本發(fā)明實(shí)施例中的附圖,對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚地描述,顯然,所描述的實(shí)施例是本發(fā)明一部分實(shí)施例,而不是全部的實(shí)施例?;诒景l(fā)明中的實(shí)施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例,都屬于本發(fā)明保護(hù)的范圍。
圖1為本發(fā)明一個(gè)實(shí)施例的視網(wǎng)膜圖像分類方法的流程示意圖;如圖1所示,該方法包括:
S1:獲取樣本視網(wǎng)膜圖像;
舉例來說,首先選取一定數(shù)量(例如N幅)的已知分類的圖像作為訓(xùn)練圖像{(x(1),c(1)),...,(x(N),c(N))},其中c=1,2,3,4,5表示類別,每類圖像數(shù)目大致相等。
S2:提取所述樣本視網(wǎng)膜圖像的感興趣區(qū)域,并提取所述感興趣區(qū)域中的視盤區(qū)域和血管區(qū)域;
作為本實(shí)施例的優(yōu)選,本步驟中所述提取所述樣本視網(wǎng)膜圖像的感興趣區(qū)域,可以包括:
獲取所述樣本視網(wǎng)膜圖像對(duì)應(yīng)的二值化圖像,并對(duì)所述二值化圖像極性膨脹和腐蝕處理,以得到所述感興趣區(qū)域。
進(jìn)一步地,作為本實(shí)施例的優(yōu)選,本步驟中所述提取所述感興趣區(qū)域中的視盤區(qū)域,包括:
對(duì)所述感興趣區(qū)域作高斯金字塔分解,并在分解得到的最后一級(jí)圖像中,以灰度最大的點(diǎn)為視盤中心、以預(yù)設(shè)長度為半徑確定目標(biāo)圓型區(qū)域,以將所述圓形區(qū)域作為所述視盤區(qū)域。
舉例來說,對(duì)每個(gè)圖像提取感興趣區(qū)。將彩色數(shù)字圖像轉(zhuǎn)換為灰度圖像,灰度值G采用以公式(1)運(yùn)算:
G=0.2989*R+0.5870*G+0.1140*B (1)
在此基礎(chǔ)上,將灰度值的最小值映射到0,最大值映射到255,其它值線性拉伸,然后統(tǒng)計(jì)直方圖;獲得該圖像各個(gè)灰度值對(duì)應(yīng)的像素個(gè)數(shù);再尋找像素c1~c2間,像素?cái)?shù)目最少對(duì)應(yīng)的灰度值,將大于該灰度值的像素值置為1,小于該像素的值置為0,再對(duì)該二值化圖像分別進(jìn)行膨脹和腐蝕運(yùn)算,得到感興趣區(qū)域(參見圖3);其中,c1優(yōu)選為5到10之間的值,c2優(yōu)選為40到80之間的值;
對(duì)所述圖像進(jìn)行視盤提取;具體地,對(duì)所述圖像進(jìn)行高斯金字塔分解,并在分解得到的最后一級(jí)圖像中取灰度最大的點(diǎn)為視盤中心(即以此為圓心)作半徑為r的圓,該圓形區(qū)域即為視盤區(qū)域(參見圖4)。
S3:提取所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像特征訓(xùn)練圖像分類器(如softmax分類器);
進(jìn)一步地,作為本實(shí)施例的優(yōu)選,所述樣本視網(wǎng)膜圖像為RGB三通道圖像;
相應(yīng)地,本步驟中所述提取所述感興趣區(qū)域中的血管區(qū)域,可以包括:
首先選取所述三通道圖像中的綠色通道圖像Ig,對(duì)所述綠色通道圖像Ig進(jìn)行開運(yùn)算得到圖像;
對(duì)所述圖像進(jìn)行差值運(yùn)算以及中值濾波得到Igo圖像;
對(duì)所述Igo圖像進(jìn)行開運(yùn)算并與所述Igo圖像進(jìn)行差運(yùn)算得到圖像;
對(duì)所述圖像采用Ostu分割法進(jìn)行分割,得到所述血管區(qū)域。
進(jìn)一步地,作為本實(shí)施例的優(yōu)選,步驟S3中所述提取所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像特征訓(xùn)練圖像分類器,還可以包括:
從所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域中,隨機(jī)提取多個(gè)圖像小塊;
根據(jù)神經(jīng)網(wǎng)絡(luò)算法提取所述多個(gè)圖像小塊的圖像特征,并根據(jù)所述圖像特征確定最終圖像特征,以根據(jù)所述最終圖像特征訓(xùn)練圖像分類器。
S4:獲取待分類的目標(biāo)視網(wǎng)膜圖像;
S5:提取所述目標(biāo)視網(wǎng)膜圖像的目標(biāo)感興趣區(qū)域,并提取所述目標(biāo)感興趣區(qū)域中的視盤區(qū)域和血管區(qū)域;
S6:提取所述目標(biāo)感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像分類器對(duì)所述目標(biāo)視網(wǎng)膜圖像進(jìn)行分類。
下面以一具體的實(shí)施例來說明本發(fā)明,但不限定本發(fā)明的保護(hù)范圍。
本實(shí)施例的視網(wǎng)膜圖像分類方法包括以下步驟:
A1:獲取樣本視網(wǎng)膜圖像,其中,所述圖像為彩色數(shù)字圖像(參見圖2),以R,G,B三個(gè)通道存儲(chǔ),總共分為五類。首先選取一定數(shù)量(N)的已知分類的圖像作為訓(xùn)練圖像{(x(1),c(1)),...,(x(N),c(N))},c=1,2,3,4,5表示類別,且每類圖像數(shù)目大致相等;
A2:對(duì)每個(gè)圖像提取感興趣區(qū)。將彩色數(shù)字圖像轉(zhuǎn)換為灰度圖像,灰度值G采用下面公式(1)運(yùn)算:
G=0.2989*R+0.5870*G+0.1140*B (1)
將灰度值的最小值映射到0,最大值映射到255,其它值線性拉伸,然后統(tǒng)計(jì)直方圖。獲得該圖像各個(gè)灰度值對(duì)應(yīng)的像素個(gè)數(shù)。尋找像素c1~c2間,像素?cái)?shù)目最少對(duì)應(yīng)的灰度值,將大于該灰度值的像素值置為1,小于該像素的值置為0,再對(duì)該二值圖分別作膨脹和腐蝕運(yùn)算,得到感興趣區(qū)域(參見圖3),c1可以取為5~10之間的值,c2可以取為40~80之間的值。
A3:對(duì)每幅圖像提取視盤;
具體地,對(duì)所述圖像進(jìn)行高斯金字塔分解,在分解得到的最后一級(jí)圖像中取灰度最大的點(diǎn)為視盤中心(以此為圓心),作半徑為r的圓,該圓形區(qū)域即為視盤區(qū)域(參見圖4中的圓形區(qū)域)。
A4:對(duì)每幅圖像進(jìn)行血管提??;
具體地,首先選取綠色通道圖像Ig,對(duì)其進(jìn)行開運(yùn)算得到做差值運(yùn)算得到并做中值濾波得到Igo;對(duì)Igo做開運(yùn)算并與Igo做差運(yùn)算得到對(duì)其采用Ostu分割法進(jìn)行分割得到分割結(jié)果(參見圖4)。
A5:剪裁圖像背景區(qū)域,并將其縮放成較小的圖像sx×sy×3,例如128x128x3。
A6:獲取圖像小塊;具體地,對(duì)于每個(gè)縮小的圖像,在感興趣區(qū)內(nèi)避開視盤和血管區(qū)域,隨機(jī)提取n個(gè)圖像小塊,其大小為px×py×3,n大于100。
A7:對(duì)所有的訓(xùn)練分類器的樣本圖像進(jìn)行步驟A2~A6的處理,得到大量的小圖像塊;
A8:從步驟A7中獲得的小圖像塊中學(xué)習(xí)特征;
具體地,采用3層神經(jīng)網(wǎng)絡(luò),第一層和第三層單元數(shù)目為每個(gè)圖像小塊的像素總和(Np=px×py×3),第二層中單元數(shù)目為Y,小于1000,故第一層各個(gè)單元的數(shù)據(jù)為圖像小塊的像素值xi,然后經(jīng)過權(quán)值以及偏移量作為第二層的輸入,得到相應(yīng)的輸出其中,f為sigmoid函數(shù);將該值作為第三層的輸入,同樣經(jīng)過加權(quán)和偏移計(jì)算得到輸出故總的訓(xùn)練參數(shù)為2Np×Y+Y+Np,訓(xùn)練時(shí)令輸出值近似等于輸入值,即代價(jià)函數(shù)為:對(duì)其優(yōu)化得到對(duì)應(yīng)的參數(shù)值;
A9:特征提?。痪唧w地,步驟A8得到的W1,該特征大小為px×py×3×Y。對(duì)于步驟A5得到的圖像,對(duì)其每個(gè)小塊px×py和上述特征做卷積,得到圖像大小為(sx-px)×(sy-py)+1,卷積特征大小為(sx-px+1)×(sy-py+1)×Y;將該特征劃分到若干個(gè)大小為m×n的不重疊的區(qū)域,取該區(qū)域的均值為最終特征,其大小為Θ=floor[(sx-px+1)/m]×floor[(sy-py+1)/n]×Y;
A10:采用步驟A9得到的最終特征,訓(xùn)練softmax分類器,對(duì)應(yīng)的代價(jià)函數(shù)為:
訓(xùn)練參數(shù)個(gè)數(shù)c×Θ,λ為一常數(shù);其中1{值為真的表達(dá)式}=1,1{值為假的表達(dá)式}=0;優(yōu)化該代價(jià)函數(shù)使其達(dá)到最小值,得到分類器的各個(gè)參數(shù)
A11:對(duì)于一個(gè)需要判斷類別的圖像I,按步驟A2到A8進(jìn)行處理,得到對(duì)應(yīng)的特征y,長度為Θ,計(jì)算θopty,其最大值對(duì)應(yīng)的類別即為分類結(jié)果。
圖5為本發(fā)明一個(gè)實(shí)施例的視網(wǎng)膜圖像分類裝置的結(jié)構(gòu)示意圖;如圖5所示,該裝置包括:
樣本圖像獲取單元10,用于獲取樣本視網(wǎng)膜圖像;
圖像區(qū)域提取單元20,用于提取所述樣本視網(wǎng)膜圖像的感興趣區(qū)域,并提取所述感興趣區(qū)域中的視盤區(qū)域和血管區(qū)域;
分類器訓(xùn)練單元30,用于提取所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像特征訓(xùn)練圖像分類器;
目標(biāo)圖像獲取單元40,用于獲取待分類的目標(biāo)視網(wǎng)膜圖像;
目標(biāo)區(qū)域獲取單元50,用于提取所述目標(biāo)視網(wǎng)膜圖像的目標(biāo)感興趣區(qū)域,并提取所述目標(biāo)感興趣區(qū)域中的視盤區(qū)域和血管區(qū)域;
目標(biāo)圖像分類單元60,用于提取所述目標(biāo)感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域的圖像特征,以根據(jù)所述圖像分類器對(duì)所述目標(biāo)視網(wǎng)膜圖像進(jìn)行分類。
本實(shí)施例所述的裝置可以用于執(zhí)行上述方法實(shí)施例,其原理和技術(shù)效果類似,此處不再贅述。
作為本實(shí)施例的優(yōu)選,所述圖像區(qū)域提取單元20可以具體用于獲取所述樣本視網(wǎng)膜圖像對(duì)應(yīng)的二值化圖像,并對(duì)所述二值化圖像極性膨脹和腐蝕處理,以得到所述感興趣區(qū)域。
作為本實(shí)施例的優(yōu)選,所述分類器訓(xùn)練單元30可以具體用于:
從所述感興趣區(qū)域中的所述視盤區(qū)域以及所述血管區(qū)域之外的區(qū)域中,隨機(jī)提取多個(gè)圖像小塊;
根據(jù)神經(jīng)網(wǎng)絡(luò)算法提取所述多個(gè)圖像小塊的圖像特征,并根據(jù)所述圖像特征確定最終圖像特征,以根據(jù)所述最終圖像特征訓(xùn)練圖像分類器。
作為本實(shí)施例的優(yōu)選,所述圖像區(qū)域提取單元20還可以具體用于對(duì)所述感興趣區(qū)域作高斯金字塔分解,并在分解得到的最后一級(jí)圖像中,以灰度最大的點(diǎn)為視盤中心、以預(yù)設(shè)長度為半徑確定目標(biāo)圓型區(qū)域,以將所述圓形區(qū)域作為所述視盤區(qū)域。
本實(shí)施例所述的裝置可以用于執(zhí)行上述方法實(shí)施例,其原理和技術(shù)效果類似,此處不再贅述。
需要說明的是,對(duì)于裝置實(shí)施例而言,由于其與方法實(shí)施例基本相似,所以描述的比較簡單,相關(guān)之處參見方法實(shí)施例的部分說明即可。
以上實(shí)施例僅用于說明本發(fā)明的技術(shù)方案,而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明,本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改,或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換;而這些修改或替換,并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。