本發(fā)明涉及醫(yī)學(xué)圖像處理的領(lǐng)域,尤其涉及一種識別mri圖像水腫和血腫的方法及裝置。
背景技術(shù):
隨著數(shù)字醫(yī)療技術(shù)的發(fā)展,醫(yī)學(xué)圖像在醫(yī)學(xué)診斷過程中的作用越來越明顯,逐漸成為醫(yī)生觀察人體病變的主要工具。在對病情進行診斷時,一般是醫(yī)生根據(jù)經(jīng)驗人為的從醫(yī)學(xué)圖像中查找表示病灶的感興趣區(qū)域。
mri(英文全稱:magneticresonanceimaging,中文全稱:核磁共振成像)圖像是常用的醫(yī)學(xué)圖像之一,mri成像是斷層成像的一種,它利用磁共振現(xiàn)象從人體中獲得電磁信號,并重建出人體信息,從而得到mri圖像。mri圖像在神經(jīng)系統(tǒng)應(yīng)用較為成熟。三維成像和流空效應(yīng)使病變定位診斷更為準確,并可觀察病變與血管的關(guān)系,并且對于腦部病變的顯示優(yōu)于ct圖像。腦部病變包括出現(xiàn)的腦部水腫和腦部血腫,但是一般情況下,血腫會伴隨著水腫的發(fā)生,血腫腫塊經(jīng)常被包裹在水腫腫塊內(nèi),在這種情況下,醫(yī)生很難根據(jù)經(jīng)驗區(qū)分出水腫和血腫。
技術(shù)實現(xiàn)要素:
有鑒于此,本發(fā)明實施例公開了一種識別mri圖像水腫和血腫的方法及裝置,通過本發(fā)明實施例的方法,不僅可以自動、高效的區(qū)分出血腫和水腫,還可以自動的計算出血腫區(qū)域的病灶的體積大小、擴張方向和最大徑,進而幫助醫(yī)生對病情進行更準確的判斷。
本發(fā)明實施例公開的一種識別mri圖像中水腫和血腫的方法,包括:
獲取多個不同序列的mri圖像;
依據(jù)預(yù)設(shè)的方法將所述多個不同序列的mri圖像對齊,得到待識別的mri圖像;
利用預(yù)設(shè)的第一機器學(xué)習(xí)模型從所述待識別的mri圖像中識別出腫塊區(qū)域;所述第一機器學(xué)習(xí)模型是通過已標注腫塊區(qū)域的mri圖像訓(xùn)練得到的;
利用預(yù)設(shè)的第二機器學(xué)習(xí)模型從所述腫塊區(qū)域中識別出水腫區(qū)域和血腫區(qū)域;所述第二機器學(xué)習(xí)模型是通過已標注血腫區(qū)域和水腫區(qū)域的mri圖像訓(xùn)練得到的;
分別將識別出的血腫區(qū)域的體素點和水腫區(qū)域的體素點連通,得到連通后的血腫區(qū)域和連通后的水腫區(qū)域。
可選的,所述依據(jù)預(yù)設(shè)的方法將所述多個不同序列的mri圖像對齊,得到待識別的mri圖像,包括:
在所述多個不同序列的mri圖像中的每個序列的目標中選取一個參照點;
計算所述每個序列的mri圖像中各個體素點與自身的參照點的相對坐標;
依據(jù)得到的相對坐標,計算每一個序列的mri圖像的中心點;
將每一個序列的mri圖像的中心點對齊,得到待識別的mri圖像。
可選的,所述利用預(yù)設(shè)的第一機器學(xué)習(xí)模型從所述待識別的mri圖像中識別出腫塊區(qū)域,包括:所述第一機器學(xué)習(xí)模型為第一3d卷積神經(jīng)網(wǎng)絡(luò);
將所述待識別的mri圖像輸入到所述第一3d卷積神經(jīng)網(wǎng)絡(luò)中;
利用所述第一3d卷積神經(jīng)網(wǎng)絡(luò)從所述待識別的mri圖像中識別出所述腫塊區(qū)域。
可選的,所述利用預(yù)設(shè)的第二機器學(xué)習(xí)模型從所述腫塊區(qū)域中識別出血腫區(qū)域和水腫區(qū)域,包括:所述第二機器學(xué)習(xí)模型為第二3d卷積神經(jīng)網(wǎng)絡(luò);
將識別出腫塊區(qū)域的mri圖像輸入到所述第二3d卷積神經(jīng)網(wǎng)絡(luò)中;
利用所述第二3d卷積神經(jīng)網(wǎng)絡(luò)從所述識別出的腫塊區(qū)域中識別出所述血腫區(qū)域和水腫區(qū)域。
可選的,還包括:
計算感興趣區(qū)域的體積、擴張方向和最大徑,其中,所述感興趣區(qū)域為血腫區(qū)域或水腫區(qū)域,具體包括:
依據(jù)所述感興趣區(qū)域體素點的個數(shù),計算所述感興趣區(qū)域的體積;
計算待識別的mri圖像中每一層的感興趣區(qū)域的面積,并選取面積最大的感興趣區(qū)域;
從所述面積最大的感興趣區(qū)域中確定多個關(guān)鍵點;
計算所述多個關(guān)鍵點中任意兩個關(guān)鍵點之間的距離,并選出距離最遠的兩個關(guān)鍵點;
將距離最遠的兩個關(guān)鍵點的直線方向作為最大擴張方向,將距離最遠的兩個關(guān)鍵點之間的距離作為最大徑。
可選的,對第一3d卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過程包括:
循環(huán)執(zhí)行以下步驟,直到交叉熵損失小于預(yù)設(shè)的第一閾值且不再減?。?/p>
獲取已標注腫塊區(qū)域的mri圖像;其中已標注腫塊區(qū)域的mri圖像是依據(jù)預(yù)設(shè)的方法將不同序列的mri圖像經(jīng)過對齊后得到的;
利用所述第一3d卷積神經(jīng)網(wǎng)絡(luò)依據(jù)所述第一3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第一參數(shù),對已標注腫塊區(qū)域的mri圖像進行層級化函數(shù)處理,得到預(yù)測的腫塊區(qū)域;
將預(yù)測的腫塊區(qū)域和已標注的腫塊區(qū)域進行比對,得到交叉熵損失;
根據(jù)所述交叉熵損失和反向傳播算法對所述第一3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第一參數(shù)進行調(diào)整。
可選的,第二3d卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程包括:
循環(huán)執(zhí)行以下步驟,直到交叉熵損失小于預(yù)設(shè)的第二閾值且不再減??;
獲取已標注血腫區(qū)域和水腫區(qū)域的mri圖像;其中已標注血腫區(qū)域和水腫區(qū)域的mri圖像是依據(jù)預(yù)設(shè)的方法將不同序列的mri圖像經(jīng)過對齊后得到的;
利用所述第二3d卷積神經(jīng)網(wǎng)絡(luò)依據(jù)所述第二3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第二參數(shù),對已標注血腫區(qū)域和水腫區(qū)域的mri圖像進行層級化函數(shù)處理,得到預(yù)測的血腫區(qū)域和水腫區(qū)域;
將預(yù)測的血腫區(qū)域和水腫區(qū)域和已標注的血腫區(qū)域和水腫區(qū)域進行比對,得到交叉熵損失;
根據(jù)所述交叉熵損失和反向傳播算法對所述第二3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第二參數(shù)進行調(diào)整。
本發(fā)明實施例還公開了一種識別mri圖像中水腫和血腫的裝置,包括:
圖像獲取單元,用于獲取多個不同序列的mri圖像;
預(yù)處理單元,用于依據(jù)預(yù)設(shè)的方法將所述多個不同序列的mri圖像對齊,得到待識別的mri圖像;
腫塊區(qū)域識別單元,用于利用預(yù)設(shè)的第一機器學(xué)習(xí)模型從所述待識別的mri圖像中識別出腫塊區(qū)域;所述第一機器學(xué)習(xí)模型是通過已標注腫塊區(qū)域的mri圖像訓(xùn)練得到的;
血腫區(qū)域識別單元,用于利用預(yù)設(shè)的第二機器學(xué)習(xí)模型從所述腫塊區(qū)域中識別出血腫區(qū)域;所述第二機器學(xué)習(xí)模型是通過已標注血腫區(qū)域和水腫區(qū)域的mri圖像訓(xùn)練得到的;
連通單元,用于分別將識別出的血腫區(qū)域的體素點和水腫區(qū)域的體素點連通,得到連通后的血腫區(qū)域和連通后的水腫區(qū)域。
可選的,所述預(yù)處理單元,包括:
選取子單元,用于在所述多個不同序列的mri圖像中的每個序列的目標中選取一個參照點;
第一計算單元,用于計算所述每個序列的mri圖像中各個體素點與自身的參照點的相對坐標;
第二計算單元,用于依據(jù)得到的相對坐標,計算每一個序列的mri圖像的中心點;
對齊單元,用于將每一個序列的mri圖像的中心點對齊,得到待識別的mri圖像。
可選的,還包括:
體積計算單元,用于依據(jù)所述感興趣區(qū)域體素點的個數(shù),計算所述感興趣區(qū)域的體積;
最大面積選取單元,用于計算待識別的mri圖像中每一層的感興趣區(qū)域的面積,并選取面積最大的感興趣區(qū)域;
確定單元,用于從所述面積最大的感興趣區(qū)域中確定多個關(guān)鍵點;
關(guān)鍵點選取單元,用于計算所述多個關(guān)鍵點中任意兩個關(guān)鍵點之間的距離,并選出距離最遠的兩個關(guān)鍵點;
最大徑計算單元,用于將距離最遠的兩個關(guān)鍵點的直線方向作為最大擴張方向,將距離最遠的兩個關(guān)鍵點之間的距離作為最大徑。
本實施例中,先通過預(yù)設(shè)的第一機器學(xué)習(xí)模型識別待識別的mri圖像中的腫塊區(qū)域,其中預(yù)設(shè)的第一機器學(xué)習(xí)模型是通過已標注腫塊區(qū)域的mri圖像訓(xùn)練后得到的。然后,再通過預(yù)設(shè)的第二機器學(xué)習(xí)模型識別該腫塊區(qū)域中的血腫區(qū)域和水腫區(qū)域,其中,預(yù)設(shè)的第二機器學(xué)習(xí)模型是通過標注了血腫區(qū)域和水腫區(qū)域的mri圖像訓(xùn)練后得到的,除此之外,還可以計算出血腫區(qū)域和水腫區(qū)域的體積大小、擴張方向和最大徑。通過本實施例的方法,不僅可以自動、高效的識別出血腫和水腫,還可以自動的計算出血腫區(qū)域和水腫區(qū)域的體積大小、擴張方向和最大徑,進而幫助醫(yī)生對病情進行更準確的判斷。
附圖說明
為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案,下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發(fā)明的實施例,對于本領(lǐng)域普通技術(shù)人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)提供的附圖獲得其他的附圖。
圖1示出了本發(fā)明實施例提供的一種識別mri圖像水腫和血腫的方法的流程示意圖;
圖2示出了本發(fā)明實施例提供的第一3d卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法的流程示意圖;
圖3示出了本發(fā)明實施例提供的第二3d卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法的流程示意圖;
圖4示出了本發(fā)明實施例提供的一種識別mri圖像水腫和血腫的裝置的結(jié)構(gòu)示意圖。
具體實施方式
本申請實施例提出的識別水腫和血腫的方法應(yīng)用于mri圖像,目的在于實現(xiàn)自動的從mri圖像中識別出水腫和血腫。
本申請實施例所述的識別水腫和血腫的方法可以是由識別水腫和血腫的裝置執(zhí)行,所述裝置可以集成在現(xiàn)有的mri設(shè)備上,也可以獨立設(shè)置。對于獨立設(shè)置的情況,可以從現(xiàn)有的mri掃描設(shè)備上獲取mri圖像。
下面將結(jié)合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術(shù)方案進行清楚、完整地描述,顯然,所描述的實施例僅僅是本發(fā)明一部分實施例,而不是全部的實施例。基于本發(fā)明中的實施例,本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例,都屬于本發(fā)明保護的范圍。
參考圖1,示出了本發(fā)明實施例提供的一種識別mri圖像水腫和血腫的方法的流程示意圖,在本實施例中,該方法包括:
s101:獲取多個不同序列的mri圖像;
本實施例中,mri圖像可以包括多種序列的圖像,例如可以包括:t1序列圖像、t2序列圖像、t2flair序列圖像、t1c序列圖像、t1w序列圖像、t2w序列圖像等,其中s101中獲取的多個不同序列的圖像可以是,根據(jù)用戶需求選擇的多個序列的mri圖像。
s102:依據(jù)預(yù)設(shè)的參照點將多個不同序列的mri圖像對齊,得到待識別的mri圖像;
本實施例中,雖然每一個序列顯示不同的特點,但是不同mri圖像上的目標是一樣的,目標即掃描的人體部位或者人體器官,因此,可以在每一序列目標上找一個參照點,并依據(jù)該參照點將多個不同的序列進行對齊,具體的,s102包括:
在每一個序列的mri圖像中的目標上選取一個參照點;
計算每一個序列的mri圖像中各個體素點與自身參照點的相對坐標;
依據(jù)得到的相對坐標,計算每一個序列的mri圖像的中心點;
將每一個序列的mri圖像的中心點對齊。
需要說明的是,mri圖像中的目標是掃描的人體部位或者人體器官,例如,若mri圖像為腦部mri圖像,大掃描的大腦即為mri圖像中的目標;若掃描是肝,則掃描的感為mri圖像中的目標。
還需要說明的是,選取的參照點是目標上同一個位置上的點,例如:若mri圖像為腦部圖像,選取的參照點可以是,腦部的剛體部位的相同位置上,剛體部位可以是頭蓋骨等比較堅硬的部位,在腦部的剛體位置上選取參照點可以是隨機選取的,也可以是通過預(yù)設(shè)的算法選取的,但是每個序列選取出的參照點都是目標同一位置的點。
需要說明的是,通過s102得到的待識別的mri圖像可以是多模態(tài)的mri圖像。
s103:將待識別的mri圖像輸出到已訓(xùn)練的3d卷積神經(jīng)網(wǎng)絡(luò)中;
本實施例中,將待識別的mri圖像輸入到已訓(xùn)練的3d卷積神經(jīng)網(wǎng)絡(luò)的方式可以包括以下的幾種:
方式一:可以之間將得到的待識別的mri圖像輸入到已訓(xùn)練的3d卷積神經(jīng)網(wǎng)絡(luò)中,即可以直接將對齊后的多個序列的mri圖像輸入到已訓(xùn)練的3d卷積中。該種方式可以保留不同序列的mri圖像中每個不同序列所代表的獨有信息。
方式二:將對齊后的多個序列的mri圖像在某一個維度上連接起來(例如:在切片這一維度連接),輸入到已訓(xùn)練的3d卷積神經(jīng)網(wǎng)絡(luò)中。
方式三:將對齊后的不同序列的mri圖像的體素點的灰度值進行加權(quán)平均后,輸入到已訓(xùn)練的3d卷積神經(jīng)網(wǎng)絡(luò)中。
本實施例將不同序列的mri圖像輸入神經(jīng)網(wǎng)絡(luò)的方法,可以采用以上提到的任何一種方法,但是并不限于以上提到的方法。
本實施例中,需要說明的是,將對齊后的多個序列的mri圖像輸入到3d卷積神經(jīng)網(wǎng)絡(luò)后,還可以對不同序列的mri圖像進行融合。
s104:利用預(yù)設(shè)的已訓(xùn)練的第一機器學(xué)習(xí)模型從待識別的mri圖像中識別出腫塊區(qū)域;
本實施例中,腫塊包括水腫和血腫,但是血腫的出現(xiàn)一般會伴隨著水腫的發(fā)生,血腫可能會包裹在水腫內(nèi)部,很難通過一次的處理就將水腫和血腫區(qū)分開來,因此可以先通過已訓(xùn)練的第一機器學(xué)習(xí)模型,識別出包括血腫和水腫的腫塊區(qū)域,再根據(jù)后續(xù)的計算對水腫和血腫進行區(qū)分。
本實施例中,第一機器學(xué)習(xí)模型可以是3d卷積神經(jīng)網(wǎng)絡(luò),其中該3d卷積神經(jīng)網(wǎng)絡(luò)是通過大量的樣本訓(xùn)練后得到的,本實施例中,應(yīng)用于s104的3d卷積神經(jīng)網(wǎng)絡(luò)可以表示為第一3d卷積神經(jīng)網(wǎng)絡(luò)。
本實施例中,卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種,已成為當前語音分析和圖像識別領(lǐng)域的研究熱點,它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò),降低了網(wǎng)絡(luò)模型的復(fù)雜度,減少了權(quán)值的數(shù)量。3d卷積神經(jīng)網(wǎng)絡(luò)是在卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,對卷積神經(jīng)網(wǎng)絡(luò)進行改進得到的,主要的改進是將二維的卷積神經(jīng)網(wǎng)絡(luò)擴展為三維的卷積神經(jīng)網(wǎng)絡(luò),使得卷積神經(jīng)網(wǎng)絡(luò)可以對三維圖像進行類似于對二維圖像的處理。3d卷積神經(jīng)網(wǎng)絡(luò)的原理基本上類似為上述卷積神經(jīng)網(wǎng)絡(luò),但是相對于上述卷積神經(jīng)網(wǎng)絡(luò),3d卷積神經(jīng)網(wǎng)絡(luò)對圖像識別的效率和準確率都有所提高。
在本申請的實施例中,第一3d卷積神經(jīng)網(wǎng)絡(luò)是通過大量的樣本數(shù)據(jù)對第3d卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練后得到的,其中,樣本數(shù)據(jù)為已標記腫塊區(qū)域的mri圖像,訓(xùn)練的過程中不斷的調(diào)整3d卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。在圖像處理領(lǐng)域,相同的算法或模型,針對不同的圖像的效果差異很大,而且,在機器學(xué)習(xí)的過程中,參數(shù)調(diào)整是一個非常困難的過程,本申請將這個模型應(yīng)用在三維mri圖像上,創(chuàng)新性的利用交叉熵損失對3d卷積神經(jīng)網(wǎng)絡(luò)的預(yù)設(shè)的第一參數(shù)不斷進行調(diào)整,直到交叉熵閾值小于預(yù)設(shè)的閾值且不再減小,這樣最終得到識別三維mri圖像腫塊區(qū)域準確率較高的第一3d卷積神經(jīng)網(wǎng)絡(luò)。其中交叉熵損失是將預(yù)測的腫塊區(qū)域和已標注的腫塊區(qū)域進行對比得到的,預(yù)測的腫塊區(qū)域是3d卷積神經(jīng)網(wǎng)絡(luò)依據(jù)該3d卷積神經(jīng)網(wǎng)絡(luò)中的相關(guān)參數(shù)對已標注腫塊區(qū)域的三維mri圖像進行識別得到的。
需要說明的是,已標記腫塊區(qū)域mri圖像是將不同序列的mri圖像進行對齊后得到的。
還需要說明的是,第一機器學(xué)習(xí)模型并不僅限定為3d卷積神經(jīng)網(wǎng)絡(luò),還可以是其它的通過已標記腫塊區(qū)域的mri圖像訓(xùn)練過的模型,例如還可以是殘差網(wǎng)絡(luò)、模糊聚類等。
具體的,s104可以包括:
將待識別的mri圖像輸入到已訓(xùn)練的第一3d卷積神經(jīng)網(wǎng)絡(luò)中;
利用已訓(xùn)練的第一3d卷積神經(jīng)網(wǎng)絡(luò)識別出待識別的mri圖像中的腫塊區(qū)域。
s105:利用預(yù)設(shè)的已訓(xùn)練的第二機器學(xué)習(xí)模型從識別出的腫塊區(qū)域中識別出血腫區(qū)域和水腫區(qū)域;
其中,第二機器學(xué)習(xí)模型可以是3d卷積神經(jīng)網(wǎng)絡(luò),其中該3d卷積神經(jīng)網(wǎng)絡(luò)是通過大量的樣本訓(xùn)練后得到的,本實施例中,應(yīng)用于s105的3d卷積神經(jīng)網(wǎng)絡(luò)表示為第二3d卷積神經(jīng)網(wǎng)絡(luò)。
在本申請的實施例中,第二3d卷積神經(jīng)網(wǎng)絡(luò)是通過大量的樣本數(shù)據(jù)對3d卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練后得到的,其中,訓(xùn)練樣本為已標記血腫區(qū)域和水腫區(qū)域的mri圖像,訓(xùn)練的過程中不斷的調(diào)整3d卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)。圖像處理領(lǐng)域,相同的算法或模型,針對不同的圖像的效果差異很大,而且,在機器學(xué)習(xí)的過程中,參數(shù)調(diào)整是一個非常困難的過程,而且識別腫塊用戶的參數(shù)和識別血腫用到的參數(shù)是不一樣的,訓(xùn)練時的訓(xùn)練樣本也不一樣,本申請將這個模型應(yīng)用在三維mri圖像上,創(chuàng)新性的利用交叉熵損失對3d卷積神經(jīng)網(wǎng)絡(luò)的預(yù)設(shè)的第二參數(shù)不斷進行調(diào)整,直到交叉熵閾值小于預(yù)設(shè)的閾值且不再減小后,最終得到識別三維mri圖像血腫區(qū)域準確率較高的第二3d卷積神經(jīng)網(wǎng)絡(luò)。其中交叉熵損失是將預(yù)測的血腫區(qū)域和已標注的血腫區(qū)域進行對比得到的,預(yù)測的血腫區(qū)域是3d卷積神經(jīng)網(wǎng)絡(luò)依據(jù)該3d卷積神經(jīng)網(wǎng)絡(luò)中的相關(guān)參數(shù)對已標注血腫區(qū)域的三維mri圖像進行識別得到的。
s106:分別將識別出的血腫區(qū)域以及水腫區(qū)域的體素點連通,得到連通的血腫區(qū)域和水腫區(qū)域;
通過s106識別出的血腫區(qū)域,實際上識別出的是屬于血腫區(qū)域的體素點,這些體素點是分散的,將這些體素點相連通,得到連通的血腫區(qū)域;識別出的水腫區(qū)域?qū)嶋H上也是屬于水腫區(qū)域的體素點,水腫區(qū)域的體素點也是分散的,將屬于水腫區(qū)域的像素點連通,得到連通的水腫區(qū)域。
s107:分別計算血腫區(qū)域和水腫區(qū)域的體積、擴張方向和最大徑。
本實施例中,由于每個體素點具有固定的體積,血腫區(qū)域的體積可以直接表示為體素點的個數(shù);或者根據(jù)每個體素點的體積和血腫區(qū)域體素點的個數(shù)計算血腫區(qū)域的體積,具體的可以是將血腫區(qū)域中每個體素點的體積相加,得到血腫區(qū)域的體積。
其中,對于計算血腫區(qū)域的最大擴張方向和最大徑,具體可以包括:
計算待識別的mri圖像中每一層的血腫區(qū)域的面積,并獲取面積最大的血腫區(qū)域;
從選取出的面積最大的血腫區(qū)域中確定多個關(guān)鍵點;
計算任意兩個關(guān)鍵點之間的距離,并選出距離最遠的兩個關(guān)鍵點;其中,距離最遠的兩個關(guān)鍵點之間的距離為最大徑,距離最遠的兩個關(guān)鍵點的直線方向為最大擴張方向;
需要說明的是,最大徑可以理解為擴張的最大直徑。
本實施例中,確定出的血腫區(qū)域的多個關(guān)鍵點,可以是面積最大的血腫區(qū)域輪廓線上的所有像素點;也可以是根據(jù)不規(guī)則輪廓線段逼近方法得到的血腫區(qū)域輪廓線上的若干個關(guān)鍵點。
舉例說明:如圖4所示,識別出血腫區(qū)域的mri腦部圖像包括多層mri圖像,每一層的mri圖像中都識別出了血腫區(qū)域,找到這些層中面積最大的血腫區(qū)域,將面積最大的血腫區(qū)域的mri圖像表示為a圖像;根據(jù)不規(guī)則輪廓逼近方法,從a圖像的血腫區(qū)域的輪廓線上確定出多個關(guān)鍵點,并從多個關(guān)鍵點中找到距離最遠的兩個關(guān)鍵點,假設(shè)距離最遠的兩個關(guān)鍵點分別為關(guān)鍵點b和關(guān)鍵點c,其中bc之間的距離為最大徑,直線bc的方向表示最大擴張方向。
對于水腫區(qū)域,體積、擴張方向和最大徑的計算,與血腫區(qū)域的方法一致,在這里就不再贅述。
本實施例中,醫(yī)生通過mri腦部圖像,在對血腫的情況進行診斷時,還需要了解血腫區(qū)域的大小,而且隨著時間的推移,血腫的范圍會出現(xiàn)變化,還需要確診出病灶擴張的方向和擴張的最大徑,這些工作若是由醫(yī)生來完成的話,無疑增加了醫(yī)生的工作量,醫(yī)生也無法快速的診斷出確切的病情,因此通過s104的步驟,自動的計算出血腫區(qū)域和水腫區(qū)域的體積、擴張方向和最大徑,不僅減小了醫(yī)生的診斷工作的工作量,而且有利于醫(yī)生的診斷。
本實施例中,需要說明的是,執(zhí)行了s101~s107的步驟后,可以根據(jù)用戶的需求,輸出相應(yīng)的結(jié)果。例如,若用戶想要查看識別出的mri圖像中的血腫區(qū)域和水腫區(qū)域的顯示結(jié)果,則輸出s106步驟中得到的結(jié)果;若用戶想要查看血腫區(qū)域和水腫區(qū)域的體積、擴張的方向和最大徑,則輸出s107步驟得到的結(jié)果;若是用戶既想查看血腫區(qū)域和血腫區(qū)域的顯示結(jié)果,又想明確知道血腫區(qū)域的大小,則既要輸出s106步驟得到的結(jié)果也輸出s107步驟得到的結(jié)果。
本實施例中,先通過預(yù)設(shè)的第一機器學(xué)習(xí)模型識別待識別的mri圖像中的腫塊區(qū)域,其中預(yù)設(shè)的第一機器學(xué)習(xí)模型是通過已標注腫塊區(qū)域的mri圖像訓(xùn)練后得到的。然后,再通過預(yù)設(shè)的第二機器學(xué)習(xí)模型識別該腫塊區(qū)域中的血腫區(qū)域和水腫區(qū)域,其中,預(yù)設(shè)的第二機器學(xué)習(xí)模型是通過標注了血腫區(qū)域和水腫區(qū)域的mri圖像訓(xùn)練后得到的,并可以計算出血腫區(qū)域和水腫區(qū)域的體積大小、擴張方向和最大徑。通過本實施例的方法,不僅可以自動、高效的識別出血腫和水腫,還可以自動的計算出血腫區(qū)域和水腫區(qū)域的體積大小、擴張方向和最大徑,進而幫助醫(yī)生對病情進行更準確的判斷。
本實施例中,對第一3d卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法,具體的參考圖2,在本實施例中,該方法包括:
s201:獲取已標注腫塊區(qū)域的mri圖像:
本實施例中,在s201之前還包括:
獲取多個不同序列的mri圖像;
依據(jù)預(yù)設(shè)的參照點將多個不同序列的mri圖像對齊。
其中,獲取的多個不同序列的mri圖像,是根據(jù)用戶需求選擇的mri圖像序列中的多個序列。
對于依據(jù)預(yù)設(shè)的參數(shù)將多個不同序列的mri圖像對齊的步驟,與上文中s102的步驟相同,在這里就不再贅述。
除此之外,對于所有對齊后的mri圖像,還需要標注出腫塊區(qū)域,其中對對齊后mri圖像的腫塊區(qū)域進行標注,可以包括以下三種方式:
方式一:由醫(yī)生直接在對齊后的mri圖像中進行標注,得到腫塊區(qū)域的mri圖像;
方式二:對對齊后的mri圖像先經(jīng)過預(yù)設(shè)的處理,識別出對齊后的mri圖像中的敏感區(qū)域,再在敏感區(qū)域中標注腫塊區(qū)域;
方式三:先通過相關(guān)的方法,從對齊后的mri圖像中提取出敏感區(qū)域,得到僅包括敏感區(qū)域的mri圖像,再從敏感區(qū)域中標注出腫塊區(qū)域。
其中,敏感區(qū)域可以是通過一些圖像分割的方法,識別出的可能包裹有腫塊區(qū)域的mri圖像,由于該敏感區(qū)域的范圍要比實際腫塊的區(qū)域大,或者由于某些原因這些識別出的敏感區(qū)域中不包含腫塊區(qū)域,因此需要醫(yī)生再根據(jù)經(jīng)驗在這些敏感區(qū)域中標注出腫塊區(qū)域。由于先得到了可能存在腫塊的敏感區(qū)域,不僅為醫(yī)生或者相關(guān)技術(shù)人員減輕了標記腫塊區(qū)域的工作量而且提高了標注的準確率。
由于對第一3d卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練需要大量的樣本數(shù)據(jù),已標記腫塊區(qū)域的mri圖像就是樣本數(shù)據(jù),為了提高訓(xùn)練的效率,在執(zhí)行s101之前,可以是已經(jīng)得到了大量的已標記腫塊區(qū)域的mri圖像。
s202:利用第一3d卷積神經(jīng)網(wǎng)絡(luò)依據(jù)第一3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第一參數(shù),對已標注腫塊區(qū)域的mri圖像進行層級化函數(shù)處理,得到預(yù)測的腫塊區(qū)域;
本實施例中,第一3d卷積神經(jīng)網(wǎng)絡(luò)包括多層運算,分別為:卷積層、批歸一化層、非線性層、下采樣層、反卷積層等,其中,對標注了腫塊區(qū)域的mri圖像進行層級化函數(shù)處理,就是將標注了腫塊區(qū)域的mri圖像經(jīng)過以上提到的這些層的運算,并依據(jù)第一3d卷積神經(jīng)網(wǎng)絡(luò)中的相關(guān)參數(shù),識別出該已標記腫塊區(qū)域的mri圖像中的腫塊區(qū)域。
需要說明的是,第一參數(shù)包括第一3d卷積神經(jīng)網(wǎng)絡(luò)中的多個參數(shù),并且初始的第二參數(shù)可以是隨機生成的,也可以依據(jù)預(yù)設(shè)的規(guī)則生成的。
舉例說明:對標注腫塊區(qū)域的mri圖像的識別過程包括:3d卷積神經(jīng)網(wǎng)絡(luò)根據(jù)標注的腫塊區(qū)域,提取腫塊區(qū)域的特征向量,然后對提取到的腫塊區(qū)域的特征向量進行二分類,即判斷提取到的腫塊區(qū)域是否屬于腫塊。
s203:將預(yù)測的腫塊區(qū)域與已標注的腫塊區(qū)域進行比對,得到交叉熵損失;
s204:根據(jù)交叉熵損失和反向傳播算法對第一3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第一參數(shù)進行調(diào)整;
s205:重復(fù)執(zhí)行s201~s204的步驟,直到交叉熵損失小于預(yù)設(shè)的第一閾值且不再減小,得到訓(xùn)練好的第一3d卷積神經(jīng)網(wǎng)絡(luò)。
本實施例中,每次獲取到的已標注腫塊區(qū)域的mri圖像都是不同的圖像,通過第一3d卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過足夠的次數(shù)識別mri圖像中的腫塊區(qū)域,并經(jīng)過足夠次數(shù)的參數(shù)調(diào)整,直到交叉熵損失小于預(yù)設(shè)的第一閾值且不再減小,也就是說此時交叉熵損失足夠小也不再有下降的趨勢,表明第一3d卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)具備足夠的精度,可以比較準確的從mri圖像中識別出腫塊。
本實施例中,通過反復(fù)將識別出的腫塊區(qū)域與醫(yī)生標注的腫塊區(qū)域進行比對,得到交叉熵損失,并通過交叉熵損失反復(fù)的調(diào)整第一3d卷積神經(jīng)網(wǎng)絡(luò),逐漸降低交叉熵損失,直到交叉熵損失小于預(yù)設(shè)的第一閾值且不再有減小的趨勢,因此,通過該種訓(xùn)練方式,可以得到識別精度較高的第一3d卷積神經(jīng)網(wǎng)絡(luò)。
本實施例中,對于對3d卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練得到第二3d卷積神經(jīng)網(wǎng)絡(luò)的方法,具體的參考圖3,在本實施例中,該方法包括:
s301:獲取已標注血腫區(qū)域的mri圖像:
在s301之前,還包括:本實施例中,在s201之前還包括:獲取多個不同序列的mri圖像;依據(jù)預(yù)設(shè)的參照點將多個不同序列的mri圖像對齊;
其中,獲取的多個不同序列的mri圖像,是根據(jù)用戶需求選擇的mri圖像序列中的多個序列。
對于依據(jù)預(yù)設(shè)的參數(shù)將多個不同序列的mri圖像對齊的步驟,與上文中s102的步驟相同,在這里就不再贅述。
本實施例中,已標記血腫的mri圖像,可以是直接通過醫(yī)生或者相關(guān)技術(shù)人員在對齊后的mri圖像上標注了血腫區(qū)域后得到的;或者可以是先在對齊后的mri圖像中識別出腫塊區(qū)域,再由醫(yī)生或者相關(guān)技術(shù)人員在腫塊區(qū)域標注出血腫區(qū)域后得到的;或者還可以是,從對齊后的mri圖像中提取出腫塊區(qū)域,即已標注血腫區(qū)域的mri圖像中只包括腫塊部分,然后再由醫(yī)生或者相關(guān)的技術(shù)人員在腫塊區(qū)域中標注出血腫區(qū)域。
s302:利3d卷積神經(jīng)網(wǎng)絡(luò)依據(jù)3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第二參數(shù),對標注了血腫區(qū)域的mri圖像進行層級化函數(shù)處理,得到預(yù)測的血腫區(qū)域和水腫區(qū)域;
本實施例中,3d卷積神經(jīng)網(wǎng)絡(luò)包括多層運算,分別為:卷積層、批歸一化層、非線性層、下采樣層、反卷積層等,其中,對已標注血腫區(qū)域和水腫區(qū)域的mri圖像進行層級化函數(shù)處理,就是將已標注血腫區(qū)域和水腫區(qū)域的mri圖像經(jīng)過以上提到的這些層的運算,預(yù)測血腫區(qū)域和水腫區(qū)域。其中在第二3d卷積神經(jīng)網(wǎng)絡(luò)中,預(yù)測出的血腫區(qū)域和水腫區(qū)域是以三維向量的形式存儲的。
需要說明的是,第二參數(shù)包括第二3d卷積神經(jīng)網(wǎng)絡(luò)中的多個參數(shù),并且初始的第二參數(shù)可以是隨機生成的,也可以依據(jù)預(yù)設(shè)的規(guī)則生成的。
舉例說明:對標注血腫區(qū)域和水腫區(qū)域的mri圖像的識別過程包括:3d卷積神經(jīng)網(wǎng)絡(luò)根據(jù)標注的血腫區(qū)域和水腫區(qū)域,提取血腫區(qū)域和水腫區(qū)域的特征向量,然后分別對提取到的血腫區(qū)域特征向量和水腫區(qū)域的特征向量進行二分類,即判斷識別出的血腫區(qū)域是否為血腫腫塊、判斷識別出的水腫區(qū)域是否為水腫腫塊。
s303:將預(yù)測的血腫區(qū)域與已標注的血腫區(qū)域進行比對,得到交叉熵損失;
s304:根據(jù)交叉熵損失和反向傳播算法對3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第二參數(shù)進行調(diào)整;
s305:重復(fù)執(zhí)行s301~s304的步驟,直到交叉熵損失小于預(yù)設(shè)的第二閾值且不再減小時,得到訓(xùn)練好的第二3d卷積神經(jīng)網(wǎng)絡(luò)。
本實施例中,每次獲取到的已標注血腫區(qū)域和水腫區(qū)域的mri圖像都是不同的圖像,通過3d卷積神經(jīng)網(wǎng)絡(luò)識別mri圖像中的血腫區(qū)域和水腫區(qū)域,并經(jīng)過足夠次數(shù)的參數(shù)調(diào)整,逐漸將交叉熵損失降低到預(yù)設(shè)的閾值范圍內(nèi),當交叉熵損失小于預(yù)設(shè)的第二閾值且不再減小時,說明第二3d卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)具備足夠的精度,可以比較準確的從mri圖像中識別出水腫和血腫。
本實施例中,通過反復(fù)將識別出的血腫區(qū)域和水腫區(qū)域與醫(yī)生標注的血腫區(qū)域和水腫區(qū)域進行比對,得到交叉熵損失,并通過交叉熵損失反復(fù)的調(diào)整第二3d卷積神經(jīng)網(wǎng)絡(luò),逐漸降低交叉熵損失,直到交叉熵損失達到預(yù)設(shè)的第二閾值且不再減小,因此,通過該種訓(xùn)練方式,可以得到識別精度較高的第二3d卷積神經(jīng)網(wǎng)絡(luò)。
參考圖4,示出了本發(fā)明實施例提供的一種識別mri圖像水腫和血腫的裝置的結(jié)構(gòu)示意圖
圖像獲取單元401,用于獲取多個不同序列的mri圖像;
預(yù)處理單元402,用于依據(jù)預(yù)設(shè)的方法將所述多個不同序列的mri圖像對齊,得到待識別的mri圖像;
腫塊區(qū)域識別單元403,用于利用預(yù)設(shè)的第一機器學(xué)習(xí)模型從所述待識別的mri圖像中識別出腫塊區(qū)域;所述第一機器學(xué)習(xí)模型是通過已標注腫塊區(qū)域的mri圖像訓(xùn)練得到的;
血腫區(qū)域識別單元404,用于利用預(yù)設(shè)的第二機器學(xué)習(xí)模型從所述腫塊區(qū)域中識別出血腫區(qū)域;所述第二機器學(xué)習(xí)模型是通過已標注血腫區(qū)域和水腫區(qū)域的mri圖像訓(xùn)練得到的;
連通單元405,用于分別將識別出的血腫區(qū)域的體素點和水腫區(qū)域的體素點連通,得到連通后的血腫區(qū)域和連通后的水腫區(qū)域。
可選的,所述預(yù)處理單元,包括:
選取子單元,用于在所述多個不同序列的mri圖像中的每個序列的目標中選取一個參照點;
第一計算單元,用于計算所述每個序列的mri圖像中各個體素點與自身的參照點的相對坐標;
第二計算單元,用于依據(jù)得到的相對坐標,計算每一個序列的mri圖像的中心點;
對齊單元,用于將每一個序列的mri圖像的中心點對齊。
可選的,所述第一機器學(xué)習(xí)模型為第一3d卷積神經(jīng)網(wǎng)絡(luò),
所述第一識別單元,包括:
第一輸入子單元,用于將所述待識別的mri圖像輸入到所述第一3d卷積神經(jīng)網(wǎng)絡(luò)中;
第一識別子單元,用于利用所述第一3d卷積神經(jīng)網(wǎng)絡(luò)從所述待識別的mri圖像中識別出所述腫塊區(qū)域。
可選的,所述第二機器學(xué)習(xí)模型為第二3d卷積神經(jīng)網(wǎng)絡(luò);
所述第二識別單元,包括:
第二輸入子單元,用于將識別出腫塊區(qū)域的mri圖像輸入到所述第二3d卷積神經(jīng)網(wǎng)絡(luò)中;
第二識別子單元,用于利用所述第二3d卷積神經(jīng)網(wǎng)絡(luò)從所述識別出的腫塊區(qū)域中識別出所述血腫區(qū)域和水腫區(qū)域。
可選的,還包括:
體積計算單元,用于依據(jù)所述感興趣區(qū)域體素點的個數(shù),計算所述感興趣區(qū)域的體積;
最大面積選取單元,用于計算待識別的mri圖像中每一層的感興趣區(qū)域的面積,并選取面積最大的感興趣區(qū)域;
確定單元,用于從所述面積最大的感興趣區(qū)域中確定多個關(guān)鍵點;
關(guān)鍵點選取單元,用于計算所述多個關(guān)鍵點中任意兩個關(guān)鍵點之間的距離,并選出距離最遠的兩個關(guān)鍵點;
最大徑計算單元,用于將距離最遠的兩個關(guān)鍵點的直線方向作為最大擴張方向,將距離最遠的兩個關(guān)鍵點之間的距離作為最大徑。
可選的,還包括:
第一3d卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練單元,具體用于:
循環(huán)執(zhí)行以下步驟,直到交叉熵損失小于預(yù)設(shè)的第一閾值且不再減??;
獲取已標注腫塊區(qū)域的mri圖像;其中已標注腫塊區(qū)域的mri圖像是依據(jù)預(yù)設(shè)的方法將不同序列的mri圖像經(jīng)過對齊后得到的;
利用所述第一3d卷積神經(jīng)網(wǎng)絡(luò)依據(jù)所述第一3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第一參數(shù),對已標注腫塊區(qū)域的mri圖像進行層級化函數(shù)處理,得到預(yù)測的腫塊區(qū)域;
將預(yù)測的腫塊區(qū)域和已標注的腫塊區(qū)域進行比對,得到交叉熵損失;
根據(jù)所述交叉熵損失和反向傳播算法對所述第一3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第一參數(shù)進行調(diào)整。
可選的,還包括:
第二3d卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練單元,具體用于:
循環(huán)執(zhí)行以下步驟,直到交叉熵損失小于預(yù)設(shè)的第二閾值且不再減??;
獲取已標注血腫區(qū)域和水腫區(qū)域的mri圖像;其中已標注血腫區(qū)域和水腫區(qū)域的mri圖像是依據(jù)預(yù)設(shè)的方法將不同序列的mri圖像經(jīng)過對齊后得到的;
利用所述第二3d卷積神經(jīng)網(wǎng)絡(luò)依據(jù)所述第二3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第二參數(shù),對已標注血腫區(qū)域和水腫區(qū)域的mri圖像進行層級化函數(shù)處理,得到預(yù)測的血腫區(qū)域和水腫區(qū)域;
將預(yù)測的血腫區(qū)域和水腫區(qū)域和已標注的血腫區(qū)域和水腫區(qū)域進行比對,得到交叉熵損失;
根據(jù)所述交叉熵損失和反向傳播算法對所述第二3d卷積神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)的第二參數(shù)進行調(diào)整。
通過本實施例的裝置,不僅可以自動、高效的區(qū)分出血腫和水腫,還可以自動的計算出血腫區(qū)域和水腫區(qū)域的體積大小、擴張方向和最大徑,進而幫助醫(yī)生對病情進行更準確的判斷。
需要說明的是,本說明書中的各個實施例均采用遞進的方式描述,每個實施例重點說明的都是與其他實施例的不同之處,各個實施例之間相同相似的部分互相參見即可。
對所公開的實施例的上述說明,使本領(lǐng)域?qū)I(yè)技術(shù)人員能夠?qū)崿F(xiàn)或使用本發(fā)明。對這些實施例的多種修改對本領(lǐng)域的專業(yè)技術(shù)人員來說將是顯而易見的,本文中所定義的一般原理可以在不脫離本發(fā)明的精神或范圍的情況下,在其它實施例中實現(xiàn)。因此,本發(fā)明將不會被限制于本文所示的這些實施例,而是要符合與本文所公開的原理和新穎特點相一致的最寬的范圍。