本發(fā)明涉及深度學(xué)習(xí)模型解釋方法,尤其涉及基于序貫三支掩碼和注意力融合的transformer解釋方法。
背景技術(shù):
1、腦腫瘤是由于腦組織癌變引發(fā)的腦細(xì)胞異常增生,這種病理變化對患者健康構(gòu)成了極高的風(fēng)險,可能引發(fā)頭痛、認(rèn)知障礙、運(yùn)動功能損害及其他神經(jīng)系統(tǒng)癥狀。在嚴(yán)重的情況下,腦腫瘤甚至可能威脅生命。因此,準(zhǔn)確識別腦腫瘤的具體位置和形態(tài)在臨床診斷和治療中至關(guān)重要。磁共振成像(mri)因其提供高分辨率的軟組織解剖結(jié)構(gòu)圖像,被廣泛應(yīng)用于腦腫瘤的診斷和治療。通過分析mri圖像,醫(yī)生可以有效地檢測腦腫瘤,并獲取關(guān)于腫瘤位置、體積和形狀的重要信息。近年來,深度學(xué)習(xí)技術(shù)的發(fā)展為腦腫瘤的檢測提供了新的機(jī)遇。應(yīng)用深度學(xué)習(xí)模型對醫(yī)療影像進(jìn)行分析,不僅能夠顯著提高檢測的準(zhǔn)確性,還能提升檢測的效率,從而改善腦腫瘤的早期發(fā)現(xiàn)和診斷過程。
2、例如,lin等人在《ckd-transbts:clinical?knowledge-driven?hybridtransformer?with?modality-correlated?cross-attention?for?brain?tumorsegmentation》中提出了一種具有模態(tài)相關(guān)交叉注意的混合transformer模型用于腦腫瘤分割,但由于transformer模型通常具有千萬級別以上的參數(shù)量,且其自注意力機(jī)制工作原理復(fù)雜,通常被視作黑盒模型,這使得模型無法充分得到使用者的信任,在醫(yī)療等高危行業(yè)難以投入使用,同時,訓(xùn)練深度學(xué)習(xí)模型所需要的數(shù)據(jù)集的采集與標(biāo)注需要專業(yè)的放射科醫(yī)生花費(fèi)大量時間手工標(biāo)注,造成大量醫(yī)療資源的浪費(fèi)。亟需一種新的方法可視化模型的內(nèi)部結(jié)構(gòu)和學(xué)習(xí)過程,幫助人類理解模型的決策過程,同時輔助放射科醫(yī)生進(jìn)行醫(yī)療判斷,降低昂貴的醫(yī)療資源在其他領(lǐng)域的消耗,同時對于腦腫瘤早期篩查具有一定的意義。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明的目的在于提供一種基于序貫三支掩碼和注意力融合的transformer解釋方法,解決了現(xiàn)有transformer及其衍生模型可解釋性差,放射科醫(yī)生分析mri圖像耗時過長等問題,并且有效提升了判斷的準(zhǔn)確率。
2、為了實(shí)現(xiàn)上述發(fā)明目的,本發(fā)明是通過如下措施實(shí)現(xiàn)的:基于序貫三支掩碼和注意力融合的transformer解釋方法,包括以下步驟:
3、s1:從數(shù)據(jù)集中讀取圖像i,將其尺寸重塑為預(yù)設(shè)大小224×224,接著將其切割成196個尺寸大小16×16的非重疊圖像塊,將這些圖像塊展平并進(jìn)行線性映射768維,接著拼接上分類張量,加入位置信息編碼的得到輸入張量x0,將x0輸入transformer編碼器,重復(fù)進(jìn)行l(wèi)輪,則第i輪的輸出結(jié)果為xi,最后一層的輸出結(jié)果為xl;
4、s2:在transformer編碼器層的運(yùn)算過程中,保存每一層transformer編碼器層的注意力矩陣aj,j=1,2,...,l,將所有保存的注意力矩陣拼接并舍棄其中的類別張量得其中l(wèi)為transformer編碼器層數(shù),h為每一編碼器層自注意力頭個數(shù),n為切割成圖像塊的個數(shù),首先從transformer編碼器層的維度上進(jìn)行層聚合得到跨層的關(guān)系矩陣r,即其中接著從自注意力層的頭的維度上進(jìn)行頭部聚合得到最終的關(guān)系矩陣r,即其中
5、s3:取出transformer最終編碼器層的輸出舍棄其中的分類張量后重塑為網(wǎng)格形狀,得到重塑張量接著將其上采樣至預(yù)設(shè)的圖像尺寸大小得到掩碼集
6、s4:將掩碼集mset放入序貫三支掩碼模塊,在第一層三支決策,對于掩碼mi∈mset,將掩碼mi和翻轉(zhuǎn)掩碼1-mi分別與原始輸入圖像i進(jìn)行哈達(dá)瑪乘積后放入transformer模型f(·)后分別得到對應(yīng)的置信度,通過與設(shè)定閾值α、β和γ比較后,將掩碼劃分為積極掩碼、消極掩碼和不確定掩碼,并將它們分別放入正域pos、負(fù)域neg和邊界域bnd,在第二層三支決策,對于處于邊界域的掩碼mi∈bnd,利用原始圖像與掩碼之間的kl散度信息,kl(f(i)||f(mi⊙i)),其中kl(·||·)表示kl散度函數(shù),通過與設(shè)定的閾值δ比較后,將不確定掩碼再次劃分為積極掩碼和消極掩碼,并將它們分別放入正域pos、負(fù)域neg,最后,將正域中的積極掩碼mpos與其對應(yīng)放入transformer后得到的置信度加權(quán)求和并除以掩碼集的期望值得到初步解釋結(jié)果s,并對初步解釋結(jié)果進(jìn)行歸一化處理;
7、s5:將下采樣至后展平為1×n大小,取出步驟s2中聚合得到的依次使用i=1,2,...,n與s進(jìn)行余弦相似度計算,將所有的余弦相似度計算結(jié)果拼接起來得到重要性分?jǐn)?shù)接著將p重塑為再上采樣至h×w大小,最后將p與s進(jìn)行哈達(dá)瑪乘積,融合得到最終解釋結(jié)果v,通過熱圖映射將其覆蓋在原圖中,即可得到最終的可視化解釋結(jié)果。
8、進(jìn)一步地,所述步驟s2的具體步驟如下:
9、步驟s2.1:將輸入張量x0輸入transformer編碼器循環(huán)l輪,則第j輪的輸出結(jié)果為xj,在每一次循環(huán)中,首先對輸入進(jìn)行層歸一化ln(xj):
10、
11、步驟s2.2:將歸一化后的xj輸入多頭自注意力模塊,設(shè)該模塊有h個注意力頭部head,獲取第j層transformer編碼器層的注意力矩陣aj,提取過程如下:
12、
13、
14、aj=concat(head1,..,headh)wo?(4)
15、其中q,k,v分別是由xj經(jīng)過線性投影變換得到的查詢、鍵和值矩陣,dk為鍵矩陣的維度,softmax是激活函數(shù),分別代表第i個自注意力頭部查詢、鍵和值的權(quán)重矩陣,concat表示拼接操作,wo為投影變換矩陣;
16、步驟s2.3:將每一輪循環(huán)中的注意力矩陣aj保存,共l輪,將它們都拼接起來并舍棄類別張量得到最終的注意力矩陣考慮不同transformer編碼器層中語義信息的意義首先從層的維度上進(jìn)行聚合,聚合公式如下:
17、
18、
19、其中r為跨層的關(guān)系矩陣,e(a)為不同層的注意力矩陣的均值;
20、步驟s2.4:transformer不同注意力頭對于圖像特征關(guān)注的重點(diǎn)不同,考慮不同各個注意力頭部中的語義信息,再從頭部的維度上進(jìn)行聚合,聚合公式如下:
21、
22、
23、其中r為最終的關(guān)系矩陣,e(r)為不同頭部的關(guān)系矩陣的均值,關(guān)系矩陣用于后續(xù)對初步解釋結(jié)果的優(yōu)化。
24、進(jìn)一步地,所述步驟s4的具體步驟如下:
25、步驟s4.1:取出掩碼集mset放入序貫三支掩碼模塊,首先將所有掩碼集中的掩碼mi及其對應(yīng)的翻轉(zhuǎn)掩碼1-mi分別與原始輸入圖像i進(jìn)行哈達(dá)瑪乘積將掩碼覆蓋在原圖上,再放入transformer模型f(·)后獲取對應(yīng)的置信度f(mi⊙i)和f((1-mi)⊙i);
26、步驟s4.2:對于第一層三支決策,設(shè)定閾值α、β和γ對掩碼進(jìn)行決策處理,如果置信度f(mi⊙i)>αβ<f((1-mi)⊙i)<α,表明掩碼可以提供物體位置信息,將該掩碼放入正域pos,如果置信度f(mi⊙i)<γ或f((1-mi)⊙i)<γ,表明掩碼不包含有效信息,將該掩碼放入負(fù)域neg,最后將剩余的所有掩碼放入邊界域bnd等待延遲決策;
27、步驟s4.3:接著進(jìn)入第二層三支決策,使用kl散度對進(jìn)入bnd的掩碼進(jìn)行二次決策,kl散度用于衡量兩個概率分布之間的差異,其計算方式如下:
28、
29、其中p為目標(biāo)分布,qi為近似分布,在這里定義原始圖像i放入模型后得到的概率分布f(i)為目標(biāo)分布,掩碼mi放入模型后得到的概率分布f(mi⊙i)為近似分布,通過公式(9),計算得出所有處于bnd的掩碼的kl散度值kl(f(i)||f(mi⊙i)),接著設(shè)定閾值δ對掩碼進(jìn)行決策處理,如果kl(f(i)||f(mi⊙i))<δ或kl(f(i)||f(mi⊙i))>1-δ,表明掩碼具有意義,將該掩碼放入pos,反之則將該掩碼放入neg;
30、步驟s4.4:取出所有處于pos中的掩碼記為積極掩碼集mpos,對于輸入圖像i中每個像素x的重要性值計算通過對掩碼mi與其放入模型后對應(yīng)類別c的輸出fc(mi⊙i)加權(quán)求和,并除以掩碼集的期望值e(mpos)獲?。?/p>
31、
32、其中fc(·)表示特定于類別c的模型,p為積極掩碼集中掩碼的個數(shù);
33、步驟s4.5:最后,對初步解釋結(jié)果進(jìn)行歸一化處理:
34、
35、進(jìn)一步地,所述步驟s5的具體步驟如下:
36、步驟s5.1:初步解釋結(jié)果s中存在空間噪音及邊緣細(xì)節(jié)信息丟失問題,利用步驟s2聚合生成的關(guān)系矩陣r優(yōu)化初步解釋結(jié)果,首先將初步解釋下采樣至后展平為1×n大?。?/p>
37、s=flatten(downsample(s))?(12)
38、其中downsample表示下采樣操作,flatten表示展平操作;
39、步驟s5.2:對于關(guān)系矩陣r,其每一行都能體現(xiàn)當(dāng)前圖像塊與圖像中其他圖像塊的關(guān)系故將r的每一行與s進(jìn)行余弦相似度計算,作為當(dāng)前圖像塊的重要性分?jǐn)?shù),則第i個圖像塊的重要性得分pi通過下式計算:
40、
41、其中·表示向量點(diǎn)積,||·||表示向量的歐幾里得范數(shù),n為圖像塊個數(shù);
42、步驟s5.3:對所有圖像塊使用公式(13)進(jìn)行計算,即得到所有圖像塊的重要性得分再將其重塑為并上采樣至原圖大小:
43、p=upsample(reshape(p))?(14)
44、其中reshape表示重塑操作,upsample表示上采樣操作;
45、步驟s5.4:使用重要性分?jǐn)?shù)p對初步解釋結(jié)果s使用哈達(dá)瑪乘積進(jìn)行逐元素的加權(quán),突出重要區(qū)域,消除錯誤的空間噪音,得到最終解釋結(jié)果v:
46、v(x)=p(x)⊙s(x)?(15)
47、其中⊙表示哈達(dá)瑪乘積操作;
48、步驟s5.5:最后,將最終解釋結(jié)果v通過熱圖的方式覆蓋在原始圖像i上做可視化處理,熱圖的顏色越深,表現(xiàn)當(dāng)前圖像區(qū)域?qū)δP皖A(yù)測的貢獻(xiàn)越大,有效展現(xiàn)了transformer模型工作時重點(diǎn)關(guān)注區(qū)域,體現(xiàn)模型可解釋性。
49、與現(xiàn)有技術(shù)相比,本發(fā)明的有益效果為:
50、1.本發(fā)明提出序貫三支掩碼模,以解決transformer最終層特征圖生成的掩碼質(zhì)量不確定性問題,通過設(shè)置特定的閾值及條件,可以有效地將掩碼劃分為積極掩碼、消極掩碼與不確定掩碼三種類型,使用積極掩碼對模型擾動可以得到較好的解釋結(jié)果,從而有效提高了模型可解釋性。
51、2.本發(fā)明針對transformer模型所特有的自注意力機(jī)制進(jìn)行分析,通過聚合transformer中每一層編碼器的注意力矩陣,生成可以反映圖像塊相互之間關(guān)系的關(guān)系矩陣,通過余弦相似度度量獲取圖像塊重要性分?jǐn)?shù),對解釋結(jié)果進(jìn)行加權(quán)融合,這一過程有效地解決了初步解釋結(jié)果中存在的噪音問題,從而提高模型解釋效果。
52、3.本發(fā)明結(jié)合transformer模型輸出信息與注意力信息,對自然圖像和醫(yī)學(xué)圖像均能提供有效的解釋結(jié)果,解決了transformer模型在實(shí)際應(yīng)用中解釋困難的問題,使得深度學(xué)習(xí)模型的應(yīng)用更具可解釋性,從而提升模型在實(shí)際場景中的信任度和應(yīng)用前景。