一種基于剛性變換的多模態(tài)圖像融合方法
【專利摘要】本發(fā)明公開了一種基于剛性變換的多模態(tài)圖像融合方法，包括以下的步驟：S1：通過變換矩陣構(gòu)建參考圖像R與浮動(dòng)圖像F之間的剛性變換模型；S2：構(gòu)建參考圖像R與浮動(dòng)圖像F之間的相似度目標(biāo)函數(shù)f；S3：利用模擬退火算法對相似度目標(biāo)函數(shù)f進(jìn)行全局尋優(yōu)，得到相似度目標(biāo)函數(shù)f全局最優(yōu)解對應(yīng)的變換矩陣；S4：將步驟S3得到的全局最優(yōu)解對應(yīng)的變換矩陣中的平移量及旋轉(zhuǎn)量作為局部尋優(yōu)的搜索起點(diǎn)，利用鮑威爾算法對相似度目標(biāo)函數(shù)f進(jìn)行局部尋優(yōu)，得到相似度目標(biāo)函數(shù)f局部最優(yōu)解對應(yīng)的變換矩陣，將局部最優(yōu)解對應(yīng)的變換矩陣代入步驟S1的剛性變換模型中，得到準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F；S5：將參考圖像R與準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F進(jìn)行加權(quán)融合。
【專利說明】
一種基于剛性變換的多模態(tài)圖像融合方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明涉及圖像融合方法，特別是涉及一種基于剛性變換的多模態(tài)圖像融合方 法。
【背景技術(shù)】
[0002] 在臨床應(yīng)用中，經(jīng)常需要綜合多種設(shè)備采集到的影像以做出診斷，不同設(shè)備采集 到的影像可以提供不同的信息，因此利用圖像配準(zhǔn)、融合的方法將多種設(shè)備上對同一部位 采集到的影像進(jìn)行融合有很重要的臨床價(jià)值。
[0003] 現(xiàn)有技術(shù)中的圖像融合方法往往存在如下的缺陷：
[0004] 1)很多醫(yī)生利用手動(dòng)去配準(zhǔn)兩幅圖像，利用PS等工具做融合，手動(dòng)意味著人為的 因素存在，得到結(jié)果不可靠；
[0005] 2)融合的關(guān)鍵在于配準(zhǔn)，現(xiàn)有的配準(zhǔn)技術(shù)使用基于特征點(diǎn)的配準(zhǔn)方法，這種針對 照相機(jī)照片的配準(zhǔn)方法不適合做醫(yī)學(xué)配準(zhǔn)，醫(yī)學(xué)圖像中的特征點(diǎn)不可靠；
[0006] 3)現(xiàn)有的融合方法配準(zhǔn)精度不高，在醫(yī)學(xué)圖像中需要達(dá)到亞像素級(jí)別的精度。

【發(fā)明內(nèi)容】

[0007] 發(fā)明目的:本發(fā)明的目的是提供一種能夠解決現(xiàn)有技術(shù)中存在的缺陷的基于剛性 變換的多模態(tài)圖像融合方法。
[0008] 技術(shù)方案:為達(dá)到此目的，本發(fā)明采用以下技術(shù)方案：
[0009] 本發(fā)明所述的基于剛性變換的多模態(tài)圖像融合方法，包括以下的步驟：
[0010] S1:通過變換矩陣構(gòu)建參考圖像R與浮動(dòng)圖像F之間的剛性變換模型；
[0011] S2:構(gòu)建參考圖像R與浮動(dòng)圖像F之間的相似度目標(biāo)函數(shù)f;
[0012] S3:利用模擬退火算法對相似度目標(biāo)函數(shù)f進(jìn)行全局尋優(yōu)，得到相似度目標(biāo)函數(shù)f 全局最優(yōu)解對應(yīng)的變換矩陣；
[0013] S4:將步驟S3得到的全局最優(yōu)解對應(yīng)的變換矩陣中的平移量及旋轉(zhuǎn)量作為局部尋 優(yōu)的搜索起點(diǎn)，利用鮑威爾算法對相似度目標(biāo)函數(shù)f進(jìn)行局部尋優(yōu)，得到相似度目標(biāo)函數(shù)f 局部最優(yōu)解對應(yīng)的變換矩陣，將局部最優(yōu)解對應(yīng)的變換矩陣代入步驟S1的剛性變換模型 中，得到準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F;
[0014] S5:將參考圖像R與準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F進(jìn)行加權(quán)融合。
[0015] 進(jìn)一步，所述步驟S1中的剛性變換模型如式⑴所示：
[0017]式（1)中，xr為浮動(dòng)圖像F中任意一點(diǎn)的橫坐標(biāo)，yr為浮動(dòng)圖像F中該點(diǎn)的縱坐標(biāo)，Xf 為浮動(dòng)圖像F中該點(diǎn)變換到參考圖像R中得到的相應(yīng)點(diǎn)的橫坐標(biāo)，yf為浮動(dòng)圖像F中該點(diǎn)變 換到參考圖像R中得到的相應(yīng)點(diǎn)的縱坐標(biāo)，X為浮動(dòng)圖像F的水平平移量，y為浮動(dòng)圖像F的垂 直平移量，Θ為浮動(dòng)圖像F的逆時(shí)針旋轉(zhuǎn)角度，
[0018]進(jìn)一步，所述步驟S2中的相似度目標(biāo)函數(shù)f如式(2)所示：
[0020] 式(2)中，w=(x，y，0)，H(R)為參考圖像R的熵，H(F)為浮動(dòng)圖像F的熵，H(R，F(xiàn))為參 考圖像R和浮動(dòng)圖像F的聯(lián)合熵。
[0021] 進(jìn)一步，所述步驟S3包括以下的步驟：
[0022] 33.1:將(1，7，0) = (〇,〇,〇)作為初始解《〇，計(jì)算相應(yīng)的相似度目標(biāo)函數(shù)；^?〇);
[0023] S3.2:利用擾動(dòng)函數(shù)對wo進(jìn)行擾動(dòng)，得到新解w，并計(jì)算相應(yīng)的相似度目標(biāo)函數(shù)f (w)；
[0024] S3.3:判斷f (w)和f (wo)的大小:如果f (w)>f (wo)，則將w賦給wo，然后繼續(xù)進(jìn)行步驟 33.4;如果￡(￥)〈丨(￥())，則根據(jù)161：1'0?〇118準(zhǔn)則決定是否接受￥，如果接受，則將￥賦給帥，然 后繼續(xù)進(jìn)行步驟S3.4，如果不接受，則進(jìn)行步驟S3.5;
[0025] S3.4:判斷是否達(dá)到最大迭代次數(shù):如果已達(dá)到最大迭代次數(shù)，則跳至步驟S3.5; 如果未達(dá)到最大迭代次數(shù)，則返回步驟S3.2;
[0026] S3.5:判斷此時(shí)的相似度目標(biāo)函數(shù)f是否滿足要求:如果滿足要求，則結(jié)束;如果不 滿足要求，則重新設(shè)定最大迭代次數(shù)，然后返回步驟S3.2。
[0027] 進(jìn)一步，所述步驟S4包括以下的步驟：
[0028] S4.1:將所述步驟S3中得到的全局最優(yōu)解對應(yīng)的變換矩陣中的水平平移量作為局 部尋優(yōu)的搜索起點(diǎn)xq，設(shè)定初始搜索方向分別為cb(1，0，0)、d 2(0，1，0)和d3(0，0，1);
[0029] S4.2:采用一維Brent方法順次沿著^、辦和出搜索相似度目標(biāo)函數(shù)f的極大值，取 得極大值的點(diǎn)分別為XI、X2和X3 ;
[0030] S4.3:連接X0和X3得到新的方向d4,沿著d4搜索相似度目標(biāo)函數(shù)f的極大值，取得極 大值的點(diǎn)為X4,判斷是否用d4替換di、d2和d3中的一個(gè)方向：如果替換，則確定用d4替換di、d2 和d 3中的哪個(gè)方向，并將X4作為新的搜索起點(diǎn)，然后進(jìn)行步驟S4.4;如果不替換，則將X4作為 新的搜索起點(diǎn)，然后進(jìn)行步驟S4.4;
[0031] S4.4:判斷此時(shí)的相似度目標(biāo)函數(shù)f是否滿足要求:如果滿足要求，則結(jié)束;如果不 滿足要求，則返回步驟S4.2。
[0032] 進(jìn)一步，所述步驟S4.3中的判斷采用如下的準(zhǔn)則：
[0033] 設(shè)定 Fo = f(XQ)為起始點(diǎn)，F(xiàn)2 = f (X3)為終點(diǎn)，F(xiàn)3 = f (X4)為反射點(diǎn)，記 fi = f (Xi)，A i = fi_fi-i，將八1取得最大值時(shí)的i賦給m，如果式⑵和式⑶均成立，則用d4替換dm，并將X4作 為新的搜索起點(diǎn)，然后進(jìn)行步驟S4.4;如果式(2)和式(3)中至少有一個(gè)不成立，則將 X4作為 新的搜索起點(diǎn)，然后進(jìn)行步驟S4.4;
[0034] F3<Fo (2)
[0035] (F0-2F2+F3) (F0-F2- Δ m)2<〇.5 Δ m(F〇-F3)2 (3)。
[0036] 進(jìn)一步，所述步驟S5中，將參考圖像R與準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F按照式(4)進(jìn)行加 權(quán)融合：
[0037] I =R*wi+F*W2 (4)
[0038] 式(4)中，I為融合后的圖像，wi和W2均為加權(quán)系數(shù)，且wi+W2 = 1。
[0039] 有益效果:與現(xiàn)有技術(shù)相比，本發(fā)明具有如下的有益效果：
[0040] 1)將全局尋優(yōu)跟局部尋優(yōu)相結(jié)合，這種二階段的尋優(yōu)方法可以避免陷入局部最 優(yōu)；
[0041] 2)該方法使用互信息作為目標(biāo)函數(shù)，可以實(shí)現(xiàn)亞像素級(jí)別的配準(zhǔn)，配準(zhǔn)精度更高；
[0042] 3)用戶可以根據(jù)觀察的側(cè)重點(diǎn)不同，調(diào)節(jié)融合的權(quán)值。
【附圖說明】
[0043]圖1為本發(fā)明的方法流程圖；
[0044]圖2為本發(fā)明的步驟S3的流程圖；
[0045]圖3為本發(fā)明的步驟S4的流程圖。
【具體實(shí)施方式】
[0046] 下面結(jié)合【具體實(shí)施方式】對本發(fā)明的技術(shù)方案作進(jìn)一步的介紹。
[0047] 本發(fā)明公開了一種基于剛性變換的多模態(tài)圖像融合方法，如圖1所示，包括以下的 步驟：
[0048] S1:通過變換矩陣構(gòu)建參考圖像R與浮動(dòng)圖像F之間的剛性變換模型；
[0049] S2:構(gòu)建參考圖像R與浮動(dòng)圖像F之間的相似度目標(biāo)函數(shù)f;
[0050] S3:利用模擬退火算法對相似度目標(biāo)函數(shù)f進(jìn)行全局尋優(yōu)，得到相似度目標(biāo)函數(shù)f 全局最優(yōu)解對應(yīng)的變換矩陣；
[0051] S4:將步驟S3得到的全局最優(yōu)解對應(yīng)的變換矩陣中的平移量及旋轉(zhuǎn)量作為局部尋 優(yōu)的搜索起點(diǎn)，利用鮑威爾算法對相似度目標(biāo)函數(shù)f進(jìn)行局部尋優(yōu)，得到相似度目標(biāo)函數(shù)f 局部最優(yōu)解對應(yīng)的變換矩陣，將局部最優(yōu)解對應(yīng)的變換矩陣代入步驟S1的剛性變換模型 中，得到準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F;
[0052] S5:將參考圖像R與準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F進(jìn)行加權(quán)融合。
[0053]步驟S1中的剛性變換模型如式(1)所示：
[0055]式（1)中，xr為浮動(dòng)圖像F中任意一點(diǎn)的橫坐標(biāo)，yr為浮動(dòng)圖像F中該點(diǎn)的縱坐標(biāo)，x f 為浮動(dòng)圖像F中該點(diǎn)變換到參考圖像R中得到的相應(yīng)點(diǎn)的橫坐標(biāo)，yf為浮動(dòng)圖像F中該點(diǎn)變 換到參考圖像R中得到的相應(yīng)點(diǎn)的縱坐標(biāo)，X為浮動(dòng)圖像F的水平平移量，y為浮動(dòng)圖像F的垂 直平移量，Θ為浮動(dòng)圖像F的逆時(shí)針旋轉(zhuǎn)角度，
為變換矩陣，水平平移量和 垂直平移量統(tǒng)稱為平移量，逆時(shí)針旋轉(zhuǎn)角度稱為旋轉(zhuǎn)量。
[0056]步驟S2中的相似度目標(biāo)函數(shù)f如式(2)所示：
[0058]式(2)中，w=(x，y，0)，H(R)為參考圖像R的熵，H(F)為浮動(dòng)圖像F的熵，H(R，F(xiàn))為參 考圖像R和浮動(dòng)圖像F的聯(lián)合熵。
[0059] 如圖2所示，步驟S3包括以下的步驟：
[0000] 33.1:將(1，7，0) = (〇,〇,〇)作為初始解《〇，計(jì)算相應(yīng)的相似度目標(biāo)函數(shù)；^?〇);
[0061] S3.2:利用擾動(dòng)函數(shù)對wo進(jìn)行擾動(dòng)，得到新解w，并計(jì)算相應(yīng)的相似度目標(biāo)函數(shù)f (w)；
[0062] 33.3:判斷：1；'(￥)和；1；'(￥())的大小:如果；1；'(￥)>；1；'(￥())，則將￥賦給^)，然后繼續(xù)進(jìn)行步驟 33.4;如果￡(￥)〈丨(￥())，則根據(jù)161：1'0?〇118準(zhǔn)則決定是否接受￥，如果接受，則將￥賦給帥，然 后繼續(xù)進(jìn)行步驟S3.4，如果不接受，則進(jìn)行步驟S3.5;
[0063] S3.4:判斷是否達(dá)到最大迭代次數(shù):如果已達(dá)到最大迭代次數(shù)，則跳至步驟S3.5; 如果未達(dá)到最大迭代次數(shù)，則返回步驟S3.2;
[0064] S3.5:判斷此時(shí)的相似度目標(biāo)函數(shù)f是否滿足要求:如果滿足要求，則結(jié)束;如果不 滿足要求，則重新設(shè)定最大迭代次數(shù)，然后返回步驟S3.2。
[0065] 如圖3所示，步驟S4包括以下的步驟：
[0066] S4.1:將所述步驟S3中得到的全局最優(yōu)解對應(yīng)的變換矩陣中的水平平移量作為局 部尋優(yōu)的搜索起點(diǎn)xq，設(shè)定初始搜索方向分別為cb(1，0，0)、d 2(0，1，0)和d3(0，0，1);
[0067] S4.2:采用一維Brent方法順次沿著^、辦和出搜索相似度目標(biāo)函數(shù)f的極大值，取 得極大值的點(diǎn)分別為XI、X2和X3 ;
[0068] S4.3:連接xo和X3得到新的方向d4,沿著d 4搜索相似度目標(biāo)函數(shù)f的極大值，取得極 大值的點(diǎn)為X4,判斷是否用d4替換di、d2和d3中的一個(gè)方向：如果替換，則確定用d4替換di、d2 和d3中的哪個(gè)方向，并將X4作為新的搜索起點(diǎn)，然后進(jìn)行步驟S4.4;如果不替換，則將 X4作為 新的搜索起點(diǎn)，然后進(jìn)行步驟S4.4;
[0069] S4.4:判斷此時(shí)的相似度目標(biāo)函數(shù)f是否滿足要求:如果滿足要求，則結(jié)束;如果不 滿足要求，則返回步驟S4.2。
[0070] 步驟S4.3中的判斷采用如下的準(zhǔn)則：
[0071] 設(shè)定 Fo = f(XQ)為起始點(diǎn)，F(xiàn)2 = f (X3)為終點(diǎn)，F(xiàn)3 = f (X4)為反射點(diǎn)，記fi = f (Xi)，A i = fi-fi-i，將八1取得最大值時(shí)的i賦給m，如果式⑵和式⑶均成立，則用d4替換dm，并將X4作 為新的搜索起點(diǎn)，然后進(jìn)行步驟S4.4;如果式(2)和式(3)中至少有一個(gè)不成立，則將X4作為 新的搜索起點(diǎn)，然后進(jìn)行步驟S4.4;
[0072] F3<Fo (2)
[0073] (F0-2F2+F3) (F0-F2- Δ m)2<〇.5 Δ m(F〇-F3)2 (3)。
[0074] 步驟S5中，將參考圖像R與準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F按照式(4)進(jìn)行加權(quán)融合：
[0075] I =R*wi+F*W2 (4)
[0076] 式(4)中，I為融合后的圖像，wi和W2均為加權(quán)系數(shù)，且wi+W2 = 1。
【主權(quán)項(xiàng)】
1. 一種基于剛性變換的多模態(tài)圖像融合方法，其特征在于:包括W下的步驟： S1:通過變換矩陣構(gòu)建參考圖像R與浮動(dòng)圖像F之間的剛性變換模型； S2:構(gòu)建參考圖像R與浮動(dòng)圖像F之間的相似度目標(biāo)函數(shù)f; S3:利用模擬退火算法對相似度目標(biāo)函數(shù)f進(jìn)行全局尋優(yōu)，得到相似度目標(biāo)函數(shù)f全局 最優(yōu)解對應(yīng)的變換矩陣； S4:將步驟S3得到的全局最優(yōu)解對應(yīng)的變換矩陣中的平移量及旋轉(zhuǎn)量作為局部尋優(yōu)的 捜索起點(diǎn)，利用鮑威爾算法對相似度目標(biāo)函數(shù)f進(jìn)行局部尋優(yōu)，得到相似度目標(biāo)函數(shù)f局部 最優(yōu)解對應(yīng)的變換矩陣，將局部最優(yōu)解對應(yīng)的變換矩陣代入步驟S1的剛性變換模型中，得 到準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F; S5:將參考圖像R與準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F進(jìn)行加權(quán)融合。2. 根據(jù)權(quán)利要求1所述的基于剛性變換的多模態(tài)圖像融合方法，其特征在于:所述步驟 S1中的剛性變換模型如式（1)所示：(1) 式（1)中，Xr為浮動(dòng)圖像F中任意一點(diǎn)的橫坐標(biāo)，yr為浮動(dòng)圖像F中該點(diǎn)的縱坐標(biāo)，?為浮 動(dòng)圖像F中該點(diǎn)變換到參考圖像R中得到的相應(yīng)點(diǎn)的橫坐標(biāo)，yf為浮動(dòng)圖像F中該點(diǎn)變換到 參考圖像R中得到的相應(yīng)點(diǎn)的縱坐標(biāo)，X為浮動(dòng)圖像F的水平平移量，y為浮動(dòng)圖像F的垂直平 移量，Θ為浮動(dòng)圖像F的逆時(shí)針旋轉(zhuǎn)角度：為變換矩陣。3. 根據(jù)權(quán)利要求1所述的基于剛性變換的多模態(tài)圖像融合方法，其特征在于:所述步驟 S2中的相似度目標(biāo)函數(shù)f如式(2)所示：(2) 式(2)中，w=(x，y，θ)，H(R)為參考圖像R的賭，H(F)為浮動(dòng)圖像F的賭，H(R，F(xiàn))為參考圖 像R和浮動(dòng)圖像F的聯(lián)合賭。4. 根據(jù)權(quán)利要求1所述的基于剛性變換的多模態(tài)圖像融合方法，其特征在于:所述步驟 S3包括W下的步驟： S3.1:將(x，y,0) = (0,0,0)作為初始解W0，計(jì)算相應(yīng)的相似度目標(biāo)函數(shù)f (W0); S3.2:利用擾動(dòng)函數(shù)對wo進(jìn)行擾動(dòng)，得到新解W，并計(jì)算相應(yīng)的相似度目標(biāo)函數(shù)f(w); S3.3 :判斷f (W)和f (WQ)的大?。喝绻鹒 (W)〉f (WQ)，則將W賦給WQ，然后繼續(xù)進(jìn)行步驟 S3.4;如果f (w)<f (WQ)，則根據(jù)Metropolis準(zhǔn)則決定是否接受W，如果接受，則將W賦給W0，然 后繼續(xù)進(jìn)行步驟S3.4，如果不接受，則進(jìn)行步驟S3.5; S3.4:判斷是否達(dá)到最大迭代次數(shù):如果已達(dá)到最大迭代次數(shù)，則跳至步驟S3.5;如果 未達(dá)到最大迭代次數(shù)，則返回步驟S3.2; S3.5:判斷此時(shí)的相似度目標(biāo)函數(shù)f是否滿足要求:如果滿足要求，則結(jié)束;如果不滿足 要求，則重新設(shè)定最大迭代次數(shù)，然后返回步驟S3.2。5. 根據(jù)權(quán)利要求1所述的基于剛性變換的多模態(tài)圖像融合方法，其特征在于:所述步驟 S4包括W下的步驟： S4.1:將所述步驟S3中得到的全局最優(yōu)解對應(yīng)的變換矩陣中的水平平移量作為局部尋 優(yōu)的捜索起點(diǎn)X0，設(shè)定初始捜索方向分別為di(1，0，0)、cb(0，1，0)和d3(0，0，1); S4.2:采用一維化ent方法順次沿著di、cb和d3捜索相似度目標(biāo)函數(shù)f的極大值，取得極 大值的點(diǎn)分別為X1、X2和X3; S4.3:連接X0和X3得到新的方向cU，沿著cU捜索相似度目標(biāo)函數(shù)f的極大值，取得極大值 的點(diǎn)為X4,判斷是否用(k替換di、d2和d3中的一個(gè)方向：如果替換，則確定用(k替換di、d2和d3 中的哪個(gè)方向，并將X4作為新的捜索起點(diǎn)，然后進(jìn)行步驟S4.4 ;如果不替換，則將X4作為新的 捜索起點(diǎn)，然后進(jìn)行步驟S4.4; S4.4:判斷此時(shí)的相似度目標(biāo)函數(shù)f是否滿足要求:如果滿足要求，則結(jié)束;如果不滿足 要求，則返回步驟S4.2。6. 根據(jù)權(quán)利要求5所述的基于剛性變換的多模態(tài)圖像融合方法，其特征在于:所述步驟 S4.3中的判斷采用如下的準(zhǔn)則： 設(shè)定Fo = f (X0)為起始點(diǎn)，F(xiàn)2 = f (X3)為終點(diǎn)，F(xiàn)3 = f (X4)為反射點(diǎn)，記fi = f (Xi)，A i = fi- fi-i，將Ai取得最大值時(shí)的i賦給m，如果式(2)和式(3)均成立，則用cU替換dm,并將X4作為新 的捜索起點(diǎn)，然后進(jìn)行步驟S4.4;如果式(2)和式(3)中至少有一個(gè)不成立，則將X4作為新的 捜索起點(diǎn)，然后進(jìn)行步驟S4.4; F3<F0 (2) (F0-2F2+F3) (F0-F2- Δ m)2<0.5 Δ m(F〇-F3)2 (3)。7. 根據(jù)權(quán)利要求1所述的基于剛性變換的多模態(tài)圖像融合方法，其特征在于:所述步驟 S5中，將參考圖像R與準(zhǔn)確配準(zhǔn)后的浮動(dòng)圖像F按照式(4)進(jìn)行加權(quán)融合： I 二 R*wi+F*W2 (4) 式(4)中，I為融合后的圖像，W1和W2均為加權(quán)系數(shù)，且W1+W2二1。
【文檔編號(hào)】G06T7/00GK106097247SQ201610413920
【公開日】2016年11月9日
【申請日】2016年6月14日 公開號(hào)201610413920.5, CN 106097247 A, CN 106097247A, CN 201610413920, CN-A-106097247, CN106097247 A, CN106097247A, CN201610413920, CN201610413920.5
【發(fā)明人】劉金虎, 王東輝, 加馮剛
【申請人】南京普愛醫(yī)療設(shè)備股份有限公司