專利名稱：圖像處理方法、圖像處理程序及圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于通過重合一對三維斷層圖像而產(chǎn)生融合圖像 的圖像處理方法、圖像處理程序以及圖像處理裝置。
背景技術(shù)：
圖像診斷經(jīng)常利用單光子放射型斷層攝影(以下稱為"SPECT")、 正電子放射型斷層攝影(以下稱為"PET")、磁共振斷層攝影(以下稱為" MRI")以及X射線斷層攝影(以下稱為"CT")等圖像，通過這些圖像 即可非破壞地取得存在于受檢者體內(nèi)的病變部的信息。因此，圖像診 斷在現(xiàn)在的診斷醫(yī)療中不可或缺。至今已進行了圖像診斷技術(shù)相關(guān)的各種研究，近年來，不僅是活 體內(nèi)的部位的形態(tài)信息，還發(fā)展出將活體機能信息圖像化的技術(shù)，并 臨床應(yīng)用。例如，利用核磁共振技術(shù)，將腦內(nèi)局部的血流量的變化圖 像化的機能性磁共振斷層攝影(以下稱為"fMRI" )、 SPECT及PET等 核醫(yī)學檢查的開發(fā)，臨床上的應(yīng)用。如此的機能圖像是將活體及病變時機能性的變化圖像化，因此， 機能圖像具有病變部檢測的特異度高的優(yōu)點。但另一方面，機能圖像 卻有缺乏病變部的解剖學上的位置信息的缺點。而融合圖像是可彌補機能圖像的缺點。融合圖像是機能圖像與形 態(tài)圖像重合的圖像。通過融合圖像即可于形態(tài)圖像上確認機能圖像檢 測出的病變部位的解剖學上的位置。因此，融合圖像有助于確定診斷、 治療方針等的決定。另外，不僅是來自不同模態(tài)的圖像，即，不僅是不同裝置所取得 的圖像，融合圖像也可由相同模態(tài)的圖像來制作。例如，基于實施多 次相同檢查所得的多個核醫(yī)學圖像所制作的融合圖像，也可得到相同 部位的數(shù)變化、相同部位的不同血流信息或受體分布等。對于融合圖像的需求的提高，至此已提案開發(fā)各種自動制作融合圖像的方法。例如已開發(fā)、實用化的Automatic Mulitmodality Image Registration法(以下稱為AMIR法)(參考非專利文獻1)、 AC-PC線對位法(參考非專利文獻2)、相互信息量最大化法(參考非專利文獻3)等。非專禾ll文獻 1: Babak A. Ardekani et al.， "A Fully Automatic Multimodality Image Registration Algorithm.", Journal of Computer Assisted Tomography,(USA), 1995， 19, 4， p615-623非專利文獻2: " Dr.View/LINUX使用手冊(第3版)"旭化成信息 系統(tǒng)株式會社，p466-470非專禾ll文獻3: F.Maes et al., "Multimodality Image Registration by Maximization of Mutual Information.", IEEE Transactions on Medical Imaging,(USA)， 1997, 16， 2, pl87-198發(fā)明內(nèi)容發(fā)明要解決的問題如上所述，圖像診斷的領(lǐng)域中，融合圖像非常有用，至今已開發(fā)、 實用化很多融合圖像制作法。AMIR法是將抽出輪廓的圖像分段，求取評價函數(shù)為最小值的條 件以制作融合圖像的方法。此方法對于可分段的圖像可有效地制作融 合圖像，但不適用于如以軟組織為對象的圖像一般的輪廓不鮮明難以 分段的圖像。AC-PC線對位法是在正中的矢狀面內(nèi)，通過重合決定的AC-PC線以制作融合圖像的方法。通過此方法，只要能決定進行重合的各圖像 的AC-PC線即可容易地制作融合圖像。但前提是必須制作正中的矢狀面的圖像，手動地決定AC-PC線，然而此AC-PC線的決定操作繁雜， 另外，此方法也無法應(yīng)用于頭部以外的圖像。另一方面，相互信息量最大化法是利用各圖像具有的信息量進行 對位的方法。即，此方法不需進行分段、AC-PC線的確定等的操作。 因此，相互信息量最大化法為現(xiàn)今最佳的對位方法之一。但以相互信息量最大化法自動產(chǎn)生的融合圖像的重合精度并非必 定是高精度而時常必須手動再調(diào)整。特別是，以來自不同模態(tài)圖像組 合的融合圖像，例如以SPECT圖像與CT圖像組合的融合圖像經(jīng)常發(fā) 生此問題。因此，本發(fā)明的目的在于提供一種圖像處理方法、圖像處理程序 以及圖像處理裝置，用于自動且重合精度高地制作融合圖像。用于解決問題的手段本申請發(fā)明人進行了認真研究，結(jié)果獲得了可高精度地制作融合 圖像的技術(shù)。即，本發(fā)明人發(fā)現(xiàn)，使一對的三維圖像各自的三維像素 大小、三維像素數(shù)相等之后，再求取一對三維圖像的相對位置，由此 可得到精度良好的融合圖像。然而，現(xiàn)有技術(shù)卻直接將三維像素大小、 三維像素數(shù)不同的一對的三維圖像，輸入至用于導(dǎo)出兩者的相對位置 的運算處理。相對于此，在相互信息量最大化法等中導(dǎo)入重調(diào)尺寸處 理，以導(dǎo)出各自的三維像素大小、三維像素數(shù)不同的一對三維圖像的 相對位置，而現(xiàn)有技術(shù)中并未任認定一對三維圖像各自的三維像素大 小、三維像素數(shù)有相等的必要性?；谏鲜稣J知，本發(fā)明的圖像處理方法包含(a)三維像素正規(guī)化 步驟，通過使第一三維圖像及第二三維圖像各自的有效視野內(nèi)的三維像素大小及三維像素數(shù)相等，而產(chǎn)生與上述第一三維圖像對應(yīng)的第一 正規(guī)化三維圖像、及與上述第二三維圖像對應(yīng)的第二正規(guī)化三維圖像， 其中上述第一三維圖像基于從受檢者的任意的部位獲得的多個第一斷 層圖像，上述第二三維圖像基于從上述部位獲得的多個第二斷層圖像； 以及(b)融合圖像產(chǎn)生步驟，利用上述第一正規(guī)化三維圖像及上述第二 正規(guī)化三維圖像產(chǎn)生融合圖像。本發(fā)明的圖像處理方法優(yōu)選還包含三維像素形狀變換步驟，將由 上述多個第一斷層圖像構(gòu)成的第一三維原圖像及由上述多個第二斷層圖像構(gòu)成的第二三維原圖像各自的三維像素，變換為立方體形狀的三 維像素，從而產(chǎn)生上述第一三維圖像及上述第二三維圖像。另外，本發(fā)明的圖像處理程序使計算機執(zhí)行上述三維像素正規(guī)化 步驟以及融合圖像產(chǎn)生步驟。另外，本發(fā)明的圖像處理程序優(yōu)選還使 計算機執(zhí)行上述三維像素形狀變換步驟。此外，本發(fā)明的圖像處理裝置包含(a)三維像素正規(guī)化單元，通過使第一三維圖像及第二三維圖像各自的有效視野內(nèi)的三維像素大小 及三維像素數(shù)相等，而產(chǎn)生與上述第一三維圖像對應(yīng)的第一正規(guī)化三 維圖像、及與上述第二三維圖像對應(yīng)的第二正規(guī)化三維圖像，其中上 述第一三維圖像基于從受檢者的任意的部位獲得的多個第一斷層圖像，上述第二三維圖像基于從上述部位獲得的多個第二斷層圖像；以 及(b)融合圖像產(chǎn)生單元，利用上述第一正規(guī)化三維圖像及上述第二正 規(guī)化三維圖像產(chǎn)生融合圖像。另外，圖像處理裝置優(yōu)選還包含三維像素形狀變換單元，將由上 述多個第一斷層圖像構(gòu)成的第一三維原圖像及由上述多個第二斷層圖 像構(gòu)成的第二三維原圖像各自的三維像素，變換為立方體形狀的三維 像素，從而產(chǎn)生上述第一三維圖像及上述第二三維圖像。第一正規(guī)化三維圖像及第二正規(guī)化三維圖像優(yōu)選通過線性內(nèi)插法 而產(chǎn)生。另外，第一三維圖像及第二三維圖像，也優(yōu)選通過線性內(nèi)插 法而產(chǎn)生。融合圖像優(yōu)選通過相互信息量最大化法而產(chǎn)生。發(fā)明效果通過本發(fā)明，可提供一種圖像處理方法、圖像處理程序以及圖像 處理裝置，可以自動且重合精度高地制作融合圖像。


圖1是本發(fā)明的實施方式的圖像處理方法的流程圖；圖2是圖1的三維像素形狀變換步驟的處理的一例的流程圖；圖3是圖1的三維像素正規(guī)化步驟的處理的一例的流程圖；圖4是圖1的融合圖像產(chǎn)生步驟的處理的一例的流程圖；圖5是本發(fā)明的實施方式的圖像處理程序的構(gòu)成與記錄介質(zhì)的示圖；圖6是執(zhí)行存儲于記錄介質(zhì)中的程序的計算機硬件構(gòu)成示圖； 圖7是執(zhí)行存儲于記錄介質(zhì)中的程序的計算機立體圖； 圖8是本發(fā)明的實施方式的圖像處理裝置構(gòu)成示圖； 圖9是頭部SPECT圖像的例示圖；圖10是圖9的受檢者的頭部CT圖像的例示圖；圖11是利用圖9、圖10的圖像，僅以相互信息量最大化法產(chǎn)生的融合圖像的示圖；圖12是利用圖9、圖IO的圖像，以本發(fā)明的圖像處理方法產(chǎn)生的融合圖像的示圖；圖13是胸部SPECT圖像的例示圖；圖14是圖13的受檢者的胸部MRI圖像的例示圖；圖15是利用圖13、圖14的圖像，僅以相互信息量最大化法產(chǎn)生的融合圖像的示圖；圖16是利用圖13、圖14的圖像，以本發(fā)明的圖像處理方法產(chǎn)生20 附圖標號說明10:圖像處理程序11:主模塊12:三維原圖像取得模塊14:三維像素形狀變換模16:三維像素正規(guī)化模塊18:融合圖像產(chǎn)生模塊20:輸出模塊30:圖像處理裝置32:三維原圖像取得部34:三維像素形狀變換部36:三維像素正規(guī)化部38:融合圖像產(chǎn)生部40:輸出部100:記錄介質(zhì)110:計算機112:讀取裝置114:作業(yè)用存儲器116存儲器118顯示裝置120鼠標122鍵盤124通"(曰裝置126CPU具體實施方式
以下，參照

本發(fā)明的實施方式的圖像處理方法。圖1是 本發(fā)明的實施方式的圖像處理方法的流程圖。圖1所示的圖像處理方 法，例如可通過向計算機施加以下說明的各步驟的指令來執(zhí)行。如圖1所示，此圖像處理方法中，首先，取得用于制作融合圖像 的第一三維原圖像及第二三維原圖像(步驟SOl)。第一三維原圖像由從 受檢者的任意部位取得的多個切面的第一斷層圖像構(gòu)成。相同地，第 二三維原圖像由從相同部位所得的多個切面的第二斷層圖像構(gòu)成。本實施方式中，第一斷層圖像與第二斷層圖像是通過不同模態(tài)取得的圖像。詳細地，第一斷層圖像是SPECT圖像與PET圖像等機能圖 像，第二斷層圖像是MRI圖像與CT圖像等形態(tài)圖像。以下，以形態(tài) 圖像采用CT圖像、機能圖像采用SPECT圖像為例進行說明。第一斷層圖像與第二斷層圖像也可為通過相同模態(tài)所取得的圖 像。例如，第一斷層圖像與第二斷層圖像可為攝影時間、施予的放射 性醫(yī)藥品不同的對相同部位的PET圖像或SPECT圖像，或者，也可采 用攝影條件不同的MRI圖像。多個第一斷層圖像與多個第二斷層圖像，是從幾乎垂直于身體軸 向、且在身體軸向上連續(xù)的多個剖面取得的斷層圖像。這些圖像可分 別以公知的方法取得。以下的說明中，從身體的正面來看時，橫向定 義為x軸方向，深度方向定義為y軸方向，身體軸向定義為z軸方向。第一三維原圖像及第二三維原圖像各自的圖像數(shù)據(jù)，可用計算機 可讀取的數(shù)據(jù)形式保存，例如，可采用DICOM形式的數(shù)據(jù)。這些圖像 數(shù)據(jù)，例如，以記錄于光盤等計算機可讀取的存儲介質(zhì)的方式提供。 將記錄圖像數(shù)據(jù)的存儲介質(zhì)插入設(shè)于計算機上的數(shù)據(jù)讀取裝置中，將 圖像數(shù)據(jù)讀入到計算機中，并在計算機上利用這些圖像進行以下的圖 像處理。另外，也可通過網(wǎng)絡(luò)作為重疊于載波上的計算機數(shù)據(jù)信號直 接取得該數(shù)據(jù)。接著，在本實施方式的圖像處理方法中進行三維像素形狀變換步驟(步驟S02)。第一三維原圖像與第二三維原圖像，即，由多個斷層圖 像構(gòu)成的三維原圖像中，各三維像素是成為向Z軸方向延伸的長方體形 狀。在三維像素形狀變換步驟中，將第一三維原圖像與第二三維原圖 像各自的三維像素變換為立方體形狀的三維像素。第一三維原圖像與第二三維原圖像各自的三維像素為立方體形狀 時不執(zhí)行本步驟，而將第一三維原圖像設(shè)為第一三維圖像，將第二三 維原圖像設(shè)為第二三維圖像。另外，第一三維原圖像與第二三維原圖 像中的一個三維原圖像的三維像素為長方體形狀時，將該一個三維原圖像的三維像素變換為立方體形狀的三維像素。以下，更詳細地說明三維像素形狀變換步驟(步驟S02)。此步驟的 處理是通過例如雙線性法、雙立方法等公知的線性內(nèi)插法，調(diào)整身體軸向的像素大小。以下，以雙線性法的線性內(nèi)插為例說明本步驟。圖2是圖1的三 維像素形狀變換步驟的處理的一例的流程圖。圖2所示的三維像素形 狀變換步驟是采用基于雙線性法的處理。此三維像素形狀變換步驟中， 以下說明的步驟Sll 步驟S13的處理適用于第一三維原圖像及第二 三維原圖像雙方，而產(chǎn)生第一三維圖像及第二三維圖像。為簡化說明， 以下將第一三維原圖像及第二三維原圖像稱為"三維原圖像"。另外， 將通過三維像素形狀變換而產(chǎn)生的第一三維圖像及第二三維圖像稱 為"三維圖像"。如圖2所示，首先，此三維像素形狀變換步驟中，為了僅對于z 軸方向的三維像素數(shù)進行調(diào)整而計算有效視野內(nèi)的三維像素形狀變換 后的z軸方向的三維像素數(shù)(步驟Sll)。具體地，通過數(shù)式(l)的運算，計算出z軸方向的三維像素數(shù)。數(shù)式1:<formula>formula see original document page 13</formula> ……(1)數(shù)式(1)中，Mz2是三維像素形狀變換后的Z軸方向的三維像素數(shù)，F(xiàn)OVz是z軸方向的有效視野，P！是三維像素的x軸與y軸方向中一邊 的長度。從而，計算一邊的長度為Pi的立方體形狀的三維像素的z軸 方向的數(shù)。接著，在存儲器上制作三維像素形狀變換后的三維圖像用的新的 圖像空間(步驟S12)。此圖像空間是用于存儲三維原圖像的x軸方向的 三維像素數(shù)、y軸方向的三維像素數(shù)及Mz2的乘積，以及同數(shù)的三維像 素各自的像素值的空間。接著，對步驟S12中制作的圖像空間內(nèi)的各三維像素附加像素值， 制作新的三維圖像(步驟S13)。此步驟中，利用三維原圖像中的冠狀切 面或矢狀切面，在z軸方向以雙線性法的線性內(nèi)插法制作三維圖像。以 下，以利用冠狀切面進行線性內(nèi)插的情況為例進行說明。步驟S13中，從將三維像素形狀變換后的三維圖像g中的任意三 維像素的中心點(x,z)包圍的附近的四個格點(^，k)、(ji+l乂)、 Ch,lq+1) 以及(h+l，ld+l)各自的三維原圖像f的像素值，通過數(shù)式(2)的運算，計 算出點(x，z)的像素值g(x，z)。數(shù)式2:<formula>formula see original document page 13</formula>2)其中，f(j,，ld)、 f(h+l,kj)、 f(h,k!+l)以及f(h+l,ki+l)分別是包圍點 (x，z)的三維原圖像的冠狀切面的格點(^，k,)、 (j、+l,kO、 (ih、+l)及 (ji+l,k, + l)的像素值(像素的濃度值)，j「[x]、 r「x-j,、 k=[z]、 Sl=z-k10全部的冠狀切面的全部的三維像素依次進行此操作，由此，形成將三 維像素形狀變更為立方體的新圖像，即三維圖像g，完成三維像素形狀 變更處理。回到圖1，本實施方式的圖像處理方法中，接著進行三維像素正規(guī) 化步驟(步驟S03)。三維像素正規(guī)化步驟中，分別將第一三維圖像與第 二三維圖像各自在有效視野內(nèi)的三維像素大小與三維像素數(shù)，處理成 為相同值。最佳的型態(tài)下，三維像素正規(guī)化步驟是將有效視野較小的圖像的 三維像素大小與三維像素數(shù)，變換成與有效視野較大的圖像的三維像 素大小與三維像素數(shù)相同。例如，第一三維圖像的有效視野小于第二三維圖像的有效視野時， 使第一三維圖像的三維像素大小及三維像素數(shù)，與第二三維圖像的三 維像素大小及三維像素數(shù)一致。另外，在第一三維圖像有效視野外附加空碼(Nullcode，即0值)。在三維像素正規(guī)化步驟中，也可采用雙線性法、雙立方法等公知 的線性內(nèi)插處理方法。圖3是圖1的三維像素正規(guī)化步驟的處理的一 例的流程圖。以下，假設(shè)第二三維圖像具有大于第一三維圖像的有效 視野，參照圖3說明基于雙線性法的三維像素正規(guī)化步驟。如圖3所示，正規(guī)化三維像素大小等的步驟中，首先，在計算機 的存儲器上準備三維圖像空間，此三維圖像空間具有與第二三維圖像 相同的三維像素大小及三維像素數(shù)(步驟S21)。接著，將通過線性內(nèi)插處理第一三維圖像所求取的像素值，附加 于圖像空間的各三維像素中，從而產(chǎn)生第一三維正規(guī)化圖像。本實施 方式中，第二三維圖像即為第二三維正規(guī)化圖像。更具體地，首先，利用第一三維圖像的橫切面，以雙線性法進行 線性內(nèi)插處理，計算出假定的像素值，附加于上述圖像空間的各三維像素上(步驟S22)。以下，將步驟S22的內(nèi)插處理稱為"第一次內(nèi)插處 理"。具體地，第一次內(nèi)插處理中，在橫切面上設(shè)定xy坐標。之后，在 圖像空間上假設(shè)格點，從將第一次內(nèi)插處理后的三維圖像h,的點(x,y)包圍的四個格點(]'2，k2)、 (j2+l,k2)、 (J2，k2+l)以及(J2+l,k2+l)各自的第一三維圖像g的像素值，通過數(shù)式(3)的運算，計算出點(x，y)的像素值h,(x,y)。 數(shù)式3:h!(x，y;Kl-r2)-(l-S2)-hiCJ2,k2)+r2-(l-S2)-g(J2+l，k2)+(l-r2)'s2.g(j2，k2+l)+r2.s2'g(j2+l，k2+l) ……(3)其中，g(j2，k2)、 g(J2+U2)、 g(J2，k2+l)以及g(J2+U2+l)是包圍點(X，y) 的各格點(J2，k2)、 (j2+l,k2)、 (J2,k2+l)以及CJ2+l,k2+l)的第一三維圖像g的像素值，j2=[x]、 r2=x-j2、 k2=[y]、 s2=y-k2。全部的橫切面的全部的三 維像素依次進行此操作，將所得的像素值附加于各自的三維像素上， 完成第一次內(nèi)插處理。接著，在矢狀切面或冠狀切面進行相同的內(nèi)插處理(步驟S23)。以 下，將步驟S23的內(nèi)插處理稱為第二次內(nèi)插處理。另外，以下以冠狀 切面進行內(nèi)插處理為例說明第二次內(nèi)插處理。第二次內(nèi)插處理中，首先，在冠狀切面上設(shè)定xz坐標。之后，在 此坐標上假設(shè)格點，從第一次內(nèi)插處理付加而成的三維圖像h,的四個像素值，即包圍任意三維像素的中心點(X,Z)的四個格點(J3，k3)、(J3+l,k3)、 (J3,k3+l)以及(J3+l，k3+l)各自的像素值，通過數(shù)式(4)的運算，計算出點 (X，Z)的像素值h2(X,Z)。數(shù)式4:h2(X,Z)^l-r3)'(l-S3)'ln(J3，k3)+tV(l陽S3)'h!(J3+l，k3)+(l-r3).s3'h1(j3，k3+l)+r3.s3.h1(j3+l,k3+l)……(4)其中，h^3，k3)、 h晶+l,k3)、 h晶，k3+l)以及l(fā)n(J3+l,k3+l)分別是包 圍點(X，Z)的各格點(J3，k3)、 (j3+l，k3)、 (J3，k3+l)以及(J3+l，k3+l)的像素值， j3=[X]、 r3=x-j3、 k3=[Z]、 S3=Z-k3。全部的三維像素依次進行此操作，將 所得的像素值附加于各自的三維像素，得到第一正規(guī)化三維圖像h2。 由此，完成第二次內(nèi)插處理，完成正規(guī)化三維像素大小等的處理。第一三維圖像的有效視野大于第二三維圖像時，對于第二三維圖像進行上述步驟S21 步驟S23的相同處理即可。另外，三維像素正規(guī) 化步驟中，也可進行使有效視野較大的圖像的三維像素數(shù)與有效視野 較小的圖像一致的處理。例如，第一三維圖像的有效視野小于第二三 維圖像的有效視野時，也可進行使第二三維圖像的三維像素大小及三 維像素數(shù)與第一三維圖像的三維像素大小及三維像素數(shù)一致的處理。 此時，需要變換第二三維圖像，使變換后的第二三維圖像的有效視野 內(nèi)包含的部位，與第一三維圖像的有效視野包含的部位，實質(zhì)上是相 同部位。具體地，利用鼠標等外部輸入單元，在第二三維圖像內(nèi)選擇 對象部位、即三維關(guān)注區(qū)域，可以通過對所選擇的對象部位進行線性 內(nèi)插處理，來進行正規(guī)化處理，可高速地產(chǎn)生對象部位的融合圖像。再次參照圖1，本實施方式的圖像處理方法中，三維像素正規(guī)化步 驟之后，接著進行融合圖像產(chǎn)生步驟(步驟S04)。此融合圖像產(chǎn)生步驟 中，將第一正規(guī)化三維圖像與第二正規(guī)化三維圖像進行重合處理以制 成融合圖像。此重合處理是采用相互信息量最大化法(Maes F. et al., IEEE Trans. Med. Imaging, (1997)， 16(2)， pl87-198)而進行。以下對相互信息量最大化法中的圖像重合處理進行說明。相互信息量最大化法是指在圖像間 的相互信息量為最大的條件下制作重合圖像的方法。圖4是圖1的融 合圖像產(chǎn)生步驟的處理的一例的流程圖。具體地，相互信息量最大化法中，如圖4所示，首先，以所賦予的坐標變換參數(shù)進行第一正規(guī)化三維圖像的坐標變換(步驟S31)。此坐 標變換參數(shù)采用用于進行圖像平行移動的參數(shù)(Tx，Ty，Tz)以及用于進行圖像旋轉(zhuǎn)的參數(shù)(e x， e y， e z)合計六個參數(shù)。坐標變換參數(shù)的初始值可利用任意選擇的值，例如，作為初始值可設(shè)定所有的坐標變換參數(shù)為o。接著，使用第二正規(guī)化三維圖像與變換坐標后的第一正規(guī)化三維圖像，計算出融合圖像的相互信息量(步驟S32)。此相互信息量I(A，Bnew) 的值是通過數(shù)式(5) (8)來計算。數(shù)式5:I( A，Bnew)=H(A)+H(Bnew)-H( A,Bnew) ……(5) 數(shù)式6:H(A)= i: (NAi/MA)log2(NAi/MA) ……(6) 數(shù)式7:乖麗)=2 (NBi/MB)log2(NBl/MB) …...(7)數(shù)式8:H(A,Bnew)= 2 (NAlBi/MAB)log2(NAlBl/MAB) ……(8)其中，I(A，B,)是相互信息量，H(A)、 H(B,)以及H(A,B,)分別為第二正規(guī)化三維圖像的熵、變換坐標后的第一正規(guī)化三維圖像的熵、 以及第二正規(guī)化三維圖像與變換坐標后的第一正規(guī)化三維圖像的結(jié)合熵。NA,是第二正規(guī)化三維圖像中具有像素值A(chǔ)i的三維像素的數(shù)，NBi 是變換坐標后的第一正規(guī)化三維圖像中具有像素值Bi的三維像素的 數(shù)。NAiBi是融合圖像中像素值A(chǔ)i與Bi同時存在的三維像素的數(shù)。MA、Mb以及MAB分別為第二正規(guī)化三維圖像的三維像素數(shù)(矩陣大小)、變換坐標后的第一正規(guī)化三維圖像的三維像素數(shù)(矩陣大小)以及融合圖 像的三維像素數(shù)(矩陣大小)。融合圖像產(chǎn)生步驟中，更新與第一正規(guī)化三維圖像對應(yīng)的坐標變 換參數(shù)，反復(fù)地執(zhí)行相互信息量的計算(步驟S34)，以提取相互信息量 成為最大的條件(步驟S33)。之后，通過使相互信息量最大的坐標變換 參數(shù)，產(chǎn)生變換坐標的第一正規(guī)化三維圖像和第二正規(guī)化三維圖像的 融合圖像(步驟S35)。坐標變換參數(shù)的更新與最佳化可采用各種公知的算法。例如，可 以使用以單體法、包威爾(Powell)法為代表的直接搜尋法，以最快 下降法(最大梯度法)、共軛梯度法為代表的梯度法(登山法)(長尾智晴 著，"最佳化算法"，初版，株式會社昭晃堂，2000， Fred erik Maes et al,， IEEE Transactions on Medical Imaging, 1997, 16, 2, pi87-198)。以最 佳化算法一例的最快下降法進行以下的說明。最快下降法中，首先， 利用任意的坐標變換參數(shù)(Tx、 Ty、 Tz、 ex、 ey、 ez)，進行第一正規(guī)化三維圖像的坐標變換，求取利用變換前的第一正規(guī)化三維圖像計 算出的相互信息量，以及利用變換后的第一正規(guī)化三維圖像計算出的 相互信息量之間的變化率。使坐標變換參數(shù)進行各種變化的同時反復(fù) 進行此計算，提取相互信息量的變化率最大的變換參數(shù)的組合。接著，求取利用通過提取出的坐標變換參數(shù)變換了的第一正規(guī)化 三維圖像計算出的相互信息量、以及利用通過不同的任意坐標變換參 數(shù)變換了的第一正規(guī)化三維圖像計算出的相互信息量之間的變化率。 進行與上述相同的操作，提取相互信息量的變化率為最大值的變換參 數(shù)，進行第一正規(guī)化三維圖像的再變換。反復(fù)進行此操作，使最終的相互信息量的變化率收斂于零。使相互信息量的變化率收斂于零的條 件相當于使相互信息量最大的變換條件(坐標變換參數(shù))。以此條件，利 用進行位置及方向的變換的第一正規(guī)化三維圖像、和第二正規(guī)化三維 圖像，制作融合圖像。接著說明本發(fā)明的實施方式的圖像處理程序。圖5是本發(fā)明的實 施方式的圖像處理程序的構(gòu)成與記錄介質(zhì)的示圖。圖5所示的圖像處理程序IO是以記錄于記錄介質(zhì)100中的方式來提供。記錄介質(zhì)100可 舉例如軟盤、CD-ROM、 DVD或ROM等的記錄介質(zhì)，或者半導(dǎo)體存儲器等。圖6是用于執(zhí)行存儲于記錄介質(zhì)中的程序的計算機的硬件構(gòu)成示 圖。圖7是執(zhí)行存儲于記錄介質(zhì)中的程序的計算機立體圖。如圖6所 示，計算機110包含軟盤驅(qū)動裝置、CD-ROM驅(qū)動裝置、DVD驅(qū)動 裝置等讀取裝置112;使操作系統(tǒng)常駐的作業(yè)用存儲器(RAM)114;將 存儲于記錄介質(zhì)100的程序存儲下來的存儲器116;顯示器等顯示裝置 118;作為輸入裝置的鼠標120及鍵盤122;進行數(shù)據(jù)等的收發(fā)的通信 裝置124;以及控制程序執(zhí)行的CPU 126。將記錄介質(zhì)100插入讀取裝 置112之后，讀取裝置112即可存取存儲于記錄介質(zhì)100中的圖像處 理程序10，計算機110通過該圖像處理程序10即可作為本發(fā)明的實施 方式的圖像處理裝置動作。如圖7所示，圖像處理程序10也可通過網(wǎng)絡(luò)以重疊于載波上的計 算機數(shù)據(jù)信號130來提供。此時，計算機110將由通信裝置124接收 到的圖像處理程序10存儲于存儲器116中，并可以執(zhí)行此圖像處理程 序10。如圖5所示，圖像處理程序10包含統(tǒng)合處理的主模塊11、三維原 圖像取得模塊12、三維像素形狀變換模塊14、三維像素正規(guī)化模塊16、 融合圖像產(chǎn)生模塊18以及輸出模塊20。三維原圖像取得模塊12使計算機執(zhí)行上述步驟SOI的處理，三維像素形狀變換模塊14使計算機執(zhí)行上述步驟S02的處理，三維像素正 規(guī)化模塊16使計算機執(zhí)行上述步驟S03的處理，融合圖像產(chǎn)生模塊18 使計算機執(zhí)行上述步驟S04的處理。另外，輸出模塊20將所得的融合 圖像輸出到顯示器等顯示裝置。優(yōu)選實施方式中，對不同切面的圖像， 利用多個窗口同時顯示融合圖像。此時，如在一個窗口顯示冠狀切面 而在另一窗口顯示橫切面，則更可反映病變部位的位置信息，因而優(yōu) 選。接著，說明本發(fā)明的實施方式的圖像處理裝置，圖8是本發(fā)明的 實施方式的圖像處理裝置構(gòu)成示圖。圖8所示的圖像處理裝置30機能 上包含三維原圖像取得部32、三維像素形狀變換部34、三維像素正規(guī) 化部36、融合圖像產(chǎn)生部38以及輸出部40。三維原圖像取得部32是執(zhí)行上述步驟S01處理的部分，三維像素 形狀變換部34是執(zhí)行上述步驟S02處理的部分，三維像素正規(guī)化部36 是執(zhí)行上述步驟S03處理的部分，融合圖像產(chǎn)生部38是執(zhí)行上述步驟 S04處理的部分。另外，輸出部40是將所得的融合圖像輸出至顯示器 等顯示裝置的部分。圖像處理裝置30可為按照上述圖像處理程序10而動作的計算機。 另外，圖像處理裝置30也可為由執(zhí)行三維原圖像取得部32、三維像素 形狀變換部34、三維像素正規(guī)化部36、融合圖像產(chǎn)生部38以及輸出 部40各自處理的專用電路所構(gòu)成的裝置。實施例以下，基于實施例與比較例，更具體說明本發(fā)明，但以下的實施 例并未對于本發(fā)明進行任何限定。比較例1以頭部FDGPET圖像(圖9，矩陣128X128，斷層數(shù)14斷層， 三維像素大小2.00mmX2.00mmX6.50mm)為第一三維原圖像，以頭 部MRI圖像(圖10，矩陣256X256，斷層數(shù)99斷層，三維像素大小 0.879mm X 0.879mm X 1.500mm)為第二三維原圖像，使用搭載于 NEUROSTAT(由華盛頓大學醫(yī)學院蓑島聰教授提供)上的Corege.exe ver.5程序，利用相互信息量最大化法(Cost Function 5)制作融合圖像。 即，不進行三維像素形狀變換、三維像素正規(guī)化，僅通過相互信息量 最大化法產(chǎn)生融合圖像。Corege.exe ver.5程序的各種設(shè)定參數(shù)是采用 以下值。Cost Function: =5 Cortical Threshold(%): 0.100000 Offset in Iteration(Phasel): 20.000000 MI Bins: =16Create Realigned image(0=no，l=yes): =1 Create Subtraction image(0=no,l=yes): =0 Normalization Mode(0-2): =0Pixel Scaling Factor for binary output(O.O-normalized to max; 1.0=fixed; or exact): =1.000000Pixel Value to Indicate Out of Field-of-View: 0.000000制成的融合圖像如圖11所示，圖11中利用多個窗口顯示融合圖 像的多個切面的圖像。如圖11所示，制成的融合圖像是各切面中的一 對圖像互相偏移而重合的圖像，其重合精度并非良好。實施例1利用比較例1中采用的第一三維原圖像與第二三維原圖像，按照 以下要領(lǐng)制作融合圖像。首先，對于第二三維原圖像(MRI圖像)，沿著斷層方向(即Z軸方向)進行內(nèi)插處理，變換為矩陣256X256，斷層數(shù)167斷層，三維 像素大小0.879mmX0.879mmX0.879mm的圖像，得到第二三維圖像。 此外使第一三維原圖像即為第一三維圖像。接著，對于第一三維圖像(PET圖像)的橫切面進行內(nèi)插處理，變換 為矩陣256X256，像素大小0.879mmX0.879mm。接著，沿著z軸方 向進行內(nèi)插處理，變換為矩陣256X256，斷層數(shù)167斷層，三維像 素大小0.879mmX0.879mmX0.879mm的圖像，得到第一正規(guī)化三維圖像。此外使第二三維圖像即為第二正規(guī)化三維圖像。利用第一正規(guī)化三維圖像與第二正規(guī)化三維圖像，使用搭載于 NEUROSTAT(由華盛頓大學醫(yī)學院蓑島聰教授提供)的Corege.exe ver.5程序，利用相互信息量最大化法(Cost Function 5)制作融合圖像。 Corege.exe ver.5程序的各種設(shè)定參數(shù)采用與比較例1相同的值。制成的融合圖像是如圖12所示，圖12中利用多個窗口顯示融合 圖像的多個切面圖像。如圖12所示，制成的融合圖像重合精度良好， 確認了通過本發(fā)明的處理即可自動地制作良好的融合圖像。比較例2以胸部FDG PET圖像(圖13，矩陣128X 128,斷層數(shù)136斷 層，三維像素大小4.29mmX4.29mmX4.29mm)為第一三維原圖像， 以胸部CT圖像(圖14，矩陣256X256，斷層數(shù)81斷層，三維像素大 小1.875mmX 1.875mmX5.000mm)為第二三維原圖像，使用搭載于 NEUROSTAT(由華盛頓大學醫(yī)學院蓑島聰教授提供)的Corege.exe ver.5程序，以相互信息量最大化法(Cost Function 5)制作融合圖像。艮卩， 不進行三維像素形狀變換、三維像素正規(guī)化，僅通過相互信息量最大 化法產(chǎn)生融合圖像。Corege.exe ver.5程序的各種設(shè)定參數(shù)采用與比較 例1相同的值。制成的融合圖像是如圖15所示，圖15中利用多個窗口顯示融合 圖像的多個切面圖像。如圖15所示，制成的融合圖像是各切面中的一 對圖像互相偏移而重合的圖像，其重合精度并非良好。實施例2使用比較例2中采用的第一三維原圖像與第二三維原圖像，按照以下要領(lǐng)制作融合圖像。首先，對于第二三維原圖像(CT圖像)，沿著斷層方向(即z軸方向) 進行內(nèi)插處理，變換為矩陣256X256,斷層數(shù)312斷層，三維像素 大小1.875mmX 1.875mmX 1.875mm的圖像，得到第二三維圖像。此 外使第一三維原圖像即為第一三維圖像。接著，對于第一三維圖像(PET圖像)的橫切面進行內(nèi)插處理，變換 為矩陣256X256，像素大小1.875mmX 1.875mm。接著，沿著z軸方 向進行內(nèi)插處理，變換為矩陣256X256，斷層數(shù)312斷層，三維像 素大小1.875mmX 1.875mmX 1.875mm的圖像，得到第一正規(guī)化三維 圖像。此外使第二三維圖像即為第二正規(guī)化三維圖像。利用第一正規(guī)化三維圖像與第二正規(guī)化三維圖像，使用搭載于 NEUROSTAT(由華盛頓大學醫(yī)學院蓑島聰教授提供)的Corege.exe ver.5程序，以相互信息量最大化法(Cost Function 5)制作融合圖像。 Corege.exe ver.5程序的各種設(shè)定參數(shù)采用與比較例1相同的值。制成的融合圖像如圖16所示，圖16中利用多個窗口顯示融合圖 像的多個切面圖像。如圖16所示，制成的融合圖像重合精度良好，確 認了通過本發(fā)明的處理即可自動地制作良好的融合圖像。工業(yè)利用性本發(fā)明可利用于圖像診斷裝置的領(lǐng)域，有助于自動且精度良好地 制作融合圖像。
權(quán)利要求
1.一種圖像處理方法，包含三維像素正規(guī)化步驟，通過使第一三維圖像及第二三維圖像各自的有效視野內(nèi)的三維像素大小及三維像素數(shù)相等，而產(chǎn)生與上述第一三維圖像對應(yīng)的第一正規(guī)化三維圖像、及與上述第二三維圖像對應(yīng)的第二正規(guī)化三維圖像，其中上述第一三維圖像基于從受檢者的任意的部位獲得的多個第一斷層圖像，上述第二三維圖像基于從上述部位獲得的多個第二斷層圖像；以及融合圖像產(chǎn)生步驟，利用上述第一正規(guī)化三維圖像及上述第二正規(guī)化三維圖像產(chǎn)生融合圖像。
2. 如權(quán)利要求l所述的圖像處理方法，其中，在上述三維像素正規(guī)化步驟中，通過線性內(nèi)插法產(chǎn)生上述第一正規(guī)化三維圖像及上述第 二正規(guī)化三維圖像。
3. 如權(quán)利要求1或2所述的圖像處理方法，其中，還包含三維像 素形狀變換步驟，將由上述多個第一斷層圖像構(gòu)成的第一三維原圖像 及由上述多個第二斷層圖像構(gòu)成的第二三維原圖像各自的三維像素， 變換為立方體形狀的三維像素，從而產(chǎn)生上述第一三維圖像及上述第 二三維圖像。
4. 如權(quán)利要求3所述的圖像處理方法，其中，在上述三維像素形 狀變換步驟中，通過線性內(nèi)插法產(chǎn)生上述第一三維圖像及上述第二三 維圖像。
5. 如權(quán)利要求1至4的任一項所述的圖像處理方法，其中，在上 述融合圖像產(chǎn)生步驟中，通過相互信息量最大化法產(chǎn)生上述融合圖像。
6. —種圖像處理程序，使計算機執(zhí)行以下步驟三維像素正規(guī)化步驟，通過使第一三維圖像及第二三維圖像各自 的有效視野內(nèi)的三維像素大小及三維像素數(shù)相等，而產(chǎn)生與上述第一 三維圖像對應(yīng)的第一正規(guī)化三維圖像、及與上述第二三維圖像對應(yīng)的 第二正規(guī)化三維圖像，其中上述第一三維圖像基于從受檢者的任意的 部位獲得的多個第一斷層圖像，上述第二三維圖像基于從上述部位獲 得的多個第二斷層圖像；以及融合圖像產(chǎn)生步驟，利用上述第一正規(guī)化三維圖像及上述第二正 規(guī)化三維圖像產(chǎn)生融合圖像。
7. 如權(quán)利要求6所述的圖像處理程序，其中，在上述三維像素正 規(guī)化步驟中，在計算機中通過線性內(nèi)插法產(chǎn)生上述第一正規(guī)化三維圖 像及上述第二正規(guī)化三維圖像。
8. 如權(quán)利要求6或7所述的圖像處理程序，其中，還使計算機執(zhí) 行三維像素形狀變換步驟，將由上述多個第一斷層圖像構(gòu)成的第一三 維原圖像及由上述多個第二斷層圖像構(gòu)成的第二三維原圖像各自的三 維像素，變換為立方體形狀的三維像素，從而產(chǎn)生上述第一三維圖像 及上述第二三維圖像。
9. 如權(quán)利要求8所述的圖像處理程序，其中，在上述三維像素形狀變換步驟中，在計算機中通過線性內(nèi)插法產(chǎn)生上述第一三維圖像及 上述第二三維圖像。
10. 如權(quán)利要求6至9的任一項所述的圖像處理程序，其中，在 上述融合圖像產(chǎn)生步驟中，在計算機中通過相互信息量最大化法產(chǎn)生 上述融合圖像。
11. 一種圖像處理裝置，包含三維像素正規(guī)化單元，通過使第一三維圖像及第二三維圖像各自 的有效視野內(nèi)的三維像素大小及三維像素數(shù)相等，而產(chǎn)生與上述第一三維圖像對應(yīng)的第一正規(guī)化三維圖像、及與上述第二三維圖像對應(yīng)的 第二正規(guī)化三維圖像，其中上述第一三維圖像基于從受檢者的任意的 部位獲得的多個第一斷層圖像，上述第二三維圖像基于從上述部位獲 得的多個第二斷層圖像；以及融合圖像產(chǎn)生單元，利用上述第一正規(guī)化三維圖像及上述第二正 規(guī)化三維圖像產(chǎn)生融合圖像。
12. 如權(quán)利要求ll所述的圖像處理裝置，其中，上述三維像素正規(guī)化單元，通過線性內(nèi)插法產(chǎn)生上述第一正規(guī)化三維圖像及上述第二正規(guī)化三維圖像。
13. 如權(quán)利要求11或12所述的圖像處理裝置，其中，還包含三 維像素形狀變換單元，將由上述多個第一斷層圖像構(gòu)成的第一三維原 圖像及由上述多個第二斷層圖像構(gòu)成的第二三維原圖像各自的三維像 素，變換為立方體形狀的三維像素，從而產(chǎn)生上述第一三維圖像及上 述第二三維圖像。
14. 如權(quán)利要求13所述的圖像處理裝置，其中，上述三維像素形 狀變換單元，通過線性內(nèi)插法產(chǎn)生上述第一三維圖像及上述第二三維 圖像。
15. 如權(quán)利要求11至14的任一項所述的圖像處理裝置，其中， 上述融合圖像產(chǎn)生單元通過相互信息量最大化法產(chǎn)生上述融合圖像。
全文摘要
本發(fā)明提供一種圖像處理方法、圖像處理程序以及圖像處理裝置，用于自動且重合精度高地制作融合圖像。本發(fā)明的圖像處理方法包含(a)三維像素正規(guī)化步驟，通過使第一三維圖像及第二三維圖像各自的有效視野內(nèi)的三維像素大小及三維像素數(shù)相等，而產(chǎn)生與第一三維圖像對應(yīng)的第一正規(guī)化三維圖像、及與第二三維圖像對應(yīng)的第二正規(guī)化三維圖像，其中第一三維圖像基于從受檢者的任意的部位獲得的多個第一斷層圖像，第二三維圖像基于從上述部位獲得的多個第二斷層圖像；以及(b)融合圖像產(chǎn)生步驟，利用第一正規(guī)化三維圖像及第二正規(guī)化三維圖像產(chǎn)生融合圖像。
文檔編號A61B5/055GK101248461SQ20068003108
公開日2008年8月20日 申請日期2006年8月17日 優(yōu)先權(quán)日2005年8月23日
發(fā)明者浜田一男, 西川和宏 申請人:日本醫(yī)事物理股份有限公司