基于特征的2d/3d圖像配準(zhǔn)的制作方法
【專利摘要】一種圖像配準(zhǔn)裝置，包括：特征檢測(cè)器(34)，其配置用于從二維圖像(30)提取二維特征集(36)以及從三維圖像(32)提取三維特征集(38)；投影處理器(40)，其配置用于將三維數(shù)據(jù)投影成二維投影數(shù)據(jù)；以及配準(zhǔn)處理器(46、52)，其配置用于(i)調(diào)節(jié)參數(shù)以將所述二維特征集與由所述投影處理器使用投影幾何(42)投影的所述三維特征集進(jìn)行配準(zhǔn)，以及(ii)使用經(jīng)調(diào)節(jié)的參數(shù)以將所述二維圖像和由所述投影處理器使用所述投影幾何投影的所述三維圖像進(jìn)行配準(zhǔn)。
【專利說明】
基于特征的2D/3D圖像配準(zhǔn)
[00011 本申請(qǐng)是2008年12月01日提交的申請(qǐng)?zhí)枮?00880121103.6、名稱為"基于特征的 2D/3D圖像配準(zhǔn)"的分案申請(qǐng)。
技術(shù)領(lǐng)域
[0002] 本發(fā)明涉及醫(yī)學(xué)成像技術(shù)。在一些實(shí)施例中，其涉及將二維(2D)x射線透視圖像與 通過計(jì)算機(jī)斷層攝影、磁共振成像、或其他成像模式采集的三維(3D)圖像進(jìn)行配準(zhǔn)。然而， 更通常地，本發(fā)明涉及將通過任意醫(yī)學(xué)成像模式采集的二維圖像與通過相同或不同醫(yī)學(xué)成 像模式采集的三維圖像進(jìn)行配準(zhǔn)。
【背景技術(shù)】
[0003] 在醫(yī)學(xué)成像程序中，有時(shí)存在使用二維和三維成像兩者采集相關(guān)成像數(shù)據(jù)的情 況。在一些這樣的情況中，生成三維圖像的二維表示并將所述三維圖像的二維表示與對(duì)應(yīng) 的二維圖像進(jìn)行配準(zhǔn)，從而比較由兩種技術(shù)提供的信息并將所述信息進(jìn)行組合是有用的。
[0004] -個(gè)示例有時(shí)在介入性心臟電生理學(xué)中出現(xiàn)。在這一程序中，X射線透視有時(shí)被用 于對(duì)導(dǎo)管或其他介入工具可視化。有利地，使用"C形臂"類裝置可以采集X射線熒光圖像，在 C形臂類裝置中X射線管和X射線檢測(cè)器安裝在C形臂的相對(duì)端，并且患者被置于間隙中。C形 臂類裝置相對(duì)開放，從而使得患者易于接近醫(yī)學(xué)人員。然而，通過X射線透視不能對(duì)一些軟 組織解剖結(jié)構(gòu)有效地成像。另外，通常在低X射線劑量下采集透視圖像，這會(huì)降低分辨率。
[0005] 因此，已知在進(jìn)行心臟電生理學(xué)程序之前，使用諸如多切片計(jì)算機(jī)斷層攝影(CT) 或磁共振成像(MRI)的三維成像技術(shù)采集患者的手術(shù)前圖像，所述多切片計(jì)算機(jī)斷層攝影 (CT)或磁共振成像(MRI)的任一種提供比X射線透視更好的軟組織對(duì)比度。之后，將手術(shù)前 采集的CT或MRI圖像與在心臟電生理學(xué)程序中采集的X射線透視圖像進(jìn)行融合，從而使得CT 或MRI圖像提供丟失的軟組織對(duì)比度。
[0006] CT或MRI圖像通常針對(duì)三維體積生成;然而，X射線熒光圖像為二維的。已知使用射 線投射技術(shù)將三維圖像數(shù)學(xué)投影到二維圖像。對(duì)CT或MRI圖像應(yīng)用射線投射生成二維圖像。 然而，數(shù)學(xué)上投影的CT或MRI圖像通常與X射線透視圖像不是空間配準(zhǔn)的，這是由于關(guān)于患 者的X射線透視的投影幾何通常與在CT或MRI投影的數(shù)學(xué)生成中使用的投影幾何不同。在一 些情況下，由于在X射線透視圖像和/或在三維CT或MRI圖像中的畸變或其他缺陷或偽影可 以引起另外的誤差。

【發(fā)明內(nèi)容】

[0007] 下面提供了克服上述問題以及其他問題的改進(jìn)。
[0008] 公開了一種圖像配準(zhǔn)過程，包括:從二維圖像提取二維特征集;從三維圖像提取三 維特征集;使用投影幾何將三維特征集數(shù)學(xué)投影成二維投影特征集;將二維特征集與二維 投影特征集進(jìn)行第一次配準(zhǔn);并且使用從第一次配準(zhǔn)導(dǎo)出的參數(shù)將二維圖像與三維圖像的 數(shù)學(xué)投影進(jìn)行第二次配準(zhǔn)。
[0009] 數(shù)字存儲(chǔ)介質(zhì)或媒介能夠存儲(chǔ)可由數(shù)字系統(tǒng)運(yùn)行以執(zhí)行前段所述方法的指令。
[0010] 公開了一種圖像配準(zhǔn)裝置，包括:特征檢測(cè)器，其配置用于從二維圖像提取二維特 征集以及從三維圖像提取三維特征集;投影處理器，其配置用于將三維數(shù)據(jù)投影成二維投 影數(shù)據(jù)；以及配準(zhǔn)處理器，其配置用于（i)調(diào)節(jié)參數(shù)以將二維特征集與由投影處理器使用投 影幾何投影的三維特征集進(jìn)行配準(zhǔn)，以及（ii)使用經(jīng)調(diào)節(jié)的參數(shù)將二維圖像與由投影處理 器使用投影幾何投影的三維圖像進(jìn)行配準(zhǔn)。
[0011] 也公開了一種裝置，包括:二維成像器，其配置用于采集二維圖像;三維成像器，其 配置用于采集三維圖像;特征檢測(cè)器，其配置用于從二維圖像提取二維特征集以及從三維 圖像提取三維特征集;投影處理器，其配置用于將三維數(shù)據(jù)投影為二維投影數(shù)據(jù)；以及配準(zhǔn) 處理器，其配置用于使用這樣的參數(shù)將二維圖像和由投影處理器投影的三維圖像進(jìn)行配準(zhǔn) 的，所述參數(shù)被調(diào)整用于將二維特征集與由投影處理器投影的三維特征集進(jìn)行配準(zhǔn)。
[0012] 一個(gè)優(yōu)勢(shì)在于較快的2D/3D圖像配準(zhǔn)。
[0013]另一個(gè)優(yōu)勢(shì)在于更精確的2D/3D圖像配準(zhǔn)。
[0014]另一個(gè)優(yōu)勢(shì)在于更快的介入成像。
[0015] 本領(lǐng)域普通技術(shù)人員在閱讀并理解下述詳細(xì)說明之后將能領(lǐng)會(huì)到本發(fā)明的另外 優(yōu)勢(shì)。
【附圖說明】
[0016] 附圖僅為了說明優(yōu)選實(shí)施例，而不應(yīng)該將其理解為限制本發(fā)明。
[0017]圖1示意性地示出了 2D/3D多模態(tài)成像裝置；
[0018]圖2示意性地示出了一種3D/3D多模態(tài)成像裝置，其中由不同模態(tài)采集的三維圖像 的二維投影是配準(zhǔn)的。
【具體實(shí)施方式】
[0019] 參照?qǐng)D1，2D/3D多模態(tài)成像系統(tǒng)包括二維成像器10,例如X射線透視裝置，以及三 維成像器12,例如磁共振成像(MRI)系統(tǒng)、計(jì)算機(jī)斷層攝影(CT)成像系統(tǒng)、正電子發(fā)射斷層 攝影(PET)掃描器、伽馬攝像機(jī)等。二維成像器10可選地能夠進(jìn)行三維成像，但是在當(dāng)前2D/ 3D成像系統(tǒng)中被用作二維成像器。例如，可以預(yù)期二維成像器10為在臺(tái)架未旋轉(zhuǎn)的情況下 工作的CT掃描器。
[0020] 二維成像器10為包括源20的投影型成像器，該源20例如為在X射線透視裝置情況 下的X射線管，其發(fā)送輻射22通過包含對(duì)象(未示出）的成像區(qū)域24，從而使得通常相對(duì)放置 的二維檢測(cè)器陣列26隨著位置變化檢測(cè)所發(fā)送的輻射以形成投影型的二維圖像30。因此， 二維圖像30具有以投影參數(shù)表征的投影幾何，所述投影參數(shù)諸如成角、源位置、檢測(cè)器位置 或其他幾何學(xué)參數(shù)，并且可選地還以表征為與畸變相關(guān)的投影參數(shù)，例如表征為有時(shí)在X射 線透視裝置或其他投影型2D成像裝置中觀察到的所謂的"枕形"畸變的一個(gè)或多個(gè)畸變參 數(shù)。投影幾何至少近似地已知，例如，基于X射線源和檢測(cè)器位置的標(biāo)稱設(shè)置。在一些實(shí)施例 中，二維成像器10的精確校準(zhǔn)提供了用于投影幾何的高精度投影參數(shù)，包括精確的幾何學(xué) 參數(shù)和對(duì)于畸變參數(shù)的定量值。
[0021] 三維成像器12采集三維圖像32。例如，如果三維成像器12為MRI，其通過對(duì)k空間進(jìn) 行三維采樣并將所述k-空間采樣重建為三維圖像32來采集該三維圖像32。如果三維成像器 12為CT掃描器，其采集投影數(shù)據(jù)，與此同時(shí)，X射線管圍繞對(duì)象旋轉(zhuǎn)，第三維通過具有多行的 檢測(cè)器(多切片CT)和/或通過以離散增量或連續(xù)地移動(dòng)患者(螺旋CT)來提供，之后為經(jīng)濾 波的背投影或?qū)⑼队皵?shù)據(jù)重構(gòu)為三維圖像32的另一重構(gòu)。可以使用其他方法，這取決于三 維成像器12的類型以及放射學(xué)家或其他醫(yī)學(xué)專業(yè)人士所期望的采集的類型。
[0022] 基于對(duì)象在兩個(gè)不同成像器10、12中如何定位，二維圖像30的投影幾何和三維圖 像32的空間參照系之間的關(guān)系大致已知。在一些實(shí)施例中，更精確地已知該關(guān)系，例如，如 果兩個(gè)不同成像器10、12被整體地共同實(shí)現(xiàn)為混合成像系統(tǒng)，或者使用交叉成像器機(jī)械對(duì) 準(zhǔn)機(jī)構(gòu)。然而，在任何情況下，將通常存在一方面由二維成像器10采集的二維圖像30和另一 方面由三維成像器12采集的三維圖像32之間的一些失配準(zhǔn)。該失配準(zhǔn)可以體現(xiàn)為各種方式 以及方式的組合，諸如剛性平移失配準(zhǔn)、剛性旋轉(zhuǎn)失配準(zhǔn)、非剛性平移和/或旋轉(zhuǎn)失配準(zhǔn)、由 于在圖像30、32的一個(gè)或兩個(gè)中的枕形畸變或其他類型的畸變導(dǎo)致的失配準(zhǔn)，等等。因此， 期望將三維圖像32數(shù)學(xué)投影以形成二維的投影圖像，并且將該二維的投影圖像與由二維成 像器10采集的二維圖像30進(jìn)行配準(zhǔn)。
[0023]特征檢測(cè)器34處理二維圖像30以從所述二維圖像30提取二維特征集36。特征檢測(cè) 器34還處理三維圖像32以從所述三維圖像32提取三維特征集38。在圖1的實(shí)施例中，相同的 特征檢測(cè)器34被應(yīng)用于二維圖像30和三維圖像32兩者;然而，還考慮使用兩個(gè)不同的特征 檢測(cè)器，例如，其中，一個(gè)特征檢測(cè)器針對(duì)二維圖像進(jìn)行最優(yōu)化，而另一個(gè)特征檢測(cè)器針對(duì) 三維圖像進(jìn)行最優(yōu)化。如果以這種方式使用兩個(gè)不同的特征檢測(cè)器，所檢測(cè)的特征應(yīng)該是 可比的，例如，為相同類型。
[0024]特征檢測(cè)器34能夠檢測(cè)，例如，被適當(dāng)?shù)乇硎緸榻屈c(diǎn)的角特征。為了檢測(cè)角特征， 經(jīng)由角檢測(cè)算法對(duì)該特征檢測(cè)器34進(jìn)行操作，例如，通過識(shí)別通常對(duì)應(yīng)于角的高亮度梯度 區(qū)域，以及通過識(shí)別線交點(diǎn)的離散集，其中識(shí)別對(duì)應(yīng)于角的高亮度梯度區(qū)域是通過識(shí)別沿 每一方向的圖像梯度的慣性矩陣的局部最大本征值進(jìn)行的。有利地，實(shí)際上，通常針對(duì)二維 和三維圖像兩者對(duì)相同的角特征進(jìn)行檢測(cè)，即使兩種圖像1〇、12的對(duì)比機(jī)制實(shí)際上不同（例 如，X射線對(duì)磁共振）?；趯?dǎo)數(shù)性質(zhì)的角檢測(cè)與對(duì)象的角結(jié)構(gòu)的高對(duì)比度的可能性相結(jié)合， 確保了角檢測(cè)過程基本獨(dú)立于對(duì)比度類型、對(duì)比度水平以及其他圖像特性。由特征檢測(cè)器 34使用角檢測(cè)的另一優(yōu)勢(shì)在于角點(diǎn)在二維和三維兩者中都是離散的。
[0025]特征檢測(cè)器34可替代地或附加地還能夠檢測(cè)其他類型的特征。例如，特征檢測(cè)器 34可替代地或附加地能夠檢測(cè)邊特征。在一些實(shí)施例中，特征檢測(cè)器34能夠經(jīng)由邊檢測(cè)算 法檢測(cè)邊特征，這是以如下方式實(shí)現(xiàn)的。所投影的二維圖像中的線對(duì)應(yīng)于沿X射線束22取向 的三維圖像內(nèi)的界面的投影。通過使用體素亮度梯度幅度和界面方向，連同從投影幾何已 知的X射線束方向，可以適當(dāng)?shù)貦z測(cè)這些界面。使用等式（2)的投影矩陣可以將界面位置從 3D到2D進(jìn)行映射，以形成邊和角位置的映射圖。
[0026]通常，特征檢測(cè)器34將圖像30、32分別簡(jiǎn)化為相應(yīng)二維或三維特征集36、38,其為 較小的各自數(shù)據(jù)的子集，并且因此易于空間相關(guān)并且與完整圖像30、32相比從計(jì)算的角度 來講能夠更有效地進(jìn)行處理。相應(yīng)的特征集36、38保持源圖像30、32的幾何形狀。因此，對(duì)于 檢測(cè)角特征的特征檢測(cè)器34，二維特征集36包括平面中的點(diǎn)的集合，而三維特征集38包括 三維點(diǎn)"云"。類似地，對(duì)于邊檢測(cè)器，二維特征集36包括在平面中共面的線的集合，而三維 特征集38包括線的三維布置。
[0027]投影處理器40根據(jù)投影幾何42對(duì)三維特征集38進(jìn)行數(shù)學(xué)投影，所述投影幾何42至 少被初始設(shè)置到由二維成像器10在采集二維圖像12時(shí)所使用的投影幾何。對(duì)于諸如Allura XPer FDlO(可從荷蘭艾恩德霍芬的Philips Medical Systems獲得）的示例性的介入性C形 臂X射線透視裝置，該投影幾何被如下適當(dāng)限定。矢量s從等中心（iso-center)延伸到X射線 源20,同時(shí)，矢量d從等中心延伸到檢測(cè)器26的中心。兩條法線m和11 2限定檢測(cè)器平面，并且 對(duì)于每個(gè)投影已知。因此給定任意特定C形臂的成角可以將任意三維點(diǎn)P映射（即，投影)到 檢測(cè)器26上的二維點(diǎn)p。將這些矢量擴(kuò)展到笛卡爾坐標(biāo)得到：
[0029] 限宙投影幾何42的矩陣矢量方趕可以寫為： (1)
[0028]
[0030]
(2)
[0031]由投影處理器40使用所選擇的投影幾何42將等式(2)應(yīng)用到三維特征集38的每個(gè) 三維角點(diǎn)P(在角檢測(cè)器的情況下）以生成對(duì)應(yīng)點(diǎn)P的二維投影特征集44。
[0032] 配準(zhǔn)處理器46將二維投影特征集44與從二維圖像30提取的二維特征集36進(jìn)行配 準(zhǔn)。如果配準(zhǔn)需要調(diào)節(jié)投影參數(shù)，那么，該投影處理可選地為迭代的，按照迭代循環(huán)48使用 由該配準(zhǔn)以迭代方式調(diào)節(jié)的投影參數(shù)對(duì)三維特征集38進(jìn)行重投影。配準(zhǔn)處理器46的輸出為 一個(gè)或多個(gè)配準(zhǔn)參數(shù)50的集合。配準(zhǔn)可能需要調(diào)節(jié)各參數(shù)，諸如投影參數(shù)(例如，成角、放大 率、源/檢測(cè)器位置參數(shù)、量化枕形畸變的參數(shù)，等）、剛性平移或旋轉(zhuǎn)、非剛性平移或旋轉(zhuǎn)， 等。配準(zhǔn)可能需要對(duì)用于數(shù)學(xué)投影操作的投影幾何的投影參數(shù)進(jìn)行選擇或提煉。然而，基于 完整圖像30、32計(jì)算配準(zhǔn)參數(shù)50是計(jì)算密集型的，尤其是對(duì)于迭代配準(zhǔn)技術(shù)。
[0033]由調(diào)節(jié)處理器46關(guān)于較小的特征集36、38對(duì)配準(zhǔn)參數(shù)50進(jìn)行有效調(diào)節(jié)(可選地包 括經(jīng)由循環(huán)48和投影處理器40的迭代重投影）。作為一個(gè)示例，將從二維圖像30中提取的二 維特征集36作為參照，并對(duì)投影幾何42的投影參數(shù)和/或二維投影特征集44的空間參數(shù)進(jìn) 行調(diào)節(jié)。
[0034] 如果精確地或準(zhǔn)確地已知投影幾何42(例如基于二維成像器10的校準(zhǔn)），并且僅執(zhí) 行剛性配準(zhǔn)，那么，最優(yōu)化空間僅包括六個(gè)參數(shù)，例如，相對(duì)于二維投影特征集的空間參數(shù) 的三個(gè)旋轉(zhuǎn)和三個(gè)平移，并且配準(zhǔn)處理器46可以米用下山單純形法（downhill simplex method)用于這六個(gè)參數(shù)的數(shù)值調(diào)節(jié)和最優(yōu)化。關(guān)于相似性量度進(jìn)行適當(dāng)?shù)卣{(diào)節(jié)或最優(yōu)化， 所述相似性量度被計(jì)算(例如）為在二維特征集36中的每個(gè)角點(diǎn)和在二維投影特征集44中 的對(duì)應(yīng)投影角點(diǎn)之間的距離的平方和。
[0035] 如果不是足夠精確和準(zhǔn)確地知道投影幾何42,那么，配準(zhǔn)處理器46可選地將投影 幾何42的投影參數(shù)作為配準(zhǔn)的一部分進(jìn)行調(diào)節(jié)。例如，投影處理器40被應(yīng)用到具有多個(gè)不 同投影成角的三維特征集38,所述投影成角從用于采集二維圖像30的標(biāo)稱成角偏離選定 量。將該配準(zhǔn)應(yīng)用到由數(shù)學(xué)投影在每個(gè)選定成角生成的二維投影特征集44,選擇"最匹配" 配準(zhǔn)，且與所述最匹配相對(duì)應(yīng)的成角被選擇作為經(jīng)調(diào)節(jié)的投影幾何42的經(jīng)調(diào)節(jié)成角。該強(qiáng) 力方法是可行的，這是因?yàn)橥ㄟ^僅配準(zhǔn)特征(例如，角點(diǎn)）而非配準(zhǔn)整個(gè)圖像所提供的維度 簡(jiǎn)化提供了快速處理。附加地或可替代地，成角或其他投影參數(shù)可以被包括為由配準(zhǔn)處理 器46使用最小二乘法或其他優(yōu)化技術(shù)來進(jìn)行優(yōu)化的參數(shù)。在圖1中由迭代循環(huán)箭頭48示意 性地表示可選的迭代的或完全的配準(zhǔn)，在配準(zhǔn)中，配準(zhǔn)處理器46被應(yīng)用到由投影處理器40 以不同數(shù)學(xué)投影成角(或者以投影幾何42中的其他變量)生成的不同的二維投影特征集44。 [0036]在大多數(shù)情況下，期望以相對(duì)高的精確度已知二維圖像30的投影幾何，例如，基于 在采集二維圖像30中使用的二維成像器10的經(jīng)校準(zhǔn)的投影幾何。在這樣的實(shí)施例中，通常 適合假定二維特征集36中的每個(gè)特征和二維投影特征集44中的最接近特征二者對(duì)應(yīng)于對(duì) 象的相同角點(diǎn)。在這樣的情況下，由配準(zhǔn)處理器46優(yōu)化的相似性量度適合于被計(jì)算為距離 的平方和，其中，每個(gè)距離為在二維特征集36的特征和二維投影特征集44的最接近特征之 間的距離。
[0037] 然而，可預(yù)期的是，在一些情況中，將以充分受限的精確度和/或準(zhǔn)確性已知二維 圖像30的投影幾何，所以假定二維特征集36中的每個(gè)特征和二維投影特征集44中的最接近 特征都對(duì)應(yīng)于對(duì)象的相同角點(diǎn)是不合理的。在該情況中，預(yù)期配準(zhǔn)處理器46應(yīng)用組合算法 以將二維投影特征集44的特征與從二維圖像30提取的二維特征集36的對(duì)應(yīng)特征相關(guān)聯(lián)。
[0038] 如在圖1中進(jìn)一步示出的，在第二次配準(zhǔn)步驟中，由圖像投影器和調(diào)節(jié)器52使用經(jīng) 調(diào)節(jié)的配準(zhǔn)參數(shù)50將相應(yīng)的2D圖像30和3D圖像32進(jìn)行配準(zhǔn)。關(guān)于二維特征集36和二維投影 特征集44對(duì)配準(zhǔn)參數(shù)50進(jìn)行調(diào)節(jié);然而，這些特征36、44表示相應(yīng)的二維圖像30和三維圖像 32的空間特性，并且由此配準(zhǔn)參數(shù)50可應(yīng)用在由圖像投影器和調(diào)節(jié)器52執(zhí)行的第二配準(zhǔn)過 程中，圖像投影器和調(diào)節(jié)器52投影三維圖像32并根據(jù)投影幾何42和配準(zhǔn)參數(shù)50調(diào)節(jié)所投影 的圖像以生成二維經(jīng)投影和配準(zhǔn)的圖像54,其與二維圖像30是配準(zhǔn)的。
[0039]由圖像投影器和調(diào)節(jié)器52執(zhí)行的投影可以基本上采用任何類型的3D到2D投影方 法，例如數(shù)字重構(gòu)射線照相(DRR)方法，其將投影平面中的每個(gè)點(diǎn)設(shè)定為沿連接(虛擬)源和 投影平面中的該(虛擬）點(diǎn)的線數(shù)學(xué)上計(jì)算的線性積分。也可以考慮其他的投影方法，諸如 將投影平面中的每個(gè)點(diǎn)設(shè)定為沿連接(虛擬)源和投影平面中的該(虛擬）點(diǎn)的線的最大值 的最大強(qiáng)度投影(MIP)。
[0040] 由圖像處理器56適當(dāng)?shù)貙⒍S的投影圖像54與由二維成像器10采集的二維圖像 30進(jìn)行比較或組合，所述圖像處理器56諸如圖像組合器或融合處理器、圖像比較器、圖像顯 示器(諸如具有圖形顯示器的用戶界面)等。例如，2D圖像30和2D經(jīng)投影和配準(zhǔn)的圖像54可 以通過圖像融合技術(shù)進(jìn)行融合并且顯示所融合的圖像，或者兩幅圖像30、54可以并排顯示 或者以垂直布置的形式顯示。在后一種情況中，預(yù)期具有在兩幅所顯示的圖像30、54中的相 同空間位置顯示的鼠標(biāo)或其他指示設(shè)備的鎖定指針，從而放射學(xué)家可以在兩幅圖像30、54 中對(duì)對(duì)應(yīng)的特征進(jìn)行容易地定位。
[0041] 盡管在許多情況下，期望所描述的配準(zhǔn)過程提供精確和準(zhǔn)確的結(jié)果，但是在一些 情況下，所得到的圖像配準(zhǔn)可能并不令人十分滿意。在一些情形中，將經(jīng)配準(zhǔn)的二維圖像 30、54進(jìn)行比較，如果對(duì)準(zhǔn)未達(dá)到預(yù)先選定的閾值或者不能滿足放射學(xué)家，則經(jīng)歷另一圖像 配準(zhǔn)程序，例如由圖像處理器56或另一部件執(zhí)行的基于強(qiáng)度的圖像配準(zhǔn)程序。
[0042]對(duì)于圖1的多模態(tài)成像系統(tǒng)的一個(gè)預(yù)期應(yīng)用為應(yīng)用在介入性心臟電生理學(xué)領(lǐng)域 中。介入性心臟電生理學(xué)程序通常在X射線透視下執(zhí)行以相對(duì)于諸如胸腔脊柱和肋骨的患 者的高衰減結(jié)構(gòu)對(duì)導(dǎo)管或其他介入設(shè)備進(jìn)行可視化。然而，這些投影不包含關(guān)于軟組織解 剖結(jié)構(gòu)的信息。因此，有利地將這些二維X射線透視圖像與手術(shù)前采集的體積心臟螺旋或多 切片CT或MRI圖像進(jìn)行融合。圖1的系統(tǒng)提供了通過圖像比較器或組合器56(在該實(shí)施例中 其為圖像融合處理器)將二維X射線透視圖像(對(duì)應(yīng)于二維圖像30)與三維CT或MRI圖像(對(duì) 應(yīng)于三維圖像32)的快速融合，從而提供存在于胸腔內(nèi)的導(dǎo)管關(guān)于在體積數(shù)據(jù)集32中可見 的心血管解剖結(jié)構(gòu)的實(shí)時(shí)可視化。
[0043]參照?qǐng)D2,在另一預(yù)期應(yīng)用中，多模態(tài)成像系統(tǒng)的兩個(gè)成像器能夠生成三維圖像并 用于生成三維圖像。換言之，在圖2的實(shí)施例中，二維成像器10由第二三維成像器60取代，與 三維成像器12相比其可以為相同模態(tài)或不同模態(tài)。投影處理器40被應(yīng)用于由第二三維成像 器60生成的三維圖像以生成具有投影幾何42的二維圖像30,投影幾何42在該實(shí)施例中為用 于由第二三維成像器60生成的三維圖像的數(shù)學(xué)投影的所選幾何。從這之后，圖2的多模態(tài)成 像系統(tǒng)的部件和處理類似于圖1的多模態(tài)成像器的部件和處理。圖2的方法可以提供由不同 三維成像器（例如由CT和MRI成像器或者由兩種不同CT成像器）生成的數(shù)字重構(gòu)射線照相 (DRR)或其他投影的快速配準(zhǔn)。由于以2D執(zhí)行配準(zhǔn)，并且此外僅關(guān)于小的特征數(shù)據(jù)集36、44 執(zhí)行配準(zhǔn)，所以較快處理是可能的。
[0044]本領(lǐng)域技術(shù)人員將容易理解此處公開的圖像配準(zhǔn)過程可以由存儲(chǔ)可由數(shù)字系統(tǒng) 執(zhí)行以實(shí)現(xiàn)所公開方法的指令的數(shù)字存儲(chǔ)介質(zhì)或媒介實(shí)現(xiàn)。例如，數(shù)字存儲(chǔ)介質(zhì)或媒介可 以為磁盤、光盤、磁帶、FLASH存儲(chǔ)器或其他靜電存儲(chǔ)器、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器 (R0M)、因特網(wǎng)服務(wù)器等或者為這些媒介的組合，并且所存儲(chǔ)的指令可以在諸如計(jì)算機(jī)、數(shù) 字網(wǎng)絡(luò)、因特網(wǎng)服務(wù)器等的數(shù)字系統(tǒng)上執(zhí)行。
[0045]已經(jīng)描述了優(yōu)選實(shí)施例。他人在閱讀并理解前面詳細(xì)描述之后可以想到修改和改 變。本發(fā)明旨在被解讀為包括所有這些修改和改變，只要他們落在權(quán)利要求書或其等同替 代的范圍內(nèi)。
【主權(quán)項(xiàng)】
1. 一種圖像配準(zhǔn)過程，包括： 從二維圖像(30)提取二維特征集(36); 從三維圖像(32)提取三維特征集(38); 其中，所述提取的操作包括應(yīng)用角檢測(cè)算法來提取包括角點(diǎn)的特征，并且其中，所述角 檢測(cè)算法通過識(shí)別沿每一方向的圖像梯度的慣性矩陣的局部最大本征值以識(shí)別高亮度梯 度區(qū)域，并且識(shí)別線交點(diǎn)的離散集，來提取所述角點(diǎn)； 使用投影幾何將所述三維特征集在數(shù)學(xué)上投影成二維投影特征集(44);并且 通過關(guān)于相似性量度調(diào)節(jié)或最優(yōu)化配準(zhǔn)參數(shù)而將所述二維投影特征集與從所述二維 圖像提取的所述二維特征集進(jìn)行配準(zhǔn)，所述相似性量度被計(jì)算為從所述二維圖像提取的所 述二維特征集中的每個(gè)角點(diǎn)與所述二維投影特征集中的對(duì)應(yīng)的投影角點(diǎn)之間的距離的平 方和。2. 根據(jù)權(quán)利要求1所述的圖像配準(zhǔn)過程，其中，所述提取的操作還包括： 應(yīng)用邊緣檢查算法來提取包括線段的特征。3. 根據(jù)權(quán)利要求1-2中任一項(xiàng)所述的圖像配準(zhǔn)過程，其中，所述配準(zhǔn)包括： 調(diào)節(jié)從包括至少三個(gè)旋轉(zhuǎn)參數(shù)和至少三個(gè)平移參數(shù)的組中選擇的、所述二維特征集 (36)和所述二維投影特征集(44)中的至少一個(gè)的空間參數(shù)，經(jīng)調(diào)節(jié)的空間參數(shù)被用于第二 次配準(zhǔn)。4. 根據(jù)權(quán)利要求1-2中任一項(xiàng)所述的圖像配準(zhǔn)過程，其中，所述配準(zhǔn)包括： 調(diào)節(jié)從包括成角參數(shù)、放大率參數(shù)、源定位參數(shù)、檢測(cè)器定位參數(shù)以及畸變參數(shù)的組中 選擇的所述投影幾何(42)的一個(gè)或多個(gè)參數(shù)，所述投影幾何的經(jīng)調(diào)節(jié)的參數(shù)被用于針對(duì)所 述三維圖像的數(shù)學(xué)投影的第二次配準(zhǔn)。5. 根據(jù)權(quán)利要求1-4中任一項(xiàng)所述的圖像配準(zhǔn)過程，其中，所述配準(zhǔn)包括： 最優(yōu)化在統(tǒng)計(jì)學(xué)上表征所述二維特征集(36)的特征與所述二維投影特征集(44)的最 接近的對(duì)應(yīng)特征之間的距離的距離優(yōu)值系數(shù)。6. 根據(jù)權(quán)利要求1-5中任一項(xiàng)所述的圖像配準(zhǔn)過程，其中，所述投影幾何(42)為在采集 所述二維圖像(30)的過程中二維成像器(10)的投影幾何。7. 根據(jù)權(quán)利要求1-6中任一項(xiàng)所述的圖像配準(zhǔn)過程，其中，所述配準(zhǔn)應(yīng)用組合算法以將 所述二維特征集(36)的特征與所述二維投影特征集(44)的對(duì)應(yīng)特征相關(guān)聯(lián)。8. 根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的圖像配準(zhǔn)過程，還包括： 使用包括X射線透視裝置的二維成像器(10)采集所述二維圖像(30);并且 使用包括磁共振成像器(MRI)或計(jì)算機(jī)斷層攝影(CT)成像器的三維成像器（12)采集所 述三維圖像(32)。9. 根據(jù)權(quán)利要求1-7中任一項(xiàng)所述的圖像配準(zhǔn)過程，還包括： 采集第二三維圖像;并且 通過使用所述投影幾何（42)在數(shù)學(xué)上投影所述第二三維圖像來形成所述二維圖像 (30)〇10. 根據(jù)權(quán)利要求1-9中任一項(xiàng)所述的圖像配準(zhǔn)過程，還包括： 在使用所述配準(zhǔn)參數(shù)進(jìn)行第二次配準(zhǔn)之后，顯示所述二維圖像和所述三維圖像的數(shù)學(xué) 投影的組合、融合或比較。11. 一種圖像配準(zhǔn)裝置，包括： 用于從二維圖像提取二維特征集的模塊； 用于從三維圖像提取三維特征集的模塊； 其中，用于提取的所述模塊包括用于應(yīng)用角檢測(cè)算法來提取包括角點(diǎn)的特征的模塊， 并且其中，所述角檢測(cè)算法通過識(shí)別沿每一方向的圖像梯度的慣性矩陣的局部最大本征值 以識(shí)別高亮度梯度區(qū)域，并且識(shí)別線交點(diǎn)的離散集，來提取所述角點(diǎn)； 用于使用投影幾何將所述三維特征集在數(shù)學(xué)上投影成二維投影特征集的模塊；以及 用于通過關(guān)于相似性量度調(diào)節(jié)或最優(yōu)化配準(zhǔn)參數(shù)而將所述二維投影特征集與從所述 二維圖像提取的所述二維特征集進(jìn)行配準(zhǔn)的模塊，所述相似性量度被計(jì)算為從所述二維圖 像提取的所述二維特征集中的每個(gè)角點(diǎn)與所述二維投影特征集中的對(duì)應(yīng)的投影角點(diǎn)之間 的距離的平方和。12. -種圖像配準(zhǔn)裝置，包括： 包括角檢測(cè)器的特征檢測(cè)器(34)，其被配置為從二維圖像(30)提取二維特征集(36)以 及從三維圖像(32)提取三維特征集(38)，其中，所述角檢測(cè)器被配置為應(yīng)用角檢測(cè)算法來 提取包括角點(diǎn)的特征，并且其中，所述角檢測(cè)算法通過識(shí)別沿每一方向的圖像梯度的慣性 矩陣的局部最大本征值以識(shí)別高亮度梯度區(qū)域，并且識(shí)別線交點(diǎn)的離散集，來提取所述角 占 . 投影處理器(40)，其被配置為將所述三維特征集投影成二維投影特征集；以及 配準(zhǔn)處理器(46、52 )，其被配置為 (i) 關(guān)于相似性量度調(diào)節(jié)參數(shù)以將所述二維投影特征集與從所述二維圖像提取的所述 二維特征集進(jìn)行配準(zhǔn)，所述相似性量度被計(jì)算為從所述二維圖像提取的所述二維特征集中 的每個(gè)角點(diǎn)與所述二維投影特征集中的對(duì)應(yīng)的投影角點(diǎn)之間的距離的平方和，以及 (ii) 使用經(jīng)調(diào)節(jié)的參數(shù)以將所述二維圖像和由所述投影處理器使用投影幾何投影的 所述三維圖像進(jìn)行配準(zhǔn)。13. 根據(jù)權(quán)利要求12所述的圖像配準(zhǔn)裝置，其中，所述特征檢測(cè)器(34)還包括邊緣檢測(cè) 器。14. 根據(jù)權(quán)利要求12-13中任一項(xiàng)所述的圖像配準(zhǔn)裝置，其中，所述配準(zhǔn)處理器(46、52) 被配置為調(diào)節(jié)所述投影幾何(42)以將所述二維特征集(36)與所述二維投影特征集進(jìn)行配 準(zhǔn)或者有助于所述配準(zhǔn)。
【文檔編號(hào)】G06T3/00GK105844586SQ201610195981
【公開日】2016年8月10日
【申請(qǐng)日】2008年12月1日
【發(fā)明人】L·G·扎戈?duì)栔x夫, R·曼茨克, R·陳
【申請(qǐng)人】皇家飛利浦電子股份有限公司