專利名稱：多模態(tài)體積圖像的基于模型的融合的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及多模態(tài)體積醫(yī)學(xué)圖像的融合，并且更特別地，涉及術(shù)前和術(shù)中體積醫(yī) 學(xué)圖像的基于模型的融合。
背景技術(shù)：
近年來(lái)，心臟治療的主要趨勢(shì)已朝向微創(chuàng)經(jīng)導(dǎo)管過程，以減少利用傳統(tǒng)外科技術(shù) 所涉及的風(fēng)險(xiǎn)。不是全胸骨切開術(shù)，而是器材和設(shè)備通過小切口被引入，通過脈管前進(jìn)，并 且被定位來(lái)執(zhí)行各種過程。在不需要直接接入和觀察受影響的結(jié)構(gòu)的情況下，這樣的介入 通常在所謂的混合手術(shù)室(配備有高級(jí)成像裝備的手術(shù)室)中被執(zhí)行。使用這樣的高級(jí)成 像裝備，諸如經(jīng)導(dǎo)管主動(dòng)脈瓣置換術(shù)(TAV)的過程經(jīng)由通過C-臂X射線和經(jīng)食管超聲心動(dòng) 圖系統(tǒng)所提供的實(shí)時(shí)術(shù)中圖像來(lái)引導(dǎo)。
照慣例，醫(yī)學(xué)圖像分析領(lǐng)域已集中在根據(jù)成熟的診斷成像模態(tài)(例如，計(jì)算機(jī)斷 層掃描(CT)和磁共振(MR))來(lái)構(gòu)造患者特定的解剖模型，以幫助疾病分析和治療計(jì)劃。例 如，在瓣膜病管理的環(huán)境中，已提出用于在CT和/或MR圖像中構(gòu)建主動(dòng)脈和二尖瓣的模型 的技術(shù)。然而，這樣的技術(shù)還未被開發(fā)來(lái)應(yīng)對(duì)術(shù)中圖像的降低的質(zhì)量和對(duì)比度特征。因此， 這樣的技術(shù)的使用被限于術(shù)前決策。發(fā)明內(nèi)容
本發(fā)明提供一種用于通過根據(jù)多個(gè)成像模態(tài)來(lái)聯(lián)合地估計(jì)解剖模型而融合術(shù)前 和術(shù)中圖像信息的方法和系統(tǒng)。術(shù)前和術(shù)中圖像信息的融合允許高質(zhì)量的患者特定的模型 被集成到手術(shù)室的成像環(huán)境中，以引導(dǎo)心臟介入。本發(fā)明的實(shí)施方式通過依靠機(jī)器學(xué)習(xí)技 術(shù)來(lái)實(shí)現(xiàn)穩(wěn)健性(robustness)和效率，以驅(qū)動(dòng)聯(lián)合估計(jì)過程，由此利用了多個(gè)成像模態(tài)之 間的相似性。本發(fā)明的實(shí)施方式采用在概率估計(jì)框架之內(nèi)的統(tǒng)計(jì)學(xué)解剖模型，以確保生理 適應(yīng)的結(jié)果(physiological compliant result)。
在本發(fā)明的一個(gè)實(shí)施方式中，接收使用第一成像模態(tài)來(lái)捕獲的第一圖像，以及接 收使用第二成像模態(tài)來(lái)捕獲的第二圖像。根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖 結(jié)構(gòu)的模型以及變換。該模型表示目標(biāo)解剖結(jié)構(gòu)在第一圖像中的模型，而變換將目標(biāo)解剖 結(jié)構(gòu)在第二圖像中的模型投影到第一圖像中的模型。第一和第二圖像能夠基于所估計(jì)的變 換進(jìn)行融合。


參照如下詳細(xì)描述和附圖，本發(fā)明的這些以及其它優(yōu)點(diǎn)對(duì)于本領(lǐng)域普通技術(shù)人員 將是顯而易見的。
圖1圖示了依照本發(fā)明實(shí)施方式的用于多模態(tài)圖像的基于模型的融合的方法；
圖2圖示了多模態(tài)圖像的基于模型的融合的概觀；
圖3圖示了依照本發(fā)明實(shí)施方式的用于聯(lián)合地估計(jì)第一和第二多模態(tài)圖像中的 模型和變換的方法；
圖4圖示了使用圖3的方法來(lái)估計(jì)模型和變換的基于模型的融合方法；
圖5圖示了示例性的多模態(tài)圖像融合結(jié)果；以及
圖6是能夠?qū)嵤┍景l(fā)明的計(jì)算機(jī)的高級(jí)框圖。
具體實(shí)施方式
本發(fā)明涉及多模態(tài)體積圖像的基于模型的融合。本發(fā)明的實(shí)施方式可以被用于融 合多個(gè)成像模態(tài)中的圖像信息，諸如融合計(jì)算機(jī)斷層掃描(CT)、Dyna CT、超聲心動(dòng)圖數(shù)據(jù)、 突光透視圖像(fluoroscopic image)數(shù)據(jù)以及磁共振成像(MRI)中的圖像信息。在此描述 本發(fā)明的實(shí)施方式，以給出對(duì)基于模型的圖像融合方法的視覺理解。數(shù)字圖像常常包括一 個(gè)或多個(gè)對(duì)象(或形狀)的數(shù)字表示。對(duì)象的數(shù)字表示在此常常在標(biāo)識(shí)和操縱對(duì)象方面來(lái) 描述。這樣的操縱是在計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器或其他電路/硬件中完成的虛擬操縱。因此， 應(yīng)理解的是，本發(fā)明的實(shí)施方式可以在計(jì)算機(jī)系統(tǒng)之內(nèi)使用存儲(chǔ)在該計(jì)算機(jī)系統(tǒng)之內(nèi)的數(shù) 據(jù)來(lái)執(zhí)行。
本發(fā)明的實(shí)施方式提供了一種用于多模態(tài)體積圖像的基于模型的融合的方法。該 方法的益處包括完整性，通過利用被多個(gè)模態(tài)補(bǔ)充的信息；穩(wěn)健性，通過利用來(lái)自多個(gè)模 態(tài)的冗余信息來(lái)減少估計(jì)不確定性；以及融合，通過獲得多個(gè)模態(tài)的模型敏感的集成。本發(fā) 明的實(shí)施方式可以被應(yīng)用于經(jīng)導(dǎo)管瓣膜過程的術(shù)前和術(shù)中圖像的基于模型的融合，但是本 發(fā)明并不限于此。
圖1圖示了依照本發(fā)明的實(shí)施方式的用于多模態(tài)圖像的基于模型的融合的方法。 圖1的方法在此被描述為融合術(shù)前和術(shù)中圖像信息，但是本發(fā)明并不限于此。在步驟102， 接收第一醫(yī)學(xué)圖像。該第一醫(yī)學(xué)圖像通過使用第一成像模態(tài)來(lái)捕獲。該第一醫(yī)學(xué)圖像可以 直接從圖像捕獲設(shè)備中接收到，諸如從CT掃描儀接收到。還可能通過從計(jì)算機(jī)系統(tǒng)的存儲(chǔ) 器或內(nèi)存中加載所存儲(chǔ)的醫(yī)學(xué)圖像而接收到第一醫(yī)學(xué)圖像。在有利的實(shí)施方式中，第一醫(yī) 學(xué)圖像可以是患者的術(shù)前體積(3D)圖像。例如，第一醫(yī)學(xué)圖像可以是術(shù)前CT或MR圖像。
在步驟104，接收第二醫(yī)學(xué)圖像。該第二醫(yī)學(xué)圖像通過使用第二成像模態(tài)來(lái)捕獲。 該第二醫(yī)學(xué)圖像可以直接從圖像捕獲設(shè)備中接收到，諸如從C-臂圖像捕獲設(shè)備接收到。還 可能通過從計(jì)算機(jī)系統(tǒng)的存儲(chǔ)器或內(nèi)存中加載所存儲(chǔ)的醫(yī)學(xué)圖像而接收到第二醫(yī)學(xué)圖像。 在有利的實(shí)施方式中，第二醫(yī)學(xué)圖像可以是患者的術(shù)中體積(3D)圖像。例如，第二第一醫(yī) 學(xué)圖像可以是在諸如經(jīng)導(dǎo)管主動(dòng)瓣膜置換術(shù)之類的手術(shù)期間從圖像捕獲設(shè)備接收到的術(shù) 中C-臂CT圖像或經(jīng)食管超聲心動(dòng)圖(TEE)圖像。
在步驟106，在第一和第二圖像中聯(lián)合地估計(jì)目標(biāo)解剖結(jié)構(gòu)的解剖模型。第一和 第二圖像中的聯(lián)合地估計(jì)的解剖模型可被表達(dá)為模型和變換。模型對(duì)應(yīng)于該目標(biāo)解剖結(jié)構(gòu) 在第一圖像中的經(jīng)過估計(jì)的解剖模型，而變換將第二圖像中的經(jīng)過估計(jì)的解剖模型投影到 第一圖像中的經(jīng)過估計(jì)的解剖模型。在將術(shù)前3D圖像和術(shù)中3D圖像融合的情況下，該步 驟聯(lián)合地估計(jì)目標(biāo)結(jié)構(gòu)的術(shù)前和術(shù)中模型，以便提供術(shù)前和術(shù)中圖像信息的模型敏感的集成。
圖2圖示了多模態(tài)圖像的基于模型的融合的概觀。圖2的實(shí)例聯(lián)合地估計(jì)了術(shù)前和術(shù)中圖像數(shù)據(jù)中的主動(dòng)脈瓣模型。如圖2中所示，以統(tǒng)計(jì)學(xué)主動(dòng)脈瓣模型202開始，目的是根據(jù)體積數(shù)據(jù)集I1和I2估計(jì)3D解剖學(xué)的患者特定模型M和變換Φ，其中I1是術(shù)前圖像 204以及I2是術(shù)中圖像206，所述變換Φ將術(shù)中模型M2映射到術(shù)前模型Mp在圖2中，聯(lián)合地估計(jì)的患者特定模型M在所融合的圖像208中被示出。最優(yōu)的聯(lián)合地估計(jì)的患者特定模型和變換可以被表達(dá)為
權(quán)利要求
1.一種用于多模態(tài)圖像的融合的方法，其包括接收使用第一成像模態(tài)來(lái)捕獲的第一圖像；接收使用第二成像模態(tài)來(lái)捕獲的第二圖像；以及根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計(jì)變換。
2.權(quán)利要求1的方法，其中，目標(biāo)解剖結(jié)構(gòu)的模型包括目標(biāo)解剖結(jié)構(gòu)在第一圖像中的第一模型，以及變換包括將目標(biāo)解剖結(jié)構(gòu)在第二圖像中的第二模型投影到目標(biāo)解剖結(jié)構(gòu)的第一模型的變換。
3.權(quán)利要求2的方法，其中，變換包括仿射變換和非線性卷繞變換。
4.權(quán)利要求1的方法,進(jìn)一步包括通過使用變換而根據(jù)第一和第二圖像生成被融合的圖像。
5.權(quán)利要求1的方法，其中，根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計(jì)變換的步驟包括在第一和第二圖像中的每個(gè)圖像中獨(dú)立地檢測(cè)界標(biāo)；使用第一和第二圖像中所檢測(cè)到的界標(biāo)來(lái)估計(jì)最初的變換；基于在第一圖像中檢測(cè)到的界標(biāo)初始化第一圖像中的模型；使用最初的變換初始化第二圖像中的所投影的模型；以及至少基于針對(duì)模型和所投影的模型的相對(duì)應(yīng)的點(diǎn)所檢測(cè)到的聯(lián)合概率更新模型和變換。
6.權(quán)利要求5的方法，其中，至少基于針對(duì)模型和所投影的模型的相對(duì)應(yīng)的點(diǎn)所檢測(cè)到的聯(lián)合概率更新模型和變換的步驟包括基于針對(duì)模型和所投影的模型上的每個(gè)點(diǎn)所計(jì)算的相應(yīng)單模態(tài)概率和針對(duì)模型和所投影的模型上的相對(duì)應(yīng)的點(diǎn)所計(jì)算的聯(lián)合概率，更新模型和所投影的模型的點(diǎn)；以及基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型，正則化模型和變換。
7.權(quán)利要求6的方法，其中，基于針對(duì)模型和所投影的模型上的每個(gè)點(diǎn)所計(jì)算的相應(yīng)單模態(tài)概率和針對(duì)模型和所投影的模型上的相對(duì)應(yīng)的點(diǎn)所計(jì)算的聯(lián)合概率來(lái)更新模型和所投影的模型的點(diǎn)的步驟包括對(duì)于模型的每個(gè)點(diǎn)，沿著垂直于模型上點(diǎn)的線在第一圖像中采集多個(gè)候選，以及沿著垂直于所投影的模型上的相對(duì)應(yīng)的點(diǎn)的線在第二圖像中采集多個(gè)候選；使用相應(yīng)的經(jīng)過訓(xùn)練的檢測(cè)器，計(jì)算針對(duì)第一圖像中的多個(gè)候選中的每個(gè)和第二圖像中的多個(gè)候選中的每個(gè)的單模態(tài)概率；使用經(jīng)過訓(xùn)練的推進(jìn)分類器來(lái)計(jì)算針對(duì)第一和第二圖像中的每個(gè)可能的候選對(duì)的聯(lián)合概率；以及通過乘以第一圖像中的候選的單模態(tài)概率、第二圖像中的候選的單模態(tài)概率以及候選對(duì)的聯(lián)合概率，計(jì)算針對(duì)第一和第二圖像中的每個(gè)可能候選對(duì)的總概率；以及選擇第一和第二圖像中具有最高總概率的候選對(duì)。
8.權(quán)利要求6的方法，其中，變換包括仿射變換和非線性卷繞變換，以及基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型而正則化模型和變換的步驟包括基于所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型，計(jì)算模型和變換的后驗(yàn)概率；通過將模型投影到所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型的主成分分析(PCA)形狀空間來(lái)更新模型，以改進(jìn)后驗(yàn)概率；基于第一圖像中的更新過的模型和第二圖像中的所投影的模型，更新仿射變換和非線性卷繞變換。
9.權(quán)利要求6的方法，其中，至少基于針對(duì)模型和所投影的模型的相對(duì)應(yīng)的點(diǎn)所檢測(cè)到的聯(lián)合概率來(lái)更新模型和變換的步驟進(jìn)一步包括重復(fù)更新模型和所投影的模型的點(diǎn)以及正則化模型和變換的步驟，直到模型和變換收斂。
10.權(quán)利要求1的方法，其中，第一圖像是術(shù)前圖像，而第二圖像是術(shù)中圖像。
11.權(quán)利要求10的方法，其中，術(shù)前圖像是計(jì)算機(jī)斷層掃描(CT)圖像，以及術(shù)中圖像是 C-臂CT圖像和經(jīng)食管超聲心動(dòng)圖(TEE)圖像中的一個(gè)。
12.權(quán)利要求1的方法，其中，目標(biāo)解剖結(jié)構(gòu)是主動(dòng)脈瓣。
13.一種用于多模態(tài)圖像的融合的設(shè)備，其包括用于接收使用第一成像模態(tài)來(lái)捕獲的第一圖像的裝置；用于接收使用第二成像模態(tài)來(lái)捕獲的第二圖像的裝置；以及用于根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計(jì)變換的裝置。
14.權(quán)利要求13的設(shè)備，其中，目標(biāo)解剖結(jié)構(gòu)的模型包括目標(biāo)解剖結(jié)構(gòu)在第一圖像中的第一模型，以及變換包括將目標(biāo)解剖結(jié)構(gòu)在第二圖像中的第二模型投影到目標(biāo)解剖結(jié)構(gòu)的第一模型的變換。
15.權(quán)利要求14的設(shè)備，其中，變換包括仿射變換和非線性卷繞變換。
16.權(quán)利要求13的設(shè)備，進(jìn)一步包括用于通過使用變換而根據(jù)第一和第二圖像生成被融合的圖像的裝置。
17.權(quán)利要求13的設(shè)備，其中，用于根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計(jì)變換的裝置包括用于在第一和第二圖像中的每個(gè)圖像中獨(dú)立地檢測(cè)界標(biāo)的裝置；用于使用在第一和第二圖像中檢測(cè)到的界標(biāo)來(lái)估計(jì)最初的變換的裝置；用于基于在第一圖像中檢測(cè)到的界標(biāo)來(lái)初始化第一圖像中的模型的裝置；用于使用最初的變換初始化第二圖像中的所投射的模型的裝置；以及用于至少基于針對(duì)模型和所投影的模型的相對(duì)應(yīng)的點(diǎn)檢測(cè)到的聯(lián)合概率來(lái)更新模型和變換的裝置。
18.權(quán)利要求17的設(shè)備，其中，用于至少基于針對(duì)模型和所投影的模型的相對(duì)應(yīng)的點(diǎn)檢測(cè)到的聯(lián)合概率來(lái)更新模型和變換的裝置包括用于基于針對(duì)模型和所投影的模型上的每個(gè)點(diǎn)所計(jì)算的相應(yīng)單模態(tài)概率和針對(duì)模型和所投影的模型上的相對(duì)應(yīng)的點(diǎn)所計(jì)算的聯(lián)合概率來(lái)更新模型和所投影的模型的點(diǎn)的裝置；以及用于基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型來(lái)正則化模型和變換的裝置。
19.權(quán)利要求18的設(shè)備，其中，用于基于針對(duì)模型和所投影的模型上的每個(gè)點(diǎn)所計(jì)算的相應(yīng)單模態(tài)概率和針對(duì)模型和所投影的模型上的相對(duì)應(yīng)的點(diǎn)所計(jì)算的聯(lián)合概率來(lái)更新模型和所投影的模型的點(diǎn)的裝置包括針對(duì)模型的每個(gè)點(diǎn)，用于沿著垂直于模型上的點(diǎn)的線在第一圖像中采集多個(gè)候選以及沿著垂直于所投影的模型上的相對(duì)應(yīng)的點(diǎn)的線在第二圖像中采集多個(gè)候選的裝置；用于使用相應(yīng)的經(jīng)過訓(xùn)練的檢測(cè)器來(lái)計(jì)算針對(duì)第一圖像中的多個(gè)候選中的每個(gè)和第二圖像中的多個(gè)候選中的每個(gè)的單模態(tài)概率的裝置；用于使用經(jīng)過訓(xùn)練的推進(jìn)分類器來(lái)計(jì)算針對(duì)第一和第二圖像中的每個(gè)可能候選對(duì)的聯(lián)合概率的裝置；以及用于通過乘以第一圖像中的候選的單模態(tài)概率、第二圖像中的候選的單模態(tài)概率以及候選對(duì)的聯(lián)合概率來(lái)計(jì)算第一和第二圖像中的每個(gè)可能候選對(duì)的總概率的裝置；以及用于選擇第一和第二圖像中具有最高總概率的候選對(duì)的裝置。
20.權(quán)利要求18的設(shè)備，其中，變換包括仿射變換和非線性卷繞變換，以及用于基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型來(lái)正則化模型和變換的裝置包括用于基于所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型來(lái)計(jì)算模型和變換的后驗(yàn)概率的裝置；用于通過將模型投影到所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型的主成分分析(PCA)形狀空間來(lái)更新模型以改進(jìn)后驗(yàn)概率的裝置；基于第一圖像中的更新過的模型和第二圖像中的所投影的模型，更新仿射變換和非線性卷繞變換。
21.一種非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其利用用于多模態(tài)圖像的融合的計(jì)算機(jī)可執(zhí)行指令來(lái)編碼，所述計(jì)算機(jī)可執(zhí)行指令限定了包括如下步驟的方法接收使用第一成像模態(tài)來(lái)捕獲的第一圖像；接收使用第二成像模態(tài)來(lái)捕獲的第二圖像；以及根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計(jì)變換。
22.權(quán)利要求21的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，目標(biāo)解剖結(jié)構(gòu)的模型包括目標(biāo)解剖結(jié)構(gòu)在第一圖像中的第一模型，以及變換包括將目標(biāo)解剖結(jié)構(gòu)在第二圖像中的第二模型投影到目標(biāo)解剖結(jié)構(gòu)的第一模型的變換。
23.權(quán)利要求22的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，變換包括仿射變換和非線性卷繞變換。
24.權(quán)利要求21的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，所述方法進(jìn)一步包括通過使用變換而根據(jù)第一和第二圖像來(lái)生成被融合的圖像。
25.權(quán)利要求21的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，根據(jù)第一和第二圖像來(lái)聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及估計(jì)變換的步驟包括在第一和第二圖像中的每個(gè)圖像中獨(dú)立地檢測(cè)界標(biāo)；使用在第一和第二圖像中檢測(cè)到的界標(biāo)來(lái)估計(jì)最初的變換；基于在第一圖像中檢測(cè)到的界標(biāo)來(lái)初始化第一圖像中的模型；使用最初的變換來(lái)初始化第二圖像中的所投影的模型；以及至少基于針對(duì)模型和所投影的模型的相對(duì)應(yīng)的點(diǎn)所檢測(cè)到的聯(lián)合概率來(lái)更新模型和變換。
26.權(quán)利要求25的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，至少基于針對(duì)模型和所投影的模型的相對(duì)應(yīng)的點(diǎn)檢測(cè)到的聯(lián)合概率來(lái)更新模型和變換的步驟包括基于針對(duì)模型和所投影的模型上的每個(gè)點(diǎn)所計(jì)算的相應(yīng)單模態(tài)概率和針對(duì)模型和所投影的模型上的相對(duì)應(yīng)的點(diǎn)所計(jì)算的聯(lián)合概率，更新模型和所投影的模型的點(diǎn)；以及基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型，正則化模型和變換。
27.權(quán)利要求26的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，基于針對(duì)模型和所投影的模型上的每個(gè)點(diǎn)所計(jì)算的相應(yīng)單模態(tài)概率和針對(duì)模型和所投影的模型上的相對(duì)應(yīng)的點(diǎn)所計(jì)算的聯(lián)合概率來(lái)更新模型和所投影的模型的點(diǎn)的步驟包括針對(duì)模型的每個(gè)點(diǎn)，沿著垂直于模型上的點(diǎn)的線在第一圖像中采集多個(gè)候選，以及沿著垂直于所投影的模型上的相對(duì)應(yīng)的點(diǎn)的線在第二圖像中采集多個(gè)候選；使用相應(yīng)的經(jīng)過訓(xùn)練的檢測(cè)器，計(jì)算針對(duì)第一圖像中的多個(gè)候選的每個(gè)和第二圖像中的多個(gè)候選的每個(gè)的單模態(tài)概率；使用經(jīng)過訓(xùn)練的推進(jìn)分類器來(lái)計(jì)算第一和第二圖像中的每個(gè)可能候選對(duì)的聯(lián)合概率;以及通過乘以第一圖像中的候選的單模態(tài)概率、第二圖像中的候選的單模態(tài)概率以及候選對(duì)的聯(lián)合概率，計(jì)算針對(duì)第一和第二圖像中的每個(gè)可能候選對(duì)的總概率；以及選擇第一和第二圖像中具有最高總概率的候選對(duì)。
28.權(quán)利要求26的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，變換包括仿射變換和非線性卷繞變換，并且基于目標(biāo)解剖結(jié)構(gòu)的所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型來(lái)正則化模型和變換的步驟包括基于所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型，計(jì)算模型和變換的后驗(yàn)概率；通過將模型投影到所學(xué)習(xí)到的統(tǒng)計(jì)學(xué)形狀模型的主成分分析(PCA)形狀空間來(lái)更新模型，以改進(jìn)后驗(yàn)概率；基于第一圖像中的更新過的模型和第二圖像中的所投影的模型，更新仿射變換和非線性卷繞變換。
29.權(quán)利要求26的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，至少基于針對(duì)模型和所投影的模型的相對(duì)應(yīng)的點(diǎn)所檢測(cè)到的聯(lián)合概率來(lái)更新模型和變換的步驟進(jìn)一步包括重復(fù)更新模型和所投影的模型的點(diǎn)以及正則化模型和變換的步驟，直到模型和變換收斂。
30.權(quán)利要求21的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，第一圖像是術(shù)前圖像，而第二圖像是術(shù)中圖像。
31.權(quán)利要求30的非瞬時(shí)性計(jì)算機(jī)可讀介質(zhì)，其中，術(shù)前圖像是計(jì)算機(jī)斷層掃描(CT) 圖像，以及術(shù)中圖像是C-臂CT圖像和經(jīng)食管超聲心動(dòng)圖(TEE)圖像中的一個(gè)。
32.權(quán)利要求21的方法，其中，目標(biāo)解剖結(jié)構(gòu)是主動(dòng)脈瓣。
全文摘要
本發(fā)明涉及多模態(tài)體積圖像的基于模型的融合的方法和系統(tǒng)。公開了一種用于多模態(tài)體積圖像的融合的方法和系統(tǒng)。接收使用第一成像模態(tài)來(lái)捕獲的第一圖像。接收使用第二成像模態(tài)來(lái)捕獲的第二圖像。根據(jù)第一和第二圖像聯(lián)合地估計(jì)模型和目標(biāo)解剖結(jié)構(gòu)的模型以及變換。該模型表示目標(biāo)解剖結(jié)構(gòu)在第一圖像中的模型，并且變換將目標(biāo)解剖結(jié)構(gòu)在第二圖像中的模型投影到第一圖像中的模型。第一和第二圖像能夠基于經(jīng)過估計(jì)的變換來(lái)融合。
文檔編號(hào)G06K9/62GK102999938SQ201210120120
公開日2013年3月27日 申請(qǐng)日期2012年3月9日 優(yōu)先權(quán)日2011年3月9日
發(fā)明者S·格爾比克, R·I·約納塞克, 王洋, B·喬治斯庫(kù), T·曼西, D·科馬尼丘, 鄭冶楓, 周少華, M·約翰, J·貝澤 申請(qǐng)人:西門子公司