血管樹圖像的內窺鏡配準的制作方法
【專利摘要】一種圖像配準系統(tǒng)，內窺鏡(12)和內窺鏡控制器(22)。在手術中，內窺鏡(12)生成解剖區(qū)域內的血管樹(例如，動脈樹或靜脈樹)的術中內窺鏡圖像(14)，并且內窺鏡控制器(22)將血管樹的術中內窺鏡圖像(14)與解剖區(qū)域內的血管樹的術前三維圖像(44)進行圖像配準。所述圖像配準包括對血管樹的術中內窺鏡圖像(14)內的血管樹的每個分叉的圖形表示與血管樹的術前三維圖像(44)內的血管樹的每個分叉的圖形表示的圖像匹配。
【專利說明】血管樹圖像的內窺鏡配準
[0001]本申請主張2011年9月13日提交的標題為“Robotic Control of an Endoscopefrom Blood Vessel Tree Images” 的共同專利申請 PCT/IB2011/053998 的權利。
【技術領域】
[0002]本發(fā)明大體上涉及對術前三維(“3D”)血管樹圖像與術中內窺鏡血管樹圖像之間的術中配準。本發(fā)明具體涉及用于在冠狀外科手術過程期間解決在血管樹的拓樸結構中的任何改變的術中配準合并方法。
【背景技術】
[0003]冠狀動脈旁路移植術(“CABG”)是阻塞冠狀動脈的血管重建的外科手術過程。在美國每年執(zhí)行大約500，000例手術。在常規(guī)CABG中，患者的胸骨被打開，并且患者的心臟被完全暴露于外科醫(yī)生。盡管心臟暴露，由于動脈上面的脂肪組織層，一些動脈會是部分不可見的。對于這樣的動脈，外科醫(yī)生可以觸診心臟表面，并且感覺來自動脈和動脈狹窄的血液脈動。然而，該數(shù)據(jù)稀少，并且可能不足以將外科手術規(guī)劃轉移到外科手術部位。[0004]在最小侵入性CABG中，由于外科醫(yī)生不能觸診心臟表面，因此放大了常規(guī)CABG的前述問題。額外地，用于最小侵入性CAB中的外科手術器械的長度阻止來自工具近端的任何觸覺反饋。
[0005]用于解決常規(guī)CABG問題的一個已知技術是將術中部位與術前3D冠狀動脈樹進行配準。具體而言，光學追蹤指針用于使開放性心臟環(huán)境中動脈的位置數(shù)字化，并且使用本領域已知的迭代最近點(“ICP”)算法將位置數(shù)據(jù)配準到術前樹。然而，因為由小口進出施加的空間約束，與匹配數(shù)字化動脈和術前數(shù)據(jù)的任何相關途徑一樣，該技術對于最小侵入性CABG是不實際的。另外，該技術要求大多數(shù)動脈是可見的或可由外科醫(yī)生觸診，這在最小侵入性CABG中是不可能。
[0006]用于解決最小侵入性CABG問題的一個已知技術是實施配準方法，在所述配準方法中，使用光學追蹤內窺鏡重建心臟表面，并且將其與相同表面的術前計算機斷層攝影(“CT”)數(shù)據(jù)進行匹配。然而，如果用于導出表面的內窺鏡視圖太小，該技術與提出基于表面的匹配的任何相關途徑一樣，可能失敗。而且，當在不具有特定表面特征的情況下心臟表面相對平滑時，該技術的算法通常在算法的次優(yōu)局部最大值中操作。
[0007]用于解決最小侵入性CABG問題的另一已知技術是使用先前標注情況和基于圖形匹配的數(shù)據(jù)庫來標注從新患者中提取的冠狀樹。然而，只有完全樹是可用的，該技術才運作，并且其目的是標記樹，而不是匹配幾何結構。
[0008]一旦到達關于術前3D圖像的全局位置，最小侵入性CABG的又一問題是內窺鏡的取向和引導。配準的目的是便于吻合部位和狹窄的定位。在標準裝備中，當外科醫(yī)生握住兩個器械時，輔助裝置正握住內窺鏡。外科醫(yī)生向輔助裝置發(fā)出命令，并且輔助裝置據(jù)此移動內窺鏡。由于輔助裝置需要直覺地將通常在外科醫(yī)生參照系發(fā)出的外科醫(yī)生的命令轉換到輔助裝置參照系和內窺鏡參照系，這類裝備阻礙外科醫(yī)生的手眼協(xié)同。多個坐標系會引起各種處理錯誤，延長外科手術或引起冠狀動脈的錯誤識別。
[0009]被設計為允許外科醫(yī)生經由感測到的外科醫(yī)生頭部的移動直接控制內窺鏡的外科內窺鏡輔助裝置，通過將輔助裝置從控制回路中移除，可以解決那些問題中的一些，但是外科醫(yī)生參照系和內窺鏡參照系之間的變換問題依然。

【發(fā)明內容】

[0010]本發(fā)明提供用于匹配如在術前三維(“3D”)圖像(例如，CT圖像、錐形射束CT圖像、3D X-射線圖像或MRI圖像)和術中內窺鏡圖像中示出的在血管樹的每個分叉(例如，動脈、毛細血管、靜脈和其他多分枝解剖結構的每個點)的圖形表示的圖像配準方法。圖像配準方法還可以解決在外科手術過程(尤其CABG)期間在血管樹的拓樸結構中的任何改變。
[0011]出于本發(fā)明的目的，本文中術語“分叉”被廣義定義為沿著血管樹分成兩個或更多分枝的任何點。
[0012]本發(fā)明的一個形式是采用內窺鏡和內窺鏡控制器的配準系統(tǒng)。在手術中，內窺鏡生成解剖區(qū)域內的血管樹(例如，動脈樹、靜脈樹或人體任何其他管狀結構)的術中內窺鏡圖像，并且內窺鏡控制器圖像將血管樹的術中操作內窺鏡圖像與血管樹的術前三維圖像進行配準。圖像配準包括對血管樹的術中內窺鏡圖像內的血管樹的每個分叉的圖形表示與血管樹的術前三維圖像內的血管樹的每個分叉的圖形表示的圖像匹配。
[0013]本發(fā)明的第二形式是圖像配準方法，所述圖像配準方法涉及解剖區(qū)域內的血管樹的術前三維圖像的生成、解剖區(qū)域內的血管樹的術中內窺鏡圖像的生成、以及對血管樹的術中內窺鏡圖像與血管樹的術前三維圖像的圖像配準。圖像配準包括對血管樹的術中內窺鏡圖像內的血管樹的每個分叉的圖形表示與血管樹的術前三維圖像內的血管樹的每個分叉的圖形表示的圖像匹配。
[0014]出于采集解剖區(qū)域的三維圖像的目的，本文使用的術語“術前”被廣義定義為描述解剖區(qū)域的內窺鏡成像之前、期間或之后執(zhí)行的任何活動，并且本文使用的術語“術中”被廣義定義為描述解剖區(qū)域的內窺鏡成像期間或與解剖區(qū)域的內窺鏡成像有關的任何活動。解剖區(qū)域的內窺鏡成像的范例包括但不限于，CABG、支氣管鏡檢、結腸鏡檢查、腹腔鏡檢查和腦部內窺鏡檢查。
[0015]結合附圖閱讀本發(fā)明，從本發(fā)明的各種實施例的以下詳細描述中，本發(fā)明的前述形式和其他形式以及本發(fā)明的各種特征和優(yōu)點將變得更加顯而易見。本發(fā)明的詳細描述和附圖僅僅是圖示性的而不是限制性的，本發(fā)明的范圍由附加權利要求及其等同方案來定義。
【專利附圖】

【附圖說明】
[0016]圖1圖示了根據(jù)本發(fā)明的機器人引導系統(tǒng)的范例性實施例。
[0017]圖2圖示了表示根據(jù)本發(fā)明的機器人引導方法的范例性實施例的流程圖。
[0018]圖3圖示了在圖2中示出的流程圖的范例性外科手術實施方式。
[0019]圖4圖示了表 示根據(jù)本發(fā)明的圖形匹配方法的范例性實施例的流程圖。
[0020]圖5和圖6圖示了根據(jù)本發(fā)明的血管樹的主圖形的范例性順序。[0021]圖7圖示了根據(jù)本發(fā)明的內窺鏡圖像上的幾何表示的范例性疊加。
[0022]圖8圖示了根據(jù)本發(fā)明的在圖7中示出的疊加內的范例性機器人路徑。
[0023]圖9圖示了表示根據(jù)本發(fā)明的靜脈配準方法的流程圖。
[0024]圖10圖示了表示根據(jù)本發(fā)明的靜脈/動脈整合配準方法的第一實施例的流程圖。
[0025]圖11圖示了表示根據(jù)本發(fā)明的靜脈/動脈整合配準方法的第二實施例的流程圖。
[0026]圖12圖示了表示根據(jù)本發(fā)明的配準校正方法的第二實施例的流程圖。
【具體實施方式】
[0027]如在圖1中示出的，機器人引導系統(tǒng)采用機器人單元10和控制單元20，進行任何內窺鏡過程，這涉及具有一個或多個分叉(即，分枝)的血管樹的內窺鏡成像。這樣的內窺鏡過程的范例包括，但不限于 ，微創(chuàng)心臟外科手術(例如，冠狀動脈旁路移植術或二尖瓣置換術)。
[0028]機器人單元10包括機器人11、被剛性附接到機器人11的內窺鏡12和被附接到內窺鏡12的視頻捕獲設備13。
[0029]在本文中，機器人11被廣義定義為根據(jù)特定內窺鏡過程需要在結構上被配置具有用于操縱末端效應器的一個或多個節(jié)點的機動化控制的任何機器人設備。實際上，機器人11可以具有四(4)個自由度，諸如，例如，具有與剛性片段串聯(lián)連接的節(jié)點的串聯(lián)機器人、具有以并聯(lián)順序安裝(例如，本領域已知的斯圖爾特平臺)的節(jié)點和剛性片段的并聯(lián)機器人或串聯(lián)和并聯(lián)運動學的任何合并組合。
[0030]在本文中，內窺鏡12被廣義定義為在結構上被配置具有從身體內成像的能力的任何設備。為了達到本發(fā)明的目的，內窺鏡12的范例包括但不限于，彈性或剛性的任何類型的窺鏡(例如，內窺鏡、關節(jié)內窺鏡、支氣管窺鏡、膽管鏡、結腸鏡、膀胱鏡、十二指腸鏡、胃鏡、宮腔鏡、腹腔鏡、喉鏡、神經內窺鏡、耳鏡、推送腸鏡、鼻喉鏡、乙狀結腸鏡、竇窺鏡、胸腔鏡等)以及類似于配備成像系統(tǒng)(例如，成像的嵌套套管)的窺鏡的任何設備。成像是局部的，并且利用纖維光學、透鏡和小型化(例如，基于CCD)成像系統(tǒng)可以光學地獲得表面圖像。
[0031]實際上，內窺鏡12被安裝到機器人11的末端效應器上。機器人11的末端效應器的姿勢是末端效應器在機器人11執(zhí)行器的坐標系內的位置和取向。在內窺鏡12被安裝到機器人11的末端效應器的情況下，解剖區(qū)域內的內窺鏡12的視場的任何給定姿勢對應于機器人坐標系內的機器人11的末端效應器的不同姿勢。因此，由內窺鏡12生成的血管樹的每個單獨內窺鏡圖像可以被鏈接到解剖區(qū)域內的內窺鏡12的對應姿勢。
[0032]在本文中，視頻捕獲設備13被廣義定義為在結構上被配置為具有將來自內窺鏡12的術中內窺鏡視頻信號轉化為術中內窺鏡圖像(“10EI”)14的計算機可讀時間序列的能力的任何設備。實際上，視頻捕獲設備13可以采用任何類型的幀抓取器，以捕獲來自術中內窺鏡視頻信號的單獨數(shù)字靜止幀。
[0033]仍參考圖1，控制單元20包括機器人控制器21和內窺鏡控制器22。
[0034]在本文中，機器人控制器21被廣義定義為根據(jù)內窺鏡過程需要在結構上被配置為向機器人11提供一個或多個機器人執(zhí)行器命令(“RAC”)26以控制機器人11的末端效應器的姿勢的任何控制器。更具體而言，機器人控制器21將來自內窺鏡控制器22的內窺鏡位置命令(“EPC”) 25轉化為機器人執(zhí)行器命令26。例如，內窺鏡位置命令25可以指示通向解剖區(qū)域內的內窺鏡12的視場的期望3D位置的內窺鏡路徑，借此機器人控制器21將命令25轉化為命令26，所述命令26包括機器人11的每個電機所需要的執(zhí)行電流，以將內窺鏡12移動到期望3D位置。
[0035]在本文中，內窺鏡控制器22被廣義定義為在結構上被配置用于根據(jù)本發(fā)明和在圖2中示出的范例實施機器人引導方法的任何控制器。為了達到這個目的，內窺鏡控制器22可以合并圖像處理模塊(“IPM”) 23，其在本文中被廣義定義為在結構上被配置用于執(zhí)行本發(fā)明的解剖對象圖像配準的任何模塊。尤其，血管樹圖像配準由在圖2中示出的流程圖30的步驟S32和S33范例性實施。內窺鏡控制器22還可以合并視覺伺服模塊(“VSM”) 24，其在本文中被廣義定義為在結構上被配置用于生成內窺鏡位置命令25的任何模塊，所述內窺鏡位置命令25指示通向解剖區(qū)域內的內窺鏡12的視場的希望3D位置的內窺鏡路徑。尤其，內窺鏡位置命令25是從由在圖2中示出的流程圖30的步驟S34范例性實施的血管樹圖像配準導出的。
[0036]在本文中現(xiàn)在將提供流程圖30的描述，以便于對內窺鏡控制器22的進一步理解。
[0037]參考圖2，流程圖30的步驟S31包含從身體的任何解剖區(qū)域的術前3D圖像中提取血管樹(例如，動脈、毛細血管或靜脈的分叉)的幾何表示。例如，如在圖3中示出的，操作3D成像設備(例如，CT設備、X-射線設備或MRI設備)來生成圖示了患者50的左邊和右邊冠狀動脈51和52的患者50的胸部區(qū)域的術前3D圖像42。其后，操作血管樹提取器43，以從圖像42中提取冠狀動脈樹的幾何表示44，其可以被存儲在數(shù)據(jù)庫45中。實際上，由飛利浦出售的Brilliance iCT掃描器可以用于生成圖像42，以及從圖像42中提取冠狀動脈樹的3D數(shù)據(jù)集。
[0038]返回參考圖2，流程圖30的步驟S32包含圖像處理模塊23，所述圖像處理模塊23將血管樹的一個或多個術中內窺鏡圖像14(圖1)的圖形表示與血管樹的術前3D圖像44(圖1)的圖形表示進行匹配。例如，如在圖3中示出的，內窺鏡12生成患者50的胸部區(qū)域的術中內窺鏡檢查視頻，所述術中內窺鏡檢查視頻由視頻捕獲設備13捕獲并且被轉化為術中內窺鏡圖像14，借此內窺鏡控制器22的圖像處理模塊23將冠狀動脈樹的術中內窺鏡圖像14的圖形表示與冠狀動脈樹的術前3D圖像44的圖形表示進行匹配。在一個范例性實施例中，圖像處理模塊23執(zhí)行由在圖4中示出的流程圖60范例性表示的本發(fā)明的血管樹圖像匹配方法，在本文中，所述血管樹圖像匹配方法將在血管樹是冠狀動脈樹的背景下被描述。
[0039]參考圖4，(血管)流程圖60的步驟S61包含圖像處理模塊23，所述圖像處理模塊23根據(jù)本領域已知的任何表示方法從冠狀動脈樹的幾何表示中生成冠狀動脈樹主圖形。例如，如在步驟S61中示出的，冠狀動脈樹的幾何表示70被轉化成主圖形71，所述主圖形71具有表示冠狀動脈樹幾何表示70的每個分叉(例如，分支或三根分叉部)的結點，并且還具有在結點之間的分枝連接。憑借C型臂血管造影術或其他適當系統(tǒng)在術前(例如，在內窺鏡外科手術之前幾天或先于將內窺鏡12引入患者50內的任何時間)或術中可以執(zhí)行步Msei0
[0040] 流程圖60的步驟S62包含圖像處理模塊23，所述圖像處理模塊23根據(jù)本領域已知的任何圖形表示方法從在術中內窺鏡圖像14中可見的冠狀動脈樹的一部分中生成冠狀動脈樹子圖形。具體而言，內窺鏡12被引入到患者50，借此圖像處理模塊23執(zhí)行對術中內窺鏡圖像14內的冠狀動脈結構的檢測。實際上，一些動脈結構可以是可見的，而其他動脈結構可以由脂肪組織層隱藏。正因如此，圖像處理模塊23可以通過已知圖像處理操作(例如，通過可見冠狀動脈結構的不同紅色的閾值檢測)實施可見冠狀動脈結構的自動檢測，或者外科醫(yī)生可以手動使用輸入設備來在計算機顯示器上描畫可見冠狀動脈結構的輪廓。基于對動脈結構的檢測，圖像處理模塊23以類似于生成冠狀動脈樹主圖形的方式生成冠狀動脈樹圖形。例如，如在步驟S62中示出的,冠狀動脈結構的幾何表示72被轉化成圖形73，所述圖形73具有表示冠狀動脈樹幾何表示72的每個分叉(例如，分支或三根分叉部)的結點，并且還具有在結點之間的分枝連接。由于樹都來自相同的人，應當理解，從內窺鏡檢查圖像導出的圖形是從3D圖像導出的圖形的子圖形。
[0041]流程圖60的步驟S63包含圖像處理模塊23，所述圖像處理模塊23根據(jù)任何已知的圖形匹配方法(例如，最大共同子圖形或麥格雷戈(McGregor)共同子圖形)將子圖形與主圖形進行匹配。例如，如在步驟S63中示出的，將子圖形73的結點與主圖形71的結點的子集進行匹配。
[0042]實際上，子圖形73可以在術中內窺鏡圖像14內僅僅部分地被檢測，或子圖形73的一些結點/連接可以在術中內窺鏡圖像14中缺少。為了提高步驟S62的匹配精度，可以實施主圖形71和子圖形73的額外順序。[0043]在一個實施例中，在步驟S61的圖像掃描期間基于患者50的已知取向實施主圖形71的垂直結點順序。具體而言，主圖形結點可以被定向地鏈接，以經由實線箭頭保存如在圖5中范例性示出的自頂向下順序。對于子圖形73，患者50相對于內窺鏡12的取向可以是未知的。然而，已知的當冠狀動脈樹的分枝自頂向下擴展時，他們在直徑上減少，然后術中內窺鏡圖像14中動脈分枝的變化的動脈尺寸可以指示取向。
[0044]在另一實施例中，在步驟S61的圖像掃描期間基于患者50的已知取向可以實施主圖形70的水平結點順序。具體而言，主圖形結點可以被定向地鏈接，以經由虛線箭頭保存如在圖6中范例性示出的自左向右的結點順序。對于子圖形73，在到內窺鏡12的患者50的取向很有可能是未知的情況下，通過操作中的外科醫(yī)生或輔助裝置經由圖形用戶接口可以設置子圖形73的水平結點順序。
[0045]盡管順序的使用可以減小用于匹配圖形的時間，并且減少可能匹配的數(shù)量，理論上通過匹配算法仍可以獲得圖形之間的多個匹配。在流程圖30的步驟S33期間解決這樣的多個匹配的情況。
[0046]再次參考圖2，基于圖形的匹配，流程圖的步驟S33包含血管樹的術前3D圖像44(圖1)的幾何表示疊加在血管樹的術中內窺鏡圖像14上。通過使用唯一與主圖形關聯(lián)的幾何表示完成該操作。由此，使用透視變換，整個幾何結構可以被直接轉換為術中內窺鏡圖像14。使用本領域已知的匹配算法(例如，單應性匹配)從術中內窺鏡圖像14和術前3D圖像44中的結點中可以檢測透視變換。
[0047]例如，圖7圖示了具有與術中內窺鏡圖像90的結點91-95匹配的結點的冠狀動脈樹的幾何表示80。在結點91-95之間的每個結點對之間的距離可以用于確定幾何表示80的比例因子，從而如圖不出的使幾何表不80能夠置加術中內窺鏡圖像90。
[0048]實際上，如果步驟S32(圖2)的圖形匹配產生多個結果，則可以將所有可能的疊加顯示給外科醫(yī)生，借此外科醫(yī)生可以經由圖形用戶接口選擇外科醫(yī)生認為是最可能匹配的匹配結果。考慮到外科醫(yī)生知道內窺鏡12相對于術中內窺鏡圖像14中的至少一些結構的位置，選擇可以相對簡單。
[0049]返回參考圖2，流程圖30的步驟S34包含視覺伺服模塊24，所述視覺伺服模塊24在血管樹的術前3D圖像44(圖1)的幾何表示到血管樹的術中內窺鏡圖像14(圖1)的疊加內生成內窺鏡路徑?；趦雀Q鏡路徑，視覺伺服模塊24向機器人控制器21生成內窺鏡位置命令25，以借此將內窺鏡12(圖1)沿著內窺鏡路徑引導至解剖區(qū)域內的期望位置。具體而言，一旦發(fā)現(xiàn)準確疊加，可以命令機器人11，以將內窺鏡12引導至外科醫(yī)生在術前3D圖像44上選擇的位置。外科醫(yī)生或輔助裝置可以選擇血管樹的點，并且機器人11可以引導內窺鏡12沿著任何適當路徑朝向期望位置。例如，如在圖9中示出的，機器人11可以將內窺鏡12沿著最短路徑101移動到期望位置100，或沿著冠狀動脈路徑102移動到期望位置100。由于隨著機器人11移動內窺鏡12，冠狀動脈路徑102允許外科醫(yī)生觀察可見動脈，冠狀動脈路徑102是優(yōu)選實施例。此外，其有助于外科醫(yī)生決定匹配是否成功。使用本領域已知的方法(例如，迪科斯徹最短路徑算法)可以定義冠狀動脈路徑102。
[0050]實際上，使用具有運動遠程中心的未校準視覺伺服可以命令機器人11的移動，并且可以延伸內窺鏡12的視場，以在匹配步驟S32期間實現(xiàn)更大的子圖形(例如，本領域已知的術中內窺鏡圖像14的拼接)。
[0051]如本文前述，如在圖2中示出的流程圖30的步驟32和33表示涉及單個血管樹的本發(fā)明的血管樹圖像配準。額外地，在冠狀動脈樹的背景下提供步驟S32和S33的先前描述，以便于對步驟S32和S33的理解。實際上，本發(fā)明的血管樹圖像配準可以涉及身體的任何解剖區(qū)域內的任何類型的兩(2)個或更多血管樹。
[0052]在身體的任何解剖區(qū)域(尤其冠狀區(qū)域)內的動脈樹和靜脈樹的背景下，圖9-11圖示了步驟S32和/或步驟S33(圖1)的其他實施例。這些實施例根據(jù)如本文先前教導的流程圖60(圖4)的原理執(zhí)行圖形生成和結點匹配。
[0053]參考圖9，流程圖111表示靜脈樹圖像配準方法，所述靜脈樹圖像配準方法涉及對靜脈樹的術中內窺鏡圖像的主圖形與靜脈樹的術前圖像的匹配，所述靜脈樹的術前圖像用作將解剖區(qū)域的術中內窺鏡圖像與解剖區(qū)域的術前3D圖像進行配準的基礎。
[0054]具體而言，流程圖110的步驟Slll包含圖像處理模塊23，所述圖像處理模塊23執(zhí)行對靜脈樹的術中內窺鏡圖像與靜脈樹的術前3D圖像之間的靜脈樹圖形匹配。例如，如在圖9的步驟Slll中示出的，生成靜脈樹的術前3D圖像120的主圖形121和靜脈樹的術中內窺鏡圖像122的子圖形123，并且子圖形123的結點與主圖形121的結點的特定子集匹配。結果是對解剖區(qū)域的術中內窺鏡圖像與解剖區(qū)域的術前3D圖像的配準。
[0055]流程圖110的步驟S112包含圖像處理模塊23，所述圖像處理模塊23執(zhí)行如本領域已知的動脈樹的術前圖像的疊加的生成，所述動脈樹的術前圖像的疊加是從在解剖區(qū)域的術前圖像內的動脈樹與靜脈樹的相對定位導出的。例如，如在圖9的步驟S112中示出的，動脈樹的術前圖像130到 動脈樹的術中內窺鏡圖像132上的疊加是從動脈樹(用虛線示出)的術前圖像130與靜脈樹的術前圖像120的相對定位導出的。
[0056]參考圖10，流程圖140表示血管樹圖像配準方法，所述血管樹圖像配準方法涉及以下的組合:(I)對動脈樹的術中內窺鏡圖像的子圖形與動脈的術前圖像的主圖形的動脈樹匹配，以及(2)對靜脈樹的術中內窺鏡圖像的子圖形與靜脈樹的術前圖像的主圖形的靜脈樹匹配。
[0057]具體而言，流程圖140的步驟S141包含圖像處理模塊23，所述圖像處理模塊23執(zhí)行對動脈樹的術中內窺鏡圖像與動脈樹的術前3D圖像之間的動脈樹圖形匹配。例如，如在圖10的步驟S141中示出的，生成動脈樹的術前3D圖像130的主圖形131和動脈樹的術中內窺鏡圖像132的子圖形133，并且子圖形133的結點與主圖形131的結點的特定子集匹配。
[0058]流程圖140的步驟S142包含圖像處理模塊23，所述圖像處理模塊23執(zhí)行靜脈樹的術中內窺鏡圖像到靜脈樹的術前3D圖像之間的靜脈樹圖形匹配。例如，如在圖10的步驟S142中示出的，生成靜脈樹的術前3D圖像120的主圖形121和靜脈樹的術中內窺鏡圖像122的子圖形123，并且子圖形123的結點與主圖形121的結點的特定子集匹配。
[0059]流程圖140的步驟S143包含圖像處理模塊，如本領域已知的所述圖像處理模塊以幾何方式將步驟S141的動脈樹匹配和步驟S142的靜脈樹匹配進行組合。
[0060]實際上，可以以任何順序串行執(zhí)行或并行執(zhí)行步驟S141和S142。
[0061]參考圖11，流程圖150表示血管樹圖像配準方法，所述血管樹圖像配準方法涉及以下的整合:(I)對動脈樹的術中內窺鏡圖像的子圖形與動脈的術前圖像的主圖形的動脈樹匹配，以及(2)對靜脈樹的術中內窺鏡圖像的子圖形與靜脈樹的術前圖像的主圖形的靜脈樹匹配。
[0062]具體而言，流程圖150的步驟S151包含圖像處理模塊23，所述圖像處理模塊23從動脈樹和靜脈樹的相應的術前圖像中生成動脈樹和靜脈樹的主圖形，并且流程圖150的步驟S152包含動脈樹的主圖形和靜脈樹的主圖形的整合。實際上，由于涉及心臟區(qū)域，不存在事實上連接了動脈樹和靜脈樹的單個血管點。正因如此，動脈樹和靜脈樹的主圖形基本上是分離的。盡管如此，在心臟區(qū)域解剖結構內可以有多個點，在所述心臟區(qū)域解剖結構內，動脈結點和靜脈結點以無關緊要的距離分開。這些結點可以被認為是符合步驟S152的目的，并且由此可以構建在這些結點接合的單個樹。
[0063]例如，如在圖11的步驟S152中示出的，靜脈樹的主圖形121的結點124和動脈樹的主圖形131的結點134在心臟區(qū)域的術前體積圖像內以無關緊要的距離分開，并且因此，在心臟區(qū)域的術前體積圖像內在點161處被接合，以形成整合的血管樹圖形160。
[0064]流程圖150的步驟S153包含圖像處理模塊23，所述圖像處理模塊23從動脈樹和靜脈樹的相應的術中內窺鏡圖像中生成動脈樹和靜脈樹的子圖形，并且流程圖150的步驟S154包含對動脈樹和靜脈樹的子圖形與整合的血管圖形的結點匹配。例如，如在圖11的步驟S154中示出的，生成的動脈樹的子圖形132和生成的靜脈樹的子圖形122與整合的血管樹圖形160匹配。
[0065]實際上，備選地，血管樹的主圖形的整合可以發(fā)生在血管樹的子圖形與相應的主圖形的單獨匹配處。
[0066]返回參考圖2，步驟S32-S34可以一次性被執(zhí)行，或者在周期的基礎上執(zhí)行，直到機器人11已經將內窺鏡12移動到在解剖區(qū)域內的期望位置的時間，或者外科醫(yī)生指示的多個時間。
[0067]在流程圖130的備選實施例中，當在解剖區(qū)域(尤其心臟區(qū)域)內的血管樹中的一個或多個上執(zhí)行外科手術時，為了達到更新圖像配準的目的，可以執(zhí)行步驟S35。例如，在完成旁路之后，在心臟區(qū)域中的旁路的術中外科手術圖像(例如，內窺鏡圖像或χ-射線血管造影術圖像)中，動脈樹的新近引入拓撲結構將是可見的，并且在心臟區(qū)域的術前體積圖像上將是不可見的。使用如本文前述的本發(fā)明的圖形匹配算法，將來自術中外科手術圖像的動脈樹與來自術前體積圖像的動脈樹進行匹配?；谒雠錅剩ㄟ^將一個新結點(遠端吻合部位)和一個連接(旁路)添加到主圖形，可以更新術前體積圖像的主圖形。
[0068]在圖12中示出的流程圖170表示步驟S35和步驟S31 (圖2)的一個實施例。流程圖170的步驟S171包含從解剖區(qū)域的術中外科手術圖像中提取血管樹，并且步驟S172包含對術中外科手術圖像與術前體積圖像的配準。例如，如在圖12的步驟S172中示出的，從心臟區(qū)域的術中內窺鏡圖像14或術中X-射線血管造影術圖像15中提取動脈樹133的外科手術圖像180，所述圖像180圖示了旁路181。生成圖像180的主圖形182，新連接結點183表示旁路。主圖形182是與術前體積圖像的主圖形(例如，如在圖10中示出的動脈樹圖像130和主圖形131)匹配的結點。
[0069]流程圖170的步驟S173包含對術前體積圖像的更新。實際上，更新的圖像133可以完整圖示整個動脈樹，或可以排除整個動脈樹的旁路部分。例如，如在圖12的步驟S173中示出的，術前體積圖像133的更新圖像133a圖示了包括旁路181的整個動脈樹，或者術前體積圖像133的更新圖像134b圖示了不包括動脈樹的旁路部分的動脈樹。
[0070]流程圖170返回到步驟S32(圖2)，在該步驟中，更新的圖像133可以用于將術中內窺鏡圖像12與術前體積圖像44重新配準，并且在步驟S32-S34期間引導機器人11。
[0071]返回參考圖1，實 際上，可以通過整合在如示出的內窺鏡控制器22內的硬件、軟件和/或固件來實施模塊23和24。
[0072]從本文圖1-12的描述中，本領域技術人員應當認識到，本發(fā)明的許多優(yōu)點包括但不限于，本發(fā)明應用于在任何類型血管上執(zhí)行的任何類型的內窺鏡檢查外科手術。
[0073]盡管已經參考范例性方面、特征和實施方式描述了本發(fā)明，但所公開的系統(tǒng)和方法不限于這樣的范例性方面、特征和/或實施方式。相反，本領域技術人員從本文提供的描述將明了，所公開的系統(tǒng)和方法允許在不脫離本發(fā)明的精神或范圍的情況下進行修改、變更和改進。因此，本發(fā)明明確地包含這種在其范圍內的修改、變更和改進。
【權利要求】
1.一種圖像配準系統(tǒng)，包括: 內窺鏡(12)，其能夠操作用于生成解剖區(qū)域內的血管樹的術中內窺鏡圖像(14);以及 內窺鏡控制器(22)，其能夠操作用于將所述血管樹的所述術中內窺鏡圖像(14)與所述血管樹的術前三維圖像(44)進行圖像配準， 其中，所述圖像配準包括對所述血管樹的所述術中內窺鏡圖像(14)內的所述血管樹的每個分叉的圖形表示與所述血管樹的所述術前三維圖像(44)內的所述血管樹的每個分叉的圖形表示的圖像匹配。
2.根據(jù)權利要求1所述的圖像配準系統(tǒng)，其中，所述內窺鏡控制器(22)還能夠操作用于，響應于所述血管樹的拓樸結構中的任何外科手術變更來更新對所述血管樹的所述術中內窺鏡圖像(14)與所述血管樹的所述術前三維圖像(44)的所述圖像配準。
3.根據(jù)權利要求1所述的圖像配準系統(tǒng)，其中，所述圖像匹配包括: 生成從所述血管樹的所述術前三維圖像(44)的幾何表示導出的主圖形，所述主圖形包括連接結點的主集，所述連接結點表示所述血管樹的所述術前三維圖像(44)內的所述血管樹的每個分叉；并且 生成從所述血管樹的所述術中內窺鏡圖像(14)的幾何表示導出的子圖形，所述子圖形包括連接結點的所述主集的子集，并且所述子圖形表示所述血管樹的所述術中內窺鏡圖像(14)內的所述血管樹的每個分叉；并且 將所述子圖形與所述主圖形進行結點匹配。
4.根據(jù)權利要求3所述的圖像配準方法，其中，所述內窺鏡控制器(22)還能夠操作用于，響應于所述血管樹的拓樸結構中的任何外科手術變更來更新對所述血管樹的所述術中內窺鏡圖像(14)與所述血管樹的所述術前三維圖像(44)的所述圖像配準， 其中，所述主圖形被修改以反映所述血管樹的所述拓樸結構中的任何外科手術變更。
5.一種圖像配準系統(tǒng)，包括: 內窺鏡(12)，其能夠操作用于生成包括動脈樹和靜脈樹的解剖區(qū)域的術中內窺鏡圖像(14);以及 內窺鏡控制器(22)，其能夠操作用于將所述術中操作內窺鏡圖像(14)內的所述動脈樹與所述解剖區(qū)域的術前三維圖像(44)進行圖像配準， 其中，所述圖像配準包括對所述解剖區(qū)域的所述術中內窺鏡圖像(14)內的所述靜脈樹的每個分叉的圖形表示與所述解剖區(qū)域的所述術前三維圖像(44)內的所述靜脈樹的每個分叉的圖形表示的靜脈圖像匹配。
6.根據(jù)權利要求5所述的圖像配準系統(tǒng)，其中，所述內窺鏡控制器(22)還能夠操作用于，響應于所述血管樹的拓樸結構中的任何外科手術變更來更新對所述血管樹的所述術中內窺鏡圖像(14)與所述血管樹的所述術前三維圖像(44)的所述圖像配準。
7.根據(jù)權利要求5所述的圖像配準系統(tǒng)，其中，所述圖像配準還包括對所述解剖區(qū)域的所述術前三維圖像(44)中的所述動脈樹與所述解剖區(qū)域的所述術前三維圖像(44)中的所述靜脈樹的相對定位的確定。
8.根據(jù)權利要求5所述的圖像配準系統(tǒng)，其中，所述靜脈圖像匹配包括: 生成從所述解剖區(qū)域的所述術前三維圖像(44)的幾何表示導出的靜脈主圖形，所述靜脈主圖形包括靜脈結點的主集，所述靜脈結點表示在所述解剖區(qū)域的所述術前三維圖像(44)內的所述靜脈樹的每個分叉，并且 生成從所述解剖區(qū)域的所述術中內窺鏡圖像(14)的幾何表示導出的靜脈子圖形，所述靜脈子圖形包括靜脈結點的所述主集的子集，并且所述靜脈子圖形表示所述解剖區(qū)域的所述術中內窺鏡圖像(14)內的所述靜脈樹的每個分叉。
9.根據(jù)權利要求5所述的圖像配準系統(tǒng)，其中，所述圖像配準包括對所述解剖區(qū)域的所述術中內窺鏡圖像(14)內的所述動脈樹的每個分叉的圖形表示與所述解剖區(qū)域的所述術前三維圖像(44)內的所述動脈樹的每個分叉的圖形表示的動脈圖像匹配。
10.根據(jù)權利要求9所述的圖像配準系統(tǒng)， 其中，所述靜脈圖像匹配包括: 生成從所述解剖區(qū)域的所述術前三維圖像(44)的幾何表示導出的靜脈主圖形，所述靜脈主圖形包括靜脈結點的主集，所述靜脈結點表示所述解剖區(qū)域的所述術前三維圖像(44)內的所述靜脈樹的每個分叉，并且 生成從所述解剖區(qū)域的所述術中內窺鏡圖像(14)的幾何表示導出的靜脈子圖形，所述靜脈子圖形包括靜脈結點的所述主集的子集，并且所述靜脈子圖形表示所述解剖區(qū)域的所述術中內窺鏡圖像(14)內的所述靜脈樹的每個分叉；以及其中，所述動脈圖像匹配包括: 生成從所述解剖區(qū)域的所述術前三維圖像(44)的幾何表示導出的動脈主圖形，所述動脈主圖形包括動脈結點的主集，所述動脈結點表示所述解剖區(qū)域的所述術前三維圖像 (44)內的所述動脈樹的每個分叉，并且 生成從所述解剖區(qū)域的所述術中內窺鏡圖像(14)的幾何表示導出的動脈子圖形，所述動脈子圖形包括動脈結點的所述主集的子集，并且所述動脈子圖形表示所述解剖區(qū)域的所述術中內窺鏡圖像(14)內的所述動脈樹的每個分叉。
11.根據(jù)權利要求10所述的圖像配準系統(tǒng)， 其中，所述靜脈圖像匹配還包括對所述靜脈子圖形與所述靜脈主圖形的靜脈結點匹配； 其中，所述動脈圖像匹配還包括對所述動脈子圖形與所述動脈主圖形的動脈結點匹配；并且 其中，所述圖像配準還包括所述靜脈結點匹配和所述動脈結點匹配的組合。
12.根據(jù)權利要求10所述的圖像配準系統(tǒng)， 其中，所述圖像配準還包括所述靜脈主圖形和所述動脈主圖形的整合； 其中，所述靜脈圖像匹配還包括對所述靜脈子圖形與所述靜脈主圖形和所述動脈主圖形的所述整合的靜脈結點匹配；并且 其中，所述動脈圖像匹配還包括對所述動脈子圖形與所述靜脈主圖形和所述動脈主圖形的所述整合的動脈結點匹配。
13.根據(jù)權利要求10所述的圖像配準方法，其中，所述內窺鏡控制器(22)還能夠操作用于，響應于所述血管樹的拓樸結構中的任何外科手術變更來更新對所述血管樹的所述術中內窺鏡圖像(14)與所述血管樹的所述術前三維圖像(44)的所述圖像配準， 其中，所述動脈主圖形被修改以反映所述血管樹的所述拓樸結構中的任何外科手術變更。
14.根據(jù)權利要求13所述的圖像配準方法，其中，對所述動脈主圖形的修改包括將額外的結點連接到所述主圖形，新結點表示所述血管樹的額外分叉的外科手術創(chuàng)建。
15.根據(jù)權利要求13所述的圖像配準方法，其中，對所述動脈主圖形的修改包括分離所述主圖形的所述結點中的一個，分離的結點表示所述血管樹的所述分叉中的一個的外科手術移除。
16.一種圖像配準方法，包括: 生成解剖區(qū)域內的血管樹的術前三維圖像(44)； 生成所述解剖區(qū)域內的所述血管樹的術中內窺鏡圖像(14);并且 將所述血管樹的所述術中內窺鏡圖像(14)與所述血管樹的所述術前三維圖像(44)進行圖像配準， 其中，所述圖像配準包括對所述血管樹的所述術中內窺鏡圖像(14)內的所述血管樹的每個分叉的圖形 表示與所述血管樹的所述術前三維圖像(44)內的所述血管樹的每個分叉的圖形表示的圖像匹配。
17.根據(jù)權利要求16所述的圖像配準方法，還包括: 響應于所述血管樹上的任何外科手術變型來更新所述血管樹的所述術中內窺鏡圖像(14)與所述血管樹的所述術前三維圖像(44)的所述圖像配準。
18.根據(jù)權利要求16所述的圖像配準方法，其中，所述圖像匹配包括: 生成從所述血管樹的所述術前三維圖像(44)的幾何表示導出的主圖形，所述主圖形包括連接結點的主集，所述連接結點表示所述血管樹的所述術前三維圖像(44)內的所述血管樹的每個分叉；并且 生成從所述血管樹的所述術中內窺鏡圖像(14)的幾何表示導出的子圖形，所述子圖形包括所述連接結點的主集的子集，并且所述子圖形表示所述血管樹的所述術中內窺鏡圖像(14)內的所述血管樹的每個分叉；并且 將所述子圖形與所述主圖形進行結點匹配。
19.根據(jù)權利要求16所述的圖像配準方法，還包括: 響應于所述血管樹的任何外科手術變型來更新對所述血管樹的所述術中內窺鏡圖像(14)與所述血管樹的所述術前三維圖像(44)的所述圖像配準 其中，修改所述主圖形，以反映所述血管樹的所述拓樸結構中的任何改變。
20.根據(jù)權利要求16所述的圖像配準方法，其中，所述血管樹是動脈樹和靜脈樹中的一個。
【文檔編號】A61B19/00GK103957832SQ201280052557
【公開日】2014年7月30日 申請日期:2012年10月19日 優(yōu)先權日:2011年10月26日
【發(fā)明者】A·波波維奇, H·埃爾哈瓦林, C·S·霍爾 申請人:皇家飛利浦有限公司