專利名稱：醫(yī)用機器人系統(tǒng)中的計算機顯示屏上的輔助圖像顯示和操縱的制作方法
技術領域：
0002本發(fā)明一般涉及醫(yī)用機器人系統(tǒng)，更具體地涉及輔助圖 像在醫(yī)用機器人系統(tǒng)中計算機顯示屏上的顯示和操縱。
背景技術：
0003諸如那些用于執(zhí)行微創(chuàng)外科手術過程的醫(yī)用機器人系統(tǒng) 對傳統(tǒng)開放式外科技術提供了許多的好處，包括較少的疼痛、更短的 住院時間、更快地恢復到正?；顒?，最小的傷疤、減少的恢復時間以 及對組織具有較少的損傷。因此，對利用醫(yī)用機器人系統(tǒng)進行微創(chuàng)外 科手術的需求是很強烈且不斷增大的。
0004醫(yī)用機器人系統(tǒng)的一個示例是美國加利福尼亞州 Sunnyvale的直觀外科手術公司(Intuitive Surgical, Inc.)的da Vinci 外 科手術系統(tǒng)，這個daVinci⑧系統(tǒng)包括外科醫(yī)生控制臺、病人手推車、 高性能3D顯示系統(tǒng)，以及直觀外科手術公司專有的EndoWristTM關 節(jié)連接器械，這些器械按照人類腕關節(jié)模制，所以當被添加到固定所 述外科手術器械的機器人手臂裝置的動作時，它們允許至少完整6個 自由度的動作，而這和開放式外科手術的正常動作相當。
0005daVinci⑧外科醫(yī)生控制臺具有一個高分辨率立體視頻顯 示屏，其具有兩個步進掃描陰極射線管(CRT)。該系統(tǒng)提供了比偏光 (polarization)、快門眼鏡(shutter eyeglass)或其它技術更高的保真 度。通過物鏡和一系列反射鏡，每個眼睛觀察呈現(xiàn)左眼或右眼觀察范 圍的獨立的CRT。在整個手術中，外科醫(yī)生舒適地坐著觀察這一顯示 器，這樣就使得這里成為外科醫(yī)生顯示和操縱三維手術中圖像的理想 位置。
0006除了顯示在顯示屏上的主圖像，同樣經(jīng)常需要能夠同時觀察輔助信息來獲得更好的理解或者幫助正在處理的醫(yī)療程序。輔助 信息可以各種模式提供，例如文本信息，條形圖，二維畫中畫圖像， 以及相對于它們的主圖像副本對準且完全重疊的二維或三維圖像。
0007對于輔助圖像，這些圖像可以通過利用例如超聲波掃描
術、磁共振成像、計算機化軸向x線斷層攝影術以及熒光透視法等技
術在手術前或手術中獲得，以便提供正接受治療的解剖結構的內部細 節(jié)。該信息然后被用于補充該解剖結構的外部視圖，如由局部放置的 照相機獲得的視圖。
0008雖然存在過多的輔助信息源以及顯示這種信息的方式， 對輔助圖像的顯示和操縱的改進對于更好地幫助外科醫(yī)生利用醫(yī)用機 器人系統(tǒng)執(zhí)行醫(yī)療程序仍然是有用的。

發(fā)明內容
0009因此，本發(fā)明的各個方面的一個目的是一種方法，該方 法用于將包括治療過程的效果的輔助信息顯示為此時由治療程序所治 療的解剖結構的圖像的覆蓋圖或者與此時由所述程序所治療的解剖結 構的圖像另外相關聯(lián)的覆蓋圖。
0010本發(fā)明的各個方面的另一個目的是一種方法，該方法用 于以用戶指定的放大因數(shù)將解剖結構的輔助圖像的體繪制的用戶選定 部分顯示為計算機顯示屏上的與解剖結構的主圖像對準的覆蓋圖。
0011本發(fā)明的各個方面的另一個目的是一種醫(yī)用機器人系統(tǒng)， 其具有主輸入設備，該主輸入設備可以用于手動地在計算機顯示器的 三維空間內對準圖像。
0012本發(fā)明的各個方面的另一個目的是一種醫(yī)用機器人系統(tǒng)， 其具有主輸入設備，該主輸入設備可以用于限定在計算機顯示器的三 維空間內解剖結構的體繪制的剖面。
0013本發(fā)明的各個方面的另一個目的是一種醫(yī)用機器人系統(tǒng)， 其具有主輸入設備，該主輸入設備可以用于選擇性地修改計算機顯示 器的三維空間內的解剖結構的體繪制的各部分或細節(jié)。
0014本發(fā)明的各個方面的另一個目的是一種醫(yī)用機器人系統(tǒng)， 其具有主輸入設備，該主輸入設備可以用于改變在計算機顯示屏上顯示的解剖結構的體繪制的參數(shù)。
0015本發(fā)明的各個方面的又一個目的是一種醫(yī)用機器人系統(tǒng)，
其具有主輸入設備，該主輸入設備可以在圖像獲取模式以及圖像操縱 模式之間切換，在所述圖像獲取模式中所述主輸入設備控制圖像獲取 設備的移動，在所述圖像操縱模式中，所述主輸入設備控制由所述圖 像獲取設備獲取的圖像在計算機顯示屏上的顯示和操縱。
0016這些以及其他目的通過本發(fā)明的各個方面來實現(xiàn)，其中
簡單地說， 一個方面是在計算機顯示屏上顯示通過治療儀器施加到解
剖結構上的治療程序的效果的方法，該方法包括生成輔助圖像，該
輔助圖像指示通過治療儀器施加到解剖結構上的治療程序的效果；并
且在所述治療程序期間，在計算機顯示屏上顯示被所述輔助圖像覆蓋 的解剖結構的主圖像。
0017另一個方面是一種用于在計算機顯示屏上將解剖結構的 輔助圖像的選定部分顯示為解剖結構的主圖像的覆蓋圖的方法，所述
方法包括將可移動窗與定位設備相關聯(lián)，以便所述可移動窗可以利
用所述定位設備在所述計算機顯示屏上定位；將解剖結構的輔助圖像 與所述解剖結構的主圖像相對準，以便在共同的坐標系內處于相同的 位置和方位；以及在所述計算機顯示屏上顯示所述主圖像，并且將所 述對準的輔助圖像的一部分顯示為所述可移動窗中的主圖像的覆蓋 圖，其中所述輔助圖像的一部分對應于所述可移動窗的相同坐標。
0018又一方面是一種醫(yī)用機器人系統(tǒng)，該系統(tǒng)包括用于獲 取圖像的圖像獲取設備；固定所述圖像獲取設備的機器人手臂；計算 機顯示屏；適合于由用戶以多個自由度運動來操縱的主輸入設備；以 及一個處理器，該處理器被配置成當所述主輸入設備處于圖像獲取模 式時根據(jù)主輸入設備的用戶操縱來控制所述圖像獲取設備的移動，以 及當所述主輸入設備處于圖像操縱模式時根據(jù)主輸入設備的用戶操縱 來控制從獲取的圖像中得到的圖像在計算機顯示屏上的顯示。
0019本發(fā)明的各個方面的其他目的、特征以及優(yōu)勢從下面本 發(fā)明的優(yōu)選實施例的描述與附圖的結合中將會變得很明顯。


0020圖1圖解說明采用了利用本發(fā)明的各個方面的醫(yī)用機器人系統(tǒng)的手術室的俯視圖。
0021圖2圖解說明了利用本發(fā)明的各個方面的醫(yī)用機器人系 統(tǒng)的結構圖。
0022圖3圖解說明了可用于利用本發(fā)明的各個方面的醫(yī)用機 器人系統(tǒng)的腹腔鏡超聲波探測器。
0023圖4-圖解說明了利用本發(fā)明的各個方面，在計算機顯示 屏上顯示由治療儀器施加至解剖結構上的治療程序的效果的方法的流 程圖。
0024圖5圖解說明了解剖結構的外部視圖，其中治療儀器插 入所述解剖結構用于執(zhí)行治療程序。
0025圖6圖解說明了解剖結構的內部視圖，其中可辨別的治 療效果顯示為由治療傳感設備所獲取。
0026圖7圖解說明了一種計算機顯示屏，該顯示屏顯示由一 種利用本發(fā)明的各個方面的方法生成的、由所述治療程序所醫(yī)治的解 剖結構的治療程序的效果。
0027圖8圖解說明了一種方法的流程圖，所述方法利用本發(fā) 明的各個方面，在計算機顯示屏上、在用戶可移動的放大鏡內顯示解 剖結構的輔助圖像的選定部分。
0028圖9圖解說明了一種方法的流程圖，所述方法利用本發(fā) 明的各個方面，以一個指定的放大因數(shù)顯示解剖結構的內部視圖的可 操縱窗。
0029圖10圖解說明了解剖結構的輔助圖像和呈現(xiàn)不同的放 大因數(shù)的輔助圖像的同心區(qū)域，用于通過利用本發(fā)明的各個方面的方 法在計算機顯示屏上、在一個放大鏡內的顯示。
0030圖11圖解說明了一種計算機顯示屏，在該顯示屏上，在 放大透鏡內觀察解剖結構的主圖像和所述解剖結構的輔助圖像的覆蓋 部分，如由利用本發(fā)明的各個方面的方法顯示的。
0031圖12圖解說明了一種方法的流程圖，該方法由醫(yī)用機 器人系統(tǒng)內的處理器執(zhí)行，用于利用本發(fā)明的各個方面操縱顯示在計 算機顯示屏上的物體。
具體實施方式
0032圖1作為示例圖解說明了采用醫(yī)用機器人系統(tǒng)的手術室 的俯視圖。在此情形中所述醫(yī)用機器人系統(tǒng)是微創(chuàng)機器人外科手術 (MIRS)系統(tǒng)100，其包括由外科醫(yī)生(S)使用的控制臺(C)，同 時在一個或多個助手(A)的幫助下，對一個躺在手術臺(O)上的病 人(P)執(zhí)行微創(chuàng)診斷或外科手術程序。
0033控制臺包括主顯示器104 (在本文中也被稱作"顯示屏" 或"計算機顯示屏")，用于給外科醫(yī)生顯示病人體內手術部位的一個 或多個圖像，以及可能的其他信息。同樣包括的是主輸入設備107， 108 (在本文中也被稱作"主操縱器")， 一個或多個腳踏板105， 106，用 于接收來自外科醫(yī)生的聲音命令的麥克風103，以及處理器102。主輸 入設備107， 108可以包括許多種輸入設備中的任意一個或多個，所述 多種輸入設備例如操縱桿、手套、扳機槍、手持控制器、夾具(gripper) 等等。處理器102優(yōu)選是可以集成在控制臺內或者以常規(guī)方式另外連 接到控制臺的個人電腦。
0034外科醫(yī)生通過操縱主輸入設備107， 108來利用MIRS系 統(tǒng)100執(zhí)行醫(yī)療程序，從而處理器102促使這些主輸入設備各自關聯(lián) 的從動臂121， 122相應地操縱它們各自可拆裝地連接和固定的外科手 術儀器138， 139 (在本文中也被稱作"工具")，同時外科醫(yī)生可以在 主顯示器104上觀察手術部位的三維(3D)圖像。
0035工具138， 139優(yōu)選是直觀外科手術公司專有的 EndoWristTM關節(jié)儀器，其模仿人類腕關節(jié)，所以在附加到固定所述工
具的機器人手臂的動作之后，它們可以允許至少完整六個自由度的動 作，這可以與開放式外科手術的正常動作相匹敵。這種工具的其他細 節(jié)可以在共同擁有的名為"具有更強靈巧性和靈敏度的用于執(zhí)行微創(chuàng) 外科手術的手術儀器的腕關節(jié)機構(Wrist Mechanism for Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity)"的第5,797,900號美國專利中找到，這篇專 利通過參考并入本文。在每一個工具138， 139的操作末端是一個可操 縱的末端執(zhí)行器，例如夾子，抓緊器、剪刀，訂書機，刀片，針，針 托，或者供電探測器(energizable probe)等。
0036主顯示器104具有高分辨率立體視頻顯示器，具有兩個步進掃描陰極射線管(CRT)。該系統(tǒng)提供了比偏光、快門眼鏡或其它 技術更高的保真度。通過物鏡和一系列反射鏡，每個眼睛觀察一個呈 現(xiàn)左邊或右邊眼睛觀察范圍的獨立的CRT。在整個手術過程中，外科 醫(yī)生可以舒服地坐著觀察顯示器，這樣就使得這里成為外科醫(yī)生顯示 和操縱三維手術中圖像的理想位置。
0037立體內窺鏡140為處理器102提供右照相機視圖和左照 相機視圖，以便該處理器可以根據(jù)程序化的指令來處理信息，并使其 顯示在主顯示器104上。腹腔鏡超聲(LUS)探測器150為處理器102 提供解剖結構的二維(2D)超聲波圖像切片，以便處理器102可以生 成三維超聲波計算機模型或解剖結構的體積繪制。
0038每一個工具138， 139以及內窺鏡140和LUS探測器150， 優(yōu)選通過套管或套管針(未示出)或者其他工具引導件被插入病人體 內，以便通過相應的微創(chuàng)切口 (例如切口 161)延伸至手術部位。每一 個從動臂121-124包括從動操縱器和調整臂。從動操縱臂可以利用電機 控制接頭(也被稱作"活動接頭")自動地移動，以便操縱和/或移動他 們各自固定的工具。調整臂可以通過正常釋放制動的接頭(也被稱作 "調整接頭")被手動操縱，從而水平和垂直地定位從動臂121-124， 以便他們各自的工具可以被插入套管內。
0039同時使用的外科手術工具的數(shù)量并且因此用于系統(tǒng)100 中的從動臂的數(shù)量除其它因素外通常取決于將要執(zhí)行的醫(yī)療程序以及 手術室內的空間限制。如果需要改變一個或多個在程序中使用的工具， 助手可以從從動臂上移除不再使用的工具，并用另外的工具來替代， 例如在手術室內的盤子(T)中的工具131。
0040優(yōu)選地，主顯示器104位于外科醫(yī)生手附近的位置，以 便其可以顯示定向的投影圖像，從而使得外科醫(yī)生感受到他或她實際 上是徑直向下觀察手術部位。最后，工具138， 139的圖像優(yōu)選看起來 像是基本上處于外科醫(yī)生手所在的位置，即使觀察點(即內窺鏡140 和LUS探測器150的觀察點)并不是來自圖像的觀察點。
0041另外，實時圖像優(yōu)選投影到透視圖中，以便外科醫(yī)生能 夠通過關聯(lián)的主輸入設備107或108，來操作工具如138或139的末端 執(zhí)行器，好像觀察基本真實呈現(xiàn)的工作場所。真實的呈現(xiàn)的意思是圖像的呈現(xiàn)是模擬實際操縱工具的操作者的視點的真實透視圖。因此，處理器102將工具的坐標轉換成感知位置，以便該透視圖是在一個開 腔外科手術過程中一個人以外科醫(yī)生眼睛的水平在內窺鏡140直接觀 察工具的時候所可以看到圖像。0042處理器102在系統(tǒng)100內執(zhí)行各種功能。其執(zhí)行的一個 重要的功能是通過總線110上的控制信號，轉換主輸入設備107和108 的機械運動并將其傳遞到它們關聯(lián)的從動臂121和122上，以便外科 醫(yī)生有效地操縱它們各自的工具138和139。另一個重要的功能是實現(xiàn) 本文參考圖4-12所描述的各種方法。0043雖然描述為處理器，應該理解的是處理器102在實際中 可以通過硬件、軟件和固件的任意組合來實現(xiàn)。同樣，本文所描述的 它的功能可以通過一個單元來實現(xiàn)，或者分成不同的部分，每一個部 分也可以由硬件、軟件和固件的任意組合來實現(xiàn)。當分成不同的部分 的時候，各個部分可以集中在一個位置或者為了分布式處理的目的而 分布在整個系統(tǒng)100上。0044在執(zhí)行醫(yī)療程序之前，LUS探測器150獲取的超聲波圖 像，立體內窺鏡140獲取的右2D照相機圖像和左2D照相機圖像，以 及使用從動臂121-124的運動學和其感測的接頭位置確定的末端執(zhí)行 器的位置和方位，被校準并相互對準。0045從動臂123和124可以用與從動臂121和122操縱工具 138和139相同的方式來操縱內窺鏡140和LUS探測器150。但是， 當系統(tǒng)中僅存在兩個主輸入設備的時候，例如系統(tǒng)100中的主輸入設 備107， 108，為了讓外科醫(yī)生可以手動控制內窺鏡140或LUS探測器 150的運動，需要臨時將主輸入設備107和108中的一個主輸入設備和 外科醫(yī)生需要手動控制的內窺鏡140或LUS探測器150相關聯(lián)，同時 其之前關聯(lián)的工具和從動操縱器被鎖定在適當位置。0046雖然沒有在這個示例中示出，但解剖結構的主圖像和輔 助圖像的其他來源可以包括在系統(tǒng)100中，例如那些通常用于獲取超 聲波，磁共振，計算機化軸向X線斷層攝影術，以及熒光透視成像。 這些成像來源中的每一個都可以在手術前使用，以及在適當和實用的 時候可以在手術中使用。0047圖2作為示例圖解說明了系統(tǒng)100的模塊圖。在這個系 統(tǒng)中，存在兩個主輸入設備107和108。主輸入設備107根據(jù)其控制轉 換機構211所處的模式來控制工具138或立體內窺鏡140的運動，主 輸入設備108根據(jù)其控制轉換機構231所處的模式來控制工具139或 LUS探測器150的運動。0048控制轉換機構211和231可以由外科醫(yī)生通過采用以下 方式被設置在第一或第二模式聲音命令、實際設置在主輸入設備107 和108上或其附近的開關、控制臺上的腳踏板105和106、或者外科醫(yī) 生對適當圖標的選擇或者顯示在主顯示器104或輔助顯示器(未示出) 上的其他圖形化用戶接口選擇裝置。0049當控制轉換機構211被設置在第一模式下時，其引起主 控制器202與從控制器203通信，以便外科醫(yī)生對主輸入107的操縱 可以導致通過從動臂121的工具138的相應運動，同時內窺鏡140被 鎖定在合適位置。另一方面，當控制轉換機構211設置在第二模式時， 其引起主控制器202和從控制器233通信，以便外科醫(yī)生對主輸入107 的操縱可以導致由從動臂123的內窺鏡140的相應運動，同時工具138 被鎖定在適當位置。0050同樣地，當控制轉換機構231設置在第一模式時，其引 起主輸入控制器108和從控制器223通信，以便外科醫(yī)生對主輸入108 的操縱可以導致從動臂122的工具139的相應運動。但是，在這種情 況下，LUS探測器150沒必要鎖定在適當位置。其運動可以由輔助控 制器242根據(jù)存儲在存儲器240中的指令來引導。輔助控制器242同 樣通過主輸入108提供觸覺反饋給外科醫(yī)生，這種觸覺反饋反映了 LUS 探測器壓力傳感器247的讀數(shù)。另一方面，當控制轉換機構231設置 在第二模式時，其引起主控制器108和從控制器243通信，以便外科 醫(yī)生對主輸入108的操縱可以導致從動臂124的LUS探測器150的相 應運動，同時工具139被鎖定在適當位置。0051在控制轉換機構實現(xiàn)轉換回其第一或正常模式時，其關 聯(lián)的主輸入設備優(yōu)選重新設置在其轉換之前的位置。替代性的，主輸 入設備可以保持在其當前位置以及主輸入設備及其重新調整的關聯(lián)工 具從動臂的運動學關系，從而一旦控制轉換機構轉換回其第一或正常模式時，不會出現(xiàn)工具的異常運動?？刂妻D換的其他細節(jié)參見例如共同擁有的名為"合作微創(chuàng)遠程外科手術系統(tǒng)(Cooperative Minimally InvasiveTelesurgical System)"的美國專利第6,659,939號，該專利通過 參考并入本文。0052第三控制轉換機構241被提供以允許其用戶在圖像獲取 模式和圖像操縱模式之間轉換，同時控制轉換機構231處于其第二模 式(即將主輸入設備108和LUS探測器150關聯(lián))。在其第一或正常 模式(即圖像獲取模式)，LUS探測器150通常由主輸入設備108如上 所述控制。在其第二模式(即圖像操縱模式)，LUS探測器150不受主 輸入設備108控制，使得主輸入設備108可以自由地執(zhí)行其他任務， 例如在顯示屏104上顯示和操縱輔助圖像，特別是執(zhí)行某些如本文所 描述的用戶特定功能。但是應注意，雖然LUS探測器150在控制轉換 機構241的第二模式下可以不被主輸入設備108所控制，其仍然可能 根據(jù)存儲在存儲器240內的指令自動搖動或在輔助控制器242的控制 下運動，所以最近的解剖結構的三維體積繪制可以從LUS探測器150 獲取的一系列二維超聲波圖像切片中生成。LUS探測器150的這種運 動以及其他編程的運動的其他細節(jié)，可以參見共同擁有的于2006年6 月6日提交的名為"腹腔鏡超聲波機器人外科手術系統(tǒng)(Laparoscopic Ultrasound Robotic Surgical System)"的第11/447,668號美國專利申請， 該申請通過參考并入本文。0053輔助控制器242也執(zhí)行與LUS探測器150和內窺鏡140 相關的其他功能。其接收來自LUS探測器壓力傳感器247的輸出，該 壓力傳感器感測施加到LUS探測器150上的壓力，并通過主控制器222 將壓力信息反饋給主輸入設備108，以便外科醫(yī)生可以感受這些壓力， 即使他或她那時沒有直接控制LUS探測器150的運動。因此，對病人 的潛在的傷害被最小化，因為外科醫(yī)生有能力立即停止LUS探測器150 的任何運動，以及有能力對這種運動采取手動控制。0054輔助控制器242的另一個關鍵功能是根據(jù)用戶選擇的顯 示選項，促使來自內窺鏡140和LUS探測器150的所處理的信息顯示 在主顯示器104上。這種處理的示例包括從通過超聲波處理器246接 收的來自LUS探測器150的二維超聲波圖像切片中生成三維超聲圖像，促使對應于選擇的位置和方位的三維或二維超聲波圖像顯示在主 顯示器104的畫中畫窗內，促使解剖結構的三維或二維超聲波圖像覆蓋顯示在主顯示器104上的解剖結構的照相機獲取的圖像，并執(zhí)行下 文中參考圖4一12所描述的方法。0055雖然顯示為獨立的實體，主輸入控制器202和222，從控 制器203， 233， 223和243，以及輔助控制器242優(yōu)選實現(xiàn)為由處理器 102執(zhí)行的軟件模塊，以及控制轉換機構211， 231， 241的某些模式轉 換方面。另一方面，超聲波處理器246和視頻處理器236，可以是軟件 模塊或插入與處理器102耦連或與處理器102集成的適當插槽的獨立 電路板或卡，以將從這些圖像獲取設備中接收的信號轉換成適合顯示 在主顯示器104上的<言號，和/或用于在顯示在主顯示器104之前由輔 助控制器242進行的其他處理。0056雖然本示例假設了每個主輸入設備僅由一個預先指定的 工具從動機器人手臂或一個預先指定的圖像獲取設備機器人手臂共 享，替代性的布置在本發(fā)明的整個范圍內也是可行的，并且可以設想 的。例如， 一種不同的布置，其中每個主輸入設備可以是可選擇地與 任意一個工具所關聯(lián)，并且圖像獲取設備機器人手臂也是可能的，甚 至優(yōu)選適合用于最大靈活性。同樣，雖然內窺鏡機器人手臂在這個示 例中示出由單個主輸入設備控制，但它也可以通過使用兩個主輸入設 備來控制，以給出能夠"抓取圖像"的感覺，并將其移動至不同位置 或視角。更進一步地，雖然只在這個示例中示出內窺鏡和LUS探測器， 但其他圖像獲取設備，例如那些用于獲取照相機、超聲波、磁共振、 計算機化軸向X線斷層攝影術以及熒光透視成像的圖像獲取設備也完 全可以預期用于系統(tǒng)100中，雖然不是這些圖像獲取設備中的每一個 都有必要由主輸入設備中的一個來操縱。0057圖3圖解說明了 LUS探測器150的一個實施例的側視圖。 LUS探測器150是一種靈巧工具，其優(yōu)選具有兩個遠端自由度。驅動 桿或電纜(未示出)的相反端物理連接于LUS傳感器301的近端，并 且延伸穿過伸長軸312的內部通道，利用傳統(tǒng)的推拉類型動作來機械 地控制LUS傳感器301的傾斜和偏轉運動。0058LUS傳感器301獲取最接近的解剖結構的二維超聲波切片，并通過LUS電纜304將該信息傳送回處理器102。雖然圖示為LUS 電纜304延伸在伸長軸312的外面，但它也可以在伸長軸312內延伸， 蛤殼式護套321包圍伸長軸312和LUS電纜304，以提供穿過套管331 (或套管針)時的優(yōu)異的密封?；鶞蕵擞?02和322被設置在LUS傳 感器301和護套321上用于視頻跟蹤目的。0059圖4作為示例圖解說明了在顯示屏104上顯示治療程序 或治療的效果的方法的流程圖。在401，解剖結構的主圖像通過圖像獲 取設備獲取。作為示例，圖5圖示說明了通過內窺鏡140獲取的主圖 像，其包括解剖結構501和部分插入解剖結構501中的用來在解剖結 構501內的治療部位處執(zhí)行治療程序的治療儀器511。在另一應用中， 治療儀器511僅僅需要接觸或接近解剖結構501，以便執(zhí)行治療程序。0060主圖像可以在治療程序之前或者治療程序期間獲取。在 程序之前獲取的主圖像被稱作"手術前"圖像，而在程序期間獲取的 主圖像稱作"手術中"圖像。當主圖像是手術前圖像時，該圖像在程 序期間通常不會更新，以便該方法通常僅使用一幅主圖像。另一方面， 當主圖像是手術中圖像，該圖像優(yōu)選在程序期間周期性地更新，以便 該方法在這種情況中可以使用多幅主圖像。0061手術前圖像一般利用例如超聲波成像、磁共振成像 (MRI)、或計算機化軸向X線斷層攝影術(CAT)等技術來獲取。手 術中圖像可以通過例如立體內窺鏡140或LUS探測器150等圖像獲取 設備在手術或治療部位獲取，或者它們可以通過例如那些用來獲取手 術前圖像的技術從外部獲取。0062在圖4的402中，治療儀器被打開，或者被激活或通電， 以便能夠在病人體內的解剖結構施加治療。這個儀器通常具有用于施 加治療能量至異常組織(例如有病或損壞的組織)的末端。作為這種 治療程序的一個示例，射頻切除(RFA)可以通過利用RFA探測器施 加熱量至有病組織部位，用于破壞有病的組織，例如解剖結構(例如 肝臟)內的腫瘤。其他程序的示例，包括高強度聚焦超聲波(HIFU) 以及燒灼等。這種治療儀器可以是連接至從動臂121和122的工具138 和139中的一個，以便其可以被外科醫(yī)生通過主/從控制系統(tǒng)移動至治 療部位并在治療部位處操縱。0063在403，生成輔助圖像，其中該輔助圖像指示對解剖結構 的治療程序的效果。該輔助圖像可以是解剖結構的真實圖像，其可以 通過由感測設備獲取的信息提供，或者由感測設備獲取的信息所生成， 其中所述感測設備能夠感測治療程序的效果。替代地，輔助圖像可以 是指示治療效果的計算機模型，其可以利用這種效果的經(jīng)驗導出或常 規(guī)確定規(guī)則來生成。在后一種情況下，計算機模型通常是通過以下因 素來確定的體積形態(tài)(volumetric shape):諸如治療儀器的末端的幾何 形狀、由治療儀器的末端施加至解剖結構的熱量或能量級別，以及解 剖結構內承受治療程序的治療部位周圍組織的特征。0064作為由感測設備獲取的信息提供或者從中導出的輔助圖 像的示例，圖6圖解說明了解剖結構601的三維超聲波圖像，其已經(jīng) 按照慣例從由LUS探測器150獲取的二維超聲波切片中導出。在這個 示例中，所示出的切除體621表示治療程序的效果，其中RFA探測器 612的末端613被施加至解剖結構601的腫瘤部位。在這種情況下，因 為由于腫瘤部位處的周圍組織的發(fā)熱和壞死引起的組織性質的變化， 切除體的生長是看得見的。0065在404中，主圖像和輔助圖像被對準，以便具有相同比 例，并且在共同的參考坐標系內參考相同的位置和方位。這種類型的 對準是公知的。作為示例，可以參考共同擁有的題為"用于顯示和調 整遠程外科手術系統(tǒng)的圖像顯示器上的輔助信息以幫助執(zhí)行外科手術 程序的手術人員的設備和方法(Devices and Methods for Presenting and Regulating Auxiliary Information on an Image Display of a Telesurgical System to Assist an Operator in Performing a Surgical Procedure)"的第 6,522,906號美國專利，該專利通過參考并入本文。0066在405中，在治療程序進行期間，主圖像顯示在顯示屏 104上，并且所對準的輔助圖像優(yōu)選覆蓋在主圖像上，以便在每一個圖 像中的相應的結構或物體顯示為相同尺寸，并在顯示屏104上處于相 同的位置和方位。以這種方式，治療程序的效果被顯示為正承受治療 程序的解剖結構上的覆蓋圖。0067作為示例，圖7示出了示例性顯示屏104，其中為演示 目的被區(qū)別標示為虛線的輔助圖像覆蓋在圖5的主圖像上。當輔助圖像通過感測設備獲取的信息提供或者源自于感測設備獲取的信息時，治療效果521，治療儀器512，以及儀器末端513通過獲取的信息提供 或者從所獲取的信息中得到。另一方面，當治療效果521通過利用經(jīng) 驗值確定的規(guī)則被生成為體形態(tài)的計算機模型時，治療儀器512和儀 器末端513可以至少部分地基于其操縱從動臂的關節(jié)位置通過利用傳 統(tǒng)工具跟蹤計算來確定。0068在圖4的406中，該方法然后檢查治療儀器是否已經(jīng)關 閉。如果已經(jīng)關閉，則意味著治療程序已經(jīng)結束，則該方法結束。另 一方面，如果治療儀器仍然開啟，則該方法認為治療程序仍然在進行， 并進入到407來確定是否已獲取新的主圖像。如果沒有獲取新的主圖 像，例如，因為主圖像是手術前圖像，則該方法跳回403以更新輔助 圖像，并繼續(xù)循環(huán)通過403—407，直到通過檢測到治療儀器已經(jīng)關閉 來判斷治療程序已完成為止。另一方面，如果新的主圖像已經(jīng)獲取， 例如，因為主圖像是手術中圖像，則該方法在跳回步驟403之前，在 步驟408更新主圖像，以更新輔助圖像，并繼續(xù)循環(huán)通過403—408， 直到通過檢測到治療儀器已經(jīng)關閉來判斷治療程序已經(jīng)完成為止。0069圖8作為示例圖解說明了一種方法的流程圖，該方法用 于在限定為放大鏡的鏡頭區(qū)域的窗內，以用戶指定的放大倍率將解剖 結構的輔助圖像顯示為解剖結構的主圖像的對準覆蓋圖，顯示在顯示 屏104上的輔助圖像的位置和方位可以由用戶利用關聯(lián)的定位設備操 縱。0070在801，該方法通過關聯(lián)放大鏡和定位設備而開始，以使 定位設備移動，顯示在顯示屏104上的放大鏡(特別地，其鏡頭可以 被視為窗)以相應的方式移動。在這種情況下可以通過使用定位設備 或者通過使放大鏡有效地放大定位設備的光標，以傳統(tǒng)方式"抓取" 放大鏡來完成關聯(lián)。由于顯示屏104優(yōu)選為三維顯示器，因此定位設 備相應地優(yōu)選為具有方位指示能力的三維定位設備。0071在802中，當前主圖像和輔助圖像可用于處理。在這個 示例中主圖像由內窺鏡140獲取，而輔助圖像通過LUS探測器150獲 取。但是，主圖像和輔助圖像的其他源也可以在實踐本發(fā)明的時候使 用和考慮，包括從相同源獲取的主圖像和輔助圖像。作為最后一種情況的示例， 一種高分辨率照相機可以獲取分辨率高于用來在顯示屏上 顯示圖像的分辨率的圖像。在這種情況下，由照相機獲取的高分辨率 圖像可以作為輔助圖像處理，而顯示在顯示屏上的縮小的圖像可以作 為主圖像處理。0072在803中，用戶可選擇的放大因數(shù)被讀取。放大因數(shù)是 用戶可通過，例如定位設備上的標度盤或輪式類型的控制來選擇的。 替代地，用戶可通過顯示在顯示屏104上的菜單中的用戶選項來選擇、 或者通過任何其他傳統(tǒng)的用戶可選擇參數(shù)值配置或機構來選擇。如果 用戶沒有做出選擇，則可以使用默認值，例如放大因數(shù)為1.0。0073在804中，主圖像和輔助圖像被對準，以便具有相同尺 寸，并在同一個參考坐標系中參考相同位置和方位，從而使這兩個圖 像中相應的結構和物體具有相同的坐標。0074在805，主圖像被顯示在顯示屏104上，例如解剖結構的 三維視圖，在這種情況下，解剖結構的輔助圖像的二維切片的一部分 可以顯示為放大鏡的鏡頭中的覆蓋圖。在這種情況下的二維切片的這 一部分由具有中心點——該中心點具有和放大鏡鏡頭的中心點相同的 位置和方位——的窗區(qū)域以及由放大因數(shù)確定的區(qū)域來限定，所以二 維切片的這一部分可以被放大或縮小，以便適合放大鏡的鏡頭。因為 放大鏡的位置和方位可由定位設備來操縱至顯示屏104的三維空間內 的任意位置，包括那些在解剖結構體內的位置，所以二維切片可以對 應于任何用戶選擇的在解剖結構內的深度。和物理放大鏡不同，其視 圖不被限制于僅僅檢查解剖結構的外表。對于805的其他細節(jié)，請參 見下文中參考圖9的描述。0075在806中，該方法然后確定放大鏡命令是否已經(jīng)通過以 下方式被關閉例如用戶釋放放大鏡的"抓取"圖像、或者通過某些 類型的傳統(tǒng)開關裝置的使用來斷開放大鏡和定位設備之間的關聯(lián)。如 果關聯(lián)已經(jīng)關閉，則該方法結束。另一方面，如果沒有關閉，則該方 法跳回802，并繼續(xù)循環(huán)通過802 — 806，直到放大鏡命令被檢測出已 經(jīng)關閉。應該注意，每一次該方法從802—806循環(huán)一遍，主圖像和輔 助圖像的更新的版本(如果有的話)，利用用戶可選擇放大因數(shù)(如果 有的話)的更新值處理。因此，如果該方法以足夠快的方式通過該循環(huán)，則如果用戶在旋轉標度盤或手柄來調節(jié)放大因數(shù)，同時在放大鏡 的選定位置和方位觀察解剖結構的時候，用戶將不會發(fā)現(xiàn)任何明顯的 延遲。0076圖9作為示例圖解說明了一種方法的流程圖，該方法用 于在用戶可移動放大鏡的鏡頭內，以指定的放大因數(shù)，將解剖結構的 輔助圖像視圖顯示為解剖結構的主圖像視圖的覆蓋圖。如前面所解釋 的，這種方法可以用來執(zhí)行圖8的805。0077在901中，放大鏡鏡頭的中心點的當前位置和方位在顯 示屏104的三維空間內確定。在902中，輔助圖像的對準的體模型的 二維切片從那個位置和方位的透視圖中獲取，并且該二維切片的一部 分按照優(yōu)選具有相同位置和方位的中心點的輔助視圖窗的限定來獲 得。根據(jù)放大鏡的當前放大因數(shù)，在這種情況下的輔助視圖窗的區(qū)域 與鏡頭的區(qū)域成反比。在卯3中，由輔助視圖窗限定的二維切片的部 分被放大因數(shù)放大，以便其適合放大鏡的鏡頭區(qū)域，并且在904中， 解剖結構的主圖像被顯示在顯示屏104上，其中輔助圖像的二維切片 的放大部分覆蓋在顯示于顯示屏104上的放大鏡的鏡頭區(qū)域上。0078作為901 — 904的一個形象化示例，在圖lO—ll中示出 解剖結構的輔助圖像的二維切片1001，并且二維切片的兩個圓形窗 1021和1022如圖10所示。在這種情況下，每一個窗1021， 1022在形 狀上對應于放大鏡1120的鏡頭1121的形狀并具有和它相同的中心點， 該放大鏡1120的鏡頭1121和解剖結構的外部視圖1101的主圖像一起 被顯示在顯示屏104上，如圖11所示。在這個示例中，窗1021的區(qū) 域等于鏡頭1121的區(qū)域，所以如果放大因數(shù)為1.0，那么窗1021可以 被選擇用于902。另一方面，窗1022的區(qū)域小于鏡頭1121的區(qū)域，所 以如果放大因數(shù)大于1.0，那么窗1022可以被選擇用于902。應該注意 雖然放大鏡1120的鏡頭1121被描述為圓形的，但它還可以具有其他 適合用作放大鏡的普通形狀，例如矩形。0079圖12作為示例圖解說明了一種方法的流程圖，該方法當 主輸入設備處于圖像操縱模式下的時候，響應于關聯(lián)主輸入設備的相 應操縱，由醫(yī)用機器人系統(tǒng)的處理器執(zhí)行，用于操縱顯示在醫(yī)用機器 人系統(tǒng)的計算機顯示屏上的圖像目標。0080作為這種方法的開始，醫(yī)用機器人系統(tǒng)包括圖像獲取設 備用來獲取圖像(例如內窺鏡140或LUS探測器150);固定圖像獲取 設備的機器人手臂(例如分別固定內窺鏡140和LUS探測器150的從 動臂123或從動臂124);計算機顯示屏(例如顯示屏104);適合于由 用戶以多個自由度的運動操縱的主輸入設備(例如主輸入設備107或 主輸入設備108);以及處理器(例如輔助控制器242)，其被配置成當 主輸入設備處于圖像獲取模式時根據(jù)主輸入設備的用戶操縱來控制圖 像獲取設備的運動，并且當主輸入設備處于圖像操縱模式時根據(jù)主輸 入設備的用戶操縱來控制從所獲取的圖像中得到的圖像在計算機顯示 屏上的顯示。0081在1201中，處理器檢測到用戶已經(jīng)將主輸入設備設置 成圖像操縱模式。實現(xiàn)這一目的的一種方式是利用提供在醫(yī)用機器人 系統(tǒng)中的主離合機構，該主離合機構支持將主輸入設備從其關聯(lián)的機 器人手臂脫離，從而主輸入設備可以被替換。當這個模式通過某些機 構被激活的時候，例如用戶按壓主輸入設備上的按鈕，按下踏板，或 者利用聲音激活，所關聯(lián)的機器人手臂被鎖定在適當位置，并且光標(象征性地為手的圖標化表示，例如O)在計算機顯示屏上呈現(xiàn)給用戶。 當用戶離開這種模式的時候，光標被隱藏，并且如果需要的話，機器 人手臂的控制可以在重新調整其位置之后恢復。0082在1202中，處理器確定控制輸入(例如通過按壓常規(guī)鼠 標的按鈕而產(chǎn)生的)是否已經(jīng)被用戶激活。在這種情況下控制輸入可 以通過按壓主輸入設備上提供的按鈕來激活，或者它可以通過其他方 式來激活，例如擠壓主輸入設備上提供的夾具(gripper)或鉗子(pincher)結構。關于離合的其他細節(jié)，主輸入設備上的夾具或鉗子 結構，參見例如共同擁有的題為"合作微創(chuàng)遠程外科手術系統(tǒng)(Cooperative Minimally Invasive Telesurgical System)"的第6,659,939 號美國專利，該專利通過參考并入本文。如果在1202控制輸入沒有被 確定為"打開(on)"(即激活或)，則處理器等待，直到其接收到"打 開"指示或者退出圖像操縱模式。0083在1203，在接收控制輸入處于"on"的指示之后，處理 器進行檢査以觀察光標是否處于顯示在計算機顯示屏上的物體上(或者在預定距離內)。如果沒有處于"on",則在1204，處理器引起用戶 可選擇的項目或活動的菜單顯示在計算機顯示屏上，并且在1205，處 理器接收用戶所做出的菜單選擇并對該選擇進行反應。
0084用戶可選擇菜單項目的示例包括放大鏡，剖面，擦除 器，以及圖像對準。如果用戶選擇了放大鏡項目，則放大鏡的圖像被 、顯示在計算機顯示屏上，并且參考圖8所描述的方法由處理器來執(zhí)行。 當用戶完成放大鏡功能時，則用戶可以任何常規(guī)方式來指示退出該功 能，并且該處理器返回1202。
0085如果用戶選擇了剖面選項，則在計算機顯示屏上顯示一 個平面(或者顯示固定尺寸的或用戶可調節(jié)尺寸的矩形窗)。主輸入設 備然后可以和這個平面關聯(lián)，以便用戶可以以定位設備的方式通過操 縱主輸入設備，將該平面定位和定向在計算機顯示屏的三維空間內。 如果該平面被操縱和移動以便和解剖結構的體繪制相交，則其用作限 定在交叉處的體繪制的二維切片的剖面。替代地，主輸入設備可以和 解剖結構的體繪制相關聯(lián)，然后可以被操縱和移動，進而和所顯示的 平面相交來限定剖面。平面或體繪制與定位設備的關聯(lián)可以參考圖8 的801的放大鏡所描述的基本相同的方式執(zhí)行。
0086二維切片然后也可以在自己的平面內被觀察到，或者在 計算機顯示屏上的一個獨立窗(例如畫中畫)中被觀察。用戶可以進 一步選擇剖面項目的額外時間來限定體繪制的附加的二維切片，用于 同時在計算機顯示屏上的各個平面或畫中畫窗內觀察。為了不會使得 計算機顯示屏和不需要的剖面切片之間產(chǎn)生混亂，提供了常規(guī)的刪除 功能，以便用戶可以可選擇性地刪除任何剖面或它們的相應切片。當 完成剖面功能時，用戶可以然后以任意常規(guī)方式指示退出該功能，并 且處理器返回1202。
0087如果用戶選擇擦除器項目，則在計算機顯示屏上顯示擦 除器。主輸入設備則和該擦除器相關聯(lián)，以便用戶可以通過以定位設 備的方式操縱主輸入設備，以在計算機顯示屏的三維空間內定位和定 向該擦除器。在這種情況下定位設備和擦除器的關聯(lián)可以利用和上文 參考圖8的801的放大鏡所描述的基本相同的方式來進行。如果擦除 器被操縱和移動以至于和解剖結構的體繪制相交，則當擦除器經(jīng)過體繪制時，其用來完全或者部份地擦除這種繪制。如果用戶選擇部分擦 除(或者預先編程在處理器中)，則每當該擦除器穿過體繪制，則解剖 結構的更少的細節(jié)被顯示。在這種情況下更少的細節(jié)指得是繪制的粗 糙度/精細度，或者可以指三維體繪制中的各層次的剝離。擦除的所有 這些特性或選項均可以利用常規(guī)方式選擇。如果用戶不注意地擦除了 體繪制的一部分，常規(guī)的撤消特征被提供以允許用戶撤消該擦除。當 用戶完成擦除功能之后，則用戶可以以任意常規(guī)方式指示退出該功能， 并且處理器返回1202。
0088除了上面描述的擦除功能，其他空間局部修改功能也可 以考慮并被視為落入本發(fā)明的完整范圍，包括選擇性地銳化，增亮， 或者將顯示的圖像的一部分加彩色以增強或加亮其在選定區(qū)域的可視 性。每一個這種空間局部修改功能可以利用上文中參考擦除器功能所 描述的基本相同的方法來執(zhí)行。
0089如果用戶選擇圖像對準項目，則處理器在再次跳回程序 1202之前如下文中參考1212所描述的那樣記錄這種選擇用于未來的 活動/動作。在這種情況下，圖像對準一般包括手動對準物體(例如解 剖結構)的輔助圖像和該物體的相應的主圖像。
0090上面描述的菜單方法的一種替代是，當進入圖像操縱模 式時分別指示如上所描述的每一個可選擇項目的圖標被顯示在計算機 顯示屏上，并通過用戶點擊它們而被選擇，在這之后，處理器繼續(xù)按 照參考它們相應的菜單項目的選擇所描述的那樣執(zhí)行。
0091現(xiàn)在繼續(xù)參考圖12所描述的方法，當在1201中接收到 控制輸入處于on的指示之后，并且在1202中判定光標被定位在顯示 于計算機顯示屏上的物體上或其周圍(不是圖標)之后，處理器優(yōu)選 將光標從手的圖標化表示轉換成，例如，正在抓握的手來指示物體已 經(jīng)被"抓取"，并且已經(jīng)準備通過主輸入設備的用戶操縱來移動或"拖 曳"至在計算機顯示屏的三維空間的另一個位置和/或方位。
0092在1206，處理器判定用戶是否已經(jīng)指示選定物體的顯示 參數(shù)將要被調整，如果用戶已經(jīng)指示，則在1207，處理器執(zhí)行顯示器 調整。作為示例，主輸入設備上的標度盤可以被用戶轉動來指示對顯 示參數(shù)的顯示調整，該顯示參數(shù)關聯(lián)于根據(jù)選定物體上的標度盤的旋轉量將要被調整的標度盤。替代性地，如果主輸入設備裝備有夾具， 則該夾具可以被旋轉，以便用作標度盤?？梢赃@種方式調整的顯示參 數(shù)的示例包括顯示在計算機顯示屏上的選定物體的亮度、對比度、 色彩和細節(jié)級別(例如網(wǎng)格粗糙度/精細度，或者體元或三維象素的大 小和/或不透明度)。.
0093然后處理器繼續(xù)進行至1208，以在1203得到肯定的判定 之后判定該光標是否已在"抓取"所述選定物體之后移動。如果還沒 有移動，則處理器跳回1202，因為用戶此時可能僅希望調整選定物體 的顯示參數(shù)。另一方面，如果光標在"抓取"該選定物體之后已經(jīng)移 動，則在1209，處理器移動選定物體至新的光標位置。因為光標操作 在計算機顯示屏的三維空間，當它"進入"顯示屏時，它可以通過例 如逐漸減小尺寸來指示這種移動。當計算機顯示屏的三維性質通過使 用該物體的右二維視圖和左二維視圖而實現(xiàn)的時候，這兩個視圖之間 的交叉點的差異就表示深度值，在右視圖和左視圖中光標圖像的深度 值的降低可以指示該光標"進入"顯示屏。
0094可選擇地，在1210，觸覺反饋可以被提供返回主輸入設 備，以便在1209中用戶在"被抓取"的物體移動時可以感測到反饋力。 作為示例，通過將物體的虛擬質量和慣性與物體關聯(lián)起來，用戶和物 體的相互作用可以觸覺地反饋至用戶，以便用戶感受當和物體接觸或 者當物體被加速或減速時平移和旋轉物體的反饋力。在1210中執(zhí)行的 這種觸覺反饋僅僅對于某些類型的物體可以實現(xiàn)，對于其他的物體不 能實現(xiàn)，或者它僅僅在某些環(huán)境下有用。這種觸覺反饋的使用還可以 被施加到放大鏡和/或如上所述用于限定剖面的平面的移動。但是，在 這種情況下，觸覺反饋可以被限制為僅在放大鏡或平面進入感興趣的 解剖結構內之后出現(xiàn)。
0095在1211，處理器判定控制輸入是否仍處于"on"狀態(tài)。 如果控制仍然處于"on"，則處理器跳回1208，以跟蹤和響應光標運動。 另一方面，如果控制已經(jīng)關閉，例如通過用戶釋放最初被按壓以指示 控制"打開"的按鈕i，則在1212中處理器執(zhí)行選定的菜單活動。
0096例如，k卩果響應于處理器在1204顯示菜單(或者替代性 地，用戶點擊指示該項的圖標)，圖像對準項目已經(jīng)被用戶選定，則已
30經(jīng)移動的物體和現(xiàn)在排成一列的并且此時正顯示在計算機顯示屏上的 該物體的另一圖像相對準，以便它們在共同坐標系(例如計算機顯示 屏的坐標系)內，具有相同的坐標和方位值。這一特征有助于，例如，
解剖結構的輔助圖像(例如利用LUS探測器150獲得的)與解剖結構 的主圖像(例如利用內窺鏡140獲得的)的手動對準。在初始對準之 后，主圖像中的對應物體的位置和/方位的變化可以被鏡像，以便引起 輔助圖像內的選定物體的相應變化，從而保持它相對于主圖像的相對 位置/方位。當用戶完成圖像對準功能時，處理器返回1202。
0097雖然本發(fā)明的各個方面已經(jīng)參考優(yōu)選實施例進行描述， 但應該理解的是本發(fā)明有權利在所附權利要求的完整范圍內進行完整 保護。
權利要求
1.一種用于在計算機顯示屏上顯示由治療儀器施加到解剖結構上的治療程序的效果的方法，該方法包括生成輔助圖像，該輔助圖像指示由所述治療儀器施加到所述解剖結構上的所述治療程序的效果；以及在所述治療程序期間在所述計算機顯示屏上顯示覆蓋有所述輔助圖像的所述解剖結構的主圖像。
2. 根據(jù)權利要求1所述的方法，其中所述治療程序是利用醫(yī)用機 器人系統(tǒng)執(zhí)行的，并且所述治療儀器可以由外科醫(yī)生通過利用所述醫(yī) 用機器人系統(tǒng)來自動操縱，以執(zhí)行所述治療程序。
3. 根據(jù)權利要求1所述的方法， 序之前獲取的。
4. 根據(jù)權利要求3所述的方法， 成的手術前圖像。
5. 根據(jù)權利要求3所述的方法， 像生成的手術前圖像。其中所述主圖像是在所述治療程 其中所述主圖像是通過超聲波生 其中所述主圖像是通過磁共振成
6. 根據(jù)權利要求3所述的方法，其中所述主圖像是通過計算機化 軸向X線斷層攝影術生成的手術前圖像。
7. 根據(jù)權利要求3所述的方法，其中所述輔助圖像是在所述治療 程序期間由所述治療儀器所施加的治療效果的計算機模型。
8. 根據(jù)權利要求7所述的方法，其中所述計算機模型是至少部分 地由所述治療儀器的治療末端的幾何結構確定的體積形態(tài)。
9. 根據(jù)權利要求7所述的方法，其中所述計算機模型是至少部分地通過由所述治療儀器的所述治療末端施加至所述解剖結構的熱量級 別來確定的體積形態(tài)。
10. 根據(jù)權利要求7所述的方法，其中所述計算機模型是至少部分 地通過承受所述治療程序的所述解剖結構的周圍組織的特征來確定的 體積形態(tài)。
11. 根據(jù)權利要求1所述的方法，其中所述主圖像在所述治療程序 期間獲取。
12. 根據(jù)權利要求11所述的方法，其中所述主圖像是由照相機單元獲取的手術中圖像。
13. 根據(jù)權利要求12所述的方法，其中所述照相機單元包括一對 立體照相機。
14. 根據(jù)權利要求12所述的方法，其中所述照相機單元被包括在 內窺鏡中。
15. 根據(jù)權利要求14所述的方法，其中所述內窺鏡是腹腔鏡。
16. 根據(jù)權利要求11所述的方法，其中所述輔助圖像是在所述治 療期間由所述治療儀器所施加的治療效果的計算機模型。
17. 根據(jù)權利要求16所述的方法，其中所述計算機模型是至少部 份地由所述治療儀器的治療末端的形狀來確定的體積形態(tài)。
18. 根據(jù)權利要求16所述的方法，其中所述計算機模型是至少部 份地通過由所述治療儀器的治療末端施加至所述解剖結構的熱量級別 來確定的體積形態(tài)。
19. 根據(jù)權利要求16所述的方法，其中所述計算機模型是至少部分地由承受所述治療程序的所述解剖結構的周圍組織的特征來確定的 體積形態(tài)。
20. 根據(jù)權利要求11所述的方法，其中所述輔助圖像是通過超聲 波生成的手術中圖像。
21. 根據(jù)權利要求22所述的方法，其中所述治療程序利用射頻切 除來破壞所述解剖結構的異常組織。
22. 根據(jù)權利要求21所述的方法，其中所述異常組織包括患病組
23. 根據(jù)權利要求22所述的方法，其中所述患病組織包括至少一 個腫瘤。
24. 根據(jù)權利要求21所述的方法，其中所述異常組織包括被破壞 的組織。
25. 根據(jù)權利要求21所述的方法，其中所述治療程序是以下組合 中的一個射頻切除，高強度聚焦超聲，以及燒灼術。
26. —種用于在計算機顯示屏上將解剖結構的輔助圖像的選定部 分顯示為所述解剖結構的主圖像的覆蓋圖的方法，所述方法包括將可移動窗與定位設備相關聯(lián)，以便使得所述可移動窗可以利用 所述定位設備安置在所述計算機顯示屏上；將解剖結構的輔助圖像與所述解剖結構的主圖像對準，以便使它 們在共同坐標系中處于相同的位置和方位；以及在所述計算機顯示屏上顯示所述主圖像，并且將對應于與所述可 移動窗相同顯示屏坐標的對準的輔助圖像的一部分在所述可移動窗中 顯示為主圖像的覆蓋圖。
27. 根據(jù)權利要求26所述的方法，其中所述主圖像是在利用醫(yī)用機器人系統(tǒng)執(zhí)行微創(chuàng)外科手術程序期間由圖像獲取設備來獲取的，并 且所述圖像獲取設備可以在執(zhí)行所述醫(yī)療程序的同時利用醫(yī)用機器人 系統(tǒng)自動地操縱。
28. 根據(jù)權利要求26所述的方法，其中所述可移動窗在所述顯示 屏上顯示為圓形鏡頭。
29. 根據(jù)權利要求26所述的方法，其中所述可移動窗在所述顯示 屏上顯示為矩形鏡頭。
30. 根據(jù)權利要求26所述的方法，其中所述主圖像是所述解剖結 構的三維圖像，并且所述計算機顯示屏是三維計算機顯示屏。
31. 根據(jù)權利要求26所述的方法，其中對應于和所述可移動窗相 同顯示屏坐標的所述對準的輔助圖像的完整部分在所述可移動窗中顯 示為所述主圖像的覆蓋圖。
32. 根據(jù)權利要求26所述的方法，其中對應于和所述可移動窗相 同顯示屏坐標的所述對準的輔助圖像的所述部分被擴大，以便適合所 述可移動窗，并在所述可移動窗中被顯示為所述主圖像的覆蓋圖，從 而顯示為所述輔助圖像的放大視圖。
33. 根據(jù)權利要求32所述的方法，進一步包括 接收由觀察所述計算機顯示屏的用戶所選擇的放大因數(shù)；以及 施加所述放大因數(shù)，以確定所述對準的輔助圖像部分，使所述對準的輔助圖像部分適合所述可移動窗并在所述可移動窗中被顯示為所 述主圖像的覆蓋圖。
34. 根據(jù)權利要求26所述的方法，其中所述主圖像和輔助圖像是 所述解剖結構的三維圖像，并且所述計算機顯示屏是三維計算機顯示 屏。
35. 根據(jù)權利要求26所述的方法，其中所述可移動窗與所述輔助 圖像的用戶可選擇的深度相關聯(lián)，以便對應于由用戶選擇的深度的所 述輔助圖像的二維切片在所述可移動窗中被顯示為所述主圖像的覆蓋 圖。
36. 根據(jù)權利要求26所述的方法，其中所述主圖像是通過磁共振 成象生成的手術前圖像。
37. 根據(jù)權利要求26所述的方法，其中所述主圖像是通過計算機 化軸向X線斷層攝影術生成的手術前圖像。
38. 根據(jù)權利要求26所述的方法，其中所述主圖像是通過照相機 單元獲取的手術中圖像。
39. 根據(jù)權利要求38所述的方法，其中所述照相機單元被包括在 內窺鏡內。
40. 根據(jù)權利要求38所述的方法，其中所述輔助圖像是手術前獲 取的圖像。
41. 根據(jù)權利要求40所述的方法，其中所述手術前獲取的圖像是 通過磁共振成象生成的。
42. 根據(jù)權利要求40所述的方法，其中所述手術前獲取的圖像是 通過計算機化軸向X線斷層攝影術生成的。
43. 根據(jù)權利要求40所述的方法，其中所述手術前獲取的圖像是 通過超聲波生成的。
44. 根據(jù)權利要求38所述的方法，其中所述輔助圖像是手術中獲 取的圖像。
45. 根據(jù)權利要求44所述的方法，其中所述手術中獲取的圖像是 通過超聲波生成的。
46. 根據(jù)權利要求44所述的方法，其中所述手術中獲取的圖像是 通過第二照相機單元生成的。
47. —種醫(yī)用機器人系統(tǒng)，包括 用于獲取圖像的圖像獲取設備； 固定所述圖像獲取設備的機器人手臂； 計算機顯示屏；適合于由用戶以多自由度運動來操縱的主輸入設備；以及 處理器，所述處理器被配置，以當所述主輸入設備處于圖像獲取 模式時，根據(jù)所述主輸入設備的用戶操縱來控制所述圖像獲取設備的 運動，并且當所述主輸入設備處于圖像操縱模式時，根據(jù)所述主輸入 設備的用戶操縱來控制從獲取的圖像中導出的圖像在所述計算機顯示 屏上的顯示。
48. 根據(jù)權利要求47所述的醫(yī)用機器人系統(tǒng)，其中所述主輸入設 備被配置，以便能夠在六個自由度下操縱，從而使得所述主輸入設備 在處于所述圖像操縱模式下時作為三維鼠標操作。
49. 根據(jù)權利要求47所述的醫(yī)用機器人系統(tǒng)，其中所述處理器被 配置，以便當用戶啟動控制輸入，同時關聯(lián)于所述主輸入設備的光標 被顯示在導出的圖像上時，對顯示在所述計算機顯示屏上的所述導出 的圖像中的一個圖像執(zhí)行抓取功能，并當所述用戶移動所述主輸入設 備，同時在處于所述圖像操縱模式時保持所述控制輸入啟動時，對所 述導出的圖像執(zhí)行移動功能。
50. 根據(jù)權利要求49所述的醫(yī)用機器人系統(tǒng)，其中所述處理器被 進一步配置，以提供觸覺反饋給所述主輸入設備，同時對所述導出的 圖像執(zhí)行所述移動功能。
51. 根據(jù)權利要求50所述的醫(yī)用機器人系統(tǒng)，其中所述觸覺反饋 通過將虛擬質量和慣性關聯(lián)于所述導出的圖像來提供，以便當所述處 理器響應于處于所述圖像操縱模式下的所述主輸入設備的用戶操縱， 而對所述導出的圖像執(zhí)行所述抓取和移動功能的時候，所述用戶可以 感受到反饋力。
52. 根據(jù)權利要求49所述的醫(yī)用機器人系統(tǒng)，其中所述圖像獲取 設備獲取輔助圖像，并且所述處理器被配置成使由主圖像獲取設備獲 取的主圖像顯示在所述計算機顯示屏上，并且所述導出的圖像中的一 個圖像的至少一部分覆蓋在所述主圖像上。
53. 根據(jù)權利要求52所述的方法，其中所述處理器被配置成通過 用戶在所述導出的圖像上執(zhí)行所述抓取和移動功能，幫助手動對準所 述導出的圖像中的一個和所述主圖像，以便當處于所述圖像操縱模式 時對準所述導出的圖像和所述主圖像，如同它們同時顯示在所述計算 機顯示屏上。
54. 根據(jù)權利要求47所述的醫(yī)用機器人系統(tǒng)，其中所述主輸入設 備具有夾具，該夾具適合于由用戶的手捏住以當所述主輸入設備處于 所述圖像操縱模式時用作控制輸入。
55. 根據(jù)權利要求54所述的醫(yī)用機器人系統(tǒng)，其中所述處理器被 配置成當所述主輸入設備處于所述圖像操縱模式且當所述夾具被捏住 并繞著所述夾具的軸旋轉時，調節(jié)與所述導出的圖像關聯(lián)的參數(shù)。
56. 根據(jù)權利要求55所述的醫(yī)用機器人系統(tǒng)，其中所述可調節(jié)參 數(shù)是所述導出的圖像的亮度。
57. 根據(jù)權利要求55所述的醫(yī)用機器人系統(tǒng)，其中所述可調節(jié)參 數(shù)是所述導出的圖像的色彩。
58. 根據(jù)權利要求55所述的醫(yī)用機器人系統(tǒng)，其中所述可調節(jié)參數(shù)是所述導出的圖像的細節(jié)的級別。
59. 根據(jù)權利要求58所述的醫(yī)用機器人系統(tǒng)，其中所述導出的圖 像的細節(jié)的級別由限定所述導出的圖像的網(wǎng)格結構的粗糙度的級別來 確定。
60. 根據(jù)權利要求47所述的醫(yī)用機器人系統(tǒng)，其中所述導出的圖 像是從所述獲取的圖像中生成的三維體；并且所述處理器被進一步配 置成在所述計算機顯示屏上顯示所述三維體和二維窗中的一個，響應 所述主輸入設備的用戶操縱來操縱所述計算機顯示屏上的所述窗的位 置和方位，并通過所述窗和所述三維體的交叉來定義一個剖面，從而 指示所述三維體的二維截面。
61. 根據(jù)權利要求60所述的醫(yī)用機器人系統(tǒng)，其中所述二維切片 被顯示在所述窗內。
62. 根據(jù)權利要求60所述的醫(yī)用機器人系統(tǒng)，其中所述二維切片 被顯示在所述計算機顯示屏的畫中畫窗口內。
63. 根據(jù)權利要求60所述的方法，其中所述處理器被進一步配置 成在所述計算機顯示屏上顯示用戶可選擇數(shù)目的二維窗，響應于所述 主輸入設備的用戶操縱來獨立地操縱在所述計算機顯示屏上的所述窗 的位置和方位，并通過所述操縱窗和三維體的交叉來定義剖面，以便 指示所述三維體的相應的二維切片。
64. 根據(jù)權利要求63所述的醫(yī)用機器人系統(tǒng)，其中所述二維切片 被顯示在所述計算機顯示屏的相應的畫中畫窗中。
65. 根據(jù)權利要求60所述的醫(yī)用機器人系統(tǒng)，其中所述處理器被 配置成響應所述計算機顯示屏上的顯示菜單中包括的項目的用戶選 擇，而在所述計算機顯示屏上顯示所述二維窗。
66. 根據(jù)權利要求60所述的醫(yī)用機器人系統(tǒng)，其中所述處理器被 配置成響應顯示在所述顯示屏上的圖標的用戶選擇，而在所述計算機 顯示屏上顯示所述二維窗。
67. 根據(jù)權利要求66所述的醫(yī)用機器人系統(tǒng)，其中所述圖標被顯 示在所述計算機顯示屏的外圍區(qū)域中，并且所述處理器被進一步配置 成將點擊所述圖標和從所述外圍區(qū)域拖走所述圖標的用戶鼠標類活動 解釋成用戶對所述圖標的選擇。
68. 根據(jù)權利要求67所述的醫(yī)用機器人系統(tǒng)，其中所述圖像獲取 設備是超聲波探測器，并且所述導出的圖像是解剖結構的三維超聲圖 像，這些三維超聲圖像是從由所述超聲波探測器獲取的二維超聲切片 中計算機生成的。
69. 根據(jù)權利要求47所述的醫(yī)用機器人系統(tǒng)，其中所述處理器被 進一步配置成將所述導出的圖像和擦除器圖像中的一個圖像顯示在所 述計算機顯示屏上，響應所述主輸入設備的用戶操縱來操縱所述擦除 器圖像在所述計算機顯示屏上的至少一個位置，并且當所述擦除器圖 像在所述計算機顯示屏上被操縱時，擦除被所述擦除器圖像穿過的顯 示在所述計算機顯示屏上的所述導出的圖像中的一個圖像的任意部 分。
70. 根據(jù)權利要求69所述的醫(yī)用機器人系統(tǒng)，其中所述處理器被 配置成擦除被所述擦除器圖像所穿過的所述導出的圖像的所述部分的 所有細節(jié)。
71. 根據(jù)權利要求69所述的醫(yī)用機器人系統(tǒng)，其中所述處理器被 配置成減少被所述擦除器圖像所穿過的所述導出的圖像的所述部分的 細節(jié)。
72. 根據(jù)權利要求71所述的醫(yī)用機器人系統(tǒng)，其中由所述擦除器 圖像所穿過的所述導出圖像的所述部分的細節(jié)的減少使得限定所述導出的圖像的網(wǎng)格結構的精細度減少
全文摘要
為了幫助外科醫(yī)生進行醫(yī)療程序，一般表示正被治療的解剖結構的內部細節(jié)的輔助圖像被顯示在計算機顯示屏上，并由外科醫(yī)生操縱來補充一般只是解剖結構的外視圖的主圖像。在第一模式控制機器人手臂的主輸入設備可以由外科醫(yī)生轉換至第二模式，以便替換用作類似鼠標的定位設備，用以幫助該外科醫(yī)生進行這種輔助信息的顯示和操縱。
文檔編號A61B19/00GK101291635SQ200680038944
公開日2008年10月22日 申請日期2006年10月19日 優(yōu)先權日2005年10月20日
發(fā)明者B·霍夫曼, D·拉金, G·張, G·普林斯科, N·斯瓦厄普, R·庫馬 申請人:直觀外科手術公司