專利名稱：提供包括延伸出進入引導器遠端的可聯(lián)接器械的運動限制范圍的輔助視圖的醫(yī)療機器人系統(tǒng)的制作方法
技術領域：
本發(fā)明主要涉及醫(yī)療機器人系統(tǒng)，并且尤其涉及提供輔助視圖的醫(yī)療機器人系統(tǒng)，輔助視圖包括延伸出進入引導器遠端的可聯(lián)接器械(instrument)的運動限制范圍。
背景技術：
在執(zhí)行微創(chuàng)手術程序中使用的醫(yī)療機器人系統(tǒng)，例如遙控操控系統(tǒng)，提供優(yōu)于傳統(tǒng)開放式手術技術的許多好處，包括痛苦較少、住院時間較短、恢復正常活動更快、疤痕最小、縮短康復時間、以及對組織損傷較少。因此，對該醫(yī)療機器人系統(tǒng)的需求強并且在增加。該醫(yī)療機器人系統(tǒng)的一個例子是美國加利福尼亞州森尼韋爾市IntuitiveSurgical公司的da Vinci 手術系統(tǒng),其為微創(chuàng)機器人手術系統(tǒng)。da Vinci 手術系統(tǒng)具有許多機器人手臂，其響應通過手術部位的圖像捕捉裝置捕捉的外科醫(yī)生觀察圖像對輸入裝置的移動，而移動所連接的醫(yī)療裝置，例如圖像捕捉裝置和Intuitive Surgical公司所有的Endo Wrist 可聯(lián)接手術器械。每個醫(yī)療裝置都被通過其自己的微創(chuàng)切口插入患者體內并定位,從而執(zhí)行手術部位上的醫(yī)療程序。切口關于患者的身體定位，以便可使用多個手術器械共同執(zhí)行醫(yī)療程序，并且在程序期間，圖像捕捉裝置可觀察它，而不與其機器人手臂碰撞。為了執(zhí)行某些醫(yī)療程序，使用單進入孔從而進入患者體內執(zhí)行醫(yī)療程序可有利，例如微創(chuàng)切口或自然身體口。例如，可首先將進入引導器插入、定位并且保持在進入孔中的適當位置。然后可將這樣的器械插入進入引導器的近端，以便從其遠端伸出，該器械是諸如可聯(lián)接相機和多個可聯(lián)接手術工具，其可用于執(zhí)行醫(yī)療程序。因而，進入引導器為多個器械提供單進入孔，而同時隨著進入引導器將多個器械朝著工作點引導，還這些器械捆在一起。進入引導器可為剛性或柔性的。因為進入引導器為了適合通過微創(chuàng)切口或自然身體口而通常具有相對小的直徑，所以在遙控操控手術工具以及遙控操控相機執(zhí)行醫(yī)療程序從而對其觀察時，可產生許多問題。例如，由于相機與手術工具捆綁，因此其相對于手術工具的定位受限，并且因此對手術工具的觀察受限。因而，雖然可將可聯(lián)接手術工具的尖端保持在相機的視場內，但是促進手術工具可聯(lián)接性的可控聯(lián)接可不在相機的視場內。結果，手術工具的可控聯(lián)接可在執(zhí)行手術程序期間，不注意地相互碰撞(或與相機的鏈接碰撞)，并且結果，引起對患者的傷害，或者引起其他不利地影響醫(yī)療程序的執(zhí)行。同樣地，因為可聯(lián)接相機通常不能觀察其自身的可控聯(lián)接，所以當避免與手術工具鏈接的碰撞時，尤其關注相機的操作者運動。此外，當提供直覺控制，從而幫助操作者遙控移動手術工具和相機時，產生此工具尖端和相機的直覺運動所需的聯(lián)接運動對于操作者來說不明顯或不直覺，因而使操作者甚至更難避免相機視場外的聯(lián)接之間的碰撞。進入引導器以及延伸出其遠端的可聯(lián)接器械的良好定位布置允許器械無障礙運動并且大范圍運動，以便能夠使用這些器械在目標點執(zhí)行醫(yī)療程序。然而，由于相機提供的受限觀察，操作者難以確定進入引導器的良好定位布置，或者延伸出進入引導器遠端的可聯(lián)接器械的良好定位布置。此外，大部分由于相機器械的搖動和傾斜能力，該捆綁器械布置傾向于在平常使用中進入非最優(yōu)工具工作方向。

發(fā)明內容
因此，本發(fā)明一個或多于一個方面的目標是這樣一種方法，其向操作者提供輔助視圖，從而幫助操作者使用醫(yī)療機器人系統(tǒng)對患者執(zhí)行醫(yī)療程序操作者，該醫(yī)療機器人系統(tǒng)具有可聯(lián)接的器械，其延伸出經患者身上的單進入孔而插入的進入引導器的遠端。本發(fā)明一個或多于一個方面的另一目標是一種在該醫(yī) 療機器人系統(tǒng)中實施的方法，該醫(yī)療機器人系統(tǒng)向操作者提供視覺指示，其指示可聯(lián)接器械的可控接點何時接近其各自運動范圍內的限制。本發(fā)明一個或多于一個方面的另一目標是一種在醫(yī)療機器人系統(tǒng)中實施的方法，該醫(yī)療機器人系統(tǒng)向操作者提供視覺指示，其指示可聯(lián)接器械的接點和/或鏈接和/或其部分何時接近不良或期望事件或條件。通過本發(fā)明的各個方面完成這些及其他的目標，其中簡要說明，一個方面是這樣一種方法，其提供一種計算機產生的視圖，該視圖指示一個或多于一個可聯(lián)接器械的接點位置和運動限制范圍，該方法包含接收一個或多于一個可聯(lián)接器械的狀態(tài)信息；通過包括一個或多于一個可聯(lián)接器械的接點圖示以及一個或多于一個接點的運動限制范圍的指示而產生視圖，其中，圖示和指示通過使用一個或多于一個可聯(lián)接器械的接收信息和向前運動而產生；以及在顯示屏上顯示產生的視圖。醫(yī)療機器人系統(tǒng)的另一方面包含進入引導器；可控延伸出進入引導器遠端的多個可聯(lián)接器械；顯示屏；以及處理器，其被配置成接收可聯(lián)接器械的狀態(tài)信息，通過包括可聯(lián)接器械的接點圖示以及一個或多于一個接點的運動限制范圍的指示而產生視圖，其中，圖示和指示通過使用可聯(lián)接器械的接收信息和向前運動而產生，以及在顯示屏上顯示產生的視圖。根據(jù)以下本發(fā)明優(yōu)選實施例的說明書，其各個方面的其他目標、特征和優(yōu)點將變得明顯，其說明書應結合附圖。


圖I示出使用利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)的手術室的頂視圖。圖2示出利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中，用于控制和選擇性地關聯(lián)裝置操縱者操控左和右手可操縱的輸入裝置操控的組件的方框圖。圖3-4分別示出利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中使用的，可聯(lián)接相機和延伸出進入引導器遠端的一對可聯(lián)接手術工具的頂視圖和側視圖。圖5示出利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中使用的進入引導器及其四個自由度運動的透視圖。圖6示出利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中使用的，具有限定在其近端和遠端之間延伸的通道的進入引導器的橫截面圖。
圖7示出利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中使用的進入引導器操控器的相互作用組件的方框圖。圖8示出利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中使用的進入引導器操控器和可聯(lián)接器械的相互作用組件的方框圖。圖9示出利用本發(fā)明方面的，用于提供計算機產生的輔助視圖的方法的流程圖。圖10示出利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中使用的，使用器械接點位置和向前運動而確定器械鏈接位置和方向的數(shù)據(jù)和過程流程圖。
圖11示出利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中使用的，使用感測到的器械尖端位置和反向運動從而確定器械接點位置的數(shù)據(jù)和過程流程圖。圖12-13分別示出通過在利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中實施的方法，在顯示屏上產生和顯示的頂部和側部輔助視圖。圖14示出通過在利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中實施的方法，在顯示屏上以單獨窗口產生和顯示的頂部和側部輔助視圖。圖15示出鄰近利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中的監(jiān)控器上的可聯(lián)接相機捕捉的圖像顯示的輔助視圖。圖16示出具有通過在利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中實施的方法在顯示器上產生和顯示的平截頭體的可聯(lián)接相機的輔助側視圖。圖17示出與利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中實施的方法在顯示器上產生和顯示的由相機捕捉的圖像一起，在相機的視點的一對可聯(lián)接手術工具的輔助視圖的組合顯
/Jn o圖18示出一種提供相應于利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中的裝置控制模式的輔助視圖模式的方法的流程圖。圖19示出延伸出利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中的進入引導器遠端的可聯(lián)接器械的側視圖。圖20示出利用本發(fā)明的方面，縮回至進入引導器的可聯(lián)接器械及運動限制范圍的指示的輔助視圖。圖21示出利用本發(fā)明的方面，延伸出進入引導器的可聯(lián)接器械及運動限制范圍的指示的輔助視圖。圖22-25示出表示可聯(lián)接器械延伸出在利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中使用的進入引導器遠端的各種圖形顯示。圖26示出在利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中使用的夾子的圖示。圖27示出在利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中使用的可聯(lián)接相機的圖示。圖28示出在利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中，關于延伸出進入引導器遠端的可聯(lián)接器械不良定位的進入引導器的簡化輔助視圖。圖29示出在利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中，關于延伸出進入引導器遠端的可聯(lián)接器械再定位進入引導器的簡化輔助視圖。圖30示出在利用本發(fā)明方面的醫(yī)療機器人系統(tǒng)中，延伸出進入引導器的可聯(lián)接器械及在監(jiān)控器中顯示的器械中的一個捕捉的圖像的輔助視圖。
具體實施例方式例如，圖I示出手術室的頂視圖，其中外科醫(yī)生20利用醫(yī)療機器人系統(tǒng)100，用于對面向上躺在手術臺50上的患者40執(zhí)行醫(yī)療程序。一個或多于一個助手30可位于患者40附近，從而在外科醫(yī)生20通過操控輸入裝置108在外科醫(yī)生控制臺10上遙控操控執(zhí)行程序時，幫助執(zhí)行程序。在該例子中，通過單進入孔150將進入引導器(EG) 200插入患者40體內。雖然在該例子中，進入孔150為微創(chuàng)切口，但是在其他醫(yī)療程序的執(zhí)行中，其可由自然身體口代替。進入引導器200由機器人手臂組件130支持和操控。與醫(yī)療機器人系統(tǒng)100的其他部分一樣，圖I中也只簡化示出機器人手臂組件130。在醫(yī)療機器人系統(tǒng)100的一個例子中，機器人手臂組件130包括 裝配臂和進入引導器操控器。裝配臂用于將進入引導器200定位在進入孔150，以便其能夠適當?shù)剡M入該進入孔150。然后，進入引導器操控器被用于將進入引導器200自動機械插入進入孔150中和將其從中縮回。其也可用于將進入引導器200關于位于進入孔150的樞軸點縱傾、橫擺和橫傾/傾斜、滾動和旋轉(pitch,roll and yaw)自動機械樞軸運動。該進入引導器操控器的例子是圖2中的進入引導器操控器202，而圖5中示出其操控進入引導器200的四個運動自由度的例子?？刂婆_10包括3-D監(jiān)控器104，其用于向外科醫(yī)生顯示手術部位的3_D圖像；左和右手操控可操控的輸入裝置108、109;以及，處理器(在此也稱為“控制器”)102。輸入裝置108、109可包括多種輸入裝置中的任意一個或多個，例如操縱桿、手套、扳機-槍、手操作控制器等等。其他允許外科醫(yī)生與醫(yī)療機器人系統(tǒng)100相互作用的輸入裝置包括腳踏板105、傳統(tǒng)的聲音識別系統(tǒng)160和圖形用戶界面(GUI) 170。輔助顯示屏140耦合至控制臺10，用于向外科醫(yī)生提供輔助視圖以補充在監(jiān)控器104中顯示的視圖。第二輔助顯示屏140'也耦合至控制臺10(以及處理器102)，用于向助手提供輔助視圖。輸入裝置180也耦合至控制臺，從而允許助手在用于在第二輔助顯示屏140'上顯示的可用輔助圖像之間選擇?？刂婆_10通常與患者位于相同的房間，以便外科醫(yī)生可直接監(jiān)控程序，如果需要是身體可用的，并且能夠直接對助手說話，而非通過電話或其他通信媒體說話。然而，應理解，外科醫(yī)生也能夠與患者位于不同的房間、完全不同的建筑、或者其他允許遙控手術程序的遠程位置。在該情況下，控制臺10可通過通信連接，例如局域網、廣域網或因特網，而連接至第二輔助顯示屏140'和輸入裝置180。如圖3-4中所示，進入引導器200具有可聯(lián)接器械，如可聯(lián)接手術工具231、241，以及延伸出其遠端的可聯(lián)接立體攝像機211。雖然僅示出兩個工具231、241，但是進入引導器200還可引導在患者體內工作點上執(zhí)行醫(yī)療程序所需的其他工具。例如，如圖4所示，能夠有通道351，其用于通過進入引導器延伸另一個可聯(lián)接手術工具，并且通過其遠端延伸出進入引導器的另一個可聯(lián)接手術工具。每個手術工具231、241都與工具跟蹤模式中的輸入裝置108、109中的一個關聯(lián)。外科醫(yī)生通過操控輸入裝置108、109執(zhí)行醫(yī)療程序，以便控制器102引起其各自關聯(lián)的手術工具231、241的相應移動，而同時隨著工作點的圖像由可聯(lián)接相機211捕捉，外科醫(yī)生在控制臺監(jiān)控器104上觀察3-D工作點。優(yōu)選，輸入裝置108、109將至少具有與其關聯(lián)的工具231、241相同的自由度，從而向外科醫(yī)生提供輸入裝置108、109與工具231、241集成的遠程呈現(xiàn)或感知，以便外科醫(yī)生具有直接控制工具231、241的強烈感覺。為了該目的，監(jiān)控器104也在外科醫(yī)生的手附近定位，以便其將顯示定向的投射圖像，以便外科醫(yī)生感覺到，他或她實際上直接向下看手術部位，并且工具231、241的圖像看起來充分位于外科醫(yī)生的手所處的位置。另外，優(yōu)選將監(jiān)控器104中的實時圖像投射在透視圖像中，以便外科醫(yī)生就像觀察基本真實存在的工作點一樣，能夠通過其相應的輸入裝置108、109而操控工具231、241的末端致動器331、341。對于真實存在，其意思是，呈現(xiàn)的圖像是模擬正在物理操控末端致動器331、341的操作者視點的真實透視圖像。因而，處理器102可將末端致動器331、341的坐標轉換為感知位置，以便在監(jiān)控器104上示出的透視圖像為這樣的圖像，S卩如果外科醫(yī)生直接位于末端致動器331、341之后將看到的圖像。
處理器102執(zhí)行系統(tǒng)100中的各種功能。其執(zhí)行的一個重要功能是通過總線110上的控制信號而轉化和傳遞輸入裝置108、109的機械運動，以便外科醫(yī)生能夠有效地操控裝置，例如當時選擇性地關聯(lián)輸入裝置108、109的工具231、241、相機211以及進入引導器200。另一功能是執(zhí)行在此描述的各種方法和控制器功能。雖然作為處理器描述，但是應明白，實際上處理器102可由硬件、軟件和固件的任何組合實施。同樣地，其在此描述的功能可由一個單元執(zhí)行，或被分割為不同組件，其每個都可依次由硬件、軟件和固件的任何組合實施。此外，雖然示出部分或物理鄰近控制臺10，但是處理器102也可包含貫穿該系統(tǒng)分布的許多子組。對于在此描述的醫(yī)療機器人系統(tǒng)的各個方面的結構和運行的另外細節(jié)，例如參考美國專利號 6，493，608, “Aspects of a Control System of a Minimally InvasiveSurgical Apparatus，，，以及美國專利號 6，671，581, “Camera Referenced Control in aMinimally Invasive Surgical Apparatus”,其被包含在此以供參考。圖2作為例子，示出用于控制并且選擇性地連接裝置操控器和輸入裝置108、109的組件的方框圖?？墒褂酶鞣N手術工具，例如夾子、切割器和手術針，從而在患者體內的手術部位執(zhí)行醫(yī)療程序。在該例子中，使用兩個手術工具231、241從而自動機械執(zhí)行該程序，并且使用相機211觀察程序。工具231、241和相機211被通過進入引導器200的通道插入。如參考圖I所述，使用機器人手臂組件130的裝配部分將進入引導器200通過進入孔150插入患者體內，并且由機器人手臂組件130的進入引導器操控器(EGM) 202將其朝著將執(zhí)行手術程序的工作點機動。每個裝置231、241、211、200都有其自身的操控器操控。特別地，相機211由相機操控器(ECM) 212操控、第一手術工具231由第一工具操控器(PSMl) 232操控、第二手術工具241由第二工具操控器(PSM2) 242操控、而進入引導器200由進入引導器操控器(EGM) 202操控。為了不過度拖累附圖，所以未示出裝置231、241、211、200，而僅在附圖中示出其各自的操控器 232、242、212、202。每個器械操控器232、242、212都是這樣的機械組件，其帶有致動器，并且提供機械、無菌界面，從而向其各個可聯(lián)接器械傳送運動。每個器械操控器232、242、212都是這樣的機械組件，即通過其操控器接收運動，并且通過電纜傳輸，將該運動傳播至其遠端聯(lián)接(例如，接點)。該接點可為棱柱式(例如，直線運動)或轉動式(例如，其繞機械軸樞軸轉動)的。此外，器械可具有這樣的內部機械約束(例如，電纜、傳動裝置、凸輪、皮帶等等)，其迫使接點以預定方式一起移動。每組機械約束接點都執(zhí)行特定軸運動，并且可將約束設計為對轉接點(例如，嚙合扣接點)。也要注意，這樣，該器械可具有比可用致動器多于一個的接點。相反，進入引導器操控器202具有不同的構造和操控。以下參考圖7描述進入引導器操控器202的各部分和操控的說明。在該例子中，每個輸入裝置108、109都可選擇性地關聯(lián)裝置211、231、241、200其中之一，以便該關聯(lián)裝置可由輸入裝置通過其控制器和操控器控制。例如，通過將開關258、259分別放置在工具跟蹤模式“T2”和“Tl”，左和右輸入裝置可分別關聯(lián)第一和第二手術工具231、241，后者被通過其各自的控制器233、243(優(yōu)選在處理器102中實施)和操控器232,242遠程自動機械控制，以便外科醫(yī)生可對患者執(zhí)行醫(yī)療程序，同時進入引導器200被鎖定在適當位置。
當相機211或進入引導器200由外科醫(yī)生再定位時，左和右輸入裝置其中之一或其兩者可關聯(lián)相機211或進入引導器200，以便外科醫(yī)生可通過其各自的控制器(213或203)和操控器(212、202)移動相機或進入引導器200。在該情況下，手術工具231、241中分離的一個被其控制器相對于進入引導器200鎖定在適當位置。例如，通過將開關258、259分別放置在相機定位模式“C2”和“Cl ”中，左和右輸入裝置108、109可關聯(lián)相機211，后者被通過其控制器213 (優(yōu)選在處理器102中實施)和操控器遠程自動機械控制，以便外科醫(yī)生可定位相機211，同時手術工具231、241和進入引導器200被其各自的控制器233、243、203鎖定在適當位置。如果僅使用一個輸入裝置定位相機，那么僅將一個開關258、259放置在其相機定位模式中，而同時另一個開關258、259保持為其工具跟蹤模式，以便其各自的輸入裝置可繼續(xù)控制其關聯(lián)的手術工具。另一方面，通過將開關258、259分別放置在進入引導器定位模式“G2”和“G1”中，左和右輸入裝置108、109可關聯(lián)進入引導器200，后者被通過其控制器203 (優(yōu)選在處理器102中實施)和操控器202遠程自動機械控制，以便外科醫(yī)生可定位進入引導器200，同時手術工具231、241和相機211被其各自的控制器233、243、213相對于進入引導器200鎖定在適當位置。與相機定位模式一樣，如果僅使用一個輸入裝置定位進入引導器，那么僅將一個開關258、259放置在其進入引導器定位模式中，而同時另一個開關258、259保持為其工具跟蹤模式，以便其各自的輸入裝置可繼續(xù)控制其關聯(lián)的手術工具?？捎赏饪漆t(yī)生以傳統(tǒng)方式使用⑶I 170或聲音識別系統(tǒng)160執(zhí)行該例子中輸入裝置108、109和其他裝置的選擇性關聯(lián)。可替換地，輸入裝置108、109的關聯(lián)可由外科醫(yī)生通過以下方式改變，即通過按下一個輸入裝置108、109上的按鈕或踩下腳踏板105、或使用任何其他廣為人知的模式轉換技術。圖3-4作為例子，分別示出進入引導器200遠端的頂視圖和右側視圖，其中相機211和手術工具231、241延伸在外。如圖5中簡化(未按比例)進入引導器200的透視圖所示的一樣，進入引導器200的形狀通常為圓柱形，并且具有沿其長度中心延伸的軸X'。也被稱為遙控中心“RC”的樞軸點用作以下兩者的原點，即具有示出的X、Y和Z軸的固定參考系，以及具有示出的X'、Y'和Z'軸的進入引導器參考系的原點。當系統(tǒng)100處于進入引導器定位模式時，進入引導器操控器202能夠響應一個或多于一個關聯(lián)的輸入裝置的運動，使進入引導器200關于Z軸(其保持空間固定)，在遙控中心“RC”以橫傾￥樞軸轉動。另外，進入引導器操控器202能夠響應一個或多于一個關聯(lián)的輸入裝置的運動，使進入引導器200關于Y'軸(其垂直于進入引導器200的縱軸X')以縱傾0樞軸轉動，能夠響應一個或多于一個關聯(lián)的輸入裝置的運動，使進入引導器200關于縱軸X'以橫擺小轉動，并且能夠沿其縱軸X'在插入/縮回或進/出“I/O”方向直線移動進入引導器200。注意，與空間固定的Z軸不同，X'和Y'軸隨著進入引導器200移動。如圖7所示，進入引導器操控器(EGM) 202具有四個致動器701-704以及四個相應的組件711-714，前者用于致動進入引導器200的四個自由度運動(即縱傾0、橫傾V、橫擺小以及進/出1/0)，后者用于將其執(zhí)行。
重新參考圖3-4，可聯(lián)接相機211通過通道321延伸，并且可聯(lián)接手術工具231、241分別通過進入引導器200的通道431、441延伸。相機211包括尖端311 (其容納連接至相機控制器的立體攝像機，以及連接至外部光源的光纖電纜)、第一第二和第三鏈接322、324、326、第一和第二接點組件(在此也簡稱為“接點”)323、325，以及腕組件327。第一接點組件323耦合第一和第二鏈接322、324，而第二接點組件325耦合第二和第三鏈接324、326，以便第二鏈接324可關于第一接點組件323縱傾和橫傾，而第一和第三鏈接322、326彼此保持平行。第一和第二接點323、325被稱為“嚙合扣接點”，因為其一起合作運行，以便隨著第二鏈接324繞第一接點縱傾和/或橫傾樞軸旋轉時，第三鏈接326繞第二接點325以互補方式樞軸旋轉，所以第一和第三鏈接322、326彼此始終保持平行。第一鏈接322也可在橫擺以及通過通道321的移進移出(例如，朝著工作點插入以及從工作點縮回)中繞其縱軸旋轉。腕組件327也具有縱傾和橫傾角運動的能力，以便可將相機的尖端311向上或向下，以及向右或向左定向或其組合定向。工具231、241的接點和鏈接在構造和運行中與相機的接點和鏈接類似。特別地，工具231包括由例如參考圖8中描述的致動器驅動的末端受動器331 (具有夾子338、339)、第一、第二和第三鏈接332、334、336、第一和第二接頭組件333、335、以及腕組件337。(加上用于致動末端受動器331的另外的致動器)同樣地，工具241包括由例如參考圖8中描述的致動器驅動的末端受動器341 (具有夾子348、349)、第一、第二和第三鏈接342、344、346、第一和第二接頭組件343、345、以及腕組件347。(加上用于致動末端受動器341的另外的致動器)圖8作為例子，圖解可聯(lián)接器械(例如可聯(lián)接相機211和可聯(lián)接手術工具231、241)及其相應的器械操控器(例如相機操控器212和工具操控器232、242)的相互作用部分圖。每個器械都包括用于完成器械(包括其末端受動器)聯(lián)接的許多可致動組件821-823、831-833、870，并且其相應的操控器包括用于致動該可致動組件的許多致動器801-803,811-813,860o另外，也可提供許多界面機構。例如，在無菌操控器/器械界面中提供縱傾/橫傾耦合機構840、850 (分別用于嚙合扣接點縱傾/橫傾和腕組件縱傾/橫傾)以及齒輪齒數(shù)比845、855(分別用于器械橫擺和末端受動器致動)，從而在器械接點空間中實現(xiàn)器械接點的要求運動范圍，而同時滿足操控器致動器空間緊湊約束，并且保持穿過該界面的運動的精確傳動。雖然以單塊840示出，但是嚙合扣接點致動器801、802(以#1和#2區(qū)分)以及嚙合扣接點縱傾/橫傾組件821、822之間的耦合可包括一對耦合機構一在無菌界面每一側上都有一個(即一個處于界面的操控器側上，一個處于界面的器械側上)。同樣地，雖然以單塊850示出，但是腕致動器812、813(以#1和#2區(qū)分)以及腕縱傾/橫傾接點組件832、833之間的稱合也可包含一對稱合機構-在無菌界面每一側上都有一個。嚙合扣接點縱傾組件821和嚙合扣接點橫傾組件822兩者共用第一、第二和第三鏈接(例如，可聯(lián)接相機211的鏈接322、324、326)以及第一和第二接點(例如聯(lián)接相機211的接點322、325)。除了這些公用組件，嚙合扣接點縱傾和傾組件821、822也包括這樣的機械耦合，其耦合第一和第二接點(通過嚙合扣耦合840)及嚙合扣接點縱傾和橫傾致動器801、802，以便第二鏈接可以可控地關于這樣的線樞軸旋轉，其穿過第一鏈接，并且沿對于第一鏈接(例如，可聯(lián)接相機211的鏈接322)的縱軸為緯度的軸，并且第二鏈接可以可控地關于這樣的線樞軸旋轉，其穿過第一鏈接，并且沿垂直于 第一鏈接的緯度和精度軸的軸。進/出(I/O)組件823包括第一鏈接(例如，可聯(lián)接相機211的鏈接322)和界面，后者通過傳動系統(tǒng)將進/出(I/O)組件823耦合至第一鏈接，以便第一鏈接通過I/O組件823的致動而可控地沿其縱軸直線運動。橫擺組件831包括第一鏈接和界面，通過一個或多于一個個將橫擺致動器811 (例如馬達的轉子)的滾動元件耦合至第一連接的齒輪(即具有齒輪齒比數(shù)845)，以便第一鏈接通過橫擺致動器811的致動，可控地繞其縱軸轉動。器械操控器(例如，相機操控器212)包括經腕組件(例如，可聯(lián)接相機211的腕組件327)的腕耦合850縱傾和橫傾接點822、833致動的腕致動器812、813，以便引起器械尖端相對于腕組件可控地在上-下(即縱傾)和側至側(即橫傾)方向樞軸轉動。把手組件870包括末端受動器(例如，手術工具231的末端受動器331)和界面，通過將把手組件860耦合至末端受動器的一個或多于一個齒輪，以便可控地致動末端受動器。圖9作為例子，示出在醫(yī)療機器人系統(tǒng)100的控制器102中實施的方法的流程圖，其用于提供產生包括可聯(lián)接器械的輔助視圖的計算機，例如可聯(lián)接相機211和/或一個或多于一個可聯(lián)接手術工具231、241，其延伸出進入引導器200的遠端。為了本例子的目的，假設可聯(lián)接相機211和手術工具231、241延伸出進入引導器200的遠端，并且被包括在輔助視圖中。然而，應明白，本方法適用于可聯(lián)接器械的任何組合，包括那些不具有可聯(lián)接相機和/或那些具有可替換類型的圖像捕捉裝置，例如超聲波探針的器械。應進一步明白，本方法適用于具有比在此描述的可控接點多于一個或更少接點的可聯(lián)接器械。特別地，本方法也適用于高度接合或相反可彎曲器械和/或進入引導器，例如這樣的工具，其可用于可控地通過患者體內的各種迂回曲折，到達執(zhí)行醫(yī)療程序的目標點。在901，本方法確定產生或不產生輔助視圖。如果901中的確定為否，那么本方法就循環(huán)返回至周期性檢查，從而了解情況是否改變。另一方面，如果在901中的確定為是，那么本方法繼續(xù)進入902。將產生輔助視圖的指示被編程在控制器102中，自動產生或通過操作者命令產生。在902，本方法接收狀態(tài)信息，例如每個器械211、231、241和進入引導器200的位置和方向?？赏ㄟ^被耦合至其各個操控器212、232、242、202中的致動器的編碼器提供該信息?？商鎿Q地，可由傳感器提供該信息，該傳感器耦合至器械211、231、241以及進入引導器操控器202的接頭和/或鏈接，或者耦合至相應的操控器和器械之間的界面的耦合機構、齒輪和傳動系統(tǒng)，以便測量其運動。在該第二種情況下，可在器械211、231、241以及進入引導器操控器202中包括傳感器，例如轉動傳感器和直線傳感器，前者傳感回轉接點的轉動運動，后者傳感器械211、231、241以及進入引導器操控器202中棱柱接點的直線運動。也可使用其他傳感器，用于提供器械211、231、241以及進入引導器200的位置和方向信息，例如傳感和跟蹤可跟蹤元件的外部傳感器，該元件可為放置在器械211、231、241以及進入引導器操控器202的關鍵點(例如在其接點、鏈接和/或尖端上)的主動元件(例如，無線電頻率、電磁元件等等)或被動元件(例如，磁性元件等等)。在903中，本方法使用在902接收的信息以及向前運動和器械211、231、241、進入引導器200、以及進入引導器操控器202的已知構造，產生延伸出進入引導器200的遠端的可聯(lián)接相機211和可聯(lián)接手術工具231、241的三維計算機模型。在該例子中產生的計算機模型可參考圖5所示的遙控中心參考系(X、Y、Z軸) ?？商鎿Q地，產生的計算機模型可參考在進入引導器200的遠端定義的參考系。在后一種情況下，如果進入引導器200從遙控中心的方向和延伸不需要在已通過本方法產生的輔助視圖中考慮，那么就可在902中省略進入引導器200的位置和方向信息。例如，參考圖10，如果在902接收的狀態(tài)信息為器械的接點位置1001，那么就可使用器械的運動模型1003將該信息應用于器械的向前運動1002,從而產生相對于參考系1004的器械鏈接位置和方向1005。如果在902中接收的的狀態(tài)信息為操控器/器械界面中的嚙合扣耦合和齒輪機構的傳感狀態(tài)，那么一般也可應用相同的過程。另一方面，參考圖11，如果在902接收的狀態(tài)信息為器械的尖端位置1101(在參考系1004中)，那么就可使用器械的運動模型1003和傳感器參考系將該信息用于至器械的反轉運動1102，從而產生器械的接點位置1001。然后，可如參考圖10描述的，應用器械的接點位置1001，從而產生相對于參考系1004的器械鏈接位置和方向1005。可替換地，也參考圖11，如果在902提供的狀態(tài)信息僅限于相機的尖端位置，那么就可通過使用傳統(tǒng)圖像處理技術，并且然后將其位置轉化為參考系1004，經識別相機211捕捉的圖像尖端而確定手術工具231、241的尖端相對于相機參考系的位置，以便可如參考圖10所述，應用相機和工具尖端的位置，從而產生相對于參考系1004的器械鏈接位置和方向 1005。在904，本方法調整將兩者在參考系中的三維空間的計算機模型視圖調整至指定的觀察點(其中，在此應將“觀察點”理解為包括位置和方向)，即延伸出進入引導器200的遠端的可聯(lián)接相機211和可聯(lián)接手術工具231、241。例如，圖12圖解了延伸出進入引導器200的遠端的可聯(lián)接相機211和可聯(lián)接手術工具231、241的頂視圖，其相應于高于并且稍微在進入引導器200的遠端之后的觀察點。作為另一個例子，圖13圖解了延伸出進入引導器200的遠端的可聯(lián)接相機211和可聯(lián)接手術工具231、241的側視圖，其相應于進入引導器200右側并且稍微在其之前的觀察點。注意，雖然圖12-13中描述的輔助視圖為二維的，但是其也可為三維的，因為能夠從產生的計算機模型獲得三維信息。在后一種情況下，正在進行顯示的輔助顯示屏140將肯定為與監(jiān)控器104 —樣的三維顯示屏。可將觀察點設為固定點，例如提供圖12所示透視圖的等大(三維)視圖的固定點。當工具231、241如圖所示“肘向外”彎曲時(其為使用手術工具231、241執(zhí)行醫(yī)療程序的典型構造)，該透視圖向外科醫(yī)生提供可聯(lián)接相機211和可聯(lián)接手術工具231、241的清晰視圖。另一方面，當使用第三手術工具時(例如，如圖6所示，插入通道351)，圖13的透視圖的側視圖可另外有用，因為第三手術工具可在可聯(lián)接相機211之下，并且因此在圖12的透視圖中模糊。比將觀察點始終設置在固定點更好，也可取決于當時可操控的控制模式(即參考圖2所述的模式之一)而自動改變觀察點。作為例子，圖18圖解了這樣的方法，其用于取決于當前在醫(yī)療機器人系統(tǒng)100中操控的控制模式，自動改變輔助視圖模式。特別地，使用本方法，當在1801將醫(yī)療機器人系統(tǒng)100確定為工具跟蹤模式時，在1802執(zhí)行第一輔助視圖模式，而當在1803將醫(yī)療機器人系統(tǒng)100確定為進入引導器定位模式時，在1804執(zhí)行第二輔助視圖模式，當在1805將醫(yī)療機器人系統(tǒng)100確定為相機定位模式時，在1806執(zhí)行第三輔助視圖模式。選擇用于每種控制模式的視圖模式，以便在該模式期間，外科醫(yī)生執(zhí)行動作最受益。例如，在工具跟蹤和相機定位模式下，當時移 動手術工具231、241和相機211其中之一或兩者，并且因此如圖12和圖13所述，延伸出進入引導器200的遠端的可聯(lián)接相機211和可聯(lián)接手術工具231、241的輔助視圖對于避免相機211視場之外鏈接之間碰撞有用。另一方面，在進入引導器定位模式中，將可聯(lián)接相機211和可聯(lián)接手術工具231、241鎖定在相對于進入引導器200的位置，并且因此提供如圖16和圖17所述的其他物品的信息的輔助視圖，或空間透視圖中的進入引導器200的計算機產生視圖可有用?？商鎿Q地，在執(zhí)行醫(yī)療程序期間，可提供改變觀察點的操作者可選擇裝置。例如，GUI 170或聲音識別系統(tǒng)160可適合向外科醫(yī)生提供交互式裝置，用于選擇和/或改變聯(lián)接相機211和/或可聯(lián)接手術工具231、241的觀察模式和/或觀察點，因為其延伸出進入引導器200的遠端。外科醫(yī)生也可使用輸入裝置108、109上的按鈕或腳踏板105，從而選擇觀察模式。對于助手，可使用輸入裝置180以及管理顯示屏140'的⑶I，用于選擇觀察模式。因而，外科醫(yī)生和助手當時觀看的觀察模式可被在當時對于其特殊任務而優(yōu)化。在圖12-17以及圖20-30中示出該操作者可選觀察模式和觀察角度的例子。在905，本方法渲染計算機模型。在該情況下的渲染包括將三維性質添加至本方法，例如器械211、231、241和進入引導器200的遠端的已知構造特征，填充任何缺口從而制作立體模型，并且提供天然著色和遮蔽。另外，渲染可包括替換一個或多于一個器械211、231、241(或其一個或多于一個接點或鏈接或其部分)的顏色或亮度，以便器械(或接點或鏈接或其部分)用于識別目的而突出?？商鎿Q地，替換一個或多于一個器械(或其接點或鏈接或其部分)的顏色、強度、或閃亮或不亮(例如，閃光)的頻率可作為這樣的警告，即器械(或接點或鏈接或其部分)接近不良事件或條件，例如接近其運動范圍的限制，或太靠近或與另一器械碰撞。當使用顏色作為警告時，當達到將避免的事件的警告閾值時(例如，運動限制或碰撞范圍)，顏色可從第一顏色(例如，綠色)變?yōu)榈诙伾?例如，黃色)，并且當達到將避免的事件時，從第二顏色變?yōu)榈谌伾?例如，紅色)。當使用亮度作為警告時，顏色的強度隨著器械(或其部分)超過警告閾值朝著這樣的將避免的事件而變化，其中當達到該事件時具有最大強度。當使用顏色閃光作為警告時，顏色的閃光頻率隨著器械(或其部分)超過警告閾值朝著這樣的將避免的事件而變化，其中當達到該事件時具有最大強度。警告閾值可基于器械(或其部分，例如其接點)的運動范圍，或基于器械(或其部分)和其可碰撞的另一器械(或其部分)之間的距離。確定警告閾值時，器械的運動速度也可為一個因素。例如可使用GUI170，由操作者編程警告閾值，或由處理器102中的可編程算法自動確定警告閾值，其考慮其他因素，例如器械的運動速度。可替換地，替換一個或多于一個器械211、231、241(或其接點、鏈接、或其部分)的顏色、強度、或閃亮或不亮(例如，閃光)的頻率可作為一種警報，即器械(或接點或鏈接或其部分)接近期望事件或條件，例如執(zhí)行或觀察醫(yī)療程序的最佳位置或構造。在該情況下，可定義警報閾值，以便可通過以上關于警告閾值和不良事件或條件所述的類似方式，改變一個或多于一個器械211、231、241(或其接點、鏈接、或其部分)的顏色、強度、和/或閃光，除了在該情況下，當達到和最大化警報閾值時，該變化開始，或者另外當達到或另外實現(xiàn)期望事件或條件時，其終止。可通過概念上類似于警告閾值的方式，由操作者編程警報閾值，或由可編程算法自動確定該警報閾值。作為用于識別、警告或警報目的的該器械輔助照明的例子，圖15在窗口 1502中示出相機211和手術工具231、241的輔助視圖，其中已對相機 211進行輔助照明。作為用于識別、警告或警報目的的該器械接點輔助照明的例子，圖12示出已對手術工具231、241的接點進行輔助照明。作為用于警報目的的器械部分輔助照明的例子，圖14示出經輔助照明的手術工具241的部分1402以及相機211的部分1403，從而指示這些部分危險地接近于碰撞。當輔助圖像的觀察點相同或直接在該相機211之后時，渲染也可包括將相機211捕捉的圖像覆蓋在輔助視圖上。作為例子，圖17圖解了作為覆蓋至手術工具231、241的輔助視圖渲染的相機211的捕捉圖像1700，其已由相機211的觀察點(或右后)產生。在該例子中，顯示在輔助顯示屏140(和/或輔助顯示屏140')上的手術工具231、241的輔助視圖包括覆蓋捕捉圖像1700中的部分(例如，1731、1741)以及蓋捕捉圖像1700外的部分(例如，1732,1742)。因而，手術工具231、232在捕捉圖像1700之外的部分向外科醫(yī)生提供關于其處于相機211的視場之外的各個鏈接或可聯(lián)接手臂的另外信息。也可做捕捉圖像1700之外的器械部分(例如，1732、1742)的輔助照明，用于上述識別目的或從而指示警告或警報條件。在該情況下，將捕捉圖像1700覆蓋在輔助視圖上對于示出解剖學結構360也有利，后者在另外通常將不在輔助視圖中的手術工具231、241之前。雖然該例子示出覆蓋在輔助顯示屏140上的輔助視圖上的捕捉圖像1700，但是在另外的渲染方案中，輔助視圖可覆蓋顯示在監(jiān)控器104上的捕捉圖像。比覆蓋該捕捉圖像更好的是，渲染也可包括以下動作，即通過僅將不在捕捉圖像中顯示的器械231、241的部分(即圖17中器械231、241的點線部分)，以適當?shù)膶R和以鑲嵌方式鄰近捕捉圖像，而使用輔助視圖放大經相機211捕捉的圖像。除了或替代將捕捉圖像覆蓋在輔助圖像上，或通過輔助視圖放大該捕捉圖像，渲染也可包括在輔助視圖中提供其他有用信息。作為例子，圖16圖解了可聯(lián)接相機211的輔助側視圖，其中在輔助視圖上渲染平截頭體1601，以便作為從相機尖端311的反射并隨其一起移動而在輔助顯示屏140上顯示。注意，雖然在附圖中示出的平截頭體1601為截頂圓錐體，其也可以相應于監(jiān)視器104中所示的捕捉圖像的截棱錐出現(xiàn)。平截頭體1601的側面指示相機211的觀察范圍，而平截頭體1601的基礎1602顯示由相機211捕捉的圖像1650。注意，為了簡化目的，在該例子中，已移除通常處于輔助視圖中的手術工具231、241。作為另一例子，圖14示出半透明球體或泡罩1401 (優(yōu)選為紅色)，當達到閾值時，其由本方法作為渲染過程的一部分顯示，從而向操作者指示，手術工具241的輔助照明部分1402、1403和相機211接近于碰撞。在該情況下，輔助照明部分1402、1403優(yōu)選處于球體的中心。作為另一例子，圖14也示出標記或其他指示物1401，其指示當使用手術工具231、241執(zhí)行醫(yī)療程序時，相機尖端311觀察手術工具231、241的末端受動器的最佳位置。例如，可通過末端受動器的尖端與捕捉圖像的中心等距的位置而確定最佳位置。在906中，本方法引起渲染的計算機模型(S卩，輔助視圖)在一個或多于一個顯示屏(例如，140和140')上以選擇觀察點的透視圖顯示。如圖12-14和圖16-17所示，輔助視圖在輔助顯示屏140上顯示。如圖14所示，可一次顯示超過一幅輔助視圖(例如，可在相同的時間，分別在窗口 1421和1422中提供頂視圖和側視圖)。如圖15所示，可在鄰近可聯(lián)接相機211捕捉的圖像的窗口 1502中，在主監(jiān)控器104上顯示輔助視圖，其中可聯(lián)接相機211捕捉的圖像在另一窗口 1501中示出。雖然在該例子中，窗口 1501和1502以相同尺寸出現(xiàn)，但是應明白，輔助視圖窗口 1502的位置和尺寸可變化并且始終處于本發(fā)明的范圍內。同樣地，如上所述，可在窗口 1501中，而非在 其單獨窗口 1502中，將輔助視圖覆蓋在捕捉圖像上。在該情況下，覆蓋輔助視圖可由外科醫(yī)生開關，以便在執(zhí)行醫(yī)療程序期間不混亂捕捉圖像。在該情況下，可通過壓輸入裝置108、109其中之一上的按鈕或踩下腳踏板105而執(zhí)行開和關?？商鎿Q地，可通過使用聲音識別系統(tǒng)160的聲音激活，或通過外科醫(yī)生與GUI 170交互作用，或使用任何其他傳統(tǒng)的功能轉換裝置而完成該步驟。完成906之后，然后，本方法循環(huán)回901，從而重復901-906，用于處理器102的下一處理循環(huán)。為了幫助操作者確定進入引導器200及其可聯(lián)接器械定位良好(S卩，當在患者體內的目標點執(zhí)行醫(yī)療程序期間，器械具有寬運動范圍)，在一個或多于一個輔助顯示屏140和140'及監(jiān)控器104中，向操作者提供對其顯示的輔助視圖中的運動限制范圍的指示有用。例如，圖19示出工具器械231右側視圖，其延伸出進入引導器200的遠端，其具有用于確定可在輔助視圖中顯示的可聯(lián)接器械231的運動限制范圍指示而識別的角度、鏈接軸和長度。由于其嚙合扣構造，器械的第一和第三鏈接332、336彼此保持平行關系。因而，當?shù)谝唤狱c333轉動至最大角度1902時，第二接點335和腕接點337 (分別在第三鏈接336的近端和遠端)兩者都處于離第一鏈接332的縱軸1901的最大位移1903，其可通過第二鏈接334的長度乘以角1902的正弦函數(shù)計算。如果第一鏈接332關于其縱軸1901可充分轉動，就可通過這樣的圓柱體定義第三鏈接336的邊界限制，以及隨后定義第二鏈接335和腕接點337的邊界限制，該圓柱體具有最大位移1903，因為其半徑和長度由延伸出進入引導器200的遠端的第一鏈接332的最大延伸確定。因而，對于相應于沿第三鏈接336 (或在其耦合接點335、337)的一點截取的圓柱體橫截面片的二維視圖，就可為器械231定義以圓形渲染的邊界限制，并且可為每個延伸出進入引導器200遠端的其他可聯(lián)接器械定義類似的邊界圓。雖然在本例子中，運動限制的接點范圍類似于圓形，也可與在此對邊界圓形描述類似的方式，提供橢圓形和其他接點約束邊界限制。作為例子，圖20圖解了計算機產生的輔助視圖200，其描述了器械縮回至進入引導器的遠端中時的可聯(lián)接器械211、231、241、251的圖示(從沿進入引導器200的縱軸V的有利點，從遠端或直接在遠端之后往外看的透視圖/視角(perspective))，以及分別相應于器械211、231、241、251的運動限制的范圍2011、2031、2041、2051指示。
在該例子中，與參考圖19所述相同，確定工具器械231的邊界圓2031。以類似的方式確定其他器械的邊界圓。由于工具器械231、241、251的嚙合扣接點結構相同，所以其各個邊界圓尺寸相同，但是彼此偏移，以便其每個圓都沿其第一鏈接的精度軸居中(即，在圖20中其各個圖示231、241、251的的中心)。然而，在該例子中，相機器械211的嚙合扣接點結構不同，所以其引起更小的邊界圓2011。特別地，與工具器械231、241、251相比，相機器械211對于其第一接點323具有較小的最大轉動角度，或者更短的第二鏈接324。然而，邊界圓2011也沿其相機器械211的第一鏈接322居中。將當前由操作者控制的器械的邊界圓與當前不由操作者控制的器械的邊界圓區(qū)分有用。為了該目的，以實線圓示出邊界圓2031、2041，因為其各自的可聯(lián)接器械231、241當前由輸入裝置108、109控制(即，其處于工具跟蹤模式)，而以點線圓示出邊界圓2011、2051，因為其各自的可聯(lián)接器械211、251當前不由輸入裝置108、 109控制?？商鎿Q地，分離器械的邊界圓可完全不在輔助視圖中顯示，以便不以不必要或不使用的信息使其過度復雜。當轉換輸入裝置109的關聯(lián)，所以其控制工具251而非工具231時，邊界圓2051將變?yōu)閷嵕€圓，而邊界圓2031將變?yōu)辄c線圓(或者將完全不顯示)，從而表示控制變化。類似地，當將輸入裝置108、109的關聯(lián)轉換為相機定位模式時，相應于相機211的邊界圓2011將變?yōu)閷嵕€圓，而邊界圓2031、2041將變?yōu)辄c線圓(或者其將完全不顯示)，從而表示控制變化。作為使用實線、點線和不可見圓的替換，可通過使用不同顏色的圓或其他視覺可辨方法的方案指示控制模式，例如相應于當時未主動控制的器械的邊界圓閃亮或不亮。作為例子，圖21圖解了輔助視圖2100，其為可聯(lián)接器械211、231、241、251提供另外的細節(jié)，其中示出一些器械延伸出進入引導器的遠端，并且示出相應于該器械的其運動限制范圍2011、2031、2041、2051的指示。在該例子中，工具器械231、241由操作者在工具跟蹤模式中使用輸入裝置108、109控制，而當時器械251、211不由操作者控制。特別地，工具器械251不在使用中，并且縮回至進入引導器200的遠端，而相機工具211在上述移動后備其控制器支持固定在某一位置，從而看起來稍微向左和向下。因此，在輔助視圖2100中，示出分別相應于器械231、241的邊界限制2031、2041為實線圓，而分別相應于器械211、251的邊界限制2011、2051為點線圓。因此，輔助視圖2100可在進入引導器200遠端的橫截面片上，對每個可聯(lián)接器械211、231、241、251覆蓋三個橫截面片，其中每個片都垂直于并且對齊進入引導器的縱軸V?？稍诿總€器械的第一接點(例如，圖19中用于工具231的第一接點333)取得第一切片，可在每個器械的腕接點(例如，圖19中用于工具231的腕接點337)取得第二切片，并且可在器械的遠端(例如，圖19中用于工具231的末端受動器遠端338)取得第三切片。雖然可在輔助視圖2100中顯示每個可聯(lián)接器械211、231、241、251的第一接點、腕接點和遠端的橫截面，但是也可替代提供物體形式的圖示，例如適當定位的圓或橢圓，其中截取橫截面片。特別地，示出第一接點323、333、343、353的圖示為圓或橢圓(由其各自第一接點的相同標識號識別)，其在輔助視圖2100中的位置指示當其延伸出進入引導器200的遠端時，其各個第一鏈接的位置；示出腕接點327、337、347的圖示為圓或橢圓(由其各自腕接點的相同標識號識別)，其在輔助視圖2100中的位置指示器械211、231、241的嚙合扣接點的聯(lián)接；并且示出遠端328、338、348的圖示為圓或橢圓(由其各自遠端的相同標識號識別)，其在輔助視圖2100中的位置指示其方向。作為確定遠端方向的例子，可通過遠端繞第一鏈接332的橫擺角度1907，以及分別為第三鏈接336和工具231的末端受動器331之間的縱軸1904、1905之間的縱傾角度1906，確定圖19中工具231的遠端338的方向。為了清晰地區(qū)分遠端328、338、348的圖示和其各個腕接點327、337、347的圖示，可通過不同顏色或不同陰暗或以另一視覺可區(qū)別方式顯示遠端?？商鎿Q地或另外，可顯示連接段，從而識別相同器械的對應第一接點、腕接點和遠端。例如，示出段2103連接第一接點333的圖示和腕接點337的圖示，而示出段2104連接腕接點337的圖示和工具231的遠端338的圖示。也示出連接段2101、2102以類似的方式連接第一接點343、腕接點347以及工具241的遠端348的圖示。
如圖21中的輔助視圖2100所示，工具器械231的腕接點337接近與其邊界限制2031。為了警告操作者腕接點337正在接近其運動限制范圍，可提供視覺指示，例如腕接點圖示的顏色或陰暗變化、最靠近腕接點的邊界限制2031的部分2110的顏色或陰暗變化、和/或相應于腕接點337的段2103、2104其中之一或兩者的顏色或陰暗都變化。也可使用其他的視覺指示，例如閃光、箭頭或警告文字。以及也可提供音頻暗示或警告，或替代在此描述的任何該視覺指示。當嚙合扣接點接近其邊界限制時，除了提供指示，也期望當可聯(lián)接器械211、231、241,251達到其延伸出進入引導器200的遠端的最大延伸時提供指示?？稍谘a充輔助視圖中指示最大限制邊界，例如在圖30中，在輔助視圖2100的左側和右側分別提供工具241、251的側補充輔助視圖3001、3002中的延伸限制3011、3012，并且當其各個第一鏈接靠近其延伸限制時，通過使用這樣的視覺指示提供警告，例如其各個可聯(lián)接器械的第一連接和/或任何其他部分的顏色或陰暗或其他變化。作為例子，圖22-25圖解了可用于輔助視圖2100中的圖示的各種更改，用于指示可聯(lián)接器械231伸出進入引導器200的遠端的程度?？沙鲇谙嗤哪康?，使用對其他器械211、241、251的圖示的類似更改。如圖22所示，從腕接點337的圖示發(fā)射的射線2201的長度用于指示第一鏈接332延伸出進入引導器200的遠端(即，圖19中的長度1909)的程度?？商鎿Q地或另外，如圖23所示，從遠端338的圖示發(fā)射的射線2301的長度可用于指示第一鏈接332延伸出進入引導器200的遠端的程度?？商鎿Q地或另外，如圖24所示，第一接點333、腕接點337和遠端338的圖示的相對尺寸、顏色和/或陰暗可用于指示第一鏈接332延伸出進入引導器200的遠端的程度。作為例子，隨著第一鏈接332進一步延伸出進入引導器200的遠端，第一接點333、腕接點337和遠端338的兩個或兩個以上圖示之間相對尺寸的差異可變得逐漸更大?？商鎿Q地或另外，段2501、2502的圖示的相對尺寸、顏色和/或陰暗可用于指示第一鏈接332延伸出進入引導器200的遠端的程度。除了輔助視圖2100中顯示指示可聯(lián)接器械211、231、241、251的嚙合扣接點聯(lián)接、延伸/縮回的圖示，以及指示器械的運動限制范圍的邊界的圖示之外，器械遠端的圖示也可提供其工具或相機的其他狀態(tài)信息。作為例子，圖26圖解了工具231的遠端338的圖示，其包括定義其中的角度2603的元件2601、2602，其指示末端受動器331的夾子開啟或閉合多少。作為另一例子，圖27圖解了相機器械211的遠端328 (包括相機)的圖示，其描述了表示相機器械211的視場的區(qū)域2701。也可使用輔助視圖2100從而當再定位進入引導器200時幫助操作者，以便為了執(zhí)行醫(yī)療程序而更好地定位可聯(lián)接器械。作為例子，圖28圖解了進入引導器不良位置的簡化輔助視圖2100，其中每個腕接點327、337、347都接近其邊界限制2011、2031、2041。為了簡化附圖，省略工具251和器械211、231、241的第一接點323、333、343的圖示，以便不通過細節(jié)而使其過度復雜化。通過轉換為參考圖2所述的進入引導器定位模式，可由其各個控制器而將相機器械211的相機尖端311以及工具器械231、241的末端受動器331、341的位置支持在適當位置，同時，操作者使用輸入裝置108、109其中之一或其兩者再定位進入引導器200。特別地，當在定位進入引導器時，通過使用其各個控制器將其腕接點327、337、347和遠端328、338、348支持在適當位置，而將相機尖端311和末端受動器 331、341支持在適當位置。然而，第一接點323、333、343以及器械211、231、241的邊界限制2011,2031,2041隨著進入引導器200移動而移動。作為例子，圖29圖解了這樣的簡化輔助視圖，即進入引導器已移動距離2901，而相對于腕接點327、337、347和器械211、231、241的遠端328、338、348再定位之后，以便每個腕接點327、337、347都在其邊界限制2011、2031、2041內更好地定位，用于改進運動范圍?？捎煽刂破?02使用如參考圖9的901-905所述的計算機執(zhí)行方法產生圖20-29描述的輔助視圖2100，其中存在從進入引導器遠端往外看的透視圖產生和顯示嚙合扣接點橫截面片和邊界限制。然后，可在監(jiān)控器104和/或輔助顯示屏140、140'上單獨顯示計算機產生的輔助視圖2100，或者可結合例如參考圖9所述的相機捕捉圖像和/或其他計算機產生的視圖顯示。作為例子，圖30圖解了監(jiān)控器104的顯示屏，其中在主窗口中示出相機器械211捕捉的圖像1501，而在下部中心窗口中示出延伸出進入引導器的可聯(lián)接器械211、231、241的輔助視圖2100，而分別在下部側窗口中分別示出與視圖2100不同視角的工具241、251的補充輔助視圖3001、3002。在該視圖布置中，可如參考圖13-29所述，在下部中心窗口中提供嚙合扣接頭邊界限制的指示，并且可如上所述，在下部側圖中提供可聯(lián)接器械241、231的延伸限制指示。當延伸出進入引導器200的遠端的可聯(lián)接器械接近其各自運動限制范圍和/或預示著彼此相互碰撞時，也可在此描述的輔助視圖中提供視覺線索或警告。雖然已關于優(yōu)選實施例描述了本發(fā)明的各個方面，但是應理解，本發(fā)明具有附加權利要求全部范圍內的全部保護的權利。
權利要求
1.一種提供指示一個或多于一個可聯(lián)接器械的接點位置和運動限制范圍的計算機產生視圖的方法，所述方法包含 接收所述一個或多于一個可聯(lián)接器械的狀態(tài)信息； 通過包括所述一個或多于一個可聯(lián)接器械的接點的圖示和一個或多于一個所述接點的運動限制范圍的指示而產生視圖，其中所述圖示和指示通過使用所述一個或多于一個可聯(lián)接器械的接收信息和向前運動而產生；以及 在顯示屏上顯示所述產生的視圖。
2.根據(jù)權利要求I所述的方法，其中所述可連接器械延伸出所述進入引導器的遠端，并且所述視圖通過從所述進入引導器的遠端向外看的透視圖產生。
3.根據(jù)權利要求2所述的方法，其中所述運動限制范圍的指示包含一個或多于一個所述接點的邊界的圖示。
4.根據(jù)權利要求3所述的方法，其中單獨的所述一個或多于一個聯(lián)接器械包含 第一、第二和第三鏈接； 第一接點，其耦合所述第一鏈接的遠端和所述第二鏈接的近端，以便所述第二鏈接可相對于所述第一鏈接在所述第一接點轉動；以及 第二接點，其耦合所述第二鏈接的遠端和所述第三鏈接的近端，以便所述第三鏈接可相對于所述第二鏈接在所述第二接點轉動，其與所述第一接點的轉動以這樣的方式協(xié)同，即所述第一和第三鏈接的縱軸互相平行； 其中，所述進入引導器的所述遠端具有一個或多于一個孔，相應的所述一個或多于一個可聯(lián)接器械可通過所述一個或多于一個孔延伸，所述產生的視圖包括所述進入引導器的遠端的輪廓，并且隨著第一物體定位，所述接點的所述圖示包括所述一個或多于一個可聯(lián)接器械的第一接點的圖示，其中其相應的孔與所述進入引導器的所述遠端的所述輪廓有關。
5.根據(jù)權利要求4所述的方法，其中單獨的所述一個或多于一個聯(lián)接器械包含 醫(yī)療裝置，其具有近端和遠端；以及 第三接點，其耦合所述第三鏈接的遠端和所述醫(yī)療裝置的近端，以便所述醫(yī)療裝置可相對于所述第三鏈接在所述第三接點轉動； 其中隨著第二物體在視圖中定位，所述接點的圖示包括所述一個或多于一個可聯(lián)接器械的所述第三接點的圖示，從而反映其相應的第一接點的轉動角度、其相應的第一鏈接繞其各自中心軸的轉動角度、以及其相應的第二鏈接的長度。
6.根據(jù)權利要求5所述的方法，其中隨著第三物體定位，所述產生的視圖包括所述一個或多于一個可聯(lián)接器械的醫(yī)療裝置的遠端的圖示，從而反映其相應的第三接點的轉動角度、其相應的第一鏈接繞其各自中心軸的轉動角度、以及其相應的醫(yī)療裝置從其近端延伸到其遠端的長度。
7.根據(jù)權利要求6所述的方法，其中所述一個或多于一個可聯(lián)接器械的一個或多于一個所述接點的邊界的圖示包括視圖中所述第二物體的位置邊界。
8.根據(jù)權利要求7所述的方法，其中所述視圖中第二物體的位置邊界包含與相應的第一物體共享公共中心的邊界圓。
9.根據(jù)權利要求8所述的方法，其中相應于所述操作者可操控的所述一個或多于一個可聯(lián)接器械中的幾個的所述邊界圓通過實線在所述顯示屏上顯示，而相應于所述操作者不可操控的所述一個或多于一個可聯(lián)接器械中的幾個的所述邊界圓不在所述顯示屏上顯示。
10.根據(jù)權利要求8所述的方法，其中所述第二物體隨著所述第二物體接近其相應的邊界圓而改變顏色。
11.根據(jù)權利要求8所述的方法，其中至少一部分所述邊界圓隨著其相應的第二物體接近所述邊界圓而改變顏色。
12.根據(jù)權利要求6所述的方法，其中所述單獨的所述一個或多于一個可聯(lián)接器械的所述第一鏈接可延伸出所述進入引導器的所述遠端，并且所述第一鏈接的延伸長度由這樣的射線長度指示，所述射線從其單獨的所述一個或多于一個可聯(lián)接器械的其相應的第一、第二或第三物體中至少其中之一上放射。
13.根據(jù)權利要求6所述的方法，其中所述單獨的所述一個或多于一個可聯(lián)接器械的所述第一鏈接可延伸出所述進入引導器的所述遠端，并且所述第一鏈接的延伸長度以這樣的顏色變化指示，所述顏色變化為其單獨的所述一個或多于一個可聯(lián)接器械的其相應的第一、第二或第三物體中至少其中之一的顏色變化。
14.根據(jù)權利要求6所述的方法，其中所述單獨的所述一個或多于一個可聯(lián)接器械的所述第一鏈接可延伸出所述進入引導器的所述遠端，并且所述第一鏈接的延伸長度由這樣的相對尺寸變化指示，所述相對尺寸變化為其單獨的所述一個或多于一個可聯(lián)接器械的其相應的第一、第二或第三物體中至少其中兩個之間的相對尺寸變化。
15.根據(jù)權利要求6所述的方法，其中所述視圖進一步包含第一段和第二段的圖示，其中第一段連接所述第一和第二物體；第二段連接所述第二和第三物體；單獨的所述一個或多于一個可聯(lián)接器械的所述第一鏈接能夠延伸出所述進入引導器，并且所述第一鏈接的延伸長度以這樣的顏色變化指示，所述顏色變化為其單獨的所述一個或多于一個可聯(lián)接器械的其相應的第一段和第二段中至少其中之一的顏色變化。
16.根據(jù)權利要求6所述的方法，其中所述視圖進一步包含第一段和第二段的圖示，其中第一段連接所述第一和第二物體；第二段連接所述第二和第三物體；單獨的所述一個或多于一個可聯(lián)接器械的所述第一鏈接能夠延伸出所述進入引導器，并且所述第一鏈接的延伸長度由這樣的尺寸變化指示，所述尺寸變化為其單獨的所述一個或多于一個可聯(lián)接器械的其相應的第一段和第二段中至少其中之一的尺寸變化。
17.根據(jù)權利要求6所述的方法，其中所述視圖進一步包含第一段和第二段的圖示，其中第一段連接所述第一和第二物體；第二段連接所述第二和第三物體；單獨的所述一個或多于一個可聯(lián)接器械的所述第一鏈接能夠延伸出所述進入引導器，并且所述第一鏈接的延伸長度由這樣的形狀變化指示，所述形狀變化為其單獨的所述一個或多于一個可聯(lián)接器械的其相應的第一段和第二段中至少其中之一的形狀變化。
18.根據(jù)權利要求6所述的方法，其中一個所述可聯(lián)接器械的所述醫(yī)療裝置包括第一元件，其鉸鏈連接至第二元件，以便所述第一和第二元件可控地開啟和閉合，產生在所述第一和第二元件之間的一個角度，并且其相應的第三物體具有兩個夾子，其被顯示從而指示所述第一和第二元件之間的所述角度。
19.根據(jù)權利要求6所述的方法，其中一個所述可聯(lián)接器械的所述醫(yī)療裝置包括可聯(lián)接相機器械，并且顯示的視圖用于補充由可聯(lián)接相機器械捕捉的圖像。
20.根據(jù)權利要求19所述的方法，其中相應于包括所述可聯(lián)接相機器械的醫(yī)療裝置的第三物體具有這樣的區(qū)域，其在所述顯示屏上顯示，從而指示所述可聯(lián)接相機器械的視場。
21.—種醫(yī)療機器人系統(tǒng),其包含 進入引導器； 多個可聯(lián)接器械，其可控地延伸出所述進入引導器的遠端； 顯示屏；以及 處理器，其被配置成接收所述可聯(lián)接器械的狀態(tài)信息，通過包括所述可聯(lián)接器械的接點的圖示和用于一個或多于一個所述接點的運動限制范圍的指示而產生視圖，其中所述圖示和指示通過使用所述可聯(lián)接器械的接收信息和向前運動而產生，并且將產生的視圖在所述顯示屏上顯示。
22.根據(jù)權利要求21所述的醫(yī)療機器人系統(tǒng)，其中所述視圖通過從所述進入引導器的遠端向外看的透視圖產生。
23.根據(jù)權利要求22所述的醫(yī)療機器人系統(tǒng)，其中所述運動限制范圍的指示包含一個或多于一個所述接點的邊界的圖示。
24.根據(jù)權利要求23所述的醫(yī)療機器人系統(tǒng)，其中單獨的所述聯(lián)接器械包含 第一、第二和第三鏈接； 第一接點，其耦合所述第一鏈接的遠端和所述第二鏈接的近端，以便所述第二鏈接可相對于所述第一鏈接在所述第一接點轉動；以及 第二接點，其耦合所述第二鏈接的遠端和所述第三鏈接的近端，以便所述第三鏈接可相對于所述第二鏈接在所述第二接點轉動，其與所述第一接點的轉動以這樣的方式協(xié)同，即所述第一和第三鏈接的縱軸互相平行； 其中，所述進入引導器的所述遠端具有多個孔，相應的所述可聯(lián)接器械可通過所述孔延伸，所述產生的視圖包括所述進入引導器的遠端的輪廓，并且隨著第一物體定位，所述接點的所述圖示包括所述可聯(lián)接器械的第一接點的圖示，其中其相應的孔與所述進入引導器的所述遠端的所述輪廓有關。
25.根據(jù)權利要求24所述的醫(yī)療機器人系統(tǒng)，其中單獨的所述聯(lián)接器械包含 醫(yī)療裝置，其具有近端和遠端；以及 第三接點，其耦合所述第三鏈接的遠端和所述醫(yī)療裝置的近端，以便所述醫(yī)療裝置可相對于所述第三鏈接在所述第三接點轉動； 其中隨著第二物體在視圖中定位，所述接點的圖示包括所述可聯(lián)接器械的所述第三接點的圖示，從而反映其相應的第一接點的轉動角度、其相應的第一鏈接繞其各自中心軸的轉動角度、以及其相應的第二鏈接的長度。
26.根據(jù)權利要求25所述的醫(yī)療機器人系統(tǒng)，其中隨著第三物體定位，所述產生的視圖包括所述可聯(lián)接器械的醫(yī)療裝置的遠端的圖示，從而反映其相應的第三接點的轉動角度、其相應的第一鏈接繞其各自中心軸的轉動角度、以及其相應的醫(yī)療裝置從其近端延伸到遠端的長度。
27.根據(jù)權利要求26所述的醫(yī)療機器人系統(tǒng)，其中所述可聯(lián)接器械的一個或多于一個所述接點的圖示包括視圖中所述第二物體的位置邊界。
28.根據(jù)權利要求27所述的醫(yī)療機器人系統(tǒng)，其中所述視圖中第二物體的位置邊界包含與相應的第一物體共享公共中心的邊界圓。
29.根據(jù)權利要求28所述的醫(yī)療機器人系統(tǒng)，其中相應于所述操作者可操控的所述可聯(lián)接器械中的幾個的所述邊界圓通過實線在所述顯示屏上顯示，而相應于所述操作者不可操控的所述可聯(lián)接器械中的幾個的所述邊界圓不在所述顯示屏上顯示。
30.根據(jù)權利要求28所述的醫(yī)療機器人系統(tǒng)，其中所述第二物體隨著所述第二物體接近其相應的邊界圓而改變顏色。
31.根據(jù)權利要求28所述的醫(yī)療機器人系統(tǒng)，其中至少一部分所述邊界圓隨著其相應的第二物體接近所述邊界圓而改變顏色。
32.根據(jù)權利要求26所述的醫(yī)療機器人系統(tǒng)，其中所述單獨的所述可聯(lián)接器械的所述第一鏈接可延伸出所述進入引導器的所述遠端，并且所述第一鏈接的延伸長度由這樣的射線長度指示，所述射線從其單獨的所述可聯(lián)接器械的其相應的第一、第二或第三物體中至少其中之一上放射。
33.根據(jù)權利要求26所述的醫(yī)療機器人系統(tǒng)，其中所述單獨的所述可聯(lián)接器械的所述第一鏈接可延伸出所述進入引導器的所述遠端，并且所述第一鏈接的延伸長度以這樣的顏色變化指示，所述顏色變化為其單獨的所述可聯(lián)接器械的其相應的第一、第二或第三物體中至少其中之一的顏色變化。
34.根據(jù)權利要求26所述的醫(yī)療機器人系統(tǒng)，其中所述單獨的所述可聯(lián)接器械的所述第一鏈接可延伸出所述進入引導器的所述遠端，并且所述第一鏈接的延伸長度由這樣的相對尺寸變化指示，所述相對尺寸變化為其單獨的所述可聯(lián)接器械的其相應的第一、第二或第三物體中至少其中兩個之間的相對尺寸變化。
35.根據(jù)權利要求26所述的醫(yī)療機器人系統(tǒng)，其中所述視圖進一步包含第一段和第二段的圖示，其中第一段連接所述第一和第二物體；第二段連接所述第二和第三物體，單獨的所述可聯(lián)接器械的所述第一鏈接能夠延伸出所述進入引導器，并且所述第一鏈接的延伸長度以這樣的顏色變化指示，所述顏色變化為其單獨的所述可聯(lián)接器械的其相應的第一段和第二段中至少其中之一的顏色變化。
36.根據(jù)權利要求26所述的醫(yī)療機器人系統(tǒng)，其中所述視圖進一步包含第一段和第二段的圖示，其中第一段連接所述第一和第二物體；第二段連接所述第二和第三物體，單獨的所述一個或多于一個可聯(lián)接器械的所述第一鏈接能夠延伸出所述進入引導器，并且所述第一鏈接的延伸長度由這樣的尺寸變化指示，所述尺寸變化為其單獨的所述一個或多于一個可聯(lián)接器械的其相應的第一段和第二段中至少其中之一的尺寸變化。
37.根據(jù)權利要求26所述的醫(yī)療機器人系統(tǒng)，其中所述視圖進一步包含第一段和第二段的圖示，其中第一段連接所述第一和第二物體；第二段連接所述第二和第三物體，單獨的所述一個或多于一個可聯(lián)接器械的所述第一鏈接能夠延伸出所述進入引導器，并且所述第一鏈接的延伸長度由這樣的形狀變化指示，所述形狀變化為其單獨的所述一個或多于一個可聯(lián)接器械的其相應的第一段和第二段中至少其中之一的形狀變化。
38.根據(jù)權利要求26所述的醫(yī)療機器人系統(tǒng)，其中一個所述可聯(lián)接器械的所述醫(yī)療裝置包括第一元件，其鉸鏈連接至第二元件，以便所述第一和第二元件可控地開啟和閉合，產生所述第一和第二元件之間的一個角度，并且其相應的第三物體具有兩個夾子，其被顯示從而指示所述第一元件和第二元件之間的所述角度。
39.根據(jù)權利要求26所述的醫(yī)療機器人系統(tǒng)，其中一個所述可聯(lián)接器械的所述醫(yī)療裝置包括可聯(lián)接相機器械，并且顯示的視圖用于補充由可聯(lián)接相機器械捕捉的圖像。
40.根據(jù)權利要求39所述的醫(yī)療機器人系統(tǒng)，其中相應于包括所述可聯(lián)接相機器械的醫(yī)療裝置的第三物體具有這樣的區(qū)域，其在所述顯示屏上顯示，從而指示所述可聯(lián)接相機器械的視場。
全文摘要
一種醫(yī)療機器人系統(tǒng)(100)，其包括具有手術工具(231、241)的進入引導器(200)，以及延伸出其遠端的相機(211)。為了補充由相機捕捉的圖像提供的視圖，包括手術工具的可聯(lián)接手臂和/或相機的輔助視圖根據(jù)從指定觀察點透視圖的傳感的或其他方式確定的關于其位置和方向的信息產生，其位置和取向的信息和運動限制范圍指示一起顯示在顯示屏(140)。
文檔編號A61B19/00GK102802550SQ201080028525
公開日2012年11月28日 申請日期2010年6月11日 優(yōu)先權日2009年6月23日
發(fā)明者M·E·托尼亞奇尼, D·H·戈麥斯, N·迪奧拉伊蒂, T·穆斯塔法, P·米特拉, P·E·里拉岡 申請人:直觀外科手術操作公司