專利名稱：用于手術(shù)機(jī)器人的放大立體可視化的制作方法
技術(shù)領(lǐng)域：
本發(fā)明的各方面涉及內(nèi)窺鏡成像，更具體地涉及融合可見光和備用圖像(visible and alternate image)以便給外科醫(yī)生提供增強(qiáng)的實(shí)時(shí)視頻顯示。
背景技術(shù)：
加利福尼亞州Sunnyvale的Intuitive Surgical (直觀外科手術(shù))公司制造的da Vinci 手術(shù)系統(tǒng)是微創(chuàng)遙控機(jī)器人手術(shù)系統(tǒng)，它給病人帶來(lái)許多益處，如身體傷疤減少、 恢復(fù)較快和住院時(shí)間較短。da Vinci 手術(shù)系統(tǒng)的一個(gè)關(guān)鍵的構(gòu)成要素是提供三維(3D) 可見光圖像的雙通道(即，左和右)視頻捕獲和顯示能力，為外科醫(yī)生提供了立體視圖。此種電子立體成像系統(tǒng)可以向外科醫(yī)生輸出高清晰度視頻圖像，并可以允許諸如圖像縮放(zoom)的功能從而提供“放大”視圖，使得外科醫(yī)生得以識(shí)別特殊組織的類型和特性以及以增大的精確度操作。但是，在典型的手術(shù)視野(surgical field)中，某些組織的類型很難識(shí)別，或者感興趣的組織可能被其它組織至少部分地遮蓋。

發(fā)明內(nèi)容
在一方面，機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置內(nèi)窺鏡?？梢姽獬上裣到y(tǒng)耦合到該內(nèi)窺鏡。 該可見光成像系統(tǒng)捕獲組織的可見光圖像。備用成像系統(tǒng)也耦合到該內(nèi)窺鏡。該備用成像系統(tǒng)捕獲該組織至少一部分的熒光圖像。立體視頻顯示系統(tǒng)耦合到該可見光成像系統(tǒng)和該備用成像系統(tǒng)。該立體視頻顯示系統(tǒng)輸出實(shí)時(shí)立體圖像，該實(shí)時(shí)立體圖像包含與所捕獲的熒光圖像關(guān)聯(lián)的熒光圖像和該可見光圖像的融合的三維展示(presentation)。因而，通過(guò)合并立體可見光圖像和立體備用成像模態(tài)圖像，手術(shù)機(jī)器人的立體視頻捕獲和查看能力被增強(qiáng)，從而在手術(shù)期間實(shí)時(shí)識(shí)別臨床感興趣的組織。除了外科醫(yī)生在采用遙控手術(shù)系統(tǒng)進(jìn)行手術(shù)操作時(shí)正常使用的立體可見光圖像以外，本發(fā)明的各方面同時(shí)還提供了識(shí)別臨床感興趣的組織的立體備用模態(tài)圖像。這種立體可見光和備用圖像結(jié)合提供了益處，其包括但不局限于，允許外科醫(yī)生實(shí)時(shí)為患病組織切除識(shí)別陽(yáng)性腫瘤邊緣以及識(shí)別神經(jīng)以便避免切割那些神經(jīng)。這種成像結(jié)合可以是立體可見光和備用圖像的連續(xù)覆蓋(continuous overlay),或者該立體備用圖像的覆蓋可以間歇地切換(toggl on and off)。并且，在一方面，可見光圖像和另一熒光圖像的實(shí)時(shí)三維融合僅在該立體圖像的一只眼中展示。在另一方面，該可見光成像系統(tǒng)以第一幀率捕獲該可見光圖像，而該備用成像系統(tǒng)以第二幀率捕獲該熒光圖像。第一幀率與第二幀率不同。該備用成像系統(tǒng)通過(guò)生成人工熒光圖像以第一幀率將熒光圖像提供給該立體視頻顯示系統(tǒng)，從而使該熒光圖像與該可見光圖像同步。因而，在一個(gè)方面，方法包括從由機(jī)器人手術(shù)系統(tǒng)的機(jī)器人操縱臂握持和設(shè)置的內(nèi)窺鏡中捕獲組織的可見光圖像。這種方法也從該內(nèi)窺鏡中捕獲該組織的至少一部分的備用圖像。該備用圖像包含熒光圖像。在這種方法中，將與所捕獲的熒光圖像關(guān)聯(lián)的另一個(gè)熒光圖像和該可見光圖像的融合以實(shí)時(shí)立體視頻顯示輸出。在另一方面，該方法利用與所捕獲的熒光圖像關(guān)聯(lián)的信息生成第二熒光圖像。該第二熒光圖像是另一熒光圖像。在又一方面，該方法利用與可見光圖像關(guān)聯(lián)的信息生成第二可見光圖像。該可見光圖像和第二可見光圖像包含可見光圖像的立體像對(duì)。在這個(gè)方面，該方法也利用與熒光圖像關(guān)聯(lián)的信息生成第二熒光圖像。該第二熒光圖像是另一個(gè)熒光圖像。在一個(gè)方面，照射通道由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置。來(lái)自照射通道的光照射組織。立體光通道也由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置。該立體光通道傳輸(transport)來(lái)自該組織的第一光。另一個(gè)光通道也由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置。這個(gè)光通道傳輸來(lái)自該組織的第二光。該立體光通道與另一個(gè)光通道不同。圖像捕獲系統(tǒng)包括耦合到立體光通道的第一捕獲單元。該第一捕獲單元從第一光中捕獲立體可見光圖像。該圖像捕獲系統(tǒng)也包括耦合到另一個(gè)光通道的第二捕獲單元。該第二捕獲單元從第二光中捕獲熒光圖像。智能圖像處理系統(tǒng)耦合到該第一捕獲單元和該第二捕獲單元。該智能圖像處理系統(tǒng)接收所捕獲的立體可見光圖像和所捕獲的熒光圖像。該智能圖像處理系統(tǒng)生成熒光圖像立體像對(duì)。放大立體顯示系統(tǒng)耦合到該智能圖像處理系統(tǒng)和該圖像捕獲系統(tǒng)。該放大立體顯示系統(tǒng)輸出實(shí)時(shí)立體圖像，所述實(shí)時(shí)立體圖像包含該立體可見光圖像與該熒光圖像立體像對(duì)的融合的三維展示。在另一方面，方法包括從由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的立體光通路(optical path)中捕獲組織的立體可見光圖像。這種方法也包括從由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的另一個(gè)光通道(optical channel)中捕獲組織的熒光圖像。該立體光通道與另一個(gè)光通道不同。該方法利用來(lái)自所捕獲的立體可見光圖像的信息處理所捕獲的熒光圖像，從而生成熒光圖像立體像對(duì)。生成該組織的實(shí)時(shí)放大立體圖像，所述實(shí)時(shí)放大立體圖像包含該立體可見光圖像與該熒光圖像立體像對(duì)的融合的三維展示。在一個(gè)方面，內(nèi)窺鏡由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置。該內(nèi)窺鏡包括立體光通道，其具有傳輸來(lái)自組織的第一光的第一通道和傳輸來(lái)自組織的第二光的第二通道。第一捕獲單元耦合到該第一通道。該第一捕獲單元從第一光中捕獲與熒光左圖像結(jié)合的可見光左圖像的可見光第一顏色分量；從第一光中捕獲該可見光左圖像的可見光第二顏色分量；和從第一光中捕獲該可見光左圖像的可見光第三顏色分量。第二捕獲單元耦合到該第二通道。該第二捕獲單元從第二光中捕獲與熒光右圖像結(jié)合的可見光右圖像的可見光第一顏色分量；從第二光中捕獲該可見光右圖像的可見光第二顏色分量；和從第二光中捕獲該可見光右圖像的可見光第三顏色分量。該兩個(gè)捕獲單元都包括在圖像捕獲系統(tǒng)中。放大立體顯示系統(tǒng)耦合到該圖像捕獲系統(tǒng)。該放大立體顯示系統(tǒng)輸出該組織至少一部分的實(shí)時(shí)立體圖像。該實(shí)時(shí)立體圖像包括包含該可見光左和右圖像以及該熒光左和右圖像的三維展示。該第一捕獲單元包括棱鏡。該棱鏡將第一光分成(1)該可見光左圖像的可見光第一顏色分量、(2)該可見光左圖像的可見光第二顏色分量、(3)該可見光左圖像的第三顏色分量，和(4)從該第一、第二和第三顏色分量中分離并去除的第四分量，其具有第一顏色分量的顏色，其中第四分量是熒光左圖像。在一個(gè)方面，該第二捕獲單元包括類似棱鏡。在再一方面，方法從由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路中捕獲與組織至少一部分的熒光左圖像結(jié)合的該組織可見光左圖像的可見光第一顏色分量。該方法也從該立體光通路中捕獲該可見光左圖像的可見光第二顏色分量；從該立體光通路中捕獲該可見光左圖像的可見光第三顏色分量；從由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路中捕獲與組織至少一部分的熒光右圖像結(jié)合的該組織可見光右圖像的可見光第一顏色分量；從該立體光通路中捕獲該可見光右圖像的可見光第二顏色分量；和從該立體光通路中捕獲該可見光右圖像的可見光第三顏色分量。該方法生成了該組織的實(shí)時(shí)放大立體圖像。該實(shí)時(shí)放大立體圖像包括包含可見光左和右圖像及熒光左和右圖像的三維展示。這種方法利用棱鏡將來(lái)自立體光通路的光分成(1)該可見光第一顏色分量、(2) 該可見光第二顏色分量、( 該可見光第三顏色分量，和(4)從該第一、第二和第三顏色分量中分離并去除的第四分量，其具有第一顏色分量的顏色。該第四分量是熒光圖像。在一個(gè)方面，內(nèi)窺鏡也由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置。該內(nèi)窺鏡包括傳輸來(lái)自組織的光的立體光通道。捕獲單元耦合到該立體光通道。該捕獲單元從該光中捕獲(1)可見光第一圖像和( 與熒光第二圖像結(jié)合的可見光第二圖像。該第一圖像是左圖像和右圖像中的一個(gè)。該第二圖像是左圖像和右圖像中的另一個(gè)。智能圖像處理系統(tǒng)耦合到該捕獲單元，從而接收(1)可見光第一圖像和( 與熒光第二圖像結(jié)合的可見光第二圖像。該智能圖像處理系統(tǒng)可以生成熒光圖像立體像對(duì)的至少一個(gè)熒光圖像，和可見光第二圖像。放大立體顯示系統(tǒng)耦合到該智能圖像處理系統(tǒng)和該圖像捕獲系統(tǒng)。該放大立體顯示系統(tǒng)輸出包括三維展示的實(shí)時(shí)立體圖像。該三維展示包括在一只眼中熒光圖像立體像對(duì)的至少一個(gè)熒光圖像與可見光第一和第二圖像中的一個(gè)的融合，和在另一只眼中可見光第一和第二圖像中的另一個(gè)。在又一個(gè)方面，方法從由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路中捕獲該組織的可見光第一圖像。該方法也從由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路中捕獲與該組織的熒光第二圖像結(jié)合的可見光第二圖像。該第一圖像是該左圖像和該右圖像中的一個(gè)。該第二圖像是該左圖像和該右圖像中的另一個(gè)。
該方法處理該可見光第一圖像和與該熒光第二圖像結(jié)合的可見光第二圖像，從而生成熒光圖像立體像對(duì)的至少一個(gè)熒光圖像，和可見光第二圖像。生成包含三維展示的實(shí)時(shí)立體圖像。該三維展示包括在一只眼中熒光圖像立體像對(duì)的至少一個(gè)熒光圖像與該可見光第一和第二圖像中的一個(gè)的融合，和在另一只眼中可見光第一和第二圖像中的另一個(gè)。在一個(gè)方面，內(nèi)窺鏡還由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置。該內(nèi)窺鏡包括傳輸來(lái)自組織的光的立體光通道。捕獲單元耦合到該立體光通道。該捕獲單元(1)在第一時(shí)間從該光中捕獲第一圖像，并且( 在不同于第一時(shí)間的第二時(shí)間從該光中捕獲第二圖像。該第一圖像和第二圖像中僅有一個(gè)包括熒光圖像與可見光圖像的結(jié)合。該第一圖像和第二圖像中的另一個(gè)是可見光圖像。智能圖像處理系統(tǒng)耦合到該捕獲單元。該智能圖像處理系統(tǒng)利用所捕獲的熒光圖像生成人工熒光圖像。放大立體顯示系統(tǒng)耦合到該智能圖像處理系統(tǒng)。該放大立體顯示系統(tǒng)輸出包含人工熒光圖像的該組織至少一部分的放大立體圖像。在一個(gè)方面，該熒光圖像包括熒光左圖像和熒光右圖像。該第一圖像包含圖像的立體像對(duì)，其包括與熒光左圖像結(jié)合的可見光左圖像，和與熒光右圖像結(jié)合的可見光右圖像。該機(jī)器人手術(shù)系統(tǒng)利用該熒光左和右圖像生成第二時(shí)間的熒光圖像的人工立體像對(duì)， 以便該熒光圖像的人工立體像對(duì)為人工熒光圖像。該智能圖像處理系統(tǒng)也包括使該第一圖像和第二圖像配準(zhǔn)的時(shí)間圖像配準(zhǔn)。在另一方面，該第一圖像包括可見光圖像，該可見光圖像又包括可見光第一顏色分量、可見光第二顏色分量和可見光第三顏色分量。該第二圖像包括與熒光圖像結(jié)合的可見光圖像，其包括與熒光圖像結(jié)合的可見光第一顏色分量、可見光第二顏色分量和可見光第三顏色分量。該智能圖像處理系統(tǒng)進(jìn)一步包含熒光圖像和偽影生成器(artifact generator)，用于生成(1)可見光第二和第三顏色分量的偽影，和( 熒光圖像加可見光第一顏色分量的偽影。在這個(gè)方面，該智能圖像處理系統(tǒng)還包括耦合到該熒光圖像和偽影生成器的熒光圖像提取器(extractor)。該熒光圖像提取器生成第二時(shí)間的第一熒光圖像。熒光圖像增強(qiáng)系統(tǒng)耦合到該熒光圖像生成器。該熒光圖像增強(qiáng)系統(tǒng)接收該第一熒光圖像并生成人工熒光圖像。在再一個(gè)方面，方法包括在第一時(shí)間從在第一時(shí)間由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路的光中捕獲第一圖像，其中該光來(lái)自組織。這個(gè)方法也包括在不同于第一時(shí)間的第二時(shí)間從該光中捕獲第二圖像，其中該第一圖像和第二圖像中僅有一個(gè)包括熒光圖像和可見光圖像的結(jié)合，該第一圖像和第二圖像中的另一個(gè)是可見光圖像。人工熒光圖像利用所捕獲的熒光圖像生成。還生成該組織至少一部分的放大立體圖像，其包括人工熒光圖像。


圖1是用于微創(chuàng)手術(shù)機(jī)器人的放大立體可視化系統(tǒng)的簡(jiǎn)圖。圖2是利用例如圖1中用于微創(chuàng)手術(shù)機(jī)器人的放大立體可視化系統(tǒng)執(zhí)行的過(guò)程的過(guò)程流程圖。
圖3A是示出利用兩個(gè)獨(dú)立光通路(但熒光成像有一個(gè)攝像機(jī)單元)的硬件和軟件(圖像處理和用戶界面)方面的示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機(jī)器人系統(tǒng)中用于捕獲、處理和輸出融合的實(shí)時(shí)立體可見光和熒光圖像。圖IBB是示出內(nèi)窺鏡的更詳細(xì)的視圖，該內(nèi)窺鏡具有兩個(gè)獨(dú)立光通路和耦合到每個(gè)光通路的獨(dú)立攝像機(jī)單元。圖3C示出連接到光纖電纜的組合照射源的一個(gè)方面。圖3D示出空間圖像配準(zhǔn)系統(tǒng)的一個(gè)方面。圖3E是示出利用兩個(gè)獨(dú)立光通路和立體攝像機(jī)的硬件和軟件(圖像處理和用戶界面)方面的替換示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機(jī)器人系統(tǒng)中用于捕獲、處理和輸出融合的實(shí)時(shí)立體可見光和熒光圖像。圖4是利用例如圖3A中用于微創(chuàng)手術(shù)機(jī)器人的放大立體可視化系統(tǒng)執(zhí)行的過(guò)程的過(guò)程流程圖。圖5A是示出利用具有獨(dú)立攝像機(jī)的單個(gè)立體光通路的硬件和軟件(圖像處理和用戶界面)方面的示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機(jī)器人系統(tǒng)中用于捕獲、處理和輸出融合的立體實(shí)時(shí)可見光和熒光圖像。圖5B是示出內(nèi)窺鏡的更詳細(xì)的視圖，該內(nèi)窺鏡具有耦合到它的兩個(gè)獨(dú)立攝像機(jī)單元。圖5C 5E和圖5G示出組合光源的方面和用于傳輸來(lái)自該組合光源的光的一個(gè)光纖束或多個(gè)光纖束的方面。圖5F示出從組織中分離可見光和熒光圖像的一個(gè)方面。圖6是利用例如圖5A中用于微創(chuàng)手術(shù)機(jī)器人的放大立體可視化系統(tǒng)執(zhí)行的過(guò)程的過(guò)程流程圖。圖7A是利用具有單個(gè)立體光通路的通道劃分(channel division)的硬件和軟件 (圖像處理和用戶界面)方面的示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機(jī)器人系統(tǒng)中用于捕獲、處理和輸出融合的實(shí)時(shí)立體可見光和熒光圖像。圖7B是示出內(nèi)窺鏡的更詳細(xì)的視圖，該內(nèi)窺鏡具有耦合到它的單個(gè)攝像機(jī)單元。圖8是利用例如圖7A中用于微創(chuàng)手術(shù)機(jī)器人的放大立體可視化系統(tǒng)執(zhí)行的過(guò)程的過(guò)程流程圖。圖9A和圖9B是示出利用具有單個(gè)立體光通路的時(shí)分(time division)的硬件和軟件(圖像處理和用戶界面)方面的示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機(jī)器人系統(tǒng)中用于捕獲、處理和輸出融合的立體可見光和熒光圖像。圖9C示出圖9A和圖9B中系統(tǒng)的定時(shí)、同步和捕獲的一個(gè)方面。圖9D是示出利用具有單個(gè)立體光通路的時(shí)分(time division)的硬件和軟件 (圖像處理和用戶界面)方面的示意圖，該硬件和軟件方面在微創(chuàng)手術(shù)機(jī)器人系統(tǒng)中用于捕獲，替換地處理和輸出融合的立體可見光和熒光圖像。圖9E是示出智能圖像處理系統(tǒng)的替換方面的示意圖。圖IOA是利用例如圖9A中用于微創(chuàng)手術(shù)機(jī)器人的放大立體可視化系統(tǒng)執(zhí)行的過(guò)程的過(guò)程流程圖。圖IOB示出利用圖IOA的過(guò)程產(chǎn)生的定時(shí)、同步、捕獲和人工熒光幀的方面。
圖1IA示出利用時(shí)分以及利用單個(gè)立體光通路捕獲具有可見光顏色分量之一的熒光圖像、在微創(chuàng)手術(shù)機(jī)器人系統(tǒng)中處理和輸出融合的立體可見光和熒光圖像的硬件和軟件方面。圖IlB示出圖IlA中系統(tǒng)的定時(shí)、同步和捕獲的一方面。圖12是圖IlA中智能圖像處理系統(tǒng)的一個(gè)方面的過(guò)程流程圖。圖13A是示出利用單個(gè)立體光通路、在微創(chuàng)手術(shù)機(jī)器人系統(tǒng)中用具有改進(jìn)型棱鏡 (modified prism)的攝像機(jī)單元捕獲、處理和輸出實(shí)時(shí)立體可見光和熒光圖像的硬件和軟件(圖像處理和用戶界面)方面的示意圖。圖1 示出來(lái)自棱鏡的光譜，該棱鏡將來(lái)自組織的可見光和熒光分成可見光圖像的第一顏色分量、可見光圖像的第二顏色分量、可見光圖像的第三顏色分量和從第一、第二和第三顏色分量分離和去除的第四分量，其中第四分量具有顏色分量之一的顏色。圖14是利用例如圖13A中用于微創(chuàng)手術(shù)機(jī)器人的放大立體可視化系統(tǒng)執(zhí)行的過(guò)程的過(guò)程流程圖。圖15示出利用具有1-芯片CCD傳感器的立體內(nèi)窺鏡的在微創(chuàng)手術(shù)機(jī)器人的放大立體可視化系統(tǒng)中時(shí)間和通道劃分的定時(shí)、同步和捕獲的一個(gè)方面。在圖中，單位數(shù)圖號(hào)的圖號(hào)中第一個(gè)數(shù)字和雙位數(shù)圖號(hào)的圖號(hào)中前兩個(gè)數(shù)字表示其中具有那個(gè)圖號(hào)的元件第一次出現(xiàn)的圖。
具體實(shí)施例方式如本文使用的，“機(jī)器人”應(yīng)在廣義上解讀，其包括遙控機(jī)器人系統(tǒng)。如本文使用的，電子立體成像包括兩個(gè)成像通道(即，左圖像和右圖像的通道)的使用。如本文使用的，立體光通路包括用于傳輸來(lái)自組織的光的內(nèi)窺鏡中的兩個(gè)通道 (例如，左圖像和右圖像的通道)。在每個(gè)通道中傳輸?shù)墓獗硎驹摻M織的不同視圖，所以有時(shí)稱為第一光和第二光，用以區(qū)分該兩個(gè)通道中的光。該光可以包括一個(gè)或多個(gè)圖像。如本文使用的，照射通路包括向組織提供照射的內(nèi)窺鏡中的通路。如本文使用的，在可見光譜內(nèi)捕獲的圖像稱為可見光圖像。如本文使用的，以備用成像模態(tài)捕獲的不包括可見光圖像的圖像稱為備用圖像。 備用成像模態(tài)的示例是捕獲組織熒光的圖像。如本文使用的，因?yàn)闊晒舛徊东@的圖像在本文稱為熒光圖像。存在多種熒光成像模態(tài)。熒光可以利用例如可注射染料、熒光蛋白或熒光標(biāo)記抗體生成。熒光可以由例如激光或其它能源的激發(fā)引起。熒光圖像可以提供對(duì)手術(shù)至關(guān)重要的病人體內(nèi)重要信息，如病理信息(例如，發(fā)熒光腫瘤)或解剖信息(例如，發(fā)熒光的示蹤神經(jīng))。如本文使用的，長(zhǎng)通濾波器讓高于波長(zhǎng)數(shù)的所有波長(zhǎng)通過(guò)。例如，510nm長(zhǎng)通濾波器讓高于510nm的所有波長(zhǎng)通過(guò)該濾波器。典型地，長(zhǎng)通濾波器在熒光中用作屏障濾波器。 長(zhǎng)通濾波器有時(shí)用來(lái)使熒光通過(guò)該濾波器而不讓激發(fā)光通過(guò)。如本文使用的，短通濾波器讓波長(zhǎng)低于該濾波器波長(zhǎng)的光通過(guò)該濾波器。例如， 480nm短通濾波器讓波長(zhǎng)低于480nm(小于480nm)的光通過(guò)該濾波器。短通濾波器有時(shí)用作熒光的激發(fā)濾波器。
如本文使用的，帶通濾波器僅允許一組波長(zhǎng)通過(guò)。該波長(zhǎng)數(shù)稱為帶通濾波器的中心波長(zhǎng)。該中心波長(zhǎng)是允許在將通過(guò)該濾波器的波長(zhǎng)范圍內(nèi)的大部分光通過(guò)的波長(zhǎng)。這常常是該濾波器的中心波長(zhǎng)。帶通濾波器由中心波長(zhǎng)和通帶或?qū)挾仍u(píng)定(rate)。
本發(fā)明的各方面可以放大手術(shù)機(jī)器人(例如加利福尼亞州Surmywale的 Intuitive Surgical公司制造的da Vinci 手術(shù)機(jī)器人系統(tǒng))的立體視圖捕獲和查看能力，其通過(guò)合并立體可見光圖像和立體備用成像模態(tài)圖像實(shí)現(xiàn)，從而在手術(shù)期間實(shí)時(shí)識(shí)別臨床感興趣的組織。(da Vinci 是加利福尼亞州Sunnywale的htuitive Surgical公司的注冊(cè)商標(biāo))。除了外科醫(yī)生在采用遙控手術(shù)系統(tǒng)進(jìn)行手術(shù)操作時(shí)正常使用的立體可見光圖像以外，本發(fā)明各方面同時(shí)還提供了識(shí)別臨床感興趣的組織的立體備用模態(tài)圖像。立體可見光圖像和備用圖像的這種結(jié)合提供了這種益處，其包括但不限于，允許外科醫(yī)生實(shí)時(shí)為患病組織切除識(shí)別陽(yáng)性腫瘤邊緣和識(shí)別神經(jīng)以避免切割那些神經(jīng)。這種成像結(jié)合可以是立體可見光圖像和備用圖像的連續(xù)覆蓋(overlay)，或者該立體備用圖像的覆蓋可以間歇地切換(例如，通過(guò)使用腳踏板或通過(guò)雙擊da Vinci 手術(shù)系統(tǒng)外科醫(yī)生控制臺(tái)上的主控指狀抓取器(master finger grip))。圖1是一個(gè)包括放大立體可視化系統(tǒng)100的機(jī)器人手術(shù)系統(tǒng)，例如da Vinci 手術(shù)系統(tǒng)的高級(jí)簡(jiǎn)圖。在這個(gè)示例中，外科醫(yī)生利用外科醫(yī)生控制臺(tái)114，使用機(jī)器人操縱臂 113遠(yuǎn)程操縱內(nèi)窺鏡112。還有與da Vinci 手術(shù)系統(tǒng)關(guān)聯(lián)的其它零件、電纜等，但為了避免削弱本公開，所以未將它們示出在圖1中。如下面更完整地解釋，照射系統(tǒng)(未示出)耦合到內(nèi)窺鏡112。典型地，該照射系統(tǒng)提供白色光和至少一種熒光激發(fā)光。這種光的全部或部分通過(guò)光纖束耦合到內(nèi)窺鏡112 中的至少一個(gè)照射通路中。該光通過(guò)內(nèi)窺鏡112中的至少一個(gè)照射通路并照射病人111的組織103。在一方面，內(nèi)窺鏡112還包括使來(lái)自該組織的光，例如反射的白色光和熒光通過(guò)的兩個(gè)光通道。該反射的白色光是可見光圖像，而該熒光是熒光圖像。從組織103反射的白色光作為可見光立體圖像121被捕獲在圖像捕獲系統(tǒng)120 中。類似地，一個(gè)熒光圖像或多個(gè)熒光圖像122也被捕獲在圖像捕獲硬件120中。如下面更完整地解釋，立體顯示所需的各種圖像的捕獲有多種方式。典型地，圖像捕獲硬件120包括至少一個(gè)攝像機(jī)，該攝像機(jī)包括電荷耦合器件(CCD)傳感器。圖像的捕獲同時(shí)或幾乎同時(shí)發(fā)生在圖像捕獲系統(tǒng)120中。在一方面，智能圖像處理系統(tǒng)130與圖像捕獲系統(tǒng)120配合運(yùn)行，從而從由光通道提供的信息中提取熒光圖像。例如，考慮用于激發(fā)熒光的激光頻率，濾波處理和光譜均衡器 (spectrum balancer) 一起工作從而補(bǔ)償在去除熒光圖像的過(guò)程中可見光圖像的任何退化 (degradation) 0并且，處理所捕獲的圖像以便隨后在智能成像處理系統(tǒng)130中立體顯示。例如，當(dāng)利用具有固定關(guān)系的獨(dú)立光通道將熒光圖像和反射的白色光圖像傳輸?shù)街悄軋D像處理系統(tǒng)130中時(shí)，可以基于獨(dú)立光通道的固定相對(duì)位置采用一步校準(zhǔn)。智能圖像處理系統(tǒng)130適當(dāng)時(shí)也執(zhí)行(多個(gè))熒光圖像與可見光圖像的空間圖像配準(zhǔn)。該空間圖像配準(zhǔn)允許該熒光圖像在放大立體顯示系統(tǒng)140中適當(dāng)覆蓋。在另一方面，智能圖像處理系統(tǒng)130執(zhí)行左通道和右通道可見光圖像的立體匹配。在又一個(gè)方面，智能圖像處理生成人工可見光和/或熒光圖像，以便可以向外科醫(yī)生展示放大的立體顯示。因而，對(duì)于采用具有放大的立體可視化系統(tǒng)100的手術(shù)機(jī)器人系統(tǒng)執(zhí)行微創(chuàng)手術(shù)的外科醫(yī)生，組織103在照射組織過(guò)程201中被照射(圖2、從而允許捕獲可見光圖像和備用圖像(如熒光圖像)。技術(shù)人員應(yīng)理解，當(dāng)組織本身受特定波長(zhǎng)的光激發(fā)時(shí)，或者替換地當(dāng)附加到組織 103上的組織特異性熒光團(tuán)受到特定波長(zhǎng)的光激發(fā)時(shí)，熒光可以自然發(fā)生。因而，本文描述的熒光圖像可以通過(guò)任一技術(shù)獲得。技術(shù)人員也應(yīng)理解，一些熒光團(tuán)放出可見光譜內(nèi)的能量，而其他熒光團(tuán)放出可見光譜范圍之外的能量(例如，在約830nm處的)。本發(fā)明的方面包括，在照射組織的過(guò)程201中利用可見光圖像用的寬光譜白色光源和備用圖像用的另一種光源照射組織。例如，激發(fā)組織特異性熒光團(tuán)的窄帶光(narrow band light)可以用作備用圖像用的光源。對(duì)于熒光備用圖像，如果激發(fā)波長(zhǎng)存在于可見光譜內(nèi)，則白色光可以起作用從而激發(fā)熒光團(tuán)。如果激發(fā)波長(zhǎng)存在于可見光譜范圍之外(例如，在近紅外(IR)中)或如果該可見光譜內(nèi)的波長(zhǎng)處需要另外的激發(fā)能量，則在照射組織過(guò)程201中使用激光模塊(或其它能源，例如發(fā)光二極管或過(guò)濾的白色光)同時(shí)照射該組織。這種同時(shí)照射可以各種方式完成，如下面更完整地討論。在預(yù)處理來(lái)自組織的光的過(guò)程202中限定(condition)來(lái)自組織103的反射和發(fā)射光。例如，過(guò)濾該光從而增強(qiáng)立體視頻顯示中的圖像對(duì)比。如果該反射和發(fā)射光包括在單個(gè)光通道中，則預(yù)處理來(lái)自組織的光的過(guò)程202將該光分成反射光和放射光。預(yù)處理來(lái)自組織的光的過(guò)程202是可選的，并且在某些方面可以不采用它。因而， 來(lái)自組織103的預(yù)處理光或來(lái)自組織103的原始光通過(guò)捕獲圖像的過(guò)程203。預(yù)處理來(lái)自組織的光的過(guò)程202的輸出作為可見光圖像和(多個(gè))備用圖像被捕獲在捕獲圖像的過(guò)程203中。參見例如上述圖像捕獲系統(tǒng)120。智能處理204對(duì)所捕獲圖像執(zhí)行必要過(guò)程，從而提供立體顯示用的整組可見光和熒光圖像。在生成組織立體視頻顯示的過(guò)程205中，該組可見光和熒光圖像按需要融合從而生成該組織的三維展示。該三維展示排除了現(xiàn)有技術(shù)中有關(guān)組織相對(duì)于內(nèi)窺鏡變化的距離和幾何結(jié)構(gòu)的問(wèn)題。特別地，具有備用圖像和/或可見光圖像的組織實(shí)時(shí)立體顯示提供了該組織的準(zhǔn)確三維視圖，外科醫(yī)生可以用其確定手術(shù)范圍，例如患病組織位置、神經(jīng)或其它器官等的位置。來(lái)自組織的兩個(gè)獨(dú)立光通路在圖3A的實(shí)施例中，機(jī)器人手術(shù)系統(tǒng)(未示出)包括兩個(gè)獨(dú)立而且不同的光通路，用于將來(lái)自組織303的光傳輸?shù)椒糯罅Ⅲw視覺系統(tǒng)300中。來(lái)自兩個(gè)光通路的光用來(lái)生成組織303的實(shí)時(shí)立體視頻顯示以供外科醫(yī)生操作機(jī)器人手術(shù)系統(tǒng)。在一方面，該立體視頻顯示包括用一個(gè)或多個(gè)備用圖像放大的組織303的正常三維視圖，從而突出(highlight)組織中感興趣的區(qū)域(如組織303的患病部分)和/或特定組織(如不同于被操作部分的神經(jīng)或器官)。典型地，備用圖像以特定色彩，例如藍(lán)色展示。
在這個(gè)示例中，示出兩個(gè)獨(dú)立的內(nèi)窺鏡301、302，其提供了立體光通路和從組織 303到硬件320的至少一個(gè)其它光通路。內(nèi)窺鏡302包括構(gòu)成立體光通路的兩個(gè)光通道，而內(nèi)窺鏡301包括至少一個(gè)光通道?；蛘撸泄馔ǖ蓝伎梢栽趩蝹€(gè)內(nèi)窺鏡中。因此，圖3A 的各方面僅是說(shuō)明性的而不是要將這個(gè)實(shí)施例局限于所示出的特定方面。在這個(gè)示例中，內(nèi)窺鏡301和302各自包括用于把來(lái)自組合光源310的光提供給組織303的照射通路?；蛘?，可以利用單個(gè)照射通路來(lái)將該光提供給組織303。雖然未示出，但是在一方面，內(nèi)窺鏡301和302各自通過(guò)機(jī)器人手術(shù)系統(tǒng)以固定關(guān)系握持和移動(dòng)。例如，參見圖1?？商鎿Q地，可以利用不同的機(jī)器人手臂分別握持和移動(dòng)該兩個(gè)內(nèi)窺鏡。在這個(gè)方面，來(lái)自機(jī)器人手臂的實(shí)時(shí)運(yùn)動(dòng)學(xué)信息(kinematic information)用于對(duì)準(zhǔn)該兩個(gè)內(nèi)窺鏡。在這個(gè)示例中，放大立體視覺系統(tǒng)300包括組合光源310、硬件320和多個(gè)基于計(jì)算機(jī)的方法390。如圖3A所示，硬件320的一部分構(gòu)成圖像捕獲系統(tǒng)120A。硬件320的另一部分和多個(gè)基于計(jì)算機(jī)的方法390的一部分構(gòu)成智能圖像處理系統(tǒng)130A。硬件320的又一部分和多個(gè)基于計(jì)算機(jī)的方法390的另一部分構(gòu)成放大立體顯示系統(tǒng)140A。在圖像捕獲系統(tǒng)120A和智能圖像處理系統(tǒng)130A內(nèi)，處理可見光圖像的部分構(gòu)成可見光成像系統(tǒng)，而處理熒光圖像的部分構(gòu)成備用成像系統(tǒng)。并且，在一方面，圖4的方法400可以利用放大立體視覺系統(tǒng)300實(shí)施。如圖4所示，方法400包括多個(gè)單獨(dú)的過(guò)程。方法400是方法200的一種實(shí)施方式(圖2)。在一個(gè)方面，硬件320包括至少兩個(gè)攝像機(jī)單元331、332(圖3B)。一個(gè)攝像機(jī)單元332包括兩個(gè)3-芯片電荷耦合器件(CXD)高分辨率攝像機(jī)，而另一個(gè)攝像機(jī)單元331包括1-芯片CXD攝像機(jī)。在這個(gè)方面，攝像機(jī)單元331通過(guò)包括濾波器的濾波塊(filter block) 333耦合到內(nèi)窺鏡301，如下面針對(duì)預(yù)處理來(lái)自內(nèi)窺鏡301的光的更完整的描述。類似地，攝像機(jī)單元332通過(guò)包括濾波器的濾波塊334耦合到內(nèi)窺鏡302，如下面針對(duì)預(yù)處理來(lái)自內(nèi)窺鏡302 的光的更完整的描述。在另一方面，濾波器可以合并在攝像機(jī)單元中或替換地可以不被使用。硬件320還包括執(zhí)行下面更完整地描述的功能的硬件電路。多個(gè)基于計(jì)算機(jī)的方法 390是例如在計(jì)算機(jī)處理器上執(zhí)行的軟件。技術(shù)人員應(yīng)理解，基于計(jì)算機(jī)的方法也可以僅利用硬件實(shí)施、部分用硬件和部分用可執(zhí)行計(jì)算機(jī)代碼實(shí)施，或全部用可執(zhí)行計(jì)算機(jī)代碼實(shí)施。類似地，本文描述的硬件也可以以基于計(jì)算機(jī)的方法或硬件與基于計(jì)算機(jī)的方法的結(jié)合形式實(shí)現(xiàn)。因此，本文使用的關(guān)于硬件和基于計(jì)算機(jī)的方法的特征僅為說(shuō)明性的而不限制于描述的具體方面。兩個(gè)單獨(dú)光通路-照射組合光源310、310A(圖3A和圖3C)包括白色光源312A和另一種光源311A。組合光源310結(jié)合內(nèi)窺鏡中的照射通路使用從而執(zhí)行照射組織過(guò)程201A(圖4)。白色光源 312A提供照射組織303的白色光，例如第一光。另一種光源311提供激發(fā)組織303的備用圖像的光，例如第二光。例如，來(lái)自光源311A的窄帶光用來(lái)激發(fā)組織特異性熒光團(tuán)以便該備用圖像是組織303內(nèi)特殊組織的熒光圖像。對(duì)于備用圖像為熒光圖像的情況，如果該熒光激發(fā)波長(zhǎng)存在于可見光譜內(nèi)，則白色光源312A(圖3B)可以用作白色光源和用作激發(fā)熒光團(tuán)的光源。如果該熒光激發(fā)波長(zhǎng)存在于可見光譜范圍之外(例如，在近紅外(IR)中)或如果可見光譜內(nèi)的波長(zhǎng)處需要另外的激發(fā)能量，則使用激光模塊317(或其它能源，如發(fā)光二極管或過(guò)濾的白色光)同時(shí)照射組織 303。因而，在一方面，熒光由來(lái)自激光模塊317的光觸發(fā)。例如，從Medarex公司獲得的抗體劑利用525nm(納米)激光激發(fā)。根據(jù)使用的熒光團(tuán)或多個(gè)熒光團(tuán)，為組合光源310A選擇特定備用光源。各種FDA 批準(zhǔn)體內(nèi)使用的熒光染料的最大激發(fā)和發(fā)射波長(zhǎng)在表1中給出。表權(quán)利要求
1.一種機(jī)器人手術(shù)系統(tǒng)，其包含由所述機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡，包含 傳輸來(lái)自組織的光的立體光通道；耦合到所述立體光通道的捕獲單元，其中所述捕獲單元從所述光中捕獲(1)可見光第一圖像和O)與熒光第二圖像結(jié)合的可見光第二圖像，其中所述第一圖像是左圖像和右圖像中的一個(gè)，并且所述第二圖像是所述左圖像和所述右圖像中的另一個(gè)；智能圖像處理系統(tǒng)，其耦合到所述捕獲單元從而接收(1)所述可見光第一圖像和(2) 所述與熒光第二圖像結(jié)合的可見光第二圖像，其中所述智能圖像處理系統(tǒng)生成熒光圖像立體像對(duì)的至少一個(gè)熒光圖像和可見光第二圖像；和耦合到所述智能圖像處理系統(tǒng)和所述圖像捕獲系統(tǒng)的放大立體顯示系統(tǒng)，其中所述放大立體顯示系統(tǒng)輸出包括三維展示的實(shí)時(shí)立體圖像，所述三維展示包含在一只眼中所述熒光圖像立體像對(duì)的至少一個(gè)熒光圖像與所述可見光第一和第二圖像中的一個(gè)的融合，和在另一只眼中所述可見光第一和第二圖像中的另一個(gè)。
2.根據(jù)權(quán)利要求1所述的機(jī)器人手術(shù)系統(tǒng)，其中所述內(nèi)窺鏡進(jìn)一步包含照射通道，并且所述機(jī)器人手術(shù)系統(tǒng)進(jìn)一步包含耦合到所述照射通道的組合光源，包含 提供第一照射光的第一光源；和提供第二照射光的第二光源，其中所述第二照射光不同于所述第一照射光。
3.根據(jù)權(quán)利要求2所述的機(jī)器人手術(shù)系統(tǒng)，其進(jìn)一步包含 使所述照射通道連接到所述組合光源的光纖束。
4.根據(jù)權(quán)利要求3所述的機(jī)器人手術(shù)系統(tǒng)，其中當(dāng)保持所述至少光纖束連接到所述照射通道和所述組合光源時(shí)，可以將所述第二光源換成不同光源。
5.根據(jù)權(quán)利要求1所述的機(jī)器人手術(shù)系統(tǒng)，其中所述智能圖像處理系統(tǒng)進(jìn)一步包含 空間圖像配準(zhǔn)，用于使所述可見光第一圖像和與所述熒光第二圖像結(jié)合的所述可見光第二圖像配準(zhǔn)。
6.根據(jù)權(quán)利要求1所述的機(jī)器人手術(shù)系統(tǒng)，其中所述智能圖像處理系統(tǒng)進(jìn)一步包含 第一圖像扭曲器，用于將所述可見光第一圖像轉(zhuǎn)化成可見光第二圖像。
7.根據(jù)權(quán)利要求6所述的機(jī)器人手術(shù)系統(tǒng)，其中所述智能圖像處理系統(tǒng)進(jìn)一步包含 第一圖像減法器，其耦合到所述第一圖像扭曲器從而接收所述可見光第二圖像，并耦合到所述捕獲單元從而接收與所述熒光第二圖像結(jié)合的所述可見光第二圖像，其中所述圖像減法器從與所述熒光第二圖像結(jié)合的所述可見光第二圖像中減去所述可見光第二圖像從而生成熒光第二圖像。
8.根據(jù)權(quán)利要求7所述的機(jī)器人手術(shù)系統(tǒng)，其中所述智能圖像處理系統(tǒng)進(jìn)一步包含 第二圖像減法器，其耦合到(i)所述第一圖像減法器從而接收所述熒光第二圖像，并耦合到(ii)所述捕獲單元從而接收與所述熒光第二圖像結(jié)合的所述可見光第二圖像，其中所述第二圖像減法器從與所述熒光第二圖像結(jié)合的所述可見光第二圖像中減去所述熒光第二圖像從而生成另一個(gè)可見光第二圖像。
9.根據(jù)權(quán)利要求7所述的機(jī)器人手術(shù)系統(tǒng)，其中所述智能圖像處理系統(tǒng)進(jìn)一步包含 第二圖像扭曲器，用于將所述熒光第二圖像轉(zhuǎn)化成熒光第一圖像。
10.根據(jù)權(quán)利要求7所述的機(jī)器人手術(shù)系統(tǒng)，其中所述放大立體顯示系統(tǒng)進(jìn)一步包含 耦合到所述可見光第一圖像的第一融合電路；耦合到所述熒光第二圖像和所述可見光第二圖像的第二融合電路；和耦合到所述第一融合電路和所述第二融合電路的立體顯示。
11.根據(jù)權(quán)利要求10所述的機(jī)器人手術(shù)系統(tǒng)，其中所述放大立體顯示系統(tǒng)進(jìn)一步包含顯示模式選擇，其耦合到所述第一和第二融合電路并具有多個(gè)可選擇模式， 其中選擇第一模式之后，所述立體顯示僅提供來(lái)自所述可見光第一和第二圖像的實(shí)時(shí)三維可見光圖像；和選擇第二模式之后，所述立體顯示提供所述三維展示，所述三維展示包含在一只眼中所述熒光圖像立體像對(duì)的至少一個(gè)熒光圖像與所述可見光第一和第二圖像中的一個(gè)的融合，和在另一只眼中所述可見光第一和第二圖像中的另一個(gè)。
12.一種機(jī)器人手術(shù)系統(tǒng)，其包含由所述機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡，包含 傳輸來(lái)自組織的光的立體光通道；耦合到所述立體光通道的捕獲單元，其中所述捕獲單元從所述光中捕獲(1)可見光第一圖像和O)與熒光第二圖像結(jié)合的可見光第二圖像，其中所述第一圖像是左圖像和右圖像中的一個(gè)，并且所述第二圖像是所述左圖像和所述右圖像中的另一個(gè)；智能圖像處理系統(tǒng)，其耦合到所述捕獲單元從而接收(1)所述可見光第一圖像和(2) 與熒光第二圖像結(jié)合的所述可見光第二圖像，其中所述智能圖像處理系統(tǒng)進(jìn)一步包含空間圖像配準(zhǔn)，用于使所述可見光第一圖像和與所述熒光第二圖像結(jié)合的所述可見光第二圖像配準(zhǔn)；耦合到所述空間圖像配準(zhǔn)的第一圖像扭曲器，用于將所述可見光第一圖像轉(zhuǎn)化成可見光第二圖像；第一圖像減法器，其耦合到所述第一圖像扭曲器從而接收所述可見光第二圖像，并耦合到所述捕獲單元從而接收與所述熒光第二圖像結(jié)合的所述可見光第二圖像，其中所述圖像減法器從與所述熒光第二圖像結(jié)合的所述可見光第二圖像中減去所述可見光第二圖像從而生成熒光第二圖像；第二圖像減法器，其耦合到(i)所述第一圖像減法器從而接收所述熒光第二圖像，并耦合到(ii)所述捕獲單元從而接收與所述熒光第二圖像結(jié)合的所述可見光第二圖像，其中所述第二圖像減法器從與所述熒光第二圖像結(jié)合的所述可見光第二圖像中減去所述熒光第二圖像從而生成另一種可見光第二圖像；耦合到所述空間圖像配準(zhǔn)和所述熒光第二圖像的第二圖像扭曲器，用于將所述熒光第二圖像轉(zhuǎn)化成熒光第一圖像；和耦合到所述智能圖像處理系統(tǒng)和所述圖像捕獲系統(tǒng)的放大立體顯示系統(tǒng)，其中所述放大立體顯示系統(tǒng)輸出包括三維展示的實(shí)時(shí)立體圖像，所述三維展示包含在一只眼中所述熒光第一圖像和第二圖像中的所述至少一個(gè)熒光圖像與所述可見光第一和第二圖像中的一個(gè)的融合，和在另一只眼中所述可見光第一和第二圖像中的另一個(gè)。
13.一種方法，其包含從由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路中捕獲組織的可見光第一圖像；從由機(jī)器人手術(shù)系統(tǒng)握持和設(shè)置的內(nèi)窺鏡中的立體光通路中捕獲與所述組織的熒光第二圖像結(jié)合的可見光第二圖像，其中所述第一圖像是左圖像和右圖像中的一個(gè)，并且所述第二圖像是所述左圖像和所述右圖像中的另一個(gè)；處理所述可見光第一圖像和與所述熒光第二圖像結(jié)合的所述可見光第二圖像，從而生成熒光圖像立體像對(duì)的至少一個(gè)熒光圖像和可見光第二圖像；和生成包含三維展示的實(shí)時(shí)立體圖像，所述三維展示包含在一只眼中熒光圖像立體像對(duì)的所述至少一個(gè)熒光圖像與所述可見光第一和第二圖像中的一個(gè)的融合，和在另一只眼中可見光第一和第二圖像中的另一個(gè)。
14.根據(jù)權(quán)利要求13所述的方法，其中所述處理進(jìn)一步包含使所述可見光第一圖像和與所述熒光第二圖像結(jié)合的所述可見光第二圖像在空間上配準(zhǔn)。
15.根據(jù)權(quán)利要求13所述的方法，其中所述處理包含利用圖像扭曲器將所述可見光第一圖像轉(zhuǎn)化成可見光第二圖像。
16.根據(jù)權(quán)利要求15所述的方法，其中所述處理進(jìn)一步包含從與所述熒光第二圖像結(jié)合的所述可見光第二圖像中減去所述可見光第二圖像從而生成熒光第二圖像。
17.根據(jù)權(quán)利要求16的方法，其中所述處理進(jìn)一步包含從與所述熒光第二圖像結(jié)合的所述可見光第二圖像中減去所述熒光第二圖像從而生成另一可見光第二圖像。
18.根據(jù)權(quán)利要求17的方法，其中所述處理進(jìn)一步包含利用另一個(gè)圖像扭曲器將所述熒光第二圖像轉(zhuǎn)化成熒光第一圖像。
全文摘要
本發(fā)明涉及一種機(jī)器人手術(shù)系統(tǒng)，其設(shè)置和握持內(nèi)窺鏡?？梢姽獬上裣到y(tǒng)耦合到該內(nèi)窺鏡。該可見光成像系統(tǒng)捕獲組織的可見光圖像。備用成像系統(tǒng)也耦合到該內(nèi)窺鏡。該備用成像系統(tǒng)捕獲該組織至少一部分的熒光圖像。立體視頻顯示系統(tǒng)耦合到該可見光成像系統(tǒng)和備用成像系統(tǒng)。該立體視頻顯示系統(tǒng)輸出實(shí)時(shí)立體圖像，其包含與所捕獲的熒光圖像關(guān)聯(lián)的熒光圖像和可見光圖像的融合的三維展示。
文檔編號(hào)H04N13/00GK102197990SQ20111009220
公開日2011年9月28日 申請(qǐng)日期2009年4月9日 優(yōu)先權(quán)日2008年4月26日
發(fā)明者B·D·霍弗曼, C·J·哈瑟, C·J·莫爾, D·D·斯考特, I·M·麥克度威爾, J·D·斯特恩, P·E·利拉根, T·趙, W·趙 申請(qǐng)人:直觀外科手術(shù)操作公司