用于醫(yī)療程序的全息用戶界面的制作方法
【專利摘要】一種交互式全息顯示系統(tǒng)包括全息生成模塊（115），其被配置用于顯示全息渲染的解剖圖像。定位系統(tǒng)（120）被配置用于定義在所述全息渲染的解剖圖像上或周圍的被監(jiān)視空間（126）。一個或多個被監(jiān)視對象（128）的位置和定向受定位系統(tǒng)監(jiān)視，從而在被監(jiān)視空間和所述一個或多個被監(jiān)視對象之間的空間點的一致性觸發(fā)所述全息渲染的解剖圖像中的響應(yīng)。
【專利說明】用于醫(yī)療程序的全息用戶界面
[0001]相關(guān)申請的交叉引用
[0002]本申請要求2011年10月20日提交的美國臨時申請?zhí)?1/549，273的優(yōu)先權(quán)，其全文被通過引用并入本文。
【技術(shù)領(lǐng)域】
[0003]本公開涉及醫(yī)療系統(tǒng)、設(shè)備和方法，更具體地，涉及有關(guān)集成全息圖像數(shù)據(jù)和其它信息以改進(jìn)醫(yī)療應(yīng)用中的準(zhǔn)確性和效率的系統(tǒng)、設(shè)備和方法。
【背景技術(shù)】
[0004]已經(jīng)研究了無需用戶護(hù)目鏡/眼鏡而在二維(2D)面板上進(jìn)行三維(3D)視覺化的自動立體顯示器(ASD)。然而，分辨率和處理時間限制了利用該技術(shù)渲染高質(zhì)量圖像的能力。另外，這些顯示器通常只限于2D平面(例如，防止內(nèi)科醫(yī)生四處走動或旋轉(zhuǎn)顯示器以從不同視角觀看數(shù)據(jù))。雖然可以允許有限視野的不同視角，但是用于這種類型的顯示器的視野仍然遭受移動視差的破壞。
[0005]類似地，用于操縱數(shù)據(jù)對象的用戶輸入大都限于主流2D機(jī)制，例如，鼠標(biāo)、平板電腦、鍵區(qū)、觸摸面板、基于攝像機(jī)的跟蹤，等等。因此，需要一種能夠用于克服上述缺陷的如本文所公開和描述的系統(tǒng)、設(shè)備和方法。

【發(fā)明內(nèi)容】

[0006]根據(jù)本原則，一種交互式全息顯示系統(tǒng)，包括:全息生成模塊，其被配置用于顯示全息渲染的解剖圖像。定位系統(tǒng)被配置用于定義在全息渲染的解剖圖像上或周圍的被監(jiān)視空間。一個或多個被監(jiān)視對象的位置和定向受定位系統(tǒng)的監(jiān)視，從而在被監(jiān)視空間和一個或多個被監(jiān)視對象之間的空間點的一致性觸發(fā)在全息渲染的解剖圖像中的響應(yīng)。
[0007]另一種交互式全息顯示系統(tǒng)，包括處理器和耦合到所述處理器的存儲器。全息生成模塊包含于存儲器中，并被配置用于作為空中全息圖或在全息顯示器上顯示全息渲染的解剖圖像。定位系統(tǒng)被配置用于定義在所述全息渲染的解剖圖像上或周圍的被監(jiān)視空間。一個或多個被監(jiān)視對象的位置和定向受定位系統(tǒng)的監(jiān)視，從而在被監(jiān)視空間和一個或多個被監(jiān)視對象之間的空間點的一致性觸發(fā)在所述全息渲染的解剖圖像中的響應(yīng)，其中在所述全息渲染的解剖圖像中的響應(yīng)包括以下中的一個或多個:所述全息渲染的解剖圖像的平移或旋轉(zhuǎn)，所述全息渲染的解剖圖像的放大率調(diào)整，所述全息渲染的解剖圖像的標(biāo)記和反饋生成。
[0008]一種用于與全息顯示器交互的方法，包括:顯示全息渲染的解剖圖像；定位在全息渲染的解剖圖像上或周圍的被監(jiān)視空間以定義用于交互的區(qū)域；由所述定位系統(tǒng)監(jiān)視一個或多個被監(jiān)視對象的位置和定向；確定所述被監(jiān)視空間和所述一個或多個被監(jiān)視對象之間的空間點的一致性；以及如果確定了一致性，則觸發(fā)在所述全息渲染的解剖圖像中的響應(yīng)。[0009]根據(jù)以下本公開的圖示實施例的詳細(xì)描述(該描述應(yīng)結(jié)合附圖進(jìn)行閱讀)，本公開的這些和其它目的、特征和優(yōu)點將變得清晰。
【專利附圖】

【附圖說明】
[0010]本公開將參照以下附圖詳細(xì)呈現(xiàn)優(yōu)選實施例的后續(xù)描述，在附圖中:
[0011]圖1是示出根據(jù)示例性實施例的與全息圖接口的系統(tǒng)的框圖/流程圖；
[0012]圖2是根據(jù)示例性實施例的以其上的數(shù)據(jù)映射或覆蓋圖渲染的全息圖的立體圖；
[0013]圖3是示出根據(jù)示例性實施例的用于顯示在全息圖像中的數(shù)據(jù)映射或覆蓋圖的示例性工序流程的框圖；
[0014]圖4是示出根據(jù)示例性實施例的用于在全息圖像中顯示靜止或動畫對象的圖示系統(tǒng)和工序流程的框圖；
[0015]圖5是示出根據(jù)示例性實施例的用于為在以全息圖像顯示的過程期間選擇虛擬對象顯示對象菜單的示例性圖像的圖；[0016]圖6是示出根據(jù)示例性實施例的用于利用全息圖像控制機(jī)器人的示例性系統(tǒng)的框圖；
[0017]圖7是示出根據(jù)示例性實施例的采用觸覺反饋和全息圖像的示例性系統(tǒng)的框圖；
[0018]圖8是示出根據(jù)一個實施例的在示例性系統(tǒng)中提供不同視角以顯示全息圖像等的多個視野的圖；
[0019]圖9是示出根據(jù)示例性實施例的利用全息圖像在網(wǎng)絡(luò)上遠(yuǎn)程控制機(jī)器人的示例性系統(tǒng)的框圖；以及
[0020]圖10是示出根據(jù)示例性實施例的用于與全息圖接口的方法的流程圖。
【具體實施方式】
[0021]根據(jù)本原則，描述了利用用于醫(yī)療程序的全息顯示技術(shù)的系統(tǒng)、設(shè)備和方法。這可以利用3D全息技術(shù)(例如，空中全息圖(in-air hologram))和實時3D輸入感測方法(例如，光學(xué)形狀感測)來實現(xiàn)，以在程序過程中提供更高度的人類-數(shù)據(jù)交互。采用全息技術(shù)和其他技術(shù)潛在地簡化了程序工作流、儀器選擇、以及在感興趣的解剖學(xué)中的操縱。本文所描述的這種示例性實施例能夠利用3D全息顯示器實時視覺化體積數(shù)據(jù)集，利用定位方法在臨床程序期間在自由空間感測移動，由此提供在介入治療室中進(jìn)行人類-數(shù)據(jù)交互的新方法。
[0022]在一個示例性實施例中，3D全息術(shù)可用于融合解剖數(shù)據(jù)和功能成像并“感測”信息。第四維(例如，時間、顏色、紋理等)能夠用于表示感興趣對象(例如器官)的狀態(tài)的動態(tài)3D多模態(tài)(multimodality)表示。顯示器可以是(接近)實時的并例如使用顏色編碼的視覺信息和/或觸覺反饋/觸覺信息來傳達(dá)全息顯示的感興趣對象的狀態(tài)的不同效果。這種信息可以包括關(guān)于目標(biāo)的形態(tài)信息、關(guān)于感興趣對象的功能信息(例如，流、收縮性、組織生物力學(xué)成分或化學(xué)成分、電壓、溫度^11、？02、？0)2等)、或者由于目標(biāo)和正實施的療法之間的交互引起的目標(biāo)屬性的測量變化。示例性的3D全息顯示器能夠被從(視覺上)任何角度/方向看到，從而例如多個用戶能夠同時以相同的理解和信息進(jìn)行交互?？商鎿Q地，可以同時為位于房間內(nèi)的不同用戶顯示不同的信息，例如，像在立方體或多面體的每一面上顯示不同的信息一樣。
[0023]在一個實施例中，人們能夠在3D全息顯示器中“觸摸”感興趣的具體區(qū)域或與其交互(例如，利用一個或多個手指、虛擬工具、或者在相同的交互空間中被跟蹤的物理儀器)，并且組織特性將變得可用并在3D全息圖中顯示。這種“觸摸”還能用于例如在所顯示的3D解剖學(xué)中旋轉(zhuǎn)虛擬器官、縮放、標(biāo)記3D中的點、繪制路徑或軌跡規(guī)劃(例如，用于治療、靶向等)、選擇需避免的臨界區(qū)域、創(chuàng)建警報、以及在3D中下降虛擬對象(例如植入物)。
[0024]根據(jù)本公開的示例性實施例還能夠用于促進(jìn)遠(yuǎn)程程序(例如，其中從業(yè)者在虛擬器官上“表演”，并且機(jī)器人同時或隨后在實際器官上執(zhí)行所述程序)，以在訓(xùn)練或模擬設(shè)置中執(zhí)行實際程序之前實踐程序，和/或在已經(jīng)執(zhí)行程序之后回顧/研究/教導(dǎo)該程序(例如，通過數(shù)據(jù)記錄、存儲、以及回放3D全息顯示和與臨床程序相關(guān)的任何相關(guān)聯(lián)的多模態(tài)信號)。
[0025]以下將參考附圖在本文進(jìn)一步描述根據(jù)本公開的示例性實施例。雖然這種示例性實施例大都被彼此分離地進(jìn)行了描述(例如，為了易于表示和理解)，但具有本領(lǐng)域普通技術(shù)的人員考慮到本文的教導(dǎo)將理解這種示例性實施例可獨立地和/或彼此組合地使用。事實上，本文所描述的示例性實施例的實現(xiàn)和使用，包括其組合和變型，都將被認(rèn)為是本公開的一部分，其取決于例如特定的實驗室或臨床使用/應(yīng)用、與其他相關(guān)技術(shù)的集成、可用資源、環(huán)境條件等。因此，本公開中沒有事物應(yīng)被解釋為限制本文所公開的主題。
[0026]根據(jù)本原則的實時3D全息顯示器可以包括經(jīng)由嵌入到數(shù)據(jù)交互設(shè)備(例如，用于傳感器反饋的觸覺設(shè)備)中的定位技術(shù)輸入的實時的六個自由度(D0F)。還可以使用用于多維數(shù)據(jù)獲取的成像/監(jiān)控系統(tǒng)。在全息顯示器、定位系統(tǒng)/交互設(shè)備、以及成像/監(jiān)控系統(tǒng)之間的數(shù)據(jù)鏈路可以提供用于在這些系統(tǒng)之間的通信。在一個實施例中，顯示器、反饋設(shè)備、定位設(shè)備、測量設(shè)備可以與用于決策支持的計算工作站和病例信息的數(shù)據(jù)庫(其在直播病例期間可以動態(tài)更新/調(diào)用)一起使用或者與其集成使用，以用于訓(xùn)練/教導(dǎo)/程序指導(dǎo)目的(例如，用于與正在治療的程序和患者相關(guān)的類似的存檔臨床病例)。
[0027]可以理解的是，本發(fā)明將依照醫(yī)療儀器進(jìn)行描述；但是，本發(fā)明的教導(dǎo)更寬泛并且可應(yīng)用到能受益于全息視覺化的任意系統(tǒng)。在一些實施例中，本原則應(yīng)用于跟蹤或分析復(fù)雜的生物或機(jī)械系統(tǒng)。特別地，本原則可應(yīng)用于生物系統(tǒng)的內(nèi)部跟蹤程序、在身體的所有區(qū)域(例如，肺、胃腸道、排泄器官、血管等)中的程序。在圖中描繪的元件可以以硬件和軟件的各種組合實現(xiàn)，并提供可以與單個元件或多個元件組合的功能。
[0028]可以通過使用專用硬件以及能執(zhí)行軟件的硬件與適當(dāng)軟件相關(guān)聯(lián)地提供圖中所示的各種元件的功能。當(dāng)由處理器提供時，所述功能可以由單個專用處理器、單個共享處理器、或由多個個體處理器(其中一些可以共享)提供。此外，明確使用的術(shù)語“處理器”或“控制器”不應(yīng)被解釋為排他地指能夠執(zhí)行軟件的硬件，而是暗指可以包括但不限于數(shù)字信號處理器(DSP)硬件、用于存儲軟件的只讀存儲器(ROM)、隨機(jī)存取存儲器(RAM)、非易失性存儲裝置等。
[0029]此外，文本所有引用本發(fā)明的原則、方案和實施例及其特定例子的陳述都意圖包含其結(jié)構(gòu)和功能等價物。另外，希望的是，這種等價物包括當(dāng)前已知的等價物以及將來開發(fā)的等價物(即，不管結(jié)構(gòu)，被開發(fā)來執(zhí)行相同功能的任意元件)。因此，例如，本領(lǐng)域的技術(shù)人員將理解本文所呈現(xiàn)的框圖表示實施本發(fā)明的原則的示例性系統(tǒng)部件和/或電路的概念視圖。類似地，可以理解的是，任意作業(yè)圖、流程圖等表示呈現(xiàn)在計算機(jī)可讀存儲介質(zhì)中并由計算機(jī)或處理器執(zhí)行的各種過程，無論這種計算機(jī)或處理器是否被明確示出。
[0030]此外，本發(fā)明的實施例能夠采取計算機(jī)程序產(chǎn)品的形式，所述計算機(jī)程序產(chǎn)品可以由提供程序代碼的計算機(jī)可用或計算機(jī)可讀存儲介質(zhì)訪問，所述程序代碼由計算機(jī)或任意指令執(zhí)行系統(tǒng)所使用或與其結(jié)合使用。出于該描述的目的，計算機(jī)可用或計算機(jī)可讀存儲介質(zhì)可以是任意裝置，其可以包括、存儲、通信、傳播或傳輸由指令執(zhí)行系統(tǒng)、裝置或設(shè)備所使用或與其結(jié)合使用的程序。所述介質(zhì)可以是電子、磁、光、電磁、紅外或半導(dǎo)體系統(tǒng)(或者裝置或設(shè)備)或傳播介質(zhì)。計算機(jī)可讀介質(zhì)的例子包括半導(dǎo)體或固態(tài)存儲器、磁帶、可移除計算機(jī)磁盤、隨機(jī)存取存儲器(RAM)、只讀存儲器(ROM)、硬磁盤和光盤。光盤的當(dāng)前例子包括光盤只讀存儲器(⑶-ROM)、光盤-讀/寫(⑶-R/W)、藍(lán)光TM以及DVD。
[0031]現(xiàn)在參照附圖，其中相似的附圖標(biāo)記表示相同或類似的元件，首先參照圖1，其示例性地示出了根據(jù)一個實施例的用于生成全息圖像并與其進(jìn)行交互的系統(tǒng)100。系統(tǒng)100可以包括工作站或控制臺112，據(jù)其監(jiān)控和/或管理程序。工作站112優(yōu)選包括一個或多個處理器114和用于存儲程序和應(yīng)用的存儲器116。存儲器116可以存儲全息生成模塊115，其被配置用來根據(jù)應(yīng)用在顯示器158或空中渲染全息圖像。全息生成模塊115對圖像數(shù)據(jù)進(jìn)行編碼以生成三維全息圖。編碼可以提供在2D顯示器或3D介質(zhì)或3D顯示器上的全息圖。在一個例子中，來自3D成像的數(shù)據(jù)，例如計算出的斷層攝影、超聲、磁共振，可以利用用于渲染全息圖的空間分布和光強(qiáng)度而被轉(zhuǎn)變成全息圖。
[0032]定位系統(tǒng)120包括坐標(biāo)系122，全息圖像或全息圖124登記在所述坐標(biāo)系上。定位系統(tǒng)120還可以用于登記被監(jiān)視對象128，該對象可以包括被單獨創(chuàng)建和控制的虛擬儀器、真實儀器、內(nèi)科醫(yī)生的手、手指或其它解剖部分，等等。定位系統(tǒng)120可以包括電磁跟蹤系統(tǒng)、形狀感測系統(tǒng)(如基于光纖的形狀感測系統(tǒng))、包括光傳感器和陣列的光感測系統(tǒng)、或其它感測模態(tài)等。定位系統(tǒng)120用于定義全息圖或全息圖像124中或周圍的空間區(qū)域，以使得能夠作為全息圖124的區(qū)域中的移動的結(jié)果而觸發(fā)不同的功能或動作。例如，可以利用光纖形狀感測設(shè)備來跟蹤內(nèi)科醫(yī)生的手的動態(tài)位置。當(dāng)內(nèi)科醫(yī)生的手進(jìn)入相同的空間(例如投影的全息圖124周圍的被監(jiān)視空間126)時，全息圖的強(qiáng)度將會增加。在另一個例子中，內(nèi)科醫(yī)生的手移動可用于從空間上改變?nèi)D124的位置或定向或者與全息圖124交互。
[0033]被監(jiān)視對象或感測系統(tǒng)128在空間上可能相對于全息圖124或全息圖124周圍的空間126受到監(jiān)視。被監(jiān)視對象128可以包括內(nèi)科醫(yī)生的手、真實或虛擬的工具、另一全息圖等。被監(jiān)視對象128可以包括一個或多個傳感器132，其被應(yīng)用以監(jiān)視被監(jiān)視對象128的位置，從而當(dāng)對象或其部分的位置在全息圖124或全息圖124周圍的空間126中時，將發(fā)生與被監(jiān)視對象128的類型和由被監(jiān)視對象128執(zhí)行或?qū)?zhí)行的動作一致的反應(yīng)。一個或多個傳感器132可以包括EM傳感器、光纖形狀傳感器等。
[0034]在一個實施例中，傳感器132包括光纖形狀傳感器。傳感器解釋模塊134可以用于解釋來自形狀感測設(shè)備或系統(tǒng)(132)的反饋信號。解釋模塊134被配置成使用信號反饋(和任意其它反饋，例如，光、電磁(EM)跟蹤等)來重建與被監(jiān)視對象128相關(guān)聯(lián)的運(yùn)動、偏轉(zhuǎn)和其他改變，其可以包括醫(yī)療設(shè)備或儀器、虛擬工具、人類解剖特征等。醫(yī)療設(shè)備可以包括導(dǎo)管、導(dǎo)線、探針、內(nèi)窺鏡、機(jī)器人、電極、濾波設(shè)備、球囊設(shè)備、或其它醫(yī)療部件等。
[0035]形狀感測系統(tǒng)(132)可以包括一個或多個光纖，其以一種或多種固定模式耦合到被監(jiān)視對象128。光纖通過線纜127連接到工作站112。按照需要，線纜127可以包括光纖、電連接、其它儀器等。
[0036]形狀感測系統(tǒng)(132)可以基于光纖布拉格光柵傳感器(fiber optic Bragggrating sensor)。光纖布拉格光柵傳感器(FBG)是反射特定波長的光且傳輸所有其它光的光纖的一較短部分。這是通過在纖芯中添加折射率的周期性變化而實現(xiàn)的，其生成了特定波長介質(zhì)鏡。因此，光纖布拉格光柵能夠用作內(nèi)聯(lián)光濾波器以阻擋某些波長，或者作為專用波長反射器。
[0037]光纖布拉格光柵的操作背后的基本原則是在折射率改變的每個表面處的菲涅爾反射。對于某些波長，各種周期的反射光同相，從而對反射存在相長干涉，并因此對傳輸存在相消干涉。布拉格波長對張力以及溫度是敏感的。這意味著布拉格光柵能用作光纖傳感器中的感測元件。在FBG傳感器中，被測變量(例如，張力)引起布拉格波長中的移位。
[0038]該技術(shù)的一個優(yōu)點是可以在光纖長度上分布各種傳感器元件。沿著嵌入到一結(jié)構(gòu)中的光纖的長度并入三個或更多個核心和各種傳感器(計量表)允許這種結(jié)構(gòu)的三維形式被精確確定，通常好于Imm的精度。沿著光纖的長度，在各個位置能夠定位多個FBG傳感器(例如，3個或更多個光纖感測核心)。根據(jù)每個FBG的張力測量，能夠在那個位置推斷結(jié)構(gòu)的曲率。根據(jù)多個測量位置，確定總的三維形式。
[0039]作為光纖布拉格光柵的替代，可以利用傳統(tǒng)光纖中的固有反向散射。一種這樣的方法是在標(biāo)準(zhǔn)單模式通信光纖中使用瑞利散射器(Rayleigh scatter)。作為纖芯中的折射率的隨機(jī)波動而產(chǎn)生瑞利散射器。這些隨機(jī)波動能夠被模型化為沿著光柵長度具有隨機(jī)變化的幅度和相位的布拉格光柵。通過在運(yùn)行于多核心光纖的單長度中的三個或更多核心中使用這一效果，能夠跟隨感興趣的表面的3D形狀和動態(tài)。
[0040]在一個實施例中，工作站112包括圖像生成模塊148，其被配置用于從形狀感測系統(tǒng)132或其它傳感器接收反饋，以感測與全息圖124的交互。定位系統(tǒng)120已知全息圖124及其周圍空間126的位置和狀態(tài)。當(dāng)被監(jiān)視對象128進(jìn)入空間126或與全息圖124的位置一致時，如比較模塊142確定的，取決于運(yùn)動的類型、被監(jiān)視對象128的類型、程序或活動的類型和/或任何其他標(biāo)準(zhǔn)來觸發(fā)動作。比較模塊142通知全息生成模塊115需要改變。全息生成模塊115對圖像數(shù)據(jù)進(jìn)行重新編碼，并對其進(jìn)行處理和輸出到圖像生成模塊148，該模塊根據(jù)固定標(biāo)準(zhǔn)更新全息圖124。
[0041]在圖示實施例中，全息圖124可以包括基于患者或主體150的3D圖像152渲染的內(nèi)部器官。在外科手術(shù)前利用成像系統(tǒng)Iio從患者150處收集圖像152。注意，成像系統(tǒng)110和患者150不需要存在以采用當(dāng)前原則，因為系統(tǒng)100在任何時候都可以用于訓(xùn)練、分析或其它目的。在該例子中，內(nèi)科醫(yī)生采用其上布置有傳感器132的一副手套。當(dāng)手套/傳感器132進(jìn)入空間126并與全息圖124 —致時，內(nèi)科醫(yī)生能夠旋轉(zhuǎn)或平移全息圖124。在另一實施例中，手套包括觸覺設(shè)備156，其依賴于手套/傳感器相對于全息圖124或空間126的位置提供觸覺反饋。在其它實施例中，觸覺反饋表明與全息圖124及其表示對應(yīng)的組織類型。觸覺設(shè)備或系統(tǒng)156可以包括超聲源、揚(yáng)聲器或其它振動源，以利用振動或聲音傳達(dá)全息圖124狀態(tài)中的不同。
[0042]顯示器118和/或顯示器158還可以允許用戶與工作站112、全息圖124及其部件和功能、或者系統(tǒng)100內(nèi)的任意其它元件交互。這進(jìn)一步由接口 130促進(jìn)，接口 130可以包括鍵盤、鼠標(biāo)、控制桿、觸覺設(shè)備、或任意其它外圍或控制件，以允許用戶從工作站112反饋且與工作站112交互。
[0043]在一個實施例中，用戶(從業(yè)者、外科醫(yī)生、同伴等)能夠觸摸(或者交互)3D全息顯示器158中的特定感興趣區(qū)域(ROI) 154或3D全息顯示器(或者任何其它地方)中的全息圖124，以顯示與所選擇的特定感興趣區(qū)域相關(guān)的額外信息，例如組織特性，如溫度、化學(xué)成分、基因簽名、壓力、鈣化百分比，等等。信息的覆蓋圖能夠顯示或呈現(xiàn)在分離的示例性2D顯示器(118)上，由此2D顯示器的部分可以是透明的，例如以用于所顯示信息的更好觀看。還可能的是，示例性2D顯示器118呈現(xiàn)或顯示高分辨率的其他圖形和文本(例如，在3D顯示器可以具有相對低或有限分辨率的實施例中)。
[0044]其它實施例能夠為從業(yè)者(例如，醫(yī)生)提供“抬頭”顯示器(如顯示器158)或者作為組合顯示器(118和158)，來容納這種額外信息的顯示/呈現(xiàn)。額外地，其它感興趣區(qū)或區(qū)域154能夠在3D全息顯示器158中或全息圖124中被自動地加亮和/或被描輪廓。這種其它感興趣區(qū)例如能夠是與所選擇的感興趣區(qū)和/或相關(guān)區(qū)具有類似的特性的區(qū)。
[0045]根據(jù)再一不例性實施例，3D全息顯不器158或全息圖124可以米用六個自由度(6D0F)用戶跟蹤，例如，利用形狀使能儀器132和/或利用基于攝像機(jī)的傳感器137，允許用作3D和實時6D0F用戶交互的用戶接口。例如，用戶(如從業(yè)者)被提供有觸摸正被顯示為3D全息圖像124的虛擬器官的能力。用戶能夠旋轉(zhuǎn)、放大/縮小(例如，改變視圖的放大率)、標(biāo)記3D中的點、繪制路徑和/或軌跡規(guī)劃、選擇需避免的(臨界)區(qū)、創(chuàng)建警報、插入和操縱解剖學(xué)中3D虛擬植入物的定向，等等。利用定位系統(tǒng)120和圖像生成系統(tǒng)或模塊148與為全息圖124所顯示的全息數(shù)據(jù)結(jié)合工作來執(zhí)行這些功能。
[0046]通過觸摸(和/或輕敲、持有等)顯示器158或全息圖124的一部分，可以創(chuàng)建種子點162并使其落入3D全息顯示器158或全息圖124中。種子點162可以用于例如激活虛擬攝像機(jī)，該攝像機(jī)能夠單獨地提供定制觀看視角(例如，定向、縮放、分辨率等)，所述視角能夠流到(或被傳送到)單獨的高分辨率2D顯示器118上。
[0047]觸摸特征能夠用于創(chuàng)建虛擬種子點162或者將種子點162落入到3D顯示器158中用于多個任務(wù)，例如，初始化分割、建模、登記或者計算、視覺化、規(guī)劃步驟，等等。除了 3D全息顯示器158或全息圖124被用于顯示解剖學(xué)的數(shù)據(jù)外，顯示器還可以用于顯示按鈕、下拉菜單、指針/跟蹤器、可選功能等，允許用戶與系統(tǒng)和/或包含于其中或連接到其上(例如，直接連接或經(jīng)由因特網(wǎng)或其它網(wǎng)絡(luò))的任何計算機(jī)交互并對其給出命令。
[0048]在另一實施例中，麥克風(fēng)164可以用于接收言語信息來經(jīng)由語音控制命令與示例性3D全息顯示器158或全息圖124進(jìn)行連接、控制、交互等?？梢栽O(shè)置語音識別引擎166以將語音命令轉(zhuǎn)換成程序命令，來允許用戶(例如外科醫(yī)生)與3D全息顯示器158或全息圖124進(jìn)行交互,而不必使用他們的手。例如,用戶可以說“顯示左前斜位40 (SHOW LAOFORTH)”，則在全息圖像中顯示的體積將旋轉(zhuǎn)到為用戶提供期望視野的合適角度。其它命令的范圍可以從相對簡單的命令(如“縮放”后跟隨具體量，如“3倍”左右以顯示特定(額外)信息)到更復(fù)雜的命令(例如其可以與具體任務(wù)或程序相關(guān))。
[0049]根據(jù)另一實施例，可以在存儲器116中提供記錄模式，并使該模式可用于例如在全3D重放的相同設(shè)備上和/或在傳統(tǒng)(2D或3D)觀看設(shè)備上回放病例，自動將記錄的3D場景轉(zhuǎn)換為多個2D觀看視角(或旋轉(zhuǎn)例如虛擬現(xiàn)實建模語言(VRML)的3D模型)。在全息顯示器158和在庫/數(shù)據(jù)庫168中存檔的記錄之間的數(shù)據(jù)連接，例如圖片存檔和通信系統(tǒng)(PACS)、放射學(xué)信息系統(tǒng)(RIS)或其它電子醫(yī)療記錄系統(tǒng)，能夠用于促進(jìn)例如視覺化和診斷解釋/數(shù)據(jù)挖掘。記錄能夠被重放且用于例如教導(dǎo)和訓(xùn)練目的，例如教導(dǎo)或訓(xùn)練在個體設(shè)置(例如，當(dāng)用戶想要回顧記錄的已執(zhí)行程序時)、小組環(huán)境(例如，具有同事和/或管理)、相對大的課堂、演講等中的其他人。這種示例性記錄還可以用于市場展示、研究環(huán)境等，并還可以用于質(zhì)量和管理評估，例如由醫(yī)院管理者、第三方保險公司、投資者、食品和藥品管理局(FDA)和/或其它管理主體的過程評價或程序評估。虛擬攝像機(jī)可用于捕捉或記錄多個視點/角度，并為例如不同的2D電視屏幕或監(jiān)視器(或其部分)上的視頻捕捉或同時顯示的圖像生成多個2D輸出。
[0050]參照圖2，在另一實施例中，三維(3D)全息學(xué)可用于顯示解剖學(xué)的體數(shù)據(jù)(例如來自3D CT掃描)，例如來融合解剖和功能成像并“感測”信息以及暫時(時間相關(guān)的)信息。利用視覺指示器204、206，所述信息可用于創(chuàng)建(生成、產(chǎn)生、顯示等)對象(如器官)及其狀態(tài)的動態(tài)3D多模態(tài)表示202 (例如全息圖)，例如來自顯示器210的顏色、對比度和模式。對象202 (如全息圖124)可以顯示不同的區(qū)域204、206以指示對象202上有用的數(shù)據(jù)。例如，心外膜和/或心內(nèi)膜映射數(shù)據(jù)可用于例如在電生理程序期間顯示在心臟圖像上的電活動數(shù)據(jù)，疊加有心臟的解剖成像數(shù)據(jù)(例如來自CT、XperCT或MR)。另一個例子是顯示溫度圖，其可以在消融期間由MR提供或在介入(例如，利用MR數(shù)字?jǐn)?shù)據(jù)傳送系統(tǒng)和程序)期間磁共振高強(qiáng)度聚焦超聲(MR-HIFU) 4D (四維)信息提供。例如，還可以使用與實時輻射劑量分布圖相關(guān)聯(lián)的信息在輻射腫瘤學(xué)治療(直線加速器、短程療法等)期間疊加在解剖目標(biāo)上。還可以構(gòu)思其它實施例。
[0051]參照圖3，示例性示出了根據(jù)示例性實施例的在介入性程序過程中所采用的功能和解剖信息的示例性全息視覺化。在這個例子中，獲取了心臟的體積圖像302，并將其分割以產(chǎn)生計算空間并確定與圖像的其他部分相反的心臟的解剖特征。這產(chǎn)生分割的圖像304。通過在框306中執(zhí)行對心臟或其它解剖特征的測量或測試，獲取功能或設(shè)備數(shù)據(jù)。在圖示的實施例中，對應(yīng)于心臟或器官生成電解剖映射或其它映射。將映射登記到分割的圖像304中，以提供可以生成且顯示為全息圖的登記的圖像310。利用定位技術(shù)(形狀感測等)，可以自心臟中或周圍收集實時導(dǎo)管308數(shù)據(jù)。導(dǎo)管位置或其它相關(guān)數(shù)據(jù)(治療位置等)的數(shù)據(jù)軌跡可以以全息圖像312進(jìn)行渲染，所述全息圖像312包括解剖數(shù)據(jù)(例如，分割的全息圖)和設(shè)備數(shù)據(jù)(例如，導(dǎo)管數(shù)據(jù))。
[0052]根據(jù)本公開的另一示例性實施例包括獲取不完整數(shù)據(jù)(例如，投影而不是全3D圖像)。例如，這可以包括獲取間歇圖像或不完整圖像的傅里葉(頻率)空間中的數(shù)據(jù)。例如，收集頻域中的下采樣圖像數(shù)據(jù)。根據(jù)該示例性實施例，可以利用相對少量或減小量的輸入數(shù)據(jù)，以及因此相對少量或減小量的相關(guān)聯(lián)的計算處理功率和/或時間，來構(gòu)建(生成、產(chǎn)生、顯示等)3D全息圖像顯示。取決于獲取數(shù)據(jù)的不完整性和哪種特定信息可能不可用，可以有限制地構(gòu)建/顯示合成的3D全息圖像。然而，這種示例性實施例能夠幫助實現(xiàn)實時或接近實時的動態(tài)顯示，具有顯著少的輻射暴露(例如，在現(xiàn)場X射線成像的情況下)以及計算開銷，鑒于與該示例性實施例相關(guān)聯(lián)的潛在限制可以考慮(例如，平衡、權(quán)重)這種益處。
[0053]參照圖4，另一示例性實施例包括將虛擬儀器或?qū)ο筝斎氲饺@示器中。在一個實施例中，對象402可以被數(shù)字化或者渲染到虛擬環(huán)境404中并被顯示?？梢岳L制對象402并將其作為對象數(shù)據(jù)405加載到工作站112，并可以將其編碼到顯示器158中且與全息圖124并發(fā)渲染。對象402的靜態(tài)圖像可以出現(xiàn)在全息圖124中，并利用全息圖124 (和/或在顯示器158上)進(jìn)行單獨操縱。靜態(tài)圖像可用于對象402和全息圖124之間的尺寸比較或測量。
[0054]在一個實施例中，可以包括轉(zhuǎn)換盒406以采用標(biāo)準(zhǔn)化協(xié)議來提供到3D全息顯示器158的“視頻就緒”接口。例如，關(guān)于形狀感測技術(shù)，轉(zhuǎn)換盒406能夠?qū)、y、z坐標(biāo)從每個定位的儀器或?qū)ο?02 (導(dǎo)管、植入物等)格式化成全息顯示器158可讀的空間(例如，柵格化/掃描轉(zhuǎn)換的體素空間、向量空間等)。這可以利用圖1的工作站112執(zhí)行。3D格式應(yīng)該至少支持體素(對于體積)和圖形元件/原語，例如3D中的網(wǎng)(虛擬導(dǎo)管能顯示為管)和線(以編碼測量和文本渲染)。根據(jù)本公開，例如基于特定實驗室或臨床使用或應(yīng)用、與其它相關(guān)技術(shù)的集成、可用資源、環(huán)境條件等，3D格式可以變化。利用該視頻能力，對象402(例如，用于儀器、醫(yī)療設(shè)備、植入物等的計算機(jī)輔助設(shè)計渲染、模型、掃描等)可以相對于顯示器158上或空氣中的全息圖124被獨立地操縱。這樣，對象402可以放置在全息圖124中或周圍，以確定對象是否適合全息圖124的一部分等。例如，可以通過血管放置植入物以視覺地測試合適。還可以想到的是，可以采用其它反饋。例如，通過理解對象402所占據(jù)的空間及其定向，對比模塊能夠確定全息圖124和對象402之間的干擾，以例如能夠支持觸覺反饋來指示對于植入物的清除(clearance)是不可能的。還構(gòu)思了其他應(yīng)用。
[0055]在另一示例性實施例中，圖1和/或圖4的系統(tǒng)100可以用作教育和/或訓(xùn)練工具。例如，通過理解3D解剖學(xué)和/或并入使用實際或虛擬工具或儀器(分別為被監(jiān)視對象128和/或?qū)ο?02)，從業(yè)者(例如，外科醫(yī)生、內(nèi)科醫(yī)生、同伴、醫(yī)生等)能夠在實際執(zhí)行程序之前視覺地實踐程序(外科手術(shù)、病例等)。例如通過定植入物的尺寸以計劃其是否適合特定患者的解剖學(xué)等，同伴/從業(yè)者能夠?qū)嵺`(虛擬地執(zhí)行)外科病例/程序。
[0056]參照圖5同時繼續(xù)參照圖1，跟蹤的輸入設(shè)備(被監(jiān)視對象128)，例如，利用形狀感測、電磁跟蹤、聲學(xué)跟蹤、或基于機(jī)器視覺的光學(xué)跟蹤(飛行時間攝像機(jī)或結(jié)構(gòu)光攝像機(jī))所跟蹤的儀器，可以結(jié)合顯示器158使用以訪問全息圖124中由圖像生成模塊148所生成的虛擬幫助模式觸發(fā)點504 (或其它功能)。虛擬幫助觸發(fā)點504可以包括顯示器或全息圖內(nèi)的像素區(qū)域。例如，當(dāng)操縱虛擬儀器或?qū)ο?02時，通過使用自動登記到圖像中的全息圖124的跟蹤虛擬工具(402)的末梢(或利用被監(jiān)視對象128)，可以選擇(例如，虛擬選擇)和顯示區(qū)域或觸發(fā)點504。
[0057]在一個實施例中，在全息圖124中選擇觸發(fā)點504，并且菜單502或其它交互式空間可以開放以允許進(jìn)一步的選擇。例如，同伴/從業(yè)者能夠通過激活觸發(fā)點504首先選擇稱作“臀部”的程序，以顯示患者的(主體的)臀部的3D CT圖像，隨后選擇來自不同制造者的不同的“臀部植入物”以進(jìn)行查看并“感覺”哪個植入物最適合特定患者。還可以使用(例如，物理上持有并操縱)空中的實際植入物，并將其放置在3D全息顯示器中以查看、感覺和評估適合(例如，這種植入物是否適合特定患者以及適合地多好)。
[0058]圖5示出了虛擬菜單502，其可以設(shè)置在全息顯示器158或其它顯示器118中以允許選擇內(nèi)支架508?？梢允褂蔑@示器118、全息圖124或通過采用接口 130來調(diào)用虛擬菜單502。一旦選擇了內(nèi)支架508，則在顯示器158或全息圖124中渲染虛擬模型(見圖4)，以允許進(jìn)行操縱、測量等。[0059]根據(jù)示例性實施例，虛擬菜單502提供結(jié)合定位和示例性全息用戶接口的臨床決策支持。在內(nèi)部程序使用期間，形狀跟蹤儀器(128)(例如，導(dǎo)管)能夠被導(dǎo)航到感興趣的解剖學(xué)(504)，并且虛擬菜單502能夠為每個區(qū)域自動彈出，或者通過將對象末梢放在觸發(fā)點504的區(qū)域中來激活觸發(fā)點504或者以其它方式激活觸發(fā)點504 (例如，觸摸它等)?？梢赃x擇植入物或其它設(shè)備，然后將其引入以允許在虛擬全息空間中(例如，在全息顯示器中或非?？拷@示器)執(zhí)行設(shè)備定尺寸/選擇。
[0060]參照圖6，根據(jù)另一示例性實施例，在外科手術(shù)期間可以采用3D全息顯示器158或全息圖124來與患者內(nèi)部的設(shè)備602交互?？梢允褂媒?jīng)由主/從配置的機(jī)器人，其中在顯示器158中移動的設(shè)備602的形狀感測模擬物604被用于開動目標(biāo)區(qū)域606中的實際設(shè)備602的運(yùn)動。通過基于傳感器和/或基于語音的技術(shù)，可以跟蹤從業(yè)者(外科醫(yī)生、內(nèi)科醫(yī)生等)的手610或語音，例如通過利用3D全息顯示器中的形狀感測設(shè)備608和形狀感測系統(tǒng)614來跟蹤內(nèi)科醫(yī)生的手。因此，可以將在全息顯示器158中執(zhí)行的從業(yè)者的移動(例如包括他們的手的(重)定位、定向等)傳送到設(shè)備602，例如患者內(nèi)部的機(jī)器人612 (如機(jī)器人控制的儀器)，以在患者體內(nèi)復(fù)制這種移動，因此在患者體內(nèi)執(zhí)行實際的外科手術(shù)、程序或任務(wù)。從而，外科醫(yī)生能夠查看、觸摸和感覺器官的3D全息顯示，在其上(B卩，在3D全息顯示器內(nèi))執(zhí)行程序，經(jīng)由或簡單地移動儀器(例如，機(jī)器人控制的儀器)而使得這種程序在患者內(nèi)部的實際器官上執(zhí)行。
[0061]利用傳感器608 (和/或設(shè)備604中的傳感器)，內(nèi)科醫(yī)生的移動創(chuàng)建感測信號，所述傳感器被系統(tǒng)100采用以控制信號用于控制機(jī)器人或其它設(shè)備602。信號可以存儲在存儲器(116)中，如果需要或期望的話用于延遲的執(zhí)行。可以實時(或接近實時)地執(zhí)行實際程序，例如與外科醫(yī)生在3D全息顯示器158中的執(zhí)行并發(fā)的，機(jī)器人612在患者體內(nèi)執(zhí)行具體移動。(只有)在外科醫(yī)生完成某一任務(wù)/移動(或者一系列任務(wù)或移動)之后，和/或外科醫(yī)生確認(rèn)機(jī)器人應(yīng)該繼續(xù)之后(例如，在達(dá)到某一預(yù)定標(biāo)準(zhǔn)和/或程序里程碑后)，可以通過例如機(jī)器人來執(zhí)行實際程序。這種延遲(例如，3D全息顯示器中的任務(wù)或移動的虛擬執(zhí)行與患者體內(nèi)的實際執(zhí)行之間)，能夠幫助防止不正確地在患者內(nèi)執(zhí)行任何移動/任務(wù)，并通過在移動/任務(wù)已經(jīng)在3D全息顯示器158中虛擬地執(zhí)行之后且在其實際在患者體150內(nèi)由機(jī)器人612執(zhí)行之前向外科醫(yī)生提供機(jī)會來確認(rèn)所述移動/任務(wù)，來確保每個這種移動/任務(wù)被準(zhǔn)確且精確地執(zhí)行。
[0062]此外，如果從業(yè)者對在3D全息顯示器158中虛擬執(zhí)行的具體移動/任務(wù)不滿意(出于任何原因)，則從業(yè)者能夠選擇重新執(zhí)行這種移動或任務(wù)。因此，例如，如果外科醫(yī)生在3D全息顯示器中虛擬執(zhí)行移動或任務(wù)時不注意地在任意特定方向移動地太遠(yuǎn)，則外科醫(yī)生能夠選擇重新執(zhí)行這種虛擬移動或任務(wù)(按期望的次數(shù)或必要地)直到其被正確地執(zhí)行。之后，患者內(nèi)部的機(jī)器人可以執(zhí)行實際的移動或任務(wù)，通過或不通過動態(tài)適應(yīng)任務(wù)以實時調(diào)整目標(biāo)或治療儀器內(nèi)的改變(例如，動態(tài)地、在連續(xù)的基礎(chǔ)上、實時等)。
[0063]參照圖7，另一示例性實施例包括觸覺反饋，其可以通過利用例如超聲被并入以生成空氣中的振動。觸覺設(shè)備710可以采用多種形式。在一個實施例中，可以使用一組超聲探針702來向3D全息顯示器704發(fā)送定制波，從而讓用戶(例如，從業(yè)者)感覺到感受3D全息顯示器704正在顯示和表示的結(jié)構(gòu)。例如，可以對這種波進(jìn)行裁剪或定制以表示骨性結(jié)構(gòu)的硬質(zhì)或硬的材料，同時例如肝臟和/或血管的其它組織能夠通過被相應(yīng)裁剪或配置的波以相對較柔和的“感覺”進(jìn)行表示。例如可以通過觸覺設(shè)備710告知觀察者的頻率、幅度、相位的調(diào)制、或勵磁的其它時空調(diào)制，來實現(xiàn)這種編碼。
[0064]在另一實施例中，觸覺反饋設(shè)備710可以例如用于響應(yīng)從業(yè)者所執(zhí)行的移動或任務(wù)來表示特定結(jié)構(gòu)或組織的物理抗性。因此，例如當(dāng)外科醫(yī)生714利用觸覺反饋虛擬地在3D全息顯示器704中執(zhí)行任務(wù)時，外科醫(yī)生可能感受到這種任務(wù)就像外科醫(yī)生在患者體內(nèi)實際執(zhí)行任務(wù)一樣。這可以利用觸覺設(shè)備712實現(xiàn)，例如手套、手鐲、或具有致動器或其它振動元件的其它服裝或配件。
[0065]根據(jù)一個示例性實施例，例如，能夠從任意角度(虛擬地)觀看示例性3D全息顯示器158，從而所有的用戶能夠以相同的理解和信息進(jìn)行交互。這就是空中全息圖的情況；然而，可以采用其它顯示技術(shù)來為多個個體提供相同的視圖。
[0066]參照圖8，通過在幾何結(jié)構(gòu)802上(全息地)顯示相同或不同信息，可以將顯示信息提供給位于房間或區(qū)域內(nèi)的不同用戶，所述幾何結(jié)構(gòu)802例如是顯示器(立方體或多面體)的每個面都顯示信息的多方面全息顯示器。這可以通過在全息輸出806中渲染(例如，并排或部分重疊)的全息結(jié)構(gòu)802上投影多個2D視頻流804實現(xiàn)。例如，3D的全息“立方體”顯不器能夠在一個立方體面上在一個特定方向(例如，第一從業(yè)者808的方向)不出/顯不信息(例如，2D現(xiàn)場X射線圖像)，同時同一“立方體”顯示器的另一立方體面能夠向位于房間內(nèi)其它地方的第二從業(yè)者810 (例如，與第一從業(yè)者在顯示器的直徑相對的從業(yè)者)示出/顯示另一類型的信息(例如，超聲圖像)。
[0067]本領(lǐng)域具有普通技術(shù)的人員將理解，根據(jù)本文所提供的教導(dǎo)，可以依據(jù)例如房間中用戶的數(shù)目隨意配置這種示例性顯示器。還可以的是，能夠(在房間中)跟蹤每個用戶/從業(yè)者(在房間中)的位置，并且每個個體的顯示信息隨著用戶移動跟隨每個用戶的觀看視角(例如，在程序期間)。例如，能夠為一個特定用戶(醫(yī)生、護(hù)士等)提供用戶需要的具體信息，而不管在程序期間這個特定用戶在房間中移動到哪里。此外，還可以為每個用戶提供唯一的顯示器，如上所述，其可以是2D立方體面，或者為這種用戶定制或裁剪的3D全息顯示器，并且這種唯一顯示器能夠隨著用戶在房間四處走動而“跟隨”用戶。
[0068]根據(jù)本文描述的這個和其它示例性實施例的顯示器的多種組合是可以的，例如為個體用戶提供以具有他們自己的唯一顯示器和/或呈現(xiàn)與其他用戶相同的信息，而不管用戶在房間內(nèi)或任意其它地方的移動和位置(例如，房間外部、不在當(dāng)?shù)氐?。另外，例如，通過從預(yù)定義的模板選擇、選擇具體信息字段、選擇另一特定用戶的顯示器等，用戶可以初始選擇并在程序期間的任意時間改變向其顯示何種信息。
[0069]注意，文本是通信的固有2D模式。系統(tǒng)可以顯示從多個視點可辨識的形狀/符號，或呈現(xiàn)朝向觀看者定向的文本。在多個觀看者的情況下，定向的文本可以同時顯示于多個方向，或者每個獨立地顯示在不同的框架內(nèi)。
[0070]參照圖9，在另一示例性實施例中，遠(yuǎn)程系統(tǒng)900可以包括至少一些系統(tǒng)100(圖1)的能力，但是相對于患者902和數(shù)據(jù)收集儀器遠(yuǎn)程布置。用戶(從業(yè)者、外科醫(yī)生、同伴等)可以遠(yuǎn)程地進(jìn)行程序(例如，與物理上不在主體/患者902所位于的位置本地的用戶一起)，或者遠(yuǎn)程地輔助或提供對程序的指導(dǎo)。例如，用戶能夠在位于其位置處的示例性全息顯示器904上執(zhí)行程序/任務(wù)。在一個實施例中，顯示器904 (例如經(jīng)由因特網(wǎng)或其它網(wǎng)絡(luò)901(有線或無線的))連接到與患者902協(xié)同定位的系統(tǒng)100上。系統(tǒng)100可以與遠(yuǎn)程系統(tǒng)900(例如，用戶所在處)進(jìn)行連續(xù)通信，從而全息顯示器904 (接近)實時地連續(xù)更新。另外，系統(tǒng)100可以包括機(jī)器人控制的儀器906 (例如，在患者內(nèi)部)，如上所述其經(jīng)由遠(yuǎn)程系統(tǒng)900(例如經(jīng)由因特網(wǎng))提供的命令所控制。這些命令是基于用戶與全息顯示器904的交互生成的。全息顯示器158和904可以包括在一個或多個位置處的相同的主體，從而在每個位置傳遞相同的信息。例如，這個實施例可以包括如:向地球上的另一醫(yī)生提供指導(dǎo)或輔助，用于對等回顧，專家輔助，或者虛擬教室，在其中許多學(xué)生可以從遍布世界的不同位置參加現(xiàn)場病例。
[0071]本文所描述的一些或全部示例性實施例和特征也能夠(至少部分地)與本文所描述的任意其它實施例結(jié)合或組合使用。
[0072]參照圖10，根據(jù)示例性實施例示出了用于與全息顯示器交互的方法。在框1002處，生成并顯示了全息渲染的解剖圖像。該圖像可以包括一個或多個器官或解剖區(qū)域。全息渲染的解剖圖像可以在空中生成。
[0073]在框1004處，將被監(jiān)視空間定位在全息渲染的解剖圖像上或周圍，以定義用于交互的區(qū)域。定位系統(tǒng)可以包括光纖形狀感測系統(tǒng)、電磁跟蹤系統(tǒng)、光傳感器陣列和/或其它感測模態(tài)中的一個或多個。優(yōu)選在同一坐標(biāo)系內(nèi)確定被監(jiān)視空間和一個或多個被監(jiān)視對象的位置和定向。一個或多個被監(jiān)視對象可以包括醫(yī)療儀器、用戶的解剖特征、虛擬對象等。
[0074]在框1006處，由定位系統(tǒng)監(jiān)視一個或多個受監(jiān)視對象的位置和定向。在框1008處，在被監(jiān)視空間和一個或多個被監(jiān)視對象之間確定空間點的一致性。在框1010處，如果確定了一致性，則在全息渲染的解剖圖像中觸發(fā)響應(yīng)。在框1012處，響應(yīng)可以包括移動全息渲染的解剖圖像(例如，6D0F)或改變其外觀。在框1014處，所述響應(yīng)可以包括調(diào)整全息渲染的解剖圖像的縮放(放大率)或其它光特性。在框1016處，全息渲染的解剖圖像可以被標(biāo)記、標(biāo)定、靶定等。在框1018處，能夠(為其它觀察者或顯示器)分配攝像機(jī)視點。在框1020處，可以為用戶生成反饋。反饋可以包括觸覺反饋(振動設(shè)備或空氣)、光學(xué)反饋(視覺或顏色差別)、聲學(xué)反饋(言語、警報)，等等。
[0075]在框1022處，可以由定位系統(tǒng)提供和監(jiān)視響應(yīng)區(qū)域，從而當(dāng)激活響應(yīng)區(qū)域時，發(fā)生顯示事件。顯示事件可以包括在框1024處生成幫助菜單；在框1026處生成當(dāng)選擇時將包含于全息渲染的解剖圖像中的虛擬對象的菜單；以及在框1028處生成待顯示的信息。
[0076]在框1030處，可以生成全息渲染的解剖圖像，疊加有映射到全息渲染的解剖圖像上的位置的醫(yī)療數(shù)據(jù)。在框1032處，觸發(fā)的響應(yīng)可以包括生成用于操作機(jī)器人控制的儀器的控制信號。控制信號可以使得遠(yuǎn)程操作能被執(zhí)行。
[0077]在解釋隨附權(quán)利要求時，應(yīng)該理解的是:
[0078]a)詞語“包括”并不排除除了列在給定權(quán)利要求中的那些元件或動作之外的其它元件或動作的存在；
[0079]b)在元件前面的詞語“一(a)”或“一(an)”并不排除存在多個這種元件；
[0080]c)權(quán)利要求中的任何參考標(biāo)記均不限制其范圍；
[0081]d)若干“模塊”可以由實施結(jié)構(gòu)或功能的相同的項目或硬件或軟件表示；以及
[0082]e)除非明確指出，否則并不要求動作的具體序列。
[0083]在已經(jīng)描述了用于醫(yī)療程序的全息用戶接口的優(yōu)選實施(其意圖是示例性的而非限制性的)后，應(yīng)該注意，本領(lǐng)域的技術(shù)人員根據(jù)上述教導(dǎo)能夠做出修改和變型。因此可以理解，在落入本文公開的且隨附權(quán)利要求所概述的實施例的范圍內(nèi)的所公開的本公開的特定實施例中可以做出改變。在這樣描述了專利法所要求的細(xì)節(jié)和特質(zhì)后，由專利特許證所要求保護(hù)和期望保護(hù)的物體在隨附權(quán)利要求中進(jìn)行了闡述。
【權(quán)利要求】
1.一種交互式全息顯不系統(tǒng),包括: 全息生成模塊(115)，其被配置用于顯示全息渲染的解剖圖像(124)； 定位系統(tǒng)(120)，其被配置用于定義在所述全息渲染的解剖圖像上或周圍的被監(jiān)視空間(126);以及 一個或多個被監(jiān)視對象(128)，其位置和定向受所述定位系統(tǒng)的監(jiān)視，從而在所述被監(jiān)視空間和所述一個或多個被監(jiān)視對象之間的空間點的一致性觸發(fā)在所述全息渲染的解剖圖像中的響應(yīng)。
2.如權(quán)利要求1所述的系統(tǒng)，其中所述全息渲染的解剖圖像(124)在空中生成。
3.如權(quán)利要求1所述的系統(tǒng)，其中所述定位系統(tǒng)(120)包括光纖形狀感測系統(tǒng)、電磁跟蹤系統(tǒng)、光傳感器陣列、和感測設(shè)備中的一個或多個，以在同一坐標(biāo)系中確定所述被監(jiān)視空間和所述一個或多個被監(jiān)視對象的位置和定向。
4.如權(quán)利要求1所述的系統(tǒng)，其中所述一個或多個被監(jiān)視對象(128)包括醫(yī)療儀器、用戶的解剖 特征和虛擬對象。
5.如權(quán)利要求1所述的系統(tǒng)，其中在所述全息渲染的解剖圖像(124)中的響應(yīng)包括以下中的一個或多個:所述全息渲染的解剖圖像的平移或旋轉(zhuǎn)，所述全息渲染的解剖圖像的放大率調(diào)整，所述全息渲染的解剖圖像的標(biāo)記和反饋生成。
6.如權(quán)利要求5所述的系統(tǒng)，其中所述響應(yīng)包括對用戶的觸覺反饋。
7.如權(quán)利要求1所述的系統(tǒng)，其中所述全息渲染的解剖圖像(124)包括由所述定位系統(tǒng)監(jiān)視的響應(yīng)區(qū)域(504)，從而當(dāng)激活所述響應(yīng)區(qū)域時發(fā)生顯示事件(502)。
8.如權(quán)利要求7所述的系統(tǒng)，其中所述顯示事件(502)包括生成的幫助菜單、生成的要在選擇時被包含到所述全息渲染的解剖圖像中的虛擬對象的菜單、以及生成的信息顯示。
9.如權(quán)利要求1所述的系統(tǒng)，其中所述全息渲染的解剖圖像(124)顯示映射到其位置上的疊加的醫(yī)療數(shù)據(jù)。
10.如權(quán)利要求1所述的系統(tǒng)，其中在所述全息渲染的解剖圖像(124)中的響應(yīng)生成用于操作機(jī)器人控制的儀器(602)的控制信號。
11.如權(quán)利要求1所述的系統(tǒng)，其中在所述全息渲染的解剖圖像中的響應(yīng)包括種子點(162)，其被放置以指導(dǎo)虛擬攝像機(jī)角度用于額外的顯示。
12.如權(quán)利要求1所述的系統(tǒng)，其中所述交互式全息顯示系統(tǒng)被布置為遠(yuǎn)離患者位置，并通過通信網(wǎng)絡(luò)(910)連接到所述患者位置。
13.如權(quán)利要求1所述的系統(tǒng)，其中所述交互式全息顯示系統(tǒng)被布置為遠(yuǎn)離患者位置，并通過通信網(wǎng)絡(luò)(910)連接到所述患者位置，從而所述全息渲染的解剖圖像被用于遠(yuǎn)程控制在所述患者位置處的儀器(906)。
14.如權(quán)利要求1所述的系統(tǒng)，還包括語音識別引擎(166)，其被配置用于將語音命令轉(zhuǎn)換成用于改變所述全息渲染的解剖圖像的外觀的命令。
15.—種交互式全息顯不系統(tǒng),包括: 處理器(114)； 耦合到所述處理器的存儲器(116)； 全息生成模塊(115)，其包含于所述存儲器中并被配置用于作為空中全息圖或在全息顯示器上顯示全息渲染的解剖圖像(124)；定位系統(tǒng)(120)，其被配置用于定義在所述全息渲染的解剖圖像上或周圍的被監(jiān)視空間(126);以及 一個或多個被監(jiān)視對象(128)，其位置和定向受所述定位系統(tǒng)的監(jiān)視，從而在所述被監(jiān)視空間和所述一個或多個被監(jiān)視對象之間的空間點的一致性觸發(fā)在所述全息渲染的解剖圖像中的響應(yīng)；其中在所述全息渲染的解剖圖像中的響應(yīng)包括以下中的一個或多個:所述全息渲染的解剖圖像的平移或旋轉(zhuǎn)，所述全息渲染的解剖圖像的放大率調(diào)整，所述全息渲染的解剖圖像的標(biāo)記和反饋生成。
16.如權(quán)利要求15所述的系統(tǒng)，其中所述定位系統(tǒng)(120)包括光纖形狀感測系統(tǒng)、電磁跟蹤系統(tǒng)、光傳感器陣列、和感測設(shè)備中的一個或多個，以在同一坐標(biāo)系中確定所述被監(jiān)視空間和所述一個或多個被監(jiān)視對象的位置和定向。
17.如權(quán)利要求15所述的系統(tǒng)，其中所述一個或多個被監(jiān)視對象(128)包括醫(yī)療儀器、用戶的解剖特征和虛擬對象。
18.如權(quán)利要求15所述的系統(tǒng)，其中所述響應(yīng)包括對用戶的觸覺反饋。
19.如權(quán)利要求15所述的系統(tǒng)，其中所述全息渲染的解剖圖像(124)包括由所述定位系統(tǒng)監(jiān)視的響應(yīng)區(qū) 域(504)，從而當(dāng)激活所述響應(yīng)區(qū)域時發(fā)生顯示事件(502)。
20.如權(quán)利要求19所述的系統(tǒng)，其中所述顯示事件(502)包括生成的幫助菜單、生成的要在選擇時被包含到所述全息渲染的解剖圖像中的虛擬對象的菜單、以及生成的信息顯/Jn ο
21.如權(quán)利要求15所述的系統(tǒng)，其中所述全息渲染的解剖圖像(124)顯示映射到其位置上的疊加的醫(yī)療數(shù)據(jù)。
22.如權(quán)利要求15所述的系統(tǒng)，其中在所述全息渲染的解剖圖像中的響應(yīng)生成用于操作機(jī)器人控制的儀器(602)的控制信號。
23.如權(quán)利要求15所述的系統(tǒng)，其中在所述全息渲染的解剖圖像中的響應(yīng)包括種子點(162),其被放置以指導(dǎo)虛擬攝像機(jī)角度用于額外的顯示。
24.如權(quán)利要求15所述的系統(tǒng)，其中所述交互式全息顯示系統(tǒng)被布置為遠(yuǎn)離患者位置，并通過通信網(wǎng)絡(luò)(910)連接到所述患者位置。
25.如權(quán)利要求15所述的系統(tǒng)，其中所述交互式全息顯示系統(tǒng)被布置為遠(yuǎn)離患者位置，并通過通信網(wǎng)絡(luò)(910)連接到所述患者位置，從而所述全息渲染的解剖圖像被用于遠(yuǎn)程控制在所述患者位置處的儀器(906)。
26.如權(quán)利要求15所述的系統(tǒng)，還包括語音識別引擎(166)，其被配置用于將語音命令轉(zhuǎn)換成用于改變所述全息渲染的解剖圖像的外觀的命令。
27.一種用于與全息顯示進(jìn)行交互的方法，包括: 顯示(1002)全息渲染的解剖圖像； 定位(1004)在所述全息渲染的解剖圖像上或周圍的被監(jiān)視空間以定義用于交互的區(qū)域； 由定位系統(tǒng)監(jiān)視(1006) —個或多個被監(jiān)視對象的位置和定向； 確定(1008)在所述被監(jiān)視空間和所述一個或多個被監(jiān)視對象之間的空間點的一致性；以及 如果確定了一致性，則觸發(fā)(1010)在所述全息渲染的解剖圖像中的響應(yīng)。
28.如權(quán)利要求27所述的方法，其中顯示包括在空中生成(1002)所述全息渲染的解剖圖像。
29.如權(quán)利要求27所述的方法，其中所述定位系統(tǒng)包括光纖形狀感測系統(tǒng)、電磁跟蹤系統(tǒng)、光傳感器陣列、和傳感器設(shè)備中的一個或多個，并且所述方法還包括在同一坐標(biāo)系中確定(1004)所述被監(jiān)視空間和所述一個或多個被監(jiān)視對象(1006)的位置和定向。
30.如權(quán)利要求27所述的方法，其中所述一個或多個被監(jiān)視對象包括醫(yī)療儀器、用戶的解剖特征和虛擬對象。
31.如權(quán)利要求27所述的方法，其中觸發(fā)響應(yīng)包括以下中的一個或多個:移動(1012)所述全息渲染的解剖圖像；調(diào)整(1014)所述全息渲染的解剖圖像的縮放；標(biāo)記(1016)所述全息渲染的解剖圖像；以及生成(1020)對用戶的反饋。
32.如權(quán)利要求31所述的方法，其中生成反饋包括生成針對用戶的觸覺反饋。
33.如權(quán)利要求27所述的方法，其中所述全息渲染的解剖圖像包括由所述定位系統(tǒng)監(jiān)視的響應(yīng)區(qū)域(1022)，從而當(dāng)激活所述響應(yīng)區(qū)域時發(fā)生顯示事件。
34.如權(quán)利要求33所述的方法，其中所述顯示事件包括:生成(1024)幫助菜單；生成(1026)要在選擇時被包含到所述全息渲染的解剖圖像中的虛擬對象的菜單；以及生成(1028)待顯示的信息。
35.如權(quán)利要求27所述的方法，還包括渲染(1030)所述全息渲染的解剖圖像，疊加有映射到所述全息渲染的解剖圖像的位置上的醫(yī)療數(shù)據(jù)。
36.如權(quán)利要求27所述的方法，還包括生成(1032)用于操作機(jī)器人控制的儀器的控制信號。
【文檔編號】G03H1/22GK103959179SQ201280051749
【公開日】2014年7月30日 申請日期:2012年10月15日 優(yōu)先權(quán)日:2011年10月20日
【發(fā)明者】L·韋拉爾迪, R·陳, D·S·A·魯伊特斯, S·H·德尼森, S·什萊格特 申請人:皇家飛利浦有限公司