本發(fā)明涉及一種用于調整(適配)圖形顯示的計算機實現(xiàn)的方法、系統(tǒng)和計算機程序產品。
背景技術:
1、為了檢測檢查對象中的復雜解剖對象,例如器官和/或中空器官和/或組織和/或腫瘤和/或神經血管病變,和/或醫(yī)學對象,例如導管和/或導絲和/或內窺鏡和/或植入物,可以檢測檢查對象的3d空間解析的醫(yī)學圖像數(shù)據(jù)和/或模型數(shù)據(jù),并以圖形顯示給醫(yī)學查看者。目前的方法基于立方視場(field-of-view,fov)重建3d數(shù)據(jù)集,例如3d數(shù)字減影血管造影(dsa)。不利的是,沿觀察方向布置在檢查對象的感興趣的解剖和/或醫(yī)學對象前的解剖和/或醫(yī)學對象會至少部分疊加和/或覆蓋圖形顯示中的感興趣的對象。由此會不利地影響檢查對象的過程規(guī)劃和/或診斷。
技術實現(xiàn)思路
1、因此,本發(fā)明的任務是確保在圖形顯示中檢查對象的多個解剖和/或醫(yī)學對象的可檢測性。
2、該技術問題根據(jù)本發(fā)明通過獨立權利要求的內容解決。具有適宜的改進設計的有利實施方式是從屬權利要求的內容。無論特定術語的語法性別如何,具有男性、女性或其他性別身份的人都包括在內。
3、在第一方面,本發(fā)明涉及一種用于調整圖形顯示的計算機實施的方法。在步驟a)中,檢測具有檢查對象的多個解剖和/或醫(yī)學對象的圖像和/或模型的數(shù)據(jù)集。在另外的步驟b)中,通過顯示單元顯示數(shù)據(jù)集的圖形顯示。在另外的步驟c)中,通過檢測信號識別多個解剖和/或醫(yī)學對象中的至少一個,該至少一個對象由圖形顯示的查看者查看。在此,檢測信號由檢測單元提供,該檢測單元構造用于識別由查看者當前查看的圖形顯示的子區(qū)域,并且根據(jù)所識別的子區(qū)域提供檢測信號。在另外的步驟d)中,通過調整圖形顯示的顯示參數(shù)調整至少一個識別的對象的圖形顯示。
4、有利的是,上述步驟a)至d)可以至少部分地、特別是全部地、先后相繼地或同時進行。此外,上述步驟a)至d)可以至少部分,特別是全部由計算機執(zhí)行。
5、檢查對象可以是例如人類的和/或動物病患和/或檢查體模。查看者可以是人員,特別是醫(yī)學人員,例如醫(yī)生。
6、檢測數(shù)據(jù)集可包括接收和/或記錄數(shù)據(jù)集。接收數(shù)據(jù)集尤其可以包括檢測和/或讀取計算機可讀數(shù)據(jù)存儲器和/或從數(shù)據(jù)存儲單元,例如數(shù)據(jù)庫接收。此外,數(shù)據(jù)集可由醫(yī)學成像設備的提供單元提供。替選或額外地,可以通過醫(yī)學成像設備記錄數(shù)據(jù)集。
7、用于記錄數(shù)據(jù)集的醫(yī)學成像設備可包括醫(yī)學x光設備,特別是醫(yī)學c型臂x光設備和/或錐束ct(cbct)系統(tǒng)和/或計算機斷層掃描(ct)系統(tǒng)和/或磁共振成像(mri)系統(tǒng)和/或正電子發(fā)射斷層掃描(pet)系統(tǒng)和/或超聲波設備。
8、數(shù)據(jù)集可具有檢查對象的多個解剖和/或醫(yī)學對象的圖像和/或模型,特別是分別包括圖像和/或分別包括模型。檢查對象可具有至少一個解剖對象,特別是多個解剖對象,以及至少一個醫(yī)學對象,特別是多個醫(yī)學對象。替選地,檢查對象可具有多個解剖對象或多個醫(yī)學對象。至少一個解剖對象可包括檢查對象的血管區(qū)段和/或中空器官和/或器官和/或組織。此外,至少一個醫(yī)學對象可包括診斷和/或手術器械和/或布置在檢查對象內或檢查對象上的植入物。
9、有利的是,數(shù)據(jù)集可具有檢查對象的多個解剖和/或醫(yī)學對象的二維(2d)和/或三維(3d)空間分辨圖像。二維空間分辨圖像可將檢查對象的多個解剖和/或醫(yī)學對象映射成二維投影。特別是,檢查對象的多個解剖和/或醫(yī)學對象的圖像可包括多個像點,特別是像素和/或體素,其帶有圖像值,特別是衰減值和/或強度值,其映射多個解剖和/或醫(yī)學對象。替選或額外地,數(shù)據(jù)集可具有檢查對象的多個解剖和/或醫(yī)學對象的二維和/或三維空間分辨模型,例如容積模型,特別是容積網格模型,和/或骨架化模型,特別是中心線模型。例如統(tǒng)計和/或標準化模型可根據(jù)檢查對象的參數(shù)調整適配檢查對象。替選或額外地,可以根據(jù)預檢測的數(shù)據(jù),例如檢查對象的術前圖像數(shù)據(jù)提供模型。例如可將模型設計為檢查對象的數(shù)字孿生(digital?twin)。數(shù)據(jù)集也可以是時間分辨的,特別是數(shù)據(jù)集可以包括檢查對象的多個解剖和/或醫(yī)學對象的時間分辨圖像和/或時間分辨模型。
10、顯示單元可包括監(jiān)視器和/或投影儀和/或屏幕和/或數(shù)據(jù)眼鏡,其用于顯示數(shù)據(jù)集的圖形顯示。數(shù)據(jù)集的圖形顯示可以是二維或三維空間分辨的。此外,數(shù)據(jù)集的圖形顯示可以是時間分辨的,例如視頻和/或序列。
11、檢測單元可包括傳感器,特別是光學和/或聲學和/或電磁和/或機械傳感器,其構造用于識別查看者當前查看的圖形顯示的子區(qū)域。替選或額外地,檢測單元還可以包括輸入單元,例如鍵盤和/或指示設備和/或輸入屏,其構造用于檢測查看者的輸入。檢測單元還在此可以構造為根據(jù)用戶的輸入識別圖形顯示的子區(qū)域。輸入可包括用于子區(qū)域空間識別的信息。替選或額外地,輸入可以包括圖形顯示的幾何變換的信息,例如渲染和/或旋轉和/或縮放和/或平移和/或變焦和/或剪切。子區(qū)域可包括數(shù)據(jù)集圖形顯示的空間區(qū)段,特別是關聯(lián)的空間區(qū)段。有利的是,檢測單元根據(jù)識別的子區(qū)域提供檢測信號,特別是具有關于識別的子區(qū)域的信息。對查看者當前查看的圖形顯示的子區(qū)域的識別可以手動進行,例如根據(jù)輸入,也可以自動進行,例如根據(jù)檢測到的查看者的視線方向。
12、有利的是,多個解剖和/或醫(yī)學對象中的至少一個,特別是多個,可以根據(jù)檢測信號被識別,其由圖形顯示的查看者查看,特別是在瞬間查看。有利的是,多個解剖和/或醫(yī)學對象中的至少一個,特別是多個解剖和/或醫(yī)學對象的至少一個圖像和/或至少一個模型,可以與數(shù)據(jù)集圖形顯示的子區(qū)域相關聯(lián),例如通過空間對應以提供數(shù)據(jù)集的圖形顯示。有利的是,多個解剖和/或醫(yī)學對象中的至少一個解剖和/或醫(yī)學對象可以根據(jù)檢測信號被識別,其至少部分地,特別是大部分或完全地表示在圖形顯示的子區(qū)域中。
13、在步驟d)中,可以尤其選擇性地調整至少一個識別出的對象,尤其是多個識別出的對象的圖形顯示的尤其多個顯示參數(shù)。有利的是,其他解剖和/或醫(yī)學對象的圖形顯示的顯示參數(shù)可以保持基本不變。顯示參數(shù)可包括亮度和/或對比度和/或透明度和/或色彩和/或飽和度。有利的是,通過調整顯示參數(shù),可對至少一個識別出的對象的圖形顯示進行突顯、隱藏和/或標注,特別是標記。有利的是,待調整的顯示參數(shù)可以自動預先給定,特別是識別,或根據(jù)查看者的另外的輸入識別。
14、所提出的實施方式可有利地確保在圖形顯示中多個解剖和/或醫(yī)學對象的可檢測性。
15、在所提出的方法的另外的有利實施方式中,步驟b)至d)可重復執(zhí)行,直到出現(xiàn)中斷條件。
16、有利的是,中斷條件可以規(guī)定步驟c)至d)的最大重復數(shù)量,例如剩余的計劃的程序步驟的數(shù)量。替選或額外地,中斷條件還可以規(guī)定重復執(zhí)行步驟b)至d)的最長持續(xù)時間,特別是總共的。替選或額外地,查看者對所有的多個解剖和/或醫(yī)學對象的查看,特別是累積的查看,可導致中斷條件的發(fā)生。
17、所提出的實施方式可以根據(jù)已查看過的對象通過反復、尤其是逐步調整圖形顯示,實現(xiàn)圖形顯示中其余對象的更好的可檢測性。
18、在所建議方法的另一個有利實施例中,數(shù)據(jù)集可分別包括多個解剖和/或醫(yī)學對象的三維圖像和/或三維模型。圖形顯示可包括三維圖像和/或三維模型的二維投影。
19、有利的是,數(shù)據(jù)集可針對多個解剖和/或醫(yī)學對象中的每個對象分別包括三維圖像,特別是三維空間分辨圖像,和/或三維模型,特別是三維空間分辨模型。有利的是,多個解剖和/或醫(yī)學對象的三維圖像和/或三維模型可以在三維空間布局中彼此虛擬定位,特別是根據(jù)它們在檢查對象中的實際定位。圖形顯示可作為多個解剖和/或醫(yī)學對象的三維圖像和/或三維模型的二維投影圖像提供,例如在顯示平面上。
20、有利的是,圖形顯示可以具有顯示點、尤其是像素,其帶有顯示值、尤其是像素值,表示三維圖像和/或三維模型的二維投影。二維投影圖像可將三維圖像和/或三維模型的圖像值和/或模型值沿二維投影,特別是沿相應的投影方向,映射到顯示平面上,特別是顯示值上。
21、在所建議方法的另一個有利實施例中,多個解剖和/或醫(yī)學對象的三維圖像和/或三維模型可沿二維投影至少部分相互重疊和/或覆蓋。在此,如果多個解剖和/或醫(yī)學對象在圖形顯示的子區(qū)域內至少部分相互重疊和/或覆蓋,則可根據(jù)檢測信號識別沿二維投影分別在前景的解剖和/或醫(yī)學對象。
22、多個解剖和/或醫(yī)學對象的三維圖像和/或三維模型可沿二維投影,特別是沿二維投影圖像在顯示平面上的投影方向,至少部分相互重疊和/或相互覆蓋。特別是,多個不同三維圖像和/或三維模型的圖像值和/或模型值可以映射到顯示值上。例如顯示值可以確定為函數(shù),例如作為沿二維投影的圖像和/或模型值的總和和/或乘積,和/或作為最大值和/或最小值。
23、如果多個三維圖像和/或三維模型與數(shù)據(jù)集圖形顯示的子區(qū)域相關聯(lián),例如通過用于提供數(shù)據(jù)集圖形顯示的空間對應關系相關聯(lián),則可根據(jù)檢測信號分別識別沿二維投影的前景的解剖和/或醫(yī)學對象。在此,相對于其他解剖和/或醫(yī)學對象,沿二維投影朝向查看者布置的解剖和/或醫(yī)學對象可有利地作為前景識別。
24、在所建議方法的另一個有利實施例中,可通過光線追蹤和/或深度緩沖(z-buffering)在三維圖像和/或三維模型中識別至少一個解剖和/或醫(yī)學對象。
25、根據(jù)檢測信號可有利地將圖形顯示的子區(qū)域識別為表示平面內的二維空間限定區(qū)域。子區(qū)域可包括圖形顯示的多個顯示點,其表示二維投影。從子區(qū)域,特別是子區(qū)域內的顯示點開始,可以通過光線跟蹤和/或深度緩沖識別由查看者查看的至少一個解剖和/或醫(yī)學對象。特別是,在子區(qū)域內有多個解剖和/或醫(yī)學對象而其至少部分相互重疊和/或遮擋時,可通過光線跟蹤和/或深度緩沖從子區(qū)域出發(fā)與二維投影的投影方向相反地識別前景的解剖和/或醫(yī)學對象。
26、所建議的實施例可以實現(xiàn)對至少一個被觀察的解剖和/或醫(yī)學對象的更好的、特別是魯棒的識別。
27、在所建議方法的另一個有利實施例中,檢測數(shù)據(jù)集可包括通過至少部分不共線的投影方向記錄檢查對象的投影圖像。在此三維圖像可以從多個投影圖像重建。
28、用于記錄數(shù)據(jù)集,特別是投影圖像的成像設備可以有利地具有源和探測器,它們可以相對于檢查對象,特別是感興趣區(qū)域以確定的布局定位。在醫(yī)學成像設備構造為醫(yī)學x射線設備,特別是醫(yī)學c臂x射線設備和/或計算機斷層掃描(ct)系統(tǒng)時,源可以是x射線源,探測器可以是x射線探測器。
29、至少部分非共線的投影方向可以分別說明在相應的投影圖像的記錄時間點、醫(yī)學成像設備的源和探測器,特別是探測器中心之間的光束,特別是中心和/或中央光束的走向。特別是,投影方向可以分別說明醫(yī)學成像設備相對于檢查對象的角度和/或確定的源和探測器布局的等中心,特別是旋轉中心。等中心可以說明一個空間點,尤其在記錄投影圖像期間,確定的源和探測器布局可以圍繞該空間點移動,特別是旋轉。有利的是,至少部分共線的投影方向可以分別穿過、尤其是共同的等中心。
30、有利的是,多個投影圖像可以分別以二維空間分辨地對檢查對象成像。有利的是,可以從多個投影圖像重建三維圖像,使三維圖像以三維空間分辨對檢查對象中的解剖和/或醫(yī)學對象成像。例如重建可以包括濾波背投影。特別是可以根據(jù)三維dsa從投影圖像重建三維圖像。為此,投影圖像可以在掩膜階段、尤其是未施加對比,和填充階段、尤其是施加對比地對檢查對象成像。通過從填充階段的投影圖像、特別是三維圖像中減去掩膜階段的投影圖像、特別是重建的三維圖像,可以提供施加對比的解剖對象的三維圖像。此外,重建可以包括投影圖像和/或三維圖像的空間、時間和/或基于強度的窗化,尤其是自動或用戶特定地進行窗化(fensterung或稱為視窗化)。
31、在所建議方法的另一個有利實施例中,檢測單元可以具有視線方向檢測單元,其構造用于檢測查看者相對于圖形顯示的瞬間視線方向。此外可以根據(jù)視線方向識別查看者當前查看的圖形顯示子區(qū)域。
32、視線方向檢測單元可以具有傳感器,例如電磁和/或光學傳感器,用于檢測查看者的瞬間視線方向,例如通過檢測查看者瞳孔的空間定位,特別是瞬間定位。有利的是,視線方向檢測單元構造用于檢測查看者對圖形顯示,特別是顯示平面的視線方向。視線方向可以描述查看者視線所沿的空間維度。視線方向檢測單元可以集成到顯示單元中,和/或以與顯示單元確定的位置關系布置。此外,視線方向檢測單元可以設計成將視線方向與圖形顯示的尤其是顯示平面上的至少一個顯示點,尤其多個顯示點關聯(lián)。子區(qū)域可以包括與當前視線方向關聯(lián)的至少一個顯示點。此外,子區(qū)域還可以被識別,形式為包括預定義環(huán)境中的多個顯示點,例如圍繞相關聯(lián)的顯示點。替選或額外地,可以包括多個顯示點地識別子區(qū)域,這些顯示點由查看者查看,持續(xù)預定的查看持續(xù)時間和/或在預定的查看間隔內。
33、建議的實施例可以特別直觀地識別圖形顯示的子區(qū)域。
34、在所建議方法的另一個有利實施例中,顯示參數(shù)可包括亮度和/或對比度和/或透明度和/或著色和/或飽和度。
35、調整顯示參數(shù)可包括增加或減少至少一個識別的對象的圖形顯示的亮度和/或對比度和/或透明度和/或飽和度。替選或額外地,可以調整至少一個識別的對象的圖形顯示的著色。有利的是,至少一個識別的對象的圖形顯示的亮度和/或對比度和/或透明度和/或著色和/或飽和度可以相對于其余的解剖和/或醫(yī)學對象的圖形顯示的亮度和/或對比度和/或透明度和/或著色和/或飽和度進行調整。
36、如果圖形顯示有三維圖像和/或三維模型的二維投影,則至少一個識別的對象的三維圖像和/或三維模型的二維投影的亮度和/或對比度和/或透明度和/或著色和/或飽和度可以有利地調整,特別是選擇性地調整。有利的是,至少一個識別對象的圖形顯示的顯示參數(shù),特別是亮度和/或對比度和/或透明度和/或著色和/或飽和度,可以以這樣的方式進行調整,即其他對象的圖形顯示的至少部分疊加和/或遮擋被減少,特別是最小化。替選或額外地,可以調整顯示參數(shù),將至少一個識別的對象標示,特別是標記以查看,例如通過專用的著色和/或去飽和度和/或透明度。
37、所建議的實施例可以有利地實現(xiàn)經調整的圖形顯示中剩余、特別是未查看的解剖和/或醫(yī)學對象的更好的可檢測性。
38、在所建議方法的另一個有利實施例中,至少一個解剖對象可包括檢查對象的血管區(qū)段和/或中空器官和/或器官和/或組織。此外,至少一個醫(yī)學對象可包括診斷和/或手術器械和/或植入物。
39、至少一個解剖對象可以有利地包括檢查對象的血管區(qū)段,例如動脈和/或靜脈,和/或血管畸形,例如動靜脈畸形和/或病灶,和/或中空器官,例如肺,和/或器官,例如肝臟和/或心臟,和/或組織,例如肌肉組織和/或骨骼結構和/或腫瘤組織。
40、至少一個醫(yī)學對象例如可包括診斷和/或手術器械,例如導絲和/或導管和/或內窺鏡,和/或植入物,例如支架。
41、所提出的實施方式可有利地確保在圖形顯示中多個解剖和/或醫(yī)學對象的可檢測性。
42、在所建議方法的另一個有利實施例中,可根據(jù)檢測信號檢測圖形顯示子區(qū)域的查看持續(xù)時間。在此,在達到或超過預定的閾值時,可以通過檢測到的查看持續(xù)時間識別至少一個對象。
43、有利的是,根據(jù)時間分辨的檢測信號可確定查看者查看圖形顯示的單個空間區(qū)域多久。在此根據(jù)檢測信號首先可將圖形顯示的所有查看的區(qū)域識別為候選子區(qū)域。在候選子區(qū)域的查看持續(xù)時間達到或超過預定的閾值時,候選子區(qū)域可被識別為子區(qū)域。在此查看持續(xù)時間可表示查看者查看圖形顯示子區(qū)域的持續(xù)時間。
44、閾值可根據(jù)查看者的進一步輸入和/或根據(jù)統(tǒng)計的查看持續(xù)時間和/或查看者特定地確定。
45、所建議的實施例可以實現(xiàn)對子區(qū)域和至少一個被觀察的解剖和/或醫(yī)學對象的更好的、特別是可靠的識別。
46、在所建議方法的另一個有利實施例中,可以檢查查看者是否已查看過圖形顯示中多個解剖和/或醫(yī)學對象的所有圖像。如果沒有,則可輸出工作流程提示。
47、有利的是可以將多個解剖和/或醫(yī)學對象的圖像分類為已查看或未查看,特別是根據(jù)步驟c)中的識別。有利的是可以反復,特別是連續(xù)檢查圖形顯示中的多個解剖和/或醫(yī)學對象的所有圖像是否都被分類為已查看。如果沒有,特別是有解剖和/或醫(yī)學對象的圖像被分類為未查看時,則可以輸出工作流程提示。工作流程提示可以包括圖形顯示,例如提示文本和/或符號和/或幾何對象,例如輪廓,和/或語音輸出和/或觸覺反饋,例如振動。有利的是,工作流程提示可以通過顯示單元和/或揚聲器和/或振動電機輸出。工作流程提示可具有在圖形顯示中存在被歸類為未查看的解剖和/或醫(yī)學對象圖像的信息。此外,工作流程提示還可以具有對至少一個被歸類為未查看的圖像的提示,特別是圖像在圖形顯示中的位置,例如箭頭和/或輪廓。
48、所建議的實施例可有利地確保完整查看圖形顯示中成像的解剖和/或醫(yī)學對象。
49、第二方面本發(fā)明涉及一種系統(tǒng),其包括檢測單元、顯示單元和提供單元構成。提供單元構造用于檢測具有檢查對象的多個解剖和/或醫(yī)學對象的圖像和/或模型的數(shù)據(jù)集。顯示單元用于顯示數(shù)據(jù)集的圖形顯示。檢測單元構造用于識別由查看者當前查看的圖形顯示的子區(qū)域,并且根據(jù)所檢測的子區(qū)域提供檢測信號。提供單元進一步構造用于根據(jù)檢測信號識別多個解剖和/或醫(yī)學對象中的至少一個,該至少一個對象由圖形顯示的查看者查看。提供單元和/或顯示單元進一步構造用于通過調整圖形顯示的顯示參數(shù)來調整至少一個識別的對象的圖形顯示。
50、所建議系統(tǒng)的優(yōu)點基本上與所建議對圖形顯示調整的方法的優(yōu)點相對應。在此提到的特征、優(yōu)點或者備選的實施方式同樣也可以向其他要求保護的內容上轉移并且反之亦然。
51、在所建議系統(tǒng)的另一個有利實施方式中,系統(tǒng)可進一步包括醫(yī)學成像設備,該設備構造用于記錄數(shù)據(jù)集。
52、用于記錄數(shù)據(jù)集的醫(yī)學成像設備可包括醫(yī)學x光設備,特別是醫(yī)學c型臂x光設備和/或錐束ct(cbct)系統(tǒng)和/或計算機斷層掃描(ct)系統(tǒng)和/或磁共振成像(mri)系統(tǒng)和/或正電子發(fā)射斷層掃描(pet)系統(tǒng)和/或超聲波設備。
53、所建議成像設備的優(yōu)點基本上與所建議對圖形顯示調整的方法的優(yōu)點相對應。在此提到的特征、優(yōu)點或者備選的實施方式同樣也可以向其他要求保護的內容上轉移并且反之亦然。
54、本發(fā)明在第三方面涉及一種計算機程序產品,其具有可直接加載到提供單元的存儲器中的計算機程序,計算機程序帶有程序部段,當程序部段由提供單元執(zhí)行時,執(zhí)行所建議的用于調整圖形顯示的方法的所有步驟。計算機程序產品在此可以包括帶有仍需編譯和綁定或僅需解釋的源代碼的軟件,或僅需加載到提供單元中執(zhí)行的可執(zhí)行的軟件代碼。通過計算機程序產品可通過提供單元快速、可相同地重復和魯棒地執(zhí)行調整圖形顯示的方法。計算機程序產品配置成可以通過提供單元執(zhí)行根據(jù)本發(fā)明的方法步驟。
55、計算機程序產品例如存儲在計算機可讀存儲介質上或存在網絡或服務器上,可從該網絡或服務器加載到提供單元的處理器中,其與提供單元直接連接或構造為提供單元的一部分。此外計算機程序產品的控制信息可以存儲在電子可讀數(shù)據(jù)載體上。電子可讀數(shù)據(jù)載體的控制信息可以設計為在數(shù)據(jù)載體用于提供單元中時執(zhí)行建根據(jù)本發(fā)明的方法。對于電子可讀數(shù)據(jù)載體的例子是dvd、磁帶或usb棒,其上存儲電子可讀控制信息,尤其軟件。當該控制信息由數(shù)據(jù)載體讀取和存儲到提供單元中時,可以執(zhí)行上述方法的所有根據(jù)本發(fā)明的實施方式。
56、主要根據(jù)軟件實現(xiàn)具有的優(yōu)點是,至今已使用的提供單元可以以簡單的方式通過軟件更新改裝,以按照本發(fā)明的方式工作。除了計算機程序外,這樣的計算機程序產品還可以包括其他組成部分,如文件和/或其他組件,以及硬件組件,如用于使用該軟件的硬件鎖(加密狗等)。