專利名稱：與三維圖像中表示的三維表面互動(dòng)的圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理方法，利用二維顯示裝置顯示三維(3-D)物體處理過的圖像，并與顯示的三維物體的表面互動(dòng)。本發(fā)明還涉及醫(yī)用成像設(shè)備或系統(tǒng)，并涉及用于處理由這些設(shè)備或系統(tǒng)產(chǎn)生的醫(yī)用三維圖像并與肌體器官等三維物體的表面互動(dòng)的程序產(chǎn)品。
本發(fā)明發(fā)現(xiàn)了在醫(yī)學(xué)成像法和程序產(chǎn)品領(lǐng)域以及醫(yī)用成像設(shè)備或系統(tǒng)的具體應(yīng)用。
人體中管狀結(jié)構(gòu)的二維及三維成像系統(tǒng)通過美國專利US5,891,030(Johnson等)已為公眾所知。該系統(tǒng)例如利用醫(yī)用成像裝置、如電腦層析照相法(CT)掃描儀和計(jì)算機(jī)工作站對活體的消化道成像。CT掃描儀用于產(chǎn)生人體結(jié)腸的截面軸向圖像，然后傳遞給計(jì)算機(jī)工作站。隨著結(jié)腸官腔確定結(jié)腸中線。計(jì)算機(jī)工作站通過產(chǎn)生并顯示重新格式化的橫截面圖像、對于容積的探查和內(nèi)腔視野來支持結(jié)腸中線的明確性。還包括半自動(dòng)中線確定工具。中線確定之后，顯示一個(gè)用于診斷目的的圖像剪輯。該圖像包括軸向部分、半腔橫截面和關(guān)于內(nèi)腔容積的圖像。
因此，立體圖像數(shù)據(jù)用于產(chǎn)生二維改換格式的視圖和三維再現(xiàn)以及對數(shù)據(jù)的導(dǎo)航。該專利只側(cè)重于柱狀和管狀表面。根據(jù)確定的中線前產(chǎn)生改換格式的二維圖像和再現(xiàn)圖像再現(xiàn)，并再用于導(dǎo)航。導(dǎo)航限制在預(yù)定中線路徑周圍的區(qū)域。因?yàn)橐晥鲇邢薏⑶乙蚨行┍砻娌课槐唤梗耘c模型的直接三維互動(dòng)很困難。對于用戶的困難在于在三維表面上表示且直接繪制線條、輪廓、區(qū)域以及與三維圖像數(shù)據(jù)一般地互動(dòng)。
本發(fā)明涉及利用二維顯示裝置表示三維物體以及在顯示的三維物體表面導(dǎo)航并與之互動(dòng)的圖像處理方法。更具體地說，本發(fā)明涉及一種利用二維顯示裝置表示三維物體并在顯示的三維肌體器官表面導(dǎo)航和與之互動(dòng)的圖像處理方法，其中三維物體是不限于管狀形狀的三維肌體器官，可以有很多的盤旋(rotondities)及旋繞代替。
表示三維物體的三維圖像通常顯示在與計(jì)算裝置和二維接口裝置相關(guān)聯(lián)的二維顯示屏上，二維接口裝置例如是一個(gè)連接到計(jì)算裝置的鼠標(biāo)，用于對顯示屏上看到的三維圖像動(dòng)作。利用二維鼠標(biāo)對顯示在二維屏幕上的三維圖像動(dòng)作時(shí)出現(xiàn)的問題是操作者難以互動(dòng)操縱三維數(shù)據(jù)以及同時(shí)在三維環(huán)境中循環(huán)或?qū)Ш?。例如，難以在用鼠標(biāo)移動(dòng)或轉(zhuǎn)動(dòng)三維物體或改變視點(diǎn)的同時(shí)選擇一個(gè)區(qū)域、繪制一個(gè)輪廓等。甚至當(dāng)利用網(wǎng)格模型對顯示在三維圖像中的三維物體分區(qū)時(shí)，也注意到網(wǎng)格模式難以操縱。附加的一個(gè)問題是在醫(yī)學(xué)圖像中，代表一個(gè)器官的三維物體可以表示使得其表面的可視化以及在其表面的導(dǎo)航都很困難的旋繞。注意，旋繞使得三維數(shù)據(jù)的處理以及三維表面的二維表像非常困難。
本發(fā)明的目的在于提出一種能夠易于在三維圖像表示的三維物體表面導(dǎo)航的方法。根據(jù)本發(fā)明，此方法包括三維物體表面的至少兩個(gè)耦接視圖的構(gòu)成及顯示，包括一個(gè)球形三維視圖和在其上進(jìn)行局部互動(dòng)的物體表面連接的局部二維視圖。
在權(quán)利要求1中保護(hù)了提出的一種圖像處理方法。
本發(fā)明的優(yōu)點(diǎn)在于在與原始圖像數(shù)據(jù)保形之前提取并檢驗(yàn)?zāi)Ｐ汀Ｔ卺t(yī)學(xué)領(lǐng)域，相關(guān)的醫(yī)學(xué)信息可以映射到模型表面。這些醫(yī)學(xué)信息可以代表圖像紋理、顏色編碼或任何其它可視方式(如灌注、運(yùn)動(dòng)、張緊)。
本發(fā)明的另一目的在于提供這樣一種方法，包括在兩個(gè)用于處理視圖中的數(shù)據(jù)的視圖中的一個(gè)中的物體表面上互動(dòng)導(dǎo)航，其中另一耦接視圖中的對應(yīng)的數(shù)據(jù)自動(dòng)更新。
本發(fā)明的另一目的在于提供一種成像系統(tǒng)，該系統(tǒng)具有用于顯視圖像的顯示裝置，用于對圖像數(shù)據(jù)起作用的接口裝置，并具有執(zhí)行本方法的處理裝置。利用成像系統(tǒng)顯示耦接的球形三維視圖和三維物體表面的局部二維視圖。操作者可以例如通過用鼠標(biāo)點(diǎn)擊鈕將光標(biāo)定位到三維表面而選擇一個(gè)三維視圖中由焦點(diǎn)表示的開始導(dǎo)航點(diǎn)。焦點(diǎn)周圍的一個(gè)區(qū)域被自動(dòng)地投影到二維視圖中。為了在三維環(huán)境中互動(dòng)導(dǎo)航，用戶只需要在二維視圖中導(dǎo)航并在二維視圖中處理數(shù)據(jù)，這比在三維視圖中容易。利用二維與三維視圖間的耦接，在三維視圖中自動(dòng)且同時(shí)更新數(shù)據(jù)處理。另外，因?yàn)閮煞晥D同時(shí)更新，所以焦點(diǎn)可以恒定地設(shè)置在兩幅視圖的中心。因此，操作者可以用二維視圖作為還被稱作“虛擬鼠標(biāo)墊”的工具。操作者通過在虛擬鼠標(biāo)墊上滑動(dòng)而在二維視圖中導(dǎo)航，這導(dǎo)致操作者可以在三維表面連續(xù)滑動(dòng)。操作者還可以在三維視圖中重新定位焦點(diǎn)以在二維視圖中完成既定的任務(wù)。
本發(fā)明還涉及一種具有圖像處理裝置的X射線醫(yī)用檢查設(shè)備以及用于執(zhí)行本方法的程序產(chǎn)品或程序包。
下面參考附圖對本發(fā)明做詳細(xì)的描述，其中

圖1A表示在二維屏幕上第一窗口中三維物體的球形三維視圖，圖1B表示第二窗口中的一個(gè)投影的二維局部視圖，它們根據(jù)圖像處理方法進(jìn)行處理；圖2A和2B分別表示根據(jù)圖1B的箭頭移位之后更新的球形三維視圖和投影的局部視圖；圖3A和3B分別表示帶有標(biāo)記的圖1A和1B的球形三維視圖和投影的局部視圖；圖4A和4B分別表示帶有標(biāo)記的圖2A和2B的球形三維視圖和投影的局部視圖；圖5A和5B表示用于投影三維物體的一個(gè)區(qū)域并形成局部二維視圖的投影技術(shù)；圖6表示一個(gè)具有執(zhí)行圖像處理方法的系統(tǒng)的設(shè)備。
本發(fā)明涉及一種應(yīng)用到例如由灰度水平表示的三維圖像的圖像處理方法。圖像可以由一個(gè)醫(yī)學(xué)檢查設(shè)備提供，并可以代表稱作物體的器官的三維表面，不限于管狀器官。為了給用戶提供更好的例如相對于背景的物體視圖，可以對物體分區(qū)。
利用一個(gè)包括顯示裝置如二維屏幕的成像系統(tǒng)顯示代表三維物體的三維圖像，其中顯示裝置與計(jì)算裝置以及用于對圖像導(dǎo)航和動(dòng)作的二維接口裝置如鼠標(biāo)相關(guān)聯(lián)。
圖像處理方法包括關(guān)于三維物體表面的至少兩個(gè)耦接視圖的同步顯示的構(gòu)成，包括物體表面的球形三維視圖和局部二維視圖，其中在三維視圖上進(jìn)行局部互動(dòng)和同時(shí)更新。
本方法包括靜態(tài)和動(dòng)態(tài)表示兩個(gè)耦接視圖的方法。操作者可以例如通過用用戶接口裝置如鼠標(biāo)點(diǎn)擊鈕將光標(biāo)定位到三維表面而選擇一個(gè)三維視圖中由焦點(diǎn)表示的開始導(dǎo)航點(diǎn)。界定焦點(diǎn)周圍的一個(gè)區(qū)域并自動(dòng)地將其投影到二維視圖中。根據(jù)本發(fā)明的方法，可以自動(dòng)地界定區(qū)域的大小以避免像元的畸變超過預(yù)定的閾值。作為畸變的函數(shù)，可以對區(qū)域的各個(gè)部分分配不同的顏色。一般地，區(qū)域中指定點(diǎn)的畸變是分開此點(diǎn)與焦點(diǎn)的距離的反函數(shù)。另外，根據(jù)本方法，視圖還有用于形成相應(yīng)標(biāo)記的取向裝置。疊加到三維視圖上的取向軸線形成一個(gè)第一標(biāo)記，疊加到二維視圖上的對應(yīng)取向軸線形成一個(gè)對應(yīng)的第二標(biāo)記。優(yōu)選不同的軸線著不同的顏色，并且對應(yīng)的軸線著相同的顏色，以便允許操作者能夠在兩個(gè)視圖的每個(gè)視圖中很容易地識別它們。
本方法還包括動(dòng)態(tài)表示耦接視圖的方法。此方法包括在用于處理數(shù)據(jù)的兩個(gè)視圖中的一個(gè)中的物體表面互動(dòng)導(dǎo)航，其中所述的視圖自動(dòng)更新耦接視圖中對應(yīng)的數(shù)據(jù)。為了在三維環(huán)境中互動(dòng)導(dǎo)航，用戶只需在二維視圖中導(dǎo)航并在二維視圖中處理數(shù)據(jù)，這比在三維視圖中容易很多。由于二維和三維視圖的耦接，在三維視圖中自動(dòng)和同步地更新數(shù)據(jù)處理。另外，因?yàn)閮煞晥D同時(shí)更新，所以焦點(diǎn)和標(biāo)記可以恒定地設(shè)置在兩幅視圖的中心。因此，操作者可以用二維視圖作為被稱作“虛擬鼠標(biāo)墊”的工具。通過在二維視圖中導(dǎo)航，操作者可以在三維表面連續(xù)滑動(dòng)。操作者還可以在三維視圖中重新定位焦點(diǎn)和標(biāo)記以在二維視圖中完成既定的任務(wù)。相反，通過指點(diǎn)二維視圖，操作者可以更新三維視圖。
本圖像處理方法包括下列步驟1)獲取意中物體的三維圖像獲取三維圖像的方法不是本發(fā)明的內(nèi)容。本方法可以應(yīng)用到器官的三維圖像上，而三維圖像通過超聲系統(tǒng)或X線設(shè)備或本領(lǐng)域技術(shù)人員公知的其它系統(tǒng)獲得。三維物體示于圖1A中。在此例中，根據(jù)H.Delingette在題為“Simplex Meshesa General Representation for3-D shape Reconstruction”的，公開于“Processing of the InternationalConference on Computer Vision and Pattern Recognition(CVPR’94)，20-24 June 1994，Seattle，UAS”的公開物中揭示的分區(qū)技術(shù)對三維物體分區(qū)。在此論文中給出了一種恢復(fù)三維物體的物理方法。該方法是基于“Simplex Meshes”的幾何學(xué)。網(wǎng)格的彈性性能通過控制在每個(gè)頂點(diǎn)(網(wǎng)格的節(jié)點(diǎn))處抽取的單純角的平均曲率的局部穩(wěn)定功能來塑造。這些功能是觀查點(diǎn)不變的、本征的以及尺度敏感的。因此，單純的網(wǎng)格是非常適應(yīng)的結(jié)構(gòu)。提高網(wǎng)格在高度彎曲或不精確部位的分辨率的改進(jìn)方法包括連接單純的網(wǎng)格以從具有簡單形狀的部分中恢復(fù)復(fù)雜的網(wǎng)格。一個(gè)單純的網(wǎng)格具有恒定的頂點(diǎn)連接性，每個(gè)頂點(diǎn)連接到三個(gè)相鄰的頂點(diǎn)。它可以表示所有類型的可取向表面。定義四種獨(dú)立的變換以實(shí)現(xiàn)所有可能范圍內(nèi)的網(wǎng)格變換。它們在一個(gè)面中插入或刪除邊緣。變形隱含著內(nèi)力和外力。內(nèi)力決定物理模型對外部限制的反應(yīng)。內(nèi)力表現(xiàn)為本征觀察點(diǎn)不變的，并且是與尺度有關(guān)的。對于輪廓保持相似類型的限制。因此，引證的公開物提供了用于表示指定三維物體的簡單模型。它定義了施加的力，以便將模型重新整形并調(diào)節(jié)成所關(guān)心的三維物體?！癝implex Mesh technique(單純網(wǎng)格技術(shù))”是一種提供強(qiáng)制分區(qū)圖像的互動(dòng)方法。
2)靜態(tài)表示兩個(gè)耦接的視圖參見圖1A和1B，在一個(gè)屏幕中構(gòu)成并顯示一組兩個(gè)耦接的視窗。如圖1A所示，此組耦接視窗包括用于顯示意中物體的三維球形視圖的第一視窗32A。對此三維球形視圖分區(qū)，由此表示帶有單純網(wǎng)格模型的面和邊的三維物體。在圖1A中，作為一個(gè)例子，分區(qū)的物體是一個(gè)球形或圓形物體10。最好在第一視窗32A的子視窗31A中設(shè)置提示，表明視圖表示三維球形物體。如圖1B所示，此組耦接的視圖還包括一個(gè)第二視窗32B，用于顯示意中物體的局部區(qū)域的二維投影視圖。第二視窗32B在子視窗31B中有提示，表明視圖代表局部二維視圖。
用戶例如通過在網(wǎng)格模型表面10上定位鼠標(biāo)光標(biāo)并點(diǎn)擊鼠標(biāo)鈕來選擇三維球形視圖32A中的開始導(dǎo)航點(diǎn)P0。用戶點(diǎn)擊的該點(diǎn)也被稱為焦點(diǎn)。在本例中，焦點(diǎn)P0位于網(wǎng)格模型的面11A中。利用本領(lǐng)域技術(shù)人員公知的平化技術(shù)把焦點(diǎn)P0周圍未折疊的區(qū)域12A投影到第二視窗32B的二維視圖中，形成一個(gè)投影表面12B。限制投影表面12B的面積尺寸以避免投影畸變。
為了易于使焦點(diǎn)P0和投影區(qū)12A、12B可視化，可以對所關(guān)心的區(qū)域分配不同的顏色。例如，對耦接的第一和第二視窗中焦點(diǎn)位于的網(wǎng)格模型的面11A、11B分配第一種顏色，如圖1A和1B中的第一灰度水平。焦點(diǎn)周圍的環(huán)區(qū)可以分配與所述區(qū)中發(fā)現(xiàn)的畸變值有關(guān)的不同顏色。一般地，畸變隨著距離焦點(diǎn)的距離增大。以平化畸變?yōu)楹瘮?shù)地界定選取的投影區(qū)域12B。
表現(xiàn)在第二視窗32B中的二維局部視圖與表現(xiàn)在第一視窗32A中的三維球形視圖耦接。通過模型單元隱含地知道二維視圖與三維視圖之間一對一的直接映射，因此在兩個(gè)視圖之間有一種直接的對應(yīng)。利用互動(dòng)裝置在二維局部投影視圖32B上執(zhí)行的任何動(dòng)作都自動(dòng)地在三維球形視圖32A中更新。
參見圖3A和3B，對耦接的視圖設(shè)置對應(yīng)的標(biāo)記。如圖3A所示，三維球形視圖包括在屏幕平面中的第一軸線1A和第二正交軸線2A；以及與屏幕平面正交的第三軸線3A。如圖3B所示，二維局部視圖包括屏幕平面中的一個(gè)第一對應(yīng)軸線和一個(gè)第二正交對應(yīng)軸線2B；以及一個(gè)與屏幕平面正交的第三對應(yīng)軸線3B。第一對應(yīng)軸線1A、1B可以具有圖中實(shí)線表示的第一種顏色。第二對應(yīng)軸線2A、2B可以具有圖中虛線表示的第二種顏色。第三對應(yīng)軸線3A、3B可以具有圖中的十字表示的第三種顏色。因此，用戶可以很容易地識別耦接視圖中的對應(yīng)軸線。
因?yàn)閺钠交^程中傳承了二維與三維視圖之間直接的一對一的映射，因此，在兩幅視圖的每個(gè)像素之間有一種直接對應(yīng)關(guān)系。由接口裝置在二維局部投影視圖32B的像素上執(zhí)行的任何動(dòng)作都自動(dòng)地在三維球形視圖32A的對應(yīng)像素中更新。這種特性通過連接到用戶界面的計(jì)算裝置執(zhí)行的耦合計(jì)算而獲得。這種特性尤其對利用醫(yī)學(xué)信息簡單映射網(wǎng)格模型的三維表面有用。在二維表面視圖中引入了這些信息。醫(yī)學(xué)信息可以代表圖像紋理、顏色編碼或任何其它可視方式，如涉及到器官的灌注、運(yùn)動(dòng)、張緊。這種特性還對三維表面的設(shè)計(jì)尤其有用。對二維表面視圖的設(shè)計(jì)非常容易。設(shè)計(jì)可以是在特定的器官部位畫出標(biāo)記的線條；用于界定或增亮器官部位的輪廓。
3)動(dòng)態(tài)表示耦接圖像中的互動(dòng)導(dǎo)航利用二維鼠標(biāo)在表現(xiàn)在二維屏幕上的三維表面直接導(dǎo)航時(shí)出現(xiàn)的困難在于操作者難以在三維環(huán)境中循環(huán)或?qū)Ш降耐瑫r(shí)互動(dòng)操縱三維數(shù)據(jù)。例如，難以用鼠標(biāo)移動(dòng)或轉(zhuǎn)動(dòng)三維物體并同時(shí)選擇一個(gè)區(qū)域來畫出一個(gè)輪廓，該輪廓起始于物體前面的一個(gè)部位并在該物體或器官后面的一個(gè)部位繼續(xù)。甚至當(dāng)利用網(wǎng)格模型對表現(xiàn)在三維圖像中的三維物體分區(qū)時(shí)，也注意到網(wǎng)格模型難以操縱。附帶的問題在于在醫(yī)學(xué)圖像中表現(xiàn)一個(gè)器官的三維物體可以表示旋繞，該旋繞使得表面的可視化以及在表面的導(dǎo)航很困難。注意，旋繞使得三維數(shù)據(jù)以及三維表面的二維表像的處理非常困難。
為了在三維視圖32A中互動(dòng)導(dǎo)航，用戶只需要在二維視圖32B上放置并點(diǎn)擊鼠標(biāo)。如圖1B所示，用戶可以相對于起始點(diǎn)P0向上導(dǎo)航。然后，用戶選擇一個(gè)例如位于二維局部視圖32B的面21B中的新焦點(diǎn)P1。該焦點(diǎn)自動(dòng)地沿在點(diǎn)P1發(fā)現(xiàn)的箭頭100移位。
參見圖2A和2B，球形和局部視圖都自動(dòng)地同時(shí)更新。根據(jù)本發(fā)明，在更新的視窗32A和32B中心自動(dòng)地同步設(shè)置新焦點(diǎn)。因此，新焦點(diǎn)恒定地位于更新的視窗中心。這種特性允許用戶利用二維視圖作為一個(gè)用于在二維視圖上連續(xù)滑動(dòng)的虛擬鼠標(biāo)墊自動(dòng)和同步地在三維視圖上滑動(dòng)。圖2A表示在球形視窗32A的中心和在局部視窗32b的中心的新焦點(diǎn)P1。這個(gè)新焦點(diǎn)位于面21B中。新算出的投影區(qū)是局部視圖32B中的22B。在三維視圖32A中自動(dòng)地同步發(fā)現(xiàn)對應(yīng)的三維區(qū)域22A。可以重復(fù)上述程序直到完成導(dǎo)航。
參見圖4A和4B，不僅通過在兩個(gè)耦接圖像中的一個(gè)上滑動(dòng)來更新焦點(diǎn)和像點(diǎn)，而且還更新標(biāo)記。因此，用戶可以沒有損失地在復(fù)雜表面上很容易地導(dǎo)航。用戶可以與三維表面模型執(zhí)行連續(xù)互動(dòng)，如區(qū)域選擇、繪制圍繞表面模型的曲線，切割部分模型，在復(fù)雜表面上界定區(qū)域，測量曲線輪廓如短程區(qū)域面積等。當(dāng)可以獲得紋理并映射到模型上時(shí)，用戶可以執(zhí)行邊緣探測、特征提取以及對映射的紋理的其它測量。例如跟蹤移動(dòng)導(dǎo)線、探測伸張都是易于在二維局部視圖上執(zhí)行的可能的操作。與模型的互動(dòng)不限于引證的實(shí)例。本發(fā)明尤其適用于可以應(yīng)用到心室模型的心臟病學(xué)領(lǐng)域、可以應(yīng)用到脊椎骨模型的脊骨病理學(xué)研究領(lǐng)域以及動(dòng)脈造影術(shù)和靜脈學(xué)領(lǐng)域等。
4)投影技術(shù)可以使用本領(lǐng)域技術(shù)人員公知的導(dǎo)致局部表面平坦化的任何投影技術(shù)。例如，可以使用參見圖5A和5B所述的本領(lǐng)域公知的投影技術(shù)。這項(xiàng)技術(shù)包括與圖5A中表示的平面P到三維物體S有關(guān)的操作。圖5B表示三維物體與平面的截面圖。截面輪廓的每個(gè)點(diǎn)沿箭頭方向D投影到平面截面上。把物體的截面設(shè)計(jì)成與平面的每一列對應(yīng)，并且物體截面對應(yīng)輪廓的點(diǎn)投影到該平面上。由此獲得物體輪廓的投影。例如在ANDREW S.GLASSNER編輯的，ACADEMIC PRESS(XeroxPalo Alto Research Center，Palo Alto，Califonia)的題為“GRAPHICSGEMS”，p.307-317的文章中描述了用于進(jìn)行投影的各種方法。
5)執(zhí)行本方法的系統(tǒng)參見圖6，醫(yī)學(xué)診斷成像設(shè)備150包括用于獲得三維數(shù)字圖像數(shù)據(jù)的裝置，用于根據(jù)上述處理方法處理這些數(shù)據(jù)的數(shù)字處理系統(tǒng)120。醫(yī)學(xué)檢查設(shè)備包括把圖像數(shù)據(jù)提供給至少有一個(gè)輸出端106的處理系統(tǒng)120、從而把圖像數(shù)據(jù)提供給顯示和/或存儲(chǔ)裝置130、140的裝置。顯示和存儲(chǔ)裝置可以分別是屏幕140和工作站110的存儲(chǔ)器。所述的存儲(chǔ)裝置也可以是外存儲(chǔ)裝置。此圖像處理系統(tǒng)120可以是工作站130的一種適當(dāng)?shù)木幊逃?jì)算機(jī)，由程序產(chǎn)品給予指令，也可以是具有電路裝置如LUT、存儲(chǔ)器、濾波器、邏輯操作器的特殊用途處理器給予指令，分布這些電路裝置以執(zhí)行根據(jù)本發(fā)明的方法步驟的功能。工作站130還可以包括一個(gè)鍵盤131和一個(gè)鼠標(biāo)132。
權(quán)利要求
1.一種圖像處理方法，利用二維顯示裝置顯示三維(3-D)物體的處理圖像并與顯示的三維物體的表面互動(dòng)，本方法包括以下步驟構(gòu)成并顯示三維物體表面的至少兩個(gè)耦接視圖，這些視圖包括一個(gè)球形三維視圖和在其上進(jìn)行局部互動(dòng)的所述物體表面連接的局部二維視圖。
2.如權(quán)利要求1所述的方法，還包括以下步驟在兩幅視圖的一幅中在物體表面上互動(dòng)導(dǎo)航，并處理所述視圖中的數(shù)據(jù)，自動(dòng)更新另一耦接視圖中的對應(yīng)數(shù)據(jù)。
3.如權(quán)利要求2所述的方法，用于靜態(tài)表示所述兩個(gè)耦接的視圖，包括以下步驟在三維視圖中選擇一個(gè)由焦點(diǎn)表示的開始點(diǎn)；界定焦點(diǎn)周圍的一個(gè)區(qū)域并自動(dòng)地將所述區(qū)域投影到二維視圖中。
4.如權(quán)利要求3所述的方法，其特征在于，兩個(gè)耦接的視圖還有用于形成對應(yīng)標(biāo)記的取向裝置。
5.如權(quán)利要求4所述的方法，其特征在于，取向軸線疊加到三維視圖上以形成一個(gè)第一標(biāo)記，對應(yīng)取向軸線疊加到二維視圖上以形成一個(gè)對應(yīng)的第二標(biāo)記，并且其中，不同的軸線著不同的顏色，并且對應(yīng)的軸線著相同的顏色，以便在兩個(gè)視圖的每一個(gè)中識別這些軸線。
6.如權(quán)利要求3至5中任一項(xiàng)所述的方法，用于進(jìn)一步動(dòng)態(tài)表示所述耦接的視圖，包括以下步驟在物體表面上互動(dòng)導(dǎo)航，具有把焦點(diǎn)滑到二維視圖中的一個(gè)新位置的子步驟，其中自動(dòng)更新在三維視圖中的新焦點(diǎn)；界定新焦點(diǎn)周圍的一個(gè)新區(qū)域并將所述區(qū)域自動(dòng)投影到二維視圖中；和處理二維視圖的所述新區(qū)域中數(shù)據(jù)的子步驟，其中自動(dòng)且同步地更新耦接的三維視圖中對應(yīng)的數(shù)據(jù)。
7.如權(quán)利要求3至6中任一項(xiàng)所述的方法，其特征在于，因?yàn)閮蓚€(gè)視圖同時(shí)被更新，所以焦點(diǎn)和標(biāo)記恒定地設(shè)置在兩個(gè)視圖的中心。
8.如權(quán)利要求3至7中任一項(xiàng)所述的方法，其特征在于，對三維視圖的不同像元分配不同的顏色，如對不同的軸線用不同的顏色，對不同的區(qū)域用不同的顏色，并且對二維視圖中的對應(yīng)像元分配對應(yīng)的顏色，并且其中，在兩幅視圖中同步地和自動(dòng)地更新不同的顏色。
9.如權(quán)利要求1至8中任一項(xiàng)所述的方法，其特征在于，利用網(wǎng)格模型技術(shù)對所關(guān)心的三維物體分區(qū)。
10.如權(quán)利要求9所述的方法，用于處理表示器官的三維醫(yī)學(xué)圖像中的數(shù)據(jù)，其特征在于，醫(yī)學(xué)信息映射到三維網(wǎng)格模型上，其中該信息被引入到二維表面視圖中，并且其中，在醫(yī)學(xué)信息中有可視醫(yī)學(xué)指示，如圖像紋理、顏色編碼或任何其它可視方式，如與器官有關(guān)的灌注、移動(dòng)、張緊。
11.如權(quán)利要求10所述的方法，其特征在于，對二維表面視圖進(jìn)行設(shè)計(jì)，并在三維視圖中自動(dòng)和同步地更新，并且其中，在所述設(shè)計(jì)中有對特殊的器官部位繪制標(biāo)記的線條；界定器官部位的輪廓，用于增強(qiáng)器官或器官部位的特殊設(shè)計(jì)。
12.如權(quán)利要求10或11中任一項(xiàng)所述的方法，其特征在于，進(jìn)行導(dǎo)航步驟期間，通過在稱作虛擬鼠標(biāo)墊的二維模型上滑動(dòng)而進(jìn)行與三維表面模型的連續(xù)互動(dòng)，并且其中，在互動(dòng)中有區(qū)域選擇、在表面模型的任何部位上的曲線繪制、模型部位的切割、在復(fù)雜表面上的區(qū)域描繪、曲線輪廓的測量；并且當(dāng)獲得紋理并映射到模型上時(shí)，在互動(dòng)中有邊緣探測、特征抽取和/或在映射的紋理上的醫(yī)學(xué)測量，如跟蹤導(dǎo)線移動(dòng)和/或探測伸張。
13.如權(quán)利要求10-12中任一項(xiàng)所述的方法，其特征在于，器官模型是心臟病學(xué)中的心室模型、脊骨病理學(xué)中的脊椎骨模型、動(dòng)脈造影術(shù)和靜脈學(xué)中的血管。
14.一種包括適當(dāng)編程的計(jì)算機(jī)或特殊用途的具有電路裝置的處理器的系統(tǒng)，電路裝置布置成根據(jù)權(quán)利要求1～13中任一項(xiàng)所述的方法處理圖像數(shù)據(jù)。
15.一種醫(yī)學(xué)診斷成像設(shè)備，其具有獲取肌體器官的三維圖像的裝置；顯示耦接的三維和二維視圖的顯示裝置；對二維及三維視圖起作用的接口裝置；和執(zhí)行如權(quán)利要求1～13中任一項(xiàng)所述的方法的處理裝置。
16.一種計(jì)算機(jī)程序產(chǎn)品，其包括一組用于執(zhí)行如權(quán)利要求1～13中任一項(xiàng)所述的方法的指令。
全文摘要
本發(fā)明涉及利用二維顯示裝置顯示處理過的三維物體的圖像并與顯示的三維物體的表面互動(dòng)的圖像處理方法，包括構(gòu)成并顯示三維物體表面的至少兩個(gè)耦接的視圖，兩個(gè)視圖包括一個(gè)球形三維視圖和物體表面上進(jìn)行互動(dòng)的連接的局部二維視圖。本方法還包括在兩個(gè)視圖的一個(gè)中的物體表面上互動(dòng)導(dǎo)航，并處理所述視圖中的數(shù)據(jù)，自動(dòng)更新另一耦接視圖中的對應(yīng)數(shù)據(jù)。
文檔編號G06T17/40GK1639675SQ02813533
公開日2005年7月13日 申請日期2002年7月5日 優(yōu)先權(quán)日2001年7月6日
發(fā)明者J·－M·魯埃, M·弗拉金, S·馬克拉姆－埃貝德 申請人:皇家菲利浦電子有限公司