本發(fā)明涉及微創(chuàng)外科手術
技術領域：
，尤其涉及一種用于增強現(xiàn)實手術導航的腹腔鏡視頻精準融合方法。
背景技術：
：在腹腔鏡手術過程中，由于腹腔鏡下有限的手術環(huán)境感知，醫(yī)生無法直觀獲取腹腔鏡視野周邊的全局信息，傳統(tǒng)的腹腔鏡手術只能依靠醫(yī)生的經驗和技巧把握病人病灶的位置、深度和切除范圍，存在對病灶及其邊界定位不準，健康組織切除過多等問題，致使手術的難度和風險性較大。增強現(xiàn)實導航技術可以有效解決腹腔鏡手術中存在的有限手術環(huán)境感知問題，即把高分辨率的器官組織或目標腫瘤的三維解剖模型(CT或MRI重建)通過圖像配準過程匹配到術中視野，為醫(yī)生提供基于視頻疊加的視覺引導，實現(xiàn)微創(chuàng)手術可視化。在目前腹腔鏡手術增強現(xiàn)實導航研究方面，美國佛羅里達大學的Su等在文獻“AugmentedRealityDuringRobot-assistedLaparoscopicPartialNephrectomy:TowardReal-Time3D-CTtoStereoscopicVideoRegistration”中公開了一種用于腎部分切除術的增強現(xiàn)實導航方法，該方法將術前腎臟解剖模型和腫瘤位置通過剛性配準匹配到術中腹腔鏡的相機坐標系下，并疊加顯示在腹腔鏡視野上。日本名古屋大學的Feuerstein等在文獻“Intraoperativelaparoscopeaugmentationforportplacementandresectionplanninginminimallyinvasiveliverresection”中公開了一種將肝臟血管的術前三維圖像增強顯示在腹腔鏡視頻上用于肝臟切除手術導航。國內腹腔鏡手術增強現(xiàn)實導航方面仍處于初級起步研究階段。腹腔鏡手術增強現(xiàn)實導航的關鍵是實現(xiàn)視頻疊加融合，即如何將可視化信息(例如器官/腫瘤的術前解剖模型)實時、正確地匹配到術中腹腔鏡視野上。當前的技術主要采用兩種手段實現(xiàn)視頻疊加融合：第一類方法采用蠻力算法遍歷術前解剖模型(三角面片模型)的每個三維點，使用事先標定好的相機內外參數(shù)，計算每個三維點在二維圖像上的坐標，并采用繪圖函數(shù)畫出該二維投影點；第二類方法先對腹腔鏡相機的原始圖像做畸變校正，然后通過設置3D圖形渲染引擎(例如OpenGL)的投影幾何關系，對畸變校正圖像進行圖像渲染，從而得到與校正后的腹腔鏡圖像一致的虛擬圖像。第一類方法的缺點在于效率太低，缺少三維效果，無法做到實時渲染，而且也無法實現(xiàn)三維渲染中的遮擋、光照等效果；第二類方法的缺點是為了保證相機的線性投影關系而損失了一部分術中視野。技術實現(xiàn)要素：發(fā)明目的：本發(fā)明克服了現(xiàn)有腹腔鏡視頻疊加融合技術中的缺點，提出了一種用于增強現(xiàn)實手術導航的腹腔鏡視頻精準融合方法，在不損失術中視野范圍的前提下，能充分利用3D圖形渲染引擎的渲染能力，實現(xiàn)術前導航信息與術中腹腔鏡視野圖像的實時精準疊加(overlay)。技術方案：本發(fā)明一種用于增強現(xiàn)實手術導航的腹腔鏡視頻精準融合方法，其步驟如下：步驟一：對腹腔鏡相機進行標定，確定其相機參數(shù)包括：f、k1、k2、k3、p1、p2、sx、sy、cx、cy、W、H。其中，步驟一中所述f指腹腔鏡相機的焦距(單位為毫米)，所述k1、k2、k3指腹腔鏡相機鏡頭的徑向畸變系數(shù)，所述p1、p2指腹腔鏡相機鏡頭的切向畸變系數(shù)，所述sx指腹腔鏡相機單個像素的橫向物理尺寸(單位為毫米)，所述sy指腹腔鏡相機單個像素的縱向物理尺寸(單位為毫米)，所述cx指腹腔鏡相機光軸與成像平面的交點在相機圖像上的橫向像素坐標，所述cy指腹腔鏡相機光軸與成像平面的交點在相機圖像上的縱向像素坐標，所述W指腹腔鏡相機拍攝圖像的寬度(單位為像素)，所述H指腹腔鏡相機拍攝圖像的高度(單位為像素)。步驟二：使用腹腔鏡相機標定參數(shù)進行3D圖形渲染引擎的投影矩陣設置，使得3D圖形渲染引擎的視圖平截頭體與實際腹腔鏡相機具有相同的投影幾何關系。以OpenGL為例，其中，步驟二中所述的“投影矩陣設置”，其作法如下：P=2fr-l0r+lr-l002ft-bt+bt-b000-zf+znzf-zn-2zfznzf-zn00-10]]>該P即為所述投影矩陣；式中，l＝-(cx+0.5)sx，r＝(W-0.5-cx)sx，t＝(cy+0.5)sy，b＝-(H-0.5-cy)sy，該f、sx、sy、cx、cy、W、H與步驟一所述一致；式中，zn為OpenGL視圖平截頭體中的近裁剪平面對應的z坐標絕對值，zf為OpenGL中的遠裁剪平面對應的z坐標絕對值，取值依據(jù)|zf-zn|的值不小于5倍目標器官長度大小，比如，器官的最大維度為100mm，則可取|zf-zn|＝500，可令zn＝1，zf＝501。步驟三：獲取手術對象術中的腹腔鏡圖像，使用3D圖形渲染引擎渲染生成對應的無畸變視圖。其中，步驟三中所述的“3D圖形渲染引擎渲染”，其作法如下：(1)將術前器官組織的三維解剖模型以頂點數(shù)組對象(vertexarrayobject)形式導入3D圖形渲染引擎環(huán)境中；(2)獲取真實腹腔鏡圖像(2D圖像)，采用基于視圖的3D-2D配準方法得到模型視圖矩陣MV，將步驟二所述投影矩陣P和模型視圖矩陣MV相乘獲得模型視圖投影矩陣MVP，該MVP＝P·MV；(3)啟動3D圖形渲染引擎渲染流水線，把模型視圖投影矩陣MVP傳給3D圖形渲染引擎的頂點著色器(vertexshader)，在頂點著色器中用該MVP變換三維解剖模型的每一個幾何頂點，并在3D圖形渲染引擎的片段著色器(fragmentshader)中進行光照和紋理渲染，最終得到的渲染圖像即為在腹腔鏡相機拍攝角度下的與實際腹腔鏡相機具有同樣幾何成像的無畸變視圖。步驟四：利用畸變模型對步驟三所述3D圖形渲染引擎渲染獲得的無畸變視圖進行變形處理(wrap)，獲得與實際腹腔鏡具有同樣畸變效果的虛擬視圖。其中，步驟四所述的“畸變模型”，它表示如下：u~v~=u+u(k1r2+k2r4+k3r6)+p1(r2+2u2)+2p2uvv+v(k1r2+k2r4+k3r6)+p2(r2+2v2)+2p1uv]]>式中，所述該u、v為無畸變視圖中任一點的歸一化坐標；式中，所述為u、v點發(fā)生鏡頭畸變后對應在畸變視圖中的歸一化坐標；式中，所述k1、k2、k3為步驟一所述腹腔鏡相機鏡頭的徑向畸變系數(shù)，所述p1、p2為步驟一所述腹腔鏡相機鏡頭的切向畸變系數(shù)。其中，步驟四所述的“變形處理”，其作法如下：利用和(u、v)之間的映射關系可以生成一個W×H的查找表，該W、H與步驟一所述一致，查找表里面存儲著畸變視圖的每一個像素點對應在非畸變視圖中的位置。將查找表以紋理(texture)形式導入3D圖形渲染引擎環(huán)境，在3D圖形渲染引擎的片段著色器中對非畸變視圖進行并行變形處理，最終得到與實際腹腔鏡具有同樣畸變效果的虛擬視圖。步驟五：融合虛擬視圖與實際腹腔鏡圖像，在3D圖形渲染引擎的片段著色器中檢測步驟四所生成虛擬視圖的每一個像素點的深度值(z-buffervalue)，如果虛擬視圖中的像素是背景像素，則將實際腹腔鏡圖像上對應的像素值賦予當前像素，否則將虛擬視圖的對應像素值賦予當前像素，最終獲得具有正確位置關系的精準虛擬-真實融合視圖。步驟六：實時獲取術中實際腹腔鏡圖像，并不斷重復步驟三到步驟五，最終獲得具有正確位置映射關系的精準虛擬-真實融合視頻用于手術導航，實現(xiàn)術前導航信息與術中腹腔鏡視野圖像的實時精準疊加。本發(fā)明一種用于增強現(xiàn)實手術導航的腹腔鏡視頻精準融合方法，其具有如下優(yōu)點：(1)可生成與術中腹腔鏡視野下患者器官組織或目標位姿體態(tài)完全匹配的高質量3D導航圖像，實現(xiàn)微創(chuàng)手術可視化；(2)可在不損失術中視野范圍的前提下，實現(xiàn)術前導航信息與術中腹腔鏡視野圖像的實時精準疊加；(3)可獲得具有正確位置映射關系的虛擬-真實融合視頻用于手術導航，提高手術導航精度，實現(xiàn)腹腔鏡手術中的精準定位；(4)利用該腹腔鏡視頻精準融合方法，可提高醫(yī)生對手術環(huán)境的感知，增加手術的安全性；(5)對外科手術導航推廣到腹腔鏡手術(軟組織)導航領域提供了理論依據(jù)。(6)方法適用范圍廣泛，不僅適用于腹腔鏡手術，在整形外科等其他外科手術中也可以加以應用，實現(xiàn)基于醫(yī)學數(shù)據(jù)CAD/CAM技術的微創(chuàng)手術可視化。附圖說明圖1為本發(fā)明腹腔鏡視頻精準融合方法的流程框圖。圖2為腹腔鏡相機成像模型示意圖。圖3為OpenGL的視圖平截頭體示意圖。具體實施方式下面結合附圖，對本發(fā)明的技術方案做進一步的說明。將人體器官的術前解剖模型位置正確地匹配到腹腔鏡的術中視野需要兩大步驟：首先計算目標器官相對于腹腔鏡相機的六自由度位姿(模型視圖矩陣，modelviewmatrix)，其次依據(jù)模型視圖矩陣、腹腔鏡相機的投影矩陣(projectionmatrix)及腹腔鏡相機鏡頭畸變系數(shù)(lensdistortioncoefficients)，將術前解剖模型投影到腹腔鏡相機圖像上。由此可見，如果要生成和實際腹腔鏡視野完全一致的虛擬場景，必須精確得到模型矩陣、投影矩陣和鏡頭畸變系數(shù)。模型視圖矩陣可以通過圖像配準過程得到，投影矩陣和鏡頭畸變系數(shù)可以通過腹腔鏡相機標定過程得到。本發(fā)明的一種用于增強現(xiàn)實手術導航的腹腔鏡視頻精準融合方法，是用于實現(xiàn)術前導航信息與術中腹腔鏡視野圖像的完全精準匹配，這就需要設置3D圖形渲染引擎虛擬相機對應的模型視圖矩陣和投影矩陣，使之與實際腹腔鏡的相關物理參數(shù)一致，并將虛擬相機渲染的無畸變圖像進行腹腔鏡相機鏡頭畸變參數(shù)下的變形處理從而達到目的。本發(fā)明一種用于增強現(xiàn)實手術導航的腹腔鏡視頻精準融合方法的實現(xiàn)步驟參見圖1所示，具體描述如下：(一)、對腹腔鏡相機進行標定，獲得腹腔鏡相機參數(shù)，包括腹腔鏡相機的焦距f(單位為毫米)，腹腔鏡相機的徑向畸變系數(shù)k1、k2、k3，腹腔鏡相機的切向畸變系數(shù)p1、p2，腹腔鏡相機拍攝圖像單個像素的橫向物理尺寸sx(單位為毫米)，腹腔鏡相機拍攝圖像單個像素的縱向物理尺寸sy(單位為毫米)，腹腔鏡相機光軸與成像平面的交點(p0)在相機圖像上的橫向像素坐標cx，腹腔鏡相機光軸與成像平面的交點(p0)在相機圖像上的縱向像素坐標cy，腹腔鏡相機拍攝圖像的寬度W(單位為像素)以及腹腔鏡相機拍攝圖像的高度H(單位為像素)，需要注意的是，所述cx及cy的像素坐標是以圖像左上角像素坐標為(0,0)的圖像坐標系下對應的像素坐標值，而所述W及H則分別為整幅圖像寬度方向上的總像素個數(shù)和高度方向上的總像素個數(shù)，相機成像模型參見圖2所示。(二)、使用已獲得的腹腔鏡相機標定參數(shù)，設置3D圖形渲染引擎的投影矩陣(以符號P表示)，使得渲染視圖與實際腹腔鏡相機具有相同的投影幾何關系，以OpenGL為例，通過設置投影矩陣P，使OpenGL的視圖平截頭體與實際腹腔鏡相機具有相同的投影幾何關系。其中，OpenGL的視圖平截頭體(viewfrustum)參見圖3所示，其對應的投影矩陣P設置如下：P=2fr-l0r+lr-l002ft-bt+bt-b000-zf+znzf-zn-2zfznzf-zn00-10]]>具體的，利用已獲得的腹腔鏡相機參數(shù)f、sx、sy、cx、cy、W、H，計算：l＝-(cx+0.5)sx，r＝(W-0.5-cx)sx，t＝(cy+0.5)sy，b＝-(H-0.5-cy)sy；投影矩陣P中的zn為OpenGL視圖平截頭體中的近裁剪平面對應的z坐標絕對值，zf為OpenGL中的遠裁剪平面對應的z坐標絕對值，取值依據(jù)|zf-zn|的值不小于5倍目標器官長度大小，比如，器官的最大維度為100mm，則可取|zf-zn|＝500，可令zn＝1，zf＝501。(三)、獲取手術對象術中的腹腔鏡圖像以獲得模型視圖矩陣，利用該視圖模型矩陣使用OpenGL對術前器官組織的三維解剖模型進行渲染生成對應于實際腹腔鏡圖像的無畸變視圖。步驟實現(xiàn)流程具體介紹如下：(1)將術前器官組織的三維解剖模型以頂點數(shù)組對象形式導入OpenGL環(huán)境中；(2)獲取真實腹腔鏡圖像(2D圖像)，采用基于視圖的3D-2D配準方法得到模型視圖矩陣MV，將步驟二所述投影矩陣P和模型視圖矩陣MV相乘獲得模型視圖投影矩陣MVP，該MVP＝P·MV；(3)啟動OpenGL渲染流水線，把模型視圖投影矩陣MVP傳給OpenGL的頂點著色器，在頂點著色器中用該MVP變換三維解剖模型的每一個幾何頂點，并在OpenGL的片段著色器中進行光照和紋理渲染，最終得到的渲染圖像即為在腹腔鏡相機拍攝角度下的與實際腹腔鏡相機具有同樣幾何成像的無畸變視圖。(四)、利用畸變模型對OpenGL渲染獲得的無畸變視圖進行變形處理，從而獲得與實際腹腔鏡具有同樣畸變效果的虛擬視圖。上述畸變模型，表示如下：u~v~=u+u(k1r2+k2r4+k3r6)+p1(r2+2u2)+2p2uvv+v(k1r2+k2r4+k3r6)+p2(r2+2v2)+2p1uv]]>式中所述該u、v為無畸變視圖中任一點的歸一化坐標，所述為u、v點發(fā)生鏡頭畸變后對應在畸變視圖中的歸一化坐標，所述k1、k2、k3為腹腔鏡相機鏡頭的徑向畸變系數(shù)，p1、p2為腹腔鏡相機鏡頭的切向畸變系數(shù)。利用和(u、v)之間的映射關系可以生成一個W×H的查找表，該W、H與步驟一所述一致，查找表里面存儲著畸變視圖的每一個像素點對應在非畸變視圖中的位置。將查找表以紋理形式導入OpenGL環(huán)境，在OpenGL的片段著色器中對非畸變視圖進行并行變形處理，最終得到與實際腹腔鏡具有同樣畸變效果的虛擬視圖。(五)、將上述得到的與實際腹腔鏡具有同樣畸變效果的虛擬視圖與實際腹腔鏡圖像進行融合，在OpenGL的片段著色器中檢測所生成的虛擬視圖中每一個像素點的深度值，如果虛擬視圖中的像素是背景像素，則將實際腹腔鏡圖像上對應的像素值賦予當前像素，否則將虛擬視圖的對應像素值賦予當前像素，最終獲得具有正確位置關系的精準虛擬-真實融合視圖。(六)、實時獲取術中實際腹腔鏡圖像，并不斷重復步驟(三)到(五)，最終獲得具有正確位置映射關系的精準虛擬-真實融合視頻用于手術導航，實現(xiàn)術前導航信息與術中腹腔鏡視野圖像的實時精準疊加。需要指出的是，本發(fā)明的增強現(xiàn)實手術導航的腹腔鏡視頻精準融合方法適用范圍廣泛，不僅適用于腹腔鏡手術，在整形外科等其他外科手術中均可以加以應用，只要不脫離本發(fā)明增強現(xiàn)實手術導航的腹腔鏡視頻精準融合的理論方法，所有顯而易見的改變以及具有等同替換的相似方法，均包含在本發(fā)明的保護范圍之內。當前第1頁1 2 3