本發(fā)明涉及計算機(jī)視覺領(lǐng)域，具體涉及一種面向腹腔鏡手術(shù)中的感興趣區(qū)域監(jiān)測方法和系統(tǒng)。

背景技術(shù)：

1、在計算機(jī)視覺中，感興趣區(qū)域（region?of?interest，簡稱roi）是指圖像或視頻中被指定為需要特別關(guān)注或處理的區(qū)域。

2、相關(guān)技術(shù)中，專利cn201910899200.8公開了一種用于手術(shù)導(dǎo)航的多層次交互可視化方法。步驟如下：首先獲取醫(yī)學(xué)影像設(shè)備輸出的多模態(tài)二維影像數(shù)據(jù)，對多模態(tài)二維影像數(shù)據(jù)進(jìn)行預(yù)處理，獲得組織器官圖像；然后對組織器官圖像二維組織器官圖像進(jìn)行三維重建，得到組織器官和病灶位置的3d模型文件并傳輸至客戶端；客戶端解析3d模型文件獲得輪廓模型；選擇3d模型中的感興趣區(qū)域并對其進(jìn)行清晰渲染，定義高危組織模型并染色，最后通過ar模塊，將輪廓模型與渲染后的3d模型疊加至真實世界患者的對應(yīng)位置，并在移動終端上顯示輔助信息。

3、然而，上述方案在器械信息部分僅對器械尖端進(jìn)行估計，缺少完整的器械6d位姿；上述方案沒有考慮器械遮擋區(qū)域的組織深度信息，導(dǎo)致區(qū)域遮擋部分的組織深度缺失；上述方案沒有根據(jù)器械-組織之間的相對距離關(guān)系進(jìn)行危險預(yù)警。綜上，該方案不能提供完整的器械-組織的相對位姿，不能基于器械-組織相對距離進(jìn)行危險預(yù)警。

技術(shù)實現(xiàn)思路

1、（一）解決的技術(shù)問題

2、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種面向腹腔鏡手術(shù)中的感興趣區(qū)域監(jiān)測方法和系統(tǒng)，解決了器械信息部分僅對器械尖端進(jìn)行估計，缺少完整的器械6d位姿；沒有考慮器械遮擋區(qū)域的組織深度信息，導(dǎo)致區(qū)域遮擋部分的組織深度缺失；以及不能提供完整的器械-組織的相對位姿、不能基于器械-組織相對距離進(jìn)行危險預(yù)警的技術(shù)問題。

3、（二）技術(shù)方案

4、為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：

5、一種面向腹腔鏡手術(shù)中的感興趣區(qū)域監(jiān)測方法，包括：

6、基于形變估計算法在術(shù)中組織點云上追蹤術(shù)前定義的感興趣區(qū)域組織，以獲取所述感興趣區(qū)域在當(dāng)前幀相機(jī)坐標(biāo)下的三維坐標(biāo)；

7、利用基于3d高斯濺射的器械6d位姿跟蹤算法，實時估計器械在當(dāng)前幀相機(jī)坐標(biāo)系下的最優(yōu)器械6d位姿；將預(yù)先重構(gòu)的器械高斯模型簡化成若干圓柱側(cè)面，利用所述最優(yōu)器械6d位姿更新簡化器模型，獲取在當(dāng)前幀相機(jī)坐標(biāo)下的簡化器械模型；

8、根據(jù)所述感興趣區(qū)域在當(dāng)前幀相機(jī)坐標(biāo)下的三維坐標(biāo)，獲取所述感興趣區(qū)域的組織點云與更新后的簡化器械模型之間的最小相對距離。

9、優(yōu)選的，在獲取所述最小相對距離后，所述感興趣區(qū)域監(jiān)測方法還包括：

10、采用相機(jī)模型將所述感興趣區(qū)域的組織點云投影到二維圖像平面上，確定對應(yīng)像素點的坐標(biāo)；

11、根據(jù)所述最小相對距離和預(yù)設(shè)的危險距離預(yù)警閾值的大小關(guān)系，更新對應(yīng)像素點的b通道的像素值，構(gòu)建與原投影圖像對應(yīng)的預(yù)警圖；

12、和/或

13、以所述最小相對距離更新感興趣區(qū)域的組織點云的z坐標(biāo)，構(gòu)建與原像素點一一對應(yīng)的新點云，并作為三維可視化界面；

14、若所述最小相對距離小于預(yù)設(shè)的危險距離預(yù)警閾值，在所述三維可視化界面上每隔預(yù)設(shè)刻度顯示刻度面。

15、優(yōu)選的，所述將預(yù)先重構(gòu)的器械高斯模型簡化成若干圓柱側(cè)面，利用所述最優(yōu)器械6d位姿更新簡化器模型，獲取在當(dāng)前幀相機(jī)坐標(biāo)下的簡化器械模型；包括：

16、將器械高斯模型 m0簡化成若干圓柱側(cè)面表示的簡化模型，以鉸接器械中心、鉸接部件的方向向量、鉸接部件的圓柱截面半徑 rk、各鉸接部分圓柱側(cè)面高度 hk進(jìn)行表示，， k為鉸接部件的索引；

17、初始器械模型，滿足如下約束條件：

18、

19、其中，表示器械模型的圓柱側(cè)面上的點的三維坐標(biāo)；；表示第 k個鉸接部件的3d方向向量；表示鉸接器械中心 pc的三維坐標(biāo)；

20、利用最優(yōu)器械6d位姿，得到當(dāng)前幀相機(jī)坐標(biāo)下的器械中心以及鉸接部件方向向量為：

21、

22、其中，表示局部坐標(biāo)系 f1到當(dāng)前幀相機(jī)坐標(biāo)系的變換矩陣；表示局部坐標(biāo)系 f2到局部坐標(biāo)系 f1的變換矩陣； θt表示用于表征局部坐標(biāo)系 f1、 f2之間旋轉(zhuǎn)的單個自由度的歐拉角；表示將 pc變換到局部坐標(biāo)系 f1下；表示將 pc變換到局部坐標(biāo)系 f2下；表示上一相機(jī)坐標(biāo)下的鉸接部件方向向量；

23、更新后獲取在當(dāng)前幀相機(jī)坐標(biāo)下的簡化器械模型。

24、優(yōu)選的，所述根據(jù)所述最小相對距離和預(yù)設(shè)的危險距離預(yù)警閾值的大小關(guān)系，更新對應(yīng)像素點的b通道的像素值，構(gòu)建與原投影圖像對應(yīng)的預(yù)警圖；包括：

25、計算區(qū)分預(yù)警的歸一化顏色值，計算如下：

26、

27、其中，表示根據(jù)器械-組織相對距離更新的歸一化像素值， λ表示危險距離預(yù)警閾值，表示當(dāng)前幀相機(jī)坐標(biāo)下感興趣區(qū)域的組織點云與更新后的器械模型之間的最小相對距離，， n表示感興趣區(qū)域的組織點云數(shù)量；

28、定義原投影圖像上對應(yīng)像素點的像素值為，則所述預(yù)警圖上對應(yīng)像素點表現(xiàn)的像素值為，計算如下：

29、

30、其中，分別表示原投影圖像像對應(yīng)像素點的r、g、b三通道的像素值，分別表示預(yù)警圖對應(yīng)像素點的r、g、b三通道的像素值。

31、優(yōu)選的，所述以所述最小相對距離更新感興趣區(qū)域的組織點云的z坐標(biāo)，構(gòu)建與原像素點一一對應(yīng)的新點云；包括：

32、定義感興趣區(qū)域的組織點云為，待構(gòu)建的新點云為，且設(shè)定點與點具有相同的rgb值和x、y坐標(biāo)，令z坐標(biāo)等于該組織點云與更新后的器械模型之間的最小相對距離，計算如下：

33、

34、其中，、分別表示點與點的rgb值。

35、優(yōu)選的，所述利用基于3d高斯濺射的器械6d位姿跟蹤算法，實時估計器械在當(dāng)前幀相機(jī)坐標(biāo)系下的最優(yōu)器械6d位姿；包括：

36、讀取當(dāng)前幀圖像，通過語義分割算法獲取器械掩膜；以及利用雙目深度估計算法對當(dāng)前幀圖像進(jìn)行深度估計，并結(jié)合所述器械掩膜分別獲取組織深度圖和器械深度圖；

37、初始化器械位姿，利用所述器械高斯模型進(jìn)行3d高斯濺射，獲取對應(yīng)位姿下的視圖、投影掩膜以及深度圖；

38、其中，所述初始化器械位姿；包括：

39、對于第一幀圖像，結(jié)合相機(jī)模型獲取器械高斯模型在圖像平面上的渲染視圖，通過移動腔鏡使得圖像與渲染視圖所在區(qū)域相重合，并將此時的器械位姿作為第一幀圖像的初始器械位姿；

40、對于除了第一幀以外的圖像，基于前一幀圖像的最優(yōu)器械位姿和連續(xù)兩幀的光流信息，對當(dāng)前幀圖像的器械位姿進(jìn)行初始化；

41、根據(jù)渲染結(jié)果與當(dāng)前幀圖像及其器械掩膜、器械深度圖，構(gòu)建總的損失函數(shù)；并通過反向傳播算法更新和學(xué)習(xí)器械位姿，最小化所述總的損失函數(shù)，獲取器械在當(dāng)前幀相機(jī)坐標(biāo)系下的最優(yōu)器械6d位姿。

42、優(yōu)選的，所述器械高斯模型的重構(gòu)過程；包括：

43、獲取若干已知相機(jī)位姿且包含器械全部視角的圖像，以重構(gòu)器械的稀疏點云；

44、將所述稀疏點云的每個點初始化為一個高斯，獲取初始化的器械高斯模型；

45、結(jié)合前述若干已知相機(jī)位姿且包含器械全部視角的圖像構(gòu)成的圖像序列及其對應(yīng)的相機(jī)位姿，對所述初始化的器械高斯模型進(jìn)行迭代優(yōu)化，獲取所述重構(gòu)的器械高斯模型；包括：

46、構(gòu)建3d高斯渲染視圖和僅保留器械部分的原圖像之間的色彩一致性損失函數(shù)，如下所示：

47、

48、其中，分別表示任意一個高斯的中心位置、旋轉(zhuǎn)、大??；， l為圖像序列包括的圖像數(shù)量； l1表示一范數(shù)損失；表示相機(jī)位姿為 rl時進(jìn)行3d高斯可微渲染圖像的過程； gi表示第 i個高斯點，， i為高斯的個數(shù)；表示源自圖像序列中僅保留器械部分的原圖像；

49、引入多區(qū)域?qū)R損失函數(shù)，約束重構(gòu)的器械高斯模型上每個鉸接部分在圖像平面的投影形狀和原圖像上的器械掩膜 mlc分別對齊；所述多區(qū)域?qū)R損失函數(shù)，如下所示：

50、

51、其中，， c表示器械的鉸接部件數(shù)量；表示相機(jī)位姿為 rl時進(jìn)行3d高斯可微渲染投影圖的過程；

52、所述器械高斯模型重構(gòu)過程的總的損失函數(shù)為：

53、

54、其中， α表示相應(yīng)的權(quán)重系數(shù)；

55、通過最小化總損失函數(shù) lrecons，獲取所述重構(gòu)的器械高斯模型，如下所示：

56、

57、其中，表示第 i個重構(gòu)的高斯點；表示函數(shù)值最小時變量的取值。

58、優(yōu)選的，所述根據(jù)渲染結(jié)果與當(dāng)前幀圖像及其器械掩膜、器械深度圖，構(gòu)建總的損失函數(shù)；并通過反向傳播算法更新和學(xué)習(xí)器械位姿，最小化所述總的損失函數(shù)，獲取器械在當(dāng)前幀相機(jī)坐標(biāo)系下的最優(yōu)器械6d位姿；包括：

59、構(gòu)建3d高斯渲染視圖和當(dāng)前幀圖像之間的色彩一致性損失函數(shù)，如下所示：

60、

61、其中， t表示當(dāng)前時刻； tt表示當(dāng)前幀器械位姿；表示渲染視圖；，表示進(jìn)行3d高斯可微渲染圖像的過程； mt表示當(dāng)前圖像分割的器械掩膜；

62、構(gòu)建3d高斯可微渲染投影圖和當(dāng)前幀圖像的器械掩膜之間的區(qū)域?qū)R損失函數(shù)，如下所示：

63、

64、其中，分別表示器械高斯模型上第 c個鉸接部分在圖像平面的投影形狀和當(dāng)前幀圖像的器械掩膜；，表示進(jìn)行3d高斯可微渲染投影圖的過程；；

65、構(gòu)建渲染的深度圖和前幀圖像的器械深度圖之間的深度一致性損失，如下所述：

66、

67、其中，分別表示渲染的深度圖和前幀圖像的器械深度圖；，表示渲染器械高斯模型深度圖的過程；

68、構(gòu)建總的損失函數(shù)為：

69、

70、其中， α1、 α2、 α3分別表示相應(yīng)的權(quán)重系數(shù)；

71、之后通過反向傳播算法對器械位姿 tt迭代更新，以最小化 lpose，獲取當(dāng)前幀圖像的器械最優(yōu)6d位姿估計結(jié)果，如下所示：

72、。

73、一種面向腹腔鏡手術(shù)中的感興趣區(qū)域監(jiān)測系統(tǒng)，包括：

74、區(qū)域追蹤模塊，用于基于形變估計算法在術(shù)中組織點云上追蹤術(shù)前定義的感興趣區(qū)域組織，以獲取所述感興趣區(qū)域在當(dāng)前幀相機(jī)坐標(biāo)下的三維坐標(biāo)；

75、位姿估計模塊，用于利用基于3d高斯濺射的器械6d位姿跟蹤算法，實時估計器械在當(dāng)前幀相機(jī)坐標(biāo)系下的最優(yōu)器械6d位姿；將預(yù)先重構(gòu)的器械高斯模型簡化成若干圓柱側(cè)面，利用所述最優(yōu)器械6d位姿更新簡化器模型，獲取在當(dāng)前幀相機(jī)坐標(biāo)下的簡化器械模型；

76、距離計算模塊，用于根據(jù)所述感興趣區(qū)域在當(dāng)前幀相機(jī)坐標(biāo)下的三維坐標(biāo)，獲取所述感興趣區(qū)域的組織點云與更新后的簡化器械模型之間的最小相對距離。

77、優(yōu)選的，在所述距離計算模塊獲取最小相對距離后，所述感興趣區(qū)域監(jiān)測系統(tǒng)還包括：

78、可視化及預(yù)警模塊，用于采用相機(jī)模型將所述感興趣區(qū)域的組織點云投影到二維圖像平面上，確定對應(yīng)像素點的坐標(biāo)；

79、根據(jù)所述最小相對距離和預(yù)設(shè)的危險距離預(yù)警閾值的大小關(guān)系，更新對應(yīng)像素點的b通道的像素值，構(gòu)建與原投影圖像對應(yīng)的預(yù)警圖；

80、和/或

81、用于以所述最小相對距離更新感興趣區(qū)域的組織點云的z坐標(biāo)，構(gòu)建與原像素點一一對應(yīng)的新點云，并作為三維可視化界面；

82、若所述最小相對距離小于預(yù)設(shè)的危險距離預(yù)警閾值，在所述三維可視化界面上每隔預(yù)設(shè)刻度顯示刻度面。

83、一種存儲介質(zhì)，其存儲有用于面向腹腔鏡手術(shù)中的感興趣區(qū)域監(jiān)測的計算機(jī)程序，其中，所述計算機(jī)程序使得計算機(jī)執(zhí)行如上所述的感興趣區(qū)域監(jiān)測方法。

84、一種電子設(shè)備，包括：

85、一個或多個處理器；存儲器；以及一個或多個程序，其中所述一個或多個程序被存儲在所述存儲器中，并且被配置成由所述一個或多個處理器執(zhí)行，所述程序包括用于執(zhí)行如上所述的感興趣區(qū)域監(jiān)測方法。

86、（三）有益效果

87、本發(fā)明提供了一種面向腹腔鏡手術(shù)中的感興趣區(qū)域監(jiān)測方法和系統(tǒng)。與現(xiàn)有技術(shù)相比，具備以下有益效果：

88、本發(fā)明中，首先基于形變估計算法在術(shù)中組織點云上追蹤術(shù)前定義的感興趣區(qū)域組織；其次利用基于3d高斯濺射的器械6d位姿跟蹤算法，實時估計器械在當(dāng)前幀相機(jī)坐標(biāo)系下的最優(yōu)器械6d位姿；將預(yù)先重構(gòu)的器械高斯模型簡化成若干圓柱側(cè)面，利用最優(yōu)器械6d位姿更新簡化后的器械高斯模型，獲取在當(dāng)前幀相機(jī)坐標(biāo)下的器械模型；然后根據(jù)感興趣區(qū)域在當(dāng)前幀相機(jī)坐標(biāo)下的三維坐標(biāo)，獲取感興趣區(qū)域的組織點云與更新后的簡化器械模型之間的最小相對距離。本發(fā)明結(jié)合完整的器械位姿，能夠提供更加精確的導(dǎo)航信息，器械和組織的相對位置估計方法更具魯棒性，能夠適用于體內(nèi)的復(fù)雜場景。