本發(fā)明涉及計算機視覺，尤其涉及一種手術器械位姿估計方法、裝置、手術導航方法及系統(tǒng)。

背景技術：

1、手術機器人、智能輔助手術是當今智慧醫(yī)療領域的重要發(fā)展方向。如何實現(xiàn)魯棒、準確且盡可能少的依賴輔助設備的微創(chuàng)手術工具器械位姿估計是手術機器人、智能輔助手術的重要關鍵基礎技術。

2、相關技術實現(xiàn)手術器械位姿估計的常用方法主要分為兩類，第一類通常需要在一般的手術本身所需的單目內(nèi)窺鏡以外添加其他輔助工具，進行手術器械定位，如在手術器械的尾端，固定棋盤格等標志物，通過采集標志物的圖像，并對標志物的位姿估計，結合手眼標定技術對手術器械位姿間接估計；第二類廣泛使用的方法是通過增加額外的彩色或者深度攝像頭，經(jīng)過雙目匹配或者彩色與深度攝像頭匹配，然后通過對極幾何關系獲得手術器械上的特征的三維信息，從而估計手術器械位姿。

3、然而，相關技術中的兩類位姿估計方法投入的設備成本較高，且容易對醫(yī)療器械使用場景增加額外負擔，在復雜場景下還會影響手術器械的活動范圍，造成醫(yī)療器械位姿估計結果不準確。

技術實現(xiàn)思路

1、本發(fā)明提供一種手術器械位姿估計方法、裝置、手術導航方法及系統(tǒng)，用以解決相關技術中存在的缺陷。

2、本發(fā)明提供一種手術器械位姿估計方法，包括：

3、獲取醫(yī)生操作手術器械的當前視頻幀以及所述手術器械的三維模型；

4、基于前一視頻幀中所述手術器械的歷史位姿，將所述三維模型投影至所述當前視頻幀中，得到所述當前視頻幀中的投影圖像塊；

5、提取所述投影圖像塊的輪廓特征圖、前景概率圖以及邊界概率圖，并將所述輪廓特征圖、所述前景概率圖以及所述邊界概率圖進行融合，得到融合概率圖；

6、基于所述融合概率圖，迭代求解所述手術器械的位姿信息。

7、根據(jù)本發(fā)明提供的一種手術器械位姿估計方法，所述提取所述投影圖像塊的輪廓特征圖，包括：

8、提取所述投影圖像塊的多尺度特征圖；

9、基于所述當前視頻幀中所述手術器械的對應線模型，在所述多尺度特征圖上進行插值采樣，得到所述輪廓特征圖。

10、根據(jù)本發(fā)明提供的一種手術器械位姿估計方法，所述基于所述融合概率圖，迭代求解所述手術器械的位姿信息，包括：

11、在當前次迭代過程中，基于前一次迭代過程中得到的位姿，將所述三維模型的三維輪廓點投影至所述融合概率圖，得到二維投影點，并基于所述二維投影點與所述融合概率圖上的臨近二維點，計算重投影誤差；

12、基于所述重投影誤差以及所述融合概率圖，確定似然函數(shù)；

13、對于所述三維輪廓點與所述二維投影點的對應點對，使用所述似然函數(shù)計算似然估計，基于所述似然估計，對所述前一次迭代過程中得到的位姿進行更新，得到所述當前次迭代過程中得到的位姿；

14、當滿足迭代結束條件時，將所述當前次迭代過程中得到的位姿作為所述手術器械的位姿信息；否則，將所述當前次迭代過程更新為下一次迭代過程，繼續(xù)執(zhí)行所述當前次迭代過程。

15、本發(fā)明還提供一種手術導航方法，包括：

16、基于上述的手術器械位姿估計方法，確定所述手術器械的位姿信息；

17、將所述位姿信息轉換至患者坐標系，得到所述手術器械在所述患者坐標系下的目標位姿信息；

18、將所述目標位姿信息與患者醫(yī)學影像進行配準，得到配準影像，并對所述配準影像進行展示。

19、根據(jù)本發(fā)明提供的一種手術導航方法，還包括：

20、將所述三維模型進行網(wǎng)格化，確定所述手術器械的目標三維網(wǎng)格；

21、將所述目標三維網(wǎng)格渲染至所述當前視頻幀，并將所述當前視頻幀進行展示。

22、根據(jù)本發(fā)明提供的一種手術導航方法，所述將所述三維模型進行網(wǎng)格化，確定所述手術器械的目標三維網(wǎng)格，包括：

23、將所述三維模型進行網(wǎng)格化，得到初始三維網(wǎng)格；

24、將所述初始三維網(wǎng)格進行頂點稀疏處理，得到所述目標三維網(wǎng)格。

25、本發(fā)明還提供一種手術器械位姿估計裝置，包括：

26、獲取模塊，用于獲取醫(yī)生操作手術器械的當前視頻幀以及所述手術器械的三維模型；

27、投影模塊，用于基于前一視頻幀中所述手術器械的歷史位姿，將所述三維模型投影至所述當前視頻幀中，得到所述當前視頻幀中的投影圖像塊；

28、融合模塊，用于提取所述投影圖像塊的輪廓特征圖、前景概率圖以及邊界概率圖，并將所述輪廓特征圖、所述前景概率圖以及所述邊界概率圖進行融合，得到融合概率圖；

29、求解模塊，用于基于所述融合概率圖，迭代求解所述手術器械的位姿信息。

30、本發(fā)明還提供一種手術導航系統(tǒng)，包括：

31、位姿估計模塊，用于基于上述的手術器械位姿估計方法，確定所述手術器械的位姿信息；

32、導航注冊模塊，用于將所述位姿信息轉換至患者坐標系，得到所述手術器械在所述患者坐標系下的目標位姿信息；

33、可視化模塊，用于將所述目標位姿信息與患者醫(yī)學影像進行配準，得到配準影像，并對所述配準影像進行展示。

34、本發(fā)明還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)如上述任一種所述的手術器械位姿估計方法，或手術導航方法。

35、本發(fā)明還提供一種非暫態(tài)計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述的手術器械位姿估計方法，或手術導航方法。

36、本發(fā)明還提供一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述任一種所述的手術器械位姿估計方法，或手術導航方法。

37、本發(fā)明提供的手術器械位姿估計方法、裝置、手術導航方法及系統(tǒng)，該手術器械位姿估計方法應用投影圖像塊的輪廓特征圖、前景概率圖以及邊界概率圖，并將其進行結合，可以提高手術器械邊界的預測準確性，進而利用融合概率圖可以求解得到手術器械更加準確的位姿信息，便于后續(xù)進行更加精準的手術。而且，該方法不需要引入額外的輔助設備，可以降低投入的設備成本，保證手術器械的活動范圍。

技術特征：

1.一種手術器械位姿估計方法，其特征在于，包括：

2.根據(jù)權利要求1所述的手術器械位姿估計方法，其特征在于，所述提取所述投影圖像塊的輪廓特征圖，包括：

3.根據(jù)權利要求1所述的手術器械位姿估計方法，其特征在于，所述基于所述融合概率圖，迭代求解所述手術器械的位姿信息，包括：

4.一種手術導航方法，其特征在于，包括：

5.根據(jù)權利要求4所述的手術導航方法，其特征在于，還包括：

6.根據(jù)權利要求5所述的手術導航方法，其特征在于，所述將所述三維模型進行網(wǎng)格化，確定所述手術器械的目標三維網(wǎng)格，包括：

7.一種手術器械位姿估計裝置，其特征在于，包括：

8.一種手術導航系統(tǒng)，其特征在于，包括：

9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權利要求1-3中任一項所述的手術器械位姿估計方法，或如權利要求4-6中任一項所述的手術導航方法。

10.一種非暫態(tài)計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1-3中任一項所述的手術器械位姿估計方法，或如權利要求4-6中任一項所述的手術導航方法。

技術總結
本發(fā)明提供一種手術器械位姿估計方法、裝置、手術導航方法及系統(tǒng)，涉及計算機視覺技術領域，該手術器械位姿估計方法應用投影圖像塊的輪廓特征圖、前景概率圖以及邊界概率圖，并將其進行結合，可以提高手術器械邊界的預測準確性，進而利用融合概率圖可以求解得到手術器械更加準確的位姿信息，便于后續(xù)進行更加精準的手術。而且，該方法不需要引入額外的輔助設備，可以降低投入的設備成本，保證手術器械的活動范圍。

技術研發(fā)人員：吳錦林,陳陣,劉宏斌,雷震,郭文武
受保護的技術使用者：中國科學院香港創(chuàng)新研究院人工智能與機器人創(chuàng)新中心
技術研發(fā)日：
技術公布日：2024/12/10