本申請屬于圖像處理，尤其涉及一種圖像處理方法、裝置、設備、介質以及產品。

背景技術：

1、手術是以治療疾病為目的，在局部開展去除病變組織、修復損傷、重建形態(tài)或功能、移植細胞組織或器官、植入醫(yī)療器械等醫(yī)學操作的醫(yī)療技術。在手術過程中，需要使用手術器械對手術對象的部位進行各種操作，但在進行手術時，尤其是進行外科手術時，操作區(qū)域可能存在手術對象的重要器官，在操作器械時需要注意避開重要器官，以免造成嚴重的醫(yī)療事故。

2、為了避免在手術過程中對手術對象的重要器官等進行損傷操作，一般會通過計算機系統(tǒng)輔助手術，先獲取手術操作區(qū)域的圖像，然后對圖像進行處理，將重要器官分割并標記之后，展示給器械的操作人員，從而避免觸碰重要器官。

3、但是，在一些手術中，重要器官與周圍組織的邊界相對模糊，并且暴露面積實時動態(tài)變化，受到腔鏡燈光以及煙霧等影響，上述情況均會導致傳統(tǒng)的圖像分割方式精度有限，無法保證手術的安全性。

技術實現(xiàn)思路

1、本申請實施例提供一種圖像處理方法、裝置、設備、介質以及產品，能夠提高手術過程中視頻圖像分割的精度，進而保證手術的安全性。

2、一方面，本申請實施例提供一種圖像處理方法，包括：

3、獲取第一視頻幀圖像，所述第一視頻幀圖像為手術過程中采集得到的圖像，所述第一視頻幀圖像中包括手術器械；

4、識別所述第一視頻幀圖像中的手術器械；

5、基于識別出的手術器械，在所述第一視頻幀圖像中確定包含手術對象關鍵部位的局部區(qū)域圖像；

6、將所述第一視頻幀圖像輸入至分割模型，得到手術對象關鍵部位的第一分割結果；以及將所述局部區(qū)域圖像輸入至所述分割模型，得到手術對象關鍵部位的第二分割結果；

7、將所述第一分割結果以及所述第二分割結果進行融合，以得到與手術對象關鍵部位所匹配的目標區(qū)域；

8、在所述第一視頻幀圖像中對所述目標區(qū)域進行區(qū)別顯示。

9、另一方面，所述基于識別出的手術器械，在所述第一視頻幀圖像中確定包含手術對象關鍵部位的局部區(qū)域圖像，包括：

10、提取手術器械的器械特征；

11、基于所述器械特征，確定所述第一視頻幀圖像中關于手術對象關鍵部位的關鍵點；

12、基于所述關鍵點，生成所述局部區(qū)域圖像。

13、另一方面，所述基于所述器械特征，確定所述第一視頻幀圖像中的關鍵點，包括：

14、基于所述器械特征，確定手術器械的至少一個目標特征點的位置；

15、根據(jù)所述第一視頻幀圖像所屬的手術對象的部位，預測手術對象關鍵部位在所述第一視頻幀圖像中的位置，以得到預測結果；

16、基于所述預測結果中手術對象關鍵部位的位置確定基準點；

17、將每個所述基準點與每個所述目標特征點的連線的中點確定為所述關鍵點。

18、另一方面，所述基于所述關鍵點，生成所述局部區(qū)域圖像，包括：

19、以所述關鍵點為目標圖形的圖形特征點生成目標圖形；

20、根據(jù)所述目標圖形確定所述局部區(qū)域圖像。

21、另一方面，所述目標圖形為橢圓，所述以所述關鍵點為目標圖形的圖形特征點生成目標圖形，包括：

22、確定所述關鍵點對應的基準點以及所述目標特征點之間的距離；

23、基于所述距離確定橢圓的大小，以所述關鍵點為圓心生成橢圓；其中，所述距離與所述橢圓的大小成反相關。

24、另一方面，在所述將所述第一分割結果以及所述第二分割結果進行融合，以得到與手術對象關鍵部位所匹配的目標區(qū)域之前，所述方法還包括：

25、獲取第二視頻幀圖像，所述第二視頻幀圖像為所述第一視頻幀圖像的上一幀圖像；

26、比較所述第二視頻幀圖像和所述第一視頻幀圖像的相似度；

27、所述將所述第一分割結果以及所述第二分割結果進行融合，以得到與手術對象關鍵部位所匹配的目標區(qū)域，包括：

28、在所述相似度高于閾值的情況下，將所述第一視頻幀圖像的所述第一分割結果以及所述第二視頻幀圖像的所述第二分割結果進行融合，以得到與手術對象關鍵部位所匹配的所述目標區(qū)域。

29、再一方面，本申請實施例提供了一種圖像處理裝置，包括：

30、獲取模塊，用于獲取第一視頻幀圖像，所述第一視頻幀圖像為手術過程中采集得到的圖像，所述第一視頻幀圖像中包括手術器械；

31、識別模塊，用于識別所述第一視頻幀圖像中的手術器械；

32、確定模塊，用于基于識別出的手術器械，在所述第一視頻幀圖像中確定包含手術對象關鍵部位的局部區(qū)域圖像；

33、輸入模塊，用于將所述第一視頻幀圖像輸入至分割模型，得到手術對象關鍵部位的第一分割結果；以及將所述局部區(qū)域圖像輸入至所述分割模型，得到手術對象關鍵部位的第二分割結果；

34、融合模塊，用于將所述第一分割結果以及所述第二分割結果進行融合，以得到與手術對象關鍵部位所匹配的目標區(qū)域；

35、顯示模塊，用于在所述第一視頻幀圖像中對所述目標區(qū)域進行區(qū)別顯示。

36、再一方面，本申請實施例提供了一種圖像處理設備，所述設備包括：處理器以及存儲有計算機程序指令的存儲器；

37、所述處理器執(zhí)行所述計算機程序指令時實現(xiàn)上述的圖像處理方法。

38、再一方面，本申請實施例提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序指令，所述計算機程序指令被處理器執(zhí)行時實現(xiàn)上述的圖像處理方法。

39、再一方面，本申請實施例提供了一種計算機程序產品，所述計算機程序產品中的指令由電子設備的處理器執(zhí)行時，使得所述電子設備執(zhí)行上述的圖像處理方法。

40、本申請實施例的圖像處理方法，在手術過程中采集包括手術器械的第一視頻幀圖像，并識別第一視頻幀圖像中的手術器械；基于識別出的手術器械，在第一視頻幀圖像中確定包含手術對象關鍵部位的局部區(qū)域圖像。然后將第一視頻幀圖像輸入至分割模型，得到手術對象關鍵部位的第一分割結果；以及將局部區(qū)域圖像輸入至分割模型，得到手術對象關鍵部位的第二分割結果。因為局部區(qū)域圖像相較于完整的第一視頻幀圖像的尺寸更小，需要處理的數(shù)據(jù)更少，得到的結果精度更高。最后將第一分割結果以及第二分割結果進行融合，以得到與手術對象關鍵部位所匹配的目標區(qū)域，并在第一視頻幀圖像中對目標區(qū)域進行區(qū)別顯示。因為局部區(qū)域圖像是根據(jù)手術器械的當前位置確定的，能夠保證該區(qū)域是手術器械的操作人員關注的區(qū)域，又因為局部區(qū)域圖像的范圍更小，可以在相同條件下得到更高的精度；即提升了手術器械的操作人員關注區(qū)域的分割精度，將分割得到的重要器官展示給操作人員，能夠保證手術的安全性。

技術特征：

1.一種圖像處理方法，其特征在于，包括：

2.根據(jù)權利要求1所述的圖像處理方法，其特征在于，所述基于識別出的手術器械，在所述第一視頻幀圖像中確定包含手術對象關鍵部位的局部區(qū)域圖像，包括：

3.根據(jù)權利要求2所述的圖像處理方法，其特征在于，所述基于所述器械特征，確定所述第一視頻幀圖像中的關鍵點，包括：

4.根據(jù)權利要求3所述的圖像處理方法，其特征在于，所述基于所述關鍵點，生成所述局部區(qū)域圖像，包括：

5.根據(jù)權利要求4所述的圖像處理方法，其特征在于，所述目標圖形為橢圓，所述以所述關鍵點為目標圖形的圖形特征點生成目標圖形，包括：

6.根據(jù)權利要求1所述的圖像處理方法，其特征在于，在所述將所述第一分割結果以及所述第二分割結果進行融合，以得到與手術對象關鍵部位所匹配的目標區(qū)域之前，所述方法還包括：

7.一種圖像處理裝置，其特征在于，包括：

8.一種圖像處理設備，其特征在于，所述設備包括：處理器以及存儲有計算機程序指令的存儲器；

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序指令，所述計算機程序指令被處理器執(zhí)行時實現(xiàn)如權利要求1-6任意一項所述的圖像處理方法。

10.一種計算機程序產品，其特征在于，所述計算機程序產品中的指令由電子設備的處理器執(zhí)行時，使得所述電子設備執(zhí)行如權利要求1-6任意一項所述的圖像處理方法。

技術總結
本申請公開了一種圖像處理方法、裝置、設備、介質以及產品。根據(jù)本申請實施例，本申請實施例的圖像處理方法，在手術過程中，在第一視頻幀圖像中確定包含手術對象關鍵部位的局部區(qū)域圖像，因為局部區(qū)域圖像相較于完整的第一視頻幀圖像的尺寸更小，需要處理的數(shù)據(jù)更少，得到的結果就更加精確。最后在第一視頻幀圖像中對目標區(qū)域進行區(qū)別顯示。因為局部區(qū)域圖像是根據(jù)手術器械的當前位置確定的，能夠保證該區(qū)域是手術器械的操作人員關注的區(qū)域，又因為局部區(qū)域圖像的范圍更小，可以在相同條件下得到更高的精度；即提升了手術器械的操作人員關注區(qū)域的分割精度的同時保證了分割速度，將分割得到的重要器官展示給操作人員，提升手術的安全性。

技術研發(fā)人員：肖毅,孫博,李珂璇,孫振,陸君陽
受保護的技術使用者：中國醫(yī)學科學院北京協(xié)和醫(yī)院
技術研發(fā)日：
技術公布日：2024/12/17