本發(fā)明涉及遠程指導(dǎo)領(lǐng)域，具體涉及一種面向腹腔鏡手術(shù)術(shù)中可視化與追蹤的遠程指導(dǎo)系統(tǒng)。

背景技術(shù)：

1、遠程指導(dǎo)系統(tǒng)是指軟硬件結(jié)合的智能手術(shù)指導(dǎo)應(yīng)用解決方案。

2、相關(guān)技術(shù)中，專利cn201711467202.7公開了一種基于hololens眼鏡的專家遠程指導(dǎo)系統(tǒng)及實現(xiàn)方法，包括hololens智能眼鏡、無線路由器、服務(wù)器、終端設(shè)備，hololens智能眼鏡將采集的音視頻通過服務(wù)器轉(zhuǎn)發(fā)至終端設(shè)備，專家在終端設(shè)備上輸入指導(dǎo)內(nèi)容，終端設(shè)備記錄下指導(dǎo)內(nèi)容，并將指導(dǎo)內(nèi)容通過服務(wù)器轉(zhuǎn)發(fā)至hololens智能眼鏡，并在視野中顯示，通過喇叭播放出專家的指導(dǎo)語音；后臺終端自動生成維修記錄視頻文件，并上傳到服務(wù)器中。

3、然而，上述方案在復(fù)雜手術(shù)場景例如腹腔鏡手術(shù)中，難以像素級精度追蹤專家標(biāo)注的手術(shù)路徑等虛擬標(biāo)記，為本地醫(yī)生提供實時的、動態(tài)的手術(shù)指導(dǎo)。

技術(shù)實現(xiàn)思路

1、（一）解決的技術(shù)問題

2、針對現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種面向腹腔鏡手術(shù)術(shù)中可視化與追蹤的遠程指導(dǎo)系統(tǒng)，解決了難以像素級精度追蹤專家標(biāo)注的虛擬標(biāo)記的技術(shù)問題。

3、（二）技術(shù)方案

4、為實現(xiàn)以上目的，本發(fā)明通過以下技術(shù)方案予以實現(xiàn)：

5、一種面向腹腔鏡手術(shù)術(shù)中可視化與追蹤的遠程指導(dǎo)系統(tǒng)，包括引導(dǎo)終端、手術(shù)端和云服務(wù)器；所述手術(shù)端用于：

6、在所述引導(dǎo)終端通過遠程指導(dǎo)請求后，將本地實時獲取的腹腔鏡手術(shù)的彩色視頻壓縮后，通過所述云服務(wù)器發(fā)送至引導(dǎo)終端進行解壓縮，以接收遠程專家在選定的彩色圖像幀上標(biāo)注的當(dāng)前批次的第一虛擬標(biāo)記；其中所述第一虛擬標(biāo)記采用像素級別的目標(biāo)點集進行表示；

7、在所述引導(dǎo)終端通過云服務(wù)器返回標(biāo)記數(shù)據(jù)后，執(zhí)行關(guān)鍵幀引導(dǎo)的虛擬標(biāo)記動態(tài)追蹤方法，獲取當(dāng)前彩色圖像幀上的當(dāng)前批次的第一追蹤標(biāo)記。

8、優(yōu)選的，所述在所述引導(dǎo)終端通過云服務(wù)器返回標(biāo)記數(shù)據(jù)后，執(zhí)行關(guān)鍵幀引導(dǎo)的虛擬標(biāo)記動態(tài)追蹤方法，獲取當(dāng)前彩色圖像幀上的當(dāng)前批次的第一追蹤標(biāo)記；包括：

9、在動態(tài)更新的緩存池中確定選定的彩色圖像幀的位置，獲取該彩色圖像幀上的目標(biāo)點集所在的目標(biāo)區(qū)域，獲取所述緩存池中位于該彩色圖像幀后的多個彩色圖像幀上的目標(biāo)點集及其所在的目標(biāo)區(qū)域，以初始化關(guān)鍵幀池；其中所述緩存池用于本地緩存最新的多個彩色圖像幀；

10、每隔一個彩色圖像幀，遍歷所述關(guān)鍵幀池，利用稀疏匹配方法進行相似關(guān)鍵幀查詢，并基于查詢到的相似關(guān)鍵幀與當(dāng)前彩色圖像幀之間的稀疏匹配結(jié)果，獲取最佳模板；

11、在所述最佳模板不為空集時，基于所述最佳模板中每一相似關(guān)鍵幀上的目標(biāo)區(qū)域，獲取當(dāng)前彩色圖像幀上的追蹤區(qū)域；

12、基于每一所述目標(biāo)區(qū)域中的目標(biāo)點集，利用光流算法預(yù)測各個點的運動軌跡，獲取相應(yīng)追蹤區(qū)域上的目標(biāo)點集；合并每一所述追蹤區(qū)域上的目標(biāo)點集，獲取最終的目標(biāo)點集，并作為當(dāng)前彩色圖像幀上的當(dāng)前批次的第一追蹤標(biāo)記；

13、獲取當(dāng)前批次的第一追蹤標(biāo)記后，通過所述云服務(wù)器發(fā)送至引導(dǎo)終端，以在本地及所述引導(dǎo)終端實時顯示當(dāng)前彩色圖像幀上的部分或全部批次的第一追蹤標(biāo)記。

14、優(yōu)選的，在獲取當(dāng)前彩色圖像幀上的目標(biāo)點集后，所述手術(shù)端還用于：

15、基于預(yù)設(shè)的條件，判定當(dāng)前彩色圖像幀為新的關(guān)鍵幀時，將其放入所述關(guān)鍵幀池中；其中所述預(yù)設(shè)的條件包括：

16、（1）相較于所述第一虛擬標(biāo)記，獲取了完整的第一追蹤標(biāo)記；

17、（2）獲取所述最終的目標(biāo)點集所在的追蹤區(qū)域，該追蹤區(qū)域的中心始終在當(dāng)前彩色圖像幀的預(yù)設(shè)范圍內(nèi)；

18、（3）若所述最佳模板中的相似關(guān)鍵幀大于一，距離將上一新的關(guān)鍵幀放入所述關(guān)鍵幀池，已過去超過第一預(yù)設(shè)數(shù)量的彩色圖像幀；

19、若所述最佳模板中的相似關(guān)鍵幀等于一，距離將上一新的關(guān)鍵幀放入所述關(guān)鍵幀池，已過去超過第二預(yù)設(shè)數(shù)量的彩色圖像幀，且所述第一追蹤標(biāo)記與第一虛擬標(biāo)記的長度之比，與各自所在圖像幀的尺度變化保持一致；

20、（4）未超出所述關(guān)鍵幀池的最大容量。

21、所述初始化關(guān)鍵幀池；具體包括：

22、采用表示關(guān)鍵幀，其中 j為關(guān)鍵幀池中的關(guān)鍵幀索引；表示rgb值， w、h分別表示寬度和高度；表示目標(biāo)區(qū)域；、分別表示利用基于描述符的稀疏匹配方法提取的中的特征點和特征描述；表示目標(biāo)點集；

23、在動態(tài)更新的緩存池中確定選定的彩色圖像幀的位置，并將該彩色圖像幀 f0指定為關(guān)鍵幀 k0∈ k，定義其上的目標(biāo)點集為，表示第 s個像素點的坐標(biāo)， n表示像素點的個數(shù)，表示實數(shù)集；

24、以為中心的區(qū)域由下式生成：

25、

26、其中，中心點，為中所有像素點的橫坐標(biāo)的最大值和最小值的算數(shù)平均值，為中所有像素點的縱坐標(biāo)的最大值和最小值的算數(shù)平均值； l為目標(biāo)區(qū)域的邊長， l不小于中所有像素點的橫坐標(biāo)和縱坐標(biāo)的最大值和最小值的差；

27、定義目標(biāo)區(qū)域存儲四個頂點和中心點，表示為，其中由可知，表示的四個頂點:左上，右上，左下，右下；

28、利用光流算法預(yù)測所述緩存池中位于該彩色圖像幀后的兩個彩色圖像幀 f1和 f2的運動 v0→1∈， v0→2∈，并根據(jù)光流結(jié)果計算所述第一虛擬標(biāo)記上的每個像素點在 f1和 f2上的軌跡：

29、

30、其中， interp(?)表示采樣過程，得到相應(yīng)的目標(biāo)點集和，并參考公式（1），獲取目標(biāo)區(qū)域和；

31、將 f1、 f2對應(yīng)記為關(guān)鍵幀 k1 、k2，與 k0一起構(gòu)成初始的關(guān)鍵幀池 p={ k0, k1, k2}。

32、優(yōu)選的，所述每隔一個彩色圖像幀，遍歷所述關(guān)鍵幀池，利用稀疏匹配方法進行相似關(guān)鍵幀查詢，并基于查詢到的相似關(guān)鍵幀與當(dāng)前彩色圖像幀之間的稀疏匹配結(jié)果，獲取最佳模板；具體包括：

33、獲取當(dāng)前彩色圖像幀 fi的特征點與特征描述；

34、遍歷所述關(guān)鍵幀池中的每一個關(guān)鍵幀 kj，利用稀疏匹配方法獲取 fi與 kj之間的匹配點；

35、統(tǒng)計 kj上目標(biāo)區(qū)域的匹配點個數(shù) nji，并選取 nji最大的三個關(guān)鍵幀作為相似關(guān)鍵幀 ksimi={ ka ,kb ,kc} p，

36、采用如下公式獲取最佳模板：

37、

38、其中， kj表示關(guān)鍵幀池中的第 j個關(guān)鍵幀， j的取值為 a、b或 c；nji表示 kj上的目標(biāo)區(qū)域與當(dāng)前彩色圖像幀 fi之間的匹配點個數(shù)； σ為第一閾值； ksimi表示查詢到的所有相似關(guān)鍵幀。

39、優(yōu)選的，所述基于所述最佳模板中每一相似關(guān)鍵幀上的目標(biāo)區(qū)域，獲取當(dāng)前彩色圖像幀上的追蹤區(qū)域；具體包括：

40、基于 kj? kbest和 fi之間的匹配點，利用ransac估計單應(yīng)性矩陣 hji， hji的精度由得到， nin為內(nèi)點的個數(shù)；

41、當(dāng) ≥λ，0< λ<1， λ為第二閾值，則對目標(biāo)區(qū)域上的四個頂點進行單應(yīng)變換，得到在 fi上的對應(yīng)位置：

42、

43、否則，利用鄰域相似變換方法進行頂點坐標(biāo)轉(zhuǎn)換：

44、從稀疏匹配結(jié)果中提取 fi和 kj的一組匹配， xim∈和 yjm∈是表示特征點位置的二維列向量；

45、搜索目標(biāo)區(qū)域頂點的 n個近鄰，獲取對應(yīng)的匹配點，以得到點在 fi上的對應(yīng)位置：

46、

47、其中， wt與和之間的距離成反比；

48、基于頂點坐標(biāo)，確定一個初始區(qū)域，表示為：

49、

50、其中，、分別表示在 fi上的對應(yīng)位置的橫坐標(biāo)和縱坐標(biāo)； umin 、umax分別表示四個頂點的橫坐標(biāo)的最大值和最小值； vmin 、vmax分別表示四個頂點的縱坐標(biāo)的最大值和最小值；

51、基于所述初始區(qū)域的四個頂點的坐標(biāo)，確定追蹤區(qū)域的中心點；

52、

53、其中， 、分別表示追蹤區(qū)域的中心點的橫坐標(biāo)和縱坐標(biāo)；

54、參考公式（1），獲取當(dāng)前彩色圖像幀上的追蹤區(qū)域。

55、優(yōu)選的，所述基于每一所述目標(biāo)區(qū)域中的目標(biāo)點集，利用光流算法預(yù)測各個點的運動軌跡，獲取相應(yīng)追蹤區(qū)域上的目標(biāo)點集；合并每一所述追蹤區(qū)域上的目標(biāo)點集，獲取最終的目標(biāo)點集；具體包括：

56、目標(biāo)點集中的每個點 pj,s在整個幀 kj上的坐標(biāo)與相對目標(biāo)區(qū)域的坐標(biāo)具有如下映射關(guān)系：

57、

58、光流在目標(biāo)區(qū)域和追蹤區(qū)域上進行，光流預(yù)測結(jié)果為 vj→i，所述稀疏匹配結(jié)果與光流預(yù)測結(jié)果應(yīng)一致，用下式計算兩者之差：

59、

60、若 d≤ γ， γ為第三閾值，則追蹤區(qū)域上的目標(biāo)點集中的每個點 pji,s通過以下方法獲得：

61、

62、否則，不參與的計算；

63、合并每一所述追蹤區(qū)域上的目標(biāo)點集，獲取最終的目標(biāo)點集，表示為：

64、

65、其中， λji為權(quán)重，且=1， λji與 nji成正比。

66、優(yōu)選的，所述手術(shù)端還用于：

67、接收本地醫(yī)生在選定的彩色圖像幀上標(biāo)注的當(dāng)前批次的第二虛擬標(biāo)記；其中所述第二虛擬標(biāo)記采用像素級別的目標(biāo)點集進行表示；

68、執(zhí)行所述關(guān)鍵幀引導(dǎo)的虛擬標(biāo)記動態(tài)追蹤方法，獲取當(dāng)前彩色圖像幀上的當(dāng)前批次的第二追蹤標(biāo)記；

69、獲取當(dāng)前批次的第二追蹤標(biāo)記后，通過所述云服務(wù)器發(fā)送至引導(dǎo)終端，以在本地及所述引導(dǎo)終端實時顯示當(dāng)前彩色圖像幀上的部分或全部批次的第二追蹤標(biāo)記，且所述第二追蹤標(biāo)記與第一追蹤標(biāo)記采用不同的顯示方式。

70、優(yōu)選的，采用hevc、h.265、mpeg2，vc-1編碼方式對所述彩色視頻進行壓縮。

71、優(yōu)選的，采用aac、mp3或ac-3編碼方式對所述彩色視頻中的音頻進行壓縮。

72、優(yōu)選的，所述手術(shù)端具體包括具有邊緣計算功能的計算機、視頻采集卡、硬盤、手術(shù)現(xiàn)場攝像機、腹腔鏡、冷光源、觸摸屏、觸控筆、顯示器、麥克風(fēng)和揚聲器。

73、優(yōu)選的，所述引導(dǎo)終端具體包括計算機、觸摸屏、觸控筆、顯示器、麥克風(fēng)、揚聲器和輔助輸入設(shè)備。

74、優(yōu)選的，所述云服務(wù)器與若干組手術(shù)端和引導(dǎo)終端配合使用，且所述云服務(wù)器保存每一組手術(shù)端和引導(dǎo)終端的用戶信息，提供用戶登錄驗證和用戶控制權(quán)限管理

75、（三）有益效果

76、本發(fā)明提供了一種面向腹腔鏡手術(shù)術(shù)中可視化與追蹤的遠程指導(dǎo)系統(tǒng)。與現(xiàn)有技術(shù)相比，具備以下有益效果：

77、本發(fā)明提供的遠程指導(dǎo)系統(tǒng)包括引導(dǎo)終端、手術(shù)端和云服務(wù)器，以云服務(wù)器為傳輸媒介，并通過執(zhí)行關(guān)鍵幀引導(dǎo)的虛擬標(biāo)記動態(tài)追蹤方法，將引導(dǎo)終端一側(cè)的標(biāo)注信息，在手術(shù)端一側(cè)準確定位到實時彩色圖像幀上，實現(xiàn)像素級精度追蹤二維虛擬標(biāo)記，且手術(shù)端和引導(dǎo)終端均可實時可視化，使得遠程專家能夠跨越地理限制，為本地醫(yī)生提供實時的、動態(tài)的手術(shù)指導(dǎo)。