本發(fā)明屬于支氣管鏡導航領域，具體是一種基于人工智能的可實時監(jiān)測盲區(qū)的ar導航支氣管鏡系統(tǒng)。

背景技術：

1、內(nèi)窺鏡手術在呼吸道疾病的診斷和治療中起著重要作用，但由于支氣管結(jié)構(gòu)復雜、狹窄且充滿彎曲，操作過程中常常存在盲區(qū)，醫(yī)生難以直接觀察到目標區(qū)域。傳統(tǒng)的內(nèi)窺鏡操作依賴醫(yī)生經(jīng)驗和手感，容易出現(xiàn)誤刺傷等問題。因此，開發(fā)一種基于人工智能技術的ar導航支氣管鏡系統(tǒng)可以有效解決這些問題。基于人工智能的可實時監(jiān)測盲區(qū)的ar導航支氣管鏡系統(tǒng)將為內(nèi)窺鏡手術帶來更加智能化、精準化和安全化的操作體驗，有望成為未來呼吸道疾病診斷與治療領域的重要技術創(chuàng)新。

2、現(xiàn)有的導航支氣管鏡系統(tǒng)，大多僅通過對內(nèi)窺鏡圖像進行定位判斷，難以根據(jù)不同支氣管內(nèi)部實時采集的多種內(nèi)窺鏡影像，及時對導航路線進行調(diào)節(jié)，同時，沒有考慮到呼吸因素對支氣管內(nèi)窺鏡移動的干擾，易在不適當?shù)臅r間進行操作，提高了操作風險。

技術實現(xiàn)思路

1、本發(fā)明旨在至少解決現(xiàn)有技術中存在的技術問題之一；為此，本發(fā)明提出了一種基于人工智能的可實時監(jiān)測盲區(qū)的ar導航支氣管鏡系統(tǒng)，用于解決難以根據(jù)不同支氣管內(nèi)部實時采集的多種內(nèi)窺鏡影像，及時對導航路線進行調(diào)節(jié)，同時，沒有考慮到呼吸因素對支氣管內(nèi)窺鏡移動的干擾，易在不適當?shù)臅r間進行操作，提高了操作風險的技術問題。

2、為解決上述問題，本發(fā)明的第一方面提供了一種基于人工智能的可實時監(jiān)測盲區(qū)的ar導航支氣管鏡系統(tǒng)，包括：

3、模型構(gòu)建模塊：用于獲取支氣管的三維掃描圖像，并通過三維掃描圖像建立支氣管三維虛擬模型；

4、編號模塊：根據(jù)建立的支氣管三維虛擬模型，將支氣管三維虛擬模型中的支氣管進行分類，根據(jù)支氣管的分類對支氣管三維虛擬模型中的支氣管進行編號；

5、導航路徑生成模塊：根據(jù)建立的支氣管三維虛擬模型和支氣管的編號，通過路徑規(guī)劃算法，生成達到目標區(qū)域的最短路徑規(guī)劃；

6、視頻流采集模塊：用于獲取內(nèi)窺鏡采集的視頻流數(shù)據(jù)；

7、dcnn圖像處理模塊：通過訓練dcnn深度卷積神經(jīng)網(wǎng)絡模型識別當前支氣管的內(nèi)部圖像和與當前支氣管連接的支氣管管口分叉處的圖像，以及檢測目標圖像，并對識別的圖像提取當前支氣管的特性數(shù)據(jù)；

8、drl導航模塊：用于根據(jù)導航路徑生成模塊生成的最短路徑規(guī)劃對內(nèi)窺鏡進行導航，并根據(jù)dcnn圖像處理模塊提取的當前支氣管的特性數(shù)據(jù)，對最短路徑規(guī)劃進行優(yōu)化；

9、呼吸干擾監(jiān)測模塊：用于實時監(jiān)測被檢測者的呼吸狀態(tài)，并根據(jù)患者呼吸狀態(tài)評估呼吸干擾性，根據(jù)呼吸干擾性調(diào)整drl導航模塊的導航策略。

10、作為本發(fā)明進一步的方案：將支氣管三維虛擬模型中的支氣管進行分類，根據(jù)支氣管的分類對支氣管三維虛擬模型中的支氣管進行編號，包括以下步驟：

11、將支氣管三維虛擬模型中的支氣管進行分類，支氣管分類，包括：氣管、主支氣管類、肺葉支氣管類、肺段支氣管類、小支氣管類、細支氣管類、終末細支氣管類和呼吸部支氣管類；

12、根據(jù)支氣管的分類，為每個分類設置一個標識符，并對每個分類下的支氣管進行編號；

13、根據(jù)支氣管分類的標識符和分類下的支氣管編號，對支氣管三維虛擬模型中的支氣管進行編號。

14、作為本發(fā)明進一步的方案：所述導航路徑生成模塊根據(jù)建立的支氣管三維虛擬模型和支氣管的編號，通過路徑規(guī)劃算法，生成達到目標區(qū)域的最短路徑規(guī)劃，包括以下步驟：

15、獲取建立的支氣管三維虛擬模型和支氣管的編號，對目標區(qū)域在支氣管三維虛擬模型中的位置進行定位，并以定位的位置為終點位置，以支氣管分類中氣管的位置為起點位置；

16、通過d?i?jkstra最短路徑算法，生成終點位置到起點位置的最短路徑規(guī)劃，并對應行經(jīng)順序的支氣管編號陣列。

17、作為本發(fā)明進一步的方案：所述dcnn圖像處理模塊通過訓練dcnn深度卷積神經(jīng)網(wǎng)絡模型識別當前支氣管的內(nèi)部圖像和與當前支氣管連接的支氣管管口分叉處的圖像，以及檢測目標圖像，并對識別的圖像提取當前支氣管的特性數(shù)據(jù)，包括以下步驟：

18、獲取支氣管內(nèi)窺鏡歷史影像數(shù)據(jù)中，每個編號的支氣管的內(nèi)部圖像數(shù)據(jù)，每個編號的支氣管的管口分叉處的圖像，以及歷史記錄中檢測目標圖像；

19、對每個編號的支氣管的內(nèi)部圖像數(shù)據(jù)中，支氣管內(nèi)壁圖像進行標注，并添加對應的支氣管編號作為標簽；

20、對每個編號的支氣管的管口分叉處的圖像中，分叉處連接的支氣管管口圖像進行標注，并添加當前支氣管分類的標識符，以及標注的支氣管管口圖像對應的支氣管編號作為標簽；

21、對歷史記錄中檢測目標圖像，目標區(qū)域進行標注，并添加目標類型作為標簽；

22、將標注完成圖片分為測試集和驗證集，通過測試集和驗證集訓練dcnn深度卷積神經(jīng)網(wǎng)絡模型；

23、對視頻流采集模塊實時采集內(nèi)窺鏡采集的視頻流數(shù)據(jù)進行處理后，送入訓練完成的dcnn深度卷積神經(jīng)網(wǎng)絡模型，對支氣管內(nèi)壁圖像、分叉處連接的支氣管管口圖像和目標區(qū)域進行標注，并根據(jù)標注圖像提取當前支氣管的特性數(shù)據(jù)。

24、作為本發(fā)明進一步的方案：對視頻流采集模塊實時采集內(nèi)窺鏡采集的視頻流數(shù)據(jù)進行處理后，送入訓練完成的dcnn深度卷積神經(jīng)網(wǎng)絡模型，對支氣管內(nèi)壁圖像、分叉處連接的支氣管管口圖像和目標區(qū)域進行標注，并根據(jù)標注圖像提取當前支氣管的特性數(shù)據(jù)，包括以下布置：

25、將視頻流采集模塊實時采集內(nèi)窺鏡采集的視頻流數(shù)據(jù)，每間隔五幀視頻幀抽取一幀視頻幀數(shù)據(jù)；

26、對抽取的視頻幀數(shù)據(jù)進行預處理，包括去噪和增強對比度；

27、將預處理后的視頻幀輸入到訓練后的dcnn深度卷積神經(jīng)網(wǎng)絡模型；

28、通過訓練后的dcnn深度卷積神經(jīng)網(wǎng)絡模型對視頻幀中，支氣管內(nèi)壁圖像進行標注，并識別對應的支氣管編號；分叉處連接的支氣管管口圖像進行標注，并識別當前支氣管分類的標識符，以及標注的支氣管管口圖像對應的支氣管編號；檢測到的目標區(qū)域進行標注，并識別目標類型；

29、通過標注的支氣管內(nèi)壁圖像，提取當前支氣管內(nèi)徑數(shù)據(jù)；通過標注的分叉處連接的支氣管管口圖像，提取分叉處連接的支氣管的內(nèi)徑數(shù)據(jù)；通過標注的目標區(qū)域圖像，提取目標區(qū)域面積數(shù)據(jù)；

30、將提取到的當前支氣管內(nèi)徑數(shù)據(jù)、分叉處連接的支氣管的內(nèi)徑數(shù)據(jù)和目標區(qū)域面積數(shù)據(jù)，作為當前支氣管的特性數(shù)據(jù)。

31、作為本發(fā)明進一步的方案：所述drl導航模塊根據(jù)導航路徑生成模塊生成的最短路徑規(guī)劃對內(nèi)窺鏡進行導航，并根據(jù)dcnn圖像處理模塊提取的當前支氣管的特性數(shù)據(jù)，對最短路徑規(guī)劃進行優(yōu)化，包括以下步驟：

32、將支氣管三維虛擬模型輸入drl強化學習算法模型中，定義狀態(tài)空間為當前支氣管編號和分叉處連接的支氣管管口對應的氣管編號，定義動作空間為上旋轉(zhuǎn)、下旋轉(zhuǎn)、左旋轉(zhuǎn)、右旋轉(zhuǎn)、前進和后退；

33、設置獎勵函數(shù)對成功到達目標區(qū)域或發(fā)現(xiàn)盲區(qū)給予正向獎勵，對碰撞則給予負向獎勵；

34、通過支氣管內(nèi)窺鏡歷史影像數(shù)據(jù)提取的支氣管三維虛擬模型、歷史數(shù)據(jù)的狀態(tài)空間和動作空間，根據(jù)設置獎勵函數(shù)，訓練drl導航模型；

35、訓練后的drl導航模型根據(jù)導航路徑生成模塊生成的最短路徑規(guī)劃對內(nèi)窺鏡進行導航，同時檢測當前支氣管內(nèi)窺鏡的移動速度，并根據(jù)呼吸干擾監(jiān)測模塊的優(yōu)化方案對當前支氣管內(nèi)窺鏡的移動速度進行調(diào)節(jié)；

36、根據(jù)dcnn圖像處理模塊提取的當前支氣管的特性數(shù)據(jù)，判斷是否按照導航路徑生成模型生成的最短路徑規(guī)劃進行導航；

37、若不按照最短路徑規(guī)劃進行導航，則上報當前支氣管編號，并發(fā)送報錯信息至導航路徑生成模塊，重新生成最短路徑規(guī)劃；

38、若按照最短路徑規(guī)劃進行導航，則繼續(xù)進行導航。

39、作為本發(fā)明進一步的方案：根據(jù)dcnn圖像處理模塊提取的當前支氣管的特性數(shù)據(jù)，判斷是否按照導航路徑生成模型生成的最短路徑規(guī)劃進行導航，包括以下步驟：

40、判斷dcnn圖像處理模塊標注的目標區(qū)域圖像是否為遮擋物；

41、若dcnn圖像處理模塊標注的目標區(qū)域圖像為遮擋物，通過當前支氣管內(nèi)徑數(shù)據(jù)減去遮擋物直徑，得到容許通過直徑；

42、若dcnn圖像處理模塊標注的目標區(qū)域圖像不為遮擋物，則比較當前支氣管內(nèi)徑數(shù)據(jù)和分叉處連接的支氣管的內(nèi)徑數(shù)據(jù)，選擇最小的內(nèi)徑數(shù)據(jù)作為容許通過直徑；

43、容許通過直徑大于內(nèi)窺鏡直徑時，判斷按照導航路徑生成模型生成的最短路徑規(guī)劃進行導航，否則，不按照最短路徑規(guī)劃進行導航。

44、作為本發(fā)明進一步的方案：所述呼吸干擾監(jiān)測模塊實時監(jiān)測被檢測者的呼吸狀態(tài)，并根據(jù)患者呼吸狀態(tài)評估呼吸干擾性，包括以下步驟：

45、實時監(jiān)測被檢測者的呼吸狀態(tài)數(shù)據(jù)，包括被檢測者的呼吸頻率、血氧飽和度和脈率；

46、設置檢測時間段，并將檢測時間段等分為若干檢測時間區(qū)間，隨機篩選每個檢測時間區(qū)間任一時間點，被檢測者的呼吸頻率、血氧飽和度和脈率；

47、評估呼吸狀態(tài)波動性，通過以下公式進行：

48、

49、其中，r為呼吸狀態(tài)波動性評價值，σ1為檢測時間段中，篩選的呼吸頻率數(shù)據(jù)的方差，μ1為檢測時間段中，篩選的呼吸頻率數(shù)據(jù)的平均值，σ2為檢測時間段中，篩選的血氧飽和度數(shù)據(jù)的方差，μ2為檢測時間段中，篩選的血氧飽和度數(shù)據(jù)的平均值，σ3為檢測時間段中，篩選的脈率數(shù)據(jù)的方差，μ3為檢測時間段中，篩選的脈率數(shù)據(jù)的平均值；

50、獲取dcnn圖像處理模塊標注的支氣管內(nèi)壁圖像和分叉處連接的支氣管管口圖像，并獲取當前支氣管內(nèi)徑數(shù)據(jù)和分叉處連接的支氣管的內(nèi)徑數(shù)據(jù)；

51、評估支氣管的內(nèi)徑影響系數(shù)，通過以下公式進行：

52、

53、其中，e為支氣管的內(nèi)徑影響系數(shù)，r1為當前支氣管擴張時，當前支氣管的內(nèi)徑數(shù)據(jù)，r2為當前支氣管收縮時，當前支氣管的內(nèi)徑數(shù)據(jù)，r0為支氣管內(nèi)窺鏡歷史影像數(shù)據(jù)中，當前支氣管的內(nèi)徑數(shù)據(jù)的平均值，rao為支氣管內(nèi)窺鏡歷史影像數(shù)據(jù)中，分叉處連接的第i個支氣管的內(nèi)徑數(shù)據(jù)的平均值，rai為當前支氣管收縮時，分叉處連接的第i個支氣管的內(nèi)徑數(shù)據(jù)，i∈(1,2，…，n)，n為分叉處連接的支氣管的總數(shù)；

54、根據(jù)呼吸狀態(tài)波動性評價值和支氣管的內(nèi)徑影響系數(shù)，評估呼吸干擾性，通過以下公式進行：

55、

56、其中，k為呼吸干擾性評估值。

57、作為本發(fā)明進一步的方案：根據(jù)呼吸干擾性調(diào)整drl導航模塊的導航策略，包括以下步驟：

58、獲取呼吸干擾性的評估結(jié)果，獲取當前支氣管內(nèi)窺鏡的移動速度，將當前支氣管內(nèi)窺鏡的移動速度的十分之一作為最小速度調(diào)節(jié)單位；

59、若呼吸干擾性評估值k＞50，則當前支氣管內(nèi)窺鏡的移動速度減少5個最小速度調(diào)節(jié)單位；

60、若30≤k<50，則當前支氣管內(nèi)窺鏡的移動速度減少3個最小速度調(diào)節(jié)單位；

61、若20≤k<30，則當前支氣管內(nèi)窺鏡的移動速度減少2個最小速度調(diào)節(jié)單位；

62、若10≤k<20，則當前支氣管內(nèi)窺鏡的移動速度減少1個最小速度調(diào)節(jié)單位；

63、若k<10，則當前支氣管內(nèi)窺鏡的移動速度不變；

64、若k<0，則當前支氣管內(nèi)窺鏡的移動速度增加2個最小速度調(diào)節(jié)單位。

65、與現(xiàn)有技術相比，本發(fā)明的有益效果是：

66、本發(fā)明通過dcnn深度卷積神經(jīng)網(wǎng)絡在圖像識別方面具有出色的表現(xiàn)，能夠高效準確地識別支氣管內(nèi)部圖像和連接處的分叉圖像；同時，通過dcnn模型可以精準地定位當前支氣管內(nèi)部結(jié)構(gòu)和連接處的分叉位置，實現(xiàn)對支氣管內(nèi)部結(jié)構(gòu)的自動化分析。

67、本發(fā)明通過drl深度強化學習技術可以根據(jù)最短路徑規(guī)劃智能地引導內(nèi)窺鏡進行導航，幫助醫(yī)生更快速、準確地到達目標區(qū)域；結(jié)合dcnn圖像處理模塊提取的支氣管特性數(shù)據(jù)，drl導航模塊可以實時優(yōu)化路徑規(guī)劃，根據(jù)當前支氣管情況調(diào)整導航策略。同時，通過對支氣管特性數(shù)據(jù)的分析和優(yōu)化，drl導航模塊可以生成個性化的路徑規(guī)劃，適應不同患者的支氣管結(jié)構(gòu)和病變情況，提供更加精準的導航服務。

68、本發(fā)明通過實時監(jiān)測患者的呼吸狀態(tài)和評估呼吸干擾性，便于為每位患者提供個性化的導航策略，更好地適應其生理特征和狀況；及時監(jiān)測呼吸狀態(tài)并調(diào)整導航策略可以減少對患者的呼吸系統(tǒng)造成的干擾，降低操作風險。根據(jù)患者的呼吸情況調(diào)整導航策略，可以避免在不適當?shù)臅r間進行操作，提高操作效率并減少操作時間；同時，通過根據(jù)呼吸狀態(tài)調(diào)整導航策略，可以減少對患者的不必要干擾和不適感，提升手術過程中患者的舒適度。