本發(fā)明屬于臨床醫(yī)學，尤其涉及一種左右支氣管判別模型的構建方法。

背景技術：

1、支氣管插管技術是目前臨床醫(yī)學工程中實現(xiàn)單肺通氣、肺部隔離常用的技術手段，該技術成功實施的關鍵在于準確區(qū)分左右主支氣管。目前臨床常用的支氣管插管方法包括雙腔氣管導管聯(lián)合纖維支氣管鏡定位，可視雙腔氣管導管及單腔氣管導管聯(lián)合封堵器等方法。對于左右主支氣管的辨認主要是醫(yī)師通過可視工具下對患者氣道解剖學標志的識別、聽診等傳統(tǒng)方法來確認，此類方法有一定的主觀性，存在一定的錯誤率；且由于左右支氣管開口特征相似，加之插管過程中導管塑型、旋轉(zhuǎn)等影響，即便在可視工具輔助下，有時也難以準確區(qū)分左右主支氣管，出現(xiàn)錯誤辨別左右主支氣管的情況，而氣道內(nèi)反復操作可引起氣道損傷、插管失敗等一系列問題，甚至對患者的生命安全造成威脅；因此，通過人工智能技術的輔助，實現(xiàn)支氣管插管線上線下相結合的智能診療系統(tǒng)成為一項急需解決的問題。

技術實現(xiàn)思路

1、鑒于上述的分析，本發(fā)明旨在提供一種左右支氣管判別模型的構建方法，用于解決現(xiàn)有技術中的支氣管插管技術依靠醫(yī)生的主觀判斷，容易引起錯誤辨別左、右支氣管的問題。

2、本發(fā)明的目的主要是通過以下技術方案實現(xiàn)的：

3、本發(fā)明提供了一種左右支氣管判別模型的構建方法，包括：構建初始左右支氣判別模型；所述左右支氣判別模型包括數(shù)據(jù)融合模塊、最佳觀察位置識別模塊和左右支氣管開口識別模塊；所述數(shù)據(jù)融合模塊用于對支氣管插管過程中采集的圖像和對應的位置信息進行數(shù)據(jù)融合；所述左右支氣管識別模塊用于基于所述最佳觀察位置識別模塊得到的最佳觀察位置的圖像與位置信息融合數(shù)據(jù)，進行左、右支氣管開口識別；

4、獲取多個患者的氣管插管過程中的多個最佳觀察位置和非最佳觀察位置的導管探頭前端圖像和位置信息，分別構建第一訓練樣本集和第二訓練樣本集；

5、基于所述第一訓練樣本集和第二訓練樣本集，分別對相應的最佳觀察位置識別模塊和左右支氣管識別模塊進行訓練，經(jīng)過損失函數(shù)迭代更新，得到收斂的左右支氣管判別模型。

6、進一步的，所述第一訓練樣本集的構建包括：獲取多個患者的插管過程中的視頻數(shù)據(jù)和位置信息數(shù)據(jù)，并基于所述視頻數(shù)據(jù)提取多幀圖像，對提取得到的包含所有感興趣目標的圖像標注最佳觀察位置圖像標簽，對缺少至少一種感興趣目標的圖像標注非最佳觀察位置圖像標簽，基于標注標簽后的多個圖像及對應的位置信息，構建得到第一訓練樣本集；所述感興趣目標包括氣管隆突、c型軟骨環(huán)、左支氣管開口和右支氣管開口；

7、所述第二訓練樣本集的構建包括：采用mask?r-cnn及u-net模型分別對采樣得到的最佳觀察位置圖像進行感興趣目標分割；利用標注工具對目標分割后的圖像進行感興趣目標類別標注；以類別標注后的最佳觀察位置圖像作為正樣本，以非最佳觀察位置圖像作為負樣本，構建得到第二訓練樣本集。

8、進一步的，所述最佳觀察位置識別模塊包括卷積層、池化層和全連接層；

9、所述卷積層用于對輸入的數(shù)據(jù)進行特征提?。?/p>

10、所述池化層用于通過池化方法對提取得到的特征數(shù)據(jù)進行降維，以減少計算量；

11、所述全連接層用于基于卷積層和池化層輸出的特征數(shù)據(jù)，通過權重和偏置進行線性變換，并通過激活函數(shù)進行非線性變換，得到輸入圖像為最佳觀察位置圖像或非最佳觀察位置圖像的分類結果。

12、進一步的，所述左右支氣管判別模型包括編碼器模塊、記憶模塊、重構對抗學習模塊、對比學習模塊和解碼器模塊；

13、所述編碼器模塊采用基于transformer模型的編碼器，用于對接收到的數(shù)據(jù)進行特征提取，得到輸入數(shù)據(jù)的高維特征表示；

14、所述記憶模塊設置于所述編碼器之后，用于捕捉并記憶最佳觀察位置視頻數(shù)據(jù)對應的多幀圖像的所述高維特征表示的關鍵特征；

15、所述重構對抗學習模塊和對比學習模塊并行設置于所述記憶模塊之后，分別用于通過生成對抗和對比學習的方法對提取得到的關鍵特征進行增強優(yōu)化；

16、所述解碼器模塊采用transformer模型的解碼器結構，對增強優(yōu)化后的特征表示進行解碼和分類預測。

17、進一步的，所述左右支氣管識別模塊利用包括transformer損失函數(shù)、對抗損失函數(shù)和對比損失函數(shù)的綜合損失進行迭代訓練；所述左右支氣管識別模塊在訓練過程中學習得到各感興趣目標、感興趣目標對應的類別標簽和位置信息的對應關系，進行左右支氣管識別；

18、所述transformer損失函數(shù)表示為：

19、

20、其中，yi為真實標簽，為預測值，n為樣本數(shù)量；

21、對抗損失函數(shù)表示為：

22、

23、其中，xi為原始圖像，為生成圖像；

24、對比損失函數(shù)表示為：

25、

26、其中，zi和分別為正樣本和負樣本對應的特征向量，d為距離度量函數(shù)。

27、進一步的，所述綜合損失表示為：

28、ltotal＝αltransformer+βlreconstuction+γlself-supervised

29、其中，ltransformer為transformer損失函數(shù)；lreconstruction為對抗損失函數(shù)；lself-supervised為對比損失函數(shù)；α，β，γ為權重系數(shù)。

30、進一步的，所述記憶模塊通過下述方法，捕捉并記憶最佳觀察位置視頻數(shù)據(jù)對應的連續(xù)多幀圖像的所述高維特征表示的關鍵特征：

31、s1：隨機初始化記憶模塊的記憶矩陣m；

32、s2：基于當前圖像對應的所述高維特征表示生成查詢向量q；

33、s3：計算當前圖像對應的查詢向量與記憶單元中記憶矩陣的相似度；

34、s4：根據(jù)所述相似度得到記憶信息內(nèi)容；將所述記憶信息內(nèi)容作為殘差模塊與當前圖像對應的高維特征表示進行殘差連接；利用殘差連接后得到的記憶信息更新記憶矩陣；

35、s5：接收下一幀圖像，重復步驟s2-s4，經(jīng)過多幀圖像的多次迭代更新，得到所述高維特征表示的關鍵特征。

36、進一步的，所述重構對抗學習模塊包括生成器和判別器；

37、所述生成器基于卷積神經(jīng)網(wǎng)絡或反卷積神經(jīng)網(wǎng)絡構建得到，用于基于所述記憶模塊輸出的關鍵特征生成多個逼真的圖像；

38、所述判別器基于卷積神經(jīng)網(wǎng)絡構建得到，用于區(qū)分生成的圖像和真實圖像；通過對抗損失函數(shù)對生成器和判別器進行迭代訓練，以優(yōu)化所述生成器生成的圖像。

39、進一步的，所述對比學習模塊基于記憶模塊輸出的正、負樣本對應的關鍵特征表示，計算正、負樣本與輸入的包含左、右支氣管開口特征的最佳觀察位置樣本的特征相似度；通過對比損失函數(shù)進行迭代優(yōu)化，最小化正樣本與輸入的最佳觀察位置樣本的特征距離，最大化負樣本與輸入的最佳觀察位置樣本的特征距離，以對正樣本進行特征增強。

40、進一步的，所述位置信息數(shù)據(jù)為通過位置傳感器獲取的包括水平角度、垂直角度和阻擋物至攝像頭距離的點云數(shù)據(jù)；所述數(shù)據(jù)融合模塊通過下述方法對采集得到的圖像分別與對應的位置信息數(shù)據(jù)進行數(shù)據(jù)融合：

41、根據(jù)預先標定的位置傳感器和攝像頭的相對位置和姿態(tài)，將位置傳感器獲取的點云數(shù)據(jù)初步對齊到圖像坐標系；

42、使用icp算法對初步對齊后的點云數(shù)據(jù)和圖像特征點進行精確對齊；

43、將精確對齊后的所述點云數(shù)據(jù)投影到圖像坐標系；

44、通過sift或orb描述符將投影后的點云數(shù)據(jù)與圖像特征點進行匹配融合，得到融合后的數(shù)據(jù)。

45、本技術方案的有益效果：

46、1.本發(fā)明針對左、右支氣管開口的區(qū)別特征不明顯，在支氣管插管過程中容易造成左右支氣管誤判的問題，利用在插管過程中左、右支氣管開口和氣管隆突及c形軟骨環(huán)可在圖像中同時顯示的特點，在模型構建過程中，采用不但包含左、右支氣管開口特征，且包含氣管隆突及c形軟骨環(huán)的最佳觀察位置的圖像，并融合各特征點的位置信息，是模型不但學習到左、右支氣管開口的特征，且學習到左右支氣管與氣管隆突及c形軟骨環(huán)的相對位置特征，實現(xiàn)了利用特征明顯的氣管隆突及c形軟骨環(huán)和各特征點的位置信息，對左、右支氣管開口位置進行輔助定位，確保了左、右支氣管開口識別的準確性。

47、2.本發(fā)明采用的左右支氣管識別模塊利用最佳觀察位置采集的圖像進行訓練，且在傳統(tǒng)transformer架構的基礎上，集成了記憶模塊，動態(tài)更新提取圖像的關鍵特征，并通過重構對抗學習和對比學習，優(yōu)化了左右支氣管識別模塊特征提取的質(zhì)量和左右支氣管開口識別的準確性。