本發(fā)明涉及腸鏡圖像處理，具體涉及一種腸鏡圖像的識別定位方法、裝置及產(chǎn)品。

背景技術(shù)：

1、結(jié)腸鏡是一種臨床常用的纖維內(nèi)窺鏡。通過肛門插入逆行向下可檢查到直腸、乙狀結(jié)腸、降結(jié)腸、橫結(jié)腸、升結(jié)腸和盲腸以及與大腸相連的一小段小腸(回盲末端)?？梢郧宄匕l(fā)現(xiàn)腸道病變，同時還可對部分腸道病變進(jìn)行治療。

2、現(xiàn)今的結(jié)腸鏡檢查中，通常是利用卷積神經(jīng)網(wǎng)絡(luò)（cnn）等算法增強內(nèi)窺鏡圖像中的血管網(wǎng)或其他結(jié)構(gòu)，幫助醫(yī)生更清晰地識別病灶。對于其中結(jié)腸帶的標(biāo)記，通常是醫(yī)生手動標(biāo)記結(jié)腸帶，由于每位醫(yī)生的操作習(xí)慣不同，手動標(biāo)記的結(jié)果往往缺乏一致性，同一個醫(yī)生也難以保證不同次檢測操作之間使用相同的標(biāo)記方式，難以保證此次標(biāo)記和歷史標(biāo)記的一致性，那么這導(dǎo)致后續(xù)檢查中無法準(zhǔn)確匹配先前的標(biāo)記位置，而且重復(fù)進(jìn)行標(biāo)記操作浪費時間。

3、上述標(biāo)記不一致的問題可能導(dǎo)致多次檢查之間病灶定位不同使得病灶確定不準(zhǔn)確，影響診斷和治療的效果，在一些高級內(nèi)窺鏡系統(tǒng)利用磁場定位、ct/mri圖像配準(zhǔn)等技術(shù)幫助醫(yī)生進(jìn)行結(jié)腸內(nèi)定位。然而，這些系統(tǒng)需要使用各種傳感器等設(shè)備，導(dǎo)致系統(tǒng)價格高昂，進(jìn)而導(dǎo)致應(yīng)用范圍有限。

4、因此，對于不具有一種成本低、前后標(biāo)記一致、不重復(fù)進(jìn)行標(biāo)記操作的結(jié)腸鏡檢查識別定位方法的問題，亟需研發(fā)一種腸鏡圖像的識別定位方法和系統(tǒng)。

技術(shù)實現(xiàn)思路

1、鑒于上述問題，本發(fā)明提供一種腸鏡圖像的識別定位方法、裝置及產(chǎn)品。

2、本發(fā)明為解決技術(shù)問題所采用的技術(shù)方案如下：

3、第一方面，本發(fā)明提供一種腸鏡圖像的識別定位方法，包括：

4、獲得腸道內(nèi)窺鏡視頻信號并據(jù)此生成原始圖像；

5、獲得患者身份信息；

6、根據(jù)患者身份信息和原始圖像檢索結(jié)腸血管矩陣矢量庫中所述患者身份信息對應(yīng)的結(jié)腸袋編號和血管網(wǎng)矩陣矢量編碼，確定結(jié)腸帶的編號；若未檢索到，識別所述原始圖像中的結(jié)腸帶并對結(jié)腸帶進(jìn)行編號；

7、判別所述原始圖像是否包含結(jié)腸袋區(qū)域，若包含則對結(jié)腸袋區(qū)域中的血管網(wǎng)區(qū)域進(jìn)行語義分割得到血管網(wǎng)掩碼圖；

8、對所述血管網(wǎng)掩碼圖進(jìn)行特征提取得到血管網(wǎng)矩陣矢量編碼；

9、填充結(jié)腸血管矩陣矢量庫。

10、在一個優(yōu)選的實施例中，所述根據(jù)患者身份信息和原始圖像檢索結(jié)腸血管矩陣矢量庫中的患者身份信息對應(yīng)的結(jié)腸袋編號和血管網(wǎng)矩陣矢量編碼具體包括為：

11、檢索患者身份信息在結(jié)腸血管矩陣矢量庫中的定位信息；

12、基于所述定位信息，檢索結(jié)腸血管矩陣矢量庫中與原始圖像最匹配的結(jié)腸袋編號；

13、檢索最匹配的結(jié)腸袋編號中與原始圖像最匹配的血管網(wǎng)矩陣矢量編碼。

14、在一個優(yōu)選的實施例中，所述檢索結(jié)腸血管矩陣矢量庫中與原始圖像最匹配的結(jié)腸袋編號具體為：使用啟發(fā)式搜索方法檢索結(jié)腸血管矩陣矢量庫中與原始圖像第一特征條件相似度最高的結(jié)腸袋編號作為最匹配的結(jié)腸袋編號；

15、所述檢索最匹配的結(jié)腸袋編號中與原始圖像最匹配的血管網(wǎng)矩陣矢量編碼具體為：通過迭代優(yōu)化搜索路徑，逐步找到最匹配的結(jié)腸袋編號中最匹配的結(jié)腸袋編號中與原始圖像第二特征條件最匹配的血管網(wǎng)矩陣矢量編碼。

16、在一個優(yōu)選的實施例中，所述識別所述原始圖像中的結(jié)腸帶并對結(jié)腸帶進(jìn)行編號具體包括：

17、對所述原始圖像進(jìn)行標(biāo)準(zhǔn)化處理；

18、提取標(biāo)準(zhǔn)化處理后原始圖像的邊緣特征和紋理特征得到第一結(jié)腸帶特征圖；

19、提取第一結(jié)腸帶特征圖的結(jié)腸帶的形態(tài)特征得到第二結(jié)腸帶特征圖；

20、提取第二結(jié)腸帶特征圖中的全局上下文信息以及結(jié)腸帶與周圍組織的空間關(guān)系，得到第三結(jié)腸帶特征圖；

21、將第一結(jié)腸帶特征圖、第二結(jié)腸帶特征圖、第三結(jié)腸帶特征圖進(jìn)行融合，生成第一多尺度特征圖；

22、將第一多尺度特征圖應(yīng)用注意力機制對其進(jìn)行加權(quán)處理，生成第一加權(quán)特征圖；

23、對第一加權(quán)特征圖進(jìn)行壓縮生成數(shù)值向量；

24、根據(jù)所述數(shù)值向量識別結(jié)腸帶；

25、對識別到的結(jié)腸帶進(jìn)行編號。

26、在一個優(yōu)選的實施例中，所述對識別到的結(jié)腸帶進(jìn)行編號具體為：根據(jù)內(nèi)窺鏡退鏡的移動線路為識別到的結(jié)腸帶進(jìn)行編號，根據(jù)結(jié)腸帶的編號對結(jié)腸袋進(jìn)行編號，根據(jù)已編號的結(jié)腸袋，確定結(jié)腸帶的編號。

27、在一個優(yōu)選的實施例中，所述判別所述原始圖像是否包含結(jié)腸袋區(qū)域，若包含則對結(jié)腸袋區(qū)域中的血管網(wǎng)區(qū)域進(jìn)行語義分割得到血管網(wǎng)掩碼圖具體包括：

28、判別所述原始圖像是否包含結(jié)腸袋區(qū)域，若包含，則根據(jù)原始圖像確定結(jié)腸袋圖像；

29、歸一化結(jié)腸袋圖像；

30、提取歸一化的結(jié)腸袋圖像的邊緣和細(xì)節(jié)信息得到第一特征圖，提取歸一化的結(jié)腸袋圖像的紋理和局部形狀信息得到第二特征圖，提取歸一化的結(jié)腸袋圖像的結(jié)腸袋的整體形態(tài)信息得到第三特征圖；

31、將第一特征圖層次化聚合形成第一層次特征圖；將第二特征圖與第一層次特征圖進(jìn)行融合生成第二層次特征圖；將第三特征圖與第二層次特征圖進(jìn)行融合生成第三層次特征圖；

32、采用多尺度特征融合方法融合第一層次特征圖、第二層次特征圖和第三層次特征圖，得到第一多尺度融合特征圖；

33、捕捉第一多尺度融合特征圖中全局的信息和上下文關(guān)系，應(yīng)用注意力機制?作用于空間維度和通道維度，生成第一多尺度加權(quán)特征圖；

34、將第一多尺度加權(quán)特征圖轉(zhuǎn)化為血管網(wǎng)掩碼圖。

35、在一個優(yōu)選的實施例中，所述對所述血管網(wǎng)掩碼圖進(jìn)行特征提取得到血管網(wǎng)矩陣矢量編碼包括：將血管網(wǎng)掩碼圖分成若干網(wǎng)格單元，對每個網(wǎng)格單元進(jìn)行特征提取并將提取到的特征編碼為向量，將所有網(wǎng)格單元的向量組合成矩陣，該矩陣作為血管網(wǎng)矩陣矢量編碼。

36、在一個優(yōu)選的實施例中，所述對所述血管網(wǎng)掩碼圖進(jìn)行特征提取得到血管網(wǎng)矩陣矢量編碼具體包括：將血管網(wǎng)掩碼圖按照n×n網(wǎng)格劃分網(wǎng)格單元；對每個網(wǎng)格單元進(jìn)行幾何中心特征、血管方向特征、血管復(fù)雜度特征提取，并將提取到的幾何中心特征、血管方向特征、血管復(fù)雜度特征編碼為一個向量；將所有網(wǎng)格單元的向量按照其網(wǎng)格單元在血管網(wǎng)掩碼圖中的排列順序組合成n×n的矩陣，根據(jù)所述n×n的矩陣提取血管網(wǎng)的全局特征向量，所述n×n的矩陣和全局特征向量共同作為血管網(wǎng)矩陣矢量編碼。

37、第二方面，本發(fā)明提供一種腸鏡圖像的識別定位裝置，包括：

38、視頻獲取模塊，用于獲得腸道內(nèi)窺鏡視頻信號并據(jù)此生成原始圖像；

39、結(jié)腸袋血管網(wǎng)分割模塊，用于判別原始圖像是否包含結(jié)腸袋區(qū)域，用于在原始圖像包含結(jié)腸袋區(qū)域時對結(jié)腸袋區(qū)域中的血管網(wǎng)區(qū)域進(jìn)行語義分割得到血管網(wǎng)掩碼圖；

40、血管網(wǎng)特征編碼模塊，用于對血管網(wǎng)掩碼圖進(jìn)行特征提取得到血管網(wǎng)矩陣矢量編碼；

41、數(shù)據(jù)庫填充檢索模塊，用于獲得患者身份信息，用于根據(jù)患者身份信息和原始圖像檢索結(jié)腸血管矩陣矢量庫中患者身份信息對應(yīng)的結(jié)腸袋編號和血管網(wǎng)矩陣矢量編碼，用于填充結(jié)腸血管矩陣矢量庫；

42、結(jié)腸帶識別與編號模塊，用于在結(jié)腸血管矩陣矢量庫未檢索到患者身份信息對應(yīng)的結(jié)腸袋編號和血管網(wǎng)矩陣矢量編碼時識別原始圖像中的結(jié)腸帶并對結(jié)腸帶進(jìn)行編號，用于根據(jù)結(jié)腸血管矩陣矢量庫中結(jié)腸袋編號和血管網(wǎng)矩陣矢量編碼確定結(jié)腸帶的編號。

43、第三方面，本發(fā)明提供一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)如第一方面所述一種腸鏡圖像的識別定位方法。

44、本發(fā)明一種腸鏡圖像的識別定位方法、系統(tǒng)及產(chǎn)品通過對結(jié)腸袋區(qū)域中的血管網(wǎng)區(qū)域進(jìn)行語義分割得到血管網(wǎng)掩碼圖、對所述血管網(wǎng)掩碼圖進(jìn)行特征提取得到血管網(wǎng)矩陣矢量編碼，然后填充結(jié)腸血管矩陣矢量庫，實現(xiàn)了結(jié)腸血管矩陣矢量庫的豐富；通過根據(jù)患者身份信息和原始圖像進(jìn)行檢索結(jié)腸血管矩陣矢量庫獲得歷史結(jié)腸信息，進(jìn)而獲得結(jié)腸帶的編號，保證了不同次腸鏡檢測時編號的一致性，且不進(jìn)行重復(fù)標(biāo)記，同時由于不需要外接內(nèi)窺鏡系統(tǒng)，使得成本低。