本發(fā)明涉及圖像融合方法，更具體地說是指多模態(tài)眼底影像融合方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)：

1、在眼底疾病的臨床篩查中，患者通過多種方式和設(shè)備采集的眼底影像屬于不同模態(tài)。醫(yī)生需要對(duì)這些不同模態(tài)的影像進(jìn)行對(duì)比，以發(fā)現(xiàn)眼底異常和病灶，從而做出精準(zhǔn)診斷；然而，由于不同模態(tài)影像的拍攝視野不同，同一眼底結(jié)構(gòu)在各模態(tài)中的位置存在差異，這增加了醫(yī)生的定位和判斷難度，影響診斷效率。因此，必須對(duì)這些不同模態(tài)的眼底影像進(jìn)行配準(zhǔn)和融合，以提升診斷的效率和質(zhì)量。

2、傳統(tǒng)的圖像融合方法通常只支持兩種或特定模態(tài)的眼底影像，但在臨床實(shí)踐中，醫(yī)生會(huì)根據(jù)患者的病史和具體病情有針對(duì)性地拍攝某些模態(tài)的影像，使得這些方法的適用性受到限制，此外，圖像融合包括配準(zhǔn)和融合兩個(gè)階段，而現(xiàn)有的方法大多基于傳統(tǒng)的計(jì)算機(jī)視覺技術(shù)，盡管這些技術(shù)在整體配準(zhǔn)上效果較好，但在局部細(xì)節(jié)上的準(zhǔn)確度仍需改進(jìn)，特別是對(duì)于眼底血管等重要結(jié)構(gòu)的保留，現(xiàn)有方法在融合過程中的一致性問題依然未能完全解決。

3、因此，有必要設(shè)計(jì)一種新的方法，以解決眼底疾病的臨床篩查中，不同模態(tài)眼底影像的配準(zhǔn)和融合存在限制，局部細(xì)節(jié)準(zhǔn)確度低，并且對(duì)于保留眼底血管等重要結(jié)構(gòu)的一致性問題。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺陷，提供多模態(tài)眼底影像融合方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

2、為實(shí)現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：多模態(tài)眼底影像融合方法，包括：

3、獲取待融合的多模態(tài)眼底影像；

4、從待融合的多模態(tài)眼底影像中確定基準(zhǔn)模態(tài)影像以及配準(zhǔn)模態(tài)影像；

5、根據(jù)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像計(jì)算配準(zhǔn)順序；

6、對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行粗配準(zhǔn)，以得到初步配準(zhǔn)結(jié)果；

7、對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行血管先驗(yàn)分割，以得到血管先驗(yàn)信息；

8、根據(jù)所述基準(zhǔn)模態(tài)影像、初步配準(zhǔn)結(jié)果以及所述血管先驗(yàn)信息進(jìn)行血管先驗(yàn)融合，以得到融合結(jié)果；

9、輸出所述融合結(jié)果。

10、其進(jìn)一步技術(shù)方案為：所述根據(jù)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像計(jì)算配準(zhǔn)順序，包括：

11、使用chamfer距離計(jì)算所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像之間的相似度；

12、利用kruskal算法生成配準(zhǔn)順序的最小生成樹，將最小生成樹的順序作為配準(zhǔn)順序。

13、其進(jìn)一步技術(shù)方案為：所述對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行粗配準(zhǔn)，以得到初步配準(zhǔn)結(jié)果，包括：

14、按照配準(zhǔn)順序依序使用surf檢測(cè)器檢測(cè)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像的特征點(diǎn)；

15、利用piifd算法提取和描述所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像的特征點(diǎn)；

16、使用ransac算法進(jìn)行模式匹配和刪除不匹配點(diǎn)，對(duì)匹配的影像進(jìn)行形變，以得到初步配準(zhǔn)結(jié)果。

17、其進(jìn)一步技術(shù)方案為：所述對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行血管先驗(yàn)分割，以得到血管先驗(yàn)信息，包括：

18、使用血管先驗(yàn)分割網(wǎng)絡(luò)對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行血管先驗(yàn)分割，以得到血管先驗(yàn)信息。

19、其進(jìn)一步技術(shù)方案為：所述使用血管先驗(yàn)分割網(wǎng)絡(luò)對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行血管先驗(yàn)分割，以得到血管先驗(yàn)信息，包括：

20、利用所述血管先驗(yàn)分割網(wǎng)絡(luò)對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行特征編碼，以得到編碼結(jié)果；

21、對(duì)所述編碼結(jié)果采用解碼器進(jìn)行解碼，以得到血管先驗(yàn)信息。

22、其進(jìn)一步技術(shù)方案為：所述根據(jù)所述基準(zhǔn)模態(tài)影像、初步配準(zhǔn)結(jié)果以及所述血管先驗(yàn)信息進(jìn)行血管先驗(yàn)融合，以得到融合結(jié)果，包括：

23、將所述基準(zhǔn)模態(tài)影像、初步配準(zhǔn)結(jié)果以及所述血管先驗(yàn)信息輸入至血管先驗(yàn)融合網(wǎng)絡(luò)內(nèi)，以進(jìn)行圖像融合，以得到融合結(jié)果。

24、其進(jìn)一步技術(shù)方案為：所述根據(jù)所述基準(zhǔn)模態(tài)影像、初步配準(zhǔn)結(jié)果以及所述血管先驗(yàn)信息進(jìn)行血管先驗(yàn)融合，以得到融合結(jié)果之后，還包括：

25、采用血管先驗(yàn)分割網(wǎng)絡(luò)對(duì)生成的融合圖像進(jìn)行分割，以形成融合圖像分割結(jié)果；

26、利用融合圖像分割結(jié)果與所述基準(zhǔn)模態(tài)圖像的血管先驗(yàn)分割結(jié)果進(jìn)行對(duì)比，計(jì)算損失值；

27、利用所述損失值優(yōu)化所述血管先驗(yàn)分割網(wǎng)絡(luò)的參數(shù)。

28、本發(fā)明還提供了多模態(tài)眼底影像融合裝置，包括：

29、影像獲取單元，用于獲取待融合的多模態(tài)眼底影像；

30、確定單元，用于從待融合的多模態(tài)眼底影像中確定基準(zhǔn)模態(tài)影像以及配準(zhǔn)模態(tài)影像；

31、配準(zhǔn)順序計(jì)算單元，用于根據(jù)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像計(jì)算配準(zhǔn)順序；

32、粗配準(zhǔn)單元，用于對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行粗配準(zhǔn)，以得到初步配準(zhǔn)結(jié)果；

33、分割單元，用于對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行血管先驗(yàn)分割，以得到血管先驗(yàn)信息；

34、融合單元，用于根據(jù)所述基準(zhǔn)模態(tài)影像、初步配準(zhǔn)結(jié)果以及所述血管先驗(yàn)信息進(jìn)行血管先驗(yàn)融合，以得到融合結(jié)果；

35、輸出單元，用于輸出所述融合結(jié)果。

36、本發(fā)明還提供了一種計(jì)算機(jī)設(shè)備，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器及處理器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述的方法。

37、本發(fā)明還提供了一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的方法。

38、本發(fā)明與現(xiàn)有技術(shù)相比的有益效果是：本發(fā)明通過獲取多模態(tài)眼底影像，確定基準(zhǔn)和配準(zhǔn)影像，進(jìn)行粗配準(zhǔn)和血管先驗(yàn)分割，最終融合影像后輸出結(jié)果，提高影像的對(duì)比度和細(xì)節(jié)，從而增強(qiáng)診斷的準(zhǔn)確性和全面性；可以解決眼底疾病的臨床篩查中，不同模態(tài)眼底影像的配準(zhǔn)和融合存在限制，局部細(xì)節(jié)準(zhǔn)確度低，并且對(duì)于保留眼底血管等重要結(jié)構(gòu)的一致性問題。

39、下面結(jié)合附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步描述。

技術(shù)特征：

1.多模態(tài)眼底影像融合方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的多模態(tài)眼底影像融合方法，其特征在于，所述根據(jù)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像計(jì)算配準(zhǔn)順序，包括：

3.根據(jù)權(quán)利要求1所述的多模態(tài)眼底影像融合方法，其特征在于，所述對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行粗配準(zhǔn)，以得到初步配準(zhǔn)結(jié)果，包括：

4.根據(jù)權(quán)利要求1所述的多模態(tài)眼底影像融合方法，其特征在于，所述對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行血管先驗(yàn)分割，以得到血管先驗(yàn)信息，包括：

5.根據(jù)權(quán)利要求4所述的多模態(tài)眼底影像融合方法，其特征在于，所述使用血管先驗(yàn)分割網(wǎng)絡(luò)對(duì)所述基準(zhǔn)模態(tài)影像以及所述配準(zhǔn)模態(tài)影像進(jìn)行血管先驗(yàn)分割，以得到血管先驗(yàn)信息，包括：

6.根據(jù)權(quán)利要求1所述的多模態(tài)眼底影像融合方法，其特征在于，所述根據(jù)所述基準(zhǔn)模態(tài)影像、初步配準(zhǔn)結(jié)果以及所述血管先驗(yàn)信息進(jìn)行血管先驗(yàn)融合，以得到融合結(jié)果，包括：

7.根據(jù)權(quán)利要求1所述的多模態(tài)眼底影像融合方法，其特征在于，所述根據(jù)所述基準(zhǔn)模態(tài)影像、初步配準(zhǔn)結(jié)果以及所述血管先驗(yàn)信息進(jìn)行血管先驗(yàn)融合，以得到融合結(jié)果之后，還包括：

8.多模態(tài)眼底影像融合裝置，其特征在于，包括：

9.一種計(jì)算機(jī)設(shè)備，其特征在于，所述計(jì)算機(jī)設(shè)備包括存儲(chǔ)器及處理器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的方法。

10.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的方法。

技術(shù)總結(jié)
本發(fā)明實(shí)施例公開了多模態(tài)眼底影像融合方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。方法包括：獲取待融合的多模態(tài)眼底影像；從待融合的多模態(tài)眼底影像中確定基準(zhǔn)模態(tài)影像以及配準(zhǔn)模態(tài)影像；根據(jù)基準(zhǔn)模態(tài)影像以及配準(zhǔn)模態(tài)影像計(jì)算配準(zhǔn)順序；對(duì)基準(zhǔn)模態(tài)影像以及配準(zhǔn)模態(tài)影像進(jìn)行粗配準(zhǔn)，以得到初步配準(zhǔn)結(jié)果；對(duì)基準(zhǔn)模態(tài)影像以及配準(zhǔn)模態(tài)影像進(jìn)行血管先驗(yàn)分割，以得到血管先驗(yàn)信息；根據(jù)基準(zhǔn)模態(tài)影像、初步配準(zhǔn)結(jié)果以及血管先驗(yàn)信息進(jìn)行血管先驗(yàn)融合，以得到融合結(jié)果；輸出融合結(jié)果。通過實(shí)施本發(fā)明實(shí)施例的方法可以解決眼底疾病的臨床篩查中，不同模態(tài)眼底影像的配準(zhǔn)和融合存在限制，局部細(xì)節(jié)準(zhǔn)確度低，并且對(duì)于保留眼底血管等重要結(jié)構(gòu)的一致性問題。

技術(shù)研發(fā)人員：曹曉春
受保護(hù)的技術(shù)使用者：杭州泰源醫(yī)藥創(chuàng)新研究院有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10