本發(fā)明涉及圖像配準(zhǔn)，具體而言，涉及一種基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法、介質(zhì)、裝置及程序產(chǎn)品。

背景技術(shù)：

1、圖像配準(zhǔn)是圖像處理研究領(lǐng)域中的一個(gè)典型問題和技術(shù)難點(diǎn)，其目的在于比較或融合針對(duì)同一對(duì)象在不同條件下獲取的圖像；作為圖像處理相關(guān)領(lǐng)域重要且基礎(chǔ)的問題，具有廣泛的應(yīng)用場(chǎng)景。例如圖像會(huì)來(lái)自不同的采集設(shè)備，取自不同的時(shí)間，不同的拍攝視角等等。

2、傳統(tǒng)的基于聯(lián)合標(biāo)定的配準(zhǔn)方法，在重復(fù)紋理、弱紋理或無(wú)紋理、大前景干擾、夜景或噪聲干擾等非理想情況下難以實(shí)現(xiàn)較好的效果。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明旨在提供一種基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法、介質(zhì)、裝置及程序產(chǎn)品，以解決跨模態(tài)圖像配準(zhǔn)的準(zhǔn)確性和實(shí)時(shí)性問題，克服傳統(tǒng)的基于聯(lián)合標(biāo)定的配準(zhǔn)方法面臨在重復(fù)紋理、弱紋理或無(wú)紋理、大前景干擾、夜景或噪聲干擾等非理想情況下的困難。

2、本發(fā)明提供的一種基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法，包括如下步驟：

3、a.通過相機(jī)聯(lián)合標(biāo)定方法得到應(yīng)用場(chǎng)景下的單應(yīng)性矩陣作為參考；

4、b.基于已配準(zhǔn)的紅外可見光公開數(shù)據(jù)集，結(jié)合步驟a中單應(yīng)性矩陣制作訓(xùn)練數(shù)據(jù)集；

5、c.搭建基于深度學(xué)習(xí)的單應(yīng)性矩陣估計(jì)網(wǎng)絡(luò)模型；

6、d.完成單應(yīng)性矩陣估計(jì)網(wǎng)絡(luò)模型訓(xùn)練；

7、e.將完成訓(xùn)練的單應(yīng)性矩陣估計(jì)網(wǎng)絡(luò)模型部署到應(yīng)用場(chǎng)景下實(shí)現(xiàn)跨模態(tài)圖像配準(zhǔn)。

8、進(jìn)一步地，步驟a包括如下子步驟：

9、a1.針對(duì)紅外可見光成像系統(tǒng)的光機(jī)結(jié)構(gòu)和拍攝距離，對(duì)應(yīng)的紅外圖像和可將光圖像之間存在的視場(chǎng)差異即單應(yīng)性矩陣是確定的；

10、a2.通過聯(lián)合標(biāo)定的方法給出單應(yīng)性矩陣，并換算為4個(gè)角點(diǎn)二維坐標(biāo)的偏移，即單應(yīng)性矩陣等價(jià)于8個(gè)標(biāo)量的表示。

11、進(jìn)一步地，步驟b包括如下子步驟：

12、b1.基于已配準(zhǔn)的紅外可見光公開數(shù)據(jù)集中任意一對(duì)紅外可見光圖像，選取相同的矩形區(qū)域，其中可見光圖像截取矩形區(qū)域內(nèi)的可見光圖像塊，紅外圖像標(biāo)記矩形區(qū)域4個(gè)固定頂點(diǎn)坐標(biāo)；

13、b2.基于參考的單應(yīng)性矩陣，實(shí)現(xiàn)紅外圖像經(jīng)過單應(yīng)性變換后，按照矩形區(qū)域4個(gè)固定頂點(diǎn)坐標(biāo)截取紅外圖像塊；

14、b3.將所述可見光圖像塊和紅外圖像塊組成配對(duì)數(shù)據(jù)，并將單應(yīng)性矩陣作為標(biāo)簽，構(gòu)建一例帶標(biāo)簽的數(shù)據(jù)；

15、b4.將微弱的隨機(jī)噪聲引入單應(yīng)性矩陣同時(shí)保證其單應(yīng)性性質(zhì)不變，重復(fù)步驟b1～步驟b3構(gòu)建帶標(biāo)簽的數(shù)據(jù)，直至訓(xùn)練數(shù)據(jù)集樣本量滿足需求，完成訓(xùn)練數(shù)據(jù)集的構(gòu)建。

16、作為優(yōu)選，所述矩形區(qū)域的長(zhǎng)寬尺寸默認(rèn)為32的整數(shù)倍。

17、作為優(yōu)選，所述訓(xùn)練數(shù)據(jù)集樣本量不低于10000例。

18、進(jìn)一步地，步驟c中，所述單應(yīng)性矩陣估計(jì)網(wǎng)絡(luò)模型的特征提取結(jié)構(gòu)按照vgg網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)；該單應(yīng)性矩陣估計(jì)網(wǎng)絡(luò)模型的輸入為紅外圖像塊和可見光圖像塊，輸出為單應(yīng)性矩陣等價(jià)于8個(gè)標(biāo)量的表示的估計(jì)。

19、進(jìn)一步地，步驟d中，所述訓(xùn)練數(shù)據(jù)集按照一定比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集，在訓(xùn)練的同時(shí)根據(jù)驗(yàn)證集和測(cè)試集的表現(xiàn)實(shí)現(xiàn)網(wǎng)絡(luò)模型的準(zhǔn)確性和時(shí)效性的監(jiān)督。

20、本發(fā)明還提供一種計(jì)算機(jī)終端存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)終端可執(zhí)行指令，所述計(jì)算機(jī)終端可執(zhí)行指令用于執(zhí)行模述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法。

21、本發(fā)明還提供一種計(jì)算裝置，包括：

22、至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法。

23、本發(fā)明還提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法。

24、綜上所述，由于采用了上述技術(shù)方案，本發(fā)明的有益效果是：

25、本發(fā)明通過基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法，解決了跨模態(tài)圖像配準(zhǔn)的準(zhǔn)確性和實(shí)時(shí)性問題；克服傳統(tǒng)的基于聯(lián)合標(biāo)定的配準(zhǔn)方法面臨在重復(fù)紋理、弱紋理或無(wú)紋理、大前景干擾、夜景或噪聲干擾等非理想情況下的困難；能夠通過端到端的方式，提取足夠豐富的圖像特征完成圖像配準(zhǔn)工作；不同于傳統(tǒng)方法，嚴(yán)重依賴于特征點(diǎn)的質(zhì)量，該方法對(duì)圖像特征表達(dá)的魯棒性更佳；同時(shí)，端到端的圖像配準(zhǔn)方式在時(shí)效性上優(yōu)于傳統(tǒng)的多步驟串行來(lái)實(shí)現(xiàn)配準(zhǔn)的方法，很好地解決了實(shí)用場(chǎng)景下跨模態(tài)圖像配準(zhǔn)任務(wù)的挑戰(zhàn)。

技術(shù)特征：

1.一種基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法，其特征在于，包括如下步驟：

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法，其特征在于，步驟a包括如下子步驟：

3.根據(jù)權(quán)利要求2所述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法，其特征在于，步驟b包括如下子步驟：

4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法，其特征在于，所述矩形區(qū)域的長(zhǎng)寬尺寸默認(rèn)為32的整數(shù)倍。

5.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法，其特征在于，所述訓(xùn)練數(shù)據(jù)集樣本量不低于10000例。

6.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法，其特征在于，步驟c中，所述單應(yīng)性矩陣估計(jì)網(wǎng)絡(luò)模型的特征提取結(jié)構(gòu)按照vgg網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)；該單應(yīng)性矩陣估計(jì)網(wǎng)絡(luò)模型的輸入為紅外圖像塊和可見光圖像塊，輸出為單應(yīng)性矩陣等價(jià)于8個(gè)標(biāo)量的表示的估計(jì)。

7.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法，其特征在于，步驟d中，所述訓(xùn)練數(shù)據(jù)集按照一定比例劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集，在訓(xùn)練的同時(shí)根據(jù)驗(yàn)證集和測(cè)試集的表現(xiàn)實(shí)現(xiàn)網(wǎng)絡(luò)模型的準(zhǔn)確性和時(shí)效性的監(jiān)督。

8.一種計(jì)算機(jī)終端存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)終端可執(zhí)行指令，其特征在于，所述計(jì)算機(jī)終端可執(zhí)行指令用于執(zhí)行如權(quán)利要求1-7任一項(xiàng)所述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法。

9.一種計(jì)算裝置，其特征在于，包括：

10.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法。

技術(shù)總結(jié)
本發(fā)明提供一種基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法、介質(zhì)、裝置及程序產(chǎn)品，所述方法包括如下步驟：a.通過相機(jī)聯(lián)合標(biāo)定方法得到應(yīng)用場(chǎng)景下的單應(yīng)性矩陣作為參考；b.基于已配準(zhǔn)的紅外可見光公開數(shù)據(jù)集，結(jié)合步驟a中單應(yīng)性矩陣制作訓(xùn)練數(shù)據(jù)集；c.搭建基于深度學(xué)習(xí)的單應(yīng)性矩陣估計(jì)網(wǎng)絡(luò)模型；d.完成單應(yīng)性矩陣估計(jì)網(wǎng)絡(luò)模型訓(xùn)練；e.將完成訓(xùn)練的單應(yīng)性矩陣估計(jì)網(wǎng)絡(luò)模型部署到應(yīng)用場(chǎng)景下實(shí)現(xiàn)跨模態(tài)圖像配準(zhǔn)。本發(fā)明通過基于深度學(xué)習(xí)的跨模態(tài)圖像配準(zhǔn)方法，解決了跨模態(tài)圖像配準(zhǔn)的準(zhǔn)確性和實(shí)時(shí)性問題。

技術(shù)研發(fā)人員：鄧堯,姚月,羅亞玲,許青山,閆超,高曉利
受保護(hù)的技術(shù)使用者：四川九洲電器集團(tuán)有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10