本發(fā)明屬于計(jì)算機(jī)視覺，尤其是涉及一種動態(tài)物體抑制的視覺里程測量方法、系統(tǒng)和介質(zhì)。

背景技術(shù)：

1、視覺里程計(jì)(visualodometry，vo)是指通過分析視覺數(shù)據(jù)流計(jì)算得到相機(jī)運(yùn)動軌跡的過程，廣泛應(yīng)用于三維重建、自動駕駛、虛擬現(xiàn)實(shí)等多個(gè)領(lǐng)域。目前，基于深度學(xué)習(xí)的單目視覺里程測量方法的研究已較為成熟，并取得了卓越的性能。然而，視覺里程計(jì)一般基于靜態(tài)假設(shè)，在動態(tài)場景中，相機(jī)運(yùn)動和場景中的動態(tài)物體共同引起光流，很多現(xiàn)有的視覺里程計(jì)方法直接將光流圖作為視覺里程計(jì)輸出，這可能導(dǎo)致特征點(diǎn)匹配錯(cuò)誤，進(jìn)而影響相機(jī)位姿的準(zhǔn)確估計(jì)。為了應(yīng)對這一問題，主流解決方法是利用語義信息或者運(yùn)動信息對視頻中動態(tài)物體區(qū)域進(jìn)行判別，再降低動態(tài)物體區(qū)域在位姿更新中的貢獻(xiàn)權(quán)重。申請?zhí)枮?019110573430的中國發(fā)明專利公開了一種基于動靜態(tài)場景分離的視覺里程計(jì)方法，通過幀間變化分析，利用動態(tài)場景中深度信息的不一致性以及光流信息實(shí)現(xiàn)對場景的動靜態(tài)分離，在此基礎(chǔ)上利用更加可靠的靜態(tài)場景信息實(shí)現(xiàn)相機(jī)位姿估計(jì)。然而，上述方法仍存在一些問題：一方面，盡管該方法能夠通過幀間變化分析實(shí)現(xiàn)動靜態(tài)場景分離，但在極端動態(tài)或復(fù)雜場景下，動態(tài)物體的檢測與分割可能不夠準(zhǔn)確，導(dǎo)致靜態(tài)場景信息的提取受到影響，進(jìn)而影響相機(jī)位姿估計(jì)的精度；另一方面，該方法依賴于深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行深度估計(jì)、相機(jī)位姿估計(jì)和動態(tài)物體檢測，這些計(jì)算過程可能相對復(fù)雜，對計(jì)算資源的要求較高，在資源受限的設(shè)備上運(yùn)行時(shí)，可能難以保證實(shí)時(shí)性。因此，需要重新設(shè)計(jì)一種視覺里程測量方法，進(jìn)一步提高視覺里程測量的準(zhǔn)確性和可靠性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種動態(tài)物體抑制的視覺里程測量方法、系統(tǒng)和介質(zhì)，進(jìn)一步提高動態(tài)環(huán)境下視覺里程測量的準(zhǔn)確性和可靠性。

2、本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

3、本發(fā)明提供一種動態(tài)物體抑制的視覺里程測量方法，包括以下步驟：

4、獲取兩個(gè)連續(xù)的輸入圖像幀，輸入動態(tài)物體抑制的視覺里程測量模型，獲得相機(jī)位姿變化，包括相機(jī)旋轉(zhuǎn)r和相機(jī)位移t；

5、其中，所述動態(tài)物體抑制的視覺里程測量模型包括依次相連的匹配網(wǎng)絡(luò)、動態(tài)檢測網(wǎng)絡(luò)和位姿估計(jì)網(wǎng)絡(luò)，所述動態(tài)物體抑制的視覺里程測量模型處理輸入數(shù)據(jù)的具體過程如下：

6、將兩個(gè)連續(xù)的輸入圖像幀it和it+1輸入所述匹配網(wǎng)絡(luò)，估計(jì)獲得前向光流和后向光流

7、根據(jù)所述前向光流和所述后向光流進(jìn)行光流一致性檢測，包括前向光流一致性檢測和后向光流一致性檢測，根據(jù)所述前向光流一致性檢測和所述后向光流一致性檢測的結(jié)果分別獲得光流前向一致性和光流后向一致性分別用于表示下一幀消失的像素和下一幀出現(xiàn)的像素；

8、將所述光流前向一致性和所述光流后向一致性輸入所述動態(tài)檢測網(wǎng)絡(luò)，獲得概率圖用于反映輸入圖像幀中每個(gè)像素為動態(tài)像素的概率，將所述概率圖轉(zhuǎn)化為二值分割掩模通過所述二值分割掩模優(yōu)化所述前向光流以移除所述前向光流中的動態(tài)區(qū)域；

9、將所述二值分割掩模優(yōu)化后的前向光流和內(nèi)參層輸入所述位姿估計(jì)網(wǎng)絡(luò)，獲得相機(jī)位姿變化

10、進(jìn)一步地，所述匹配網(wǎng)絡(luò)通過gmflow估計(jì)獲得所述前向光流和所述后向光流

11、進(jìn)一步地，所述前向光流一致性檢測的過程為：使用所述前向光流對所述后向光流進(jìn)行變形，然后將所述前向光流和變形后的后向光流相加，若求和結(jié)果超過設(shè)定閾值，則前向光流一致性檢測結(jié)果為不一致。

12、進(jìn)一步地，所述設(shè)定閾值的計(jì)算公式具體如下：

13、threshold＝α*flow_mag+β

14、其中，threshold為設(shè)定閾值，α和β為閾值影響參數(shù)，flow_mag為光流大小。

15、進(jìn)一步地，所述后向光流一致性檢測的過程為：使用所述后向光流對所述前向光流進(jìn)行變形，然后將所述后向光流和變形后的前向光流相加，若求和結(jié)果超過設(shè)定閾值，則后向光流一致性檢測結(jié)果為不一致。

16、進(jìn)一步地，所述動態(tài)檢測網(wǎng)絡(luò)基于u-net網(wǎng)絡(luò)架構(gòu)構(gòu)建，包括編碼器和解碼器，所述編碼器和所述解碼器之間采用跳躍連接。

17、進(jìn)一步地，所述編碼器采用深度殘差網(wǎng)絡(luò)resnet34。

18、進(jìn)一步地，所述內(nèi)參層基于相機(jī)內(nèi)參構(gòu)建，所述相機(jī)內(nèi)參包括焦距和主點(diǎn)位置。

19、本發(fā)明還提供一種動態(tài)物體抑制的視覺里程測量系統(tǒng)，包括依次相連的光流估計(jì)模塊、動態(tài)檢測模塊和位姿估計(jì)模塊；

20、所述光流估計(jì)模塊用于根據(jù)兩個(gè)連續(xù)的輸入圖像幀it和it+1估計(jì)獲得前向光流和后向光流并對所述前向光流和所述后向光流進(jìn)行光流一致性檢測，包括前向光流一致性檢測和后向光流一致性檢測，根據(jù)所述前向光流一致性檢測和所述后向光流一致性檢測的結(jié)果分別獲得光流前向一致性和光流后向一致性分別用于表示下一幀消失的像素和下一幀出現(xiàn)的像素；

21、所述動態(tài)檢測模塊用于根據(jù)所述光流前向一致性和所述光流后向一致性生成概率圖用于反映輸入圖像幀中每個(gè)像素為動態(tài)像素的概率，將所述概率圖轉(zhuǎn)化為二值分割掩模通過所述二值分割掩模優(yōu)化所述前向光流以移除所述前向光流中的動態(tài)區(qū)域；

22、所述位姿估計(jì)模塊用于根據(jù)所述二值分割掩模優(yōu)化后的前向光流和內(nèi)參層，獲得相機(jī)位姿變化包括相機(jī)旋轉(zhuǎn)r和相機(jī)位移t。

23、本發(fā)明還提供一種計(jì)算機(jī)可讀存儲介質(zhì)，其上存儲有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法。

24、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

25、1、本發(fā)明提出一種動態(tài)物體抑制的視覺里程測量方法，通過包括匹配網(wǎng)絡(luò)、動態(tài)檢測網(wǎng)絡(luò)和位姿估計(jì)網(wǎng)絡(luò)的動態(tài)物體抑制的視覺里程測量模型實(shí)現(xiàn)，具體過程為：首先，將兩個(gè)連續(xù)的輸入圖像幀it和it+1輸入匹配網(wǎng)絡(luò)，估計(jì)獲得前向光流和后向光流前向光流可以反映從當(dāng)前幀到下一幀的像素點(diǎn)位移，后向光流可以反映從當(dāng)前幀到前一幀的像素點(diǎn)位移，前向光流和后向光流是后續(xù)運(yùn)動分析的基礎(chǔ)；其次，對前向光流和后向光流進(jìn)行光流一致性檢測，獲得光流前向一致性和光流后向一致性分別表示下一幀消失的像素和下一幀出現(xiàn)的像素，可以全面反映圖像幀中像素的狀態(tài)；然后，將光流前向一致性和光流后向一致性輸入動態(tài)檢測網(wǎng)絡(luò)，獲得概率圖可以反映輸入圖像幀中每個(gè)像素為動態(tài)像素的概率，識別動態(tài)物體，將概率圖轉(zhuǎn)化為二值分割掩模通過二值分割掩模優(yōu)化前向光流可以移除前向光流中的動態(tài)區(qū)域；最后，將二值分割掩模優(yōu)化后的前向光流和內(nèi)參層輸入位姿估計(jì)網(wǎng)絡(luò)，獲得相機(jī)位姿變化上述方法可以減少動態(tài)物體對視覺里程測量的負(fù)面影響，進(jìn)一步提高動態(tài)環(huán)境下視覺里程測量的準(zhǔn)確性和可靠性。

26、2、本發(fā)明中，動態(tài)檢測網(wǎng)絡(luò)基于u-net網(wǎng)絡(luò)架構(gòu)構(gòu)建，包括編碼器和解碼器，編碼器采用深度殘差網(wǎng)絡(luò)resnet34，u-net允許網(wǎng)絡(luò)在收縮路徑中捕獲上下文信息，并在擴(kuò)展路徑中恢復(fù)圖像細(xì)節(jié)，可以準(zhǔn)確檢測動態(tài)對象；resnet34通過引入殘差塊和跨層連接，可以提升網(wǎng)絡(luò)的深度，從而增強(qiáng)網(wǎng)絡(luò)的表征能力和特征提取能力，同時(shí)，resnet34可以有效緩解梯度消失和梯度爆炸問題，并具有較高的計(jì)算效率；將u-net的精確定位能力與resnet-34的深度特征提取能力相結(jié)合并用于動態(tài)對象檢測，可以提高動態(tài)物體檢測性能，從而進(jìn)一步優(yōu)化前向光流，提高視覺里程測量的準(zhǔn)確性和可靠性。