本技術(shù)屬于圖像處理，尤其涉及一種基于雷視融合的目標(biāo)跟蹤方法、裝置、存儲(chǔ)介質(zhì)及設(shè)備。

背景技術(shù)：

1、在智能交通應(yīng)用場(chǎng)景中，單目相機(jī)和毫米波雷達(dá)是目標(biāo)檢測(cè)常用的傳感器。單目相機(jī)能夠獲得目標(biāo)紋理信息，但是易受光照天氣影響，且感知距離近，毫米波雷達(dá)能夠測(cè)量運(yùn)動(dòng)目標(biāo)速度和空間位置，對(duì)于雨霧等惡劣天氣具有較好的適應(yīng)性，但是無(wú)法感知靜止目標(biāo)。當(dāng)前大多數(shù)跨場(chǎng)景目標(biāo)跟蹤算法僅使用視頻數(shù)據(jù)，存在目標(biāo)檢測(cè)精度低，無(wú)法適應(yīng)惡劣天氣等復(fù)雜場(chǎng)景的問題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)旨在至少解決相關(guān)技術(shù)中存在的技術(shù)問題之一。為此，本技術(shù)提出一種基于雷視融合的目標(biāo)跟蹤方法、裝置、存儲(chǔ)介質(zhì)及設(shè)備，能夠提高目標(biāo)對(duì)象的檢測(cè)精度。

2、第一方面，本技術(shù)提供了一種基于雷視融合的目標(biāo)跟蹤方法，該方法包括：

3、獲取交通路口的多個(gè)視頻設(shè)備的視頻數(shù)據(jù)和多個(gè)雷達(dá)設(shè)備的雷達(dá)數(shù)據(jù)，每個(gè)所述視頻設(shè)備對(duì)應(yīng)有多幀視頻數(shù)據(jù)，每個(gè)所述雷達(dá)設(shè)備對(duì)應(yīng)有多幀雷達(dá)數(shù)據(jù)；

4、從所述多幀視頻數(shù)據(jù)中提取含有目標(biāo)對(duì)象的目標(biāo)視頻幀，并從各所述目標(biāo)視頻幀中提取各所述目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)視頻像素坐標(biāo)，從所述多幀雷達(dá)數(shù)據(jù)中提取含有所述目標(biāo)對(duì)象的目標(biāo)雷達(dá)幀，并從各所述目標(biāo)雷達(dá)幀中提取各所述目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)經(jīng)緯度信息；

5、將所述目標(biāo)視頻像素坐標(biāo)和所述目標(biāo)經(jīng)緯度信息分別轉(zhuǎn)換為大地平面視頻坐標(biāo)和大地平面雷達(dá)坐標(biāo)，并根據(jù)目標(biāo)視頻幀和所述目標(biāo)雷達(dá)幀的時(shí)間戳以及所述大地平面視頻坐標(biāo)和所述大地平面雷達(dá)坐標(biāo)得到時(shí)間同步幀數(shù)據(jù)集，所述時(shí)間同步幀數(shù)據(jù)集中包括不同視頻設(shè)備的具有時(shí)間同步對(duì)應(yīng)關(guān)系的同步目標(biāo)視頻幀和不同雷達(dá)設(shè)備的具有時(shí)間同步對(duì)應(yīng)關(guān)系的同步目標(biāo)雷達(dá)幀，所述同步目標(biāo)視頻幀和所述同步目標(biāo)雷達(dá)幀之間也具備時(shí)間同步對(duì)應(yīng)關(guān)系；

6、將不同視頻設(shè)備的相同時(shí)刻的同步目標(biāo)視頻幀中的目標(biāo)對(duì)象進(jìn)行融合，得到融合后的單源目標(biāo)視頻幀結(jié)果，將不同所述雷達(dá)設(shè)備的相同時(shí)刻的同步目標(biāo)雷達(dá)幀中的目標(biāo)對(duì)象進(jìn)行融合，得到融合后的單源目標(biāo)雷達(dá)幀結(jié)果，并將相同時(shí)刻的所述單源目標(biāo)視頻幀結(jié)果和所述單源目標(biāo)雷達(dá)幀結(jié)果進(jìn)行融合，得到跨設(shè)備雷視融合結(jié)果；

7、根據(jù)不同時(shí)刻的所述跨設(shè)備雷視融合結(jié)果中的各所述目標(biāo)對(duì)象的跨設(shè)備融合坐標(biāo)得到各所述目標(biāo)對(duì)象的跟蹤軌跡。

8、根據(jù)本技術(shù)的基于雷視融合的目標(biāo)跟蹤方法，通過獲取不同視頻設(shè)備的含有目標(biāo)對(duì)象的目標(biāo)視頻幀和不同雷達(dá)設(shè)備的含有目標(biāo)對(duì)象的目標(biāo)雷達(dá)幀，并將目標(biāo)視頻幀中目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)視頻像素坐標(biāo)和目標(biāo)雷達(dá)幀中目標(biāo)對(duì)象的目標(biāo)經(jīng)緯度信息分別轉(zhuǎn)換為同一平面坐標(biāo)系下的大地平面視頻坐標(biāo)和大地平面雷達(dá)坐標(biāo)，然后將不同視頻設(shè)備的同一時(shí)刻的目標(biāo)視頻幀進(jìn)行時(shí)間同步，將不同雷達(dá)設(shè)備的同一時(shí)刻的目標(biāo)雷達(dá)幀進(jìn)行時(shí)間同步，以及將同一時(shí)刻的目標(biāo)視頻幀和目標(biāo)雷達(dá)幀進(jìn)行時(shí)間同步，得到具有時(shí)間同步對(duì)應(yīng)關(guān)系的時(shí)間同步幀數(shù)據(jù)集，進(jìn)一步將不同視頻設(shè)備的相同時(shí)刻的同步目標(biāo)視頻幀中的目標(biāo)對(duì)象進(jìn)行融合，得到融合后的單源目標(biāo)視頻幀結(jié)果，將不同雷達(dá)設(shè)備的相同時(shí)刻的同步雷達(dá)幀中的目標(biāo)對(duì)象進(jìn)行融合，得到融合后的單源目標(biāo)雷達(dá)幀結(jié)果，再將同一時(shí)刻的單源目標(biāo)視頻幀結(jié)果和單源目標(biāo)雷達(dá)幀結(jié)果進(jìn)行融合得到跨設(shè)備雷視融合結(jié)果，最后根據(jù)不同時(shí)刻的跨設(shè)備雷視融合結(jié)果中的各目標(biāo)對(duì)象的跨設(shè)備融合坐標(biāo)得到各所述目標(biāo)對(duì)象的跟蹤軌跡，該方法能夠?qū)崿F(xiàn)準(zhǔn)確高效的不同傳感器的目標(biāo)對(duì)象融合，且由于融合了視頻數(shù)據(jù)和雷達(dá)數(shù)據(jù)優(yōu)勢(shì)互補(bǔ)特性，故不僅能提升目標(biāo)對(duì)象的檢測(cè)精度，還能適應(yīng)惡劣天氣等復(fù)雜場(chǎng)景，并且該方法可以同時(shí)適應(yīng)于多個(gè)目標(biāo)對(duì)象的跟蹤，可以應(yīng)用于十字路口等大范圍場(chǎng)景中，且實(shí)現(xiàn)目標(biāo)對(duì)象的自適應(yīng)跟蹤。

9、第二方面，本技術(shù)提供了一種基于雷視融合的目標(biāo)跟蹤裝置，該裝置包括：

10、雷視數(shù)據(jù)獲取模塊，用于獲取交通路口的多個(gè)視頻設(shè)備的視頻數(shù)據(jù)和多個(gè)雷達(dá)設(shè)備的雷達(dá)數(shù)據(jù)，每個(gè)所述視頻設(shè)備對(duì)應(yīng)有多幀視頻數(shù)據(jù)，每個(gè)所述雷達(dá)設(shè)備對(duì)應(yīng)有多幀雷達(dá)數(shù)據(jù)；

11、目標(biāo)坐標(biāo)提取模塊，用于從所述多幀視頻數(shù)據(jù)中提取含有目標(biāo)對(duì)象的目標(biāo)視頻幀，并從各所述目標(biāo)視頻幀中提取各所述目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)視頻像素坐標(biāo)，從所述多幀雷達(dá)數(shù)據(jù)中提取含有所述目標(biāo)對(duì)象的目標(biāo)雷達(dá)幀，并從各所述目標(biāo)雷達(dá)幀中提取各所述目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)經(jīng)緯度信息；

12、轉(zhuǎn)換同步模塊，用于將所述目標(biāo)視頻像素坐標(biāo)和所述目標(biāo)經(jīng)緯度信息分別轉(zhuǎn)換為大地平面視頻坐標(biāo)和大地平面雷達(dá)坐標(biāo)，并根據(jù)目標(biāo)視頻幀和所述目標(biāo)雷達(dá)幀的時(shí)間戳以及所述大地平面視頻坐標(biāo)和所述大地平面雷達(dá)坐標(biāo)得到時(shí)間同步幀數(shù)據(jù)集，其中，所述時(shí)間同步幀數(shù)據(jù)集中包括不同視頻設(shè)備的具有時(shí)間同步對(duì)應(yīng)關(guān)系的同步目標(biāo)視頻幀和不同雷達(dá)設(shè)備的具有時(shí)間同步對(duì)應(yīng)關(guān)系的同步目標(biāo)雷達(dá)幀，所述同步目標(biāo)視頻幀和所述同步目標(biāo)雷達(dá)幀之間也具備時(shí)間同步對(duì)應(yīng)關(guān)系；

13、雷視融合模塊，用于將不同視頻設(shè)備的相同時(shí)刻的同步目標(biāo)視頻幀中的目標(biāo)對(duì)象進(jìn)行融合，得到融合后的單源目標(biāo)視頻幀結(jié)果，將不同所述雷達(dá)設(shè)備的相同時(shí)刻的同步目標(biāo)雷達(dá)幀中的目標(biāo)對(duì)象進(jìn)行融合，得到融合后的單源目標(biāo)雷達(dá)幀結(jié)果，并將相同時(shí)刻的所述單源目標(biāo)視頻幀結(jié)果和所述單源目標(biāo)雷達(dá)幀結(jié)果進(jìn)行融合，得到跨設(shè)備雷視融合結(jié)果；

14、軌跡跟蹤模塊，用于根據(jù)不同時(shí)刻的所述跨設(shè)備雷視融合結(jié)果中的各所述目標(biāo)對(duì)象的跨設(shè)備融合坐標(biāo)得到各所述目標(biāo)對(duì)象的跟蹤軌跡。

15、第三方面，本技術(shù)提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述第一方面所述的基于雷視融合的目標(biāo)跟蹤方法。

16、第四方面，本技術(shù)提供了一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的基于雷視融合的目標(biāo)跟蹤方法。

17、第五方面，本技術(shù)提供了一種芯片，所述芯片包括處理器和通信接口，所述通信接口和所述處理器耦合，所述處理器用于運(yùn)行程序或指令，實(shí)現(xiàn)如第一方面所述的基于雷視融合的目標(biāo)跟蹤方法。

18、第六方面，本技術(shù)提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述第一方面所述的基于雷視融合的目標(biāo)跟蹤方法。

19、本技術(shù)實(shí)施例中的上述一個(gè)或多個(gè)技術(shù)方案，至少具有如下技術(shù)效果：

20、根據(jù)本技術(shù)的基于雷視融合的目標(biāo)跟蹤方法、裝置、存儲(chǔ)介質(zhì)及設(shè)備，通過獲取不同視頻設(shè)備的含有目標(biāo)對(duì)象的目標(biāo)視頻幀和不同雷達(dá)設(shè)備的含有目標(biāo)對(duì)象的目標(biāo)雷達(dá)幀，并將目標(biāo)視頻幀中目標(biāo)對(duì)象對(duì)應(yīng)的目標(biāo)視頻像素坐標(biāo)和目標(biāo)雷達(dá)幀中目標(biāo)對(duì)象的目標(biāo)經(jīng)緯度信息分別轉(zhuǎn)換為同一平面坐標(biāo)系下的大地平面視頻坐標(biāo)和大地平面雷達(dá)坐標(biāo)，然后將不同視頻設(shè)備的同一時(shí)刻的目標(biāo)視頻幀進(jìn)行時(shí)間同步，將不同雷達(dá)設(shè)備的同一時(shí)刻的目標(biāo)雷達(dá)幀進(jìn)行時(shí)間同步，以及將同一時(shí)刻的目標(biāo)視頻幀和目標(biāo)雷達(dá)幀進(jìn)行時(shí)間同步，得到具有時(shí)間同步對(duì)應(yīng)關(guān)系的時(shí)間同步幀數(shù)據(jù)集，進(jìn)一步將不同視頻設(shè)備的相同時(shí)刻的同步目標(biāo)視頻幀中的目標(biāo)對(duì)象進(jìn)行融合，得到融合后的單源目標(biāo)視頻幀結(jié)果，將不同雷達(dá)設(shè)備的相同時(shí)刻的同步雷達(dá)幀中的目標(biāo)對(duì)象進(jìn)行融合，得到融合后的單源目標(biāo)雷達(dá)幀結(jié)果，再將同一時(shí)刻的單源目標(biāo)視頻幀結(jié)果和單源目標(biāo)雷達(dá)幀結(jié)果進(jìn)行融合得到跨設(shè)備雷視融合結(jié)果，最后根據(jù)不同時(shí)刻的跨設(shè)備雷視融合結(jié)果中的各目標(biāo)對(duì)象的跨設(shè)備融合坐標(biāo)得到各所述目標(biāo)對(duì)象的跟蹤軌跡，該方法和裝置能夠?qū)崿F(xiàn)準(zhǔn)確高效的不同傳感器的目標(biāo)對(duì)象融合，且由于融合了視頻數(shù)據(jù)和雷達(dá)數(shù)據(jù)優(yōu)勢(shì)互補(bǔ)特性，故不僅能提升目標(biāo)對(duì)象的檢測(cè)精度，還能適應(yīng)惡劣天氣等復(fù)雜場(chǎng)景，并且該方法可以同時(shí)適應(yīng)于多個(gè)目標(biāo)對(duì)象的跟蹤，可以應(yīng)用于十字路口等大范圍場(chǎng)景中，具備較好的場(chǎng)景通用性，且實(shí)現(xiàn)目標(biāo)對(duì)象的自適應(yīng)跟蹤。

21、本技術(shù)的附加方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本技術(shù)的實(shí)踐了解到。