本技術(shù)涉及數(shù)據(jù)處理，具體涉及一種多傳感器融合方法、裝置、電子設(shè)備以及存儲介質(zhì)。

背景技術(shù)：

1、根據(jù)輸電線路“三跨”關(guān)鍵區(qū)段特性，應(yīng)用激光雷達(dá)、毫米波雷達(dá)、雙目相機(jī)等新技術(shù)手段，實(shí)現(xiàn)對外破隱患、通道樹障、交叉跨越等信息的辨識甄別、安全預(yù)警是新的技術(shù)途徑，能夠有效實(shí)現(xiàn)防止“三跨”發(fā)生倒塔、斷線、掉串等事故，杜絕發(fā)生因“三跨”導(dǎo)致較大的公共安全和電網(wǎng)安全事件。

2、在聯(lián)合使用激光雷達(dá)、毫米波雷達(dá)、雙目相機(jī)等多種傳感技術(shù)原理手段進(jìn)行多源異構(gòu)融合監(jiān)測時，由于毫米波雷達(dá)、激光雷達(dá)以及雙目相機(jī)的采樣頻率各不相同，激光雷達(dá)的采樣頻率一般為10hz或20hz，采樣時間戳以激光雷達(dá)啟動的時間為零點(diǎn)，毫米波雷達(dá)的采樣頻率在30～50hz，雙目相機(jī)的采樣頻率在20～30hz左右，采樣時間戳以采樣時當(dāng)前硬件時間戳為零點(diǎn)。若在某一時刻這三個傳感器的采樣狀況不一致，則會為信息融合系統(tǒng)提供錯誤的信息，因而產(chǎn)生較大的誤差，即，目前的多傳感器監(jiān)測方案的可靠性較低。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供一種多傳感器融合系統(tǒng)、方法、電子設(shè)備以及存儲介質(zhì)，可以對多個傳感器進(jìn)行數(shù)據(jù)融合，從而提高多傳感器監(jiān)測的可靠性。

2、第一方面，本技術(shù)實(shí)施例提供了一種多傳感器融合方法，包括：

3、確定安裝在同一物理架構(gòu)上的激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)；

4、對所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時鐘源同步；

5、根據(jù)所述激光雷達(dá)和毫米波雷達(dá)在同一時間幀采集的數(shù)據(jù)，對所述激光雷達(dá)和毫米波雷達(dá)進(jìn)行時間同步；

6、基于所述激光雷達(dá)的點(diǎn)云采集間隔以及所述雙目攝像機(jī)的圖像采集間隔，對所述激光雷達(dá)和雙目攝像機(jī)進(jìn)行時間同步；

7、根據(jù)所述激光雷達(dá)和毫米波雷達(dá)的時間同步信息以及所述激光雷達(dá)和雙目攝像機(jī)的時間同步信息，對所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時間同步。

8、可選的，在本技術(shù)的一些實(shí)施例中，所述對所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時鐘源同步，包括：

9、分別向所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)發(fā)送第一探測信息；

10、在接收到所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)發(fā)送的第二探測信息后，分別向所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)發(fā)送第三探測信息；

11、根據(jù)所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)接收到所述第一探測信息的接收時間、以及所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)接收到所述第三探測信息的接收時間，對所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時鐘源同步。

12、可選的，在本技術(shù)的一些實(shí)施例中，所述根據(jù)所述激光雷達(dá)和毫米波雷達(dá)在同一時間幀采集的數(shù)據(jù)，對所述激光雷達(dá)和毫米波雷達(dá)進(jìn)行時間同步，包括：

13、獲取所述激光雷達(dá)和所述毫米波雷達(dá)在同一時間幀采集的數(shù)據(jù)；

14、從統(tǒng)一時鐘源信息中獲取網(wǎng)路延時、所述激光雷達(dá)的時鐘偏差以及所述毫米波雷達(dá)的時鐘偏差；

15、根據(jù)所述激光雷達(dá)和所述毫米波雷達(dá)在同一時間幀采集的數(shù)據(jù)、網(wǎng)路延時、所述激光雷達(dá)的時鐘偏差以及所述毫米波雷達(dá)的時鐘偏差，對所述激光雷達(dá)和毫米波雷達(dá)進(jìn)行時間同步。

16、可選的，在本技術(shù)的一些實(shí)施例中，所述根據(jù)所述激光雷達(dá)和所述毫米波雷達(dá)在同一時間幀采集的數(shù)據(jù)、網(wǎng)路延時、所述激光雷達(dá)的時鐘偏差以及所述毫米波雷達(dá)的時鐘偏差，對所述激光雷達(dá)和毫米波雷達(dá)進(jìn)行時間同步，包括：

17、根據(jù)所述激光雷達(dá)在第n幀時間幀采集的數(shù)據(jù)、網(wǎng)路延時以及所述激光雷達(dá)的時鐘偏差，確定所述激光雷達(dá)對應(yīng)的第一幀數(shù)據(jù)，其中，所述n為大于0的正整數(shù)；

18、根據(jù)所述毫米波雷達(dá)在第n幀時間幀采集的數(shù)據(jù)、網(wǎng)路延時以及所述毫米波雷達(dá)的時鐘偏差，確定所述激光雷達(dá)對應(yīng)的第二幀數(shù)據(jù)；

19、基于所述第一幀數(shù)據(jù)和第二幀數(shù)據(jù)，對所述激光雷達(dá)和毫米波雷達(dá)進(jìn)行時間同步。

20、可選的，在本技術(shù)的一些實(shí)施例中，所述基于所述激光雷達(dá)的點(diǎn)云采集間隔以及所述雙目攝像機(jī)的圖像采集間隔，對所述激光雷達(dá)和雙目攝像機(jī)進(jìn)行時間同步，包括：

21、獲取所述激光雷達(dá)的點(diǎn)云采集間隔，以及；

22、獲取所述雙目攝像機(jī)的圖像采集間隔；

23、在相同采樣時間內(nèi)，根據(jù)所述點(diǎn)云采集間隔以及圖像采集間隔，對所述激光雷達(dá)和雙目攝像機(jī)進(jìn)行時間同步。

24、可選的，在本技術(shù)的一些實(shí)施例中，所述在相同采樣時間內(nèi)，根據(jù)所述點(diǎn)云采集間隔以及圖像采集間隔，對所述激光雷達(dá)和雙目攝像機(jī)進(jìn)行時間同步，包括：

25、根據(jù)所述點(diǎn)云采集間隔，確定在相同采樣時間內(nèi)所述激光雷達(dá)獲取的數(shù)據(jù)，以及；

26、根據(jù)所述圖像采集間隔，確定在相同采樣時間內(nèi)所述雙目攝像機(jī)獲取的數(shù)據(jù)；

27、基于在相同采樣時間內(nèi)所述激光雷達(dá)獲取的數(shù)據(jù)以及在相同采樣時間內(nèi)所述雙目攝像機(jī)獲取的數(shù)據(jù)，對所述激光雷達(dá)和雙目攝像機(jī)進(jìn)行時間同步。

28、可選的，在本技術(shù)的一些實(shí)施例中，所述根據(jù)所述激光雷達(dá)和毫米波雷達(dá)的時間同步信息以及所述激光雷達(dá)和雙目攝像機(jī)的時間同步信息，對所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時間同步，包括：

29、以所述激光雷達(dá)為基準(zhǔn)，根據(jù)所述激光雷達(dá)和毫米波雷達(dá)的時間同步信息以及所述激光雷達(dá)和雙目攝像機(jī)的時間同步信息，對所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時間同步。

30、第二方面，本技術(shù)實(shí)施例提供了一種多傳感器融合裝置，包括：

31、確定模塊，用于確定安裝在同一物理架構(gòu)上的激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)；

32、第一同步模塊，用于對所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時鐘源同步；

33、第二同步模塊，用于根據(jù)所述激光雷達(dá)和毫米波雷達(dá)在同一時間幀采集的數(shù)據(jù)，對所述激光雷達(dá)和毫米波雷達(dá)進(jìn)行時間同步；

34、第三同步模塊，用于基于所述激光雷達(dá)的點(diǎn)云采集間隔以及所述雙目攝像機(jī)的圖像采集間隔，對所述激光雷達(dá)和雙目攝像機(jī)進(jìn)行時間同步；

35、第四同步模塊，用于根據(jù)所述激光雷達(dá)和毫米波雷達(dá)的時間同步信息以及所述激光雷達(dá)和雙目攝像機(jī)的時間同步信息，對所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時間同步。

36、相應(yīng)的，本技術(shù)還提供一種電子設(shè)備，包括存儲器，處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，其中，所述處理器執(zhí)行所述程序時如上任一所述方法的步驟。

37、本技術(shù)還提供一種存儲介質(zhì)，所述存儲介質(zhì)存儲有計算機(jī)程序，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)如上任一所述方法的計算機(jī)程序。

38、本技術(shù)提供一種多傳感器融合方法、裝置、電子設(shè)備以及存儲介質(zhì)，在確定安裝在同一物理架構(gòu)上的激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)后，對所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時鐘源同步，接著，根據(jù)所述激光雷達(dá)和毫米波雷達(dá)在同一時間幀采集的數(shù)據(jù)，對所述激光雷達(dá)和毫米波雷達(dá)進(jìn)行時間同步，再然后，基于所述激光雷達(dá)的點(diǎn)云采集間隔以及所述雙目攝像機(jī)的圖像采集間隔，對所述激光雷達(dá)和雙目攝像機(jī)進(jìn)行時間同步，最后，根據(jù)所述激光雷達(dá)和毫米波雷達(dá)的時間同步信息以及所述激光雷達(dá)和雙目攝像機(jī)的時間同步信息，對所述激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時間同步。在本技術(shù)提供的多傳感器融合的方案中，首先，對激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時鐘源同步，確保激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)的時鐘頻率和相位是一致的，然后，對激光雷達(dá)和毫米波雷達(dá)進(jìn)行時間同步、以及對激光雷達(dá)和雙目攝像機(jī)進(jìn)行同步，并在同步后，根據(jù)激光雷達(dá)和毫米波雷達(dá)的時間同步信息以及激光雷達(dá)和雙目攝像機(jī)的時間同步信息，對激光雷達(dá)、毫米波雷達(dá)以及雙目攝像機(jī)進(jìn)行時間同步，由此，可以避免在某一時刻這三個傳感器的采樣狀況不一致導(dǎo)致信息融合系統(tǒng)提供錯誤的信息的情況，進(jìn)而可以提高多傳感器監(jiān)測的可靠性。