本公開(kāi)屬于傳感，具體涉及一種多傳感器時(shí)間同步方法、裝置及設(shè)備。

背景技術(shù)：

1、在自動(dòng)駕駛、機(jī)器人、路側(cè)感知等應(yīng)用領(lǐng)域，智能設(shè)備需要使用多種傳感器（如激光雷達(dá)、相機(jī)等）來(lái)感知周?chē)沫h(huán)境，并基于感知結(jié)果確定下一步的行為。但是由于各類(lèi)傳感器實(shí)現(xiàn)方式和系統(tǒng)配置方式存在不同，導(dǎo)致不同傳感器產(chǎn)生傳感器數(shù)據(jù)的延遲不同，進(jìn)而導(dǎo)致多傳感器融合感知時(shí)存在目標(biāo)錯(cuò)位、融合錯(cuò)誤、協(xié)同失效等問(wèn)題。如何有效地對(duì)不同傳感器進(jìn)行時(shí)間同步將直接影響后續(xù)算法的執(zhí)行效果。

2、現(xiàn)階段對(duì)傳感器進(jìn)行時(shí)間同步的方式主要有兩種：一是采用硬件同步，該方式雖然精度高，但其成本高且靈活性低；二是采用軟件同步，采用軟件同步方法，或者計(jì)算過(guò)程復(fù)雜、實(shí)現(xiàn)難度高，或者只能利用傳感器提供的變化信息來(lái)對(duì)齊時(shí)間，但無(wú)法通用。

技術(shù)實(shí)現(xiàn)思路

1、本公開(kāi)實(shí)施例提出了一種多傳感器時(shí)間同步方案，以解決現(xiàn)有的傳感器時(shí)間同步方法或者成本高靈活度低或者計(jì)算復(fù)雜、不通用的問(wèn)題。

2、本公開(kāi)實(shí)施例的第一方面提供了一種多傳感器時(shí)間同步方法，包括：

3、在預(yù)設(shè)時(shí)間段內(nèi)獲取傳感器對(duì)目標(biāo)場(chǎng)景的傳感數(shù)據(jù)，基于所述傳感數(shù)據(jù)確定運(yùn)動(dòng)物體的目標(biāo)軌跡，其中，軌跡由目標(biāo)物體在所述預(yù)設(shè)時(shí)間段內(nèi)的時(shí)序軌跡點(diǎn)組成；

4、在由多個(gè)傳感器獲取的多個(gè)所述目標(biāo)軌跡中，基于軌跡點(diǎn)的重合性確定所述目標(biāo)軌跡之間的匹配軌跡點(diǎn)，基于所述匹配軌跡點(diǎn)關(guān)聯(lián)所述目標(biāo)軌跡，生成匹配軌跡；

5、基于所述匹配軌跡，確定傳感器的時(shí)間偏移，基于所述時(shí)間偏移完成各個(gè)所述傳感器的時(shí)間同步。

6、在一些實(shí)施例中，所述獲取傳感器在預(yù)設(shè)時(shí)間段的傳感數(shù)據(jù)包括：

7、按預(yù)設(shè)時(shí)間周期獲取所述傳感器對(duì)所述目標(biāo)場(chǎng)景的傳感數(shù)據(jù)；和/或

8、接收數(shù)據(jù)獲取請(qǐng)求，響應(yīng)與所述數(shù)據(jù)獲取請(qǐng)求獲取所述傳感器對(duì)所述目標(biāo)場(chǎng)景的傳感數(shù)據(jù)，其中，所述數(shù)據(jù)獲取請(qǐng)求基于預(yù)設(shè)規(guī)則觸發(fā)。

9、在一些實(shí)施例中，所述基于所述傳感數(shù)據(jù)確定運(yùn)動(dòng)物體目標(biāo)軌跡包括：

10、將所述傳感數(shù)據(jù)的生成時(shí)間作為時(shí)間戳，基于所述傳感數(shù)據(jù)進(jìn)行3d目標(biāo)檢測(cè)與跟蹤，基于檢測(cè)結(jié)果確定目標(biāo)物體以及所述目標(biāo)物體與所述時(shí)間戳對(duì)應(yīng)的軌跡點(diǎn)的軌跡點(diǎn)屬性，組成軌跡點(diǎn)序列，其中，所述軌跡點(diǎn)屬性至少包括所述目標(biāo)物體的唯一標(biāo)識(shí)、速度、時(shí)間戳、位置、尺寸、朝向、類(lèi)型信息；

11、基于所述軌跡點(diǎn)序列確定在由相鄰時(shí)間戳組成的時(shí)間段內(nèi)所述目標(biāo)物體的位移，如果所述位移大于第一預(yù)設(shè)閾值，則在所述時(shí)間段內(nèi)所述目標(biāo)物體是運(yùn)動(dòng)的；

12、如果在所述預(yù)設(shè)時(shí)間段中所有相鄰時(shí)間戳形成的時(shí)間段中包含運(yùn)動(dòng)物體的所述時(shí)間段占比超出第二預(yù)設(shè)閾值，則所述目標(biāo)物體的軌跡點(diǎn)序列形成運(yùn)動(dòng)物體的目標(biāo)軌跡。

13、在一些實(shí)施例中，所述目標(biāo)物體的軌跡點(diǎn)序列形成所述運(yùn)動(dòng)物體的目標(biāo)軌跡之后還包括：

14、基于預(yù)設(shè)規(guī)則生成標(biāo)準(zhǔn)時(shí)間戳序列；

15、將組成所述目標(biāo)軌跡的軌跡點(diǎn)序列數(shù)據(jù)在所述標(biāo)準(zhǔn)時(shí)間戳序列上插值，生成標(biāo)準(zhǔn)時(shí)間戳下的插值軌跡點(diǎn)序列，由所述插值軌跡點(diǎn)序列組成預(yù)設(shè)時(shí)間戳下所述運(yùn)動(dòng)物體的目標(biāo)軌跡。

16、在一些實(shí)施例中，所述基于軌跡點(diǎn)的重合性確定所述目標(biāo)軌跡之間的匹配軌跡點(diǎn)包括：

17、獲取組成第一目標(biāo)軌跡的第一軌跡點(diǎn)與組成第二目標(biāo)軌跡的第二軌跡點(diǎn)之間的距離，如果所述距離小于第三預(yù)設(shè)閾值，則確定所述第一軌跡點(diǎn)與所述第二軌跡點(diǎn)為匹配軌跡點(diǎn)。

18、在一些實(shí)施例中，所述基于所述匹配軌跡點(diǎn)關(guān)聯(lián)所述目標(biāo)軌跡，生成匹配軌跡包括：

19、確定所述第一目標(biāo)軌跡與所述第二目標(biāo)軌跡包含的所有匹配軌跡點(diǎn)，如果所述匹配軌跡點(diǎn)的數(shù)目超過(guò)第四預(yù)設(shè)閾值，則所述第一目標(biāo)軌跡與所述第二目標(biāo)軌跡相關(guān)聯(lián)；

20、由相關(guān)聯(lián)的兩條目標(biāo)軌跡中的每一條所述目標(biāo)軌跡中的匹配軌跡點(diǎn)序列生成與所述目標(biāo)軌跡對(duì)應(yīng)的所述匹配軌跡。

21、在一些實(shí)施例中，所述基于所述匹配軌跡，確定傳感器的時(shí)間偏移包括：

22、在由第一傳感器與第二傳感器的傳感數(shù)據(jù)形成的所有匹配軌跡中，計(jì)算所有所述匹配軌跡點(diǎn)的時(shí)間偏移的均方差；

23、確定均方差最小時(shí)的所述時(shí)間偏移，所述時(shí)間偏移即為所述第一傳感器與所述第二傳感器的時(shí)間偏移。

24、在一些實(shí)施例中，所述基于所述時(shí)間偏移完成各個(gè)所述傳感器的時(shí)間對(duì)齊包括：

25、基于所述時(shí)間偏移調(diào)整所述傳感器的時(shí)間戳，完成所述傳感器的時(shí)間對(duì)齊。

26、本公開(kāi)實(shí)施例的第二方面提供了一種多傳感器時(shí)間同步裝置，包括：

27、軌跡生成模塊，用于在預(yù)設(shè)時(shí)間段內(nèi)獲取傳感器對(duì)目標(biāo)場(chǎng)景的傳感數(shù)據(jù)，基于所述傳感數(shù)據(jù)確定運(yùn)動(dòng)物體的目標(biāo)軌跡，其中，軌跡由目標(biāo)物體在所述預(yù)設(shè)時(shí)間段內(nèi)的時(shí)序軌跡點(diǎn)組成；

28、軌跡匹配模塊，用于在由多個(gè)傳感器獲取的多個(gè)所述目標(biāo)軌跡中，基于軌跡點(diǎn)的重合性確定所述目標(biāo)軌跡之間的匹配軌跡點(diǎn)，基于所述匹配軌跡點(diǎn)關(guān)聯(lián)所述目標(biāo)軌跡，生成匹配軌跡；

29、時(shí)間對(duì)齊模塊，用于基于所述匹配軌跡，確定傳感器的時(shí)間偏移，基于所述時(shí)間偏移完成各個(gè)所述傳感器的時(shí)間同步。

30、本公開(kāi)實(shí)施例的第三方面提供了一種多傳感器時(shí)間同步設(shè)備，包括存儲(chǔ)器和處理器：

31、所述存儲(chǔ)器，用于存儲(chǔ)計(jì)算機(jī)程序；

32、所述處理器，用于當(dāng)執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)根據(jù)根據(jù)本公開(kāi)第一方面所述的方法。

33、綜上所述，本公開(kāi)各實(shí)施例提供的多傳感器時(shí)間同步方法、裝置和設(shè)備，提供了一種不依賴于硬件脈沖觸發(fā)的低成本傳感器時(shí)間同步方案，通過(guò)軟件算法實(shí)現(xiàn)時(shí)間同步，包括定時(shí)觸發(fā)和自動(dòng)觸發(fā)兩種模式，滿足多種應(yīng)用場(chǎng)景的需求，可以根據(jù)需要靈活使用；同時(shí)通過(guò)動(dòng)態(tài)目標(biāo)軌跡匹配和插值對(duì)齊等技術(shù)，實(shí)現(xiàn)多種傳感器數(shù)據(jù)的高精度時(shí)間對(duì)齊，具有高度的通用性，可用于激光雷達(dá)、相機(jī)等多種傳感器間的時(shí)間同步。

技術(shù)特征：

1.一種多傳感器時(shí)間同步方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在預(yù)設(shè)時(shí)間段獲取傳感器對(duì)目標(biāo)場(chǎng)景的傳感數(shù)據(jù)包括：

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述傳感數(shù)據(jù)確定運(yùn)動(dòng)物體目標(biāo)軌跡包括：

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述目標(biāo)物體的軌跡點(diǎn)序列形成所述運(yùn)動(dòng)物體的目標(biāo)軌跡之后還包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于軌跡點(diǎn)的重合性確定所述目標(biāo)軌跡之間的匹配軌跡點(diǎn)包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述匹配軌跡點(diǎn)關(guān)聯(lián)所述目標(biāo)軌跡，生成匹配軌跡包括：

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于所述匹配軌跡，確定傳感器的時(shí)間偏移包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述基于所述時(shí)間偏移完成各個(gè)所述傳感器的時(shí)間對(duì)齊包括：

9.一種多傳感器時(shí)間同步裝置，其特征在于，包括：

10.一種多傳感器時(shí)間同步設(shè)備，其特征在于，包括存儲(chǔ)器和處理器：

技術(shù)總結(jié)
本公開(kāi)屬于傳感技術(shù)領(lǐng)域，具體涉及一種多傳感器時(shí)間同步方法、裝置及設(shè)備。其中所述多傳感器時(shí)間同步方法包括：在預(yù)設(shè)時(shí)間段內(nèi)獲取傳感器對(duì)目標(biāo)場(chǎng)景的傳感數(shù)據(jù)，基于所述傳感數(shù)據(jù)確定運(yùn)動(dòng)物體的目標(biāo)軌跡；在由多個(gè)傳感器獲取的多個(gè)所述目標(biāo)軌跡中，基于軌跡點(diǎn)的重合性確定所述目標(biāo)軌跡之間的匹配軌跡點(diǎn)，基于所述匹配軌跡點(diǎn)關(guān)聯(lián)所述目標(biāo)軌跡，生成匹配軌跡；基于所述匹配軌跡，確定傳感器的時(shí)間偏移，基于所述時(shí)間偏移完成各個(gè)所述傳感器的時(shí)間同步。本公開(kāi)提供了一種不依賴于硬件脈沖觸發(fā)的低成本傳感器時(shí)間同步方案，滿足多種應(yīng)用場(chǎng)景的需求，具有高度的通用性，同時(shí)實(shí)現(xiàn)了多種傳感器數(shù)據(jù)的高精度時(shí)間對(duì)齊。

技術(shù)研發(fā)人員：黃晶晶,張露,張燕詠,張昱,吉建民
受保護(hù)的技術(shù)使用者：合肥綜合性國(guó)家科學(xué)中心人工智能研究院（安徽省人工智能實(shí)驗(yàn)室）
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/10