本發(fā)明涉及自動駕駛，具體而言，涉及一種基于融合識別算法的智能網(wǎng)聯(lián)汽車行為預(yù)測方法。

背景技術(shù)：

1、當(dāng)前，以智能化、網(wǎng)聯(lián)化為重要特征的全球新一輪科技革命和產(chǎn)業(yè)變革正蓬勃興起，人工智能與新一代信息技術(shù)的快速發(fā)展推動汽車產(chǎn)業(yè)進(jìn)行深刻變革。智能網(wǎng)聯(lián)汽車與交通、能源、城市緊密結(jié)合。

2、為推動智能網(wǎng)聯(lián)汽車的高質(zhì)量、高速發(fā)展，我國提出了車路云一體化的發(fā)展路線，其中智能網(wǎng)聯(lián)汽車行為預(yù)測系統(tǒng)，是中國方案智能網(wǎng)聯(lián)汽車發(fā)展的重要一環(huán)。由于識別技術(shù)、預(yù)測系統(tǒng)和決策技術(shù)尚未完善等問題，導(dǎo)致了很多智能車輛碰撞行人和非機(jī)動車的事故，自動駕駛的安全問題在交通安全領(lǐng)域具有重要研究意義。根據(jù)最新發(fā)布的全球自動駕駛汽車預(yù)測報(bào)告顯示，具有自動駕駛功能的汽車出貨量日益增加，但是當(dāng)前技術(shù)對智能網(wǎng)聯(lián)汽車的識別和行為預(yù)測算法存在不夠準(zhǔn)確的問題，預(yù)測的精度不高。傳感器對于數(shù)據(jù)的處理速度和預(yù)測算法不夠優(yōu)化的問題，導(dǎo)致預(yù)測存在一定的延時(shí)性，實(shí)時(shí)性不足?，F(xiàn)有的行為預(yù)測系統(tǒng)大多是基于循環(huán)神經(jīng)網(wǎng)絡(luò)或是基于卷積神經(jīng)網(wǎng)絡(luò)的解決方案。

3、現(xiàn)有技術(shù)中所使用的卷積神經(jīng)網(wǎng)絡(luò)對于大規(guī)模的訓(xùn)練數(shù)據(jù)有著較高的要求，特別是在自動駕駛領(lǐng)域，需要收集大量的真實(shí)交通場景數(shù)據(jù)來進(jìn)行訓(xùn)練。因此，數(shù)據(jù)采集成本可能較高且耗時(shí)。其次，訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)需要有準(zhǔn)確的標(biāo)注數(shù)據(jù)，但對于自動駕駛算法而言，標(biāo)注數(shù)據(jù)往往需要高度精確和詳細(xì)，例如車輛、行人、障礙物的邊界框、速度等信息。這些標(biāo)注過程需要大量人力和時(shí)間，并且容易出現(xiàn)標(biāo)注錯誤。由于真實(shí)道路環(huán)境的多樣性和復(fù)雜性，卷積神經(jīng)網(wǎng)絡(luò)往往難以完全適應(yīng)新的場景和情況。例如，如果算法遇到緊急情況或者特殊道路條件，可能無法正確預(yù)測和應(yīng)對。

4、lstm(long-short?term?memory，長短期記憶)和gcn(graph?convolutionalnetworks，多圖卷積網(wǎng)絡(luò))是復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型，其計(jì)算復(fù)雜度較高。融合這兩種模型可能導(dǎo)致額外的計(jì)算負(fù)擔(dān)，尤其是在處理大規(guī)模數(shù)據(jù)集或?qū)崟r(shí)預(yù)測任務(wù)時(shí)。lstm和gcn融合方法對訓(xùn)練數(shù)據(jù)量的要求更高。lstm需要大量時(shí)間序列數(shù)據(jù)來捕捉行為模式和動態(tài)信息，而gcn需要圖數(shù)據(jù)表示來捕捉車輛之間的空間關(guān)系。因此，需要收集更多的多模態(tài)數(shù)據(jù)來訓(xùn)練這種融合模型。lstm和gcn都有一些超參數(shù)需要調(diào)整，例如隱藏單元數(shù)、gcn層數(shù)、學(xué)習(xí)率等。融合模型的性能和穩(wěn)定性可能對這些超參數(shù)的選擇敏感，因此需要進(jìn)行大量的實(shí)驗(yàn)和調(diào)優(yōu)。

5、此外，類似于其他深度學(xué)習(xí)模型，lstm和gcn融合方法在預(yù)測過程中通常是黑盒模型，缺乏對預(yù)測結(jié)果的解釋性和可解釋性，導(dǎo)致模型的解釋性差，這對于自動駕駛領(lǐng)域來說是一個(gè)潛在的問題。同時(shí)，lstm和gcn融合模型可能對輸入數(shù)據(jù)中的噪聲和不確定性比較敏感，而在自動駕駛場景中，存在各種噪聲和不確定性因素，例如傳感器誤差、環(huán)境變化等，這可能對融合模型的準(zhǔn)確性和魯棒性帶來挑戰(zhàn)。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供一種基于融合識別算法的智能網(wǎng)聯(lián)汽車行為預(yù)測方法，用以克服現(xiàn)有技術(shù)中存在的至少一個(gè)技術(shù)問題。

2、一方面，本發(fā)明實(shí)施例提供一種基于融合識別算法的智能網(wǎng)聯(lián)汽車行為預(yù)測方法，包括：

3、讀取各個(gè)傳感器的感知數(shù)據(jù)，并對所有的所述感知數(shù)據(jù)進(jìn)行格式化；

4、利用格式化后的所述感知數(shù)據(jù)的時(shí)間戳，對所述感知數(shù)據(jù)進(jìn)行排序，得到感知數(shù)據(jù)序列；

5、取所述感知數(shù)據(jù)序列中的第一幀感知數(shù)據(jù)對應(yīng)的傳感器作為當(dāng)前傳感器；

6、根據(jù)所述當(dāng)前傳感器的所述感知數(shù)據(jù)，將當(dāng)前傳感器坐標(biāo)系轉(zhuǎn)換至全局坐標(biāo)系；

7、遍歷當(dāng)前傳感器的所有對象的id和跟蹤器對象的id，得到關(guān)聯(lián)對象索引對和未關(guān)聯(lián)對象索引；

8、根據(jù)所述未關(guān)聯(lián)對象索引，計(jì)算未關(guān)聯(lián)傳感器對象和未關(guān)聯(lián)跟蹤器對象的相似度值，并將所述相似度值存儲至第一關(guān)聯(lián)矩陣中；

9、根據(jù)所述關(guān)聯(lián)對象索引對、未關(guān)聯(lián)對象索引和第一關(guān)聯(lián)矩陣，對所有的所述傳感器對象和跟蹤器對象進(jìn)行關(guān)聯(lián)匹配，得到關(guān)聯(lián)對象列表和未關(guān)聯(lián)對象列表；

10、基于所述關(guān)聯(lián)對象列表，對跟蹤器對象和傳感器對象的關(guān)聯(lián)匹配進(jìn)行數(shù)據(jù)融合，并根據(jù)融合結(jié)果更新所述跟蹤器對象；

11、更新未關(guān)聯(lián)的跟蹤器對象的運(yùn)動狀態(tài)和時(shí)間戳；

12、將未關(guān)聯(lián)的跟蹤器對象中跟蹤時(shí)間超過跟蹤閾值的對象刪除；

13、為每個(gè)未關(guān)聯(lián)的傳感器對象創(chuàng)建一個(gè)跟蹤器對象，并將所述傳感器對象的數(shù)據(jù)信息賦值給所述跟蹤器對象；

14、判斷當(dāng)前傳感器是否為最后一個(gè)傳感器，若否，取所述感知數(shù)據(jù)序列中的下一幀感知數(shù)據(jù)對應(yīng)的傳感器作為當(dāng)前傳感器，跳轉(zhuǎn)至將當(dāng)前傳感器坐標(biāo)系轉(zhuǎn)換至全局坐標(biāo)系步驟；若是，將所有跟蹤器對象的坐標(biāo)信息從全局坐標(biāo)系轉(zhuǎn)換至世界坐標(biāo)系，得到融合識別結(jié)果；

15、對所述融合識別結(jié)果預(yù)處理后，進(jìn)行特征提取，得到目標(biāo)特征；

16、利用所述目標(biāo)特征構(gòu)建訓(xùn)練集、驗(yàn)證集和測試集；

17、利用所述訓(xùn)練集構(gòu)建初始預(yù)測模型；

18、利用所述驗(yàn)證集評估所述初始預(yù)測模型的性能指標(biāo)，根據(jù)評估結(jié)果調(diào)整所述初始預(yù)測模型的超參數(shù)，得到調(diào)整后預(yù)測模型；

19、利用所述測試集對所述調(diào)整后預(yù)測模型進(jìn)行調(diào)優(yōu)，得到最終預(yù)測模型；

20、對實(shí)時(shí)得到的融合識別結(jié)果進(jìn)行預(yù)處理后，輸入所述最終預(yù)測模型中，得到預(yù)測結(jié)果。

21、可選地，根據(jù)所述未關(guān)聯(lián)對象索引，計(jì)算未關(guān)聯(lián)傳感器對象和未關(guān)聯(lián)跟蹤器對象的相似度值，具體為：

22、根據(jù)所述未關(guān)聯(lián)對象索引，獲取未關(guān)聯(lián)跟蹤器對象和未關(guān)聯(lián)傳感器對象的位置和速度；

23、根據(jù)所述位置和速度，計(jì)算所有未關(guān)聯(lián)跟蹤器對象和未關(guān)聯(lián)傳感器對象之間的距離，得到距離小于閾值的未關(guān)聯(lián)跟蹤器對象和未關(guān)聯(lián)傳感器對象；

24、分別計(jì)算距離小于閾值的未關(guān)聯(lián)跟蹤器對象和未關(guān)聯(lián)傳感器對象之間的位置和速度的相似度值。

25、可選地，根據(jù)所述關(guān)聯(lián)對象索引對、未關(guān)聯(lián)對象索引和第一關(guān)聯(lián)矩陣，對所有的所述傳感器對象和跟蹤器對象進(jìn)行關(guān)聯(lián)匹配，具體為：

26、根據(jù)所述關(guān)聯(lián)對象索引對，直接關(guān)聯(lián)對應(yīng)的跟蹤器對象和傳感器對象；

27、根據(jù)未關(guān)聯(lián)對象索引和第一關(guān)聯(lián)矩陣，對未關(guān)聯(lián)跟蹤器對象和未關(guān)聯(lián)傳感器對象之間的最優(yōu)關(guān)聯(lián)進(jìn)行關(guān)聯(lián)匹配。

28、可選地，根據(jù)融合結(jié)果更新所述跟蹤器對象，包括：

29、遍歷所述關(guān)聯(lián)對象列表，當(dāng)所述傳感器對象的車牌號不為空時(shí)，更新對應(yīng)的所述跟蹤器對象的車牌號。

30、可選地，根據(jù)融合結(jié)果更新所述跟蹤器對象，包括：

31、根據(jù)當(dāng)前傳感器對象的id，更新與當(dāng)前傳感器對象相匹配的跟蹤器對象的id。

32、可選地，根據(jù)融合結(jié)果更新所述跟蹤器對象，包括：

33、根據(jù)當(dāng)前傳感器對象的類型，更新與當(dāng)前傳感器對象相匹配的所述跟蹤器對象的時(shí)間戳；

34、計(jì)算所述當(dāng)前傳感器對象的時(shí)間戳和與當(dāng)前傳感器對象相匹配的跟蹤器對象的時(shí)間戳之間的差值，得到時(shí)間戳差；

35、根據(jù)所述時(shí)間戳差計(jì)算融合位置和速度；

36、基于所述感知數(shù)據(jù)和所述時(shí)間戳差，利用卡爾曼濾波器更新濾波器的狀態(tài)；

37、根據(jù)所述濾波器的狀態(tài)，更新所述融合位置和速度，并將所述融合位置和速度賦值給與當(dāng)前傳感器對象相匹配的所述跟蹤器對象；

38、根據(jù)所述濾波器的狀態(tài)，更新與當(dāng)前傳感器對象相匹配的所述跟蹤器對象的信息。

39、可選地，更新未關(guān)聯(lián)的跟蹤器對象的運(yùn)動狀態(tài)和時(shí)間戳，具體為：

40、計(jì)算未關(guān)聯(lián)的跟蹤器對象對應(yīng)的前一幀數(shù)據(jù)和當(dāng)前數(shù)據(jù)的時(shí)間差；

41、利用所述時(shí)間差和過程噪聲協(xié)方差更新卡爾曼濾波器的狀態(tài)；

42、利用所述卡爾曼濾波器更新所述濾波器的狀態(tài)；

43、利用所述濾波器的狀態(tài)更新跟蹤器對象的運(yùn)動狀態(tài)和時(shí)間戳。

44、可選地，利用所述訓(xùn)練集構(gòu)建初始預(yù)測模型，具體為：

45、將所述訓(xùn)練集作為輸入，預(yù)測結(jié)果作為輸出，建立網(wǎng)絡(luò)模型；

46、選擇交叉熵?fù)p失函數(shù)作為損失函數(shù)，利用適應(yīng)性矩估計(jì)adam算法訓(xùn)練所述網(wǎng)絡(luò)模型，得到初始預(yù)測模型。

47、可選地，所述預(yù)測結(jié)果包括車輛行為類別和行為概率；

48、所述行為類別包括直行、左轉(zhuǎn)、右轉(zhuǎn)、停車、變道；

49、所述行為概率表示每個(gè)行為類別的概率分布，取概率最高的行為類別作為預(yù)測結(jié)果。

50、可選地，所述預(yù)測結(jié)果還包括時(shí)間窗口，所述時(shí)間窗口顯示所述預(yù)測結(jié)果的時(shí)效。

51、本發(fā)明實(shí)施例的創(chuàng)新點(diǎn)包括：

52、1、本實(shí)施例中，將多個(gè)感知模塊的數(shù)據(jù)進(jìn)行融合和聯(lián)合分析，檢測智能網(wǎng)聯(lián)汽車在車輛混合流環(huán)境中的運(yùn)動狀態(tài)，并對智能網(wǎng)聯(lián)汽車進(jìn)行行為預(yù)測，解決目前行為預(yù)測系統(tǒng)的實(shí)時(shí)性問題，提高預(yù)測結(jié)果的準(zhǔn)確性，提升交通安全水平，提高規(guī)劃控制的穩(wěn)定度和舒適度，是本發(fā)明實(shí)施例的創(chuàng)新點(diǎn)之一。

53、2、本實(shí)施例中，通過對大規(guī)模真實(shí)交通數(shù)據(jù)的訓(xùn)練，使算法能夠更好地適應(yīng)各種道路條件、天氣情況、車輛類型等變化，并在新場景下具備較強(qiáng)的適應(yīng)性，從而使得融合識別算法可以更好地處理不同場景和情況下的行為預(yù)測任務(wù)，是本發(fā)明實(shí)施例的創(chuàng)新點(diǎn)之一。

54、3、本實(shí)施例中，可以在較短的時(shí)間內(nèi)快速準(zhǔn)確地預(yù)測車輛行為，并更好地理解車輛行為的動態(tài)變化和復(fù)雜性，不僅能夠提高駕駛安全性并降低風(fēng)險(xiǎn)，同時(shí)還能提高系統(tǒng)的實(shí)時(shí)性和響應(yīng)能力，是本發(fā)明實(shí)施例的創(chuàng)新點(diǎn)之一。