本發(fā)明涉及復(fù)雜場(chǎng)景交通網(wǎng)絡(luò)擁堵識(shí)別方法，尤其涉及基于無人機(jī)和數(shù)據(jù)融合的復(fù)雜場(chǎng)景交通網(wǎng)絡(luò)擁堵識(shí)別方法，屬于交通網(wǎng)絡(luò)擁堵識(shí)別。

背景技術(shù)：

1、交通擁堵按照類型可以劃分為交通網(wǎng)絡(luò)擁堵、周期性擁堵、偶發(fā)性擁堵、瓶頸擁堵，其中，交通網(wǎng)絡(luò)擁堵通常是由多重因素疊加引起，例如，同時(shí)發(fā)生的多起事故、多個(gè)大型活動(dòng)，或是整個(gè)城市的交通管理系統(tǒng)效率不高，導(dǎo)致交通網(wǎng)絡(luò)中多個(gè)節(jié)點(diǎn)或路段同時(shí)出現(xiàn)擁堵時(shí)，可能會(huì)影響整個(gè)區(qū)域的交通流動(dòng)；周期性擁堵常發(fā)生在固定的時(shí)間和地點(diǎn)，主要包括上下班高峰期擁堵、周末和節(jié)假日擁堵；偶發(fā)性擁堵由突發(fā)事件引起的擁堵，如交通事故、緊急情況、特殊活動(dòng)、異常天氣條件等；瓶頸擁堵發(fā)生在交通流量被道路物理?xiàng)l件限制的地點(diǎn)，如道路窄化、橋梁、隧道或收費(fèi)站，也包含由于道路設(shè)計(jì)不合理或老化，交通容量不能滿足高峰時(shí)段的需求，導(dǎo)致交通速度下降和擁堵；四種交通擁堵按照類型中，交通網(wǎng)絡(luò)擁堵往往對(duì)交通通行的影響最為嚴(yán)重，這是由于交通網(wǎng)絡(luò)擁堵不僅影響廣泛，涵蓋整個(gè)交通網(wǎng)絡(luò)，包括多個(gè)重要節(jié)點(diǎn)和路段，而且其復(fù)雜性和不可預(yù)測(cè)性使得管理和解決變得更加困難，此外，網(wǎng)絡(luò)擁堵的持續(xù)時(shí)間往往較長(zhǎng)，需要協(xié)調(diào)和綜合性策略來解決，因此其對(duì)經(jīng)濟(jì)和社會(huì)生活的負(fù)面影響也更為顯著；交通網(wǎng)絡(luò)擁堵的識(shí)別對(duì)城市管理和規(guī)劃至關(guān)重要，其能顯著提高交通效率，減少環(huán)境污染，并促進(jìn)經(jīng)濟(jì)發(fā)展，通過有效管理擁堵，不僅可以確保緊急服務(wù)的快速響應(yīng)，還可以改善居民的日常生活質(zhì)量和減輕心理壓力，此外，減少擁堵還有助于推廣公共交通的使用，支持城市的可持續(xù)發(fā)展策略。

2、無人機(jī)在交通網(wǎng)絡(luò)擁堵識(shí)別中的使用具有多重優(yōu)勢(shì)，首先，無人機(jī)能夠快速且高效地從空中收集大范圍的交通流數(shù)據(jù)，具有較高的靈活性和成本效益，其次，無人機(jī)搭載的高分辨率攝像頭可以提供詳盡的視角，幫助精確地識(shí)別擁堵點(diǎn)，此外，無人機(jī)的實(shí)時(shí)數(shù)據(jù)支持可以直接用于優(yōu)化交通管理決策，如動(dòng)態(tài)調(diào)整交通信號(hào)，無人機(jī)還減少了在危險(xiǎn)區(qū)域部署人員的風(fēng)險(xiǎn)，增強(qiáng)了采集操作的安全性。

3、另一方面，在交通網(wǎng)絡(luò)擁堵識(shí)別中，復(fù)雜場(chǎng)景常常對(duì)傳統(tǒng)基于可見光的圖像采集技術(shù)構(gòu)成挑戰(zhàn)，復(fù)雜場(chǎng)景包括低光照環(huán)境、惡劣天氣條件（如霧、霧霾等）、高反射表面（濕潤(rùn)的道路或陽光直射的表面），上述因素會(huì)導(dǎo)致低對(duì)比度、高光/反射問題、顏色失真等問題，從而影響圖像的清晰度和識(shí)別準(zhǔn)確性，使得傳統(tǒng)相機(jī)在復(fù)雜環(huán)境下難以有效工作，紅外相機(jī)對(duì)此提供了一種有效的解決方案，與傳統(tǒng)的可見光相機(jī)相比，紅外相機(jī)的主要優(yōu)勢(shì)在于其能夠在極低的光照條件下仍能獲取清晰的圖像，穿透霧霾和降水，減少散射和吸收的影響，且對(duì)強(qiáng)烈的光線反射不敏感，從而在各種光照環(huán)境下提供更穩(wěn)定的圖像質(zhì)量，傳統(tǒng)可見光圖像與紅外圖像的融合，可以提高在復(fù)雜場(chǎng)景下的交通擁堵識(shí)別準(zhǔn)確性。

4、現(xiàn)有技術(shù)一，公開(公告)號(hào)為cn114627642b的專利文件公開了一種交通擁堵識(shí)別方法及裝置，通過比對(duì)待識(shí)別時(shí)段的行車速度與其所屬交通時(shí)段的速度子序列，確定該時(shí)段的交通擁堵；現(xiàn)有技術(shù)二，公開(公告)號(hào)為cn108847024a的專利文件公開了基于視頻的交通擁堵識(shí)別方法及系統(tǒng)，通過對(duì)前端設(shè)備采集的視頻數(shù)據(jù)進(jìn)行分析處理，可以通過識(shí)別得到的車輛的數(shù)量確認(rèn)道路的擁堵情況；然而，上述方法及系統(tǒng)識(shí)別效率較低且難以適用于復(fù)雜場(chǎng)景，由于尚未考慮多源數(shù)據(jù)融合的方式提升算法面向復(fù)雜場(chǎng)景的泛化能力，導(dǎo)致適用的場(chǎng)景少，受到的限制多。

5、因此，需要一種基于無人機(jī)和數(shù)據(jù)融合的復(fù)雜場(chǎng)景交通網(wǎng)絡(luò)擁堵識(shí)別方法。

技術(shù)實(shí)現(xiàn)思路

1、在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概念，以此作為稍后論述的更詳細(xì)描述的前序。

2、鑒于此，為解決現(xiàn)有技術(shù)中傳統(tǒng)的交通擁堵識(shí)別方法識(shí)別效率較低且難以適用于復(fù)雜交通場(chǎng)景的問題，本發(fā)明提供基于無人機(jī)和數(shù)據(jù)融合的復(fù)雜場(chǎng)景交通網(wǎng)絡(luò)擁堵識(shí)別方法。

3、技術(shù)方案如下：基于無人機(jī)和數(shù)據(jù)融合的復(fù)雜場(chǎng)景交通網(wǎng)絡(luò)擁堵識(shí)別方法，包括以下步驟：

4、s1.采集復(fù)雜交通場(chǎng)景下的可見光圖像和紅外圖像，將兩種圖像的尺寸和色彩調(diào)整一致并進(jìn)行圖像特征提取與匹配，經(jīng)圖像融合后，得到融合后的圖像；

5、s2.根據(jù)融合后的圖像，構(gòu)建數(shù)據(jù)集，將數(shù)據(jù)集輸入到建立的基礎(chǔ)模型、輔助模型和強(qiáng)化模型中進(jìn)行訓(xùn)練，融合三種模型的損失函數(shù)，得到融合后的損失函數(shù)，定義總體損失函數(shù)，采用總體損失函數(shù)對(duì)三種模型進(jìn)行訓(xùn)練，得到最優(yōu)模型；

6、s3.通過調(diào)整增強(qiáng)系數(shù)，進(jìn)一步優(yōu)化最優(yōu)模型，得到的準(zhǔn)確率最大的最優(yōu)模型即最終的最優(yōu)模型，由其輸出擁堵區(qū)域定位。

7、進(jìn)一步地，所述s1中，具體包括以下步驟：

8、s11.將可見光攝像機(jī)和紅外攝像機(jī)搭載至無人機(jī)上，分別采集復(fù)雜交通場(chǎng)景下的可見光圖像和紅外圖像，將兩種圖像的尺寸和色彩調(diào)整一致，得到像素值更新后的可見光圖像和像素值更新后的紅外圖像；

9、s12.對(duì)像素值更新后的可見光圖像和像素值更新后的紅外圖像進(jìn)行高斯模糊處理，根據(jù)得到的高斯模糊處理后的可見光圖像，計(jì)算得到各尺度下高斯模糊處理后的可見光圖像中的局部極值點(diǎn)；

10、s13.為每個(gè)局部極值點(diǎn)建立量化表征矩陣，得到可見光圖像特征長(zhǎng)度矩陣和紅外圖像特征長(zhǎng)度矩陣，計(jì)算兩者之間的距離的最小值，確定可見光圖像與紅外圖像的最佳極值點(diǎn)匹配結(jié)果；

11、s14.在確定可見光圖像與紅外圖像的最佳極值點(diǎn)匹配結(jié)果的基礎(chǔ)上，對(duì)像素值更新后的紅外圖像進(jìn)行線性變換，得到變換后的紅外圖像，對(duì)像素值更新后的可見光圖像和變換后的紅外圖像進(jìn)行像素融合，得到融合后的圖像；

12、所述s11中，建立二維坐標(biāo)系，比較可見光圖像和紅外圖像的尺寸，其中，為可見光圖像的長(zhǎng)度，為可見光圖像的寬度，為紅外圖像的長(zhǎng)度，和為紅外圖像的寬度；

13、當(dāng)時(shí)，不需要對(duì)兩種圖像尺寸進(jìn)行調(diào)整，當(dāng)時(shí)，需要調(diào)整紅外圖像的尺寸，即將可見光圖像的尺寸作為紅外圖像的目標(biāo)尺寸進(jìn)行調(diào)整，得到圖像尺寸調(diào)整后的紅外圖像；

14、對(duì)尺寸相同的可見光圖像和圖像尺寸調(diào)整后的紅外圖像進(jìn)行色彩空間轉(zhuǎn)換，將其由彩色圖像轉(zhuǎn)變?yōu)榛叶葓D像，得到灰度可見光圖像，對(duì)其進(jìn)行像素值更新后，得到像素值更新后的可見光圖像和像素值更新后的紅外圖像；

15、所述s12中，高斯模糊處理表示為：

16、；

17、其中，為圖像所在二維坐標(biāo)系內(nèi)的像素位置，為像素橫坐標(biāo)，為像素縱坐標(biāo)，為標(biāo)準(zhǔn)差，用于控制模糊程度；

18、根據(jù)高斯模糊處理，得到各尺度下高斯模糊處理后的可見光圖像和高斯模糊處理后的紅外圖像；

19、計(jì)算得到各尺度下高斯模糊處理后的可見光圖像中的局部極值點(diǎn)，其對(duì)應(yīng)圖像中的關(guān)鍵點(diǎn)；

20、各尺度下高斯模糊處理后的可見光圖像中的局部極值點(diǎn)計(jì)算過程表示為：

21、；

22、其中，為尺度的差分高斯值，為尺度下高斯模糊處理后的可見光圖像；

23、對(duì)于尺度的差分高斯值中的每一個(gè)像素點(diǎn)，遍歷其周圍的26個(gè)鄰域點(diǎn)，i=1、2、…、26，26個(gè)鄰域點(diǎn)包括8個(gè)在同一尺度層的鄰居即上下左右及四個(gè)對(duì)角線方向的鄰域點(diǎn)、9個(gè)在上一尺度層的相對(duì)應(yīng)位置及其周圍的鄰域點(diǎn)和9個(gè)在下一尺度層的相對(duì)應(yīng)位置及其周圍的鄰域點(diǎn)，當(dāng)大于26個(gè)鄰域點(diǎn)，則是一個(gè)局部最大值，當(dāng)小于26個(gè)鄰域點(diǎn)，則是一個(gè)局部最小值，當(dāng)不滿足大于或小于26個(gè)鄰域點(diǎn)，則不是局部極值點(diǎn)，整合局部最大值和局部最小值得到局部極值點(diǎn)；

24、所述s13中，將局部最大值像素點(diǎn)記為，計(jì)算得到局部最大值像素點(diǎn)與周圍26個(gè)鄰域點(diǎn)之間形成的特征長(zhǎng)度；

25、局部最大值像素點(diǎn)與周圍26個(gè)鄰域點(diǎn)之間形成的特征長(zhǎng)度表示為：

26、；

27、其中，為鄰域點(diǎn)橫坐標(biāo)，為鄰域點(diǎn)縱坐標(biāo)，為局部最大值像素點(diǎn)橫坐標(biāo)，為局部最大值像素點(diǎn)縱坐標(biāo)；

28、比較局部最大值像素點(diǎn)與周圍26個(gè)鄰域點(diǎn)之間形成的特征長(zhǎng)度的數(shù)值大小，并按照從大到小的順序進(jìn)行排序，選取其中排名前4的特征長(zhǎng)度，建立局部最大值像素點(diǎn)對(duì)應(yīng)的特征長(zhǎng)度矩陣；

29、將局部最小值像素點(diǎn)記為，計(jì)算得到局部最小值像素點(diǎn)與周圍26個(gè)鄰域點(diǎn)之間形成的特征長(zhǎng)度；

30、局部最小值像素點(diǎn)與周圍26個(gè)鄰域點(diǎn)之間形成的特征長(zhǎng)度表示為：

31、；

32、比較局部最小值像素點(diǎn)與周圍26個(gè)鄰域點(diǎn)之間形成的特征長(zhǎng)度的數(shù)值大小，并按照從大到小的順序進(jìn)行排序，選取其中排名前4的特征長(zhǎng)度，建立局部最小值像素點(diǎn)對(duì)應(yīng)的特征長(zhǎng)度矩陣；

33、將局部最大值像素點(diǎn)對(duì)應(yīng)的特征長(zhǎng)度矩陣和局部最小值像素點(diǎn)對(duì)應(yīng)的特征長(zhǎng)度矩陣均稱作特征長(zhǎng)度矩陣記為，即得到可見光圖像對(duì)應(yīng)的特征長(zhǎng)度矩陣和紅外圖像對(duì)應(yīng)的特征長(zhǎng)度矩；

34、可見光圖像對(duì)應(yīng)的特征長(zhǎng)度矩陣表示為：

35、；

36、其中，為局部極值點(diǎn)的總數(shù)量，為第局部極值點(diǎn)對(duì)應(yīng)的特征長(zhǎng)度；

37、紅外圖像對(duì)應(yīng)的特征長(zhǎng)度矩陣表示為：

38、；

39、通過隨機(jī)變換兩種圖像的極值點(diǎn)匹配情況，計(jì)算得到全部可見光圖像和紅外圖像特征長(zhǎng)度矩陣之間的距離即第im種局部極值點(diǎn)匹配結(jié)果對(duì)應(yīng)的特征可見光圖像和紅外圖像特征長(zhǎng)度矩陣之間的距離，其中，im=1、2、3…、，為局部極值點(diǎn)匹配結(jié)果的總數(shù)量，篩選出可見光圖像和紅外圖像特征長(zhǎng)度矩陣之間的距離的最小值，其對(duì)應(yīng)的極值點(diǎn)匹配情況即最佳的極值點(diǎn)匹配結(jié)果；

40、所述s14中，保持像素值更新后的可見光圖像不變；

41、變換后的紅外圖像為表示為

42、；

43、其中，為變換矩陣；

44、通過調(diào)整變換矩陣，使變換后的紅外圖像與像素值更新后的紅外圖像在最佳的局部極值點(diǎn)匹配；

45、融合后的圖像表示為：

46、；

47、其中，為可見光圖像權(quán)重系數(shù)。

48、進(jìn)一步地，所述s2中，具體包括以下步驟：

49、s21.基于融合后的圖像，挑選出全部包含交通網(wǎng)絡(luò)擁堵、周期性擁堵、偶發(fā)性擁堵和瓶頸擁堵的圖像作為輸入圖像；

50、s22.通過人工標(biāo)注，在輸入圖像中框選出交通網(wǎng)絡(luò)擁堵和其他三種擁堵類型，構(gòu)建數(shù)據(jù)集，按照數(shù)量比8:2的比例，將數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集；

51、s23.根據(jù)數(shù)據(jù)集，構(gòu)建基礎(chǔ)模型、輔助模型和強(qiáng)化模型，計(jì)算三種模型的損失函數(shù)并進(jìn)行融合，得到融合后的損失函數(shù)，定義總體損失函數(shù)；

52、s24.基于鏈?zhǔn)角髮?dǎo)法則，通過誤差反向傳播方式，對(duì)三種模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的深度學(xué)習(xí)模型a即最優(yōu)模型；

53、所述s22中，交通網(wǎng)絡(luò)擁堵標(biāo)記為network，三種擁堵類型即周期性擁堵、偶發(fā)性擁堵和瓶頸擁堵依次標(biāo)記為other1、other2和other3；

54、所述s23中，構(gòu)建基礎(chǔ)模型即深度學(xué)習(xí)模型a的網(wǎng)絡(luò)結(jié)構(gòu)，深度學(xué)習(xí)模型a由1個(gè)輸入層，14個(gè)卷積層，14個(gè)激活層，5個(gè)池化層，4個(gè)拼接層，4個(gè)卷積上采樣層和1個(gè)輸出層組成；

55、將數(shù)據(jù)集輸入到深度學(xué)習(xí)模型a中，通過誤差反向傳播算法，計(jì)算得到深度學(xué)習(xí)模型a的神經(jīng)網(wǎng)絡(luò)單元的權(quán)重和偏置，完成深度學(xué)習(xí)模型a的訓(xùn)練，得到訓(xùn)練完畢的深度學(xué)習(xí)模型a及其損失函數(shù)；

56、深度學(xué)習(xí)模型a對(duì)應(yīng)的輸出單元節(jié)點(diǎn)的輸出值為，分別為第一輸出單元節(jié)點(diǎn)的輸出值、第二輸出單元節(jié)點(diǎn)的輸出值、第三輸出單元節(jié)點(diǎn)的輸出值和第四輸出單元節(jié)點(diǎn)的輸出值，根據(jù)指數(shù)函數(shù)，先將深度學(xué)習(xí)模型a對(duì)應(yīng)的4個(gè)輸出單元節(jié)點(diǎn)的輸出值初始轉(zhuǎn)換為第一初步輸出值第一初步輸出值的概率值，再將其進(jìn)一步優(yōu)化轉(zhuǎn)換得到第一優(yōu)化輸出值和第一優(yōu)化輸出值的增強(qiáng)概率值；

57、采用第一優(yōu)化輸出值的增強(qiáng)概率值和數(shù)據(jù)集，結(jié)合誤差鏈?zhǔn)角髮?dǎo)法則，繼續(xù)訓(xùn)練深度學(xué)習(xí)模型a，訓(xùn)練完畢后，得到第一擁堵類型的輸出值和深度學(xué)習(xí)模型a輸出層的節(jié)點(diǎn)對(duì)應(yīng)的實(shí)際擁堵類型標(biāo)注，第一擁堵類型的輸出值分別為第一交通網(wǎng)絡(luò)擁堵輸出值、第一周期性擁堵的輸出值、第一偶發(fā)性擁堵輸出值和第一瓶頸擁堵輸出值；

58、構(gòu)建第一輔助模型即深度學(xué)習(xí)模型b，深度學(xué)習(xí)模型b由1個(gè)輸入層，18個(gè)卷積層，18個(gè)激活層，5個(gè)池化層，4個(gè)拼接層，4個(gè)卷積上采樣層和1個(gè)輸出層組成；

59、將數(shù)據(jù)集輸入到深度學(xué)習(xí)模型b中，通過誤差反向傳播算法，計(jì)算得到深度學(xué)習(xí)模型b的神經(jīng)網(wǎng)絡(luò)單元的權(quán)重和偏置，完成深度學(xué)習(xí)模型b的訓(xùn)練，得到訓(xùn)練完畢的深度學(xué)習(xí)模型b及其損失函數(shù)；

60、深度學(xué)習(xí)模型b對(duì)應(yīng)的輸出單元節(jié)點(diǎn)的輸出值為，分別為第五輸出單元節(jié)點(diǎn)的輸出值、第六輸出單元節(jié)點(diǎn)的輸出值、第七輸出單元節(jié)點(diǎn)的輸出值第八輸出單元節(jié)點(diǎn)的輸出值，根據(jù)指數(shù)函數(shù)，先將深度學(xué)習(xí)模型b對(duì)應(yīng)的4個(gè)輸出單元節(jié)點(diǎn)的輸出值初始轉(zhuǎn)換為第二初步輸出值和第二初步輸出值的概率值，再將其進(jìn)一步優(yōu)化轉(zhuǎn)換得到第二優(yōu)化輸出值和第二優(yōu)化輸出值的增強(qiáng)概率值；

61、采用第二優(yōu)化輸出值的增強(qiáng)概率值和數(shù)據(jù)集，結(jié)合誤差鏈?zhǔn)角髮?dǎo)法則，繼續(xù)訓(xùn)練深度學(xué)習(xí)模型b，訓(xùn)練完畢后，得到第二擁堵類型的輸出值和深度學(xué)習(xí)模型b輸出層的節(jié)點(diǎn)對(duì)應(yīng)的實(shí)際擁堵類型標(biāo)注，第二擁堵類型的輸出值分別為第二交通網(wǎng)絡(luò)擁堵輸出值、第二周期性擁堵的輸出值、第二偶發(fā)性擁堵輸出值和第二瓶頸擁堵輸出值；

62、構(gòu)建第二輔助模型即深度學(xué)習(xí)模型c，深度學(xué)習(xí)模型c由1個(gè)輸入層，22個(gè)卷積層，22個(gè)激活層，6個(gè)池化層，5個(gè)拼接層，5個(gè)卷積上采樣層和1個(gè)輸出層組成；

63、將數(shù)據(jù)集輸入到深度學(xué)習(xí)模型c中，通過誤差反向傳播算法，計(jì)算得到深度學(xué)習(xí)模型c的神經(jīng)網(wǎng)絡(luò)單元的權(quán)重和偏置，完成深度學(xué)習(xí)模型c的訓(xùn)練，得到訓(xùn)練完畢的深度學(xué)習(xí)模型c及其損失函數(shù)；

64、深度學(xué)習(xí)模型c對(duì)應(yīng)的輸出單元節(jié)點(diǎn)的輸出值為，分別為第九輸出單元節(jié)點(diǎn)的輸出值、第十輸出單元節(jié)點(diǎn)的輸出值、第十一輸出單元節(jié)點(diǎn)的輸出值和第十二輸出單元節(jié)點(diǎn)的輸出值，根據(jù)指數(shù)函數(shù)，先將深度學(xué)習(xí)模型c對(duì)應(yīng)的4個(gè)輸出單元節(jié)點(diǎn)的輸出值初始轉(zhuǎn)換為第三初步輸出值和第三初步輸出值的概率值，再將其進(jìn)一步優(yōu)化轉(zhuǎn)換得到第三優(yōu)化輸出值和第三優(yōu)化輸出值的增強(qiáng)概率值；

65、采用第三優(yōu)化輸出值的增強(qiáng)概率值和數(shù)據(jù)集，結(jié)合誤差鏈?zhǔn)角髮?dǎo)法則，繼續(xù)訓(xùn)練深度學(xué)習(xí)模型c，訓(xùn)練完畢后，得到第三擁堵類型輸出值和深度學(xué)習(xí)模型b輸出層的節(jié)點(diǎn)對(duì)應(yīng)的實(shí)際擁堵類型標(biāo)注，第三擁堵類型輸出值分別為第三交通網(wǎng)絡(luò)擁堵輸出值、第三周期性擁堵的輸出值、第三偶發(fā)性擁堵輸出值和第三瓶頸擁堵輸出值；

66、構(gòu)建強(qiáng)化模型即深度學(xué)習(xí)模型d，深度學(xué)習(xí)模型d由1個(gè)輸入層，26個(gè)卷積層，26個(gè)激活層，7個(gè)池化層，6個(gè)拼接層，6個(gè)卷積上采樣層和1個(gè)輸出層組成；

67、將數(shù)據(jù)集輸入到深度學(xué)習(xí)模型d中，通過誤差反向傳播算法，計(jì)算得到深度學(xué)習(xí)模型d的神經(jīng)網(wǎng)絡(luò)單元的權(quán)重和偏置，完成深度學(xué)習(xí)模型d的訓(xùn)練，得到訓(xùn)練完畢的深度學(xué)習(xí)模型d及其損失函數(shù)；

68、深度學(xué)習(xí)模型d對(duì)應(yīng)的輸出單元節(jié)點(diǎn)的輸出值為，分別為第十三輸出單元節(jié)點(diǎn)的輸出值、第十四輸出單元節(jié)點(diǎn)的輸出值、第十五輸出單元節(jié)點(diǎn)的輸出值和第十六輸出單元節(jié)點(diǎn)的輸出值，根據(jù)指數(shù)函數(shù)，先將深度學(xué)習(xí)模型d對(duì)應(yīng)的4個(gè)輸出單元節(jié)點(diǎn)的輸出值初始轉(zhuǎn)換為第四初步輸出值和第四初步輸出值的概率值，再將其進(jìn)一步優(yōu)化轉(zhuǎn)換得到第四優(yōu)化輸出值和第四優(yōu)化輸出值的增強(qiáng)概率值；

69、采用第四優(yōu)化輸出值的增強(qiáng)概率值和數(shù)據(jù)集，結(jié)合誤差鏈?zhǔn)角髮?dǎo)法則，繼續(xù)訓(xùn)練深度學(xué)習(xí)模型d，訓(xùn)練完畢后，得到第四擁堵類型輸出值和深度學(xué)習(xí)模型d輸出層的節(jié)點(diǎn)對(duì)應(yīng)的實(shí)際擁堵類型標(biāo)注，第四擁堵類型輸出值分別為第四交通網(wǎng)絡(luò)擁堵輸出值、第四周期性擁堵的輸出值、第四偶發(fā)性擁堵輸出值和第四瓶頸擁堵輸出值；

70、根據(jù)第二擁堵類型輸出值為和第一優(yōu)化輸出值的增強(qiáng)概率值，構(gòu)建深度學(xué)習(xí)模型b和深度學(xué)習(xí)模型a之間的損失函數(shù)，得到對(duì)應(yīng)權(quán)重系數(shù)；

71、基于第一初步輸出值的概率值和深度學(xué)習(xí)模型a輸出層的節(jié)點(diǎn)對(duì)應(yīng)的實(shí)際擁堵類型標(biāo)注，構(gòu)建考慮第一初步輸出值的概率值的深度學(xué)習(xí)模型a的損失函數(shù)，得到對(duì)應(yīng)權(quán)重系數(shù)；

72、基于深度學(xué)習(xí)模型b和深度學(xué)習(xí)模型a之間的損失函數(shù)和考慮第一初步輸出值的概率值的深度學(xué)習(xí)模型a的損失函數(shù)，建立深度學(xué)習(xí)模型b與深度學(xué)習(xí)模型a的輸出層之間的關(guān)系損失函數(shù)；

73、根據(jù)上述操作，建立深度學(xué)習(xí)模型c與深度學(xué)習(xí)模型b的輸出層之間的關(guān)系損失函數(shù)、深度學(xué)習(xí)模型c與深度學(xué)習(xí)模型a的輸出層之間的關(guān)系損失函數(shù)、深度學(xué)習(xí)模型d與深度學(xué)習(xí)模型a的輸出層之間的關(guān)系損失函數(shù)和深度學(xué)習(xí)模型d與深度學(xué)習(xí)模型c的輸出層之間的關(guān)系損失函數(shù)，定義深度學(xué)習(xí)模型a、深度學(xué)習(xí)模型b、深度學(xué)習(xí)模型c和深度學(xué)習(xí)模型d之間對(duì)應(yīng)的總體損失函數(shù)；

74、總體損失函數(shù)表示為：

75、。

76、進(jìn)一步地，所述s3中，基于訓(xùn)練完成的深度學(xué)習(xí)模型a即最優(yōu)模型，通過調(diào)整增強(qiáng)系數(shù)g，進(jìn)一步優(yōu)化深度學(xué)習(xí)模型a的性能，增強(qiáng)系數(shù)g取值為1、3、5、7、9、11、15、20、30、40或50，共計(jì)11種工況，訓(xùn)練得到11種深度學(xué)習(xí)模型a，其對(duì)應(yīng)的準(zhǔn)確率表示為，i=1、2、3、…、11，計(jì)算得到深度學(xué)習(xí)模型a的準(zhǔn)確率中的最大值，其對(duì)應(yīng)的深度學(xué)習(xí)模型a即最終的最優(yōu)模型，，其中，為取最大值操作。

77、進(jìn)一步地，所述s23中，深度學(xué)習(xí)模型a的網(wǎng)絡(luò)結(jié)構(gòu)中的層級(jí)按以下順序依次進(jìn)行連接：

78、輸入層：圖像尺寸227×227×3；

79、卷積層1：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

80、激活層1：leakyrelu；

81、卷積層2：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

82、激活層2：leakyrelu；

83、池化層1：類型：最大池化，池化尺寸：2×2，stride：2；

84、卷積層3：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

85、激活層3：leakyrelu；

86、卷積層4：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

87、激活層4：leakyrelu；

88、池化層2：類型：最大池化，池化尺寸：2×2，stride：2；

89、卷積層5：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

90、激活層5：leakyrelu；

91、卷積層6：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

92、激活層6：leakyrelu；

93、池化層3：類型：最大池化，池化尺寸：2×2，stride：2；

94、卷積層7：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

95、激活層7：leakyrelu；

96、卷積層8：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

97、激活層8：leakyrelu；

98、池化層4：類型：最大池化，池化尺寸：2×2，stride：2；

99、卷積層9：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

100、激活層9：leakyrelu；

101、卷積層10：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

102、激活層10：leakyrelu；

103、池化層5：類型：最大池化，池化尺寸：2×2，stride：2；

104、卷積上采樣1：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至256；

105、拼接層1：與激活層8的輸出進(jìn)行特征圖的連接，通道數(shù)增加至512；

106、卷積層11：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

107、激活層11：leakyrelu；

108、卷積上采樣2：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至128；

109、拼接層2：與激活層6的輸出進(jìn)行特征圖的連接，通道數(shù)增加至256；

110、卷積層12：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

111、激活層12：leakyrelu；

112、卷積上采樣3：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至64；

113、拼接層3：與激活層4的輸出進(jìn)行特征圖的連接，通道數(shù)增加至128；

114、卷積層13：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

115、激活層13：leakyrelu；

116、卷積上采樣4：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至32；

117、拼接層4：與激活層2的輸出進(jìn)行特征圖的連接，通道數(shù)增加至64；

118、卷積層14：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

119、激活層14：leakyrelu；

120、輸出層：類型：softmax，神經(jīng)元數(shù)量：4。

121、進(jìn)一步地，所述s23中，深度學(xué)習(xí)模型b的網(wǎng)絡(luò)結(jié)構(gòu)中的層級(jí)按以下順序依次進(jìn)行連接：

122、輸入層：圖像尺寸227×227×3；

123、卷積層1：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

124、激活層1：leakyrelu；

125、卷積層2：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

126、激活層2：leakyrelu；

127、池化層1：類型：最大池化，池化尺寸：2×2，stride：2；

128、卷積層3：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

129、激活層3：leakyrelu；

130、卷積層4：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

131、激活層4：leakyrelu；

132、池化層2：類型：最大池化，池化尺寸：2×2，stride：2；

133、卷積層5：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

134、激活層5：leakyrelu；

135、卷積層6：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

136、激活層6：leakyrelu；

137、池化層3：類型：最大池化，池化尺寸：2×2，stride：2；

138、卷積層7：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

139、激活層7：leakyrelu；

140、卷積層8：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

141、激活層8：leakyrelu；

142、池化層4：類型：最大池化，池化尺寸：2×2，stride：2；

143、卷積層9：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

144、激活層9：leakyrelu；

145、卷積層10：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

146、激活層10：leakyrelu；

147、池化層5：類型：最大池化，池化尺寸：2×2，stride：2；

148、卷積上采樣1：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至512；

149、拼接層1：與激活層8的輸出進(jìn)行特征圖的連接，通道數(shù)增加至1024；

150、卷積層11：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

151、激活層11：leakyrelu；

152、卷積層12：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

153、激活層12：leakyrelu；

154、卷積上采樣2：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至256；

155、拼接層2：與激活層6的輸出進(jìn)行特征圖的連接，通道數(shù)增加至512；

156、卷積層13：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

157、激活層13：leakyrelu；

158、卷積層14：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

159、激活層14：leakyrelu；

160、卷積上采樣3：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至128；

161、拼接層3：與激活層4的輸出進(jìn)行特征圖的連接，通道數(shù)增加至256；

162、卷積層15：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

163、激活層15：leakyrelu；

164、卷積層16：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

165、激活層16：leakyrelu；

166、卷積上采樣4：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至64；

167、拼接層4：與激活層2的輸出進(jìn)行特征圖的連接，通道數(shù)增加至128；

168、卷積層17：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

169、激活層17：leakyrelu；

170、卷積層18：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

171、激活層18：leakyrelu；

172、輸出層：類型：softmax，神經(jīng)元數(shù)量：4。

173、進(jìn)一步地，所述s23中，深度學(xué)習(xí)模型c的網(wǎng)絡(luò)結(jié)構(gòu)中的層級(jí)按以下順序依次進(jìn)行連接：

174、輸入層：圖像尺寸227×227×3；

175、卷積層1：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

176、激活層1：leakyrelu；

177、卷積層2：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

178、激活層2：leakyrelu；

179、池化層1：類型：最大池化，池化尺寸：2×2，stride：2；

180、卷積層3：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

181、激活層3：leakyrelu；

182、卷積層4：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

183、激活層4：leakyrelu；

184、池化層2：類型：最大池化，池化尺寸：2×2，stride：2；

185、卷積層5：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

186、激活層5：leakyrelu；

187、卷積層6：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

188、激活層6：leakyrelu；

189、池化層3：類型：最大池化，池化尺寸：2×2，stride：2；

190、卷積層7：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

191、激活層7：leakyrelu；

192、卷積層8：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

193、激活層8：leakyrelu；

194、池化層4：類型：最大池化，池化尺寸：2×2，stride：2；

195、卷積層9：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

196、激活層9：leakyrelu；

197、卷積層10：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

198、激活層10：leakyrelu；

199、池化層5：類型：最大池化，池化尺寸：2×2，stride：2；

200、卷積層11：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

201、激活層11：leakyrelu；

202、卷積層12：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

203、激活層12：leakyrelu；

204、池化層6：類型：最大池化，池化尺寸：2×2，stride：2；

205、卷積上采樣1：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至512；

206、拼接層1：與激活層10的輸出進(jìn)行特征圖的連接，通道數(shù)增加至1024；

207、卷積層13：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

208、激活層13：leakyrelu；

209、卷積層14：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

210、激活層14：leakyrelu；

211、卷積上采樣2：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至256；

212、拼接層2：與激活層8的輸出進(jìn)行特征圖的連接，通道數(shù)增加至512；

213、卷積層15：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

214、激活層15：leakyrelu；

215、卷積層16：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

216、激活層16：leakyrelu；

217、卷積上采樣3：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至128；

218、拼接層3：與激活層6的輸出進(jìn)行特征圖的連接，通道數(shù)增加至256；

219、卷積層17：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

220、激活層17：leakyrelu；

221、卷積層18：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

222、激活層18：leakyrelu；

223、卷積上采樣4：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至64；

224、拼接層4：與激活層4的輸出進(jìn)行特征圖的連接，通道數(shù)增加至128；

225、卷積層19：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

226、激活層19：leakyrelu；

227、卷積層20：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

228、激活層20：leakyrelu；

229、卷積上采樣5：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至32；

230、拼接層5：與激活層2的輸出進(jìn)行特征圖的連接，通道數(shù)增加至64；

231、卷積層21：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

232、激活層21：leakyrelu；

233、卷積層22：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

234、激活層22：leakyrelu；

235、輸出層：類型：softmax，神經(jīng)元數(shù)量：4。

236、進(jìn)一步地，所述s23中，深度學(xué)習(xí)模型d的網(wǎng)絡(luò)結(jié)構(gòu)中的層級(jí)按以下順序依次進(jìn)行連接：

237、輸入層：圖像尺寸227×227×3；

238、卷積層1：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

239、激活層1：leakyrelu；

240、卷積層2：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

241、激活層2：leakyrelu；

242、池化層1：類型：最大池化，池化尺寸：2×2，stride：2；

243、卷積層3：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

244、激活層3：leakyrelu；

245、卷積層4：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

246、激活層4：leakyrelu；

247、池化層2：類型：最大池化，池化尺寸：2×2，stride：2；

248、卷積層5：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

249、激活層5：leakyrelu；

250、卷積層6：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

251、激活層6：leakyrelu；

252、池化層3：類型：最大池化，池化尺寸：2×2，stride：2；

253、卷積層7：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

254、激活層7：leakyrelu；

255、卷積層8：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

256、激活層8：leakyrelu；

257、池化層4：類型：最大池化，池化尺寸：2×2，stride：2；

258、卷積層9：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

259、激活層9：leakyrelu；

260、卷積層10：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

261、激活層10：leakyrelu；

262、池化層5：類型：最大池化，池化尺寸：2×2，stride：2；

263、卷積層11：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

264、激活層11：leakyrelu；

265、卷積層12：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

266、激活層12：leakyrelu；

267、池化層6：類型：最大池化，池化尺寸：2×2，stride：2；

268、卷積層13：卷積核尺寸3×3，卷積核數(shù)量2048，stride：1；

269、激活層13：leakyrelu；

270、卷積層14：卷積核尺寸3×3，卷積核數(shù)量2048，stride：1；

271、激活層14：leakyrelu；

272、池化層7：類型：最大池化，池化尺寸：2×2，stride：2；

273、卷積上采樣1：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至1024；

274、拼接層1：與激活層12的輸出進(jìn)行特征圖的連接，通道數(shù)增加至2048；

275、卷積層15：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

276、激活層15：leakyrelu；

277、卷積層16：卷積核尺寸3×3，卷積核數(shù)量1024，stride：1；

278、激活層16：leakyrelu；

279、卷積上采樣2：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至512；

280、拼接層2：與激活層10的輸出進(jìn)行特征圖的連接，通道數(shù)增加至1024；

281、卷積層17：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

282、激活層17：leakyrelu；

283、卷積層18：卷積核尺寸3×3，卷積核數(shù)量512，stride：1；

284、激活層18：leakyrelu；

285、卷積上采樣3：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至256；

286、拼接層3：與激活層8的輸出進(jìn)行特征圖的連接，通道數(shù)增加至512；

287、卷積層19：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

288、激活層19：leakyrelu；

289、卷積層20：卷積核尺寸3×3，卷積核數(shù)量256，stride：1；

290、激活層20：leakyrelu；

291、卷積上采樣4：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至128；

292、拼接層4：與激活層6的輸出進(jìn)行特征圖的連接，通道數(shù)增加至256；

293、卷積層21：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

294、激活層21：leakyrelu；

295、卷積層22：卷積核尺寸3×3，卷積核數(shù)量128，stride：1；

296、激活層22：leakyrelu；

297、卷積上采樣5：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至64；

298、拼接層5：與激活層4的輸出進(jìn)行特征圖的連接，通道數(shù)增加至128；

299、卷積層23：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

300、激活層23：leakyrelu；

301、卷積層24：卷積核尺寸3×3，卷積核數(shù)量64，stride：1；

302、激活層24：leakyrelu；

303、卷積上采樣6：使用2×2轉(zhuǎn)置卷積上采樣，輸出通道減半至32；

304、拼接層6：與激活層2的輸出進(jìn)行特征圖的連接，通道數(shù)增加至64；

305、卷積層25：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

306、激活層25：leakyrelu；

307、卷積層26：卷積核尺寸3×3，卷積核數(shù)量32，stride：1；

308、激活層26：leakyrelu；

309、輸出層：類型：softmax，神經(jīng)元數(shù)量：4。

310、本發(fā)明的有益效果如下：本發(fā)明通過對(duì)交通場(chǎng)景下由無人機(jī)機(jī)載的可見光攝像機(jī)和紅外攝像機(jī)采集的可見光圖像和紅外圖像進(jìn)行多源圖像融合的方式，有效提升了復(fù)雜場(chǎng)景中無人機(jī)采集到的圖像質(zhì)量；本發(fā)明實(shí)現(xiàn)了復(fù)雜場(chǎng)景下的交通網(wǎng)絡(luò)擁堵智能識(shí)別，在保證對(duì)交通網(wǎng)絡(luò)擁堵識(shí)別準(zhǔn)確率的前提下，降低了模型復(fù)雜程度，提升了模型的識(shí)別速度；本發(fā)明通過對(duì)最優(yōu)模型調(diào)整增強(qiáng)系數(shù)進(jìn)行模型改進(jìn)，進(jìn)一步提升了模型性能，使得輸出的擁堵區(qū)域定位更加精確。