本發(fā)明涉及智慧交通，具體涉及一種基于強(qiáng)化學(xué)習(xí)和多元視頻數(shù)據(jù)分析的城市立交上下匝道綠波設(shè)置方法。

背景技術(shù)：

1、截止到2023年底，中國(guó)公民的機(jī)動(dòng)車擁有數(shù)量超過4.35億輛。在用地資源緊張的城市環(huán)境中，道路過車負(fù)荷已經(jīng)達(dá)到極限。城市立交橋的建設(shè)緩解了城市主干道路的擁堵情況，但是地面道路和立交橋分擔(dān)過車車流量不合理可能使擁堵情況變得更為嚴(yán)重。在早晚通勤高峰期間，地面道路與立交橋交匯的上下匝道最容易引發(fā)交通堵塞，進(jìn)而影響整片區(qū)域的交通通行。通過合理的方式調(diào)整上下匝道的車流量，成為緩解立交橋擁堵的重要方向之一。

2、在智慧交通領(lǐng)域中，通過過車數(shù)據(jù)控制信號(hào)燈的相位周期變化是解決城市道路擁堵的主要方法。傳統(tǒng)的固定時(shí)序信號(hào)控制往往難以適應(yīng)不同時(shí)間段和交通流量的變化，而強(qiáng)化學(xué)習(xí)為信號(hào)控制提供了一種新的設(shè)計(jì)思路。它由智能體根據(jù)行駛速度、擁堵指數(shù)、等待時(shí)間等交通狀態(tài)參數(shù)，動(dòng)態(tài)調(diào)整信號(hào)機(jī)狀態(tài)，最大程度地減少交通擁堵時(shí)間。然而，環(huán)境狀態(tài)的復(fù)雜性、數(shù)據(jù)獲取的滯后性等因素會(huì)影響智能體做出判斷，進(jìn)而影響信號(hào)燈相位控制決策的有效性。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明為了克服以上技術(shù)的不足，提供了一種根據(jù)交通情況進(jìn)行智能調(diào)節(jié)匝道交通信號(hào)燈，避免出現(xiàn)立交上下車流分布嚴(yán)重失衡現(xiàn)象的基于強(qiáng)化學(xué)習(xí)和多元視頻數(shù)據(jù)分析的城市立交上下匝道綠波設(shè)置方法。

2、本發(fā)明克服其技術(shù)問題所采用的技術(shù)方案是：

3、一種基于強(qiáng)化學(xué)習(xí)和多元視頻數(shù)據(jù)分析的城市立交上下匝道綠波設(shè)置方法，包括如下步驟：

4、a)獲取立交上下匝道周邊攝像頭的視頻流信息，得到匝道分流區(qū)監(jiān)控圖像集fsplit、匝道區(qū)域監(jiān)控圖像集framp、橋下通行區(qū)監(jiān)控圖像集froad、立交橋上通行區(qū)監(jiān)控圖像集foverpass；

5、b)對(duì)匝道分流區(qū)監(jiān)控圖像集fsplit進(jìn)行匝道分流區(qū)劃分，得到精確的匝道分流區(qū)圖像集xsplit；

6、c)對(duì)匝道區(qū)域監(jiān)控圖像集framp進(jìn)行匝道區(qū)域劃分，得到精確的匝道區(qū)域圖像集xramp；

7、d)對(duì)橋下通行區(qū)監(jiān)控圖像集froad進(jìn)行橋下通行區(qū)劃分，得到精確的橋下通行區(qū)圖像集xroad；

8、e)對(duì)立交橋上通行區(qū)監(jiān)控圖像集foverpass進(jìn)行立交橋上通行區(qū)劃分，得到精確的立交橋上通行區(qū)圖像集xoverpass；

9、f)根據(jù)精確的匝道分流區(qū)圖像集xsplit、精確的匝道區(qū)域圖像集xramp、精確的橋下通行區(qū)圖像集xroad、精確的立交橋上通行區(qū)圖像集xoverpass計(jì)算得到時(shí)間步p內(nèi)通過匝道分流區(qū)的車數(shù)通過匝道區(qū)域的車數(shù)通過橋下通行區(qū)的車數(shù)通過立交橋上通行區(qū)的車數(shù)通過匝道分流區(qū)的機(jī)動(dòng)車的平均速度通過匝道區(qū)域的機(jī)動(dòng)車的平均速度通過橋下通行區(qū)的機(jī)動(dòng)車的平均速度通過立交橋上通行區(qū)的機(jī)動(dòng)車的平均速度

10、g)根據(jù)匝道分流區(qū)的車數(shù)通過匝道區(qū)域的車數(shù)通過橋下通行區(qū)的車數(shù)通過立交橋上通行區(qū)的車數(shù)通過匝道分流區(qū)的機(jī)動(dòng)車的平均速度通過匝道區(qū)域的機(jī)動(dòng)車的平均速度通過橋下通行區(qū)的機(jī)動(dòng)車的平均速度通過立交橋上通行區(qū)的機(jī)動(dòng)車的平均速度計(jì)算匝道信號(hào)燈相位動(dòng)作，匝道信號(hào)燈執(zhí)行相位動(dòng)作。

11、進(jìn)一步的，步驟a)包括如下步驟：

12、a-1)將獲取的立交上下匝道的用于拍攝匝道分流區(qū)域的攝像頭的視頻流，并對(duì)視頻流進(jìn)行分幀處理，得到t幀匝道分流區(qū)監(jiān)控圖像構(gòu)成的匝道分流區(qū)監(jiān)控圖像集其中fisplit為第i幀匝道分流區(qū)監(jiān)控圖像，i∈{1,...,t}；

13、a-2)將獲取的立交上下匝道的用于拍攝匝道區(qū)域的攝像頭的視頻流，并對(duì)視頻流進(jìn)行分幀處理，得到t幀匝道區(qū)域監(jiān)控圖像構(gòu)成的匝道區(qū)域監(jiān)控圖像集framp，其中firamp為第i幀匝道區(qū)域監(jiān)控圖像，i∈{1,...,t}；

14、a-3)將獲取的立交上下匝道的用于拍攝橋下通行區(qū)的攝像頭的視頻流，并對(duì)視頻流進(jìn)行分幀處理，得到t幀橋下通行區(qū)監(jiān)控圖像構(gòu)成的橋下通行區(qū)監(jiān)控圖像集froad，其中firoad為第i幀橋下通行區(qū)監(jiān)控圖像，i∈{1,...,t}；

15、a-4)將獲取的立交上下匝道的用于拍攝立交橋上通行區(qū)的攝像頭的視頻流，并對(duì)視頻流進(jìn)行分幀處理，得到t幀立交橋上通行區(qū)監(jiān)控圖像構(gòu)成的立交橋上通行區(qū)監(jiān)控圖像集foverpass，其中fioverpass為第i幀立交橋上通行區(qū)監(jiān)控圖像，i∈{1,...,t}。

16、進(jìn)一步的，步驟b)中通過人工標(biāo)記第i幀匝道分流區(qū)監(jiān)控圖像fisplit中的匝道分流區(qū)，利用opencv切片操作將標(biāo)記的匝道分流區(qū)的圖像剪裁出來，得到精確的匝道分流區(qū)圖像精確的匝道分流區(qū)圖像集實(shí)際測(cè)量精確的匝道分流區(qū)的長(zhǎng)度，得到真實(shí)長(zhǎng)度ssplit。

17、進(jìn)一步的，步驟c)中通過人工標(biāo)記第i幀匝道區(qū)域監(jiān)控圖像firamp中的匝道區(qū)域，利用opencv切片操作將標(biāo)記的匝道區(qū)域的圖像剪裁出來，得到精確的匝道區(qū)域圖像精確的匝道區(qū)域圖像集實(shí)際測(cè)量精確的匝道區(qū)域的長(zhǎng)度，得到真實(shí)長(zhǎng)度sramp。

18、進(jìn)一步的，步驟d)中通過人工標(biāo)記第i幀橋下通行區(qū)監(jiān)控圖像firoad中的橋下通行區(qū)，利用opencv切片操作將標(biāo)記的橋下通行區(qū)的圖像剪裁出來，得到精確的橋下通行區(qū)圖像精確的橋下通行區(qū)圖像集實(shí)際測(cè)量精確的橋下通行區(qū)的長(zhǎng)度，得到真實(shí)長(zhǎng)度sroad。

19、進(jìn)一步的，步驟e)中通過人工標(biāo)記第i幀立交橋上通行區(qū)監(jiān)控圖像fioverpass中的立交橋上通行區(qū)，利用opencv切片操作將標(biāo)記的立交橋上通行區(qū)的圖像剪裁出來，得到精確的立交橋上通行區(qū)圖像精確的立交橋上通行區(qū)圖像集實(shí)際測(cè)量精確的精確的立交橋上通行區(qū)的長(zhǎng)度，得到真實(shí)長(zhǎng)度soverpass。

20、進(jìn)一步的，步驟f)包括如下步驟：

21、f-1)通過yolov8m目標(biāo)檢測(cè)模型對(duì)精確的匝道分流區(qū)圖像進(jìn)行機(jī)動(dòng)車目標(biāo)檢測(cè)，第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框列表其中j∈{1,2,...,n1}，n1為檢測(cè)的精確的匝道分流區(qū)圖像中機(jī)動(dòng)車數(shù)量，i∈{1,...,t}，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的中心點(diǎn)的橫坐標(biāo)，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的中心點(diǎn)的縱坐標(biāo)，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的寬，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的高；

22、f-2)通過yolov8m目標(biāo)檢測(cè)模型對(duì)精確的匝道區(qū)域圖像進(jìn)行機(jī)動(dòng)車目標(biāo)檢測(cè)，第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框列表其中j∈{1,2,...,n2}，n2為檢測(cè)的精確的匝道區(qū)域圖像中機(jī)動(dòng)車數(shù)量，i∈{1,...,t}，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的中心點(diǎn)的橫坐標(biāo)，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的中心點(diǎn)的縱坐標(biāo)，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的寬，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的高；

23、f-3)通過yolov8m目標(biāo)檢測(cè)模型對(duì)精確的橋下通行區(qū)圖像進(jìn)行機(jī)動(dòng)車目標(biāo)檢測(cè)，第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框列表其中j∈{1,2,...,n3}，n3為檢測(cè)的精確的橋下通行區(qū)圖像中機(jī)動(dòng)車數(shù)量，i∈{1,...,t}，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的中心點(diǎn)的橫坐標(biāo)，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的中心點(diǎn)的縱坐標(biāo)，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的寬，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的高；

24、f-4)通過yolov8m目標(biāo)檢測(cè)模型對(duì)精確的立交橋上通行區(qū)圖像進(jìn)行機(jī)動(dòng)車目標(biāo)檢測(cè)，第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框列表，其中j∈{1,2,...,n4}，n4為檢測(cè)的精確的立交橋上通行區(qū)圖像中機(jī)動(dòng)車數(shù)量，i∈{1,...,t}，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的中心點(diǎn)的橫坐標(biāo)，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的中心點(diǎn)的縱坐標(biāo)，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的寬，為第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的高；

25、f-5)通過公式計(jì)算精確的匝道分流區(qū)圖像中第j個(gè)機(jī)動(dòng)車的中心點(diǎn)根據(jù)第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的最大交并比求解出t幀精確的匝道分流區(qū)圖像中第j個(gè)機(jī)動(dòng)車的中心點(diǎn)生成的運(yùn)動(dòng)軌跡，運(yùn)動(dòng)軌跡的開始時(shí)間為運(yùn)動(dòng)軌跡的結(jié)束時(shí)間為

26、f-6)通過公式

27、計(jì)算精確的匝道區(qū)域圖像中第j個(gè)機(jī)動(dòng)車的中心點(diǎn)根據(jù)第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的最大交并比求解出t幀精確的匝道區(qū)域圖像中第j個(gè)機(jī)動(dòng)車的中心點(diǎn)生成的運(yùn)動(dòng)軌跡

28、，運(yùn)動(dòng)軌跡的開始時(shí)間為運(yùn)動(dòng)軌跡的結(jié)束時(shí)間為f-7)通過公式

29、計(jì)算精確的橋下通行區(qū)圖像中第j個(gè)機(jī)動(dòng)車的中心點(diǎn)根據(jù)第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的最大交并比求解出t幀精確的橋下通行區(qū)圖像中第j個(gè)機(jī)動(dòng)車的中心點(diǎn)生成的運(yùn)動(dòng)軌跡

30、，運(yùn)動(dòng)軌跡的開始時(shí)間為運(yùn)動(dòng)軌跡的結(jié)束時(shí)間為f-8)通過公式

31、

32、計(jì)算精確的立交橋上通行區(qū)圖像中第j個(gè)機(jī)動(dòng)車的中心點(diǎn)根據(jù)第j個(gè)機(jī)動(dòng)車的矩形的目標(biāo)檢測(cè)框的最大交并比求解出t幀精確的立交橋上通行區(qū)圖像中第j個(gè)機(jī)動(dòng)車的中心點(diǎn)生成的運(yùn)動(dòng)軌跡，運(yùn)動(dòng)軌跡的開始時(shí)間為運(yùn)動(dòng)軌跡的結(jié)束時(shí)間為f-9)將精確的匝道分流區(qū)圖像集xsplit中的精確的匝道分流區(qū)圖像按照車流前進(jìn)方向等分，車流前進(jìn)方向的后方為行程起始區(qū)域，車流前進(jìn)方向的前方為行程結(jié)束區(qū)域，如果第1幀精確的匝道分流區(qū)圖像的第j個(gè)機(jī)動(dòng)車的中心點(diǎn)在行程起始區(qū)域內(nèi)且第i幀精確的匝道分流區(qū)圖像的第j個(gè)機(jī)動(dòng)車的中心點(diǎn)在行程結(jié)束區(qū)域，則第i幀精確的匝道分流區(qū)圖像的過車計(jì)數(shù)car_numi,split加1；

33、f-10)將精確的匝道區(qū)域圖像集xramp中的精確的匝道區(qū)域圖像按照車流前進(jìn)方向等分，車流前進(jìn)方向的后方為行程起始區(qū)域，車流前進(jìn)方向的前方為行程結(jié)束區(qū)域，如果第1幀精確的匝道區(qū)域圖像的第j個(gè)機(jī)動(dòng)車的中心點(diǎn)在行程起始區(qū)域內(nèi)且第i幀精確的匝道區(qū)域圖像的第j個(gè)機(jī)動(dòng)車的中心點(diǎn)在行程結(jié)束區(qū)域，則第i幀精確的匝道區(qū)域圖像的過車計(jì)數(shù)car_numi,ramp加1；

34、f-11)將精確的橋下通行區(qū)圖像集xroad中的精確的橋下通行區(qū)圖像按照車流前進(jìn)方向等分，車流前進(jìn)方向的后方為行程起始區(qū)域，車流前進(jìn)方向的前方為行程結(jié)束區(qū)域，如果第1幀精確的橋下通行區(qū)圖像的第j個(gè)機(jī)動(dòng)車的中心點(diǎn)在行程起始區(qū)域內(nèi)且第i幀精確的橋下通行區(qū)圖像的第j個(gè)機(jī)動(dòng)車的中心點(diǎn)在行程結(jié)束區(qū)域，則第i幀精確的橋下通行區(qū)圖像的過車計(jì)數(shù)car_numi,road加1；

35、f-12)將精確的立交橋上通行區(qū)圖像集xoverpass中的精確的立交橋上通行區(qū)圖像按照車流前進(jìn)方向等分，車流前進(jìn)方向的后方為行程起始區(qū)域，車流前進(jìn)方向的前方為行程結(jié)束區(qū)域，如果第1幀精確的立交橋上通行區(qū)圖像的第j個(gè)機(jī)動(dòng)車的中心點(diǎn)在行程起始區(qū)域內(nèi)且第i幀精確的立交橋上通行區(qū)圖像的第j個(gè)機(jī)動(dòng)車的中心點(diǎn)在行程結(jié)束區(qū)域，則第i幀精確的立交橋上通行區(qū)圖像的過車計(jì)數(shù)car_numi,overpass加1；

36、f-13)設(shè)置時(shí)間步長(zhǎng)為t，通過公式計(jì)算得到時(shí)間步p，將時(shí)間步p內(nèi)所有的精確的匝道分流區(qū)圖像的過車計(jì)數(shù)car_numi,split求和得到通過匝道分流區(qū)的車數(shù)將時(shí)間步p內(nèi)所有的精確的匝道區(qū)域圖像的過車計(jì)數(shù)car_numi,ramp求和得到通過匝道區(qū)域的車數(shù)將時(shí)間步p內(nèi)所有的精確的橋下通行區(qū)圖像的過車計(jì)數(shù)car_numi,road求和得到通過橋下通行區(qū)的車數(shù)將時(shí)間步p內(nèi)所有的精確的立交橋上通行區(qū)圖像的過車計(jì)數(shù)car_numi,overpass求和得到通過立交橋上通行區(qū)的車數(shù)f-14)通過公式計(jì)算得到第j個(gè)機(jī)動(dòng)車通過匝道分流區(qū)的速度通過公式計(jì)算得到時(shí)間步p內(nèi)通過匝道分流區(qū)的機(jī)動(dòng)車的平均速度f-15)通過公式計(jì)算得到第j個(gè)機(jī)動(dòng)車通過匝道區(qū)域的速度通過公式計(jì)算得到時(shí)間步p內(nèi)通過匝道區(qū)域的機(jī)動(dòng)車的平均速度

37、f-16)通過公式計(jì)算得到第j個(gè)機(jī)動(dòng)車通過橋下通行區(qū)的速度通過公式計(jì)算得到時(shí)間步p內(nèi)通過橋下通行區(qū)的機(jī)動(dòng)車的平均速度

38、f-17)通過公式計(jì)算得到第j個(gè)機(jī)動(dòng)車通過立交橋上通行區(qū)的速度通過公式計(jì)算得到時(shí)間步p內(nèi)通過立交橋上通行區(qū)的機(jī)動(dòng)車的平均速度

39、步驟f-13)中t取值為30s或60s或300s。

40、進(jìn)一步的，步驟g)包括如下步驟：

41、g-1)建立時(shí)間步p內(nèi)匝道區(qū)域過車數(shù)和平均速度組成的環(huán)境sp，

42、

43、g-2)控制信號(hào)燈的動(dòng)作定義為aq，q∈{1,2}，a1表示保持當(dāng)前匝道信號(hào)燈相位動(dòng)作，a2表示改變當(dāng)前匝道信號(hào)燈相位動(dòng)作；

44、g-3)通過公式計(jì)算得到獎(jiǎng)勵(lì)函數(shù)rp，式中，λ1與λ2均為可變參數(shù)，為匝道區(qū)域限速速度；

45、g-4)建立q-learning算法的價(jià)值函數(shù)q(sp,aq)，使用sarsa算法訓(xùn)練價(jià)值函數(shù)q(sp,aq)，得到最終的價(jià)值函數(shù)q*(sp,aq)；

46、g-5)通過公式π*＝argmaxq*(sp,aq)計(jì)算得到當(dāng)前環(huán)境sp下價(jià)值最高的的動(dòng)作aq；

47、g-6)匝道信號(hào)燈按照動(dòng)作aq執(zhí)行相位動(dòng)作。

48、優(yōu)選的，λ1＝0.26，λ2＝0.05，

49、本發(fā)明的有益效果是：通過路口實(shí)時(shí)監(jiān)控畫面獲取匝道分流出、匝道中、立交橋下、立交橋上的機(jī)動(dòng)車信息；使用目標(biāo)檢測(cè)算法和目標(biāo)跟蹤算法計(jì)算車流量和過車速度，綜合評(píng)估路口過車狀況；最后通過q-learing強(qiáng)化學(xué)習(xí)算法獲取最佳信號(hào)調(diào)控方案。本使用新型發(fā)明專利可以計(jì)算立交匝道不同區(qū)域內(nèi)的實(shí)時(shí)過車參數(shù)，根據(jù)交通情況進(jìn)行智能調(diào)節(jié)匝道交通信號(hào)燈，避免出現(xiàn)立交上下車流分布嚴(yán)重失衡現(xiàn)象，從而提高交通效率、減少擁堵，改善交通環(huán)境，為城市交通管理提供更加智能化和高效的解決方案。