本發(fā)明涉及道路交通，具體為基于視覺檢測道路坑洼路段預警的前視一體機方法。

背景技術：

1、據統(tǒng)計全國機動車保有量達4.15億輛，其中汽車保有量達到3.18億輛；機動車駕駛人數量超過5億人，目前，機動車和駕駛人總量均居世界第一。高速公路安全事故第一特征是交通事故總量巨大，每年交警接報事故總量超過470萬起；第二特征是死亡率高，每年道路交通安全事故傷亡人數超過20萬人；交通死亡率高達21％(即死亡人數占事故傷亡人數的比例)，而日本的交通事故死亡率僅為0.54％；第三特征是惡性事故多發(fā)，每年都會發(fā)生多起一次性多人死亡事故。歸其原因，主要是車多、人多、新手多、安全意識薄弱、道路交通設施保養(yǎng)不足、自然災害引發(fā)交通事故等。由于道路路面塌陷以及凹坑引發(fā)的交通事故有很多，2023年1月9日，江蘇南京紅山路進新莊廣場入口處一處路面塌陷，導致兩車被困；2023年12月25日，g55二廣高速太原方向(k381)處路面出現塌陷，造成4輛車發(fā)生事故，事故造成3人死亡，4人輕傷；2024年5月1日，廣東梅大高速路面塌方事故共造成20輛車陷落，涉及人員54人，已致24人死亡。在我國城市快速擴張的背景下，城市道路塌陷事故呈多發(fā)頻發(fā)態(tài)勢，據不完全公開報道統(tǒng)計，我國在2018年4月至2019年5月共發(fā)生244起城市道路塌陷事故，造成39人受傷，33人死亡，僅僅根據深圳市地防辦統(tǒng)計數據，全市地面坍塌事故2016年213起，2017年238起，2018年287起，呈高發(fā)增長態(tài)勢，說明地面坍塌防治工作具有長期性、復雜性和艱巨性，也說明機動車行駛中對于地面坍塌情況下對駕駛人員預警和避險的緊迫性。然而現在市場上的汽車主動安全只能對前方靜止的車輛和障礙物預警和緊急制動，也就是大家熟知的aeb自動緊急制動功能，無法對道路塌陷和凹坑做出預警和避險制動。

2、基于以上的原因，為了應對機動車行駛過程中對道路塌陷和凹坑做出預警和避險制動，本發(fā)明提出了基于視覺檢測道路坑洼路段安全行駛預警的方法。

技術實現思路

1、(一)解決的技術問題

2、針對現有技術的不足，本發(fā)明解決了現有前視一體機產品無法應對道路塌陷和凹坑的情況，不具備對該情況向駕駛人發(fā)出預警和制動的主動安全能力；本發(fā)明使用深度學習算法檢測攝像頭圖像中的道路塌陷和凹坑，從而給到軟件后端做預警處理，軟件后處理代碼考慮了各種場景的規(guī)則，估計塌陷和凹坑的位置，計算車輛面臨危險的剩余距離和時間，從而決策預警和制動，通過控制模塊將信息發(fā)送至車輛的報警單元或者制動車輛降速制動，提高駕駛的安全性。

3、(二)技術方案

4、為實現上述目的，本發(fā)明提供如下技術方案：基于視覺檢測道路坑洼路段預警的前視一體機方法，包括以下步驟：

5、s1：場景的搭建，在物理世界的封閉實驗道路路面人為制造各種類型的塌陷和凹坑；

6、s2：圖片采集，使用搭載了數據采集攝像頭的數采車完成在搭建場景中的圖片采集；

7、s3：神經網絡模型訓練，在ai訓練服務器上開始神經網絡模型訓練，達到訓練次數或者訓練驗證性能最佳后結束訓練過程；

8、s4：模型的部署，將神經網絡算法部署至前視一體機的控制器中，即可在行車過程中檢測道路塌陷和凹坑的場景；

9、s5：模型的使用，后處理軟件完成神經網絡檢測道路塌陷和凹坑目標物的解碼和坐標位置計算，估計當前車輛塌陷和凹坑目標物的距離，并做出相應的處理措施。

10、優(yōu)選的，所述步驟s3中，ai訓練服務器上對神經網絡模型訓練，包括以下步驟：

11、s11：數據增強，對采集到的圖片數據進行圖像的增強，使得帶塌陷和凹坑可以明顯的顯示；

12、s12：圖片標注，使用標注工具對帶塌陷和凹坑的圖片進行標注操作；

13、s13：優(yōu)化訓練，使用經過處理的圖像對模型進行訓練，通過反向傳播算法更新模型參數，逐步提高模型性能。

14、優(yōu)選的，所述步驟s3中采用的深度學習ai算法是yolov5。

15、優(yōu)選的，所述步驟s4中前視一體機的硬件使用一顆500萬像素/800萬像素的攝像頭，攝像頭對不同物體的探測距離可能不一樣，可以識別100m的交通標志，140米的自行車、行人、250米的轎車，窄角攝像頭fov：視場角30-40°左右，探測距離250米，前視一體機的硬件還有一個控制器，這個控制器繼集成了cpu處理器、ai加速器npu、微控制器mcu芯片。

16、優(yōu)選的，所述步驟s5中，后處理軟件的運行，包括以下步驟：

17、s21：通過前視一體機對行駛道路前方進行基于視覺的道路圖像實時數據拍攝操作；

18、s22：利用神經網絡算法對采集到的圖像進行檢測目標物解碼；

19、s23：估計當前車輛距離塌陷和凹坑目標物的距離，并根據當前車速計算行駛至塌陷和凹坑目標物的時間；

20、s24：后處理軟件基于拍攝到的目標物以及計算出的時間，做出相應的預警和制動決策方案，并上傳車機進行執(zhí)行。

21、優(yōu)選的，所述步驟s24中后處理軟件還需要與車輛的can網絡通信獲取車輛的車速、方向盤轉角、制動、擋位信息，后處理軟件還需要發(fā)出預警信號，控制車輛降速和制動，以及方向盤轉向信號。

22、(三)有益效果

23、與現有技術相比，本發(fā)明提供了基于視覺檢測道路坑洼路段預警的前視一體機方法，具備以下有益效果：本發(fā)明解決了現有前視一體機產品無法應對道路塌陷和凹坑的情況，不具備對該情況向駕駛人發(fā)出預警和制動的主動安全能力；本發(fā)明使用深度學習算法檢測攝像頭圖像中的道路塌陷和凹坑，從而給到軟件后端做預警處理，軟件后處理代碼考慮了各種場景的規(guī)則，估計塌陷和凹坑的位置，計算車輛面臨危險的剩余距離和時間，從而決策預警和制動，通過控制模塊將信息發(fā)送至車輛的報警單元或者制動車輛降速制動，提高駕駛的安全性。

技術特征：

1.基于視覺檢測道路坑洼路段預警的前視一體機方法，其特征在于，包括以下步驟：

2.根據權利要求1所述的基于視覺檢測道路坑洼路段預警的前視一體機方法，其特征在于，所述步驟s3中，ai訓練服務器上對神經網絡模型訓練，包括以下步驟：

3.根據權利要求2所述的基于視覺檢測道路坑洼路段預警的前視一體機方法，其特征在于，所述步驟s3中采用的深度學習ai算法是yolov5。

4.根據權利要求1所述的基于視覺檢測道路坑洼路段預警的前視一體機方法，其特征在于，所述步驟s4中前視一體機的硬件使用一顆500萬像素/800萬像素的攝像頭，攝像頭對不同物體的探測距離可能不一樣，可以識別100m的交通標志，140米的自行車、行人、250米的轎車，窄角攝像頭fov：視場角30-40°左右，探測距離250米，前視一體機的硬件還有一個控制器，這個控制器繼集成了cpu處理器、ai加速器npu、微控制器mcu芯片。

5.根據權利要求1所述的基于視覺檢測道路坑洼路段預警的前視一體機方法，其特征在于：所述步驟s5中，后處理軟件的運行，包括以下步驟：

6.根據權利要求5所述的基于視覺檢測道路坑洼路段預警的前視一體機方法，其特征在于，所述步驟s24中后處理軟件還需要與車輛的can網絡通信獲取車輛的車速、方向盤轉角、制動、擋位信息，后處理軟件還需要發(fā)出預警信號，控制車輛降速和制動，以及方向盤轉向信號。

技術總結
本發(fā)明公開了基于視覺檢測道路坑洼路段預警的前視一體機方法，涉及道路交通技術領域。本發(fā)明解決了現有前視一體機產品無法應對道路塌陷和凹坑的情況，不具備對該情況向駕駛人發(fā)出預警和制動的主動安全能力；本發(fā)明使用深度學習算法檢測攝像頭圖像中的道路塌陷和凹坑，從而給到軟件后端做預警處理，軟件后處理代碼考慮了各種場景的規(guī)則，估計塌陷和凹坑的位置，計算車輛面臨危險的剩余距離和時間，從而決策預警和制動，通過控制模塊將信息發(fā)送至車輛的報警單元或者制動車輛降速制動，提高駕駛的安全性。

技術研發(fā)人員：陳武,陳寅仁
受保護的技術使用者：蘇州寅宇電子科技有限公司
技術研發(fā)日：
技術公布日：2024/12/12