本發(fā)明涉及一種目標識別技術，特別涉及一種端到端紅綠燈多任務感知方法。

背景技術：

1、隨著無人駕駛技術的迅速發(fā)展，對車輛的感知系統(tǒng)提出了更高的要求。紅綠燈作為交通規(guī)則中至關重要的信號，其正確識別對于確保自動駕駛車輛安全行駛至關重要。紅綠燈感知系統(tǒng)不僅需要識別信號燈的狀態(tài)，還需要精確地定位紅綠燈的位置，判別種類、識別顏色、判定轉(zhuǎn)向指示，以及檢測倒計時等關鍵信息。

2、傳統(tǒng)無人駕駛系統(tǒng)主要依賴于高精度地圖數(shù)據(jù)來獲取交通燈及交通標志信息，然而此類方法嚴重依賴于地圖的實時性、準確性與覆蓋范圍，無法滿足真正的無人駕駛感知要求。此外、在基于計算機視覺的紅綠燈感知任務中，根據(jù)任務的多樣性，往往需要串行多個模型來完成多個任務，這樣會導致設備資源的消耗，以及模型間信息的冗余。

技術實現(xiàn)思路

1、針對無人駕駛中紅綠燈識別問題，提出了一種端到端紅綠燈多任務感知方法，能夠?qū)⒓t綠燈感知中的紅綠燈目標檢測、屬性識別、倒計時關鍵點定位三種不同任務，統(tǒng)一到一個網(wǎng)絡模型中。實現(xiàn)輸入交通圖像，單模型推理輸出多任務結(jié)果。本發(fā)明的紅綠燈感知方法中各任務共享backbone，相比多模型串行的方式，大大減少了模型參數(shù)量與計算量，對于嵌入式設備更友好。且去除非極大值抑制（nms）過程，直接輸出目標結(jié)果，真正做到端到端檢測。

2、本發(fā)明的技術方案為：一種端到端紅綠燈多任務感知方法，具體包括如下步驟：

3、1）數(shù)據(jù)集構建：

4、采用安裝至車輛駕駛室正前方居中位置，使前方車道位于圖像中心偏下位置的長焦相機，拍攝車來前方紅綠燈圖像，構建紅綠燈多任務融合數(shù)據(jù)集；

5、數(shù)據(jù)集中需標注紅綠燈框位置、種類屬性、顏色屬性、轉(zhuǎn)向?qū)傩砸约暗褂嫊r關鍵點區(qū)域；

6、2）構建用于訓練的端到端紅綠燈感知網(wǎng)絡：

7、輸入圖像首先進入yolov8cspdarknet的骨干網(wǎng)絡backbone后，圖像經(jīng)過5個層級的特征尺度層處理，每一層級特征層將上一層圖像特征進行2倍降采樣；接著將特征尺度3、4、5的特征圖輸入至pafpn的圖像特征網(wǎng)絡neck層進行多尺度特征融合；

8、neck層：設置兩路訓練分支，一路以topk=10選取分數(shù)最大的前十個目標來進行正負樣本分配，一路則以topk=1只保留最大分數(shù)進行正負樣本分配，neck層輸出的三種尺度特征圖分別輸入至兩路訓練分支，兩路訓練分支中均包括三個任務分支，分別為多屬性分支、檢測框分支、關鍵點分支，在兩路訓練分支中分別進行多任務分支loss計算并反向傳播、迭代優(yōu)化；

9、head層：模型推理及導出，各尺度特征圖先將多任務分支結(jié)果concat拼接，再將3個不同尺度特征圖結(jié)果進行concat拼接，接著根據(jù)紅綠燈的屬性、box及points任務進行解耦，并以屬性中的種類分數(shù)選取最大值的前50個目標，此50個目標對應的完整屬性結(jié)果、box結(jié)果及points結(jié)果即為端到端紅綠燈多任務感知網(wǎng)絡的訓練輸出結(jié)果；

10、3）模型訓練：

11、多任務損失loss：多屬性分支損失按照屬性的不同，包含種類損失lbce_cls、顏色損失lbce_color與方向損失lbce_direction；檢測框分支損失包括預測精度損失lciou與標簽真實度損失ldfl；關鍵點分支損失包括關鍵點坐標損失loks與關鍵點分數(shù)損失lbce_pose；

12、以上述各損失loss加權求和為最終多任務損失訓練loss；

13、將步驟1）中數(shù)據(jù)集中選定的訓練集數(shù)據(jù)送入步驟2）的網(wǎng)絡結(jié)構中，通過計算每次的多任務損失進行迭代優(yōu)化，完成模型訓練；并通過步驟1）數(shù)據(jù)集中選定的驗證集、測試集對訓練后模型進行驗證和測試；

14、4）端到端紅綠燈多任務感知實現(xiàn)：

15、模型訓練完成后，只保留topk1對應的特征圖分支，其他結(jié)構和參數(shù)不變，構成端到端紅綠燈多任務感知網(wǎng)絡；采集實時圖像送網(wǎng)絡進行多任務識別，輸出識別結(jié)果，包括紅綠燈目標檢測框、紅綠燈種類及分數(shù)、紅綠燈顏色及其分數(shù)、紅綠燈轉(zhuǎn)向及其分數(shù)、紅綠燈倒計時關鍵點及其分數(shù)。

16、進一步，所述步驟1）中所述紅綠燈框位置對應檢測框；所述種類屬性包括機動車紅綠燈、非機動車紅綠燈、行人紅綠燈，所述顏色屬性包括紅、綠、黃、黑，所述轉(zhuǎn)向?qū)傩园ㄗ筠D(zhuǎn)、右轉(zhuǎn)、直行、調(diào)頭、無方向，所述種類屬性、顏色屬性和轉(zhuǎn)向?qū)傩詫鄬傩?；所述倒計時關鍵點區(qū)域?qū)P鍵點。

17、進一步，所述步驟2）中三種任務分支中各分支均根據(jù)任務內(nèi)容采用conv+bn+relu的基礎卷積塊構建。

18、進一步，所述步驟2）中所述正負樣本分配采用任務對齊學習動態(tài)分配策略來進行，任務對齊學習根據(jù)分類與回歸的質(zhì)量分數(shù)加權的分數(shù)選擇正樣本，使得樣本分配能力隨著訓練而不斷增強，補充模型在不同任務上對正樣本的需求。

19、進一步，所述所述兩路訓練分支，通過設置topk的數(shù)量，即topk1預測分式最大目標與topk10預測分數(shù)前10大的目標，設置兩種所述正負樣本分配，對應兩個特征圖輸出；其中在訓練階段topk10為訓練提供更多的正樣本，幫助模型快速收斂；在導出階段利用topk1僅一個預測框被分配給一個真實物體標簽，避免nms操作。

20、一種端到端紅綠燈感知網(wǎng)絡模型訓練和模型導出共用方法，多種不同任務共享模型骨干網(wǎng)絡，使得模型參數(shù)高度復用；使用各任務損失loss加權求和為最終多任務損失，實現(xiàn)多任務之間相互監(jiān)督；在訓練階段使用topk10與topk1雙分支的正樣本分配策略，topk10為模型提供更多正樣本使得訓練容易收斂；僅用topk1分支導出模型使得模型輸出結(jié)果縮減至更低量級，避免多目標時使用nms帶來的復雜度，加速紅綠燈感知后處理。

21、本發(fā)明的有益效果在于：本發(fā)明端到端紅綠燈多任務感知方法，單個模型實現(xiàn)紅綠燈目標檢測、種類分類、顏色分類、轉(zhuǎn)向分類、倒計時關鍵點檢測多個感知任務功能，對比多模型串行方式：總體模型參數(shù)量及計算量大大降低；方法中不包含nms后處理方法，不會涉及復雜的后處理過程，使得輸出即所得，大大降低了后處理時間，嵌入式設備更友好；方法中集成多個計算機視覺任務，包括目標檢測、多屬性分類、關鍵點定位任務，設計新的loss策略及訓練方法，能夠為此類多任務問題提供模型集成訓練思路；多任務解耦的雙分支正樣本分配策略：topk10與topk1正樣本分配策略，在訓練時topk10為模型提供更多的正樣本使得模型訓練更容易收斂；在模型導出時，只保留topk1分支特征圖，使得模型輸出候選結(jié)果大大降低。

技術特征：

1.一種端到端紅綠燈多任務感知方法，其特征在于，具體包括如下步驟：

2.根據(jù)權利要求1所述端到端紅綠燈多任務感知方法，其特征在于，所述步驟1）中所述紅綠燈框位置對應檢測框；所述種類屬性包括機動車紅綠燈、非機動車紅綠燈、行人紅綠燈，所述顏色屬性包括紅、綠、黃、黑，所述轉(zhuǎn)向?qū)傩园ㄗ筠D(zhuǎn)、右轉(zhuǎn)、直行、調(diào)頭、無方向，所述種類屬性、顏色屬性和轉(zhuǎn)向?qū)傩詫鄬傩?；所述倒計時關鍵點區(qū)域?qū)P鍵點。

3.根據(jù)權利要求2所述端到端紅綠燈多任務感知方法，其特征在于，所述步驟2）中三種任務分支中各分支均根據(jù)任務內(nèi)容采用conv+bn+relu的基礎卷積塊構建。

4.根據(jù)權利要求3所述端到端紅綠燈多任務感知方法，其特征在于，所述步驟2）中所述正負樣本分配采用任務對齊學習動態(tài)分配策略來進行，任務對齊學習根據(jù)分類與回歸的質(zhì)量分數(shù)加權的分數(shù)選擇正樣本，使得樣本分配能力隨著訓練而不斷增強，補充模型在不同任務上對正樣本的需求。

5.根據(jù)權利要求4所述端到端紅綠燈多任務感知方法，其特征在于，所述所述兩路訓練分支，通過設置topk的數(shù)量，即topk1預測分式最大目標與topk10預測分數(shù)前10大的目標，設置兩種所述正負樣本分配，對應兩個特征圖輸出；其中在訓練階段topk10為訓練提供更多的正樣本，幫助模型快速收斂；在導出階段利用topk1僅一個預測框被分配給一個真實物體標簽，避免nms操作。

6.一種端到端紅綠燈感知網(wǎng)絡模型訓練和模型導出共用方法，其特征在于，多種不同任務共享模型骨干網(wǎng)絡，使得模型參數(shù)高度復用；使用各任務損失loss加權求和為最終多任務損失，實現(xiàn)多任務之間相互監(jiān)督；在訓練階段使用topk10與topk1雙分支的正樣本分配策略，topk10為模型提供更多正樣本使得訓練容易收斂；僅用topk1分支導出模型使得模型輸出結(jié)果縮減至更低量級，避免多目標時使用nms帶來的復雜度，加速紅綠燈感知后處理。

技術總結(jié)
本發(fā)明涉及一種端到端紅綠燈多任務感知方法，多種不同任務共享模型骨干網(wǎng)絡，使得模型參數(shù)高度復用；使用各任務損失加權求和為最終多任務損失，實現(xiàn)多任務之間相互監(jiān)督；在訓練階段使用topk10與topk1雙分支正樣本分配策略，topk10為模型提供更多正樣本使得訓練容易收斂；僅用topk1分支導出模型使得模型輸出結(jié)果縮減至更低量級，避免多目標時使用NMS帶來的復雜度，加速紅綠燈感知后處理。能夠?qū)⒓t綠燈感知中的紅綠燈目標檢測、屬性識別、倒計時關鍵點定位三種不同任務，統(tǒng)一到一個網(wǎng)絡模型中。實現(xiàn)輸入交通圖像，單模型推理輸出多任務結(jié)果。相比多模型串行的方式，大大減少了模型參數(shù)量與計算量，對于嵌入式設備更友好。

技術研發(fā)人員：武建龍,陸新飛,許正昊,李家松,薛旦,張顯宏,王海濤,史頌華
受保護的技術使用者：上海幾何伙伴智能駕駛有限公司
技術研發(fā)日：
技術公布日：2024/12/19